華盛頓大學成立SAML實驗室:陳天奇參與,推進未來AI系統全棧研究
△ 陳天奇
昨天,TVM、XGBoost、cxxnet等機器學習工具的作者陳天奇宣佈,自己所在的華盛頓大學新成立了一個實驗室,組織代號“SAML”。
陳天奇本人在微博上介紹說,實驗室將有整合系統、體系結構、機器學習和程序語言4個方向的團隊推進深度學習算法、系統的硬件和協同設計研究和TVM等開源項目。
△ 陳天奇微博截圖
四個方向
華盛頓大學爲什麼想建立這個實驗室?在SAML項目首頁上,我們找到了答案。
我們想解決調度、網絡、存儲和編程抽象方面的新挑戰,構建可從新興硬件體系中受益的可擴展系統,處理不斷增長的可用數據。重要的是,未來的模型和算法需要與硬件共同設計,系統級的要素需要告知硬件軟件棧的設計。
我們需要建立通用、可複用的基礎設施,並製造更智能的系統。目前,這些挑戰和研究問題涉及計算機科學的多個領域。
因此,SAML問世。
簡單說來,這是一個跨學科的機器學習研究小組,探索系統 堆棧的多層次問題,包括深度學習框架、訓練和推理的專用硬件、新的中間表示、可微編程和各種應用程序。
目前,實驗室有四個研究方向。
一個方向是 序列模型的專門化(Sequential Model Specialization) ,能通過自適應級聯的深度模型爲視頻快速分類。
研究人員提出了一種級聯的廉價分類器架構,並證明了當種類分佈高度傾向於小型類集合時,這種專門化的模型準確率相對較高。
△ 專門化模型的架構
PHub項目是 第二個 方向,研究內容包括用於高效分佈式深度神經網絡訓練的參數服務器。
這項研究以華盛頓大學和微軟研究院的論文Parameter Hub: High Performance Parameter Servers for Efficient Distributed Deep Neural Network Training爲基礎,探索參數服務器的平衡設計。
論文地址: http://www.sysml.cc/doc/16.pdf
第三個 方向以陳天奇團隊的TVM堆棧爲基礎,研究適用於深度學習的端對端優化堆棧。
去年8月,當 陳天奇發佈TVM時 曾引起業內討論的高潮,通俗點來說,這是一種把深度學習模型分發到各種各樣硬件設備上的、端對端的解決方案,包含以下組件:
相關論文地址: https://arxiv.org/abs/1802.04799
最後 一個項目也與陳天奇有關,XGBoost項目是一個高效靈活的可擴展的樹狀增強系統,在梯度增強的框架下實現了機器學習算法。
參與團隊
目前,項目的參與者均來自華盛頓大學,並由Sampa、Syslab、MODE和PLSE實驗室的教師、研究生和本科生組成。
本文來自量子位,創業家系授權發佈,略經編輯修改,版權歸作者所有,內容僅代表作者獨立觀點。[ 下載創業家APP,讀懂中國最賺錢的7000種生意 ]