在剛剛結束的 2020 云棲大會上,阿里云宣布對行業開源業界首個深度學習開放接口標準 ODLA(Open Deep Learning API)。阿里云在今年 5 月份的 OCP 全球峰會上首次對外公布 ODLA 接口標準,并宣布已率先在 Graphcore 等生態伙伴上獲得支持。IPU 是 Graphcore 為機器智能從零設計的 AI 處理器,通過 ODLA 接口,開發者可以在 IPU 上快速跑通 AI Matrix 的各類模型。
張偉豐博士在 2020 OCP 全球峰會上公布 ODLA 接口標準
ODLA 是一個為加速深度學習的統一異構硬件編程接口。ODLA 規范了深度學習計算任務的定義和執行,實現上層應用和底層異構硬件平臺的解耦,讓 AI 異構計算更簡單,實踐代碼“生成一次,隨時鏈接,隨處執行”的愿景。
“令人興奮的新應用程序意味著我們對數據中心的期望比以往任何時候都要更高。我們希望通過使用更廣泛的硬件選擇,以更大的規模,擴大操作類型范圍。ODLA 使我們能夠管理這種復雜性,并挖掘出這些出色的新技術的全部潛力?!盙raphcore 高級副總裁兼中國區總經理盧濤表示。
阿里云開發 ODLA 是為了解決異構計算中存在許久的一個核心挑戰。ODLA 是輕量高效的異構硬件統一接口標準,可在異構計算環境中實現效率最大化。在異構計算環境中,軟件框架需要從專業芯片中獲得最高性能,需要多種類型處理器在一個通用平臺上協同工作,而每種處理器都需要針對其架構和專業知識領域進行某種程度的優化,例如 AI 的稀疏性。API 提供的抽象級別可以適應芯片架構之間的差異。
基于 ODLA 的異構 AI 硬件對接方案
通過 ODLA,在 Graphcore IPU 上技術適配和應用部署的工作量可以實現大幅度降低,且實現效率大幅提升。另外,通過 ODLA 可以更好的與 AI 計算框架進行軟硬協同,快速利用現有的編譯優化技術,達到最佳性能。對于異構任務,ODLA 充當該系統范圍通用語言與特定于架構的優化之間的接口或轉換器,該優化可從 Graphcore 的 IPU 等設備實現最佳性能。
對于數據中心運營商而言,除了簡化了新微處理器技術的集成之外,ODLA 還帶來了其他一系列好處。它支持通用和高性能的數據中心設置,并為高級應用程序提供統一的加速框架。對于應用程序開發人員來說,它減少了對不同架構進行重復優化的需求,并應該可以減少開發成本,縮短產品上市時間。
ODLA 在 2020 云棲大會上宣布的主要特性及優勢包含:
透明接口層,零損耗。
接口抽象和統一,軟硬件解耦:通過面向 AI 的多粒度算子抽象,定義統一的接口,解耦具體軟硬件,平滑遷移業務;實現代碼復用,提升開發和部署效率。
多模態執行方式:支持多種執行模式,覆蓋解釋執行、編譯執行、載入預編譯代碼等場景,兼容各種硬件的運行模式。
AI 全場景支持:支持推理和訓練,適配云、邊、端全場景 AI 業務;擁有廣泛的算子定義和豐富的接口(設備管理、會話管理、執行管理、事件同步 / 異步、資源查詢、性能監控等)。
卓越的擴展性,支持 AI 芯片廠家獨特屬性和自定義算子。
張偉豐博士在云棲大會上宣布開源 ODLA
Graphcore 公司相信,IPU 將成為下一代數據中心 AI 工作負載的核心。我們深知,我們的愿景需要 ODLA 在內的諸多框架和工具,這些框架和工具能使我們的產品與其他同類最佳技術協同工作。
Graphcore 的聯合創始人兼首席執行官 Nigel Toon 表示:“ODLA 優雅地滿足了 Graphcore 新用戶的兩個最大需求。一是他們希望輕松地將我們的技術集成到現有的數據中心,二是他們希望確保最終的設置在從各個組件到整個系統的每個層級都能得到高度優化。”
責任編輯:pj
-
處理器
+關注
關注
68文章
19395瀏覽量
230672 -
AI
+關注
關注
87文章
31399瀏覽量
269805 -
阿里云
+關注
關注
3文章
969瀏覽量
43175
發布評論請先 登錄
相關推薦
評論