以下文章來源于谷歌云服務,作者 Google Cloud
作者:Dan Lenoski
職位: Google Cloud 工程副總裁
作者:Nandita Dukkipati
職位:Google Cloud 首席軟件工程師
在 Google,我們長期使用以太網解決規模化問題,重構傳輸層,從而滿足突發高帶寬、高速率和低延遲的工作負載需求。例如對象存儲這一工作負載長期以來需要這些網絡屬性,但隨著大規模 AI/ML 訓練和高性能計算 (HPC) 等新用例的涌現,此類需求再次大幅增長。過去,我們通過向計算機協會和互聯網工程任務組提供我們的構想,與業界公開分享我們在流量整形、擁塞控制、負載平衡等方面的經驗。數年來,這些構想已在軟件和少數硬件中得以實現。但展望未來,我們相信,借助專用且靈活的硬件輔助來實施這套方案,對整個行業更加有益。
為此,我們開發了 Falcon,其性能比純軟件傳輸更上一層樓。在 OCP 全球峰會上,我們通過開放計算項目(Open Compute Project) 向生態系統開放 Falcon,該項目是利用 Google 的生產經驗幫助業界實現以太網現代化的不二之選。
Falcon 作為硬件輔助傳輸層而設計,具有可靠性、高性能和低延遲的特點,而且充分利用了經過生產驗證的技術,包括 Carousel、Snap、Swift、PLB 以及 CSIG。
Falcon 的分層參見下圖,其中包括其相關功能。我們展示了 RDMA 和 NVM Express 上層協議 (ULP),不過 Falcon 可根據生態系統的需要擴展到其他 ULP。
Falcon 的底層使用三大關鍵技術,在有損的高帶寬數據中心以太網絡實現低延遲。細粒度硬件輔助往返時間 (RTT) 測量、基于硬件的流量整形、快速準確的數據包重傳,并與支持多路徑和 PSP 加密的 Falcon 連接相結合。在此基礎上,Falcon 從一開始就被設計為一種多協議傳輸,能夠支持性能要求和應用語義千差萬別的上層協議。上層協議映射層不僅提供與 Infiniband Verbs RDMA 和 NVMe ULP 的開箱即用兼容性,而且包含了對超大規模應用至關重要的其他創新,例如靈活的排序語義和妥善的錯誤處理。最后一點是,硬件和軟件協同設計,配合運行,幫助實現高信息傳輸速率、低延遲和高帶寬等屬性,同時保持靈活性,賦能可編程性和持續創新。
Falcon 反映出以太網繼續在我們的行業中扮演中堅角色。Falcon 旨在實現超大規模的可預測高性能以及靈活性和可擴展性。我們期待與社區和行業合作伙伴合作,對以太網進行現代化改造,在 AI 驅動的未來里滿足聯網需求。我們相信,Falcon 將成為這一領域里正在推進的其他任務的重要補充。
行業視角
我們的行業合作伙伴對 Falcon 開發下一代以太網的前景充滿期待。
"我們非常認可 Google 對 Falcon 做出的貢獻,它與超以太網聯盟的愿景一致,即推動以太網成為 AI 和高性能計算的最佳數據中心結構,我們也期待在這一重要領域繼續推進行業創新。"
—— 超以太網聯盟 (主要成員包括 AMD、Arista、Broadcom、Cisco、Eviden、Hewlett Packard Enterprise、Intel、Meta、Microsoft 和 Oracle)主席
Jetz 博士
"Falcon 率先應用在英特爾 IPU E2000 系列產品中。作為以太網傳輸的第一個應用實例,這些 IPU 的價值得到了進一步提升,可大規模增加長尾端延遲和擁塞處理功能。英特爾是超以太網聯盟的指導成員,該聯盟致力于為高性能 AI 和高性能計算工作負載發展以太網。我們計劃在未來的 IPU 和以太網產品中部署基于此類標準的增強功能。"
——英特爾高級副總裁兼網絡與邊緣事業部
總經理Sachin Katti
"我們很高興看到針對 AI 和高性能計算等關鍵工作負載的高性能傳輸協議能夠在標準以太網/IP 網絡上運行,并且大規模實現高應用帶寬。"
——Arista Networks 軟件工程副總裁
Hugh Holbrook
"思科很高興看到 Falcon 對開放計算項目的貢獻。長期以來思科始終支持開放標準,堅信廣泛的生態系統?,F代數據中心網絡特別是 Al/ML 的發展速度和規模前所未有,對行業發展而言既是挑戰也是機遇。Falcon 解決了這些網絡面臨的諸多挑戰,實現了網絡的高效利用。"
——思科研究員 Ofer Iny
"瞻博網絡是開放生態系統的堅定支持者,因此我們很高興看到 Falcon 向開放計算項目社區開放。Falcon 允許以太網作為數據中心網絡的首選,為要求苛刻的工作負載帶來高帶寬、低尾延遲和擁塞緩解。如今,Falcon 為業界提供了一個成熟的解決方案,處理復雜的 AI/ML 工作負載。"
——瞻博網絡首席技術官 Raj Yavatkar
"Marvell 大力支持并致力于開放式以太網生態系統的發展,為 AI 等要求苛刻的新興工作負載提供支持。我們贊賞 Falcon 對開放計算項目的貢獻,歡迎 Google 與業界分享實踐經驗。"
——Marvel 高級副總裁兼網絡交換事業部總經理 Nick Kucharewski
?點擊屏末|閱讀原文|即刻查看詳細內容
原文標題:Google 向生態系統開放可靠的低延遲硬件傳輸系統 Falcon
文章出處:【微信公眾號:谷歌開發者】歡迎添加關注!文章轉載請注明出處。
-
谷歌
+關注
關注
27文章
6172瀏覽量
105629
原文標題:Google 向生態系統開放可靠的低延遲硬件傳輸系統 Falcon
文章出處:【微信號:Google_Developers,微信公眾號:谷歌開發者】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論