我們從一開始就說過，開放計算項目（ Open Compute Project）的發起者 Meta Platforms 不可能想從 Nvidia 購買完整的超級計算機系統，以推進其人工智能研究并將更新的大型語言模型和推薦引擎投入生產。以 Facebook 為核心平臺的 Meta Platforms 喜歡設計和構建自己的東西，但由于缺乏兼容 OAM 的 GPU 和矩陣加速器而措手不及，他們別無選擇，只能購買使用InfiniBand模式互連的 N-1 代 DGX SuperPOD系統。

現在，當 Meta Platforms 展望社交網絡內人工智能的未來以及支撐計算引擎的互連時，他們意識到，必須以令人難以置信的規模結合在一起，才能與超大規模和云構建器競爭對手競爭，于是，他們又將目光投向了以太網互連（Ethernet interconnects）。這就是為什么Meta Platforms 成為超以太網聯盟（ Ultra Ethernet Consortium）的創始公司之一。

這個聯盟是由以太網 ASIC 供應商和交換機制造商組成的組織，他們并不是真的想相互合作，而是在受到互聯網巨頭及其新的人工智能新貴競爭迫使的情況下，他們想去找到一種方法，讓以太網可以與InfiniBand一樣好，也能像后者一樣適用于 AI 和 HPC 網絡，但使其擴展到其運行所需的規模。

對于今天的Meta Platforms來說，這意味著是大約 32,000 個計算引擎，然后是數十萬臺設備，然后在不久的將來的某些時候將超過 100 萬臺設備。

從當前看來，擁有這個想法的企業包括了交換機 ASIC 領域的 Broadcom、Cisco Systems 和 Hewlett Packard Enterprise（我們認為很快還有 Marvell），云巨頭中的 Microsoft 和 Meta Platforms，以及交換機制造商中的 Cisco、HPE 和 Arista Networks。

他們正在團結在一起，面對一個共同的敵人——InfiniBand。他們的宗旨則是——敵人的敵人就是朋友。

歸根到底，這是一條很簡單的數學題。

InfiniBand很好，但也貴

在 21世紀的前十年，當超大規模企業和云構建商真正開始構建大規模基礎設施時，任何分布式系統的網絡部分（包括交換機、網絡接口和電纜）只占整個系統成本的不到 10%。

而當第一代 100 Gb/秒設備問世時，由于設計不正確，成本非常高，很快網絡成本就占到集群成本的 15% 或更多。隨著價格實惠的 100 Gb/秒以太網的出現，以及現在速度達到 200 Gb/秒和 400 Gb/秒的速度，成本現在再次降至 10% 以下，但僅限于運行應用程序的前端網絡。

對于超大規模企業和云構建者之間的人工智能訓練和推理基礎設施，Nvidia 會簡單明了地告訴您，網絡占集群成本的 20%。Nvidia 聯合創始人兼首席執行官黃仁勛解釋說：“InfiniBand 在相同帶寬下的大規模性能比以太網高出 20%，因此“InfiniBand 實際上是免費的。”

但事實上，它（指代InfiniBand）不是免費的。你仍然需要拿出現金，而且它占集群成本的 20%。大家都知道GPU 計算引擎的成本非常高，但與基于 CPU 的 Web 基礎設施集群的總體成本相比，這還是令人印象深刻的。人工智能系統的 InfiniBand 網絡的成本，從節點到節點，肯定比在其他基礎設施集群上運行數據庫、存儲和應用程序的以太網昂貴得多。當然，我們也承認，后者的帶寬會相對較對。

雖然兩大陣型都在彰顯自己并攻擊對方，但在650group看來，雖然以太網與 InfiniBand有很多爭論，甚至有說法指出一種技術是如何以犧牲另一種技術為代價或消亡而取得成功的，存在，但這些爭論都是錯誤的。

“以太網和 InfiniBand 各有優勢，并且在同一市場中蓬勃發展。他們各有優劣勢。”650group強調。

事實上，作為一種網絡互聯技術，InfiniBand以其高可靠性、低時延、高帶寬等特點在超級計算機集群中得到廣泛應用。此外，隨著人工智能的進步，尤其是英偉達在GPU上的壟斷，InfiniBand成為了GPU服務器的首選網絡互連技術。

650group也指出，InfiniBand 有幾個優點。首先，該技術已經存在 20 年，并且主要專注于 HPC 網絡；其次，它是一項從一開始就為 HPC 和 AI 網絡構建的技術‘第三，人工智能可以使用低延遲和協議內置的項目，例如網絡內數據處理，這有助于進一步加速人工智能。一個很好的例子是 InfiniBand 的 SHARP 網內計算技術將 AI 數據縮減操作（AI 訓練的關鍵要素）吞吐量提高了兩倍，這使得 InfiniBand 成為 AI 平臺性能最高的網絡，并成為人工智能平臺的領先解決方案。

以太網也是人工智能平臺中領先的外部和管理網絡。

自1980年9月30日推出以來，以太網標準已成為局域網中使用最廣泛的通信協議。與 InfiniBand 不同，以太網的設計考慮了以下主要目標：信息如何在多個系統之間輕松流動？這是一個典型的具有分布式和兼容性設計的網絡。傳統以太網主要采用TCP/IP來構建網絡，目前已逐漸發展為RoCE。

一般來說，以太網主要用于將多臺計算機或其他設備（例如打印機、掃描儀等）連接到局域網。它不僅可以通過光纖電纜將以太網連接到有線網絡，還可以通過無線組網技術實現無線網絡中的以太網。快速以太網、千兆以太網、10 吉比特以太網和交換以太網都是以太網的主要類型。

博通資深VP Ram Velaga 幾個月前在社交平臺中更是指出，以太網速度一直比Infiniband快至少2倍。今天，以太網的速度為每秒800千兆位，而Infiniband的速度為400Gbps。他表示，在 Infiniband 上以 400Gbps 的速度完成 1MB 消息傳輸需要 20 微秒，而在以太網上以 800Gbps 的速度完成 10 微秒。

Meta的Alexis Black Bjorlin在 OCP 2022 上更是介紹了在網絡中用于推薦工作負載的時間百分比。按照她的觀點，用以太網取代Infiniband將使網絡時間減少一半。這在整個AI基礎設施上節省了10%-25%+的成本，且更可持續！

但即使如此，如前文所說，英偉達憑借在GPU的強勢關系，他們已經在Infiniband的選擇上擁有了更多地話語權。于是，Ultra Ethernet Consortium（超以太聯盟，UCE）橫空出世。

超以太聯盟，卷土重來

之所以說是卷土重來，是因為這個聯盟從某種意義上來說是為了完成以太網的未竟任務。

據白皮書介紹，超以太網聯盟的目標是創建一個“完整的基于以太網的通信堆棧架構”，該架構將像以太網一樣普遍且經濟高效，同時提供超級計算互連的性能。該聯盟的創始成員包括文章開頭談到的那些積極參與 HPC 和網絡的公司，包括英特爾、AMD、HPE、Arista、Broadcom、思科、Meta 和微軟，該項目本身由 Linux 基金會托管。

UEC 主席 J Metz 博士在接受采訪的時候告訴The Register，該項目的目標不是改變以太網，而是對其進行調整，以更好地適應 AI 和 HPC 工作負載更苛刻的特征。

“以太網是我們構建的基礎技術，因為它是業界持久、靈活和適應性強的基本網絡技術的最佳范例，”他說。“UEC 的目標是專注于如何在以太網上最好地承載 AI 和 HPC 工作負載流量。當然，之前已經有過一些嘗試，但沒有一個是針對高要求的 AI 和 HPC 進行全新設計的工作負載，但沒有一個是開放的、易于使用的并贏得了廣泛的采用。”他進一步指出。

針對網絡堆棧的多個層，該項目工作組的任務是開發物理層和鏈路層的“增強性能、延遲和管理的規范”，以及開發傳輸層和軟件層的規范。

根據白皮書，網絡對于 AI 模型的訓練變得越來越重要，而 AI 模型的規模正在不斷膨脹。有些擁有數萬億個參數，需要在大型計算集群上進行訓練，并且網絡需要盡可能高效才能保持這些集群繁忙。

雖然 AI 工作負載往往非常需要帶寬，但 HPC 還包括對延遲更加敏感的工作負載，并且需要滿足這兩個要求。為了滿足這些需求，UEC 確定了以下理想特性：靈活的delivery順序（flexible delivery order）；現代擁塞控制機制（modern congestion control mechanisms）；多路徑和數據包擴散（multi-pathing and packet spraying）；加上更大的可擴展性和端到端遙測（greater scalability and end-to-end telemetry）。

根據白皮書，舊技術使用的嚴格數據包排序會阻止無序數據直接從網絡傳遞到應用程序，從而限制了效率。支持放寬數據包排序要求的現代 API 對于減少“尾部延遲”（tail latencies）至關重要。

多路徑和數據包擴散涉及沿著源和目標之間的所有可用網絡路徑同時發送數據包，以實現最佳性能。

如果多個發送方都針對同一節點，則 AI 和 HPC 中的網絡擁塞主要是交換機和接收節點之間的鏈路問題。然而，UEC 聲稱，當前管理擁塞的算法并不能滿足針對人工智能優化的網絡的所有需求。

首先，UEC 的目標似乎是用可提供所需特性的新傳輸層協議取代融合以太網上的 RDMA (RoCE) 協議。這種超以太網傳輸將支持多路徑、packet-spraying傳輸、高效的速率控制算法，并向人工智能和高性能計算工作負載公開一個簡單的 API——或者至少這是其意圖。

HPE 對 UEC 的參與引人注目，因為它已經擁有基于以太網的 HPC 互連。正如The Next Platform的作者在文章中詳細描述的那樣，Cray Slingshot 技術是以太網的“超集” ，同時保持與標準以太網框架的兼容性，并且在 HPE 最近參與的許多超級計算機項目中得到了應用，例如Frontier 百億億次系統。

HPE 高性能互連總經理 Mike Vildibill 表示，該公司支持 UEC 的動機是希望確保 Slingshot 在開放的生態系統中運行。“我們希望符合 UEC 的 NIC 能夠體驗到 Slingshot 結構的一些性能和可擴展性優勢，”他說。Vildibil 證實，HPE 未來將繼續開發 Slingshot，但他認為總會有一些第三方 NIC 或 SmartNIC 可能具有其 Slingshot NIC 上未實現的功能。

“因此，UEC 提供了一種機制來建立強大的第三方 NIC 生態系統，以確保我們能夠支持廣泛的客戶需求，同時提供 Slingshot 的一些獨特功能，”他說。

目前，UEC 正處于開發的早期階段，關鍵技術概念仍在確定和研究中。Metz 博士表示，第一批批準草案可能會在 2023 年底或 2024 年初準備就緒，第一批基于標準的產品也預計將于明年推出。

芯片廠商積極參與，Meta放了個大招

雖然UEC正在推進，但很多廠商正在通過其產品來打破英偉達的壟斷。

以最積極的芯片廠商博通為例，今年夏天，Nvidia 承諾推出 Spectrum-X 平臺，為生成型 AI 工作負載提供“無損以太網”。但博通的Ram Velaga 強調，這并不是新鮮事，英偉達的產品，也并沒有什么特別之處是博通不具備的。

他解釋說，Nvidia 使用 Spectrum-X 實際上所做的是構建一個垂直集成的以太網平臺，該平臺擅長以最小化尾延遲并減少 AI 作業完成時間的方式管理擁塞。但Velaga 認為，這與 Broadcom 對其Tomahawk5和Jericho3-AI交換機 ASIC所做的沒有什么不同。他還認為 Nvidia 承認以太網對于處理人工智能中的 GPU 流更有意義。

我們需要稍微解析一下，Nvidia 的 Spectrum-X 不是產品。它是硬件和軟件的集合，其中大部分我們在過去已經介紹過。核心組件包括Nvidia的51.2Tbit/s Spectrum-4以太網交換機和BlueField-3數據處理單元（DPU）。

其基本思想是，只要您同時使用 Nvidia 的交換機及其 DPU，它們就會協同工作以緩解流量擁塞，并且（如果 Nvidia 可信的話）完全消除數據包丟失。

雖然英偉達聲稱這是其全新的功能單元，但 Velaga 認為“無損以太網”的想法只是營銷。“與其說它是無損的，不如說你可以有效地管理擁塞，從而擁有一個非常高效的以太網結構，”他說。換句話說，與以太網網絡不同，數據包丟失是必然的，它是規則的例外。無論如何，這就是想法。

Velaga 聲稱，這種擁塞管理已經內置于 Broadcom 最新一代的交換機 ASIC 中 - 只是它們可以與任何供應商或云服務提供商的 smartNIC 或 DPU 配合使用。Velaga 還表示，Nvidia 試圖實現的垂直整合與以太網是沖突的。

“以太網今天成功的全部原因是它是一個非常開放的生態系統，”他說。

作為以太網的另一個支持者， Meta Platforms近日也在其主辦的 Networking Scale 2023 活動上展示了融合以太網上采用 RDMA 的以太網（一種借鑒了 InfiniBand 的許多想法的低延遲以太網）。

據nextplatform報道，該公司談到了如何使用以太網進行中等規模的人工智能訓練和推理集群，以及其近期計劃如何擴展到具有 32,000 個 GPU 共享數據的系統，并使規模比它一直用于創建和訓練 LLaMA 1 和 LLaMA 2 模型的最初 2,000 個 GPU 集群提高了16 倍。需要強調一下，Meta Platforms 從 Nvidia 購買的研究超級計算機系統最多擁有 16,000 個 GPU，其中大部分是 Nvidia 的“Ampere”A100 GPU，其中相對較小的份額是更新且容量更大的“Hopper”H100 模塊。

“人工智能模型每兩到三年就會增長 1,000 倍，”該公司網絡基礎設施團隊軟件工程總監 Rajiv Krishnamurthy 解釋道。“我們在 Meta 內部觀察到了這一點，我認為根據我們在行業中觀察到的情況，這似乎是一種長期趨勢。這個數字很難理解。因此，從物理角度來看，這會轉化為數萬個 GPU 集群大小，這意味著它們正在生成萬億次計算。這是由 EB 級數據存儲支持的。”

“而從網絡角度來看，您正在考慮操縱每秒大約太比特的數據。工作負載本身就很挑剔。由此人們了解到，典型的 AI HPC 工作負載具有非常低的延遲要求，而且從數據包的角度來看，他們無法容忍丟失。”Rajiv Krishnamurthy 說。

為此，Meta Platforms 希望用于 AI 訓練的生產集群的規模比其 2022 年 1 月購買的 Nvidia RSC 機器的規模擴大 2 倍，并在去年全年不斷擴大規模，達到 16,000 個 GPU 的完整配置。然后，不久之后，就會討論 48,000 個 GPU，然后是 64,000 個 GPU，依此類推。

在Meta看來，構建一個可以進行 LLM 訓練（目前在Meta Platforms 上使用 LLaMA 2）和推理以及 Reco 訓練和推理（在本例中為自主開發的深度學習推薦模型或 DLRM）的系統非常困難，而且考慮到這四種工作負載的不同要求，這甚至可以說是不可能的，正如 Meta Platforms 人工智能系統部門的研究科學家 Jongsoo Park 在這個蜘蛛圖中所示：

Park 表示，Meta Platforms 擁有 32,000 個 H100，在 FP8 四分之一精度浮點數學生產中產生約 30% 的峰值性能，Meta Platforms 將能夠在一天內訓練具有 650 億個參數的 LLaMA2 模型。為了實現這一目標，很多事情都必須改變，其中包括將訓練令牌（token）批次增加到 2,000 以上，并在數千個 GPU 上進行擴展。全局訓練批量大小還必須在 32,000 個 GPU 上保持不變，并使用他所謂的 3D 并行性（數據并行、張量并行和管道并行技術的組合）將工作分散到 GPU 上。Park 表示，由于參數和數據量變得如此之大，數據并行性正在耗盡，因此沒有辦法解決這個問題。

為此，Meta一直在改個其系統，以滿足客戶需求。

在幾年前，DLRM 訓練和推理可以在單個節點上完成。然后，通過第一代以太網 RoCE 集群，Meta 可以將多個節點集群在一起，但集群規模相當有限。為了獲得所需的規模，它必須轉向 InfiniBand 和以太網 RoCE v2，前者存在財務問題，后者存在一些技術問題，但該公司到目前為止已經解決了。

Meta Platforms 擔任網絡工程師Lapukhov 表示，從基本構建模塊開始，基于 Nvidia 加速器的八路 GPU 服務器可以在節點內具有數十個加速器的設備之間提供 450 GB/秒的帶寬。模型并行流量在節點內互連上運行，在本例中為 NVLink，但也可以是 PCI-Express 交換基礎設施。從這里開始，模型必須使用某種形式的 RDMA（InfiniBand 或以太網 RoCE）跨數千個節點（具有數萬個聚合 GPU 計算引擎）進行數據并行擴展，并且您可以以 50 GB/秒的速度交付具有合理數量的網絡接口卡的節點之間的帶寬。

對于以太網 AI 網絡，Meta Platforms 使用與數據中心規模前端網絡應用程序相同的 Clos 拓撲，而不是在 AI 訓練和 HPC 集群中使用 InfiniBand 的用戶普遍青睞的fat tree 拓撲。

為了達到 32,256 個 GPU，該公司在一個機架中放置了兩臺服務器，每臺服務器配有 8 個 Nvidia H100 GPU。就機架而言，這并不是特別密集，但它的密度并不比 Nvidia 本身對其 DGX H100 集群所做的密集。這意味著有 2,000 個機架需要連接，如下所示：

如果仔細觀察，它實際上是 8 個集群，每個集群有 4,096 個 GPU，每個集群在兩層網絡中交叉鏈接。

每個機架都有一對服務器，總共有 16 個 GPU 和一個架頂交換機。目前尚不清楚服務器或交換機中有多少個端口，但每個 GPU 最好有一個上行端口，這意味著每臺服務器有 8 個端口。（這就是 Nvidia 對其 DGX 設計所做的事情。）整個 enchilada 中總共有 2,016 個 TOR。隨著網絡的發展，交換機的數量相當多。

這些架頂交換機使用 18 個集群交換機（您可以稱之為主干）交叉連接成一個集群，整個集群中有 144 個交換機。然后還有另外 18 個具有 7:1 超額訂閱錐度的聚合交換機，將 8 個子集群相互鏈接。即 2,178 個交換機互連 4,032 個節點。由于這些數據密集型 GPU 的帶寬需求，該比率為 1.85:1。

Lapukhov 的這張表很酷，它表明就 AI 模型而言，子集群粒度實際上約為 256 到 512 個 GPU：

這顯示了支撐人工智能的集體操作如何映射到網絡上：

要點就是這樣，這并不奇怪。當您制作更大的結構以跨越更多 GPU 時，您會向網絡添加更多層，這意味著更多延遲，這會降低 GPU 的利用率，至少在 GPU 等待集體操作完成的某些時間在集群周圍傳播。但完全共享數據并行全收集操作往往會發送小消息（通常為 1 MB 或更小），如果您能夠很好地處理小消息，則可以通過通信和計算的細粒度重疊來實現張量并行。

聽起來好像有人需要大型 NUMA 節點來進行推理和訓練。。。。這正是 NVLink 的作用和 NVSwitch 的擴展。

那么這在 Meta Platforms 數據中心中是什么樣子的呢？那么，前端數據中心結構如下所示：

我們將數據中心劃分為四個房間，每個房間都有一些聚合網絡，然后核心網絡將數據中心中心自己區域內的房間連接在一起。為了將人工智能添加到服務器機房，集群訓練交換機（CTSW）和機架訓練交換機（RTSW）與其他應用服務器添加到同一機房，并且可以與應用服務器交錯。在四個數據大廳中，Meta可以容納數以萬計的緊密耦合的 GPU：

這是網絡平面的 3D 表示（如果這樣更容易可視化）：

早在過去，Meta Platforms 使用 100 Gb/秒以太網和 RoCE v1 并取得了一些成功：

隨著轉向以太網 RoCE v2（延遲和數據包保護功能得到極大改善），Meta Platforms 將 8 個 200 Gb/秒的端口連接到每臺服務器，并使用 400 Gb 將這些端口與機架和集群交換機交叉耦合/秒端口。

在第二代 AI 架構中，他們已將每個 GPU 的主機下行鏈路速度提升至 400 Gb/秒，并且仍在運行更高級別的網絡訂閱不足，無法保持比特順利傳輸。

Nextplatform的作者認為，在未來的很多年里，情況都會如此。但如果超以太網聯盟采用Neta的方式，以太網將更像 InfiniBand，并將擁有多個供應商，從而為所有超大規模提供商和云構建商提供更多選擇和更大的競爭壓力，以降低網絡價格。

不過，不要指望它的成本會低于集群成本的 10%——只要 GPU 的成本仍然很高。但有意思的是，隨著 GPU 成本的下降，來自網絡的集群成本份額將會上升，從而給 InfiniBand 帶來更大的壓力。