在數(shù)據(jù)中心領(lǐng)域，如果 InfiniBand 剛剛成為無處不在的 I/O 交換結(jié)構(gòu)標(biāo)準(zhǔn)，那么客戶的情況可能會更好。

但是這并沒有在所有人身上發(fā)生，有幾個值得注意的例外，InfiniBand 被用作一種系統(tǒng)主干（我們記得是 IBM、Sun Microsystems 和 Unisys），但 InfiniBand 幸存下來要?dú)w功于一些初創(chuàng)公司（SilverStream/QLogic/Intel/Cornelis Networks和 Mellanox/Nvidia），并且僅作為分布式計算系統(tǒng)中以太網(wǎng)的高性能、低延遲替代方案。

?

由于遠(yuǎn)程直接內(nèi)存訪問 (RDMA：Remote Direct Memory Access)，InfiniBand 在高性能計算方面發(fā)揮了多種作用，它允許通過 InfiniBand 網(wǎng)絡(luò)將數(shù)據(jù)從一臺服務(wù)器的內(nèi)存直接移動到另一臺服務(wù)器，而無需通過網(wǎng)絡(luò)驅(qū)動程序堆棧每個服務(wù)器的操作系統(tǒng)。RDMA 是 InfiniBand 低延遲的原因，顯然它在與消息傳遞接口 (MPI：Message Passing Interface) 協(xié)議結(jié)合使用時非常強(qiáng)大，可在分布式系統(tǒng)中跨 CPU 內(nèi)核和 GPU 流式處理多處理器分配工作負(fù)載。

有兩種嘗試將 InfiniBand 的優(yōu)勢融合到以太網(wǎng)中。第一個是 iWARP，它將本質(zhì)上是 InfiniBand RDMA 協(xié)議塊的克隆放在以太網(wǎng)網(wǎng)絡(luò)適配器上，為以太網(wǎng) TCP/IP 處理提供硬件加速，從而消除了使用以太網(wǎng)的大部分操作系統(tǒng)開銷。卸載 TCP/IP 堆棧既困難又昂貴（在計算和經(jīng)濟(jì)上），因此 iWARP 從未得到太多關(guān)注。（現(xiàn)在，十年后，由于摩爾定律甚至放緩，我們可以擁有fat DPU。）

但是讓以太網(wǎng)更像 InfiniBand 的想法并沒有消失。十多年前，RDMA over Converged Ethernet 或 RoCE 出現(xiàn)，將類似 InfiniBand 的傳輸層添加到 UDP 協(xié)議中，UDP 協(xié)議也是以太網(wǎng)堆棧的一部分。RoCE 于 2015 年首次起飛，當(dāng)時許多新事物也都在發(fā)生。從那時起，人們一直在抱怨 RoCE——尤其是超大規(guī)模和云構(gòu)建者，還有一些 HPC jet set——這推動了 RoCE 創(chuàng)新向前發(fā)展。

但是一組 HPC 和網(wǎng)絡(luò) ASIC 設(shè)計名人剛剛發(fā)布了一篇非常有趣的論文——Datacenter Ethernet And RDMA: Issues At Hyperscale 。在文章中談及了HPC 模擬和建模、AI 訓(xùn)練和推理以及大規(guī)模運(yùn)行的存儲工作負(fù)載在 RoCE 和他們需要修復(fù)。但更重要的是，作者認(rèn)為現(xiàn)在是真正融合 HPC 和超大規(guī)模數(shù)據(jù)中心結(jié)構(gòu)的時候了。

“數(shù)據(jù)中心在過去十年中經(jīng)歷了巨大的增長，連接機(jī)器的數(shù)量超過了當(dāng)今最大的超級計算機(jī)的規(guī)模，”作者寫道，這是我們一段時間以來看到的最大的輕描淡寫之一，鑒于如果谷歌、AWS 或微軟中的任何一個愿意，它們都可以獨(dú)自擁有整個超級計算 500 強(qiáng)排名。也許只有幾個地區(qū)。“雖然仍存在一些差異，但此類超大規(guī)模數(shù)據(jù)中心和超級計算機(jī)的網(wǎng)絡(luò)要求非常相似。然而，傳統(tǒng)上超級計算機(jī)使用專用互連進(jìn)行連接，而數(shù)據(jù)中心則建立在以太網(wǎng)上。由于相似的要求和規(guī)模經(jīng)濟(jì)，隨著每一代新技術(shù)的出現(xiàn)，兩者的聯(lián)系越來越緊密。

如果我們都足夠努力地夢想，并通過某種標(biāo)準(zhǔn)機(jī)構(gòu)一起實(shí)現(xiàn)，也許我們可以獲得我們都想要的 InfiniBand。（好吧，不是思科。）CXL 不是必需的，因為它已經(jīng)內(nèi)置了幾十年。當(dāng)您看著墻上所有漂亮的燈光并感覺與地球融為一體時，咀嚼一會兒。

THE UPPER ECHELON

對于大多數(shù)企業(yè)來說，大多數(shù)時候，服務(wù)器上的 10 Gb/秒甚至 25 Gb/秒端口都可以，而 PC 的 10 Gb/秒端口就足夠了。令人瘋狂的是，10 Gb/秒和更慢的以太網(wǎng)交換設(shè)備在世界上的銷量仍然如此之高，這就是原因。

但對于市場的一部分——推動創(chuàng)新的部分以及交換機(jī) ASIC 制造商和交換機(jī)制造商收入流中越來越大的一部分——100 Gb/秒以太網(wǎng)是最低限度，如果他們可以擁有 PCI-Express 6.0 插槽和今天的 800 Gb/秒以太網(wǎng)端口，他們會拿走它們并抱怨一下，但每個端口要支付成千上萬美元才能獲得它們。該論文的作者認(rèn)為，他們的應(yīng)用程序——HPC、人工智能和存儲——正在推動 100 倍的帶寬和 10 倍的消息速率，并且“幾十年前對負(fù)載平衡、擁塞控制和錯誤處理的簡單假設(shè)不適用于今天的網(wǎng)絡(luò)。”

如果有的話，這篇論文說明了這樣的想法，即網(wǎng)絡(luò)確實(shí)是計算機(jī)，并且試圖使像以太網(wǎng)這樣的有損、丟包技術(shù)表現(xiàn)得像有序、無損的 InfiniBand 結(jié)構(gòu)一樣，涉及做出會產(chǎn)生意想不到的后果的不自然行為。本文多次使用感嘆號，考慮到網(wǎng)絡(luò)設(shè)計者通常將憤怒作為應(yīng)對這些意外后果的唯一手段，它們是完全有道理的。

優(yōu)先流控制或 PFC （Priority Flow Control）是使以太網(wǎng)無損的解決方案，并且似乎是問題的重要組成部分。HPC、AI 和存儲應(yīng)用程序不喜歡丟棄的數(shù)據(jù)包，而以太網(wǎng)被明確設(shè)計為不關(guān)心，它始終可以重新傳輸丟棄的數(shù)據(jù)包。這在您共享文件或在辦公室打印某些東西的局域網(wǎng)上很好，但這種態(tài)度會使這些跨數(shù)據(jù)中心的工作負(fù)載下降并變得繁榮。使用 PFC 的想法是通過在交換機(jī)上放置大而昂貴的緩沖區(qū)并祈禱它們不會填滿來幫助以太網(wǎng)不丟棄數(shù)據(jù)包。

這是一個很好的，直接從論文上摘錄下來的內(nèi)容。

“傳統(tǒng)上，數(shù)據(jù)中心交換機(jī)具有大（深）緩沖區(qū)以適應(yīng)流量突發(fā)，而不會掉線以適應(yīng)緩慢的端到端速率調(diào)整。另一方面，由于其可靠的鏈路級流量控制機(jī)制，HPC 中使用的交換機(jī)通常在非常淺的緩沖區(qū)和嚴(yán)格的背壓下無損運(yùn)行。此外，HPC 網(wǎng)絡(luò)拓?fù)涞闹睆酵ǔ５陀跀?shù)據(jù) [中心部署。因此，HPC 部署支持低延遲操作，因為小數(shù)據(jù)包不太可能在較長流后面的緩沖區(qū)中等待。具有 RoCE 的數(shù)據(jù)中心網(wǎng)絡(luò)通常將兩者低效地結(jié)合在一起：它們使用無損傳輸，但存在相對較大的緩沖交換機(jī)的所有問題。因此，許多現(xiàn)代擁塞控制機(jī)制旨在保持緩沖區(qū)占用率普遍較低，讓這種非常昂貴的資源閑置！”

這是一種會讓分布式系統(tǒng)架構(gòu)師發(fā)瘋的事情。

另一件需要 looksee 的事情是前向糾錯，或 FEC，以及未來的Etherband，這是對此的另一個可能名稱。（Infininet也適用。）

如您所見，為了支持更高的帶寬，我們將在端口上提高信號速率，并且 FEC 的延遲必須降低。但正如您所見，F(xiàn)EC 解碼占用了越來越多的總 FEC 延遲，并且可能需要更復(fù)雜的 FEC 機(jī)制來增加更多延遲。（我們注意到，正如該論文所說，PCI-Express 6.0 和 7.0 提出了一種新穎的編碼和糾錯方式，我們認(rèn)為它可能會被以太網(wǎng)和 InfiniBand 所采用。）

論文中的下圖很有趣，因為它顯示了帶寬延遲乘積——字面意思是數(shù)據(jù)鏈路容量（以比特每秒為單位）乘以往返延遲時間（以秒為單位）。保持高往返時間的網(wǎng)絡(luò)業(yè)務(wù)是有問題的，這表明 Microsoft Azure HPC 對 InfiniBand 的喜愛程度，但可能不是最高帶寬。

事實(shí)證明，這張圖表來自另一篇論文，Hoefler 是該論文的撰稿人，該論文于去年發(fā)表，名為“ Noise In The Clouds: Influence Of Network Performance Variability On Application Scalability.”

鑒于論文中詳細(xì)概述的眾多問題，本文背后的研究人員得出以下結(jié)論：

“這種下一代以太網(wǎng)可能會支持 RDMA 連接的有損和無損傳輸模式，以實(shí)現(xiàn)智能交換機(jī)緩沖區(qū)管理。這將使凈空緩沖區(qū)的配置成為可選的，并避免其他問題，例如無損網(wǎng)絡(luò)的受害者流和擁塞樹。下一代以太網(wǎng)也不太可能采用 go back-n 重傳語義，而是選擇更細(xì)粒度的機(jī)制，例如選擇性確認(rèn)。此外，它可能會使擁塞管理成為規(guī)范的一部分。將特別注意與其他流的共置，尤其是在有損流量類別中。這些協(xié)議將以靈活的方式設(shè)計，以支持智能網(wǎng)絡(luò)堆棧，安全性最終將成為一等公民。”

我們正試圖召集其中的一些研究人員，看看這實(shí)際上是如何發(fā)生的，以及何時發(fā)生。

同時，盡可能使用 InfiniBand 或 Slingshot，必要時使用以太網(wǎng)。

編輯：黃飛

?