InfiniBand作為一種先進(jìn)的內(nèi)網(wǎng)計(jì)算平臺(tái)，已成為驅(qū)動(dòng)高性能計(jì)算（HPC）、人工智能（AI）以及超大規(guī)模云基礎(chǔ)設(shè)施演進(jìn)的核心力量，其展現(xiàn)出無(wú)可比擬的性能優(yōu)勢(shì)。專為滿足服務(wù)器級(jí)連接需求而設(shè)計(jì)，InfiniBand在服務(wù)器間的高速通信、存儲(chǔ)設(shè)備與網(wǎng)絡(luò)設(shè)施之間的高效互聯(lián)中扮演著至關(guān)重要的角色。這一技術(shù)憑借其卓越性能和可靠表現(xiàn)，不僅被InfiniBand行業(yè)協(xié)會(huì)廣泛接納并積極推廣，更是在全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單（TOP500 list）中占據(jù)了主導(dǎo)地位，成為首選互連解決方案。

值得注意的是，在TOP500系統(tǒng)列表中，有44.4%的系統(tǒng)采用了InfiniBand作為關(guān)鍵的互連技術(shù)手段，遠(yuǎn)超過采用以太網(wǎng)技術(shù)的40.4%份額。接下來(lái)，我們將深入剖析InfiniBand相較于以太網(wǎng)的獨(dú)特之處及其在高性能網(wǎng)絡(luò)環(huán)境中的差異化應(yīng)用價(jià)值。

InfiniBand與以太網(wǎng)的對(duì)比分析

InfiniBand技術(shù)概述

作為一種由InfiniBand貿(mào)易協(xié)會(huì)（IBTA）指導(dǎo)制定的標(biāo)準(zhǔn)化通信規(guī)范，InfiniBand專注于設(shè)計(jì)一種適用于數(shù)據(jù)中心內(nèi)部服務(wù)器、通訊基礎(chǔ)設(shè)施設(shè)備、存儲(chǔ)解決方案以及嵌入式系統(tǒng)之間互連的交換結(jié)構(gòu)體系。其對(duì)標(biāo)準(zhǔn)化的高度關(guān)注確保了在高性能計(jì)算網(wǎng)絡(luò)環(huán)境中各組件間實(shí)現(xiàn)無(wú)縫集成和高效信息傳遞。

InfiniBand憑借其顯著的高帶寬及低延遲特性而聞名遐邇，目前支持諸如FDR 56Gbps、EDR 100Gbps、HDR 200Gbps乃至NDR 400Gbps/800Gbps（通過4x鏈路寬度連接時(shí)的數(shù)據(jù)傳輸速率），并有望在未來(lái)進(jìn)一步提升速度閾值。此外，InfiniBand具備出色的可擴(kuò)展性，可在單個(gè)子網(wǎng)內(nèi)輕松支持?jǐn)?shù)萬(wàn)個(gè)節(jié)點(diǎn)，因此成為高性能計(jì)算（HPC）環(huán)境的理想選擇。同時(shí)，借助服務(wù)質(zhì)量（QoS）和故障轉(zhuǎn)移功能，InfiniBand成為了非易失性內(nèi)存快速結(jié)構(gòu)化接口（NVMe-oF）存儲(chǔ)協(xié)議以及包括以太網(wǎng)、光纖通道（FC）和TCP/IP在內(nèi)的多種網(wǎng)絡(luò)架構(gòu)中的關(guān)鍵組件。對(duì)于追求卓越性能與極致擴(kuò)展性的數(shù)據(jù)中心而言，采用InfiniBand無(wú)疑是明智之舉。

以太網(wǎng)技術(shù)概述

源自施樂公司、英特爾公司和DEC共同構(gòu)思的以太網(wǎng)標(biāo)準(zhǔn)，已經(jīng)成為全球范圍內(nèi)使用最為廣泛的局域網(wǎng)（LAN）數(shù)據(jù)傳輸通信協(xié)議。自20世紀(jì)70年代起，以太網(wǎng)作為一種有線通信技術(shù)被開創(chuàng)出來(lái)，用于連接各種局域網(wǎng)（LAN）或廣域網(wǎng)（WAN）內(nèi)的設(shè)備。得益于其極高的適應(yīng)性，無(wú)論是打印機(jī)還是筆記本電腦等不同類型的設(shè)備都能夠通過以太網(wǎng)實(shí)現(xiàn)相互連接，應(yīng)用場(chǎng)景廣泛覆蓋建筑樓宇、居民住宅乃至小型社區(qū)。用戶友好的配置方式使得只需通過路由器和以太網(wǎng)連線即可簡(jiǎn)便構(gòu)建LAN網(wǎng)絡(luò)，進(jìn)而整合各類如交換機(jī)、路由器和個(gè)人計(jì)算機(jī)等設(shè)備。

盡管無(wú)線網(wǎng)絡(luò)在許多場(chǎng)合得到廣泛應(yīng)用，但以太網(wǎng)仍憑借其卓越的可靠性和抗干擾能力，在有線網(wǎng)絡(luò)領(lǐng)域保持著首選地位。歷經(jīng)多年的發(fā)展與修訂，以太網(wǎng)不斷提升和完善自身功能。如今，IEEE旗下802.3標(biāo)準(zhǔn)組織已經(jīng)發(fā)布了包括100GE、200GE、400GE和800GE在內(nèi)的多個(gè)以太網(wǎng)接口標(biāo)準(zhǔn)，這體現(xiàn)了業(yè)界持續(xù)推動(dòng)和優(yōu)化以太網(wǎng)技術(shù)的決心與努力。

InfiniBand與以太網(wǎng)在高性能網(wǎng)絡(luò)環(huán)境中的對(duì)比分析

InfiniBand技術(shù)最初旨在解決高性能計(jì)算環(huán)境中集群間數(shù)據(jù)傳輸?shù)钠款i問題，隨著時(shí)間推移，已逐漸演變?yōu)橐环N廣泛應(yīng)用的互連標(biāo)準(zhǔn)，并成功適應(yīng)了現(xiàn)代多樣化的需求。相較于以太網(wǎng)，InfiniBand在帶寬、延遲、網(wǎng)絡(luò)可靠性和網(wǎng)絡(luò)架構(gòu)等方面表現(xiàn)出顯著差異。

網(wǎng)絡(luò)帶寬

InfiniBand的發(fā)展速度較快，尤其體現(xiàn)在其對(duì)高性能計(jì)算場(chǎng)景的高度優(yōu)化和降低CPU處理負(fù)載的能力上。而以太網(wǎng)盡管廣泛應(yīng)用于各類終端設(shè)備間的連接，但在高帶寬需求層面并不像InfiniBand那樣迫切。

網(wǎng)絡(luò)延遲性

InfiniBand采用Cut-Through交換技術(shù)，在轉(zhuǎn)發(fā)數(shù)據(jù)時(shí)能將延時(shí)降至100納秒以內(nèi)，大大提升了網(wǎng)絡(luò)響應(yīng)速度。相比之下，以太網(wǎng)由于在其交換機(jī)中引入了諸如IP、MPLS、QinQ等服務(wù)所帶來(lái)的額外處理流程，導(dǎo)致轉(zhuǎn)發(fā)延時(shí)相對(duì)較高。

網(wǎng)絡(luò)可靠性

InfiniBand憑借明確的第1層至第4層協(xié)議格式設(shè)計(jì)以及端到端流控制機(jī)制，確保了無(wú)損網(wǎng)絡(luò)通信，為高性能計(jì)算領(lǐng)域提供了卓越的可靠性保障。而以太網(wǎng)則缺乏類似的基于調(diào)度的流控制機(jī)制，依賴于芯片更大的緩存區(qū)域臨時(shí)存儲(chǔ)消息，這不僅增加了成本，還加劇了功耗。

網(wǎng)絡(luò)管理

InfiniBand借鑒了軟件定義網(wǎng)絡(luò)（SDN）理念，使其網(wǎng)絡(luò)架構(gòu)更為簡(jiǎn)潔高效。每個(gè)第二層網(wǎng)絡(luò)內(nèi)部都配備了一個(gè)子網(wǎng)管理器，用于配置節(jié)點(diǎn)并智能計(jì)算轉(zhuǎn)發(fā)路徑信息。與此相反，以太網(wǎng)需要依賴MAC地址條目、IP協(xié)議以及ARP協(xié)議等多個(gè)層次實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)，從而增加了網(wǎng)絡(luò)管理的復(fù)雜性。此外，以太網(wǎng)依靠定期發(fā)送更新包來(lái)維護(hù)路由表，并通過VLAN機(jī)制劃分虛擬網(wǎng)絡(luò)邊界，限制網(wǎng)絡(luò)規(guī)模；然而這種機(jī)制可能導(dǎo)致環(huán)路等問題出現(xiàn)，因此通常還需要STP等額外協(xié)議來(lái)進(jìn)行環(huán)路避免。

深入解析InfiniBand產(chǎn)品系列

InfiniBand 交換機(jī)和光纖網(wǎng)卡

對(duì)比分析表明，相較于以太網(wǎng)，InfiniBand網(wǎng)絡(luò)在高性能計(jì)算領(lǐng)域展現(xiàn)出了無(wú)可比擬的優(yōu)勢(shì)。對(duì)于計(jì)劃在高級(jí)數(shù)據(jù)中心部署InfiniBand交換機(jī)的用戶而言，有必要深入了解其詳細(xì)性能特點(diǎn)和迭代歷程。歷經(jīng)多年快速發(fā)展，InfiniBand標(biāo)準(zhǔn)已從最初的SDR 10Gbps、DDR 20Gbps、QDR 40Gbps，逐步演進(jìn)到FDR 56Gbps、EDR 100Gbps，并進(jìn)一步發(fā)展為HDR 200Gbps及NDR 400Gbps/800Gbps等更高速率規(guī)格，這些重大突破得益于RDMA（遠(yuǎn)程直接內(nèi)存訪問）技術(shù)的集成應(yīng)用。

飛速（FS）為此提供了一系列先進(jìn)InfiniBand解決方案，其中包括NVIDIA Quantum-2 NDR InfiniBand 400G數(shù)據(jù)中心交換機(jī)以及NVIDIA Quantum HDR InfiniBand 200G數(shù)據(jù)中心交換機(jī)，這兩款產(chǎn)品均支持管理型和非管理型兩種配置模式，以滿足不同客戶對(duì)靈活性的需求。此外，為了確保全方位服務(wù)支持，針對(duì)400G交換機(jī)，飛速（FS）還提供了為期一年、三年或五年的服務(wù)選項(xiàng)，旨在幫助用戶實(shí)現(xiàn)高效穩(wěn)定的數(shù)據(jù)中心運(yùn)行環(huán)境。

InfiniBand光模塊

InfiniBand DAC高速線纜

InfiniBand AOC有源光纜

InfiniBand技術(shù)標(biāo)準(zhǔn)概覽及優(yōu)勢(shì)分析

InfiniBand NDR（下一代數(shù)據(jù)速率）

InfiniBand NDR系列包括了適用于400Gbase/800Gbase傳輸速率的光收發(fā)器與直連銅纜（DAC），旨在兼容Mellanox NDR 400Gb交換機(jī)，如MQM9700/MQM9790系列。這些組件在GPU加速計(jì)算場(chǎng)景中提供了高性能連接，并有望節(jié)省高達(dá)50%的成本。它們特別適合于高性能計(jì)算（HPC）、云計(jì)算、模型渲染和基于InfiniBand 400Gb/800Gb網(wǎng)絡(luò)的存儲(chǔ)應(yīng)用。

InfiniBand HDR（高數(shù)據(jù)速率）

飛速（FS）推出的InfiniBand HDR產(chǎn)品線涵蓋了多樣化的高速互聯(lián)產(chǎn)品，例如200Gb/s和400Gb/s QSFP56 IB HDR多模光纖（MMF）有源/無(wú)源光纜（AOC）、有源/無(wú)源直連銅纜（DAC）、光學(xué)收發(fā)器路由器以及200G交換機(jī)等。這些模塊和電纜能夠無(wú)縫銜接MQM8700/MQM8790等交換機(jī)與NVIDIA GPU（如A100/H100/A30）和CPU服務(wù)器，以及ConnectX-5/6/7 VPI等存儲(chǔ)網(wǎng)絡(luò)適配器。此類解決方案不僅可實(shí)現(xiàn)最高達(dá)50%的成本節(jié)約，而且在涉及GPU加速的高性能計(jì)算（HPC）集群應(yīng)用——包括模型渲染、人工智能（AI）、深度學(xué)習(xí)（DL）以及InfiniBand HDR環(huán)境下的NVIDIA應(yīng)用網(wǎng)絡(luò)通信時(shí)表現(xiàn)出卓越性能。

InfiniBand EDR（增強(qiáng)數(shù)據(jù)速率）

InfiniBand EDR產(chǎn)品系列提供了一系列100Gbase QSFP28 EDR AOC、EDR DAC、AOC及光收發(fā)器，專為GPU加速計(jì)算設(shè)計(jì)，具有成本效益高且性能優(yōu)越的特點(diǎn)。

InfiniBand FDR（十四倍數(shù)據(jù)速率）

InfiniBand FDR產(chǎn)品范圍包括了40Gbase QSFP+ FDR10 AOC、DAC及光收發(fā)器，以及56Gbase QSFP+ FDR DAC和AOC。所有這些產(chǎn)品均可無(wú)縫整合到Mellanox EDR交換機(jī)之中。

InfiniBand在網(wǎng)絡(luò)高效能計(jì)算中的顯著優(yōu)勢(shì)

隨著數(shù)據(jù)通信、互聯(lián)網(wǎng)技術(shù)和可視化展現(xiàn)需求的不斷提升，對(duì)計(jì)算能力、存儲(chǔ)容量以及網(wǎng)絡(luò)效率的需求也隨之增長(zhǎng)。在此背景下，InfiniBand網(wǎng)絡(luò)憑借其提供的高帶寬服務(wù)、低延遲特性以及將協(xié)議處理和數(shù)據(jù)移動(dòng)從CPU轉(zhuǎn)移到互連層以減少計(jì)算資源消耗的獨(dú)特優(yōu)勢(shì)，成為了高性能計(jì)算數(shù)據(jù)中心的理想選擇。此技術(shù)廣泛應(yīng)用于Web 2.0、云計(jì)算、大數(shù)據(jù)處理、金融服務(wù)、虛擬化數(shù)據(jù)中心以及存儲(chǔ)應(yīng)用等領(lǐng)域，帶來(lái)了顯著的性能提升效果。

速度方面，InfiniBand已超越100G以太網(wǎng)，目前支持從100G/200G到400G/800G不等的InfiniBand交換機(jī)配置，完美契合HPC架構(gòu)的高性能要求。InfiniBand交換機(jī)通過高帶寬、高速度與低延遲的有效結(jié)合，有力提升了服務(wù)器效能和應(yīng)用運(yùn)行效率。

擴(kuò)展性是InfiniBand另一項(xiàng)突出優(yōu)點(diǎn)，單個(gè)子網(wǎng)能夠在網(wǎng)絡(luò)層2上支持多達(dá)48,000個(gè)節(jié)點(diǎn)，相比以太網(wǎng)，它減少了對(duì)ARP廣播機(jī)制的依賴，有效避免了廣播風(fēng)暴并減輕了額外帶寬浪費(fèi)。此外，多個(gè)子網(wǎng)可以靈活地關(guān)聯(lián)至交換機(jī)，進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)的靈活性。

飛速（FS）深刻認(rèn)識(shí)到高性能計(jì)算的重要性，因此提供了一系列基于Quantum InfiniBand交換設(shè)備構(gòu)建的InfiniBand產(chǎn)品。這些產(chǎn)品支持高達(dá)16Tb/s的無(wú)阻塞帶寬，并擁有低于130ns的端口間延遲，確保為HPC數(shù)據(jù)中心提供高可用性和多服務(wù)支持。盡管以太網(wǎng)網(wǎng)絡(luò)通過跨多個(gè)設(shè)備分配工作負(fù)載仍不失為有效的數(shù)據(jù)傳輸選項(xiàng)，但FS同樣供應(yīng)一系列多速率以太網(wǎng)交換機(jī)，協(xié)助客戶構(gòu)建既靈活又高效的網(wǎng)絡(luò)環(huán)境。

選擇合適的網(wǎng)絡(luò)

在選擇合適的網(wǎng)絡(luò)技術(shù)時(shí)，InfiniBand與以太網(wǎng)各自在不同應(yīng)用場(chǎng)景中展現(xiàn)出獨(dú)特優(yōu)勢(shì)。當(dāng)聚焦于顯著提升數(shù)據(jù)傳輸速率、優(yōu)化網(wǎng)絡(luò)資源利用率并有效減輕CPU在網(wǎng)絡(luò)數(shù)據(jù)處理方面的負(fù)擔(dān)時(shí)，InfiniBand網(wǎng)絡(luò)憑借其核心技術(shù)優(yōu)勢(shì)，在高性能計(jì)算領(lǐng)域脫穎而出，成為關(guān)鍵的解決方案。

然而，在數(shù)據(jù)中心環(huán)境中，若節(jié)點(diǎn)間通信延遲并非首要考量因素，且更加重視網(wǎng)絡(luò)接入的靈活性與擴(kuò)展性，則以太網(wǎng)網(wǎng)絡(luò)能夠提供一種長(zhǎng)期穩(wěn)定且適應(yīng)性強(qiáng)的基礎(chǔ)設(shè)施支持。

InfiniBand網(wǎng)絡(luò)憑借其卓越性能和創(chuàng)新架構(gòu)設(shè)計(jì)，為HPC數(shù)據(jù)中心用戶帶來(lái)了前所未有的業(yè)務(wù)效能優(yōu)化潛力。通過消除多層級(jí)結(jié)構(gòu)所導(dǎo)致的延遲問題，并確保關(guān)鍵計(jì)算節(jié)點(diǎn)能無(wú)縫升級(jí)接入帶寬，InfiniBand技術(shù)對(duì)于整體運(yùn)營(yíng)效率的提升起到了決定性作用。隨著其應(yīng)用范圍不斷擴(kuò)大和技術(shù)認(rèn)可度持續(xù)攀升，預(yù)計(jì)未來(lái)InfiniBand網(wǎng)絡(luò)將在更多復(fù)雜且要求嚴(yán)苛的應(yīng)用場(chǎng)景中得到廣泛應(yīng)用和部署。