水之積也不厚，則其負(fù)大舟也無力，如果將高性能計(jì)算、機(jī)器學(xué)習(xí)、大數(shù)據(jù)、云、web3.0 、存儲平臺等應(yīng)用看作“舟”，那InfiniBand網(wǎng)絡(luò)無疑是承載這些大舟的水。隨著數(shù)據(jù)的爆發(fā)式增長，這些應(yīng)用對網(wǎng)絡(luò)帶寬、延時(shí)、效率的要求不斷提升，面對這些挑戰(zhàn)，NVIDIA也相繼推出InfiniBand 100G EDR、200G HDR以及400G NDR的解決方案。

納多德是NVIDIA網(wǎng)絡(luò)產(chǎn)品的Elite Partner，在InfiniBand高性能網(wǎng)絡(luò)建設(shè)與應(yīng)用加速方面擁有深刻的業(yè)務(wù)理解和豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。納多德基于QM8700、QM8790交換機(jī)、HDR網(wǎng)卡與AOC/DAC/光模塊，構(gòu)建InfiniBand高性能網(wǎng)絡(luò)，提供更出色的數(shù)據(jù)吞吐和網(wǎng)絡(luò)計(jì)算能力，滿足越來越高的計(jì)算需求。

什么是InfiniBand？

InfiniBand (IB) 是一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)通信標(biāo)準(zhǔn)，在高性能計(jì)算（HPC）領(lǐng)域有廣泛的應(yīng)用，可以提供高吞吐帶寬和超低的網(wǎng)絡(luò)傳輸時(shí)延。IB可以用于計(jì)算機(jī)內(nèi)部或外部的數(shù)據(jù)互聯(lián)。通過直連或者交換機(jī)互聯(lián)的方式，提供服務(wù)器與存儲，存儲設(shè)備之間的高性能網(wǎng)絡(luò)。IB網(wǎng)絡(luò)可以通過交換機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)橫向擴(kuò)展，適應(yīng)各種規(guī)模的組網(wǎng)需求。

圖一 InfiniBand速率演進(jìn)

作為計(jì)算機(jī)集群互聯(lián)技術(shù)，IB技術(shù)相比以太網(wǎng)/Fibre Channel 和已經(jīng)淘汰的Omni-Path技術(shù)有明顯的優(yōu)勢，是InfiniBand Trade Association（IBTA）主要推薦的網(wǎng)絡(luò)通信技術(shù)。從2014年開始，大多數(shù)的TOP500 超級計(jì)算機(jī)都采用了InfiniBand網(wǎng)絡(luò)技術(shù)。近些年，AI/大數(shù)據(jù)相關(guān)的應(yīng)用，也已經(jīng)大規(guī)模的采用IB網(wǎng)絡(luò)實(shí)現(xiàn)高性能的集群部署，其中Top100的超算中心有62%是使用的IB技術(shù)（2022年6月數(shù)據(jù)）。

圖二 Top 100超算中心網(wǎng)絡(luò)選擇

InfiniBand較Omni-Path的優(yōu)勢

盡管NVIDIA已經(jīng)推出了IB 400G NDR的解決方案，但現(xiàn)階段仍有部分客戶在使用100G解決方案。對于100G的高性能網(wǎng)絡(luò)，常用的方案有Omni-Path和IB兩種，雖然速率相同，性能相似，但網(wǎng)絡(luò)結(jié)構(gòu)差異巨大。以400節(jié)點(diǎn)集群為例，使用IB方案只需要15臺NVIDIA Quantum 8000系列交換機(jī)+200條200G分支線纜與200條200G直連線纜；而使用Omni-Path則需要24臺交換機(jī)+876條100G直連線纜（384節(jié)點(diǎn)）。IB方案在前期的設(shè)備成本以及后期運(yùn)維成本上都極具優(yōu)勢，且整體功耗遠(yuǎn)低于Omni-Path，更加環(huán)保。

圖三 InfiniBand方案與Omni-Path方案對比

InfiniBand HDR產(chǎn)品方案介紹

從客戶端的需求來看，EDR正逐步退出市場，NDR速率太高，目前只有頭部客戶嘗試使用，HDR憑借HDR 100G與HDR 200G的靈活性得到了廣泛應(yīng)用。在這里，納多德針對HDR產(chǎn)品方案做詳細(xì)介紹。

HDR交換機(jī)

HDR交換機(jī)有兩類，一類是HDR CS8500框式交換機(jī)，一臺29U的交換機(jī)提供最多800 個(gè)HDR 200Gb/s 端口，每個(gè)200G端口支持拆分為2X100G，即可支持1600個(gè)HDR100 100Gb/s端口。

另一類是QM8000系列盒式交換機(jī)，1U的面板上集成了40個(gè)200G QSFP56端口，最多可拆分為80個(gè)HDR 100G端口用來下連100G HDR網(wǎng)卡，同時(shí)每個(gè)端口也支持EDR，與EDR的網(wǎng)卡直連，需要注意的是200G HDR端口只能降速至100G與EDR網(wǎng)卡互聯(lián)，無法拆分為2X100G連接兩張EDR網(wǎng)卡。

圖四 QM8700前面板

200G HDR盒式交換機(jī)有兩種選擇：QM8700和QM8790，兩個(gè)型號交換機(jī)唯一區(qū)別在管理方式上，QM8700有control口支持帶外管理，QM8790則需要NVIDIA Unified Fabric Manager (UFM?) platform進(jìn)行管理。

圖五 QM8790前面板

對于QM8700和QM8790，每個(gè)型號的交換機(jī)都有兩種風(fēng)向選擇，其中8790-HS2F為 P2C airflow(前后風(fēng)道) 風(fēng)扇模塊上藍(lán)色標(biāo)記，如果不認(rèn)識標(biāo)記，也可以用手浮在交換機(jī)的進(jìn)風(fēng)和出風(fēng)口來辨別；8790-HS2R為 C2P airflow(后前風(fēng)道)風(fēng)扇模塊上紅色標(biāo)記。這里P2C和C2P中 P表示Power電源，C表示Cable（線路接口），P2C（Power to Cable），C2P（Cable to Power ）這里參照系是Power電源側(cè)為前，Cable線路接口側(cè)為后。

表一 HDR交換機(jī)型號參數(shù)

QM8700和QM8790在實(shí)際使用中一般有兩種方式，一是與200G HDR網(wǎng)卡互連，直接使用200G to 200G AOC/DAC即可；還有一種常見的使用方式是與100G HDR網(wǎng)卡互連，需要使用200G to 2X100G線纜，在使用的時(shí)候是將交換機(jī)的一個(gè)物理200G（4X50G） QSFP56端口拆分為2個(gè)虛擬的100G（2X50G）端口，在拆分之后該端口的符號從x/y更改為x/ Y /z，其中“x/ Y”表示拆分之前端口的先前符號，“z”表示產(chǎn)生的單車道端口的編號(1,2)，然后將每個(gè)子物理端口作為單個(gè)端口。

圖六 HDR二層胖樹典型結(jié)構(gòu)

HDR網(wǎng)卡

HDR的網(wǎng)卡相對交換機(jī)來說種類豐富很多。首先，在速率上有兩種選擇HDR100與HDR，其中HDR100網(wǎng)卡支持100G的傳輸速率，2個(gè)HDR100端口可通過200G to 2X100G線纜與HDR交換機(jī)互聯(lián)。與100G EDR網(wǎng)卡不同，HDR100網(wǎng)卡的100G端口既支持4X25G NRZ傳輸，也支持2X50G PAM4傳輸。HDR網(wǎng)卡支持200G的傳輸速率，可直接使用200G直連線纜與交換機(jī)互聯(lián)。除了有兩種接口速率之外，每種速率的網(wǎng)卡可根據(jù)業(yè)務(wù)需求選擇單口和雙口以及PCIe的類型，納多德提供的常用IB HDR網(wǎng)卡型號如下：

表二 HDR網(wǎng)卡型號參數(shù)

InfiniBand網(wǎng)絡(luò)架構(gòu)簡單，但方案選擇卻有多樣，100G速率既有100G EDR方案，也有100G HDR方案；200速率也有HDR和200G NDR兩種選擇，不同的方案下使用到的網(wǎng)卡、連接件、交換機(jī)都有較大區(qū)別。

NADDOD作為NVIDIA Elite級別合作伙伴，可以根據(jù)不同客戶的需求提供完整的InfiniBand解決方案。納多德資深技術(shù)工程師擁有豐富的InfiniBand高性能網(wǎng)絡(luò)方案設(shè)計(jì)與項(xiàng)目實(shí)施服務(wù)經(jīng)驗(yàn)，可根據(jù)用戶不同的應(yīng)用場景，提供最優(yōu)的QM8700/QM8790交換機(jī)+HDR網(wǎng)卡+AOC/DAC/光模塊產(chǎn)品組合方案，實(shí)現(xiàn)超強(qiáng)性能和可擴(kuò)展性，以更低的成本和出色的性能，為高性能計(jì)算 (HPC)、人工智能等應(yīng)用提高投資回報(bào)率。







審核編輯：劉清