在生成式 AI 時(shí)代，加速網(wǎng)絡(luò)對(duì)于為大規(guī)模分布式 AI 工作負(fù)載構(gòu)建高性能計(jì)算平臺(tái)至關(guān)重要。NVIDIA 在加速網(wǎng)絡(luò)領(lǐng)域繼續(xù)保持領(lǐng)先地位，提供先進(jìn)的以太網(wǎng)和 InfiniBand 解決方案，可最大限度地提高 AI 工廠和云數(shù)據(jù)中心的性能和效率。

這些解決方案的核心是NVIDIA SuperNIC，一種專為超大規(guī)模 AI 工作負(fù)載而優(yōu)化的新型網(wǎng)絡(luò)加速器。這些 SuperNIC 是NVIDIA Spectrum-X 以太網(wǎng)和Quantum-X800 InfiniBand 網(wǎng)絡(luò)平臺(tái)的關(guān)鍵組件，旨在提供前所未有的可擴(kuò)展性和性能。

ConnectX-8 SuperNIC 是 NVIDIA SuperNIC 產(chǎn)品系列中的新成員，與 BlueField-3 SuperNIC 一起，共同推動(dòng)加速的大規(guī)模 AI 計(jì)算網(wǎng)絡(luò)的新一輪創(chuàng)新浪潮。ConnectX-8 SuperNIC 的總數(shù)據(jù)吞吐量為 800 Gb/s，可為萬億級(jí)參數(shù)的 AI 模型提供所需的速度、網(wǎng)絡(luò)健壯性和可擴(kuò)展性，并與 NVIDIA 交換機(jī)無縫集成，以實(shí)現(xiàn)最佳性能。

本文將探討 NVIDIA SuperNIC 的獨(dú)特屬性及其在推進(jìn)現(xiàn)代 AI 基礎(chǔ)設(shè)施發(fā)展方面的關(guān)鍵作用。

RoCE 對(duì)于 AI 工作負(fù)載的重要性

對(duì)于 AI 模型訓(xùn)練來說，在數(shù)據(jù)中心內(nèi)的 GPU 之間高速傳輸龐大的數(shù)據(jù)集是 AI 方案縮短訓(xùn)練時(shí)間和加快上市時(shí)間的關(guān)鍵。

NVIDIA SuperNIC 具備了出色的硬件 RoCE 加速功能，可實(shí)現(xiàn)高達(dá) 800 Gb/s 的 GPUDirect RDMA 通信速度，解決了旁路 CPU 在 GPU 之間實(shí)現(xiàn)直接數(shù)據(jù)傳輸面臨的挑戰(zhàn)。

這種直接通信的方法可最大限度地減少 CPU 開銷并降低延遲，在 GPU 顯存之間實(shí)現(xiàn)更快、更高效的數(shù)據(jù)傳輸。在實(shí)際應(yīng)用中，此功能可實(shí)現(xiàn)更高的并行度，在 AI 工作負(fù)載多節(jié)點(diǎn)擴(kuò)展時(shí)，不會(huì)出現(xiàn)傳統(tǒng)的基于 CPU 的數(shù)據(jù)傳輸常見的的通信瓶頸。

通過 Spectrum-X RoCE 動(dòng)態(tài)路由

提升 AI 性能

NVIDIA SuperNIC 的直接數(shù)據(jù)放置（DDP）功能是 Spectrum-X 平臺(tái)提升 AI 網(wǎng)絡(luò)性能的關(guān)鍵之一。

隨著生成式 AI 工作負(fù)載擴(kuò)展到了數(shù)千個(gè)節(jié)點(diǎn)以上，以等價(jià)多路徑（ECMP）為代表的傳統(tǒng) IP 路由協(xié)議再難以處理 AI 模型生成的大規(guī)模、持續(xù)的數(shù)據(jù)流（俗稱大象流）。這些流可能會(huì)使網(wǎng)絡(luò)資源不堪重負(fù)，并導(dǎo)致?lián)砣瑥亩档驼w網(wǎng)絡(luò)性能。

Spectrum-X RoCE 動(dòng)態(tài)路由可以在可用的網(wǎng)絡(luò)路徑中動(dòng)態(tài)調(diào)整流量的分配，確保需要高帶寬的流以最佳方式路由，以防止網(wǎng)絡(luò)擁塞。該方法利用 NVIDIA Spectrum-4 以太網(wǎng)交換機(jī)可在多個(gè)路徑上均勻分發(fā)數(shù)據(jù)包的負(fù)載均衡功能，避免了傳統(tǒng)靜態(tài)路由機(jī)制造成的瓶頸。

然而，使用這樣的數(shù)據(jù)包分發(fā)的方式，可能會(huì)導(dǎo)致數(shù)據(jù)包亂序問題的出現(xiàn)。

NVIDIA SuperNIC 通過在數(shù)據(jù)包到達(dá)接收端時(shí)將其直接按序放入緩沖區(qū)來解決了這一問題，確保了應(yīng)用能收到正確順序的數(shù)據(jù)。這種 NVIDIA 交換機(jī)和 SuperNIC 之間的緊密合作，實(shí)現(xiàn)了高效、高速的 AI 工作負(fù)載通信，確保大規(guī)模 AI 模型能夠持續(xù)地處理數(shù)據(jù)，而不會(huì)中斷或降低性能。

解決 AI 網(wǎng)絡(luò)的擁塞問題

由于 AI 工作負(fù)載的突發(fā)性，因此極易受到網(wǎng)絡(luò)擁塞的影響。AI 模型訓(xùn)練（尤其是通過集合通信在多個(gè) GPU 之間進(jìn)行同步和共享數(shù)據(jù)時(shí)）會(huì)產(chǎn)生頻繁且短暫流量峰值，這需要先進(jìn)的擁塞管理機(jī)制來保持網(wǎng)絡(luò)的性能。傳統(tǒng)的擁塞控制方法（例如基于 TCP 的流量控制）無法處理這種 AI 獨(dú)特的流量模型。

為了解決這一問題，Spectrum-X 采用了基于 Spectrum-4 交換機(jī)的實(shí)時(shí)遙測(cè)功能的先進(jìn)擁塞控制機(jī)制，使得 SuperNIC 能夠根據(jù)當(dāng)前的網(wǎng)絡(luò)利用率主動(dòng)地調(diào)整數(shù)據(jù)發(fā)送的速率，防止擁塞，避免問題的發(fā)生。

通過使用帶內(nèi)高頻遙測(cè)數(shù)據(jù)，SuperNIC 可以以微秒級(jí)精度作出反應(yīng)，確保即使在高流量條件下也能優(yōu)化網(wǎng)絡(luò)帶寬并盡可能降低延遲。

使用增強(qiáng)的可編程 I/O 加速 AI 網(wǎng)絡(luò)

隨著 AI 工作負(fù)載日益復(fù)雜，網(wǎng)絡(luò)基礎(chǔ)設(shè)施不僅必須在速度上不斷發(fā)展，還需要在適應(yīng)性方面進(jìn)步，以支持?jǐn)?shù)千個(gè)節(jié)點(diǎn)之間的各種通信模式。

NVIDIA SuperNIC 處于這項(xiàng)創(chuàng)新的前沿，提供增強(qiáng)的可編程 I/O 功能，這些功能對(duì)于現(xiàn)代 AI 數(shù)據(jù)中心環(huán)境至關(guān)重要。這些 SuperNIC 具有加速數(shù)據(jù)包處理管線，能夠以線速運(yùn)行，吞吐量高達(dá) 800 Gb/s。

通過將數(shù)據(jù)包處理任務(wù)從 CPU 卸載到 SuperNIC，此管道可顯著降低網(wǎng)絡(luò)延遲并提高整體系統(tǒng)效率。管道的可編程性由 NVIDIA DOCA 軟件框架提供支持，為網(wǎng)絡(luò)專業(yè)人員提供了大規(guī)模構(gòu)建和優(yōu)化網(wǎng)絡(luò)的靈活性。

NVIDIA SuperNIC 采用數(shù)據(jù)路徑加速器（DPA），可增強(qiáng)可編程性。DPA 是一種高度并行的 I/O 處理器，配備 16 個(gè)超線程核心，專為處理 I/O 密集型工作負(fù)載而設(shè)計(jì)。它可以通過 DOCA 針對(duì)設(shè)備仿真、擁塞控制和流量管理等各種低代碼應(yīng)用程序輕松進(jìn)行編程。這種可編程性使組織能夠根據(jù)其 AI 工作負(fù)載的特定需求定制網(wǎng)絡(luò)基礎(chǔ)設(shè)施，確保數(shù)據(jù)在保持峰值性能的同時(shí)跨網(wǎng)絡(luò)高效流動(dòng)。

保護(hù) AI 網(wǎng)絡(luò)連接

保護(hù) AI 模型對(duì)于保護(hù)敏感數(shù)據(jù)和知識(shí)產(chǎn)權(quán)免遭潛在的漏洞和對(duì)抗性攻擊至關(guān)重要。當(dāng)您的組織構(gòu)建 AI 工廠和云數(shù)據(jù)中心時(shí)，您需要有效的安全解決方案來解決可能損害模型性能和可信度的漏洞，最終保護(hù)競(jìng)爭優(yōu)勢(shì)和用戶隱私。

傳統(tǒng)的網(wǎng)絡(luò)加密方法通常難以擴(kuò)展到 100 Gb/s 以上，從而使關(guān)鍵數(shù)據(jù)處于危險(xiǎn)之中。相比之下，NVIDIA SuperNIC 可提供加速網(wǎng)絡(luò)和在線加密加速，速度高達(dá) 800 Gb/s，確保數(shù)據(jù)在傳輸過程中保持加密狀態(tài)，同時(shí)實(shí)現(xiàn)峰值 AI 性能。

NVIDIA SuperNIC 為 IPsec、TLS 和可擴(kuò)展的 PSP 加密操作提供硬件加速支持，為保護(hù)人工智能網(wǎng)絡(luò)環(huán)境提供成熟的解決方案。

PSP 由 Google 開發(fā)，并為開源社區(qū)做出了貢獻(xiàn)。PSP 從一開始就采用無狀態(tài)設(shè)計(jì)，非常適合支持超大規(guī)模數(shù)據(jù)中心環(huán)境的需求。該架構(gòu)允許獨(dú)立處理每個(gè)請(qǐng)求，從而增強(qiáng)在分布式系統(tǒng)中管理加密操作的可擴(kuò)展性和彈性。

結(jié)束語

在生成式 AI 的動(dòng)態(tài)格局中，NVIDIA SuperNIC 作為 NVIDIA Spectrum-X 和 Quantum-X800 網(wǎng)絡(luò)平臺(tái)不可或缺的一部分，為網(wǎng)絡(luò)的變革時(shí)代奠定了基礎(chǔ)。