NVIDIA 帶來知乎精彩問答甄選系列,將為您精選知乎上有關 NVIDIA 產品的精彩問答。
本期將為您帶來更多 NVIDIA 網絡平臺的介紹。
以下兩個知乎甄選問答將為您帶來更多關于 NVIDIA Spectrum-X800 平臺和 NVIDIA Quantum-X800 平臺的信息!
Q:NVIDIA Spectrum-X800 平臺是什么,能否詳細介紹一下?
A:
NVIDIA Spectrum-X800 平臺是業界第一代 800Gb/s 的以太網網絡平臺,包括了 NVIDIA Spectrum SN5600 800Gb/s 以太網交換機和 NVIDIA BlueField-3 SuperNIC,為多租戶生成式 AI 云和大型企業級用戶提供了各種至關重要的先進功能。其核心結構是交換機 + SuperNIC(超級網卡)+ LinkX + DOCA 軟件開發包 + NCCL 集合通信庫。
大模型的發展推動了 AI 云的爆發性增長,由于資金、經驗、時間、能耗等因素的影響,很多 AI 用戶選擇通過云的方式解決算力問題。如何快速構建 AI 云,在云上提供高性能的算力資源,保障多用戶上云和運行業務的安全性,避免多用戶運行多任務時的互相干擾導致業務性能降低,是當前 AI 云提供商首要考慮的問題。NVIDIA Spectrum-X800 通過優化網絡性能,加快 AI 工作負載的處理、分析和執行速度,進而縮短 AI 解決方案的開發、部署和上市時間。Spectrum-X800 專為多租戶環境打造,實現了每個租戶的 AI 工作負載的性能隔離,使業務性能能夠持續保持在最佳狀態,提升客戶滿意度和服務質量。
NVIDIA Spectrum-X800 平臺的出現是生成式 AI 云發展的必然趨勢,AI 云的出現徹底顛覆了數據中心對于網絡的需求。傳統的數據中心運行的任務多,但是單任務的算力需求不大,任務的耦合性不強,網絡的性能對于業務的影響不大。但是大模型的出現,替代了大量的傳統任務,All In AI 成為了很多云服務商和數據中心的追求目標,數據中心成為了運行少量的 AI 任務,但是每個 AI 任務的計算量都相當大,且每個計算單元之間的耦合性很強,網絡決定了數據中心的性能。Spectrum-X800 平臺是基于 NCCL 的全面 RoCE 端到端優化平臺,涵蓋了對于 AI 訓練至關重要的動態路由(AR - Adaptive Routing)、可編程擁塞控制等技術和業務性能隔離技術等,可以充分發揮網絡的通信效率,擺脫了以太網難擴展的桎梏,保障了云上任務的性能和安全性。
Q:大神們介紹下 NVIDIA Quantum-X800 平臺?
A:
NVIDIA Quantum-X800 平臺是業界第一代 800Gb/s 的端到端高性能網絡平臺,包括了 NVIDIA Quantum Q3400 交換機和 NVIDIA ConnectX-8 SuperNIC,它的出現,樹立了 AI 專用基礎設施極致性能的新標桿。其核心結構是:交換機 + SuperNIC(超級網卡)+ PCIe 交換機 + LinkX + 網絡計算引擎 + NCCL 集合通信庫。
大模型的發展推動著算力的不斷提升,同時降低算力功耗的需求也已經變得更為苛刻。如何在提升計算性能同時,又能降低能源的消耗,更高性能的 GPU 和網絡是構建新型 AI 基礎設施的關鍵。NVIDIA Quantum-X800 平臺是專為 NVIDIA Blackwell 架構產品的 Scale Out 而量身打造,為超過萬億參數級的 GPU 計算和 AI 基礎設施進行了全面的優化,相比上一代計算平臺實現了性能的大幅提升,同時在同等算力的前提下又實現了功耗的大幅降低。
Quantum-X800 是 Quantum-2 平臺的下一代產品,在 Quantum-2 平臺的基礎之上,進一步提升了端口的速度、交換機端口的密度、網絡計算的能力、以及在軟件上和業界流行的通信框架上進行了更深層優化,單交換機可支持 144 個 800GB/s 端口,實現了 FP8 的網絡計算,SuperNIC 內置 PCIe6.0 交換機,可直連 GPU 和 CPU,擺脫了 GPU 和網絡之間的通信需要依賴于 CPU 或者 PCIe 交換機總線帶寬的限制,大幅提升了 AI、數據處理和高性能計算的性能。
Quantum Q3400 平臺可以支持 14.4TFlops 的網絡計算能力(SHARPv4),是上一代交換機的 9 倍,可以卸載 GPU 和 CPU 的計算類集合通信;Connect-X800 SuperNIC 可以通過內置 PCIe6.0 交換機直接與最新的 Blackwell 架構產品互連,提供 800Gb/s 的單端口網絡通信帶寬,僅用兩層網絡交換就可以支持 10,368 卡的 800Gb/s/GPU 互連或者 13,824 卡的 400Gb/s/GPU 互連,三層網絡可以支持超過 70 萬張卡的 800Gb/s/GPU 互連。
NVIDIA Quantum-X800 平臺實現了單端口性能的加倍,交換容量的 5 倍提升,網絡計算能力的 9 倍提升,為大模型訓練和生成式 AI 提供超強的性能。
-
以太網
+關注
關注
40文章
5425瀏覽量
171723 -
NVIDIA
+關注
關注
14文章
4986瀏覽量
103058 -
網絡平臺
+關注
關注
0文章
19瀏覽量
8032
原文標題:NVIDIA 知乎精彩問答甄選 | 探索 NVIDIA 網絡平臺
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論