世界頂級服務器制造商和云服務提供商即將推出 HGX H200 系統與云實例。
11月13日,NVIDIA 宣布推出 NVIDIA HGX H200,為 Hopper 這一全球領先的 AI 計算平臺再添新動力。
NVIDIA H200 是首款采用 HBM3e 的 GPU,其運行更快、更大的顯存容量將進一步加速生成式 AI 與大語言模型,同時推進用于 HPC 工作負載的科學計算。憑借 HBM3e,NVIDIA H200 能夠提供傳輸速度達 4.8 TB /秒的 141GB 顯存。與上一代架構的 NVIDIA A100 相比,其容量幾乎翻了一倍,帶寬也增加了 2.4 倍。
全球領先的服務器制造商和云服務提供商預計于 2024 年第二季度開始提供搭載 H200 的系統。
NVIDIA 超大規模和高性能計算副總裁 Ian Buck 表示:“想要通過生成式 AI 和 HPC 應用創造智能,就必須使用大型、快速的 GPU 顯存來高速、高效地處理海量數據。借助 NVIDIA H200,業界領先的端到端 AI 超級計算平臺的速度將會變得更快,一些世界上最重要的挑戰,都可以被解決?!?/p>
持續創新,持續的性能飛躍
與前代架構相比,NVIDIA Hopper架構實現了前所未有的性能躍升,而 H100 持續的軟件升級,包括最近發布的 NVIDIA TensorRT-LLM 等強大的開源庫,都在不斷提升其性能標準。
H200 的推出將帶來進一步的性能飛躍,比如在一個 700 億參數的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。隨著未來軟件的持續升級,H200 有望實現更大的性能優勢與提升。
NVIDIA H200 的規格
NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務器主板可選,其與 HGX H100 系統的硬件和軟件都兼容。同時還可用于今年 8 月發布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper 超級芯片。這些配置使 H200 可以部署在各類數據中心,包括本地、云、混合云和邊緣。
在 NVIDIA NVLink 和 NVSwitch 高速互連技術的加持下,HGX H200 可為各種應用工作負載提供最高的性能,包括針對 1750 億參數以上超大模型的 LLM 訓練和推理。
八路 HGX H200 可提供超過 32 PetaFLOPS 的 FP8 深度學習計算能力和 1.1TB 的聚合高帶寬內存容量,能夠為生成式 AI 和 HPC 應用帶來強勁性能。
當 H200 與采用超高速 NVLink-C2C 互連技術的 NVIDIA Grace CPU 搭配使用時,就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應用而設計的計算模塊。
使用 NVIDIA 全棧式軟件加速 AI
NVIDIA 加速計算平臺具備強大軟件工具支持,能夠助力開發者和企業構建并加速從 AI 到 HPC 的生產就緒型應用,包括適用于語音、推薦系統和超大規模推理等工作負載的 NVIDIA AI Enterprise 軟件套件。
供應情況
NVIDIA H200 將于 2024 年第二季度開始通過全球系統制造商和云服務提供商提供。
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼,立即注冊 GTC 大會。
原文標題:SC23 | NVIDIA 為全球領先的 AI 計算平臺 Hopper 再添新動力
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3820瀏覽量
91502
原文標題:SC23 | NVIDIA 為全球領先的 AI 計算平臺 Hopper 再添新動力
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論