在過去十年中,云計算每年增長20%,成為了價值1萬億美元的巨大行業大約3000萬臺CPU服務器完成大部分處理工作,另外,減少碳排放這任務從根本上與增加數據中心的需求相悖,未經過加速的工作負載都將會在CPU上進行處理在AI和云服務中。
在GTC 2023開發者大會上,英偉達向我們介紹了關于他在云計算領域的三個大動作。
首先,英偉達與微軟Azure、Google GCP和Oracle OCI三家云廠商合作推出了NVIDIA DGX Cloud。NVIDIA DGX Cloud是一項人工智能超級計算服務,它可以讓企業快速訪問為生成式人工智能和其他開創性應用訓練高級模型所需的基礎設施和軟件。通過一個瀏覽器,客戶就可以將英偉達DGX AI超級計算機實時接入公司。
其次,面向具有構建、優化和運營定制大語言模型和生成式AI需求的客戶,英偉達推出云服務NVIDIA AI Foundations,提供語言、數據和生物學模型的定制服務。
同時,針對ChatGPT等大語言模型的推理訓練,英偉達推出了新的GPU H100。H100配備有94GB HBM3的顯存,可以支持參數規模達到1750億的GPT-3,并將大語言模型的處理成本降低一個數量級。
NVIDIA DGX Cloud將透過多個云端服務供應商提供,微軟Azure預計于下一季起托管DGX Cloud服務,包括Google Cloud等業者也將陸續開始供應服務,DGX Cloud執行個體價格為每個執行個體每月36,999美金起。
每個DGX Cloud執行個體皆有8個NVIDIA H100或NVIDIA A100 80GB Tensor GPU,單一節點具備640GB 的GPU記憶體,并透過NVIDIA Networking技術提供高效能、低延遲網路,使多個執行個體等同一個超大型GPU。
文章綜合和訊 、格隆匯APP、CNMO手機中國
-
云計算
+關注
關注
39文章
7848瀏覽量
137635 -
英偉達
+關注
關注
22文章
3823瀏覽量
91557 -
gtc
+關注
關注
0文章
73瀏覽量
4434
發布評論請先 登錄
相關推薦
評論