GPU巨頭又出王炸了。

當?shù)貢r間周一，英偉達發(fā)布了新一代人工智能（AI）芯片HGX H200，主打超高容量與更大的帶寬，算力更為精進，主要用于培訓和部署各種人工智能模型。新的H200芯片是當前用于訓練大語言模型H100芯片的升級產品，集成了141GB的內存，更加擅長進行“推理”。在用于推理或生成問題答案時，性能較H100提高60%-90%。

基于英偉達的“Hopper”架構的H200也是該公司第一款使用HBM3e內存的芯片，這種內存速度更快，容量更大，因此更適合大語言模型。英偉達稱：借助HBM3e，H200以每秒4.8TB的速度提供141GB的內存，與A100相比，容量幾乎是其兩倍，帶寬增加了2.4倍。可部署在各種類型的數(shù)據中心中，包括本地、云端、混合云和邊緣環(huán)境等。英偉達認為，相對先前的H100產品，在Llama 2這樣擁有700億參數(shù)大型語言模型上的推論速度將近翻倍提升。

英偉達表示，H200將與H100兼容，這意味著已經在使用H100進行訓練的人工智能公司，不需要改變他們的服務器系統(tǒng)或軟件來適應H200。H200預計將于2024年第二季度上市，將與AMD的MI300X GPU展開競爭。與H200類似，AMD的芯片比其前身擁有更多的內存，這有助于大語言模型來運算推理。

臺積電助攻

H200采用臺積電4nm制程，并進一步增加臺積電CoWoS封裝產能負荷。法人直指，臺積電擴增腳步不停歇，預計本月臺積電再將InFO設備自龍?zhí)兑浦林衲希铀買nFO改機、并調控空間。為實現(xiàn)龐大市場需求，臺積電更加速擴充CoWoS產能，受限設備廠交期超過半年以上，臺積電采取折衷方案，11月起開始將InFO機臺從龍?zhí)兑浦林衲细臋C，以應對CoWoS增加之工序。法人分析，光晶圓清洗步驟就是InFO的數(shù)倍，因此每1萬片InFO產能，僅可轉換為數(shù)千片CoWoS產能。法人推估，臺積電將于年底開出優(yōu)于市場原先預估之產能，約每月1.4萬片;而英偉達也增加在非臺積電之CoWoS供應鏈能量，如加入聯(lián)電、日月光等支持。其中，由聯(lián)電提供Interposer（中間層），臺積電做TSV（硅穿孔）、日月光來處理后段封裝，預計也會自本季開始投入。

H200助力新一代AI超算中心

云服務方面，除了英偉達自己投資的CoreWeave、Lambda和Vultr之外，亞馬遜網絡服務、Google Cloud、微軟Azure和Oracle Cloud Infrastructure將成第一批部署基于H200執(zhí)行個體的云服務供應商。此外，在新的H200加持之下，GH200超級芯片也將為全球各地的超級計算中心提供總計約200 Exaflops的AI算力，用以推動科學創(chuàng)新。

在SC23大會上，多家頂級超算中心紛紛宣布，即將使用GH200系統(tǒng)構建自己的超級計算機。德國尤里希超級計算中心將在超算JUPITER中使用GH200超級芯片。這臺超級計算機將成為歐洲第一臺超大規(guī)模超級計算機，是歐洲高性能計算聯(lián)合項目（EuroHPC Joint Undertaking）的一部分。Jupiter超級計算機基于Eviden的BullSequana XH3000，采用全液冷架構。它總共擁有24000個英偉達GH200 Grace Hopper超級芯片，通過Quantum-2 Infiniband互聯(lián)。每個Grace CPU包含288個Neoverse內核， Jupiter的CPU就有近700萬個ARM核心。它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度（FP64）算力。這臺超級計算機預計將于2024年安裝完畢。

由筑波大學和東京大學共同成立的日本先進高性能計算聯(lián)合中心，將在下一代超級計算機中采用英偉達GH200 Grace Hopper超級芯片構建。作為世界最大超算中心之一的德克薩斯高級計算中心，也將采用英偉達的GH200構建超級計算機Vista。伊利諾伊大學香檳分校的美國國家超級計算應用中心，將利用英偉達GH200超級芯片來構建他們的超算DeltaAI，把AI計算能力提高兩倍。此外，布里斯托大學將在英國政府的資助下，負責建造英國最強大的超級計算機Isambard-AI——將配備5000多顆英偉達GH200超級芯片，提供21 Exaflops的AI計算能力。

特供版H20、L20和L2性能曝光

據最新泄露的文件和四位熟悉內情的人士透露，為了遵守美國的出口管制，英偉達已經推出了三款全新的“中國定制版”芯片——HGX H20、L20 PCle 和 L2 PCle GPU。其中，HGX H20配有高達96GB的HBM3顯存，以及4TB/s的帶寬，并且基于全新的Hopper架構。與H100的50MB二級緩存相比，H20還擁有更大的60MB二級緩存。然而在性能方面，HGX H20只能提供FP64精度1 TFLOPS（H100為34 TFLOPS）和FP16/BF16精度148 TFLOPS（H100為1，979 TFLOPS）的算力。

由此，功耗也從700W降到了400W。有趣的是，基于安培架構并配備24GB HBM2的入門級A30 GPU，在FP64和FP16/BF16精度下，都要比HGX H20快不少。至于L20和L2 PCIe GPU，則是基于閹割后的AD102和AD104核心，對應的是與L40和L40S相同的市場。更直觀地，RTX 4090采用的便是AD102的變體，而4070和4070Ti則是基于AD104的變體。除此之外，為了遵守新規(guī)，HGX H20、L20 PCle和L2 PCle GPU不僅性能是殘血的，而且還只配備了殘血版的NVLink連接。

編輯：黃飛