在這個以高性能計算和大模型推動未來通用人工智能時代，算力已成為科技發(fā)展的隱形支柱。本文將重點探討算力的演進，深入分析在不同領(lǐng)域中算力如何成為推動進步的基石；著眼于液冷如何突破算力瓶頸成為引領(lǐng)未來的先鋒，對液冷散熱的三種方式（冷板式、浸沒式和噴淋式）做了詳細的對比分析、成本測算和市場空間預(yù)測。并為您提供一份“實用教程”，指導(dǎo)如何將普通服務(wù)器改裝為液冷服務(wù)器，以應(yīng)對越來越復(fù)雜的計算需求。

如果您錯過了精彩的的英偉達2024GTC大會，小編特地為您總結(jié)其6大亮點，見文末。

算力演進：世界模型

視角下的技術(shù)需求變化

談及大模型，最近大火的大模型莫過于Sora視頻模型。Sora標志著計算機視覺的重大進展，是首個展現(xiàn)高級"涌現(xiàn)"能力的視頻生成模型。它依托于強大的Diffusion Transformer架構(gòu)和大量高質(zhì)量數(shù)據(jù)，帶來視頻技術(shù)的飛躍——類似于GPT-3在語言模型中的突破。Sora的創(chuàng)新點在于時間-空間壓縮、去噪的Transformer處理，以及CLIP風(fēng)格的調(diào)節(jié)，可根據(jù)GPT-4加強的指令生成精準視頻。

一、Video Encoding：將視頻信息有效地轉(zhuǎn)化為機器理解的方法至關(guān)重要

Sora解決了視頻生成中一個關(guān)鍵挑戰(zhàn)：如何處理視頻數(shù)據(jù)的多樣性和復(fù)雜性，包括不同分辨率和寬高比，以及比文本和圖片更豐富的信息，如空間、時間和內(nèi)容。它的一大創(chuàng)新是制定了一種能夠統(tǒng)一不同視頻類型的表示方法，對大量多維視覺數(shù)據(jù)進行有效的大規(guī)模訓(xùn)練。

Sora 技術(shù)報告中的 Encoding 模式

Sora的初步工作是將復(fù)雜的視頻內(nèi)容轉(zhuǎn)化成機器能夠處理的潛在特征，類似于大語言模型中文本的tokenization。不同之處在于視頻的轉(zhuǎn)換不僅需要保留內(nèi)容信息，還要維護時間和二維空間位置，而語言模型僅涉及內(nèi)容和一維位置。鑒于單幀視頻像素量巨大，轉(zhuǎn)化過程也起到了數(shù)據(jù)壓縮作用，目前的做法是將每幀壓縮到16×16或32×32的規(guī)模。

視頻生成模型 Patch 方法對比

Transformer模型由于不能直接處理高維數(shù)據(jù)，因此Sora通過將視頻數(shù)據(jù)分割成時空圖像塊來訓(xùn)練。一種方法是把每一幀分解成若干小塊，然后按時間順序排列為一維數(shù)組；另一種方法是把視頻片段分成立體圖像塊，包含時間和空間信息，雖然計算更復(fù)雜，但能獲取更連貫的時空信息。

Sora 生成不同比例的視頻內(nèi)容保存度更好

Sora視頻生成模型的一大創(chuàng)新是能夠適應(yīng)自由寬高比的視頻生成，同時確保關(guān)鍵元素的完整性。不同于傳統(tǒng)模型如ViT，要求圖像塊大小固定且輸入為正方形，Sora可能使用了名為“Patch n’ Pack”的技術(shù)，容許處理多樣化的輸入分辨率和寬高比。該技術(shù)使圖像塊的大小可以靈活調(diào)整，適應(yīng)不同的視頻要求，并將來自不同圖像的塊整合到一起，實現(xiàn)更高效率的訓(xùn)練。此外，通過識別圖像塊間的相似度，可以丟棄重復(fù)內(nèi)容，從而進一步提速訓(xùn)練過程。

Navit 的數(shù)據(jù)處理方法

二、模型的核心部分：Diffusion Transformer

Sora是基于Transformer的Diffusion Model。模型結(jié)構(gòu)最初由 Scalable Diffusion Models with Transformers 這篇論文提出，也就是 DiTs。

DiT 的核心架構(gòu)

Stable Diffusion包括三個關(guān)鍵組成部分，各自由獨立的神經(jīng)網(wǎng)絡(luò)構(gòu)成：

1、文本編碼器

利用Transformer模型將文本中的每個單詞或Token轉(zhuǎn)換為向量。

2、圖像信息生成器

這是Stable Diffusio的核心，它結(jié)合文本向量特征和初始噪聲創(chuàng)建含有圖像信息的數(shù)據(jù)。

3、圖像解碼器

把上述數(shù)據(jù)轉(zhuǎn)換回清晰的圖像。

Sora在其圖像信息生成器部分，用Transformer取代U-Net，以保留其伸縮性和高效性等特點。繼其后Google的Genie和Snap的Snap Videos皆采用ST-Transformer。

Sora的研究表明，視頻生成模型采用Transformer后，模型能力的提升與計算資源和模型規(guī)模成正比，與GPT3.0發(fā)布時證實的大模型潛力相似。OpenAI的實驗也驗證了增加算力，如32倍于基礎(chǔ)情況，能顯著提高視頻生成的質(zhì)量。

不同算力下 Sora 生成視頻的對比

三、大語言模型訓(xùn)練和推理對計算資源的需求分布不同

大語言模型最新發(fā)展追蹤

目前AI模型呈現(xiàn)出以下競爭激烈和快速更新的發(fā)展趨勢：

1、長上下文處理

新模型如Gemini1.5和Kimi已能處理百萬級別Token，對內(nèi)存和處理能力都提出較高要求。

2、多模態(tài)理解

能理解圖片、視頻和音頻的大模型成為未來發(fā)展趨勢，但處理這些風(fēng)格的數(shù)據(jù)也將增加對內(nèi)存需求。

3、MOE模型

Mixtral、Gemini1.5、Grok等模型應(yīng)用了GPT的MOE（Mixture-of-Experts）技術(shù)，能夠處理各種不同類型的問題，雖然增加了模型參數(shù)，但在推理階段由于只需調(diào)用部分子模型，計算效率仍得以提升。

大語言模型訓(xùn)練和推理過程的計算需求分布

大模型在訓(xùn)練和推理過程中對計算資源的需求各不相同。訓(xùn)練階段需要大量算力和網(wǎng)絡(luò)帶寬。推理過程的預(yù)填充階段對算力和內(nèi)存需求較大，解碼階段則更依賴于內(nèi)存帶寬、內(nèi)存大小和低網(wǎng)絡(luò)延遲。

在大語言模型的訓(xùn)練中，系統(tǒng)會一次性預(yù)測整個句子中的每個Token的下一個Token，并計算所有位置的Token的損失來進行優(yōu)化。這個過程可以并行計算，所需的算力和集群規(guī)模較大，因此對機器間的網(wǎng)絡(luò)帶寬要求也相對較高。

大語言模型訓(xùn)練過程

大語言模型的推理過程分為兩個階段：

首先是Prefill階段，也稱為預(yù)處理階段。在此階段，模型會進行一次計算密集型的操作，計算并存儲每一層的key和value。這個過程雖然只進行一次，但對每個請求的提示(prompt)來說都是必需的。該計算過程主要對矩陣進行并行乘法運算，并將結(jié)果儲存在所謂的KV緩存中，這是大語言模型的關(guān)鍵組成部分。

其次模型進入到解碼階段，這是一個串行操作過程，主要負責(zé)生成新的Token。模型采用自回歸方式，利用已生成的和先前所有的Token作為輸入，預(yù)測并生成下一個Token。這包含兩個主要步驟：第一利用預(yù)處理階段創(chuàng)建的KV緩存計算并輸出下一個Token的嵌入；第二在計算過程中，當(dāng)前Token在每一層的key和value會被計算并存儲，并更新到預(yù)處理階段的KV緩存中。通過這種方式，模型可以持續(xù)優(yōu)化其預(yù)測，確保生成序列既連貫又具有邏輯性。

四、對算力需求的影響：Patch/Token 數(shù)量的大幅提高對內(nèi)存容量需求有積極影響

視頻生成模型與大語言模型對計算資源的不同需求

視頻生成模型相較于大語言模型在算力需求上的主要差異在于：視頻模型需要處理的Patch數(shù)量遠多于文本的Token數(shù)量。視頻的Patch數(shù)量與其時長（T）、寬度（W）、高度（H）及每幀的Patch密度（Ps）密切相關(guān)。在Transformer模型中，影響計算復(fù)雜度的關(guān)鍵因素是Self-Attention層，其處理難度與Patch數(shù)量平方成正比。同時，訓(xùn)練期間還需儲存大量Self-Attention層的計算中間結(jié)果，占用的存儲空間也與Patch數(shù)量的平方成正比。

以Sora可以生成的1080P、30幀/秒、60秒時長視頻為例，在32x32的Patch密度下，總Patch數(shù)量可以超過180萬。而最新的大語言模型Gemini 1.5 Pro的Token上限是100萬?？紤]到Sora估計的參數(shù)規(guī)模為20到50億，雖然比GPT-4少了一個數(shù)量級，但其Patch的平均數(shù)量至少多了兩個數(shù)量級，導(dǎo)致推理過程中內(nèi)存需求的大幅躍升。因此，更大的算力和內(nèi)存將使模型產(chǎn)生更高分辨率和更長的視頻。同樣，針對同一提示，更大的模型參數(shù)量能產(chǎn)生更好的視頻效果，但相應(yīng)地需要更多的算力和內(nèi)存。

五、對算力需求的影響：推理時算力需求的增長大于內(nèi)存速率需求的增長

Diffusion 模型推理生成圖片的過程

雖然Sora和GPT的核心都是Transformer，但在推理邏輯上，Sora的DiT與大語言模型存在差異。Diffusion根據(jù)多個時間步驟迭代生成，基于隨機噪聲潛在矩陣，每一步都會逐步精細化圖像、視頻以逼近輸入的提示。優(yōu)化后大約需要20步就能獲得性能和效果的平衡。

GPT等大語言模型采用Decoder-Only Transformer架構(gòu)，通過自回歸方式預(yù)測下一個Token，對內(nèi)存帶寬需求極大，屬于內(nèi)存密集型任務(wù)。而Sora的DiT是Encoder-Only Transformer架構(gòu)，在每一步的推理過程中，會一次性輸出全部長度的Patch，減少對計算卡內(nèi)存訪存次數(shù)，屬于計算密集型任務(wù)。

目前用于訓(xùn)練和推理計算卡的算力/內(nèi)存對比

受制于美國禁令，國內(nèi)特供的H20在算力上相較于H100受到限制，不過在內(nèi)存帶寬上有所提高，意味著在大語言模型（LLM）的推理任務(wù)中，H20比H100性能要高出約10%。然而，對于視頻生成模型，H20由于算力被限制，相比H100在性能上有顯著劣勢。

Groq的芯片以SRAM為基礎(chǔ)，內(nèi)存帶寬高達80TB/s，其在Token生成速度上遠超GPT和Gemini系列，但這種設(shè)計在視頻生成模型的推理中沒有優(yōu)勢。綜上所述，對于高質(zhì)量視頻生成模型來說，未來的趨勢是需求將傾向于更高的算力和更大的顯存容量，而非內(nèi)存帶寬；因此，配備高算力和大顯存的芯片更適合視頻生成模型的推理任務(wù)。而在內(nèi)存帶寬方面，即使是GDDR也足以滿足需求。

突破算力瓶頸

液冷引領(lǐng)未來

NVIDIA首席執(zhí)行官黃仁勛最近在2024年SIEPR經(jīng)濟峰會上披露，新一代DGX GPU服務(wù)器將采用液冷技術(shù)，意味著液冷時代的加速到來。戴爾也專門為NVIDIA新一代AI GPU設(shè)計冷卻系統(tǒng)。

隨著AI服務(wù)器功耗的快速上升，有效的散熱解決方案的需求促進液冷技術(shù)的滲透。例如，Intel/AMD的主流CPU功耗已達到350W/400W，而NVIDIA的H100 GPU最大功耗可達700W，其未來產(chǎn)品B100預(yù)計功耗將達到1000W。華為Atlas 900 PoD單機柜最大功耗也已經(jīng)超過46kW，遠超傳統(tǒng)風(fēng)冷系統(tǒng)極限，液冷技術(shù)成為處理日益增加的單機柜功率的關(guān)鍵升級方案。

目前數(shù)據(jù)中心的液冷滲透率在2022年底僅為5%-8%，但預(yù)計在2023-2024年期間，芯片制造商、服務(wù)器廠商、IDC企業(yè)等產(chǎn)業(yè)鏈關(guān)鍵主體將加速布局液冷解決方案，2025年可能會出現(xiàn)訂單量大規(guī)模釋放。在未來3至5年內(nèi)，國內(nèi)數(shù)據(jù)中心的液冷滲透率預(yù)計將實現(xiàn)爆發(fā)式增長。據(jù)估算2025年，國內(nèi)IDC液冷行業(yè)市場規(guī)模將達到約48.31億元，期間年均復(fù)合增長率為71.11%；預(yù)計到2028年，市場規(guī)模將增至約98.72億元，年均復(fù)合增長率預(yù)計為43.02%。

AI 助推液冷滲透率快速提升

一、數(shù)據(jù)中心面臨的挑戰(zhàn)

數(shù)據(jù)中心的能耗問題和散熱挑戰(zhàn)日益凸顯。依靠區(qū)域能源和環(huán)境優(yōu)勢可減少用電及冷卻費用。在能源緊張和自然條件不佳下，提高數(shù)據(jù)中心能效和綠色運營成為行業(yè)趨勢。為此，我們需要確保產(chǎn)熱和移熱速率的一致性，同時提升能源使用效率。新型散熱技術(shù)的開發(fā)和應(yīng)用是提升我國數(shù)據(jù)中心能效和環(huán)保發(fā)展的關(guān)鍵。

要保證數(shù)據(jù)中心穩(wěn)定運作，關(guān)鍵是使冷卻系統(tǒng)與服務(wù)器產(chǎn)熱量保持同步。隨著單個機柜服務(wù)器數(shù)量的增加，散熱需求也在增長，這就要求持續(xù)創(chuàng)新散熱技術(shù)，尤其在風(fēng)冷和液冷兩大散熱方式中尋求提高冷卻效率的方法。

不同類型冷卻系統(tǒng)對比

二、數(shù)據(jù)中心能耗分布

數(shù)據(jù)中心的散熱冷卻是能耗的主要部分，要在提高移熱速率的同時注意能效。能源利用效率（PUE）是評估數(shù)據(jù)中心能耗的關(guān)鍵指標，它是總能耗與IT設(shè)備能耗的比。理想情況是PUE接近1，即數(shù)據(jù)中心的能源更多地用于IT運作而非其他功耗。目前我國數(shù)據(jù)中心中有近半的能量用于散熱，顯示出PUE值偏高，意味著較高的冷卻成本及節(jié)能空間。

三、數(shù)據(jù)中心的冷板式液冷

液冷技術(shù)對數(shù)據(jù)中心的整個生命周期產(chǎn)生重要影響，包括設(shè)計、位置選擇、建設(shè)、交付及運維過程。液冷系統(tǒng)通過液體循環(huán)系統(tǒng)在冷卻液與需要降溫的設(shè)備間進行熱交換。冷卻水可以直接從機架上的CDU（冷卻分配單元）獲得，或由一個服務(wù)多個機架的集中式CDU提供。

數(shù)據(jù)中心液冷系統(tǒng)示意圖

數(shù)據(jù)中心液冷系統(tǒng)中冷板冷卻是目前主流技術(shù)，它屬于間接液冷方式。主要分為三種形式：間接液冷、單相直接液冷、兩相直接液冷。冷板冷卻技術(shù)通過液體在與IT設(shè)備芯片接觸的金屬板內(nèi)流動進行熱交換，是一種高效的芯片級冷卻方法并廣泛應(yīng)用。結(jié)合液冷和風(fēng)冷，液體主要冷卻芯片，風(fēng)冷用于硬盤等部件。與傳統(tǒng)的風(fēng)冷系統(tǒng)相比較，冷板冷卻系統(tǒng)更節(jié)能、噪音更低，并且不需依賴昂貴的水冷機組。

數(shù)據(jù)中心冷板式液冷系統(tǒng)

四、芯片級液冷與液冷服務(wù)器市場潛力巨大

液冷技術(shù)原始應(yīng)用于機械加工和變壓器，但目前正迅速擴展至數(shù)據(jù)中心。該技術(shù)適應(yīng)數(shù)據(jù)中心高熱流密度冷卻需求，成為解決高效芯片散熱的策略。瀕臨急需高效散熱的現(xiàn)實，芯片級液冷成為主導(dǎo)趨勢。散熱方式預(yù)期將發(fā)展為直接與芯片接觸式冷卻。政策支持和技術(shù)需求，尤其是人工智能等新興領(lǐng)域的推動，使芯片級液冷和液冷服務(wù)器市場前景廣闊。

全球數(shù)據(jù)中心平均功率情況

五、數(shù)據(jù)中心規(guī)模預(yù)測

當(dāng)前中國數(shù)據(jù)中心行業(yè)正深入云服務(wù)階段，預(yù)計未來10年的市場潛力巨大，并有望在“十四五”期間保持約25%的年均增長率。自2000年以來，行業(yè)已從高速增長轉(zhuǎn)向穩(wěn)步發(fā)展，并兩度出現(xiàn)增速放緩。2021年，數(shù)字經(jīng)濟和東數(shù)西算等多重因素推動行業(yè)迅速發(fā)展，并出現(xiàn)短期增速。到了2023年，在投資策略、東數(shù)西算規(guī)范加嚴及人工智能需求激增等利好影響下，行業(yè)有望在“十四五”末期經(jīng)歷新一輪增長。

六、液冷系統(tǒng)市場空間

液冷技術(shù)根據(jù)液體與器件的接觸形式大致可分為冷板式、浸沒式和噴淋式三種。冷板式通過間接接觸穩(wěn)定散熱，技術(shù)成熟，改造成本低。浸沒式和噴淋式直接接觸發(fā)熱部件，但因成本和實際操作難度，應(yīng)用并不廣泛，尤其是噴淋式對環(huán)境影響較大，應(yīng)用相對較少。

冷板式液冷將發(fā)熱元件如CPU和GPU放置于液體流經(jīng)的冷板上，有效率地導(dǎo)熱。如基于Intel和浪潮合作的高密服務(wù)器內(nèi)部，采用冷板技術(shù)保持CPU等器件的冷卻。系統(tǒng)從室內(nèi)的熱交換器將熱量轉(zhuǎn)移到室外的冷卻塔，完成循環(huán)。

冷板式液冷系統(tǒng)架構(gòu)情況

浸沒式液冷系統(tǒng)通過直接將發(fā)熱器件浸入不導(dǎo)電的冷卻液中實現(xiàn)高效散熱。室內(nèi)側(cè)，單相系統(tǒng)中元件直接浸于冷卻液中，而在兩相系統(tǒng)中，發(fā)熱器件被浸入低沸點液體中，液體吸熱沸騰并在冷凝器中變回液態(tài)，持續(xù)循環(huán)散熱。室外側(cè)相似于冷板式系統(tǒng)，熱液在室外冷卻塔釋放熱量后低溫回環(huán)，進行循環(huán)散熱。

浸沒式液冷系統(tǒng)架構(gòu)情況

短期內(nèi)，冷板式液冷因技術(shù)成熟、與現(xiàn)有系統(tǒng)兼容性好、維護方便和改造成本較低，非常適合AI時代對散熱的需求和數(shù)據(jù)中心從風(fēng)冷向液冷的過渡階段。長期看，浸沒式液冷憑借其良好的導(dǎo)熱性能、高效的余熱回收能力和支持更高機柜功率的優(yōu)勢，會更適合未來數(shù)據(jù)中心冷卻需求的演變，尤其是在機柜單元功率不斷增加的情況下，浸沒式液冷可以提供更高效的冷卻解決方案，并且助力降低數(shù)據(jù)中心的總體能源使用效率（PUE）。

三種液冷技術(shù)方案對比

隨著國內(nèi)互聯(lián)網(wǎng)巨頭如百度、阿里、騰訊、華為等紛紛開發(fā)AI大模型，我們可依據(jù)以下假定進行預(yù)估：一臺AI服務(wù)器配備8塊GPU；邏輯推理功耗是訓(xùn)練的10倍；10家公司的AI模型總功率是GPT3.5的10倍；數(shù)據(jù)中心的總功耗需考慮額外設(shè)備增加10%；冷板式與浸沒式液冷系統(tǒng)的成本比為7:3。按這些假定測算，液冷市場將因AI服務(wù)器需求，分別增長約44.4億元（冷板式）與47.6億元（浸沒式），共計約92億元增量。

七、不同制冷方式成本測算

據(jù)CDCC測算，冷板式液冷系統(tǒng)初期建設(shè)成本較低，運行成本有優(yōu)勢，尤其是在電費支出方面?？紤]到數(shù)據(jù)中心的10年生命周期，與傳統(tǒng)風(fēng)冷系統(tǒng)相比，冷板式和單相浸沒液冷能分別減少成本15%和8%，其中冷板式在總體擁有成本(TCO)上的優(yōu)勢更為顯著。

八、相關(guān)政策法規(guī)

2020年3月，中國提出推進新型基礎(chǔ)設(shè)施，包括數(shù)據(jù)中心建設(shè)，以滿足智能化和數(shù)字轉(zhuǎn)型需求。新基建以技術(shù)創(chuàng)新和數(shù)據(jù)驅(qū)動為核心，服務(wù)于高質(zhì)量發(fā)展。數(shù)據(jù)中心是關(guān)鍵的算力基礎(chǔ)設(shè)施，隨著一線城市發(fā)展放緩，周邊區(qū)域新數(shù)據(jù)中心迅速崛起，全國范圍內(nèi)政策支持新型基建發(fā)展。

我國數(shù)據(jù)中心正日益壯大，尤其是超大型數(shù)據(jù)中心。綠色發(fā)展已成必由之路，降低能源使用效率(PUE)是發(fā)展的關(guān)鍵。響應(yīng)能耗問題，國家相關(guān)部門頒布政策，促進數(shù)據(jù)中心環(huán)保建設(shè)，專注于優(yōu)化冷卻系統(tǒng)和能源管理。

實用教程——普通服務(wù)器

改裝液冷服務(wù)器

將普通服務(wù)器改裝成液冷服務(wù)器顯著提升其性能的穩(wěn)定性，延長使用壽命，低噪運行；冷板與管線靈活布置以及散熱器的可配置性使空間使用更為靈活，有效降低能源消耗，保障服務(wù)器穩(wěn)定運行。以下是改裝教程：

一、準備資料

主要工具和設(shè)備：

- 選用與服務(wù)器尺寸相適應(yīng)的冷板

- 液冷插件

- 液體冷卻設(shè)備（泵和散熱器）

- 兼容冷板電源

二、安裝程序

1、斷開電源

確保服務(wù)器已關(guān)閉，與外部電源斷開連接。

2、拆卸服務(wù)器至裸機狀態(tài)

取下側(cè)板暴露服務(wù)器內(nèi)部，取下所有電源線路，并帶防靜電手以防止靜電傷害敏感部件。

3、安裝冷板

將冷板安裝在CPU以及產(chǎn)生大量熱量的元器件上，如GPU等。

4、連接液冷系統(tǒng)

用管路將冷板、泵以及散熱器連接起來，使冷卻液在系統(tǒng)中流動，進行熱量傳輸。流動方向一般是從泵到冷板，再從冷板到散熱器。

5、更換電源

有些電源不適合冷板液冷，如有需要，更換為兼容電源。

6、安裝散熱器

選擇合適位置安裝散熱器和風(fēng)扇（一般在服務(wù)器機箱外部，有些裝在內(nèi)部），連接電源，使其可以工作。

7、檢查泄漏

在系統(tǒng)內(nèi)注入冷卻液，打開泵，仔細查看每個接頭是否漏水。切記，在此檢查過程中，服務(wù)器應(yīng)保持電源斷開狀態(tài)。

8、優(yōu)化和調(diào)試

在成功安裝冷卻系統(tǒng)并檢查無泄漏后，再次運行服務(wù)器，檢查各部件溫度是否正常，液冷系統(tǒng)是否正常工作，如有需要，進行進一步優(yōu)化。

三、注意事項

1、安裝液冷系統(tǒng)之前，詳細閱讀所有硬件設(shè)備說明書。

2、避免使用任何可能導(dǎo)致電荷態(tài)錯誤的工具。

3、液冷系統(tǒng)中使用的液體通常具備抗腐蝕和抗生物污染的特性，所以務(wù)必確保使用正確的液體。

4、在處理電子產(chǎn)品時務(wù)必謹慎。在操作過程中不慎引發(fā)的任何損害可能不享受保修條款的保護。

5、未經(jīng)訓(xùn)練的人嘗試安裝液冷系統(tǒng)可能會導(dǎo)致設(shè)備損壞，因此如果不熟悉這個過程，最好找有相關(guān)經(jīng)驗的專業(yè)人士進行安裝。

附：GTC 2024六大亮點

北京時間3月19日凌晨，世界各地的頂尖技術(shù)精英齊聚一堂，共襄盛舉。英偉達GTC吸引無數(shù)科技界佼佼者前來現(xiàn)場。英偉達創(chuàng)始人及CEO黃仁勛的123分鐘演講回顧英偉達在加速計算領(lǐng)域走過的三十年歷程，提及CUDA的問世和向OpenAI交付第一臺AI超級計算機DGX等關(guān)鍵時刻。

演講焦點很快轉(zhuǎn)向生成式AI技術(shù)，宣布在EDA領(lǐng)域的一些重要合作。黃仁勛接著宣布英偉達的新旗艦AI芯片——Blackwell GPU，其性能和功能遠超前代產(chǎn)品Hopper，擁有更大尺寸、更新的FP8、FP6、FP4精度、以及更豐富的HBM內(nèi)存和帶寬，極大提升性能。

在過去八年中，英偉達從Pascal架構(gòu)躍升至Blackwell架構(gòu)，AI計算性能提高1000倍。黃仁勛的最終目標是打造具有處理萬億參數(shù)級別GPU計算能力的最強AI基礎(chǔ)設(shè)施。

亮點一

英偉達推出全新的Blackwell GPU具有比上代提升2.5倍的訓(xùn)練性能和在FP4精度下推理性能是上一代FP8的5倍。此外，第五代NVLink互連速度比Hopper快兩倍，支撐最多576個GPU拓展，有效解決萬億參數(shù)級混合專家模型帶來的通信瓶頸問題。

Blackwell GPU的六大核心技術(shù)革新:

1、Blackwell GPU被譽為世界上最強大的芯片，集成高達2080億顆晶體管，采用臺積電先進4NP制程，基于統(tǒng)一內(nèi)存架構(gòu)和雙芯配置，通過NVHyperfuse高達10TB/s的芯片間接口連接兩個GPU die，共享192GB HBM3e內(nèi)存和8TB/s顯存帶寬，其單卡AI訓(xùn)練算力高達20PFLOPS，相較于上一代Hopper的H100和H200，有了顯著的晶體管數(shù)量和性能的飛躍。

2、第二代Transformer引擎，整合微張量縮放支持與先進的動態(tài)范圍管理算法，通過與TensorRT-LLM和NeMo Megatron框架結(jié)合，為FP4精度的AI推理提供強大能力，并支持雙倍計算和模型規(guī)模，保持高精度的同時提升性能和效率。

3、第五代NVLink，為每個GPU提供1.8TB/s雙向帶寬，支撐多達576個GPU間的高速通信，滿足復(fù)雜大語言模型的通信要求。

4、RAS引擎，負責(zé)確保GPU的可靠性、可用性和可維護性，通過AI驅(qū)動的預(yù)防性維護進行診斷和預(yù)測，延長系統(tǒng)正常運行時間，降低運營成本。

5、安全AI，通過機密計算保護AI模型和客戶數(shù)據(jù)，不犧牲性能的同時支持新的本地接口加密協(xié)議。

6、解壓縮引擎，支持最新的數(shù)據(jù)格式，加速數(shù)據(jù)庫查詢，為數(shù)據(jù)分析和數(shù)據(jù)科學(xué)提供最高性能。

英偉達Blackwell GPU系列產(chǎn)品得到AWS、谷歌、Meta、微軟、OpenAI、特斯拉等的青睞。馬斯克甚至公開表示在AI領(lǐng)域找不到比英偉達更好的硬件產(chǎn)品。

有趣的是，此次對于Blackwell系列GPU的發(fā)布，英偉達更加強調(diào)整體系統(tǒng)性能而非單芯片性能。市場上有傳言，B100可能售價約3萬美元，而B200則為3.5萬美元，若定價漲幅不大，那么這個系列GPU的市場競爭力將非?？膳隆Ｐ阅芴嵘螅詢r比遠遠超過上一代Hopper。

亮點二

英偉達高調(diào)推出Blackwell平臺完整體系，為萬億參數(shù)級的GPU計算量身定做，該平臺包括不同的關(guān)鍵組成部分：從基礎(chǔ)HGX B100整合型GPU、新一代的NVLink Switch、超性能GB200超級芯片計算節(jié)點，到全新的X800系列網(wǎng)絡(luò)交換機。

GB200 Grace Blackwell通過高速NVLink-C2C互連集成2個Blackwell GPU和1個英偉達Grace CPU，實現(xiàn)大范圍計算和內(nèi)存的高效連接。此外，英偉達還推出多節(jié)點、液冷、機架級系統(tǒng)英偉達GB200 NVL72，提供720PFLOPSAI訓(xùn)練性能和1.44EFLOPS的AI推理性能，內(nèi)置30TB快速顯存，處理高達27萬億參數(shù)的語言模型。

Blackwell平臺不僅能大幅提升實時推理速度，而且通過先進的網(wǎng)絡(luò)擴展釋放更強的AI性能。新一代的DGX SuperPOD則由多個DGX GB200系統(tǒng)組成，采用液冷的機架級擴展架構(gòu)，在FP4精度下提供11.5EFLOPSAI算力。

亮點三

英偉達發(fā)布數(shù)十個面向企業(yè)的生成式AI微服務(wù)，旨在提供包裝和交付軟件的全新方式，助力企業(yè)和開發(fā)者簡易部署多樣的AI模型。

英偉達在其硬件產(chǎn)品線基礎(chǔ)上，繼續(xù)發(fā)揮其在CUDA和生成式AI生態(tài)系統(tǒng)中所積累的技術(shù)優(yōu)勢，推出一系列適用于企業(yè)級的生成式AI微服務(wù)。旨在簡化企業(yè)定制和部署AI Copilots（智能助手）的流程。企業(yè)不再需要從頭編寫軟件，而是可以通過組裝AI模型、指定任務(wù)、提供示例與審查計劃和結(jié)果方式來創(chuàng)建軟件。

NIM是英偉達提供的推理微服務(wù)的一個例子，它基于英偉達的加速計算庫和生成式AI模型構(gòu)建，并支持標準API。這種微服務(wù)在英偉達廣泛的CUDA安裝基礎(chǔ)上運作，并已針對新一代的GPU進行了優(yōu)化。企業(yè)現(xiàn)在能夠使用這些微服務(wù)在自己的平臺上創(chuàng)建和部署定制化的應(yīng)用程序，同時保有知識產(chǎn)權(quán)和控制權(quán)。

為支持快速部署NIM微服務(wù)，英偉達將提供預(yù)先構(gòu)建AI容器，這將允許開發(fā)人員將部署時間從幾周縮短到幾分鐘。該微服務(wù)還支持英偉達以及其它公司如AI21、Adept、Cohere等模型，同時也支持開放模型，比如谷歌、Hugging Face和Meta等公司的模型。用戶將能夠訪問亞馬遜SageMaker、谷歌Kubernetes引擎和微軟Azure AI上的NIM微服務(wù)，并與流行的AI框架集成。

亮點四

英偉達宣告與臺積電和新思科技的合作，光刻計算平臺cuLitho將正式投入生產(chǎn)，使光刻計算速度提高至40至60倍，并通過增強的生成式AI算法為2nm以上的高級制程開發(fā)注入助力。

亮點五

英偉達推出Project GROOT人形機器人基礎(chǔ)模型和新款Jetson Thor人形機器人計算機，同時對Isaac機器人平臺做出重大升級。黃仁勛還在現(xiàn)場展示一名由迪士尼研究公司打造的小型英偉達機器人，并與其進行互動。

亮點六

英偉達與蘋果強強聯(lián)手，將Omniverse平臺引入蘋果Vision Pro，宣布提供Omniverse Cloud API，加速工業(yè)數(shù)字孿生軟件工具的發(fā)展。

除上述更新，黃仁勛還分享了在其他領(lǐng)域的進展。在電信領(lǐng)域，英偉達即將推出6G研究云平臺，由生成式AI和Omniverse驅(qū)動，以推動無線通信技術(shù)發(fā)展。地球氣候數(shù)字孿生平臺Earth-2現(xiàn)在可用，通過交互式高分辨率仿真來加速氣候和天氣的預(yù)測。

醫(yī)療健康領(lǐng)域被認為是AI帶來最大影響的領(lǐng)域之一，英偉達在推動影像系統(tǒng)和基因測序儀器方面進行合作，并且推出新型的生物軟件。在汽車行業(yè)，全球最大的自動駕駛汽車公司比亞迪未來電動汽車將采用搭載英偉達Blackwell架構(gòu)的新一代自動駕駛汽車處理器DRIVE Thor，預(yù)計明年開始量產(chǎn)。

審核編輯 黃宇