電子發(fā)燒友網(wǎng)報道(文/黃晶晶)生成式AI帶來的產(chǎn)業(yè)技術(shù)革新不僅在于性能越來越強大的GPU,它同時正在推進(jìn)存儲產(chǎn)品的變化和技術(shù)的進(jìn)步。近日,美光副總裁暨客戶端存儲事業(yè)部總經(jīng)理Prasad Alluri在接受包括電子發(fā)燒友網(wǎng)在內(nèi)的少數(shù)媒體采訪時指出,與過往不同,閃存和內(nèi)存曾各自為政,主要致力于提高密度。AI的興起帶來了兩大轉(zhuǎn)變,一是與系統(tǒng)架構(gòu)的協(xié)同優(yōu)化;二是將能效作為關(guān)鍵優(yōu)化參數(shù)。為此,美光科技正積極優(yōu)化存儲產(chǎn)品、賦能AI在數(shù)據(jù)中心、PC、智能手機乃至汽車等各領(lǐng)域的應(yīng)用與發(fā)展。
AI數(shù)據(jù)中心:兩大存儲池的不同存儲策略
Prasad Alluri表示,在探討AI基礎(chǔ)設(shè)施對數(shù)據(jù)中心存儲的具體影響時,我們可以將其視為兩個獨立的存儲池來分析。
首先,存在一個龐大的數(shù)據(jù)池,用于存儲供模型訓(xùn)練所需的數(shù)據(jù)。以GPT-4為例,據(jù)估算,其訓(xùn)練過程消耗了互聯(lián)網(wǎng)上約四分之一的數(shù)據(jù),這足以說明大模型所需數(shù)據(jù)的龐大規(guī)模。為了訓(xùn)練這類模型,必須具備存儲海量數(shù)據(jù)的能力,我們可以形象地稱之為“數(shù)據(jù)湖”,即所有待訓(xùn)練數(shù)據(jù)均匯聚于此。
對于這一存儲場景,最關(guān)鍵的屬性在于能夠高效且經(jīng)濟(jì)地傳輸數(shù)據(jù)。將容量與經(jīng)濟(jì)性相結(jié)合,意味著需要摒棄主要依賴大容量硬盤驅(qū)動器的傳統(tǒng)架構(gòu),轉(zhuǎn)而采用大容量SSD。此舉不僅能減少物理占用空間,還能降低能耗,從而提升整體能源經(jīng)濟(jì)性。在此方面,美光科技推出的6500 ION系列產(chǎn)品正是針對大容量存儲需求而優(yōu)化的理想解決方案。
另一方面是訓(xùn)練過程實際發(fā)生的存儲池,即緊鄰GPU的存儲池。此時,需考慮的是如何將數(shù)據(jù)湖中的數(shù)據(jù)高效送入GPU內(nèi)存以供訓(xùn)練。在此過程中,設(shè)備的讀寫性能至關(guān)重要,尤其是隨機讀取性能。對于這類靠近GPU訓(xùn)練集群的存儲,美光9550 SSD從設(shè)計之初便旨在滿足這些需求。9550 SSD隨機讀取性能領(lǐng)先業(yè)界,速率高達(dá)3,300 KIOPS,這正是訓(xùn)練集群所亟需的。
此外,美光9550 SSD提供業(yè)界領(lǐng)先的能效,并在支持各類AI工作負(fù)載方面表現(xiàn)出眾,包括使用大規(guī)模存儲加速器(BaM)進(jìn)行圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練(SSD平均功耗降低高達(dá)43%,整體系統(tǒng)能耗減少高達(dá)29%)、NVIDIA Magnum IO GPUDirect Storage(每傳輸1TB數(shù)據(jù),SSD能耗降低高達(dá)81%)、MLPerf(SSD能耗降低高達(dá)35%,系統(tǒng)能耗降低高達(dá)13%)以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓(xùn)練進(jìn)行微調(diào)(SSD能耗降低高達(dá) 21%)。
AI PC的存儲需求,將遠(yuǎn)超微軟的“基準(zhǔn)要求”
微軟為AI PC產(chǎn)品Copilot+設(shè)定了基準(zhǔn)要求,其中NPU的算力起始于40 TOPS,內(nèi)存方面則規(guī)定了至少16GB的容量,以及256GB的存儲空間作為最低配置。不過,Prasad Alluri表示,這些僅是基礎(chǔ)指導(dǎo)線,并未全面界定AI PC的真正內(nèi)涵。
“要深入理解AI PC,我們需將焦點放在用戶體驗上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務(wù)來提升生產(chǎn)力,且這些任務(wù)需在設(shè)備上高效完成。正是這種整體體驗定義了AI PC,而非單純的技術(shù)規(guī)格。為了滿足用戶的這些期望,我們認(rèn)為所需的內(nèi)存量遠(yuǎn)超最低指導(dǎo)線。事實上,當(dāng)前多數(shù)OEM在打造AI PC時,已配備了24GB至32GB的DRAM。”
從存儲角度來看,盡管OEM目前提供的最低容量為512GB,但我們認(rèn)為對于AI工作負(fù)載而言,更理想的容量應(yīng)接近1TB。
不過,這不僅僅關(guān)乎容量大小,功耗效率和性能同樣至關(guān)重要。在存儲領(lǐng)域,目標(biāo)是以最高效的方式將AI模型從存儲加載到內(nèi)存中。為此,需要在不增加功耗的前提下,獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業(yè)界領(lǐng)先的性能。
針對于AI PC,美光科技加速了LPDDR5X在AI PC中的應(yīng)用普及。與同類SODIMM產(chǎn)品相比,LPDDR5X的性能提升了約1.5倍。此外,還專為AI個人電腦設(shè)計了一種新型內(nèi)存模塊——LPCAMM2。與傳統(tǒng)SODIMM產(chǎn)品相比,LPCAMM2不僅性能提升1.5倍,而且功耗降低高達(dá)58%,空間節(jié)省達(dá)64%。這款新產(chǎn)品于今年早些時候推出,主要圍繞三大目標(biāo)設(shè)計:提升性能、降低功耗以及減小體積。在標(biāo)準(zhǔn)PC中,通常需要兩個SODIMM并排放置,占用主板大量空間。而LPCAMM2則將這些功能集成到一個DIMM中,從而顯著提升了電源效率和性能。
在當(dāng)前的PC環(huán)境中,以我們內(nèi)部使用的Microsoft Copilot為例,它高度依賴云計算,將大部分復(fù)雜任務(wù)卸載到云端。然而,未來的AI個人電腦將能夠在本地處理部分工作負(fù)載,減少對云端的依賴。這樣,模型復(fù)雜性將降低,AI個人電腦能在保持高性能的同時,實現(xiàn)更高效的能源利用,提高數(shù)據(jù)處理的靈活性和速率。
在PC的本地存儲中完全可以放置多個模型,并根據(jù)用戶查詢的上下文加載這些模型。例如,如果用戶需要語音轉(zhuǎn)文本服務(wù),您可以加載相關(guān)模型;如果用戶需要圖像創(chuàng)建,您可以加載相應(yīng)的模型。在此過程中,關(guān)鍵在于以節(jié)能方式從存儲中加載數(shù)據(jù),因此,SSD的性能至關(guān)重要,它需在最低功耗下實現(xiàn)最高吞吐量,即充分利用PCIe 4.0 的四通道。
為此,美光科技的3500 SSD不僅在最低功耗下提供行業(yè)領(lǐng)先的性能。同時,該SSD中內(nèi)置了啟發(fā)式算法。當(dāng)檢測到AI工作負(fù)載時,驅(qū)動器可以主動加載所需的正確模型或數(shù)據(jù)。這些就是為實現(xiàn)高效能和電源效率所做的優(yōu)化。
QLC越發(fā)重要,閃存層數(shù)應(yīng)從縱橫向提升
當(dāng)本網(wǎng)記者問及當(dāng)前QLC對于AI存儲越來越重要,美光的看法與規(guī)劃,以及3D NAND閃存的層數(shù)將如何發(fā)展等問題時,Prasad Alluri也給出了詳細(xì)的分析。
Prasad Alluri表示,從NAND技術(shù)的視角來看,最關(guān)鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度(Bit Areal Density),因為這將有助于降低成本。
但是,有多種方法可以實現(xiàn)這一目的。其中一種是對單個物理單元提升容量。這正是四階存儲單元(QLC)技術(shù)大顯身手的地方,而我們在這一領(lǐng)域始終保持領(lǐng)先地位,特別是在PC市場率先推出了這一技術(shù)。目前,美光科技在該領(lǐng)域的市場占有率位居前列。盡管我們尚未宣布針對數(shù)據(jù)中心的具體計劃,但我們?nèi)栽诔掷m(xù)投資QLC技術(shù),并致力于提高容量密度,這是推動技術(shù)進(jìn)步的重要途徑之一。
另外,在NAND技術(shù)中可以通過堆疊更多層來增加單位面積內(nèi)的容量。美光科技最近推出了第九代(G9)TLC NAND技術(shù)。雖然目前尚不清楚3D NAND的層數(shù)何時會達(dá)到極限,但在未來的幾代產(chǎn)品中,美光的閃存層數(shù)將繼續(xù)增加。
但他也強調(diào),層數(shù)并非實現(xiàn)比特面密度提升的唯一關(guān)鍵因素,因為橫向擴(kuò)展同樣至關(guān)重要。除了關(guān)注3D堆疊層的數(shù)量外,還需要考慮單元之間水平位置的接近程度。這種橫向優(yōu)化是美光提高比特面密度的另一個關(guān)鍵領(lǐng)域。
-
存儲
+關(guān)注
關(guān)注
13文章
4314瀏覽量
85842 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4778瀏覽量
72123 -
美光
+關(guān)注
關(guān)注
5文章
712瀏覽量
51419 -
AI PC
+關(guān)注
關(guān)注
0文章
123瀏覽量
244
發(fā)布評論請先 登錄
相關(guān)推薦
評論