上周，我（指代本文作者）有幸在人工智能硬件和邊緣人工智能峰會上主持了一場小組討論，主題為“下一代人工智能/機器學習計算的內存挑戰”。MLCommons 的 David Kanter、微軟的 Brett Dodds 和 AMD 的 Nuwan Jayasena 加入了我的行列，這三位卓有成效的專家就內存對于 AI/ML 的重要性提出了不同的看法。我們的討論重點是 DRAM 和內存系統面臨的一些挑戰和機遇。隨著 AI/ML 的性能要求持續快速增長，內存的重要性也不斷增長。

事實上，當談到人工智能內存時，我們看到了對“以上所有”的需求，特別是：

更多容量——模型尺寸巨大且增長迅速。David 引用了百度在其推薦系統中使用的嵌入表，需要 10 TB。如此規模的資產需要越來越多的 DDR 主內存容量。

更多帶寬——隨著需要移動的數據量巨大，我們見證了所有 DRAM 類型不斷追求更高數據速率以提供更多內存帶寬。

更低的延遲——這種速度需求的另一個方面是更低的延遲，這樣處理器核心就不會閑置等待數據。

更低的功耗——不幸的是，我們正在面臨物理的極限，而功耗已經成為人工智能系統的一個重要限制因素。對更高數據速率的需求正在推高功耗。

為了緩解這個問題，IO 電壓正在降低，但這會降低電壓裕度并增加出錯的機會，這使我們…

更高的可靠性——為了解決在更高速度、更低電壓和更小工藝幾何條件下不斷增加的錯誤率，我們看到越來越多地使用片上 ECC 和先進的信號技術來進行補償。

我們討論的另一個重要話題是人工智能中新存儲技術的挑戰和機遇。新技術有許多潛在的好處，包括：

針對一組重點用例優化容量、帶寬、延遲和功耗。人工智能是一個龐大而重要的市場，背后有大量資金，這是一個偉大的組合，可以推動新存儲技術的發展。過去，GDDR（為圖形市場開發）、LPDDR（為移動市場開發）和HBM（為包括AI在內的高帶寬應用開發）是為了滿足無法滿足的用例的需求而創建的。

CXL – CXL 提供了大幅擴展內存容量和提高帶寬的機會，同時還從處理器中抽象出內存類型。通過這種方式，CXL 為整合新的內存技術提供了一個很好的接口。CXL 內存控制器提供處理器和內存之間的轉換層，允許在本地連接的內存之后插入新的內存層。

雖然針對特定用例的新內存類型可能對許多應用程序有益，但它們面臨著額外的挑戰：

DRAM、片上 SRAM 和閃存在可預見的未來仍將繼續存在，因此不要指望任何東西會完全取代這些技術。對這些技術的每年研發和資本支出投資，加上數十年的高產量制造經驗，使得短期內基本上不可能取代任何這些技術。任何新的內存技術都必須與這些內存很好地配合才能被采用。

人工智能部署的規模以及與開發新內存技術相關的風險使得采用全新內存變得困難。內存開發的時間通常為 2-3 年，但人工智能發展如此之快，以至于很難預測未來可能需要的特定功能。賭注很高，依賴新技術的啟用和可用的風險也很高。

任何新技術的性能優勢都必須足夠高，以抵消任何額外的成本和風險。考慮到

對基礎設施工程和部署團隊的要求，這意味著新內存技術需要克服一個非常高的障礙。

內存將繼續成為未來人工智能系統的關鍵推動因素。我們的行業必須繼續為未來的系統進行創新，以提供更快、更有意義的人工智能，整個行業正在做出回應。

?

?

?

編輯：黃飛

?