業界首款8層堆疊的24GB容量第二代HBM3，帶寬超過1.2TB/s，先進的1β制程節點提供卓越能效。

2023年7月27日，中國上海——Micron Technology Inc.（美光科技股份有限公司，納斯達克股票代碼：MU）今日宣布，公司已開始出樣業界首款8層堆疊的24GB容量第二代HBM3內存，其帶寬超過1.2TB/s，引腳速率超過9.2Gb/s，比當前市面上現有的HBM3解決方案性能可提升最高50%。美光第二代HBM3產品與前一代產品相比，每瓦性能提高2.5倍，創下了關鍵型人工智能（AI）數據中心性能、容量和能效指標的新紀錄，將助力業界縮短大型語言模型（如GPT-4及更高版本）的訓練時間，為AI推理提供高效的基礎設施，并降低總體擁有成本（TCO）。

美光基于業界前沿的1β DRAM制程節點推出高帶寬內存（HBM）解決方案，將24Gb DRAM裸片封裝進行業標準尺寸的8層堆疊模塊中。此外，美光12層堆疊的36GB容量產品也將于2024年第一季度開始出樣。與當前市面上其他的8層堆疊解決方案相比，美光HBM3解決方案的容量提升了50%。美光第二代HBM3產品的性能功耗比和引腳速度的提升對于管理當今AI數據中心的極端功耗需求至關重要。美光通過技術革新實現了能效的顯著提升，例如與業界其他HBM3解決方案相比，美光將硅通孔（TSV）數量翻倍，增加5倍金屬密度以降低熱阻，以及設計更為節能的數據通路。

美光作為2.5D/3D堆疊和先進封裝技術領域長久以來的存儲領導廠商，有幸成為臺積電3DFabric聯盟的合作伙伴成員，共同構建半導體和系統創新的未來。在第二代HBM3產品開發過程中，美光與臺積電攜手合作，為AI及高性能計算（HPC）設計應用中順利引入和集成計算系統奠定了基礎。臺積電目前已收到美光第二代HBM3內存樣片，正與美光密切合作進行下一步的評估和測試，助力客戶的下一代高性能計算應用創新。

美光第二代HBM3解決方案滿足了生成式AI領域對多模態、數萬億參數AI模型日益增長的需求。憑借高達24GB的單模塊容量和超過9.2Gb/s的引腳速率，美光HBM3能使大型語言模型的訓練時間縮短30%以上，從而降低總體擁有成本。此外，美光HBM3將觸發每日查詢量的顯著增加，從而更有效地利用訓練過的模型。美光第二代HBM3內存擁有業界一流的每瓦性能，將切實推動現代AI數據中心節省運營開支。在已經部署的1,000萬個圖形處理器（GPU）用例中，單個HBM模塊可節約5W功耗，能在五年內節省高達5.5億美元的運營費用。

美光副總裁暨計算與網絡事業部計算產品事業群總經理Praveen Vaidyanathan表示：“美光第二代HBM3解決方案旨在為客戶及業界提供卓越的人工智能和高性能計算解決方案。我們的一個重要考量標準是，該產品在客戶平臺上是否易于集成。美光HBM3具有完全可編程的內存內建自測試（MBIST）功能，可在完整規格的引腳速度下運行，使美光能為客戶提供更強大的測試能力，實現高效協作，助力客戶縮短產品上市時間。”

英偉達超大規模和高性能計算副總裁Ian Buck表示：“生成式AI的核心是加速計算，HBM的高帶寬至關重要，并帶來更出色的能效。我們與美光在眾多產品領域保持了長期合作，非常期待與美光在第二代HBM3產品上繼續合作，加速AI創新。”

第二代HBM3是美光領先技術的又一個里程碑。美光此前宣布推出基于1α（1-alpha）節點、24Gb單塊DRAM裸片的96GB容量DDR5模組用于大容量服務器解決方案；如今推出基于1β節點、24Gb單塊DRAM裸片的24GB容量HBM3產品，并計劃于2024年上半年推出基于1β節點、32Gb單塊DRAM裸片的128GB容量DDR5模組。這些新品展現了美光在AI服務器領域的前沿技術創新。