電子發燒友網報道(文/吳子鵬)當地時間本周四,AMD在AMD Advancing AI 2024上發布了一系列新品,包括全新旗艦AI芯片、服務器CPU、AI網卡、DPU和AI PC移動處理器。
其中,全新旗艦AI芯片的型號為AMD Instinct MI325X GPU,雖然仍然是采用CDNA 3架構,但是相較于AMD Instinct MI300X GPU還是有一些明顯的提升,且官方數據顯示,該芯片多項性能優于英偉達H200。
不過,對于AMD一系列的產品發布,市場方面似乎并不買賬,AMD股價出現了一波明顯跳水。能夠看出,無論是市場面還是需求方,似乎還是對英偉達Blackwell GPU有更大的期待,雖然這款芯片此前曝出了良率缺陷問題。
AMD Instinct MI325X GPU是AMD公司首次采用HBM3E高帶寬內存。HBM3E作為新一代高帶寬內存技術,可以提供高達9.6Gb/s的擴展數據速率,相比前一代HBM3的6.4Gb/s有顯著提升。目前,三星、SK海力士和美光都已經將HBM技術迭代到了HBM3E。得益于HBM3E內存的加持,AMD Instinct MI325X GPU內存帶寬最高可達6TB/秒,同比提升約13%;內存容量最高可達256GB,相較于AMD Instinct MI300X GPU,內存容量提升了64GB。
由于同樣是CDNA 3架構,因此MI325X和MI300X在計算性能方面基本是一致的,采用先進的2.5D封裝,芯片內部有1530億個晶體管,304個計算單元,AI算力(采用半精度浮點數FP16衡量)最高可達到1.3PFLOPS,也與MI300X相同。
雖然和自家芯片對比提升并不是太明顯,但根據AMD的官方數據,AMD Instinct MI325X GPU是強于英偉達H200芯片的。官方文件顯示,與H200相比,具有參數優勢的MI325能夠提供1.3倍的峰值理論FP16(16位浮點數)和FP8計算性能。AMD公司CEO蘇姿豐表示,“你們能看到的是,MI325在運行Llama 3.1時,能提供比英偉達H200高出多達40%的性能。”根據發布會的信息顯示,在模型推理方面,無論是單卡還是多卡,AMD Instinct MI325X GPU相較于英偉達H200基本有20%-40%的性能領先;在模型訓練方面,AMD Instinct MI325X GPU也有單卡10%的性能領先。AMD預期,Instinct MI325X GPU芯片將從四季度開始生產,并將在明年一季度通過合作的服務器生產商供貨。
目前,AI芯片在AMD業務中占比已經越來越高。根據AMD二季度財報,AMD Instinct MI300X GPU在二季度為AMD貢獻了超過10億美元的營收,預計全年銷售額將達到45億美元,約占公司整體銷售額的15%。目前,微軟、OpenAI、Meta、Cohere、Stability AI、Lepton AI(賈揚清創辦)、World Labs(李飛飛創辦)等公司的生成式AI方案都已經采用了AMD Instinct MI300X GPU。
除了發布AMD Instinct MI325X GPU,蘇姿豐還劇透了AMD后續的AI芯片戰略,下一代旗艦AI芯片的命名為AMD Instinct MI350X GPU,將開啟全新的AMD AI芯片世代,采用最新的CDNA 4架構,首次引入FP6、FP4浮點數據類型,搭配內存還是HBM3E,但容量高達288GB,半精度浮點數FP16下的AI算力達到2.3PFLOPS。采用CDNA 4架構的MI350系列明年上市
同時,蘇姿豐預測AI芯片后續美好的未來,數據中心人工智能加速器的市場將在2028年增長至5000億美元,而這個數字在2023年時為450億美元。在更早之前,蘇姿豐曾預測全球數據中心人工智能加速器市場規模將在2027年達到4000億美元。無論是哪一項數據預測,都足以顯示目前全球AI發展高漲的情緒。
不過,即便新產品有著不錯的性能,且未來市場空間廣闊,但是AMD Instinct MI325X GPU的發布似乎并沒有達到市場的預期,和自家上一款芯片Instinct MI300X GPU的性能差距并不明顯,也沒有能夠借助這次發布會進一步縮小和英偉達之間的差距。因此,市場快速反應,AMD股價有了一個明顯的下調。
此前,有媒體報道稱,Blackwell架構產品生產上出現了一些問題,導致較低的良品率,從而影響了出貨。英偉達在一份聲明中表示,對Blackwell架構GPU的掩膜進行了改動,以提高產量。英偉達Blackwell GPU是第一批采用臺積電CoWoS-L封裝的產品,其使用RDL中間層與LSI橋接器連接小芯片,可實現約10Tb/s的數據傳輸速率。
與以往的CoWoS-S和CoWoS-R技術相比,CoWoS-L在性能和靈活性方面都有顯著提升。這種技術利用LSI橋接器實現高密度的互聯,能夠兼容各種高性能芯片,如先進邏輯、SoIC(系統集成芯片)及HBM(高帶寬內存)。挑戰在于,由于GPU芯片、RDL中間層、LSI橋接器以及基板之間的熱膨脹系數(CTE)不匹配,因此存在一定的生產挑戰。
摩根士丹利指出,英偉達Blackwell GPU生產良率下降在后封裝階段發現的,這導致了良率的降低,并使原本供應緊張的CoWoS封裝和HBM3e內存的情況雪上加霜。但該機構認為,這些問題在英偉達內部都已經過去了。摩根士丹利在報告中寫道,“目前 Blackwell 產量提升‘相當強勁’,不會對原定路線圖造成影響,所有跡象表明業務依然穩健,前景非常清晰,這與我們的所有調查一致。”
摩根士丹利預計,英偉達將于今年第4季度將出貨最多45萬張Blackwell GPU,從而實現50億美元到100億美元的營收。同時,該機構認為,當前安排不了的Blackwell GPU訂單,可能需要到明年下半年才能夠安排,因此前期訂單已經簽滿了1年,而這些無法滿足的訂單,將促進Hopper GPU的需求。
原本英偉達Blackwell GPU的生產問題被認為是AMD公司的機會,但現在來看這個機會并沒有得到兌現。一方面,英偉達很快就解決了這個困擾Blackwell GPU良率的問題;另一方面,AMD Instinct MI325X GPU作為相同架構升級的產品,性能提升只是體現在帶寬上,這雖然能夠提高集群的效率,但市場方面認為還不夠,無法給英偉達造成更大的沖擊。
另外,AMD并沒有提到能耗的優勢,這也是英偉達宣傳Blackwell GPU的一個重點。該公司副總裁兼企業平臺總經理Bob Pette在“AI Summit DC”人工智能峰會期間表示,Blackwell平臺基本上是考慮到能效而構建的,在Blackwell上開發OpenAI的GPT-4軟件需要3吉瓦(gigawatts)的電力,而十年前,這一過程需要高達5500吉瓦電力。
另外還有CUDA生態的問題,AMD公司也意識到了這一點,此前該公司將把面向消費者的RDNA和面向數據中心的CDNA架構統一為一種新的微架構UDNA。在2024年國際消費電子展(IFA 2024)上,AMD高級副總裁兼計算與圖形事業部總經理Jack Huynh宣布了這一架構,代表了AMD在GPU領域的一次重要革新,但是要挑戰英偉達的CUDA生態,還有很長的路要走。因此,AMD UDNA是一項長遠的布局,也需要更多的時間兌現其潛力。
因此,在生態和制程并不占優的情況下,市場希望AMD能夠在產品性能提升方面更加激進一些,但很顯然AMD Instinct MI325X GPU沒有達到人們的預期。因此,AMD Instinct MI325X GPU現在還很難成為Blackwell GPU的對手,但是能夠在Blackwell GPU產能不足時,搶奪Hopper GPU的訂單。
其中,全新旗艦AI芯片的型號為AMD Instinct MI325X GPU,雖然仍然是采用CDNA 3架構,但是相較于AMD Instinct MI300X GPU還是有一些明顯的提升,且官方數據顯示,該芯片多項性能優于英偉達H200。
不過,對于AMD一系列的產品發布,市場方面似乎并不買賬,AMD股價出現了一波明顯跳水。能夠看出,無論是市場面還是需求方,似乎還是對英偉達Blackwell GPU有更大的期待,雖然這款芯片此前曝出了良率缺陷問題。
AMD最強AI芯片卻不及預期?
如上所述,AMD Instinct MI325X GPU仍然是基于CDNA 3架構,因此算是AMD Instinct MI300X GPU發布之后的中期小升級,并不是全新世代的產品。不過,即便如此,AMD Instinct MI325X GPU還是有非常多的亮點,且能夠和英偉達的H200捉對廝殺。AMD Instinct MI325X GPU是AMD公司首次采用HBM3E高帶寬內存。HBM3E作為新一代高帶寬內存技術,可以提供高達9.6Gb/s的擴展數據速率,相比前一代HBM3的6.4Gb/s有顯著提升。目前,三星、SK海力士和美光都已經將HBM技術迭代到了HBM3E。得益于HBM3E內存的加持,AMD Instinct MI325X GPU內存帶寬最高可達6TB/秒,同比提升約13%;內存容量最高可達256GB,相較于AMD Instinct MI300X GPU,內存容量提升了64GB。
由于同樣是CDNA 3架構,因此MI325X和MI300X在計算性能方面基本是一致的,采用先進的2.5D封裝,芯片內部有1530億個晶體管,304個計算單元,AI算力(采用半精度浮點數FP16衡量)最高可達到1.3PFLOPS,也與MI300X相同。
雖然和自家芯片對比提升并不是太明顯,但根據AMD的官方數據,AMD Instinct MI325X GPU是強于英偉達H200芯片的。官方文件顯示,與H200相比,具有參數優勢的MI325能夠提供1.3倍的峰值理論FP16(16位浮點數)和FP8計算性能。AMD公司CEO蘇姿豐表示,“你們能看到的是,MI325在運行Llama 3.1時,能提供比英偉達H200高出多達40%的性能。”根據發布會的信息顯示,在模型推理方面,無論是單卡還是多卡,AMD Instinct MI325X GPU相較于英偉達H200基本有20%-40%的性能領先;在模型訓練方面,AMD Instinct MI325X GPU也有單卡10%的性能領先。AMD預期,Instinct MI325X GPU芯片將從四季度開始生產,并將在明年一季度通過合作的服務器生產商供貨。
目前,AI芯片在AMD業務中占比已經越來越高。根據AMD二季度財報,AMD Instinct MI300X GPU在二季度為AMD貢獻了超過10億美元的營收,預計全年銷售額將達到45億美元,約占公司整體銷售額的15%。目前,微軟、OpenAI、Meta、Cohere、Stability AI、Lepton AI(賈揚清創辦)、World Labs(李飛飛創辦)等公司的生成式AI方案都已經采用了AMD Instinct MI300X GPU。
除了發布AMD Instinct MI325X GPU,蘇姿豐還劇透了AMD后續的AI芯片戰略,下一代旗艦AI芯片的命名為AMD Instinct MI350X GPU,將開啟全新的AMD AI芯片世代,采用最新的CDNA 4架構,首次引入FP6、FP4浮點數據類型,搭配內存還是HBM3E,但容量高達288GB,半精度浮點數FP16下的AI算力達到2.3PFLOPS。采用CDNA 4架構的MI350系列明年上市
同時,蘇姿豐預測AI芯片后續美好的未來,數據中心人工智能加速器的市場將在2028年增長至5000億美元,而這個數字在2023年時為450億美元。在更早之前,蘇姿豐曾預測全球數據中心人工智能加速器市場規模將在2027年達到4000億美元。無論是哪一項數據預測,都足以顯示目前全球AI發展高漲的情緒。
不過,即便新產品有著不錯的性能,且未來市場空間廣闊,但是AMD Instinct MI325X GPU的發布似乎并沒有達到市場的預期,和自家上一款芯片Instinct MI300X GPU的性能差距并不明顯,也沒有能夠借助這次發布會進一步縮小和英偉達之間的差距。因此,市場快速反應,AMD股價有了一個明顯的下調。
市場還是傾向于選擇英偉達
當然,消息面上也有不利于AMD本次新品發布的,那就是摩根士丹利發布了一份關于英偉達最新Blackwell GPU架構的報告,并透露導致造成生產瓶頸的補充信息。此前,有媒體報道稱,Blackwell架構產品生產上出現了一些問題,導致較低的良品率,從而影響了出貨。英偉達在一份聲明中表示,對Blackwell架構GPU的掩膜進行了改動,以提高產量。英偉達Blackwell GPU是第一批采用臺積電CoWoS-L封裝的產品,其使用RDL中間層與LSI橋接器連接小芯片,可實現約10Tb/s的數據傳輸速率。
與以往的CoWoS-S和CoWoS-R技術相比,CoWoS-L在性能和靈活性方面都有顯著提升。這種技術利用LSI橋接器實現高密度的互聯,能夠兼容各種高性能芯片,如先進邏輯、SoIC(系統集成芯片)及HBM(高帶寬內存)。挑戰在于,由于GPU芯片、RDL中間層、LSI橋接器以及基板之間的熱膨脹系數(CTE)不匹配,因此存在一定的生產挑戰。
摩根士丹利指出,英偉達Blackwell GPU生產良率下降在后封裝階段發現的,這導致了良率的降低,并使原本供應緊張的CoWoS封裝和HBM3e內存的情況雪上加霜。但該機構認為,這些問題在英偉達內部都已經過去了。摩根士丹利在報告中寫道,“目前 Blackwell 產量提升‘相當強勁’,不會對原定路線圖造成影響,所有跡象表明業務依然穩健,前景非常清晰,這與我們的所有調查一致。”
摩根士丹利預計,英偉達將于今年第4季度將出貨最多45萬張Blackwell GPU,從而實現50億美元到100億美元的營收。同時,該機構認為,當前安排不了的Blackwell GPU訂單,可能需要到明年下半年才能夠安排,因此前期訂單已經簽滿了1年,而這些無法滿足的訂單,將促進Hopper GPU的需求。
原本英偉達Blackwell GPU的生產問題被認為是AMD公司的機會,但現在來看這個機會并沒有得到兌現。一方面,英偉達很快就解決了這個困擾Blackwell GPU良率的問題;另一方面,AMD Instinct MI325X GPU作為相同架構升級的產品,性能提升只是體現在帶寬上,這雖然能夠提高集群的效率,但市場方面認為還不夠,無法給英偉達造成更大的沖擊。
另外,AMD并沒有提到能耗的優勢,這也是英偉達宣傳Blackwell GPU的一個重點。該公司副總裁兼企業平臺總經理Bob Pette在“AI Summit DC”人工智能峰會期間表示,Blackwell平臺基本上是考慮到能效而構建的,在Blackwell上開發OpenAI的GPT-4軟件需要3吉瓦(gigawatts)的電力,而十年前,這一過程需要高達5500吉瓦電力。
另外還有CUDA生態的問題,AMD公司也意識到了這一點,此前該公司將把面向消費者的RDNA和面向數據中心的CDNA架構統一為一種新的微架構UDNA。在2024年國際消費電子展(IFA 2024)上,AMD高級副總裁兼計算與圖形事業部總經理Jack Huynh宣布了這一架構,代表了AMD在GPU領域的一次重要革新,但是要挑戰英偉達的CUDA生態,還有很長的路要走。因此,AMD UDNA是一項長遠的布局,也需要更多的時間兌現其潛力。
因此,在生態和制程并不占優的情況下,市場希望AMD能夠在產品性能提升方面更加激進一些,但很顯然AMD Instinct MI325X GPU沒有達到人們的預期。因此,AMD Instinct MI325X GPU現在還很難成為Blackwell GPU的對手,但是能夠在Blackwell GPU產能不足時,搶奪Hopper GPU的訂單。
結語
實際上,在AMD Instinct MI325X GPU發布之前,市場面上已經開始為其造勢了,AMD作為目前英偉達GPU頭號挑戰者,因此人們自然而然要去關注這款旗艦GPU。不過,作為同是CDNA 3架構下的產品,AMD Instinct MI325X GPU并沒有達到市場設定的性能基準線。不過正如蘇姿豐所言,數據中心加速器市場是非常龐大的,英偉達一家吃不下,那么外溢的訂單就會流落到AMD等公司的手里,這個時間段AMD可以更沉下心來打磨應用和生態。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
amd
+關注
關注
25文章
5468瀏覽量
134150 -
英偉達
+關注
關注
22文章
3776瀏覽量
91081 -
AI芯片
+關注
關注
17文章
1887瀏覽量
35018
發布評論請先 登錄
相關推薦
英偉達H200帶寬狂飆
英偉達H200帶寬的顯著提升主要得益于其強大的硬件配置和先進的技術創新。H200配備了高達141GB的HBM3e顯存,與前代產品H100相比
英偉達H200性能怎么樣
英偉達H200性能卓越,集成了高性能CPU和GPU,通過高速NVLink連接,消除了傳統計算瓶頸。其配備了高達141GB的HBM3e高帶寬內
評論