AI網(wǎng)絡(luò)多層次的互聯(lián)彰顯市場(chǎng)潛力

NVIDIA作為全球領(lǐng)先的視覺(jué)計(jì)算和人工智能公司，其市值突破萬(wàn)億元的背后，除了強(qiáng)大的GPU產(chǎn)品線，互聯(lián)技術(shù)扮演了不可或缺的支柱角色。NVIDIA于2019年收購(gòu)以色列公司Mellanox，自此成就了它的暴力美學(xué)。通過(guò)高性能的單個(gè)GPU加速卡，NVLink及NVSwitch打造Scale-up護(hù)城河，同時(shí)還配備用于后端網(wǎng)絡(luò)Scale-out的ConnectX系列智能網(wǎng)卡等全棧AI網(wǎng)絡(luò)互聯(lián)產(chǎn)品線打造AI工廠。據(jù)悉，2023年NVIDIA 在Networking領(lǐng)域的銷售額為130億美金。

（來(lái)源：整理自NVIDIA）

01

網(wǎng)間互聯(lián)：

高速以太網(wǎng)的新紀(jì)元

根據(jù)Spirent HSE Market Impact Report的高速以太網(wǎng)市場(chǎng)動(dòng)態(tài)更新，隨著端口速度持續(xù)演進(jìn)，各速度級(jí)別的采納率都保持強(qiáng)勁，即便是10G和25G在中小企業(yè)和5G基站部署中仍享有穩(wěn)定的需求。超越傳統(tǒng)需求曲線，基于51.2T的交換機(jī)Serdes以及AI網(wǎng)絡(luò)Scale-out從RDMA RoCE2向UEC（超以太聯(lián)盟）規(guī)范演進(jìn)的趨勢(shì)已經(jīng)明朗。目前市場(chǎng)已經(jīng)開始展望1.6T以太網(wǎng)，以期在明年迅速把握AI驅(qū)動(dòng)的市場(chǎng)機(jī)遇。

1.6T以太網(wǎng)

數(shù)據(jù)中心流量的預(yù)期指數(shù)級(jí)增長(zhǎng)正在推動(dòng)1.6T以太網(wǎng)的研究。盡管IEEE 802.3dj標(biāo)準(zhǔn)預(yù)計(jì)在2026年內(nèi)完成，但2024年已經(jīng)明確的基礎(chǔ)功能將支持硅芯片、光學(xué)元件和光模塊的早期開發(fā)。

面向AI和HPC的以太網(wǎng)

隨著AI和高性能計(jì)算（HPC）的需求日益增長(zhǎng)，基于融合以太網(wǎng)的遠(yuǎn)程直接內(nèi)存訪問(wèn)RDMA（RoCEv2），預(yù)計(jì)將演進(jìn)至新的超以太網(wǎng)傳輸（UET）標(biāo)準(zhǔn)(隸屬于UEC)。

800G

最初的部署將由全球主要云廠商企業(yè)引領(lǐng)，以支持?jǐn)?shù)據(jù)中心內(nèi)的AI應(yīng)用，并伴隨著51.2Tbps交換機(jī)的應(yīng)用。800G提供了更高的帶寬、更低的延遲、提升的能效以及更多的連接，為數(shù)據(jù)中心的互聯(lián)提供了未來(lái)幾年的保障。

以太網(wǎng)逐步替代Infiniband

Scale-out 層面，用于AI訓(xùn)練的高速網(wǎng)絡(luò)InfiniBand的遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMA）被普遍應(yīng)用，但現(xiàn)在越來(lái)越多的關(guān)注點(diǎn)轉(zhuǎn)向了將開放標(biāo)準(zhǔn)、廣泛采用的以太網(wǎng)用于這一用途。與InfiniBand相比，以太網(wǎng)降低了成本和復(fù)雜性，并且沒(méi)有可擴(kuò)展性的限制。

智能網(wǎng)卡和以太網(wǎng)交換機(jī)的前景可期

Dell’Oro預(yù)測(cè)，到2028年，部署在AI后端網(wǎng)絡(luò)中的以太網(wǎng)交換機(jī)端口出貨量將超過(guò)5000萬(wàn)臺(tái)。到2025年，AI后端網(wǎng)絡(luò)中的以太網(wǎng)交換機(jī)端口出貨量有一半將是800Gb/s，到2028年將達(dá)到1600Gb/s。 其Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report報(bào)告稱：預(yù)計(jì)以太網(wǎng)智能網(wǎng)卡市場(chǎng)到 2028 年將超過(guò) 160 億美元，大幅提高的市場(chǎng)展望主要源于支持AI服務(wù)器集群Scale-out的后端網(wǎng)絡(luò)對(duì)以太網(wǎng)連接有強(qiáng)烈需求。 Dell'Oro集團(tuán)高級(jí)研究總監(jiān) Baron Fung 表示：“AGI應(yīng)用的出現(xiàn)推動(dòng)了將加速服務(wù)器與后端以太網(wǎng)網(wǎng)絡(luò)相互連接的需求，這對(duì)于大型語(yǔ)言模型的訓(xùn)練來(lái)講是必然的一步。對(duì)于以太網(wǎng)網(wǎng)卡來(lái)說(shuō)，這是一個(gè)新的市場(chǎng)機(jī)會(huì)，與傳統(tǒng)的前端以太網(wǎng)適配器市場(chǎng)相比，增長(zhǎng)顯著更高。” 到 2028 年，整個(gè)以太網(wǎng)智能 NIC 市場(chǎng)（包括前端和后端網(wǎng)絡(luò)的服務(wù)器連接）預(yù)計(jì)將以 27% 的復(fù)合年增長(zhǎng)率增長(zhǎng)。后端網(wǎng)絡(luò)的服務(wù)器訪問(wèn)速度將至少比前端網(wǎng)絡(luò)領(lǐng)先一代，以跟上 GPU 加速器密集路線圖的發(fā)布步伐。

智能網(wǎng)卡Chiplet芯粒化提上日程

（來(lái)源：Broadcom）

“

Broadcom在今年上半年推出了面向AI網(wǎng)絡(luò)的400G智能網(wǎng)卡，并公布了基于以太網(wǎng)的SmartNIC Roadmap。隨著800G的步伐進(jìn)一步加快，Broadcom預(yù)計(jì)將在2025-2026年間推出下一代帶寬為800G，基于Chiplet架構(gòu)的網(wǎng)卡芯片。采用Chiplet技術(shù)的超高帶寬智能網(wǎng)卡，正成為推動(dòng)下一代網(wǎng)卡技術(shù)發(fā)展的新動(dòng)力。這正與奇異摩爾在網(wǎng)間互聯(lián)側(cè)的產(chǎn)品路線理念不謀而和。下一代產(chǎn)品將全面支持超級(jí)以太網(wǎng)聯(lián)盟（UEC）的NIC標(biāo)準(zhǔn)。

02

片間互聯(lián)：加速卡需求旺盛，

國(guó)產(chǎn)GPU潛力突圍

全球GPU加速卡需求劇增

大模型的規(guī)模擴(kuò)大需要大量的訓(xùn)練基礎(chǔ)設(shè)施，并顯著推動(dòng)數(shù)據(jù)中心 AI 芯片市場(chǎng)。未來(lái)更多十萬(wàn)卡加速器集群會(huì)進(jìn)入我們的眼簾。例如，xAI 最近建立了一個(gè)擁有 100,000 個(gè)NVIDIA H100 的液冷數(shù)據(jù)中心，而 Meta 報(bào)告稱它購(gòu)買了 500,000 個(gè) GPU，其數(shù)量翻了一番，達(dá)到 100 萬(wàn)個(gè)。

（來(lái)源：OCP Global Summit 2024）

“

Scale-up網(wǎng)絡(luò)演進(jìn)趨勢(shì)已經(jīng)超出單個(gè)服務(wù)器機(jī)架范圍；在今年的OCP Summit上又出現(xiàn)了新定義(如上圖）：Scale-up Internal和Scale-up External 兩個(gè)部分共同構(gòu)成Scale-up網(wǎng)絡(luò)。Internal部分具體指的以單個(gè)機(jī)架為節(jié)點(diǎn)的GPU數(shù)量，從過(guò)去傳統(tǒng)的8卡到百卡甚至幾百卡演進(jìn)（小于1000 卡）；External部分是以突破單個(gè)服務(wù)器機(jī)架為節(jié)點(diǎn)，也就是超節(jié)點(diǎn)所構(gòu)建的超帶寬域的Node數(shù)量，節(jié)點(diǎn)間加速卡數(shù)量預(yù)計(jì)2026年后將突破1000卡。

（更多閱讀：Kiwi Talks | Scale-up 軍備賽愈演愈烈，集體對(duì)抗英偉達(dá)的暴力美學(xué)）

根據(jù)Tech Insight機(jī)構(gòu)公布的報(bào)告表示數(shù)據(jù)中心 AI 芯片/加速器市場(chǎng)繼續(xù)主導(dǎo)全球半導(dǎo)體市場(chǎng)。該市場(chǎng)將以 37% 的復(fù)合年增長(zhǎng)率增長(zhǎng)，到 2029 年將達(dá)到 3550 億美元。其中生成式 AI 應(yīng)用是芯片的最大驅(qū)動(dòng)力，到 2029 年預(yù)計(jì)有望達(dá)到 2500 億美元。GPU 在整個(gè)細(xì)分市場(chǎng)中占據(jù)主導(dǎo)地位，到 2023 年的總收入將達(dá)到 370 億美元，該機(jī)構(gòu)預(yù)計(jì)這一趨勢(shì)不會(huì)放緩。然而在過(guò)去五年中，我們看到 AI 加速器的平均售價(jià) （ASP） 增長(zhǎng)了四倍。目前正上市的 NVIDIA 的 H100 在零售市場(chǎng)上的價(jià)格可能高達(dá) 40,000 美元，而兩代前的 V100 價(jià)格為 10,000 美元。這樣的價(jià)格上漲在半導(dǎo)體市場(chǎng)上是聞所未聞的。隨著越來(lái)越多的 AI 應(yīng)用程序進(jìn)入生產(chǎn)狀態(tài)，機(jī)構(gòu)預(yù)計(jì)重點(diǎn)將轉(zhuǎn)移到定價(jià)而不是性能上。長(zhǎng)期來(lái)看，這種溢價(jià)和壟斷的市場(chǎng)發(fā)展態(tài)勢(shì)需要被打破。

國(guó)產(chǎn)GPU市場(chǎng)份額逐步提升

國(guó)際數(shù)據(jù)公司（IDC）發(fā)布了最新的《中國(guó)半年度加速計(jì)算市場(chǎng)（2024上半年）跟蹤》報(bào)告。IDC數(shù)據(jù)顯示，2024上半年中國(guó)加速服務(wù)器市場(chǎng)規(guī)模達(dá)到50億美元，同比2023上半年增長(zhǎng)63%。其中GPU服務(wù)器依然占主導(dǎo)地位，達(dá)到43億美元。同時(shí)NPU、ASIC 和 FPGA等非GPU加速服務(wù)器以同比182%的增速達(dá)到近7億美元市場(chǎng)規(guī)模。

行業(yè)大模型的深入研發(fā)對(duì)于AI軟硬件與生態(tài)部署有著明顯帶動(dòng)作用。人工智能在諸如智慧城市、智能家居等綜合復(fù)雜性場(chǎng)景，在金融、醫(yī)療、教育等行業(yè)的細(xì)分功能層面提供更細(xì)化更多元的方案。

2024上半年，中國(guó)加速芯片的市場(chǎng)規(guī)模達(dá)超過(guò)90萬(wàn)張。從技術(shù)角度來(lái)看，GPU卡占據(jù)80%的市場(chǎng)份額；從品牌角度來(lái)看，中國(guó)本土人工智能芯片品牌的出貨量已接近20萬(wàn)張，約占整個(gè)市場(chǎng)份額的20%。用于推理的人工智能芯片占據(jù)了61%的市場(chǎng)份額。在GPU加速卡入口受限之后，由于數(shù)質(zhì)化轉(zhuǎn)型大趨勢(shì)對(duì)于算力的持續(xù)需求，中國(guó)本土品牌加速卡的市場(chǎng)份額逐步增長(zhǎng)。

隨著大數(shù)據(jù)的發(fā)展和計(jì)算能力的提升，根據(jù)寒武紀(jì)招股書，2022 年中國(guó)AI芯片市場(chǎng)規(guī)模預(yù)計(jì)達(dá) 368億元，預(yù)計(jì) 2024 年市場(chǎng)規(guī)模將達(dá)到 785 億元，復(fù)合增速有望達(dá)到 46%。 宏觀來(lái)看，隨著全球科技競(jìng)爭(zhēng)的加劇，構(gòu)建自主可控的國(guó)產(chǎn)萬(wàn)卡甚至十萬(wàn)卡的集群系統(tǒng)，不僅關(guān)乎技術(shù)主權(quán)，更是推動(dòng)AI產(chǎn)業(yè)持續(xù)健康發(fā)展的關(guān)鍵，其中生態(tài)的構(gòu)建尤為復(fù)雜且至關(guān)重要。今年三月，中國(guó)工程院院士鄭緯民指出，盡管國(guó)產(chǎn)AI芯片與業(yè)界領(lǐng)先水平仍存在差距，但生態(tài)的完善能夠有效彌補(bǔ)這一短板，確保大多數(shù)任務(wù)不會(huì)因芯片性能的微小差異而受顯著影響。

03

片內(nèi)互聯(lián)：Chiplet在服務(wù)器

的應(yīng)用迎來(lái)黃金期

為了提升單芯片算力，過(guò)往業(yè)內(nèi)方案集中在增加單?芯片上的晶體管數(shù)量和擴(kuò)大芯片?積。但隨著先進(jìn)制程發(fā)展接近物理極限，單芯片面積觸及機(jī)臺(tái)設(shè)計(jì)上限，性能持續(xù)發(fā)展受限。且傳統(tǒng)馮諾依曼計(jì)算架構(gòu)下芯片算力同時(shí)受存儲(chǔ)墻、I/O墻制約，芯片算力利?率低。因此Chiplet芯粒化是后摩爾時(shí)代提升性能的共識(shí)。 Chiplet技術(shù)可以將不同類型的AI加速卡（如神經(jīng)網(wǎng)絡(luò)處理器、張量處理器、視覺(jué)處理器等）通過(guò)高速、低功耗的互聯(lián)方式進(jìn)行集成，實(shí)現(xiàn)高效的AI計(jì)算。這種模塊化設(shè)計(jì)不僅提高了AI芯片的性能，還優(yōu)化了功耗效率。 在智能計(jì)算集群的效能核心，GPU單卡的計(jì)算能力構(gòu)成了集群整體算力的基石。Chiplet技術(shù)作為提升單個(gè)AI加速卡的快速更新和升級(jí)，具有關(guān)鍵意義，從而跟上不斷發(fā)展的人工智能算法和應(yīng)用需求。

（來(lái)源：Yole Market Update 2023）

“

根據(jù)國(guó)際知名機(jī)構(gòu)Yole發(fā)布的Chiplet Market Update 2023，預(yù)計(jì)到2025年，集成Chiplet的芯片在數(shù)據(jù)中心服務(wù)器市場(chǎng)比例預(yù)計(jì)可以達(dá)到87%，這一比例在2021年僅為13%。這意味著未來(lái)AI大算力芯片的芯粒化將是一個(gè)勢(shì)不可擋的主流趨勢(shì)。

單個(gè)芯片的算力和性能高度依賴于Chiplet的設(shè)計(jì)以及先進(jìn)封裝工藝，這些因素共同推動(dòng)了單個(gè)加速卡算力的提升。自成立以來(lái)，奇異摩爾始終專注于Chiplet技術(shù)與互聯(lián)技術(shù)的研發(fā)，憑借深厚的Chiplet設(shè)計(jì)功底和量產(chǎn)經(jīng)驗(yàn)，以及全面的片內(nèi)互聯(lián)（Scale Inside）產(chǎn)品線——包括UCIe D2D IP接口和IO Die互聯(lián)芯粒，全力助推國(guó)產(chǎn)大算力芯片性能的不斷提升。

據(jù)Yole預(yù)測(cè)，到2027年，基于Chiplet芯粒的處理器市場(chǎng)將超過(guò)1350億美元。到2032年，預(yù)計(jì)芯粒的采用將在消費(fèi)和汽車市場(chǎng)全面加速，并在國(guó)防、航空航天、工業(yè)和醫(yī)療領(lǐng)域站穩(wěn)腳跟。

AI基礎(chǔ)設(shè)施的轉(zhuǎn)型正在引領(lǐng)我們進(jìn)入一個(gè)全新的技術(shù)時(shí)代，其中極致的互聯(lián)技術(shù)創(chuàng)新不僅是推動(dòng)產(chǎn)業(yè)發(fā)展的關(guān)鍵，更是決定未來(lái)AI網(wǎng)絡(luò)競(jìng)爭(zhēng)力的核心因素。從片內(nèi)互聯(lián)、片間互聯(lián)再到網(wǎng)間互聯(lián)，成就多層次的高性能互聯(lián)正是奇異摩爾所持續(xù)專注的。隨著Scaling Law的延續(xù)，這場(chǎng)技術(shù)革命的新藍(lán)圖依賴于產(chǎn)業(yè)鏈的每一份子去譜寫、去繪制。