Chiplet中文叫小芯片、芯粒或晶粒。目前，能量產Chiplet的廠商僅有四家，分別是英特爾、AMD、英偉達和亞馬遜。華為的鯤鵬920號稱全球第一個采用Chiplet的AI芯片，實際上是ARM的N1核心并聯做服務器，所以只有四家。

目前的Chiplet設計中絕大部分是用于CPU的，英特爾、AMD和亞馬遜都是如此。Chiplet有兩種，一種是簡單的單一邏輯（monolithic）die+HBM或DDR型，另一種是復雜的多個邏輯die+I/O+存儲。前一種筆者認為不能算是嚴格意義上的Chiplet，因為這種設計只是用硅互聯層代替了PCB板，把HBM與邏輯單元做到物理距離最近，以此提高數據搬運效率，它不會降低邏輯die的成本。Chiplet最早的出發點是靠分散的die來降低超大尺寸die帶來的高成本，這與Chiplet的初衷完全背離了，后一種才是真正的Chiplet。

真正的Chiplet的地位比較尷尬，那就是低不成高不就。目前，在車載座艙和智能駕駛領域，monolithic芯片已完全占據市場，高通幾乎壟斷高端座艙，而英偉達則壟斷智能駕駛高端，沒有Chiplet的需求，低端更沒有Chiplet的需求。很多人寄希望于高算力市場，但Chiplet需要Die to Die傳輸數據，在高算力領域，目前都是單一邏輯（monolithic）die+HBM或DDR型，真正的Chiplet目前只有AMD的MI300X，僅此一個特例。而HBM本身價格就很高，還需要2.5D封裝，也就必須用臺積電昂貴的CoWoS工藝，價格基本都在3000美元以上，顯然無法用在汽車領域。

英偉達H100

上圖就是售價超過3萬美元的英偉達H100，外圍的六片就是HBM內存。

AMD MI300A芯片

AMD在2023年CES大展上推出的MI300A芯片，包含13個Chiplet。

AMD MI300的die shot

來源：AMD

AMD MI300的die shot，不僅有6個HBM，還有GPU（即XCD），CPU（即CCD），I/O和AID。

為何高算力領域沒有真正的Chiplet？

Chiplet大放異彩都源自AMD，AMD也靠Chiplet翻身，在服務器CPU領域幾乎與英特爾平分秋色。

芯片Die尺寸與良率對比

很多人引用這張圖，芯片Die尺寸750平方毫米的良率只有35.7%，50平方毫米是94.2%，實際沒有這么夸張。英偉達的A100的die尺寸高達826平方毫米，H100的die尺寸也有814平方毫米，遠超750平方毫米。英偉達不知道Chiplet的優勢么？英偉達當然知道，但英偉達也只在HBM部分用Chiplet，在GPU部分從未使用Chiplet，一直堅持monolithic，并且將來也不用。原因可以看英偉達發表的一篇論文《GPU Domain Specialization via Composable On-Package Architecture》（https://arxiv.org/pdf/2104.02188.pdf）。?

Chiplet自2018年就開始推廣，不過到目前反而超大Die尺寸的GPU正大行其道，真正的Chiplet卻乏人問津。此外，英偉達Orin的Die尺寸大約是455平方毫米，而高通SA8295P的Die尺寸大約110平方毫米，單論硬件成本，英偉達Orin是高通SA8295P的4倍。

Chiplet必然牽涉到Die to Die（以下簡寫D2D）的標準，目前的Die-to-Die互連接口協議多達十幾種，主要分為串行接口協議和并行接口協議。其中： ?

串行接口及協議有LR、MR、VSR、XSR、USR、PCIe、NVLink（NVIDIA），用于Cache一致性的CXL、CCIX、TileLink、OpenCAPI等；

并行接口及協議有AIB/MDIO（Intel）、LIPINCON（TSMC）、Infinity Fabric（AMD）、OpenHBI（Xilinx）、BoW（OCP ODSA）、INNOLINK（Innosilicon）等；

商業化的主要有NVLink、AID和Infinity Fabric，還有目前火熱的UCIe。

串行接口一般延遲比較大，而并行接口可以做到更低延遲，但也會消耗更多的Die-to-Die互連管腳；而且因為要盡量保證多組管腳之間延遲的一致，所以每個管腳不易做到高速率。以目前的水準，NVLink可以做到900GB/s，Infinity Fabric也能達到896GB/s。

回過頭來說UCIe，這其實是英特爾的陽謀。如果UCIe標準大規模推廣，英特爾毫無疑問會是最大受益者，UCIe的物理層幾乎不用想，肯定是PCIe，PCIe已經是高速互聯事實標準了，而PCIe正是英特爾提出的；考慮到互通互聯，推翻重來幾乎不可能，協議層毫無疑問也是英特爾主導的CXL，基本上PCIe決定了最高不超過800GB/s，比現行的NVLink還低。

最致命的是UCIe的 pitch項目，從25-55um，從100-130um，都可以！某種意義上還是各做各的，die與die之間的pitch不盡相同，好比制訂了鐵軌的標準，但每條鐵軌的寬度都不相同，就讓兩輛火車通行，毫無通行的可能。

Monolithic Die內部的通訊帶寬遠比D2D要好，D2D是要通過7層通訊協議的，無論是解串行還是物理層都影響效率，Die內部的帶寬輕易可以做到10TB/s以上，是D2D的10到20倍。這是英偉達堅持不用Chiplet的原因，也是英偉達成功的原因之一。UCIe聯盟里自然也不會有英偉達的身影，不過英偉達的die可以支持UCIe，你要買英偉達的die做Chiplet也是可以的，不過嘛，那與買英偉達的芯片沒區別。UCIe是英特爾下的一步大棋局，英特爾的EMIB封裝工藝是做Chiplet的最佳選擇，UCIe標準可以從臺積電搶不少客戶，目前來看，亞馬遜已經是第一個客戶，不過亞馬遜做的也是CPU，即Graviton。估計微軟是第二個客戶。

雖然Chiplet不適合高密度計算，但微軟獨辟蹊徑，提出了Chiplet Cloud。

微軟的Chiplet Cloud架構

來源：微軟

微軟腦洞大開，將Chiplet不是放在有機基板上，更不用硅互聯層，而是直接放在PCB上，大大降低成本，最少降低50%成本。

微軟的設計也不用昂貴的HBM，而是用SRAM，這一點類似特斯拉的DojoD1。特斯拉用臺積電最昂貴的SOIC 3D封裝，有354個核心，440MB的SRAM，而微軟的想法是將這354個節點獨立為一個個Chiplet，直接封裝在PCB板上，比特斯拉的SOIC成本估計能降低90%。SRAM將存儲所有訓練產生的權重和中間激活值以及KV緩存，這種設計有個缺點，那就是只能用于訓練，訓練階段是為了產生權重模型的，無需一次性存儲全部權重模型參數，可以分散到多個核心上，幾百MB的SRAM就夠；但在推理階段則不同，它需要每次都導入完整的權重模型參數，需要幾十到幾百GB的SRAM，這么大的SRAM一整張12英寸晶圓都無法容納。而車載領域顯然是不需要訓練的，只需要推理。這個Chiplet與其說是Chiplet不如叫多核心SRAM。

當然有人會說AMD最新的MI300X是8個GPU做的Chiplet，用于LLM領域，證明Chiplet可以用于高密度計算領域。不過，很少人注意到AMD的MI300系列都有至少2個AID，這正是秘密所在。

MI300配置情況

來源：semianalysis

MI300X也不例外，有4個AID。AID是臺積電與AMD聯合開發的，這個AID包含2個HBM內存控制器、64MB內存附加末級（MALL）緩存、3個最新一代視頻解碼引擎、36個xGMI/PCIe/CXL通道，以及AMD的片上網絡（NoC）。在4個小芯片的配置中，擁有256MB的MALL緩存，達到了英偉達H100的50MB的MALL緩存的5倍。它采用HBM領域用的TSV技術，也就是混合鍵合（hybridbonding）技術將AID連接到其他小芯片，可以達到4.3TB/s的帶寬（平均到每個AID上接近1TB/s），這是TSV+Chiplet技術，可不是D2D。這算是臺積電獨家技術，價格肯定非常高昂。AMD的GPU也有用到此技術，AMD稱之為超短物理距離（USR）。不過和單一芯片比肯定還是要差點。

AMD用Chiplet主要是在CPU領域，車內對CPU算力的需求很不明確，AI算力因為Transformer倒是需求很旺。車載CPU用上Chiplet的可能性極小。

Chiplet另一個麻煩是成本太高。

幾種Chiplet技術對比

來源：互聯網

如果需要高算力密度的Chiplet設計，就必須用2.5D或3D封裝，盡管英特爾的EMIB價格遠低于臺積電的CoWoS，但除了英特爾自己，沒有第三方客戶使用，主要原因是英特爾做晶圓代工剛起步，經驗不夠豐富，英特爾的晶圓代工工藝也明顯落后臺積電。此外，EMIB性能也略低CoWoS。基板封裝的InFo雖然成本低，但AI性能也低，用在CPU領域才比較合適。

用CoWoS的芯片價格基本都在3000美元以上，一方面是CoWoS產能緊張，臺積電幾乎壟斷2.5D封裝領域，沒有競爭壓力。雖然臺積電說會擴展產能，但是維持產能緊張意味著更高的利潤。另一方面CoWoS一般都有HBM內存，而HBM內存因為AI需求暴增，SK Hynix近乎壟斷，三星和美光產量很低，HBM持續漲價。

Chiplet和英偉達Orin比還有些競爭力，但要到上千TOPS的Transformer時代，Chiplet競爭力還是不如英偉達的GPU。在座艙領域，高通的Die尺寸本身就很小，Chiplet毫無勝算。因為臺積電的CoWoS產能緊張，連英偉達都未能獲得足夠產能；高性能Chiplet必須用英特爾的EMIB，也就必須讓英特爾代工，因為EMIB可不是封測代工廠（OSAT）能做的。一般性能的Chiplet基本上就是臺積電的InFo，OSAT也能做封裝。

編輯：黃飛

?