第29屆IEEE高性能計算機架構國際會議（HPCA 2023, the 29th IEEE International Symposium on High-Performance Computer Architecture）在加拿大蒙特利爾召開。期間，在第二屆“高性能芯粒與互連架構國際研討會”（The 2nd?International workshop on High Performance Chiplet and Interconnect Architectures, HiPChips）上，來自清華大學、AMD、ARM、英特爾、華盛頓大學、哈佛大學、開放計算項目基金（OCP）、曦智科技等學界及業界專家，就互連技術的創新研究和行業標準，及其如何影響芯粒架構設計及軟件系統生態展開了討論。

曦智科技作為全球光電混合計算領軍企業首次受邀參加國際計算機架構頂級會議。曦智科技聯合創始人兼首席技術官孟懷宇博士在HiPChips上發表了《片上光網絡在大規模芯粒（Chiplet）架構上的應用》的主旨演講，介紹在當下面臨算力需求的驟增，曦智科技如何利用片上光網絡技術實現低延遲、低能耗的高效片間互連系統，助力大規模芯粒架構的實現。

孟懷宇 博士

Dr. Huaiyu Meng

孟懷宇博士現任曦智科技聯合創始人兼首席技術官，負責公司技術路線的制定、產品定義及知識產權保護。他擁有麻省理工學院電子工程博士學位，主要研究方向為集成硅光技術在人工智能、數字通信生物傳感等方向的應用。

HiPChips

“高性能芯粒與互連架構國際研討會”（International Workshop on High Performance Chiplet and Interconnect Architectures, HiPChips）于2022年在國際計算機架構頂會International Symposium on Computer Architecture（ISCA）上由學術界和產業界專家共同發起，旨在探討Chiplet（芯粒）和互連技術對未來計算架構的影響，從而推動工業和學術界加速合作、共建Chiplet生態。

一、單節點算力提升的現有路徑與挑戰

機器學習 (ML) 、人工智能 (AI) 應用的廣泛部署一直在推動數據中心和邊緣計算需求不斷增長。ChatGPT千億級大規模參數模型的出現，更是對單卡算力的上限提出了超乎想象的挑戰。單節點內算力的縱向提升和多節點間的算力橫向擴展同步發展，成為未來數據中心算力和算效提升不可或缺的兩個方面。

隨著摩爾定律的放緩，單節點內的算力縱向提升出現了不同的思路，目前的解決方案主要有計算架構的創新和擴大芯片面積這兩種方式。 ? 孟懷宇博士將異構計算架構創新歸納為以下三個方面：

早期的通用計算架構創新，包括指令級別并行（Instruction-Level Parallelism，ILP），在芯片上集成更多邏輯功能從而改善“內存墻”問題（以谷歌TPU為例），以及超線程、多核再到眾線程架構等。

領域專用架構（Domain Specific Architecture，DSA）

生物計算、量子計算、基于憶阻器的存內計算等非馮·諾伊曼架構 ?

通過架構創新實現硬件性能提升

而由于晶體管密度提高的放緩，通過擴大芯片面積實現底層算力的提升成為另一種自然的探索方向。但受限于倍縮光罩的尺寸，為了突破單個芯片面積的上限，芯粒系統應運而生，較為具有代表性的是英特爾的Ponte Vecchio GPU，由超過40個芯粒組成，總面積超過了3,000mm2，以及Cerebras Systems的晶圓級計算引擎（Wafer Scale Engine，WSE），其總面積超過了40,000mm2。

英特爾Ponte Vecchio GPU和Cerebras Systems晶圓級計算引擎 ?

然而芯片面積的增大導致數據搬運的時間和能耗成本隨之增加，電在進行數據傳輸時，由于距離增大導致的能耗提升顯露無疑；同時，由于較大的計算任務通常會被映射到多個計算單元，為了避免長距離數據搬運，只能用更為復雜的算法來優化計算任務的映射。

大規模MCM需要更高效的互連解決方案 ? 尋找超越傳統電互連的物理層創新，以及易用性強的計算任務適配軟件棧，成為高效可擴展芯粒系統急需解決的技術瓶頸。

二、片上光網絡助力高效芯粒系統

針對芯粒系統在規模擴大的同時帶來的信號傳輸瓶頸問題，孟懷宇博士介紹了曦智科技的片上光網絡（Opitical Network On Chip，以下簡稱oNOC）技術方案，oNOC的技術優勢主要體現在：

光信號在晶圓級別的傳輸中 衰減小

光的 功耗、延遲 對距離不敏感

集成硅光芯片作為有源中介層

光電轉換可在集成硅光芯片中完成

曦智科技oNOC系統側視圖及俯視圖 如上圖所示，圖(a)中兩個電芯片被堆疊在同一個光芯片上，電芯片之間的數據傳輸由光芯片上的光波導鏈路實現?；诠鈧鬏攲τ诰嚯x不敏感的特點，片上光網絡可以包括大量的長距離通道。如圖(b)所示，光芯片能夠擴展到整個晶圓，從而實現晶圓級的光互連網絡，可支持數十個以上的電芯片互連，實現二維環繞等各向同性網絡拓撲（如圖(b)中橙線所示）。 ?

在這樣的拓撲下，將計算任務映射到不同芯片的工作被極大簡化，并且達到更高的利用率。不僅如此，片上光網絡也憑借其高帶寬和低延遲的特性可以為面向未來AI加速器的多形態計算架構（Polymorphic Architecture）提供關鍵的片上互連基礎設施。

三、全球首款oNOC光電混合計算芯片

在HiPChips上，孟懷宇博士也分享了曦智科技在片上光網絡（oNOC）技術上的最新進展。它由一塊硅光芯片和一塊CMOS電子芯片，通過中介層垂直封裝構成。其中，光波導替代了銅導線，形成片上光網絡進行數據傳輸。該系統的通道數為512，單通道最長廣播距離50mm，廣播延時1ns，單通道頻率4GHz，片上總帶寬2Tbps。實測數據顯示，該計算系統能在1ns內完成多個計算核之間All-to-AIl的數據廣播，這將大幅提高每個計算核的算力利用率。

曦智科技oNOC光電混合芯片

基于該計算芯片，曦智科技正在加速落地第一款商用級光電混合計算加速卡，并搭載公司自研軟件棧，在商用場景下發揮低延遲、低功耗的優勢。 ?

寫在最后

集成硅光技術得益于光子的物理優勢，一方面可以從計算底層技術原理的顛覆式創新，提供一條超越摩爾定律的算力提升路徑，我們在前文《利用光子集成電路實現伊辛模型加速》（點擊閱讀）中有過一定的闡述。另一方面，晶圓級片上光網絡技術使得異構計算芯片系統可以和傳統的電芯片以及存儲芯片有效協同，助力大規模高效芯粒系統的實現。 但正如孟懷宇博士在結束演講時所說，片上光網絡技術的大規模應用仍面臨一些挑戰。芯粒架構整體生態系統的成熟尚需時日，芯粒間需要有標準的協議接口，集成硅光供應鏈成本需通過量產得到降低。這些問題需要全行業的共同努力協作才能突破解決，這也是“高性能芯粒與互連架構國際研討會”等國際交流的意義所在。

編輯：黃飛

?