近日,全球最大的光子技術盛會Photonics West 2023在舊金山舉行。曦智科技光子副總裁蘇湛博士受邀做了題為《利用光子集成電路實現伊辛模型加速》(Ising Model Acceleration Using Integrated Photonics Circuits)的技術演講。他表示,隨著機器學習繼續快速滲透人類生活的方方面面,萬億參數大模型正在興起,而光子芯片憑借高通量、低延遲、低功耗的特點,將在計算端與互聯端都擁有巨大的發展潛力。基于此,他詳細展示了曦智科技第二代光子計算處理器PACE如何通過重復矩陣乘法和巧妙利用受控噪聲組成的緊密回環來實現低延遲,從而在處理伊辛問題時,展示出顯著優于目前高端GPU的表現。
蘇湛
Dr. Zhan Su
蘇湛博士目前擔任曦智科技光子副總裁,致力于利用硅光技術優化機器學習工作負載。他擁有麻省理工學院電氣工程學碩士和博士學位,期間專攻開發無源和有源硅光子學集成組件,包括偏振分離器和旋轉器、基于微腔的光學廣播濾波器、光電探測器和片上激光器。
Photonics West
Photonics West是由國際光電學工程協會(SPIE)主辦的全球最大的光子技術盛會。其通過將科學會議、行業研討會和技術展覽會相結合,展示生物醫學光學、生物光子學、工業激光、光電子學、微加工、MOEMS-MEMS、顯示器、量子技術等領域的前沿技術與研究。
一、機器學習市場開啟萬億級大模型
2022年末,人工智能聊天機器人ChatGPT再次掀起了一波機器學習應用的高潮。它不僅能對話、寫詩、撰文、編碼……,還時而幽默時而深沉,讓用戶一時之間難以分辨到底對方是人還是機器。
機器學習正經歷著前所未有的高速發展,這些進展對包括金融、電信、零售等人類生活的各方面都產生了比以往更深遠的影響。
未來幾年,這種增長趨勢預計還將繼續保持。根據Tractica數據,深度學習芯片組的全球市場將在2025年超過700億美元。此外,從OpenAI發布的具有1750 億個機器學習參數的GPT-3,到微軟和英偉達聯合發布的Megatron-Turing自然語言生成模型(MT-NLG)包含5300億個參數,研究人員將訓練比以往規模更大、能力更強的機器學習模型。
二、硅光技術讓機器學習更進一步
AI模型的訓練時間在過去10年間出現了指數級增長:平均每3-4個月,AI模型規模就會翻一番;AI模型訓練的計算能力需求以每年10倍的速度提升。而另一邊,電子芯片正接近其物理極限,并在功耗、容量、帶寬等方面遭遇瓶頸,已無法滿足AI模型發展需求。
光具有高通量、低延遲、低能耗的優勢,可在計算端與互聯端同時助力算力的提升和可持續發展:用光運算單元代替電模塊時,光運算單元在線性計算中可實現比晶體管更低功耗、更低延遲和更高算力;用光網絡代替電互聯時,由于光介質中的信號損耗遠低于電介質,通量高且對距離不敏感,可以實現不同距離間更低功耗,更高帶寬的信息傳輸。
基于這個技術原理,曦智科技發布了光計算+光網絡的技術路線,以支撐未來計算趨勢。其中包括三部分技術:首先,曦智科技致力于開發利用光子矩陣計算(oMAC)優勢的光電混合計算芯片;其次是連接片上chiplet的開創性片上光網絡系統(oNOC);第三是用來更有效地連接包括曦智科技的光電混合計算芯片,及其他生態合作伙伴的存儲和計算單元的片間光網絡系統(oNET)。
曦智科技技術路線
三、硅光技術讓機器學習更進一步
在光電混合計算芯片方面,2021年,曦智科技團隊發布了包含64 x 64光學矩陣,單個光子芯片中集成超過10000個集成光子元器件的高性能光子計算處理器PACE(Photonic Arithmetic Computing Engine,光子計算引擎)。
高性能光子計算處理器PACE
PACE的核心部分由一塊集成硅光芯片和一塊CMOS微電子芯片以3D封裝形式堆疊而成。對于每個光學矩陣乘法,輸入向量值首先從片上存儲中提取,由數模轉換器轉換為模擬值,通過電子芯片和光子芯片之間的微凸點應用于相應的光調制器,形成輸入光矢量。接著,輸入光矢量通過光矩陣傳播,產生輸出光矢量,并達到一組光電探測器陣列,從而將光強轉換為電流信號。最后,電信號通過微凸點返回到電子芯片,通過跨阻放大器和模數轉換器返回數字域。
光子矩陣計算實現方式
PACE旨在解決組合問題,這種問題多應用于生物信息學、交通調度、電路設計、材料發現等領域。這類問題通常屬于“NP-complete Problem”(多項式復雜程度的非確定性問題),意味著在多項式時間尺度下無法通過數學方法解決的問題。然而,一旦一個NP-complete問題得到解決,就可以相對容易地將解決方案映射到另一個NP-complete問題上。 伊辛問題(Ising problem)本身就是一個NP-complete問題,從理論上來說,求解伊辛問題的方式也可以用來嘗試求解其他的 NP-complete 問題。伊辛模型是一個描述臨界現象的基本模型,它考慮每一個自旋有兩種可能的狀態,自旋和自旋之間存在相互作用。這一模型可被推廣用于描述廣泛的物理現象甚至社會經濟活動。 解決這類問題需要用到大量的連續矩陣乘法,而光子芯片非常適合這種計算。首先,光學矩陣具有低功耗、低延遲的特點;其次,NP-complete 算法具有迭代性,連續的矩陣乘法取決于先前的結果,這將有助于最大限度減少由系統中電子部件帶來的瓶頸。因此在做矩陣乘法時不需要頻繁的內存讀??;此外,噪聲在這類算法里的必要性反而剛好利用了光作為模擬運算的劣勢。
PACE架構
曦智科技將PACE系統時鐘設置為 1GHz 頻率,每個循環中的延遲配置為 1 ns 至 30 ns,所有迭代的解決方案都記錄在系統內存中。結果顯示,在 50 次測試運行中,在啟發式遞歸計算下收斂到最佳解決方案的收斂率為98% - 100%,最低延遲為 3ns。 由于光學矩陣的超低延遲特性,測試顯示,PACE可在3納秒內完成伊辛問題單次迭代計算,速度可達傳統GPU的數百倍。
寫在最后
過去幾年,隨著傳感、AI等光子應用領域的蓬勃發展,光子集成電路的優越性正受到越來越多人的關注。與此同時,隨著收發器產品的大批量出貨,及制造工藝成熟度不斷提高,硅光技術的生產成本呈下降趨勢。通過光子集成電路 (PIC)和電子集成電路 (EIC)更緊密的集成,光域和電域之間的數據轉換已變得更快、更高效,人們開始將重點放在了信號處理上——將電域中的高延遲過程轉移到光域中,以實現特定領域的加速。
機器學習就是一個非常合適的應用領域。雖然光不擅長邏輯運算,但卻可以高效地進行如矩陣乘法的線性運算。由于機器學習需要進行大量矩陣乘法運算,因此可以通過開發特定的硬件來針對特定領域實現加速。
審核編輯 :李倩
-
集成電路
+關注
關注
5389文章
11574瀏覽量
362339 -
AI
+關注
關注
87文章
31139瀏覽量
269477 -
機器學習
+關注
關注
66文章
8425瀏覽量
132772 -
曦智科技
+關注
關注
0文章
23瀏覽量
6088
原文標題:曦智科技@Photonics West 2023|利用光子集成電路實現伊辛模型加速
文章出處:【微信號:曦智科技,微信公眾號:曦智科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論