近年來,以神經網絡為代表的人工智能技術快速發展。2017年,采用了神經網絡的AlphaGo依次戰勝了人類頂尖圍棋選手李世石和柯潔,展現了人工智能強大的學習和計算能力,揭開了新一代人工智能的序幕。人工智能技術正向著高速低功耗的方向快速發展。
受限于電子器件的固有極限,傳統電子神經網絡難以進一步提高功率效率與計算速度。而 光子神經網絡,作為光電子技術與人工智能技術的交叉產物,能夠充分發揮光(電)子技術在帶寬、容量、速度方面的優勢,成為突破傳統限制的潛在手段。
當前,光子神經網絡技術的研究主要涉及 前饋神經網絡、 循環神經網絡(存儲池計算)以及 脈沖神經網絡這三種典型結構。與此同時,光子神經網絡也正朝著可實時訓練、規模化以及特殊應用等方向繼續發展。
研究現狀
1. 前饋神經網絡
前饋神經網絡的計算信息呈現為輸入層至輸出層的單向流動。
(a)
(b)
圖1 集成光子干涉計算單元結構和元音識別混淆矩陣。(a)集成光子干涉計算單元結構;(b)元音識別混淆矩陣
2018年,Bagherian等在上述光子干涉計算單元芯片的基礎上提出,通過時分復用的方式,利用該芯片分段計算圖像卷積,從而構建更加復雜的卷積神經網絡結構。該結構模型可用于彩色數字的識別。
2. 循環神經網絡(存儲池計算)
相異于前饋神經網絡,循環神經網絡(存儲池計算)的計算信息除了前向流動外,還存在同層節點間的流動以及后向反饋流動。
一般循環神經網絡由輸入層、中間層和輸出層組成。訓練時,往往只訓練輸出權重使網絡收斂。使用光電子器件構建循環神經網絡時,存在串行與并行兩種方案。
并行的優勢是直觀性強,計算速度快。2011年,Vandoorne等提出的基于半導體光放大器(SOA)的循環神經網絡結構以及2016年Bueno等提出的基于空間光學器件的循環神經網絡結構均采用該方案。
然而并行存在魯棒性較差、規模不易擴展以及成本較高等問題, 串行方案可改善這些問題。2012年,Paquot等利用光電混合系統率先構建了光電混合串行循環神經網絡,實現了信號分類的功能。
3. 脈沖神經網絡
脈沖神經網絡(SNNs)模擬的神經元更接近生物神經元模型,因此又被稱為第三代人工神經網絡。脈沖神經元并非在每一次迭代傳播中都被激活,而是只有當其膜電位達到閾值時才被激活。
2016年,普林斯頓大學的Prucnal小組提出了基于可激活的石墨烯光纖激光器的脈沖處理系統,其結構如圖2所示。該系統主要由摻鉺光纖 (增益部分)和石墨烯飽和吸收體(損耗部分)構成,1480 nm激光器攜帶脈沖刺激信號激發系統產生類LIF (leaky integrate-and-fire)脈沖神經元的響應。
圖2 可激活的石墨烯光纖激光器系統
該小組于2018年還提出了基于分布式反饋(DFB)激光器結構的神經擬態光子集成電路(圖3),并探討了構建可編程可級聯光子神經網絡的可行方案。
圖3 集成光子神經元
發展趨勢
1. 實時訓練算法
由于光子本身難以存儲,故在電神經網絡訓練中應用廣泛的后向傳播算法難以移植于光子神經網絡的訓練上。
針對這一問題,Hughes等人于2018年首次提出了針對集成光子干涉單元的實時訓練算法。該算法通過記錄光場分布以及移相器的相位分布能夠得到向收斂方向下降的梯度值,進而計算下一輪迭代中芯片移相器的相位配置,從而使得芯片整體性能能夠逐步收斂。
除此之外,北京郵電大學Zhang等人于2019年提出了基于遺傳算法/粒子群算法的非梯度片上訓練方案,以減少獲取與計算梯度值所帶來的器件性能和要求。Zhang等通過仿真分別實現了光神經網絡在Iris 數據集、Wine數據集上的在線訓練,訓練的收斂效果如圖4所示。
(a)
(b)
圖4 (a)采用GA算法訓練光神經網絡的分類效果; (b)采用PSO算法訓練光神經網絡的分類效果
相比于電子器件,光電子器件實現非線性函數困難,且所實現的非線性函數存在很多非理想特性,因此非線性運算已成為光子神經網絡發展的另一個障礙。
1967年,Seldon等提出了在光子神經網絡中實現非線性運算的飽和吸收體模型或電子模塊,但該方法難于精準控制,且需要將光信號通過光電二極管轉化為電信號,從而降低了計算速度。
2019年,Williamson等提出了一種光電混合的非線性運算模塊(圖5)。該模塊除了能夠較為精準的產生非線性激活函數,通過改變移相器的相位,還能夠實現不同激活函數的轉換。同年,Feldmann 等提出了光控相變存儲器(PCM)方案,該方案利用相變材料對不同輸入光強的透光性差異,進而實現非線性激活函數的功能(圖6)。
圖5 光電混合非線性模塊結構以及通過調諧相位實現不同的非線性函數
圖6 光控PCM的歸一化傳輸系數曲線
除此之外,二維石墨烯材料也有望用以實現光學激活函數。
2. 網絡規模擴展
光子神經網絡的規模化是另一個難解決的問題。一方面,大規模神經網絡有利于實現更加復雜的功能,但光子器件的不穩定和難以精細調諧的特性又使得神經網絡規模的擴展變得困難。
2018年Lin等提出了一種基于衍射的光子深度神經網絡( D 2 NN),能夠有效解決這一問題(圖7)。利用光衍射疊加,該結構能夠實現相鄰兩層神經元之間的連接,通過改變處于不同位置的像素塊厚度來調節所經過光的相位差,從而使得不同節點之間有不同的權值。最后,利用放置于特定位置的PD獲得深度神經網絡的輸出。采用該結構的神經網絡每層節點數可以擴充至幾百。
圖7 基于衍射的光子深度神經網絡結構圖
除此之外,清華大學陳宏偉課題組提出了一種基于時域拉伸的串行光子神經網絡(TS-NN),利用光纖色散傅里葉變換實現線性矩陣運算,該方法通過并行變串行的方案實現了光電混合的全連接神經網絡規模擴展(圖8)。
圖8 基于時域拉伸的全連接光電神經網絡結構
3. 應用場景擴展
一直以來,受限于現有光子神經網絡的規模與復雜度,光子神經網絡的應用場景十分有限。
2012年,Paquot等成功構建了基于光纖系統的光電混合循環神經網絡,可實現通信信道的均衡,是光子神經網絡在通信領域的場景擴展。
2019年,清華大學和北京郵電大學Yu等利用光電混合網絡構建了二值光相干接收機(圖9),實現了對發送端調制信號的恢復。正交相移鍵控(QPSK)調制的光信號從先通過廣播層進入輸入層,然后通過二值全光神經網絡進行處理,再通過光電二極管和模數轉換器變為電信號,最后利用電人工神經網絡恢復原始調制信號。
(a)
(b)
(c)
圖9 (a)光電混合二值神經網絡架構;(b)單偏振系統二值權重映射結構;(c)偏振復用系統二值權值映射結構
該結構可以緩解電域的信號處理壓力,降低光接收機整體的功耗,提升光接收機的信號處理速度。此外,該結構還能極大地降低對模數轉換器量化位數的要求,從而有效降低光接收機的成本。
總結
近年來,種類繁多的光子神經網絡異軍突起,成為突破電子神經網絡瓶頸的潛在手段。得益于光電器件大帶寬、低損耗的特點,光子神經網絡更能適應高速低時延運算。然而,光子神經網絡還需克服實時訓練、非線性激活函數實現、規模化以及應用擴展等問題,才能真正在人工智能領域大放異彩。
評論
查看更多