研究背景：

近年來，基于傳統(tǒng)計算機的神經(jīng)網(wǎng)絡(luò)計算受到內(nèi)存限制，已經(jīng)不能滿足計算速度和能耗的需求。在電子硬件領(lǐng)域，研究人員持續(xù)地進行更深入、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)的研究，通過硬件方面的創(chuàng)新來釋放傳統(tǒng)電子系統(tǒng)的潛能。例如，GPU(圖形處理單元)通過聚集大量的處理核心，獲得具有極高的并行計算能力(遠超CPU)，促進了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

然而，神經(jīng)形態(tài)計算對高性能、高能效和更大帶寬的需求是無止境的。隨著以摩爾定律為標志的電子晶體管的指數(shù)級增長逐漸接近了物理極限，傳統(tǒng)的硅基電子元件已經(jīng)達到了瓶頸區(qū)。更多底層電子元器件被相繼提出，來試圖滿足神經(jīng)形態(tài)計算的需求，如：憶阻器、相變存儲器(PCM)、鐵電隨機存取存儲器(FeRAM)和磁性隨機存取存儲器(MRAM)等，這些都是具有高處理速度、巨大存儲容量和良好長期穩(wěn)定性的創(chuàng)新型存儲器，與傳統(tǒng)電子元件相比，它們可以更好地執(zhí)行高效的神經(jīng)形態(tài)計算。然而，電子器件從根本上受到帶寬和互連性之間的權(quán)衡的影響，這限制了高速神經(jīng)形態(tài)計算的進步。

在過去的幾年里，光子芯片開始在學(xué)術(shù)界受到極大的關(guān)注，因為在集成光子芯片的每一層都可以實現(xiàn)光速數(shù)據(jù)處理和并行傳輸。與電子不同，光具有更多維度，例如波長、偏振和空間模式，這導(dǎo)致神經(jīng)形態(tài)計算或深度學(xué)習(xí)更具創(chuàng)造性和可行性。此外，成熟先進的硅光子技術(shù)為大規(guī)模光子制造和集成提供了完美的平臺。在最近的所有方案中，硅光子學(xué)被認為是神經(jīng)形態(tài)計算最有前途的技術(shù)之一。

硅基光子芯片可以完美兼容成熟的CMOS工藝;因此，它也可以與CMOS電子芯片集成，而無需額外的復(fù)雜技術(shù)?；诠杌庾有酒纳窠?jīng)形態(tài)計算研究進展迅速，本工作便對這些工作進行了綜述介紹。

光-電協(xié)同設(shè)計：

大多數(shù)關(guān)于ONN的工作都是基于光電硬件實現(xiàn)的。然而，在光電硬件中，由于器件在求和和激活功能中更多地工作在電域，因此在電光和反向轉(zhuǎn)換中會消耗大量功率。例如，光電探測器經(jīng)常用于將光信號轉(zhuǎn)換為電輸出，這對ONN的速度和功率效率施加了限制。此外，O/E/O神經(jīng)元依賴于利用電光傳遞函數(shù)非線性的調(diào)制器。然而，調(diào)制器和光電探測器容易受到噪聲的影響，它們的噪聲積累會嚴重影響基于光電混合硬件的ONN的精度和能耗。

全光實現(xiàn)似乎是解決光電混合硬件問題的一種有前途的方法。與電子實現(xiàn)相比，全光神經(jīng)元通常依賴于許多材料中出現(xiàn)的半導(dǎo)體載流子或光敏性。最明顯的優(yōu)點是光信號流不需要任何轉(zhuǎn)換;因此，它們本質(zhì)上比O/E/O方法更快。同時，使用無源光學(xué)元件的全光方案可以很容易地與CMOS技術(shù)集成。光子實現(xiàn)還提供了光子通信中的高帶寬和非線性實現(xiàn)中的低復(fù)雜性的優(yōu)點。然而，全光神經(jīng)元仍然面臨許多挑戰(zhàn)，如級聯(lián)性，由于光器件存在插入損耗，需要更加高效的光器件來進行補償。

從更實際的角度來看，電子和光子協(xié)同設(shè)計硬件可以進一步推動神經(jīng)形態(tài)計算，這將是核心研究路線之一，直到所需的光學(xué)器件跨越當前的挑戰(zhàn)。參考文獻中的Zhou等人展示了光電混合AI計算芯片架構(gòu)的可能路線，該架構(gòu)由三層組成：底層硬件層、算法層和頂層應(yīng)用層，可以作為未來光混合電路的指南。

圖1 ONN中的加權(quán)函數(shù)。(a)將調(diào)制器用作神經(jīng)元的廣播和權(quán)重網(wǎng)絡(luò)。(b)具有16個可調(diào)微環(huán)(MRR)權(quán)重和光纖到芯片光柵耦合器的4節(jié)點循環(huán)廣播和權(quán)重網(wǎng)絡(luò)的顯微照片。(c)類似于神經(jīng)突觸功能的集成光子突觸示意圖。(d)光子突觸活動區(qū)域的掃描電子顯微鏡圖像。(e)基于級聯(lián)的Sb2S3-SiN的加權(quán)和求和混合光子開關(guān)，實現(xiàn)光子學(xué)版的FPGA。(f)由單模混合硅波導(dǎo)組成的NLAF模塊。

圖2 ONN中的激活函數(shù)。(a)所提出的光對光激活函數(shù)的示意圖。(b)用于評估4輸入WDMRNN的實驗裝置。(c)、(d)該研究中實現(xiàn)的網(wǎng)絡(luò)示意圖，由幾個突觸前輸入神經(jīng)元和一個通過PCM突觸連接的突觸后輸出神經(jīng)元組成。

用于神經(jīng)形態(tài)計算的硅光芯片：

MRR和光電探測器可以分別用于實現(xiàn)電光轉(zhuǎn)換和光電轉(zhuǎn)換。除了這三種器件之外，其他基于硅光子學(xué)的組件，如激光器、耦合器和調(diào)制器，也是光學(xué)電路和神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分。至于片上激光器，盡管許多研究人員仍然使用片外激光器來構(gòu)建神經(jīng)網(wǎng)絡(luò)，垂直腔面發(fā)射激光器(VCSEL)和微盤激光器都支持可擴展神經(jīng)網(wǎng)絡(luò)的設(shè)計，是未來發(fā)展的關(guān)鍵。此外，波導(dǎo)在硅光子學(xué)中非常重要，因為它們相當于電學(xué)領(lǐng)域的金屬線;在最小化光損耗，包括傳播損耗和彎曲損耗的方面，研究人員也投入了大量研究。此外，MRR、微盤和MZI被廣泛用于設(shè)計調(diào)制器、開關(guān)和濾波器。盡管硅光子學(xué)現(xiàn)在可以被視為一個成熟的技術(shù)平臺，但以高效率將光連接到硅光子組件和從硅光子組件發(fā)出光的問題仍然是一個挑戰(zhàn)。

圖3 基于孤子微梳的計算。(a)用于生成克爾頻率梳的高Q諧振器平臺。(b)克爾梳與其他三次和二次非線性效應(yīng)的相互作用的圖示。(c)多路復(fù)用全光MVM草圖。(d)用于頻率梳生成的基于高Q Si3N4光子芯片的微諧振器的光學(xué)顯微照片。(e)制造的16×16的光學(xué)顯微照片。

圖4 用于集成光子學(xué)計算的相變材料。(a)、(b)、(c)提出的存儲元件的示意圖。(d)具有25個不同存儲元件的陣列的光學(xué)顯微鏡圖像。(e)使用硅中部分蝕刻的脊形波導(dǎo)的平臺的3D方案。

利用PCM、孤子微梳和超表面的設(shè)備在神經(jīng)形態(tài)計算中引起了極大的關(guān)注。Xu等人引入了ONN的時間-波長復(fù)用的概念，并應(yīng)用克爾微梳來實現(xiàn)光子感知器。2021年1月，Xu等人展示了一種通用光學(xué)矢量卷積加速器，該加速器基于由集成微梳源啟用的同時交錯時間、波長和空間維度。與此同時，費爾德曼等人提出了一種使用相變材料存儲器陣列和孤子微梳的集成光子張量核心方案。此外，具有用于操縱光波前的亞波長諧振器的超表面可以實現(xiàn)自由空間和龐大系統(tǒng)的小型化，以實現(xiàn)衍射神經(jīng)網(wǎng)絡(luò)(DNN)。通過使用孤子微梳、PCM和超表面，實現(xiàn)基于硅光子學(xué)的神經(jīng)形態(tài)計算的新方法為突破先前集成光子機器學(xué)習(xí)的瓶頸提供了有效途徑。

圖5 超表面的基本概念。將超表面設(shè)計到光子芯片中進行神經(jīng)形態(tài)計算也是當前火熱的研究方向之一。

圖6 通過光干涉實現(xiàn)神經(jīng)形態(tài)計算。(a)實驗所用OIU的光學(xué)顯微照片。(b)兩層ONN實驗的示意圖。(c)細化層實施方案。(d)所提出的架構(gòu)的單層示意圖。

圖7 通過光共振實現(xiàn)神經(jīng)形態(tài)計算。(a)M×N向量矩陣乘法器的無中斷權(quán)重和聚合架構(gòu)。(b)光學(xué)CNN的實驗示意圖。

圖8 算法。(a)基于GA的ONN學(xué)習(xí)算法的流程圖。(b)基于PSO的ONN學(xué)習(xí)算法的流程圖。(c)、(d)、(e)所提出的梯度信息實驗測量方法的示意圖。(f)、(g)、(h)、(i)一維問題的貝葉斯優(yōu)化圖示。(j)、(k)、(l)使用GAN生成手寫數(shù)字。

總結(jié)：

這篇綜述詳細回顧了基于硅光子學(xué)的神經(jīng)形態(tài)計算的最新進展，介紹了基于硅光子芯片的神經(jīng)形態(tài)計算中微架構(gòu)功能、設(shè)備、架構(gòu)和算法。神經(jīng)形態(tài)硅光子學(xué)這個結(jié)合了光子學(xué)的速度和并行性與深度學(xué)習(xí)的自適應(yīng)性的新興領(lǐng)域，理論上可以以比傳統(tǒng)電子學(xué)快幾個數(shù)量級的速度進行運算。利用WDM等新概念、PCM、孤子微梳和超表面等新設(shè)備、可行的制造技術(shù)和先進的算法，可以在下一代光學(xué)神經(jīng)網(wǎng)絡(luò)中實現(xiàn)前所未有的發(fā)展。本工作總結(jié)了當前的挑戰(zhàn)，并指出了未來光學(xué)神經(jīng)網(wǎng)絡(luò)實現(xiàn)的可能機會。

電子-光子協(xié)同設(shè)計：在沒有電子控制器的情況下，電子-集成電路-光子協(xié)同設(shè)計神經(jīng)網(wǎng)絡(luò)是當前人工神經(jīng)網(wǎng)絡(luò)更實用的途徑，然后電子控制才能成為光學(xué)領(lǐng)域的競爭候選者。盡管單片制造提供了在同一基板上集成電子和光子學(xué)的絕佳機會，但電子元件引起的高延遲和功耗對電子控制器提出了挑戰(zhàn)。在ONN中，控制器應(yīng)實時、高速、高效地管理光子設(shè)備并維持神經(jīng)元的穩(wěn)定運行。

片上集成：片上ONN是當前研究的主流，因為成熟的CMOS技術(shù)對于大規(guī)模和高度集成的ONN具有巨大的優(yōu)勢。然而，片上光網(wǎng)絡(luò)的成本在資金開銷、人工費用、技術(shù)要求等方面都非常昂貴。例如，由于大面積要求和相位噪聲損壞，有望以集成方式制造的相干架構(gòu)受到MZI問題的阻礙。此外，由于許多其他光子器件(例如MR和PCM)的熱串擾和制造工藝變化，片上集成會受到壽命不穩(wěn)定的影響。此外，片上硅激光器更容易受到環(huán)境因素的影響，并且仍然是學(xué)術(shù)界的一大難題。

訓(xùn)練：正如之前所討論的，在許多工作中，訓(xùn)練過程通常是在數(shù)字計算機上完成的。一方面，為當前可以在光域中實時工作的ONN設(shè)計一種有效的訓(xùn)練方法至關(guān)重要。另一方面，探索可以有效支持神經(jīng)網(wǎng)絡(luò)訓(xùn)練的光子架構(gòu)是有前途但具有挑戰(zhàn)性的，因為反向傳播對當前的光子神經(jīng)網(wǎng)絡(luò)提出了額外的要求。最近使用超表面實現(xiàn)衍射神經(jīng)網(wǎng)絡(luò)的工作邁出了重要一步，并顯示了未來網(wǎng)絡(luò)訓(xùn)練方法的可能性。此外，基于憶阻器混合硬件的光子加速器支持反向傳播，這也是一個很好的例子。

可擴展性：可擴展性是ONN和電子ANN之間最明顯的問題。ONNS取得的進步是不可磨滅的，但問題是與電氣ANN相比，許多工作側(cè)重于小規(guī)模ONN，后者可以具有數(shù)百萬個權(quán)重參數(shù)。解決這個問題最實用的方法是優(yōu)化和改進光學(xué)元件。另一方面，需要提出更多適用于光神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，以降低網(wǎng)絡(luò)的復(fù)雜度;因此，他們可以為擴展光子網(wǎng)絡(luò)鋪平道路。

在未來，硅基光子芯片用于神經(jīng)形態(tài)計算仍然有許多困難需要解決，盡管如此，光子神經(jīng)網(wǎng)絡(luò)已經(jīng)在智能信號處理、高性能計算、非線性規(guī)劃和控制等傳統(tǒng)計算機技術(shù)無法企及的許多領(lǐng)域得到了應(yīng)用，這些廣闊的前景促使人們將光神經(jīng)網(wǎng)絡(luò)的帶向更輝煌的未來。