視覺系統(tǒng)是人類用來觀察并認知外部世界的最重要的感覺系統(tǒng)。視覺認知的形成，需要眼睛將物體攜帶的光信息轉(zhuǎn)化為視覺神經(jīng)沖動，并傳遞給大腦視覺皮層進行視覺信息處理。得益于這種視網(wǎng)膜和大腦視覺皮層垂直分層的結(jié)構(gòu)和信息加工能力，人類視覺系統(tǒng)能以極低的功耗和極高的信息處理效率完成復(fù)雜的視覺認知。將這種強大的視覺信息處理能力賦予機器，使其能夠像人一樣具有獨立思考和行動的能力，是人們一直以來的夢想。傳統(tǒng)機器視覺采用攝像頭和計算機的組合架構(gòu)，雖然一定程度上實現(xiàn)了對人類視覺系統(tǒng)部分功能的模擬,但是要想達到能與人類視覺系統(tǒng)相比擬的高效信息處理能力，仍面臨很大的挑戰(zhàn)。

近日，南京大學(xué)物理學(xué)院繆峰教授團隊將視網(wǎng)膜形態(tài)傳感陣列和憶阻交叉陣列結(jié)合為一體，提出和實現(xiàn)了“垂直結(jié)構(gòu)”的類腦視覺系統(tǒng)，為未來實現(xiàn)類腦機器視覺提供了一個可行的思路。 多功能光電傳感和類腦計算器件對于研發(fā)能夠工作在全模擬域的類腦視覺系統(tǒng)至關(guān)重要。近年來，繆峰團隊（https://nano.nju.edu.cn）利用“原子樂高”的技術(shù)途徑，分別在室溫高靈敏紅外探測器（Science Advances 2017）、耐高溫憶阻器（Nature Electronics 2018）、彈道雪崩探測器件（Nature Nano. 2019）、可重構(gòu)類腦視覺傳感器（Science Advances 2020）、可重構(gòu)類腦電路（Nature Electronics 2020）等方向陸續(xù)取得突破。與此同時，繆峰團隊也一直探索憶阻交叉陣列的應(yīng)用領(lǐng)域，首次利用憶阻交叉陣列構(gòu)建了一個神經(jīng)網(wǎng)絡(luò)系統(tǒng)，用于核心信息處理單元，實現(xiàn)了具有一定自適應(yīng)能力的智能小車（Advanced intelligent systems 2020）。 基于這系列工作打下的基礎(chǔ)，該團隊近日提出，通過將視網(wǎng)膜形態(tài)傳感器陣列與憶阻交叉陣列結(jié)合在一起，可以模擬人類視覺系統(tǒng)的“垂直分層”架構(gòu)，從而同步實現(xiàn)對視覺信息的感知和預(yù)處理，并高效執(zhí)行較復(fù)雜的包括圖像識別、物體追蹤、運動軌跡預(yù)測等在內(nèi)的任務(wù)。該工作為未來開發(fā)三維垂直集成的新型類腦視覺系統(tǒng)奠定了科學(xué)與技術(shù)基礎(chǔ)。 相關(guān)研究成果以“Networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception”（基于視網(wǎng)膜形態(tài)傳感器和憶阻交叉陣列的類腦視覺系統(tǒng)）為題于近日在線發(fā)表在National Science Review上。南京大學(xué)物理學(xué)院博士生王爽、王晨宇和王鵬飛為論文的共同第一作者，梁世軍副研究員和繆峰教授為該工作的共同通訊作者。該工作得到了王振林教授課題組、陳坤基教授課題組的實驗協(xié)助，和國家杰出青年科學(xué)基金、國家自然科學(xué)基金、江蘇省青年基金等項目的資助，以及微結(jié)構(gòu)科學(xué)與技術(shù)協(xié)同創(chuàng)新中心的支持。 被譽為“憶阻器之父”、美國加州大學(xué)伯克利分校的蔡少棠(Leon Chua)教授在同期National Science Review上為本文撰寫了專題評論文章“A promising route to neuromorphic vision“ 《一條通往類腦視覺的光明之路》，指出“Liang和Miao關(guān)于在完全模擬域內(nèi)執(zhí)行感算識任務(wù)的類腦視覺系統(tǒng)原型展示的工作是一個重大的突破”。蔡少棠教授進一步指出，該工作“為將來探索類腦視覺系統(tǒng)在自動駕駛、智能安防和智能醫(yī)療領(lǐng)域的應(yīng)用開辟了一條可遵循的潛在技術(shù)路線”。（https://doi.org/10.1093/nsr/nwaa182） 研究成果

人類視覺系統(tǒng)強大的信息處理能力很大程度上依賴于視網(wǎng)膜和大腦視覺皮層所形成的分層結(jié)構(gòu)（圖1a所示）。人類對外界信息形成視覺認知的過程需要經(jīng)歷以下基本過程：攜帶外部世界信息的光首先投射在眼球底部的視網(wǎng)膜上，視網(wǎng)膜上的光感受器會將光信號轉(zhuǎn)化為電信號，傳遞給視網(wǎng)膜中的其它細胞實現(xiàn)對信息的初步整合加工，整合后的信號將由視網(wǎng)膜神經(jīng)節(jié)細胞通過視神經(jīng)傳遞給大腦；進入大腦的視覺信息會被大腦中不同的視覺皮層進行深層次加工處理，最終傳遞給高級腦區(qū)形成視覺認知。為了實現(xiàn)對人類視覺系統(tǒng)結(jié)構(gòu)和功能的逼真模擬，繆峰團隊提出，通過將采用“原子樂高”的方式搭建的可重構(gòu)視網(wǎng)膜傳感器和憶阻交叉陣列進行集成，可以實現(xiàn)全模擬域的視覺信息傳遞和處理，如圖1b所示。

圖1：人類視覺系統(tǒng)和類腦視覺系統(tǒng)。人類視覺系統(tǒng)主要由視網(wǎng)膜和大腦皮層視覺中樞組成；對應(yīng)地，類腦視覺系統(tǒng)主要由可重構(gòu)視網(wǎng)膜傳感器和憶阻器交叉陣列所構(gòu)成。 在實驗中，研究團隊首先展示了視網(wǎng)膜形態(tài)的傳感器陣列及其在圖像預(yù)處理方面的應(yīng)用。為了制備傳感器陣列，該團隊利用機械剝離方法獲得了二維材料硒化鎢和氮化硼，并將它們依次轉(zhuǎn)移至氧化鋁上制備成范德華異質(zhì)結(jié)器件。在背柵調(diào)控下，所制備的器件展現(xiàn)出極性相反的，且依賴于柵極電壓、光強、波長等物理參數(shù)變化的光電流響應(yīng)。這種光響應(yīng)特征與視網(wǎng)膜中雙極性細胞的特征類似。為了證實范德華異質(zhì)結(jié)器件具有圖像信息加工的能力，研究團隊將異質(zhì)結(jié)器件組裝至3×3的PCB陣列上。通過控制施加到每個器件上的獨立柵極電壓源，陣列的圖像預(yù)處理功能能夠被配置為不同卷積核的形式。根據(jù)基爾霍夫定律，把每次光信號輸入之后的所有器件源漏電流變化量ΔIds進行求和，作為對圖像信息處理后的結(jié)果。如圖2所示，器件陣列實現(xiàn)了對Lenna圖的同步感知和預(yù)處理（邊緣增強、風格化）。通過對Lenna圖的預(yù)處理結(jié)果進行評估，研究團隊指出所制備的異質(zhì)結(jié)陣列傳感器能夠模擬人類視網(wǎng)膜的垂直結(jié)構(gòu)和信息預(yù)處理功能。

圖2，視網(wǎng)膜形態(tài)的傳感器陣列及圖像預(yù)處理功能。（a）按照3×3陣列排布的視網(wǎng)膜形態(tài)傳感器陣列，單個器件結(jié)構(gòu)如光學(xué)圖片所示。（b）在背柵調(diào)控下，器件展示出正負光電流響應(yīng)。（c）用于圖像預(yù)處理的Lenna原圖。（d）經(jīng)過邊緣增強處理過的Lenna圖片。（e）對Lenna圖的邊緣增強結(jié)果進行評估，處理后的圖片的灰度值（綠）呈現(xiàn)出高斯分布。（f）經(jīng)過風格化處理的圖片。（g）對Lenna圖的風格化結(jié)果進行評估，處理后的圖片與模擬值呈現(xiàn)相似的灰度值排布。 進一步地，研究團隊將2100張含有噪點的“N”，“J”，“U”字母集輸入視網(wǎng)膜形態(tài)陣列傳感器，并將陣列中的背柵電壓配置為可具有執(zhí)行邊緣增強功能的卷積核。視網(wǎng)膜形態(tài)陣列輸出的電信號經(jīng)過電流-電壓轉(zhuǎn)換器，輸入至憶阻交叉陣列。憶阻交叉陣列中每一個交叉點具有可調(diào)的電導(dǎo)值，且呈現(xiàn)出線性的電壓-電流特征，這允許其被用于執(zhí)行類似大腦視覺皮層功能的人工神經(jīng)網(wǎng)絡(luò)。研究發(fā)現(xiàn)，類腦視覺系統(tǒng)對2100張“N”，“J”，“U”字母集圖片的識別率達到100%。相比于基于傳統(tǒng)傳感器的視覺系統(tǒng)，集成有視網(wǎng)膜形態(tài)傳感器的類腦視覺系統(tǒng)能夠加速圖像識別的收斂過程，如圖3所示。

圖3，用于圖像識別的類腦視覺系統(tǒng)。（a）類腦視覺系統(tǒng)用于圖像識別的流程圖。用于圖像識別的8×8“N”，“J”，”U“噪點字母集（c左圖）被輸入視網(wǎng)膜形態(tài)傳感器中，進行同步圖像感知和預(yù)處理；處理后的結(jié)果輸入憶阻交叉陣列進行圖像識別。（b）憶阻器具有線性的電壓-電流特征。類腦視覺系統(tǒng)對該字母集的識別率達到100%（c右圖）。（d）視網(wǎng)膜形態(tài)傳感器的存在能夠加速圖像的識別率和收斂速度。 得益于憶阻交叉陣列可重新配置的靈活性，研究團隊將其配置成能夠處理與時序信息相關(guān)的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以進一步完成對動態(tài)物體的追蹤任務(wù)。在實驗中，研究團隊利用視網(wǎng)膜形態(tài)傳感器，對視野中的目標“十”字進行邊緣特征提取，并將移動“十”字目標的坐標按照時序信息的形式輸入由憶阻交叉陣列執(zhí)行的循環(huán)神經(jīng)網(wǎng)絡(luò)中。循環(huán)神經(jīng)網(wǎng)絡(luò)能夠根據(jù)“十”字目標在n時刻以及之前的坐標信息，獲得n+1時刻的坐標值，從而實現(xiàn)對n+1時刻物體的運動軌跡進行預(yù)判。研究團隊指出，該類腦視覺系統(tǒng)可以對動態(tài)視覺信息進行逐級簡化處理，提升對移動物體追蹤的效率。這一項工作從原理上證明，利用視網(wǎng)膜形態(tài)的傳感器和憶阻交叉陣列進行垂直集成的類腦視覺系統(tǒng)，有望在將來應(yīng)用于眾多新興智能科技領(lǐng)域。

圖4，用于動態(tài)視覺任務(wù)的類腦視覺系統(tǒng)。（a）類腦視覺系統(tǒng)用于運動追蹤的流程圖。利用視網(wǎng)膜形態(tài)傳感器，對視野中的 “十”字目標進行邊緣特征提取，并將“十”字目標的坐標以時序信息形式輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，對下一時刻該目標的軌跡進行預(yù)測。（b）類腦視覺系統(tǒng)經(jīng)過運動追蹤獲得的“十”字目標物運動軌跡（綠色線）與經(jīng)過軌跡預(yù)測獲得的“十”字目標物運動軌跡（橘黃色線）基本一致。