神經(jīng)網(wǎng)絡無需學習就能駕駛虛擬賽車。
動物生下來就具有天生的能力和稟性。馬生下來幾小時后就會走,鴨子孵出來后很快就會游,人類嬰兒自然而然會被人臉吸引。大腦進化到了即使幾乎沒有經(jīng)驗也敢于面對世界的地步,許多研究人員希望AI也有這種天生的能力。
新研究發(fā)現(xiàn),人工神經(jīng)網(wǎng)絡可以進化到無需學習即可執(zhí)行任務的程度。該技術(shù)有望帶來這樣的AI:極其擅長處理各種任務,比如為照片添加標簽或駕駛汽車。
人工神經(jīng)網(wǎng)絡對彼此之間傳輸信息的小型計算單元(“神經(jīng)元”)進行了排列。這種網(wǎng)絡常常通過調(diào)整神經(jīng)元之間連接的“權(quán)重”或強度來學習諸多任務,比如玩游戲或識別圖像。一種名為神經(jīng)網(wǎng)絡架構(gòu)搜索(neural architecture search)的技術(shù)試過眾多網(wǎng)絡形狀和大小,以找到針對某特定用途提高學習能力的那種網(wǎng)絡形狀和大小。
新方法使用同樣這種搜索技術(shù)來查找權(quán)重并不重要的網(wǎng)絡。對于這種網(wǎng)絡而言,網(wǎng)絡的整體形狀決定了它的智能,可能使其特別適合某些任務。
供職于谷歌Brain的論文主要作者、計算機科學家Adam Gaier說:“如果動物有所有這些天生的行為,一些神經(jīng)網(wǎng)絡在未經(jīng)大量訓練的情況下就有出色的表現(xiàn),我們想知道我們能將這個想法運用到多先進的程度?!?/span>
整個過程始于一組很簡單的網(wǎng)絡,這些網(wǎng)絡將輸入(比如來自機器人傳感器的數(shù)據(jù))與行為輸出連接起來。它評估網(wǎng)絡處理特定任務時的性能,保持網(wǎng)絡處于最佳性能狀態(tài),并通過添加神經(jīng)元、添加連接或改變神經(jīng)元對輸入總和的敏感度使網(wǎng)絡發(fā)生突變。在評估階段,為網(wǎng)絡的所有權(quán)重賦予一個共享的隨機數(shù)。(這實際上針對幾個隨機數(shù)來完成,然后對結(jié)果求平均值。)
結(jié)果名為與權(quán)重無關的神經(jīng)網(wǎng)絡(WANN)。這種網(wǎng)絡因處理任務時表現(xiàn)出色和很簡單而獲得加分。處理該研究論文中那些任務的典型網(wǎng)絡可能有數(shù)千個神經(jīng)元和權(quán)重,而WANN只有少量的神經(jīng)元和僅僅一個權(quán)重。
但令人驚訝的是,WANN仍表現(xiàn)不俗。研究團隊將它們與標準網(wǎng)絡架構(gòu)進行了比較,標準網(wǎng)絡架構(gòu)的權(quán)重經(jīng)過逐漸完善,可以熟練完成這三項模擬任務:駕駛賽車、使兩足機器人行走以及控制雙輪推車以平衡支桿。
兩條腿旁邊是神經(jīng)網(wǎng)絡及眾多連接的示意圖。盡管沒有取得高分,但前一代網(wǎng)絡中的極簡架構(gòu)仍能控制此處所示的向前行走的Bipedal Walker兩足機器人。
與經(jīng)過訓練的網(wǎng)絡相比,WANN得到的分數(shù)只有其分數(shù)的六分之一到一半。研究人員賦予表現(xiàn)最佳的權(quán)重而不是隨機權(quán)重后,與經(jīng)過訓練的網(wǎng)絡相比,WANN得到的分數(shù)提高到三分之二到五分之四。如果在進化后,以訓練龐大標準網(wǎng)絡的同一方式來訓練WANN,其性能與標準網(wǎng)絡相媲美。
在涉及識別手寫數(shù)字的任務中,WANN的準確率超過90%(而針對這項任務訓練的龐大網(wǎng)絡的準確率為99%)。該研究論文上個月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)(NeurIPS)大會上公布。
優(yōu)步AI實驗室(Uber AI Labs)的計算機科學家Rosanne Liu沒有參與這項研究,他說:“他們的整個系統(tǒng)切實可行,這非常了不起?!逼渌芯咳藛T嘗試開發(fā)不依賴權(quán)重的網(wǎng)絡,但以失敗告終。Gaier稱,這個突破最初是為所有權(quán)重賦予同一數(shù)字的bug,卻不料最終簡化了網(wǎng)絡搜索。
雖然WANN的性能未能超過經(jīng)過訓練的大型網(wǎng)絡,但該方法為尋找專門適合不同任務的網(wǎng)絡架構(gòu)開辟了一條新途徑,正如大腦各部位以不同的方式相連以適合特定的用途。比如說,卷積神經(jīng)網(wǎng)絡的特點是擁有適合圖像識別的架構(gòu),可以映射大腦視覺皮層的結(jié)構(gòu)。Gaier認為,可能還有多得多的構(gòu)建模塊,準備使AI一問世就很聰明。
-
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4821瀏覽量
106425 -
圖像識別
+關注
關注
9文章
529瀏覽量
39755 -
卷積神經(jīng)網(wǎng)絡
關注
4文章
369瀏覽量
12672
發(fā)布評論請先 登錄
NMSIS神經(jīng)網(wǎng)絡庫使用介紹
BP神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡的比較
如何優(yōu)化BP神經(jīng)網(wǎng)絡的學習率
BP神經(jīng)網(wǎng)絡的優(yōu)缺點分析
什么是BP神經(jīng)網(wǎng)絡的反向傳播算法
BP神經(jīng)網(wǎng)絡與深度學習的關系
深度學習入門:簡單神經(jīng)網(wǎng)絡的構(gòu)建與實現(xiàn)
人工神經(jīng)網(wǎng)絡的原理和多種神經(jīng)網(wǎng)絡架構(gòu)方法

人工神經(jīng)網(wǎng)絡需學習也可執(zhí)行任務
評論