谷歌眼鏡通過增強現(xiàn)實療法幫助自閉癥兒童理解面部表情。

想象一下這個場景：快到晚飯時間了，小吉米呆在廚房里。他媽媽正忙著把晚飯端上飯桌，并且她把所有餐具都堆放在了廚房的操作臺上?；加凶蚤]癥的吉米則希望把餐具擺放得更加整齊，當他媽媽在爐子旁時，他便小心翼翼地開始把每一把餐叉、餐刀和湯勺放回餐具抽屜的槽里。突然，吉米聽到一聲喊叫。他媽媽聲音很大，她的臉色看起來不一樣了。但他還在繼續(xù)收拾著餐具。 現(xiàn)在想象一下，吉米戴著一種特殊的谷歌眼鏡，這是谷歌在2013年推出的一款增強現(xiàn)實頭戴設(shè)備。當他抬頭看著他媽媽時，頭戴顯示器亮起一個綠框，提示吉米他“發(fā)現(xiàn)了一張臉”。當他盯著他媽媽的臉看時，一個表情符號跳出來，告訴吉米：“你發(fā)現(xiàn)了一張生氣的臉?！庇谑?，他會思考為什么他媽媽會生氣。也許他應(yīng)該停下收拾餐具，去問問她。 我們的團隊已經(jīng)花了6年的時間來研究這項針對自閉癥兒童的輔助技術(shù)，孩子們把這項技術(shù)稱為“超級眼鏡”。我們的系統(tǒng)為孩子在家中提供行為療法，這是最初學(xué)習社交技能的地方。該系統(tǒng)使用眼鏡外置攝像頭記錄孩子與家人之間的互動；然后我們的軟件會檢測到這些視頻中的人臉，并解讀他們表達的情緒。通過一個應(yīng)用程序，看護人可以查看自動剪輯的社交互動視頻。 多年來，我們已經(jīng)對原型進行了改進，并通過臨床試驗證明它的療效：我們發(fā)現(xiàn)，使用這款眼鏡可以增加孩子們的眼神交流和社交參與感，還可以提高他們對情緒的識別能力。我們在斯坦福大學(xué)的團隊與本文作者之一丹尼斯?沃爾（Dennis Wall）的分拆公司Cognoa合作，為“超級眼鏡”贏得了“突破性療法”的稱號，該項技術(shù)迅速獲得了美國食品藥品管理局（FDA）的批準。我們的目標是進入健康保險計劃，以此來支付該項技術(shù)作為增強現(xiàn)實治療療法的費用。 當谷歌眼鏡第一次作為消費類設(shè)備出現(xiàn)時，許多人認為不需要使用它。面對慘淡的評價和銷量，谷歌2015年停止了消費版產(chǎn)品的生產(chǎn)。但當該公司于2017年攜帶該設(shè)備的二代產(chǎn)品——“企業(yè)版眼鏡”重返市場時，許多行業(yè)開始看到了它的潛力。在這里，我們將講述我們?nèi)绾卫眠@項技術(shù)為自閉癥兒童提供一種看世界的新方式。

當吉米戴上眼鏡時，他很快就習慣了視野邊緣的頭戴顯示器（棱鏡）。當吉米開始與家人進行互動時，這個眼鏡就會將視頻數(shù)據(jù)發(fā)送到看護人的智能手機上。我們的應(yīng)用程序配有最新的人工智能（AI）技術(shù)，可以檢測人臉和情緒，并將信息發(fā)送回眼鏡。當檢測到人臉時，頭戴顯示器的邊框就會亮起綠色，然后顯示器通過表情圖形、表情符號或書面文字來識別面部表情。用戶還可以選擇從眼鏡內(nèi)的骨傳導(dǎo)揚聲器獲取音頻暗示（一種識別情緒的聲音），該揚聲器通過頭骨向內(nèi)耳發(fā)送聲波。該系統(tǒng)可以識別7種面部表情，包括快樂、憤怒、驚訝、悲傷、恐懼、厭惡，還有蔑視——我們標記為“失望”，這樣對孩子更友好一些。它還能識別中性的表情。

為了鼓勵孩子們佩戴“超級眼鏡”，這款應(yīng)用程序目前提供了兩款游戲：“捕捉微笑”——孩子試圖從他人身上引發(fā)出快樂或另一種情緒；“猜猜表情”——人們表現(xiàn)各種情緒，然后讓孩子們猜出是哪種情緒。這款應(yīng)用程序還會記錄會話中的所有活動，并標記社交活動的瞬間。這讓吉米和他媽媽能夠一起觀看他們在廚房里出現(xiàn)矛盾的視頻，這會促使他們討論究竟發(fā)生了什么事情，以及下次他們?nèi)绾伪苊膺@樣的情況發(fā)生。

“超級眼鏡”系統(tǒng)的三大要素——人臉檢測、情感識別和App回顧，可以幫助自閉癥兒童邊戴邊學(xué)。鼓勵孩子們?nèi)ふ疑缃换樱沟盟麄兞私馊四樖怯腥さ?，意識到可以從面部表情中收集有價值的信息。但是眼鏡并不需要永久佩戴。孩子們每周在自己家里做幾次20分鐘的治療，目前整個干預(yù)療程為6周。孩子們能很快學(xué)會如何察覺他們社交伙伴的情緒，然后，在他們獲得社交自信心后，就不再使用眼鏡了。

我們的系統(tǒng)旨在改善一個嚴重的問題：孩子們只能接受有限的強化行為治療。盡管有證據(jù)表明這種療法可以減少甚至消除自閉癥的核心癥狀，但孩子們必須在8歲之前就開始接受這種療法，才能真正見效。目前診斷的平均年齡是4至5歲，等待治療可能會超過18個月。其部分原因是，自1990年以來，美國自閉癥兒童的診斷人數(shù)猛增了600%，現(xiàn)在大約每40個孩子中就有一個患有自閉癥；而在亞洲和歐洲的一些地區(qū)，增長卻沒有如此劇烈。

由于需要治療的兒童人數(shù)與能夠提供治療的專家人數(shù)之間的不平衡越來越嚴重，因此我們認為，臨床醫(yī)生必須尋求以分散方式擴大規(guī)模的解決方案。我們認為，不能一切都依賴專家，幫助所有這些兒童所需的工具，如數(shù)據(jù)采集、監(jiān)控和治療工具，必須交到患者及其父母的手中。

為自閉癥兒童提供原位輔助學(xué)習的努力可以追溯到20世紀90年代，當時麻省理工學(xué)院的教授羅莎琳德?皮卡德（Rosalind Picard）設(shè)計了一個帶有耳機和顯示情緒提示的微型計算機系統(tǒng)。然而，當時的可穿戴技術(shù)既笨重又突兀，情緒識別軟件也很原始。而如今的可穿戴設(shè)備（例如谷歌眼鏡）都很低調(diào)，而且我們擁有了強大的人工智能工具，它們利用了大量關(guān)于面部表情和社交互動的公開數(shù)據(jù)。━━━━谷歌眼鏡的設(shè)計是一項驚人的壯舉，工程師基本上把智能手機裝進了一個類似眼鏡的輕型框架中。這種形狀因子給開發(fā)者帶來了一個有趣的挑戰(zhàn)：我們必須在電池壽命、視頻流性能和熱量之間做出權(quán)衡。例如，在設(shè)備上處理數(shù)據(jù)產(chǎn)生熱量過多，會自動觸發(fā)操作回調(diào)。當我們嘗試在設(shè)備上運行計算機視覺算法時，該系統(tǒng)會自動降低捕捉視頻的幀速率，嚴重影響快速識別情緒和提供反饋的能力。 我們的解決方案是通過Wi-Fi將谷歌眼鏡與智能手機配對。眼鏡可以捕捉視頻，將視頻流傳輸?shù)绞謾C，并向佩戴者傳遞反饋信息。手機可以進行人臉檢測與跟蹤、特征提取、面部表情識別等繁重的計算機視覺工作，并存儲視頻數(shù)據(jù)。

但是，“眼鏡到手機”的視頻流也有自己的問題：雖然眼鏡能以正常的分辨率捕捉視頻，但我們只能以低分辨率進行傳輸。因此，我們編寫了一個協(xié)議，將眼鏡新檢測到人臉的圖像放大，這樣視頻流信息就足夠詳細，可用于我們的視覺算法。

我們的計算機視覺系統(tǒng)最初是使用現(xiàn)成的工具。軟件流水線由人臉檢測器、人臉跟蹤器和人臉特征提取器組成；一個經(jīng)過標準數(shù)據(jù)集和我們自己數(shù)據(jù)集訓(xùn)練的情緒分類器接收數(shù)據(jù)。在我們剛開始開發(fā)流水線時，在移動設(shè)備上運行能夠處理實時分類任務(wù)的深度學(xué)習算法還不可行。但在過去的幾年里，我們?nèi)〉昧孙@著的進步，現(xiàn)在我們正在研發(fā)一款升級版的“超級眼鏡”，它配有深度學(xué)習工具，可同時進行人臉跟蹤和情緒分類。

這次升級不是一項簡單的任務(wù)。情緒識別軟件主要用于廣告行業(yè)，用于衡量消費者對廣告的情緒反應(yīng)。我們的軟件在幾個關(guān)鍵點都有所不同。首先，它不是用于計算機，而是用于可穿戴和移動設(shè)備，因此我們必須將它的內(nèi)存和處理要求降到最低?？纱┐餍螤钜蜃右惨馕吨?，不是通過穩(wěn)定的網(wǎng)絡(luò)攝像頭捕捉視頻，而是通過孩子們佩戴的移動攝像頭捕捉視頻。我們已經(jīng)添加了圖像穩(wěn)定器來處理視頻的抖動，人臉檢測器要頻繁地初始化，找到在場景中突然改變位置的人臉。

失效判定也是一個嚴重的問題。例如，一個商業(yè)情緒識別系統(tǒng)可能聲稱有98%的準確率；這樣的統(tǒng)計數(shù)據(jù)通常意味著該系統(tǒng)對絕大多數(shù)人效果都很好，但始終無法識別小部分人的表情。這種情況對于研究人們觀看廣告的總體情緒可能是合適的，但對于“超級眼鏡”，這個軟件必須經(jīng)常解讀孩子與同一個人的互動情況。如果這個系統(tǒng)持續(xù)識別失敗的兩個人碰巧是孩子父母，這個孩子就太不走運了。 我們已經(jīng)開發(fā)了一些自定義的方法來解決這些問題。在我們的“中性減法”方法中，系統(tǒng)首先記錄某個人中性表情的臉。然后，軟件根據(jù)檢測到的該人當前顯示的臉和記錄的中性估值之間的差異，對該人的表情進行分類。比如，系統(tǒng)可能學(xué)會，爺爺僅僅眉頭緊鎖，并不意味著他總是生氣。我們還在進一步研究機器學(xué)習技術(shù)，該技術(shù)可快速為每個用戶軟件實現(xiàn)個性化。制造一個穩(wěn)健的人機交互系統(tǒng)，讓用戶沒有太多挫敗感，是一個相當大的挑戰(zhàn)。我們正在試驗幾種游戲化校準過程的方法，我們認為“超級眼鏡”系統(tǒng)必須具有適應(yīng)能力，才能取得商業(yè)成功。 我們從一開始就意識到這個系統(tǒng)是不完善的，于是設(shè)計了反饋來反映這一現(xiàn)實。綠框人臉檢測功能最初是為了緩解挫敗感：如果系統(tǒng)沒有跟蹤到朋友的臉，至少用戶知道這一點，并且不會等待永遠不會出現(xiàn)的反饋。然而，隨著時間的推移，我們開始認識到綠框自身就是一種干預(yù)治療，只要佩戴者看到一張臉，綠框都會提供反饋，對于患有自閉癥系列障礙的兒童，這種行為會有明顯不同。━━━━為了評估“超級眼鏡”，我們在過去6年里進行了3次研究。第一次研究是在我們的實驗室里，有一個非常初級的原型，用來測試患有自閉癥的兒童戴上谷歌眼鏡后會有什么樣的反應(yīng)，以及他們會接收到什么樣的情緒提示。接下來，我們制作了一個完整的原型，并開展了一次設(shè)計試驗，在這個試驗中，自閉癥孩子的家庭把這些設(shè)備帶回家?guī)讉€星期。我們定期與這些家庭進行互動，并根據(jù)他們的反饋對原型進行修改。 用手中這臺精心修改的原型樣機，我們開始對設(shè)備的功效進行嚴格的測試。我們進行了一項隨機對照試驗，其中一組兒童接受典型的居家行為療法，而另一組兒童則接受這種療法外加使用“超級眼鏡”。我們使用了4組常用自閉癥研究測試，尋找情緒識別和更廣泛的社交技能的改善。正如我們在2019年《美國醫(yī)學(xué)會小兒科期刊》（JAMA Pediatrics）上發(fā)表的論文中所述，在一組測試中，干預(yù)組表現(xiàn)明顯優(yōu)于對照組。

我們還請家長告訴我們他們注意到了什么。他們點評技術(shù)功能、用戶挫折感以及他們希望看到的新功能，他們的觀察幫助我們改進了原型的設(shè)計。我們居家設(shè)計試驗開始時的一封電子郵件就很引人注目。這位家長報告說自己的小孩立即有了顯著的改善：“在通過谷歌眼鏡互動過程中，他實際上正在看著我們……就好像他身上的開關(guān)被打開了一樣……謝謝你們?。?！我兒子正看著我的臉。”

這封郵件非常鼓舞人心，但聽起來好得令人難以置信。然而，在我們的研究中，關(guān)于增加眼神交流的評論一直存在，我們在一份設(shè)計研究的出版物中記錄了這個有趣的反饋。時至今日，我們?nèi)阅軓摹罢彰鏖_關(guān)”參與者小組那里聽到類似的故事。 我們相信“超級眼鏡”系統(tǒng)是有效的，但說實話，我們真的不知道為什么有效。我們還無法確定導(dǎo)致增加眼神交流、社交參與度和情緒識別的主要行為機制是什么。這一未知為我們目前的研究提供新的信息。情緒識別反饋對孩子的幫助最大嗎？還是我們的設(shè)備的主要功效是通過綠框吸引人們對臉的注意力？或者我們只是提供了一個平臺來增加家庭內(nèi)部的社交互動？這個系統(tǒng)是以同樣的方式幫助所有的孩子，還是以不同的方式滿足不同人群的需求？如果我們能夠回答這些問題，那我們干預(yù)治療的設(shè)計就能更有針對性和個性化。 由丹尼斯?沃爾創(chuàng)立的初創(chuàng)公司Cognoa，目前正致力于將我們的“超級眼鏡”原型轉(zhuǎn)變?yōu)榭蛇M入醫(yī)生處方的臨床療法。在2019年2月美國食品藥品管理局認定該項技術(shù)為“突破性療法”，這將加快獲得健康保險公司監(jiān)管批準和接納的進程。Cognoa公司的增強現(xiàn)實療法將適用于大多數(shù)類型的智能手機，它不僅與谷歌眼鏡兼容，還將與即將上市的新品牌智能眼鏡兼容。在另一個項目中，該公司正在開發(fā)一種數(shù)字工具，醫(yī)生可以用它來診斷只有18個月大的兒童，這可使這些兒童在大腦發(fā)育的關(guān)鍵時期準備接受治療。 最終，我們認為我們的治療方法還可以用于自閉癥以外的問題兒童。例如，針對語言障礙兒童，或者被診斷患有注意力缺陷多動障礙的孩子，我們可以為他們設(shè)計游戲和反饋。我們正在設(shè)想用各種普遍存在的人工智能設(shè)備為用戶提供治療，并反之推動技術(shù)改進的良性循環(huán)；這些設(shè)備在輔助學(xué)習的同時，還可以捕捉數(shù)據(jù)，幫助我們了解如何更好地進行個性化治療。在這個過程中，甚至還可以對各種失調(diào)癥獲得新的科學(xué)見解。最重要的是，這些設(shè)備將能夠幫助家庭掌握自己的治療和家庭動態(tài)。通過“超級眼鏡”和其他可穿戴設(shè)備，他們將看到未來的方向。