如果您曾經(jīng)使用過虛擬助手，您可能會(huì)認(rèn)為您正在與一臺(tái)非常智能的設(shè)備交談，它幾乎可以回答您提出的任何問題。嗯，實(shí)際上，Amazon Echos、Google Homes 和其他類似的設(shè)備通常不知道你在說什么。

是的，這些設(shè)備利用了人工智能。但不是你期望的那樣。端點(diǎn)硬件通常會(huì)簡(jiǎn)單地檢測(cè)到喚醒詞或觸發(fā)短語(yǔ)并打開與自然語(yǔ)言處理引擎分析請(qǐng)求的云的連接。在許多情況下，他們不只是傳輸您的問題的記錄。

“我們將其稱為邊緣的‘弱喚醒詞’，”加利福尼亞州帕洛阿爾托的 Knowles Intelligent Audio 物聯(lián)網(wǎng)營(yíng)銷高級(jí)總監(jiān) Vikram Shrivastava 說?！澳闳匀恍枰獙⒄麄€(gè)錄音發(fā)送到云端，以獲得真正可靠的第二秒，即有人真正說‘好吧，谷歌’或有人真正說出了相關(guān)的觸發(fā)詞。

“這將產(chǎn)生我們稱之為檢測(cè)和錯(cuò)誤接受的真陽(yáng)性率 （TPR），”他繼續(xù)說道?！八裕绻銢]有說 Alexa，但它還是向云端發(fā)送了一條消息，那么云端就會(huì)說，‘不，你沒有。我仔細(xì)檢查過，你錯(cuò)了。那是因?yàn)檫吘壴O(shè)備的邊緣檢測(cè)算法不夠復(fù)雜?！?/p>

換句話說，許多虛擬助手至少會(huì)訪問云端兩次：一次是為了驗(yàn)證他們是否被尋址，第二次是為了響應(yīng)請(qǐng)求。

沒那么聰明吧？

邊緣對(duì)話

這種架構(gòu)有幾個(gè)缺點(diǎn)。將請(qǐng)求發(fā)送到云會(huì)增加時(shí)間和成本，還會(huì)使?jié)撛诘拿舾袛?shù)據(jù)面臨安全和隱私威脅。但這種方法的最大限制因素是打開和維護(hù)這些網(wǎng)絡(luò)連接會(huì)消耗能量，這會(huì)阻止語(yǔ)音 AI 部署在所有電池供電的產(chǎn)品中。

挑戰(zhàn)就在這里。許多邊緣設(shè)備使用的節(jié)能技術(shù)不具備在本地運(yùn)行 AI 的性能，因此必須將語(yǔ)音命令發(fā)送到云端，這會(huì)招致前面提到的懲罰。為了擺脫這個(gè)循環(huán)，Knowles 和其他地方的音頻工程師正在將數(shù)字信號(hào)處理器 （DSP） 的傳統(tǒng)效率與新興的神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，以提高邊緣智能。

“我們現(xiàn)在看到的是邊緣設(shè)備開始向內(nèi)置生態(tài)系統(tǒng)過渡，”Shrivastava 解釋說。“所以現(xiàn)在你可以擁有多達(dá) 10、20、30 條命令，這些命令都可以在邊緣本身執(zhí)行。

“一些觸發(fā)詞改進(jìn)顯著改善了邊緣的 TPR，”他繼續(xù)說道?！耙纛l DSP 實(shí)際上發(fā)揮了重要作用，而邊緣的音頻算法發(fā)揮了重要作用，這只是在嘈雜環(huán)境中檢測(cè)這些觸發(fā)詞的性能。因此，如果我的真空吸塵器正在運(yùn)行并且我正在嘗試發(fā)出命令，或者您在廚房并且排氣扇正在運(yùn)行并且您正在嘗試與您的 Alexa 設(shè)備交談。

“這就是我們所說的低信噪比，這意味著你所處的環(huán)境中的噪音非常高，平均談話會(huì)低于平均噪音?！?/p>

Knowles 是一家無(wú)晶圓半導(dǎo)體公司，以其高端麥克風(fēng)和最近的音頻處理解決方案而聞名。后者始于 2015 年 Knowles 收購(gòu) Audience Inc.，該公司成立于計(jì)算聽覺場(chǎng)景分析 （CASA） 的學(xué)術(shù)研究，研究人類如何對(duì)與其他頻率混合的聲音進(jìn)行分組和區(qū)分。這項(xiàng)研究導(dǎo)致專門的音頻處理器能夠以 Shrivastava 描述的方式從背景噪聲中提取一個(gè)清晰的語(yǔ)音信號(hào)。

除了這些音頻處理器之外，Knowles AISonic 音頻邊緣處理器等產(chǎn)品還集成了來自 Cadence Design Systems 的 DSP IP 內(nèi)核。Cadence 的 Tensilica HiFi 音頻 DSP 產(chǎn)品組合因其高能效和高效數(shù)字前端和神經(jīng)網(wǎng)絡(luò)處理能力而在智能邊緣語(yǔ)音應(yīng)用中廣受歡迎。

圖 1. Knowles 將 Cadence Tensilica HiFi DSP 內(nèi)核集成到其 AISonic 音頻邊緣處理器中。

Knowles 將這些基于 Tensilica 的音頻處理解決方案部署到從單麥克風(fēng) AISonic SmartMics 到高端設(shè)備（如高端 Honeywell 或 Nest 級(jí)恒溫器）的所有設(shè)備中，它們可以管理三到七個(gè)麥克風(fēng)。

“麥克風(fēng)是數(shù)字的，DSP 是數(shù)字的，DSP 和主處理器之間的通信也是數(shù)字的，”Shrivastava 說?！拔覀兙驼f它是一個(gè) Ecobee 設(shè)備。那里有一個(gè)基于 Arm 的主機(jī)處理器，它運(yùn)行一個(gè)小的 Alexa 堆棧，它將接受來自 Knowles 子系統(tǒng)的命令短語(yǔ)。

“我們可以接收核心麥克風(fēng)數(shù)據(jù)，我們可以進(jìn)行波束成形，我們可以找出你在哪個(gè)方向說話，我們可以只改善和放大來自那個(gè)方向的信號(hào)，忽略來自另一個(gè)方向的噪聲，做一些其他噪聲抑制也是如此，然后準(zhǔn)確地檢測(cè)到觸發(fā)詞，”他繼續(xù)說道?！霸谝粋€(gè)經(jīng)過良好調(diào)整的系統(tǒng)中，我們?cè)?24 小時(shí)內(nèi)會(huì)出現(xiàn)少于三個(gè)錯(cuò)誤檢測(cè)。我們可以在 1 MB 的內(nèi)存中完成這一切。

“擁有所有這些背后的價(jià)值主張，只是為了給你一個(gè)想法，如果你需要一個(gè)運(yùn)行在 1 GHz 的 Arm 內(nèi)核來進(jìn)行語(yǔ)音處理，我們將在我們的 DSP 上以大約 50 MHz 運(yùn)行相同的進(jìn)程，所以幾乎是 20 倍，”Knowles 工程師解釋道?！斑@直接轉(zhuǎn)化為功耗?！?/p>

顯然，Tensilica 核心無(wú)法提供 Shrivastava 所描述的開箱即用的效率水平。應(yīng)用工程師必須針對(duì)最終用例調(diào)整系統(tǒng)。對(duì)于 Cadence Tensilica 客戶，此過程因定制說明的可用性而得到簡(jiǎn)化。

“Tensilica 的獨(dú)特之處之一是能夠使用 Tensilica 指令擴(kuò)展或 TIE，”Cadence 產(chǎn)品營(yíng)銷總監(jiān)、Knowles 前員工 Adam Abed 說?！癒nowles 廣泛使用它來定制和構(gòu)建非常高效的浮點(diǎn)處理。

“因此，我們共同打造了這款非常出色、獨(dú)特的產(chǎn)品，它不僅能夠從 MEMS 和麥克風(fēng)的角度提供高質(zhì)量的音頻，而且還可以在不醒來的情況下以超低功耗的方式進(jìn)行清理或語(yǔ)音觸發(fā)等操作系統(tǒng)的大部分內(nèi)容，”他補(bǔ)充道（圖 2）。

圖 2. Cadence 的 Tensilica HiFi 系列 DSP 提供性能可擴(kuò)展性和指令定制，以滿足一系列智能語(yǔ)音處理系統(tǒng)的要求。

為了最大限度地提高電源效率和 AI 性能，Abed 提到的喚醒過程通常根據(jù)系統(tǒng)分階段實(shí)施。正如他的同事、Cadence 產(chǎn)品工程總監(jiān)劉一鵬所解釋的那樣，像 HiFi 5 這樣的 IP 需要“結(jié)合傳統(tǒng) DSP 以及處理神經(jīng)網(wǎng)絡(luò)本身的能力。

“第一層是檢測(cè)是否真的有聲音，所以這是一個(gè)非常輕量級(jí)的語(yǔ)音活動(dòng)檢測(cè)，”劉說?！叭绻鼨z測(cè)到語(yǔ)音，那么您就會(huì)喚醒下一層處理，稱為關(guān)鍵字識(shí)別。這可以是非常輕量級(jí)的處理。它只是說，‘我聽到了一個(gè)聽起來像我正在聽的詞?！?/p>

“然后是第三層，一旦你檢測(cè)到一個(gè)觸發(fā)詞，你可能想要喚醒另一個(gè)處理層來驗(yàn)證，‘是的，我確實(shí)聽到了我認(rèn)為我聽到的內(nèi)容。這實(shí)際上是一個(gè)非常重的處理負(fù)載，”她繼續(xù)說道，“從那里你繼續(xù)聽，這變成了一個(gè)重負(fù)載的神經(jīng)網(wǎng)絡(luò)處理。

“它可能需要 1 MHz，也可能需要 50 MHz。這真的取決于?！?/p>

選擇最佳語(yǔ)音 AI 堆棧：“視情況而定”

當(dāng)談到 AI 和 ML 技術(shù)評(píng)估時(shí)，這真的取決于。

當(dāng)然，確定智能音頻系統(tǒng)的多少兆赫、多少功耗、關(guān)鍵字檢測(cè)準(zhǔn)確度等關(guān)鍵性能指標(biāo)因設(shè)計(jì)而異。Liu 繼續(xù)解釋說，這種多樣性使得評(píng)估智能語(yǔ)音系統(tǒng)組件甚至 DSP 的可行性變得困難，因?yàn)樵谔幚砀叨葘I(yè)化的 DSP 時(shí)，每秒萬(wàn)億次操作 （TOPS） 等指標(biāo)“實(shí)際上并不重要”。

“你可以做 1000 TOPS，但所有的操作都是錯(cuò)誤的類型。但是您可能只需要 200 MHz 來進(jìn)行某些類型的處理?；蛘撸绻帉懻f明并且一臺(tái)設(shè)備需要 50 MHz 而不是 200 MHz，即使它們具有相同數(shù)量的頂部，本質(zhì)上您擁有更有效的頂部，”她補(bǔ)充道。

不過，最近，MLCommons 已經(jīng)通過與 EEMBC 合作開發(fā)一個(gè)新的系統(tǒng)級(jí)基準(zhǔn)測(cè)試來簡(jiǎn)化評(píng)估邊緣 AI 組件的過程：MLPerf Tiny Inference。作為 ML Commons 從云到邊緣的一系列訓(xùn)練和推理基準(zhǔn)中的最新版本，MLPerf Tiny Inference 目前為四個(gè)用例提供了標(biāo)準(zhǔn)框架和參考實(shí)現(xiàn)：關(guān)鍵字定位、視覺喚醒詞、圖像分類和異常檢測(cè)。

MLPerf Tiny 工作負(fù)載是圍繞預(yù)先訓(xùn)練的 32 位浮點(diǎn)參考模型 （FP32） 設(shè)計(jì)的，哈佛大學(xué)邊緣計(jì)算實(shí)驗(yàn)室的博士生兼 MLPerf Tiny 推理工作組聯(lián)合主席 Colby Banbury 將其識(shí)別為當(dāng)前的“準(zhǔn)確性的黃金標(biāo)準(zhǔn)”。但是，MLPerf Tiny Inference 也提供了一個(gè)量化的 8 位整數(shù)模型 （INT-8）。

MLPerf Tiny 作為系統(tǒng)級(jí)基準(zhǔn)的不同之處在于它的靈活性，它有助于避免對(duì)計(jì)算性能進(jìn)行單點(diǎn)性能評(píng)估，例如，允許組織提交 ML 堆棧中的任何組件。這包括編譯器、框架或其他任何東西。

但是對(duì)于基準(zhǔn)測(cè)試而言，過于靈活可能是不利的，因?yàn)槟芸炀蜁?huì)得到多個(gè)不相關(guān)的向量。MLPerf Tiny 通過兩個(gè)不同的部門（開放式和封閉式）解決了這個(gè)問題，它們?yōu)樘峤徽吆陀脩籼峁┝酸槍?duì)特定目的或相互衡量 ML 技術(shù)的能力。

“MLPerf 通常有這么多規(guī)則。它源于靈活性和可比性之間的基準(zhǔn)測(cè)試中這種不斷拉動(dòng)的因素，”班伯里說?！胺忾]式基準(zhǔn)更具可比性。您采用預(yù)先訓(xùn)練的模型，然后您可以根據(jù)已概述的某些特定規(guī)則以與參考模型等效的方式將其實(shí)施到您的硬件上。所以這實(shí)際上是硬件平臺(tái)的一對(duì)一比較?！?/p>

“但 Tiny ML 的前景需要如此高的效率，因此許多軟件供應(yīng)商甚至硬件供應(yīng)商都在堆棧中的所有不同點(diǎn)提供價(jià)值，”MLPerf Tiny 聯(lián)合主席繼續(xù)說道?！耙虼耍瑸榱俗屓藗兡軌蜃C明他們有更好的模型設(shè)計(jì)，或者他們可能能夠在訓(xùn)練階段提供更好的數(shù)據(jù)增強(qiáng)，甚至是不同類型的量化，開放式劃分允許你基本上只解決以任何你想要的方式。我們測(cè)量準(zhǔn)確性、延遲和可選的能量，因此您可以達(dá)到產(chǎn)品預(yù)期的任何優(yōu)化點(diǎn)?！?/p>

簡(jiǎn)而言之，封閉部分允許用戶根據(jù)特定特征評(píng)估 ML 組件，而開放部分可用于測(cè)量解決方案的一部分或全部。在開放分區(qū)中，可以修改模型、訓(xùn)練腳本、數(shù)據(jù)集和參考實(shí)現(xiàn)的其他部分以適應(yīng)提交要求。

使用經(jīng)典信號(hào)處理清晰聆聽

但回到聲音。音頻 AI 的最終目標(biāo)是能夠完全在邊緣執(zhí)行成熟的自然語(yǔ)言處理 （NLP）。當(dāng)然，這需要比當(dāng)今市場(chǎng)準(zhǔn)備的更多的處理能力、更多的內(nèi)存、更多的功率和更多的成本。

“我想說，我們距離真正的自然語(yǔ)言邊緣還有兩年的時(shí)間，”Knowles 的 Shrivastava 說?！拔覀儸F(xiàn)在看到成功的地方是低功耗、基于電池的設(shè)備，這些設(shè)備希望增加語(yǔ)音和語(yǔ)音處理功能。因此，擁有其中一些本地命令或內(nèi)置功能。

“現(xiàn)在還處于早期階段，因?yàn)槟阈枰罅抠Y源來理解邊緣的自然語(yǔ)言，而這仍然是云的領(lǐng)域，”他繼續(xù)說道。“在過去的五年里，我們?nèi)匀粵]有看到很多自然語(yǔ)言來到邊緣。但肯定的是，我們正在將特定于上下文的命令的子集移向邊緣。而且我認(rèn)為我們會(huì)看到越來越多的這些命令，因?yàn)樗鼈冞m合某些嵌入式流程。

正在開發(fā)的 AI 處理引擎有望更有效地執(zhí)行語(yǔ)音激活、識(shí)別和關(guān)鍵字定位，并在邊緣支持更高級(jí)、基于自然語(yǔ)言的工作負(fù)載。事實(shí)上，Knowles 和 Cadence 都在積極開發(fā)此類解決方案。

但在中短期內(nèi)，仍然需要實(shí)時(shí)做出語(yǔ)音觸發(fā)驗(yàn)證等本地決策，同時(shí)消耗更少的電量。因此，憑借其對(duì)流數(shù)據(jù)進(jìn)行高效浮點(diǎn)處理的傳統(tǒng)，為什么不嘗試將傳統(tǒng) DSP 用于新穎的新應(yīng)用呢？

審核編輯：郭婷