隨著智能穿戴設(shè)備的快速發(fā)展，AI眼鏡作為下一代人機(jī)交互的重要載體，正逐步走向大眾市場(chǎng)。不過(guò)，受限于設(shè)備尺寸和電池容量，當(dāng)前產(chǎn)品的常規(guī)使用電池續(xù)航平均在3-4小時(shí)。因此，如何進(jìn)一步提升續(xù)航時(shí)間，成為AI眼鏡設(shè)計(jì)中的核心挑戰(zhàn)。

在現(xiàn)有的AI眼鏡架構(gòu)中，MCU端主要負(fù)責(zé)對(duì)音頻的處理，其中語(yǔ)音監(jiān)聽(tīng)與喚醒檢測(cè)，以及通話場(chǎng)景下的語(yǔ)音降噪與回聲消除等功能備受關(guān)注。除去功能實(shí)現(xiàn)外，實(shí)時(shí)性與低功耗是消費(fèi)級(jí)AI眼鏡設(shè)計(jì)中必須重點(diǎn)考量的兩個(gè)要素。

語(yǔ)音監(jiān)聽(tīng)與喚醒檢測(cè)：構(gòu)建感知閉環(huán)

目前AI眼鏡最主要的交互方式是語(yǔ)音控制。 整個(gè)語(yǔ)音交互過(guò)程可分為監(jiān)聽(tīng)和處理兩個(gè)階段，分別對(duì)應(yīng)于低功耗休眠和高性能活動(dòng)兩種狀態(tài)。基于此，系統(tǒng)形成一個(gè)閉環(huán)流程：

感知（監(jiān)聽(tīng)）→ 喚醒（進(jìn)入處理狀態(tài)）→判斷（識(shí)別喚醒詞）→ 休眠（返回監(jiān)聽(tīng)狀態(tài)）

圖1：AI眼鏡語(yǔ)音感知的閉環(huán)流程

監(jiān)聽(tīng)階段

Voice活動(dòng)檢測(cè)

在低功耗狀態(tài)下，系統(tǒng)持續(xù)進(jìn)行音頻采集，并通過(guò)VAD（Voice Activity Detector）對(duì)環(huán)境中的Voice活動(dòng)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。一旦檢測(cè)到Voice信號(hào)，系統(tǒng)將從休眠狀態(tài)喚醒，進(jìn)入口令識(shí)別和處理階段。

這一階段的功耗主要為靜態(tài)功耗，即系統(tǒng)處于待機(jī)狀態(tài)但仍保存基本的感知能力。為了降低功耗，系統(tǒng)需盡可能關(guān)閉非必要的供電模塊，僅保留關(guān)鍵感知單元。

在i.MX RT700平臺(tái)中，片上系統(tǒng)架構(gòu)被精細(xì)劃分為多個(gè)功能區(qū)域?；诓煌膽?yīng)用場(chǎng)景，可靈活配置電源開(kāi)關(guān)和時(shí)鐘域，以更小的功耗實(shí)現(xiàn)功能。這種多域架構(gòu)設(shè)計(jì)使得系統(tǒng)在不同應(yīng)用場(chǎng)景下能夠根據(jù)功能需求管理電源，只開(kāi)啟需要使用的功能區(qū)域，進(jìn)而大幅降低運(yùn)行功耗。

圖2：i.MX RT700系統(tǒng)框圖

監(jiān)聽(tīng)階段可僅保留感知域中的DMA和MICFIL (PDM Microphone Interface) 以較低的頻率工作。MICFIL包含HWVAD (Hardware Voice Activity Detector) 功能，從硬件層面檢測(cè)語(yǔ)音活動(dòng)。

此外，i.MX RT700還配備多種低功耗模式，如下表所示：

▲表1：i.MX RT700多種低功耗模式配置

處理階段

語(yǔ)音口令識(shí)別

在口令識(shí)別過(guò)程中，涉及到一些復(fù)雜的計(jì)算，諸如預(yù)處理、噪聲抑制、喚醒詞檢測(cè)、語(yǔ)音口令分類(lèi)的處理。此階段的功耗優(yōu)化思路為高效迅速地完成任務(wù)，縮短處理時(shí)間。

i.MX RT700配備了HiFi4/HiFi1 DSP, 專(zhuān)注于音頻處理，可通過(guò)專(zhuān)用音頻指令集 + 硬件通路持續(xù)處理高速數(shù)據(jù)流。除此之外，HiFi4 DSP也是一顆性能強(qiáng)勁的通用處理核心，可以運(yùn)行復(fù)雜的任務(wù)。

對(duì)于深度學(xué)習(xí)算法部分，芯片中集成的eIQ Neutron Neural Processing Unit (NPU) 提供了強(qiáng)大的算力支持 (41.6 G)，能夠在極短時(shí)間內(nèi)完成復(fù)雜模型的推理計(jì)算。在典型的機(jī)器學(xué)習(xí)應(yīng)用場(chǎng)景中，與傳統(tǒng)的AIm Cortex-M33處理器相比，eIQ Neutron NPU在運(yùn)行模式有極高的推理性能，同時(shí)顯著減少了能耗。例如，在推理典型的卷積網(wǎng)絡(luò)（二維卷積）時(shí)，NPU的能耗是Cortex-M33的1/106。而對(duì)于非深度學(xué)習(xí)的算法部分，以及驅(qū)動(dòng)NPU的工作，則由Cadence Tensilica HiFi 4 DSP完成。

這種DSP+NPU的硬件加速架構(gòu)設(shè)計(jì)，使i.MX RT700在執(zhí)行噪音消除、口令識(shí)別、喚醒詞檢測(cè)等復(fù)雜任務(wù)時(shí)，既具備快速響應(yīng)能力，又能夠提高系統(tǒng)能效，為AI眼鏡等低功耗設(shè)備提供了理想的語(yǔ)音交互解決方案。

圖3：eIQ Neutron NPU在實(shí)現(xiàn)高性能推理的同時(shí)顯著減低了能耗

雙向語(yǔ)音通話

與口令識(shí)別類(lèi)似，雙向語(yǔ)音通話同樣依賴(lài)于一系列音頻處理技術(shù)以提升通話質(zhì)量。其中不僅包括噪聲抑制，還涉及回聲消除和自動(dòng)增益控制等關(guān)鍵環(huán)節(jié)。

圖4：雙向語(yǔ)音通話系統(tǒng)架構(gòu)

相較于傳統(tǒng)的Cortex-M33與NPU的組合架構(gòu)，DSP與NPU的協(xié)同處理在音頻場(chǎng)景中表現(xiàn)更為高效。HiFi4 DSP中包含了Audio Frame Work Pipeline, 以組件的形式將不同的音頻模塊連接在一起, 有利于加速頻處理應(yīng)用程序的開(kāi)發(fā)。同時(shí)，這種組合還可以?xún)?yōu)化Audio Pipeline架構(gòu)，減少Cortex-M33和DSP切換工作量。

圖5：DSP與NPU協(xié)同處理雙向語(yǔ)音通話的架構(gòu)

動(dòng)態(tài)負(fù)載適配

前面提到的降低功耗策略的精髓在于“專(zhuān)業(yè)化分工”，即“讓更合適的模塊去干更擅長(zhǎng)的事”。與此同時(shí)，系統(tǒng)還可通過(guò)動(dòng)態(tài)負(fù)載適配機(jī)制進(jìn)一步優(yōu)化能效。

系統(tǒng)可根據(jù)任務(wù)負(fù)載和應(yīng)用場(chǎng)景動(dòng)態(tài)調(diào)整運(yùn)行頻率與電壓，實(shí)現(xiàn)能效優(yōu)化。當(dāng)處理輕量級(jí)任務(wù)時(shí)，系統(tǒng)優(yōu)先選擇低功耗的時(shí)鐘源，并將頻率降低至合理范圍，同時(shí)相應(yīng)地降低工作電壓，以減少能耗。而在面對(duì)高計(jì)算需求的復(fù)雜任務(wù)時(shí)，系統(tǒng)則提升頻率和電壓，以確保性能滿(mǎn)足實(shí)時(shí)處理要求。

除此之外，i.MX RT700芯片內(nèi)置了PVT傳感器 (Process, Voltage, Temperature)，它可以提供一種針對(duì)不同芯片動(dòng)態(tài)調(diào)壓的方案。芯片在運(yùn)行過(guò)程中會(huì)受到制造工藝差異、電壓波動(dòng)和溫度變化的影響。PVT傳感器實(shí)時(shí)監(jiān)測(cè)這些因素，并通過(guò)延遲線結(jié)構(gòu)判斷當(dāng)前供電電壓是否足以支撐邏輯運(yùn)算。如果電壓過(guò)低，它會(huì)觸發(fā)報(bào)警，提示系統(tǒng)提升電壓；如果條件允許，系統(tǒng)則可以逐步降低電壓，直到找到當(dāng)前環(huán)境下的“最低可用電壓”。

圖6：基于PVT傳感器的動(dòng)態(tài)調(diào)壓方案

通過(guò)這種方式，設(shè)備可以在不犧牲性能的前提下，動(dòng)態(tài)調(diào)整供電策略，顯著延長(zhǎng)電池使用時(shí)間。

本文小結(jié)

低功耗設(shè)計(jì)是AI眼鏡走向?qū)嵱没年P(guān)鍵。i.MX RT700作為恩智浦新一代跨界MCU產(chǎn)品，在架構(gòu)分區(qū)、語(yǔ)音處理能力、能效調(diào)度等方面都進(jìn)行了深度優(yōu)化，為AI設(shè)備提供了更長(zhǎng)續(xù)航、更快響應(yīng)和更自然的語(yǔ)音交互體驗(yàn)，助力智能穿戴設(shè)備邁向更廣泛的應(yīng)用場(chǎng)景。

了解恩智浦如何應(yīng)對(duì)AI智能眼鏡低功耗設(shè)計(jì)挑戰(zhàn)，引爆下一代智能終端新紀(jì)元，請(qǐng)閱讀恩智浦原創(chuàng)文章>>

本文作者

翟彤彤，恩智浦邊緣處理事業(yè)部MCU系統(tǒng)工程師，畢業(yè)于北京航空航天大學(xué)，獲電子與通信工程碩士學(xué)位，于2020年加入恩智浦半導(dǎo)體公司，專(zhuān)注于IIoT低功耗微控制器產(chǎn)品的應(yīng)用開(kāi)發(fā)和產(chǎn)品支持。