描述

盲人和視障人士經常遇到各種社會經濟挑戰(zhàn)，這些挑戰(zhàn)可能會阻礙他們獨立生活和充分參與社會的能力。然而，機器學習的出現為輔助技術的發(fā)展開辟了新的可能性。在這項研究中，我們利用圖像字幕和文本轉語音技術創(chuàng)建了一種設備，可以幫助視力受損或失明的人。圖像字幕與文字轉語音技術相結合，可以為視障人士和盲人提供幫助。

此外，我想分享我使用TensorRT優(yōu)化深度學習模型以縮短其推理時間的經驗。有關詳細信息，請參閱 TechRxiv 上的預印本，標題為：適用于視障人士和盲人的圖像字幕：低資源語言的秘訣。

為簡單起見，我們假設一切都已安裝。

隨著單板計算機 (SBC) 越來越流行用于運行 AI 和深度學習項目，有些甚至專門設計用于運行 AI 和深度學習項目。我們使用來自SeeedStudio (@seeedstudio)的 reComputer NVIDIA Jetson Xavier NX作為我們系統(tǒng)的大腦。reComputer J20 配備 Jetson Xavier NX，可提供高達 21 TOPS 的性能，使其成為嵌入式和邊緣系統(tǒng)中高性能計算和 AI 的理想選擇。

?

NVIDIA Jetson 設備緊湊且節(jié)能，能夠實時執(zhí)行機器學習算法。然而，在這些內存有限的設備上部署復雜的深度學習模型可能很困難。為了克服這個問題，我們使用了TensorRT等推理優(yōu)化工具，它使我們能夠通過減少內存占用來在邊緣設備上執(zhí)行深度學習模型。

圖像描述模型部署管道

我們使用流行的 Microsoft COCO 2014 (COCO) 基準數據集來訓練ExpansionNet v2圖像描述模型。該數據集由 123, 287 張圖像組成，每張圖像都有五個人工注釋的說明，總共有超過 600, 000 個圖像-文本對。我們將數據集拆分為訓練（113、287 張圖像）、驗證（5、000 張圖像）和測試（5、000 張圖像）集，使用Karpathy拆分策略進行離線評估。為了生成哈薩克語的字幕，我們使用免費提供的谷歌翻譯服務翻譯了原始的英文字幕。

?

為了訓練哈薩克語字幕的模型，我們遵循了ExpansioNet v2的原始工作中定義的模型架構。預訓練的 Swin Transformer 被用作骨干網絡，從輸入圖像生成視覺特征。該模型在Nvidia DGX-2 服務器的四個 V100 圖形處理單元 (GPU) 上進行訓練。

最后，圖像字幕模型 ExpansionNet v2 部署在 Nvidia Jetson Xavier NX 板上。按下按鈕觸發(fā)相機捕捉分辨率為 640 × 480 像素的 RGB 圖像。然后，將捕獲的圖像調整為 384 × 384 并傳遞給 ExpansionNet v2 模型以生成說明。接下來，使用文本到語音模型將生成的字幕文本轉換為音頻。在我們的研究中，我們利用KazakhTTS模型將哈薩克文本轉換為語音。最后，生成的音頻通過用戶的耳機播放，使盲人或視障人士能夠理解他們面前的內容。

ONNX 概述

來源：https://developer-blogs.nvidia.com/wp-content/uploads/2021/07/onnx-workflow.png

?

ONNX 是一種用于機器學習和深度學習模型的開放格式。它允許您將來自不同框架（例如 TensorFlow、PyTorch、MATLAB、Caffe 和 Keras）的深度學習和機器學習模型轉換為單一格式。

該工作流程包括以下步驟：

• 將常規(guī) PyTorch 模型文件轉換為 ONNX 格式。ONNX 轉換腳本可在此處獲得。
• 使用 trtexec 實用程序創(chuàng)建 TensorRT 引擎

trtexec --onnx=./model.onnx --saveEngine=./model_fp32.engine --workspace=200

• 從 TensorRT 引擎運行推理。

使用 TensorRT 進行推理優(yōu)化

TensorRT 是 NVIDIA 開發(fā)的高性能深度學習推理引擎。它優(yōu)化神經網絡模型并生成可在 NVIDIA GPU 上運行的高度優(yōu)化的推理引擎。TensorRT 使用靜態(tài)和動態(tài)優(yōu)化的組合來實現高性能，包括層融合、內核自動調整和精度校準。

另一方面，PyTorch 是一種流行的深度學習框架，廣泛用于研究和開發(fā)。PyTorch 提供了一個動態(tài)計算圖，允許用戶動態(tài)定義和修改他們的模型，這使得嘗試不同的架構和訓練方法變得容易。

?

與 PyTorch 模型相比，TensorRT 模型似乎提供了更快的推理結果。與 PyTorch 模型相比，TensorRT 模型處理圖像的時間減少了大約 50%，盡管它的文件大小更小。

簡而言之，如果速度和效率是您的首要關注點，那么 TensorRT 可能是更好的選擇。這對于大多數實時對象檢測應用來說已經足夠快了。

在推理過程中，您可以使用jetson-stats實用程序檢查 Nvidia Jetson 板的當前性能。您可以實時監(jiān)控模型正在使用的資源，并最大限度地利用硬件。

以佩戴圖像字幕輔助設備的人類為對象的真實世界實驗

該圖說明了我們的圖像字幕輔助系統(tǒng)的真實世界實驗，該系統(tǒng)包括一個攝像頭、一個單板深度學習計算機（Nvidia Jetson Xavier NX）、一個按鈕和耳機。

以佩戴圖像字幕輔助設備的人類為對象的真實世界實驗

?

攝像頭通過通用串行總線（USB）連接到單板機，按鈕和耳機分別連接到單板機的通用輸入/輸出（GPIO）引腳和音頻端口. 攝像頭使用可調節(jié)的帶子固定在用戶的額頭上，而用戶則將單板計算機（和移動電源）放在背包中，并在操作過程中佩戴耳機。

結論和進一步改進

視障人士和盲人在日常生活中面臨著獨特的挑戰(zhàn)，包括無法獨立獲取視覺信息。圖像字幕技術已顯示出為該社區(qū)提供幫助的希望。

除了現有的圖像字幕和文本轉語音技術外，我們的目標是將視覺問答 (VQA) 功能整合到我們?yōu)橐曊先耸亢兔と颂峁┑妮o助設備中。這將使用戶能夠提出有關圖像的問題并獲得口頭答復。

為了進一步優(yōu)化我們的深度學習模型并提高其性能，我們將執(zhí)行從 FP32 到 FP16 或 INT8 的量化。這將減少推理所需的內存占用和計算時間，使我們的輔助設備更加高效。

如果您對我們的項目感興趣，請考慮為我們在github上的存儲庫加星。多謝！

我希望您發(fā)現這項研究有用，并感謝您閱讀它。如果您有任何問題或反饋，請在下方發(fā)表評論。敬請關注！

致謝

• 該項目得到了智能系統(tǒng)與人工智能研究所工作人員的支持、指導和協(xié)助，得以順利完成。
• Image captioning 模型的實現依賴于ExpansioNet v2。