DRIVE Labs 系列文章

第三站：讀懂交通標志與信號燈

城市道路設(shè)計縱橫交錯，自動駕駛汽車在保持車道行駛的同時，還需“理解”各類道路標志，并在行駛過程中“眼”觀六路、隨機應(yīng)變，以保證道路交通秩序和行駛途中的安全性。DRIVE Labs“常學常新”系列是 NVIDIA DRIVE 團隊推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細解析自動駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第三期“讀懂交通標志與信號燈”，將為大家介紹深度神經(jīng)網(wǎng)絡(luò)如何助力自動駕駛汽車“讀懂”交通標志以及路上的文字、“判斷”信號燈及限速標志，以實現(xiàn)有序行駛。

上期文章主要介紹了用于基本路況感知的深度神經(jīng)網(wǎng)絡(luò)（DNN），本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹用于交通標志和信號燈判斷的 LightNet DNN、SignNet DNN 和 MapNet DNN 等內(nèi)容。話不多說，趕緊與 NVIDIA 一起看看吧！

實況駕駛對自動駕駛汽車的“觀察”和“理解”能力提出了更高的要求，不僅需要保證自身行駛的安全性，還需要遵守交通規(guī)則，根據(jù)交通標志和信號燈指示行駛，以維護有序交通秩序，構(gòu)建安全的交通環(huán)境。

借助高精度 MapNet DNN

“觀察”道路標記

AI 如何閱讀路上的文字

車道線和道路邊緣檢測對于自動駕駛汽車的開發(fā)來說至關(guān)重要。車道線檢測能夠驅(qū)動諸如車道偏離警告之類的系統(tǒng)，從而避免讓駕駛員偏離車道。自動駕駛汽車利用 LaneNet DNN 可以檢測車道線以保持安全、穩(wěn)定的車道行駛。

但實況道路除車道線以外，還存在各式各樣的道路標記（例如箭頭或 STOP 字樣），路邊還會設(shè)置各類的垂直地標（例如路標或燈桿）。為助力自動駕駛汽車“讀懂”更多車道標記，NVIDIA 推動了 LaneNet DNN 進一步發(fā)展，開發(fā)了新功能 MapNet DNN。觀看以上視頻，了解 MapNet DNN 模型如何實現(xiàn)道路標識和視覺地標的端到端檢測。

像素級可視化的 MapNet DNN 檢測結(jié)果，顯示一個部分缺失的左轉(zhuǎn)箭頭標記。青色表示道路標記，深藍色表示虛線車道線

MapNet DNN 延續(xù)了 LaneNet DNN 的實況數(shù)據(jù)編碼技術(shù)，創(chuàng)建了足夠的冗余來保留豐富的車道線信息，并能夠輕松擴展并保留任意形狀的道路標記以及地標（例如桿子）的信息（以“垂直車道線”為例）。高精度 MapNet 還能在道路標記部分缺失或遇到道路裂縫、柏油污點等視覺挑戰(zhàn)的情況下，提供精確的道路標記形狀和道路邊緣檢測，并能夠檢測不同語言的道路文字標記。

此外，MapNet 提供的高精度道路標記和地標檢測結(jié)果還可用作自動駕駛汽車的地圖和定位功能的輸入，其檢測垂直地標（例如桿子）的能力還有利于自動駕駛汽車獲得準確的縱向定位結(jié)果，提升自動駕駛的可靠性。

DNN 組合助力交通標志和信號燈檢測

利用 AI 對交通標志和信號燈進行分類

每個人在最初學開車的時候都會從最簡單的規(guī)則開始學起，其中之一就是“紅燈停，綠燈行”，自動駕駛汽車也不例外。此外，它還要學習在各類駕駛環(huán)境下精準識別交通標志和信號燈并對其做出正確的反應(yīng)。以上視頻為大家介紹了 NVIDIA DRIVE AV 軟件使用 DNN 組合來對交通標志和信號燈進行分類。

在 NVIDIA 感知等待條件軟件的架構(gòu)中，交通信號燈和標志的檢測與交通信號燈的狀態(tài)/形狀以及類型分類是分開進行的，以便能夠優(yōu)化交通信號燈和標志檢測的精確率/召回率，且能夠讓檢測獨立于性能分類運行。

交通信號燈（TL）以及交通標志（TS）分類系統(tǒng)圖表

具體而言，NVIDIA 利用 WaitNet DNN 進行交叉路口、交通信號燈和交通標志的檢測。然后，LightNet DNN 將根據(jù)交通信號燈的形狀（例如實心與箭頭）和狀態(tài)（即顏色：紅色，黃色，綠色）進行分類；同時，SignNet DNN 將會識別交通標志的類型。

以上兩圖顯示了當速度限制從 80 千米/小時降至 60 千米/小時，SignNet 對歐洲限速標志進行識別分類，以通過高速公路最后路段

LightNet 實時識別單個及組合的交通信號燈并對其進行分類

WaitNet DNN 在上期內(nèi)容中已經(jīng)介紹過，這里就不再贅述。在本期視頻中，可以看到 LightNet DNN 和 SignNet DNN 的應(yīng)用情況?？偟膩碚f，LightNet DNN、SignNet DNN 與 WaitNet DNN 共同構(gòu)成了等待條件感知軟件的核心，用于檢測車輛必須減速停止或等待的情況，這對于半城市和城市環(huán)境中的自動駕駛而言尤為重要。

利用 AI 實時感知理解限速標志

AI 實時感知幫助自動駕駛汽車理解限速標志

限速標志識別看似是一項簡單的任務(wù)，但在遇到不同車道具有不同限速的情況（例如高速公路出口）或者在一個陌生的國家駕駛時，這項任務(wù)可能會變得復(fù)雜。以上視頻介紹了 AI 實時感知如何幫助自動駕駛汽車同時根據(jù)顯性和隱性線索更好地理解復(fù)雜的限速情況。

如今，限速標志的細致程度遠勝于以前。例如，學校區(qū)域的限速標志只在一天中的特定時段有效。有些限速要求會通過電子可變信息標志顯示，包括顯示適用于特定車道的限速、在特定條件下的限速或在不同條件下的不同限速。此外，部分交通標志也有可能包含限速信息且相近的標志直接可能會有語義的不同。

面對如此復(fù)雜的情況，NVIDIA 推出了 NVIDIA DRIVESAS（速度輔助系統(tǒng)），通過各種能夠檢測和理解隱性、顯性與可變信息標志的深度神經(jīng)網(wǎng)絡(luò)（DNN）充分發(fā)揮 AI 實時感知的力量。具體而言，NVIDIA WaitNet 深度神經(jīng)網(wǎng)絡(luò)負責檢測標志，SignNet 深度神經(jīng)網(wǎng)絡(luò)負責對標志進行分類，PathNet 深度神經(jīng)網(wǎng)絡(luò)負責提供路徑感知信息。因此，理解限速標志和確定該標志與道路上不同車道的相關(guān)性（這一過程被稱為標志-路徑關(guān)聯(lián)性）所需的所有信號均來自現(xiàn)場感知，無需事先從地圖中獲取信息，因而具有很強的靈活性。

實時感知 SAS 分析“高速公路入口”標志

此外，NVIDIA 的實時感知 SAS 所提供的速度標志信息和標志-路徑相關(guān)性信息可以與地圖信息融合。通過將多樣化的信息輸入進行融合，可以使 SAS 覆蓋更多的現(xiàn)實世界情景，從而進一步提高穩(wěn)定性。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 AI 如何助力攝像頭、雷達、激光雷達等傳感器監(jiān)控車外的風吹草動，敬請期待！點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

往期精彩回看

「入門篇」：自動駕駛基礎(chǔ)功能

「第二站」：基本路況感知

掃描下方海報二維碼，即可免費注冊 GTC 23，切莫錯過這場 AI 和元宇宙時代的技術(shù)大會！