DRIVE Labs 系列文章

第二站：基本路況感知

實際路況中充滿著復雜多變的現(xiàn)實挑戰(zhàn)，自動駕駛汽車能夠借助深度神經(jīng)網(wǎng)絡 “感知”實際路況、“預判”潛在風險并“做出”恰當選擇，以增強自動駕駛汽車的安全性與可靠性。DRIVE Labs“常學常新”系列是 NVIDIA DRIVE 團隊推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細解析自動駕駛汽車如何一路“過關斬將”，以及 NVIDIA 技術與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第二期“基本路況感知”，將帶您了解自動駕駛汽車如何利用深度神經(jīng)網(wǎng)絡感知基本路況，實現(xiàn)安全駕駛！

上期文章為大家介紹了用于不同功能的深度神經(jīng)網(wǎng)絡（DNN），本期文章則將詳細介紹其中用于基本路況感知的 LaneNet DNN、WaitNet DNN 和路徑感知集成等具體的深度神經(jīng)網(wǎng)絡應用。和 NVIDIA 一起上路看看自動駕駛汽車道路實況測試吧！

城市道路的復雜性和實時性對自動駕駛汽車的“隨機應變”能力提出了更高的要求。在行駛期間，自動駕駛汽車能夠利用數(shù)據(jù)感知實際路況、選擇正確的行駛路徑以及對現(xiàn)實情況做出即時反應則至關重要。NVIDIA 構建的感知軟件，憑借強大的計算性能，助力自動駕駛汽車安全平穩(wěn)行駛！

基于 LaneNet DNN 開展車道線檢測

高精度車道檢測

車道線標記對于自動駕駛汽車來說是重要的行車指南，能為車輛提供關鍵的駕駛環(huán)境信息，即自動駕駛汽車所處位置以及目的地等。穩(wěn)健且高精的車道線監(jiān)測，對于自動駕駛汽車來說至關重要。以上視頻為大家介紹了 NVIDIA 如何訓練深度神經(jīng)網(wǎng)絡實現(xiàn)穩(wěn)健的車道線預測。

深度神經(jīng)網(wǎng)絡（DNN）處理現(xiàn)已成為一種重要的基于 AI 的車道檢測技術。NVIDIA 高精度 LaneNet 解決方案在卷積神經(jīng)網(wǎng)絡處理圖像時，能夠以保留高清信息的方式對實況道路圖像數(shù)據(jù)進行編碼，為豐富的空間信息創(chuàng)建足夠的冗余，以便保證在卷積神經(jīng)網(wǎng)絡固有的降采樣過程中信息的完整性。此外，借助高精度的 LaneNet DNN，自動駕駛汽車還能在使用低清圖像處理方式的同時，保留高清圖像當中豐富的可用信息，以便車內(nèi)推斷進行更有效的計算。

左：來自高精度 LaneNet 的逐幀像素級車道線檢測。右：像素級檢測在經(jīng)過后期處理之后顯示為車道線。在圖像邊界附近進行額外的像素級車道線檢測，就意味著在實際行車場景中，可以將車道線檢測范圍增加數(shù)十米。

高精度 LaneNet DNN的主要優(yōu)勢包括：

• 增加了車道線檢測的范圍

• 優(yōu)化了車道線邊緣檢測的準確率/召回率

• 提升了車道線檢測的穩(wěn)健性

借助 LaneNet DNN 高精度車道線檢測，自動駕駛汽車能夠在道路上對車身進行更好的定位，同時也能感知規(guī)劃出一條更安全的行駛路徑。

利用 WaitNet DNN 進行交叉路口檢測

WaitNet 深度神經(jīng)網(wǎng)絡

自動駕駛汽車在保持預測車道和路線行駛的過程中，會經(jīng)過形態(tài)各異且實況萬變的交叉路口。觀看以上視頻，了解 NVIDIA 如何利用基于 AI 的實時感知深度神經(jīng)網(wǎng)絡—WaitNet 深度神經(jīng)網(wǎng)絡，實現(xiàn)自動駕駛汽車對交叉路口的實時感知和分類。

WaitNet 表示檢測自動駕駛汽車必須停車等待的情況，是一種卷積深度神經(jīng)網(wǎng)絡，通過攝像頭圖像數(shù)據(jù)進行訓練，并對如交叉路口、施工區(qū)域和收費站等需要等待的情形進行推理和分類。

借助 WaitNet DNN 實現(xiàn)基于場景的交叉路口檢測（以黃色顯示）。交通信號燈檢測以紫色顯示。

WaitNet DNN的交叉路口檢測及分類過程與人類駕駛員檢測交叉路口的方式十分相似。WaitNet DNN 能夠綜合分析道路的多項特征，如停車標識，交通信號燈或者特殊地點或位置的車道線標記等，進行場景感知并檢測是否有交叉路口出現(xiàn)，并對其進行分類，可減少特征級檢測錯誤的發(fā)生機率，提高自動駕駛的安全性。此外，WaitNet DNN 還能夠進行遠距離檢測并對同一圖像幀中的多個交叉路口進行分類。

利用深度神經(jīng)網(wǎng)絡感知交叉路口結構

AI 如何幫助自動駕駛汽車感知交叉路口結構

交叉口是常見的道路特征，無論是社區(qū)中的四向停車，還是在布滿交通信號指示的多車道交匯口。以上視頻展示了 NVIDIA 如何借助 AI 來感知自動駕駛汽車在日常駕駛中可能遇到的各種交叉口結構。

事實上，NVIDIA 利用算法擴展了 WaitNet DNN 預測交叉口結構的能力，開發(fā)了基于 DNN 的交叉口結構感知功能作為 WaitNet DNN 的添加。NVIDIA 將這些交叉口結構視為所謂“關節(jié)”的點集合。正如人體通過關節(jié)的連接來做出動作一樣，NVIDIA 通過將交叉口結構的關節(jié)連接到車輛需遵循的路徑中，來實現(xiàn)自動駕駛車輛的正確行駛。

上圖展示了基于 DNN 進行的交叉口結構預測。如圖所示，我們可以檢測交叉口結構特征并將其分為不同類別。例如，測試車輛和現(xiàn)場其他車輛的交叉口的入口和出口點，以及人行橫道的入口和出口。

該 DNN 不會分割圖像輪廓，而是能夠區(qū)分不同車道的交叉口入口和出口點，并且其針對遮擋和部分遮擋的交叉口結構預測更具可靠性，還能夠預測繪制的和推斷的交叉口結構線。

此外，該實時感知功能具有可擴展性，無需人工標記便可處理各種類型的交叉口，還能夠與擁有高質(zhì)量數(shù)據(jù)的地圖信息相結合，創(chuàng)建用于處理復雜路口的多樣性和冗余，可助力自動駕駛汽車應對復雜的交叉口結構所帶來的挑戰(zhàn)。

路徑感知集成

路徑感知集成

自動駕駛汽車在實況中運行會遇到多種多樣的情況，如若汽車僅在一種路徑感知信號下行駛，則無法保證置信度的實時正確性，且如果唯一的路徑感知輸入失敗，自動駕駛功能也許會失靈；就算功能不失靈，也可能導致操作的舒適度和平穩(wěn)度有所降低。

為建立實時的置信度，NVIDIA 在路徑感知軟件中引入了多樣性和冗余。但由于不同的 DNN 在訓練數(shù)據(jù)、編碼、模型架構和訓練輸出方面完全不同，各種深度神經(jīng)網(wǎng)絡（DNN）產(chǎn)生的路徑感知信號在很大程度上是相互獨立的。為實現(xiàn)感知功能的“協(xié)同并進與互相配合”，NVIDIA 利用集成技術，即機器學習的方式將基礎模型進行組合以構建最優(yōu)的預測模型（如以上視頻所示）。在 NVIDIA 路徑感知集成中，基礎模型包含三個不同的深度神經(jīng)網(wǎng)絡：

• LaneNet DNN可以預測車道線路

• PathNet DNN能在無論是否存在車道線路的情況下，都能夠預測和定義可行駛路徑的范圍

• PilotNet DNN能夠根據(jù)人類駕駛員的駕駛軌跡預測駕駛中心路徑

高置信度路徑感知集成示例（包括左車道，汽車所在車道以及右車道的中心路徑）。高置信度的結果在可視化中呈現(xiàn)出粗的綠色中心路徑線條。實心的白色線代表車道預測線，也是由集成計算得出。

以上深度神經(jīng)網(wǎng)絡的數(shù)據(jù)輸出結合高清地圖輸出，共同構成了感知集成輸出。通過對不同的路徑感知信號的聯(lián)合分析，NVIDIA 建立并測量了汽車在實況駕駛中的路徑感知可靠性，為實現(xiàn)可靠駕駛提供了可視化參考和全面的分析結果。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅。點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

DRIVE Labs“常學常新”系列

往期精彩回看

「入門篇」：自動駕駛基礎功能

掃描下方海報二維碼，即可免費注冊 GTC 23，切莫錯過這場 AI 和元宇宙時代的技術大會！