自動駕駛實驗室
這是NVIDIA DRIVE Labs自動駕駛實驗室系列視頻的第二十一集，在上一集中我們講了AI如何幫助自動駕駛汽車理解交叉口。在自動駕駛實驗室系列視頻中，我們將以工程技術(shù)為重點的視角關(guān)注實現(xiàn)自動駕駛汽車的各個挑戰(zhàn)以及NVIDIA DRIVE AV軟件團隊如何應(yīng)對這些問題。

任務(wù)：
預(yù)測未來軌跡

方法：
PredictionNet

車輛行駛過程中需要對未來進行預(yù)測。每當(dāng)汽車突然駛?cè)肽硞€車道或多輛汽車在同一十字路口相遇時，為了確保安全，駕駛員必須對其他對象的行為進行預(yù)測。

人類駕駛員依靠駕駛過程中的線索以及個人經(jīng)驗對情況進行分析，而自動駕駛汽車可以通過AI預(yù)測交通模式，并在復(fù)雜的環(huán)境中安全行駛。

NVIDIA訓(xùn)練的PredictionNet深度神經(jīng)網(wǎng)絡(luò)能讓自動駕駛汽車全方位了解周圍駕駛環(huán)境，并根據(jù)實時感知和地圖數(shù)據(jù)預(yù)測行人或其他車輛的未來軌跡。

PredictionNet能夠通過分析路上所有行人和車輛過往的移動情況預(yù)測他們的未來軌跡。通過分析過往移動情況，DNN會得到車輛或行人的過往位置，并且還會獲取場景中固定對象和地標的位置，例如地圖上的交通信號燈、交通標志和車道線標志。

基于這些柵格化俯視圖信息輸入，DNN可以預(yù)測路上車輛和行人的未來軌跡，如圖1所示。

預(yù)測未來本身具有不確定性。PredictionNet可以通過提供每個車輛或行人未來軌跡的預(yù)測統(tǒng)計信息來解決不確定性問題，如圖1所示。

PredictionNet的預(yù)測結(jié)果以俯視圖形式展現(xiàn)?；揖€代表地圖，白虛線代表DNN預(yù)測的車輛軌跡，而白框代表實際發(fā)生的軌跡數(shù)據(jù)。彩色云代表預(yù)測車輛軌跡的概率分布，較暖顏色代表在時間上與當(dāng)前時間更近的點，較冷顏色代表在將來更遠的點。

從上到下卷積RNN處理方式

之前，預(yù)測自動駕駛汽車交通軌跡的方法包括利用仿真學(xué)習(xí)模型和生成模型對未來軌跡進行采樣，以及使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)處理感知輸入，并預(yù)測未來軌跡。

PredictionNet采用了基于RNN的二維卷積架構(gòu)，對任意車輛或行人以及預(yù)測范圍數(shù)量都具有高度可擴展性。

該方式與其他RNN一樣，不同時間步長被依次輸入DNN。每個時間步長均由俯視圖展示，該俯視圖能夠顯示當(dāng)時車輛周圍的環(huán)境，包括通過實時感知到的動態(tài)障礙物以及地圖上的固定地標。

該俯視圖在傳輸給RNN之前會經(jīng)過一組2D卷積處理。在當(dāng)前操作中，PredictionNet能夠輕松預(yù)測1到5秒的未來軌跡，這取決于場景的復(fù)雜性（例如，公路還是城市）。

PredictionNet模型還適用于TensorRT深度學(xué)習(xí)推理SDK中的高效運行，在NVIDIA TITAN RTX GPU上實現(xiàn)了10毫秒端到端推理。

可擴展結(jié)果

到目前為止的結(jié)果表明，PredictionNet在幾種復(fù)雜的交通場景下都具有很高的應(yīng)用前景。例如，DNN可以預(yù)測哪些汽車將直行通過十字路口，哪些將轉(zhuǎn)彎，還能夠正確預(yù)測汽車匯入高速公路場景中的行為。

我們還觀察到PredictionNet能夠分析場景中車輛的速度和加速度，這使其能夠正確預(yù)測快速移動和完全停止的車輛的速度，以及停走交通模式。

為了達到更高的預(yù)測精度，我們在高精度的激光雷達數(shù)據(jù)上對PredictionNet進行訓(xùn)練。然而，輸入DNN的推理時間感知可以基于任何傳感器輸入組合（即攝像頭、雷達或激光雷達數(shù)據(jù)），且無需重新訓(xùn)練。這意味著DNN的預(yù)測功能可用于各種傳感器配置和自動駕駛級別，從L2+級系統(tǒng)一直到L4或L5級。

PredictionNet實時預(yù)測行為的能力還能用于創(chuàng)建交互式訓(xùn)練環(huán)境，以加強基于學(xué)習(xí)的規(guī)劃和控制策略，實現(xiàn)自動巡航控制、車道變更或交叉路口處理等功能。

借助PredictionNet對其他道路使用者基于真實世界經(jīng)驗對自動駕駛汽車做出的反應(yīng)進行仿真，我們能夠訓(xùn)練出一個更安全、可靠且彬彬有禮的“AI駕駛員”。