廣告
ViP3D: 通過3D智體query實(shí)現(xiàn)端到端視覺軌跡預(yù)測
arXiv論文“ViP3D: End-to-end Visual Trajectory Prediction via 3D Agent Queries“，22年8月2日上傳，清華、上海（姚）期智研究院、CMU、復(fù)旦、理想汽車和MIT等的聯(lián)合工作。
現(xiàn)有的自主駕駛流水線將感知模塊與預(yù)測模塊分開。這兩個(gè)模塊通過人工選擇的特征進(jìn)行通信，如智體框和軌跡作為接口。由于這種分離，預(yù)測模塊僅從感知模塊接收部分信息。更糟糕的是，來自感知模塊的錯(cuò)誤可能會(huì)傳播和累積，從而對預(yù)測結(jié)果產(chǎn)生不利影響。
這項(xiàng)工作提出ViP3D，一種視覺軌跡預(yù)測流水線，利用原始視頻的豐富信息預(yù)測場景中智體的未來軌跡。ViP3D在整個(gè)流水線中使用稀疏智體query，使其完全可微分和可解釋。此外，提出一種新的端到端視覺軌跡預(yù)測任務(wù)的評估指標(biāo)，端到端預(yù)測精度（EPA，End-to-end Prediction Accuracy），其在綜合考慮感知和預(yù)測精度的同時(shí)，對預(yù)測軌跡與地面真實(shí)軌跡進(jìn)行評分。
如圖是傳統(tǒng)多步級聯(lián)流水線與ViP3D的比較：傳統(tǒng)的流水線涉及多個(gè)不可微模塊，例如檢測、跟蹤和預(yù)測；ViP3D將多視圖視頻作為輸入，以端到端的方式生成預(yù)測軌跡，可有效利用視覺信息，比如車輛轉(zhuǎn)向信號。
ViP3D旨在以端到端的方式解決原始視頻的軌跡預(yù)測問題。具體而言，給定多視圖視頻和高清地圖，ViP3D預(yù)測場景中所有智體的未來軌跡。
ViP3D的總體流程如圖所示：首先，基于查詢的跟蹤器處理來自周圍攝像機(jī)的多視圖視頻，獲得有視覺特征所跟蹤智體的query。智體query中的視覺特征，捕獲智體的運(yùn)動(dòng)動(dòng)力學(xué)和視覺特征，以及智體之間的關(guān)系。之后，軌跡預(yù)測器將跟蹤智體的query作為輸入，并與HD地圖特征相關(guān)聯(lián)，最后輸出預(yù)測的軌跡。
基于query的跟蹤器從環(huán)繞攝像機(jī)的原始視頻中提取視覺特征。具體而言，對于每一幀，按照DETR3D提取圖像特征。對于時(shí)域特征聚合，按照MOTR（“Motr: End-to-end multiple-object tracking with transformer“. arXiv 2105.03247, 2021）設(shè)計(jì)了一個(gè)基于query的跟蹤器，包括兩個(gè)關(guān)鍵步驟：query特征更新和query監(jiān)督。智體query會(huì)隨時(shí)間更新，建模智體的運(yùn)動(dòng)動(dòng)力學(xué)。
大多數(shù)現(xiàn)有的軌跡預(yù)測方法可分為三個(gè)部分：智體編碼、地圖編碼和軌跡解碼。在基于query的跟蹤之后，獲得被跟蹤智體的query，該query可以被視為通過智體編碼獲得的智體特征。因此，剩下的任務(wù)是地圖編碼和軌跡解碼。
分別將預(yù)測和真值智體表示為無序集S?和S，其中每個(gè)智體由當(dāng)前時(shí)間步的智體坐標(biāo)和K個(gè)可能的未來軌跡表示。對于每個(gè)智體類型c，計(jì)算Sc?和Sc之間的預(yù)測精度。將預(yù)測智體和真值智體之間的成本定義為：
這樣Sc?和Sc之間的EPA定義為：
實(shí)驗(yàn)結(jié)果如下：
注：這個(gè)目標(biāo)渲染做的不錯(cuò)。
廣告 編輯推薦
最新資訊
-
開年豪擲1.8億搶用戶，又一車企加入“價(jià)格
2026-03-04 16:05
-
聯(lián)合國法規(guī)R60對兩輪車操縱件與指示裝置的
2026-03-04 12:08
-
標(biāo)準(zhǔn)立項(xiàng)|《汽車異種材料鉚接接頭拉伸性能
2026-03-04 11:40
-
“汽車大角度座椅 第1部分：通用要求”將有
2026-03-04 11:39
-
“汽車大角度座椅 第2部分：可靠性要求”將
2026-03-04 11:39
