編者按：在進行車輛軌跡預(yù)測時，車輛之間的交互建模會直接影響到預(yù)測精度，在以往的大部分預(yù)測模型中都建立在車輛之間交互具有連續(xù)性的假設(shè)上。沒有充分考慮由于不同的行為而引起的交互對象之間的交互變化。除此之外，由于交通標志和交通燈的限制，車輛在停止、直行、右轉(zhuǎn)和左轉(zhuǎn)的運動中通常也會表現(xiàn)出不連續(xù)性。本文中通過構(gòu)建空間動態(tài)交互圖、行為依賴圖并引入交通信號燈信息對交互和運動的不連續(xù)依賴進行建模。

本文譯自：

《D2-TPred: Discontinuous Dependency for Trajectory Prediction under Traffic Lights》

文章來源：

Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part VIII. Cham: Springer Nature Switzerland, 2022: 522-539.

作者：

Yuzhen Zhang, Wentong Wang, Weizhi Guo, Pei Lv, Mingliang Xu, Wei Chen,  Dinesh Manocha

原文鏈接：

6596/1939/1/012011/metahttps://link.springer.com/chapter/10.1007/978-3-031-20074-8_30

代碼鏈接：

https://github.com/VTP-TL/D2-TPred

摘要：當在復(fù)雜場景中進行導(dǎo)航時，深入了解代理之間的關(guān)系和運動行為對于實現(xiàn)高質(zhì)量規(guī)劃非常重要。我們提出了一種考慮交通燈的軌跡預(yù)測方法D2-TPred，它使用空間動態(tài)交互圖(SDG)和行為依賴圖(BDG)來處理時空空間中的不連續(xù)依賴問題。具體而言，SDG通過在每一幀中為不同的代理重建子圖來捕獲空間交互。BDG通過建模當前狀態(tài)與先前行為之間的隱式依賴關(guān)系，特別是與加速、減速或轉(zhuǎn)向相對應(yīng)的不連續(xù)運動來推斷運動趨勢。此外，我們還提出了一個新的具有交通燈信息的車輛軌跡預(yù)測數(shù)據(jù)集，叫做VTP-TL。我們的實驗結(jié)果表明，與其他軌跡預(yù)測算法相比，我們的模型在VTP-TL上的ADE和FDE分別提高了20.45%和20.78%以上。

關(guān)鍵詞：動態(tài)交互圖、行為依賴圖、不連續(xù)依賴、紅綠燈

1 引言

車輛或代理的交互關(guān)系和行為意圖經(jīng)常用于各種自動駕駛?cè)蝿?wù)[4,27,32]。一個關(guān)鍵任務(wù)是預(yù)測每個車輛或道路代理的未來軌跡，用于執(zhí)行安全導(dǎo)航或交通預(yù)測[1,40,6,48]?，F(xiàn)有的軌跡預(yù)測方法主要是從空間交互和行為建模中提取時空信息。在空間交互方面，以往的大部分工作都是根據(jù)預(yù)定義的交互區(qū)域來確定對象之間的交互，例如整個場景[1,40,36,42,48]，局部區(qū)域[2,12,6]，以及對應(yīng)視覺注意力的區(qū)域[19]。然而，這些方法沒有充分考慮由于不同的行為而引起的鄰居之間變化的交互和依賴性，如改變車道或轉(zhuǎn)向，可能會導(dǎo)致新的成對交互。在行為依賴性方面，這些預(yù)測算法使用基于LSTM的方法[23,48]或基于圖的方法[29,38]從先前狀態(tài)獲取相關(guān)信息。

在本文中，我們解決了交通信號燈或十字路口附近區(qū)域的軌跡預(yù)測問題。由于交通標志和交通燈的限制，紅、綠、黃狀態(tài)由離散指標標記，車輛在停止、直行、右轉(zhuǎn)和左轉(zhuǎn)的運動行為中通常不會表現(xiàn)出一階連續(xù)性。相反，它們的軌跡受環(huán)境或其他代理的不連續(xù)影響的支配。例如，在圖1的綠色框中，車輛、和之間的交互從時間到發(fā)生了變化。即使這些車輛位于由距離確定的相同交互區(qū)域內(nèi)(綠色框)，但是車輛之間的空間和行為交互已經(jīng)發(fā)生很大變化，我們需要對此類變化進行建模。對于車輛來說，影響它當前狀態(tài)最重要的因素是由于右轉(zhuǎn)而導(dǎo)致的行為變化，而不是相鄰時間戳的運動狀態(tài)。我們將這種現(xiàn)象稱為不連續(xù)依賴（D2），這使得精確的空間-時間特征提取極具挑戰(zhàn)性。目前的軌跡預(yù)測方法沒有充分考慮到這一特性，即交通代理的軌跡通常由于頻繁的啟動和停止而導(dǎo)致不是一階連續(xù)的。

主要結(jié)果：為了模擬交通代理之間的不連續(xù)依賴關(guān)系，我們提出了一種新的軌跡預(yù)測方法(D2-TPred)。在我們的方法中，我們?yōu)橐粠械牟煌煌ù順?gòu)建了一個空間動態(tài)交互圖(SDG)。每個交通代理都被視為一個圖節(jié)點，我們計算適當?shù)倪厑砟M它與其他不斷變化的相鄰代理的交互，這些相鄰代理由視覺范圍、距離和車道索引以及它們的相對位置方面的不連續(xù)依賴關(guān)系確定。

此外，為每個代理計算行為依賴圖(BDG)，根據(jù)它們在先前時間中的行為對不連續(xù)性進行建模，而不僅僅是相鄰的時間戳。具體來說，為了避免加速、減速或轉(zhuǎn)彎方向等關(guān)鍵行為特征被遺忘門過濾，或者誤差會在RNN網(wǎng)絡(luò)的順序預(yù)測中累積，將相鄰幀之間依賴信息傳遞的方式替換為GAT（圖形注意力網(wǎng)絡(luò)）[31]。SDG和BDG被用作基于圖形的軌跡預(yù)測網(wǎng)絡(luò)的一部分。我們還提出了一個用于車輛軌跡預(yù)測的新數(shù)據(jù)集VTP-TL。我們的數(shù)據(jù)集由城市環(huán)境下的不同的交通場景組成，例如十字路口、丁字路口交叉路口和環(huán)島，其中包含車輛軌跡的二維坐標和每個交通路口的1000多輛帶注釋的車輛。我們工作的貢獻主要如下：

1、我們提出了一種新的軌跡預(yù)測方法D2-TPred，它建模了車輛軌跡中的各種不連續(xù)性。2、我們提出了兩種類型的數(shù)據(jù)結(jié)構(gòu)來提高基于圖的網(wǎng)絡(luò)的性能，以建模動態(tài)交互和車輛行為。SDG通過為每個幀中具有不斷變化的鄰車的代理重建適當?shù)慕换プ訄D來對空間交互進行建模。BDG用于模擬當前狀態(tài)對先前行為的動態(tài)變化的行為依賴性。SDG和BDG的使用在ADE和FDE中將預(yù)測精度提高了22.45%和29.39%。3、我們提出了一個新的數(shù)據(jù)集VTP-TL，他們是針對交通信號燈和路口附近的交通視頻數(shù)據(jù)。其中包括對應(yīng)于具有挑戰(zhàn)性的城市場景的150分鐘的30fps視頻。該數(shù)據(jù)集是在交通路口上方70至120米處使用無人機捕獲的。
2 相關(guān)工作     

圖神經(jīng)網(wǎng)絡(luò)：圖神經(jīng)網(wǎng)絡(luò)(GNN)[58]可以對代理之間的交互進行建模。基于GNN的現(xiàn)有軌跡預(yù)測方法可以分為兩類。第一種是基于無向圖，它利用圖結(jié)構(gòu)顯式地構(gòu)建交互并為每對節(jié)點分配相同的權(quán)重，例如STUGCN[55]、SocialSTGCNN[29]。第二種是基于圖注意力網(wǎng)絡(luò)（GAT）[31]，它在無向圖中引入了一種注意力機制來計算交互代理的不對稱影響權(quán)重。基于GAT的方法，例如Social-BiGAT[43]、STGAT[23]、EvolveGraph[24]和SGCN[38]，可以靈活地模擬非對稱交互以計算時空特征并提高預(yù)測精度。同時，EvolveGraph[24]和SGCN[38]引入圖結(jié)構(gòu)推理來生成動態(tài)和稀疏交互。與這些方法不同，我們直接將根據(jù)視覺范圍、距離和交通規(guī)則確定的交互對象構(gòu)造一個有向圖，并使用GAT來表示代理之間的非對稱交互。

圖1 交通燈附近十字路口車輛間不連續(xù)相依關(guān)系的圖解

社交互動模型：代理需要使用交互和相關(guān)信息來做出合理的決定，以避免潛在的碰撞。基于社會力的方法[13,33,49]使用不同類型的力來模擬加速和減速力。基于社交池的方法[2,12,1,40]嘗試整合半徑內(nèi)鄰車的運動信息?；贕NN的技術(shù)[42,43,24,29,41,23,46]使用圖形結(jié)構(gòu)來直接模擬代理之間的交互。這些方法假設(shè)代理與預(yù)定義或附近區(qū)域中的所有其他代理進行交互。他們沒有考慮那些需要修剪的鄰車，尤其是沿著相反的車道行駛的代理。

運動模型：運動模型作為軌跡預(yù)測模型的一部分用于推斷運動信息。早期的研究主要基于線性模型、恒速模型或恒加速度模型來預(yù)測未來軌跡[52]。然而，這些簡單的模型無法處理復(fù)雜的交通場景。此外，還提出了基于LSTM的方法[2,1,23,39]和基于圖的方法[54,55,29,38]來對運動軌跡進行建模。其他技術(shù)考慮了駕駛員行為[7,3]。Giuliari等人[17]使用transformer網(wǎng)絡(luò)進行精確的軌跡預(yù)測。在本文中，將時間序列中代理的狀態(tài)視為節(jié)點來構(gòu)建有向圖，進一步實現(xiàn)不連續(xù)時間戳之間的直接建模，而不僅僅是相鄰的時間戳。

      3 D2-TPred     

在本節(jié)中，我們提出了一種新的基于學(xué)習(xí)的軌跡預(yù)測算法，該算法建模了交通燈對運動行為的影響，其架構(gòu)如圖2所示。

圖2 D2-TPred 模型的架構(gòu)

3.1問題表述

給定每個場景中個代理的空間坐標和交通燈狀態(tài)，我們的目標是預(yù)測這些代理在未來最可能的軌跡。在任何時間，第個智能體在時間的狀態(tài)可以表示為，其中表示位置坐標，其他符號表示相應(yīng)的交通燈信息，在3.3節(jié)中有更詳細的描述。根據(jù)時間區(qū)間中所有智能體的輸入，我們的方法可以預(yù)測它們在下一段時間內(nèi)的位置。不同于地面真實軌跡，表示預(yù)測軌跡。

3.2時空依賴

空間動態(tài)交互圖：與先前的方法[23,29]不同，我們重建子圖以對每個幀中的所有交互進行建模。我們通過對圖3中具有7輛車的場景來說明我們對不連續(xù)依賴建模的方法。與[19]類似，考慮到人類視覺系統(tǒng)的特點，車輛的可視區(qū)域被視為截錐體，并在道路和交叉路口之間設(shè)置不同的視覺范圍。在時間，、和位于鄰域的可視區(qū)域中。然而，因為在相反的車道上移動，的運動行為不受的影響。因此，我們構(gòu)建對應(yīng)于車輛、和之間交互的子圖，以及車輛和的對應(yīng)的子圖。此外，對于沒有相鄰車輛的和，我們分別構(gòu)建子圖和?；谶@些子圖，更新這些車輛的中間狀態(tài)。由于車輛之間的相互作用是動態(tài)變化的，車輛在時間不受車輛的影響。即使它們在由距離確定的相同交互區(qū)域內(nèi)，車輛對車輛影響在相鄰幀之間也不相同。以這種方式，我們重建相應(yīng)的子圖、來表示車輛之間的這些不同的交互。

圖3 空間動態(tài)交互圖(SDG)

考慮到代理之間交互的不對稱性，我們在這些構(gòu)建的有向圖中使用自注意機制來模擬空間交互。對于時間的智能體，我們首先根據(jù)視覺范圍、距離和車道索引以及相應(yīng)的矩陣、和分別確定其交互對象。

其中填充0和1表示代理之間的鄰接矩陣，我們進一步構(gòu)建基于它的子圖。然后我們通過整合來自交互對象的隱藏狀態(tài)來計算空間狀態(tài)。

其中是嵌入函數(shù)，是智能體在時間的狀態(tài)向量。與方法[14]類似，表示代理在時間戳對的注意力系數(shù)，和是嵌入矩陣和LSTM單元權(quán)重。

圖4 行為依賴圖(BDG)

行為依賴圖：為了避免在信息傳遞過程中關(guān)鍵行為特征可能被RNN網(wǎng)絡(luò)的遺忘門過濾，我們使用GAT來模擬從先前行為到當前狀態(tài)的不連續(xù)依賴性，而不僅僅是只使用相鄰的時間戳內(nèi)的信息。具體來說，對于給定的車輛，其由SDG更新的狀態(tài)被視為節(jié)點。我們將時間序列中的不連續(xù)依賴建模為邊，并構(gòu)建有向圖，其中行為信息沿著有向邊傳輸。圖4顯示了給定代理的BDG的詳細架構(gòu)。

具體來說，對于智能體，我們使用相同顏色的有向線段構(gòu)成展開的BDG，不同顏色代表不同時間實例的行為依賴圖。BDG使用SDG生成的狀態(tài) 。它的當前狀態(tài)被更新并嵌入到下一個時間實例的行為依賴圖中，其中節(jié)點之間的依賴權(quán)重是通過使用自注意力機制計算的。如圖4的虛線框所示，代理在當前時刻的運動狀態(tài)由之前在時間、、、、和的行為控制等，而下一個時間的運動狀態(tài)由、、、、和控制。這樣，代理的隱藏狀態(tài) 在時間更新計算如下：

其中表示時間窗口長度。是單層前饋神經(jīng)網(wǎng)絡(luò)的權(quán)重向量。表示從到的先前幀中的具體時間實例。

3.3交通燈附近的軌跡預(yù)測

在本節(jié)中，我們提出了兩種用于車輛軌跡預(yù)測的方案。第一種方案考慮了由交通燈狀態(tài)交替引起的對車輛行為的不連續(xù)約束，其中交通燈被視為具有固定位置和交替狀態(tài)的指示信號。第二種方案是針對沒有紅綠燈的場景設(shè)計的。

給定觀測序列： ，其可以劃分為車輛軌跡和相應(yīng)的交通信號燈狀態(tài)序列兩部分。Fid、Aid、Lid分別是frame、vehicle以及車輛所在車道的索引。是交通燈索引。 描述車輛是否在相應(yīng)紅綠燈的影響范圍內(nèi)。表示車輛是否最接近影響區(qū)域內(nèi)的停車線。表示一個代理的行為，例如左轉(zhuǎn)、右轉(zhuǎn)或直行。和分別描述了紅綠燈的狀態(tài)和持續(xù)時間。我們考慮到車輛軌跡是連續(xù)的，交通燈狀態(tài)序列是周期性的和不連續(xù)的。因此，使用LSTM和MLP這兩種不同的編碼器來處理它們并分別計算相應(yīng)的隱藏狀態(tài)和。在SDG中，我們使用GAT來整合來自附近交互代理的影響特征，然后計算代理的更新狀態(tài)。在行為依賴方面，我們首先將狀態(tài) (Eq.4)和交通燈狀態(tài)連接起來作為輸入，然后使用這些結(jié)果來構(gòu)造BDG?；贐DG，我們可以針對交通信號燈對車輛運動行為的不連續(xù)約束進行建模，如圖4所示。在此階段，隱藏狀態(tài)被計算為的加權(quán)和，其中依賴權(quán)重是通過自注意機制計算的。公式如下：

其中是串聯(lián)操作。和是嵌入權(quán)重。為了增強行為特征并避免序列過程中被遺忘門過濾的特征損失，通過整合狀態(tài)和原始狀態(tài)來生成中間狀態(tài)。預(yù)測的車輛位置由下式給出：

其中和分別是基于LSTM的解碼器和相應(yīng)的權(quán)重。表示線性層。我們的方法也是基于GAN的模型，將鑒別器集成到預(yù)測方法中，它利用LSTM和MLP分別對完整軌跡()和交通燈序列LS進行編碼，然后將它們連接起來作為輸入，判別器通過線性網(wǎng)絡(luò)輸出真/假概率。

對于每輛車，我們使用[1]中的多樣性損失計算位移誤差。該模型預(yù)測多個軌跡，并選擇它們與ground-truth軌跡之間距離誤差最小的軌跡作為模型輸出。

     4 實驗結(jié)果     

4.1量化評估

我們在交通數(shù)據(jù)Apolliscape、SDD、INTERACTION、Waymo和VTP-TL上進行了詳細的定量評估，D2-TPred和其他軌跡預(yù)測方法的預(yù)測性能定量結(jié)果如表1和表2所示。

表1 交通數(shù)據(jù)集預(yù)測性能的量化結(jié)果

表2 VTP-TL數(shù)據(jù)集的定量結(jié)果

沒有紅綠燈的交通數(shù)據(jù)集：利用SDG和BDG提取時空特征，我們的方法在表1所示的數(shù)據(jù)集中取得了有競爭力的性能。具體來說，我們的方法的性能明顯優(yōu)于Apolloscape上的方法。在具有大量不同場景的SDD數(shù)據(jù)集中，我們得到了最小的ADE誤差和第三的FDE的誤差，以及INTER數(shù)據(jù)集下的最小FDE誤差。此外，我們還通過8幀歷史數(shù)據(jù)來預(yù)測接下來的12幀中的車輛軌跡，并在Waymo Open Motion數(shù)據(jù)集上實現(xiàn)了最佳性能。這些表明我們的模型可以有效地捕獲復(fù)雜交通場景中動態(tài)變化的交互特征和行為依賴。

帶交通燈的VTP-TL數(shù)據(jù)集：在本節(jié)中，我們將介紹D2TPred+TL，它將交通燈狀態(tài)引入D2-TPred方法。在表2中，我們評估了我們的模型并和一些方法進行了比較，并且這些方法都針對交通信號燈進行了改進和了評估。實驗結(jié)果表明，我們的方法在VTP-TL數(shù)據(jù)集上，ADE和FDE指標優(yōu)于的所有其他方法。值得注意的是，與預(yù)測誤差最低的STGAT相比，D2-TPred+TL的ADE和FDE指標分別降低了20.45%和20.78%。這說明我們可以有效地模擬交通燈對運動行為的約束。

4.2消融實驗

我們進行了帶有紅綠燈的VTP-TL的消融研究。這不僅展示了每個組件的重要性，而且突出了對交通燈引起車輛運動行為不連續(xù)性進行建模的好處。

表3.VTP-TL數(shù)據(jù)集的消融結(jié)果

SDG和BDG的評估：為了顯示SDG和BDG的有效性，我們在表3中比較了，和。中ADE分別降低13.93%和15.85%，F(xiàn)DE分別降低17.34%和22.46%。這直接說明SDG和BDG可以有效捕捉時空的不連續(xù)依賴性，進一步提高預(yù)測軌跡的準確性。

判別器的評估： 我們引入了一個判別器來改進預(yù)測軌跡。通過比較表3中的和，后者在ADE和FDE中的性能分別提高了9.26%和12.74%。此外，鑒別器有助于提高預(yù)測軌跡的準確性。

不同編碼器的評估：由于交通燈狀態(tài)的鮮明特征，我們使用MLP和LSTM對其進行編碼。通過比較表3中的和，利用MLP捕獲交通燈狀態(tài)的特征可以在ADE和FDE上分別進一步提高5.56%和8.17%。這說明不連續(xù)的序列可能不適合由具有強上下文相關(guān)性的LSTM進行編碼。

交通燈功能評估：對于交通燈，我們將methods+TL與相應(yīng)的baseline方法進行比較。前者直接使用VTP-TL數(shù)據(jù)集，后者使用從VTP-TL數(shù)據(jù)集拆分出來的由、、、屬性組成的數(shù)據(jù)集。如表2所示，它可以進一步將ADE和FDE的性能分別提高8.02%至24.87%和3.38%至30.29%。因此，我們可以清楚地驗證紅綠燈在城市交叉口軌跡預(yù)測中的必要性

4.3 定性評價

在圖5中，前兩列的圖像顯示了來自Argoverse和Apolloscape的定性結(jié)果?？梢钥闯?，我們的方法在沒有紅綠燈的情況下也可以在城市十字路口預(yù)測出可接受的未來路徑。

在第三列中，我們展示了VTP-TL數(shù)據(jù)集的定性結(jié)果。對于第一行，道路上的當前交通燈狀態(tài)為紅色。我們只展示了五輛車的軌跡，其中車輛直行，在紅燈下右轉(zhuǎn)，在綠燈下直行，和不在紅綠燈信號的影響范圍內(nèi)。對于，我們方法的預(yù)測軌跡最接近地面實況。雖然、、和的軌跡不受交通燈信號的影響，但我們的方法也可以預(yù)測可接受的軌跡。接下來的兩個圖像顯示了丁字路口和環(huán)島路口的預(yù)測軌跡，在交通燈狀態(tài)從紅色變?yōu)榫G色的情況下，位于前者的車輛狀態(tài)正在從停車變?yōu)樾旭?。這說明我們的模型可以靈活地響應(yīng)周圍代理和交通燈狀態(tài)的動態(tài)變化。

圖5 在交通數(shù)據(jù)集和VTP-TL數(shù)據(jù)集上的城市交叉口可視化結(jié)果。請注意，所比較的方法在不同的數(shù)據(jù)集中并不相同

     5 結(jié)論    

我們提出了D2-TPred，這是一種考慮交通信號燈的軌跡預(yù)測方法。該方法不僅可以通過為具有不斷變化的交互對象(SDG)的所有代理重建子圖來對動態(tài)交互進行建模，而且還可以通過建模先前實例中行為的直接影響來捕捉不連續(xù)的行為依賴性（BDG）。此外，還發(fā)布了用于車輛軌跡預(yù)測的交通信號燈VTP-TL數(shù)據(jù)集。基于此，我們描述了兩種軌跡預(yù)測方案，并且與其他最先進的技術(shù)相比獲得了有競爭力的性能。

參考文獻