編者按：準(zhǔn)確、高效地預(yù)測周圍車輛的未來軌跡對(duì)自動(dòng)駕駛中的運(yùn)動(dòng)規(guī)劃至關(guān)重要。具備長期軌跡預(yù)測能力能夠?yàn)橐?guī)劃提供有價(jià)值的信息資源。盡管已有大量研究致力于提升長期車輛軌跡預(yù)測，但需在準(zhǔn)確性和計(jì)算復(fù)雜度之間取得平衡。本文提出了一種結(jié)構(gòu)化的Informer模型，用于實(shí)現(xiàn)對(duì)目標(biāo)車輛的高效、準(zhǔn)確的長期軌跡預(yù)測。具體而言，所提出的模型不僅關(guān)注交互車輛軌跡的時(shí)空特征，還結(jié)合車輛狀態(tài)變化對(duì)軌跡的影響。為降低計(jì)算冗余和復(fù)雜性、提升內(nèi)存利用率和預(yù)測精度，模型中引入了ProbSparse自注意力機(jī)制與注意力蒸餾機(jī)制?；贜GSIM數(shù)據(jù)集的驗(yàn)證表明，與現(xiàn)有先進(jìn)模型相比，該結(jié)構(gòu)化Informer模型在長期軌跡預(yù)測方面具有良好的精度和時(shí)間性能。

本文譯自：

《Trajectory Prediction for Autonomous Driving based on Structural Informer Method》

文章來源：

IEEE Transactions on Automation Science and Engineering, pp. 1-12, 18. December. 2023

作者：

Chongpu Chen; Xinbo Chen; Chong Guo; Peng Hang

作者單位：

同濟(jì)大學(xué)汽車學(xué)院; 吉林大學(xué)汽車學(xué)院

原文鏈接：

https://ieeexplore.ieee.org/document/10364872

摘要：準(zhǔn)確、高效地預(yù)測周圍車輛的未來軌跡，對(duì)于自動(dòng)駕駛的運(yùn)動(dòng)規(guī)劃至關(guān)重要。預(yù)測長期軌跡的能力為有效的運(yùn)動(dòng)規(guī)劃提供了有價(jià)值的信息。大量的研究對(duì)長期車輛軌跡的預(yù)測做出了貢獻(xiàn)。然而，需要注意的是，長期預(yù)測可能需要對(duì)準(zhǔn)確性和計(jì)算復(fù)雜性之間的進(jìn)行權(quán)衡。在這篇文章中，我們提出了一種結(jié)構(gòu)化的Informer模型，可以實(shí)現(xiàn)對(duì)目標(biāo)車輛的準(zhǔn)確、高效的長期軌跡預(yù)測。具體而言，所提出的模型不僅考慮了交互車輛軌跡的時(shí)空特征，還考慮了車輛狀態(tài)變化對(duì)軌跡的影響。為了降低計(jì)算冗余和復(fù)雜性，同時(shí)提高內(nèi)存使用率和預(yù)測精度，采用了ProbSparse自注意機(jī)制和注意力蒸餾機(jī)制。使用NGSIM數(shù)據(jù)集對(duì)該模型進(jìn)行了驗(yàn)證和評(píng)估，結(jié)果表明，與目前最先進(jìn)的模型相比，所提出的結(jié)構(gòu)化的Informer模型在TV的長期預(yù)測中取得了令人滿意的精度和時(shí)間成本。

從業(yè)人員須知-本研究的動(dòng)機(jī)是解決周圍車輛的未來軌跡對(duì)自動(dòng)駕駛汽車運(yùn)動(dòng)規(guī)劃的影響。該模型采用了先進(jìn)的深度學(xué)習(xí)模型，其優(yōu)點(diǎn)是與現(xiàn)有模型相比，該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)更高的軌跡預(yù)測效率和精度。具體實(shí)現(xiàn)方法是利用結(jié)構(gòu)化嵌入方法和網(wǎng)絡(luò)提取目標(biāo)車輛更有價(jià)值的特征，如時(shí)空特征和車輛狀態(tài)特征。新型注意力機(jī)制旨在解決傳統(tǒng)注意機(jī)制在長期預(yù)測中計(jì)算復(fù)雜度呈指數(shù)增長的問題。通過對(duì)自然駕駛數(shù)據(jù)集的驗(yàn)證，證實(shí)了所提模型的先進(jìn)性。

關(guān)鍵詞：自動(dòng)駕駛；軌跡預(yù)測；注意力機(jī)制；Informer模型

Ⅰ 引言 

無人駕駛被認(rèn)為是緩解交通擁堵、提高駕駛舒適度的高效技術(shù)[1]。目前，自動(dòng)駕駛汽車(autonomous vehicles, AVs)利用傳感器獲得的環(huán)境信息來進(jìn)行決策和規(guī)劃其運(yùn)動(dòng)路線，以確保自動(dòng)和安全駕駛[2][3]。為了保證AV始終做出正確的決策和運(yùn)動(dòng)規(guī)劃，AV需要預(yù)測其周圍目標(biāo)車輛的未來軌跡。然而，在復(fù)雜的交通場景中，不同交通參與者之間的相互作用和影響，使得對(duì)其未來軌跡的預(yù)測成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)，隨著交通參與者數(shù)量的增加，這一任務(wù)變得越來越復(fù)雜。此外，傳感器誤差和噪聲顯著降低了軌跡預(yù)測的準(zhǔn)確性。因此，如何在復(fù)雜交通環(huán)境下準(zhǔn)確高效地對(duì)目標(biāo)車輛進(jìn)行長時(shí)間序列預(yù)測仍然是AVs面臨的一個(gè)巨大挑戰(zhàn)。目前對(duì)目標(biāo)車輛TV軌跡預(yù)測的研究主要集中在三種方法上:基于模型的方法、基于行為意圖的方法和基于深度學(xué)習(xí)的方法[6][7][8]?；谀Ｐ偷姆椒ㄖ饕菍㈩A(yù)測的車輛簡化為動(dòng)力學(xué)或運(yùn)動(dòng)學(xué)模型，通過考慮加速度和前輪轉(zhuǎn)彎角度等輸入來生成預(yù)測的軌跡。由于車輛的某些參數(shù)有時(shí)不容易獲得，因此通常采用貝葉斯濾波算法，如卡爾曼濾波器[9]和切換卡爾曼濾波器[10]，與動(dòng)力學(xué)模型相結(jié)合，通過估計(jì)-預(yù)測回路進(jìn)行多步預(yù)測。這些方法的計(jì)算效率更高，更適合于短期預(yù)測。然而，基于模型的方法往往忽略了某些參數(shù)的影響，沒有考慮復(fù)雜的駕駛操作或交通環(huán)境對(duì)車輛軌跡的影響，導(dǎo)致無法保證LSTF的準(zhǔn)確性。 

基于行為意圖的方法將車輛視為符合駕駛員行為傾向的個(gè)體。車輛的軌跡特征與駕駛員的行為意圖相匹配。在預(yù)測車輛軌跡時(shí)，首先可以識(shí)別車輛的變道、轉(zhuǎn)彎等行為意圖，并且相應(yīng)的軌跡預(yù)測可以針對(duì)每個(gè)意圖的特征生成對(duì)應(yīng)的軌跡[11][12][13]。有幾項(xiàng)研究利用隱馬爾可夫模型(HMM)[14]和支持向量機(jī)(SVM)[15]提前利用大量數(shù)據(jù)開發(fā)車輛意圖識(shí)別模型。此外，采用高斯過程擬合飛行器軌跡分布[16]，通過擬合高斯過程[17][18][19]得到飛行器的預(yù)測軌跡。與基于模型的方法相比，基于行為意圖的軌跡預(yù)測方法進(jìn)一步將預(yù)測視界擴(kuò)展了1s到2s。然而，這種方法無法考慮車輛之間的交互效應(yīng)，從而降低了復(fù)雜交通場景下的軌跡預(yù)測精度。如今，更多的研究集中在使用深度學(xué)習(xí)算法進(jìn)行車輛軌跡預(yù)測[20]。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)因其適合于時(shí)間序列問題[21][22]而在車輛軌跡預(yù)測中很受歡迎。長短期記憶(LSTM)作為RNN的改進(jìn)版本已經(jīng)出現(xiàn)，具有更好的訓(xùn)練性能和神經(jīng)網(wǎng)絡(luò)表達(dá)，導(dǎo)致大量研究使用LSTM來構(gòu)建車輛軌跡預(yù)測模型[23][24]。在seq-to-seq框架中，最近提出的Transformer拋棄了傳統(tǒng)RNN網(wǎng)絡(luò)在時(shí)間和空間上對(duì)車輛歷史軌跡進(jìn)行節(jié)點(diǎn)化的結(jié)構(gòu)，并通過注意機(jī)制并行考慮時(shí)間序列之間的關(guān)系[25][26]。這種基于并行注意機(jī)制的Transformer模型極大地提高了對(duì)車輛軌跡特征的提取和理解[27]。然而，這種LSTF的并行計(jì)算機(jī)制導(dǎo)致計(jì)算復(fù)雜度呈指數(shù)級(jí)增長。這些提出的神經(jīng)網(wǎng)絡(luò)通常需要增加深度來達(dá)到更好的預(yù)測精度，這也增加了時(shí)間成本。 

在本文中，由于LSTF預(yù)測能力的提高，采用了Informer模型來預(yù)測TV的未來軌跡[28]。首先，考慮到車輛軌跡變化時(shí)車輛狀態(tài)的顯著特征，我們?cè)贗nformer的最外層設(shè)計(jì)了一種車輛-狀態(tài)-注意力機(jī)制。此外，TV的歷史軌跡在時(shí)間和空間上被嵌入，然后一起輸入到Informer中。使用ProbSparse自注意機(jī)制代替規(guī)范的自注意機(jī)制來降低時(shí)間復(fù)雜度，我們使用自注意力蒸餾機(jī)制來降低空間復(fù)雜度以接受更長的輸入序列。因此，我們提出的新型網(wǎng)絡(luò)(稱為structural Informer)不僅在數(shù)據(jù)輸入方面具有結(jié)構(gòu)性，而且作為一種新的Transformer，其計(jì)算過程也是結(jié)構(gòu)性的。本文的主要貢獻(xiàn)如下。

1）設(shè)計(jì)了車輛-狀態(tài)-注意機(jī)制，檢測車輛狀態(tài)的不同組成部分與未來軌跡的關(guān)聯(lián)，提高軌跡預(yù)測的準(zhǔn)確性和可解釋性。 

2）通過車輛-狀態(tài)-注意機(jī)制的輸入具有時(shí)間嵌入性，TV與SVs之間的交互具有空間嵌入性。兩者考慮到TV的時(shí)間和空間特征，并認(rèn)為這是輸入結(jié)構(gòu)。 

3）利用ProbSparse自注意機(jī)制和自注意力蒸餾機(jī)制進(jìn)行結(jié)構(gòu)計(jì)算，降低了車輛軌跡長期預(yù)測的時(shí)空復(fù)雜度。 

本文其余部分組織如下:第Ⅱ節(jié)是問題描述和提出的模型。在第Ⅲ節(jié)中，使用自然駕駛數(shù)據(jù)集對(duì)提出的模型進(jìn)行測試和比較。第Ⅳ節(jié)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析和討論，第Ⅴ節(jié)對(duì)本文進(jìn)行了總結(jié)。

Ⅱ 問題表述和模型提出

A.問題表述

一個(gè)典型的公路軌跡預(yù)測場景描述如圖1所示，其中主車輛為配備軌跡預(yù)測模塊的AV汽車。影響AV安全性的最重要因素是試圖并入AV車道的相鄰車輛的行為。因此，對(duì)TV未來軌跡的精確預(yù)測變得至關(guān)重要。同時(shí)，TV的軌跡同時(shí)受到SVs和AV的影響。因此，所有車輛(包括AV和SVs)的歷史軌跡被視為與TV的交互軌跡。SVs結(jié)構(gòu)如圖1所示。SV(1)和SV(2)分別位于TV的前面和后面，SV(3)位于AV所在車道的前面。

圖 1典型軌跡預(yù)測場景 

需要注意的是，當(dāng)需要進(jìn)行多臺(tái)機(jī)器的軌跡預(yù)測時(shí)，每個(gè)TV的車輛結(jié)構(gòu)可以定義為如圖2所示，以實(shí)現(xiàn)多車軌跡預(yù)測。因此，多車軌跡預(yù)測是單車的重復(fù)工作。為了更清楚地解釋，下面將以單個(gè)TV為例描述所提出的模型。假設(shè)所有車輛的實(shí)時(shí)軌跡數(shù)據(jù)都可以通過集成在AV中的傳感器獲得，TV是根據(jù)傳感器輸出的目標(biāo)優(yōu)先級(jí)來確定的。

圖 2 車輛結(jié)構(gòu) 

本文的目的是訓(xùn)練一個(gè)預(yù)測器在預(yù)測視界內(nèi)輸出TV的軌跡?？紤]對(duì)于SVs和AV對(duì)TV的影響，有必要將它們的歷史軌跡也納入預(yù)測器中，因此將預(yù)測器的輸入定義為：

它用來生成一系列TV的未來軌跡:

其中

表示車輛標(biāo)簽，0表示TV, 1表示AV, 2 ~ 4表示SV的不同位置。

表示歷史軌跡的時(shí)間戳，M為輸入時(shí)間范圍。

表示預(yù)測軌跡的時(shí)間戳，N為預(yù)測的時(shí)間范圍。

表示訓(xùn)練所需的車輛狀態(tài)特征集。選取車輛中心軌跡坐標(biāo)、、縱向車速、橫向車速、縱向加速度、橫向加速度作為特征集元素，標(biāo)志代表車輛類別，如AV、TV和SVs。然后將t時(shí)刻所有車輛類別的特征串接在一起，形成如下式所示的特征向量序列：

如圖2所示，每個(gè)特征向量對(duì)應(yīng)場景中的一輛車，最后只輸出包含預(yù)測軌跡的TV預(yù)測向量。如果車輛不存在，則該車輛的所有輸入狀態(tài)特征都設(shè)置為0。

最后，為了便于結(jié)構(gòu)化的Informer的訓(xùn)練，對(duì)用于訓(xùn)練的輸入歷史軌跡和未來軌跡進(jìn)行歸一化操作。以輸入軌跡為例，歸一化輸入序列的計(jì)算方法為(8)：

其中是序列中的最小矢量，是序列中的最大矢量。