本文利用Transformer模型演變而來的Informer模型來預(yù)測TV的運動軌跡。如圖3所示的Informer架構(gòu)是基于編碼器-解碼器框架[28][29]。編碼器-解碼器結(jié)構(gòu)分為兩部分:編碼器層和解碼器層。前者接收所有車輛的歷史軌跡來分析它們之間的相互作用，包括每個車輛的軌跡點之間的相互作用。然后編碼器將這些輸入信息轉(zhuǎn)換成特征圖，該特征圖表示編碼器對輸入歷史軌跡的理解和細(xì)化。后一部分接收車輛未來的真實軌跡，這被認(rèn)為是地面實況。解碼器建立特征圖與地面實況之間的聯(lián)系，最終生成未來軌跡。此外，我們在編碼器的最外層設(shè)計了車輛狀態(tài)關(guān)注層(vehicle-state-attention layer)，用于感知車輛狀態(tài)變化。車輛狀態(tài)注意層的輸出之后是嵌入層，這一層也被解碼器所采用。嵌入層的作用是在時間和空間上嵌入輸入的車輛軌跡序列。這些組件將在后面的章節(jié)中進(jìn)行詳細(xì)闡述。

圖 3 Informer架構(gòu) 

圖3中：左邊是編碼器，右邊是解碼器。所有歷史軌跡在經(jīng)過車輛-狀態(tài)-注意層后被輸入編碼器。編碼器通過嵌入層向輸入軌跡添加時間和空間特征。嵌入層的輸出連接到兩個多頭ProbSparse自關(guān)注層和前饋層，生成到解碼器的特征映射。解碼器與編碼器類似地處理地面真實軌跡，但解碼器具有多頭注意層，用于分析來自編碼器的特征映射與地面真實之間的聯(lián)系。最后，由解碼器生成預(yù)測軌跡。 

1）Informer-Vehicle-State-Attention:考慮到歷史軌跡中縱向和橫向狀態(tài)的變化會對未來的軌跡產(chǎn)生不同的影響，本文設(shè)計并放置了車輛-狀態(tài)-注意機(jī)制在Informer-encoder網(wǎng)絡(luò)的第一層。其任務(wù)是在每個時刻為車輛輸入狀態(tài)的每個部分分配不同的注意力。例如，當(dāng)TV想要變道時，車輛-注意力機(jī)制會將更多的注意力分配給側(cè)向狀態(tài)，從而使下一個Informer特征提取操作將更多地考慮車輛的側(cè)向運動。注意層是根據(jù)下面的等式來計算的

其中為車輛-狀態(tài)-注意力層權(quán)重，函數(shù)用作激活函數(shù)，將其輸出歸一化，所有元素都在0到1之間，并求和為1; 是關(guān)注權(quán)重矩陣，表示對車輛狀態(tài)的不同關(guān)注值;  表示矩陣對應(yīng)元素的乘法，為注意力分配后的初始?xì)v史軌跡。通過觀察車輛-狀態(tài)-注意力層，可以得到網(wǎng)絡(luò)對輸入狀態(tài)各部分的注意力，這有助于理解網(wǎng)絡(luò)更關(guān)注哪個物理特征。在一定程度上，它解釋了預(yù)測軌跡與輸入歷史軌跡之間的連接特征。

2）Informer-Embedding:基于RNN的預(yù)測模型可以通過依次計算時間序列的每個節(jié)點來分析節(jié)點之間的時間關(guān)聯(lián)，與之相反，基于transformer的Informer對輸入時間序列的每個節(jié)點進(jìn)行并行處理，因此無法識別節(jié)點之間的順序來分析序列的時間關(guān)聯(lián)[29]。因此，在本文中，編碼器的歷史軌跡和解碼器的目標(biāo)軌跡被嵌入到一組時間特征中，并融合到輸入序列中。 

輸入軌跡已經(jīng)被分配了車輛注意力，它包含了5s的歷史軌跡信息。由于數(shù)據(jù)集的采樣時間為0.1s，因此輸入軌跡有50個時間序列節(jié)點。正弦和余弦使用函數(shù)嵌入50個節(jié)點，如下所示:

式中為嵌入的時間特征矩陣。表示時間序列位置，取，，的值；表示時間特征向量的維數(shù)；是時間特征向量維數(shù)，取，，的值。為常數(shù)，為保證每個節(jié)點的時間特征向量唯一，其值應(yīng)遠(yuǎn)大于，取10000，如[29]所示。時間嵌入過程的結(jié)果如圖4所示。在此過程中，正弦和余弦函數(shù)交替使用，隨著時間特征向量的維階數(shù)逐漸增加，函數(shù)周期變化的影響逐漸減小，從而為時間序列的每個節(jié)點產(chǎn)生不同的紋理特征，目的是便于網(wǎng)絡(luò)學(xué)習(xí)時間序列節(jié)點之間的依賴關(guān)系。

圖 4 時間嵌入特征