a)空間嵌入結(jié)構(gòu); b)空間編碼結(jié)果 

圖 5 時(shí)間嵌入特征 

如圖5a所示，在笛卡爾坐標(biāo)中以TV為原點(diǎn)，以原點(diǎn)為起點(diǎn)指向各個(gè)SV (AV)， SV (AV)相對于TV的位置用矢量表示。在每個(gè)時(shí)刻，所有車輛都需要以以下方式在空間上嵌入

其中為嵌入的空間特征向量。表示SV (AV)標(biāo)簽，取的值；為各SV在車輛結(jié)構(gòu)中的標(biāo)準(zhǔn)位置，其水平坐標(biāo)和垂直坐標(biāo)、垂直坐標(biāo)設(shè)計(jì)為、、、，、，。對于每一時(shí)刻，所有車輛的通過連接在一起。

是在單個(gè)時(shí)間步長對所有車輛的空間特征進(jìn)行拼接向量，然后將該向量沿時(shí)間方向平鋪，得到最終的空間特征矩陣。圖5b為空間特征矩陣的處理過程。將圖像的水平方向劃分為5個(gè)不同的區(qū)域，代表5輛車坐標(biāo)的嵌入結(jié)果。垂直方向上的數(shù)據(jù)分布是將拼接向量沿時(shí)間方向平鋪的結(jié)果。 

3)Informer-Encoder：該網(wǎng)絡(luò)中的編碼器接收經(jīng)過車輛狀態(tài)關(guān)注層和嵌入層的車輛歷史軌跡序列。通過分析輸入序列中節(jié)點(diǎn)之間的相互關(guān)系，編碼器可以提取特征并生成特征映射.如圖3所示，特征映射通過層層從下往上計(jì)算：

其中，所有為前饋層(全連接層)的權(quán)值；為前饋層的激活函數(shù)；下面分別介紹、、、和。 

式(16)顯示了嵌入層的計(jì)算過程，其中輸入序列的時(shí)空嵌入特征通過加法組合到序列中。為了匹配兩個(gè)嵌入特征的維數(shù)范圍，在輸入序列上加入一個(gè)全連通層，將其維數(shù)擴(kuò)展到與嵌入特征相同。因此，融合序列保留了原始序列的信息，同時(shí)也強(qiáng)調(diào)了其時(shí)空特征，促進(jìn)了網(wǎng)絡(luò)識別和利用輸入序列節(jié)點(diǎn)之間關(guān)聯(lián)的能力。 

式(17)表示結(jié)構(gòu)多頭ProbSparse自注意層，包括ProbSparse自注意機(jī)制、殘差連接、層歸一化 [31]。是結(jié)構(gòu)化Informer中的多頭ProbSparse自關(guān)注塊，它不僅在時(shí)間和空間上模擬了輸入序列的交互特征，而且與LSTF中的正則Transformer相比，降低了計(jì)算復(fù)雜度。由于ProbSparse自關(guān)注機(jī)制只計(jì)算輸入序列中節(jié)點(diǎn)之間的連接，而不涉及與ground truth序列的關(guān)系，因此稱為“自關(guān)注”。關(guān)于模塊結(jié)構(gòu)的進(jìn)一步細(xì)節(jié)見II-C節(jié)。殘差連接是連接“輸入”和“輸出”的加性連接，改善了梯度分散問題，使網(wǎng)絡(luò)收斂速度更快[32]。對分層網(wǎng)絡(luò)的輸出進(jìn)行層歸一化，以提高網(wǎng)絡(luò)的泛化性能。 

式(18)為前饋層，與規(guī)范變壓器相同。它使用激活函數(shù)進(jìn)行兩次線性投影，然后進(jìn)行殘差連接和層歸一化。前饋層用于改善模型的非線性。 

編解碼器的層堆疊導(dǎo)致內(nèi)存占用高達(dá)[29]，在LSTF中占用了大量的空間。為了解決這個(gè)問題，結(jié)構(gòu)化Informer模型采用了簡單(19)所描述的注意力蒸餾操作。如圖6所示，在時(shí)間維度(核寬= 3)上進(jìn)行一維卷積，并伴有激活函數(shù)[33]。表示步幅為2的最大池化層，在堆疊一層編碼器后，對進(jìn)行下采樣操作至其長度的一半，如圖3中的金字塔所示。這種下采樣操作將整體空間復(fù)雜度降低到，其中是一個(gè)很小的常數(shù)。由于多頭ProbSparse自關(guān)注層計(jì)算出的特征映射存在冗余，因此在不改變整體特征分布的情況下，蒸餾操作可以提取出優(yōu)勢特征并在下一層生成重點(diǎn)特征映射。這種方法最終實(shí)現(xiàn)了高效的內(nèi)存使用。

圖 6 注意蒸餾過程 

式(20)和式(21)是式(17)和式(18)的網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)制，通過對網(wǎng)絡(luò)層的不斷提煉和疊加，可以使網(wǎng)絡(luò)更深，處理更復(fù)雜的問題。在本文中，在編碼器層之外已經(jīng)充分提取了輸入序列的特征，因此無需在編碼器中構(gòu)建多層。如圖3所示，編碼器只堆疊了兩層。

4)Informer-Decoder：本文框架中的decoder以目標(biāo)序列作為輸入，將目標(biāo)序列作為ground truth，并作為生成預(yù)測軌跡的參考。為了方便動態(tài)解碼，使用了一個(gè)起始標(biāo)記，這在自然語言處理中被證明是有效的[34]。但是，我們沒有使用專用標(biāo)志作為開始標(biāo)記，而是選擇輸入序列的切片部分作為標(biāo)記。具體來說，基于5s的歷史軌跡來預(yù)測5s的未來軌跡，我們將已知的3s到5s的軌跡作為標(biāo)記，與5s的目標(biāo)軌跡一起饋送給解碼器：

其中是歷史軌跡的最后3秒作為標(biāo)記，是目標(biāo)軌跡?；诖虞斎?，Inform -decoder可以通過一步過程預(yù)測輸出軌跡，而不是在常規(guī)Transformer中耗時(shí)的動態(tài)解碼過程。確定輸入后，對解碼器進(jìn)行如下處理：

其中所有都是前饋層(全連接層)的權(quán)值。編碼器和解碼器中的前饋層具有相似的結(jié)構(gòu)。除了簡式(24)中的ProbSparse自注意塊外，解碼器還具有多頭注意塊(即簡式(25)中的)，其輸入部分來自編碼器中的特征映射，部分來自ProbSparse自注意塊。通過對地面真實(shí)軌跡與特征映射之間的關(guān)系進(jìn)行建模，多頭關(guān)注層提高了預(yù)測軌跡的精度。第II-C節(jié)有更詳細(xì)的介紹。注意蒸餾操作僅在多頭注意層之后執(zhí)行(即，簡式(27))。像編碼器堆棧一樣，簡式(28)到(30)是前一層的復(fù)制和堆疊。最后，通過簡式(31)中的全連通塊生成預(yù)測軌跡。

C.注意層

Transformer構(gòu)建了以注意力為核心的整個(gè)編解碼模型，解決了長序列問題，完全摒棄了RNNs。這個(gè)特性也被結(jié)構(gòu)化的Informer繼承了。首先，結(jié)構(gòu)化的Informer模型下的解碼器的多頭注意機(jī)制mha(·)延續(xù)了Transformer中的多頭注意機(jī)制。但是，與Transformer中的自注意機(jī)制不同，structural Informer中編碼器和解碼器的ProbSparse自注意機(jī)制通過突出輸入序列的重要特征來簡化了注意的計(jì)算過程，從而在不影響LSTF預(yù)測精度的情況下提高了計(jì)算效率。下面將分別討論這兩種機(jī)制。

1)多頭注意層：與規(guī)范Transformer一樣，結(jié)構(gòu)Informer中多頭注意層的輸入首先通過線性投影線性變換為查詢向量、鍵向量和值向量。通過給分配權(quán)重來計(jì)算輸出，分配的權(quán)重通過與對應(yīng)的相互作用得到，加權(quán)后的描述了輸入序列中每個(gè)節(jié)點(diǎn)之間的關(guān)注程度。這種注意力計(jì)算也被稱為尺度點(diǎn)積注意力[29]。因此，多頭注意層使用函數(shù)：

其中由線性投影得到；, , ；是的輸入矩陣；是線性投影的可訓(xùn)練權(quán)值；下標(biāo)表示第個(gè)注意頭。注意需要以不同的線性投影權(quán)值計(jì)算次，通常稱為多頭注意。這些注意通過連接起來。注意，這種傳統(tǒng)的多頭注意機(jī)制僅用于計(jì)算編碼器-解碼器交互特征，如圖7所示。來自解碼器的輸入序列用于計(jì)算，而來自編碼器的特征映射用于計(jì)算和，從而產(chǎn)生包含編碼器和解碼器特征的多頭關(guān)注值。

圖 7 多頭注意力計(jì)算過程 

2)多頭ProbSparse自關(guān)注層：ProbSparse自關(guān)注機(jī)制只計(jì)算編碼器和解碼器自身輸入序列節(jié)點(diǎn)之間的連接。以編碼器為例，假設(shè) ，，其中是的長度，是的長度，是向量的維數(shù)，。在傳統(tǒng)的自注意計(jì)算過程中，，需要進(jìn)行點(diǎn)積計(jì)算，如簡式(32)所示，這需要LSTF中的內(nèi)存消耗。為了改善這一缺點(diǎn)，本文采用了多頭ProbSparse自關(guān)注層。首先，在簡式(32)中，的輸出可以被視為具有、的概率分布，并且簡式(31)被重寫為