廣告
基于結(jié)構(gòu)化的Informer模型的自動駕駛軌跡預(yù)測
忽略常數(shù)項，查詢向量的稀疏度測量定義為：
其中第一項是除以所有值的對數(shù)和，第二項是它們的算術(shù)平均值。如果得到一個更大的掩模矩陣，它就有一個更離散的自注意力分布，這意味著它更有可能包含主點積對。為了進(jìn)一步簡化稀疏度度量的計算，可以簡化式(36)。對于，當(dāng)時，下列不等式成立。參考文獻(xiàn)[28]中給出了更詳細(xì)的推導(dǎo)。
因此，更簡化的掩模矩陣的稀疏度測量計算為：
掩模矩陣用來過濾掉更有意義的。所選的個數(shù)設(shè)為，其中為調(diào)整因子。根據(jù)每個對應(yīng)的掩模矩陣，將其編號為，從高到低依次選擇。通過此操作，可以將查詢向量重新采樣到。因此，在計算自注意力時，計算點積的內(nèi)存使用量從變?yōu)?，這對于降低長序列時間序列預(yù)測問題的計算復(fù)雜度有重要意義。在多頭視角下，每個頭部都會生成不同的稀疏查詢鍵對，因此多頭ProbSparse自注意函數(shù)可由下式求得：
此外，根據(jù)預(yù)測器，輸出序列在第次已知，而序列不太可能在實際預(yù)測之后的第次得到。為了反映這一特性，在訓(xùn)練過程中應(yīng)該部分掩蓋對解碼器的真實序列。因此，在解碼器的自注意力計算中加入了掩蔽機(jī)制，以覆蓋部分點積注意力。對于解碼器，只需將式(39)和(40)重寫為：
其中為采樣后的掩模矩陣。，其中:
這個上三角矩陣可以掩蓋未來節(jié)點對當(dāng)前節(jié)點的影響。由于在ProbSparse自注意機(jī)制中對查詢向量進(jìn)行了重采樣，因此對掩模矩陣也需要進(jìn)行相應(yīng)的操作。因為是從推導(dǎo)出來的，所以根據(jù)在中的分布，從中抽樣得到 。
圖 8 數(shù)據(jù)收集時的高速公路鳥瞰圖
D.訓(xùn)練模型
為了獲得目標(biāo)車輛更好的預(yù)測精度，選擇均方根誤差(RMSE)作為解碼器輸出，的損失函數(shù):
其中，為輸出序列的維數(shù)，為真值序列。在每個時間步長計算損失，通過反向傳播算法更新所有全連接層和注意力層的權(quán)重，以最小化損失。
廣告 編輯推薦
最新資訊
-
開年豪擲1.8億搶用戶，又一車企加入“價格
2026-03-04 16:05
-
聯(lián)合國法規(guī)R60對兩輪車操縱件與指示裝置的
2026-03-04 12:08
-
標(biāo)準(zhǔn)立項|《汽車異種材料鉚接接頭拉伸性能
2026-03-04 11:40
-
“汽車大角度座椅 第1部分：通用要求”將有
2026-03-04 11:39
-
“汽車大角度座椅 第2部分：可靠性要求”將
2026-03-04 11:39
