arXiv上傳于2022年5月27日論文“Semi-supervised Semantics-guided Adversarial Training for Trajectory Prediction“，作者是美國(guó)西北大學(xué)和加州爾灣分校。

對(duì)軌跡預(yù)測(cè)的對(duì)抗性攻擊，即在歷史軌跡中引入小的人為干擾，可能會(huì)嚴(yán)重誤導(dǎo)未來軌跡的預(yù)測(cè)，導(dǎo)致不安全的規(guī)劃。然而，很少有工作涉及增強(qiáng)重要安全-緊要任務(wù)的魯棒性。

本文提出軌跡預(yù)測(cè)的對(duì)抗訓(xùn)練方法。與典型的對(duì)抗圖像任務(wù)訓(xùn)練相比，這個(gè)工作面臨著一些挑戰(zhàn)，如更多具有豐富上下文的隨機(jī)輸入和類別標(biāo)簽的缺少等。為了應(yīng)對(duì)這些挑戰(zhàn)，提出一種基于半監(jiān)督對(duì)抗自動(dòng)編碼器（autoencoder）的方法，利用領(lǐng)域知識(shí)對(duì)分離的語(yǔ)義特征進(jìn)行建模，并為對(duì)抗訓(xùn)練提供附加的潛標(biāo)簽。

對(duì)不同類型的攻擊進(jìn)行大量實(shí)驗(yàn)表明，半監(jiān)督語(yǔ)義引導(dǎo)的對(duì)抗訓(xùn)練方法可以有效地減輕對(duì)抗攻擊的影響，并普遍提高系統(tǒng)對(duì)各種攻擊（包括未見過的）的對(duì)抗性魯棒性。

自動(dòng)駕駛系統(tǒng)通常由感知、定位、預(yù)測(cè)、規(guī)劃（路線、行為、軌跡和運(yùn)動(dòng)規(guī)劃）和控制等幾個(gè)模塊組成。感知模塊根據(jù)傳感器輸入（例如圖像和3D點(diǎn)云）檢測(cè)智體和障礙物。預(yù)測(cè)模塊是根據(jù)感知模塊和地圖環(huán)境中觀察的歷史軌跡預(yù)測(cè)周圍車輛的未來軌跡。

很少有研究對(duì)車輛軌跡預(yù)測(cè)的魯棒性進(jìn)行研究，這實(shí)際上至關(guān)重要，因?yàn)?1）自動(dòng)駕駛本質(zhì)上是一項(xiàng)安全-緊要任務(wù)，2）最近的工作表明，如果周圍車輛沿著看似自然但精心設(shè)計(jì)的軌跡行駛，預(yù)測(cè)模塊容易受到對(duì)抗攻擊，3）當(dāng)前的預(yù)測(cè)模型往往對(duì)數(shù)據(jù)集有限的模式過擬合，但駕駛場(chǎng)景和行為存在長(zhǎng)尾分布。

如圖所示：目標(biāo)車輛可能在規(guī)劃模塊中進(jìn)行不安全的緊急制動(dòng)，因?yàn)槠溴e(cuò)誤地預(yù)測(cè)不良車輛將切入其車道；精心設(shè)計(jì)的輸入軌跡有可能故意誤導(dǎo)目標(biāo)車輛錯(cuò)誤預(yù)測(cè)，并導(dǎo)致危險(xiǎn)的規(guī)劃決策。

為了防御車輛軌跡預(yù)測(cè)的對(duì)抗攻擊，存在著與圖像和音頻不同的重要挑戰(zhàn)。

• 首先，車輛軌跡預(yù)測(cè)是一個(gè)具有豐富上下文的時(shí)間序列回歸，而現(xiàn)有大多數(shù)的對(duì)抗性攻擊和相應(yīng)的防御方法都是針對(duì)分類任務(wù)。其攻擊模式更加隨機(jī)，并且沒有定義良好的類標(biāo)簽，這意味著魯棒的模型很難訓(xùn)練和泛化。

• 其次，車輛軌跡可以傳遞語(yǔ)義或行為信息。例如，人們可以根據(jù)車輛軌跡推斷車輛行為，例如前行或變道。

最近研究表明，在同時(shí)白盒和黑盒設(shè)置中，自動(dòng)駕駛的軌跡預(yù)測(cè)可以被周圍車輛的對(duì)抗行為所愚弄，其中對(duì)抗行為分別通過PGD（Projected Gradient Decent）或PSO（Particle Swarm Optimization）進(jìn)行優(yōu)化。對(duì)航點(diǎn)的最大偏差加上硬約束，使對(duì)抗軌跡在物理上可行而不是表現(xiàn)為不切實(shí)際的行為。

與圖像分類不同，軌跡預(yù)測(cè)沒有類別標(biāo)簽，但它在上下文中具有方向信息，例如前移、轉(zhuǎn)彎或右換道。因此，攻擊者除了可以進(jìn)行隨機(jī)攻擊外，還可以進(jìn)行有方向性的攻擊。

如圖所示：三種類型的對(duì)抗性攻擊，會(huì)導(dǎo)致重大的方向性錯(cuò)誤；第一行是用于預(yù)測(cè)的敵對(duì)（紅線）和良性（藍(lán)線）輸入歷史軌跡，看起來與人眼非常相似；第二行是相應(yīng)被攻擊的未來軌跡預(yù)測(cè)（紅虛線）和良性情況下的真實(shí)軌跡（綠虛線）。左圖（a）是隨機(jī)導(dǎo)致最大平均偏差的ADE攻擊；中圖（b）是橫向攻擊，主要導(dǎo)致車輛向左或向右偏離；右圖（c）是主要導(dǎo)致縱向偏差的縱向攻擊。

方向錯(cuò)誤度量定義為

其中α表示時(shí)間幀ID，n表示目標(biāo)車輛ID。p和s分別表示預(yù)測(cè)和真實(shí)車輛位置的二維向量。R是生成特定方向（橫向或縱向）單位向量的函數(shù)。縱方近似為由真值頭兩個(gè)航點(diǎn)定義的向量。

除了方向性攻擊外，還設(shè)計(jì)了一種隨機(jī)攻擊最大化平均位移誤差（ADE），即預(yù)測(cè)軌跡和真實(shí)軌跡航點(diǎn)之間的均方根誤差的平均值。

如表1的定量顯示，任何攻擊類型都可能嚴(yán)重偏離預(yù)測(cè)軌跡。因此，攻擊者可以進(jìn)行隨機(jī)攻擊或方向性攻擊，這對(duì)防御方法，尤其是泛化性能提出了很大挑戰(zhàn)。

對(duì)抗性訓(xùn)練被證明是提高DNN模型魯棒性的最有效方法之一。實(shí)踐中PGD攻擊通常用于評(píng)估，因?yàn)樗诎缀凶釉O(shè)置中具有強(qiáng)大的攻擊能力。然而，最近研究表明，特定類型的對(duì)抗性攻擊不足以表征對(duì)抗性示例的空間，對(duì)抗訓(xùn)練的模型僅對(duì)特定的攻擊具有魯棒性。這確實(shí)限制了對(duì)抗訓(xùn)練在實(shí)踐中的應(yīng)用，尤其是長(zhǎng)尾分布的軌跡回歸任務(wù)。

對(duì)抗自動(dòng)編碼器（AAE）是變分自動(dòng)編碼器（VAE）的一種變型，是一個(gè)采用隨機(jī)梯度下降（SGD）聯(lián)合學(xué)習(xí)深度潛變量模型和相應(yīng)推理模型的原則性方法。VAE模型，首先使用KL散度對(duì)高斯分布潛變量的輸入進(jìn)行正則化，然后從潛空間重構(gòu)輸出結(jié)果。

AAE利用對(duì)抗學(xué)習(xí)而不是KL散度，對(duì)潛向量施加各種分布。由于對(duì)抗學(xué)習(xí)的靈活性，A在潛空間施加復(fù)雜分布這一點(diǎn)，AAE優(yōu)于VAE。研究表明，解糾纏的潛表征，會(huì)生成VAE，在對(duì)抗攻擊中更魯棒。

基于AAE架構(gòu)，作者引入領(lǐng)域知識(shí)，促進(jìn)良性情況和對(duì)抗情況下語(yǔ)義信息的建模。該模型以半監(jiān)督方式學(xué)習(xí)方向性語(yǔ)義潛向量，因?yàn)檎嬷祪H適用于有限的場(chǎng)景，但其分布可以從領(lǐng)域知識(shí)和統(tǒng)計(jì)數(shù)據(jù)中得出。因此，潛空間建模包括兩個(gè)層次：無監(jiān)督分布建模和有標(biāo)簽時(shí)的半監(jiān)督學(xué)習(xí)。

該模型架構(gòu)如圖所示：特征提取器利用一維膨脹（dilated）卷積神經(jīng)網(wǎng)絡(luò)獲取時(shí)間序列軌跡嵌入，并用圖神經(jīng)網(wǎng)絡(luò)（GNN）來建模車道線上下文和目標(biāo)之間的交互。編碼器采用分布正則化和半監(jiān)督訓(xùn)練將高維特征映射到語(yǔ)義引導(dǎo)的潛空間。具體而言，潛空間分為三部分：縱向特征z-lon，遵循一維對(duì)數(shù)正態(tài)分布；橫向特征z-lat，遵循三維類別分布；剩下其他特征，遵循高斯分布。最后，解碼器將語(yǔ)義向量以及其他解糾纏的潛向量映射到未來軌跡。AAE代替?zhèn)鹘y(tǒng)VAE架構(gòu)，可模擬這些不同且復(fù)雜的分布。

在攻擊場(chǎng)景中，攻擊的影響將被分解為不同的潛向量，攻擊模式將通過語(yǔ)義特征顯式建模。以橫向向量為例，如果攻擊不是針對(duì)橫向維度，編碼器將攻擊結(jié)果分解為其他向量，橫向的映射將保持穩(wěn)定。否則，如果攻擊導(dǎo)致橫向向量的錯(cuò)誤，則特征提取器和編碼器將在方向標(biāo)簽進(jìn)行對(duì)抗訓(xùn)練，并更新潛分布到最終軌跡的對(duì)應(yīng)映射。

在軌跡預(yù)測(cè)任務(wù)中，為了建模高級(jí)語(yǔ)義信息，很自然地將軌跡分解為兩個(gè)維度——縱向和橫向。通過代表性的度量和先驗(yàn)分布，期望利用領(lǐng)域知識(shí)指導(dǎo)建模。

縱向通常用速度和加速度來模擬車輛的動(dòng)態(tài)，但總在變化，并且不包含足夠的語(yǔ)義信息。在模型中，用時(shí)間推進(jìn)（time headway）來有效地提取縱向特征，該特征測(cè)量?jī)蓚€(gè)連續(xù)車輛在通過給定點(diǎn)的時(shí)間差。時(shí)間推進(jìn)代表了某個(gè)智體相對(duì)穩(wěn)定的行為模式，并考慮與其他車輛的交互。

該模型將時(shí)間推進(jìn)表示為潛空間的一維向量。在良性情況和對(duì)抗情況下，編碼器都通過正則化損失函數(shù)做訓(xùn)練，強(qiáng)制縱向特征達(dá)到統(tǒng)計(jì)中時(shí)間推進(jìn)所遵循的特定分布。

縱向特征遵循的分布定義為

當(dāng)被攻擊目標(biāo)和前方車輛之間存在可觀測(cè)的交互時(shí)，可以明確地獲得半監(jiān)督訓(xùn)練的真實(shí)時(shí)間推進(jìn)值。將半監(jiān)督縱向特征編碼視為一個(gè)回歸問題，并通過最小化均方誤差對(duì)其進(jìn)行優(yōu)化。

對(duì)于橫向特征，用三個(gè)簡(jiǎn)單但有效的類別來表示：前進(jìn)、左轉(zhuǎn)/換道和右轉(zhuǎn)/換道。這三個(gè)意圖本質(zhì)上是離散的，用類別分布對(duì)它們進(jìn)行建模。在對(duì)抗訓(xùn)練過程中，只有在足夠長(zhǎng)時(shí)間內(nèi)具有明確意圖的車輛才會(huì)被標(biāo)記，訓(xùn)練中用交叉熵來優(yōu)化該分類任務(wù)。

對(duì)于所有語(yǔ)義和高斯?jié)撟兞浚缦聦?duì)抗性生成損失被正則化為目標(biāo)分布。鑒別器的訓(xùn)練，最大化真潛樣本的對(duì)數(shù)概率s和假潛樣本的逆概率對(duì)數(shù)，公式為

對(duì)每個(gè)示例，僅為目標(biāo)車輛，采用PGD攻擊方法生成對(duì)抗軌跡，并保留周圍其他車輛的原始軌跡，從而限制對(duì)抗攻擊對(duì)整個(gè)場(chǎng)景的影響。如果攻擊的預(yù)測(cè)與真值之間的誤差大于閾值，攻擊算是成功，對(duì)該樣本進(jìn)行對(duì)抗訓(xùn)練。

由于擾動(dòng)很小，將真實(shí)的未來軌跡作為對(duì)抗訓(xùn)練的真值yi，并以L1平滑損失優(yōu)化整個(gè)流水線

這是一個(gè)普遍但有點(diǎn)幼稚的對(duì)抗訓(xùn)練過程。在該體系結(jié)構(gòu)中，進(jìn)一步利用語(yǔ)義特征及其相應(yīng)的標(biāo)簽來促進(jìn)對(duì)抗性訓(xùn)練。對(duì)編碼器進(jìn)行優(yōu)化，最小化縱向特征的均方誤差和潛空間真值-預(yù)測(cè)橫向特征的交叉熵。半監(jiān)督損失函數(shù)如下所示：

此外，由于橫向預(yù)測(cè)可以看作是一個(gè)分類問題，并且具有明確的行為含義，因此進(jìn)一步利用橫向語(yǔ)義向量調(diào)整對(duì)抗性訓(xùn)練過程。

當(dāng)對(duì)抗性示例導(dǎo)致橫向行為分類錯(cuò)誤時(shí)，對(duì)抗性訓(xùn)練半監(jiān)督損失的權(quán)重設(shè)置更高。這樣，模型將首先保證高級(jí)語(yǔ)義預(yù)測(cè)的正確性，調(diào)整回歸誤差，從而避免顯著的對(duì)抗性偏差，提高泛化性能。

整個(gè)對(duì)抗學(xué)習(xí)算法的偽代碼如下：

初步實(shí)驗(yàn)發(fā)現(xiàn)標(biāo)準(zhǔn)準(zhǔn)確性和對(duì)抗性穩(wěn)健性之間的一個(gè)權(quán)衡。首先嘗試魯棒的自訓(xùn)練和數(shù)據(jù)增強(qiáng)：添加一個(gè)額外的解碼器，和帶高斯噪聲的真實(shí)輸入相同的潛向量生成更多的輸入，來增強(qiáng)數(shù)據(jù)。

然而，數(shù)據(jù)驅(qū)動(dòng)增強(qiáng)引入了額外的誤差，甚至可能會(huì)損害標(biāo)準(zhǔn)精度。部分原因是，在預(yù)測(cè)任務(wù)中，增強(qiáng)的輸入需要非常精確地匹配未來軌跡（真值）和上下文，而分類任務(wù)更能容忍增強(qiáng)數(shù)據(jù)。因此，在對(duì)抗訓(xùn)練過程中進(jìn)一步利用MixUp技術(shù)，混合對(duì)抗場(chǎng)景和良性場(chǎng)景，從而在軌跡預(yù)測(cè)的對(duì)抗魯棒性和準(zhǔn)確性之間平衡。

實(shí)驗(yàn)結(jié)果如下：

選擇在LaneGCN模型進(jìn)行對(duì)抗性訓(xùn)練作為比較基準(zhǔn)。在此設(shè)置下，所有模型共享相同的特征提取器，然后結(jié)果主要反映對(duì)抗性訓(xùn)練造成的差異。

如圖顯示，軌跡預(yù)測(cè)任務(wù)的對(duì)抗性訓(xùn)練可以顯著減少不同類型攻擊下的錯(cuò)誤。半監(jiān)督語(yǔ)義引導(dǎo)（SSAT）方法將進(jìn)一步增強(qiáng)對(duì)各種攻擊的魯棒性，與LaneGCN的簡(jiǎn)單對(duì)抗性訓(xùn)練相比，錯(cuò)誤減少多達(dá)45%。