摘要：

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于自動(dòng)駕駛車(chē)輛等自主系統(tǒng)中。最近，DNNtesting被深入研究以自動(dòng)生成通用示例，該示例在極端情況下將小幅度擾動(dòng)注入輸入以測(cè)試DNN。雖然現(xiàn)有的測(cè)試技術(shù)被證明是有效的，特別是對(duì)于自動(dòng)駕駛來(lái)說(shuō)，但它們主要專(zhuān)注于產(chǎn)生數(shù)字?jǐn)硨?duì)擾動(dòng)，例如改變圖像像素，這在現(xiàn)實(shí)世界中可能永遠(yuǎn)不會(huì)發(fā)生。因此，在關(guān)于自動(dòng)駕駛測(cè)試的文獻(xiàn)中有一個(gè)關(guān)鍵的缺失部分:理解和利用數(shù)字和物理的逆向擾動(dòng)生成來(lái)影響轉(zhuǎn)向決策。本文針對(duì)一種較為常見(jiàn)和實(shí)際的駕駛場(chǎng)景:路過(guò)廣告牌，提出了一種系統(tǒng)化的物理世界測(cè)試方法，即DeepBillboard。Deep-Billboard能夠生成一個(gè)健壯且有彈性的可印刷廣告廣告牌測(cè)試，該測(cè)試可以在動(dòng)態(tài)變化的駕駛條件下工作，包括視角、距離和照明。目標(biāo)是通過(guò)我們生成的敵對(duì)廣告牌，最大化自動(dòng)駕駛車(chē)輛駕駛的轉(zhuǎn)向角錯(cuò)誤的可能性、程度和持續(xù)時(shí)間。我們通過(guò)進(jìn)行數(shù)字?jǐn)_動(dòng)實(shí)驗(yàn)和物理世界案例研究，廣泛評(píng)估了DeepBillboard的效率和健壯性。數(shù)字試驗(yàn)的結(jié)果表明DeepBillboard對(duì)各種轉(zhuǎn)向模型和場(chǎng)景都很有效。此外，物理案例研究表明，DeepBillboard具有足夠的魯棒性，可以在各種天氣條件下為真實(shí)世界的駕駛生成物理世界的敵對(duì)廣告牌測(cè)試，能夠誤導(dǎo)平均轉(zhuǎn)向角誤差高達(dá)26.44度。據(jù)我們所知，這是第一項(xiàng)證明為實(shí)際的自動(dòng)駕駛系統(tǒng)生成現(xiàn)實(shí)和連續(xù)的物理世界測(cè)試的可能性的研究；此外，深廣告牌可以直接推廣到沿著路邊的各種其他物理實(shí)體/表面，例如，在墻上畫(huà)的涂鴉。

1.介紹

深度神經(jīng)網(wǎng)絡(luò)(DNNs)由于其在認(rèn)知計(jì)算任務(wù)中最先進(jìn)的、甚至可以與人類(lèi)競(jìng)爭(zhēng)的精度而被廣泛應(yīng)用于許多自主系統(tǒng)中。其中一個(gè)領(lǐng)域是自主駕駛，DNNs用于將車(chē)載攝像頭的原始像素映射到轉(zhuǎn)向控制決策[6，23]。最近的端到端學(xué)習(xí)框架使得dnn甚至有可能從有限的人類(lèi)駕駛數(shù)據(jù)集學(xué)習(xí)自我駕駛[4]。

不幸的是，采用dnn作為控制管道一部分的系統(tǒng)的可靠性和正確性還沒(méi)有得到正式的保證。在實(shí)踐中，這類(lèi)系統(tǒng)通常會(huì)以意想不到或不正確的方式表現(xiàn)不良，特別是在某些特殊情況下，由于各種原因，如DNN模型過(guò)擬合/過(guò)擬合、訓(xùn)練數(shù)據(jù)有偏見(jiàn)或不正確的運(yùn)行時(shí)參數(shù)?？紤]到自動(dòng)駕駛的安全性，這種不當(dāng)行為可能會(huì)造成嚴(yán)重的后果。最近的一個(gè)悲劇例子是，一輛Uber自動(dòng)駕駛汽車(chē)撞死了一名亞利桑那州的行人，因?yàn)樽詣?dòng)駕駛系統(tǒng)做出了一個(gè)錯(cuò)誤的控制決定-"當(dāng)受害者在晚上過(guò)馬路時(shí)，它不需要馬上做出反應(yīng)"。

更糟糕的是，最近的DNN測(cè)試研究表明，DNN對(duì)帶有擾動(dòng)的有意對(duì)抗輸入相當(dāng)脆弱[5,15,22,27,32]。這種對(duì)抗性輸入可以通過(guò)在原始輸入中添加惡意擾動(dòng)來(lái)進(jìn)行數(shù)字化處理，從而導(dǎo)致目標(biāo)DNN輸出錯(cuò)誤的控制決策。最近的許多DNN測(cè)試工作都在研究對(duì)抗性輸入的根本原因以及如何系統(tǒng)地生成此類(lèi)輸入[5,9,18,19,29,30,33,39]。雖然這些工作提出了各種測(cè)試技術(shù)，被證明是有效的，特別是對(duì)自動(dòng)駕駛，他們主要關(guān)注產(chǎn)生數(shù)字對(duì)抗性擾動(dòng)，這可能永遠(yuǎn)不會(huì)發(fā)生在物理世界。唯一的例外是最近的一組工作[9,30]，他們?cè)诖蛴◆敯粑锢頂_動(dòng)方面邁出了第一步，這些擾動(dòng)會(huì)導(dǎo)致靜態(tài)物理對(duì)象的錯(cuò)誤分類(lèi)(例如，[2]中的打印輸出，[30]中的人臉，[9]中的停止符號(hào))。我們的工作旨在通過(guò)在現(xiàn)實(shí)的、連續(xù)的駕駛過(guò)程中提高測(cè)試的有效性，進(jìn)一步增強(qiáng)自動(dòng)駕駛的物理世界測(cè)試。專(zhuān)注于在任何錯(cuò)誤分類(lèi)的物理對(duì)象的任何單個(gè)快照上產(chǎn)生對(duì)抗性擾動(dòng)不太可能在實(shí)踐中起作用，因?yàn)槿魏维F(xiàn)實(shí)世界的駕駛場(chǎng)景都可能遇到駕駛條件(例如。(視角/距離)，這與靜態(tài)單快照視圖中的數(shù)據(jù)有很大的不同。

在本文中，我們提出了一種系統(tǒng)的物理世界測(cè)試方法，即DeepBillboard，針對(duì)一種非常常見(jiàn)和實(shí)用的連續(xù)駕駛場(chǎng)景：自動(dòng)駕駛車(chē)輛通過(guò)路邊廣告牌駕駛。DeepBillboard有助于系統(tǒng)地生成對(duì)抗性示例，以在任意一條數(shù)字物理信道的路邊廣告牌上添加擾動(dòng)時(shí)誤導(dǎo)轉(zhuǎn)向角。請(qǐng)注意，除了路邊的廣告牌外，基本概念還可以直接推廣到各種其他物理實(shí)體/表面，例如墻上的涂鴉；在這項(xiàng)工作中，出于幾個(gè)實(shí)際考慮，我們選擇路邊廣告牌作為目標(biāo)物理駕駛場(chǎng)景：1）到處都可以租用廣告牌做廣告。租用廣告牌的攻擊者可以自定義其大小和內(nèi)容，如圖1所示。2）廣告牌通常被認(rèn)為與交通安全無(wú)關(guān)或無(wú)害，并且沒(méi)有嚴(yán)格的規(guī)則來(lái)規(guī)范廣告牌的外觀；3）廣告牌通常很大，足以讓司機(jī)看清，因此行車(chē)記錄儀可以拍攝不同距離、視角和光線條件；4）攻擊者可以容易地構(gòu)建物理世界廣告牌，以影響無(wú)人駕駛車(chē)輛的轉(zhuǎn)向決策，而不會(huì)被其他人注意到，例如，實(shí)際的核心敵對(duì)繪畫(huà)只能是整個(gè)廣告牌的一部分，而廣告牌的其他部分看起來(lái)仍然正常，例如，一些底部文本欄顯示“本周六美術(shù)館”。

DeepBillboard的目標(biāo)是在車(chē)載攝像頭捕捉到的每一幀圖像上生成一個(gè)單獨(dú)的敵對(duì)廣告牌圖像，該圖像可能會(huì)在廣告牌行駛過(guò)程中誤導(dǎo)自動(dòng)車(chē)輛的轉(zhuǎn)向角度。為了產(chǎn)生有效的擾動(dòng)，一個(gè)主要的挑戰(zhàn)是覆蓋一組展示不同條件的圖像幀，包括到廣告牌的距離、視角和照明。簡(jiǎn)單地應(yīng)用現(xiàn)有的數(shù)據(jù)測(cè)試技術(shù)[29，33，39]來(lái)生成任何特定幀的數(shù)字?jǐn)_動(dòng)在這種情況下顯然是行不通的，因?yàn)樘摂M駕駛場(chǎng)景可能不會(huì)導(dǎo)致任何具有相同或相似條件的幀(例如，插入天空黑洞，如最近獲獎(jiǎng)的DeepXplore工作[29]中所做的)。此外，單個(gè)幀擾動(dòng)的有效性可能是無(wú)效的，因?yàn)橐粋€(gè)幀上的錯(cuò)誤引導(dǎo)可能被下一個(gè)幀快速糾正。

為了解決這一關(guān)鍵挑戰(zhàn)，我們開(kāi)發(fā)了一種魯棒且可靠的聯(lián)合優(yōu)化算法，該算法可以生成可打印的廣告牌圖像，該圖像在整個(gè)駕駛過(guò)程中可能會(huì)在dashcam捕獲的每一幀上誤導(dǎo)轉(zhuǎn)向角度。為了最大化對(duì)抗效果，我們開(kāi)發(fā)了各種技術(shù)來(lái)最小化幀間干擾，并設(shè)計(jì)了考慮所有幀的算法來(lái)達(dá)到全局最優(yōu)。此外，通過(guò)輸入記錄具有不同駕駛模式(例如，駕駛速度和路線)的路邊廣告牌的駕駛過(guò)程的視頻，我們的算法可以很容易地調(diào)整為生成可打印的廣告圖像，該圖像在考慮各種物理世界約束(例如，由于打印機(jī)硬件約束而變化的環(huán)境條件和像素可打印性)時(shí)是魯棒的和有彈性的。

考慮這種真實(shí)世界的駕駛場(chǎng)景并開(kāi)發(fā)相應(yīng)的數(shù)字和物理對(duì)抗測(cè)試生成方法，在測(cè)試效率方面產(chǎn)生明顯的優(yōu)勢(shì):由于對(duì)抗廣告牌，任何駕駛車(chē)輛被誤導(dǎo)的轉(zhuǎn)向決策的可能性、程度和持續(xù)時(shí)間可以可靠地增加。我們的主要貢獻(xiàn)總結(jié)如下：

• 我們提出了一個(gè)新的角度來(lái)測(cè)試物理世界中的自動(dòng)駕駛系統(tǒng)，它可以很容易地部署。

• 我們引入了一種穩(wěn)健的聯(lián)合優(yōu)化方法，系統(tǒng)地生成對(duì)抗性擾動(dòng)，這些擾動(dòng)可以在路邊廣告牌上進(jìn)行修補(bǔ)，無(wú)論是數(shù)字還是物理上，都會(huì)嚴(yán)重誤導(dǎo)具有不同駕駛模式的廣告牌自動(dòng)駕駛車(chē)輛的轉(zhuǎn)向決策。

• 我們提出了新的評(píng)估指標(biāo)和方法，以測(cè)量數(shù)字和物理領(lǐng)域中轉(zhuǎn)向模型擾動(dòng)的測(cè)試有效性。

• 我們通過(guò)對(duì)數(shù)字?jǐn)_動(dòng)和物理案例研究進(jìn)行大量實(shí)驗(yàn)，證明了DeepBill-board的穩(wěn)健性和有效性。數(shù)字實(shí)驗(yàn)結(jié)果表明，DeepBill-board對(duì)各種轉(zhuǎn)向模型和場(chǎng)景來(lái)說(shuō)是有效的，能夠在各種情況下誤導(dǎo)平均轉(zhuǎn)向角高達(dá)41.93度。物理案例研究進(jìn)一步證明，DeepBill-board足夠穩(wěn)健和有彈性，能夠在各種天氣條件下為真實(shí)世界的駕駛生成物理世界對(duì)抗性廣告牌測(cè)試，能夠錯(cuò)誤引導(dǎo)平均轉(zhuǎn)向角誤差從4.86度到26.44度。據(jù)我們所知，這是首次研究為實(shí)際自主駕駛場(chǎng)景生成真實(shí)且連續(xù)的物理世界測(cè)試的可能性。

2.背景和相關(guān)工作

自動(dòng)駕駛中的DNN。自動(dòng)駕駛系統(tǒng)通過(guò)多個(gè)傳感器（如攝像頭、雷達(dá)、激光雷達(dá)）收集周?chē)沫h(huán)境數(shù)據(jù)作為輸入，用DNN和輸出控制決策（如轉(zhuǎn)向）處理這些數(shù)據(jù)。本文主要關(guān)注NVIDIA Dave[4]中采用的帶有攝像頭輸入和轉(zhuǎn)向角輸出的轉(zhuǎn)向角組件。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在分析視覺(jué)圖像方面非常有效，是用于轉(zhuǎn)向角決策的最廣泛的DNN。與常規(guī)神經(jīng)網(wǎng)絡(luò)類(lèi)似，CNN由多層組成，以前饋的方式通過(guò)層傳遞信息。在所有層中，卷積層是CNN中的一個(gè)關(guān)鍵組件，它與前一層輸出的核進(jìn)行卷積，并將特征映射發(fā)送給后續(xù)層。與另一種廣泛使用的DNN架構(gòu)-回流神經(jīng)網(wǎng)絡(luò)（RNN）不同，它是一種具有反饋連接的神經(jīng)網(wǎng)絡(luò)，基于CNN的轉(zhuǎn)向模型僅根據(jù)當(dāng)前捕獲的圖像做出轉(zhuǎn)向決策。在本文中，我們重點(diǎn)關(guān)注CNN轉(zhuǎn)向模型的測(cè)試，并將RNN測(cè)試作為未來(lái)的工作。盡管如此，我們注意到DeepBill-Board可以進(jìn)行調(diào)整以應(yīng)用于RNN測(cè)試。直觀地說(shuō)，這可以通過(guò)根據(jù)RNN的具體特性修改梯度計(jì)算方法來(lái)實(shí)現(xiàn)。

Digital Adversarial Examples.最近的研究表明，深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器可以通過(guò)對(duì)抗性示例進(jìn)行測(cè)試和進(jìn)一步欺騙[5,15,20,22,27,32]。這種測(cè)試可以在黑盒[25,26]和白盒[5,15,22,27,32]設(shè)置中進(jìn)行。Goodfellow等人提出了快速梯度法，該方法應(yīng)用損失函數(shù)的一階近似來(lái)構(gòu)造對(duì)抗樣本[14]。還提出了基于優(yōu)化的方法來(lái)為目標(biāo)攻擊創(chuàng)建對(duì)抗干擾[5,16]。同時(shí)，最近的DeepTest[33]和DeepRoad[39]技術(shù)通過(guò)簡(jiǎn)單的仿射/濾波變換或生成對(duì)手網(wǎng)絡(luò)（GAN）來(lái)轉(zhuǎn)換原始圖像以生成對(duì)手圖像[13]?？偟膩?lái)說(shuō)，這些方法有助于理解數(shù)字對(duì)抗示例，生成的對(duì)抗示例可能在現(xiàn)實(shí)中根本不存在（例如，DeepTest[33]和DeepRoad[39]生成的雨天駕駛場(chǎng)/景仍然遠(yuǎn)離真實(shí)世界場(chǎng)景）。相比之下，我們的工作考察了動(dòng)態(tài)條件下真實(shí)物體（廣告牌）的物理擾動(dòng)，如距離和視角的變化。

Physical Adversarial Examples.Kurakin等人表明，對(duì)抗性的例子，當(dāng)由智能手機(jī)攝像頭拍攝時(shí)，仍然可以導(dǎo)致錯(cuò)誤分類(lèi)[15] 。Athalye等人引入了一種攻擊算法，以生成對(duì)一組合成變換魯棒的物理對(duì)抗示例[3]。他們進(jìn)一步制作了擾動(dòng)物體的3D打印副本[3]。上述工作與我們的工作的主要區(qū)別包括：（1）先前工作在優(yōu)化過(guò)程中只使用一組合成變換，可能會(huì)忽略細(xì)微的物理效果；而我們的工作可以從合成變換和各種現(xiàn)實(shí)世界物理?xiàng)l件中取樣。（2） 我們的工作修改了真實(shí)大小的物體；（3）我們的工作目標(biāo)是測(cè)試現(xiàn)實(shí)和持續(xù)駕駛場(chǎng)景。

Sharif等人提出了基于DNN的人臉識(shí)別系統(tǒng)的躲避和模仿攻擊，方法是在眼鏡架上打印敵意攻擊[30]。他們的研究表明，在相對(duì)穩(wěn)定的身體條件下，在姿勢(shì)、與相機(jī)的距離/角度以及光線變化不大的情況下，成功地進(jìn)行了身體攻擊。這有助于對(duì)穩(wěn)定環(huán)境中物理樣本的有趣理解。然而，一般來(lái)說(shuō)，環(huán)境條件可能變化很大，有助于降低擾動(dòng)的有效性。因此，我們選擇了汽車(chē)廣告牌分類(lèi)的固有無(wú)約束環(huán)境。在我們的工作中，我們明確地設(shè)計(jì)了擾動(dòng)，使其在各種連續(xù)的物理世界條件下（特別是大距離/角度和分辨率變化）有效。

Lu等人針對(duì)檢測(cè)器對(duì)路標(biāo)圖像進(jìn)行了物理對(duì)抗性測(cè)試，結(jié)果表明當(dāng)前檢測(cè)器可能受到攻擊[17]。最近的幾項(xiàng)工作以數(shù)字方式展示了對(duì)抗檢測(cè)/分割算法的對(duì)抗性示例[8,21,38]。攻擊自動(dòng)駕駛系統(tǒng)的最新工作是Eykholtand Evtimov等人開(kāi)展的工作。他們表明，可以為路標(biāo)分類(lèi)器構(gòu)建物理魯棒攻擊[9]，并且此類(lèi)攻擊可以進(jìn)一步擴(kuò)展到攻擊YOLO檢測(cè)器[10]。我們的工作與此類(lèi)工作不同，因?yàn)橐韵率聦?shí)：（1）我們通過(guò)在路邊廣告牌上構(gòu)建可打印的擾動(dòng)來(lái)攻擊轉(zhuǎn)向模型，這些擾動(dòng)可以在任何地方，并且比路標(biāo)具有更大的影響；（2） 我們提出的算法考慮了由行車(chē)記錄儀捕獲的一系列連續(xù)幀，這些幀的距離和視角逐漸變化，并尋求最大化通過(guò)我們的對(duì)手路邊廣告牌駕駛的自主車(chē)輛的轉(zhuǎn)向角度的可能性和誤導(dǎo)程度；（3）提出了一種新的聯(lián)合優(yōu)化算法，以有效地生成數(shù)字和物理攻擊。

3.生成對(duì)抗模式

3.1對(duì)抗場(chǎng)景

DeepBillboard的目標(biāo)是誤導(dǎo)自動(dòng)車(chē)輛的轉(zhuǎn)向角，通過(guò)在路邊的廣告牌上繪制對(duì)抗性擾動(dòng)，從車(chē)道中心偏離軌跡。我們的目標(biāo)DNN是基于CNN的轉(zhuǎn)向模型[4,12,31,35,36]，不涉及檢測(cè)/分割算法。轉(zhuǎn)向模型將行車(chē)記錄儀拍攝的圖像作為輸入，并輸出轉(zhuǎn)向角度決定。

我們使用偏離跟蹤距離來(lái)測(cè)量測(cè)試有效性（即轉(zhuǎn)向誤導(dǎo)的強(qiáng)度），這已應(yīng)用于Nvidia的Dave[4]系統(tǒng)，以觸發(fā)人為干預(yù)。車(chē)輛速度為v m/s，使用DNN參考的決策頻率為i(s秒)，地面真實(shí)轉(zhuǎn)向角為α，誤導(dǎo)轉(zhuǎn)向角為a′，偏移跟蹤距離以v·i·sin（α′?α)來(lái)計(jì)算. 在潛在的物理世界攻擊中，測(cè)試儀/跟蹤儀通常無(wú)法控制車(chē)輛速度。因此，我們使用轉(zhuǎn)向角誤差，即地面真實(shí)和誤導(dǎo)轉(zhuǎn)向之間的轉(zhuǎn)向角發(fā)散，來(lái)衡量測(cè)試效果。

我們考慮的是實(shí)際的駕駛情景，而不是僅僅以單一、固定的姿態(tài)和視角誤導(dǎo)駕駛決策。具體而言，當(dāng)車(chē)輛駛向廣告牌時(shí)，我們會(huì)試圖生成一個(gè)物理對(duì)抗性廣告牌，它可能會(huì)誤導(dǎo)從不同距離和角度觀看的一系列行車(chē)記錄儀捕獲幀的轉(zhuǎn)向決策。捕獲幀的數(shù)量明顯取決于行車(chē)記錄儀的FPS和車(chē)輛從起始位置行駛到實(shí)際通過(guò)廣告牌的時(shí)間?？紤]到這樣一個(gè)真實(shí)的動(dòng)態(tài)駕駛場(chǎng)景，在攻擊強(qiáng)度方面具有明顯的優(yōu)勢(shì)：由于對(duì)抗性廣告牌，任何車(chē)輛駕駛的誤導(dǎo)性轉(zhuǎn)向決策的可能性和程度都會(huì)大大增加。我們強(qiáng)調(diào)，這一考慮也從根本上區(qū)分了DeepBillboard的算法設(shè)計(jì)與應(yīng)用更簡(jiǎn)單的策略，如隨機(jī)搜索、平均值/最大值池、不同的順序等。應(yīng)用這些更簡(jiǎn)單的方法將改善單幀的誤導(dǎo)角度，但降低總體目標(biāo)。經(jīng)過(guò)幾次迭代，這些方法很難改善目標(biāo)。

3.2評(píng)估指標(biāo)

我們的評(píng)估指標(biāo)旨在反映攻擊強(qiáng)度的可能性。車(chē)輛可能以不同的速度和角度經(jīng)過(guò)我們的對(duì)手廣告牌，這可能會(huì)影響相機(jī)拍攝的圖像幀數(shù)和不同幀之間的廣告牌布局。假設(shè)?X={x0，x1，x2，…，xn}表示一組詳盡的圖像幀，這些幀可能由具有任何駕駛模式（例如駕駛速度和速度）的車(chē)輛捕獲，那么由任何車(chē)輛捕獲的幀顯然是子集X??X。我們的目標(biāo)是生成可以影響（幾乎）?X中每一幀的物理可打印廣告牌，以便與潛在的現(xiàn)實(shí)世界駕駛場(chǎng)景相對(duì)應(yīng)的任何子集X都有最大的受影響機(jī)會(huì)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們定義了兩個(gè)評(píng)估指標(biāo)M0，M1，如下所示。

M0 測(cè)量?X中幀的平均角度誤差（AAE）：

其中f（·）表示目標(biāo)轉(zhuǎn)向模型的預(yù)測(cè)結(jié)果，x′表示擾動(dòng)幀。此指標(biāo)度量對(duì)幀超集的平均攻擊強(qiáng)度。較大的M0值意味著在通過(guò)廣告牌駕駛過(guò)程中誤導(dǎo)轉(zhuǎn)向角的可能性更大，誤差也更大。

M1測(cè)量X中角度誤差超過(guò)預(yù)定義閾值的幀的百分比，用τ表示。τ可以根據(jù)實(shí)際駕駛行為進(jìn)行計(jì)算。M1的正式定義由如下公式給出：

例如，如果我們想在0.2秒的時(shí)間間隔內(nèi)以1米的離軌距離誤導(dǎo)40英里/小時(shí)的自動(dòng)駕駛車(chē)輛，那么τ可以計(jì)算為16.24。我們主要采用M1作為物理世界案例研究的評(píng)估指標(biāo)，因?yàn)镸1可以根據(jù)實(shí)踐中的安全標(biāo)準(zhǔn)，在給定任何合理的預(yù)定義閾值的情況下，清楚地反映導(dǎo)致不可接受的轉(zhuǎn)向決策（例如，可能導(dǎo)致事故的決策）的幀數(shù)。

3.3挑戰(zhàn)

對(duì)物體的物理攻擊應(yīng)該能夠在不斷變化的條件下工作，并且能夠有效愚弄分類(lèi)器。我們使用目標(biāo)公告牌分類(lèi)來(lái)構(gòu)建這些條件的討論。這些條件的一個(gè)子集也可以應(yīng)用于其他類(lèi)型的物理學(xué)習(xí)系統(tǒng)，如無(wú)人機(jī)和機(jī)器人。

1.Spatial Constraints（空間約束）。現(xiàn)有的對(duì)抗性算法主要側(cè)重于干擾數(shù)字圖像，并將對(duì)抗性干擾添加到圖像的所有部分，包括背景圖像（例如天空）。然而，對(duì)于一個(gè)實(shí)體廣告牌，攻擊者不能操縱除了廣告牌區(qū)域之外的背景圖像。此外，攻擊者不能假設(shè)存在一個(gè)固定的背景圖像，因?yàn)樗鼤?huì)隨著經(jīng)過(guò)車(chē)輛的行車(chē)記錄儀的距離和視角而變化。

2.Physical Limits on Imperceptibility（不可感知的物理極限）。現(xiàn)有的對(duì)抗性學(xué)習(xí)算法的一個(gè)吸引人的特點(diǎn)是，它們對(duì)數(shù)字圖像的擾動(dòng)往往在量級(jí)上很小，以致于偶然的觀察者幾乎察覺(jué)不到這些擾動(dòng)。然而，當(dāng)將這種最小的擾動(dòng)傳輸?shù)秸鎸?shí)世界的物理圖像時(shí)，我們必須確保相機(jī)能夠感知這些擾動(dòng)。因此，擾動(dòng)不可測(cè)性存在物理約束，這也依賴(lài)于傳感硬件。

3.Environmental Conditions（環(huán)境條件）。在自動(dòng)駕駛汽車(chē)上，攝像頭相對(duì)于廣告牌的距離和角度可能會(huì)不斷變化。被輸入分類(lèi)器的捕獲幀是在不同的距離和觀看角度拍攝的。因此，攻擊者在廣告牌上添加的任何干擾都必須能夠在這種動(dòng)態(tài)下生存。其他影響環(huán)境的因素包括光照/天氣條件的變化，以及相機(jī)或廣告牌上的碎片的存在。

4.Fabrication Error（制造錯(cuò)誤）。要實(shí)際打印出包含所有構(gòu)造擾動(dòng)的圖像，所有擾動(dòng)值必須是可以在現(xiàn)實(shí)世界中打印的有效顏色。此外，即使制造設(shè)備（如打印機(jī)）可以產(chǎn)生某些顏色，也可能存在某些像素不匹配錯(cuò)誤。

5.Context Sensitivity（上下文敏感度）。考慮到上下文，?X中的每一幀都必須受到干擾，以最大化整體攻擊強(qiáng)度（例如，最大化M0）。每個(gè)被擾亂的幀可以被映射到具有一定視角和距離的可打印的對(duì)抗性圖像上。每個(gè)獨(dú)立幀都有自己的最佳擾動(dòng)。然而，我們需要考慮所有幀的上下文，以生成一個(gè)可打印的、全局最優(yōu)的、所有幀的對(duì)抗圖像。

為了對(duì)深度學(xué)習(xí)分類(lèi)器進(jìn)行物理攻擊，攻擊者應(yīng)該考慮到上述物理世界的限制，否則有效性可能會(huì)顯著減弱。

3.4DeepBillboard的設(shè)計(jì)

我們?cè)O(shè)計(jì)了DeepBillboard，它可以生成一個(gè)可打印的圖像，可以粘貼在路邊廣告牌上，方法是分析給定的視頻，其中車(chē)輛通過(guò)不同駕駛模式的路邊廣告牌行駛，從而不斷誤導(dǎo)任何自動(dòng)駕駛車(chē)輛的轉(zhuǎn)向角決策。Deep Billboards用于為給定視頻的每個(gè)幀fi生成擾動(dòng)，而不考慮幀上下文和其他物理?xiàng)l件。然后我們描述如何更新算法來(lái)解決前面提到的物理世界的挑戰(zhàn)。最后我們?cè)敿?xì)描述了DeepBillboard的算法偽代碼。我們注意到，實(shí)際上不可能構(gòu)建圖像幀的詳盡集合(即X)，可能是由具有任何駕駛模式(例如，駕駛速度和路線)的路過(guò)車(chē)輛捕獲的。盡管如此，由于更大的?X，處理更多的駕駛視頻將明顯增強(qiáng)DeepBillboard的測(cè)試效率，但代價(jià)是時(shí)間復(fù)雜性增加。

單幀對(duì)抗性示例生成搜索要添加到輸入x的擾動(dòng)σ，以便目標(biāo)DNN轉(zhuǎn)向模型f（·）可以預(yù)測(cè)擾動(dòng)input x′=x+δ，如下所示。

其中，H是一個(gè)選定的距離函數(shù)，Ax是地面真實(shí)轉(zhuǎn)向角。通常，在我們的評(píng)估中，地面真實(shí)轉(zhuǎn)向角是不應(yīng)用對(duì)抗廣告牌的原始預(yù)測(cè)轉(zhuǎn)向角，根據(jù)我們的定義為f(x)。為了解決上述約束優(yōu)化問(wèn)題，我們將其重新表述為拉格朗日松弛形式，類(lèi)似于之前的工作[9,30]:

其中L為損失函數(shù)，用于測(cè)量模型預(yù)測(cè)值與地面真實(shí)值A(chǔ)x之間的差異。本文的攻擊場(chǎng)景可以看作是一種以不被正確推斷為目的的推理躲避。

Joint Loss Optimization（聯(lián)合優(yōu)化損失）。如前所述，我們的目標(biāo)是生成一個(gè)單一的對(duì)抗圖像，可能會(huì)誤導(dǎo)自動(dòng)駕駛汽車(chē)的轉(zhuǎn)向角度，在每一幀行車(chē)時(shí)，儀表盤(pán)攝像頭可能捕捉到的廣告牌。當(dāng)從不同的角度和距離觀看時(shí)，對(duì)抗性廣告牌的外觀可能會(huì)有所不同。因此，為了達(dá)到目標(biāo)，我們需要生成一個(gè)可打印的對(duì)抗性擾動(dòng)，它可以誤導(dǎo)駕車(chē)過(guò)程中捕獲的每一幀圖像。這顯然是一個(gè)超越單幅圖像的優(yōu)化問(wèn)題。由于廣告牌上的一處改動(dòng)會(huì)影響到所有的框架，因此有必要將所有的框架放在一起考慮。為此，問(wèn)題變成為圖像集X中的每一張圖像x找到一個(gè)單一的擾動(dòng)?，從而對(duì)公式3進(jìn)行優(yōu)化。我們將這種擾動(dòng)生成形式化為下面的優(yōu)化問(wèn)題。

其中，pi是可打印的擾動(dòng)?在每個(gè)單獨(dú)幀中的投影函數(shù)。

Handling Overlapped Perturbations（處理重疊干擾）。每一幀都可能產(chǎn)生一組擾動(dòng)，這些擾動(dòng)由多個(gè)像素組成，這些像素將在最終可打印敵方圖像上更新。多幀的擾動(dòng)可能會(huì)遇到重疊像素，這可能會(huì)在這些幀之間產(chǎn)生干擾。為了最大限度地提高攻擊強(qiáng)度，DeepBillboard僅按順序?yàn)槊總€(gè)幀更新固定數(shù)量的k個(gè)像素，以盡量減少多個(gè)幀之間的重疊干擾。這k個(gè)像素是對(duì)誤導(dǎo)決策影響最大的像素。我們假設(shè)覆蓋攝像頭捕捉到的n個(gè)幀的最終敵對(duì)廣告牌圖像由m個(gè)像素組成。k是滿足n * k < m的值，這有助于減少幀間擾動(dòng)重疊的總體機(jī)會(huì)。對(duì)于每個(gè)重疊像素，我們通過(guò)貪婪地選擇一個(gè)最大化客觀度量的值(例如M0)來(lái)更新它。

Enhancing Perturbation Printability（增強(qiáng)擾動(dòng)可打印性）。為了使擾動(dòng)在物理世界中工作，每個(gè)擾動(dòng)像素都需要是現(xiàn)有打印機(jī)硬件的可打印值。設(shè) P?[0,1]^3是可打印的RGB三元組集合。我們定義像素的非打印性評(píng)分(NPS)來(lái)反映該像素與任意像素之間的最大距離。NPS值越大，就意味著準(zhǔn)確打印出相應(yīng)像素的機(jī)會(huì)越小。我們將像素的NPS定義為:

我們將擾動(dòng)的NPS定義為該擾動(dòng)中所有像素的NPS值之和。

Adjust Color Difference under Various Environment Conditions（在各種環(huán)境條件下調(diào)整色差）。對(duì)于不同的環(huán)境條件，屬于廣告牌圖像的同一像素的可見(jiàn)顏色在行車(chē)記錄儀捕獲的視頻中可能看起來(lái)不同。這種差異可能會(huì)影響不同條件下的對(duì)抗效能。在我們的物理世界實(shí)驗(yàn)中，我們用單色p={r，g，b}來(lái)預(yù)填充整個(gè)廣告牌。在特定的環(huán)境條件下，相機(jī)顯示的實(shí)際顏色可能會(huì)變?yōu)閜′={r′，g′，b′}?；谖覀兊某醪綄?shí)驗(yàn)，我們觀察到同一圖像中像素的這種色差幾乎相同。為了簡(jiǎn)化這個(gè)問(wèn)題，我們?yōu)槊總€(gè)圖像引入了一個(gè)顏色調(diào)整函數(shù)ADJi=di（p，p′）來(lái)調(diào)整色差。

Algorithm overview（算法概述）。DeepBillboard生成對(duì)抗廣告牌圖像的過(guò)程如圖2所示。為了生成對(duì)手廣告板圖像，我們首先用單色預(yù)填充廣告牌，并用對(duì)比色繪制其四個(gè)角，以便（1）數(shù)字定位廣告牌的坐標(biāo)，（2）獲得顏色調(diào)整功能ADJi。然后，我們使用儀表盤(pán)攝像頭錄制視頻，以不同的駕駛行為（例如，不同的駕駛速度和駕駛模式）沿路開(kāi)車(chē)經(jīng)過(guò)廣告牌。然后，我們將預(yù)先錄制的視頻發(fā)送到我們的算法輸入，以生成可打印的對(duì)手廣告牌圖像。如前所述，輸入更多的駕駛視頻將明顯增強(qiáng)DeepBillboard的測(cè)試效率，但代價(jià)是增加了時(shí)間復(fù)雜性。

我們的對(duì)抗算法的偽代碼在Alg1中進(jìn)行了說(shuō)明。我們的算法本質(zhì)上是基于迭代的。在每次迭代中，我們首先根據(jù)反映每個(gè)像素對(duì)最終目標(biāo)影響的梯度，獲得一批隨機(jī)選擇的圖像的擾動(dòng)建議。然后，我們只貪婪地應(yīng)用那些可能導(dǎo)致更好的對(duì)抗性效果的擬議擾動(dòng)。我們應(yīng)用足夠多的迭代次數(shù)來(lái)最大化轉(zhuǎn)向角分歧和擾動(dòng)的穩(wěn)健性。

如Alg1開(kāi)始時(shí)所見(jiàn)。1、輸入包括：預(yù)錄視頻中的幀列表、每個(gè)幀中廣告牌四角的坐標(biāo)列表、增強(qiáng)迭代次數(shù)、批量大小、顏色調(diào)整因子列表和目標(biāo)數(shù)字?jǐn)_動(dòng)的維度。如Alg1所示，擾動(dòng)是由RGB像素值組成的先驗(yàn)擾動(dòng)矩陣（第2行）。我們使用COLOR_INIT函數(shù)以一個(gè)單色c∈ {0|255}^3預(yù)填充可打印擾動(dòng)矩陣。基于我們廣泛的數(shù)字和物理實(shí)驗(yàn)，使用單色預(yù)填充矩陣可以得到更好的結(jié)果和更快的收斂速度。根據(jù)我們的實(shí)驗(yàn)，對(duì)于我們的測(cè)試目的來(lái)說(shuō)，金色、藍(lán)色和綠色是最有效的單色。pert_data是一個(gè)矩陣列表，它存儲(chǔ)了一批圖像的建議擾動(dòng)(第2行)。第5到22行通過(guò)增強(qiáng)迭代循環(huán)，目的是最大化對(duì)抗有效性和擾動(dòng)魯棒性。在第6行，我們隨機(jī)打亂捕獲幀的處理順序。目的是避免在早期視頻幀中快速收斂到非最優(yōu)點(diǎn)(類(lèi)似于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練)。從第7行開(kāi)始，我們循環(huán)處理所有分割成批次的圖像。對(duì)于每個(gè)圖像批，我們?cè)谘h(huán)處理批內(nèi)的每個(gè)圖像之前（第10行）初始化并清除pert_data（第8-9行）。

對(duì)于批次中的每個(gè)圖像x，我們計(jì)算其梯度，即目標(biāo)函數(shù)對(duì)輸入圖像的偏導(dǎo)數(shù)[14]（第11行）。通過(guò)迭代改變梯度上升，目標(biāo)函數(shù)可以很容易地最大化。我們注意到，我們可以通過(guò)選擇坡度的正值或負(fù)值，故意誤導(dǎo)目標(biāo)轉(zhuǎn)向模型向左或向右轉(zhuǎn)向，坡度由DIRECTION值-1,1控制（第11行）。然后我們對(duì)梯度應(yīng)用域約束(第12行)，以確保我們只更新屬于廣告牌對(duì)應(yīng)區(qū)域的像素，并且梯度上升后的像素值在一定范圍內(nèi)(例如，0到255)。在實(shí)施過(guò)程中，如前所述，我們引入了一個(gè)參數(shù)k，只應(yīng)用對(duì)對(duì)抗效果影響最大的頂梯度值。這是為了減少所有圖像之間的重疊擾動(dòng)。與JSMA[28]中使用的顯著性地圖不同，它代表了當(dāng)前圖像中X被歸入目標(biāo)類(lèi)別的信心分?jǐn)?shù)，我們考慮了對(duì)這個(gè)場(chǎng)景中所有圖像的聯(lián)合目標(biāo)函數(shù)的影響，尋求最大化與地面真實(shí)的平均轉(zhuǎn)向角差異。在約束適用的梯度之后，我們將每個(gè)圖像的梯度值投影到批處理圖像的擬議擾動(dòng)（第13行）。ADJ（即環(huán)境因素調(diào)整的輸入列表）用于糾正不同照明條件下的色差。例如，如果純黃色（255,255,0）變?yōu)椋?00,200,0），則ADJ設(shè)置為（55,55,0）。當(dāng)投影到物理廣告牌上時(shí)，梯度值應(yīng)增加（55,55,0）。

在批處理中的所有圖像都得到梯度后，它們之間可能存在重疊的擾動(dòng)。也就是說(shuō)，對(duì)于對(duì)應(yīng)于重疊擾動(dòng)的每個(gè)像素，它可能具有最終可打印對(duì)抗示例的多個(gè)建議更新值。為了處理這種重疊（第14行），我們實(shí)現(xiàn)了三種方法：

（1）用提出的擾動(dòng)中的最大梯度值更新重疊像素；

（2）用所有梯度值的總和更新重疊像素，

（3）用對(duì)目標(biāo)函數(shù)整體影響最大的建議值之一更新重疊像素。

然后在第15行，我們通過(guò)將梯度添加到當(dāng)前物理擾動(dòng)擾動(dòng)來(lái)計(jì)算建議的更新的tmpt_pert。在顏色校正和不可打印的分?jǐn)?shù)控制（第16行）之后，根據(jù)坐標(biāo)（第17行）將物理廣告牌的擬議擾動(dòng)投影到圖像中。我們計(jì)算擾動(dòng)圖像的總轉(zhuǎn)向角差（第18行）。如果提議的擾動(dòng)可以改善目標(biāo)，或滿足模擬退火以避免SA指示的局部最優(yōu)（第19行）[37]，我們接受提議的擾動(dòng)（第20行），并用這些擾動(dòng)更新所有圖像（第21行）。然后記錄當(dāng)前迭代的總轉(zhuǎn)向角發(fā)散，并將其用作下一迭代的起點(diǎn)。當(dāng)所有增強(qiáng)操作完成時(shí)，我們返回物理擾動(dòng)作為結(jié)果輸出。我們注意到，雖然我們的主要目標(biāo)是產(chǎn)生物理擾動(dòng)，但輸出也可以直接拼接到數(shù)字圖像。

4評(píng)估

在本節(jié)中，我們?cè)u(píng)估了DeepBillboard對(duì)各種轉(zhuǎn)向模型和道路場(chǎng)景的數(shù)字和物理效果。

4.1實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集和轉(zhuǎn)向模型。我們使用四個(gè)預(yù)先訓(xùn)練的大眾CNN作為目標(biāo)轉(zhuǎn)向模型，這些模型已廣泛用于自動(dòng)駕駛測(cè)試[18,29,33,39]。具體來(lái)說(shuō)，我們測(cè)試了基于英偉達(dá)DAVE自動(dòng)駕駛汽車(chē)架構(gòu)的三個(gè)模型，分別為Dave_V1[24]、Dave_V2[12]、Dave_V3[31]，以及來(lái)自Udacity挑戰(zhàn)賽[34]的Epoch模型[35]。（轉(zhuǎn)向模型來(lái)源）

具體來(lái)說(shuō)，Dave_V1是NVIDIA的Dave系統(tǒng)[4]中呈現(xiàn)的原始CNN架構(gòu)。Dave_V2[12]是Dave_V1的變體，它將隨機(jī)初始化的網(wǎng)絡(luò)權(quán)重標(biāo)準(zhǔn)化，并移除第一批標(biāo)準(zhǔn)化層。Dave_V3[31]是另一個(gè)公開(kāi)可用的轉(zhuǎn)向模型，它通過(guò)刪除兩個(gè)卷積層和一個(gè)完全連接層，并在三個(gè)完全連接的層之間插入兩個(gè)丟失層，來(lái)修改原始Dave模型。由于預(yù)先訓(xùn)練的Epoch權(quán)重不公開(kāi)，我們按照相應(yīng)作者使用Udacity自動(dòng)駕駛挑戰(zhàn)數(shù)據(jù)集提供的說(shuō)明進(jìn)行訓(xùn)練[34]。

（數(shù)據(jù)集）

我們實(shí)驗(yàn)中使用的數(shù)據(jù)集包括：

（1）Udacity自動(dòng)駕駛汽車(chē)挑戰(zhàn)數(shù)據(jù)集[34]，其中包含101396張由安裝在儀表板上的駕駛汽車(chē)攝像頭拍攝的訓(xùn)練圖像，以及駕駛員對(duì)每張圖像同時(shí)應(yīng)用的方向盤(pán)角度；

（2） Dave測(cè)試數(shù)據(jù)集[7]，其中包含GitHub用戶記錄的45568張圖像，用于測(cè)試NVIDIA Davemodel；

（3）Kitti[11]數(shù)據(jù)集，包含配備四臺(tái)攝像機(jī)的大眾帕薩特旅行車(chē)拍攝的六個(gè)不同場(chǎng)景的14999張圖像。

用于我們實(shí)際案例研究的數(shù)據(jù)集包括安裝在駕駛汽車(chē)擋風(fēng)玻璃后面的行車(chē)記錄儀記錄的視頻，用于駕駛校園內(nèi)預(yù)先放置的路邊廣告牌。我們使用上述預(yù)先訓(xùn)練的轉(zhuǎn)向模型來(lái)預(yù)測(cè)每一幀，并使用最終的轉(zhuǎn)向角決定作為基本事實(shí)。（具體的現(xiàn)實(shí)實(shí)驗(yàn)操作）

4.2

實(shí)驗(yàn)設(shè)計(jì)。根據(jù)在第3.2節(jié)中的討論，我們通過(guò)測(cè)量場(chǎng)景中所有幀的平均角度誤差（數(shù)字和物理）來(lái)評(píng)估算法的效率。對(duì)于數(shù)字測(cè)試，我們的場(chǎng)景選擇標(biāo)準(zhǔn)是，布告牌應(yīng)完全出現(xiàn)在第一幀中，像素超過(guò)400像素（因?yàn)樵谖锢硎澜缰写蛴『蛻?yīng)用時(shí)，包含低于400像素的布告牌太小，對(duì)對(duì)抗目的而言意義不大）。然后，我們從上述數(shù)據(jù)集中隨機(jī)選擇七個(gè)滿足此標(biāo)準(zhǔn)的場(chǎng)景，并對(duì)所有選定場(chǎng)景進(jìn)行評(píng)估。每個(gè)數(shù)據(jù)集中選定的場(chǎng)景涵蓋直車(chē)道和彎車(chē)道場(chǎng)景。由于所有這些數(shù)據(jù)集都不包含廣告牌的坐標(biāo)，因此我們必須在選定場(chǎng)景的每個(gè)幀中標(biāo)記廣告牌的四個(gè)角。在半自動(dòng)標(biāo)記過(guò)程中，我們使用Adobe After Effects[1]的運(yùn)動(dòng)跟蹤器功能自動(dòng)跟蹤連續(xù)幀中廣告牌四個(gè)角的移動(dòng)。然后，我們對(duì)某些坐標(biāo)不夠精確的幀進(jìn)行必要的調(diào)整。我們?cè)诒?中列出了所有研究場(chǎng)景的統(tǒng)計(jì)數(shù)據(jù)，其中第一列列出了場(chǎng)景名稱(chēng)，第二列顯示了每個(gè)場(chǎng)景中的圖像數(shù)量，第三到第五列顯示了圖像的分辨率和每個(gè)場(chǎng)景中廣告牌的最小/最大尺寸。在數(shù)字測(cè)試中，在不同的環(huán)境條件下沒(méi)有顏色調(diào)整。最后一個(gè)對(duì)抗性示例根據(jù)投影函數(shù)被拼接到每個(gè)幀中。然后，我們使用轉(zhuǎn)向模型預(yù)測(cè)修補(bǔ)后的圖像，并將其與給定數(shù)據(jù)集中記錄的地面真實(shí)轉(zhuǎn)向決策進(jìn)行比較。

我們比較的基線是每個(gè)給定的訓(xùn)練模型的推理轉(zhuǎn)向角。我們的方法是尋求與基線的最大距離，無(wú)論基線是地面實(shí)況還是推理結(jié)果。

由于實(shí)驗(yàn)中使用的驅(qū)動(dòng)數(shù)據(jù)集可能沒(méi)有地真轉(zhuǎn)向角，因此我們選擇以推斷為基線的結(jié)果進(jìn)行展示。由于存在許多身體正確的駕駛行為，我們使用統(tǒng)計(jì)方法(例如，平均值，百分比)來(lái)測(cè)試整個(gè)駕駛環(huán)節(jié)的有效性，而不是在每個(gè)單獨(dú)的幀內(nèi)。

（物理測(cè)試主要是為數(shù)字測(cè)試采集行駛錄像數(shù)據(jù)包含地面真實(shí)轉(zhuǎn)向角度，但這里的物理測(cè)試并不是真實(shí)嚴(yán)格的路況場(chǎng)景）

在物理測(cè)試中，我們使用安裝在車(chē)輛上的測(cè)速記錄儀以不同的真實(shí)駕駛速度記錄多個(gè)視頻。我們?cè)诼愤叿乓粔K廣告牌，然后沿著路的中央直朝廣告牌開(kāi)過(guò)去。我們?cè)诰嚯x廣告牌約100英尺處開(kāi)始錄音，當(dāng)車(chē)輛經(jīng)過(guò)廣告牌時(shí)停止錄音。我們?cè)谌N不同的天氣條件下進(jìn)行多種物理測(cè)試，包括晴天、陰天和黃昏天氣。物理測(cè)試由以下兩個(gè)階段組成:

(1)第一階段:我們用一個(gè)白色的廣告牌，四個(gè)角涂成黑色，然后用一個(gè)金色的廣告牌，四個(gè)角涂成藍(lán)色。對(duì)于每一塊廣告牌，我們記錄并以10英里/小時(shí)的慢速沿著道路中央行駛，以捕獲足夠的幀(即訓(xùn)練視頻)。

(2)第二階段:我們將輸入視頻發(fā)送到我們的測(cè)試算法，以自動(dòng)生成對(duì)抗性擾動(dòng)，然后將其粘貼到廣告牌上。然后我們以20英里每小時(shí)的正常速度開(kāi)車(chē)經(jīng)過(guò)對(duì)面的廣告牌，并記錄視頻(即測(cè)試視頻)。我們計(jì)算視頻每幀的平均角度誤差與地面真相轉(zhuǎn)向角度的比較。

（嚴(yán)格測(cè)試應(yīng)該采用真實(shí)路況的行駛場(chǎng)景，但由于條件現(xiàn)實(shí)，提出替代方法）

我們注意到，嚴(yán)格來(lái)說(shuō)，一個(gè)真實(shí)世界的測(cè)試將涉及實(shí)際的自動(dòng)駕駛車(chē)輛駛過(guò)廣告牌來(lái)觀察對(duì)抗性影響。不幸的是，由于缺乏實(shí)際的自動(dòng)駕駛汽車(chē)，為了在現(xiàn)實(shí)環(huán)境中驗(yàn)證DeepBillboard，我們采用了類(lèi)似的方法應(yīng)用于以下先進(jìn)的自動(dòng)駕駛研究[29,33,39]，該研究也沒(méi)有將實(shí)際的自動(dòng)駕駛汽車(chē)納入評(píng)估。具體來(lái)說(shuō)，我們將不同駕駛模式的視頻作為輸入，可以盡可能詳盡地覆蓋所有潛在的觀看角度，在不同的車(chē)輛到廣告牌的距離。在物理世界評(píng)估中，我們?cè)噲D預(yù)先記錄盡可能多的異常駕駛視頻，以覆蓋實(shí)際自動(dòng)駕駛汽車(chē)中大多數(shù)可能被誤導(dǎo)的駕駛場(chǎng)景。這樣的視頻已經(jīng)應(yīng)用在對(duì)抗性建設(shè)/訓(xùn)練階段。我們?cè)谝韵履涿溄又姓故玖诉@段異常駕駛視頻:https://github.com/deepbillboard/DeepBillboard。這段視頻顯示，DeepBillboard能夠在每一幀內(nèi)連續(xù)偏離一輛車(chē)。這將模擬許多實(shí)際的自動(dòng)駕駛場(chǎng)景中的一個(gè)，即車(chē)輛在每一幀中都被deepbillboard連續(xù)誤導(dǎo)(即，每一幀中的誤導(dǎo)角度與本視頻中顯示的角度相似)。

4.2數(shù)字?jǐn)_動(dòng)結(jié)果

數(shù)字?jǐn)_動(dòng)的結(jié)果如表2所示，其中每列代表一個(gè)特定的場(chǎng)景，每行代表一個(gè)具體的轉(zhuǎn)向模型。單元格中的每個(gè)圖像都顯示一個(gè)具有中間轉(zhuǎn)向角度發(fā)散的代表性幀。例如，單元格中的圖像（Dave_V1，Udacity_Scene1）表示Udacity數(shù)據(jù)集Scene1中的圖像，當(dāng)Dave_V2轉(zhuǎn)向模型預(yù)測(cè)時(shí)，Scene1在同一場(chǎng)景中的所有幀中具有平均角度誤差。兩個(gè)箭頭顯示每個(gè)圖像中的轉(zhuǎn)向角決策分歧，其中藍(lán)色的是基本事實(shí)，紅色是生成的對(duì)抗示例的轉(zhuǎn)向角。我們注意到，在所有場(chǎng)景中，DeepBillboard都會(huì)使所有轉(zhuǎn)向模型產(chǎn)生可觀察到的平均轉(zhuǎn)向角偏差。