arXiv在2021年4月上傳的論文“Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety“，作者來自Bosch、Continental、Valeo、ZF、Volkswagen、Audi等等，包括Tier-1、OEM、大學(xué)和研究機(jī)構(gòu)，一共16家。

摘要

由于固有的缺點(diǎn)，許多深度神經(jīng)網(wǎng)絡(luò) (DNN) 模型在mobile health和自動(dòng)駕駛等安全緊要的應(yīng)用其實(shí)是具有挑戰(zhàn)性的。這些缺點(diǎn)是多種多樣的，比如可解釋性不足、缺乏泛化和惡意輸入等問題。因此，基于DNN 的智能系統(tǒng)受到安全問題的困擾。近年來，出現(xiàn)了旨在解決這些安全問題的最先進(jìn)技術(shù)庫。該文對(duì)此做結(jié)構(gòu)化和廣泛的方法概述。

1 論文目錄

2 數(shù)據(jù)優(yōu)化

模型的性能本質(zhì)上依賴于數(shù)據(jù)集。例如，變化性較差的數(shù)據(jù)集幾乎不會(huì)產(chǎn)生可用的模型。為了此，極端情況（corner case）檢測和主動(dòng)學(xué)習(xí)（AL）的數(shù)據(jù)選擇過程至關(guān)重要。這些方法可以幫助設(shè)計(jì)包含最重要信息的數(shù)據(jù)集，同時(shí)防止如此多的所需信息在數(shù)據(jù)海洋丟失。對(duì)于給定的數(shù)據(jù)集和主動(dòng)學(xué)習(xí)設(shè)置，數(shù)據(jù)增強(qiáng)技術(shù)的采用非常普遍，就是為了從數(shù)據(jù)集中提取盡可能多的信息。

另一方面，安全還需要分析模型在OOD（out-of-distribution）數(shù)據(jù)的表現(xiàn)方式，這些數(shù)據(jù)包含了模型在訓(xùn)練未遇到的領(lǐng)域。因此，這些領(lǐng)域最近越來越受到關(guān)注，在自動(dòng)駕駛的感知方面也是如此。

1）OOD檢測

OOD數(shù)據(jù)檢測指的是識(shí)別不代表訓(xùn)練數(shù)據(jù)分布的數(shù)據(jù)樣本。不確定性評(píng)估與該領(lǐng)域密切相關(guān)，模型的自我評(píng)估是 OOD 檢測的活躍研究領(lǐng)域之一。

2）主動(dòng)學(xué)習(xí)AL

主動(dòng)學(xué)習(xí)不是標(biāo)記每個(gè)數(shù)據(jù)點(diǎn)，而是利用查詢策略向教師/預(yù)言（oracle）請(qǐng)求標(biāo)記，從而最大限度地利用數(shù)據(jù)提高模型性能。主動(dòng)深度學(xué)習(xí)的大多數(shù)研究活動(dòng)都集中在兩種查詢策略上，Uncertainty sampling 和 query by committee。

3）Domains 域

在遷移學(xué)習(xí)領(lǐng)域研究的是一個(gè)或多個(gè)源域和目標(biāo)域之間的域不匹配問題。此外，檢測樣本何時(shí)超出域或超出分布是一個(gè)活躍的研究領(lǐng)域。例如，如果自動(dòng)駕駛汽車遇到與訓(xùn)練期間所見情況大相徑庭（例如，自行車比賽、狂歡節(jié)等)， 這可能會(huì)導(dǎo)致錯(cuò)誤的預(yù)測，從而導(dǎo)致潛在的安全問題。

4）增強(qiáng) Augmentation

數(shù)據(jù)增強(qiáng)旨在優(yōu)化可用數(shù)據(jù)并增加其數(shù)量，在部署期間管理代表各種可能輸入的數(shù)據(jù)集，比如創(chuàng)建更多不被代表類的樣本來處理嚴(yán)重不平衡數(shù)據(jù)集。有兩種數(shù)據(jù)增強(qiáng)的方法，第一種是data warping增強(qiáng)，專注于獲取現(xiàn)有數(shù)據(jù)并以不影響標(biāo)簽的方式對(duì)其進(jìn)行轉(zhuǎn)換。另一種是oversampling增強(qiáng)，創(chuàng)建可用于增加數(shù)據(jù)集大小的合成數(shù)據(jù)。

5）極端情況 Corner Case 檢測

雖然手動(dòng)創(chuàng)建極端案例（例如，構(gòu)建或重新制定場景）可能更可控，但擴(kuò)展性的方法還是需要系統(tǒng)地自動(dòng)化搜索極端案例。

自動(dòng)Corner Case 檢測的一種方法是基于輸入數(shù)據(jù)的轉(zhuǎn)換。另一個(gè)研究方向是調(diào)查是否構(gòu)建AI功能輸入空間可以支持Corner Case檢測。

3 魯棒訓(xùn)練

大多數(shù)研究都針對(duì)提高對(duì)抗（adversarial）魯棒性，即引起高置信度錯(cuò)誤分類的擾動(dòng)的魯棒性，或提高腐壞（corruption）魯棒性，即針對(duì)常見的增強(qiáng)（例如天氣變化、高斯噪聲、光度變化等）魯棒性。對(duì)抗魯棒性更像是一個(gè)security問題而不是safety問題，另一方面，腐壞魯棒性被認(rèn)為是高度安全相關(guān)的。

1）Hyperparameter Optimization （HPO）

重要的有初始 learning rate, learning rate 逐步遞減幅度, learning rate decay, momentum, batch大小, dropout比率 和迭代次數(shù)等等。

2）損失函數(shù)調(diào)整

提高adversarial 或者 corruption 魯棒性的損失函數(shù)。

3）域泛化 DG，不是域自適應(yīng)（DA）

DA 和 DG，都面臨著分布匹配問題。然而，估計(jì)高維空間的概率密度是棘手的。因此，基于密度的指標(biāo)（例如 Kullback-Leibler 發(fā)散度）不能直接適用。統(tǒng)計(jì)學(xué)通常采用所謂的雙樣本檢驗(yàn)（two-samples tests），逐點(diǎn)測量兩個(gè)分布之間的距離。對(duì)深度學(xué)習(xí)來說，要求這個(gè)測度不僅是逐點(diǎn)而且可微分。

雖然 DG 方法可以推廣到零樣本可行的領(lǐng)域，但所謂的零樣本學(xué)習(xí) (ZSL) 方法可以推廣到零樣本可行的任務(wù)（例如，同一源域的新類）。

4 對(duì)抗攻擊

通常，用于創(chuàng)建對(duì)抗性示例的算法被稱為對(duì)抗性攻擊，其目的是欺騙底層 DNN，使輸出如期望的惡意方式發(fā)生變化。包括不了解要被攻擊的 DNN（黑盒攻擊）情況，或者在完全了解DNN 參數(shù)、架構(gòu)甚至訓(xùn)練數(shù)據(jù)（白盒攻擊）情況。

1）對(duì)抗攻擊和防護(hù)

攻擊方法基本分成image-specific attacks和image-agnostic attack，這種如何圖像附加的擾動(dòng)也叫做universal adversarial perturbation (UAP) 。著名的方法有the fast gradient sign method (FGSM), DeepFool, least-likely class method (LLCM) , C&W, momentum iterative fast gradient sign method (MI-FGSM) 和 projected gradient descent (PGD) 等等。

同樣，防護(hù)方法也可以分成model-specific defense 和 model-agnostic defense 策略。一些眾所周知的特定模型防護(hù)策略包括對(duì)抗性訓(xùn)練、訓(xùn)練中加入魯棒性導(dǎo)向的損失函數(shù)、denoising layers去除特征的對(duì)抗模式和冗余師生框架。大多數(shù)模型無關(guān)防護(hù)策略主要側(cè)重于各種預(yù)處理（gradient masking）策略。

2）更真實(shí)的攻擊

包括兩種類型攻擊。

• (1) 圖像級(jí)攻擊：不僅欺騙神經(jīng)網(wǎng)絡(luò)，而且對(duì)自駕車構(gòu)成可證明的威脅；

• (2) 現(xiàn)實(shí)世界或模擬環(huán)境的攻擊，例如car learning to act (開源模擬仿真器CARLA)。

第二類攻擊，專門設(shè)計(jì)在現(xiàn)實(shí)世界扭曲中生存下來，包括不同的距離、天氣和光照條件以及攝像機(jī)角度。為此，對(duì)抗性擾動(dòng)通常集中在特定的圖像區(qū)域，稱為對(duì)抗性補(bǔ)丁（adversarial patch）。對(duì)抗性補(bǔ)丁在每個(gè)訓(xùn)練圖像指定一個(gè)補(bǔ)丁區(qū)域，對(duì)補(bǔ)丁做相應(yīng)變換，迭代地修改區(qū)域內(nèi)的像素實(shí)現(xiàn)最大化DNN模型的預(yù)測誤差。這一步通常依賴于標(biāo)準(zhǔn)對(duì)抗攻擊算法，該算法旨在制造invisible perturbations，同時(shí)誤導(dǎo)神經(jīng)網(wǎng)絡(luò)。

5 可解釋性

傳統(tǒng)數(shù)據(jù)科學(xué)開發(fā)了一套計(jì)算機(jī)自動(dòng)化分析的龐大工具集，這些工具應(yīng)用于明確的問題，即可管理的輸入/輸出維度以及所依賴的數(shù)據(jù)集大小。對(duì)于那些比較復(fù)雜的問題，分析過程的自動(dòng)化程度是有限的，也可能不會(huì)導(dǎo)致預(yù)期的結(jié)果。對(duì)于圖像或視頻數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，尤其如此，其中底層信息不能直接用數(shù)字表示。相反，它需要轉(zhuǎn)換為某種結(jié)構(gòu)化形式，以使計(jì)算機(jī)能夠執(zhí)行某些分析任務(wù)。此外，隨著收集的各種類型數(shù)據(jù)的數(shù)量不斷增加，這種“信息過載（information overload”）”不能僅通過自動(dòng)方法進(jìn)行分析。

已知的有三種可解釋性策略：1）打開黑盒子并查看中間表示的直接方法，解釋系統(tǒng)的各層，有助于對(duì)整體的解釋。2）試圖用像素屬性解釋網(wǎng)絡(luò)的決策提供可解釋性，然后對(duì)決策的匯總解釋可以實(shí)現(xiàn)系統(tǒng)本身的可解釋性。3）用可解釋代理近似DNN模型的想法，從深度神經(jīng)網(wǎng)絡(luò)性能中受益，同時(shí)允許通過代理解釋。所有策略的基礎(chǔ)是可視化分析（visual analytics）。

1）可視化分析

定義為“交互式可視接口”。不僅專注于計(jì)算處理數(shù)據(jù)或可視化結(jié)果，而且將兩者與交互技術(shù)緊密結(jié)合。因此，它可以將人類專家集成到迭代可視化分析過程中：通過視覺理解和人類推理，可以結(jié)合人類專家的知識(shí)來有效地改進(jìn)分析。這一點(diǎn)尤其重要，因?yàn)閺?fù)雜模型需要進(jìn)行嚴(yán)格的安全論證。

2）中間表示IR

一般來說，表征學(xué)習(xí)旨在從高維輸入提取潛在空間的低維特征。然后將這些特征用作回歸、分類、目標(biāo)檢測和其他機(jī)器學(xué)習(xí)任務(wù)的有效表示。潛在特征應(yīng)該被解開，這意味著它們代表從統(tǒng)計(jì)獨(dú)立的數(shù)據(jù)中發(fā)現(xiàn)單獨(dú)因素。由于在機(jī)器學(xué)習(xí)中的重要性，找到有意義的中間表示長期以來一直是主要研究目標(biāo)。解開的表示更容易地被人類解釋，例如解釋神經(jīng)網(wǎng)絡(luò)的推理。

3）Pixel Attribution

特征重要性技術(shù)目前主要用于診斷錯(cuò)誤DNN模型行為的原因。所謂的attribution maps是一種可視化技術(shù)，用于表達(dá)輸入圖像相關(guān)像素與網(wǎng)絡(luò)預(yù)測之間的關(guān)系。圖像包含相關(guān)特征的區(qū)域會(huì)相應(yīng)地突出顯示。

Attribution方法大多歸類三個(gè)：Gradient-based，activation-based和Perturbation-based。

4）Interpretable Proxies

DNN 行為由符號(hào)知識(shí)表示的模型近似。符號(hào)表示可以是線性模型，如 LIME（proportionality）、決策樹（if-then-chains），或松散的邏輯規(guī)則集。邏輯連接器可以簡單地為 AND 和 OR，但也可以是更通用的連接器，例如 at-least-M-of-N。 除了attribution方法，這些表示可以捕獲特征組合以及目標(biāo)-屬性的（空間）關(guān)系。

6 不確定性分析

不確定性是說神經(jīng)網(wǎng)絡(luò)作為概率函數(shù)或估計(jì)器，為每個(gè)輸入提供隨機(jī)分布。理想情況下，分布的平均值應(yīng)盡可能接近神經(jīng)網(wǎng)絡(luò)所逼近的函數(shù)真值，而神經(jīng)網(wǎng)絡(luò)的不確定性是指其隨機(jī)變量時(shí)的方差，從而得相對(duì)于平均值的置信度。

1）生成模型

生成模型屬于無監(jiān)督機(jī)器學(xué)習(xí)模型。從理論的角度來看，它們提供了一種分析和估計(jì)數(shù)據(jù)密度的方法。

2）Monte-Carlo Dropout

在應(yīng)用規(guī)模的網(wǎng)絡(luò)設(shè)計(jì)，該方法提供了Bayesian分析的動(dòng)力，并且具有概念的簡單性和系統(tǒng)可擴(kuò)展性。

3）Bayesian Neural Networks

提供了概率的一種Bayesian理解。

4）Frequentist Inference中DNN不確定性測度

這種不確定性估計(jì)基本上基于統(tǒng)計(jì)模型輸出。

5）MRF

Markov random fields (MRF) 基于能量函數(shù)，將像素集成到單獨(dú)和成對(duì)像素之間相關(guān)的模型。給定模型，MRF用于推斷最佳配置，主要用最大后驗(yàn) (MAP) 技術(shù)產(chǎn)生最低能量狀態(tài)。

6）Confidence Calibration 可信度標(biāo)定

如果任何可信度的經(jīng)驗(yàn)準(zhǔn)確性與預(yù)測的可信度相匹配，則模型被稱為標(biāo)定良好。

7 聚合Aggregation

神經(jīng)網(wǎng)絡(luò)基于輸入處理得出輸出，例如，將傳入的圖像數(shù)據(jù)映射到類標(biāo)簽。輸入或輸出端的非獨(dú)立信息聚合或收集可提升其性能和可靠性。從輸入開始，任何數(shù)據(jù)的附加“維度”都可以使用。例如，在自動(dòng)駕駛，這可能是來自任何傳感器的輸入，該傳感器測量同樣的原始場景，例如雙目相機(jī)或 LiDAR。組合這些傳感器進(jìn)行預(yù)測通常稱為傳感器融合。該場景被連續(xù)監(jiān)控，提供整個(gè)（時(shí)間排列）輸入信息流。調(diào)整此類輸入的網(wǎng)絡(luò)或者后處理，通過某種時(shí)間一致性預(yù)測被聚合。

另一種更隱式的聚合形式是在幾個(gè)“獨(dú)立”任務(wù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，例如分割和深度值回歸。盡管單個(gè)任務(wù)對(duì)相同的輸入執(zhí)行，但整體性能仍然從所有任務(wù)之間的相關(guān)性受益。用多種不同的方式解決同一任務(wù)，可以提高整體性能并提供冗余措施。

注：這里專注于單任務(wù)系統(tǒng)。

1）Ensemble Methods 集成方法

網(wǎng)絡(luò)集成是模型的集合，各種建模選擇對(duì)損失進(jìn)行描述：選定的模型類及其元參數(shù)（如架構(gòu)和層寬度）、訓(xùn)練數(shù)據(jù)和優(yōu)化目標(biāo)。多樣化的方法，例如不同模型類在不同訓(xùn)練數(shù)據(jù)的組合（bagging）訓(xùn)練和加權(quán)集成組件以彌補(bǔ)其他成員的缺陷（boosting）。

2）Temporal Consistency

視頻預(yù)測分成兩種方法：1. DNNs 專門為視頻預(yù)測設(shè)計(jì)。從頭開始訓(xùn)練，要求序列中訓(xùn)練數(shù)據(jù)可用。2. 從單步圖像預(yù)測 DNN 到視頻預(yù)測 DNN 的轉(zhuǎn)變。通常不需要訓(xùn)練，即模型的現(xiàn)有權(quán)重可以不加改變地使用。

8 Verification

驗(yàn)證和確認(rèn)（Verification and validation，V&V）是任何安全緊要系統(tǒng)安全保證的一個(gè)組成部分。在汽車系統(tǒng)的功能安全標(biāo)準(zhǔn)中，一方面，驗(yàn)證意味著確定是否滿足給定要求，例如性能目標(biāo)。另一方面，確認(rèn)試圖評(píng)估給定的要求是否足以保證安全，例如，是否只是忽略了某類故障或交互。后者通常是在集成產(chǎn)品的實(shí)際操作條件下做大量測試。這與機(jī)器學(xué)習(xí)社區(qū)的驗(yàn)證概念不同（在機(jī)器學(xué)習(xí)社區(qū)，它通常指選定數(shù)據(jù)集進(jìn)行簡單的性能測試）。

1）Formal Testing

指包括形式化和形式化可驗(yàn)證步驟的測試方法，例如，測試數(shù)據(jù)的采集或測試樣本的本地驗(yàn)證。對(duì)于圖像數(shù)據(jù)，圍繞有效樣本的局部測試通常比完全形式化驗(yàn)證更實(shí)用：（安全）屬性預(yù)計(jì)不會(huì)保留在完整的輸入空間，而只會(huì)保留在真實(shí)圖像小得多的未知低維流形（manifold）空間。

2）黑盒子方法

意味著，查詢模型獲得輸入-輸出對(duì)，但無法訪問特定的架構(gòu)（或權(quán)重）。

9 架構(gòu)

在自動(dòng)駕駛等領(lǐng)域，一個(gè)單一卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以同時(shí)執(zhí)行不同的任務(wù)。這種架構(gòu)被稱為多任務(wù)學(xué)習(xí)（MTL），可以用來節(jié)省計(jì)算資源，同時(shí)提高每個(gè)任務(wù)的性能。這樣的多任務(wù)網(wǎng)絡(luò)，通常一個(gè)共享的特征提取部分后跟一個(gè)單獨(dú)的所謂的任務(wù)頭。

這些架構(gòu)中，專家的手動(dòng)設(shè)計(jì)起著重要作用。然而，近年來，人們也在努力使尋找網(wǎng)絡(luò)架構(gòu)的自動(dòng)化，這被稱為神經(jīng)架構(gòu)搜索（NAS）。

1）Building Blocks

設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)通常包括許多設(shè)計(jì)選擇。通用架構(gòu)通常包含許多以特定模式排列的卷積層和池化層。卷積層通常后跟非線性激活函數(shù)。學(xué)習(xí)過程基于確定當(dāng)前誤差的損失函數(shù)和誤差傳播，及其可學(xué)習(xí)參數(shù)的優(yōu)化函數(shù)。

2）Multi-Task Networks 多任務(wù)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的多任務(wù)學(xué)習(xí) (MTL) 學(xué)習(xí)統(tǒng)一的特征表示，耦合特定于任務(wù)的損失貢獻(xiàn)，同時(shí)優(yōu)化多個(gè)任務(wù)，從而加強(qiáng)跨任務(wù)的一致性。

統(tǒng)一特征表示通常是共享編碼器（也稱為特征提取器）內(nèi)部初始層的參數(shù)。通過更廣義的學(xué)習(xí)特征改進(jìn)了單個(gè)任務(wù)，還減少了推理對(duì)計(jì)算資源的需求。不為每個(gè)任務(wù)添加一個(gè)新網(wǎng)絡(luò)，只需添加一個(gè)特定于任務(wù)的解碼器頭，比如   depth estimation, semantic segmentation, motion segmentation, 和 object detection。

與共享特征表示隱式的耦合任務(wù)相比，有更直接的方法聯(lián)合優(yōu)化跨任務(wù)損失的任務(wù)。在 MTL 期間，幾個(gè)任務(wù)的網(wǎng)絡(luò)預(yù)測可以被強(qiáng)制執(zhí)行以保持一致。例如，尖銳的深度邊緣應(yīng)該只在語義分割預(yù)測的類邊界處。通常，兩種 MTL 方法同時(shí)應(yīng)用可以提高神經(jīng)網(wǎng)絡(luò)的性能并降低其推理的計(jì)算復(fù)雜度。

雖然MTL 的理論期望非常明確，但要為所有不同的損失貢獻(xiàn)找到一個(gè)好的加權(quán)策略具有挑戰(zhàn)性，因?yàn)闆]有理論可以早期選擇這種加權(quán)，包括啟發(fā)式或廣泛的超參調(diào)整。平衡任務(wù)的最簡單方法是在所有任務(wù)中使用統(tǒng)一的權(quán)重。然而，不同任務(wù)的損失通常有不同的尺度，均勻地平均所有損失會(huì)抑制損失較小任務(wù)的梯度。

3）神經(jīng)架構(gòu)搜索NAS

NAS方法旨在對(duì)耗時(shí)的手動(dòng)神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)改變?yōu)樽詣?dòng)化。

10 模型壓縮

基本方法包括：network pruning裁剪, weight quantizations量化, knowledge distillation 蒸餾和 low-rank factorization分解。

1）pruning 裁剪

Pruning用作降低深度神經(jīng)網(wǎng)絡(luò)復(fù)雜性的系統(tǒng)工具。DNN 的冗余可能存在于各個(gè)級(jí)別，例如各個(gè)權(quán)重、濾波器甚至層。所有不同的pruning方法都試圖在不同級(jí)別利用這些冗余。

2）quantizations 量化

包括“l(fā)inear” quantization，post-training quantization，training-aware quantization。

部分章節(jié)的內(nèi)容這里沒有仔細(xì)介紹，主要是我以前已經(jīng)討論過，比如不確定性和模型壓縮等。

這篇文章沒有一個(gè)框圖，一個(gè)圖表，基本是文本介紹，作者來自德國的汽車業(yè)界。