馬斯克曾說：“自動(dòng)駕駛永遠(yuǎn)不會(huì)完美，但比人類駕駛安全10倍！”真是這樣嗎？伊利諾伊大學(xué)香檳分校的研究人員開發(fā)了一種故障評(píng)估技術(shù)，在對(duì)百度Apollo 3.0和英偉達(dá)專有自動(dòng)駕駛系統(tǒng)DriveAV的測(cè)試中，4小時(shí)發(fā)現(xiàn)了561個(gè)關(guān)鍵安全故障！
本文來源：新智元

特斯拉CEO馬斯克曾經(jīng)放話：“自動(dòng)駕駛永遠(yuǎn)不會(huì)完美，但比人類駕駛安全10倍！”

然而，真是這樣嗎？

伊利諾伊大學(xué)香檳分校的一個(gè)研究團(tuán)隊(duì)在分析了自動(dòng)駕駛公司2014年至2017年提交的所有安全報(bào)告(涵蓋144輛自動(dòng)駕駛汽車，累計(jì)行駛1116605英里)后，得出一個(gè)截然相反的結(jié)論：

在行駛相同里程的情況下，人類駕駛汽車發(fā)生事故的可能性比自動(dòng)駕駛汽車少4000倍。

而就在最近，這個(gè)研究團(tuán)隊(duì)開發(fā)的一種針對(duì)自動(dòng)駕駛的故障評(píng)估技術(shù)，在對(duì)百度Apollo 3.0和英偉達(dá)專有自動(dòng)駕駛系統(tǒng)DriveAV的測(cè)試中，短短4小時(shí)就發(fā)現(xiàn)了561個(gè)關(guān)鍵安全故障！

這個(gè)研究團(tuán)隊(duì)致力于使用人工智能和機(jī)器學(xué)習(xí)，通過軟件和硬件的改進(jìn)來提高自動(dòng)駕駛技術(shù)的安全性。

“由于車輛電氣和機(jī)械組件的復(fù)雜性，以及天氣、路況、地形、交通模式和照明等外部條件的變化，使用AI來改進(jìn)自動(dòng)駕駛車輛非常困難。”伊利諾伊大學(xué)CSL實(shí)驗(yàn)室教授Ravishankar K. Iyer說，“目前我們正在取得進(jìn)展，但安全仍是一個(gè)重大問題。”


Ravi Iyer

研究小組目前正在開發(fā)技術(shù)和工具，從而找到影響自動(dòng)駕駛車輛安全的駕駛條件和問題。使用他們的技術(shù)，可以找到大量的至關(guān)安全的場(chǎng)景，在這些場(chǎng)景中，一個(gè)小小的錯(cuò)誤就可能釀成大禍。如此一來節(jié)省了大量的時(shí)間和金錢。

在對(duì)百度Apollo 3.0和英偉達(dá)DriveAV的測(cè)試中，該團(tuán)隊(duì)所開發(fā)的故障注入引擎DriveFI在4小時(shí)內(nèi)發(fā)現(xiàn)了500多個(gè)該軟問題。



示例場(chǎng)景：(1)目標(biāo)FI導(dǎo)致危險(xiǎn)狀態(tài)；(2)特斯拉自動(dòng)駕駛儀的真實(shí)例子與注入故障類似

這樣的發(fā)現(xiàn)讓這個(gè)團(tuán)隊(duì)的工作得到了業(yè)內(nèi)的關(guān)注。該團(tuán)隊(duì)正在為他們的測(cè)試技術(shù)申請(qǐng)專利，并計(jì)劃很快進(jìn)行部署。理想情況下，研究人員希望公司使用這項(xiàng)新技術(shù)來模擬已發(fā)現(xiàn)的問題，并在部署汽車之前解決問題。

自動(dòng)駕駛事故可能性比人駕駛高4000倍，安全評(píng)估面臨挑戰(zhàn)

“我們團(tuán)隊(duì)正在應(yīng)對(duì)一些挑戰(zhàn)，”領(lǐng)導(dǎo)該項(xiàng)目的計(jì)算機(jī)科學(xué)博士生Saurabh Jha說。“解決這一挑戰(zhàn)需要跨越科學(xué)、技術(shù)和制造的多學(xué)科努力。”

為什么這項(xiàng)工作挑戰(zhàn)性很大？因?yàn)樽詣?dòng)駕駛是使用AI和機(jī)器學(xué)習(xí)來集成機(jī)械、電子和計(jì)算技術(shù)以做出實(shí)時(shí)駕駛決策的復(fù)雜系統(tǒng)。典型的自動(dòng)駕駛系統(tǒng)就像放在輪子上的微型超級(jí)計(jì)算機(jī)；擁有50多個(gè)處理器和加速器，運(yùn)行著超過1億行代碼，來支持計(jì)算機(jī)視覺、規(guī)劃和其他機(jī)器學(xué)習(xí)任務(wù)。

這些車輛的傳感器和自動(dòng)駕駛堆棧(計(jì)算軟件和硬件)有可能存在問題。當(dāng)一輛汽車以每小時(shí)70英里的速度在高速公路上行駛時(shí)，故障對(duì)司機(jī)來說可能是一個(gè)重大的安全隱患。

“如果一輛普通汽車的駕駛員感覺到諸如車輛漂移或拉力之類的問題，他/她可以調(diào)整自己的行為并將車輛引導(dǎo)到一個(gè)安全的停車點(diǎn)。”Jha解釋說：“然而，在這種情況下，除非自動(dòng)駕駛汽車針對(duì)這些問題進(jìn)行了訓(xùn)練，否則自動(dòng)駕駛汽車會(huì)如何應(yīng)對(duì)是不可預(yù)測(cè)的。在現(xiàn)實(shí)世界中，這樣的例子數(shù)不勝數(shù)。”

多數(shù)人在電腦或智能手機(jī)上遇到軟件問題時(shí)，最常見的反應(yīng)是關(guān)機(jī)重啟。然而，此方法不建議用于自動(dòng)駕駛汽車，因?yàn)榈⒄`的每一毫秒都會(huì)影響結(jié)果，而響應(yīng)稍慢一點(diǎn)就可能會(huì)導(dǎo)致死亡。在過去的幾年里，由于自動(dòng)駕駛引發(fā)的各種事故，人們對(duì)這種基于人工智能的系統(tǒng)的安全擔(dān)憂不斷增加。

“現(xiàn)行法規(guī)要求Uber和Waymo等在公共道路上測(cè)試無人車的公司，每年要向加州車輛管理局(DMV)匯報(bào)其車輛的安全性，”CSL和計(jì)算機(jī)科學(xué)專業(yè)的研究生Subho Banerjee說。“我們想了解常見的安全問題有哪些，汽車的性能如何，以及理想的安全標(biāo)準(zhǔn)是什么，以了解自動(dòng)駕駛系統(tǒng)的設(shè)計(jì)是否足夠好。”

該團(tuán)隊(duì)分析了2014年至2017年提交的所有安全報(bào)告，涵蓋144輛自動(dòng)駕駛汽車，累計(jì)行駛1116605英里。他們發(fā)現(xiàn)，在行駛相同里程的情況下，人類駕駛汽車發(fā)生事故的可能性比自動(dòng)駕駛汽車少4000倍。這意味著，自動(dòng)駕駛技術(shù)不能妥善處理情況的概率之高非常驚人，往往要依靠人類駕駛員來接管。

研究人員和公司在試圖改善這種情況時(shí)遇到的一大挑戰(zhàn)是，在自動(dòng)駕駛汽車系統(tǒng)出現(xiàn)特定的問題之前，很難訓(xùn)練軟件來克服它。

此外，軟件和硬件堆棧中的錯(cuò)誤僅在某些駕駛場(chǎng)景下才表現(xiàn)為安全關(guān)鍵問題。換句話說，在高速公路或空曠/不太擁擠的道路上進(jìn)行的自動(dòng)駕駛汽車測(cè)試可能是不夠的，因?yàn)檫@種情況下即使發(fā)生軟件/硬件故障也很少導(dǎo)致安全問題。


車輛模擬

真的發(fā)生故障時(shí)，往往是在汽車已經(jīng)行駛了數(shù)十萬英里之后。為了測(cè)試這些自動(dòng)駕駛汽車，需要花費(fèi)大量的時(shí)間、金錢和精力，這使得測(cè)試過程非常低效。因此，研究團(tuán)隊(duì)決定使用計(jì)算機(jī)仿真環(huán)境和人工智能來加速這一過程。

“我們將自動(dòng)駕駛汽車的軟件和硬件堆棧中的錯(cuò)誤注入到計(jì)算機(jī)仿真環(huán)境中，然后收集自動(dòng)駕駛汽車對(duì)這些問題的響應(yīng)數(shù)據(jù)，”Jha說。“與人類不同，當(dāng)今的AI技術(shù)無法推理出不同駕駛場(chǎng)景中可能出現(xiàn)的錯(cuò)誤。因此，需要大量的數(shù)據(jù)來教會(huì)軟件在面對(duì)軟件或硬件故障時(shí)采取正確的行動(dòng)。”

DriveFI：4小時(shí)發(fā)現(xiàn)百度Apollo、英偉達(dá)DriveAV 561個(gè)故障

研究人員在論文“ML-based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection”中，介紹了一種基于機(jī)器學(xué)習(xí)的故障注入引擎DriveFI，它能挖掘最大程度地影響自動(dòng)駕駛安全性的情況和故障，這在兩個(gè)工業(yè)級(jí)自動(dòng)駕駛系統(tǒng)(來自NVIDIA和百度)上得到了證明。


論文地址：
https://arxiv.org/pdf/1907.01051.pdf

例如，DriveFI在不到4小時(shí)的時(shí)間里發(fā)現(xiàn)了561個(gè)安全關(guān)鍵故障。相比之下，花了數(shù)周進(jìn)行的隨機(jī)注入實(shí)驗(yàn)沒有發(fā)現(xiàn)任何安全關(guān)鍵故障。


故障注入實(shí)驗(yàn)

自動(dòng)駕駛汽車(Autonomous vehicles, AVs)是一個(gè)復(fù)雜的系統(tǒng)，它使用人工智能和機(jī)器學(xué)習(xí)來集成機(jī)械、電子和計(jì)算技術(shù)以做出實(shí)時(shí)駕駛決策。AI使自動(dòng)駕駛汽車能夠在復(fù)雜的環(huán)境中導(dǎo)航，同時(shí)保持安全范圍，該安全范圍由機(jī)載傳感器(如相機(jī)、激光雷達(dá)、雷達(dá))不斷地測(cè)量和量化。因此，迫切需要對(duì)自動(dòng)駕駛技術(shù)進(jìn)行全面評(píng)估。


ADS的架構(gòu)

然而，在實(shí)際的駕駛環(huán)境中對(duì)這些系統(tǒng)進(jìn)行評(píng)估一直具有挑戰(zhàn)性，特別是由于隨機(jī)故障的出現(xiàn)。故障注入(Fault injection，F(xiàn)I)是用于測(cè)試計(jì)算和網(wǎng)絡(luò)物理系統(tǒng)在故障下的彈性和錯(cuò)誤處理能力的一種成熟方法?；贔I的自動(dòng)駕駛評(píng)估提出了一個(gè)獨(dú)特的挑戰(zhàn)，不僅因?yàn)樽詣?dòng)駕駛的復(fù)雜性，也因?yàn)锳I在這樣一個(gè)自由流動(dòng)的操作環(huán)境中的中心地位。此外，自動(dòng)駕駛系統(tǒng)代表了軟件和硬件技術(shù)的復(fù)雜集成，這些技術(shù)已經(jīng)被證明容易出現(xiàn)硬件和軟件錯(cuò)誤。未來，代碼復(fù)雜性的增加只會(huì)加劇這個(gè)問題。


DriveFI架構(gòu)

DriveFI是一種用于自動(dòng)駕駛的智能FI框架，它通過識(shí)別可能導(dǎo)致碰撞和事故的危險(xiǎn)情況來應(yīng)對(duì)上述挑戰(zhàn)。

DriveFI包括(a)一個(gè)FI引擎，可以修改自動(dòng)駕駛系統(tǒng)(ADS)的軟件和硬件狀態(tài)以模擬故障的發(fā)生；和(b) 基于ML的故障選擇引擎，我們稱之為貝葉斯故障注入(Bayesian fault injection)，可以找到最有可能導(dǎo)致違反安全條件的情況和故障。相比之下，傳統(tǒng)的FI技術(shù)往往不關(guān)注安全違規(guī)，在實(shí)踐中表現(xiàn)率較低，并需要大量的測(cè)試時(shí)間。請(qǐng)注意，在給定一個(gè)故障模型的情況下，DriveFI也可以執(zhí)行隨機(jī)FI來獲得基線性能。

本研究的貢獻(xiàn)

DriveFI的Bayesian FI框架能夠通過對(duì)ADS在故障下的行為進(jìn)行因果推理和反事實(shí)推理，從而發(fā)現(xiàn)關(guān)鍵安全情況和故障。

它通過(a)以車輛運(yùn)動(dòng)學(xué)和AV架構(gòu)的形式整合領(lǐng)域知識(shí)，(b)基于橫向和縱向停車距離的安全建模，(c)使用真實(shí)的故障模型來模擬軟件錯(cuò)誤，從而做到這一點(diǎn)。(a)、(b)和(c)被集成到一個(gè)貝葉斯網(wǎng)絡(luò)(BN)中。

BN提供了一種有利的形式化方法，即用可解釋的模型來對(duì)故障在AV系統(tǒng)組件之間的傳播進(jìn)行建模。該模型與故障注入結(jié)果可用于設(shè)計(jì)和評(píng)估AV的安全性。
此外，BN支持快速概率推理，這使得DriveFI能夠快速找到對(duì)安全關(guān)鍵的故障。

Bayesian FI框架可以擴(kuò)展到其他安全關(guān)鍵系統(tǒng)(如手術(shù)機(jī)器人)。該框架要求對(duì)安全約束條件和系統(tǒng)軟件架構(gòu)進(jìn)行規(guī)范，以建模系統(tǒng)子組件之間的因果關(guān)系。


自動(dòng)駕駛汽車的自主系統(tǒng)和機(jī)械系統(tǒng)，及其與DriveFI的交互作用。

研究小組在兩個(gè)工業(yè)級(jí)的4級(jí)ADS上演示了這種方法的能力和通用性，分別是DriveAV(NVIDIA的專有ADS)和Apollo 3.0(百度的開源ADS)。

結(jié)果

研究團(tuán)隊(duì)使用三種故障模型：(a)非ECC保護(hù)的處理器結(jié)構(gòu)中的隨機(jī)故障和一致故障；(b) ADS軟件模塊輸出中的隨機(jī)故障和一致故障；(c) ADS模塊輸出中被Bayesian FI損壞的故障。

主要結(jié)果包括：

- 使用錯(cuò)誤模型(b)，我們編制了一個(gè)包含98,400個(gè)錯(cuò)誤的列表。在模擬的駕駛場(chǎng)景中，如果要對(duì)所有98,400個(gè)故障進(jìn)行徹底的評(píng)估需要615天。相比之下，Bayesian FI能夠在不到4小時(shí)的時(shí)間內(nèi)找到561個(gè)對(duì)AV安全性影響最大的故障。也就是說，Bayesian FI比傳統(tǒng)方法快了3690倍。

- Bayesian FI能夠發(fā)現(xiàn)導(dǎo)致安全隱患的關(guān)鍵故障和場(chǎng)景。(a)在561個(gè)已確定的故障中，460個(gè)顯示為安全隱患。(b)這460個(gè)故障與68個(gè)安全關(guān)鍵場(chǎng)景有關(guān)(總共7200個(gè)場(chǎng)景)。
通過對(duì)挖掘出的關(guān)鍵故障進(jìn)行檢測(cè)，發(fā)現(xiàn)最容易發(fā)生車輛碰撞事故的ADS模塊輸出前3位分別是節(jié)氣門值(561個(gè)關(guān)鍵故障中的24%)、PID控制器輸入(18%)和傳感器融合障礙類值(15%)。Bayesian FI用于創(chuàng)建違反車道的目標(biāo)的ADS模塊輸出是：(a)車道類型值(2%)、(b)油門(1.4%)、(c)轉(zhuǎn)向(1.4%)。56%的故障類型從未被Bayesian FI使用過；例如Bayesian FI從未注入到相機(jī)傳感器對(duì)象分類模塊的輸出中。


使用FI 獲得的故障/錯(cuò)誤影響表征

- 相比之下，在5000次random FI試驗(yàn)的幾周內(nèi)，沒有發(fā)現(xiàn)一個(gè)安全隱患。只有1.93%的單比特注入導(dǎo)致了靜態(tài)數(shù)據(jù)損壞(SDC)，從而導(dǎo)致啟動(dòng)錯(cuò)誤。ADS從所有這些錯(cuò)誤中恢復(fù)了，沒有任何安全違規(guī)。在7.35%的FIs中，發(fā)生了內(nèi)核恐慌和死機(jī)。預(yù)期可以通過AV中現(xiàn)有的備份/冗余系統(tǒng)從這些故障中恢復(fù)。

作者表示，Bayesian FI方法挖掘關(guān)鍵情況將具有比故障注入法更廣泛的適用性。結(jié)合一系列故障注入實(shí)驗(yàn)的結(jié)果來創(chuàng)建一個(gè)情況庫，將有助于制造商制定AV測(cè)試和安全駕駛的規(guī)則和條件。

自動(dòng)駕駛問題多，離真正上路還有多遠(yuǎn)？

這項(xiàng)新研究表明，即使像百度、英偉達(dá)這些大廠的自動(dòng)駕駛技術(shù)也存在不少問題，而且自動(dòng)駕駛技術(shù)還有很多不能妥善處理情況，往往要依靠人類駕駛員來接管。

對(duì)于自動(dòng)駕駛這一新生事物，安全性是最受關(guān)注的，以至于一旦無人車發(fā)生事故立刻就會(huì)成爆炸新聞。自2016年初以來，加州共報(bào)告了111起涉及自動(dòng)駕駛汽車的撞車事故（這還不包括可能造成的事故風(fēng)險(xiǎn)）。根據(jù)對(duì)DMV報(bào)告的分析，其中71起事故發(fā)生時(shí)，車輛處于自動(dòng)駕駛模式。其中，有接近70%涉及自動(dòng)駕駛車輛被追尾事故。

最典型的是Uber去年3月的“全球首起無人駕駛致死”事故：一輛處于自動(dòng)駕駛模式的Uber無人車在道路測(cè)試時(shí)發(fā)生致死車禍。



事件發(fā)生于鳳凰城以東11英里的Tempe鎮(zhèn)。當(dāng)時(shí)，Uber無人車正在向北行駛，一名女子在人行橫道外穿，被車輛撞倒，被送往醫(yī)院后，由于傷勢(shì)過重死亡。

盡管經(jīng)過近一年的調(diào)查后證明，Uber在這起事故中不擔(dān)刑責(zé)，但事故直接導(dǎo)致Uber自動(dòng)駕駛業(yè)務(wù)元?dú)獯髠?br />
對(duì)自動(dòng)駕駛技術(shù)頗為激進(jìn)的特斯拉，其Autopilot自動(dòng)駕駛儀也頻頻發(fā)生事故，包括一起“一輛Model X在自動(dòng)駕駛模式下撞上高速公路護(hù)欄”的致死事故，裝上卡車、追尾消防車等等，每一起事故都沖擊著大眾對(duì)自動(dòng)駕駛的信任度。


特斯拉自動(dòng)駕駛致死車禍

這樣看來，在無人車上路前就檢測(cè)到可能存在的自動(dòng)駕駛系統(tǒng)的故障顯得尤為重要。對(duì)于伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)在4小時(shí)內(nèi)發(fā)現(xiàn)了百度Apollo 3.0、英偉達(dá)DriveAV系統(tǒng)存在561個(gè)故障，你怎么看？你覺得自動(dòng)駕駛什么時(shí)候才能真正上路呢？