本文來(lái)自實(shí)驗(yàn)室金若辰、黃安妍、許偉豪、楊園的研究成果和學(xué)習(xí)筆記

自動(dòng)駕駛汽車（AVs）正成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?。大約50家公司正在積極開(kāi)發(fā)自動(dòng)駕駛汽車，包括谷歌、福特和英特爾等大公司。一些自動(dòng)駕駛汽車已經(jīng)在公共道路上運(yùn)行，最近有記錄顯示至少有一人不幸死亡。因此，了解自動(dòng)駕駛系統(tǒng)中的錯(cuò)誤對(duì)于確保其安全性、安全性、健壯性和正確性至關(guān)重要。

此篇論文從Baidu Apollo, Autoware系統(tǒng)中分析16851次代碼提交以及499個(gè)bug，并將其分類為13種原因，20種現(xiàn)象，18種分類，最終總結(jié)出16條發(fā)現(xiàn)。

1.AV系統(tǒng)基本介紹



百度Apollo開(kāi)源平臺(tái)的主要部分：HD maps（高精度地圖）（支持其他所有模塊）, localization(定位)，perception（感知），prediction（預(yù)測(cè)），planning（規(guī)劃），control（控制）

•  定位：汽車運(yùn)用激光和雷達(dá)數(shù)據(jù)，將這些傳感器感知內(nèi)容與高分辨率地圖進(jìn)行對(duì)比，這種對(duì)比可以實(shí)現(xiàn)厘米級(jí)別精度的定位

精確定位的常用方法：傳感器內(nèi)容與地圖內(nèi)容進(jìn)行對(duì)比，需要將自身坐標(biāo)系中的數(shù)據(jù)轉(zhuǎn)化為地圖坐標(biāo)系中的數(shù)據(jù)

利用激光雷達(dá)，我們可以通過(guò)點(diǎn)云匹配來(lái)對(duì)汽車進(jìn)行定位（點(diǎn)云是指目標(biāo)表面特性的海量點(diǎn)集合。結(jié)合激光測(cè)量和攝影測(cè)量原理得到點(diǎn)云，包括三維坐標(biāo)（XYZ）、激光反射強(qiáng)度（Intensity）和顏色信息（RGB）。在獲取物體表面每個(gè)采樣點(diǎn)的空間坐標(biāo)后，得到的是一個(gè)點(diǎn)的集合，稱之為“點(diǎn)云”(Point Cloud)。）

匹配點(diǎn)云算法

•  迭代最近點(diǎn)（ICP）：兩次點(diǎn)云掃描進(jìn)行匹配，第一次掃描中的每一個(gè)點(diǎn)在第二次掃描的結(jié)果中尋找最匹配的點(diǎn)，得到許多匹配點(diǎn)對(duì)，距離誤差相加計(jì)算平均距離誤差，平移和旋轉(zhuǎn)來(lái)降低平均誤差。

•  濾波算法：消除冗余信息，在地圖上找到最可能的車輛位置

•  直方圖濾波算法（誤差平方算法，ssd)

•  卡爾曼濾波算法：根據(jù)過(guò)去的狀態(tài)和新的傳感器測(cè)量結(jié)果來(lái)預(yù)測(cè)當(dāng)前的狀態(tài)，并用傳感器的位置加以糾正。

•  感知：深度學(xué)習(xí)是重要的工具，卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成深度學(xué)習(xí)的分支對(duì)感知任務(wù)中的分類、檢測(cè)和分割十分重要。這種方法適用于幾種不同的無(wú)人駕駛車傳感器的數(shù)據(jù)來(lái)源，包括攝像頭，雷達(dá)，激光雷達(dá)

•  預(yù)測(cè)：預(yù)測(cè)其他車輛和行人的移動(dòng)

•  控制：運(yùn)用轉(zhuǎn)向油門和制動(dòng)來(lái)執(zhí)行規(guī)劃軌跡

•  規(guī)劃：將預(yù)測(cè)和路線相結(jié)合以生成車輛軌跡

•  慣性導(dǎo)航：可以用加速度，初始速度，初始位置來(lái)計(jì)算汽車在任何時(shí)間點(diǎn)的車速和位置，慣性測(cè)量單元可以提供實(shí)時(shí)的位置信息，更新頻率很高，可以在很短的時(shí)間內(nèi)進(jìn)行定位。IMU和GPS相結(jié)合，IMU彌補(bǔ)了GPS更新頻率較低的缺陷，GPS糾正了IMU的運(yùn)動(dòng)誤差

•  視覺(jué)定位：攝像頭與其他傳感器數(shù)據(jù)相結(jié)合

•  激光雷達(dá)定位：這種方法將來(lái)自激光雷達(dá)傳感器的監(jiān)測(cè)數(shù)據(jù)與預(yù)先存在的高精度地圖連續(xù)匹配，通過(guò)比較可以獲知汽車在高精度地圖上的全球位置和行駛方向。

Apollo工作原理

基于GPS,IMU,激光雷達(dá)的多傳感器融合定位系統(tǒng)，利用不同傳感器的互補(bǔ)優(yōu)勢(shì)，提高準(zhǔn)確性穩(wěn)定性。

這些傳感器同時(shí)支持GNSS（速度和位置信息）和lidar定位（位置和方向信息），融合框架通過(guò)卡爾曼濾波將這些輸出結(jié)合在一起，卡爾曼濾波建立在兩步預(yù)測(cè)測(cè)量周期上，慣性導(dǎo)航解決方案用于預(yù)測(cè)步驟，GNSS和lidar定位用于卡爾曼濾波測(cè)量結(jié)果的更新。



2. AV系統(tǒng)bug的根本原因

研究問(wèn)題1:導(dǎo)致高級(jí)自動(dòng)駕駛錯(cuò)誤的不同根源發(fā)生的程度有多大？

對(duì)于不正確的算法實(shí)現(xiàn)，修復(fù)它們所產(chǎn)生的錯(cuò)誤通常需要非常簡(jiǎn)單和廣泛的代碼修改，可能會(huì)影響許多行代碼（即平均104行代碼）。因此，在這些情況下定位故障或自動(dòng)修復(fù)故障可能是具有高度挑戰(zhàn)性的。



發(fā)現(xiàn)1:不正確的算法實(shí)現(xiàn)，通常涉及許多行代碼，會(huì)導(dǎo)致27.86%的AV錯(cuò)誤。

發(fā)現(xiàn)2:不正確的配置導(dǎo)致大量AV錯(cuò)誤，即27.25%的自動(dòng)駕駛錯(cuò)誤。

發(fā)現(xiàn)3:涉及相對(duì)較少行代碼的錯(cuò)誤的根本原因，即20行或更少的代碼，導(dǎo)致25.25%的錯(cuò)誤。

3.AV系統(tǒng)bug的現(xiàn)象（后果）

問(wèn)題2:不同的自動(dòng)駕駛錯(cuò)誤癥狀會(huì)在多大程度上發(fā)生？

在駕駛錯(cuò)誤中，最常見(jiàn)的癥狀包括速度和速度控制、軌跡和車道定位和導(dǎo)航。

•  Crashes -不正確的終止

•  Hangs-系統(tǒng)或組件在其進(jìn)程仍在運(yùn)行時(shí)無(wú)法對(duì)輸入作出響應(yīng)。生成錯(cuò)誤可阻止正確編譯、構(gòu)建或正確安裝AV系統(tǒng)或組件

•  Display and GUI (DGUI)-顯示在GUI、可視化或AV系統(tǒng)的HMI上的錯(cuò)誤輸出

•  Camera-相機(jī)捕捉圖像失敗

•  Stop and parking (Stop)-制動(dòng)錯(cuò)誤

•  Lane Positioning and Navigating (LPN)-導(dǎo)航或定位錯(cuò)誤

•  Speed and Velocity Control (SVC)-速度失常

•  Traffic Light Processing (TLP)-交通燈錯(cuò)誤

•  Traffic Light Processing (TLP)-啟動(dòng)錯(cuò)誤

•  Turning (Turn)-轉(zhuǎn)向錯(cuò)誤

•  Trajectory (Traj)-軌跡錯(cuò)誤

•  Localization (LOC)-基于多傳感器融合的定位相關(guān)的錯(cuò)誤行為，并可能表現(xiàn)為車輛地圖上的錯(cuò)誤信息

•  Security & safety (SS)-安全保障失效

•  Obstacle Processing (OP)-障礙物處理失效

•  Logic-邏輯錯(cuò)誤

•  documentation (Doc)-文檔錯(cuò)誤

•  Unreported -無(wú)法通過(guò)閱讀問(wèn)題討論或描述、源代碼或問(wèn)題標(biāo)簽來(lái)識(shí)別癥狀。

•  IO-輸入輸出錯(cuò)誤

•  Other



發(fā)現(xiàn)4:28.06%的錯(cuò)誤直接影響自動(dòng)車輛的駕駛功能，速度和速度控制、軌跡和車道定位和導(dǎo)航的頻率分別為8.42%、6.01%和5.01%。

發(fā)現(xiàn)5:構(gòu)建錯(cuò)誤、崩潰、邏輯錯(cuò)誤和GUI錯(cuò)誤是AV系統(tǒng)中最頻繁發(fā)生的領(lǐng)域獨(dú)立錯(cuò)誤之一，構(gòu)建錯(cuò)誤占16.23%，崩潰為10.62%，邏輯錯(cuò)誤為11.42%，GUI錯(cuò)誤為7.82%。

發(fā)現(xiàn)6:有明顯安全或安全癥狀報(bào)告的錯(cuò)誤很少發(fā)生，只占AV錯(cuò)誤的1%。

4. 不同現(xiàn)象出現(xiàn)的頻率

問(wèn)題3:每個(gè)根源會(huì)產(chǎn)生什么樣的錯(cuò)誤癥狀？

涉及許多代碼的錯(cuò)誤算法實(shí)現(xiàn)導(dǎo)致所有8種癥狀，直接影響車輛的駕駛，并導(dǎo)致我們的分類方案中所有20種癥狀中的16種。



發(fā)現(xiàn)7:常見(jiàn)的原因是涉及編譯、構(gòu)建、兼容性和安裝（配置）的錯(cuò)誤配置

不正確的配置導(dǎo)致了各種各樣的錯(cuò)誤癥狀，20個(gè)配置中有13個(gè)，其中絕大多數(shù)導(dǎo)致了構(gòu)建錯(cuò)誤，

發(fā)現(xiàn)8:錯(cuò)誤分配或初始化導(dǎo)致的錯(cuò)誤在兩個(gè)AV系統(tǒng)中相對(duì)經(jīng)常發(fā)生，

發(fā)現(xiàn)9:變量、條件語(yǔ)句或條件邏輯的分配不正確會(huì)導(dǎo)致20個(gè)AV錯(cuò)誤癥狀中的16個(gè)。

發(fā)現(xiàn)10:并發(fā)性和內(nèi)存濫用導(dǎo)致的錯(cuò)誤癥狀相對(duì)較少，即499個(gè)錯(cuò)誤中的21個(gè)（4.21%）。

5.在不同組件中出現(xiàn)bug的頻率

問(wèn)題4:AV組件在多大程度上包含錯(cuò)誤？

在這兩個(gè)系統(tǒng)中錯(cuò)誤最多的核心AV組件是“規(guī)劃、感知”和本地化——從大多數(shù)錯(cuò)誤排序到最少，分別有135個(gè)（27.05%）、83個(gè)（16.63%）和57個(gè)（11.42%）。



發(fā)現(xiàn)11:許多錯(cuò)誤不會(huì)發(fā)生在AV系統(tǒng)的特定領(lǐng)域的核心功能中

發(fā)現(xiàn)12:規(guī)劃組件既有大量的缺陷，且表現(xiàn)出許多癥狀（駕駛?cè)毕莸?2.14%）。

6.在不同組件中出現(xiàn)的bug現(xiàn)象

問(wèn)題5:自動(dòng)駕駛組件在多大程度上出現(xiàn)錯(cuò)誤癥狀？

5種特別的現(xiàn)象——LPN, SVC, Stop, Turn, Traj，在規(guī)劃組件中尤為發(fā)生（高達(dá)62.14%）。



發(fā)現(xiàn)13:規(guī)劃組件存在大量錯(cuò)誤，并表現(xiàn)出許多癥狀，這些癥狀對(duì)AVs的安全和正確駕駛尤為重要（62.14%的駕駛錯(cuò)誤）。

發(fā)現(xiàn)14:崩潰錯(cuò)誤發(fā)生在整個(gè)關(guān)鍵的AV組件中，尤其是感知、定位和規(guī)劃中，使它們?nèi)菀资艿礁ｋU(xiǎn)的影響。

發(fā)現(xiàn)15:生成錯(cuò)誤會(huì)影響許多組件，概率為83.33%。

發(fā)現(xiàn)16:顯示速度和速度控制誤差的錯(cuò)誤會(huì)影響大量的AV組件，影響的組件概率為50.00%。

7.討論

(1)發(fā)現(xiàn)2，5，8與15表明工程師花費(fèi)了大量時(shí)間在諸如兼容性，編譯，上傳更新與安裝等與算法無(wú)關(guān)的部分。

(2)發(fā)現(xiàn)1，7強(qiáng)烈地表明，現(xiàn)有的bug定位和修復(fù)方法可能需要使用特定于領(lǐng)域的信息和執(zhí)行修復(fù)的能力來(lái)增強(qiáng)，這些修復(fù)涉及許多行非平凡代碼。

(3)AV研究人員需要更加關(guān)注安全

(4)AV研究人員需要更加關(guān)注其他組件

(5)研究的局限性：

內(nèi)部：主觀的分類偏差

外部：數(shù)據(jù)集的普適性；實(shí)驗(yàn)發(fā)現(xiàn)的普適性。