淺談自動(dòng)駕駛安全評(píng)估

作者簡(jiǎn)介：小南郭，某OEM 智駕功能安全工程師，負(fù)責(zé)高低速智駕功能安全開(kāi)發(fā)與流程管理。4年系統(tǒng)功能安全開(kāi)發(fā)經(jīng)驗(yàn)，熟悉智駕產(chǎn)品功能安全&SOTIF方案。

自動(dòng)駕駛安全性的評(píng)估一直是行業(yè)發(fā)展的重點(diǎn)，如何對(duì)自動(dòng)駕駛進(jìn)行完整的安全論證，目前業(yè)界有哪些成熟或在研的方法？本文將就這些內(nèi)容展開(kāi)討論。

自動(dòng)駕駛汽車(chē)什么時(shí)候上市？這個(gè)問(wèn)題多年來(lái)一直困擾著汽車(chē)行業(yè)和社會(huì)。自動(dòng)駕駛技術(shù)的發(fā)展及實(shí)施在過(guò)去十年中取得了快速進(jìn)展，但如何證明這些系統(tǒng)安全性的挑戰(zhàn)尚未解決。

由于沒(méi)有安全證明（proof of safety）的市場(chǎng)投放，既不會(huì)被社會(huì)接受，也不會(huì)被立法者接受，因此近年來(lái)研究學(xué)者，企業(yè)等已投入大量時(shí)間和資源進(jìn)行安全評(píng)估，以開(kāi)發(fā)有效評(píng)估的新方法。[1]在上一篇文章里有提到幾種安全評(píng)估的方法：real world test，scenario based test，formal verification，還提到MiR(Microscopic Risk,微觀風(fēng)險(xiǎn))指標(biāo)是針對(duì)scenario based test定義的指標(biāo)。本文將延續(xù)之前對(duì)可接受準(zhǔn)則的介紹，繼續(xù)探討如何對(duì)自動(dòng)駕駛功能進(jìn)行safety assessment（安全評(píng)估）。后面將主要介紹現(xiàn)在業(yè)界常見(jiàn)的自動(dòng)駕駛安全評(píng)估方法以及其優(yōu)缺點(diǎn)。

在評(píng)估自動(dòng)駕駛汽車(chē)的安全性時(shí)，必須考慮各個(gè)方面。首先，必須確保安全功能（即所謂的預(yù)期功能安全，SOTIF），它側(cè)重于在沒(méi)有EE故障的情況下可能因功能不足而引發(fā)危險(xiǎn)的預(yù)期功能。另一方面是確保預(yù)期功能不會(huì)因系統(tǒng)硬件或軟件中的隨機(jī)和系統(tǒng)故障（功能安全），而引起危害。本文確定將主要關(guān)注前者，即預(yù)期功能安全評(píng)估。[1]

目前業(yè)界有多種方法可用于評(píng)估ADS的預(yù)期功能安全，如圖 1 所示。包括Real world test，Scenario based test，F(xiàn)ormal verification，Shadow mode，F(xiàn)unction based test，F(xiàn)unction based testing。這些方法可用來(lái)評(píng)估自動(dòng)駕駛系統(tǒng)，但各自有其優(yōu)缺點(diǎn)。

圖1：安全評(píng)估方法概覽

值得注意的是，在Scenario based test方法中，首先需對(duì)系統(tǒng)的安全性做出微觀評(píng)估，即MiR指標(biāo)評(píng)估，然后必須將其轉(zhuǎn)化為宏觀評(píng)估，MaR（Macroscopic Risk）評(píng)估，對(duì)應(yīng)上一篇文章提到的可接受準(zhǔn)則，比如ADS事故率。這里可能不太好理解，舉個(gè)例子，比如我們要評(píng)估ADS功能導(dǎo)致追尾這類(lèi)危害場(chǎng)景的事故率，使用TTC作為風(fēng)險(xiǎn)評(píng)估的MiR危險(xiǎn)度量（critical metric），通過(guò)對(duì)場(chǎng)景數(shù)據(jù)的采集，分層，泛化得到具體場(chǎng)景，然后對(duì)ADS算法進(jìn)行仿真測(cè)試，可以得到各參數(shù)（距離，速度等）概率分布下具體場(chǎng)景的危急指標(biāo)（critical metric）。然后基于場(chǎng)景的概率以及critical metric，推導(dǎo)出ADS功能引起追尾的總體事故率MaR。

如何推導(dǎo)，可以采用極值理論（extreme value theory，EVT）來(lái)推測(cè)極端事件（在這里指交通事故）發(fā)生的概率。極值理論 (EVT) 通常用于將測(cè)量結(jié)果（這里可以理解為critical metric）外推到觀察時(shí)間內(nèi)未發(fā)生的不太可能的事件，核心思想利用統(tǒng)計(jì)學(xué)中的概率分布。它在金融和保險(xiǎn)數(shù)學(xué)中很流行。而AD 安全評(píng)估的挑戰(zhàn)與此示例類(lèi)似：很難收集足夠的數(shù)據(jù)來(lái)估計(jì)嚴(yán)重事故的概率，因?yàn)樗鼈儤O為罕見(jiàn)。如果發(fā)現(xiàn)危急指標(biāo)從危急情況指向某一類(lèi)別的事故，則可以使用 EVT 推斷其可能性。收集足夠危急情況所需的里程低于收集事故信息所需的里程。[10]

圖2：跟車(chē)場(chǎng)景的MiR設(shè)計(jì)[5]

MaR指系統(tǒng)的平均風(fēng)險(xiǎn)，例如致命事故的發(fā)生率，被稱(chēng)為宏觀風(fēng)險(xiǎn)（Macroscopic Risk，MaR）。我們可以用單位時(shí)間（每年）事故發(fā)生的次數(shù)，如10^-6/a，或者單位里程事故發(fā)生的次數(shù)，如10^-6/Km。MiR指單一交通場(chǎng)景（如cut in，crossroads）中的風(fēng)險(xiǎn)稱(chēng)為微觀風(fēng)險(xiǎn)（Microscopic Risk，MiR），比如我們常見(jiàn)的縱向風(fēng)險(xiǎn)指標(biāo)TTC（Time to collision），橫向指標(biāo)TTLC（Time to lane change）。

回到安全評(píng)估，以下將介紹圖1中各類(lèi)方法的優(yōu)缺點(diǎn)。

Real world test

實(shí)際道路測(cè)試指使用帶ADS功能的測(cè)試車(chē)輛在真實(shí)環(huán)境中測(cè)試，需要預(yù)先設(shè)計(jì)測(cè)試的里程以及測(cè)試場(chǎng)景。測(cè)試?yán)锍掏ǔＳ煽山邮軠?zhǔn)則推導(dǎo)得出，而測(cè)試場(chǎng)景中應(yīng)考慮目標(biāo)物的類(lèi)型，目標(biāo)物動(dòng)態(tài)行為，道路與車(chē)道結(jié)構(gòu)類(lèi)型，光線，天氣等要素及其比例。在實(shí)際交通中測(cè)試足夠里程的情況下，可以估計(jì)兩次事故之間的平均距離（例如，使用泊松分布）。為了能夠充分說(shuō)明ADS在一定程度上優(yōu)于人類(lèi)，根據(jù)論文[8]的數(shù)據(jù)，則需要大約88億英里的測(cè)試。

圖3：證明故障率達(dá)到特定精度所需的里程數(shù)[8]

此方法的優(yōu)點(diǎn)是，整個(gè)系統(tǒng)是在現(xiàn)實(shí)條件下測(cè)試的，可以反映ADS在真實(shí)環(huán)境的系統(tǒng)表現(xiàn)。然而，經(jīng)濟(jì)代價(jià)較大，可以觸發(fā)具有挑戰(zhàn)性的情況但難以找全。

Staged introduction of AVs

分階段引入ADS的方法，首先仍然是基于real world test，其目的是通過(guò)限制車(chē)輛的ODD，以限制發(fā)生的交通狀況的數(shù)量，從而以經(jīng)濟(jì)可行的方式逐步增加功能可用的區(qū)域。比較嚴(yán)格的ODD例如，只有在良好的環(huán)境條件下，路中有物理隔離帶的結(jié)構(gòu)化道路的固定路段（如G2京滬高速）。在固定路段完成足夠的現(xiàn)場(chǎng)測(cè)試?yán)锍毯笤僦鸩酵茝V到其他高速公路。此外，也可以在測(cè)試車(chē)輛上配置安全員，如果系統(tǒng)出錯(cuò)時(shí)，他可以立即干預(yù)。經(jīng)過(guò)一定里程后車(chē)輛被評(píng)估為安全的，則可以逐漸增加ODD和／或取消安全員。許多傳統(tǒng)的Tier1，OEM，主要采用此方式，比如戴姆勒和博世。很多L4的公司，也在固定區(qū)域配置安全員進(jìn)行無(wú)人載客的嘗試。但其實(shí)此方法仍然需要大量的實(shí)際道路測(cè)試，總體成本較高。[1]

Formal verification

形式驗(yàn)證為系統(tǒng)提供了抽象數(shù)學(xué)模型的形式證明，換句話(huà)說(shuō)，如果系統(tǒng)表現(xiàn)能滿(mǎn)足設(shè)計(jì)的數(shù)學(xué)模型，則認(rèn)為其是安全可靠的。比較有代表性的是 Mobileye的RSS模型與英偉Safety Force Field（安全力場(chǎng)理論）。

RSS定義了自動(dòng)駕駛汽車(chē)應(yīng)遵循的五大準(zhǔn)則，這些準(zhǔn)則參照主流交通規(guī)則和駕駛常識(shí)，同時(shí)形式化定義了自動(dòng)駕駛的危險(xiǎn)場(chǎng)景，形式化定義了自動(dòng)駕駛汽車(chē)在危險(xiǎn)場(chǎng)景下應(yīng)做出的合理行為，并聲稱(chēng)如果所有車(chē)輛（包括人類(lèi)駕駛的車(chē)）都遵循RSS模型，則不會(huì)出現(xiàn)任何事故。

規(guī)則1：保持縱向安全距離（Safety Distance）

規(guī)則2：保持橫向安全距離（Cutting in）

規(guī)則3：不要搶路權(quán)（Right of Way）

規(guī)則4：要注意視野被遮擋的情況（Limited Visibility）

規(guī)則5：如果能避免碰撞，要盡力避免，可以突破規(guī)則1-4，但不能引發(fā)新的碰撞（Avoid Crashes）[6]

形式驗(yàn)證是簡(jiǎn)單有效的方法，但RSS基于的假設(shè)是感知輸入的數(shù)據(jù)不會(huì)出錯(cuò)，因此更適合對(duì)決策規(guī)劃進(jìn)行安全評(píng)估，或者與其他評(píng)估方法聯(lián)合使用。

圖4：RSS模型縱向安全距離公式（Mobileye）[6]

圖5：各交通參與者安全力場(chǎng)（Nvidia）[7]

Scenario-based Testing

基于場(chǎng)景的測(cè)試是目前安全評(píng)估研究的重要方向。首先要區(qū)分幾個(gè)概念，scene，scenario，situation（詳見(jiàn)文獻(xiàn)[4]），scenario是scene的時(shí)間序列，場(chǎng)景包括靜態(tài)和動(dòng)態(tài)元素，以及所有交通參與者，和這些參與者之間的關(guān)系。基于場(chǎng)景的測(cè)試將被測(cè)對(duì)象暴露于（預(yù)）定義的場(chǎng)景，并評(píng)估其反應(yīng)[2]。國(guó)外比較有名的PEGASUS項(xiàng)目就是基于場(chǎng)景的測(cè)試方法，其主要步驟如下：

1. 建立場(chǎng)景數(shù)據(jù)集：基于實(shí)際數(shù)據(jù)與知識(shí)經(jīng)驗(yàn)得到數(shù)據(jù)集；

2. 構(gòu)建具體測(cè)試場(chǎng)景：由功能場(chǎng)景，邏輯場(chǎng)景，逐步細(xì)化得到可執(zhí)行測(cè)試的具體場(chǎng)景，其中涉及到危險(xiǎn)場(chǎng)景的識(shí)別與具體場(chǎng)景參數(shù)的泛化；

3. 測(cè)試評(píng)估自動(dòng)駕駛功能：通過(guò)合理分配仿真測(cè)試，場(chǎng)地測(cè)試，現(xiàn)場(chǎng)測(cè)試，驗(yàn)證ADS功能；

4. 安全論證：收集論點(diǎn)，對(duì)ADS功能安全性形式化論證。

Note：功能場(chǎng)景指非形式化，人可讀，基于行為描述的交通場(chǎng)景。邏輯場(chǎng)景指系列場(chǎng)景參數(shù)化展示，范圍及分布確定，具體場(chǎng)景的場(chǎng)景參數(shù)為確定值。

圖6：PEGASUS項(xiàng)目簡(jiǎn)介（來(lái)源PEGASUS項(xiàng)目）

基于場(chǎng)景的測(cè)試在汽車(chē)行業(yè)中已經(jīng)是一種比較成熟的測(cè)試方法，用于開(kāi)發(fā)、認(rèn)證和評(píng)級(jí)目的，盡管它的名稱(chēng)不同。基于場(chǎng)景的 ADAS 和 AD 測(cè)試之間的主要區(qū)別在于場(chǎng)景抽象級(jí)別（相關(guān)參數(shù)的數(shù)量）和定義相關(guān)場(chǎng)景的來(lái)源。ADAS 場(chǎng)景主要基于事故統(tǒng)計(jì)數(shù)據(jù)，出于評(píng)級(jí)目的 (NCAP)，場(chǎng)景被顯著簡(jiǎn)化（例如，理想的傳感條件、廣闊的試驗(yàn)場(chǎng)等）。AD 場(chǎng)景基于各種來(lái)源，事故統(tǒng)計(jì)的經(jīng)驗(yàn)數(shù)據(jù)、現(xiàn)場(chǎng)測(cè)試/自然駕駛研究和以前的測(cè)試（包括模擬）結(jié)果，以及基于頭腦風(fēng)暴、經(jīng)驗(yàn)、演繹。[2]

個(gè)人理解，基于場(chǎng)景的測(cè)試有以下幾個(gè)難點(diǎn)和重點(diǎn)：

1. 不論是實(shí)際路采數(shù)據(jù)，專(zhuān)家經(jīng)驗(yàn)還是事故數(shù)據(jù)，組成的場(chǎng)景數(shù)據(jù)庫(kù)，如何保證場(chǎng)景庫(kù)（scenario database）的完整性？

2. 以高速公路為例，單調(diào)低風(fēng)險(xiǎn)的場(chǎng)景占大多數(shù)，如何從場(chǎng)景數(shù)據(jù)集中篩選出危險(xiǎn)場(chǎng)景構(gòu)建場(chǎng)景庫(kù)？比如通過(guò) critical metric（類(lèi)似TTC這些指標(biāo)）篩選場(chǎng)景，如何設(shè)計(jì) critical metric以適應(yīng)各類(lèi)場(chǎng)景下的危險(xiǎn)度量？

3. 當(dāng)篩選出危險(xiǎn)場(chǎng)景后，如何對(duì)場(chǎng)景特征參數(shù)泛化以達(dá)到足夠的場(chǎng)景覆蓋度，以及場(chǎng)景的概率分布如何提取，特征參數(shù)之間的物理約束如何考慮？

4. 測(cè)試方式包括基于仿真，場(chǎng)地，實(shí)際道路測(cè)試，仿真環(huán)境下如何保證傳感器模型與實(shí)際

5. 物理表現(xiàn)一致，需要做哪些 qualification？實(shí)際道路測(cè)試又需要對(duì)哪些場(chǎng)景采樣，對(duì)應(yīng)的比例需要如何設(shè)計(jì)？

6. 測(cè)試覆蓋度如何保證，才能聲明基于場(chǎng)景的ADS功能測(cè)試是充分的？

7. 基于場(chǎng)景的測(cè)試得到的是具體場(chǎng)景的危險(xiǎn)度量，也就是微觀指標(biāo)（MiR），如何推導(dǎo)出系統(tǒng)的平均風(fēng)險(xiǎn)度量（MaR）？

其中有些問(wèn)題PEGASUS及其他類(lèi)似項(xiàng)目已經(jīng)給出部分解決方案，有些仍然還在探索，涉及的內(nèi)容較多，在這里暫不展開(kāi)討論。

Shadow Mode

影子模式是特斯拉測(cè)試新功能的常用方法，指在有人駕駛狀態(tài)下，系統(tǒng)包括傳感器仍然運(yùn)行但并不參與車(chē)輛控制，只是對(duì)決策算法進(jìn)行驗(yàn)證——系統(tǒng)的算法在“影子模式”下做持續(xù)模擬決策，并且把決策與駕駛員的行為進(jìn)行對(duì)比，一旦兩者不一致，該場(chǎng)景便被判定為“極端工況”，進(jìn)而觸發(fā)數(shù)據(jù)回傳。

然而，在模擬環(huán)境中其他道路使用者的行為與現(xiàn)實(shí)不相符，所以在驗(yàn)證ADS算法是有一定局限性。主要因?yàn)槠渌缆肥褂谜咭哺鶕?jù)自動(dòng)駕駛的行為規(guī)劃他們的行動(dòng)。如果某種情況下的人駕做出的決定與ADS不同，那么可能另一個(gè)道路使用者會(huì)做出不同的決定。

圖7：特斯拉影子模式（來(lái)源九章智駕）

Function based test

在基于功能的測(cè)試中，首先根據(jù)需求定義系統(tǒng)功能與use case，然后在測(cè)試場(chǎng)或模擬環(huán)境中進(jìn)行測(cè)試。這是ADAS測(cè)試過(guò)程中常用的方式。當(dāng)前的 ISO 標(biāo)準(zhǔn)（例如自適應(yīng)巡航控制的 ISO 15622）和 UN ECE 法規(guī)（例如高級(jí)緊急制動(dòng)系統(tǒng)的 UN ECE R131）遵循基于功能的方法，為各個(gè)系統(tǒng)定義了一些固定測(cè)試。但對(duì)ADS來(lái)說(shuō)很難，因?yàn)椴豢赡茉诿總€(gè)可能的場(chǎng)景下定義ADS所需的功能。[1]

圖8：直線道路上的距離探測(cè)能力（來(lái)源ISO15622）

此外多種測(cè)試方式共同用于ADS的安全評(píng)估也得到越來(lái)越多的共識(shí)，有些傳感器供應(yīng)商對(duì)其產(chǎn)品的安全驗(yàn)證結(jié)合了Scenario-based Testing與Real world test，如圖，Ibeo激光雷達(dá)的考慮了隨機(jī)道路測(cè)試與基于場(chǎng)景測(cè)試，以達(dá)到最終的安全論證，發(fā)現(xiàn)基于場(chǎng)景的測(cè)試能更好地發(fā)現(xiàn)長(zhǎng)尾場(chǎng)景。

圖9：Ibeo激光雷達(dá)測(cè)試簡(jiǎn)介

（來(lái)源Ibeo公開(kāi)材料，如有侵權(quán)，請(qǐng)及時(shí)聯(lián)系）

總結(jié)

所有方法都有不能忽視的缺點(diǎn)。在實(shí)際交通中進(jìn)行的測(cè)試可能具有最好的有效性，但在SOP之前完成這項(xiàng)工作是不可行的。形式驗(yàn)證可以對(duì)決策與規(guī)劃算法有較好的評(píng)估，但無(wú)法解決感知的limitation?；趫?chǎng)景的測(cè)試是一種經(jīng)濟(jì)有效的方法，但是需要有效的仿真模型，并且需要將微觀指標(biāo)轉(zhuǎn)換為系統(tǒng)平均風(fēng)險(xiǎn)度量。個(gè)人認(rèn)為，需要采用一種綜合方法來(lái)最終安全論證引入ADS的殘余風(fēng)險(xiǎn)是可接受的。以上就是個(gè)人的粗見(jiàn)，如有疏漏，還請(qǐng)各位專(zhuān)家見(jiàn)諒。

參考文獻(xiàn)

[1]STEFAN RIEDMAIER.etc. Survey on Scenario-based Safety Assessment of Automated Vehicles. Received March 19, 2020, accepted April 23, 2020, date of publication May 11, 2020, date of current version May 21, 2020

[2]Philipp Junietz, etc. evaluation of Different Approaches to Address Safety Validation of Automated Driving 2018 21st International Conference on Intelligent Transportation Systems (ITSC) Maui, Hawaii, USA, November 4-7, 2018

[3]N. Kalra and S. M. Paddock, “Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?” Transp. Res. A, Policy Pract., vol. 94, pp. 182–193, Dec. 2016. [Online]. Available: 

[4]Simon Ulbrich, Till Menzel, etc. Defining and Substantiating the Terms Scene, Situation, and Scenario for Automated Driving. 2015 IEEE 18th International Conference on Intelligent Transportation Systems

[5]Philipp Matthias Junietz, M.Sc. Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving. Ph.D. dissertation, Tech. Univ. Darmstadt, Darmstadt, Germany, 2019 Bibliography

[6]Shai Shalev-Shwartz, Shaked Shammah & Amnon Shashua (2017): On a Formal Model of Safe and Scalable Self-driving Cars. arXiv:1708.06374.

[7] An Introduction to the Safety Force Field David Nistér, Hon-Leung Lee, Julia Ng, Yizhou Wang. NVIDIA Corporation 2788 San Tomas Expressway, Santa Clara, CA 95051 http://www.nvidia.com.

[8] Nidhi Kalra , Susan M. Paddock. Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?

[9] https://www.pegasusprojekt.de/en/

[10] Praprut Songchitruksa. The extreme value theory approach to safety estimation. Accident Analysis and Prevention 38 (2006) 811–822