*本文翻譯自Juan R.Pimental所著Safety of the Intended Functionality (SOTIF) Book 3 - Automated Vehicle Safety Series，中文版權(quán)歸軒轅實(shí)驗(yàn)室所有
驗(yàn)證高度自動化車輛(HAVs)的安全性是一項(xiàng)重大的自動駕駛挑戰(zhàn)。HAV安全驗(yàn)證策略僅僅基于原始的道路測試是不可行的。雖然模擬和使用邊緣案例場景可以幫助降低驗(yàn)證成本，但如果不采用驗(yàn)證數(shù)據(jù)收集和安全分析的更細(xì)致的觀點(diǎn)，僅使用這些技術(shù)不太可能為全面部署提供足夠的保證。驗(yàn)證方法可以通過使用高保真度測試來顯式驗(yàn)證低保真度測試的假設(shè)和簡化，而不僅僅是獲得低保真度測試結(jié)果的抽樣復(fù)制，從而得到改進(jìn)。分離多個測試目標(biāo)可以通過分離需求的驗(yàn)證過程、環(huán)境模型的充分性、自治正確性、自治健壯性和測試場景的可靠性來提供幫助。對于具有隱式設(shè)計(jì)和需求的自主方法，如機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，在主要結(jié)構(gòu)中建立觀察點(diǎn)可以幫助確保車輛在正確的原因下通過正確的測試。這些原則可以提高證明HAV安全性的效率和效率，作為包括驅(qū)動測試和生命周期監(jiān)控以及階段性驗(yàn)證計(jì)劃（用于明確管理驗(yàn)證不確定性的）的一部分。
1 簡介

盡管面臨著跨學(xué)科的重大挑戰(zhàn)，高自動化車輛(HAVs)的大規(guī)模部署似乎迫在眉睫。目前，還沒有就驗(yàn)證這些車輛的非傳統(tǒng)軟件方面的安全性的技術(shù)策略達(dá)成普遍共識?？紤]到NHTSA（國家公路交通安全管理局）對自動車輛技術(shù)安全的非監(jiān)管方法，似乎只要開發(fā)團(tuán)隊(duì)認(rèn)為他們的車輛準(zhǔn)備好了，就會部署許多HAV，然后他們就會看到公共道路上的情況如何。即使試點(diǎn)部署的事故發(fā)生率低到可以接受的程度，但仍存在一個問題：有限規(guī)模的部署能否準(zhǔn)確預(yù)測更大規(guī)模部署的安全性，以及隨之而來的軟件更新。
我們經(jīng)常看到這樣的聲明：累積道路里程將驗(yàn)證HAV系統(tǒng)的安全性，特別是在試圖描述開發(fā)工作進(jìn)展的情況下。即使提到了其他形式的驗(yàn)證，對這個主題更全面的討論仍然傾向于著重強(qiáng)調(diào)測試的作用。然而，即使使用封閉的車道和高可靠性的模擬，在部署之前進(jìn)行的車輛水平測試的數(shù)量也是有限制的。
本文的范圍是驗(yàn)證需要超越ISO 26262規(guī)范，并強(qiáng)調(diào)SAE 4級自治。第4級HAV只需要在指定的運(yùn)行設(shè)計(jì)域(ODD)內(nèi)進(jìn)行自主操作，這就避免了系統(tǒng)在特定的條件下運(yùn)行。
一種超越里程積累的HAV自主安全驗(yàn)證方法是非常可取的。最好，它還應(yīng)該基于一個偽造的方法，包括具體的，可測試的安全目標(biāo)和要求。本文提出了一些方法來提高HAV有效性，從而得到一個更合理的安全論證。分層的驗(yàn)證步驟可以幫助支持這樣一個結(jié)論，即HAV系統(tǒng)是可接受的安全的，即使在沒有完全規(guī)定的自動功能的傳統(tǒng)功能需求集的情況下也是如此。
方法

我們相信，HAV的驗(yàn)證工作可以通過應(yīng)用以下理念得到顯著加強(qiáng):
1．通過分別管理需求驗(yàn)證和設(shè)計(jì)驗(yàn)證，將測試的不同目標(biāo)分開。
2．在低保真度模擬和測試中，使用高保真度模擬和測試來減少由于假設(shè)和差異而產(chǎn)生的剩余風(fēng)險(xiǎn)。
3．在HAV體系結(jié)構(gòu)中提供可觀察性，來確保測試以合理的原因通過。
4．在安全參數(shù)中明確不確定性的管理。
盡管這些想法是基于某些領(lǐng)域的現(xiàn)有實(shí)踐，但是HAV技術(shù)的新穎性和HAV商業(yè)化的速度促使我們對如何應(yīng)用這些想法來管理和降低HAV部署的風(fēng)險(xiǎn)進(jìn)行清晰、統(tǒng)一的描述。
術(shù)語

我們的術(shù)語通常與ISO 26262兼容。下列用語特別相關(guān):
風(fēng)險(xiǎn):對可能導(dǎo)致?lián)p失的事故的概率和后果的綜合衡量。
安全:沒有造成損失的意外事故的不合理風(fēng)險(xiǎn)。4級HAV損失事件包括可能由于HAV設(shè)計(jì)缺陷或操作故障而導(dǎo)致的死亡。對于最初的HAV部署，公共政策會對可能構(gòu)成合理風(fēng)險(xiǎn)的評估產(chǎn)生影響。
安全驗(yàn)證:證明系統(tǒng)級安全需求(安全目標(biāo))是確保一個可接受的安全水平的關(guān)鍵，并且已經(jīng)實(shí)現(xiàn)。
安全論證(安全案例):支持安全驗(yàn)證的書面論證和證據(jù)。
機(jī)器學(xué)習(xí)(ML):在系統(tǒng)設(shè)計(jì)中使用歸納學(xué)習(xí)的一種方法，其中運(yùn)行時(shí)系統(tǒng)使用學(xué)習(xí)過程的結(jié)果來執(zhí)行算法操作(例如，運(yùn)行具有預(yù)先計(jì)算的權(quán)值的深度卷積神經(jīng)網(wǎng)絡(luò))。本文假設(shè)在驗(yàn)證之前權(quán)重是固定的。驗(yàn)證在運(yùn)行時(shí)修改權(quán)重或以其他方式學(xué)習(xí)的動態(tài)自適應(yīng)ML系統(tǒng)超出了本文的范圍。
2 汽車的測試和仿真

在描述提出的驗(yàn)證策略之前，首先回顧當(dāng)前HAV安全評估方法中測試和仿真的典型應(yīng)用。
在ISO 26262之外

處理許多潛在的設(shè)計(jì)和實(shí)現(xiàn)缺陷可以，而且應(yīng)該通過使用已建立的安全標(biāo)準(zhǔn)，如ISO 26262來完成。對于那些即使是一個完美工作的系統(tǒng)也可能不能提供完全安全的功能的領(lǐng)域，可以使用[9]來覆蓋預(yù)期功能的安全性(SOTIF)的新標(biāo)準(zhǔn)。SOTIF標(biāo)準(zhǔn)可能提供一種方法來處理具有統(tǒng)計(jì)有效功能的函數(shù)，例如基于雷達(dá)的障礙檢測函數(shù)。如[10]中所討論的，還必須解決針對基于MLB的系統(tǒng)的其他問題。總的來說，在功能性安全方法中，根據(jù)V模型進(jìn)行驗(yàn)證的典型問題是ML系統(tǒng)功能對人是不透明的。這使得可跟蹤性問題執(zhí)行可跟蹤性分析的人員不能分析設(shè)計(jì)工件。
我們并沒有根據(jù)V模型嘗試設(shè)計(jì)到測試的可跟蹤性方法，相反，我們探索了以測試為中心的方法在ISO 26262和SOTIF標(biāo)準(zhǔn)的實(shí)際應(yīng)用范圍之外可以做什么，這些標(biāo)準(zhǔn)并不是為ML驗(yàn)證設(shè)計(jì)的。
系統(tǒng)測試/調(diào)試/補(bǔ)丁作為基線策略

在自動駕駛汽車原型設(shè)計(jì)中，道路測試一直是重點(diǎn)。機(jī)器人領(lǐng)域嚴(yán)重依賴于真實(shí)世界的測試，以便了解機(jī)器人需要什么特性。然而，隨著汽車從原型過渡到生產(chǎn)，驗(yàn)證方法必須變得更加全面。
將HAV安全論證完全建立在累積道路里程的基礎(chǔ)上是驗(yàn)證安全的一種不切實(shí)際的方法。這種方法需要大量的里程才能得出可信的統(tǒng)計(jì)數(shù)據(jù)。除此之外，累積的道路測試證據(jù)的有效性也會隨著軟件的變化而受到潛在的破壞，無論是對訓(xùn)練數(shù)據(jù)的更新，新行為的添加，還是僅僅是一個安全補(bǔ)丁。
作為一個實(shí)際問題，如果在數(shù)十億英里的道路測試和模擬后，數(shù)據(jù)顯示HAV沒有達(dá)到預(yù)期的安全目標(biāo)，會發(fā)生什么?開發(fā)團(tuán)隊(duì)(或者他們應(yīng)該)在發(fā)現(xiàn)任何觀察到的缺陷后，進(jìn)行另外的十幾億英里的道路測試嗎?或者團(tuán)隊(duì)只是修補(bǔ)那些容易復(fù)制的bug，測試幾英里，然后宣布勝利，然后繼續(xù)部署?來自市場競爭的巨大壓力的現(xiàn)實(shí)將如何影響團(tuán)隊(duì)對結(jié)果的解釋和驗(yàn)證方法?
基本上，所有其他行業(yè)的軟件系統(tǒng)的功能安全驗(yàn)證都不是基于試用部署，而是基于測試和其他可以由獨(dú)立評估人員進(jìn)行評估的驗(yàn)證方法。如果HAV行業(yè)希望遵循這些先例，它將需要一種方法來建立一個系統(tǒng)的、可辯護(hù)的安全論證，可以由獨(dú)立的一方進(jìn)行評估，盡管存在許多獨(dú)特的驗(yàn)證挑戰(zhàn)。
車輛水平測試和仿真的局限性

實(shí)際上，不可能執(zhí)行足夠的普通系統(tǒng)級測試來確保生命關(guān)鍵系統(tǒng)的安全性。一般來說，這是因?yàn)槠囓囮?duì)暴露在空氣中的時(shí)間太長，對生命安全的要求又太嚴(yán)格，所以檢測無法積累足夠的暴露時(shí)間來證明安全性。
對于高速公路，測試不可行性問題的一個表現(xiàn)是，異常情況必須安全處理，但在正常駕駛中相對少見。道路測試是觀察偶然發(fā)生的罕見事件的一種無效方法。通過將它們設(shè)置為明確設(shè)計(jì)的測試場景（例如，封閉過程測試）可以加速對已知罕見事件的暴露。通過將測試用例的分布向更復(fù)雜的已知場景傾斜，可以進(jìn)一步加速評估。例如，Waymo除了道路測試程序外，還使用封閉課程測試和廣泛的模擬。
由于資源的限制，即使覆蓋已知的場景也可能是具有挑戰(zhàn)性的，如果它只涉及到使用物理車輛?；谲浖能囕v仿真可以通過在多臺計(jì)算機(jī)上并行運(yùn)行仿真來擴(kuò)大測試場景的覆蓋范圍，但不可避免地會涉及保真度與運(yùn)行時(shí)成本之間的權(quán)衡，以及關(guān)于軟件模型的完整性和準(zhǔn)確性的問題。模擬不包括模擬未預(yù)料到的情況(例如，未知的安全相關(guān)的罕見事件)的可能性。
影子模式駕駛和SAE 3級自動駕駛部署可以通過監(jiān)視部署的車隊(duì)來增加對真實(shí)駕駛場景的暴露，其中人類駕駛員負(fù)責(zé)安全。然而，在三級系統(tǒng)中，人類駕駛員是否能夠有效地監(jiān)督安全存在爭議。
道路測試、封閉過程測試、仿真和對人工系統(tǒng)的監(jiān)控在演示HAV安全性方面都具有重要的地位。然而，為了同時(shí)有效和高效，它們應(yīng)該以一種互補(bǔ)的方式組織起來。(我們認(rèn)識到許多HAV開發(fā)人員都有復(fù)雜但專用的驗(yàn)證方法。在本文中，我們假設(shè)一個樸素的里程計(jì)算基線方法來說明這些問題。)
仿真現(xiàn)實(shí)本身是低效的

當(dāng)被問及為什么用真實(shí)車輛進(jìn)行道路測試比模擬測試更好時(shí)，一個典型的回答是它更真實(shí)。最終，在現(xiàn)實(shí)世界中測試一輛真實(shí)的汽車是很重要的。但是現(xiàn)實(shí)主義本身是對測試資源的無效的，并且最終是不可避免的。
仿真有效性的關(guān)鍵是具有適當(dāng)?shù)恼鎸?shí)性(仿真可靠性)來完成工作。眾所周知，所有的模型都是錯誤的，但有些模型是有用的。由于模擬涉及系統(tǒng)模型、環(huán)境模型和系統(tǒng)使用模型，因此沒有模擬是完美的。
仿真的可靠性水平是對系統(tǒng)行為進(jìn)行簡化和假設(shè)的程度。低保真度仿真通常通過使用簡化的系統(tǒng)表示(有時(shí)稱為降階模型)來快速執(zhí)行，因此在某種意義上是錯誤的。高可靠性仿真通常更復(fù)雜，執(zhí)行起來也更昂貴，但是包含的簡化和假設(shè)更少，因此錯誤更少。但是這兩種模型都是有用的。
提高測試效率的關(guān)鍵是要認(rèn)識到，并不是所有的現(xiàn)實(shí)主義對所有測試都有用。作為一個簡單的例子，模擬路面摩擦系數(shù)通常與確定計(jì)算機(jī)視覺能力是否能看到路上的孩子無關(guān)。(摩擦系數(shù)可能與車輛是否能及時(shí)停車有關(guān)，但與特定的幾何和環(huán)境場景是否能檢測到兒童無關(guān)。)無論測試是在軟件模擬中(通過對不同路面進(jìn)行建模)，還是在模擬測試軌道場景中(通過在停機(jī)坪上的沙子或冰)，都是如此。
有效的仿真的關(guān)鍵是不僅要考慮被驗(yàn)證的系統(tǒng)，還要考慮系統(tǒng)和操作環(huán)境的各種可靠性模型所作的假設(shè)。因此，任何實(shí)際的驗(yàn)證都應(yīng)該被看作是一系列不同抽象和可靠性層次的模型。從這個角度看，封閉過程測試是模擬的一種形式，因?yàn)榧词股婕暗恼系K和車輛可能是真實(shí)的，場景也是模擬的。驗(yàn)證HAV安全性不僅需要確保HAV系統(tǒng)模型非常準(zhǔn)確，還需要驗(yàn)證用于創(chuàng)建測試計(jì)劃和測試模擬的環(huán)境和使用模型。