*本文翻譯自Juan R.Pimental所著Safety of the Intended Functionality (SOTIF) Book 3 - Automated Vehicle Safety Series，中文版權(quán)歸軒轅實(shí)驗(yàn)室所有
3 明確測(cè)試的目標(biāo)

一個(gè)具有健壯性的安全驗(yàn)證計(jì)劃必須至少解決以下類(lèi)型的缺陷，這些缺陷包含了系統(tǒng)、環(huán)境和系統(tǒng)使用中的潛在故障:
•需求缺陷:系統(tǒng)被要求做錯(cuò)誤的事情(缺陷)，不被要求做正確的事情(缺口)，或者有一個(gè)運(yùn)行設(shè)計(jì)域類(lèi)型的缺口。
•設(shè)計(jì)缺陷:系統(tǒng)未能滿(mǎn)足其安全要求(例如，由于實(shí)現(xiàn)缺陷)，或未能正確響應(yīng)所定義的運(yùn)行設(shè)計(jì)域。
•測(cè)試計(jì)劃缺陷:測(cè)試計(jì)劃未能在需求或設(shè)計(jì)中執(zhí)行個(gè)別用例，或者存在其他缺陷。
•魯棒性問(wèn)題:無(wú)效的輸入或損壞的系統(tǒng)狀態(tài)會(huì)導(dǎo)致不安全的系統(tǒng)行為或故障(例如，傳感器噪音、組件故障、軟件缺陷)，或由于外力導(dǎo)致的超出正常范圍的偏移。
HAV驗(yàn)證面臨的挑戰(zhàn)包括不完整的需求以及需求和設(shè)計(jì)的隱式表示。不確定的系統(tǒng)行為進(jìn)一步使問(wèn)題復(fù)雜化。這些挑戰(zhàn)必然會(huì)影響系統(tǒng)測(cè)試的方法和目標(biāo)(以前的文章集中于確定在驗(yàn)證自動(dòng)駕駛、運(yùn)行時(shí)監(jiān)視方法和故障操作方法方面的挑戰(zhàn)。我們?cè)谇懊娴墓ぷ鞯幕A(chǔ)上討論了驗(yàn)證方法的各個(gè)部分)。
一般來(lái)說(shuō)，將傳統(tǒng)的功能性安全方法應(yīng)用到某些HAV功能上的差異會(huì)促使我們考慮測(cè)試在整個(gè)安全性驗(yàn)證過(guò)程中可能扮演的不同角色，以及處理需求不完全的問(wèn)題。
HAV需求是不完整的

HAV驗(yàn)證的一個(gè)關(guān)鍵挑戰(zhàn)是，需要開(kāi)發(fā)一組完整的行為需求，然后才能測(cè)量行為正確性，從而為測(cè)試提供通過(guò)/失敗的標(biāo)準(zhǔn)。例如,盡管努力正在記錄車(chē)輛行為和場(chǎng)景(例如,飛馬項(xiàng)目),沒(méi)有一個(gè)完整的、公共的機(jī)器——可判斷的交通法規(guī),包括異常處理規(guī)則(例如,何時(shí)以及如何可以車(chē)輛交叉中心分界線(xiàn),如果存在,為了避免車(chē)道阻塞?)。我們?cè)诒疚闹惺褂眯g(shù)語(yǔ)需求主要是指系統(tǒng)級(jí)的行為需求，盡管這些概念也可以應(yīng)用于其他方面。
需求缺口是道路車(chē)輛數(shù)據(jù)收集操作的主要?jiǎng)訖C(jī)，有時(shí)稱(chēng)為車(chē)輛測(cè)試。從道路測(cè)試數(shù)據(jù)推斷系統(tǒng)需求的一般策略也影響了測(cè)試計(jì)劃的完整性，因?yàn)樵谙到y(tǒng)行為需求(例如，未知的，因此缺失的行為場(chǎng)景)中會(huì)有與之對(duì)應(yīng)的測(cè)試缺口。
需要注意的是，嚴(yán)格地說(shuō)，使用道路數(shù)據(jù)作為訓(xùn)練機(jī)器學(xué)習(xí)基礎(chǔ)的系統(tǒng)從來(lái)不會(huì)識(shí)別需求本身。相反，培訓(xùn)數(shù)據(jù)集是類(lèi)似于需求的代理。在其他情況下，對(duì)道路數(shù)據(jù)的分析可能被用來(lái)構(gòu)建某種程度的明確聲明的需求。成功地驗(yàn)證HAV需要測(cè)試計(jì)劃捕獲并執(zhí)行所需的行為，即使是隱式表達(dá)的。不管采用何種形式，對(duì)于許多初始HAV部署來(lái)說(shuō)，這些需求或需求代理都可能是不完整的。
用于調(diào)試的車(chē)輛測(cè)試

系統(tǒng)級(jí)測(cè)試的一個(gè)常見(jiàn)觀(guān)點(diǎn)是，它是一種發(fā)現(xiàn)軟件缺陷(bug)并刪除它們的方法。然而，在明確85個(gè)車(chē)輛水平測(cè)試的目標(biāo)方面存在一個(gè)急劇下降的問(wèn)題。一旦發(fā)現(xiàn)了涉及典型駕駛場(chǎng)景的bug，就會(huì)戲劇性地發(fā)現(xiàn)更多的缺陷。特別是對(duì)于那些需要非常精確地指定初始條件的缺陷，包括時(shí)序競(jìng)爭(zhēng)條件，或者從計(jì)算運(yùn)行時(shí)故障中恢復(fù)的缺陷，這些缺陷很難用普通的車(chē)輛接口來(lái)誘導(dǎo)。這一問(wèn)題在機(jī)器人領(lǐng)域更為嚴(yán)重，我們已經(jīng)觀(guān)察到，光線(xiàn)和幾何形狀的微小變化會(huì)觸發(fā)無(wú)法復(fù)制的bug。一般來(lái)說(shuō)，可以預(yù)期，在任何合理數(shù)量的車(chē)輛測(cè)試中，許多這種微小的bug將無(wú)法被檢測(cè)和診斷，并且在實(shí)際應(yīng)用中是不可重現(xiàn)的。然而，它們肯定會(huì)在諸如汽車(chē)系統(tǒng)等高曝光應(yīng)用領(lǐng)域出現(xiàn)。
除了效率問(wèn)題外，任何使用車(chē)輛測(cè)試作為其主要缺陷消除機(jī)制的項(xiàng)目在其安全世界觀(guān)中都有一個(gè)根本問(wèn)題。測(cè)試可以證明bug的存在，但不能證明它們沒(méi)有。此外，當(dāng)通過(guò)測(cè)試發(fā)現(xiàn)的所有bug都被修復(fù)后，剩下的bug就是那些測(cè)試程序沒(méi)有設(shè)計(jì)來(lái)發(fā)現(xiàn)的bug(農(nóng)藥悖論)。因此，即使車(chē)輛級(jí)別的測(cè)試沒(méi)有發(fā)現(xiàn)任何問(wèn)題，這并不意味著車(chē)輛的軟件一定是安全的。這條推理線(xiàn)只是得出結(jié)論的另一條路徑，即僅進(jìn)行車(chē)輛級(jí)別的測(cè)試是證明系統(tǒng)安全性的一種站不住腳的方法。
用于發(fā)現(xiàn)需求的車(chē)輛測(cè)試

一些形式的“車(chē)輛測(cè)試”實(shí)際上是針對(duì)需求發(fā)現(xiàn)的。尚未成熟的HAV開(kāi)發(fā)工作很可能存在需求缺口的領(lǐng)域包括:
•檢測(cè)和規(guī)避新的道路危險(xiǎn)
•處理需要違反正常交通規(guī)則的異常情況
•不尋常的車(chē)輛配置、表面和油漆作業(yè)
•具有誤導(dǎo)性但格式良好的地圖數(shù)據(jù)
•針對(duì)微位置或事件的新穎路標(biāo)和交通管理機(jī)制
•不尋常的道路標(biāo)記和破壞行為
•由HAV行為引起的突發(fā)交通事故
•惡意車(chē)輛行為(人類(lèi);妥協(xié)HAV)
HAV設(shè)計(jì)人員應(yīng)該針對(duì)已知的需求進(jìn)行設(shè)計(jì)，而在可預(yù)見(jiàn)的未來(lái)，在現(xiàn)實(shí)世界中不斷出現(xiàn)新的操作意外是不可避免的。第4級(jí)自動(dòng)化而不是第5級(jí)完全自治的一個(gè)基本原理是，HAV不必處理所有可能的場(chǎng)景。相反，4級(jí)自動(dòng)化的一個(gè)重要的可行性好處是，只要故障響應(yīng)是安全的，就允許它在運(yùn)行設(shè)計(jì)域故障之外表現(xiàn)出此類(lèi)的故障。事實(shí)上，從長(zhǎng)遠(yuǎn)來(lái)看，如果5級(jí)自動(dòng)化仍然是一個(gè)難以捉摸的目標(biāo)，4級(jí)自動(dòng)化在逐漸接近它，但實(shí)際上從未在所有可能的操作條件和場(chǎng)景中實(shí)現(xiàn)完全自動(dòng)化，這并不奇怪。
需要指出的是，4級(jí)自動(dòng)化并不能免除HAV安全保證的爭(zhēng)論，因?yàn)樗仨毺幚硭锌赡艿膱?chǎng)景，包括運(yùn)行設(shè)計(jì)域的違規(guī)和新奇的場(chǎng)景。運(yùn)行設(shè)計(jì)域的一般概念似乎假定下列兩種情況之一為真:(1) HAV將不會(huì)遇到由于高可靠的運(yùn)行設(shè)計(jì)域約束而不能很好地處理的情況(例如, 北美公共道路上通常不需要對(duì)袋鼠的道路危險(xiǎn)行為進(jìn)行穩(wěn)健預(yù)測(cè)),（2)HAV會(huì)可靠地檢測(cè)到外面的情況,使車(chē)輛保持安全的狀態(tài)(例如,未被列入袋鼠公路危險(xiǎn)等級(jí)的車(chē)輛可能被用土墻隔離在野生動(dòng)物公園和澳大利亞大陸之外)。在現(xiàn)實(shí)中，由于對(duì)運(yùn)行設(shè)計(jì)域的完整范圍的理解存在差異(例如，設(shè)計(jì)者從未首先考慮過(guò)袋鼠)，或者驗(yàn)證計(jì)劃中遺漏了對(duì)相關(guān)運(yùn)行設(shè)計(jì)域約束的測(cè)試，所以運(yùn)行設(shè)計(jì)域有可能在未被檢測(cè)到的情況下被破壞。
在公路上作業(yè)的一個(gè)適當(dāng)?shù)挠猛臼前l(fā)現(xiàn)需求缺口。遇到一些意想不到的場(chǎng)景將導(dǎo)致需求更新，而其他的將導(dǎo)致運(yùn)行設(shè)計(jì)域參數(shù)或沖突檢測(cè)需求的修改。重要的是，當(dāng)它第一次遇到這樣一個(gè)意外時(shí)，必須是可以接受的安全。實(shí)現(xiàn)這一點(diǎn)是有問(wèn)題的，因?yàn)橥ㄟ^(guò)定義，這樣的場(chǎng)景是意料之外的，因此不是任何測(cè)試計(jì)劃的設(shè)計(jì)部分。
由于沒(méi)有一種驗(yàn)證方法是完美的，一些設(shè)計(jì)缺陷很可能會(huì)通過(guò)道路測(cè)試，甚至在已部署的車(chē)輛中被發(fā)現(xiàn)。然而，這應(yīng)該是系統(tǒng)中發(fā)現(xiàn)的缺陷總數(shù)中非常小的一部分，并且這些缺陷應(yīng)該導(dǎo)致安全行為，即使該行為確實(shí)導(dǎo)致了系統(tǒng)安全關(guān)閉或其他可用性損失。如果過(guò)多的缺陷部分在開(kāi)發(fā)周期中逃脫了檢測(cè)，并且直到道路測(cè)試才被發(fā)現(xiàn)，那么這就表明了需求、測(cè)試計(jì)劃或驗(yàn)證方法的其他一些元素存在系統(tǒng)問(wèn)題。與任何安全關(guān)鍵的設(shè)計(jì)過(guò)程一樣，缺陷轉(zhuǎn)移到生產(chǎn)系統(tǒng)應(yīng)該引起重大響應(yīng)，以糾正導(dǎo)致這種情況的任何安全過(guò)程問(wèn)題。
分離需求發(fā)現(xiàn)和測(cè)試設(shè)計(jì)

關(guān)于道路測(cè)試的作用，一個(gè)重要的觀(guān)點(diǎn)是，為了尋找需求上的缺陷而累積的里程根本不是傳統(tǒng)意義上的車(chē)輛測(cè)試。這是一個(gè)需求收集和驗(yàn)證練習(xí)。另一方面，無(wú)論是道路數(shù)據(jù)還是模擬、綜合數(shù)據(jù)和記錄數(shù)據(jù)的某種組合，是測(cè)試特定HAV設(shè)計(jì)的主要手段，更多的是由設(shè)計(jì)團(tuán)隊(duì)決定的。只要根據(jù)充分完整的需求集對(duì)設(shè)計(jì)進(jìn)行驗(yàn)證，就不需要(實(shí)際上也不應(yīng)該)進(jìn)行現(xiàn)場(chǎng)測(cè)試。
因此，減少HAV驗(yàn)證的時(shí)間和費(fèi)用的一種方法是將(1)在路上的需求收集與(2)設(shè)計(jì)和實(shí)現(xiàn)驗(yàn)證分開(kāi)。要想找出特殊且危險(xiǎn)、需要通過(guò)系統(tǒng)安全要求加以緩解的事件，顯然沒(méi)有辦法繞過(guò)需要數(shù)十億英里的道路經(jīng)驗(yàn)。但這并不意味著設(shè)計(jì)驗(yàn)證需要對(duì)每一次設(shè)計(jì)更改重新進(jìn)行數(shù)十億英里的測(cè)試，至少在采用了比蠻力系統(tǒng)級(jí)測(cè)試更復(fù)雜的方法的情況下是如此。
車(chē)輛測(cè)試以減少剩余風(fēng)險(xiǎn)

我們可以推廣這樣的概念，即道路測(cè)試應(yīng)該主要強(qiáng)調(diào)需求驗(yàn)證，而較低級(jí)別的模擬和測(cè)試應(yīng)該強(qiáng)調(diào)設(shè)計(jì)和實(shí)現(xiàn)的驗(yàn)證。一般來(lái)說(shuō)，任何級(jí)別的模擬(包括車(chē)輛測(cè)試的模擬方面)都具有前面討論過(guò)的特定級(jí)別的可靠性。這意味著它也是錯(cuò)誤的，就像所有的模型在某些方面都是錯(cuò)誤的，因?yàn)樗暮?jiǎn)化和假設(shè)。
提高測(cè)試效率的方法是將測(cè)試計(jì)劃集中在各個(gè)層次的測(cè)試上，檢查仿真的低層次的假設(shè)和簡(jiǎn)化。同時(shí)，盡可能地將仿真工作推到最低的實(shí)際水平，可以降低仿真成本。例如，應(yīng)該在子系統(tǒng)模擬中發(fā)現(xiàn)簡(jiǎn)單的編碼缺陷(或者甚至通過(guò)傳統(tǒng)的軟件單元測(cè)試和同行評(píng)審進(jìn)行預(yù)模擬)。另一方面，如果它們是由不可預(yù)見(jiàn)的因素引起的，那么在路上測(cè)試中發(fā)現(xiàn)的罕見(jiàn)事件需求缺口可能是最好的。正如下面一節(jié)所討論的，它導(dǎo)致了一種基于降低每個(gè)級(jí)別的模擬可靠性的剩余風(fēng)險(xiǎn)的方法。
4 一個(gè)分層處理剩余風(fēng)險(xiǎn)的方法

由于完整的人類(lèi)可解釋的設(shè)計(jì)和需求信息在短期內(nèi)不太可能用于HAV，因此必須使用傳統(tǒng)的V模型之外的其他方法來(lái)進(jìn)行驗(yàn)證。要做到這一點(diǎn)，我們需要至少?gòu)囊惶?可能不完整的)安全要求開(kāi)始。然后我們必須找到一種方法，將道路測(cè)試、封閉過(guò)程測(cè)試和模擬結(jié)果的某些組合追溯到那些安全要求。
根據(jù)安全需求進(jìn)行驗(yàn)證

在最高級(jí)別上，我們需要某種類(lèi)型的系統(tǒng)需求來(lái)確定測(cè)試是否真正通過(guò)或失敗。如果功能需求沒(méi)有被完全闡明，那么我們需要一些其他的東西。好消息是，提供安全性可能不需要最優(yōu)性能。更簡(jiǎn)單的要求可能足以防御安全操作。
例如，我們發(fā)現(xiàn)基于安全信封的不安全行為列表對(duì)于某些自動(dòng)駕駛車(chē)輛行為是足夠的。在這種情況下，測(cè)試可以追溯到明確聲明的安全需求，即使功能需求本身是不透明的或沒(méi)有文檔記錄的。指定安全信封的一種方法是使用分配給不同安全檢查器功能塊的運(yùn)行時(shí)不變量。舉個(gè)簡(jiǎn)單的例子，車(chē)道保持的安全范圍可以是車(chē)輛停留在它的車(chē)道邊界內(nèi)，加上一些安全系數(shù)。這比檢查一個(gè)復(fù)雜算法的完美實(shí)現(xiàn)要簡(jiǎn)單得多，該算法根據(jù)道路幾何形狀和交通狀況優(yōu)化車(chē)輛的車(chē)道位置。
雖然根據(jù)規(guī)定的安全要求跟蹤測(cè)試可能是有幫助的，但我們通過(guò)經(jīng)驗(yàn)發(fā)現(xiàn)，人們并不理解安全需求，甚至沒(méi)有以有用的詳細(xì)程度記錄下來(lái)。雖然防止發(fā)生車(chē)禍的模糊概念是一個(gè)起點(diǎn)，但也必須有一個(gè)具體的、特殊的方法來(lái)確定一個(gè)測(cè)試是否表明了一個(gè)系統(tǒng)是安全的。在實(shí)踐中，我們發(fā)現(xiàn)一組指定安全與不安全的系統(tǒng)狀態(tài)空間信封組合的部分運(yùn)行時(shí)，不變量可以隨著時(shí)間的推移在響應(yīng)測(cè)試和仿真結(jié)果的持續(xù)改進(jìn)方法中得到演化。換句話(huà)說(shuō)，解決安全需求缺失問(wèn)題的一種方法是從簡(jiǎn)單的規(guī)則集開(kāi)始，并隨著時(shí)間的推移對(duì)違反這些簡(jiǎn)單規(guī)則的測(cè)試進(jìn)行詳細(xì)的說(shuō)明。假陽(yáng)性和假陰性的違反規(guī)則的行為可以細(xì)化規(guī)則集。一般來(lái)說(shuō)，如果一開(kāi)始就對(duì)安全操作的信封（增加高假陽(yáng)性率）有一個(gè)較低的近似值，并且在分析表明這樣做是增加信封可容性的一種安全方法時(shí)，逐步增加額外的信封面積，那么這種演進(jìn)的效果最好。
如果HAV設(shè)計(jì)團(tuán)隊(duì)試圖通過(guò)基于機(jī)器學(xué)習(xí)的方法來(lái)確定安全需求，那么對(duì)他們來(lái)說(shuō)，以一種可被人類(lèi)安全參數(shù)評(píng)審員理解的方式來(lái)表達(dá)結(jié)果將是非常重要的。然而，目前還不清楚這將如何實(shí)現(xiàn)。在這一點(diǎn)上，我們建議使用更傳統(tǒng)的工程方法來(lái)防御安全需求，以避免同樣的不可思議的問(wèn)題落在基于MLB的功能上。
基于剩余風(fēng)險(xiǎn)的驗(yàn)證

雖然安全信封方法可以簡(jiǎn)化創(chuàng)建用于通過(guò)/失敗標(biāo)準(zhǔn)的需求模型的復(fù)雜性，但是HAV測(cè)試仍然需要運(yùn)行大量的場(chǎng)景來(lái)獲得合理的覆蓋率。理想情況下，盡可能多地使用成本較低、低保真度的模擬。該方法不僅要考慮未區(qū)分的“現(xiàn)實(shí)主義”，而且要考慮減少由低保真度模擬的簡(jiǎn)化所帶來(lái)的剩余風(fēng)險(xiǎn)。
剩余風(fēng)險(xiǎn)管理

高保真度和低保真度模擬運(yùn)行之間的重要關(guān)系不應(yīng)該是完整性檢查或統(tǒng)計(jì)抽樣，而應(yīng)該是強(qiáng)調(diào)在低保真度水平上假設(shè)和簡(jiǎn)化的正確性和有效性。換句話(huà)說(shuō)，對(duì)于某一特定級(jí)別的可靠性模型在某些方面存在錯(cuò)誤的每個(gè)方面，高保真度模擬(包括可能的各種類(lèi)型的物理車(chē)輛測(cè)試)應(yīng)該承擔(dān)起減輕剩余安全驗(yàn)證風(fēng)險(xiǎn)的責(zé)任。
這種方法在重要方面不同于通常的模型驗(yàn)證概念。較高的保真度仿真不僅用于驗(yàn)證較低保真度模型的正確性，而且還必須明確地設(shè)計(jì)來(lái)強(qiáng)調(diào)對(duì)假設(shè)和簡(jiǎn)化的檢查，這些假設(shè)和簡(jiǎn)化是在運(yùn)行仿真時(shí)出現(xiàn)的。高保真度模型的一個(gè)主要目標(biāo)應(yīng)該是通過(guò)檢查低保真度模擬結(jié)果的準(zhǔn)確性，以及檢查在進(jìn)行高保真度模擬時(shí)，低保真度模型所做的假設(shè)是否被違背，從而降低剩余風(fēng)險(xiǎn)。作一個(gè)簡(jiǎn)單的例子，如果一個(gè)簡(jiǎn)化的模型假設(shè)80%的雷達(dá)脈沖探測(cè)到一個(gè)目標(biāo)，如果只有75%的脈沖探測(cè)到一個(gè)目標(biāo)，那么高保真度模型或車(chē)輛測(cè)試應(yīng)該會(huì)出現(xiàn)故障——即使車(chē)輛恰好按照高保真度模型安全運(yùn)行。假設(shè)80%的檢出率是一個(gè)有剩余風(fēng)險(xiǎn)的低保真度模擬。違反這一假設(shè)將使安全論證無(wú)效，即使特定的測(cè)試場(chǎng)景碰巧幸運(yùn)地避免了事故。
這種方法從根本上影響了模擬和測(cè)試的設(shè)計(jì)。例如，考慮一個(gè)模擬，它探索視野中的障礙位置。該模擬以非常精確的分辨率布置環(huán)境中的障礙物，但僅使用粗糙的粘膠狀物體模擬固定方向的靜態(tài)行人物體。在不同的障礙物放置情況下，進(jìn)行數(shù)千次額外的高保真度車(chē)輛測(cè)試，相對(duì)于詳盡的模擬結(jié)果而言，預(yù)期將產(chǎn)生較低的邊際驗(yàn)證收益，特別是當(dāng)模擬運(yùn)行實(shí)際的幾何處理代碼時(shí)，這些代碼將部署在HAV中。這是因?yàn)樵谶@個(gè)例子中，障礙物相對(duì)于車(chē)輛的位置并不是模擬完成后剩余風(fēng)險(xiǎn)的主要來(lái)源。主要的剩余風(fēng)險(xiǎn)圍繞著行人。低保真模擬假設(shè)是假人，因此忽略了攜帶大型物體的人、穿著會(huì)嚴(yán)重扭曲傳感器信號(hào)的衣服的人、車(chē)輛傳感器的不同旋轉(zhuǎn)位置等等。
同樣地，任何對(duì)仿真能力的改進(jìn)，都不應(yīng)僅僅是力求使仿真在每個(gè)可能的維度上都具有更高的可靠性。例如，將道路障礙的放置建模到納米級(jí)別，而不是毫米級(jí)別，不太可能有效地使用模擬資源。相反，仿真保真度的改進(jìn)應(yīng)該用仿真代替所需的系統(tǒng)級(jí)測(cè)試(例如，為前面的簡(jiǎn)筆畫(huà)示例添加表面紋理功能以及更廣泛的幾何形狀和方向)。
這并不意味著仿真模型驗(yàn)證和校驗(yàn)應(yīng)該被忽略。相反，關(guān)鍵是即使在特定抽象級(jí)別上的一個(gè)完美驗(yàn)證的模型也會(huì)留下剩余風(fēng)險(xiǎn)。風(fēng)險(xiǎn)的一部分是由于一個(gè)不完整的測(cè)試活動(dòng)的可能性，這等于沒(méi)有完全減少?gòu)牡捅Ｕ婺M繼承的風(fēng)險(xiǎn)，或者沒(méi)有完全覆蓋分配給問(wèn)題保真級(jí)別的區(qū)域。風(fēng)險(xiǎn)的另一部分是由于在特定抽象級(jí)別上有意排除的安全考慮，這對(duì)應(yīng)于向上傳遞到下一個(gè)更高級(jí)別的風(fēng)險(xiǎn)。
因此，使用各種模擬保真度的歷史悠久的方法仍然對(duì)HAV有意義。其關(guān)鍵之處在于確保低保真度測(cè)試中的簡(jiǎn)化被明確地管理，并作為驗(yàn)證風(fēng)險(xiǎn)而減輕。
通過(guò)對(duì)不同場(chǎng)景的偏置測(cè)試來(lái)加速評(píng)估的方法是對(duì)剩余風(fēng)險(xiǎn)方法的補(bǔ)充。強(qiáng)調(diào)困難的場(chǎng)景是為了從測(cè)試集中篩選冗余的名義路徑測(cè)試，同時(shí)仍然覆蓋名義行為、邊緣情況和復(fù)雜的環(huán)境交互作用。另一方面，由于模擬和測(cè)試計(jì)劃的較低可靠性層簡(jiǎn)化和未經(jīng)檢查的假設(shè)，剩余風(fēng)險(xiǎn)降低解決了潛在的風(fēng)險(xiǎn)問(wèn)題。
剩余風(fēng)險(xiǎn)的例子

表1顯示了在HAV測(cè)試和模擬計(jì)劃中應(yīng)該考慮的剩余風(fēng)險(xiǎn)的簡(jiǎn)化示例。表格頂部的剩余風(fēng)險(xiǎn)傾向于需求缺口(意外的場(chǎng)景和意外的環(huán)境條件)。相比之下，其他剩余風(fēng)險(xiǎn)傾向于在中級(jí)水平上由速度/可靠性模擬交易(例如，傳感器數(shù)據(jù)質(zhì)量)驅(qū)動(dòng)的簡(jiǎn)化和在最低水平上的潛在設(shè)計(jì)問(wèn)題(例如，子系統(tǒng)交互)的組合。
回顧前面的障礙物檢測(cè)示例，這意味著更高的保真度級(jí)別(如物理車(chē)輛測(cè)試)不應(yīng)該主要關(guān)注不同的大小和障礙物的位置。相反，他們應(yīng)該專(zhuān)注于物體和傳感器上的污垢，以及其他可能無(wú)法由純軟件仿真工具處理的方面。換句話(huà)說(shuō)，車(chē)輛測(cè)試的重點(diǎn)不應(yīng)該是再現(xiàn)仿真結(jié)果，而應(yīng)該是挑戰(zhàn)仿真方法的任何已知弱點(diǎn)。細(xì)節(jié)會(huì)有所不同。關(guān)鍵是所有的仿真工具都有一些需要進(jìn)一步驗(yàn)證的限制。
對(duì)于表1所示的示例，封閉路線(xiàn)測(cè)試不應(yīng)該關(guān)注意外的人類(lèi)駕駛員行為、退化的基礎(chǔ)設(shè)施或道路危險(xiǎn)，因?yàn)闇p輕這些威脅是進(jìn)行部署前道路測(cè)試的主要原因。應(yīng)該通過(guò)測(cè)試和模擬來(lái)處理預(yù)期的行為、道路危險(xiǎn)等。它是無(wú)法處理的意外問(wèn)題，因?yàn)楦鶕?jù)定義，意外問(wèn)題不是可以顯式包含在測(cè)試計(jì)劃中的東西。
在處理應(yīng)該在較低級(jí)別適當(dāng)處理的風(fēng)險(xiǎn)時(shí)，避免給較高級(jí)別的系統(tǒng)測(cè)試帶來(lái)負(fù)擔(dān)是很重要的。繼續(xù)這個(gè)例子，封閉過(guò)程測(cè)試不應(yīng)該與正常的車(chē)輛動(dòng)力學(xué)、傳感器數(shù)據(jù)質(zhì)量和執(zhí)行器影響等普通問(wèn)題密切相關(guān)，因?yàn)檫@些問(wèn)題可以通過(guò)基于軟件的仿真來(lái)解決。車(chē)輛測(cè)試也不應(yīng)該被用于暴力測(cè)試障礙的位置和幾何形狀，可以用更節(jié)省成本的方式處理，簡(jiǎn)化的車(chē)輛和環(huán)境模擬，只練習(xí)車(chē)輛的障礙處理代碼。在驗(yàn)證仿真能力時(shí)，在封閉的賽道上使用真實(shí)車(chē)輛進(jìn)行原型測(cè)試可能是有意義的。但執(zhí)行實(shí)際車(chē)輛仿真保真度的各個(gè)方面的測(cè)試計(jì)劃，盡可能減少時(shí)間和成本。
總體思想是，每一層驗(yàn)證的主要重點(diǎn)應(yīng)該是下一層遺留下來(lái)的風(fēng)險(xiǎn)，特別是在已修改的系統(tǒng)上重新運(yùn)行現(xiàn)有的模擬測(cè)試套件以確保系統(tǒng)仍然是安全的時(shí)候。如果隨機(jī)抽樣不能覆蓋剩余的風(fēng)險(xiǎn)，那么大量的重復(fù)低保真模擬和測(cè)試結(jié)果的抽樣在最好的情況下是無(wú)用的，在最壞的情況下會(huì)給人一種錯(cuò)誤的安全感。

表1 假設(shè)的驗(yàn)證活動(dòng)和對(duì)有效性的威脅