編者按：希望借此分享一下我們?cè)谝勒誌SO21448（Clause6-9）開(kāi)展實(shí)踐、對(duì)自動(dòng)駕駛決策規(guī)劃系統(tǒng)進(jìn)行在環(huán)仿真測(cè)試、參與對(duì)ISO34502的修訂討論、和企業(yè)在SOTIF領(lǐng)域相關(guān)交流的過(guò)程中，所做的思考和梳理。錯(cuò)誤、紕漏之處，還望讀者不吝指正。

內(nèi)容概覽：

第一部分：背景——SOTIF分析與測(cè)試
第二部分：綜述——面向SOTIF的決策規(guī)劃系統(tǒng)仿真測(cè)試方法
第三部分：工具——場(chǎng)景文件自動(dòng)生成器
第四部分：方法——基于場(chǎng)景“搜索”的加速測(cè)試
第五部分：討論


摘要：在第一部分的背景介紹與分析中，提出了本文的關(guān)鍵問(wèn)題：如何有效地針對(duì)決策規(guī)劃系統(tǒng)進(jìn)行預(yù)期功能安全分析與測(cè)試？在第二部分中，對(duì)比了兩大類(lèi)方法，提出了兩個(gè)仿真測(cè)試方法選擇的原則，通過(guò)分析歸結(jié)到了采用黑箱優(yōu)化的、基于場(chǎng)景搜索的加速測(cè)試方法。我們的具體實(shí)踐作為該方法的示例，介紹在第三和第四部分中。最后在第五部分中，對(duì)貫穿其中的2個(gè)話題進(jìn)行了討論。

關(guān)鍵詞：預(yù)期功能安全 自動(dòng)駕駛汽車(chē) 決策規(guī)劃系統(tǒng) 仿真測(cè)試 加速測(cè)試

1 背景——SOTIF分析與測(cè)試

從現(xiàn)有的分析框架來(lái)看，依據(jù)ISO21448開(kāi)展SOTIF安全分析與測(cè)試驗(yàn)證的過(guò)程，可分為三大階段，分別是：

第一階段：安全分析階段

第二階段：已知危害場(chǎng)景下的評(píng)估（區(qū)域2）

第三階段：未知危害場(chǎng)景下的評(píng)估（區(qū)域3）


圖1. ISO21448的總體框架


圖2. 區(qū)域2和區(qū)域3在開(kāi)發(fā)之初與開(kāi)發(fā)完成時(shí)的對(duì)比

其中第一階段（安全分析）的輸出應(yīng)該是潛在危害場(chǎng)景。該階段主要包含Clause6和Clause7兩部分內(nèi)容，分別完成危險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估及觸發(fā)條件識(shí)別等幾個(gè)步驟，見(jiàn)圖3。


圖3. ISO21448的安全分析階段（Clause6&7）

從被分析對(duì)象——自動(dòng)駕駛汽車(chē)來(lái)看，可以將其系統(tǒng)分為兩大類(lèi)（見(jiàn)圖4）：

其一是自動(dòng)駕駛與其外部物理世界直接交互的系統(tǒng)，包括環(huán)境感知系統(tǒng)和控制執(zhí)行系統(tǒng)（PERCEPTION & ConTROL SYSTEM）等；

其二是在自動(dòng)駕駛汽車(chē)內(nèi)部數(shù)字環(huán)境中完成輸入輸出的決策規(guī)劃系統(tǒng)（DM&PP）。

當(dāng)這些系統(tǒng)的性能局限遇到特定場(chǎng)景中的觸發(fā)條件時(shí)，便可能導(dǎo)致危險(xiǎn)，產(chǎn)生危害；一般而言，SOTIF問(wèn)題即出現(xiàn)于此。

環(huán)境感知系統(tǒng)的觸發(fā)條件主要來(lái)自感知干擾（Perception disturbance），決策規(guī)劃系統(tǒng)的觸發(fā)條件主要來(lái)自于動(dòng)態(tài)交通干擾（Traffic disturbance），控制執(zhí)行系統(tǒng)的觸發(fā)條件則主要受到來(lái)自作用于輪胎的路面干擾和作用于車(chē)身的風(fēng)干擾（統(tǒng)稱Vehicle disturbance）等。


圖4. 自動(dòng)駕駛系統(tǒng)的SOTIF觸發(fā)來(lái)源

為了更好地理解這兩大類(lèi)系統(tǒng)在依照ISO21448開(kāi)展從Clause6到Clause7的分析工作時(shí)，所面臨的不同狀況，我們先簡(jiǎn)單地從系統(tǒng)的工任務(wù)、過(guò)程和目標(biāo)等三方面對(duì)比一下環(huán)境感知系統(tǒng)和決策規(guī)劃系統(tǒng)：

「環(huán)境感知系統(tǒng)」

·  任務(wù)：信息提取與加工（任務(wù)以片段為主）

·  過(guò)程：物理→數(shù)字→信息（實(shí)現(xiàn)的功能包括：檢測(cè)與跟蹤等）

·  目標(biāo)：正確、準(zhǔn)確（以物理世界為真值）

「決策規(guī)劃系統(tǒng)」

·  任務(wù)：創(chuàng)造行駛的價(jià)值（安全、舒適、高效、節(jié)能地從A到B，任務(wù)以連續(xù)過(guò)程為主）

·  過(guò)程：信息→控制信號(hào)（實(shí)現(xiàn)的功能包括：場(chǎng)景理解、預(yù)測(cè)、價(jià)值計(jì)算等）

·  目標(biāo)：好壞（價(jià)值高低）

可以看出，決策規(guī)劃系統(tǒng)的任務(wù)是創(chuàng)造行駛的價(jià)值，其結(jié)果分優(yōu)劣好壞，但沒(méi)有真值作為參照；且工作過(guò)程連續(xù)，無(wú)法以切片化（時(shí)刻）的方式進(jìn)行評(píng)價(jià)。

進(jìn)一步地說(shuō)，環(huán)境感知系統(tǒng)的任務(wù)大都是基于、圍繞特定對(duì)象的，比如動(dòng)靜態(tài)障礙物、交通設(shè)施等；感知任務(wù)有一個(gè)絕對(duì)真值，所以感知求解的問(wèn)題是盡量接近這個(gè)真值“點(diǎn)”；而決策規(guī)劃系統(tǒng)的真值難以定義，甚至不存在絕對(duì)真值，決策規(guī)劃求解的問(wèn)題只需要一個(gè)可行解，而可行解是一個(gè)“集”。

故而，開(kāi)展從Clause6到Clause7的分析工作，找尋觸發(fā)條件的話，

「環(huán)境感知系統(tǒng)」：是比較可行的。因?yàn)?，觸發(fā)機(jī)制可分析、觸發(fā)源可尋、觸發(fā)條件與所產(chǎn)生的危害對(duì)應(yīng)關(guān)系可判（控制執(zhí)行系統(tǒng)，同理）

「決策規(guī)劃系統(tǒng)」：比較不可行。因?yàn)?，觸發(fā)機(jī)制隱蔽、觸發(fā)源往往不是獨(dú)立要素（涉及到復(fù)合場(chǎng)景）、觸發(fā)條件與所產(chǎn)生的危害對(duì)應(yīng)關(guān)系不明（作用過(guò)程是連續(xù)的）

依據(jù)上述分析可知：針對(duì)環(huán)境感知系統(tǒng)分析觸發(fā)條件是比較可行的；我們采用了基于事件鏈的分析框架，結(jié)合觸發(fā)源本體模型進(jìn)行推演，取得了一定的效果。然而，針對(duì)決策規(guī)劃系統(tǒng)，想要提出類(lèi)似的系統(tǒng)性分析方案則非常困難；對(duì)于L3+或及復(fù)雜場(chǎng)景下的自動(dòng)駕駛系統(tǒng)而言，上述問(wèn)題尤甚（注：對(duì)于簡(jiǎn)單環(huán)境中，執(zhí)行簡(jiǎn)單行駛?cè)蝿?wù)的自動(dòng)駕駛系統(tǒng)而言，尚可進(jìn)行一定程度的分析）。

由此引出了本文的關(guān)鍵問(wèn)題：如何有效地針對(duì)決策規(guī)劃系統(tǒng)進(jìn)行預(yù)期功能安全分析與測(cè)試？

2 綜述：面向SOTIF的決策規(guī)劃系統(tǒng)仿真測(cè)試方法

由于決策規(guī)劃系統(tǒng)的輸入輸出都是信息和信號(hào)，相對(duì)于整車(chē)在環(huán)或場(chǎng)地實(shí)車(chē)測(cè)試而言，系統(tǒng)在環(huán)仿真測(cè)試是對(duì)其進(jìn)行測(cè)試的最主要手段（等效性高、測(cè)試效率高、成本低）。此外，在測(cè)試過(guò)程中，一般將決策規(guī)劃系統(tǒng)視為“黑箱”處理。

以下繼續(xù)圍繞第一部分留下的關(guān)鍵問(wèn)題，將現(xiàn)有的相關(guān)測(cè)試方法做分析和梳理，希望明確其中較為可行的仿真測(cè)試方法及其適用性。

在此借用一下哈貝馬斯（Habermas）哲學(xué)分析理論里的兩個(gè)概念：系統(tǒng)（System）與生活世界（Life world）；前者是人為設(shè)計(jì)的、規(guī)范的，而后者是自然發(fā)生的。各種面向決策規(guī)劃系統(tǒng)的測(cè)試方法，也可以依據(jù)這兩個(gè)概念進(jìn)行分類(lèi)：

「第一類(lèi)方法」

將測(cè)試場(chǎng)景視作“系統(tǒng)（System）”——做設(shè)計(jì)；即，通過(guò)分析和定義場(chǎng)景里的關(guān)鍵對(duì)象、要素和變量及其取值范圍，設(shè)計(jì)場(chǎng)景；

「第二類(lèi)方法」

將測(cè)試場(chǎng)景視作“生活世界（Life world）”——使發(fā)生；即，通過(guò)具有自主行駛能力的智能體或智能體集群形成的動(dòng)態(tài)背景車(chē)（Surrounding vehicles）與被測(cè)對(duì)象（Vehicle under test）發(fā)生交互，產(chǎn)生場(chǎng)景。

表1. 兩大類(lèi)仿真測(cè)試方法的對(duì)比


先說(shuō)第二類(lèi)方法，其中的關(guān)鍵工具就是生成動(dòng)態(tài)背景車(chē)（及背景車(chē)系統(tǒng)）的機(jī)器學(xué)習(xí)算法；比較常見(jiàn)的包括不限于：深度強(qiáng)化學(xué)習(xí)、逆強(qiáng)化學(xué)習(xí)和對(duì)抗生成。需要強(qiáng)調(diào)兩個(gè)特點(diǎn)：

「測(cè)試的高效性」

測(cè)試的高效性是這類(lèi)方法主要追求的設(shè)計(jì)目標(biāo)。

然而，在安全分析與驗(yàn)證的環(huán)節(jié)中，更為核心的訴求是關(guān)鍵場(chǎng)景的覆蓋率（即全面性）；在這點(diǎn)上，該類(lèi)方法仍缺乏理論證明的依據(jù)，故其用于安全性論證的能力較弱；

「場(chǎng)景的泛化性」

場(chǎng)景的泛化性是這類(lèi)方法的獨(dú)門(mén)秘笈。在一定的道路路網(wǎng)的支持下，基于機(jī)器學(xué)習(xí)算法的動(dòng)態(tài)背景車(chē)模型可以形成多樣化的功能場(chǎng)景變化，而不拘泥于特定的邏輯場(chǎng)景設(shè)定。

綜上，該類(lèi)方法可以被視作是一種混合了已知和未知場(chǎng)景范疇的補(bǔ)充測(cè)試方法；或者單獨(dú)作為與公開(kāi)道路測(cè)試相呼應(yīng)的一種虛擬測(cè)試工具，尋找并發(fā)現(xiàn)unknown unsafe（未知危險(xiǎn)）。

另有一個(gè)前提與一個(gè)補(bǔ)充：

「前提」

該類(lèi)方法使用的最大前提是擬真性。脫離了這個(gè)前提，就變成了unreal & unsafe，也失去了測(cè)試的意義。真實(shí)性的問(wèn)題，將留在最后一部分的討論中，再做展開(kāi)。

「補(bǔ)充」

同為機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的、基于LSTM的動(dòng)態(tài)背景車(chē)生成模型也頗為多見(jiàn)；不納入上述范疇的原因是，基于深度學(xué)習(xí)的模型其核心是模仿學(xué)習(xí)，在行為動(dòng)作的擬真性方面較有優(yōu)勢(shì)，而在測(cè)試效率（針對(duì)性）上并無(wú)優(yōu)勢(shì)；故用于一般的性能測(cè)試或許更合適。

再說(shuō)第一類(lèi)方法：采用三級(jí)場(chǎng)景模型層層細(xì)化定義測(cè)試場(chǎng)景，一直是最基礎(chǔ)和通用的方法。當(dāng)面向安全性論證的訴求時(shí)，也暴露出兩個(gè)明顯的問(wèn)題：

「問(wèn)題1」邏輯場(chǎng)景參數(shù)空間大

具體表現(xiàn)為場(chǎng)景關(guān)鍵對(duì)象、要素和變量多所導(dǎo)致的維數(shù)多，再加上取值范圍大，決定了遍歷邏輯場(chǎng)景空間的不可行（維數(shù)爆炸問(wèn)題）；

「問(wèn)題2」參數(shù)空間的粒度劃分難

具體表現(xiàn)為，如果采用均勻采樣，過(guò)細(xì)的粒度將加劇前一個(gè)維數(shù)爆炸的問(wèn)題；而過(guò)粗的粒度，則勢(shì)必漏掉關(guān)鍵場(chǎng)景。如果采用非均勻采樣，又該如何最佳地實(shí)現(xiàn)“法網(wǎng)恢恢，疏而不漏”的效果呢？

由上述對(duì)于第一類(lèi)方法和第二類(lèi)方法的分析與比較，我們可以歸納出，面向安全分析與測(cè)試所需的仿真方法的選擇原則：

?【第一原則】關(guān)鍵場(chǎng)景的覆蓋率高：即測(cè)試并發(fā)現(xiàn)盡可能多的關(guān)鍵場(chǎng)景

?【第二原則】測(cè)試效率高：即非關(guān)鍵場(chǎng)景測(cè)試得少

再以上述原則審視一下，前面的第一類(lèi)方法中具體的幾種測(cè)試方法：

1. 隨機(jī)采樣測(cè)試

在邏輯場(chǎng)景的空間內(nèi)通過(guò)隨機(jī)采樣，定義具體場(chǎng)景進(jìn)行測(cè)試；?無(wú)法同時(shí)兼顧第一和二原則（若想符合第一原則，必然違背第二原則）

2. 基于隨機(jī)梯度下降的測(cè)試

由于被測(cè)對(duì)象是黑箱（梯度不可知），且空間維數(shù)高，基本不具有可行性；?違背了第一和二原則

3. 基于NDS的加速測(cè)試（也稱“強(qiáng)化測(cè)試”）

基于對(duì)自然駕駛數(shù)據(jù)分布的重要性采樣，定義部分關(guān)鍵參數(shù)范圍；該方法較適用于總體性能評(píng)估，而非安全論證（不解決長(zhǎng)尾問(wèn)題）；?違背了第一原則

4. 基于場(chǎng)景搜索的測(cè)試

可將場(chǎng)景搜索任務(wù)轉(zhuǎn)化為優(yōu)化目標(biāo)，將各類(lèi)優(yōu)化算法用于實(shí)現(xiàn)搜索關(guān)鍵場(chǎng)景，從而服務(wù)于第二條原則（提高效率）；在搜索過(guò)程中，通過(guò)合理平衡探索（Exploration）與利用（Exploitation），從而服務(wù)于第一條原則（提高覆蓋率）；綜合實(shí)現(xiàn)面向安全需求的針對(duì)決策規(guī)劃系統(tǒng)的仿真測(cè)試。

基于上述的分析，我們認(rèn)為，目前在該類(lèi)方法中具有同時(shí)兼顧兩個(gè)原則可能性的是，采用黑箱優(yōu)化的、基于場(chǎng)景搜索的加速測(cè)試方法。

該方法的實(shí)施需要兩個(gè)重要的組件，分別是支持自動(dòng)化測(cè)試的具體場(chǎng)景生成工具（自動(dòng)生成場(chǎng)景），以及優(yōu)化搜索算法（自動(dòng)找到關(guān)鍵場(chǎng)景）；這兩方面的實(shí)現(xiàn)方法不一而足，我們?cè)谶@兩方面的具體實(shí)踐將作為示例在第三和第四部分展開(kāi)介紹。


圖5. 基于場(chǎng)景優(yōu)化搜索算法與自動(dòng)化測(cè)試結(jié)合的測(cè)試方法

3 工具——自動(dòng)化場(chǎng)景文件生成器

第二部分提到的兩個(gè)重要的組件之一就是支持自動(dòng)化測(cè)試的具體場(chǎng)景生成工具。有兩個(gè)目標(biāo)需要被預(yù)先定義：

「輸入的形式」

比較初級(jí)的解決方案一般是從邏輯場(chǎng)景作為輸入；

比較完美的解決方案將是從功能場(chǎng)景或自動(dòng)駕駛功能作為輸入，即一站式完成服務(wù)于自然人的、語(yǔ)義化的場(chǎng)景需求到服務(wù)于仿真計(jì)算工具的、完全形式化的場(chǎng)景定義。

「輸出的形式」一定格式的具體場(chǎng)景文件

OpenX系列標(biāo)準(zhǔn)是一套較為完整的仿真測(cè)試場(chǎng)景描述方案，包括OpenDRIVE、OpenCRG和OpenSCENARIO（OSC）等。OpenX系列標(biāo)準(zhǔn)將仿真測(cè)試場(chǎng)景統(tǒng)一化，提高了仿真場(chǎng)景在不同仿真軟件內(nèi)遷移進(jìn)行測(cè)試的效率，也有利于對(duì)不同仿真軟件測(cè)試進(jìn)行統(tǒng)一的場(chǎng)景評(píng)估。對(duì)于本文所關(guān)注的——決策規(guī)劃系統(tǒng)的仿真測(cè)試而言，重點(diǎn)在于仿真測(cè)試場(chǎng)景的動(dòng)態(tài)部分（如車(chē)輛的行為），是由OSC文件描述的。

然而，基于XML的OSC格式較為底層，對(duì)應(yīng)的文件描述過(guò)于復(fù)雜；導(dǎo)致人工編寫(xiě)場(chǎng)景文件耗時(shí)長(zhǎng)、效率低。故需要一個(gè)更高級(jí)的接口來(lái)連接語(yǔ)義級(jí)別的場(chǎng)景定義與OSC格式。因此，開(kāi)發(fā)了面向OSC的自動(dòng)化場(chǎng)景文件生成器，以結(jié)合在環(huán)仿真測(cè)試系統(tǒng)，實(shí)現(xiàn)針對(duì)決策規(guī)劃系統(tǒng)的自動(dòng)化在環(huán)仿真測(cè)試；進(jìn)而支撐了第四部分中介紹的基于場(chǎng)景搜索的加速測(cè)試方法的實(shí)現(xiàn)。

以下簡(jiǎn)介這個(gè)自動(dòng)化OSC場(chǎng)景文件生成器的設(shè)計(jì)要點(diǎn)和具體架構(gòu)。

OSC作為一種自動(dòng)駕駛場(chǎng)景描述的DSL（domain-specific language，領(lǐng)域特定語(yǔ)言），對(duì)它的編譯體系借鑒了傳統(tǒng)編程語(yǔ)言的架構(gòu)，分為OSC前端與OSC后端兩個(gè)主要模塊，如圖6所示。


圖6. OpenSCENARIO場(chǎng)景文件生成器執(zhí)行工作流

OSC前端負(fù)責(zé)處理json語(yǔ)言定義的場(chǎng)景藍(lán)圖，藍(lán)圖中對(duì)較為固定的參數(shù)（如車(chē)輛尺寸）進(jìn)行了默認(rèn)設(shè)置，并支持場(chǎng)景關(guān)鍵參數(shù)的自定義。OSC后端負(fù)責(zé)根據(jù)前端的解析結(jié)果，構(gòu)建OSC的DOM樹(shù)（document Object Model，文檔對(duì)象模型），進(jìn)而編譯產(chǎn)生最終用于仿真軟件運(yùn)行的目標(biāo)xosc文件。

在OSC后端中，將OSC的本體使用OOP（Object Oriented Programming，面向?qū)ο缶幊蹋┧枷脒M(jìn)行了形式化，可編譯生成OSC中的任意節(jié)點(diǎn)組合，并且使用xsd文件對(duì)生成結(jié)果的正確性進(jìn)行驗(yàn)證，以確保其完全符合OSC標(biāo)準(zhǔn)。此外，完整的編譯流程還包括構(gòu)建和編輯場(chǎng)景的輸入接口，以及可運(yùn)行xosc場(chǎng)景文件的仿真服務(wù)器等。

對(duì)于OSC場(chǎng)景文件生成器中最關(guān)鍵部分，即OSC后端部分，基于OSC結(jié)構(gòu)設(shè)計(jì)了一個(gè)高效且易用的架構(gòu)——句柄樹(shù)，示例如圖7所示。圖中所有節(jié)點(diǎn)（Maneuver、Event、Action等）都繼承自O(shè)SCNode基類(lèi)（包含了打印、保存、流輸出、更新等多個(gè)功能），可實(shí)現(xiàn)對(duì)OSC格式DOM樹(shù)或者其任何子樹(shù)的便捷操作。采用句柄樹(shù)架構(gòu)，可以優(yōu)化編譯器的空間復(fù)雜度。句柄樹(shù)將所有數(shù)據(jù)集中存放于一個(gè)統(tǒng)一的堆內(nèi)存，而下圖的所有節(jié)點(diǎn)不包含實(shí)際的數(shù)據(jù)，僅包含一個(gè)指向?qū)嶋H數(shù)據(jù)的指針。


圖7. OSC后端句柄樹(shù)架構(gòu)

此外，實(shí)際應(yīng)用中往往需要一次性編譯生成一個(gè)邏輯場(chǎng)景下對(duì)應(yīng)的眾多個(gè)具體場(chǎng)景，如果每次參數(shù)修改都需要重建句柄樹(shù)將導(dǎo)致高昂的編譯成本。因此，為確?？焖佥敵鲎钚碌哪繕?biāo)xosc文件，設(shè)計(jì)了鏈?zhǔn)礁聶C(jī)制，使任意節(jié)點(diǎn)的修改能自動(dòng)向上級(jí)節(jié)點(diǎn)傳遞。

綜上，該生成器實(shí)現(xiàn)的效果是，按照給定的邏輯場(chǎng)景和采樣方法，可以批量地自動(dòng)化生成所對(duì)應(yīng)的OSC文件（具體場(chǎng)景），可直接被仿真測(cè)試工具讀??；生成的時(shí)間成本幾乎為0，大大降低了獲得具體場(chǎng)景所需的時(shí)間和人力成本。

4 方法——基于場(chǎng)景“搜索”的加速測(cè)試

在安全分析時(shí)，關(guān)鍵場(chǎng)景主要是指安全性相關(guān)的危險(xiǎn)場(chǎng)景。故而，基于場(chǎng)景“搜索”的測(cè)試方法目標(biāo)是加速（體現(xiàn)：第二原則）找到“所有”危險(xiǎn)場(chǎng)景（體現(xiàn)：­­第一原則）。
一般而言，該方法由三個(gè)部分構(gòu)成：測(cè)試工具、搜索方法及成本函數(shù)。


圖8. 基于場(chǎng)景“搜索”的加速測(cè)試方法基本構(gòu)成

「測(cè)試工具」

由測(cè)試場(chǎng)景和在環(huán)仿真測(cè)試系統(tǒng)組成。其中，測(cè)試場(chǎng)景：每次根據(jù)采樣的要求，由第三部分介紹的場(chǎng)景文件生成器自動(dòng)輸出需要仿真測(cè)試的具體場(chǎng)景。在環(huán)仿真測(cè)試系統(tǒng)則包含了仿真測(cè)試工具和被測(cè)對(duì)象，可以是決策規(guī)劃系統(tǒng)軟件在環(huán)的方式或者硬件在環(huán)的方式。

「搜索算法」

以是否基于代理模型分為了兩大類(lèi)。若不利用代理模型，則一般需要基于群體智能的算法實(shí)現(xiàn)探索與利用的有效平衡（比如遺傳算法、粒子群算法等）。若使用代理模型，則使用各種機(jī)器學(xué)習(xí)方法進(jìn)行模型建立，并利用貝葉斯優(yōu)化思想設(shè)計(jì)算法，開(kāi)展基于該代理模型的采樣。

「成本函數(shù)」

對(duì)安全分析而言，直接的成本函數(shù)價(jià)值一般是危險(xiǎn)或風(fēng)險(xiǎn)（如最常用的TTC、THW等）；

從計(jì)算的空間范圍上看，比較常見(jiàn)的是一維（沿車(chē)輛行駛方向）和二維（道路空間內(nèi)）的度量方式；

算法的操作層面上，還會(huì)需要考慮對(duì)得到的無(wú)效場(chǎng)景進(jìn)行自動(dòng)化合理排除的方法。

其中，以貝葉斯優(yōu)化算法作為關(guān)鍵場(chǎng)景的搜索算法，做一示例，偽代碼如下圖所示：



以一個(gè)標(biāo)準(zhǔn)化測(cè)試函數(shù)（Hoelder Table）為例，初步分析一下采用貝葉斯優(yōu)化搜索方法的可行性與潛力，即是否符合上述提出的覆蓋率和效率的兩大原則。

目標(biāo)函數(shù)值在搜索空間上的分布如圖9所示，圖中用紅色線框標(biāo)出了目標(biāo)關(guān)鍵場(chǎng)景占據(jù)的子空間（分別在四個(gè)角的位置附近）。真值結(jié)果是通過(guò)細(xì)粒度的均勻柵格掃掠測(cè)試獲得的，用于作為基準(zhǔn)對(duì)隨機(jī)采樣和貝葉斯優(yōu)化搜索兩種方法進(jìn)行對(duì)比。


圖9. Hoelder Table測(cè)試任務(wù)的真值

貝葉斯優(yōu)化（Bayesian Optimization, BO）和隨機(jī)采樣（Random）在該問(wèn)題上的表現(xiàn)如圖10所示。為了降低結(jié)果的隨機(jī)性，對(duì)于每種算法我們都重復(fù)進(jìn)行了10次實(shí)驗(yàn)，圖中展示了10次試驗(yàn)的最小值、最大值以及平均值。以90%覆蓋率作為目標(biāo)，貝葉斯優(yōu)化方法相比隨機(jī)采樣可實(shí)現(xiàn)約10倍的加速效果（50000:5000），并且重復(fù)實(shí)驗(yàn)之間的方差較小，優(yōu)化算法的穩(wěn)定性更好。


圖10. 貝葉斯優(yōu)化和隨機(jī)采樣實(shí)驗(yàn)結(jié)果對(duì)比

以上僅為兩參數(shù)的示例（規(guī)律性較強(qiáng)），在決策規(guī)劃系統(tǒng)的測(cè)試場(chǎng)景（高維數(shù)的邏輯場(chǎng)景）中，存在更加復(fù)雜，較為分散的、“潛伏較深”的危害場(chǎng)景（比如多車(chē)多動(dòng)作的場(chǎng)景），黑箱優(yōu)化算法能夠發(fā)揮出更好的搜索效果。

以圖11為基本流程框架，可對(duì)決策規(guī)劃系統(tǒng)進(jìn)行在環(huán)加速測(cè)試；圖12是在前車(chē)切入場(chǎng)景中，采用貝葉斯優(yōu)化和隨機(jī)采樣方法的部分實(shí)驗(yàn)結(jié)果對(duì)比，表現(xiàn)出黑箱優(yōu)化搜索算法在測(cè)試效率方面的潛力。該類(lèi)方法的測(cè)試效果（覆蓋率和效率）仍有很大的優(yōu)化空間。


圖11 流程框架示例——以VTD為在環(huán)仿真測(cè)試環(huán)境


圖12. 在前車(chē)切入場(chǎng)景中，貝葉斯優(yōu)化和隨機(jī)采樣的部分實(shí)驗(yàn)結(jié)果對(duì)比

5 討論

「討論1」System-based Safety evaluation與Scenario-based Safety evaluation

參照ISO21448進(jìn)行System-based Safety evaluation是開(kāi)展預(yù)期功能安全分析的一般途徑；是以自動(dòng)駕駛系統(tǒng)（功能和ODD等）為出發(fā)點(diǎn)，層層分析得到具象的測(cè)試場(chǎng)景集合（從少到多，從粗到細(xì)）。

然而，在實(shí)踐中發(fā)現(xiàn)，面向本文所聚焦的決策規(guī)劃系統(tǒng)很難依照Clause6&7的流程進(jìn)行分析；以Scenario-based Safety evaluation，從大量場(chǎng)景（第一類(lèi)方法）或大量場(chǎng)景可能性（第二類(lèi)方法）中搜索或發(fā)現(xiàn)危險(xiǎn)場(chǎng)景反倒是一條可行之路（從多到少）。

System-based Safety evaluation和Scenario-based Safety evaluation最終會(huì)是雙劍合璧還是殊途同歸呢？

「討論2」真實(shí)性

真實(shí)性（擬真性、可還原性等）問(wèn)題始終是仿真測(cè)試的根本，可能無(wú)限接近但永不達(dá)到。在第一類(lèi)方法中，通過(guò)知識(shí)的方式定義了場(chǎng)景和其中的關(guān)鍵對(duì)象、要素、變量及其取值范圍，間接地服務(wù)于了真實(shí)性目的。在第二類(lèi)方法中，通過(guò)創(chuàng)造智能體（或智能體集群）的方式自動(dòng)化生成場(chǎng)景，則需要更多對(duì)于真實(shí)性的考慮。

可觀察的視角包括：決策的真實(shí)性（含角色的定義）和規(guī)劃的真實(shí)性（包括Path planning、Maneuver planning、Trajectory planning等）等。

在安全驗(yàn)證的框架下，如何在仿真測(cè)試條件下，綜合地實(shí)現(xiàn)覆蓋、效率、擬真等多維目標(biāo)仍需進(jìn)一步的嘗試和努力。