三、仿真測試評價體系

3.1 仿真測試評價維度及具體評價內(nèi)容

1）兩個重要評價維度：真實性和有效性

a. 真實性評價：主要是針對場景庫真實合理性的評價，分為場景信息真實度、場景分布真實度兩個方面


真實度評價的兩個維度

場景信息真實度：在場景在構(gòu)建過程中，需要合理準確的在虛擬環(huán)境中渲染測試場景中的靜態(tài)環(huán)境要素（如交通設施、道路及障礙物等）、動態(tài)環(huán)境要素（動態(tài)指示設施、通信環(huán)境信息）、交通參與者要素（機動車/非機動車、行人等）以及氣象環(huán)境要素（環(huán)境溫度、光照條件、天氣情況）等信息。

場景分布真實度：在參數(shù)重組場景中對于由特征元素組合和人工編輯合成的場景，由于人工修改參數(shù)后可能會出現(xiàn)真實世界不存在的場景，因此在人工編輯場景時需參考真實世界場景的參數(shù)值范圍去合理化地設置參數(shù)重組場景。

b. 有效性評價
目前尚未統(tǒng)一的有效性評價標準，當前可參考的標準如下：

2）具體評價內(nèi)容：仿真測試自身評價以及自動駕駛車輛駕駛性能、駕駛協(xié)調(diào)性、標準匹配性、學習進化性等方面；
圖片

自動駕駛仿真測試評價項目
注：評價項目內(nèi)容參考《2020中國自動駕駛仿真藍皮書》

3.2 仿真測試評價標準示例

評價方法：（兩種）
基于功能的評價方法：針對特定的自動駕駛功能，在給定測試場景的前提下，判斷測試的自動駕駛汽車是否可以在該場景中安全行駛
基于場景的評價方法：將測試車輛置于測試場景中，在自動駕駛汽車能夠安全行駛的前提下，判斷該場景的復雜程度，例如周圍環(huán)境的復雜程度或駕駛?cè)蝿盏膹碗s程度等


評價指標：（兩類）
通過性評價指標：針對自動駕駛做出判斷以及規(guī)定場景內(nèi)必須實現(xiàn)目標的評價；如安全性、完備性、經(jīng)濟性、人工干預度等評價指標，量化上采取0/1機制
性能評價指標：表征自動駕駛汽車在具體測試場景下預期功能實現(xiàn)的程度；如智能性、舒適性、擬人性等評價指標，量化上采取差值機制
參考：評價標準參考《自動駕駛系統(tǒng)功能測試第7部分：仿真測試（征求意見稿）》

結(jié)語

自動駕駛仿真測試發(fā)展面臨的挑戰(zhàn)

1）場景庫建設
沒有統(tǒng)一的數(shù)據(jù)格式標準，企業(yè)之間的場景庫建設缺乏合作，資源重復性投入大；
場景庫數(shù)據(jù)的標注、分析提取等環(huán)節(jié)仍然依靠大量人工，場景庫建設效率低，成本高；
場景庫的覆蓋率依然不高，不足以覆蓋常見的交通場景；
窮舉覆蓋全場景的測試用例與測試效率和測試精度如何平衡。

2）仿真平臺
測試場景有限，在測試方法的標準化與仿真虛擬測試應用上還較為薄弱；
目前尚無一款完美的自動駕駛仿真軟件，能夠?qū)崿F(xiàn)所有模塊的仿真測試功能，仍然需要多個仿真軟件進行聯(lián)合仿真；不同自動駕駛仿真軟件，往往需要開發(fā)不同的仿真接口，不僅增加了時間成本，也增加了工程師的學習成本；
仿真環(huán)境缺乏現(xiàn)實世界物理現(xiàn)實的真實性和豐富性，并且訓練效果有限，可擴展性差；
系統(tǒng)仿真軟件也存在自身固有的弱點，比如仿真模型需要對邊界條件進行明確的假設，但現(xiàn)實中這些邊界條件不一定能明確或者不能真實地獲?。?br /> 傳感器模型、車輛動力學模型以及道路環(huán)境模型的準確性都會影響到仿真測試結(jié)果準確性，因此提高仿真測試結(jié)果的可信度也是當前一個較大的挑戰(zhàn)。

3）測試評價體系
不同的企業(yè)采用的仿真軟件系統(tǒng)架構(gòu)和場景庫構(gòu)建方法不盡相同，導致很難建立統(tǒng)一規(guī)范的仿真測試評價體系；
仿真軟件自身的真實性和有效性方面的評價尚無統(tǒng)一的標準規(guī)范，且車輛的學習進化性方面還缺乏相應評價標準。

自動駕駛仿真測試技術(shù)發(fā)展趨勢展望

1）基于云平臺的高并發(fā)測試、加速測試是仿真測試未來重要的發(fā)展方向，是自動駕駛仿真企業(yè)的核心競爭力之一；云平臺具備海量數(shù)據(jù)存儲、處理和管理的能力，支持大規(guī)模仿真構(gòu)建，覆蓋海量駕駛場景；可有效建立城市級地理信息+虛擬交通流信息，可實現(xiàn)跨專業(yè)多用戶信息交互與共享。

2）功能安全場景庫、V2X場景庫以及預期功能安全場景庫將是未來場景庫建設的重點；不同廠商采用統(tǒng)一數(shù)據(jù)格式標準，共建基礎場景庫，形成通用的、可移植的場景庫。

3）混合交通仿真測試將是未來自動駕駛仿真技術(shù)的一個重要研究領域；自動駕駛汽車取代傳統(tǒng)汽車不是一蹴而就的事情，必然在相當?shù)囊欢螘r間內(nèi)處于兩者共存的局面，因此傳統(tǒng)汽車與自動駕駛汽車混行將是一種常見的交通場景。甚至還需要建立自動駕駛車輛在不同滲透率下的混合交通仿真模型。

4）數(shù)字孿生技術(shù)將為自動駕駛仿真測試發(fā)展道路上的一大助力，是仿真測試的增效利器； 數(shù)字孿生就是在虛擬環(huán)境中建立一個和現(xiàn)實世界一致的模型。自動駕駛數(shù)字孿生測試VRIL(Virtual Reality in the Loop)即真實的車輛在真實的測試場地中進行測試，將同時映射到虛擬的測試環(huán)境中，從而完成虛、實狀態(tài)的同步，實現(xiàn)整個數(shù)字孿生系統(tǒng)的閉環(huán)實時仿真測試。

5）當前自動駕駛仿真測試主要還是偏向于傳統(tǒng)的主被動層面的安全性及可靠性等方面的測試驗證，以及用于感知、規(guī)劃決策及控制算法的研發(fā)或迭代升級；但是每個自動駕駛車輛都不是孤立存在的，必然是網(wǎng)聯(lián)化的，是作為整個智慧交通體系中的一個智能節(jié)點而存在，因此信息安全方向的驗證測試與評價也必然是未來自動駕駛仿真測試的一個重要研究方向。