智能汽車(chē)是汽車(chē)?電子?信息通信?道路交通運(yùn)輸?shù)刃袠I(yè)深度融合的新型產(chǎn)業(yè)形態(tài)?當(dāng)前, 我國(guó)智能汽車(chē)產(chǎn)業(yè)進(jìn)入快車(chē)道, 技術(shù)創(chuàng)新日益活躍, 新型應(yīng)用蓬勃發(fā)展, 產(chǎn)業(yè)規(guī)模不斷擴(kuò)大,而相應(yīng)的測(cè)試技術(shù)體系也在不斷完善, 推動(dòng)產(chǎn)業(yè)進(jìn)步?本書(shū)首先立足于整體現(xiàn)狀對(duì)智能汽車(chē)測(cè)試體系架構(gòu)進(jìn)行綜述, 并針對(duì)測(cè)試技術(shù)的發(fā)展趨勢(shì)和整個(gè)核心技術(shù)進(jìn)行詳細(xì)描述;然后, 針對(duì)測(cè)試體系中每一測(cè)試過(guò)程的概念?核心思想?關(guān)鍵技術(shù)?測(cè)試方法?發(fā)展趨勢(shì)等進(jìn)行詳細(xì)描述?

注：本文節(jié)選自《智能汽車(chē)測(cè)試技術(shù)》第五章節(jié)，由機(jī)械工業(yè)出版社于2025年6月份出版

本書(shū)可供智能汽車(chē)設(shè)計(jì)人員及測(cè)試人員閱讀使用, 也可供車(chē)輛工程專(zhuān)業(yè)及相關(guān)專(zhuān)業(yè)師生閱讀參考?點(diǎn)擊下方鏈接直播購(gòu)買(mǎi)此書(shū)。

https://mp.weixin.qq.com/s/OpSNL9nC3aXP1M2uomBd0A

《智能汽車(chē)測(cè)試技術(shù)》目錄 

第1 章

導(dǎo)論

1.1 背景與需求/ 001

1.2 基本概念/ 003

1.2.1 測(cè)試與評(píng)價(jià)的基本概念/ 003

1.2.2 產(chǎn)品全生命周期中的測(cè)評(píng)技術(shù)/ 004

1.3 現(xiàn)狀與挑戰(zhàn)/ 005

1.4 本書(shū)章節(jié)安排/ 006

第2 章

智能汽車(chē)

測(cè)評(píng)概述

 2.1 測(cè)評(píng)需求分析/ 009

2.1.1 安全性測(cè)試與驗(yàn)證/ 009

2.1.2 智能性測(cè)試與評(píng)價(jià)/ 012

2.2 測(cè)試方法論/ 015

2.2.1 安全性測(cè)試驗(yàn)證框架/ 015

2.2.2 智能性測(cè)試評(píng)估框架和體系/ 017

2.3 測(cè)試工具鏈及應(yīng)用要求/ 023

2.3.1 測(cè)試工具鏈/ 023

2.3.2 測(cè)試需求與測(cè)試工具的適配性/ 027

2.4 本章小結(jié)/ 029

參考文獻(xiàn)/ 030

第3 章

智能汽車(chē)

測(cè)試場(chǎng)景

3.1 場(chǎng)景基本概念/ 031

3.2 場(chǎng)景體系/ 033

3.2.1 場(chǎng)景要素與屬性/ 033

3.2.2 場(chǎng)景層級(jí)/ 035

3.2.3 場(chǎng)景分類(lèi)/ 036

3.3 場(chǎng)景生成方法/ 037

3.3.1 基于形式化描述的場(chǎng)景生成方法/ 037

3.3.2 基于駕駛員模型的場(chǎng)景生成方法/ 040

3.3.3 安全關(guān)鍵場(chǎng)景生成方法/ 048

3.4 場(chǎng)景采集與利用/ 051

3.4.1 場(chǎng)景采集技術(shù)/ 051

3.4.2 場(chǎng)景庫(kù)搭建/ 052

3.5 本章小結(jié)/ 052

參考文獻(xiàn)/ 053

第4 章

環(huán)境感知

系統(tǒng)的測(cè)試

技術(shù)與方法

4.1 環(huán)境感知系統(tǒng)測(cè)試需求分析/ 055

4.2 環(huán)境感知系統(tǒng)介紹/ 057

4.2.1 感知系統(tǒng)/ 057

4.2.2 硬件模組/ 058

4.2.3 認(rèn)知算法/ 058

4.3 環(huán)境感知系統(tǒng)測(cè)試技術(shù)框架/ 059

4.4 各類(lèi)感知環(huán)境介紹/ 060

4.4.1 封閉場(chǎng)地環(huán)境/ 060

4.4.2 道路交通環(huán)境/ 064

4.4.3 虛擬仿真環(huán)境/ 066

4.5 數(shù)據(jù)生成模型介紹/ 069

4.5.1 降雨圖像生成方法概述/ 070

4.5.2 降雨圖像生成模型介紹/ 071

4.5.3 降雨圖像生成模型結(jié)果/ 075

4.6 具體測(cè)試案例/ 076

4.6.1 案例一:基于封閉場(chǎng)地環(huán)境的感知系統(tǒng)測(cè)試/ 076

4.6.2 案例二:基于虛擬仿真環(huán)境的硬件模組測(cè)試/ 078

4.6.3 案例三:基于虛擬仿真環(huán)境的感知系統(tǒng)測(cè)試/ 081

4.6.4 案例四:基于三類(lèi)感知環(huán)境和數(shù)據(jù)生成模型的

認(rèn)知算法測(cè)試/ 083

4.7 本章小結(jié)/ 086

參考文獻(xiàn)/ 087

第5 章

決策規(guī)劃

系統(tǒng)的測(cè)試

技術(shù)與方法

 5.1 決策規(guī)劃系統(tǒng)的測(cè)試需求與挑戰(zhàn)/ 089

5.1.1 測(cè)試需求/ 089

5.1.2 測(cè)試挑戰(zhàn)/ 090

5.2 基于場(chǎng)景的測(cè)試技術(shù)與方法/ 092

5.2.1 靜態(tài)試驗(yàn)設(shè)計(jì)測(cè)試方法/ 092

5.2.2 動(dòng)態(tài)試驗(yàn)設(shè)計(jì)測(cè)試方法/ 094

5.3 基于真實(shí)里程的測(cè)試技術(shù)與方法/ 101

5.3.1 開(kāi)放道路測(cè)試技術(shù)/ 101

5.3.2 重要度采樣加速測(cè)試方法/ 103

5.4 基于虛擬里程的測(cè)試技術(shù)與方法/ 104

5.4.1 虛擬里程測(cè)試系統(tǒng)組成框架/ 105

5.4.2 用于虛擬里程測(cè)試的NPC 模型生成方法/ 106

5.4.3 用于虛擬里程測(cè)試的NPC 模型性能驗(yàn)證/ 113

5.4.4 虛擬里程測(cè)試的應(yīng)用/ 118

5.4.5 小結(jié)/ 130

5.5 其他測(cè)試技術(shù)/ 131

5.5.1 自動(dòng)化測(cè)試技術(shù)/ 131

5.5.2 錯(cuò)誤注入測(cè)試技術(shù)/ 139

5.5.3 分布式自動(dòng)化測(cè)試技術(shù)/ 152

5.6 本章小結(jié)/ 157

參考文獻(xiàn)/ 157

第6 章

整車(chē)測(cè)試

技術(shù)與方法

6.1 整車(chē)測(cè)評(píng)需求分析/ 159

6.2 封閉測(cè)試場(chǎng)地平臺(tái)/ 160

6.2.1 封閉測(cè)試場(chǎng)/ 160

6.2.2 動(dòng)態(tài)模擬目標(biāo)物系統(tǒng)/ 162

6.2.3 定位與數(shù)據(jù)采集系統(tǒng)/ 163

6.3 開(kāi)放道路測(cè)試系統(tǒng)/ 164

6.3.1 測(cè)試方案制定/ 165

6.3.2 數(shù)據(jù)采集與數(shù)據(jù)閉環(huán)系統(tǒng)/ 165

6.4 本章小結(jié)/ 166

第7 章

智能汽車(chē)

安全性評(píng)估

7.1 基于具體場(chǎng)景的安全性評(píng)估/ 169

7.1.1 場(chǎng)景瞬時(shí)風(fēng)險(xiǎn)評(píng)估方法/ 170

7.1.2 多階段安全評(píng)估/ 180

7.1.3 單個(gè)測(cè)試場(chǎng)景結(jié)果外推/ 181

7.2 基于邏輯場(chǎng)景的安全性評(píng)估/ 182

7.2.1 評(píng)估要求/ 182

7.2.2 面向邏輯場(chǎng)景評(píng)價(jià)的危險(xiǎn)域識(shí)別方法/ 183

7.3 針對(duì)被測(cè)功能的安全性評(píng)估/ 192

7.4 本章小結(jié)/ 192

參考文獻(xiàn)/ 193

第8 章

智能汽車(chē)

綜合行駛

性能評(píng)估

 8.1 測(cè)評(píng)需求與研究現(xiàn)狀/ 195

8.1.1 測(cè)評(píng)需求/ 195

8.1.2 研究現(xiàn)狀/ 195

8.2 測(cè)評(píng)基本流程/ 197

8.3 典型測(cè)試場(chǎng)景矩陣/ 198

8.4 測(cè)試方法與流程/ 199

8.4.1 測(cè)試方案/ 199

8.4.2 背景車(chē)跟馳模型/ 199

8.4.3 測(cè)試數(shù)據(jù)輸出/ 201

8.5 評(píng)價(jià)方法與流程/ 202

8.5.1 評(píng)價(jià)體系/ 202

8.5.2 評(píng)價(jià)流程/ 204

8.6 測(cè)評(píng)示例/ 206

8.7 本章小結(jié)/ 209

參考文獻(xiàn)/ 209

附 錄

附錄A 測(cè)試工況參數(shù)設(shè)置/ 210

附錄B 背景車(chē)跟馳模型/ 212

附錄C 歸一化方法/ 214

附錄D 常見(jiàn)縮寫(xiě)詞/ 216

5.4. 4 虛擬里程測(cè)試的應(yīng)用

接下來(lái)將介紹兩個(gè)具體的應(yīng)用案例。

1. 應(yīng)用一:智能性測(cè)試評(píng)價(jià)

在完成NPC模型生成后,可以采用模型構(gòu)建測(cè)試環(huán)境,對(duì)決策規(guī)劃系統(tǒng)的智能性進(jìn)行測(cè)試評(píng)價(jià),服務(wù)于本書(shū)2.1.2節(jié)的測(cè)試需求。在進(jìn)行測(cè)試時(shí),選用固定的NPC模型設(shè)置構(gòu)建測(cè)試環(huán)境,將不同的SUT接入測(cè)試環(huán)境進(jìn)行測(cè)試,并根據(jù)SUT在測(cè)試系統(tǒng)中的表現(xiàn)對(duì)其決策智能性進(jìn)行評(píng)價(jià)。

(1)評(píng)價(jià)指標(biāo)

對(duì)于決策規(guī)劃系統(tǒng)的智能性,分別從安全性、行駛效率、交互效用三個(gè)維度進(jìn)行評(píng)價(jià)。三個(gè)維度的設(shè)計(jì)和計(jì)算方法分別如下所示。

1)安全性。在對(duì)安全性的定義上,自動(dòng)駕駛系統(tǒng)除了需要避免基本的安全碰撞工況以外,還需要避免車(chē)輛陷入可預(yù)見(jiàn)性的危險(xiǎn)工況以降低發(fā)生安全事故的概率。

基于以上,定義兩種安全性評(píng)價(jià)指標(biāo):碰撞與危險(xiǎn)工況暴露收益,其中碰撞C用于統(tǒng)計(jì)車(chē)輛在整個(gè)仿真測(cè)試過(guò)程中的發(fā)生安全碰撞的總次數(shù);危險(xiǎn)工況暴露收益用于統(tǒng)計(jì)車(chē)輛行駛過(guò)程中發(fā)生潛在安全碰撞的工況所獲取的收益,該指標(biāo)與暴露次數(shù)E呈負(fù)相關(guān)。其中對(duì)潛在安全碰撞工況的定義為車(chē)輛行駛過(guò)程中TTC達(dá)到危險(xiǎn)閾值以下或車(chē)輛當(dāng)前減速度大小達(dá)到緊急制動(dòng)減速度范圍內(nèi)時(shí)的行駛工況。根據(jù)碰撞總次數(shù)C以及暴露總次數(shù)E建立自動(dòng)駕駛車(chē)輛決策智能性安全性評(píng)價(jià)公式如下:

2) 行駛效率。自動(dòng)駕駛系統(tǒng)在保證車(chē)輛安全駕駛的基礎(chǔ)上, 需要能夠提供盡可能高的行駛效率。行駛效率可以從平均行駛速度、平均換道時(shí)間以及平均視野域車(chē)流密度三個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。其中定義換道過(guò)程為車(chē)輛從做出換道決策起至車(chē)輛質(zhì)心處于其他車(chē)道時(shí)所歷經(jīng)的時(shí)間。記v 為在被測(cè)試系統(tǒng)控制下的車(chē)輛平均行駛速度, 為平均車(chē)流密度, H 為場(chǎng)景中車(chē)輛總數(shù), T 為在被測(cè)試系統(tǒng)控制下的車(chē)輛平均換道時(shí)間, 建立自動(dòng)駕駛車(chē)輛決策智能性行駛效率評(píng)價(jià)公式如下:

表5-10 測(cè)試系統(tǒng)驗(yàn)證模型設(shè)置

表5 - 11 仿真測(cè)試系統(tǒng)的具體參數(shù)配置

(3)評(píng)價(jià)結(jié)果本節(jié)分別從安全性、行駛效率與交互效用中挑出了幾個(gè)具有統(tǒng)計(jì)意義的指標(biāo)對(duì)三種決策系統(tǒng)進(jìn)行決策智能性分析。

首先,對(duì)于行駛安全性來(lái)說(shuō),將危險(xiǎn)工況的定義設(shè)定為當(dāng)自車(chē)處于緊急制動(dòng)即ab<-6.0m/s2或者處于TTC<2s的駕駛工況。圖5-26所示為不同SUT的仿真測(cè)試TTC分布,展示了不同決策系統(tǒng)在該項(xiàng)指標(biāo)中仿真測(cè)試TTC的表現(xiàn),從圖中可以看出,Stackelberg在所有SUT中達(dá)到TTC危險(xiǎn)工況次數(shù)最少,且其換道TTC主要集中在20~30s的區(qū)間內(nèi)。其主要原因?yàn)镾tackelberg決策作為博弈性質(zhì)的決策,能夠在前方有車(chē)的駕駛工況中提前判斷并做出換道行為以擺脫當(dāng)前危險(xiǎn)工況。而MOBIL與Nilsson往往需要等到與前車(chē)距離足夠近時(shí)才采取換道行為,此外Stackelberg決策的TTC分布跨度較其他兩種決策較大,也體現(xiàn)了Stackelberg決策在尋求換道行為層面上的頻繁性。

圖5-26 不同SUT的仿真測(cè)試TTC分布

其次,在行駛效率方面,為了表征不同決策算法下車(chē)輛的行駛效率,本節(jié)對(duì)車(chē)輛的平均行駛速度進(jìn)行了統(tǒng)計(jì)分析,結(jié)果如圖5-27所示,從圖中可以很明顯地看出Stackelberg算法下的被測(cè)試系統(tǒng)平均行駛速度幾乎全部集中于30~32m/s的區(qū)間內(nèi),MOBIL算法下車(chē)輛的平均行駛速度也有較為不錯(cuò)的表現(xiàn),而Nilsson決策下的車(chē)輛平均行駛速度最低。

圖5-27 不同SUT的仿真測(cè)試平均行駛速度分布

最后對(duì)于交互效用的評(píng)價(jià),本節(jié)分別統(tǒng)計(jì)了當(dāng)自車(chē)采取換道行為時(shí),其視野域內(nèi)周?chē)尘败?chē)的平均速度波動(dòng)與平均加速度波動(dòng),結(jié)果如圖5-28所示。從圖中可以看出三種被測(cè)系統(tǒng)對(duì)周?chē)尘败?chē)平均速度波動(dòng)影響為正,表明均有利好背景車(chē)行駛效率的能力。其中Stackelberg決策系統(tǒng)相比其他決策系統(tǒng),其決策行為能夠造成周?chē)嘬?chē)輛的速度波動(dòng)。在對(duì)場(chǎng)景中車(chē)輛加速度波動(dòng)的影響指標(biāo)中,Stackelberg盡管取得了與其他兩者加速度波動(dòng)中位數(shù)相近的水平,但是加速度波動(dòng)的分布跨距較大,分布較為分散,這是由于Stackelberg決策系統(tǒng)的頻繁換道。以上可以看出Stackelberg在整體交互能力上要稍微遜色于其他決策類(lèi)型的車(chē)輛。

圖5 -28 不同決策系統(tǒng)下場(chǎng)景車(chē)輛平均速度與平均加速度波動(dòng)分布

對(duì)決策智能性公式中所有項(xiàng)目進(jìn)行統(tǒng)計(jì)分析并給出三種SUT的最終評(píng)分,見(jiàn)表5-12。其中Stackelberg決策智能性最高,Nilsson決策智能性次之,MOBIL決策智能性最低。其中對(duì)于安全性評(píng)分來(lái)說(shuō),Stackelberg僅發(fā)生兩次碰撞行為,因此其安全性評(píng)分最高,而Nilsson與MOBIL決策系統(tǒng)發(fā)生了近10次的碰撞行為;在行駛效率上,Stackelberg決策系統(tǒng)屬于三者中最差,這是由于盡管Stackelberg系統(tǒng)平均行駛速度較高,但是Stackelberg頻繁換道使其變道時(shí)間增長(zhǎng),并導(dǎo)致總體行駛效率下降;對(duì)于交互效用評(píng)分,Stackelberg決策系統(tǒng)由于換道行為次數(shù)過(guò)多,其表現(xiàn)稍遜于其他兩個(gè)決策系統(tǒng)。同時(shí)從表5-12中有關(guān)兩種基于規(guī)則的決策系統(tǒng)的決策智能性對(duì)比可以看出,本節(jié)的仿真測(cè)試場(chǎng)景能夠?qū)ν恍再|(zhì)的決策系統(tǒng)中保持良好的區(qū)分度,從側(cè)面驗(yàn)證了場(chǎng)景的有效性。

表5-12 不同決策系統(tǒng)的決策智能性評(píng)分

2. 應(yīng)用二:安全性測(cè)試(未知危險(xiǎn)場(chǎng)景生成)

根據(jù)本書(shū)2.1.1節(jié)中對(duì)國(guó)際標(biāo)準(zhǔn)ISO21448的介紹,具有惡劣天氣、不良道路條件等觸發(fā)條件的場(chǎng)景可能會(huì)導(dǎo)致自動(dòng)駕駛汽車(chē)出現(xiàn)SOTIF問(wèn)題。在ISO21448中用已知/未知、安全/危險(xiǎn)兩個(gè)維度將場(chǎng)景分為4類(lèi),其中如何縮小未知危險(xiǎn)場(chǎng)景的范圍是提升AV的SOTIF性能時(shí)最需要被解決的關(guān)鍵問(wèn)題。

將經(jīng)過(guò)性能驗(yàn)證的NPC模型按照5.4.1節(jié)的方法組成虛擬里程測(cè)試系統(tǒng),并將SUT在環(huán)接入,即可開(kāi)展虛擬里程測(cè)試。虛擬里程測(cè)試完成后,會(huì)產(chǎn)生大量的測(cè)試數(shù)據(jù),可以通過(guò)合理的手段從中獲取具有較高測(cè)試價(jià)值的場(chǎng)景,用于2.1.1節(jié)中所述的安全性測(cè)試與驗(yàn)證。

場(chǎng)景獲取可以通過(guò)構(gòu)建場(chǎng)景處理模塊完成。場(chǎng)景處理模塊包括兩部分:場(chǎng)景識(shí)別和場(chǎng)景分類(lèi)。這兩部分用于從虛擬里程測(cè)試系統(tǒng)生成的測(cè)試數(shù)據(jù)中識(shí)別目標(biāo)場(chǎng)景,然后將其分類(lèi)為不同的類(lèi)型。經(jīng)過(guò)分類(lèi)的場(chǎng)景輸出到目標(biāo)場(chǎng)景庫(kù),并可以用于對(duì)SUT的進(jìn)一步測(cè)試。場(chǎng)景處理的本質(zhì)是對(duì)時(shí)空連續(xù)場(chǎng)景進(jìn)行切片,以獲得所需的片段場(chǎng)景。場(chǎng)景處理模塊的設(shè)置決定了生成未知危險(xiǎn)場(chǎng)景的測(cè)試能力,因此需要與測(cè)試需求保持一致。

對(duì)于場(chǎng)景識(shí)別部分,需要通過(guò)設(shè)定場(chǎng)景描述規(guī)則,以確定需要篩選出的目標(biāo)場(chǎng)景標(biāo)準(zhǔn)。場(chǎng)景描述規(guī)則通常是對(duì)目標(biāo)場(chǎng)景共性特征的描述,通過(guò)與自動(dòng)化測(cè)試框架的結(jié)合可以完成大批量場(chǎng)景的識(shí)別。例如,對(duì)于危險(xiǎn)場(chǎng)景的識(shí)別,可以將場(chǎng)景描述規(guī)則設(shè)定為“發(fā)生碰撞”或“最小TTC小于0.5s”。

對(duì)于場(chǎng)景分類(lèi)標(biāo)準(zhǔn),需要根據(jù)目標(biāo)場(chǎng)景的區(qū)別特征,設(shè)定每一類(lèi)場(chǎng)景的分類(lèi)標(biāo)準(zhǔn)。例如,對(duì)于危險(xiǎn)場(chǎng)景,可以根據(jù)被測(cè)系統(tǒng)不同的失效模式對(duì)獲得的場(chǎng)景進(jìn)行分類(lèi),將場(chǎng)景分類(lèi)為:碰撞場(chǎng)景、Near?Crash場(chǎng)景、違反交規(guī)場(chǎng)景、不合理行為場(chǎng)景,如圖5-29所示。

圖5-29 場(chǎng)景分類(lèi)標(biāo)準(zhǔn)示例

(1)基于虛擬里程測(cè)試的場(chǎng)景生成性能評(píng)價(jià)方法

對(duì)于虛擬里程測(cè)試系統(tǒng),通常需要其生成的測(cè)試場(chǎng)景具備有效性、復(fù)雜性、高效性、多樣性、區(qū)分性等性能,因此需要在系統(tǒng)層級(jí)對(duì)系統(tǒng)的場(chǎng)景生成性能進(jìn)行測(cè)試和驗(yàn)證評(píng)價(jià)。

有效性評(píng)價(jià)的是虛擬里程測(cè)試系統(tǒng)生成的所有測(cè)試數(shù)據(jù),是生成場(chǎng)景測(cè)試價(jià)值的基礎(chǔ)。有效性評(píng)價(jià)分為宏觀有效性和微觀有效性。

宏觀有效性用于驗(yàn)證虛擬里程測(cè)試中的交通流密度在自然駕駛環(huán)境范圍內(nèi)。在虛擬里程測(cè)試中,危險(xiǎn)場(chǎng)景大多來(lái)源于復(fù)雜環(huán)境下被測(cè)系統(tǒng)和背景車(chē)輛的交互。如果在測(cè)試過(guò)程中SUT周?chē)写罅康谋尘败?chē),可以增加被測(cè)系統(tǒng)與背景車(chē)輛的交互,提高未知危險(xiǎn)場(chǎng)景生成的效率。然而,這可能會(huì)使交通流過(guò)于密集,使得環(huán)境缺乏真實(shí)性,因此系統(tǒng)需要具備宏觀有效性。

微觀有效性是用于驗(yàn)證背景車(chē)在場(chǎng)景中的行為是高度可解釋的。它可以通過(guò)對(duì)背景車(chē)在生成場(chǎng)景中的行為進(jìn)行定性分析來(lái)評(píng)價(jià)。復(fù)雜性用于評(píng)價(jià)每個(gè)已確定的關(guān)鍵場(chǎng)景,以量化虛擬里程測(cè)試系統(tǒng)生成場(chǎng)景的復(fù)雜程度。復(fù)雜性可以通過(guò)場(chǎng)景描述維度的數(shù)量來(lái)計(jì)算,計(jì)算公式如下。

式中,ci為第i個(gè)場(chǎng)景的復(fù)雜度;cn為歸一化系數(shù)。

高效性用于評(píng)價(jià)生成目標(biāo)場(chǎng)景的效率。它通過(guò)每單位時(shí)間生成的場(chǎng)景數(shù)量進(jìn)行量化,并通過(guò)En進(jìn)行歸一化。如果N/t大于En,則效率結(jié)果取1。計(jì)算公式如下。

式中, N 為目標(biāo)場(chǎng)景的生成數(shù)量; t 為場(chǎng)景生成時(shí)間。

多樣性用于評(píng)價(jià)虛擬里程測(cè)試系統(tǒng)對(duì)不同類(lèi)型場(chǎng)景的生成能力。對(duì)于一個(gè)性能良好的虛擬里程測(cè)試系統(tǒng), 它應(yīng)該具有在同一時(shí)間段內(nèi)生成不同類(lèi)型場(chǎng)景的能力。多樣性用于評(píng)價(jià)SUT 的分類(lèi)場(chǎng)景的分布。多樣性通過(guò)對(duì)不同類(lèi)型場(chǎng)景的分布標(biāo)準(zhǔn)差來(lái)量化。標(biāo)準(zhǔn)差越小, 多樣性越好。計(jì)算公式如下。

式中, di 為第i 類(lèi)場(chǎng)景的百分比; m 為場(chǎng)景類(lèi)型的數(shù)量; σ 為場(chǎng)景分布的標(biāo)準(zhǔn)差。

區(qū)分性用于評(píng)價(jià)虛擬里程測(cè)試系統(tǒng)對(duì)不同SUT 的區(qū)分能力。由于SUT 具有不同的特征, 因此不同SUT 的生成結(jié)果應(yīng)該存在差異。區(qū)分性的評(píng)價(jià)是針對(duì)不同SUT 產(chǎn)生的不同場(chǎng)景類(lèi)型的分布。它通過(guò)場(chǎng)景分布之間的JS 散度來(lái)量化。計(jì)算公式如下。

式中, P 和Q 為不同SUT 生成的場(chǎng)景百分比的分布。

(2) 虛擬里程測(cè)試系統(tǒng)性能評(píng)價(jià)實(shí)踐

本節(jié)采用5. 4.2 節(jié)中示例生成的NPC 模型和前面提到的性能評(píng)價(jià)方法, 對(duì)虛擬里程測(cè)試系統(tǒng)的評(píng)價(jià)過(guò)程進(jìn)行展示。評(píng)價(jià)實(shí)踐中使用到的模型除了5.4. 2節(jié)示例中采用強(qiáng)化學(xué)習(xí)方法生成的中立型、競(jìng)爭(zhēng)型、合作型NPC 模型外, 還有3.3.2 節(jié)中介紹的Stackelberg、Nilsson 和MOBIL 模型。

1) 場(chǎng)景示例。采用DRL 模型作為NPC 模型、Stackelberg 作為SUT 的虛擬里程測(cè)試系統(tǒng)生成的場(chǎng)景示例如圖5 - 30 所示, 圖中紅色曲線表示SUT, 其余曲線均為不同背景車(chē)(BV)。

如圖5 -30a 所示, SUT 前方有車(chē)輛切入, 導(dǎo)致SUT 的行駛空間受到壓縮,于是產(chǎn)生了換道意愿;此時(shí)SUT周?chē)挥信c右側(cè)前方車(chē)輛的距離較遠(yuǎn),于是SUT向右側(cè)換道;但右側(cè)車(chē)道后方的BV以比SUT更快的車(chē)速向前駛來(lái),最后由于沒(méi)有合理規(guī)避,SUT與其發(fā)生了碰撞。

對(duì)于圖5-30b所示的場(chǎng)景,深紅色車(chē)輛向左換道到SUT前方,壓縮了SUT的行駛空間,SUT產(chǎn)生換道意圖。此時(shí)SUT左側(cè)車(chē)道前中后三個(gè)方向均有BV占據(jù)車(chē)道,因此只能向右側(cè)換道。但位于匝道的BV即將行駛到匝道盡頭,因此向左換道從匝道匯入主路,正好與SUT發(fā)生碰撞。根據(jù)軌跡點(diǎn)判斷,二者做出換道決策的時(shí)刻相似,同時(shí)由兩側(cè)車(chē)道向中間車(chē)道換道。

對(duì)于圖5-30c所示的場(chǎng)景,位于匝道的棕色車(chē)輛已行駛到匝道盡頭,做出向左換道匯入主路的決策,切入行駛到SUT前方。SUT被阻擋后,產(chǎn)生換道意圖。由于此時(shí)SUT左側(cè)車(chē)道有車(chē)輛并行,因此做出了向匝道換道的不合理決策,最終導(dǎo)致駛向道路邊界,發(fā)生碰撞。

圖5-30 采用基于DRL背景車(chē)生成的場(chǎng)景示例

由于BV的行為均可以通過(guò)對(duì)其周?chē)h(huán)境的分析進(jìn)行合理解釋,因此該虛擬里程測(cè)試系統(tǒng)具備微觀有效性。

對(duì)于宏觀有效性,將基于DRL模型生成的場(chǎng)景和highD數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果進(jìn)行了分析。highD數(shù)據(jù)集和虛擬里程測(cè)試系統(tǒng)中SUT周?chē)h(huán)境的交通流密度和平均速度如圖5-31所示。可以看出,當(dāng)交通流密度相同時(shí),虛擬里程測(cè)試系統(tǒng)中SUT周?chē)?chē)輛的平均速度低于自然駕駛數(shù)據(jù)的最大值。因此,虛擬里程測(cè)試系統(tǒng)的交通流量低于自然駕駛數(shù)據(jù)的最大值,該系統(tǒng)具有宏觀有效性。

圖5-31highD數(shù)據(jù)集和虛擬里程測(cè)試系統(tǒng)中SUT周?chē)h(huán)境的交通流密度和平均速度

2)量化分析。進(jìn)行量化分析時(shí),為了對(duì)比不同試驗(yàn)設(shè)置對(duì)于場(chǎng)景生成效果的影響,開(kāi)展了表5-13所示的對(duì)比試驗(yàn)。在大多數(shù)試驗(yàn)中,SUT被統(tǒng)一設(shè)置為Stackelberg模型;在區(qū)分性評(píng)價(jià)時(shí),需要兩個(gè)SUT,因此MOBIL模型也被作為SUT進(jìn)行試驗(yàn)。 

①?gòu)?fù)雜性。對(duì)典型示例場(chǎng)景的分析表明, 危險(xiǎn)場(chǎng)景的生成通常需要更多的環(huán)境條件約束, 從而使SUT 可以選擇的安全行為更少, 更容易出現(xiàn)危險(xiǎn)場(chǎng)景。因此, 環(huán)境的復(fù)雜性通常很高。根據(jù)本節(jié)中描述的方法對(duì)生成場(chǎng)景的復(fù)雜性進(jìn)行量化, 獲得的結(jié)果如圖5 -32 和表5 -14 所示。

根據(jù)統(tǒng)計(jì)結(jié)果, 采用基于DRL 的背景車(chē),虛擬里程測(cè)試系統(tǒng)生成的未知危險(xiǎn)場(chǎng)景的最大復(fù)雜度和平均復(fù)雜度分別為14 和5.40。復(fù)雜度大于6 的高度復(fù)雜場(chǎng)景的比例達(dá)到32.41%, 如圖5 - 32 所示。采用DRL 背景車(chē)的系統(tǒng)復(fù)雜性評(píng)價(jià)結(jié)果為0.34。

圖5-32 生成的未知危險(xiǎn)場(chǎng)景復(fù)雜度分布

表5-14 復(fù)雜性對(duì)比評(píng)價(jià)結(jié)果

相比之下,應(yīng)用動(dòng)態(tài)試驗(yàn)設(shè)計(jì)(AdaptiveDesignofDomain,ADOE)方法生成的場(chǎng)景通常只有1或2輛背景車(chē)。根據(jù)復(fù)雜性評(píng)價(jià)方法,最大復(fù)雜度為4。此外,采用DRL背景車(chē)的虛擬里程測(cè)試系統(tǒng)復(fù)雜性也略高于采用MOBIL和Nilsson模型作背景車(chē)的情況。因此,所提出的方法可以有效地提高生成場(chǎng)景的復(fù)雜性,并且采用基于DRL的背景車(chē)具有最好的性能。

②高效性。采用DRL背景車(chē)的虛擬里程測(cè)試系統(tǒng)平均每小時(shí)產(chǎn)生16.96個(gè)未知的危險(xiǎn)場(chǎng)景,這意味著1km測(cè)試產(chǎn)生的場(chǎng)景可能需要在自然駕駛環(huán)境中行駛超過(guò)10000km。使用MOBIL和Nilsson作為背景車(chē)時(shí),虛擬里程測(cè)試系統(tǒng)平均每小時(shí)產(chǎn)生5.01和12.79個(gè)未知危險(xiǎn)場(chǎng)景。因此,基于DRL的背景車(chē)設(shè)置是最有效的設(shè)置。高效性的評(píng)價(jià)結(jié)果見(jiàn)表5-15。

表5-15 未知危險(xiǎn)場(chǎng)景高效性的評(píng)價(jià)結(jié)果

③多樣性。采用不同環(huán)境設(shè)置的虛擬里程測(cè)試系統(tǒng)生成的未知危險(xiǎn)場(chǎng)景的分類(lèi)分布見(jiàn)表5-16。與采用MOBIL和Nilsson背景車(chē)設(shè)置相比,采用DRL背景車(chē)的虛擬里程測(cè)試系統(tǒng)可以產(chǎn)生更多的違反交規(guī)場(chǎng)景和不合理行為場(chǎng)景,使結(jié)果更加多樣化,如圖5-33所示。采用DRL背景車(chē)的虛擬里程測(cè)試系統(tǒng)的多樣性評(píng)價(jià)結(jié)果為0.67,明顯高于其他幾種背景車(chē)設(shè)置的結(jié)果。

圖5 -33 不同類(lèi)型場(chǎng)景比例分布

根據(jù)表5-16的評(píng)價(jià)結(jié)果,MOBIL作背景車(chē)時(shí)虛擬里程測(cè)試系統(tǒng)生成的場(chǎng)景多樣性評(píng)價(jià)結(jié)果遠(yuǎn)低于采用DRL背景車(chē)時(shí),這是由于MOBIL作背景車(chē)生成的場(chǎng)景多為碰撞場(chǎng)景,Near-Crash和違反交規(guī)場(chǎng)景的數(shù)量均較少;Nilsson作背景車(chē)生成場(chǎng)景的多樣性略低于DRL模型,其生成的場(chǎng)景有大約一半為Near-Crash場(chǎng)景,碰撞場(chǎng)景數(shù)量明顯較少,這是由于Nilsson模型是為了能夠安全行駛和換道設(shè)計(jì)的,其換道行為較為保守,因此生成的場(chǎng)景相對(duì)危險(xiǎn)性較低。

表5-16 多樣性評(píng)價(jià)結(jié)果

④區(qū)分性。在區(qū)分性評(píng)價(jià)中,SUT被分別設(shè)置為Stackelberg和MOBIL用于場(chǎng)景生成。結(jié)果見(jiàn)表5-17。對(duì)于DRL模型作背景車(chē)的虛擬里程測(cè)試系統(tǒng),MOBIL生成的碰撞和Near?Crash場(chǎng)景的百分比高于Stackelberg,Stackelberg具有更多的違規(guī)和不合理場(chǎng)景;此外,MOBIL幾乎沒(méi)有生成違反交規(guī)的場(chǎng)景。不同的場(chǎng)景百分比反映了SUT的區(qū)別。DRL作背景車(chē)時(shí),區(qū)分性評(píng)價(jià)結(jié)果為0.032,大于Nilsson作背景車(chē)的設(shè)定。

表5-17 區(qū)分性評(píng)價(jià)結(jié)果

5.4. 5 小結(jié)

由于決策規(guī)劃系統(tǒng)在仿真測(cè)試中具有較高的保真度,因此可以采用虛擬里程測(cè)試的方法對(duì)決策規(guī)劃系統(tǒng)進(jìn)行測(cè)試,進(jìn)而對(duì)其智能度進(jìn)行評(píng)價(jià)或?qū)ξ粗ｋU(xiǎn)場(chǎng)景進(jìn)行生成,極大地提升測(cè)試效率。虛擬里程測(cè)試通常由NPC模型、測(cè)試地圖、仿真平臺(tái)構(gòu)成,其中NPC模型通常用作仿真模型中的背景車(chē)行為生成,是測(cè)試有效性來(lái)源的最關(guān)鍵因素,因此需要通過(guò)合理的方法生成NPC模型,并對(duì)其性能進(jìn)行充分驗(yàn)證。

可以根據(jù)不同決策規(guī)劃系統(tǒng)在虛擬里程測(cè)試系統(tǒng)中的行為表現(xiàn),對(duì)其智能度進(jìn)行測(cè)試和評(píng)價(jià)?？梢詮陌踩浴⑿旭傂屎徒换バв萌齻€(gè)維度對(duì)決策規(guī)劃系統(tǒng)的智能度進(jìn)行評(píng)價(jià),并且經(jīng)過(guò)驗(yàn)證,在采用合適的NPC模型時(shí),虛擬里程測(cè)試系統(tǒng)能夠?qū)ν恍再|(zhì)的被測(cè)決策系統(tǒng)保持良好的區(qū)分度,從側(cè)面驗(yàn)證了測(cè)試的有效性。

虛擬里程測(cè)試系統(tǒng)生成的大量測(cè)試數(shù)據(jù)可以通過(guò)場(chǎng)景識(shí)別和場(chǎng)景分類(lèi)篩選出測(cè)試過(guò)程中生成的未知危險(xiǎn)場(chǎng)景,并可以從有效性、高效性、復(fù)雜性、多樣性、區(qū)分性等角度對(duì)虛擬里程測(cè)試系統(tǒng)的場(chǎng)景生成性能進(jìn)行驗(yàn)證和評(píng)價(jià),進(jìn)而不斷對(duì)系統(tǒng)進(jìn)行優(yōu)化,提升未知危險(xiǎn)場(chǎng)景的生成性能,更快地實(shí)現(xiàn)對(duì)自動(dòng)駕駛決策規(guī)劃系統(tǒng)的SOTIF性能驗(yàn)證和優(yōu)化。

本書(shū)首先立足于整體現(xiàn)狀對(duì)智能汽車(chē)測(cè)試體系架構(gòu)進(jìn)行綜述， 并針對(duì)測(cè)試技術(shù)的發(fā)展趨勢(shì)和整個(gè)核心技術(shù)進(jìn)行詳細(xì)描述；然后， 針對(duì)測(cè)試體系中每一測(cè)試過(guò)程的概念、核心思想、關(guān)鍵技術(shù)、測(cè)試方法、發(fā)展趨勢(shì)等進(jìn)行詳細(xì)描述。

本書(shū)可供智能汽車(chē)設(shè)計(jì)人員及測(cè)試人員閱讀使用， 也可供車(chē)輛工程專(zhuān)業(yè)及相關(guān)專(zhuān)業(yè)師生閱讀參考。

點(diǎn)擊以下鏈接購(gòu)買(mǎi)https://mp.weixin.qq.com/s/OpSNL9nC3aXP1M2uomBd0A

作者簡(jiǎn)介：

陳君毅,2009年畢業(yè)于同濟(jì)大學(xué)汽車(chē)學(xué)院,獲工學(xué)博士學(xué)位,任職于同濟(jì)大學(xué)汽車(chē)學(xué)院?長(zhǎng)期從事自動(dòng)駕駛汽車(chē)測(cè)試與評(píng)價(jià)方向研究工作,先后主持和參與國(guó)家級(jí)?省部級(jí)項(xiàng)目共11項(xiàng),并與華為?路特斯?上汽大眾?蔚來(lái)等企業(yè)開(kāi)展了深度校企合作研究?近5年,在國(guó)內(nèi)外學(xué)術(shù)期刊和國(guó)際會(huì)議上共發(fā)表SCI/EI檢索論文近30篇,其中以第一作者或及通訊作者發(fā)表的為20余篇;申請(qǐng)發(fā)明專(zhuān)利30余項(xiàng)(已授權(quán)7項(xiàng))?擔(dān)任SAE汽車(chē)安全和網(wǎng)絡(luò)安全技術(shù)委員會(huì)秘書(shū)?功能安全和預(yù)期功能安全分委會(huì)主席;是自動(dòng)駕駛測(cè)試場(chǎng)景國(guó)際標(biāo)準(zhǔn)(ISO3450X)支撐專(zhuān)家組成員,以及CAICV聯(lián)盟預(yù)期功能安全工作組核心成員;擔(dān)任《汽車(chē)工程》和《汽車(chē)工程學(xué)報(bào)》青年編委委員,IEEE Transactions on Intelligent Vehicles?Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering?《中國(guó)公路學(xué)報(bào)》?《汽車(chē)工程》?IEEE Intelligent Transportation Systems Conference?IEEE Intelligent Vehicles Symposium等國(guó)內(nèi)外期刊和國(guó)際會(huì)議審稿人,曾于多項(xiàng)國(guó)際學(xué)術(shù)會(huì)議擔(dān)任分論壇主席?

版權(quán)信息:

智能汽車(chē)測(cè)試技術(shù) / 陳君毅等著. -- 北京 : 機(jī)械工業(yè)出版社, 2025. 5. -- (智能汽車(chē)關(guān)鍵技術(shù)叢書(shū)).ISBN 978-7-111-77871-4 Ⅰ. U467 中國(guó)國(guó)家版本館CIP數(shù)據(jù)核字第2025X8D229號(hào)

本書(shū)由機(jī)械工業(yè)出版社出版，本文經(jīng)出版方授權(quán)發(fā)布。