（* 作者：ZET BINYAMINI，F(xiàn)ORETELLIX首席執(zhí)行官兼聯(lián)合創(chuàng)始人直到最近，F(xiàn)oretellix首席執(zhí)行官兼聯(lián)合創(chuàng)始人Ziv Binyamini還是Cadence的公司副總裁，負責模擬和驗證業(yè)務。在Cadence，Verisity和Intel的職業(yè)生涯中，Ziv領導了驗證解決方案的開發(fā)，包括芯片仿真和驗證IP。他的行業(yè)領先，覆蓋范圍驅動的驗證解決方案和測試臺產品包括Specman（用于芯片驗證）和Perspec（用于SoC硬件/軟件驗證）。）2020年3月18日撰

在我職業(yè)生涯的早期，我在Intel的一個非常有趣的項目中工作，該項目組設計了Pentium-pro微處理器。當時，這是英特爾嘗試過的最復雜的設計，而且很可能在其他任何地方都是。為了確保這種復雜的“怪獸”質量，我們必須開發(fā)一種新的方法并確保正確。選擇衡量執(zhí)行的程序數(shù)量或錯誤率本來可以使得衡量變得“容易”，但意義不大。取而代之的是，我們提出了新穎而有意義的指標，用于衡量測試的功能和事件的復雜交互。

上周，加州汽車部門發(fā)布了2019年的"脫離報告"（Disengagement Report)，其中包含該州駕駛自動駕駛汽車的公司所報告的信息。

自動駕駛汽車行業(yè)正在努力尋求有效指標來安全部署AV。AV行業(yè)可用的“最簡單”指標是AV行駛的里程數(shù)和“脫離”的次數(shù)。但是，這些指標雖然“易于”衡量，但不足以衡量AV安全性。

加州"脫離報告"

汽車行業(yè)的思想領袖和管理人員越來越多地分享了他們對行駛里程和脫離接合作為安全部署自動駕駛汽車的指標的有效性的擔憂，并且一些人已經(jīng)開始提出替代指標。

Cruise的Kyle Vogt在題為“脫離神話”的文章中寫道，通常不清楚脫離是否反映了真正的安全問題或更多AV開發(fā)商的脫離政策。他斷言，僅每英里的脫離數(shù)量并不能反映出車輛完全可以自動駕駛。

Voyage 的奧利弗·卡梅倫（Oliver Cameron）談到缺乏 “脫離”的標準，并提出了替代的“駕駛員準備分數(shù)”，作為公司公開分享其進步的一種新方法。該建議分數(shù)包括模擬中通過的場景的百分比。

奧羅拉（Aurora）的克里斯·烏爾姆森（Chris Urmson）在最近的一篇文章中問道：“如果我們在沒有其他車輛或人員，交叉路口很少的平坦干燥地區(qū)行駛1億英里，那么我們的“脫離率”真的可以與在一個高速公路上行駛100英里相提并論。像匹茲堡這樣繁忙而又復雜的城市？”厄姆森指出，僅測量行駛的里程數(shù)可能是進度的欺騙性指示。

我會更直率地說：這些英里中有許多是“啞英里”，即對測試沒有任何新影響的英里。例如，其中有多少只在空曠的高速公路上行駛？AV從右側切入了幾次？AV在小雨中是否遇到過彎彎的高速公路？

那么，AV行業(yè)可以使用哪些有效指標？

需要有效的指標來跟蹤我們離實現(xiàn)安全目標有多近，以及我們應該集中精力進行哪些工作。指標應以客觀，可量化的方式回答：我們是否知道測試過程中遇到了哪些方案和參數(shù)？是否滿足安全要求？是否滿足關鍵績效指標（KPI）？使用最新版本的軟件而不使用較早的無關版本行駛了多少英里？

“脫離”和行駛里程雖然顯示出總體進展，但不足以證明安全目標。要填補這些空白，必須深入了解英里數(shù)-確保我們成功地執(zhí)行了對AV安全至關重要的方案，并提供了必要的指標來證明這一點。



我們該怎么做？

用于創(chuàng)建和跟蹤有效的AV安全度量的另一種方法是“覆蓋率驅動驗證（CDV）”方法。

CDV起源于半導體行業(yè)，多年來已被廣泛使用。近年來，我們對AV進行了安全驗證。它提供了一種有條理的方式來指定方案和實現(xiàn)實現(xiàn)安全要求完整性的客觀指標所需的混合方案。

在利用我們的方法時，首先，定義了包括操作設計域（ODD）在內的高級要求。根據(jù)要求編寫了風險維度的完整列表。使用風險維度，可以創(chuàng)建全面的驗證計劃。該計劃包括可量化，可衡量的目標，直至參數(shù)級別，包括覆蓋率指標和KPI。下一步是使用場景描述語言來定義高級抽象場景及其參數(shù)。抽象方案中的參數(shù)組合會創(chuàng)建大量要測試的具體方案。

具體方案在不同的測試平臺上運行，包括模擬器，在環(huán)硬件，測試軌道和街道行駛，并產生有意義的度量標準，這些度量標準匯總到全面的覆蓋范圍和KPI報告中。對報告的分析推動了驗證工作在未覆蓋區(qū)域上進行磨練，同時使用基于約束的嚴格隨機測試生成來完成覆蓋范圍并探索已知場景之外的區(qū)域，以確保最高級別的安全性。

定義覆蓋率示例

例如，定義的兩個風險維度可能是車輛操作和天氣。車輛操縱抽象場景可以是插入場景，定義的覆蓋范圍包括各種參數(shù)，例如EGO的速度，插入開始時的距離，插入側。記錄的KPI可以是TTC（碰撞時間），減速率等。插入場景可以混合用于從晴天，小雨到大雨的天氣場景，以及AV的ODD中定義的任何其他天氣條件。

“脫離報告”和相關討論強調了AV行業(yè)對有意義的指標的需求，這些指標必須客觀，可量化并涵蓋AV設備的安全要求。覆蓋率驅動驗證方法提供了一個清晰的框架和方法來定義和跟蹤有意義的指標。我相信采用這種系統(tǒng)的方法將有助于業(yè)界更快地實現(xiàn)AV的安全部署。