譯文

重新定義自動(dòng)駕駛車輛的安全性

原文：Redefining Safety for Autonomous Vehicles

翻譯：季池、盧雪梨

審核：王葉、陳麗

基于計(jì)算機(jī)的系統(tǒng)安全的現(xiàn)有定義和相關(guān)概念框架應(yīng)根據(jù)部署自主車輛的實(shí)際經(jīng)驗(yàn)進(jìn)行重新審查。行業(yè)安全標(biāo)準(zhǔn)使用的當(dāng)前術(shù)語(yǔ)強(qiáng)調(diào)減輕特定危險(xiǎn)的風(fēng)險(xiǎn)，并基于人類監(jiān)督的車輛操作進(jìn)行假設(shè)。沒(méi)有人類駕駛員的操作極大地增加了安全問(wèn)題的范圍，特別是由于在開(kāi)放世界環(huán)境中的運(yùn)行、自我執(zhí)行運(yùn)行限制的要求、參與系統(tǒng)的特定社會(huì)技術(shù)系統(tǒng)以及遵守法律和道德約束的要求?，F(xiàn)有的標(biāo)準(zhǔn)和術(shù)語(yǔ)只能部分解決這些新的挑戰(zhàn)。我們建議更新核心系統(tǒng)安全概念的定義，包括這些額外的考慮因素，作為演化安全方法的起點(diǎn)，以解決這些額外的安全挑戰(zhàn)。這些結(jié)果還可以為其他自動(dòng)系統(tǒng)應(yīng)用的安全術(shù)語(yǔ)框架提供信息。

01  引言

機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用要求我們重新審視計(jì)算機(jī)系統(tǒng)“安全”一詞的含義。是時(shí)候問(wèn)一問(wèn)，我們當(dāng)前的安全定義是否適用于這樣的系統(tǒng)?，F(xiàn)有的定義框架可以進(jìn)一步延伸，但已顯示出顯著的老化跡象。此外，由這些傳統(tǒng)定義所塑造的思維模式和流程本身也在這種新技術(shù)的沖擊下逐漸失效。

更新安全和相關(guān)術(shù)語(yǔ)的定義可以促進(jìn)更穩(wěn)健的安全觀點(diǎn)。我們?cè)诂F(xiàn)實(shí)世界中的自動(dòng)駕駛汽車（AV）部署中，從已經(jīng)看到的一些事件中找到了支撐我們提出的更新的基礎(chǔ)，并識(shí)別出了更廣泛的潛在主題。我們根據(jù)當(dāng)前相關(guān)行業(yè)共識(shí)標(biāo)準(zhǔn)（ISO 26262、ISO 21448和UL 4600）中使用術(shù)語(yǔ)的發(fā)展需要，提出了一組更新的定義。

作為正在出現(xiàn)的問(wèn)題類型的第一個(gè)例子，有許多關(guān)于舊金山自動(dòng)駕駛出租車干擾應(yīng)急響應(yīng)操作的報(bào)告。這通常不涉及明顯危險(xiǎn)的車輛運(yùn)動(dòng)，例如碰撞，而是涉及車輛為了減輕碰撞風(fēng)險(xiǎn)而使自己停滯在無(wú)法安全處理的情況下。然而，這種出于安全動(dòng)機(jī)的行為可能會(huì)阻礙應(yīng)急響應(yīng)車輛的進(jìn)展，從而增加社會(huì)風(fēng)險(xiǎn)。這不是當(dāng)前安全標(biāo)準(zhǔn)的用戶通常預(yù)期的損失事件類型。

我們使用最近的自動(dòng)車輛事故的例子來(lái)確定當(dāng)前安全概念和術(shù)語(yǔ)的缺點(diǎn)。然后，我們提出了核心安全術(shù)語(yǔ)的調(diào)整定義。雖然我們?cè)诒疚闹嘘P(guān)注的是術(shù)語(yǔ)和自動(dòng)駕駛車輛，但這只是關(guān)于自治系統(tǒng)安全性的更廣泛討論的開(kāi)始。技術(shù)的本質(zhì)要求安全視角本身進(jìn)行重大轉(zhuǎn)變和擴(kuò)展，以應(yīng)對(duì)這些挑戰(zhàn)。

本文的第2節(jié)使用與自動(dòng)駕駛車輛安全相關(guān)的國(guó)際標(biāo)準(zhǔn)，總結(jié)了當(dāng)前安全和相關(guān)概念的示例定義。在隨后的部分中，我們討論了這些定義為何在自動(dòng)系統(tǒng)的要求下顯得力不從心，并通過(guò)現(xiàn)實(shí)世界的事件識(shí)別核心差距。然后，我們提出了更新的關(guān)鍵定義，以解決差距，同時(shí)不打破現(xiàn)有的安全工程實(shí)踐。

至于范圍，本文不涉及關(guān)于組織安全理念的討論，也不涉及如何最好地實(shí)現(xiàn)定義的安全目標(biāo)，或如何將工程術(shù)語(yǔ)納入法規(guī)中。這些重要話題如安全改進(jìn)方法和安全管理系統(tǒng)留待其他討論。同樣，危險(xiǎn)識(shí)別和分析技術(shù)依然適用，但超出了我們的討論范圍。我們也承認(rèn)，在法規(guī)領(lǐng)域有大量關(guān)于安全和風(fēng)險(xiǎn)的工作。這為我們的工作提供了信息，但我們并不尋求提出法規(guī)術(shù)語(yǔ)的重新定義——這將是另一篇論文的主題。

02  現(xiàn)有安全定義

從本質(zhì)上講，我們的工作是探究在開(kāi)發(fā)基于計(jì)算機(jī)的安全關(guān)鍵系統(tǒng)時(shí)，改變“安全”的本質(zhì)——特別是必須在超越傳統(tǒng)功能安全和人類監(jiān)督系統(tǒng)安全的社會(huì)技術(shù)框架內(nèi)運(yùn)行的系統(tǒng)。

這項(xiàng)工作建立在初步工作發(fā)現(xiàn)的基礎(chǔ)上，即可接受的自動(dòng)駕駛車輛安全需要的不僅僅是“優(yōu)于人類駕駛員”的凈風(fēng)險(xiǎn)方法。在這項(xiàng)工作中，我們確定了復(fù)雜的因素，包括：風(fēng)險(xiǎn)補(bǔ)貼，風(fēng)險(xiǎn)轉(zhuǎn)移，疏忽，響應(yīng)者角色安全，指責(zé)的適當(dāng)角色，標(biāo)準(zhǔn)一致性，監(jiān)管要求，道德問(wèn)題，公平問(wèn)題，以及風(fēng)險(xiǎn)的行為監(jiān)管問(wèn)題而不是凈風(fēng)險(xiǎn)評(píng)估。但該工作未考慮是否應(yīng)重新審視風(fēng)險(xiǎn)和安全語(yǔ)言本身以幫助解決所提出的問(wèn)題。

首先，我們從自動(dòng)駕駛車輛功能和系統(tǒng)安全標(biāo)準(zhǔn)的關(guān)鍵安全定義開(kāi)始。汽車領(lǐng)域現(xiàn)有定義的首要概念是，汽車功能安全通常被認(rèn)為是指不存在不合理風(fēng)險(xiǎn)（AUR），這通常在ISO 26262的一系列定義中有所描述。

2.1  ISO 26262

ISO 26262:2018是適用于道路車輛的功能安全標(biāo)準(zhǔn)，無(wú)論是否是自動(dòng)駕駛。該標(biāo)準(zhǔn)第1部分的安全定義基于風(fēng)險(xiǎn)、危害和傷害的層次。核心定義概述如下，省略了交叉引用和支持注釋：

? 安全：不存在不合理的風(fēng)險(xiǎn)；

? 不合理風(fēng)險(xiǎn)：根據(jù)有效的社會(huì)道德觀念，在某種情況下被判定為不可接受的風(fēng)險(xiǎn)；

? 風(fēng)險(xiǎn)：傷害發(fā)生的可能性和傷害的嚴(yán)重程度的組合；

? 嚴(yán)重性：估計(jì)在潛在危險(xiǎn)事件中可能對(duì)一個(gè)或多個(gè)人造成的傷害程度；

? 危險(xiǎn)事件：危險(xiǎn)和運(yùn)行情況的組合；

? 危險(xiǎn)：相關(guān)項(xiàng)故障行為造成的潛在危害來(lái)源；

? 傷害：人身傷害或人身?yè)p害；

? 故障行為：與其設(shè)計(jì)意圖有關(guān)的相關(guān)項(xiàng)故障或意外行為；

? 運(yùn)行情況：車輛壽命期間可能發(fā)生的情況；

? 安全檔案：論證相關(guān)項(xiàng)或要素實(shí)現(xiàn)了功能安全，并通過(guò)從開(kāi)發(fā)期間活動(dòng)的工作產(chǎn)品中編譯的證據(jù)得到滿足。

在此我們停止進(jìn)一步深入其他定義術(shù)語(yǔ)。就我們的目的而言，“相關(guān)項(xiàng)”是包括其運(yùn)行時(shí)支持基礎(chǔ)設(shè)施的自動(dòng)駕駛車輛，盡管根據(jù)標(biāo)準(zhǔn)它可以以其他方式解釋。故障與異常情況有關(guān)，包括由組件故障、軟件缺陷和任何其他來(lái)源引起的隨機(jī)故障和系統(tǒng)性故障。

作為一個(gè)功能安全標(biāo)準(zhǔn)，其重點(diǎn)是避免因故障行為而對(duì)人造成傷害。該方法隱含地假設(shè)，完美實(shí)現(xiàn)其設(shè)計(jì)意圖（包括風(fēng)險(xiǎn)緩解措施）的系統(tǒng)將是安全的。

在實(shí)踐中，汽車行業(yè)傾向于識(shí)別危險(xiǎn)，分析每個(gè)危險(xiǎn)的風(fēng)險(xiǎn)，并執(zhí)行緩解措施，以確保沒(méi)有個(gè)別危險(xiǎn)導(dǎo)致不合理的風(fēng)險(xiǎn)。如果滿足該標(biāo)準(zhǔn)，則認(rèn)為系統(tǒng)是安全的。

雖然在實(shí)踐中可能會(huì)發(fā)生這種情況，但沒(méi)有明確要求檢查多個(gè)不相關(guān)危險(xiǎn)所帶來(lái)的風(fēng)險(xiǎn)之間的關(guān)系，量化整個(gè)系統(tǒng)所帶來(lái)的凈風(fēng)險(xiǎn)，也沒(méi)有要求考慮除違反設(shè)計(jì)意圖的故障行為以外的其他來(lái)源所帶來(lái)的風(fēng)險(xiǎn)。實(shí)際上，當(dāng)車輛進(jìn)入批量生產(chǎn)時(shí)被確定為安全，任何在發(fā)布后發(fā)現(xiàn)的安全缺陷本質(zhì)上是由于有缺陷的開(kāi)發(fā)或制造過(guò)程，可能導(dǎo)致監(jiān)管召回或制造商補(bǔ)救。標(biāo)準(zhǔn)中沒(méi)有在系統(tǒng)行為級(jí)別納入明確的數(shù)值故障率目標(biāo)。然而，汽車安全完整性等級(jí)（ASIL）方法考慮了嚴(yán)重程度、暴露程度和可控性，以確定每個(gè)識(shí)別出的危險(xiǎn)所需的緩解措施。對(duì)于沒(méi)有人類駕駛員來(lái)行使控制的車輛，解決可控性方面可能存在問(wèn)題。

2.2  ISO 21448

ISO 21448:2022涵蓋了預(yù)期功能的安全性（SOTIF），擴(kuò)展了ISO 26262的安全性定義，同時(shí)作為補(bǔ)充標(biāo)準(zhǔn)，范圍包括自動(dòng)駕駛車輛的駕駛行為。

ISO 21448沒(méi)有改變風(fēng)險(xiǎn)和安全的定義，而是采用了ISO 26262的定義。然而，它確實(shí)增加了一個(gè)涵蓋SOTIF的新術(shù)語(yǔ)。同樣，列出的定義省略了支持材料：

? 預(yù)期功能的安全性（SOTIF）：不存在因預(yù)期功能或其實(shí)施的功能不足而導(dǎo)致的不合理風(fēng)險(xiǎn)；

? 危險(xiǎn)：車輛級(jí)別的危險(xiǎn)行為造成的潛在危害來(lái)源；

? 功能不足：規(guī)范不足或性能不足；

? 性能不足：導(dǎo)致危險(xiǎn)行為的技術(shù)能力的限制，或在一個(gè)或多個(gè)觸發(fā)條件激活時(shí)，無(wú)法防止或檢測(cè)和緩解合理可預(yù)見(jiàn)的間接誤用；

? 運(yùn)行設(shè)計(jì)域（ODD）：系統(tǒng)設(shè)計(jì)運(yùn)行的特定條件。

SOTIF總體上處理兩種類型的功能不足，這通常超出了ISO 26262的范圍：（1）不完整的要求，以及（2）系統(tǒng)的技術(shù)局限性。功能不足可能在特定情況下產(chǎn)生危險(xiǎn)行為，這被稱為觸發(fā)條件。

不完整需求方面旨在處理公共道路是復(fù)雜的運(yùn)行環(huán)境這一事實(shí)。SOTIF方法基于減少“未知危險(xiǎn)”場(chǎng)景類別，直到達(dá)到AUR（ISO 21448:2022圖8和圖10）。通過(guò)參考規(guī)范的潛在不足，確認(rèn)需求差距的可能性。雖然本標(biāo)準(zhǔn)考慮了危險(xiǎn)分析和場(chǎng)景識(shí)別所需的迭代實(shí)驗(yàn)方法，但它假定可以制定足夠完整的規(guī)范，以在部署前實(shí)現(xiàn)AUR。它對(duì)危險(xiǎn)的定義從ISO 26262中的定義進(jìn)行了修改，以強(qiáng)調(diào)危險(xiǎn)車輛級(jí)別的行為。

任何具有外部傳感器的系統(tǒng)的技術(shù)局限性將不可避免地需要基于有限的、不完整的、有噪聲的信息來(lái)建立外部世界的內(nèi)部模型。并不是每個(gè)雷達(dá)脈沖都會(huì)產(chǎn)生回波。傳感器的范圍不是無(wú)限的。從任何特定傳感器的角度來(lái)看，一些對(duì)象被遮擋。并且各種類型的噪聲將把不確定性引入到外部世界的任何模型中。該標(biāo)準(zhǔn)認(rèn)識(shí)到，盡管存在這些潛在的性能不足，但自動(dòng)駕駛系統(tǒng)必須針對(duì)AUR進(jìn)行設(shè)計(jì)。

同樣，重點(diǎn)是車輛的行為，一般假設(shè)損失事件主要是由于傳感器局限性、車輛行為缺陷或規(guī)范不足造成的碰撞。定義的運(yùn)行設(shè)計(jì)域（ODD）概念的納入，在考慮安全的范圍限制方面提出了一個(gè)重要問(wèn)題。在經(jīng)典術(shù)語(yǔ)中，安全往往被限制在某個(gè)定義的ODD范圍內(nèi)。例如，DEFSTAN 00-56中安全檔案的定義僅限于“給定的運(yùn)行環(huán)境”[DEFSTAN00-56]。然而，關(guān)于如何將運(yùn)行限制在該限定范圍內(nèi)的考慮通常沒(méi)有得到解決，并且通常遵從一些人類操作員的判斷，例如應(yīng)該避免在極端天氣條件下飛行的飛行員。對(duì)于自動(dòng)系統(tǒng)，將安全性限制在定義的條件下是不夠的，因?yàn)槟承﹨⑴c者（默認(rèn)情況下為自動(dòng)系統(tǒng)）還必須通過(guò)避免在ODD之外操作來(lái)確保安全性。這可能包括拒絕在OOD之外開(kāi)始任務(wù)，但也可能需要一些可接受的安全反應(yīng)，以應(yīng)對(duì)由于不可預(yù)見(jiàn)的情況或事件而在沒(méi)有足夠通知的情況下被強(qiáng)制彈出 ODD。因此，ODD 的執(zhí)行必須在安全范圍內(nèi)。

2.3  ANSI/UL 4600

UL 4600是專門針對(duì)自動(dòng)駕駛車輛的系統(tǒng)級(jí)安全標(biāo)準(zhǔn)[UL4600]。其術(shù)語(yǔ)旨在與ISO 26262和ISO 21448兼容，同時(shí)解決更廣泛的系統(tǒng)級(jí)范圍。定義與其他領(lǐng)域的安全標(biāo)準(zhǔn)進(jìn)行了系統(tǒng)的協(xié)調(diào)，總結(jié)如下：

? 安全：在安全檔案定義的相關(guān)項(xiàng)級(jí)別具有可接受的緩解后風(fēng)險(xiǎn)；

? 可接受：足以達(dá)到安全檔案中確定的整體相關(guān)項(xiàng)風(fēng)險(xiǎn)；

? 風(fēng)險(xiǎn)：損失事件發(fā)生的可能性與損失事件嚴(yán)重程度的組合；

? 損失：實(shí)質(zhì)性的不利后果，包括財(cái)產(chǎn)或環(huán)境損害、動(dòng)物傷害或死亡、人員傷害或死亡；

? 安全檔案：由大量證據(jù)支持的結(jié)構(gòu)化論證，提供令人信服的、可理解的和有效的案例，證明系統(tǒng)對(duì)于給定環(huán)境中的給定應(yīng)用是安全的。

與前面討論的標(biāo)準(zhǔn)一樣，風(fēng)險(xiǎn)與特定損失事件的可能性和嚴(yán)重性有關(guān)。然而，風(fēng)險(xiǎn)可接受性的概念與整體相關(guān)項(xiàng)風(fēng)險(xiǎn)有關(guān)，而不是單個(gè)風(fēng)險(xiǎn)，例如高度推薦的相關(guān)項(xiàng)總風(fēng)險(xiǎn)求和方法（UL 4600提示要素6.1.1.3.）。此外，損失的定義超出了對(duì)人類的傷害，包含其他類型的負(fù)面結(jié)果。安全檔案的范圍擴(kuò)大了，但其與術(shù)語(yǔ)“安全”定義的相互作用為安全檔案的作者提供了自由度。安全檔案的創(chuàng)建者有責(zé)任定義“安全”的含義，并確保安全檔案提供適當(dāng)?shù)恼摀?jù)，表明安全目標(biāo)已經(jīng)實(shí)現(xiàn)。安全檔案的定義來(lái)源為DEF Stan 00-56，將安全檔案的范圍限制到給定環(huán)境中的預(yù)定應(yīng)用，如前所述。然而，UL 4600 提供了廣泛的提示要素列表，以鼓勵(lì)對(duì) ODD 的潛在特殊方面進(jìn)行穩(wěn)健的考慮。

2.4  其他安全定義

我們所知道的其他汽車安全標(biāo)準(zhǔn)，除了上面討論的那些之外，還采用了ISO 26262和可能的ISO 21448術(shù)語(yǔ)。

另一個(gè)在汽車行業(yè)被廣泛引用的安全定義是正風(fēng)險(xiǎn)平衡（PRB）。這是BMVI報(bào)告中提出的一個(gè)安全考慮因素。該報(bào)告還提出了其他對(duì)道德安全的限制，例如避免在無(wú)勝算的碰撞場(chǎng)景中使用個(gè)人特征來(lái)選擇受害者。但在更廣泛的汽車行業(yè)安全討論中，PRB通常被單獨(dú)挑出作為標(biāo)準(zhǔn)。

使用PRB作為唯一標(biāo)準(zhǔn)在很大程度上是有問(wèn)題的，因?yàn)楹茈y為人類駕駛車輛和自動(dòng)駕駛車輛建立可比較的基線。盡管如此，它仍然是Waymo【W(wǎng)aymo23】和Cruise【Cruise23】在傳達(dá)安全信息時(shí)提出的主要標(biāo)準(zhǔn)。

在這樣的討論中，PRB通常被假定為產(chǎn)生AUR，盡管下一節(jié)中討論的AV安全問(wèn)題的例子表明情況不一定如此。

AUR概念的一個(gè)重要監(jiān)管用戶是美國(guó)國(guó)家公路交通安全管理局（NHTSA）。當(dāng)“該機(jī)構(gòu)發(fā)現(xiàn)不合規(guī)或缺陷對(duì)安全造成不合理的風(fēng)險(xiǎn)”時(shí)，NHTSA會(huì)采取執(zhí)法行動(dòng)。他們的方法往往有兩個(gè)要素。首先是符合聯(lián)邦機(jī)動(dòng)車輛安全標(biāo)準(zhǔn)（FMVSS），該標(biāo)準(zhǔn)形成了一套主要適用于傳統(tǒng)車輛安全而不是自動(dòng)駕駛車輛功能的特定安全功能的離散測(cè)試。

美國(guó)國(guó)家公路交通安全管理局（NHTSA）的第二個(gè)標(biāo)準(zhǔn)是，他們認(rèn)為安全缺陷是一種特定的行為、設(shè)計(jì)缺陷或其他與損失事件模式相關(guān)的問(wèn)題。美國(guó)國(guó)家公路交通安全管理局（NHTSA）可以展開(kāi)調(diào)查并要求安全召回。美國(guó)國(guó)家公路交通安全管理局（NHTSA）的典型召回和調(diào)查涉及不符合美國(guó)聯(lián)邦汽車安全標(biāo)準(zhǔn)（FMVSS），或者較少涉及更難與特定技術(shù)缺陷聯(lián)系起來(lái)的事故和事件模式。美國(guó)國(guó)家公路交通安全管理局（NHTSA）的決定在歷史上沒(méi)有考慮車輛級(jí)別的凈PRB。

03  AV安全問(wèn)題示例

在本節(jié)中，我們抽取了一些自動(dòng)駕駛出租車在現(xiàn)實(shí)世界中遭受的事故和不幸事件，以便為識(shí)別當(dāng)前安全術(shù)語(yǔ)的缺陷提供依據(jù)。這些例子來(lái)自自動(dòng)駕駛出租車以及高度自動(dòng)化的車輛。安全監(jiān)督員（人類駕駛員）是否在場(chǎng)對(duì)事故并無(wú)影響——在安全監(jiān)督員在場(chǎng)時(shí)發(fā)生的問(wèn)題同樣可能在無(wú)人監(jiān)督時(shí)發(fā)生。

行人拖拽，一名行人被另一輛車撞倒，并被拋到一輛自動(dòng)駕駛出租車的車道上。自動(dòng)駕駛出租車急剎車但仍撞到了行人。可以說(shuō)，自動(dòng)駕駛出租車本可以更具防御性地駕駛，以避免最初的撞擊。無(wú)論如何，在停下來(lái)之后，自動(dòng)駕駛出租車失去了對(duì)行人的跟蹤。決定把車停在路邊，把行人拖到車下，結(jié)果行人幾乎完全被壓在車后。涉案的自動(dòng)駕駛出租車公司試圖將此描述為一個(gè)不可預(yù)見(jiàn)的反常事件。盡管如此，在沒(méi)有首先確定剛剛被同一車輛撞擊的受傷行人的位置的情況下移動(dòng)車輛是非常有問(wèn)題的。

與消防車相撞，一輛自動(dòng)駕駛出租車按照綠燈進(jìn)入十字路口，但隨后與一輛消防車相撞，導(dǎo)致一名乘客受傷。消防車的緊急信號(hào)器（警笛、警燈、喇叭）處于活動(dòng)狀態(tài)，并在響應(yīng)緊急呼叫時(shí)通過(guò)交叉路口的紅燈。自動(dòng)駕駛出租車沒(méi)有按照道路規(guī)則的要求向緊急車輛讓行。

撞上一輛公共汽車，一輛自動(dòng)駕駛出租車在跟隨一輛帶有中體關(guān)節(jié)樞軸的長(zhǎng)途公共汽車時(shí)發(fā)生了混亂。自動(dòng)駕駛出租車跟蹤了巴士的前半部分，忽略了后半部分。然后它撞上了巴士的后半部分，因?yàn)楦櫹到y(tǒng)決定忽略檢測(cè)到的后半部分，而選擇前半部分。

干擾應(yīng)急響應(yīng)人員，舊金山市應(yīng)急響應(yīng)人員報(bào)告了至少55起自動(dòng)駕駛出租車干擾其運(yùn)營(yíng)的事件，后來(lái)消防部門報(bào)告的事件增加到74。雖然沒(méi)有明確顯示任何事件會(huì)對(duì)人造成傷害，但這些事件存在風(fēng)險(xiǎn)，因?yàn)樗鼈儠?huì)延誤應(yīng)急響應(yīng)人員的工作，并需要應(yīng)急響應(yīng)人員的關(guān)注，而這些人員最好花在處理實(shí)際緊急情況上。

侵占封閉道路，已發(fā)生多起侵占封閉道路和緊急現(xiàn)場(chǎng)的事件，對(duì)車輛、車內(nèi)人員和其他道路使用者構(gòu)成潛在危險(xiǎn)。例子包括：沿著街道拖著倒塌的電線和緊急現(xiàn)場(chǎng)黃色隔離帶，以及開(kāi)車穿過(guò)施工區(qū)，結(jié)果卻陷入未干的混凝土中。

大規(guī)模擱淺，在各種情況下，發(fā)生了許多大規(guī)模車輛擱淺事件。其中一個(gè)引起特別關(guān)注的原因是，盡管該事件并不涉及發(fā)生擱淺的街道，但由于鄰近地理區(qū)域的音樂(lè)會(huì)活動(dòng)導(dǎo)致移動(dòng)電話系統(tǒng)過(guò)載，導(dǎo)致通信中斷。這引發(fā)了關(guān)于在由諸如地震或其他常見(jiàn)原因的基礎(chǔ)設(shè)施故障之類的自然災(zāi)害引起的通信中斷或交通控制設(shè)備斷電中會(huì)發(fā)生什么的疑問(wèn)。

兒童從校車上下來(lái)，一輛自動(dòng)駕駛啟動(dòng)的車輛撞傷了一名從校車上下來(lái)的兒童。

未在停車標(biāo)志處停車（滾動(dòng)停車），美國(guó)國(guó)家公路交通安全管理局（NHTSA）對(duì)駕駛自動(dòng)化系統(tǒng)實(shí)施了安全缺陷召回，該系統(tǒng)被編程為以高達(dá)5.6英里/小時(shí)的速度通過(guò)停車，違反了交通法規(guī)。

應(yīng)急響應(yīng)人員受傷和死亡，對(duì)與應(yīng)急響應(yīng)車輛的碰撞模式進(jìn)行了調(diào)查和初步召回，隨著時(shí)間的推移，至少發(fā)生了14起碰撞、15起受傷和1起死亡事故。最終的召回不是因?yàn)樘囟ǖ目芍噩F(xiàn)的行為缺陷，而是因?yàn)橐环N常見(jiàn)的損失模式，與缺乏 ODD（操作設(shè)計(jì)領(lǐng)域）執(zhí)法以及人類駕駛員在路上對(duì)道路注意力不足的執(zhí)法有關(guān)。

與停止和穿越的車輛發(fā)生碰撞，與應(yīng)急響應(yīng)人員碰撞調(diào)查相關(guān)的是，有許多關(guān)于特定駕駛自動(dòng)化系統(tǒng)與靜止車輛碰撞的報(bào)告。這包括在涉及穿越重型卡車下方的場(chǎng)景中發(fā)生的多起死亡事故。盡管制造商表示設(shè)計(jì)意圖是讓駕駛員手動(dòng)避免此類駕駛情況和碰撞，但碰撞事故仍然不斷積累。與緊急救援車輛碰撞調(diào)查相關(guān)的是，報(bào)告了多起與停駛車輛的碰撞，包括涉及多起在穿越重型卡車時(shí)發(fā)生的致命碰撞。雖然制造商表示其設(shè)計(jì)意圖是讓駕駛員手動(dòng)避免此類駕駛情況和碰撞，但碰撞仍在繼續(xù)發(fā)生。

在弱勢(shì)群體中，碰撞事故升級(jí)，舊金山消防局報(bào)告稱，在面積狹小的田德隆區(qū)附近，發(fā)生了74起無(wú)人駕駛出租車事故，其中11起涉及與消防車的碰撞。該地區(qū)以弱勢(shì)群體和歷史風(fēng)險(xiǎn)社區(qū)而聞名。由于可能的相關(guān)原因，該地區(qū)是美國(guó)最活躍的緊急響應(yīng)地點(diǎn)之一。盡管如此，無(wú)人駕駛出租車公司認(rèn)為繼續(xù)在該地區(qū)進(jìn)行測(cè)試是合適的，這可能是因?yàn)樵摰貐^(qū)位于舊金山市中心。

吸引乘客遠(yuǎn)離公共交通，即使無(wú)人駕駛出租車和人類駕駛的車輛一樣安全，人類駕駛的車輛也比公共交通危險(xiǎn)得多 。無(wú)人駕駛出租車的廣泛采用可能會(huì)通過(guò)將公共交通乘客里程轉(zhuǎn)移到自動(dòng)駕駛出租車乘客里程來(lái)降低安全性 。失去公共交通乘客可能會(huì)進(jìn)一步削弱更安全交通方式的資金和可行性，增加所有交通方式的凈死亡人數(shù)。

我們發(fā)現(xiàn)，人類駕駛員可能并且確實(shí)會(huì)犯上述所有類型的錯(cuò)誤。但我們有興趣了解安全的真正范圍，這應(yīng)該同時(shí)適用于人類駕駛員和自動(dòng)駕駛汽車。

這些情況中，許多并不涉及對(duì)人的實(shí)際傷害。但由于存在直接或間接傷害的可能性，所有這些都被至少一些相關(guān)利益攸關(guān)方視為安全問(wèn)題。在上述許多情況下，很容易將責(zé)任歸咎于自動(dòng)駕駛能力以外的某些參與者。但是，為了避免改變現(xiàn)狀而進(jìn)行歸咎，不太可能防止未來(lái)的事故。

04 安全定義中缺少什么

基于這些觀察到的和對(duì)自動(dòng)駕駛汽車安全要求的總體理解，我們確定了自動(dòng)駕駛汽車的四個(gè)一般特征，這些特征對(duì)安全工程產(chǎn)生了深遠(yuǎn)的影響：在開(kāi)放的世界環(huán)境中運(yùn)行，自主改善的操作限制，投放在特設(shè)社會(huì)技術(shù)體系中，以及如法律限制等外部約束的表達(dá)等。歷史上，處理這所有四個(gè)領(lǐng)域的工作都分配給了人類駕駛員。然而，擁有自動(dòng)駕駛汽車的重點(diǎn)是不再需要人類駕駛員，這樣就對(duì)這些技術(shù)系統(tǒng)提出了額外的要求。（作為一項(xiàng)臨時(shí)措施，遠(yuǎn)程操作團(tuán)隊(duì)可能會(huì)協(xié)助解決其中一些問(wèn)題。但是，可擴(kuò)展的投放要求最大限度地減少了對(duì)這種遠(yuǎn)程人工操作干預(yù)的需求。）

4.1 開(kāi)放的世界環(huán)境

自動(dòng)駕駛汽車作為在公共道路上大規(guī)模運(yùn)行的工程系統(tǒng)，針對(duì)將遇到的所有物體和事件，是在不確定的和不完整訓(xùn)練的框架內(nèi)運(yùn)行的。

ISO21448的SOTIF方法主要是為了解決這個(gè)問(wèn)題。然而，該標(biāo)準(zhǔn)的方法以及許多開(kāi)發(fā)人員的實(shí)用方法一樣，是假設(shè)在投放之前已經(jīng)識(shí)別并緩解了足夠多的可能場(chǎng)景、對(duì)象和事件，從而產(chǎn)生凈AUR。如果遇到危害的分布頻率是重尾分布的，涉及大量單獨(dú)來(lái)看發(fā)生頻率很低的危害，那么上一點(diǎn)在實(shí)際系統(tǒng)中可能無(wú)法實(shí)現(xiàn)。盡管在重尾分布危害情況下，可能有技術(shù)措施確?？山邮艿陌踩?，但在部署技術(shù)措施后這些危害依舊帶來(lái)大量風(fēng)險(xiǎn)的可能性是不容忽視的。

ISO21448在面對(duì)未解決的危害時(shí)，采用迭代改進(jìn)方法，但仍假定風(fēng)險(xiǎn)在初始投放時(shí)是合理的。UL 4600具有更全面的機(jī)制，可以識(shí)別在初始投放時(shí)可能存在的不確定性，這意味著可以預(yù)期的合理的風(fēng)險(xiǎn)，但這種預(yù)期本身也存在一定程度的不確定性。UL 4600要求使用安全績(jī)效指標(biāo)（SPI）和現(xiàn)場(chǎng)工程反饋來(lái)管理持續(xù)改進(jìn)過(guò)程，以識(shí)別和減輕由于不斷變化、開(kāi)放的世界環(huán)境以及遇到不可預(yù)見(jiàn)的重尾事件而導(dǎo)致的風(fēng)險(xiǎn)。

對(duì)安全的全面定義應(yīng)考慮兩個(gè)問(wèn)題，這兩個(gè)問(wèn)題在可預(yù)見(jiàn)的未來(lái)將成為自動(dòng)駕駛汽車的現(xiàn)實(shí)：（1）即使在投放時(shí)，也要對(duì)不可避免的需求差距進(jìn)行主動(dòng)管理，以及（2）支持在車輛生命周期內(nèi)持續(xù)更新，以減輕因環(huán)境和其他變化而產(chǎn)生的緊急危害和風(fēng)險(xiǎn)。

4.2 運(yùn)行限制的自主改善

達(dá)到自動(dòng)駕駛汽車運(yùn)行限制范圍之外某種情況的一種常見(jiàn)方法是安全關(guān)閉（或類似的操作）。對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，這可能意味著將其拉到一個(gè)安全的停車位置，甚至在有利條件下將其停在行駛車道的中間。雖然執(zhí)行合理的安全停車可能很復(fù)雜，但認(rèn)識(shí)到自動(dòng)駕駛汽車已經(jīng)超出其運(yùn)行限制才更具挑戰(zhàn)性。

基于機(jī)器學(xué)習(xí)的技術(shù)面臨著一個(gè)根本性的挑戰(zhàn)，即我們需要認(rèn)知到它遇到了一個(gè)與安全相關(guān)的有意義的，但在訓(xùn)練過(guò)程中沒(méi)有被捕捉到某種數(shù)據(jù)特征的數(shù)據(jù)維度。例如，如果訓(xùn)練數(shù)據(jù)集中穿著黃色衣服的人太少，那么一個(gè)穿著黃色服裝的建筑工人可能不會(huì)被識(shí)別為指揮交通的建筑工人，甚至可能根本不會(huì)被識(shí)別為一個(gè)人?；蛘?，緊急情況下黑黃色膠帶可能不被識(shí)別為禁止警告，而被當(dāng)成一種不會(huì)造成碰撞威脅的不重要的塑料，導(dǎo)致一些無(wú)人駕駛出租車不僅拖著緊急膠帶還有電線在街上行駛。

安全的核心要素是需要識(shí)別和應(yīng)對(duì)超出系統(tǒng)預(yù)期標(biāo)稱運(yùn)行環(huán)境的情況。這些可能是不可預(yù)見(jiàn)的情況，如新對(duì)象和事件。但也可能是已預(yù)見(jiàn)的ODD以外的情況意外出現(xiàn)，如晴天預(yù)報(bào)下突然下起傾盆大雨，因此設(shè)計(jì)團(tuán)隊(duì)并沒(méi)有加以考慮。這一點(diǎn)與前面的開(kāi)放環(huán)境問(wèn)題相結(jié)合，使得系統(tǒng)固有的運(yùn)行限制的自主改善具有挑戰(zhàn)性，目前的定義往往將安全限制在已知的特定環(huán)境中。然而，無(wú)人駕駛系統(tǒng)在非特定環(huán)境中運(yùn)行時(shí)也必須確保安全，并且必須能夠以某種合理的方式對(duì)意外發(fā)現(xiàn)自己處于設(shè)計(jì)運(yùn)行環(huán)境之外的情況做出反應(yīng)。

4.3 特設(shè)系統(tǒng)體系

自動(dòng)駕駛系統(tǒng)必須作為社會(huì)系統(tǒng)的一個(gè)組成部分來(lái)運(yùn)行，社會(huì)系統(tǒng)往往不夠具體，而且在很大程度上超出了自動(dòng)駕駛系統(tǒng)設(shè)計(jì)團(tuán)隊(duì)的控制能力。從當(dāng)前安全定義的角度來(lái)看，除非建立系統(tǒng)運(yùn)行限制的自主改善，在某些情況下設(shè)計(jì)團(tuán)隊(duì)無(wú)法控制它將處理哪些場(chǎng)景。

一些利益相關(guān)者安全問(wèn)題的共同主題是，自動(dòng)駕駛汽車以一種狹義的安全方式行事，即使不撞到東西，但卻給其他道路使用者造成了負(fù)面的外部條件。例如，當(dāng)自動(dòng)駕駛汽車不確定下一步該做什么時(shí)，在看似開(kāi)放的但是無(wú)人駕駛出租車不應(yīng)使用的駕駛車道（供工程車輛使用）內(nèi)停車，或者在特殊情況下打破一些正常的道路使用慣例為過(guò)往的緊急車輛提供空間，以及由于所謂的幻影制動(dòng)導(dǎo)致撞車風(fēng)險(xiǎn)增加等。

一些安全問(wèn)題具有更微妙的背景敏感性。例如，人類駕駛員可能會(huì)因?yàn)榭吹角胺綆讉€(gè)街區(qū)發(fā)生巨大的建筑火災(zāi)而改變路線，以避免陷入可能的現(xiàn)場(chǎng)交通混亂。自動(dòng)駕駛汽車如果不識(shí)別這種情況，可能會(huì)阻礙應(yīng)急響應(yīng)活動(dòng)。雖然人們可能會(huì)嘗試在系統(tǒng)體系層面分析所有存在的危險(xiǎn)，但這通常超出了自動(dòng)駕駛汽車安全工程工作的范圍和資源。我們認(rèn)為，更實(shí)際的是將負(fù)面外部條件的緩解表達(dá)為對(duì)允許行為的約束。例如，當(dāng)一輛帶有主動(dòng)報(bào)警器的消防車在附近時(shí)，無(wú)論車載軟件如何估計(jì)碰撞風(fēng)險(xiǎn)，都要駛出行車道。另一個(gè)例子是，避免使用另一輛自動(dòng)駕駛汽車被困的道路，以避免一群被困的自動(dòng)駕駛汽車堵塞道路。

4.4 法律和倫理限制

可允許的系統(tǒng)行為存在許多限制，這些限制不僅難以表達(dá)為危害，而且可能會(huì)降低系統(tǒng)的理論凈收益（甚至可能是凈安全性）。以風(fēng)險(xiǎn)為中心的方法將難以應(yīng)對(duì)這些限制。

例如，考慮一種假設(shè)情況，其中駕駛自動(dòng)化系統(tǒng)減少了總死亡人數(shù)，但增加了路邊碰撞現(xiàn)場(chǎng)應(yīng)急響應(yīng)人員的死亡率?；蛘呖紤]一種更極端的假設(shè)情況，其中道路總死亡人數(shù)減少了50%，但行人死亡人數(shù)絕對(duì)值增加了一倍（成為降低的凈死亡率中更大的比例）。即使凈傷害減少，這兩種結(jié)果對(duì)某些利益相關(guān)者來(lái)說(shuō)也是有問(wèn)題的。

如果技術(shù)系統(tǒng)不能滿足對(duì)單個(gè)車輛行為和行為模式的限制，例如在這種情況下也適用于人類駕駛員，那么社會(huì)利益相關(guān)者就不應(yīng)該認(rèn)為它是可接受的安全的?？紤]一輛在確定十字路口暢通時(shí)，會(huì)闖過(guò)停車標(biāo)志的車輛。也許有一項(xiàng)可能的研究表明，這可以減少追尾碰撞，從而提高安全性。但是這樣的系統(tǒng)仍然可能被視為存在不合理風(fēng)險(xiǎn)，因?yàn)樗詣?dòng)化了違反交通法規(guī)的行為。如果一輛自動(dòng)駕駛汽車無(wú)視在停車標(biāo)志前完全停車的要求，撞上了一個(gè)未被發(fā)現(xiàn)的行人，那么它也會(huì)造成嚴(yán)重的疏忽駕駛問(wèn)題。

如前所述，這里的目標(biāo)是評(píng)估SM與ML分類器一起工作時(shí)對(duì)SUT的影響程度。如第3節(jié)所述，對(duì)于新穎性類作為OOD數(shù)據(jù)，如果SM正確檢測(cè)到OOD數(shù)據(jù)，它將始終被解釋為真陽(yáng)性，因?yàn)镾M總是正確地取消ML分類，獨(dú)立于基本事實(shí)。另一方面，如果SM沒(méi)有檢測(cè)到OOD數(shù)據(jù)，它將始終被認(rèn)為是假陰性，并且ML將始終給出錯(cuò)誤的分類。因此，在這里測(cè)量OOD檢測(cè)并不有趣，因?yàn)镸L將具有0%的準(zhǔn)確性。同樣地，測(cè)量整個(gè)數(shù)據(jù)流并不能提供足夠的信息，因?yàn)楫?dāng)OOD數(shù)據(jù)量趨于無(wú)窮大時(shí)，ML的精度會(huì)變?yōu)?。出于這個(gè)原因，表5顯示了當(dāng)使用GTSRB或CIFAR-10作為ID數(shù)據(jù)集時(shí)，SUT中的總體SM影響。

還有一些倫理、公平和法律的考量，這些考量與車輛方向控制失靈沒(méi)有明顯聯(lián)系，例如過(guò)度關(guān)注對(duì)弱勢(shì)社區(qū)中進(jìn)行不成熟技術(shù)的公共道路測(cè)試。

05  更具魯棒性的安全定義的建議

5.1 需要解決什么問(wèn)題？

我們提出了一套重新定義的核心安全定義，以解決根據(jù)車輛自動(dòng)化事故的例子和標(biāo)準(zhǔn)中已經(jīng)存在的概念以及前面章節(jié)中提到的其他來(lái)源所發(fā)現(xiàn)的問(wèn)題。

回顧上述第3節(jié)和第4節(jié)中的示例事件和差距領(lǐng)域分析，我們認(rèn)為需要在定義層面更直接地解決以下安全方面的問(wèn)題。我們使用第2節(jié)中調(diào)查的定義中的關(guān)鍵詞和短語(yǔ)作為每個(gè)概念的標(biāo)簽。

? 安全的/安全性Safe/Safety：

系統(tǒng)不僅要減輕危害，還要滿足外部施加的約束。約束可能涉及禁止基于道德和公平的工程優(yōu)化（否則可能會(huì)改善安全的特定方面），并禁止不可接受的風(fēng)險(xiǎn)模式。我們更喜歡“可接受的安全性”而不是“安全的”。

? 運(yùn)行設(shè)計(jì)域/給定的環(huán)境ODD/Given environment：

不能假設(shè)環(huán)境具有完全的特征，也不能假設(shè)環(huán)境隨時(shí)間而變化。相反，無(wú)論環(huán)境如何，都必須確保可接受的安全性，即使系統(tǒng)由于超出其運(yùn)行限制而必須自行執(zhí)行安全響應(yīng)。

? 給定的應(yīng)用Given application：

系統(tǒng)需要強(qiáng)制執(zhí)行潛在的濫用，例如操作員在有交叉的道路上使用自動(dòng)駕駛，這違反了系統(tǒng)的設(shè)計(jì)意圖限制。

? 風(fēng)險(xiǎn)Risk：

風(fēng)險(xiǎn)作為發(fā)生概率和嚴(yán)重度的組合的陳舊公式可能適用于凈損害的單維優(yōu)化，特別是在貨幣補(bǔ)償在道德上是可接受的緩解計(jì)劃的情況下。但對(duì)于社會(huì)和其他約束（如損害模式或違反約束）而言，這是一個(gè)過(guò)于狹隘的觀點(diǎn)，不容易簡(jiǎn)化為經(jīng)典的風(fēng)險(xiǎn)值。

? 危害事件Hazardous event：

在危害事件層面評(píng)估一些風(fēng)險(xiǎn)和約束具有挑戰(zhàn)性，因?yàn)樗鼈兩婕跋到y(tǒng)體系層面的安全權(quán)衡。期望車輛設(shè)計(jì)人員完全評(píng)估這些風(fēng)險(xiǎn)是不合理的，更不用說(shuō)減輕這些風(fēng)險(xiǎn)了。還有一些風(fēng)險(xiǎn)模式，如風(fēng)險(xiǎn)轉(zhuǎn)移到弱勢(shì)群體身上，這些群體與個(gè)人損失事件相去甚遠(yuǎn)。

? 嚴(yán)重度Severity：

任何特定損失事件造成的傷害都很重要，但如果該事件是不道德或不公平結(jié)果模式的一部分，則任何單一事件的嚴(yán)重性可能無(wú)法反映該事件的重要性，即使從功利主義個(gè)人傷害的角度來(lái)看，嚴(yán)重性較低。

? 危害Harm：

損害必須被視為超出人身傷害或死亡（正如其他一些定義和領(lǐng)域的情況一樣）。即使間接造成財(cái)產(chǎn)損害，也可能被合理地視為某些領(lǐng)域的安全問(wèn)題。

? 故障Malfunctioning：

事故的發(fā)生不僅是因?yàn)檐囕v顯示了危險(xiǎn)的運(yùn)動(dòng)，還可以是為了提高戰(zhàn)術(shù)上的安全性而導(dǎo)致在系統(tǒng)的系統(tǒng)層面造成了潛在的損害。安全關(guān)閉后，被癱瘓的無(wú)人駕駛出租車阻擋了應(yīng)急車輛，這是該問(wèn)題的典型例子。

5.2 建議的安全相關(guān)定義的建議

我們?cè)趫D1中提出了核心安全術(shù)語(yǔ)的一套新定義。雖然對(duì)每個(gè)標(biāo)準(zhǔn)的特定術(shù)語(yǔ)使用的具體建議超出了本文的范圍，但我們相信，如果這些術(shù)語(yǔ)被UL 4600采用，對(duì)文件其余部分所做的更改將引導(dǎo)符合該標(biāo)準(zhǔn)的安全案例覆蓋范圍的有益演變。其他標(biāo)準(zhǔn)，如ISO26262，可能仍希望使用更具限制性的術(shù)語(yǔ)，但應(yīng)統(tǒng)一術(shù)語(yǔ)，以便在使用這些更廣泛的定義時(shí)，不排除一致性。

圖1 擬提議的定義

從高層次來(lái)看，這種方法不是將“安全”概念視為降低風(fēng)險(xiǎn)的優(yōu)化過(guò)程，而是將其視為滿足一系列安全約束。其中的一種約束通常足以降低風(fēng)險(xiǎn)，也更符合傳統(tǒng)的安全工程方法。然而，其他約束以及損失概念的范圍擴(kuò)大可以解決法律和道德問(wèn)題。通過(guò)在安全工程定義中明確包括生命周期因素，并要求安全工程與安全案例相結(jié)合，來(lái)解決開(kāi)放世界環(huán)境問(wèn)題。通過(guò)刪除“給定環(huán)境”一詞，并避免在安全案例定義中提及ODD，來(lái)解決操作限制的自主改善問(wèn)題。通過(guò)在風(fēng)險(xiǎn)和安全約束的定義中包括除系統(tǒng)設(shè)計(jì)者以外的利益相關(guān)者的概念，來(lái)解決特設(shè)系統(tǒng)問(wèn)題。

06  結(jié)論

雖然在安全工程領(lǐng)域的發(fā)展過(guò)程中，不斷出現(xiàn)大量新的安全考慮因素，但我們認(rèn)為，自動(dòng)駕駛系統(tǒng)的誕生是一個(gè)分水嶺時(shí)刻。此外，推動(dòng)擬議改革的擔(dān)憂不僅是理論上的，而且已經(jīng)在美國(guó)的公共道路上出現(xiàn)了。這只是一個(gè)開(kāi)始?，F(xiàn)在是時(shí)候讓安全界重新審視安全的真正含義了。

有人可能會(huì)考慮通過(guò)積極重新解釋現(xiàn)有術(shù)語(yǔ)來(lái)解決我們提出的擔(dān)憂。我們認(rèn)為這種方法有兩個(gè)問(wèn)題。第一個(gè)問(wèn)題是，任何以合規(guī)為中心的標(biāo)準(zhǔn)使用者都被強(qiáng)烈鼓勵(lì)以最有利于低成本合規(guī)的方式解釋定義，從而降低了任何促進(jìn)重新解釋的潛在教育性努力。第二個(gè)問(wèn)題是，標(biāo)準(zhǔn)應(yīng)該說(shuō)明它的含義，而不是依賴于非規(guī)范性的、獨(dú)立的解釋性指導(dǎo)。雖然本文中提到的標(biāo)準(zhǔn)都是本著誠(chéng)信的原則編寫(xiě)的，并且已經(jīng)很好地發(fā)揮了作用，但現(xiàn)在是時(shí)候更新它們對(duì)安全的定義，以解決自動(dòng)駕駛技術(shù)的現(xiàn)實(shí)經(jīng)驗(yàn)所提出的擔(dān)憂。需要明確的是，我們認(rèn)為這些擬議的定義是安全界討論的開(kāi)始，而不是一個(gè)最終結(jié)論性的結(jié)果。

雖然我們使用自動(dòng)駕駛汽車作為一個(gè)激動(dòng)人心的例子，但類似的問(wèn)題將在廣泛的安全相關(guān)系統(tǒng)中出現(xiàn)，這些定義的建議可能會(huì)更廣泛地表明自動(dòng)駕駛系統(tǒng)的安全性。變化點(diǎn)比如是，不使用需要密切進(jìn)行關(guān)注的人類駕駛員來(lái)解決諸如執(zhí)行操作限制之類的問(wèn)題，或者可能將他作為一個(gè)道德緩沖區(qū)，以保護(hù)系統(tǒng)免受設(shè)備故障的指責(zé)。另一個(gè)需要考慮的因素是用于安全的定義與用于網(wǎng)絡(luò)安全的術(shù)語(yǔ)之間的關(guān)系，尤其是在信息安全故障可能危及安全的情況下。

擴(kuò)大安全范圍將改善所有系統(tǒng)，而且隨著技術(shù)不斷滲透到日常社會(huì)的結(jié)構(gòu)中會(huì)變得越來(lái)越重要。我們的自動(dòng)駕駛程度越高，越超出人類有效監(jiān)督的實(shí)際能力，這些問(wèn)題就越緊迫。