為了提高自動(dòng)駕駛的安全性，科研人員開發(fā)了一種系統(tǒng)，該系統(tǒng)可以感知地面陰影的微小變化，以確定拐角處是否有移動(dòng)物體。將來，無人駕駛汽車可以使用該系統(tǒng)來避免與從建筑物拐角處或停放的汽車之間出現(xiàn)的另一輛汽車或行人發(fā)生潛在的碰撞。也可以在諸如醫(yī)院等場(chǎng)景的走廊上導(dǎo)航，使機(jī)器人更加安全的運(yùn)送藥物以免撞人。這項(xiàng)研究由豐田研究院TRI贊助，麻省理工MIT主導(dǎo)。

為了提高自動(dòng)駕駛的安全性，MIT的工程師開發(fā)了一種系統(tǒng)，該系統(tǒng)可以感知地面陰影的微小變化，從而確定拐角處是否有移動(dòng)物體。





2019年11月4日-8日，在中國(guó)澳門舉辦的國(guó)際智能機(jī)器人與系統(tǒng)國(guó)際會(huì)議（International Conference on Intelligent Robots and Systems, IROS）上，研究人員發(fā)表的一篇論文中“Infrastructure-free NLoSObstacle Detection for Autonomous Cars”，詳細(xì)描述了在車庫周圍的駕駛自動(dòng)駕駛汽車和在走廊上導(dǎo)航的自動(dòng)輪椅的成功實(shí)驗(yàn)。當(dāng)實(shí)驗(yàn)智能體感應(yīng)到并做出相應(yīng)的“停車”動(dòng)作的情況下，該系統(tǒng)的實(shí)驗(yàn)效果擊敗了傳統(tǒng)的LiDAR。LiDAR只能檢測(cè)可見物體，且檢測(cè)及相應(yīng)時(shí)間比該系統(tǒng)長(zhǎng)半秒。研究人員評(píng)價(jià)，雖然這時(shí)間看似很短暫，但是在在快速移動(dòng)的自動(dòng)駕駛汽車上卻十分關(guān)鍵。

基本原理簡(jiǎn)介

這系統(tǒng)用于發(fā)現(xiàn)角落附近即將出現(xiàn)的容易碰撞的物體，是在早前開發(fā)的一種名為“影子攝像頭”(ShadowCam)的基礎(chǔ)上改進(jìn)實(shí)現(xiàn)的。該系統(tǒng)可以捕獲從外面進(jìn)來的光線的反射光，然后將其進(jìn)行處理，計(jì)算出物體的3D模型。該系統(tǒng)沒有使用激光掃描儀或x射線技術(shù)，而是使用視頻攝像機(jī)聚焦于一個(gè)非常特定的區(qū)域，即兩條垂直的道路或路徑相交的地方。為了實(shí)現(xiàn)這一目的，該系統(tǒng)需要一個(gè)特殊的攝像頭，包括激光和其他硬件。所以，該系統(tǒng)也不可避免地增加自動(dòng)駕駛汽車的成本。據(jù)介紹，該系統(tǒng)使攝像頭捕捉一系列的視頻幀，在記錄車輛行駛狀態(tài)的同時(shí)，可以在不同照明條件下，幀到幀地智能地處理和分析陰影的存在和變化，它還可以使用這些信息來預(yù)測(cè)一個(gè)隱藏在角落里的物體的位置和速度。該系統(tǒng)給自動(dòng)駕駛汽車足夠的時(shí)間來減速或在必要時(shí)候采取完全停止的決策。截止目前，研究人員只在車前燈關(guān)閉的停車場(chǎng)和自動(dòng)駕駛電動(dòng)輪椅的走廊里測(cè)試過它。雖然在試驗(yàn)中，該系統(tǒng)的性能好于基于LiDAR的系統(tǒng)，但是該系統(tǒng)仍有很多不足，尚且不能使用在諸如高速公路或者鄉(xiāng)間小路上。若想讓該系統(tǒng)適應(yīng)更多的環(huán)境，還需要相當(dāng)數(shù)量的訓(xùn)練以識(shí)別并判斷現(xiàn)實(shí)世界中不斷變化的照明條件，以及復(fù)雜光照條件下陰影在路面投射的不同形態(tài)。

“對(duì)于周圍有其他移動(dòng)物體或人的環(huán)境中移動(dòng)的應(yīng)用程序，我們的方法可以向智能體發(fā)出預(yù)警，提醒有人即將來臨，因此車輛可以減速，調(diào)整路徑并提前做好準(zhǔn)備，以避免發(fā)生碰撞。”研究人員稱，“最大的夢(mèng)想就是為在街上快速行駛的車輛提供這種服務(wù)。”

ShadowCam擴(kuò)展閱讀

這項(xiàng)工作是建立在他們稱為“ShadowCam”的系統(tǒng)上，該系統(tǒng)使用計(jì)算機(jī)視覺技術(shù)來檢測(cè)和分類地面陰影的變化。麻省理工學(xué)院的教授威廉·弗里曼（William Freeman）和安東尼奧·托拉爾巴（Antonio Torralba）合作開發(fā)了該系統(tǒng)的早期版本，該版本在2017年和2018年的會(huì)議上發(fā)布并進(jìn)行了介紹。

對(duì)于輸入，ShadowCam使用來自攝像機(jī)的視頻幀序列，這些攝像頭針對(duì)特定區(qū)域，例如拐角處的地板。它可以檢測(cè)不同圖像之間光強(qiáng)度隨時(shí)間的變化，這些變化表明某些物體在移開或靠近。這些很難檢測(cè)或用肉眼看不見的變化，可以由對(duì)象和環(huán)境的各種屬性確定。ShadowCam計(jì)算該信息，并將每個(gè)圖像分類為包含靜止的對(duì)象或動(dòng)態(tài)的運(yùn)動(dòng)對(duì)象。如果系統(tǒng)判定該對(duì)象為動(dòng)態(tài)的運(yùn)動(dòng)對(duì)象，便會(huì)做出相應(yīng)的反應(yīng)。

ShadowCam適應(yīng)自動(dòng)駕駛汽車需要進(jìn)一步優(yōu)化。例如，早期版本依賴于用稱為“AprilTags”的增強(qiáng)現(xiàn)實(shí)標(biāo)簽來襯砌區(qū)域，該標(biāo)簽類似于簡(jiǎn)化的QR碼。智能體掃描AprilTags來檢測(cè)和計(jì)算相對(duì)于標(biāo)簽的精確3D位置和方向。ShadowCam將標(biāo)簽用作環(huán)境的特征，以在可能包含陰影的特定像素補(bǔ)丁上歸零。但是，使用AprilTags修改現(xiàn)實(shí)環(huán)境是不切實(shí)際的。



研究人員開發(fā)了一種結(jié)合了圖像配準(zhǔn)和新的視覺測(cè)距技術(shù)的新方法。圖像配準(zhǔn)通常在計(jì)算機(jī)視覺中使用，本質(zhì)上會(huì)覆蓋多個(gè)圖像，以揭示圖像中的變化。

研究人員專門采用“直接稀疏測(cè)距法”（DSO），它可以在類似于AprilTags捕獲的環(huán)境中計(jì)算特征點(diǎn)。本質(zhì)上，DSO在3D點(diǎn)云上繪制環(huán)境的特征，然后計(jì)算機(jī)視覺管道僅選擇位于感興趣區(qū)域（感興趣的區(qū)域是事先手動(dòng)注釋的，例如拐角處的地板）的特征。

由于ShadowCam會(huì)獲取感興趣區(qū)域的輸入圖像序列，因此它使用DSO圖像配準(zhǔn)方法來覆蓋智能體同一視點(diǎn)上的所有圖像。即使智能體在移動(dòng)，它也可以將陰影精確定位在相同的像素點(diǎn)上，以幫助檢測(cè)圖像之間的細(xì)微偏差。

接下來是信號(hào)放大。包含陰影的像素的顏色增強(qiáng)，從而降低了信噪比。這使得來自陰影變化的極其微弱的信號(hào)更容易被檢測(cè)到。如果增強(qiáng)后的信號(hào)達(dá)到某個(gè)閾值（部分基于其與附近其他陰影的偏離程度），ShadowCam會(huì)將圖像分類為“動(dòng)態(tài)”。根據(jù)該信號(hào)的強(qiáng)度，系統(tǒng)可能會(huì)告訴機(jī)器人減速或停止。

無標(biāo)簽測(cè)試。在一項(xiàng)測(cè)試中，研究人員使用AprilTags和新的基于DSO的方法評(píng)估了系統(tǒng)在對(duì)移動(dòng)或靜止物體進(jìn)行分類方面的性能。當(dāng)人類將拐角變成輪椅的路徑時(shí)，自動(dòng)輪椅轉(zhuǎn)向各個(gè)走廊的拐角。兩種方法均達(dá)到了70％的相同分類精度，這表明不再需要AprilTags。

在一項(xiàng)單獨(dú)的測(cè)試中，研究人員在停車場(chǎng)的自動(dòng)駕駛汽車中安裝了ShadowCam，該汽車的前大燈被關(guān)閉，模仿了夜間駕駛條件。他們將汽車檢測(cè)時(shí)間與LiDAR進(jìn)行了比較。在一個(gè)示例場(chǎng)景中，ShadowCam檢測(cè)到汽車?yán)@柱轉(zhuǎn)彎的速度比LiDAR快0.72秒。此外，由于研究人員已針對(duì)ShadowCam專門針對(duì)車庫的照明條件進(jìn)行了調(diào)整，因此該系統(tǒng)的分類精度約為86％。

接下來，研究人員正在進(jìn)一步開發(fā)該系統(tǒng)，以在不同的室內(nèi)和室外照明條件下工作。將來，可能還會(huì)有一些方法可以加快系統(tǒng)的陰影檢測(cè)速度，并自動(dòng)為陰影感應(yīng)標(biāo)注目標(biāo)區(qū)域。