人類視覺能做什么計(jì)算機(jī)視覺做不到的？人類以三維方式感知世界，深度傳感器是實(shí)現(xiàn)更高水平機(jī)器視覺和解鎖自動駕駛的關(guān)鍵。

在傳感技術(shù)最新發(fā)展的支持下，越來越多的機(jī)器被賦予了感知、行動和與環(huán)境互動的能力。EE Times Europe對3D視覺前景進(jìn)行了掃描，以更清楚地了解市場驅(qū)動因素、零部件供應(yīng)商的機(jī)遇和挑戰(zhàn)，以及新興技術(shù)。

深度感知

據(jù)Yole Développement稱，在模塊級別，3D傳感市場目前的價值規(guī)模為68億美元，到2026年將以15%的復(fù)合年增長率增長至150億美元。

Yole Développement的光子學(xué)和傳感部門首席分析師Pierre Cambou表示：“在移動和消費(fèi)主要驅(qū)動市場中，由于對華為的禁令以及安卓陣營事實(shí)上已放棄了3D傳感，這一增長暫時性停滯。”另一方面，他補(bǔ)充說：“蘋果正通過在iPad和iPhone中安裝激光雷達(dá)來加速這一趨勢。”

Cambou表示，3D技術(shù)在汽車領(lǐng)域的應(yīng)用也在加速發(fā)展。激光雷達(dá)和座艙內(nèi)的3D攝像頭正在被采用，“我們對3D傳感技術(shù)在汽車市場上的應(yīng)用非常樂觀，未來五年內(nèi)這個市場將增長四倍。”



目前流行的3D成像技術(shù)有立體視覺、結(jié)構(gòu)光和飛行時間（ToF）。

Cambou表示，立體視覺在10米以上的遠(yuǎn)程傳感應(yīng)用領(lǐng)域非常強(qiáng)大，比如DJI等公司生產(chǎn)的消費(fèi)類無人機(jī)，以及奔馳、捷豹和斯巴魯?shù)溶囆蜕系那耙旳DAS攝像頭。

結(jié)構(gòu)光一直是1米以下短程傳感的首選方法，通常用于蘋果iPhone的前置面部識別，但也用于一些工業(yè)應(yīng)用，如Photoneo公司。

Cambou說，ToF系統(tǒng)主要用于中程，目前有兩種類型。2019年和2020年，安卓手機(jī)（華為、三星和LG等供應(yīng)商）的背面使用了間接ToF，用于拍照。蘋果在其最先進(jìn)的智能手機(jī)中使用了直接ToF。Cambou說：“激光雷達(dá)（例如Velodyne、Innoviz、Ibeo、禾賽和速騰）使用的直接ToF技術(shù)，最終可能在接收端使用矩陣形狀的傳感器。由于人們對自動駕駛的追捧，它正在取得進(jìn)展。”

EEL或VCSEL？

激光雷達(dá)捕捉整個場景的能力使其成為機(jī)器視覺應(yīng)用的一項(xiàng)寶貴的技術(shù)。獲取3D點(diǎn)云最常用的兩種系統(tǒng)是Flash激光雷達(dá)和Scanning激光雷達(dá)。歐司朗的全球營銷經(jīng)理Matthias Hoenig說，在Scanning激光雷達(dá)系統(tǒng)中，聚焦的脈沖激光束通過機(jī)械旋轉(zhuǎn)反射鏡或MEMS反射鏡定向到某個小的立體角。由于高功率激光束被控制，使其只發(fā)射到一個小的立體角，所使用的光功率可達(dá)到的距離可以比3D Flash系統(tǒng)可達(dá)到的距離大得多。Hoenig說：“邊緣發(fā)射激光器（EEL）是該系統(tǒng)架構(gòu)的首選產(chǎn)品，因?yàn)樗鼈兺ㄟ^較小的發(fā)射面積在較小的空間內(nèi)發(fā)射大量的光，因此在功率和射程方面也有加分。”

歐司朗（現(xiàn)在是Ams的一部分）表示，在封裝溫度在應(yīng)用過程中上升的問題方面，其激光器的波導(dǎo)穩(wěn)定性最近取得了進(jìn)展。用于激光雷達(dá)應(yīng)用的波長更高的產(chǎn)品也正在探索中。

Yole預(yù)測，關(guān)于激光二極管，EEL是目前最大的市場機(jī)會，但垂直腔面發(fā)射激光器（VCSEL）將在未來迅速趕上。VCSEL將高功率密度和簡單封裝的紅外LED與激光的光譜寬度和速度相結(jié)合。

Hoenig說：“該技術(shù)的優(yōu)勢，包括卓越的光束質(zhì)量、簡單的設(shè)計(jì)和小型化方面的進(jìn)步，解釋了VCSEL市場的增長。一般來說，它們比EEL發(fā)射器需要更多的安裝空間，但在某些應(yīng)用領(lǐng)域具有優(yōu)勢。例如，它們的輻射特性使它們特別適合Flash激光雷達(dá)系統(tǒng)，以及工業(yè)應(yīng)用中的主動立體視覺，如機(jī)器人和物流車輛。”

至于VCSEL相關(guān)的技術(shù)挑戰(zhàn)，Hoenig說，歐司朗正在研究更高的光輸出。在2018年收購Vixar之后，該公司展示了雙結(jié)和三結(jié)VCSEL，比單結(jié)VCSEL提供更高的效率和速度。在今年的Photonics West上，該公司推出了基于這種多結(jié)技術(shù)的PowerBoost VCSEL產(chǎn)品組合。該公司表示，它也在探索各種改善散熱的想法，例如，通過改變從頂部發(fā)射到底部發(fā)射的組件。

歐司朗高級市場經(jīng)理Lei Tu表示，所有常見的3D傳感方法都依賴于各種系統(tǒng)構(gòu)建模塊的順暢交互。通常，這些系統(tǒng)由光源、特殊光學(xué)、探測器和相應(yīng)處理被檢測信號的下游軟件組成。未來，她繼續(xù)說道：“對于歐司朗這樣的零部件制造商來說，重點(diǎn)將是以盡可能好的方式滿足客戶的需求。這包括組件的小型化，優(yōu)化他們的光學(xué)性能、壽命，當(dāng)然，還要易于使用。”Tu補(bǔ)充說，一些客戶更喜歡“現(xiàn)成的、即取即用的解決方案”，而另一些客戶更傾向于自己組裝單個組件或讓第三方組裝成一個完整的解決方案。

深度和側(cè)向感知用于盲點(diǎn)檢測

深度感知是一種從3D看事物并測量物體距離的能力。激光雷達(dá)確實(shí)充當(dāng)了自動駕駛汽車的眼睛，許多OEM使用它來構(gòu)建汽車周圍環(huán)境的3D地圖。盡管如此，開發(fā)主要集中在具有較長檢測范圍（超過200米）但視野相對較小（約20°-30°）的前置激光雷達(dá)系統(tǒng)上。

2019年從德國弗勞恩霍夫硅技術(shù)研究所（ISIT）獨(dú)立出來的OQmented正在努力改變這一現(xiàn)狀。該公司表示，他們已經(jīng)開發(fā)了一種MEMS反射鏡技術(shù)，使側(cè)向激光雷達(dá)具有180°視野。

OQmented的創(chuàng)始人兼董事總經(jīng)理Ulrich Hofmann表示：“側(cè)向激光雷達(dá)系統(tǒng)更能瞄準(zhǔn)近距離目標(biāo)”，以實(shí)現(xiàn)盲點(diǎn)檢測。他補(bǔ)充說，盲點(diǎn)檢測是一項(xiàng)重要的安全功能，它使近距離側(cè)面掃描系統(tǒng)“比遠(yuǎn)視系統(tǒng)更有意義”。例如，“進(jìn)入十字路口時，你需要那些近距的激光雷達(dá)系統(tǒng)，因?yàn)橛写罅康男腥恕⒆孕熊?、汽車等車輛，這很容易導(dǎo)致混亂和事故。”因此，在廣角上有一個清晰的全景和高橫向分辨率是很重要的，以區(qū)分不同的物體（靜態(tài)或移動）。”

OQmented在其MEMS鏡面設(shè)備的頂部放置了一個球星的玻璃蓋，與平面平行的玻璃蓋不同，可以成功地讓激光束進(jìn)出封裝，從而實(shí)現(xiàn)180°激光掃描。Hofmann說，Bubble MEMS專利技術(shù)不僅提供了“密封的真空封裝和保護(hù)”，不受環(huán)境污染物的影響，而且還確保了激光束成功地進(jìn)入和離開封裝，因?yàn)樗偸且源怪钡姆绞阶矒舨Ａ?。?dāng)使用平面平行玻璃蓋時，情況并不總是如此。對于大的掃描角度，部分光被反射回封裝上的蓋子。Hofmann說，這對任何一種激光雷達(dá)解決方案來說都是不可接受的。


OQmented的MEMS鏡面裝置上的球形玻璃蓋啟發(fā)了這項(xiàng)技術(shù)的名字，Bubble MEMS

更接近數(shù)據(jù)源

圖像傳感器產(chǎn)生大量的數(shù)據(jù)。雖然目前大多數(shù)處理都在云或中央處理單元進(jìn)行，但趨勢是使計(jì)算更接近數(shù)據(jù)源，并在傳感器附近或內(nèi)部嵌入智能。

Yole的Cambou說，為了便于觀看，數(shù)據(jù)通常被H264壓縮，這意味著它可以通過100mbps帶寬傳輸。“在傳感的情況下，數(shù)據(jù)流通常是10-100倍大（對于機(jī)器視覺來說，1Gbps是非常典型的）。如果同時使用10個攝像頭，那么你很快就能達(dá)到10Gbps甚至更多。管理傳感器附近的數(shù)據(jù)的必要性來自于CPU級別的負(fù)擔(dān)。如果需要，所有的預(yù)處理、清理和AI增強(qiáng)都必須在離傳感器更近的地方完成，以減輕CPU的負(fù)擔(dān)。”

Cambou說，然而今天，傳感器本身幾乎沒有什么計(jì)算，因?yàn)樗鼤a(chǎn)生熱量。

前視

圖像傳感器是一個關(guān)鍵的部件，但它們不能無限地添加，所需的計(jì)算能力將會爆炸。Yole的分析師說，一個解決方案是提高數(shù)據(jù)質(zhì)量。“如果你真的想解決自動駕駛的問題，就需要盡快增加多樣性。”

新技術(shù)不斷涌現(xiàn)，出現(xiàn)了靈敏度更高看得更清楚的機(jī)器。Cambou確定了兩個方向：神經(jīng)形態(tài)感知，其中每個像素作為一個神經(jīng)元，并嵌入了一定程度的智能；量子成像，它可以單獨(dú)檢測每個光子。

法國的神經(jīng)形態(tài)初創(chuàng)公司Prophesee推出了業(yè)界首款基于事件的視覺傳感器，第三代metavision傳感器。Prophesee的產(chǎn)品營銷和創(chuàng)新總監(jiān)Simone Lavizzari說：“如果你將metavision傳感器與VCSEL發(fā)射器或另一種可以發(fā)射合適模式的發(fā)射器結(jié)合，你就可以實(shí)現(xiàn)一個基于事件的結(jié)構(gòu)光傳感器。”到底為什么呢？當(dāng)今最先進(jìn)的深度傳感技術(shù)要求在曝光時間、準(zhǔn)確性和魯棒性之間進(jìn)行權(quán)衡。

Lavizzari說，將紅外發(fā)射器與Prophesee的metavision傳感器相結(jié)合，可以為每個獨(dú)立的像素提供快速的響應(yīng)時間，進(jìn)而允許直接在傳感器內(nèi)部進(jìn)行時間模式識別和提取。“如果你使用基于事件的傳感器來做結(jié)構(gòu)光，響應(yīng)速度非?？?。我們可以將掃描時間提高50倍，所以比起傳統(tǒng)的基于幀的方法，你需要1毫秒才能獲得完整的3D掃描。它的精確度是最先進(jìn)的，但軟件的復(fù)雜性降到了最低，因?yàn)槲覀儾恍枰诤筇幚碇羞M(jìn)行匹配。”

匹配不是在事件之后的幀上進(jìn)行的，而是在傳感器級別上逐像素進(jìn)行的。Lavizzari說:“其中一個好處是，沒有運(yùn)動模糊，因?yàn)槲覀兛梢苑浅？焖俚夭蹲近c(diǎn)云，而且我們與戶外應(yīng)用程序兼容。”超高速脈沖檢測確實(shí)可以增加功率，同時保持該技術(shù)的人眼安全等級。



在量子成像方面，Cambou提到了Gigajot Technology的量子圖像傳感器（QIS），這是一種具有光子計(jì)數(shù)功能的單光子圖像傳感器。Gigajot是一家加州的初創(chuàng)公司，該公司聲稱，動態(tài)場景可以由一組幀以每幀像素1個光子的光子級別重建。


[參考文章]
Depth Sensing Takes Machine Vision into Another Dimension — Anne-Françoise Pelé