B. 幾何任務(wù)

1)深度估計(jì)：它涉及到在一個(gè)像素水平上估計(jì)到一個(gè)物體（或任何平面）的距離，如圖14所示。計(jì)算相對(duì)于照相機(jī)平面的距離仍然是非常具有挑戰(zhàn)性的。目前，大部分的工作是在糾正的KITTI [109]序列，其中桶失真被去除。對(duì)于針孔相機(jī)，深度定義為到相機(jī)平面的垂直距離，即z。前運(yùn)動(dòng)結(jié)構(gòu)（SfM）接近[110]，[111]，通過(guò)參數(shù)化網(wǎng)絡(luò)的不偶預(yù)測(cè)到非投影操作來(lái)估計(jì)逆深度。這種參數(shù)化不適用于魚(yú)眼相機(jī)，因?yàn)樗鼈兘?jīng)歷了巨大的畸變，從而獲得了與針孔相機(jī)的外極線相比的角差異。為了應(yīng)用與針孔相同的方法，我們需要修正魚(yú)眼圖像，這將導(dǎo)致第三-F節(jié)所述的視場(chǎng)損失。然而，同樣適用于針孔投影模型相機(jī)的多視圖幾何[112]原理也適用于魚(yú)眼圖像。通過(guò)從不同的角度觀察場(chǎng)景，并建立它們之間的對(duì)應(yīng)關(guān)系，可以估計(jì)出潛在的幾何結(jié)構(gòu)。值得注意的是，當(dāng)使用SfM方法時(shí)，考慮CNN輸出范數(shù)比角距離差，因?yàn)樗鼘⑹挂晥D合成操作的角距離難以參數(shù)化。此外，對(duì)于大于180?的視場(chǎng)，z的值可以（接近于）零或負(fù)，這也會(huì)導(dǎo)致數(shù)值問(wèn)題，因?yàn)槟Ｐ屯ǔＭㄟ^(guò)z計(jì)算有一些直接或間接的劃分。相反，估計(jì)徑向距離是有用的，即范數(shù)√x2+y2+z2而不是z。范數(shù)總是正的和非零的（除了x，y，z = 0），并允許一個(gè)更穩(wěn)定的數(shù)值實(shí)現(xiàn)。

在激光雷達(dá)距離測(cè)量上，如KITTI，深度預(yù)測(cè)模型可以以有監(jiān)督的方式學(xué)習(xí)。Ravi Kumar等人[113]采用了類似的方法，證明了利用激光雷達(dá)地面真相訓(xùn)練魚(yú)眼圖像來(lái)預(yù)測(cè)距離地圖的能力。盡管如此，激光雷達(dá)的數(shù)據(jù)是非常稀疏和昂貴的建立良好的口徑。為了克服這個(gè)問(wèn)題，距離網(wǎng)[114]專注于解決最具挑戰(zhàn)性的幾何之一

問(wèn)題，即利用基于圖像的重建技術(shù)對(duì)原始的魚(yú)眼相機(jī)進(jìn)行距離估計(jì)，這是一個(gè)艱巨的任務(wù)，因?yàn)槎S圖像到三維表面之間的映射是一個(gè)缺乏約束的問(wèn)題。深度估計(jì)也是一個(gè)不確定的問(wèn)題，因?yàn)槊總€(gè)像素有幾個(gè)局部錯(cuò)誤的深度，這也可以復(fù)制新的觀點(diǎn)。[16]介紹了一種通用的端到端自監(jiān)督訓(xùn)練框架，用于估計(jì)不同相機(jī)模型的原始失真圖像上的單眼深度圖。作者展示了框架在原始KITTI和森林景觀數(shù)據(jù)集上的工作結(jié)果。

“同步距離網(wǎng)絡(luò)”（SynDistNet）[115] 學(xué)習(xí)了語(yǔ)義感知幾何表示，這種表示能夠在自監(jiān)督學(xué)習(xí)的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SfM）情境下消除光度模糊性。它們納入了一種廣義的魯棒損失函數(shù) [116]，該函數(shù)在顯著提升性能的同時(shí)，消除了對(duì)光度損失進(jìn)行超參數(shù)調(diào)整的必要性。它們采用了一種語(yǔ)義掩蔽方法，以減少因動(dòng)態(tài)物體違反靜態(tài)世界假設(shè)而產(chǎn)生的偽影。與先前針對(duì)魚(yú)眼圖像的方法 [16]、[114] 相比，“同步距離網(wǎng)絡(luò)” 大幅降低了均方根誤差（RMSE），降幅達(dá) 25%。當(dāng)前大多數(shù)深度估計(jì)方法依賴單個(gè)相機(jī)，無(wú)法無(wú)縫推廣到多個(gè)魚(yú)眼相機(jī)上。此外，該模型必須在具有不同相機(jī)幾何結(jié)構(gòu)的多種不同尺寸的汽車產(chǎn)品線中實(shí)施。即便在同一條汽車產(chǎn)品線內(nèi)，由于制造公差，相機(jī)內(nèi)參數(shù)也會(huì)有所不同。深度神經(jīng)網(wǎng)絡(luò)似乎確實(shí)對(duì)這些變化很敏感，對(duì)每個(gè)相機(jī)實(shí)例進(jìn)行訓(xùn)練和測(cè)試幾乎是不可能的。因此，“奇異值分解距離網(wǎng)絡(luò)”（SVDistNet）[117] 提出了一種創(chuàng)新的相機(jī)幾何自適應(yīng)多尺度卷積，它將相機(jī)參數(shù)作為條件輸入，使網(wǎng)絡(luò)能夠推廣到之前未知的魚(yú)眼相機(jī)上。

C. 時(shí)間相關(guān)任務(wù)

盡管像深度和運(yùn)動(dòng)這類幾何任務(wù)可以使用多幀圖像進(jìn)行訓(xùn)練和推理，但輸出結(jié)果僅針對(duì)單幀圖像進(jìn)行定義。我們將輸出結(jié)果基于多幀圖像定義的任務(wù)稱為時(shí)間相關(guān)任務(wù)。這類任務(wù)通常需要對(duì)多幀連續(xù)圖像進(jìn)行標(biāo)注。

趙等人 [132] 提出了一種行人重識(shí)別算法。它包含一個(gè)單相機(jī)檢測(cè)與跟蹤模塊以及一個(gè)應(yīng)用于多相機(jī)視圖的雙相機(jī)重識(shí)別模塊。檢測(cè)模塊利用 “YOLOv3”[133] 在單相機(jī)視角視頻中識(shí)別行人。跟蹤模型通過(guò)將 “OSnet”[134] 與 “DeepSORT”[135] 相結(jié)合，對(duì)行人進(jìn)行跟蹤并為每個(gè)已識(shí)別的行人分配一個(gè)身份標(biāo)識(shí)。這兩個(gè)模型都通過(guò)遷移學(xué)習(xí)流程進(jìn)行了適配，以適用于魚(yú)眼圖像。

D. 多任務(wù)模型

多任務(wù)學(xué)習(xí)（MTL）是通過(guò)從多任務(wù)監(jiān)督信號(hào)中學(xué)習(xí)共同的共享表示來(lái)進(jìn)行的。自從深度學(xué)習(xí)出現(xiàn)以來(lái)，許多密集預(yù)測(cè)任務(wù)（即生成像素級(jí)預(yù)測(cè)的任務(wù)）在性能方面都有了顯著提升。通常情況下，這些任務(wù)是逐個(gè)學(xué)習(xí)的，每個(gè)任務(wù)都需要訓(xùn)練其自身的神經(jīng)網(wǎng)絡(luò)。然而，近來(lái)的多任務(wù)學(xué)習(xí)方法 [149][150] 通過(guò)利用學(xué)習(xí)到的共享表示聯(lián)合處理多個(gè)任務(wù)，在性能、計(jì)算復(fù)雜度以及內(nèi)存占用方面都展現(xiàn)出了頗具前景的成果。

對(duì)于魚(yú)眼相機(jī)，西斯圖（Sistu）等人 [151] 提出了一個(gè)用于學(xué)習(xí)目標(biāo)檢測(cè)和語(yǔ)義分割的聯(lián)合多任務(wù)學(xué)習(xí)模型。其主要目標(biāo)是在低功耗的片上嵌入式系統(tǒng)上實(shí)現(xiàn)實(shí)時(shí)性能，對(duì)這兩項(xiàng)任務(wù)使用相同的編碼器。他們利用一個(gè)由兩個(gè)解碼器共享的類似 ResNet10 的簡(jiǎn)單編碼器構(gòu)建了一個(gè)高效的架構(gòu)。目標(biāo)檢測(cè)使用 YOLO v2 解碼器，而語(yǔ)義分割則使用全卷積網(wǎng)絡(luò)（FCN8）解碼器。梁（Leang）等人探索了魚(yú)眼相機(jī)上兩項(xiàng)任務(wù)設(shè)置的不同任務(wù)加權(quán)方法 [152]?！棒~(yú)眼多網(wǎng)”（FisheyeMultiNet）[153] 從基于相機(jī)的深度學(xué)習(xí)算法角度討論了自動(dòng)泊車系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。在低功耗嵌入式系統(tǒng)上，“魚(yú)眼多網(wǎng)” 是一個(gè)實(shí)時(shí)的多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò)，它能夠識(shí)別泊車所需的所有物體。其配置是一個(gè)以 15 幀 / 秒運(yùn)行的四相機(jī)系統(tǒng)，可執(zhí)行三項(xiàng)任務(wù)：目標(biāo)檢測(cè)、語(yǔ)義分割以及污漬檢測(cè)。

最后，在 “全向檢測(cè)”（OmniDet）[123] 中提出了僅使用相機(jī)對(duì)環(huán)境近場(chǎng)感知進(jìn)行整體實(shí)時(shí)場(chǎng)景理解的方法。他們構(gòu)建了一個(gè)近場(chǎng)感知系統(tǒng)，該系統(tǒng)構(gòu)成了一個(gè)如圖 14 所示的 L3 級(jí)自動(dòng)駕駛技術(shù)棧。借助這個(gè)框架，我們可以通過(guò)一個(gè)在嵌入式系統(tǒng)上以 60 幀 / 秒運(yùn)行、包含六項(xiàng)任務(wù)的單一深度學(xué)習(xí)模型，聯(lián)合對(duì)幾何、語(yǔ)義、運(yùn)動(dòng)、定位以及污漬情況進(jìn)行理解和推理。受拉希德（Rashed）等人 [154] 所證明的深度和運(yùn)動(dòng)等幾何任務(wù)能夠輔助語(yǔ)義分割這一觀點(diǎn)的啟發(fā)，實(shí)現(xiàn)了跨任務(wù)的協(xié)同交叉關(guān)聯(lián)。相機(jī)校準(zhǔn)被轉(zhuǎn)換為逐像素張量并輸入到模型中，以便模型能夠適應(yīng)各種相機(jī)內(nèi)參數(shù)。索布（Sobh）等人 [155] 研究了在使用 “全向檢測(cè)” 的多任務(wù)設(shè)置中對(duì)抗性攻擊的影響，這對(duì)于安全關(guān)鍵型應(yīng)用來(lái)說(shuō)非常重要。這些測(cè)試針對(duì)有目標(biāo)和無(wú)目標(biāo)的情況處理了白盒攻擊和黑盒攻擊，還研究了在攻擊一項(xiàng)任務(wù)時(shí)使用簡(jiǎn)單防御策略以及分析其對(duì)其他任務(wù)影響的情況。