A. 應用
魚眼相機提供的視場角比標準相機寬得多，通常具有 180 度甚至更大的視場角。這帶來了諸多優(yōu)勢，尤其是可以使用更少的相機來實現(xiàn)全方位覆蓋。魚眼相機首次成功的商業(yè)應用是在攝影領域，特別是在娛樂行業(yè)，魚眼鏡頭效果成為了一種風格元素。沃克斯（Vox）的一個視頻 [6] 很好地概述了其使用歷史。第二個成功應用的領域是視頻監(jiān)控，在現(xiàn)代監(jiān)控系統(tǒng)中常常能看到半球形鏡頭表面 [7]。近來，廣角鏡頭相機常用于虛擬現(xiàn)實頭戴設備 [8]。它們也常用于水下機器人 [9] 以及空中機器人 [10]。汽車領域是魚眼相機的重要應用領域之一，在該領域需要更先進的視覺感知能力。1956 年，通用汽車的別克 “百夫長” 概念車型就配備了首個廣角后視相機和一臺電視顯示屏。2018 年，美國強制要求配備后視魚眼相機以減少倒車時的事故 [11]。2008 年，寶馬為停車視野配置了環(huán)視相機 [12]。環(huán)視相機已成為許多車輛常用的功能配置。隨后，它們被用于諸如交叉交通警報 [13]、物體檢測 [14] 以及自動泊車 [15] 等計算機視覺應用中。圖 1（上圖）展示了環(huán)視系統(tǒng)中相機的位置以及示例圖像。圖 1（下圖）展示了近場區(qū)域，它構成了車輛周邊 360 度感知的主要傳感器。圖中較小的方框內還展示了通過拼接四個相機畫面為駕駛員提供的環(huán)視可視化效果。

圖 3. 標準邊界框對于魚眼圖像來說并非良好的物體表示方式。（a）邊界框內的紅色像素顯示出大片不包含物體的區(qū)域。定向框（b）和曲線邊界框（c）是更好的表示方式 [14]。

然而，魚眼相機存在一些挑戰(zhàn)。最明顯的是它們存在強烈的徑向畸變，若要校正這種畸變則會存在一些弊端，包括視場角減小以及周邊出現(xiàn)重采樣畸變偽影 [16]。由于空間變化的畸變，物體的外觀變化更大，對于近處的物體尤其如此。這增加了卷積神經網絡（CNN）的學習復雜度，因為卷積神經網絡將平移不變性作為一種歸納偏置，并且由于模型必須學習物體所有畸變版本的外觀，還增加了樣本復雜度。此外，常用的利用邊界框進行物體檢測的應用變得更加復雜，因為邊界框對于魚眼畸變物體來說并非最佳適配方式，如圖 3 所示。在 [14] 中探討了使用更復雜的表示方式（而非矩形框），例如利用魚眼相機已知徑向畸變的曲線邊界框。魚眼感知是一項具有挑戰(zhàn)性的任務，盡管其應用廣泛，但相較于針孔相機，對它的探索相對較少。

對于沒有明顯魚眼畸變的相機而言，與之相關的一種非常常見的幾何模型是針孔模型。人們可能首先會考慮光線與距離投影中心某一固定距離的單一平面的相交情況。此類相機因鏡頭產生的所有畸變模型，其設計初衷就是將平面上的交點位置從投影中心沿徑向進行偏移。在某種程度上，由于缺乏統(tǒng)一的幾何模型，魚眼算法的開發(fā)變得復雜起來。許多模型使用不同的特性來描述魚眼投影。本文的目的之一就是研究常見的模型，并證明其中一些模型彼此之間高度相關。有幾個模型可以被視為通用透視映射或橢球通用透視映射的特殊情況，這兩種映射在其他科學領域已經為人所知數十年了 [17]。我們將表明所呈現(xiàn)的部分模型甚至是對現(xiàn)有模型的重新推導。因此，我們嘗試梳理眾多已提出的模型，并將它們分為幾個類別來考慮。例如，我們可以考慮一類基于圖像的模型，在這類模型中，魚眼投影被視作與針孔投影的偏差來進行度量，例如 [18] 和 [19]?；蛘?，我們也可以考慮一種在投影中心對光線投影角度進行操作的模型（例如 [2]、[20]）。還有一些模型提出利用在不同表面上的一系列投影來對魚眼畸變進行建模，例如 [21]、[22] 和 [23]，我們可以將這類模型稱為球面模型。

B. 與其他傳感器的關系自動泊車系統(tǒng)通常是利用魚眼相機和聲吶來設計的 [15]。聲吶通常用于車輛的前后部，它在準確檢測近場障礙物方面非?？煽?[24]。然而，其探測范圍通常局限于大約 5 米左右。此外，其所提供的信息非常稀疏，無法獲取關于場景更豐富的信息。通常，一種經典的后期融合方法會將魚眼相機和聲吶的感知輸出進行結合 [15]、[25]。近來，用于城市駕駛應用、能提供 360 度覆蓋的短程雷達（SRR）陣列正被重新用于諸如泊車等近場感知應用中。它們比聲吶的密度大得多，探測范圍可達 30 米。然而，它們無法覆蓋整個近場，存在一些盲區(qū)。此外，雷達的局限性還在于它無法檢測道路標線，并且在物體分類方面性能有限 [26]。在 [27] 中更詳細地討論了利用短程雷達進行停車位檢測的內容。魚眼相機與短程雷達的融合通常是在經典的動態(tài)占據柵格融合框架下進行的 [28]。基于卷積神經網絡的融合方法也正在興起 [29]。激光雷達是一種探測范圍超過 200 米的遠場傳感器，因此它通常不會與近場魚眼相機相結合。瓦爾加等人 [30] 曾嘗試將魚眼相機和激光雷達相結合以提供統(tǒng)一的 360 度環(huán)境模型，但在近場存在盲區(qū)。激光雷達在物體分類方面的性能極其有限 [26]?？偠灾?，其他近場傳感器（如雷達和聲吶）只能獲取場景的有限信息，因此它們無法獨立運行來執(zhí)行近場感知任務。

本文旨在進行廣泛的概述和綜述，以補充我們之前的工作 [31]，之前的工作相對更側重于我們具體的環(huán)視感知架構及實現(xiàn)的狹義討論。我們列舉了一些與本文相關的其他綜述性論文。在 [15] 中，針對自動泊車這一特定應用場景的計算機視覺進行了簡要綜述。在 [12] 中，提供了關于環(huán)視監(jiān)測的早期綜述，但未討論感知任務。最后，[32] 對視覺任務進行了全面綜述，但并非專門針對汽車環(huán)視系統(tǒng)。

本文的結構如下。在第二節(jié)中，我們將討論一些常用的模型，并對這些方法進行分類，確立它們之間的等效關系和各自的特點。在第三節(jié)中，我們將介紹由四個魚眼相機組成的近場環(huán)視系統(tǒng)的汽車配置情況，并討論諸如校準、校正以及幾何基元等基本構造。第四節(jié)將詳細綜述基于環(huán)視相機的視覺感知任務。第五節(jié)將討論該領域有待探索的未來研究方向。第六節(jié)給出總結性的評論。

二、魚眼相機模型

在本節(jié)中，我們將對幾種比較流行的魚眼相機模型進行綜述。目的是使用統(tǒng)一的符號來提供一份可能的模型的詳盡列表。對于開發(fā)人員來說，這可被視為一種工具，用以指導針對給定應用選擇合適的模型。人們可以嘗試使用更簡單、更具針對性的模型，并且根據具體應用情況，在校準后某一給定相機的誤差仍然較高時，將開發(fā)擴展到更通用的模型之一。

A.符號和術語

矩陣用A∈Rm×n表示。將使用普通向量v∈Rn的通常表示法，用n-元組表示。具體來說，r3中的點記為X =（X，Y，Z）T，圖像點I2集合中的一個點記為u =（u，v）T。單位球由S2 = {s∈R3 | ⅡsⅡ = 1}定義，單位球上的點用3個向量表示，即s =（x，y，z）T。

我們可以定義一個從C3?R3到圖像的映射為

其中C3表示定義投影π的點集。i2?r2表示C3投影后的圖像。θ（通常以弧度表示）表示成像點的場角（相對于z軸的角度），θmax表示模型的最大場角。

π的真正逆自然是不可能的。然而，我們可以定義一個非投影函數映射從圖像域到單位中心投影的球

在某些情況下，解析的非投影π?1(u)不存在或不具有奇點。圖4展示了圖像點和單位球體之間的關系。

我們還使用Ⅱu Ⅱ = Q(θ)來表示投影函數的徑向形式。也就是說，這是一個將視場角映射到圖像平面上的徑向距離（從失真中心開始）的函數。徑向非投影函數記為θ = Q?1（ⅡuⅡ）。徑向到入射角的非投影是一個真實的逆，不像未投影到圖像球體。偶爾，我們會需要參考兩個圖像點，一個扭曲的點和一個未扭曲的點。在這種情況下，我們將使用下標d和u來區(qū)分（例如，ud和uu）。圖像上映射將圖像從其扭曲點徑扭曲到圖像上的未扭曲點（即從ⅡudⅡ到ⅡuuⅡ）。我們將這個映射表示為ⅡuuⅡ = τ（ⅡudⅡ），以及它的逆ⅡudⅡ = τ?1（ⅡuuⅡ）。

在討論下面的模型時，我們使用下標來表示每個不同模型的參數和函數。具體地說，我們使用下標p表示針孔模型，e表示等距，s表示立體圖，o表示正交圖，eo用于擴展正字法，div表示除法，fov表示視場，ucm用于統(tǒng)一相機模型，ds用于雙球。

圖4。魚眼像點u和它在單位球面上的等價點之間的關系，s與X位于同一射線上。

B. 針孔照相機型號

針孔攝像機模型是在計算機視覺和機器人技術的許多領域中使用的標準投影功能，當研究僅限于考慮標準的視場攝像機時。針孔模型由

或者，如果我們把它看作是一個徑向函數

其中，θ是投影射線的視場角。請注意，參數f有時被稱為焦距。

未投影函數為

針孔模型定義為點集C3 = {X∈R3 | Z > 0}。這些點映射到整個圖像平面，即I 2 = R2和θmax = π/2。然而，在實踐中，即使考慮到徑向畸變，針孔模型也很少用于具有場角θ>60?的點。

C. 經典幾何模型

我們將本節(jié)中討論的模型稱為經典模型，因為它們已經被研究了至少60年的[4]。

1)等距投影：在等距魚眼模型中，投影半徑Qe(θ)通過等距參數f的簡單縮放與場角θ相關（見圖5a）。而這也是：

未投影函數為

等距投影對于點C3 = R3 \（0,0,0）T、I 2 = {u∈R2 | Ⅱu Ⅱ≤f π }和θmax = π是有效的。

2)立體投影：與等距模型一樣，在立體投影中，X到投影球面的投影中心為C（圖5b）。因此，該立體投影被描述為

我們以后將需要的非投影函數是