在環(huán)視相機(jī)系統(tǒng)中使用魚眼相機(jī)的主要目的是覆蓋車輛周邊整個 360 度的近場區(qū)域。這是通過四個水平視場角（hFOV）約為 190 度、垂直視場角（vFOV）約為 150 度的魚眼相機(jī)實現(xiàn)的。魚眼相機(jī)的角覆蓋范圍很大，但其角分辨率相對較小，無法遠(yuǎn)距離感知較小的物體，所以它主要用作近場傳感器。相比之下，典型的遠(yuǎn)場前置相機(jī)的水平視場角為 120 度，垂直視場角為 60 度，其角覆蓋范圍明顯更小，但角分辨率要高得多，使其能夠遠(yuǎn)距離感知物體。魚眼相機(jī)較大的水平視場角使得僅用四個魚眼相機(jī)就能實現(xiàn) 360 度覆蓋。較大的垂直視場角能夠捕捉到靠近車輛的區(qū)域，例如在路口停車時對交通信號燈等較高位置物體的檢測。

圖 1 展示了典型環(huán)視相機(jī)系統(tǒng)的安裝位置和視場角情況。四個相機(jī)放置在汽車的四個側(cè)面，用藍(lán)色圓圈標(biāo)記出它們的位置。前置相機(jī)安裝在汽車的前格柵處，后置相機(jī)通常安裝在后備箱門把手處。左右兩側(cè)的相機(jī)安裝在后視鏡下方。它們共同覆蓋了車輛周邊整個 360 度的區(qū)域。相機(jī)的放置方式能確保車輛緊鄰區(qū)域可見，這對于泊車場景至關(guān)重要。正因如此，相機(jī)畫面中很大一部分包含了本車。人們還可以注意到視場角存在明顯的重疊區(qū)域，如交叉區(qū)域所示。這種重疊可用于解決運動結(jié)構(gòu)問題中的尺度問題。然而，這種重疊出現(xiàn)在周邊區(qū)域，而周邊區(qū)域的畸變是最大的，很難讓算法在該區(qū)域準(zhǔn)確運行。圖 10 展示了在一個已商業(yè)部署的近場感知系統(tǒng)上進(jìn)行的物體檢測和分割情況 [31]。

圖 10. 對一個已商業(yè)部署系統(tǒng)的圓柱校正環(huán)視圖像進(jìn)行物體檢測和分割的示意圖 [31]。通過留意拱形門及其前方的車輛，可以觀察到視場重疊情況。

在巴黎一條繁忙的城市街道上進(jìn)行了測試。通過留意位于前置相機(jī)中心以及左右兩側(cè)相機(jī)邊緣處的拱形門，就能觀察到視場重疊情況。門前的銀色汽車在這三個相機(jī)中均能被檢測到。還可以觀察到對車輛（左側(cè)相機(jī)左端）和行人（后置相機(jī)左端）的超大角度檢測情況。

C. 校準(zhǔn)

之前我們已經(jīng)討論了各種魚眼相機(jī)模型。這些模型中的每一個都有一組參數(shù)（稱為內(nèi)參數(shù)），必須通過校準(zhǔn)程序來估計。此外，還應(yīng)當(dāng)估計相機(jī)的外參數(shù)，即相機(jī)系統(tǒng)在車輛坐標(biāo)系中的位置和方向 [62][63]。典型的校準(zhǔn)過程是，首先檢測圖像特征（例如，棋盤格圖案中的角點 [64]），然后算法會嘗試通過最小化點的重投影誤差，利用校準(zhǔn)設(shè)置模型來估計內(nèi)參數(shù)和外參數(shù)，以對檢測到的特征進(jìn)行投影。重投影誤差在此表明了具有一組參數(shù)的模型能夠在多大程度上表示鏡頭的投影函數(shù)。其他攝影測量方法利用消失點提取以及設(shè)定直線來估計校準(zhǔn)參數(shù) [34][44]。OpenCV 庫中實現(xiàn)了一個廣為人知的校準(zhǔn)工具箱 [37]。OpenCV 還為魚眼相機(jī)模型提供了一個版本 [20]（見第二章 D.1 節(jié)）。其他已知的魚眼相機(jī)校準(zhǔn)工具箱還有 OCamCalib [42][65][66] 以及 Kalibr [67][68][69][70]。最后，在 [71] 中，基于棋盤格特征提取和相機(jī)間對應(yīng)關(guān)系，提出了一種針對車輛上多個魚眼相機(jī)（內(nèi)參數(shù)和外參數(shù)）的校準(zhǔn)過程。這適用于環(huán)視相機(jī)系統(tǒng)，因為相對于車輛提供準(zhǔn)確的外校準(zhǔn)是提供無縫環(huán)視圖像的先決條件。當(dāng)校準(zhǔn)圖案相對于車輛坐標(biāo)系具有已知位置時，相機(jī)的位姿可以像上述那樣在離線環(huán)境中進(jìn)行估計 [72]。在車輛的使用壽命期間，由于機(jī)械部件的磨損，相機(jī)相對于車輛的位姿可能會發(fā)生漂移。理想的情況是相機(jī)系統(tǒng)能夠利用一類算法自動更新其校準(zhǔn)。為了校正相機(jī)位姿在在線環(huán)境中的變化，可以通過最小化相鄰相機(jī)地面投影之間的光度誤差來實現(xiàn) [73]。崔（Choi）等人的方法利用相鄰相機(jī)捕獲和檢測到的相應(yīng)車道標(biāo)線來優(yōu)化初始校準(zhǔn) [74]。在歐陽（Ouyang）等人的 [75] 中，提出了一種通過考慮車輛里程計來優(yōu)化外部方向的策略，即利用幾何一致性估計車輛的前進(jìn)運動，并利用垂直消失點估計來確定車輛的方向。這些算法大多用于校正幾何錯位，但需要通過離線校準(zhǔn)獲得初始位置。弗里爾（Friel）等人 [76] 描述了一種從汽車視頻序列中自動提取魚眼相機(jī)內(nèi)參數(shù)的方法，不過該方法僅限于單參數(shù)魚眼模型（如等距模型）。

D. 投影幾何

在針孔相機(jī)中，平面上的任意一組平行線會匯聚于單個消失點。這些可用于估計內(nèi)參數(shù)和外參數(shù)。對于針孔相機(jī)模型，幾何問題通?？梢岳镁€性代數(shù)來構(gòu)建。在這種情況下，可以使用霍夫變換（Hough-Transformation）[77] 來檢測平行線。所有消失點的集合就是該平面的地平線。在現(xiàn)實世界的相機(jī)系統(tǒng)中，針孔相機(jī)是相機(jī)的一種數(shù)學(xué)模型，它存在諸如光學(xué)畸變等形式的誤差。對于窄視場角相機(jī)來說，這通常是可以接受的，因為其畸變程度較小。對于寬視場角相機(jī)而言，畸變過大，以至于這種方法并非實用的解決方案，而且如果相機(jī)的視場角（FOV）大于 180 度，那么原始圖像中的點與校正后的圖像平面之間就不存在一一對應(yīng)關(guān)系。對于魚眼相機(jī)來說，一個更好的模型是球面投影面 [78][79]。在魚眼圖像中，休斯（Hughes）等人在 [34] 中描述了如何針對魚眼相機(jī)將那些平行線近似擬合為圓或圓錐曲線，以確定消失點或地平線。這些平行線對應(yīng)于球面的大圓。相應(yīng)地，魚眼相機(jī)所拍攝圖像中的直線近似為圓錐曲線 [55]，魚眼相機(jī)拍攝圖像中的平行線會匯聚于兩個消失點（圖 11）。

圖 11. 地平線、消失點和極線示意圖。

魚眼圖像中的線條可近似為圓錐曲線。類似于透視圖像中的平行直線匯聚于單個消失點，魚眼圖像中的平行直線匯聚于兩個消失點。這兩個消失點投影到單位球面上時，是球面上的對跖點。紅色和綠色分別表示水平平行線（藍(lán)色為相關(guān)地平線）和垂直平行線的透視情況。紅色和綠色的點表示消失點，其中一個消失點位于圖像之外。

E. 球面極線幾何

立體視覺的幾何關(guān)系由極線幾何來描述，它可與特征提取器結(jié)合，用于深度估計和運動恢復(fù)結(jié)構(gòu)方法。在針孔相機(jī)模型中，穿過兩個相機(jī)光心的直線與像平面的交點定義了被稱為對極點的特殊點。這條直線被稱為基線。穿過基線的每個平面在兩個像平面上定義了匹配的極線。一個相機(jī)中的點位于另一個相機(jī)的極線上，反之亦然。這將雙視圖相機(jī)設(shè)置中對應(yīng)點的搜索（立體匹配）簡化為一維問題。對于全向相機(jī)（如魚眼相機(jī)），我們采用球面投影面來代替平面，此時討論極面而非極線會更直觀，如圖 12 所示。從兩個相機(jī)對單個三維點的理想觀測將位于同一個極面上，這與針孔相機(jī)情況下它們位于極線上的原理相同。然而，需要注意的是，必須對相機(jī)進(jìn)行校準(zhǔn)，以便將圖像特征映射到投影球面上。相比之下，對于窄視場角相機(jī)，極線幾何是針對未校準(zhǔn)情況通過基礎(chǔ)矩陣來定義的。

F. 校正

它可以消除魚眼相機(jī)的徑向失真和重復(fù)使用標(biāo)準(zhǔn)的感知算法。雖然這是一種快速的方式開始魚眼相機(jī)感知發(fā)展，但有幾個問題與糾正。首先，理論上，由于水平視場大于180?，沒有水平視場，因此有光線入射在鏡頭上

圖12。球形外極幾何。外極平面Π是圍繞外極e的鉛筆，由相機(jī)中心C和C定義。理想的觀測值u和u將位于外極平面上。然而，實際觀測點的u和u，在存在噪聲的情況下，到外極平面的距離將為非零。

這些光線射向鏡頭后方，這在針孔相機(jī)設(shè)置中是行不通的。使用大視場角的魚眼鏡頭，而后又因校正而損失部分視場角，這是適得其反的。第二個重要問題是重采樣畸變，它在實際應(yīng)用中更為常見。它是插值偽影的一種特殊表現(xiàn)形式，對于魚眼圖像而言，一個小區(qū)域（特別是在畸變較大的周邊區(qū)域）在校正后的圖像中會擴(kuò)展成一個很大的區(qū)域，從而導(dǎo)致噪聲較大。特別是，[80] 中討論了重采樣引入的虛假頻率成分對計算機(jī)視覺造成的負(fù)面影響。此外，在推理階段需要進(jìn)行扭曲變換步驟，這會消耗大量的計算能力和內(nèi)存帶寬。它會生成帶有無效像素的非矩形圖像，這進(jìn)一步降低了計算效率。

常用的魚眼圖像校正方法如圖 13 所示。圖 13（a）展示了標(biāo)準(zhǔn)直線校正。從缺失的水平白線可以看出近場區(qū)域有明顯損失，左右邊緣區(qū)域也有缺失。盡管存在明顯損失，但這使得能夠使用標(biāo)準(zhǔn)相機(jī)算法。圖 13（b）展示了一種三次近似校正，其中魚眼鏡頭流形表面由一個開口立方體近似表示。它可被解釋為魚眼投影表面的分段線性近似。每個平面都是直線校正，因此在每個塊內(nèi)都可以使用標(biāo)準(zhǔn)算法。然而，立方體兩個表面之間存在較大畸變，對于跨越這兩個區(qū)域的物體將很難進(jìn)行檢測。人們還可以注意到由于周邊的重采樣偽影導(dǎo)致的強烈透視畸變和模糊現(xiàn)象。