因此，這里并沒有顯示出來。投影的結(jié)構(gòu)域和徑向函數(shù)為

當(dāng)α<為0.5時，針孔投影點在單位球體內(nèi)，當(dāng)α>為0.5時在外部，當(dāng)α=為0.5時在球體上。

3)增強統(tǒng)一相機模型：UCM由增強UCM[22]（圖6b）擴展，它將球形投影推廣到一個橢球體（或者，實際上，是一個一般的二次曲面），并能夠證明一些精度增益。E-UCM是由

其中，d=√β（X2+Y2）+Z2，β為橢圓系數(shù)-

cient.非投影函數(shù)對于EUCM來說并不漂亮，讀者可以參考的是[22]。有效的點和角度的集合為

4)雙球體模型：后來，UCM再次被雙球體（DS）模型[23]擴展，它增加了第二個單位球體投影，以實現(xiàn)更復(fù)雜的建模（圖6c）。

在[23]中給出了令人信服的結(jié)果，以證明了雙球模型的有效性。該模型的非投影函數(shù)為

圖7。一般透視映射的定義是由一個點到半徑為fs的球體的投影，然后是到焦距為fp的針孔模型的透視投影。這兩個投影中心被d偏移。與經(jīng)典模型一樣，它在制圖學(xué)中被知道了幾十年的[53]。

投影和非投影的有效范圍為

F. 其他型號

雖然我們已經(jīng)討論了許多更流行的魚眼投影模型，但這并不是詳盡的。無論出于什么原因，我們省略了一些似乎不太受歡迎的模型的細節(jié)。例如，巴克斯坦和Pajdla [49]提出了對經(jīng)典模型的兩個擴展。在[18]中也提出了一種基于對數(shù)的魚葉眼變換（FET），盡管與其他模型相比，其精度較低。[50]中提出的基于雙曲罪惡的廣角攝像機[51]模型，后來用于它，這里沒有討論，也沒有級聯(lián)單參數(shù)分割模型[52]。

G. 照相機型號的統(tǒng)一使用

隨著魚眼模型的普及，人們很自然地會懷疑一些模型之間是否存在共性，甚至在模型的開發(fā)過程中是否存在重復(fù)。

1)一般透視投影和魚眼模型：

統(tǒng)一相機模型屬于一類球體的一般垂直透視投影，在測測量學(xué)和制圖領(lǐng)域中有[53]，[54]，其中在球面上添加了中心投影的平凡步驟。立體投影和正交投影也屬于這一類。立體投影的針孔投影中心是在球體的表面上，而正字法投影具有無限的焦距（因此稱為術(shù)語正字法）。立體投影和UCM之間的聯(lián)系實際上在[21]中描述。

圖8。各種魚眼模型與一般透視投影之間的關(guān)系。雙線表示兩個模型是等價的，單行表示泛化/專業(yè)化。

讓我們首先檢查圖7所示的一般垂直透視投影，。針孔相機沿z軸偏移一個距離d。到球面上的投影是由

這里我們使用s =（x，y，z）T表示半徑為fs的球上的點，以便將其與之前用來表示單位球上的點區(qū)分開來。點u是s的針孔投影

+d將這些點從球體轉(zhuǎn)換為針孔坐標系。因此，通過這兩個參數(shù)γ = fp和ξ = d/fs，我們有（24），UCM。另外，如果我們將針孔相機平面限制在球面表面（即d = fs），并制作fp = 2fs，我們得到立體方程(7)。

E-UCM [22]通過投影到一個橢球體而不是一個球體來擴展UCM。這種類型的投影在測地學(xué)和制圖學(xué)中被稱為[53]，[54]橢球一般透視投影。我們不會在這里重新推導(dǎo)方程，而是讓讀者參考原始材料。如前所述，DS模型[23]通過添加第二個投影球來擴展對更復(fù)雜的光學(xué)進行建模的UCM。

因此，魚眼鏡頭的UCM、E-UCM和DS模型可以作為立體圖像相機模型的推廣。更正確的是，它們所有模型（UCM、E-UCM、DS、分割模型和立體模型）都是一類一般透視模型的一部分。如果我們允許fs接近于無窮大，那么（40）就成為了針孔投影模型。如果我們允許fp（因此也允許d）趨于無窮，那么我們得到正投影。

2)立體圖和除法模型：正如在[55]中所討論的，我們可以將針孔投影(2)與逆立體模型(8)給出

允許一個= 1/4f 2，這與分割模型相同，（16）。因此，我們可以說，分割模型是立體投影的圖像上版本。

3)等距和視場模型：考慮(2)給出的徑向針孔投影，以及等距魚眼投影模型(4)。將這兩者結(jié)合成與視場模型相似的形式（19）

由于fp和fe是自由參數(shù)，通過計算法確定，我們可以將其設(shè)置為

因此我們可以看出，（19）式和（42）式是等效的映射函數(shù)。視場角模型是等距投影的基于圖像的版本。

結(jié)果：為了具體證明球極平面投影 / 除法模型對以及等距投影 / 視場角模型對的等效性，我們給出了一組小規(guī)模的結(jié)果。值得一提的是，[23] 中提供了五臺相機的一組參數(shù)，其中包括視場角模型的參數(shù)。根據(jù) [23] 中視場角模型的參數(shù)集 ω，我們通過應(yīng)用（43）式來獲取等距參數(shù)。見表一。兩者之間的差異處于機器精度級別，這證明了這兩個模型是等效的。[46] 中呈現(xiàn)的結(jié)果（特別是參考表四）支持了球極平面投影模型和除法模型的等效性。我們可以從中看到，當(dāng)將球極平面投影模型與除法模型進行對比時，殘差為零。我們還可以看到，當(dāng)將統(tǒng)一相機模型（在 [46] 中稱為通用傳感器模型），或者等效地說將通用透視映射與球極平面投影模型和正射投影模型進行對比時，殘差也為零。

討論：魚眼相機應(yīng)用存在大量潛在的模型。在本文中，我們提及了二十種模型，不過可以肯定的是這并不詳盡。然而，我們已經(jīng)表明許多幾何模型之間存在很強的關(guān)聯(lián)性。至少有七種模型與通用透視投影相關(guān)或直接等效。此外，我們還表明一些近期開發(fā)的魚眼模型在數(shù)學(xué)上與經(jīng)典魚眼投影是等效的。

圖 9. 環(huán)視相機可視化效果

幾十年前提出的球極平面投影和等距模型等功能。在圖 8 中，我們給出了與通用透視投影相關(guān)的幾何魚眼模型示意圖。

三、環(huán)視相機系統(tǒng)

在本節(jié)中，我們將討論環(huán)視相機（SVC）的設(shè)置及其感知所需的基本要素。我們先從環(huán)視相機用于可視化的歷史應(yīng)用情況入手，這有助于理解汽車配置情況。然后我們再討論諸如校準、校正以及幾何基元等支撐模塊。

A. 可視化

從歷史上看，環(huán)視相機一直用于在駕駛員儀表盤上顯示，以實現(xiàn)泊車可視化。首個可視化應(yīng)用展示的是一個用于倒車輔助的后視魚眼相機 [12]。之后通過對行人、行車道等物體檢測的可視化，該應(yīng)用得到了進一步改進 [56]，隨后利用四個魚眼相機將其增強為環(huán)視可視化 [57]。最初的系統(tǒng)基于二維俯視圖，如圖 9（a）所示。這主要用于泊車應(yīng)用，但也可用于其他如交通擁堵輔助等低速操控應(yīng)用場景。二維俯視圖假定地面是平坦的，所以當(dāng)?shù)孛嬗衅鸱鼤r就會出現(xiàn)偽影。其他附近物體（如車輛）在這種視圖下會嚴重失真。通過采用一種類似碗狀的曲面（其中心附近是平坦的，朝周邊呈向上彎曲狀）構(gòu)建的三維環(huán)視視圖解決了這些問題，如圖 9（b）所示。此外，利用車輛周邊的深度估計可以調(diào)整碗狀曲面，以實現(xiàn)最佳視角，減少附近物體的偽影。例如，如果車輛一側(cè)有其他車輛靠近，該區(qū)域的碗狀曲面就會移到本車前方以避免產(chǎn)生偽影。通常，應(yīng)用程序會提供一個用戶界面，供駕駛員動態(tài)選擇所需的視角。環(huán)視可視化應(yīng)用通常是作為一個利用圖形處理單元（GPU）的 OpenGL [58] 渲染應(yīng)用來實現(xiàn)的。

傳統(tǒng)上，環(huán)視相機系統(tǒng)的成像流水線主要是為可視化而設(shè)計的。然而，這對于計算機視覺來說并非最優(yōu)，因此 [59] 和 [60] 中提出了雙圖像流水線的概念。圖像流水線的控制回路部分（如自動曝光和自動增益控制）通常是針對可視化進行調(diào)整的，因為它們無法聯(lián)合調(diào)整。由于四個環(huán)視相機指向四個不同方向，它們可能處于不同的環(huán)境光照條件下。例如，陽光可能直射在車輛前部，相應(yīng)的圖像就會有很強的眩光和較高的飽和度；而車尾的相機則處于陰影中，畫面較暗。為提高視覺質(zhì)量，在將圖像拼接在一起時會對圖像的亮度和顏色進行協(xié)調(diào)統(tǒng)一 [61]。如果這種協(xié)調(diào)統(tǒng)一是在用于可視化和計算機視覺的通用圖像流水線中進行的，就可能會對計算機視覺產(chǎn)生影響。