背景

在此我們提供一些關(guān)于 ISP 架構(gòu)和計(jì)算機(jī)視覺的背景知識(shí)，目的是讓讀者具備足夠的背景知識(shí)來理解本文的其余部分。

2.1. ISP 影響及調(diào)優(yōu)的相關(guān)工作現(xiàn)代汽車機(jī)器視覺系統(tǒng)的發(fā)展并非一帆風(fēng)順。從本質(zhì)上講，汽車攝像頭走了兩條截然不同的路線，一條是向用戶提供圖像，另一條是為諸如高級(jí)駕駛輔助系統(tǒng)（ADAS）之類的應(yīng)用提供機(jī)器視覺輸入。原始設(shè)備制造商（OEM）的需求導(dǎo)致這兩條路徑融合，因?yàn)樗麄兤谕粩z像頭系統(tǒng)能夠兼顧這兩方面。這意味著不同系統(tǒng)的關(guān)鍵性能指標(biāo)（KPI）匯聚到了一個(gè)通用平臺(tái)上。這帶來了諸多挑戰(zhàn)，因?yàn)檫@將屬于心理物理學(xué)領(lǐng)域的視覺圖像質(zhì)量性能指標(biāo)與傳統(tǒng)的計(jì)算機(jī)視覺關(guān)鍵性能指標(biāo)結(jié)合在了一起。

汽車領(lǐng)域視覺關(guān)鍵性能指標(biāo)的作用及發(fā)展在其他文獻(xiàn)中已有闡述，但視覺感知的語義并不容易簡單闡釋，于是就有了 “圖像質(zhì)量應(yīng)該是 FUN” 這一準(zhǔn)則，其中 FUN 是保真度（Fidelity）、實(shí)用性（Utility）和自然度（Naturalness）的首字母縮寫，因?yàn)樵谂c人類用戶打交道時(shí)，這三類是最常被提及的。保真度通常通過測(cè)量成像系統(tǒng)的調(diào)制傳遞函數(shù)（MTF）來體現(xiàn)，實(shí)用性通過分辨與觀看者相關(guān)物體的能力來體現(xiàn)，自然度則通過向觀看者提供直觀的世界視覺呈現(xiàn)的能力來體現(xiàn)。

視覺關(guān)鍵性能指標(biāo)經(jīng)歷了三個(gè)不同步驟的循環(huán)發(fā)展。首先，傳統(tǒng)的組件級(jí)指標(biāo)被應(yīng)用于相應(yīng)組件的信號(hào)；本質(zhì)上是借鑒了傳統(tǒng)光學(xué)和電子學(xué)中的測(cè)量方法。這些指標(biāo)包括鏡頭系統(tǒng)的調(diào)制傳遞函數(shù)（MTF）以及傳感器信號(hào)的信噪比。然而，這些指標(biāo)僅能針對(duì)極端值提供關(guān)于圖像質(zhì)量的直觀判斷（例如，高 MTF50 意味著圖像很清晰，低 MTF50 意味著圖像模糊）；它們?cè)诮M件選擇方面表現(xiàn)良好，但在中期視覺評(píng)估中作用不佳（例如）。第二種方法是創(chuàng)建復(fù)合關(guān)鍵性能指標(biāo)，它們是輸入圖像中簡單特征的多元函數(shù)。這些指標(biāo)借鑒了傳統(tǒng)特征檢測(cè)或圖像壓縮指標(biāo)方面的研究成果 。它們包括通用質(zhì)量指數(shù) 、結(jié)構(gòu)相似性（SSIM）、多尺度結(jié)構(gòu)相似性（MS-SSIM）、信息保真度準(zhǔn)則（IFC）、視覺信息保真度（VIF）、視覺信噪比（VSNR）、特征相似性（FSIM以及顯著加權(quán)質(zhì)量指標(biāo)。“無參考” 技術(shù)在評(píng)估圖像時(shí)無需無畸變的參考圖像，在實(shí)時(shí)系統(tǒng)中更受青睞，但也面臨著許多與參考技術(shù)相同的問題，這些問題阻礙了對(duì)指標(biāo)測(cè)量結(jié)果的通用解釋。

第三種方法是以科學(xué)實(shí)施的評(píng)審團(tuán)測(cè)試形式進(jìn)行視覺心理物理學(xué)測(cè)試 。出現(xiàn)這種情況有諸多原因。傳統(tǒng)的組件關(guān)鍵性能指標(biāo)和多元函數(shù)未能充分解決場(chǎng)景的多樣性問題，也未能妥善處理平衡 ISP 各效應(yīng)時(shí)固有的權(quán)衡問題，所以再次有必要讓人類來查看圖像并做出判斷。為了減少或消除潛在干擾變量的影響，傳統(tǒng)的視覺心理物理學(xué)測(cè)試特意設(shè)置了嚴(yán)格受限的測(cè)試環(huán)境，而更通用的自動(dòng)化視覺心理物理學(xué)測(cè)量嘗試同樣受到高度人為限制，即便如此，相關(guān)性也很差 。然而，這與汽車成像系統(tǒng)的普遍期望恰恰相反，汽車成像系統(tǒng)所經(jīng)歷的場(chǎng)景內(nèi)容多樣性在所有成像應(yīng)用中是最高的，因此必須考慮利用汽車場(chǎng)景中物體對(duì)觀察者預(yù)期顯著性的自動(dòng)化方法 。

計(jì)算機(jī)視覺算法對(duì)圖像質(zhì)量關(guān)鍵性能指標(biāo)的敏感性最近得到了凸顯，在汽車場(chǎng)景中 “性能會(huì)因幾乎難以察覺的變化而急劇下降”，而且即使故意改變單個(gè)像素也可能引發(fā)分類問題 。

與我們打算開展的工作最接近的論文是。該論文的目的是研究 ISP 流水線在計(jì)算機(jī)視覺（傳統(tǒng)計(jì)算機(jī)視覺和卷積神經(jīng)網(wǎng)絡(luò)）中的作用，以尋找減少計(jì)算量和節(jié)能的機(jī)會(huì)（創(chuàng)建計(jì)算機(jī)視覺 ISP 模式）。然而，他們的調(diào)優(yōu)方法是通過禁用流水線的某些階段，而非調(diào)整參數(shù)。他們提出了一些相當(dāng)重要的觀點(diǎn)：（1）對(duì)于他們所選用的算法，在針對(duì)計(jì)算機(jī)視覺時(shí)，大多數(shù)傳統(tǒng) ISP 階段是不必要的。在他們測(cè)試的所有應(yīng)用中，除了一個(gè)應(yīng)用外，只有兩個(gè)階段對(duì)視覺精度有顯著影響，即去馬賽克和伽馬壓縮。（2）他們的圖像傳感器可以通過用對(duì)數(shù)量化取代線性模數(shù)轉(zhuǎn)換（ADC）量化，將位寬從 12 位降低到 5 位，同時(shí)保持相同的任務(wù)性能水平。然而，這項(xiàng)工作存在一些局限性。他們對(duì)為經(jīng)過 ISP 處理的圖像而設(shè)計(jì)的計(jì)算機(jī)視覺算法進(jìn)行黑箱比較。如果圖像未經(jīng) ISP 處理，算法就必須進(jìn)行適當(dāng)調(diào)整。例如，對(duì)于像尺度不變特征變換（SIFT）[34] 這樣的拓?fù)渌阕?，在有無去馬賽克處理的情況下運(yùn)行是并非最優(yōu)選擇。標(biāo)準(zhǔn)算子并不適用于拜耳模式圖像。同樣，在沒有伽馬壓縮的情況下，算子也可以進(jìn)行調(diào)整以應(yīng)對(duì)這種情況。

最近，論文  展示了如何利用模擬來理解不同攝像頭架構(gòu)的影響。他們分析了攝像頭 ISP 對(duì)神經(jīng)網(wǎng)絡(luò)性能及其對(duì)曝光變化的適應(yīng)能力的影響。他們比較了兩種卷積神經(jīng)網(wǎng)絡(luò)（SSD 和 RFCN）在檢測(cè)方面的性能。每種網(wǎng)絡(luò)都使用以下類型的數(shù)據(jù)之一進(jìn)行訓(xùn)練和測(cè)試：原始數(shù)據(jù)、線性數(shù)據(jù)或 sRGB 數(shù)據(jù)。他們的結(jié)果表明，使用一種類型圖像對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在其他攝像頭設(shè)置下不會(huì)產(chǎn)生相同的結(jié)果。他們得出的結(jié)論是，最佳方法是共同設(shè)計(jì)攝像頭和網(wǎng)絡(luò)。

2.2. ISP 架構(gòu)概述ISP 是一個(gè)處理模塊，它將原始數(shù)字圖像轉(zhuǎn)換為適用于給定應(yīng)用的可用圖像（通常是用于觀看的彩色圖像）。這種轉(zhuǎn)換相當(dāng)復(fù)雜，包含多個(gè)離散的處理模塊，這些模塊根據(jù) ISP 的不同可以按不同順序排列。圖 1 展示了一個(gè)示例圖像處理模塊。每個(gè) ISP 都有其自身獨(dú)特的特點(diǎn)，但幾乎所有的 ISP 都具備相同的基本模塊和處理流水線。以下是從對(duì)計(jì)算機(jī)視覺算法影響的角度對(duì)圖 1 中所標(biāo)識(shí)的每個(gè)功能模塊的簡要描述。

圖 1. 典型的圖像信號(hào)處理器（ISP）流水線

鏡頭陰影校正 —— 校正圖像邊緣處亮度和色彩的不均勻性。對(duì)于魚眼鏡頭而言，這一點(diǎn)尤為關(guān)鍵，因?yàn)殓R頭透光率的特性會(huì)使光線強(qiáng)度在圖像邊緣處出現(xiàn)明顯衰減。鏡頭陰影校正還用于校正色彩陰影效應(yīng)。當(dāng)白光穿過鏡頭時(shí)，折射程度會(huì)因光的波長不同而變化。其結(jié)果是，如果不進(jìn)行校正，魚眼圖像的中心通常會(huì)呈現(xiàn)偏紅的色調(diào)，而圖像邊緣則會(huì)呈現(xiàn)青色調(diào)。若不加以校正，整個(gè)圖像就會(huì)出現(xiàn)不同程度的色調(diào)變化。這也會(huì)影響自動(dòng)白平衡（AWB）算法的性能。任何以色彩作為輸入的檢測(cè)算法都會(huì)受到更嚴(yán)重的負(fù)面影響。鏡頭陰影校正通過對(duì)鏡頭光學(xué)特性進(jìn)行表征，并應(yīng)用空間變化的數(shù)字校正來實(shí)現(xiàn)。但這可能會(huì)產(chǎn)生增加圖像邊緣噪聲的副作用，進(jìn)而影響機(jī)器視覺性能。

自動(dòng)白平衡 —— 校正環(huán)境光照條件下的色溫，以保持色彩恒常性（即無論照亮場(chǎng)景的光的光譜如何，灰色物體都呈現(xiàn)灰色。自動(dòng)白平衡統(tǒng)計(jì)數(shù)據(jù)根據(jù)輸入圖像進(jìn)行計(jì)算，然后對(duì)紅、綠、藍(lán)色彩通道應(yīng)用數(shù)字增益，以校正因環(huán)境光照導(dǎo)致的偏色。對(duì)于任何以色彩作為輸入的機(jī)器視覺算法來說，準(zhǔn)確的自動(dòng)白平衡都至關(guān)重要。車道標(biāo)線檢測(cè)尤其容易受到自動(dòng)白平衡不準(zhǔn)確的影響。例如，在鈉蒸汽路燈照明下區(qū)分黃色和白色車道標(biāo)線就是一個(gè)極具挑戰(zhàn)性的應(yīng)用場(chǎng)景。其他算法，包括交通標(biāo)志和交通信號(hào)燈識(shí)別，也會(huì)受到自動(dòng)白平衡性能的影響。自動(dòng)白平衡就是圖像自然度和實(shí)用性之間可能需要權(quán)衡的一個(gè)例子。以鈉蒸汽燈照明的夜景為例，鈉蒸汽燈有多種類型，但其色溫都相當(dāng)?shù)停谌祟愑^察者看來呈現(xiàn)橙色或紅色。通常，對(duì)于供人類觀看的應(yīng)用而言，理想的做法是調(diào)整相機(jī)的自動(dòng)白平衡響應(yīng)，使其盡可能符合人類觀察者的期望。然而，對(duì)于機(jī)器視覺來說，這可能并非必要，甚至可能對(duì)機(jī)器視覺性能產(chǎn)生負(fù)面影響。針對(duì)機(jī)器視覺的白平衡的另一種方法可能是針對(duì)鈉蒸汽燈照明進(jìn)行校正，使圖像 “呈現(xiàn)中性”，就好像是由 D65（標(biāo)準(zhǔn)光源）或類似光源照亮的一樣。在這種情況下，圖像可能看起來不自然，但顯著物體，包括黃色道路標(biāo)線，可能會(huì)更加突出。這甚至可能減少訓(xùn)練集的要求，即可能不再需要訓(xùn)練算法去檢測(cè)車燈光下場(chǎng)景中的道路標(biāo)線。據(jù)作者所知，目前還沒有詳細(xì)研究過這個(gè)問題的相關(guān)文獻(xiàn)。

自動(dòng)曝光控制 / 自動(dòng)增益控制（AEC/AGC）—— 自動(dòng)曝光控制 、自動(dòng)增益控制 。自動(dòng)曝光控制 / 自動(dòng)增益控制模塊控制圖像傳感器的曝光量和增益。下一幀圖像的曝光量和增益是根據(jù)當(dāng)前曝光量的加權(quán)平均值來計(jì)算的。這是 ISP 內(nèi)唯一真正的反饋回路。準(zhǔn)確的自動(dòng)曝光控制 / 自動(dòng)增益控制性能對(duì)機(jī)器視覺性能至關(guān)重要。曝光不足的圖像會(huì)有較差的信噪比和對(duì)比度區(qū)分度，而曝光過度的圖像則會(huì)在場(chǎng)景高光部分丟失信息。此外，根據(jù)應(yīng)用的不同，可能需要考慮不同的曝光加權(quán)方案。例如，對(duì)于前照燈檢測(cè)算法來說，讓圖像曝光不足以確保前照燈不會(huì)出現(xiàn)光暈可能是可以接受的。相反，如果主要關(guān)注陰影中物體的檢測(cè)，那么讓圖像的大部分區(qū)域曝光過度以確保捕捉到陰影中的細(xì)節(jié)可能是可以接受的。高動(dòng)態(tài)范圍（HDR）成像的目標(biāo)是確保同時(shí)捕捉到高光和陰影部分。鑒于汽車應(yīng)用場(chǎng)景，運(yùn)動(dòng)模糊也是需要考慮的一個(gè)因素。根據(jù)感知任務(wù)的不同，讓圖像曝光不足并通過數(shù)字方式提升亮度水平以避免運(yùn)動(dòng)模糊偽影可能是可以接受的。

壞點(diǎn)校正 —— 校正圖像傳感器上的壞點(diǎn)。圖像傳感器中的壞點(diǎn)數(shù)量會(huì)隨著傳感器的使用時(shí)長增加而增多。正是因?yàn)橛袎狞c(diǎn)校正算法，所以這些壞點(diǎn)通常在數(shù)字圖像中是看不到的。壞點(diǎn)有可能影響機(jī)器視覺算法的性能。蘇等人的研究表明，僅通過對(duì)單個(gè)像素進(jìn)行對(duì)抗性擾動(dòng)，平均有 97.47% 的置信度能將所測(cè)試的 70.97% 的自然場(chǎng)景擾動(dòng)到至少一個(gè)目標(biāo)類別。誠然，這個(gè)極端的例子展示了壞點(diǎn)影響機(jī)器視覺性能的可能性，類似的脆弱性在其他文獻(xiàn)中也有闡述。