4. 未來工作：面向計(jì)算機(jī)視覺的專用圖像信號(hào)處理器（ISP）
4.1. 調(diào)優(yōu)算法
調(diào)優(yōu)算法通常需要一個(gè)可優(yōu)化的標(biāo)量度量指標(biāo)。度量指標(biāo)既可以在圖像層面定義，也可以在計(jì)算機(jī)視覺算法層面定義。針對(duì)人類觀看需求進(jìn)行的圖像信號(hào)處理器（ISP）調(diào)優(yōu)傳統(tǒng)上是基于各測(cè)試對(duì)象偏好分?jǐn)?shù)的匯總，以主觀方式完成的。也存在客觀的圖像質(zhì)量度量指標(biāo)，如均方誤差（MSE）、結(jié)構(gòu)相似性（SSIM）等，但它們通常與感知相似性并不對(duì)應(yīng)。對(duì)于計(jì)算機(jī)視覺算法的調(diào)優(yōu)而言，直接對(duì)算法的關(guān)鍵性能指標(biāo)（KPI）進(jìn)行調(diào)優(yōu)效果更好。通常會(huì)有多個(gè)應(yīng)用，如深度學(xué)習(xí)、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、視覺同時(shí)定位與地圖構(gòu)建（SLAM）等，各個(gè)算法的不同精度需要通過加權(quán)求和來進(jìn)行衡量。在對(duì)多個(gè)算法關(guān)鍵性能指標(biāo)（KPI）進(jìn)行調(diào)優(yōu)時(shí)，主要挑戰(zhàn)在于每次迭代的時(shí)間復(fù)雜度，對(duì)于參數(shù)搜索空間較大的情況，這可能變得不切實(shí)際。因此，必須采用一些高效的策略?？梢韵葘?duì)圖像質(zhì)量度量指標(biāo)進(jìn)行調(diào)優(yōu)，以便為計(jì)算機(jī)視覺算法調(diào)優(yōu)方法提供良好的初始值。值得注意的是，就深度學(xué)習(xí)算法而言，可能根本不需要圖像信號(hào)處理器（ISP）組件，因?yàn)樯疃葘W(xué)習(xí)網(wǎng)絡(luò)能夠隱式地學(xué)習(xí)必要的變換。不過，在深度學(xué)習(xí)網(wǎng)絡(luò)中顯式地對(duì)其進(jìn)行建模以利用成像方面的先驗(yàn)知識(shí)，或許效果會(huì)更好。戴蒙德等人 利用這一思路對(duì)一個(gè)可微的圖像信號(hào)處理器（ISP）模塊進(jìn)行建模，該模塊可與識(shí)別網(wǎng)絡(luò)一起進(jìn)行端到端的訓(xùn)練。
一旦確定了調(diào)優(yōu)度量指標(biāo)和策略，優(yōu)化算法就會(huì)找出最佳參數(shù)集。最簡(jiǎn)單的方法是手動(dòng)試錯(cuò)，即由開發(fā)算法的專家根據(jù)經(jīng)驗(yàn)對(duì)參數(shù)集進(jìn)行調(diào)整。通常，會(huì)將計(jì)算機(jī)視覺領(lǐng)域常用的標(biāo)準(zhǔn)參數(shù)集作為起點(diǎn)，再進(jìn)一步細(xì)化。一般來說，這是一個(gè)繁瑣的手動(dòng)過程，無法系統(tǒng)地得出最優(yōu)參數(shù)集。對(duì)于具有數(shù)百個(gè)參數(shù)的圖像信號(hào)處理器（ISP）的大型搜索空間而言，手動(dòng)調(diào)優(yōu)尤其困難。最簡(jiǎn)單的優(yōu)化算法是網(wǎng)格搜索和隨機(jī)搜索。在網(wǎng)格搜索中，會(huì)基于所有可能的組合在網(wǎng)格上定義參數(shù)范圍，然后使用暴力搜索的方式對(duì)其進(jìn)行評(píng)估。對(duì)于參數(shù)組合較多的情況，這種方法并不實(shí)用。一種改進(jìn)的方法是隨機(jī)搜索，即采用一種巧妙的采樣策略隨機(jī)選擇參數(shù)。在 [95] 中，針對(duì)大型搜索空間已成功展示了這種方法。然而，它并不能保證收斂到最優(yōu)參數(shù)集。
近來，出現(xiàn)了許多更智能的、適用于大型搜索空間問題的優(yōu)化方法。貝葉斯優(yōu)化 [96] 是一種常用于優(yōu)化大規(guī)模問題（特別是評(píng)估函數(shù)計(jì)算成本較高的情況）的形式化方法。原則上，它有可能將其他搜索啟發(fā)式方法（如遺傳算法或群優(yōu)化技術(shù)）融入先驗(yàn)?zāi)Ｐ椭?。因此，它是一種更通用且更強(qiáng)大的方法。從形式上講，問題可定義如下：一個(gè)算法有一個(gè)參數(shù)空間 P = {p1, p2, …, pn }，它是由所有可能的參數(shù)配置組成的集合。參數(shù)通常是數(shù)值型的，也可以是類別型的，如啟用 / 禁用某個(gè)模塊。每個(gè)參數(shù)的分辨率和范圍將是關(guān)鍵的設(shè)計(jì)選擇。對(duì)于具有數(shù)百個(gè)參數(shù)的圖像信號(hào)處理器（ISP）配置，集合 P 的基數(shù)可能會(huì)超過 102?，暴力搜索是不可行的。
算法調(diào)優(yōu)問題可定義如下：popt = argmax (pi∈P)(Faccuracy (p))，其中 popt 是使精度成本函數(shù) Faccuracy (p) 最大化的最優(yōu)參數(shù)配置。通常，會(huì)有多個(gè)算法，其精度需要聯(lián)合優(yōu)化。標(biāo)準(zhǔn)方法是通過加權(quán)求和將不同的精度標(biāo)量化。也有多目標(biāo)優(yōu)化方法，其目的是在多維空間中同時(shí)優(yōu)化關(guān)鍵性能指標(biāo)（KPI）。通常，這種方法相對(duì)復(fù)雜，也需要大量的人工干預(yù)。基于序列模型的算法配置（SMAC3）（是一款用于優(yōu)化配置的熱門工具，它結(jié)合了貝葉斯優(yōu)化、梯度下降以及其他啟發(fā)式方法。
單圖像信號(hào)處理器（ISP）與雙圖像信號(hào)處理器（ISP）
人類視覺（HV）和計(jì)算機(jī)視覺（CV）的需求可能不同。傳統(tǒng)上，出于成本考慮，在處理片上系統(tǒng)（SOC）板載或配套芯片上只有一個(gè)圖像信號(hào)處理器（ISP），而且通常是針對(duì)人類視覺進(jìn)行調(diào)優(yōu)的。來自同一流水線的圖像被用于機(jī)器視覺應(yīng)用。已有研究表明，針對(duì)人類視覺（HV）和計(jì)算機(jī)視覺（CV）優(yōu)化的圖像信號(hào)處理器（ISP）是不同的 [94,97]。我們也將在下一節(jié)展示更多這方面的實(shí)證證據(jù)。將圖像信號(hào)處理器（ISP）拆分為分別用于人類視覺（HV）和計(jì)算機(jī)視覺（CV）的獨(dú)立流水線，能夠?qū)Χ叻謩e進(jìn)行獨(dú)立調(diào)優(yōu)，以便各自實(shí)現(xiàn)性能最大化。這對(duì)于機(jī)器學(xué)習(xí)算法尤其重要，因?yàn)闄C(jī)器學(xué)習(xí)算法理想情況下是基于特定的圖像信號(hào)處理器（ISP）設(shè)置進(jìn)行訓(xùn)練的。雙圖像信號(hào)處理器（ISP）流水線如圖 19 所示。人們對(duì)獨(dú)立圖像信號(hào)處理器（ISP）的重要性有了更深入的理解，而且現(xiàn)在大多數(shù)汽車片上系統(tǒng)（SOC）都具備了支持雙圖像信號(hào)處理器（ISP）流水線的計(jì)算能力和內(nèi)存帶寬。盡管采用了多個(gè)圖像信號(hào)處理器（ISP）的實(shí)現(xiàn)方式，但存在一個(gè)關(guān)鍵限制，即動(dòng)態(tài)反饋回路算法必須由一個(gè)主控制器來控制。相應(yīng)圖像傳感器的底層行為，例如特定曝光下某個(gè)像素的曝光時(shí)間，必須進(jìn)行唯一控制。

圖 19. 雙圖像信號(hào)處理器（ISP）示意圖