1.ISP的定義和功能

2.ISP的組成

3.ISP的作用與工作流程

4.ISP的挑戰(zhàn)與發(fā)展趨勢(shì)

1.ISP的定義和功能

       由前文“”可知，攝像頭主要由鏡頭、感光元器件、濾光片、圖像信號(hào)處理器ISP (Image Signal Processor)、圖像傳輸接口等組成。

        其中圖像信號(hào)處理器ISP是攝像頭的核心組件，其主要作用是對(duì)前端感光元件（CMOS/CCD）輸出的原始信號(hào)進(jìn)行后期處理，通過(guò)一系列復(fù)雜的算法處理，實(shí)時(shí)處理圖像信號(hào)，最終輸出高質(zhì)量的圖像。它是相機(jī)成像流程中的關(guān)鍵一環(huán)，對(duì)圖像質(zhì)量有著決定性的影響。        ISP的功能涵蓋了整個(gè)圖像處理的方方面面，從最初的信號(hào)處理到最后的圖像優(yōu)化。包括自動(dòng)曝光AE (Automatic Exposure）、自動(dòng)白平衡AWB ( Auto White Balance)、自動(dòng)對(duì)焦AF (Auto Focus)、壞點(diǎn)校正、去噪、強(qiáng)光抑制、背光補(bǔ)償、色彩增強(qiáng)、鏡頭陰影校正、圖像裁剪、顏色空間轉(zhuǎn)換、圖像穩(wěn)定等功能。

       ISP的架構(gòu)方案主要分為外置ISP和內(nèi)置ISP兩種：
        外置ISP：在AP (Application Processor，應(yīng)用處理器）外部單獨(dú)布置ISP芯片用于圖像信號(hào)處理。

       內(nèi)置ISP：封裝在AP內(nèi)部，與AP緊密聯(lián)系在一起。
       在激烈的市場(chǎng)競(jìng)爭(zhēng)下，能夠存活到現(xiàn)在的外置ISP生產(chǎn)廠商在此領(lǐng)域一般都有很深的造詣，積累了豐富的影像質(zhì)量調(diào)試經(jīng)驗(yàn)，能夠提供比內(nèi)置ISP更優(yōu)秀的性能和效果。因此，選用優(yōu)質(zhì)的外置ISP能提供專業(yè)且優(yōu)秀的圖像質(zhì)量。
       外置ISP的選型基本不受AP的影響，因此可以從各個(gè)優(yōu)秀ISP芯片供應(yīng)商的眾多產(chǎn)品中甄選最合適的器件，從而設(shè)計(jì)出更多優(yōu)秀的產(chǎn)品。

       相對(duì)的，外置ISP也就意味著更高的價(jià)格。

2.ISP的組成

        ISP包括固件及運(yùn)行在上面的邏輯部分 （軟件），它內(nèi)部包含中央處理器CPU (Central Processing Unit)、功能模塊SUB IP、圖像傳輸接口IF等設(shè)備，可以認(rèn)為是一個(gè)獨(dú)立的SOC (System on Chip，系統(tǒng)級(jí)芯片）。

        CPU：即中央處理器，可以運(yùn)行AF（自動(dòng)對(duì)焦）、LSC(鏡頭陰影校正）等各種圖像處理算法，控制外圍設(shè)備?，F(xiàn)代的ISP內(nèi)部的CPU一般都是基于ARM架構(gòu)的，例如ARM Cortex-A系列，其中Cortex-A5和Cortex-A7是較為常見(jiàn)的型號(hào)，適用于入門(mén)級(jí)智能手機(jī)、低成本手機(jī)和智能移動(dòng)終端等設(shè)備。ISP對(duì)實(shí)時(shí)圖像處理的需求需要CPU具備高性能、低功耗的特點(diǎn)。

       SUB IP：是各種功能模塊的通稱，對(duì)圖像進(jìn)行各自專業(yè)的處理。常見(jiàn)的SUB IP如DIS（數(shù)字圖像穩(wěn)定）、CSC （色彩空間轉(zhuǎn)換）、VRA(視覺(jué)識(shí)別算法）等。
        IF：即圖像傳輸接口，主要分兩種，并口ITU和串口CSI。在手機(jī)相機(jī)、車載一體機(jī)領(lǐng)域，廣泛使用MIPI-CSI接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。MIPI CSI全稱為Mobile Industry Processor Interface Camera Serial Interface，移動(dòng)產(chǎn)業(yè)處理器接口相機(jī)串行接口，是由MIPI聯(lián)盟開(kāi)發(fā)的一種高性能、低功耗、低成本的串行通信接口標(biāo)準(zhǔn)。
        MIPI CSI主要用于連接攝像頭模塊和處理器，支持高帶寬的數(shù)據(jù)傳輸。它包含應(yīng)用層、協(xié)議層和物理層。物理層定義了傳輸介質(zhì)、輸入/輸出電路信號(hào)的電氣特性和時(shí)鐘機(jī)制，主要使用的物理層協(xié)議有D-PHY、C-PHY和A-PHY。其中，D-PHY和C-PHY主要用于短距通信（例如幾厘米，一般是板內(nèi)通信），A-PHY適用于長(zhǎng)距離通信（例如十幾米），并被應(yīng)用于車載領(lǐng)域。
      外置ISP一般包含MIPI-CSIS (Camera Serial Interface Sender，相機(jī)串行接口發(fā)送器）和MIPI-CSIM (CameraSerial Interface Master，相機(jī)串行接口主設(shè)備）兩個(gè)接口，內(nèi)置ISP一般只需要MIPIC-SIS接口。

       此外，ISP還包含通用外圍設(shè)備，如I2C (Inter-Integrated Circuit，兩線式串行總線）、 SPI (Serial Peripheral Interface，串行外設(shè)接口）、PWM (Pulse Width Modulation， 脈沖寬度調(diào)制）、 UART (Universal Asynchronous Receiver/Transmitter，通用異步收發(fā)傳輸器）、WATCHDOG等。

     I2C控制器，用于讀取OTP (One Time Programmable，一次性可編程）信息，控制VCM (Voice Coil Motor，音圈馬達(dá)） 等。對(duì)于外置ISP，ISP本身還是I2C從設(shè)備，應(yīng)用處理器AP可以通過(guò)I2C控制ISP的工作模式，獲取其工作狀態(tài)等。

3.ISP的作用與工作流程

        ISP的主要作用是對(duì)前端圖像傳感器輸出的信號(hào)做后期處理，大致流程如下：
        從傳感器獲取原始數(shù)據(jù)：圖像傳感器（通常為CMOS傳感器&CCD傳感器）首先捕捉圖像的原始數(shù)據(jù)。這些數(shù)據(jù)通常是帶有噪聲、缺少顏色信息和對(duì)比度較低的RAW圖像數(shù)據(jù)。

        數(shù)據(jù)預(yù)處理：原始圖像數(shù)據(jù)經(jīng)過(guò)初步的處理，如信號(hào)放大、模數(shù)轉(zhuǎn)換等，以準(zhǔn)備進(jìn)入后續(xù)的圖像處理階段。
       圖像處理：ISP對(duì)原始數(shù)據(jù)進(jìn)行復(fù)雜的處理，包括去噪、色彩校正、去馬賽克、動(dòng)態(tài)范圍優(yōu)化、銳化等，最終得到一張視覺(jué)效果優(yōu)化的圖像。        輸出和顯示：經(jīng)過(guò)處理后的圖像可以傳輸?shù)斤@示屏，或者存儲(chǔ)到存儲(chǔ)介質(zhì)中。

黑電平補(bǔ)償 BLC(Black level Correction)
       物理器件不可能是理想的，由于雜質(zhì)、受熱等原因的影響，即使沒(méi)有光照射到感光器件上，感光器件也會(huì)產(chǎn)生電荷，這些電荷產(chǎn)生了暗電流。而且，暗電流與光照產(chǎn)生的電荷很難進(jìn)行區(qū)分。

Black Leve 是用來(lái)定義圖像數(shù)據(jù)為0時(shí)對(duì)應(yīng)的信號(hào)電平。由于暗電流的影響，傳感器出來(lái)的實(shí)際原始數(shù)據(jù)（數(shù)據(jù)不為0）并不是我們需要的黑平衡。所以，為減少暗電流對(duì)圖像信號(hào)的影響，可以采用的有效的方法是從已獲得的圖像信號(hào)中減去參考暗電流信號(hào)。
       一般情況下，在傳感器中，實(shí)際像素要比有效像素多，像素區(qū)頭幾行作為不感光區(qū)（實(shí)際上，這部分區(qū)域也做了RGB 的color filter)，用于自動(dòng)黑電平校正，其平均值作為校正值，然后在下面區(qū)域的像素都減去此矯正值，那么就可以將黑電平矯正過(guò)來(lái)了。沒(méi)做黑電平矯正的圖片會(huì)比較亮，影響圖像的對(duì)比度。

線性糾正        

通過(guò)校正傳感器輸出的非線性信號(hào)，使圖像信號(hào)與實(shí)際光線強(qiáng)度成線性關(guān)系，確保成像精度。

噪聲去除
       噪聲可能由多種因素引起，如傳感器噪聲、傳輸錯(cuò)誤或環(huán)境干擾。圖像處理器能夠減少或消除圖像中的噪聲成份，使得最終輸出的圖像更加清晰、細(xì)節(jié)更加豐富。常用的去噪方法包括：
        高斯濾波：一種平滑線性濾波器，通過(guò)加權(quán)平均的方式去除噪聲，但會(huì)損失部分邊緣和細(xì)節(jié)紋理特征。
        中值濾波：一種統(tǒng)計(jì)排序?yàn)V波器，通過(guò)取鄰域內(nèi)像素的中值來(lái)去除噪聲，適合處理離散的點(diǎn)噪聲，但可能會(huì)破壞圖像的細(xì)節(jié)紋理。        P-M方程去噪：基于熱傳導(dǎo)方程的圖像去噪方法，能夠去除高斯噪聲并保護(hù)邊緣不被平滑。

TV法去噪：以全變分理論為基礎(chǔ)，能夠去除高斯噪聲和孤立點(diǎn)噪聲，同時(shí)保護(hù)圖像邊緣和細(xì)節(jié)。

某些ISP還集成了基于機(jī)器學(xué)習(xí)的去噪算法，以更智能地處理復(fù)雜的噪聲場(chǎng)景。

      由于鏡頭的光學(xué)構(gòu)造，導(dǎo)致了經(jīng)過(guò)鏡頭進(jìn)入sensor的光線中間多四周少，進(jìn)而導(dǎo)致了數(shù)字圖像出現(xiàn)中間區(qū)域亮，四周區(qū)域暗(shading)的情況。期望通過(guò)暗角校正后，圖像的四周和中心亮度一致。
       校正算法原理：測(cè)定shading的分布情況，采用多項(xiàng)式擬合或同同心圓補(bǔ)償?shù)姆椒▽?duì)其校正。
        鏡頭陰影有兩種表現(xiàn)形式，分別是：
        Luma shading，又稱Vignetting，指由于鏡頭通光量從中心向邊緣逐漸衰減導(dǎo)致畫(huà)面邊緣亮度變暗的現(xiàn)象。        Chroma shading，指由于鏡頭對(duì)不同波長(zhǎng)的光線折射率不同引起焦平面位置分離導(dǎo)致圖像出現(xiàn)偽彩的現(xiàn)象。

自動(dòng)曝光AE（Automatic Exposure）

根據(jù)外界光線的強(qiáng)弱自動(dòng)調(diào)整曝光參數(shù)，防止曝光過(guò)度或不足，以獲得最佳的圖像質(zhì)量。
       曝光量是指光線作用于感光元件（如膠片或傳感器）上的總量，由以下三個(gè)因素共同決定：
        光圈：鏡頭內(nèi)光圈葉片的孔徑大小，影響通光面積。光圈越大（數(shù)值越?。﹩挝粫r(shí)間內(nèi)通過(guò)的光線越多。
        快門(mén)：決定曝光時(shí)間，即感光元件受光線照射的時(shí)間?？扉T(mén)速度越快，曝光時(shí)間越短；反之，曝光時(shí)間越長(zhǎng)。        ISO：感光度，衡量底片（或感光元件）對(duì)光的靈敏程度。ISO值越高，對(duì)光的靈敏度越高，但也可能導(dǎo)致噪點(diǎn)增加。
       在自動(dòng)曝光系統(tǒng)中，相機(jī)通過(guò)測(cè)光系統(tǒng)測(cè)量被攝畫(huà)面的亮度，并根據(jù)曝光方程計(jì)算出合適的曝光量，然后自動(dòng)調(diào)整光圈、快門(mén)速度和ISO等參數(shù)以達(dá)到該曝光量。
       曝光環(huán)路算法是最常見(jiàn)的自動(dòng)曝光算法，該算法通過(guò)一個(gè)閉環(huán)控制系統(tǒng)流來(lái)實(shí)現(xiàn)，其中包括：
        初始曝光估值計(jì)算：根據(jù)當(dāng)前場(chǎng)景的亮度，通過(guò)傳感器采集圖像象數(shù)據(jù)來(lái)估算初始曝光值。

       曝光調(diào)整：根據(jù)初始估值結(jié)果調(diào)整快門(mén)速度、光圈和ISO設(shè)置。        反饋：拍攝一張圖像并計(jì)算其亮度，反饋到算法中，進(jìn)行曝光調(diào)整。
       為了實(shí)現(xiàn)準(zhǔn)確的自動(dòng)曝光，相機(jī)通常提供多種測(cè)光模式，包括：
        平均測(cè)光（或稱分割測(cè)光）：將取景畫(huà)面分割為若干區(qū)域，計(jì)算各區(qū)域的加權(quán)平均值以確定曝光量。
        局部測(cè)光：對(duì)畫(huà)面的某一局部區(qū)域進(jìn)行測(cè)光，以該區(qū)域的亮度為準(zhǔn)來(lái)確定曝光量。
        點(diǎn)測(cè)光：只對(duì)很小的區(qū)域進(jìn)行測(cè)光，通常用于拍攝特寫(xiě)或需要精確控制曝光量的場(chǎng)景。        中央重點(diǎn)平均測(cè)光：偏重于取景器中央?yún)^(qū)域的亮度，同時(shí)考慮整個(gè)場(chǎng)景的亮度分布來(lái)確定曝光量。

自動(dòng)白平衡AWB ( Auto White Balance)
       自動(dòng)白平衡是通過(guò)算法調(diào)整圖像的色彩平衡，將不同色溫的環(huán)境光下成像后的白色還原成真實(shí)的白色(通常為自然日光環(huán)境下人觀察到的白色）。

       其原理基于顏色恒常性，即如果一個(gè)物體表面對(duì)光線的反射特性不隨光照條件而變化（大多數(shù)物體都滿足這一條件），那么該表面的光亮度與環(huán)境光亮度的比值也恒等。攝像機(jī)或數(shù)碼相機(jī)通過(guò)內(nèi)置的傳感器和算法，自動(dòng)探測(cè)環(huán)境光的色溫，并調(diào)整紅、綠、藍(lán)三路信號(hào)的相對(duì)增益，使輸出的三基色電壓相等，從而在屏幕上重現(xiàn)出標(biāo)準(zhǔn)白色。

去馬賽克(Demosaicing)
       去馬賽克(Demosaicing)用于將圖像傳感器(CMOS/CCD傳感器)捕獲的原始數(shù)據(jù)轉(zhuǎn)換為完整的彩色圖像。由于圖像傳感器使用的顏色濾光陣列CFA（Color Filter Array）通常是單一的，每個(gè)像素只采集一種顏色(紅、綠或藍(lán)),因此需要進(jìn)行去馬賽克處理來(lái)恢復(fù)到完整的彩色圖像，重建每個(gè)像素的RGB值。
       去馬賽克算法可以分為兩類：線性插值方法和非線性插值方法。根據(jù)不同的策略，算法的復(fù)雜性和效果會(huì)有所不同。
        線性插值方法通過(guò)對(duì)鄰域像素進(jìn)行加權(quán)平均來(lái)推算缺失的顏色值，通常簡(jiǎn)單但計(jì)算速度較快。

        非線性插值方法通過(guò)更復(fù)雜的算法推算缺失的顏色值，這些方法能夠在去噪、銳化和細(xì)節(jié)保留方面表現(xiàn)得更好。
        近年來(lái)，深度學(xué)習(xí)方法在圖像去馬賽克中取得了顯著的進(jìn)展。通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNN)來(lái)學(xué)習(xí)去馬賽克的過(guò)程，能夠更好地重建缺失的顏色信息。       去馬賽克的主要挑戰(zhàn)就是在每個(gè)像素點(diǎn)上，利用周圍鄰域的信息推測(cè)出丟失的顏色值，同時(shí)盡量保留圖像的細(xì)節(jié)、避免顏色失真和避免過(guò)度平滑。去馬賽克算法需要在去噪、銳化、細(xì)節(jié)保留等方面找到平衡。

銳化       銳化是補(bǔ)償圖像的輪廓，增強(qiáng)圖像的邊緣及灰度跳變的部分，使圖像變得清晰的過(guò)程。銳化分為空間域處理和頻域處理兩類。

動(dòng)態(tài)范圍優(yōu)化
        動(dòng)態(tài)范圍是指圖像中最亮和最暗部分之間的亮度范圍。動(dòng)態(tài)范圍優(yōu)化旨在改善圖像的亮度分布，使其更加適合人眼觀察或后續(xù)處理。常用的方法包括：
       平滑處理法：對(duì)圖像的鄰點(diǎn)進(jìn)行平均，類似于視頻過(guò)濾，但這種方法不會(huì)降低本底噪聲。
       平均值法：通過(guò)多次掃描取平均值來(lái)降低噪聲功率，從而改善動(dòng)態(tài)范圍。       降低中頻帶寬：通過(guò)降低數(shù)字濾波器的帶寬來(lái)濾除噪聲，從而降低本底噪聲并改善動(dòng)態(tài)范圍。

4.ISP的挑戰(zhàn)與發(fā)展趨勢(shì)

        隨著ISP芯片性能的不斷提升和AI技術(shù)的深度融合，AI-ISP結(jié)合人工智能技術(shù)和傳統(tǒng)ISP的圖像處理能力，提供了更強(qiáng)的圖像處理效果。通過(guò)引入深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，ISP將實(shí)現(xiàn)更高級(jí)的功能，如更智能的自動(dòng)對(duì)焦、復(fù)雜場(chǎng)景下的多幀合成，以及動(dòng)態(tài)場(chǎng)景識(shí)別下的自動(dòng)參數(shù)調(diào)整等。AI-ISP能夠進(jìn)行像素級(jí)的智能處理，提升圖像的清晰度、降噪效果和動(dòng)態(tài)范圍的表現(xiàn)力。
       但與此同時(shí)，AI-ISP的發(fā)展也面臨不少的挑戰(zhàn)。
       第一個(gè)重大目顯而易見(jiàn)的挑戰(zhàn)就是算力，隨著圖像分辨率的提升和處理復(fù)雜度的增加，ISP所需的算力也在不斷增加。目前，很多端側(cè)芯片難以滿足AI-ISP的算力需求，這成為了一個(gè)顯著的挑戰(zhàn)。
       第二個(gè)挑戰(zhàn)是圖像質(zhì)量的檢測(cè)，目前AI-ISP算法通常采用的是基于數(shù)據(jù)集的模型訓(xùn)練，但數(shù)據(jù)集的獲取和圖像質(zhì)量的判斷都是復(fù)雜且困難的問(wèn)題。目前，還沒(méi)有統(tǒng)一的圖像質(zhì)量檢測(cè)標(biāo)準(zhǔn)，這影響了訓(xùn)練模型效果的判斷。       第三個(gè)是復(fù)雜的應(yīng)用場(chǎng)景，不同應(yīng)用場(chǎng)景對(duì)圖像處理的要求各異，如高幀率視頻監(jiān)控需要保持圖像的清晰度和穩(wěn)定性，而無(wú)人機(jī)則需在低功耗條件下處理深度信息和物體識(shí)別。ISP需要適應(yīng)這些多樣化需求，提高產(chǎn)品的競(jìng)爭(zhēng)力。

未來(lái)AI-ISP的發(fā)展將主要聚焦于以下幾個(gè)方面：

       解決極端場(chǎng)景問(wèn)題：繼續(xù)提升AI-ISP在夜間、霧天和高動(dòng)態(tài)范圍場(chǎng)景下的表現(xiàn)，使其在復(fù)雜光照條件下保持圖像質(zhì)量的穩(wěn)定輸出。
        技術(shù)標(biāo)準(zhǔn)化：隨著AI-ISP技術(shù)的快速發(fā)展，逐漸形成統(tǒng)一的行業(yè)標(biāo)準(zhǔn)，幫助開(kāi)發(fā)者在不同設(shè)備和平臺(tái)間更好地實(shí)現(xiàn)技術(shù)對(duì)接和兼容。       擴(kuò)大端側(cè)使用場(chǎng)景：通過(guò)優(yōu)化AI-ISP效果，進(jìn)一步擴(kuò)大其在常用場(chǎng)景的使用頻率，降低其實(shí)現(xiàn)難度并提高與傳統(tǒng)的ISP效果差別，以滿足更廣泛的實(shí)時(shí)處理需求。