專利名稱：自適應(yīng)鏡頭黑點(diǎn)校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理，更特別地涉及對原始圖像數(shù)據(jù)的截取和處理。
背景技術(shù)：
背景技術(shù)部分旨在向讀者介紹本領(lǐng)域中與下文中描述和/或要求保護(hù)的本公開 的各個方面相關(guān)的各個方面。相信這一討論有助于向讀者提供背景信息，以便于更好地理 解本公開的各個方面。因此，應(yīng)該據(jù)此理解這些陳述，而不應(yīng)理解成承認(rèn)這些陳述為現(xiàn)有 技術(shù)。很多電子設(shè)備包括照相機(jī)或其他圖像捕獲設(shè)備。這些圖像捕獲設(shè)備可以輸出原始 圖像數(shù)據(jù)幀，其可以在被保存為經(jīng)處理的圖像或是顯示在電子設(shè)備上之前被處理。為了效 率起見，很多電子設(shè)備可以通過專用的圖像處理管路(pipeline)(例如，圖像信號處理器 (ISP))來處理這種原始圖像數(shù)據(jù)。很多用于控制專用圖像處理管路的參數(shù)可以基于與將被處理的圖像數(shù)據(jù)幀相關(guān) 聯(lián)的統(tǒng)計結(jié)果來確定。然而，由于該統(tǒng)計結(jié)果只有在原始圖像數(shù)據(jù)幀被部分地處理之后才 可能被確定，因此用于該專用圖像處理管路的早期階段的控制參數(shù)可能是基于來自先前的 圖像數(shù)據(jù)幀的統(tǒng)計結(jié)果而非基于當(dāng)前的圖像數(shù)據(jù)幀來確定的。因此，在某些情況下，硬件管 路的早期步驟可能因為振蕩和不精確而被誤校準(zhǔn)，并且所得圖像可能不令人滿意。此外， 即使硬件管路的早期步驟被正確地校準(zhǔn)，所得圖像有時也會因為一些其他原因而不令人滿 意。然而，唯一的補(bǔ)救可以包括對不滿意地處理的圖像進(jìn)行后處理。

發(fā)明內(nèi)容
下面闡述在此公開的特定實(shí)施例的概要。應(yīng)當(dāng)理解，給出這些方面僅僅是為了向 讀者提供這些特定實(shí)施例的簡明概要，并且這些方面并不意圖限制本公開的范圍。實(shí)際上， 本公開可包含未在下面闡述的各種方面。本公開的實(shí)施例涉及用于通過電子設(shè)備的主圖像處理和另選圖像處理功能對原 始圖像數(shù)據(jù)進(jìn)行雙重處理的系統(tǒng)、方法和設(shè)備。根據(jù)一個實(shí)施例，在由主圖像處理對原始圖 像數(shù)據(jù)幀的第二副本進(jìn)行處理之前，另選圖像處理可以分析原始圖像數(shù)據(jù)幀的第一副本。 其后，主圖像處理可以對原始圖像幀的第二副本進(jìn)行處理?？梢灾辽俨糠值鼗趯υ撛?圖像幀的第一副本的分析來校準(zhǔn)主圖像處理。該前饋處理技術(shù)可用于不同的圖像處理函 數(shù)，例如包括黑色電平補(bǔ)償、鏡頭黑點(diǎn)校正和缺陷像素圖。關(guān)于當(dāng)前公開的實(shí)施例可以存在對上述特征的各種細(xì)化。附加特征也可以并入到 這些不同的實(shí)施例中。這些細(xì)化和附加特征可以獨(dú)立或者按照任意組合存在。舉例來說， 下文討論的涉及一個或多個實(shí)施例的各種特征可以單獨(dú)地或者按照任意組合地并入到其他所公開的實(shí)施例中。再次說明，以上給出的簡明概要只是旨在讓讀者熟悉本公開的實(shí)施 例的特定方面和背景，而不是限制所要求保護(hù)的主題。


通過閱讀下文的詳細(xì)說明并參考附圖，可以更好地理解本公開的各個方面，附圖 中圖1是根據(jù)一個實(shí)施例的能夠執(zhí)行本文所公開的技術(shù)的電子設(shè)備的框圖；圖2是可以實(shí)現(xiàn)在圖1的電子設(shè)備的圖像捕獲設(shè)備中的Bayer濾色器陣列的2X2 像素塊的圖示；圖3和圖4分別表示代表圖1中的電子設(shè)備的一個實(shí)施例的手持式電子設(shè)備的前 視圖和后視圖；圖5是根據(jù)一個實(shí)施例的可以采用圖1的電子設(shè)備進(jìn)行的圖像處理的示意性框 圖；圖6是根據(jù)一個實(shí)施例的可以采用在圖1的電子設(shè)備中進(jìn)行的圖像處理的另一個 示意性框圖；圖7和圖8是描述采用來自另選圖像處理的原始圖像數(shù)據(jù)分析來校準(zhǔn)主圖像處理 的方法的實(shí)施例的流程圖；圖9描述了根據(jù)一個實(shí)施例的用于提供前饋黑色電平補(bǔ)償?shù)膱D像處理系統(tǒng)的框 圖；圖10從總體上例示了根據(jù)一個實(shí)施例的圖9中的圖像處理系統(tǒng)的三級架構(gòu)，包括 軟件、固件和硬件管路；圖11是表示根據(jù)一個實(shí)施例的用于將黑色電平補(bǔ)償應(yīng)用到幀的方法的流程圖；圖12是根據(jù)一個實(shí)施例的用于在參考幀上執(zhí)行軟件分析以確定參考幀的圖像數(shù) 據(jù)中的估計黑色電平偏移的流程圖；圖13是根據(jù)一個實(shí)施例的用于基于參考幀中的黑色電平偏移確定附加幀中的黑 色電平偏移的流程圖；圖14示出了描述成像設(shè)備的傳統(tǒng)鏡頭上的光強(qiáng)度相對于像素位置的三維分布 圖；圖15示出了定義一組鏡頭黑點(diǎn)增益的增益柵格；圖16是描述了根據(jù)本公開一些方面的當(dāng)執(zhí)行鏡頭黑點(diǎn)校正時可被應(yīng)用到圖像的 鏡頭黑點(diǎn)增益值的三維分布圖，該圖像展現(xiàn)出圖14中所示的光強(qiáng)度特性；圖17是例示了根據(jù)本公開一些方面的可被配置為應(yīng)用鏡頭黑點(diǎn)校正的圖像信號 處理(ISP)系統(tǒng)的框圖；圖18至21描述了針對不同類型的參考光源的紅色、藍(lán)色和綠色通道的鏡頭黑點(diǎn) 衰減(fall-off)曲線；圖22是描述了針對圖18至21中所示的每個參考光源的鏡頭黑點(diǎn)適配 (adaptation)曲線的曲線圖；圖23是描述了根據(jù)一個實(shí)施例的用于基于當(dāng)前光源適配鏡頭黑點(diǎn)校正參數(shù)的處 理的流程6
圖M是例示了根據(jù)一個實(shí)施例的用于基于當(dāng)前光源選擇鏡頭黑點(diǎn)適配函數(shù)的處 理的流程圖；圖25例示了根據(jù)一個實(shí)施例的用于確定參考圖像幀的子集內(nèi)的平均顏色值的技 術(shù)；圖沈和27例示了根據(jù)一個實(shí)施例的用于應(yīng)用所選擇的鏡頭黑點(diǎn)適配曲線到圖17 的ISP系統(tǒng)的處理；圖觀是描述了用于在執(zhí)行主圖像處理之前校正缺陷像素圖的方法的一個實(shí)施例 的流程圖；圖四是描述了如果主圖像處理生成的結(jié)果不令人滿意時對圖像進(jìn)行再處理的方 法的一個實(shí)施例的流程圖。
具體實(shí)施例方式下面將描述一個或多個具體實(shí)施例。在致力于提供對這些實(shí)施例的簡明描述的過 程中，在說明書中未描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)意識到在任何這種實(shí)際實(shí)現(xiàn)的開發(fā)中，和 任何工程或設(shè)計項目中一樣，為了實(shí)現(xiàn)開發(fā)人員的會因?qū)崿F(xiàn)而異的特定目標(biāo)，比如遵守與 系統(tǒng)相關(guān)的和與企業(yè)相關(guān)的約束條件，必須做出各種特定于實(shí)現(xiàn)的決策。此外，應(yīng)意識到這 樣的開發(fā)工作可能復(fù)雜和費(fèi)時，不過對受益于本公開的普通技術(shù)人員來說，這樣的開發(fā)工 作不過是常規(guī)的設(shè)計、加工和制造任務(wù)。當(dāng)前實(shí)施例涉及通過電子設(shè)備的主圖像處理和另選圖像處理功能對原始圖像數(shù) 據(jù)進(jìn)行雙重處理。在一些實(shí)施例中，該獲取的原始圖像數(shù)據(jù)可以用于產(chǎn)生用于主圖像處理 的前饋控制參數(shù)，其中主圖像處理可以是圖像信號處理器(ISP)。舉例來說，定期地或按需 要(例如，當(dāng)預(yù)期主圖像處理被誤校準(zhǔn)時)，特定另選圖像處理可以分析截取的原始圖像數(shù) 據(jù)。這樣的另選圖像處理可以包括例如在通用處理器上運(yùn)行的不同的ISP或軟件?；趯?該原始圖像數(shù)據(jù)的分析，可以產(chǎn)生用于控制該主圖像處理的更新的控制參數(shù)，并將其發(fā)送 給主圖像處理。此后，該主圖像處理可以根據(jù)這些更新的控制參數(shù)來處理原始圖像數(shù)據(jù)。例 如，這樣的前饋控制可以與黑色電平補(bǔ)償、鏡頭黑點(diǎn)補(bǔ)償或主圖像處理執(zhí)行的其他校正動 作中的一個或多個一起使用。特定實(shí)施例可以使用獲取的原始圖像數(shù)據(jù)以用于其它目的。例如，可以定期地分 析原始圖像數(shù)據(jù)的新缺陷像素，該新缺陷像素在主圖像處理已經(jīng)對該原始圖像數(shù)據(jù)進(jìn)行處 理之后可能難以被檢測。同樣，在特定實(shí)施例中，可以在主圖像處理發(fā)生時存儲該原始圖像 數(shù)據(jù)，以便在主圖像處理產(chǎn)生的圖像不令人滿意時，啟用另選圖像處理進(jìn)行再次處理。在其 他實(shí)施例中，該另選圖像處理可以與主圖像處理并行地處理該原始圖像數(shù)據(jù)，以產(chǎn)生可被 用戶選擇的圖像。考慮上述情況，下面將提供一種用于執(zhí)行這里所公開的技術(shù)的適合電子設(shè)備的一 般性描述。特別地，圖1是描述了可存在于適用于本技術(shù)的電子設(shè)備中的各種部件的框圖。 圖2和圖3分別表示適合電子設(shè)備的前視圖和后視圖，如所例示的，該適合的電子設(shè)備可以 是具有圖像捕獲設(shè)備、主圖像處理功能和特定另選圖像處理功能的手持式電子設(shè)備。首先參考圖1，用于執(zhí)行這里所公開的技術(shù)的電子設(shè)備10中可以包括一個或多個 處理器12、存儲器14、非易失性存儲設(shè)備16、顯示器18、一個或多個圖像捕獲設(shè)備20、閃光燈22、主圖像處理對、輸入/輸出(I/O)接口 26、網(wǎng)絡(luò)接口 28、輸入結(jié)構(gòu)30和電源32。圖 1中所示的各種功能塊可以包括硬件元件(包括電路)、軟件元件(包括存儲在非臨時性計 算機(jī)可讀介質(zhì)上的計算機(jī)代碼)或者硬件和軟件元件的組合。還應(yīng)注意的是，圖1僅僅是 一個特定實(shí)現(xiàn)的例子，并且旨在例示可以存在于電子設(shè)備10中的部件類型。舉例來說，電子設(shè)備10可以表示在圖3中所示的手持式設(shè)備或是類似設(shè)備(例 如，具有類似成像功能的臺式或筆記本計算機(jī))的框圖。應(yīng)注意的是，主圖像處理塊對、處 理器12和/或其他數(shù)據(jù)處理電路在此被一般性地稱作“數(shù)據(jù)處理電路”。這樣的數(shù)據(jù)處理 電路可以完全或部分地被實(shí)現(xiàn)為軟件、固件、硬件或它們的組合。另外，該數(shù)據(jù)處理電路可 以是單獨(dú)的處理模塊，或者可以完全或部分地并入在電子設(shè)備10中任意其他元件中。另外 地或者另選地，該數(shù)據(jù)處理電路可以部分地實(shí)現(xiàn)在電子設(shè)備10中，并且部分地實(shí)現(xiàn)在與設(shè) 備10相連的另一電子設(shè)備中。在圖1中的電子設(shè)備10中，該處理器12和/或其他數(shù)據(jù)處理電路可以操作地耦 接到存儲器14和非易失性存儲設(shè)備16，以執(zhí)行在此所公開的技術(shù)的各種算法。這些算法可 以由處理器12和/或其他數(shù)據(jù)處理電路(例如，與主圖像處理M相關(guān)聯(lián)的固件或軟件) 基于可由處理器12和/或其他數(shù)據(jù)處理電路執(zhí)行的特定指令來執(zhí)行。這樣的指令可以使 用任何適合的制品來存儲，所述制品包括一個或多個有形的計算機(jī)可讀介質(zhì)，以至少能集 中地存儲這些指令。該制品可以例如包括存儲器14和/或非易失性存儲設(shè)備16。該存儲 器14和非易失性存儲設(shè)備16可以包括用于存儲數(shù)據(jù)和可執(zhí)行指令的任何適合制品，例如 隨機(jī)存取存儲器、只讀存儲器、可重寫閃存、硬盤和光盤。圖像捕獲設(shè)備20通?？梢曰诒尘肮鈦聿东@場景的原始圖像數(shù)據(jù)幀。當(dāng)背景光 本身不足時，閃光燈22(例如，發(fā)光二極管(LED)或氙氣閃光設(shè)備)可以在圖像捕獲設(shè)備20 捕獲原始圖像數(shù)據(jù)幀時臨時地照亮場景。在其他情況下，來自圖像捕獲設(shè)備20的原始圖像 數(shù)據(jù)幀可以在被存儲到存儲器14或非易失性存儲設(shè)備16中或者被顯示在顯示器18上之 前被處理。特別地，圖示的圖像捕獲設(shè)備20可用作被配置為獲取靜止圖像和運(yùn)動圖像(例 如，視頻)的數(shù)字照相機(jī)而提供。這樣的圖像捕獲設(shè)備20可以包括一個鏡頭和一個或多個 圖像傳感器，該一個或多個圖像傳感器被配置為捕獲光并將光轉(zhuǎn)換成電信號。只是舉例來 說，該圖像傳感器可以包括CMOS圖像傳感器(例如，CMOS有源像素傳感器(APQ)或CCD(電 荷耦合器件)傳感器。一般來說，圖像捕獲設(shè)備20中的圖像傳感器包括具有像素陣列的集 成電路，其中每個像素包括用于感測光的光電檢測器。本領(lǐng)域技術(shù)人員將理解，成像像素中 的光電檢測器一般檢測通過照相機(jī)鏡頭捕獲的光的強(qiáng)度。然而，光電檢測器一般自己不能 檢測捕獲的光的波長，并因此不能確定顏色信息。因此，圖像傳感器還可以包括濾色器陣列(CFA)，其可以覆蓋或設(shè)置在圖像傳感器 的像素陣列上以捕獲顏色信息。濾色器陣列可以包括小的濾色器的陣列，其中每個小的濾 色器可以覆蓋圖像傳感器的相應(yīng)像素并通過波長過濾捕獲的光。因此，濾色器矩陣和光電 檢測器在結(jié)合使用時可以提供與通過照相機(jī)捕獲的光相關(guān)的波長和強(qiáng)度信息兩者，這可以 代表捕獲的圖像。在一個實(shí)施例中，濾色器陣列可以包括Bayer濾色器陣列，該Bayer濾色器陣列 提供其中有50%綠色元素、25%紅色元素和25%藍(lán)色元素的濾色器模式。例如，圖2示出了 Bayer CFA的2 X 2像素塊，其包括2個綠色元素(Gr和Gb)、1個紅色元素(R)和1個藍(lán) 色元素(B)。因此，使用Bayer濾色器陣列的圖像傳感器可以提供與圖像捕獲設(shè)備20所接 收到的光在綠、紅和藍(lán)波長上的強(qiáng)度有關(guān)的信息，由此每個圖像像素只記錄三種顏色(RGB) 中的一個?？梢允褂靡粋€或多個去馬賽克(demosaic)技術(shù)來處理這個可以稱為“原始圖像 數(shù)據(jù)”或“原始域”中的數(shù)據(jù)的信息，以通常通過對每個像素的一組紅、綠和藍(lán)值進(jìn)行插值來 將原始圖像數(shù)據(jù)轉(zhuǎn)換成全彩色圖像。如下所述，這種去馬賽克技術(shù)可以由主圖像處理對來 執(zhí)行。來自圖像捕獲設(shè)備20的這種原始圖像數(shù)據(jù)幀可以進(jìn)入主圖像處理M以進(jìn)行處 理。在一些實(shí)施例中，主圖像處理M可以包括專用硬件圖像處理管路，其可以包括可從 Samsung獲取的圖像信號處理器(ISP)。如下所述，來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù) 還可以被存儲到存儲器14的幀緩沖器中，其可由電子設(shè)備10中的另選圖像處理功能訪問。 此處使用的術(shù)語“另選圖像處理”表示除主圖像處理M之外所執(zhí)行的圖像處理，并且包括 代替或者附加于主圖像處理M處的處理所執(zhí)行的圖像處理。因此，如同這里各種例子描述 的那樣，該術(shù)語還包括在由主圖像處理M進(jìn)行的對圖像數(shù)據(jù)的處理之外但對其進(jìn)行支持 的所執(zhí)行的處理。電子設(shè)備10的這種另選圖像處理功能例如可以包括運(yùn)行在處理器12的軟件中的 圖像處理或圖像分析。另選地或者另選地，電子設(shè)備10的另選圖像處理功能可以包括其他 能夠分析原始圖像數(shù)據(jù)的特定特性的硬件或固件。舉例來說，該另選圖像處理功能可以包 括幀分析，其可以包括分析來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù)幀。這個幀分析可指示原 始圖像數(shù)據(jù)的特定特性，其可能影響主圖像處理M應(yīng)如何處理原始圖像數(shù)據(jù)。因此，在一些實(shí)施例中，電子設(shè)備10的另選圖像處理功能可以為主圖像處理對生 成特定前饋控制參數(shù)。特別地，定期地或按需要(例如，當(dāng)預(yù)期主圖像處理M的特定階段 被誤校準(zhǔn)時)，可以在原始圖像數(shù)據(jù)上執(zhí)行另選圖像處理的幀分析。基于幀分析，可以生成 特定主圖像處理M的控制參數(shù)，并將其提供給主圖像處理24。其后，主圖像處理M可以根 據(jù)新確定的控制參數(shù)來處理相同的原始圖像數(shù)據(jù)。下文中將更詳細(xì)地描述，這些控制參數(shù) 可以例如包括先前在主圖像處理M中進(jìn)行的黑色電平和/或鏡頭黑點(diǎn)校正的參數(shù)。I/O接口沈可以使電子設(shè)備10能夠連接各種其他電子設(shè)備，如同網(wǎng)絡(luò)接口觀那 樣。這些網(wǎng)絡(luò)接口觀可以例如包括諸如藍(lán)牙網(wǎng)絡(luò)的個人區(qū)域網(wǎng)(PAN)的接口、諸如802. Ilx Wi-Fi網(wǎng)絡(luò)的局域網(wǎng)(LAN)的接口、和/或諸如3G或4G蜂窩式網(wǎng)絡(luò)的廣域網(wǎng)(WAN)的接 口。通過網(wǎng)絡(luò)接口 28，電子設(shè)備10可以與可包括閃光燈22的其他設(shè)備連接。電子設(shè)備10 的輸入結(jié)構(gòu)30可以使用戶能夠與電子設(shè)備10交互(例如，按壓物理的或是虛擬的按鈕來 初始化圖像捕獲序列)。電子設(shè)備10的電源32可以是任何適合的電源，例如可充電的鋰聚 合物(Li-poly)電池和/或交流電(AC)電源轉(zhuǎn)換器。圖3和圖4描述了手持式設(shè)備34的前視圖和后視圖，代表電子設(shè)備10的一 個實(shí)施例。該手持式設(shè)備34可以例如代表便攜式電話、媒體播放器、個人數(shù)據(jù)管理 器、手持式游戲平臺或這些設(shè)備的任意組合。舉例來說，手持式設(shè)備34可以是可從 位于加利福尼亞州的Cupertino的蘋果公司獲得的一種型號的LPod 或iPhone 。應(yīng) 理解的是，電子設(shè)備10的其他實(shí)施例可以例如包括計算機(jī)，例如可從蘋果公司獲得的 MacBook 、MacBook Pro、MacBook Air , iMac 、Mac mini 或者 Mac Pro 。在其他實(shí)施例中，電子設(shè)備10可以是平板計算設(shè)備，例如可從蘋果公司獲得的iPad 。手持式設(shè)備34可以包括外殼36，用于保護(hù)內(nèi)部部件不受物理損害，并使之免受電 磁干擾。外殼36可以包圍顯示器18，顯示器18可以顯示指示符圖標(biāo)38。該指示符圖標(biāo)38 此外還可以指示蜂窩信號強(qiáng)度、藍(lán)牙連接和/或電池續(xù)航時間。I/O接口沈可以穿過外殼 36，并可以例如包括蘋果公司的用于連接到外部設(shè)備的專用I/O端口。如圖4中所示，該手 持式設(shè)備34的背面可以包括圖像捕獲設(shè)備20和閃光燈22。用戶輸入結(jié)構(gòu)40、42、44和46與顯示器18相結(jié)合，可以允許用戶控制手持式設(shè)備 34。例如，輸入結(jié)構(gòu)40可以激活或是去激活手持式設(shè)備34，輸入結(jié)構(gòu)42可以將用戶界面 20導(dǎo)航到始位畫面、用戶可配置應(yīng)用畫面和/或激活手持式設(shè)備34的語音識別特征，輸入 結(jié)構(gòu)44可以提供音量控制，并且輸入結(jié)構(gòu)46可以在振動和響鈴模式間切換。傳聲器48可 以獲得用戶的聲音，以用于各種與聲音相關(guān)的特征，揚(yáng)聲器50可以使得能夠進(jìn)行音頻回放 和/或特定的電話功能。耳機(jī)輸入52可以提供到外部揚(yáng)聲器和/或耳機(jī)的連接。如圖5所示，當(dāng)電子設(shè)備10的圖像捕獲設(shè)備20獲取原始圖像數(shù)據(jù)時，可以在最終 圖像顯示在顯示器18上或存儲到存儲器14之前將原始圖像數(shù)據(jù)提供給主圖像處理24。然 而，定期地或者當(dāng)預(yù)期主圖像處理M的特定階段被誤校準(zhǔn)時，該原始圖像數(shù)據(jù)也可以被存 儲到存儲器14中?？梢源鎯υ紙D像數(shù)據(jù)的存儲器14可以是電子設(shè)備10的主存儲器的 一部分、非易失性存儲設(shè)備16，或者可以是電子設(shè)備10中的獨(dú)立的專用存儲器?？梢源鎯?原始圖像數(shù)據(jù)的該存儲器14可以包括直接存儲器存取(DMA)特征。例如，與圖像捕獲設(shè)備 20、圖像處理電路24、或存儲器14相關(guān)聯(lián)的控制器可以按需要使得來自圖像捕獲設(shè)備20的 特定原始圖像數(shù)據(jù)幀存儲在存儲器14中。另選圖像處理56(圖4)可以例如包括在處理器 12上運(yùn)行的圖像處理或圖像分析軟件，或具有特定圖像分析功能的其他硬件或固件，之后 另選圖像處理56可以訪問存儲在存儲器14中的原始圖像數(shù)據(jù)。另選地，來自圖像捕獲設(shè) 備20的原始圖像數(shù)據(jù)的每個新幀可以被發(fā)送到存儲器14，但只能由另選圖像處理56按需 要來訪問。另選圖像處理56可以與主圖像處理M不同。例如，如上所述，主圖像處理M可 以包括硬件圖像處理，另選圖像處理56可以包括軟件圖像處理。換言之，主圖像處理M可 以通過諸如圖像信號處理器(ISP)的第一處理器進(jìn)行，而另選圖像處理56可以通過諸如通 用處理器或特定處理單元(CPU)的第二處理器進(jìn)行。在一些實(shí)施例中，另選圖像處理56可 以是另選硬件圖像處理管路，其可以具有與主圖像處理M不同的功能，或者可以根據(jù)與主 圖像處理M不同的控制參數(shù)來操作。另外，主圖像處理M和另選圖像處理56可以具有不同的功能。在一些實(shí)施例中， 主圖像處理M可能更高效，但是另選圖像處理56可能更靈活。在主圖像處理M包括諸如 圖像信號處理器(ISP)的硬件圖像處理管路而另選圖像處理56包括在一個或多個處理器 12上運(yùn)行的軟件圖像處理時，主圖像處理M可以比另選圖像處理56消耗更少的資源。因 此，在電子設(shè)備10中主圖像處理對通?？梢允菆D像處理的首選。然而，由于主圖像處理M 的功能可能有限和/或是偶爾地誤校準(zhǔn)，所以有時可以準(zhǔn)許另選圖像處理56對資源的更多 消耗。另一方面，當(dāng)另選圖像處理56包括軟件時，該另選圖像處理56可以比主圖像處理M 使用更多的圖像處理技術(shù)和/或更大的存儲器。因此，定期地或者當(dāng)預(yù)期主圖像處理M的 特定階段被誤校準(zhǔn)時，在主圖像處理M處理原始圖像數(shù)據(jù)幀之前，另選圖像處理56可以使用這些資源對原始圖像數(shù)據(jù)幀進(jìn)行分析。通過這些分析，另選圖像處理56和/或主圖像處 理M可以產(chǎn)生前饋參數(shù)，以控制主圖像處理M的特定方面。由于該前饋控制參數(shù)是基于 將由主圖像處理M處理的同樣的原始圖像數(shù)據(jù)來確定的，所以這些前饋控制參數(shù)可能比 基于先前圖像數(shù)據(jù)幀的反饋控制參數(shù)更精確。如上所述，在主圖像處理M對原始圖像數(shù)據(jù)進(jìn)行處理之前，另選圖像處理56可以 對原始圖像數(shù)據(jù)進(jìn)行預(yù)分析?；趯υ紙D像數(shù)據(jù)的這種預(yù)分析，可以產(chǎn)生用于主圖像處 理對的特定控制參數(shù)。另外地或者另選地，當(dāng)主圖像處理M產(chǎn)生或者預(yù)期產(chǎn)生不令人滿意 的結(jié)果時，另選圖像處理56可對原始圖像數(shù)據(jù)進(jìn)行處理，以得到最終的經(jīng)處理的圖像。特 別地，由于另選圖像處理56可能會提供與主圖像處理M不同的最終圖像，所以可以在主圖 像處理M不能產(chǎn)生令人滿意的最終經(jīng)處理的圖像時使用另選圖像處理56。因此，當(dāng)預(yù)期主 圖像處理M將產(chǎn)生不令人滿意的經(jīng)處理圖像時，替代或是附加于主圖像處理對，另選圖像 處理56可以處理原始圖像數(shù)據(jù)。類似地，當(dāng)主圖像處理M得到不令人滿意的最終圖像時， 可以使用另選圖像處理56來重新處理原始圖像數(shù)據(jù)以生成新的最終圖像。因此，在一些實(shí) 施例中，另選圖像處理56的結(jié)果可以存儲在存儲器14中或是顯示在顯示器18上。如圖6所示，在特定實(shí)施例中，主圖像處理M可以包括初始圖像處理58、圖像統(tǒng)計 引擎60和輔助圖像處理62。圖像捕獲設(shè)備20以及主圖像處理M的這些元件58至62可 以用硬件64實(shí)現(xiàn)。一般來說，初始圖像處理58可以從圖像捕獲設(shè)備20接收原始圖像數(shù)據(jù) 幀，以執(zhí)行特定初始處理技術(shù)，例如黑色電平校正和鏡頭黑點(diǎn)校正。一旦初始圖像處理58 已經(jīng)執(zhí)行了對圖像數(shù)據(jù)幀的初始處理，統(tǒng)計引擎60就可以確定與當(dāng)前圖像數(shù)據(jù)幀相關(guān)的 特定統(tǒng)計結(jié)果。來自統(tǒng)計引擎60的這些統(tǒng)計結(jié)果可以被硬件64、軟件66和/或固件68訪 問。當(dāng)沒有使用另選圖像處理56時，可以使用針對當(dāng)前圖像數(shù)據(jù)幀收集的統(tǒng)計結(jié)果(例如， 通過硬件64或固件68)，來確定初始圖像處理58對未來圖像數(shù)據(jù)幀的控制參數(shù)。因此，由 于初始圖像處理58可以在從統(tǒng)計引擎60收集當(dāng)前圖像數(shù)據(jù)幀的圖像統(tǒng)計結(jié)果之前進(jìn)行， 所以當(dāng)沒有使用另選圖像處理56時，通常至少部分地基于反饋來控制初始圖像處理58。在初始圖像處理58之后，輔助圖像處理62可以執(zhí)行隨后的圖像處理技術(shù)。例如， 輔助圖像處理62此外還可以包括對當(dāng)前圖像數(shù)據(jù)幀進(jìn)行的白平衡和去馬賽克。由于輔助 圖像處理62可以在由統(tǒng)計引擎60確定圖像統(tǒng)計結(jié)果之后進(jìn)行，所以輔助圖像處理62可以 至少部分地通過基于當(dāng)前圖像數(shù)據(jù)幀產(chǎn)生的控制參數(shù)來控制(例如，使用硬件64或固件 68)。這種情況下，輔助圖像處理62可以不按照與初始圖像處理58 —樣的方式依賴于來自 對先前處理的圖像數(shù)據(jù)幀的反饋。定期地或者當(dāng)來自統(tǒng)計引擎60的統(tǒng)計結(jié)果指示未來數(shù)據(jù)幀可能在初始圖像處理 58中被誤校準(zhǔn)時，可以使用另選圖像處理56。如圖6所示的實(shí)施例中，另選圖像處理56在 軟件66中實(shí)現(xiàn)。軟件66可以在處理器12上運(yùn)行。當(dāng)不使用軟件66時，處理器12的全部 或部分可以至少部分地被去激活，從而幾平不耗電。在一些實(shí)施例中，軟件66可以利用特 定通用處理器設(shè)計，例如特定精簡指令集計算(RISC)架構(gòu)。舉例來說，一些實(shí)施例可以包 括單指令、多數(shù)據(jù)(SIMD)架構(gòu)，例如ARM 的NEON 架構(gòu)，其可以使得能夠進(jìn)行特定并行 圖像處理(例如，并行低通濾波等)。軟件66可以與電子設(shè)備10的特定固件68交互。舉 例來說，固件68可以與主圖像處理M相關(guān)聯(lián)。如上所述，來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù)幀可以被發(fā)送到存儲器14。軟件66可以從緩沖器70獲取該原始圖像數(shù)據(jù)幀，該緩沖器70在一些實(shí)施例中可能在給定的時 間內(nèi)只占用單個幀需要的存儲器。對該原始圖像數(shù)據(jù)幀的幀分析72可以指示用于主圖像 處理24的當(dāng)前控制參數(shù)是否被準(zhǔn)確地校準(zhǔn)。例如，如在下面更詳細(xì)地討論的，幀分析72可 以指示應(yīng)改變初始圖像處理58的黑色電平校正或鏡頭黑點(diǎn)校正控制參數(shù)。在特定實(shí)施例 中，幀分析72可以指示已經(jīng)檢測到了圖像捕獲設(shè)備20的新缺陷像素。為了進(jìn)行這種確定， 可以由另選圖像處理56使用任何合適的分析圖像數(shù)據(jù)幀的方式，包括如下描述的那些?；趲治?2中確定的這種信息，可以在軟件66或固件68中確定與主圖像處理 24相關(guān)聯(lián)的新的或更新的控制參數(shù)74。在初始圖像處理58開始處理相同的原始圖像數(shù)據(jù) 幀之前確定的這些“前饋”控制參數(shù)74可以向主圖像處理24前饋。在所例示的實(shí)施例中， 控制參數(shù)74被前饋給初始圖像處理58。之后，主圖像處理24的各個階段可以處理原始圖 像數(shù)據(jù)幀以形成最終圖像。這種由主圖像處理24得到的最終圖像可以被顯示在顯示器18 上和/或存儲在存儲器14中。如上所述，在特定實(shí)施例中，另選圖像處理56可以定期分析來自圖像獲取設(shè)備20 的原始圖像數(shù)據(jù)，從而使得能夠定期更新與主圖像處理24相關(guān)聯(lián)的控制參數(shù)(例如，控制 參數(shù)74)。S卩，如圖7中的流程圖80所示，可以定期地將來自圖像捕獲設(shè)備20的原始圖像 數(shù)據(jù)發(fā)送到存儲器14 (塊82)。另選地或者另選地，可以將原始圖像數(shù)據(jù)的每個幀發(fā)送到 存儲器14，而另選圖像處理56可以僅定期訪問和處理存儲在存儲器14中的該原始圖像數(shù) 據(jù)。在一些實(shí)施例中，另選圖像處理56可使得來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù)幀定 期地被存儲在存儲器14中。根據(jù)流程圖80更新主圖像處理24控制參數(shù)的周期可以取決于與來自圖像獲取電 路20的原始圖像數(shù)據(jù)相關(guān)聯(lián)的當(dāng)前條件。例如，當(dāng)來自統(tǒng)計引擎60的圖像統(tǒng)計結(jié)果在一 系列幀上相對穩(wěn)定時，該周期可以更長，而當(dāng)統(tǒng)計結(jié)果變化時該周期可以更短。因為另選圖 像處理56可以比只使用主圖像處理24消耗更多的資源，所以當(dāng)期望省電時，該周期可以更 長。該周期還可以根據(jù)圖像捕獲設(shè)備20的當(dāng)前應(yīng)用來改變。例如，相比于收集靜止圖像的 情況，當(dāng)圖像捕獲設(shè)備20用于捕獲視頻的圖像數(shù)據(jù)幀時的周期可以不同。在一些實(shí)施例 中，塊80可以在用戶選擇捕獲特定圖像(例如，通過按壓按鈕或在顯示器18上做出選擇) 時發(fā)生。在一些實(shí)施例中，塊80可以在閃光燈22輸出光并且拍攝閃光燈照明的圖像時發(fā) 生，這是因為閃光燈照明的圖像數(shù)據(jù)幀可以與先前的非閃光燈照明的圖像數(shù)據(jù)幀具有相當(dāng) 不同的統(tǒng)計結(jié)果。接下來另選圖像處理56可以執(zhí)行對原始圖像數(shù)據(jù)的幀分析(塊84)。應(yīng)當(dāng)理解的 是，該幀分析可以通過軟件66 (如圖6中所示)、通過與另選圖像處理56相關(guān)聯(lián)的固件、或 者通過與另選圖像處理56相關(guān)聯(lián)的硬件處理而進(jìn)行。之后，另選圖像處理56或其他數(shù)據(jù) 處理電路(例如，與主圖像處理24相關(guān)聯(lián)的固件)可以確定用于主圖像處理24的更新控 制參數(shù)，這將特別地適用于處理當(dāng)前原始圖像數(shù)據(jù)幀(塊86)。例如，更新的控制參數(shù)可以 表示一個或多個更新的黑色電平校正參數(shù)、鏡頭黑點(diǎn)校正參數(shù)、和/或缺陷像素圖參數(shù)。還 可以確定可從原始圖像數(shù)據(jù)確定的用于控制主圖像處理24的任何其他參數(shù)?？梢詫⑦@些更新的主圖像處理24控制參數(shù)前饋給主圖像處理24(塊88)。之后， 主圖像處理24可以根據(jù)更新的控制參數(shù)來執(zhí)行主圖像處理24(塊90)。在一些實(shí)施例中， 更新的控制參數(shù)可以保持不變直到另選圖像處理56再次定期地分析新的原始圖像數(shù)據(jù)幀以獲得新更新的控制參數(shù)為止。在其他實(shí)施例中，可以對更新的控制參數(shù)進(jìn)行傳統(tǒng)的反饋 控制，該反饋控制至少部分地基于來自統(tǒng)計引擎60的圖像統(tǒng)計結(jié)果的反饋。另外地或者另選地，另選圖像處理56可以按需要來分析來自圖像捕獲設(shè)備20的 原始圖像數(shù)據(jù)，以獲得新的主圖像處理24控制參數(shù)，例如當(dāng)預(yù)期主圖像處理24被誤校準(zhǔn) 時。舉例來說，如 圖8中的流程圖100所示，當(dāng)預(yù)期主圖像處理24針對當(dāng)前原始圖像數(shù)據(jù) 幀被誤校準(zhǔn)時(例如，來自統(tǒng)計引擎60的統(tǒng)計結(jié)果可以指示隨后的圖像數(shù)據(jù)幀沒有被主圖 像處理24正確地處理)(塊102)，可以將來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù)發(fā)送到存儲 器14(塊104)。另外地或者另選地，可以將原始圖像數(shù)據(jù)的每個幀都發(fā)送到存儲器14，但 是另選圖像處理56只是在預(yù)期主圖像處理24被誤校準(zhǔn)時才訪問和處理存儲在存儲器14 中的原始圖像數(shù)據(jù)。在一些實(shí)施例中，當(dāng)預(yù)期主圖像處理24被誤校準(zhǔn)時，另選圖像處理56 可以使得來自圖像捕獲設(shè)備20的原始圖像數(shù)據(jù)幀存儲在存儲器14中。例如，當(dāng)統(tǒng)計引擎60的特定統(tǒng)計結(jié)果逐幀變化時，可以預(yù)期主圖像處理24被誤校 準(zhǔn)。這種逐幀變化可以指示到主圖像處理24的特定階段(例如，初始圖像處理58)的反饋 可能是不穩(wěn)定的且振蕩的，或是可能是不精確的。當(dāng)預(yù)期由圖像捕獲設(shè)備20獲取閃光燈照 明的圖像時，也可以預(yù)期主圖像處理24被誤校準(zhǔn)。即，來自閃光燈22的光可以只在一個始 圖像數(shù)據(jù)幀期間輸出。從而，來自閃光燈22的光將不能計入與先前幀相關(guān)聯(lián)的統(tǒng)計結(jié)果 中。此外，為此，在獲取閃光燈的閃光時，單獨(dú)的反饋可能不能適當(dāng)?shù)匦?zhǔn)主圖像處理24中 的初始處理58。另選圖像處理56接下來可以執(zhí)行對原始圖像數(shù)據(jù)的幀分析(塊106)。應(yīng)當(dāng)理解 的是，該幀分析可以通過軟件66 (如圖6所示)、通過與另選圖像處理56相關(guān)聯(lián)的固件、或 者通過與另選圖像處理56相關(guān)聯(lián)的硬件處理來進(jìn)行。之后，另選圖像處理56或其他數(shù)據(jù) 處理電路(例如，與主圖像處理24相關(guān)聯(lián)的固件)可以確定用于主圖像處理24的新控制 參數(shù)，這將特別地適用于處理當(dāng)前原始圖像數(shù)據(jù)幀(塊108)。例如，更新的控制參數(shù)可以代 表一個或多個更新的黑色電平校正參數(shù)、鏡頭黑點(diǎn)校正參數(shù)、和/或缺陷像素圖參數(shù)。還可 以確定可從原始圖像數(shù)據(jù)確定的用于控制主圖像處理24的任何其他參數(shù)?？梢詫⑦@些新的特定幀的主圖像處理24控制參數(shù)前饋給主圖像處理24 (塊110)。 之后，主圖像處理24可以根據(jù)新的控制參數(shù)來執(zhí)行主圖像處理24 (塊112)。按照上述討論 的實(shí)施例的方式，新的控制參數(shù)可以保持不變直到另選圖像處理56再次分析新的原始圖 像數(shù)據(jù)幀以獲得更加新的控制參數(shù)為止。在其他實(shí)施例中，可以對新的控制參數(shù)進(jìn)行傳統(tǒng) 的反饋控制，該反饋控制至少部分地基于來自統(tǒng)計引擎60的圖像統(tǒng)計結(jié)果的反饋。如前所述，可以將前述的技術(shù)應(yīng)用到圖像處理系統(tǒng)的各個方面。例如，圖9中給出 了根據(jù)一個實(shí)施例的用于處理圖像數(shù)據(jù)的系統(tǒng)114。系統(tǒng)114可以包括具有像素陣列118 的圖像傳感器116 (例如，圖像捕獲設(shè)備20的Bayer傳感器)。像素陣列118可以包括成像 像素120，其被配置為接收光并響應(yīng)于這種接收到的光而產(chǎn)生電信號。然而，除了基于接收 到的光產(chǎn)生的信號之外，圖像傳感器118內(nèi)的泄漏電流可能會導(dǎo)致附加的信號分量。為了 補(bǔ)償泄漏電路導(dǎo)致的信號，像素陣列118也可以包括暗像素122。該暗像素122可以實(shí)現(xiàn)在 像素陣列118內(nèi)的多個位置處，例如沿著成像像素120的某些(或所有)周邊。暗像素122在結(jié)構(gòu)上可以與成像像素120類似，但是像素陣列118通?？杀慌渲?為防止暗像素122接收光。從而，暗像素122產(chǎn)生的信號一般歸咎于圖像傳感器內(nèi)的泄漏電流，并且為成像像素1 20提供黑色電平基準(zhǔn)。使用該黑色電平基準(zhǔn)，圖像傳感器116可被 配置為通過將圖像傳感器116的成像像素120的輸出信號減去來自暗像素122的黑色電平 基準(zhǔn)，而提供一定量的傳感器上(on-sensor)的黑色電平補(bǔ)償。由此，用于成像像素120的 輸出信號可以被描述為S = S (iph) + [S (idc) -Sdp] +data_pedestal，其中S是輸出信號，S(iph)是光感應(yīng)信號分量，S(idc)是泄漏電流感應(yīng)信號分量， Sdp是來自暗像素122的黑色電平基準(zhǔn)，并且“data_pedestal”是加在信號上的偏移量，用 于防止削波低信號端處的傳感器噪音。如果來自暗像素122的黑色電平基準(zhǔn)Sdp與來自成像像素120的泄漏電流感應(yīng)信 號分量s(id。)相匹配，則上述輸出信號S的公式將簡化為光感應(yīng)信號分量S(iph)和偏移量 “data_pedeStal”之和。然而，在其他情況下，黑色電平基準(zhǔn)Sdp與泄漏電流感應(yīng)信號分量 S(idc)可能不相匹配。例如，在某些圖像傳感器116中，黑色電平基準(zhǔn)Sdp可能大于泄漏電 流感應(yīng)信號分量S (id。)，從而導(dǎo)致這些傳感器116對圖像黑色電平的過度補(bǔ)償。至少在特定 的照明條件(例如，低照明條件)下，該過度補(bǔ)償會產(chǎn)生對輸出圖像數(shù)據(jù)的不期望的色調(diào)。 例如，在具有紅、綠和藍(lán)色通道的圖像中，傳感器116對黑色電平的過度補(bǔ)償可能會對較弱 的藍(lán)色和紅色通道造成較大的影響，而對較強(qiáng)的綠色通道造成較小的影響，從而導(dǎo)致具有 綠色調(diào)的圖像。此處使用的術(shù)語“黑色電平偏移”是指圖像傳感器對黑色電平的過度補(bǔ)償。 在至少某些實(shí)施例中，該黑色電平偏移可以等于黑色電平基準(zhǔn)Sdp減去泄漏電流感應(yīng)信號 分量 S(idc)。系統(tǒng)114還可以包括圖像信號處理管路124，其包括用于處理和改變來自圖像傳 感器116的原始圖像數(shù)據(jù)的各種硬件。在這里所例示的實(shí)施例中，管路124包括黑色電平 補(bǔ)償塊126，其可以提供用以移除“data_pedeStal ”偏移的附加偏移，還提供另一黑色電平 補(bǔ)償例如用以對傳感器116的黑色電平偏移進(jìn)行校正。例如，不是通過在黑色電平補(bǔ)償塊 126中從信號中減去等效的附加偏移而簡單地消除信號中的“data_pedestal”偏移，黑色 電平補(bǔ)償塊126中的附加偏移量可以基于圖像數(shù)據(jù)中的測量的黑色電平偏移而改變，以移 除黑色電平偏移。換言之，在一些實(shí)施例中，黑色電平補(bǔ)償塊的附加偏移量可以等于“data_ pedestal”減去黑色電平偏移，并且可以從進(jìn)入黑色電平補(bǔ)償塊126的圖像信號減去該附 加偏移量，以更精確地產(chǎn)生期望信號。圖像信號處理管路124還可以包括附加處理塊，例如鏡頭黑點(diǎn)補(bǔ)償塊128、白平衡 補(bǔ)償塊130和去馬賽克塊132。另外地，管路124可以包括統(tǒng)計引擎134以及任何其他期望 的處理塊。在操作中，管路124處理來自圖像傳感器116的原始圖像數(shù)據(jù)，并且經(jīng)處理的圖 像數(shù)據(jù)可以被輸出到各種位置，例如存儲器14、某些其他存儲器(例如，非易失性存儲設(shè)備 16)以及顯示器18。系統(tǒng)114還包括前饋環(huán)138，用于調(diào)整管路124中黑色電平補(bǔ)償塊126中的黑色電 平補(bǔ)償參數(shù)。該前饋環(huán)138 (其一般可以與先前討論的另選圖像處理56相關(guān)聯(lián))可以接收 來自圖像傳感器116的原始圖像數(shù)據(jù)，并通過路徑142將這種數(shù)據(jù)提供給附加圖像信號處 理管路140。盡管原始圖像數(shù)據(jù)的所有幀都可以被提供給管路124和管路140兩者，但是至 少在一些實(shí)施例中，圖像傳感器116提供一序列的圖像數(shù)據(jù)幀給管路124，但是只有該序列 幀中的一個子集被提供給附加管路140?？梢远ㄆ诘鼗蛘甙葱枰貙⒃撔蛄袔淖蛹峁┙o附加管路140。另外，在此可以將由該附加管路140接收和處理的子集的一個或多個幀稱 為“參考”巾貞。參考幀可被復(fù)制到緩沖器144中，并可進(jìn)行幀分析146，如下面將更詳細(xì)地描 述的。此外，圖像數(shù)據(jù)幀的黑色電平偏移可以在塊148處被確定，并且用于調(diào)整管路124 中的黑色電平補(bǔ)償塊126的黑色電平補(bǔ)償參數(shù)(例如，上述的附加偏移)，如大體地通過附 圖標(biāo)記150所指示的。這種前饋補(bǔ)償可以允許更準(zhǔn)確的圖像補(bǔ)償，其考慮了不同的圖像傳 感器116之間的黑色電平偏移特性的變化，以及特定傳感器中的黑色電平偏移的變化(例 如，由于老化效應(yīng)、溫度、積分時間以及增益等等)，而不依賴于任何制造商校準(zhǔn)數(shù)據(jù)(其將 會隨時間或特定操作環(huán)境而減少準(zhǔn)確度)。在一個實(shí)施例中，系統(tǒng)114 一般地可以包括如圖10中的框圖154所示的三級架 構(gòu)。特別地，在所示的實(shí)施例中，通過使用圖像信號處理硬件管路156、固件158和軟件160， 可以使得上述前饋黑色電平補(bǔ)償技術(shù)生效。圖像信號處理硬件管路156包括黑色電平補(bǔ)償 塊126，并可在其他方面與管路124相同或不同。固件158與硬件管路156相關(guān)聯(lián)，并且可 以由編碼各種與硬件管路156的操作有關(guān)的應(yīng)用指令的一個或多個存儲設(shè)備(例如，只讀 存儲器)實(shí)現(xiàn)。軟件160可以編碼在任意各種存儲器中，例如隨機(jī)存取存儲器或非易失性 存儲設(shè)備。另外，軟件160可以包括與硬件管路156和固件158相關(guān)聯(lián)的驅(qū)動器。圖像源162可以向硬件管路156提供原始圖像數(shù)據(jù)164。管路156可以處理原始 圖像數(shù)據(jù)164，例如通過對原始圖像數(shù)據(jù)164應(yīng)用各種補(bǔ)償技術(shù)，以生成和輸出經(jīng)處理的圖 像數(shù)據(jù)166。圖像源162可以包括圖像捕獲設(shè)備20(其自身可以包括圖像傳感器116)或用 于存儲這種數(shù)據(jù)的存儲設(shè)備，例如非易失性存儲設(shè)備16。除了原始圖像數(shù)據(jù)164的幀被傳送到硬件管路156，還可以將一個或多個這種幀 作為參考幀提供給軟件160 (通過路徑168)以用于分析，如下面將更詳細(xì)地描述的。還可以 將圖像捕獲參數(shù)(例如，曝光或積分時間、模擬增益、或者與原始圖像數(shù)據(jù)164的特定幀相 關(guān)聯(lián)的溫度)提供給軟件160。軟件160可以對接收到的原始圖像數(shù)據(jù)幀進(jìn)行分析，并輸出 一組參考幀數(shù)據(jù)172到固件158。隨后，固件158可以確定黑色電平補(bǔ)償參數(shù)或設(shè)置174， 并基于該確定來修改硬件管路156的黑色電平補(bǔ)償參數(shù)(例如，用以補(bǔ)償“data_pedeStal” 和黑色電平偏移的偏移量)。對黑色電平設(shè)置174的確定可以基于軟件160進(jìn)行的黑色電 平分析、軟件160分析的圖像數(shù)據(jù)幀的圖像捕獲參數(shù)170、以及當(dāng)前圖像數(shù)據(jù)幀的圖像捕獲 參數(shù)170。在硬件管路156、固件158和軟件160之間還可以傳送另外的通信，如由附圖標(biāo) 記176和178大體表示的。在一個實(shí)施例中，系統(tǒng)114可以大體根據(jù)圖11所示的流程圖184來操作。分別在 塊186和188中，可以獲取幀和圖像數(shù)據(jù)，并將其傳送到圖像信號處理硬件管路(例如，管 路124)。如前所述，在塊188處傳送的這些幀中的一個或多個可用作在塊190處由軟件160 進(jìn)行分析的參考幀，以使得能夠進(jìn)行前饋黑色電平補(bǔ)償。通常，在塊192處可以將這種參考 幀復(fù)制到緩沖器，并且可以在塊194處確定該復(fù)制的參考幀中的估計黑色電平偏移。在塊196，基于參考幀中的該估計的黑色電平偏移，可以確定其他傳送的幀中的黑 色電平偏移。在至少一些實(shí)施例中，由固件158基于參考幀和發(fā)送幀兩者的一個或多個圖 像捕獲參數(shù)(例如，曝光時間、增益或溫度)以及參考幀中的估計黑色電平偏移，執(zhí)行對發(fā) 送幀中的黑色電平偏移的確定。在塊198處，可以基于塊196處確定的黑色電平偏移，來調(diào)
15整圖像信號處理硬件管路124中的黑色電平補(bǔ)償參數(shù)，并且在塊200中硬件管路124可以 基于該調(diào)整的參數(shù)應(yīng)用黑色電平補(bǔ)償。隨后，在塊202處可以對幀進(jìn)行附加處理(例如，鏡 頭黑點(diǎn)補(bǔ)償和白平衡補(bǔ)償)，并在塊204處可以(例如，向存儲器或者顯示器)輸出經(jīng)處理 的幀。如大體由附圖標(biāo)記206所指示的，附加的傳送幀可以進(jìn)行類似的黑色電平補(bǔ)償和附 加處理。注意，在一些實(shí)施例中，系統(tǒng)14可以確定特定的傳送幀適于作為參考幀以用于進(jìn) 行選擇和分析。例如，如果系統(tǒng)114確定特定的傳送幀包括超出期望范圍的參數(shù)(例如，與 幀相關(guān)聯(lián)的增益超出期望范圍之外)，則系統(tǒng)114可以不將該幀用作參考幀，以避免將隨后 傳送幀的黑色電平補(bǔ)償部分地建立在不適合的參考幀的黑色電平偏移的基礎(chǔ)上。因此，由 流程圖184所表示的處理(或者這里描述的其他處理)可以根據(jù)需要跳過處理的階段或是 中途終止。例如，軟件分析190可以在塊194之前終止，或者如果確定特定幀作為參考幀是 不適合的或是非期望的，則可以甚至不針對該特定幀開始軟件分析190。根據(jù)一個實(shí)施例，對參考幀的軟件分析190可以包括附加方面，例如圖12中所述 的那些。在塊214處可以接收原始圖像數(shù)據(jù)用于軟件分析，并且可以在塊216處接收附加 數(shù)據(jù)。這種附加數(shù)據(jù)的非限制性例子包括原始圖像數(shù)據(jù)的參考幀的曝光或積分時間、原始 圖像數(shù)據(jù)的參考幀的模擬增益、和與圖像傳感器116對參考幀的捕獲相關(guān)聯(lián)的溫度(例如， 捕獲時傳感器的溫度)。另外，在塊218處可以解碼接收到的參考幀的原始圖像數(shù)據(jù)，并且 在塊220處可以從這種數(shù)據(jù)濾除噪聲。在塊222處可以進(jìn)行軟件分析，以找到圖像數(shù)據(jù)的參考幀中最暗的一個或多個部 分，并且確定這種部分的局部平均亮度水平。需要注意，此處使用的參考幀的“暗”部分可 以包括與由圖像捕獲的黑色物體相對應(yīng)的參考幀的部分，以及對一個或多個顏色通道的特 定像素表現(xiàn)為黑色的具有飽和顏色的物體相對應(yīng)的部分(例如，飽和紅色的物體將對圖像 傳感器116中的任何藍(lán)色像素表現(xiàn)為黑色)。在至少一些實(shí)施例中，可以找到參考幀的每個 顏色通道(例如，紅色、綠色和藍(lán)色通道)的一個或多個最暗區(qū)域，并且可以確定每個顏色 通道的一個或多個最暗區(qū)域的局部平均亮度水平。然后，在塊224處，可以將一個或多個局 部平均亮度水平與“data_pedestal” (應(yīng)用到圖像傳感器116獲取的原始圖像數(shù)據(jù)以減少 或是避免削波的偏移)相比較。然后在塊226處，軟件分析可以基于一個或多個最暗區(qū)域的局部平均亮度水平與 “data_pedeStal”的比較，為參考幀確定黑色電平偏移。所確定的黑色電平偏移可以取決于 在塊224處比較的局部平均亮度水平與“data_pedestal”的相對值。例如，在一個實(shí)施例 中，如果在塊222中確定的局部平均亮度水平小于“data_pedestal”，則塊226可以確定估 計黑色電平偏移等于“data_pedestal”減去局部平均亮度水平，否則可以確定該黑色電平 偏移等于0 (注意，如果圖像的最暗區(qū)域保持在“data_pedeStal ”偏移處或以上，則減少黑 色電平偏移的影響)。在這個實(shí)施例中，“data_pedestal”一般為圖像的最暗部分提供局部 平均亮度水平的參考點(diǎn)。在完全黑暗的情況下，圖像中最暗區(qū)域的局部平均亮度水平應(yīng)當(dāng) 等于傳感器116所應(yīng)用的“data_pedeStal”偏移。因此，最暗區(qū)域的局部平均亮度水平低 于“data_pedestal”的偏差可以歸因于傳感器116的黑色電平偏移。在塊228處，還可以 輸出參考數(shù)據(jù)用于確定附加幀的黑色電平偏移。例如，輸出參考數(shù)據(jù)可以包括參考幀的估 計黑色電平偏移，以及參考幀的其他統(tǒng)計結(jié)果(例如。曝光時間、溫度和增益)。
16
此外，根據(jù)一個實(shí)施例，參照圖13所示的流程圖，可以更好地理解對傳送到硬件 管路124的幀的黑色電平偏移的確定?？梢曰谠趬K236處接收到的參考幀以及在塊238 處接收到的相應(yīng)傳送幀的附加數(shù)據(jù)，為每個傳送幀確定黑色電平偏移。在塊240處，可以基 于在塊236和238處中接收到的數(shù)據(jù)計算當(dāng)前傳送幀的黑色電平偏移。例如，如前所述，可 以通過將當(dāng)前幀的圖像捕獲統(tǒng)計結(jié)果(例如，曝光時間、增益、溫度或這些的某種結(jié)合)與 參考幀的估計黑色電平偏移和圖像捕獲統(tǒng)計結(jié)果相比較，來確定當(dāng)前幀的黑色電平偏移。 如果塊240處計算的當(dāng)前幀的黑色電平偏移與先前幀偏離太大，則在塊242處對該黑色電 平偏移進(jìn)行濾波，以減小連續(xù)幀之間的突發(fā)大跳躍的幅度。最后，在塊244處可以針對每個 幀調(diào)整硬件管路124中的黑色電平補(bǔ)償參數(shù)，以便基于當(dāng)前傳送幀本身的數(shù)據(jù)和來自參考 幀的數(shù)據(jù)兩者對當(dāng)前幀進(jìn)行黑色電平補(bǔ)償。如上所述，該黑色電平補(bǔ)償可以被應(yīng)用以移除 “data_pedeStal”偏移和由圖像傳感器116應(yīng)用的黑色電平偏移。在另一實(shí)施例中，圖像處理系統(tǒng)114還可以為圖9中所示的鏡頭黑點(diǎn)校正(LSC) 邏輯128提供前饋控制參數(shù)，以對鏡頭黑點(diǎn)偽像進(jìn)行校正。下面參照圖14至27詳細(xì)地描 述可以應(yīng)用LSC邏輯128的用于分析和確定控制參數(shù)的各種技術(shù)。如可以理解的，鏡頭黑點(diǎn)偽像可能是由許多因素造成的，例如與數(shù)字圖像傳感器 相關(guān)聯(lián)的鏡頭的光學(xué)性能的不規(guī)則性。例如，具有理想的光學(xué)性能的鏡頭可以建模為入射 角余弦的四次方(cos4(e))，其稱為COS4定律。然而，由于鏡頭制造并不總是嚴(yán)格地遵守 COS4定律，所以鏡頭的不規(guī)則性會使得光學(xué)性能和光的響應(yīng)背離假定的COS4模型。例如， 鏡頭較薄的邊緣(例如，遠(yuǎn)離光學(xué)中心的邊緣)經(jīng)常表現(xiàn)出最大的不規(guī)則性。此外，鏡頭黑 點(diǎn)模式的不規(guī)則性也可能是由于微鏡頭陣列不能正確地與濾色器陣列(在一個實(shí)施例中， 其可以是Bayer模式濾色器陣列(圖2))對準(zhǔn)。參照圖14，例示了三維分布圖250，其描繪了典型的鏡頭的光強(qiáng)度相對于像素位 置的關(guān)系。如圖所示，鏡頭的中心252附近的光強(qiáng)度朝向鏡頭的角部或邊緣254逐漸衰減。 在數(shù)字圖像中，這種類型的鏡頭黑點(diǎn)偽像可表現(xiàn)為光強(qiáng)度朝向圖像的角部或邊緣衰減，使 得圖像的近似中心處的光強(qiáng)度看上去比圖像的角部或是邊緣處的光強(qiáng)度更亮。在一個實(shí)施例中，LSC邏輯128可被配置為通過逐像素地應(yīng)用適當(dāng)增益形式的鏡 頭黑點(diǎn)校正參數(shù)以補(bǔ)償強(qiáng)度中的衰減，從而校正鏡頭黑點(diǎn)偽像，其中校正參數(shù)通常與像素 距圖像捕獲設(shè)備20的鏡頭的光學(xué)中心的距離大致成比例。例如，可以使用如圖15所示的 二維增益柵格258來指定鏡頭黑點(diǎn)校正增益。該柵格258可以覆蓋原始圖像數(shù)據(jù)幀260，并 可以包括以固定的水平和垂直間隔分布以覆蓋幀260的增益柵格點(diǎn)262的布置?？梢酝ㄟ^ 對與相鄰柵格點(diǎn)262相關(guān)聯(lián)的增益進(jìn)行插值來確定位于柵格點(diǎn)262之間的像素的鏡頭黑點(diǎn) 增益。盡管這里所例示的實(shí)施例示出了具有Ilxll個柵格點(diǎn)(總共121個柵格點(diǎn))的增益 柵格258，但是應(yīng)該理解，可以提供任何適合數(shù)量的柵格點(diǎn)。在其他實(shí)施例中，增益柵格258 可以包括15x15個柵格點(diǎn)(總共225個柵格點(diǎn))、17x17個柵格點(diǎn)(總共289個柵格點(diǎn))，或 者20x20個柵格點(diǎn)(總共400個柵格點(diǎn))。應(yīng)理解的是，每個柵格點(diǎn)262之間的像素的數(shù)量可以取決于增益柵格258中柵格 點(diǎn)262的數(shù)量以及圖像傳感器116的分辨率。此外，盡管在圖15中示出為在水平和垂直方 向上均勻地間隔開，但應(yīng)理解，在一些實(shí)施例中，柵格點(diǎn)262可以非均勻地(例如，對數(shù)地) 分布，使得柵格點(diǎn)262更少地集中在圖像幀260的中心，而更多地朝向圖像幀260的角部或邊緣(通常是鏡頭黑點(diǎn)失真更明顯的地方)集中。圖16描繪了三維分布圖266的一個例子，其例示了可被應(yīng)用到由增益柵格258覆 蓋的原始圖像幀260中的每個像素位置的增益。如圖所示，由于如以上圖14中所示的角部 的光強(qiáng)度有更大的衰減，所以應(yīng)用到圖像260的角部268處的增益一般可以大于應(yīng)用到該 圖像的中心270的增益。通過將適當(dāng)?shù)溺R頭黑點(diǎn)增益應(yīng)用到展現(xiàn)了鏡頭黑點(diǎn)偽像的圖像， 可以減少或是基本上消除圖像中光強(qiáng)度衰減的出現(xiàn)。例如，圖像的近似中心處的光強(qiáng)度可 以基本上等于圖像的角部或邊緣處的光強(qiáng)度值。此外，在一些實(shí)施例中，圖像傳感器116的 鏡頭可以包括紅外(IR)截止濾波器，其可以引起依賴于光源(例如，依賴于光源的類型) 的衰減。因此，如下面進(jìn)一步所述的，也可以根據(jù)檢測到的光源來適配鏡頭黑點(diǎn)增益。關(guān)于在原始圖像數(shù)據(jù)包括多個顏色分量時對鏡頭黑點(diǎn)校正的應(yīng)用，可以為每個顏 色通道分別提供相應(yīng)組增益。在一些例子中，針對特定濾色器陣列中的顏色通道，鏡頭黑點(diǎn) 衰減可以是不同的。例如，在采用Bayer濾色器陣列的圖像傳感器中，原始圖像數(shù)據(jù)可以包 括紅、藍(lán)和綠色分量。在這種實(shí)施例中，可以針對Bayer濾色器陣列的R、B、Gr和Gb顏色通 道中的每一個提供一組鏡頭黑點(diǎn)增益。盡管由于不同波長的光傳播路徑的差值使得每個顏色通道的鏡頭黑點(diǎn)特性會略 微不同，但是在特定的例子中，每個顏色通道的鏡頭黑點(diǎn)衰減曲線可能仍會有大致相同的 形狀。然而，在某些例子中，附加因素可能會使得一個或多個顏色通道的響應(yīng)比其他顏色通 道更偏離COS4的近似值。例如，在進(jìn)入圖像捕獲設(shè)備的光以陡的角度入射到紅外(IR)截 止濾波器和微鏡頭陣列的實(shí)施例中，在特定光源下，紅色通道的響應(yīng)會比藍(lán)色和綠色通道 偏離期望的cos4近似曲線得多。偏離量可以部分地依賴于600至650納米(nm)波長的信息量。因此，對于在這個 波段中幾乎沒有能量的窄帶熒光源來說，與綠色和藍(lán)色通道相比，紅色通道的鏡頭黑點(diǎn)衰 減可能具有非常相似的形狀。對與日光近似的光源(其在600至650nm波帶上具有更多的 能量)來說，紅色通道的鏡頭黑點(diǎn)衰減會表現(xiàn)出顯著的偏離。另外，當(dāng)提供富含紅外線的光 源(例如，白熾光或鹵素光照明)時，紅色通道的鏡頭黑點(diǎn)衰減的偏離可能更加顯著。紅色 通道的這一特點(diǎn)可能會導(dǎo)致在某些照明條件下的不期望的色調(diào)偽像。因此，當(dāng)應(yīng)用僅按期 望的cos4衰減建模的鏡頭黑點(diǎn)校正方案時，在光源包含600至650nm波段中的相當(dāng)大量能 量的情況下仍可能存在鏡頭黑點(diǎn)偽像。參照圖17中，例示了根據(jù)實(shí)施例的圖像信號處理(ISP)系統(tǒng)272的功能框圖，該 圖像信號處理(ISP)系統(tǒng)272被配置用于分析圖像幀以得到用來調(diào)整鏡頭黑點(diǎn)參數(shù)的前 饋控制參數(shù)，以校正由于基于光源中的紅外成分的紅色通道的響應(yīng)導(dǎo)致的上述鏡頭黑點(diǎn)偽 像。為簡便起見，前面已經(jīng)參考圖9描述的功能塊將使用相同的附圖標(biāo)記來編號。所例示的ISP系統(tǒng)272包括硬件管路124和附加管路274。如圖所示，附加管路 274包括軟件分析塊276，該軟件分析塊276包括被配置為分析由緩沖器144捕獲的原始圖 像數(shù)據(jù)幀的邏輯278。在一個實(shí)施例中，可以基于特定的條件以“按需要”的方式來觸發(fā)對 原始圖像數(shù)據(jù)的捕獲。例如，在一個實(shí)施例中，一旦檢測到可以表示光源中的變化的自動白 平衡的變化時，就可以觸發(fā)對原始圖像數(shù)據(jù)幀的捕獲和分析。如下面進(jìn)一步討論的那樣，這里由幀分析邏輯278表示的對捕獲幀的分析可以包 括，識別幀中的大致中性區(qū)域(例如，具有類似的G/B比值的區(qū)域)，以及應(yīng)用與一組參考光源中的每一個相對應(yīng)的一組鏡頭黑點(diǎn)適配函數(shù)中的每一個?？梢酝ㄟ^越若干不同的光源 應(yīng)用均勻的光場以及建模這些光源與一個參考光源之間的比率，來先驗地建模和表征基于 這些參考光源的顏色通道的特性。例如，參照圖18至21，例示了曲線圖，所述曲線圖顯示 了基于各種參考光源針對每一個顏色通道的期望衰減曲線。特別地，曲線圖288分別描繪 了基于旨在模擬日光條件的CIE標(biāo)準(zhǔn)光源D65，藍(lán)色、綠色和紅色通道的衰減曲線290、292 和294。曲線圖296分別描繪了基于冷白色熒光(CWF)參考光源，藍(lán)色、綠色和紅色通道的 衰減曲線298、300和302。此外，曲線圖304分別描繪了基于TL84參考光源(另一種熒光 源)，藍(lán)色、綠色和紅色通道的衰減曲線306、308和310。此外，曲線圖312分別描繪了基于 模擬白熾光的IncA(或A)參考光源，藍(lán)色、綠色和紅色通道的衰減曲線314、316和318。正 如所看到的，在600至650nm波長中具有更大量能量的照明條件(例如，D65和IncA參考 光源)下，對應(yīng)于紅色通道的鏡頭黑點(diǎn)響應(yīng)的形狀(例如，曲線294、318)比藍(lán)色和綠色通 道的偏離更明顯?？梢葬槍γ總€參考光源導(dǎo)出相應(yīng)的適配函數(shù)。可以通過為紅色通道推導(dǎo)空間適配 曲線來確定適配函數(shù)，其是基于與鏡頭的光學(xué)中心的距離的四階多項式函數(shù)。在一個實(shí)施 例中，目標(biāo)是建模該適配函數(shù)，以使得紅色通道的衰減曲線的形狀與藍(lán)色或綠色通道的衰 減曲線的形狀更緊密地匹配。因為藍(lán)色和綠色通道的響應(yīng)通常表現(xiàn)為相似的形狀，所以可 以通過匹配綠色通道、藍(lán)色通道或是藍(lán)色和綠色通道的組合(例如，平均值)來推導(dǎo)適配函 數(shù)。參照圖22，例示了曲線圖320，該圖示出了與圖18至21中所示的每個參考光源相 對應(yīng)的適配函數(shù)。例如，曲線322、324、326和328分別與參考光源IncA, D65、CffF和TL84 相對應(yīng)。如進(jìn)一步所示的，每條曲線可以與一個值相關(guān)聯(lián)，如圖例329所示。如下面更進(jìn)一 步討論的那樣，可以用于確定每個適配曲線之間的相對差值的這些值還可用于提供兩個鏡 頭黑點(diǎn)分布之間的漸變轉(zhuǎn)換。在一個實(shí)施例中，這些值可以至少近似地與相應(yīng)參考光源的 相關(guān)色溫(CCT)相對應(yīng)。再參照圖17，幀分析邏輯278可以分析捕獲幀，并且可以選擇適合的適配函數(shù)用 于校正紅色鏡頭黑點(diǎn)分布。如圖所示，可以為固件280提供與所選擇的適配函數(shù)相對應(yīng)的 適配值284。固件280然后可以生成一組校正的鏡頭黑點(diǎn)參數(shù)284，其可以作為前饋參數(shù)提 供給LSC邏輯128。也就是說，該適配值284用于修改紅色鏡頭黑點(diǎn)參數(shù)(例如，增益)，以 解決可能由于在富IR的光源下紅色通道的特性造成的偽像。在特定的實(shí)施例中，與每個適 配函數(shù)相對應(yīng)的鏡頭黑點(diǎn)參數(shù)284和適配值282可以存儲在可被軟件276和固件278訪問 的查找表和/或存儲器中。如上所述，ISP硬件管路124包括統(tǒng)計引擎134，并可以包括任意其他期望處理塊。 例如，在一個實(shí)施例中，ISP硬件管路124還可以包括自動曝光邏輯、自動對焦邏輯，等等。 通過使用這些技術(shù)處理原始圖像數(shù)據(jù)，所得的圖像可以展現(xiàn)更少或沒有鏡頭黑點(diǎn)或色調(diào)偽 像，并且可以對觀看電子設(shè)備10的顯示器18上的圖像的用戶來說更具美感。此外，盡管在 本實(shí)施例中在圖17中將附加管路274例示為軟件和固件，但是應(yīng)該理解，該技術(shù)可以采用 軟件、硬件、或軟件和硬件部件的結(jié)合來實(shí)現(xiàn)。上述關(guān)于鏡頭黑點(diǎn)校正的技術(shù)可以進(jìn)一步通過圖23中所示的描述了方法330的 流程圖來例示。如上所述，自動白平衡(AWB)的變化可以指示光源中的變化，并可用來觸發(fā)對原始幀的捕獲用于分析以確定是否應(yīng)該調(diào)整鏡頭黑點(diǎn)參數(shù)。因此，方法330在塊332處 開始并等待AWB穩(wěn)定。接下來，判定邏輯334確定AWB是否已經(jīng)穩(wěn)定。在一個實(shí)施例中，判 定邏輯334可以基于針對物定數(shù)量的幀(例如，2至10個幀之間)AWB值是否保持穩(wěn)定來 進(jìn)行確定。如果AWB還未穩(wěn)定(例如，光源正在改變或者圖像捕獲設(shè)備正在移動)，擇方法 330返回到塊332。如果判定邏輯334確定AWB是穩(wěn)定的，則方法330繼續(xù)到塊336，在塊 336處，捕獲來自圖像傳感器116的原始幀用于分析(例如，存儲在緩沖器144中)。接下來，在塊338處，使用可用的適配函數(shù)(圖22)來分析在塊336處捕獲的原始 參考幀。例如，如上所述，幀分析邏輯278可以應(yīng)用適配函數(shù)到捕獲幀的大體中性區(qū)域，并 可以嘗試選擇與最緊密匹配當(dāng)前光源的參考光源相對應(yīng)的適配函數(shù)。該處理將在下面參照 圖24更詳細(xì)地加以描述。判定邏輯340確定是否找到適配函數(shù)。如果在塊338處通過分 析沒有找到適配函數(shù)，則繼續(xù)應(yīng)用當(dāng)前鏡頭黑點(diǎn)分布(例如，沒有新選擇的適配函數(shù))，且 方法330返回到塊332，并等待AWB穩(wěn)定且觸發(fā)對后續(xù)幀的捕獲以用于分析。在一些實(shí)施 例中，ISP系統(tǒng)272可可被配置為在返回到塊332之前等待特定量的時間(例如，15至60 秒)。如果判定邏輯340指示找到了適配函數(shù)，則將選擇的適配函數(shù)應(yīng)用到鏡頭黑點(diǎn)參數(shù)， 如塊342處所指示的。在圖24中更詳細(xì)地例示了根據(jù)一個實(shí)施例的如圖23的塊338所表示的分析捕獲 的原始幀的處理。如圖所示，分析原始幀的處理338可以在塊346處開始，在塊346處識別 原始幀中的一個或多個中性區(qū)域。例如，在一個實(shí)施例中，可以用8x8像素塊的取樣358來 分析捕獲的原始幀，圖25中示出了一個例子。對于采用Bayer濾色器陣列的圖像傳感器， 該8x8塊可以包括2X2Bayer四方格(例如，表示Bayer模式的2x2像素塊)，參見圖25中 的附圖標(biāo)記360。使用這種布置，每個顏色通道包括樣本358中4x4相應(yīng)像素塊，并且可以 對同色像素取平均來針對樣本358中的每個顏色通道產(chǎn)生一個平均顏色值。例如，在樣本 358中，可以針對紅色像素364取平均以獲得平均紅色值(Rav)，并且可以對藍(lán)色像素366取 平均以獲得平均藍(lán)色值(Bav)。由于Bayer模式中綠色樣本是紅色或綠色樣本的兩倍，因此 針對綠色像素的平均可以使用若干種技術(shù)。在一個實(shí)施例中，可以通過只對Gr像素362、Gb 像素368、或是所有Gr像素362和Gb像素368取平均，來獲取平均綠色值(Gav)。在另一個 實(shí)施例中，可以對每個Bayer四方格360中的Gr和Gb像素取平均，并且可以對每個Bayer 四方格360的綠色值的平均值再取平均以獲得Gav。應(yīng)理解的是，跨像素塊對像素值的平均 可用于減小噪聲。另外，應(yīng)理解的是，使用8x8塊作為樣本只是提供一個示例。實(shí)際上，在 其他實(shí)施例中，可以使用任何適合塊尺寸(例如，4x4、16xl6、32x32，等等)。再次參照圖24，可以通過獲取原始幀樣本的顏色平均值(如參照圖25所討論的) 并且識別原始幀中共用相似G/B比值的區(qū)域，來確定捕獲的原始幀中的大體中性區(qū)域。接 下來，如塊348所示，基于每個可用的適配函數(shù)的鏡頭黑點(diǎn)模型被應(yīng)用于中性區(qū)域中的像 素，并且針對每個適配函數(shù)確定中性區(qū)域中R/G比值的偏差。然后，判定邏輯350確定是否 存在最小的G/B比值偏差。如果找到最小值，就選擇產(chǎn)生R/B比值的最小偏差的適配函數(shù)， 如塊352處所示。如果沒有找到最小值(例如，R/B比值的最低偏差包括兩個或更多個相 同的值)，則判定邏輯350可以在塊354處指示沒有找到適配函數(shù)。塊352和354的輸出可 以繼續(xù)到圖23中的塊340。圖26例示了如圖23中的塊238所表示的用于將適配函數(shù)應(yīng)用于鏡頭黑點(diǎn)參數(shù)的處理。特別地，圖26例示了其中使用無限脈沖響應(yīng)(IIR)濾波器來應(yīng)用適配函數(shù)的實(shí)施例。 為了提供鏡頭黑點(diǎn)分布之間的平滑轉(zhuǎn)換，當(dāng)前鏡頭黑點(diǎn)分布可以通過若干差值步驟在若干 幀上逐漸地轉(zhuǎn)換到基于所選擇的適配函數(shù)的鏡頭黑點(diǎn)配置分布。應(yīng)理解的是，與立即切換 鏡頭黑點(diǎn)分布相比較(例如，在沒有漸變步驟的單個幀中)，這種逐漸變換可以呈現(xiàn)出視覺 上更令人愉悅的結(jié)果。示出了從適配函數(shù)324 (D65)到適配函數(shù)322(IncA)的轉(zhuǎn)換的圖27 用于提供了處理342的示例，并應(yīng)當(dāng)視作與圖26的描述相結(jié)合。如圖所示，處理342在塊380處開始，在塊380處確定上一次或先前選擇的適配函 數(shù)(P。ld)與塊338處選擇的適配函數(shù)(PnJ的適配值之間的總增量(At。tal)。例如，At。tal 可以總體地表示沿著曲線324的每個點(diǎn)與沿著曲線322的每個對應(yīng)點(diǎn)之間的絕對差值。在塊382處，P-值(曲線324)朝向Pnew值轉(zhuǎn)換百分之五十的At。tal，以獲得在 P-和Pnew之間的中間適配曲線Pint。這在圖27中例示為曲線396，該曲線396的值可以是 3000 (在2000和4000之間)。因此，在塊382處確定的Pint函數(shù)被應(yīng)用于鏡頭黑點(diǎn)參數(shù)284， 以產(chǎn)生用于一個或多個幀的一組中間校正鏡頭黑點(diǎn)參數(shù)。接下來，在塊384處，處理342確 定在Pint (曲線396)和Pnew(曲線322)之間的中間增量(Aint)0與塊380處對Atotal的確 定相同，Aint代表了沿著曲線396的每個點(diǎn)與沿著曲線322的每個對應(yīng)點(diǎn)之間的絕對差值。接下來，判定邏輯386確定Aint是否小于或等于Attrtal的1/8。如果Aint不少于 Δ total的1/8，則處理342繼續(xù)到塊388，在塊388處來自塊382的Pint值(曲線396)朝向 Pnew值轉(zhuǎn)換百分之五十的Aint，以獲得更新的Pint曲線，如圖27中的曲線398所示(其值為 2500)。該更新的Pint函數(shù)被應(yīng)用到鏡頭黑點(diǎn)參數(shù)284，以產(chǎn)生用于一個或多個幀的一組更 新的中間校正鏡頭黑點(diǎn)參數(shù)。其后，在更新的Pint(曲線398)和Pnew之間確定更新的Aint。 隨后處理342轉(zhuǎn)向判定邏輯386。這里，因為當(dāng)前的Aint仍然大于Δ t。tal的1/8，因此處理 342將重復(fù)塊388和390處的步驟，以獲取更新的Aint，該更新的Δ int表示在圖27中示出 為曲線400 (其值為2250)的更新的Pint之間的差值。返回到判定邏輯386，由于現(xiàn)在更新的Aint等于Atotal的1/8，所以處理342繼續(xù) 到塊392，并且與圖27中的曲線400相對應(yīng)的Pint值可以轉(zhuǎn)換到曲線322上的對應(yīng)Pnew值。 其后，可以將Pnew適配值應(yīng)用到鏡頭黑點(diǎn)參數(shù)，以產(chǎn)生用于紅色通道的一組校正鏡頭黑點(diǎn)參 數(shù)。因此，圖26所示的處理的實(shí)施例實(shí)質(zhì)上提供了漸進(jìn)轉(zhuǎn)換，該漸進(jìn)轉(zhuǎn)換利用50%的At。tal 的第一步、25%的八拋^的第二步隨后是口；^ (BP, 1/8)的At。tal的第三步。如上所述， 這在若干個幀上提供了兩個不同鏡頭黑點(diǎn)分布之間的漸進(jìn)轉(zhuǎn)換，與在單個幀中將P。ld轉(zhuǎn)換 為Pmw相比，這對觀看者而言更為賞心悅目。然而，應(yīng)注意的是，其他實(shí)施例中可以使用任 何適合的步長，包括多級尺寸。應(yīng)理解的是，圖26中所示的處理僅僅旨在提供一個用于在鏡頭黑點(diǎn)適配函數(shù)之 間轉(zhuǎn)換的技術(shù)示例。在其他實(shí)施例中，塊382和388中所示的具體參數(shù)可以改變，并且可以 針對各種應(yīng)用有所不同。例如，在一個實(shí)施例中，轉(zhuǎn)換步長可以是常數(shù)而不是漸進(jìn)地減少 (例如，Atotal的1/3、1/4、1/5、1/6或1/8)。此外在其他實(shí)施例中，可以使用絕對增量(例 如，在每個中間轉(zhuǎn)換步驟中將鏡頭黑點(diǎn)增益調(diào)整特定增益量)，而不是使用比值。在另一個 實(shí)施例中，可以使用非IIR濾波技術(shù)來應(yīng)用鏡頭黑點(diǎn)適配函數(shù)之間的轉(zhuǎn)換。盡管上述實(shí)施例著重于由紅色通道對具有更高IR成分的光源的響應(yīng)的增加的偏 離而引起的鏡頭黑點(diǎn)偽像，但是應(yīng)注意的是，也可以應(yīng)用類似的技術(shù)來生成用于其它顏色通道的校正的鏡頭黑點(diǎn)參數(shù)。例如，如果綠色或藍(lán)色通道處于某種產(chǎn)生與期望的cos4曲線 的不希望的偏離的條件，則綠色和藍(lán)色通道的響應(yīng)可以根據(jù)一個或多個參考光源(例如， D65、CWF、TL84、IncA)來建模，并且例如可以使用取決于與鏡頭的光學(xué)中心的距離的四階多 項式函數(shù)來導(dǎo)出對應(yīng)的適配函數(shù)。此外，應(yīng)理解的是，上述的四個參考光源僅僅提供一個實(shí)施例的一個示例?？梢岳?解的是，可以建模附加的參考光源，并可以生成相應(yīng)的適配函數(shù)。這些附加參考光源的特性 及其適配值可以被附加管路272訪問(例如，保存在固件或存儲器中)，并且在某些情況下， 可以通過軟件或固件更新提供給設(shè)備10。在某些情況下，可以通過對已知光源類型進(jìn)行插 值來導(dǎo)出附加參考光源。除了針對黑色電平校正和鏡頭黑點(diǎn)校正確定前饋主圖像處理24控制參數(shù)，另選 圖像處理56還可用于更新主圖像處理24所采用的缺陷像素圖。例如，如圖28中的流程圖 410所示，另選圖像處理56可以分析原始圖像數(shù)據(jù)以得到圖像捕獲設(shè)備20的缺陷像素(塊 412)。由于缺陷像素可隨著時間越來越多，所以塊412的活動可以定期執(zhí)行，或是每當(dāng)另選 圖像處理56分析原始圖像數(shù)據(jù)幀時執(zhí)行。例如，在某些實(shí)施例中，另選圖像處理56可以每 天、每周、或每月(依此類推)分析原始圖像數(shù)據(jù)以得到缺陷像素不超過1次。在其他實(shí)施 例中，每當(dāng)另選圖像處理56分析原始圖像數(shù)據(jù)幀以確定其他主圖像處理24控制參數(shù)(例 如，黑色電平校正或鏡頭黑點(diǎn)校正)時，另選圖像處理56可以分析原始圖像數(shù)據(jù)幀以得到 缺陷像素。如果另選圖像處理56檢測到先前沒有檢測到的新缺陷像素(判定塊414)，則另選 圖像處理56可以更新與主圖像處理相關(guān)聯(lián)的缺陷像素圖(步驟416)。例如，另選圖像處理 56可以直接更新主圖像處理24使用的缺陷像素圖，或者另選圖像處理56可以使得與主圖 像處理24相關(guān)聯(lián)的固件68更新缺陷像素圖。另一方面，當(dāng)沒有檢測到新缺陷像素時(判 定塊414)，將不執(zhí)行塊416。其后，可以根據(jù)現(xiàn)在更新為包括圖像捕獲設(shè)備20的所有缺陷 像素的缺陷像素圖來執(zhí)行主圖像處理24 (塊418)。來自圖像捕獲電路20的被并行地傳送到存儲器14的原始圖像數(shù)據(jù)可供另選圖像 處理56以其他方式使用。例如，每當(dāng)主圖像處理24得到的結(jié)果不令人滿意時，原始圖像數(shù) 據(jù)可以啟用圖像再處理。也就是說，在主圖像處理24最初產(chǎn)生的最終圖像不令人滿意時， 另選圖像處理56可以使用原始圖像數(shù)據(jù)，以產(chǎn)生更好的最終圖像。如圖29中的流程圖430所示，當(dāng)主圖像處理24在同一原始圖像數(shù)據(jù)幀的副本上 進(jìn)行圖像處理時，在將該原始圖像數(shù)據(jù)幀存儲在存儲器14中的情況下可以獲得這種圖像 再處理性能(塊432)。在一些實(shí)施例中，原始圖像數(shù)據(jù)可以存儲在非易失性存儲設(shè)備16 中，并且可以與經(jīng)主圖像處理24處理的最終圖像相關(guān)聯(lián)。一旦已經(jīng)處理了圖像以確定處理 圖像，用戶的反饋或來自主圖像處理24的統(tǒng)計引擎60的統(tǒng)計結(jié)果可以指示主圖像處理24 沒有產(chǎn)生一個令人滿意的圖像(塊434)。例如，如果圖像表現(xiàn)為過暗或是過亮，或者如果 自動白平衡(AWB)表現(xiàn)為基于錯誤的色溫執(zhí)行了白平衡，則用戶可以指示應(yīng)該重新處理該 圖像。例如，在主圖像處理24已經(jīng)產(chǎn)生了最終圖像之后，可以在顯示器18上顯示該最終圖 像。對此結(jié)果不滿意的用戶可以提供反饋給電子設(shè)備10以表示其不滿(例如，通過晃動該 電子設(shè)備10)。作為響應(yīng)，可以使用另選圖像處理56或主圖像處理24，再次處理存儲在存儲器14
22或非易失性存儲設(shè)備16中的原始圖像數(shù)據(jù)，以期得到更滿意的結(jié)果(塊436)。例如，在某 些實(shí)施例中，如之前更詳細(xì)地描述的，另選圖像處理56可以分析原始圖像數(shù)據(jù)，以獲得新 的主圖像處理24控制參數(shù)。此后，原始圖像數(shù)據(jù)可以再次被裝載到主圖像處理24中，主圖 像處理24可以根據(jù)新的主圖像處理24控制參數(shù)對該原始圖像數(shù)據(jù)進(jìn)行再處理。在其他實(shí) 施例中，另選圖像處理56可以替代主圖像處理24來處理該原始圖像數(shù)據(jù)。在一些實(shí)施例 中，另選圖像處理56可以采用來自主圖像處理24的統(tǒng)計引擎60的特定主圖像處理統(tǒng)計結(jié) 果，來改變另選圖像處理56執(zhí)行的方式。也就是說，另選圖像處理56可以估計為何主圖像 處理24沒有產(chǎn)生令人滿意的最終圖像，并相應(yīng)地調(diào)整其圖像處理技術(shù)。如果用戶對再處理 的最終圖像仍然不滿意，則主圖像處理24和/或另選圖像處理56可以按照圖29中的流程 圖430的方式，再次對該原始圖像進(jìn)行再處理。 已經(jīng)通過舉例的方式示出了上述特定實(shí)施例，應(yīng)理解的是，這些實(shí)施例可以容易 地進(jìn)行各種修改和替換方式。還應(yīng)當(dāng)理解的是，權(quán)利要求并不限于這些特定公開形式，而是 覆蓋了落入本公開的精神和范圍之內(nèi)的所有修改、等同物和替換方式。
權(quán)利要求
1.一種用于自適應(yīng)鏡頭黑點(diǎn)校正的方法，該方法包括提供一組鏡頭黑點(diǎn)適配函數(shù)，其中每個鏡頭黑點(diǎn)適配函數(shù)與相應(yīng)的參考光源相對應(yīng)； 向硬件圖像信號處理管路提供由圖像傳感器在當(dāng)前光源條件下捕獲的多個圖像幀； 通過分析來自多個圖像幀的一個參考幀以選擇與和當(dāng)前光源條件的特性最匹配的參 考光源相對應(yīng)的鏡頭黑點(diǎn)適配函數(shù)，來采用另選圖像處理管路執(zhí)行另選圖像處理； 根據(jù)所選擇的鏡頭黑點(diǎn)適配函數(shù)，調(diào)整一組鏡頭黑點(diǎn)參數(shù)； 將所調(diào)整的鏡頭黑點(diǎn)參數(shù)作為前饋參數(shù)提供給硬件圖像信號處理管路；以及 根據(jù)所調(diào)整的鏡頭黑點(diǎn)參數(shù)，采用硬件圖像信號處理管路來處理多個圖像幀。
2.根據(jù)權(quán)利要求1所述的方法，其中，由圖像傳感器捕獲的多個圖像幀包括紅色、綠色 禾口藍(lán)色通道。
3.根據(jù)權(quán)利要求2所述的方法，其中，分析參考幀以選擇鏡頭黑點(diǎn)適配函數(shù)包括 識別參考幀中的大體中性區(qū)域；將每個鏡頭黑點(diǎn)適配函數(shù)應(yīng)用于參考幀，并針對每個鏡頭黑點(diǎn)適配函數(shù)確定中性區(qū)域 中的紅色與藍(lán)色比值的偏差；和若存在最小偏差，則選擇與該最小偏差相對應(yīng)的鏡頭黑點(diǎn)適配函數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，如果不存在最小偏差，則不選擇鏡頭黑點(diǎn)適配函 數(shù)，不調(diào)整鏡頭黑點(diǎn)參數(shù)，并且硬件圖像信號處理管路采用未調(diào)整的鏡頭黑點(diǎn)參數(shù)來處理 多個圖像幀。
5.根據(jù)權(quán)利要求3所述的方法，其中，識別參考幀中的大體中性區(qū)域包括 分析參考幀的子集；針對每個子集，為每個藍(lán)色和綠色通道確定平均顏色值，并根據(jù)平均藍(lán)色值和平均綠 色值來計算藍(lán)色與綠色的比值；以及將參考幀中具有類似的藍(lán)色和綠色比值的子集識別為大體中性區(qū)域。
6.根據(jù)權(quán)利要求5所述的方法，其中，每個子集包括8x8像素塊。
7.根據(jù)權(quán)利要求6所述的方法，其中，8x8像素塊包括Bayer圖像數(shù)據(jù)，該Bayer圖像 數(shù)據(jù)具有第一綠色通道和第二綠色通道，并且其中，平均綠色值是根據(jù)該第一綠色通道、該 第二綠色通道或它們的組合來確定的。
8.一種用于自適應(yīng)鏡頭黑點(diǎn)校正的系統(tǒng)，該系統(tǒng)包括第一圖像處理管路，配置為接收由圖像傳感器產(chǎn)生的圖像數(shù)據(jù)幀，并采用一組鏡頭黑 點(diǎn)參數(shù)來處理圖像數(shù)據(jù)幀以補(bǔ)償幀中的鏡頭黑點(diǎn)衰減；前饋環(huán)，該前饋環(huán)包括第二圖像處理管路，該第二圖像處理管路配置為與第一圖像處 理管路并行地接收由圖像傳感器產(chǎn)生的圖像數(shù)據(jù)中的至少一幀，并從一組可用的鏡頭黑點(diǎn) 適配函數(shù)中選擇一個鏡頭黑點(diǎn)適配函數(shù)，來針對圖像數(shù)據(jù)的至少一個顏色通道補(bǔ)償由于特 定波長的光導(dǎo)致的鏡頭黑點(diǎn)響應(yīng)的靈敏度；其中，前饋環(huán)配置為根據(jù)所選擇的鏡頭黑點(diǎn)適配函數(shù)，調(diào)整由第一圖像處理管路使用 的所述一組鏡頭黑點(diǎn)參數(shù)。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，至少一個顏色通道包括紅色通道。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，特定波長包括波長在大約600到650納米之間 的光。
11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，根據(jù)至少一個顏色通道對一組參考光源中相應(yīng) 一個的鏡頭黑點(diǎn)響應(yīng)，建模所述一組可用的鏡頭黑點(diǎn)適配函數(shù)中的每一個。
12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，第二圖像處理管路包括由可被處理器執(zhí)行的圖 像分析軟件編碼的存儲器，并且其中，第二圖像處理管路被配置為通過由處理器執(zhí)行圖像 分析軟件來分析所述至少一幀。
13.一種電子設(shè)備，包括 處理器；存儲器，包含可由處理器執(zhí)行的圖像分析軟件； 圖像捕獲設(shè)備，包括配置為捕獲原始圖像數(shù)據(jù)的圖像傳感器； 第一圖像處理管路，配置為接收原始圖像數(shù)據(jù)，并使用一組鏡頭黑點(diǎn)參數(shù)來對原始圖 像數(shù)據(jù)應(yīng)用鏡頭黑點(diǎn)校正；以及前饋環(huán)，該前饋環(huán)包括第二圖像處理管路，第二圖像處理管路配置為接收原始圖像數(shù) 據(jù)中的至少一幀，使用圖像分析軟件來分析所述至少一幀從而為所述至少一幀選擇鏡頭黑 點(diǎn)適配函數(shù)，并根據(jù)所選擇的鏡頭黑點(diǎn)適配函數(shù)，在多個圖像幀上采用一個或多個中間變 換步驟來調(diào)整鏡頭黑點(diǎn)參數(shù)，從而獲得一組最終調(diào)整的鏡頭黑點(diǎn)參數(shù)；其中，第一圖像處理管路配置為接收作為來自前饋環(huán)的前饋輸出的中間調(diào)整的鏡頭黑 點(diǎn)參數(shù)和最終調(diào)整的鏡頭黑點(diǎn)參數(shù)，并將中間的經(jīng)調(diào)整的鏡頭黑點(diǎn)參數(shù)應(yīng)用于該原始圖像 數(shù)據(jù)。
14.根據(jù)權(quán)利要求13所述的電子設(shè)備，包括無限脈沖響應(yīng)(IIR)濾波器，其被配置為確 定一個或多個中間變換步驟。
15.根據(jù)權(quán)利要求14所述的電子設(shè)備，其中，通過圖像分析軟件使用一個或多個變換 步驟調(diào)整鏡頭黑點(diǎn)參數(shù)包括確定當(dāng)前選擇的鏡頭黑點(diǎn)適配函數(shù)與針對由第二圖像處理管路分析的先前幀所選擇 的鏡頭黑點(diǎn)適配函數(shù)之間的總差值；在第一轉(zhuǎn)換步驟中，在第一組一個或多個幀期間，將與先前選擇的鏡頭黑點(diǎn)適配函數(shù) 相對應(yīng)的鏡頭黑點(diǎn)適配值朝向與當(dāng)前選擇的鏡頭黑點(diǎn)適配函數(shù)相對應(yīng)的鏡頭黑點(diǎn)值調(diào)整 總差值的50%，以產(chǎn)生第一組中間鏡頭黑點(diǎn)適配值；在第二轉(zhuǎn)換步驟中，在第一組一個或多個幀隨后的第二組一個或多個幀期間，將第一 組中間鏡頭黑點(diǎn)適配值朝向與當(dāng)前選擇的鏡頭黑點(diǎn)適配函數(shù)相對應(yīng)的鏡頭黑點(diǎn)值調(diào)整總 差值的25%，以產(chǎn)生第二組中間鏡頭黑點(diǎn)適配值；在第三轉(zhuǎn)換步驟中，在第二組一個或多個幀隨后的第三組一個或多個幀期間，將第二 組中間鏡頭黑點(diǎn)適配值朝向與當(dāng)前選擇的鏡頭黑點(diǎn)適配函數(shù)相對應(yīng)的鏡頭黑點(diǎn)值調(diào)整總 差值的12. 5%，以產(chǎn)生第三組中間鏡頭黑點(diǎn)適配值；以及在第四轉(zhuǎn)換步驟中，將與當(dāng)前選擇的鏡頭黑點(diǎn)適配函數(shù)相對應(yīng)的鏡頭黑點(diǎn)適配值設(shè)置 為調(diào)整的鏡頭黑點(diǎn)參數(shù)。
16.根據(jù)權(quán)利要求15所述的電子設(shè)備，其中，該圖像處理管路配置為在第一組一個或 多個幀期間根據(jù)第一組中間鏡頭黑點(diǎn)適配值對原始圖像數(shù)據(jù)應(yīng)用鏡頭黑點(diǎn)校正，在第二組 一個或多個幀期間根據(jù)第二組中間鏡頭黑點(diǎn)適配值對原始圖像數(shù)據(jù)應(yīng)用鏡頭黑點(diǎn)校正，并 且在第三組一個或多個幀期間根據(jù)第三組中間鏡頭黑點(diǎn)適配值對原始圖像數(shù)據(jù)應(yīng)用鏡頭黑點(diǎn)校正。
17.根據(jù)權(quán)利要求13所述的電子設(shè)備，其中，采用直接存儲器訪問接口經(jīng)由存儲器接 收所述至少一幀。
18.根據(jù)權(quán)利要求13所述的電子設(shè)備，其中，鏡頭黑點(diǎn)適配函數(shù)選自多個可用的鏡頭 黑點(diǎn)適配函數(shù)，其中每一個被建模為與紅色通道對不同類型光源的鏡頭黑點(diǎn)響應(yīng)相對應(yīng)的 基于距圖像捕獲設(shè)備的鏡頭的光學(xué)中心的距離的四階多項式。
19.根據(jù)權(quán)利要求13所述的電子設(shè)備，其中，圖像傳感器包括Bayer圖像傳感器。
20.根據(jù)權(quán)利要求13所述的電子設(shè)備，包括臺式計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、 移動蜂窩式電話、便攜式數(shù)字媒體播放器、或它們的某種組合。
全文摘要
提供了對由圖像傳感器捕獲的圖像數(shù)據(jù)應(yīng)用鏡頭黑點(diǎn)校正的系統(tǒng)、方法和設(shè)備。在一個實(shí)施例中，提供了多個鏡頭黑點(diǎn)適配函數(shù)，其中每一個都基于顏色通道對參考光源的響應(yīng)而建模?？梢苑治鰣D像數(shù)據(jù)中的圖像幀，以選擇與和當(dāng)前光源最緊密匹配的參考光源相對應(yīng)的鏡頭黑點(diǎn)適配函數(shù)。然后可以采用所選擇的鏡頭黑點(diǎn)函數(shù)來調(diào)整一組鏡頭黑點(diǎn)參數(shù)。
文檔編號G06F1/16GK102131040SQ20101061075
公開日2011年7月20日 申請日期2010年9月25日 優(yōu)先權(quán)日2010年6月4日
發(fā)明者D·D·闊, J·D·齊普尼克, S·齊瓦拉, 過海濤, 陳挺 申請人:蘋果公司