專利名稱：：用于圖像信號處理的時域濾波技術(shù)的制作方法
技術(shù)領(lǐng)域：
：本公開一般涉及數(shù)字成像設(shè)備，具體而言，涉及用于處理使用數(shù)字成像設(shè)備的圖像傳感器而獲得的圖像數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
：該部分用于向閱讀者介紹涉及以下所描述和/或請求保護(hù)的本技術(shù)的多個方面的領(lǐng)域的多個方面。相信該討論有助于向閱讀者提供背景信息以使其更好地理解本公開的多個方面。因此，需要理解的是就此而論這些陳述是用來閱讀的，而非承認(rèn)是它們是現(xiàn)有技術(shù)。在近些年，數(shù)字成像設(shè)備已經(jīng)變得更加普及，這至少得益于這些設(shè)備對于一般消費(fèi)者來說變得越來越消費(fèi)得起。此外，除了一些剛上市的獨立數(shù)碼相機(jī)之外，數(shù)字成像設(shè)備整合為另一個電子設(shè)備(例如膝上或筆記本電腦、蜂窩電話或便攜媒體播放器)的一部分也很常見。為了獲取圖像數(shù)據(jù)，大多數(shù)數(shù)字成像設(shè)備包括圖像傳感器，其提供多個被配置為將圖像傳感器檢測到的光轉(zhuǎn)換為電信號的光檢測元件(例如光電檢測器)。圖像傳感器還可包括濾色器陣列，其對由圖像傳感器捕捉的光進(jìn)行濾波以獲得顏色信息。接著通過圖像處理流水線來處理由圖像傳感器捕捉的圖像數(shù)據(jù)，該圖像處理流水線可以對圖像數(shù)據(jù)應(yīng)用多種圖像處理操作以生成可被顯示在顯示設(shè)備(例如監(jiān)視器)上以供觀看的全彩圖像。傳統(tǒng)圖像處理技術(shù)一般致力于產(chǎn)生在主觀上和客觀上都使觀看者愉悅的可觀看圖像，這樣的傳統(tǒng)技術(shù)可能無法充分地解決圖像數(shù)據(jù)中由成像設(shè)備和/或圖像傳感器引入的錯誤和/或失真。例如，可能因制造缺陷或操作錯誤而導(dǎo)致的圖像傳感器中的缺陷像素可能無法準(zhǔn)確地感測光線水平，并且如果不加校正，可能會在得到的經(jīng)處理圖像中產(chǎn)生偽影(artifact)。此外，可能因鏡頭制造的不完美而導(dǎo)致的在圖像傳感器的邊緣處的光強(qiáng)度下降，可能對特性測量有不利影響，并且可能導(dǎo)致一張圖像內(nèi)的整體光強(qiáng)度不均勻。圖像處理流水線還可執(zhí)行一個或多個處理以銳化圖像。然而傳統(tǒng)銳化技術(shù)可能未充分地計及圖像信號中存在的噪聲，或者可能無法將噪聲與圖像中的邊緣和紋理區(qū)域區(qū)分開。在這些情況下，傳統(tǒng)銳化技術(shù)可能實際上增加了圖像中噪聲的顯現(xiàn)，而這通常是不期望發(fā)生的。可被應(yīng)用于由圖像傳感器獲得的圖像數(shù)據(jù)的另一個圖像處理操作是去馬賽克(demosaicing)操作。因為濾色器陣列一般為每個傳感器像素提供一個波長的顏色數(shù)據(jù)，所以一般針對每個顏色通道進(jìn)行內(nèi)插得到顏色數(shù)據(jù)的完整集合，以再現(xiàn)全彩圖像(例如RGB圖像)。通常，傳統(tǒng)去馬賽克技術(shù)一般依據(jù)某種類型的固定閾值，在水平或垂直方向上內(nèi)插缺失的顏色數(shù)據(jù)的值。然而，這些傳統(tǒng)去馬賽克技術(shù)可能未充分計及圖像內(nèi)各邊緣的位置和方向，這可能導(dǎo)致引入到全彩圖像中的特別是沿著圖像內(nèi)的對角邊緣的邊緣偽影，例如混疊(aliasing)、棋盤格偽影或彩虹偽影。因此，當(dāng)處理由數(shù)碼相機(jī)或其他成像設(shè)備獲得的數(shù)字圖像時，應(yīng)當(dāng)注意多種考慮以提高結(jié)果圖像的外觀。具體而言，以下公開的特定方面可以解決以上簡要提及的一個或多個缺點。
發(fā)明內(nèi)容以下將闡述此處公開的特定實施例的概述?？梢岳斫獾氖沁@里僅僅呈現(xiàn)這些方面以向閱讀者提供這些特定實施例的簡要概述，并且這些方面并不限制本公開的范圍。實際上，本公開可以涵蓋以下沒有闡述的多個方面。本公開提供了用于處理利用數(shù)字圖像傳感器獲取的圖像數(shù)據(jù)的各種技術(shù)。根據(jù)本公開的一些方面，一種這樣的技術(shù)可涉及原始圖像數(shù)據(jù)的時域濾波，例如，以便減少由于運(yùn)動偽影引起的噪聲。在一個實施例中，時域濾波器可接收利用圖像傳感器獲取的原始圖像數(shù)據(jù)。對于每個像素，時域濾波器可確定當(dāng)前像素的空間位置，并從前一幀中識別至少一個同位置的參考像素(例如，位于相同的空間位置)?？芍辽俨糠只诋?dāng)前像素及其同位置的參考像素來確定運(yùn)動增量值。接著，可基于該運(yùn)動增量值和與當(dāng)前像素的空間位置相對應(yīng)但是來自前一幀的運(yùn)動歷史值，來確定第一索引值。使用該第一索引，可以從運(yùn)動表中選擇第一濾波系數(shù)。在選擇第一濾波系數(shù)之后，可基于當(dāng)前像素的值(例如，作為索引)從亮度表(lumatable)中選擇衰減因子，并且隨后可基于所選擇的衰減因子和第一濾波系數(shù)來確定第二濾波系數(shù)。然后可基于第二濾波系數(shù)、當(dāng)前像素和同位置的參考像素，來計算與當(dāng)前像素相對應(yīng)的時域濾波輸出值。在一個實施例中，當(dāng)原始圖像數(shù)據(jù)包括多個顏色分量時，可利用取決于顏色的增益來減小各顏色通道之間的信噪比差異。例如，在確定運(yùn)動表的索引和亮度表的索引之前，根據(jù)當(dāng)前像素的顏色，可以將適當(dāng)?shù)脑鲆鎽?yīng)用到當(dāng)前像素。在另一個實施例中，可以為原始圖像數(shù)據(jù)的每個相應(yīng)的顏色提供單獨的顏色相關(guān)的運(yùn)動和亮度表，并且，基于當(dāng)前像素的顏色，可以從與當(dāng)前顏色相對應(yīng)的運(yùn)動和亮度表中選擇第一濾波系數(shù)和衰減因子。以上所示特征的多種細(xì)化存在于本公開涉及的多個方面。其他特征也可并入到這些方面。這些細(xì)化和附加特征可獨立存在或組合地存在。例如，以下討論的涉及一個或多個示例實施例的多種特征可被單獨或任意組合地并入到本公開的上述方面中。再次，以上呈現(xiàn)的簡要概述僅旨在使閱讀者熟悉本公開的實施例的特定方面和內(nèi)容，而非對要求保護(hù)的主題的限制。本專利或申請文件包括至少一張彩色附圖。將由官方根據(jù)請求和支付必要費(fèi)用來提供具有彩色附圖的該專利或?qū)＠暾埞_的拷貝。閱讀以下詳細(xì)描述以及參考附圖可以更好的理解本公開的多個方面，在附圖中圖I是描述包括被配置為實現(xiàn)本公開中闡述的一個或多個圖像處理技術(shù)的成像設(shè)備和圖像處理電路的電子設(shè)備的一個例子的部件的簡單方框圖；圖2示出了在圖I的成像設(shè)備中實現(xiàn)的拜耳濾色器陣列的2X2像素塊的示意圖；圖3是依照本公開的一些方面的膝上型計算設(shè)備形式的圖I的電子設(shè)備的透視圖4是依照本公開的一些方面的桌上型計算設(shè)備形式的圖I的電子設(shè)備的前視圖；圖5是依照本公開的一些方面的手持便攜型電子設(shè)備形式的圖I的電子設(shè)備的前視圖；圖6是圖5所示的電子設(shè)備的后視圖；圖7是例示了依照本公開的一些方面的可以在圖I的圖像處理電路中實現(xiàn)的前端圖像信號處理(ISP)邏輯和ISP流水處理邏輯的方框圖；圖8是示出了依照本公開的一些方面的圖7的ISP前端邏輯的實施例的更詳細(xì)的方框圖；圖9是依照本公開的一些方面的可在由圖像傳感器捕捉的源圖像幀中定義的各種成像區(qū)域的圖解說明；圖10是依照本公開的一些方面的提供對如圖8的ISP前端邏輯中所示的ISP前端像素處理單元的一個實施例的更詳細(xì)視圖的方框圖；圖11是依照一個實施例的例示了如何將時域濾波應(yīng)用到由圖10所示的ISP前端像素處理單元接收到的圖像像素數(shù)據(jù)的處理框圖；圖12例示了可被用于確定圖11所示的時域濾波處理的一個或多個參數(shù)的一組參考圖像像素和一組對應(yīng)的當(dāng)前圖像像素；圖13是例示了依照一個實施例的用于將時域濾波應(yīng)用到一組圖像數(shù)據(jù)中的當(dāng)前圖像像素的處理的流程圖；圖14是示出了依照一個實施例的用于計算圖13的當(dāng)前圖像像素的時域濾波所使用的運(yùn)動增量值的技術(shù)的流程圖；圖15是例示了依照另一個實施例的用于將時域濾波應(yīng)用到一組圖像數(shù)據(jù)的當(dāng)前圖像像素的另一個處理的流程圖，該處理包括對圖像數(shù)據(jù)的各個顏色分量使用不同增益；圖16是例示了依照另一個實施例，時域濾波技術(shù)如何對由圖10所示的ISP前端像素處理單元接收到的圖像像素數(shù)據(jù)的每個顏色分量使用單獨的運(yùn)動和亮度表的處理框圖；圖17是例不了依照另一個實施例，使用如圖16所不的運(yùn)動和売度表將時域濾波應(yīng)用到一組圖像數(shù)據(jù)中的當(dāng)前圖像像素的處理的流程圖；圖18是示出了依照本公開一些方面的可在圖10的ISP前端像素處理單元中實現(xiàn)的像素合并補(bǔ)償濾波器的一個實施例的更詳細(xì)視圖；圖19示出依照一個實施例的使用圖18的像素合并補(bǔ)償濾波器來縮放圖像數(shù)據(jù)的處理；圖20是示出了依照本公開一些方面的可在圖8所示的ISP前端處理邏輯中實現(xiàn)的統(tǒng)計處理單元的實施例的更詳細(xì)方框圖；圖21示出了依照本公開一些方面的當(dāng)應(yīng)用用于在圖20的統(tǒng)計處理單元進(jìn)行統(tǒng)計處理時檢測和校正缺陷像素的技術(shù)時可能要考慮的各種圖像幀邊界情況；圖22是例示了依照一個實施例的用于在統(tǒng)計處理過程中執(zhí)行缺陷像素檢測和校正的處理的流程圖；圖23示出了描繪成像設(shè)備的傳統(tǒng)鏡頭的光強(qiáng)度相對于像素位置的三維分布；圖24是表現(xiàn)圖像中不均勻光強(qiáng)度的有色圖，這可能是鏡頭明暗(lensshading)不規(guī)則的結(jié)果；圖25是依照本公開一些方面的包括鏡頭明暗糾正區(qū)域和增益柵格(gaingrid)的原始成像幀的圖解例示；圖26例示了依照本公開一些方面的用于被周圍四個柵格增益點包圍的圖像像素的增益值的內(nèi)插；圖27是例示了依照本技術(shù)一個實施例的用于確定在鏡頭明暗校正操作期間可被應(yīng)用到成像像素的內(nèi)插增益值的處理的流程圖；圖28是描繪了依照本公開一些方面的當(dāng)執(zhí)行鏡頭明暗校正時，可被應(yīng)用到表現(xiàn)出圖23所示的光強(qiáng)度特性的圖像的內(nèi)插增益值的三維分布；圖29示出了依照本公開一些方面的來自圖24的有色圖在應(yīng)用了鏡頭明暗校正操作之后表現(xiàn)出改進(jìn)的光強(qiáng)度均勻性的有色圖；圖30圖解例示了依照一個實施例的可以如何計算和使用當(dāng)前像素和圖像的中心之間的徑向距離來確定用于鏡頭明暗校正的徑向增益分量；圖31是例示了依照本技術(shù)一個實施例的使用來自增益柵格的徑向增益和內(nèi)插增益來確定總增益的處理的流程圖，在鏡頭明暗校正操作期間可將該總增益應(yīng)用到成像像素；圖32是示出了依照本公開一些方面的圖7的ISP流水處理邏輯的一個實施例的方框圖；圖33是示出了依照本公開一些方面的可在圖32的ISP流水處理邏輯中實現(xiàn)的原始像素處理塊的一個實施例的更詳細(xì)視圖；圖34示出了依照本公開一些方面的當(dāng)在圖33所示的原始像素處理塊執(zhí)行處理期間應(yīng)用用于檢測和校正缺陷像素的技術(shù)時要考慮的各種圖像幀邊界情況；圖35-37是依照一個實施例的描繪可由圖33的原始像素處理塊執(zhí)行的用于檢測和校正缺陷像素的多種處理的流程圖；圖38示出了依照本公開一些方面的在圖33的原始像素處理邏輯執(zhí)行處理期間應(yīng)用綠色非均勻性校正技術(shù)時可進(jìn)行內(nèi)插的拜耳圖像傳感器的2X2像素塊內(nèi)的兩個綠色像素的位置；圖39例示了依照本公開一些方面的包括中心像素和關(guān)聯(lián)的水平鄰近像素在內(nèi)的可被用作用于降噪的水平濾波處理的一部分的像素集合；圖40例示了依照本公開一些方面的包括中心像素和關(guān)聯(lián)的垂直鄰近像素在內(nèi)的可被用作用于降噪的垂直濾波處理的一部分的像素集合；圖41是描繪了如何將去馬賽克應(yīng)用到原始拜耳圖像模式(pattern)以產(chǎn)生全彩RGB圖像的簡化流程圖；圖42表示依照一個實施例的拜耳圖像模式的像素集合，在該拜耳圖像模式的去馬賽克期間，可以從其中導(dǎo)出用于內(nèi)插綠色值的水平和垂直能量分量；圖43示出了依照本技術(shù)一些方面的水平像素集合，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的綠色值的水平分量；圖44示出了依照本技術(shù)一些方面的垂直像素集合，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的綠色值的垂直分量；圖45示出了依照本技術(shù)一些方面的多種3x3像素塊，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的紅色和藍(lán)色值；圖46-49提供依照一個實施例的描繪在拜耳圖像模式的去馬賽克期間用于內(nèi)插綠色、紅色和藍(lán)色值的各種處理的流程圖；圖50示出了可由圖像傳感器捕捉的并依照此處公開的去馬賽克技術(shù)的一些方面而處理的初始圖像場景的有色圖；圖51示出了如圖50所示的圖像場景的拜耳圖像模式的有色圖；圖52示出了使用傳統(tǒng)去馬賽克技術(shù)基于圖51的拜耳圖像模式而重構(gòu)的RGB圖像的有色圖；圖53示出了依照此處公開的去馬賽克技術(shù)的一些方面從圖51的拜耳圖像模式重構(gòu)的RGB圖像的有色圖；圖54是示出了依照本公開一些方面的可在圖32的ISP流水處理邏輯中實現(xiàn)的RGB處理塊的一個實施例的更詳細(xì)視圖；圖55是示出了依照本公開一些方面的可在圖32的ISP流水處理邏輯中實現(xiàn)的YCbCr處理塊的一個實施例的更詳細(xì)視圖；圖56是依照本公開一些方面的在使用I平面格式的源緩沖器內(nèi)定義的用于亮度(Iuma)和色度(chroma)的活動源區(qū)域的圖解描繪；圖57是依照本公開一些方面的在使用2平面格式的源緩沖器內(nèi)定義的用于亮度和色度的活動源區(qū)域的圖解描繪；圖58是例示了依照一個實施例的可在如圖55所示的YCbCr處理塊中實現(xiàn)的圖像銳化邏輯的方框圖；圖59是例示了依照一個實施例的可在如圖55所示的YCbCr處理塊中實現(xiàn)的邊緣增強(qiáng)邏輯的方框圖；圖60是示出了依照本公開一些方面的色度衰減因子與銳化的亮度值之間的關(guān)系的圖；圖61是例示了依照一個實施例的可在如圖55所示的YCbCr處理塊中實現(xiàn)的圖像明亮度(brightness)、對比度(contrast)和顏色(BCC)調(diào)整邏輯的方框圖；以及圖62示出了在如圖61所示的BCC調(diào)整邏輯執(zhí)行顏色調(diào)整期間可以在定義各種色相(hue)角和飽和度(saturation)值的YCbCr顏色空間中應(yīng)用的色相和飽和度顏色輪(colorwheel)。具體實施例方式以下將描述本公開的一個或多個特定實施例。這些描述的實施例都僅是當(dāng)前公開的技術(shù)的示例。此外，為了提供這些實施例的簡明描述，可能不會在說明書中描述實際實現(xiàn)的全部特征。應(yīng)當(dāng)明了的是在任意這些實際實現(xiàn)的開發(fā)中，如同在任何工程或設(shè)計項目中一樣，都必須做出眾多特定于實現(xiàn)的決定以達(dá)到開發(fā)者的特定目的，例如順從因?qū)崿F(xiàn)的不同而變化的涉及系統(tǒng)的和涉及商業(yè)的限制。此外，應(yīng)當(dāng)明了的是這樣的開發(fā)努力可能是復(fù)雜且很耗時間的，但仍然是從本公開獲益的本領(lǐng)域技術(shù)人員的日常設(shè)計、生產(chǎn)和制造任務(wù)。當(dāng)介紹本公開的多個實施例的要素時，冠詞“a”、“an”和“the”旨在表示一個或多個要素。術(shù)語“包含”、“包括”和“具有”旨在是開放的，并且表示除了所列的要素之外還可能有額外的要素。此外，應(yīng)當(dāng)理解的是，對于本公開“一個實施例”或“一實施例”的提及并不旨在將其解釋為排除同樣具有所列舉的特征的其他實施例的存在。如以下將要描述的，本公開一般涉及用于處理經(jīng)由一個或多個圖像感測設(shè)備獲取的圖像數(shù)據(jù)的技術(shù)。具體而言，本公開的特定方面可以涉及用于檢測和校正缺陷像素的技術(shù)，用于對原始圖像模式進(jìn)行去馬賽克的技術(shù)，用于使用多尺度虛光蒙版來銳化亮度圖像的技術(shù)，以及用于應(yīng)用鏡頭明暗增益以校正鏡頭明暗不規(guī)則的技術(shù)。此外，應(yīng)當(dāng)理解的是這里公開的技術(shù)可被應(yīng)用到靜態(tài)圖像和運(yùn)動圖像(例如視頻)這兩者，并且可被用于任何合適類型的成像應(yīng)用，例如數(shù)碼相機(jī)、具有集成數(shù)碼相機(jī)的電子設(shè)備、安全或視頻監(jiān)視系統(tǒng)、醫(yī)療成像系統(tǒng)等等。留意以上要點，圖I是例示電子設(shè)備10的一個示例的方框圖，所述電子設(shè)備10可以提供使用以上簡單提及的一個或多個圖像處理技術(shù)對圖像數(shù)據(jù)進(jìn)行的處理。電子設(shè)備10可以是任何類型的電子設(shè)備，例如膝上或桌上型計算機(jī)、移動電話、數(shù)字媒體播放器等等，其被配置為接收和處理圖像數(shù)據(jù)，例如使用一個或多個圖像感測部件獲取的數(shù)據(jù)。僅作為示例，電子設(shè)備10可以是便攜式電子設(shè)備，例如可從加利福尼亞州庫比蒂諾的蘋果公司獲得的iPod或iPhone⑩的模型。此外，電子設(shè)備ο可以是桌上或膝上型計算機(jī)，例如可從蘋果公司獲得的MaeBook、MaeBookPro、MacB00kAir,ilMac、MacMini或MacPro的模型。在另外的實施例中，電子設(shè)備10還可以是來自其他制造商的能夠獲取并處理圖像數(shù)據(jù)的電子設(shè)備的模型。無關(guān)其形式(例如便攜式或非便攜式)，應(yīng)當(dāng)理解的是電子設(shè)備10可以提供使用以上簡要討論的一個或多個圖像處理技術(shù)對圖像數(shù)據(jù)進(jìn)行的處理，這些技術(shù)可包括缺陷像素校正和/或檢測技術(shù)、鏡頭明暗校正技術(shù)、去馬賽克技術(shù)、或圖像銳化技術(shù)，等等。在某些實施例中，電子設(shè)備10可將這樣的圖像處理技術(shù)應(yīng)用到存儲在電子設(shè)備10的存儲器中的圖像數(shù)據(jù)。在其他實施例中，電子設(shè)備10可包括一個或多個被配置為獲得圖像數(shù)據(jù)的成像設(shè)備，例如集成的或外置的數(shù)碼相機(jī)，于是電子設(shè)備10可使用一個或多個以上提及的圖像處理技術(shù)來處理這些圖像數(shù)據(jù)。以下將在圖3-6中進(jìn)一步討論示出電子設(shè)備10的便攜式和非便攜式實施例的實施例。如圖I所示，電子設(shè)備10可包括各種用于實現(xiàn)設(shè)備10的功能的內(nèi)置和/或外置部件。本領(lǐng)域技術(shù)人員可以理解如圖I所示的各種功能塊可包括硬件要素(包括電路)、軟件要素(包括存儲在計算機(jī)可讀介質(zhì)上的計算機(jī)代碼)或硬件和軟件要素這兩者的組合。例如，在當(dāng)前所不的實施例中，電子設(shè)備10可包括輸入/輸出(I/O)端口12、輸入結(jié)構(gòu)14、一個或多個處理器16、存儲器設(shè)備18、非易失性存儲器20、(一個或多個)擴(kuò)展卡22、聯(lián)網(wǎng)設(shè)備24、電源26和顯示器28。此外，電子設(shè)備10可包括一個或多個成像設(shè)備30(例如數(shù)碼相機(jī))以及圖像處理電路32。如下所要進(jìn)一步討論的，圖像處理電路32可被配置為在處理圖像數(shù)據(jù)時執(zhí)行一個或多個以上討論的圖像處理技術(shù)?？梢悦髁说氖?，可以從存儲器18和/或非易失性存儲設(shè)備20檢索或者可以使用成像設(shè)備30獲得供圖像處理電路32處理的圖像數(shù)據(jù)。在繼續(xù)之前，應(yīng)當(dāng)理解的是如圖I所示的設(shè)備10的系統(tǒng)方框圖旨在表示描述可能包括在該設(shè)備10中的各部件的高級控制框圖。也就是說，在如圖I所示的每個獨立元件之間的連接線并不是一定表示在設(shè)備10的各部件之間的數(shù)據(jù)流動或傳輸?shù)穆窂交蚍较?。實際上，如下所討論的，在某些實施例中，描繪的(一個或多個)處理器16可以包括多個處理器，例如主處理器(例如CPU)和專用圖像和/或視頻處理器。在這樣的實施例中，可主要由這些專用處理器來執(zhí)行對圖像數(shù)據(jù)的處理，有效地使得主處理器(CPU)免于裝載這樣的任務(wù)。關(guān)于圖I所示的每個元件，I/O端口12可包括被配置為連接多種外置設(shè)備的端口，這些外置設(shè)備例如是電源、音頻輸出設(shè)備(例如耳機(jī)或頭戴受話器)、或其他電子設(shè)備(例如手持設(shè)備和/或計算機(jī)、打印機(jī)、投影儀、外置顯示器、調(diào)制解調(diào)器、塢站(dockingstation)等等)。在一個實施例中，I/O端口12可被配置為連接到外置成像設(shè)備，例如數(shù)碼相機(jī)，用以獲取可使用圖像處理電路32處理的圖像數(shù)據(jù)。I/O端口12可以支持任何適合類型的接口，例如通用串行總線(USB)端口、串行連接端口、IEEE-1394(FireWire)端口、以太網(wǎng)或調(diào)制解調(diào)器端口、和/或AC/DC電源連接端口。在某些實施例中，特定的I/O端口12可被配置為提供多于一種功能。例如，在一個實施例中，I/O端口12可包括蘋果公司專有的端口，其功能不僅在于方便在電子設(shè)備10和外部源之間進(jìn)行數(shù)據(jù)傳輸，還將設(shè)備10耦合到電源充電接口，例如被設(shè)計為從墻壁插座提供電力的電源適配器，或者耦合到被配置為從諸如桌上或膝上型計算機(jī)的另一個電子設(shè)備吸取電力以用于對電源26(其可包括一個或多個可充電電池)進(jìn)行充電的接口電纜。以此方式，例如，取決于通過I/O端口12被耦合到設(shè)備10的外置元件，I/O端口12可被配置為具有數(shù)據(jù)傳輸端口和AC/DC電源連接端口的雙重功能。輸入結(jié)構(gòu)14可向(一個或多個)處理器16提供用戶輸入或反饋。例如，輸入結(jié)構(gòu)14可被配置為控制電子設(shè)備10的一個或多個功能，例如在電子設(shè)備10中運(yùn)行的應(yīng)用。僅作為示例，輸入結(jié)構(gòu)14可包括按鈕、滑塊、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等，或以上這些的某些組合。在一個實施例中，輸入結(jié)構(gòu)14可以允許用戶導(dǎo)航在設(shè)備10上顯示的圖形用戶界面(⑶I)。此外，輸入結(jié)構(gòu)14可包括與顯示器28—起提供的觸摸敏感機(jī)構(gòu)。在這些實施例中，用戶可通過觸摸敏感機(jī)構(gòu)來選擇所顯示的界面元素或與之交互。輸入結(jié)構(gòu)14可包括多種設(shè)備、電路和路徑，通過這些將用戶的輸入或反饋提供給一個或多個處理器16。這樣的輸入結(jié)構(gòu)14可被配置為控制設(shè)備10的功能、在設(shè)備10上運(yùn)行的應(yīng)用和/或連接到電子設(shè)備10或被電子設(shè)備10使用的任何接口或設(shè)備。例如，輸入結(jié)構(gòu)14可允許用戶導(dǎo)航顯示的用戶界面或應(yīng)用界面。輸入結(jié)構(gòu)14的示例可包括按鈕、滑塊、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等。在特定實施例中，輸入結(jié)構(gòu)14和顯示器28可被一并提供，例如“觸摸屏”的情況，籍此與顯示器28—并提供觸摸敏感機(jī)構(gòu)。在這樣的實施例中，用戶可通過觸摸敏感機(jī)構(gòu)來選擇所顯示的界面元素或與之交互。以此方式，顯示的界面可提供交互功能，允許用戶通過觸摸顯示器28來導(dǎo)航顯示的界面。例如，利用輸入結(jié)構(gòu)14進(jìn)行的用戶交互，例如與用戶交互或與顯示在顯示器28上的應(yīng)用界面交互，可生成指示用戶輸入的電信號。這些輸入信號可以通過合適的路徑(例如輸入集線器或數(shù)據(jù)總線)被路由到一個或多個處理器16以做進(jìn)一步處理。除了處理通過(一個或多個)輸入結(jié)構(gòu)14接收到的各種輸入信號之外，(一個或多個)處理器16還控制設(shè)備10的一般操作。例如，處理器16可提供處理能力以運(yùn)行操作系統(tǒng)、程序、用戶和應(yīng)用界面、以及電子設(shè)備10的任何其他功能。(一個或多個)處理器16可包括一個或多個微處理器，例如一個或多個“通用”微處理器、一個或多個專用微處理器和/或特定于應(yīng)用的微處理器(ASIC)、或這些處理部件的組合。例如，(一個或多個)處理器16可包括一個或多個指令集(例如RISC)處理器，以及圖形處理器(GPU)、視頻處理器、音頻處理器和/或相關(guān)芯片組。將明了的是，(一個或多個)處理器16可耦合到一個或多個用于在設(shè)備10的各個部件之間傳輸數(shù)據(jù)和指令的數(shù)據(jù)總線。在特定實施例中，(一個或多個)處理器16可提供處理能力以在電子設(shè)備10中運(yùn)行成像應(yīng)用，例如可從蘋果公司獲得的PhotoBooth、Aperture⑩、iPhoto或Preview，或由蘋果公司提供的“相機(jī)”和/或“照片”應(yīng)用，這些都是iPhone的模型上可用的。將由(一個或多個)處理器16處理的指令或數(shù)據(jù)可被存儲在計算機(jī)可讀介質(zhì)中，例如存儲器設(shè)備18中。存儲器設(shè)備18可以被提供為易失性存儲器，例如隨機(jī)存取存儲器(RAM)，或非易失性存儲器，例如只讀存儲器(R0M)，或一個或多個RAM和ROM設(shè)備的組合。存儲器18可存儲多種信息并被用于各種用途。例如，存儲器18可存儲用于電子設(shè)備10的固件，例如基本輸入/輸出系統(tǒng)(BIOS)、操作系統(tǒng)、各種程序、應(yīng)用或可在電子設(shè)備10中上運(yùn)行的任何其他例程，包括用戶界面功能、處理器功能等等。此外，在電子設(shè)備10的操作期間，存儲器18可被用來緩沖或高速緩存。例如，在一個實施例中，存儲器18包括一個或多個幀緩沖器，用以緩沖要被輸出到顯示器28的視頻數(shù)據(jù)。除了存儲器設(shè)備18，電子設(shè)備10還可包括非易失性存儲器20以用于持久存儲數(shù)據(jù)和/或指令。非易失性存儲器20可以包括閃存、硬盤驅(qū)動器或任何其他光學(xué)、磁和/或固態(tài)存儲介質(zhì)，或以上這些的組合。因此，盡管為了清楚的目的只在圖I中描繪了單個設(shè)備，但是應(yīng)當(dāng)理解的是(一個或多個)非易失性存儲器20可以包括一個或多個以上列出的與(一個或多個)處理器16—起操作的存儲設(shè)備的組合。非易失性存儲器20可被用來存儲固件、數(shù)據(jù)文件、圖像數(shù)據(jù)、軟件程序和應(yīng)用、無線連接信息、個人信息、用戶偏好和任何其他合適的數(shù)據(jù)。依照本公開一些方面，在輸出到顯示器之前，可通過圖像處理電路32來處理存儲在非易失性存儲器20和/或存儲器設(shè)備18中的圖像數(shù)據(jù)。如圖I所示的實施例還可包括一個或多個卡槽或擴(kuò)展槽?？ú劭杀慌渲脼榻邮諗U(kuò)展卡22，其可被用于增加電子設(shè)備10的功能，例如額外的存儲器、1/0功能或聯(lián)網(wǎng)能力。這樣的擴(kuò)展卡22可通過任何類型的合適連接器被連接到設(shè)備上，并且可以相對于電子設(shè)備10的殼體而被內(nèi)部地或外部地訪問。例如，在一個實施例中，擴(kuò)展卡22可以是閃存卡，例如安全數(shù)字(SD)卡、迷你或微SD、緊湊閃存卡等，或者可以是PCMCIA設(shè)備。此外，對于提供移動電話能力的電子設(shè)備10的實施例，擴(kuò)展卡22可以是訂戶標(biāo)識模塊(SIM)卡。電子設(shè)備10還包括網(wǎng)絡(luò)設(shè)備24，其可以是通過無線802.11標(biāo)準(zhǔn)或任何其他合適的聯(lián)網(wǎng)標(biāo)準(zhǔn)(例如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)，例如GSM演進(jìn)的增強(qiáng)數(shù)據(jù)率(EDGE)網(wǎng)絡(luò)、3G數(shù)據(jù)網(wǎng)絡(luò)或因特網(wǎng))而提供網(wǎng)絡(luò)連接的網(wǎng)絡(luò)控制器或網(wǎng)絡(luò)接口卡(NIC)。在特定實施例中，網(wǎng)絡(luò)設(shè)備24可以提供至在線數(shù)字媒體內(nèi)容提供商(例如可從蘋果公司獲得的ITunesiii:)音樂服務(wù))的連接。設(shè)備10的電源26可包括在非便攜和便攜設(shè)置下向設(shè)備10供電的能力。例如，在便攜設(shè)置下，設(shè)備10可包括一個或多個用于向設(shè)備10供電的電池，例如鋰離子電池。可以通過將設(shè)備10連接到外部電源(例如墻壁插座)來對電池重新充電。在非便攜設(shè)置下，電源26可包括供電單元(PSU)，其被配置為從墻壁插座取得電力，并將所述電力分配給非便攜電子設(shè)備(例如桌上型計算系統(tǒng))的各個部件。顯示器28可被用于顯示由設(shè)備10生成的各種圖像，例如用于操作系統(tǒng)的⑶I，或由圖像處理電路32處理的圖像數(shù)據(jù)(包括靜止圖像和視頻數(shù)據(jù))，以下將對其進(jìn)行進(jìn)一步討論。如上所述，圖像數(shù)據(jù)可包括使用成像設(shè)備30獲取的圖像數(shù)據(jù)或從存儲器18和/或非易失性存儲器20檢索出的圖像數(shù)據(jù)。顯示器28可以是任何合適類型的顯示器，例如液晶顯示器(IXD)、等離子顯示器或有機(jī)發(fā)光二極管(OLED)顯示器。此外，如上所討論的，顯示器28可以具有可作為電子設(shè)備10的控制界面的一部分的、如上所述的觸摸敏感機(jī)構(gòu)(例如觸摸屏)。所例示的(一個或多個)成像設(shè)備30還可被提供為被配置以獲取靜態(tài)圖像和運(yùn)動圖像(例如視頻)的數(shù)碼相機(jī)的形式。相機(jī)30可包括鏡頭和一個或多個被配置為捕捉光并將光轉(zhuǎn)換為電信號的圖像傳感器。僅作為示例，圖像傳感器可包括CMOS圖像傳感器(例如CMOS有源像素傳感器(APS))或CXD(電荷耦合器件)傳感器。一般來說，相機(jī)30中的圖像傳感器包括具有像素陣列的集成電路，其中每個像素包括一個用于感測光的光電檢測器。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，成像像素中的光電檢測器一般檢測通過相機(jī)鏡頭捕捉的光的強(qiáng)度。然而，光電檢測器一般無法自己檢測所捕捉的光的波長，因此，無法確定顏色信息。因此，圖像傳感器可進(jìn)一步包括濾色器陣列(CFA)，其可覆蓋圖像傳感器的像素陣列或被置于像素陣列之上，以捕捉顏色信息。濾色器陣列可包括小型濾色器的陣列，每一個小型濾色器可以覆蓋圖像傳感器的一個相應(yīng)像素，并且按波長對捕捉的光進(jìn)行濾波。因此，當(dāng)一并使用時，濾色器陣列和光電檢測器可提供關(guān)于通過相機(jī)所獲得的光的波長和強(qiáng)度信息，這可以表示所捕捉的圖像。在一個實施例中，濾色器陣列可包括拜耳濾色器陣列，其提供50%綠色元素，25%紅色元素和25%藍(lán)色元素的濾波器模式。例如，圖2示出了包括2個綠色元素(Gr和Gb)，I個紅色元素(R)和I個藍(lán)色元素(B)的拜耳CFA的2X2像素塊。因此，利用拜耳濾色器陣列的圖像傳感器可提供關(guān)于相機(jī)30在綠色、紅色和藍(lán)色波長處接收到的光的強(qiáng)度的信息，由此每個圖像像素僅記錄三種顏色(RGB)之一。被稱為“原始圖像數(shù)據(jù)”或“原始域”中的數(shù)據(jù)的這一信息隨后被使用一種或多種去馬賽克技術(shù)進(jìn)行處理，由此將原始圖像數(shù)據(jù)轉(zhuǎn)換為全彩圖像，這一般是通過為每個像素內(nèi)插一組紅色、綠色和藍(lán)色值而實現(xiàn)的。如以下將描述的那樣，可由圖像處理電路32來執(zhí)行這樣的去馬賽克技術(shù)。如上所述，圖像處理電路32可提供各種圖像處理步驟，例如缺陷像素檢測/校正、鏡頭明暗校正、去馬賽克、以及圖像銳化、降噪、伽馬校正、圖像增強(qiáng)、顏色空間變換、圖像壓縮、色度亞采樣和圖像縮放操作等等。在一些實施例中，圖像處理電路32可包括多個子部件和/或離散的邏輯單元，其集合地形成用于執(zhí)行各個圖像處理步驟中的每一個步驟的圖像處理“流水線”。可以使用硬件(例如數(shù)字信號處理器或ASIC)或軟件，或通過硬件和軟件部件的組合來實現(xiàn)這些子部件。以下將更加詳細(xì)的描述可由圖像處理電路32提供的各種圖像處理操作，尤其是涉及缺陷像素檢測/校正、鏡頭明暗校正、去馬賽克和圖像銳化的那些處理操作。在繼續(xù)之前，應(yīng)當(dāng)注意的是雖然以下所討論的各種圖像處理技術(shù)的多個實施例可以利用拜耳CFA，但是當(dāng)前公開的技術(shù)并不限于此。實際上，本領(lǐng)域技術(shù)人員將明了此處提供的圖像處理技術(shù)可適用于任何適合類型的濾色器陣列，包括RGBW濾色器、CYGM濾色器坐寸ο再次參考電子設(shè)備10，圖3-6例示了電子設(shè)備10可采用的各種形式。如上所述，電子設(shè)備10可采用計算機(jī)的形式，包括通常便攜的計算機(jī)(例如膝上型、筆記本和平板計算機(jī))以及通常不便攜的計算機(jī)(例如桌上型計算機(jī)、工作站和/或服務(wù)器)，或其他類型的電子設(shè)備，例如手持便攜電子設(shè)備(例如數(shù)字媒體播放器或移動電話)。具體而言，圖3和圖4分別描繪了膝上型計算機(jī)40形式和桌上型計算機(jī)50形式的電子設(shè)備10。圖5和圖6分別示出了手持便攜設(shè)備60形式的電子設(shè)備10的前視圖和后視圖。如圖3所示，描繪的膝上型計算機(jī)40包括殼體42、顯示器28、1/0端口12和輸入結(jié)構(gòu)14。輸入結(jié)構(gòu)14可包括與殼體42集成的鍵盤和觸摸板鼠標(biāo)。此外，輸入結(jié)構(gòu)14可包括多種可用于與計算機(jī)40交互(例如給計算機(jī)加電或啟動計算機(jī))的其他按鈕和/或開關(guān)，以操作⑶I或在計算機(jī)40中運(yùn)行的應(yīng)用，以及調(diào)整多種涉及計算機(jī)40操作的其他方面(例如音量、顯示器亮度等)。計算機(jī)40還可包括提供至其他設(shè)備的連接的多種I/O端口12，如上所述，例如FireWire或usb端口、高清多媒體接口(hdmi)端口或任何其他類型的適于連接到外部設(shè)備的端口。此外，計算機(jī)40可包括如以上圖I所示的網(wǎng)絡(luò)連接(例如網(wǎng)絡(luò)設(shè)備26)、存儲器(例如存儲器20)和存儲能力(例如存儲設(shè)備22)。另外，在所示的實施例中，膝上型計算機(jī)40可包括集成的成像設(shè)備30(例如相機(jī))。在另一個實施例中，膝上型計算機(jī)40可利用連接到一個或多個I/O端口12的外置相機(jī)(例如外置USB相機(jī)或“攝像頭”)以作為集成相機(jī)30的替代或附加。例如，外置相機(jī)可以是可從蘋果公司得到的iSight相機(jī)。不管集成的還是外置的，相機(jī)30可以提供圖像的捕捉和記錄。接著這些圖像可由用戶使用圖像觀看應(yīng)用來觀看，或者可以被其他應(yīng)用來使用，包括視頻會議應(yīng)用，例如iChat,以及圖像編輯/觀看應(yīng)用，例如可從蘋果公司得到的PhotoBooth、Apertiire^,丨恥或Preview#。在特定實施例中，所描繪的膝上型計算機(jī)40可以是可從蘋果公司獲得的MaeBook、MacBook(H)Pro、MacBookAir或PowerBook的模型。此外，在一個實施例中，計算機(jī)40可以是便攜式平板計算設(shè)備，例如同樣可從蘋果公司獲得的iPad平板計算機(jī)的模型。圖4進(jìn)一步例示了電子設(shè)備10被提供作為桌上型計算機(jī)50的一個實施例。將明了的是，桌上型計算機(jī)50可包括多種與由圖4所示的膝上型計算機(jī)40提供的大致類似的特征，但是也可能具有通常更大的整體形狀。如圖所示，桌上型計算機(jī)50可被裝入包括顯示器28和如圖I所示的方框圖中所討論的各種其他部件的外殼42中。另外，桌上型計算機(jī)50可包括通過一個或多個1/0端口(例如USB)耦合至該計算機(jī)50的、或能夠與該計算機(jī)50無線通信(例如通過RF、藍(lán)牙等)的外置鍵盤和鼠標(biāo)(輸入結(jié)構(gòu)14)。如上所述，桌上型計算機(jī)50還可包括可以是集成的或外置相機(jī)的成像設(shè)備30。在特定實施例中，所描繪的桌上型計算機(jī)50可以是可從蘋果公司獲得的iMae、Macmini或MacPro的模型。如進(jìn)一步所示，顯示器28可被配置為生成可被用戶觀看的各種圖像。例如，在計算機(jī)50的操作期間，顯示器28可顯示圖形用戶界面(“⑶1”)52以允許用戶與在計算機(jī)50中運(yùn)行的操作系統(tǒng)和/或應(yīng)用進(jìn)行交互。⑶152可包括各種層、窗口、屏幕、模板或可在整個或部分顯示設(shè)備28上顯示的其他圖形元素。例如，在所描繪的實施例中，操作系統(tǒng)GUI52可包括各種圖形圖標(biāo)54，每一種圖標(biāo)可對應(yīng)于可基于檢測到用戶的選擇(例如通過鍵盤/鼠標(biāo)或觸摸屏輸入)被打開或執(zhí)行的各種應(yīng)用。圖標(biāo)54可被顯示在停靠欄56中或在屏幕上顯不的一個或多個圖形窗口兀素58內(nèi)。在一些實施例中，對圖標(biāo)54的選擇可導(dǎo)致分級導(dǎo)航處理，使得對圖標(biāo)54的選擇導(dǎo)致一個屏幕或打開另一個包括一個或多個附加圖標(biāo)或其他⑶I元素的圖形窗口。僅作為示例，圖4顯示的操作系統(tǒng)GUI52可以是來自可從蘋果公司獲得的MacOS操作系統(tǒng)的一個版本。繼續(xù)至圖5和6，電子設(shè)備10進(jìn)一步被例示為便攜手持電子設(shè)備60的形式，其可以是可從蘋果公司獲得的iPod或iPhone的模型。在所描繪的實施例中，手持設(shè)備60包括外殼42，其可以起到保護(hù)內(nèi)部部件免于物理損傷同時屏蔽電磁干擾的作用。外殼42可由任何合適的材料或這些材料的組合來形成，例如塑料、金屬或復(fù)合材料，并且能夠允許特定頻率的電磁輻射(例如無線聯(lián)網(wǎng)信號)穿透以到達(dá)如圖5所示的可置于外殼42內(nèi)的無線通信電路(例如網(wǎng)絡(luò)設(shè)備24)。外殼42還包括各種用戶輸入結(jié)構(gòu)14，通過這些輸入結(jié)構(gòu)14用戶可與手持設(shè)備60交互。例如，每個輸入結(jié)構(gòu)14可被配置為在被按壓或啟動時控制一個或多個相應(yīng)的設(shè)備功能。作為示例，一個或多個輸入結(jié)構(gòu)14可被配置為調(diào)用“home”屏幕(主屏幕)42或菜單以便顯示，被配置為在睡眠、喚醒或開機(jī)/關(guān)機(jī)模式之間切換，被配置為使蜂窩電話應(yīng)用的鈴聲靜音，被配置為增加或減小音量輸出等等。應(yīng)當(dāng)理解的是所例示的輸入結(jié)構(gòu)14僅是示例性的，并且手持設(shè)備60可包括任意數(shù)量的合適的用戶輸入結(jié)構(gòu)，其可以具有各種形式，包括按鈕、開關(guān)、按鍵、旋鈕、滾輪等等。如圖5所示，手持設(shè)備60可包括各種I/O端口12。例如，所描繪的I/O端口12可包括用于傳輸和接收數(shù)據(jù)文件或用于給電源26充電的專有連接端口12a，和用于將設(shè)備60連接到音頻輸出設(shè)備(例如頭戴式耳機(jī)或揚(yáng)聲器)的音頻連接端口12b。此外，在手持設(shè)備60提供移動電話功能的實施例中，設(shè)備60可包括用于接收訂戶標(biāo)識模塊(SIM)卡(例如擴(kuò)展卡22)的I/O端口12c。顯示設(shè)備28可以是IXD、OLED或任何適合類型的顯示器，其可以顯示由手持設(shè)備60生成的各種圖像。例如，顯示器28可以顯示向用戶提供關(guān)于手持設(shè)備60的一個或多個狀態(tài)(例如電源狀態(tài)、信號強(qiáng)度、外置設(shè)備連接等)的反饋的各種系統(tǒng)指示符64。參考以上圖4所討論的，顯示器還可顯示⑶152以允許用戶與設(shè)備60交互。⑶152可以包括圖形元素，例如圖標(biāo)54，其可以對應(yīng)于基于檢測到用戶對相應(yīng)圖標(biāo)54的選擇而打開或執(zhí)行的各種應(yīng)用。作為示例，圖標(biāo)54之一可以表示可與相機(jī)30(如圖5中的虛線所示)一并使用以獲取圖像的相機(jī)應(yīng)用66。簡單地參考圖6，例示了在圖5中所描繪的手持電子設(shè)備60的后視圖，其示出了相機(jī)30被集成于殼體42且位于手持設(shè)備60背面。如上所述，用相機(jī)30獲得的圖像數(shù)據(jù)可使用圖像處理電路32進(jìn)行處理，所述圖像處理電路32可以包括硬件(例如位于外殼42內(nèi)部)和/或存儲在設(shè)備60的一個或多個存儲設(shè)備(例如存儲器18或非易失性存儲器20)中的軟件。使用相機(jī)應(yīng)用66和相機(jī)30獲得的圖像可被存儲到設(shè)備60(例如在存儲設(shè)備20中)，并且可使用照片觀看應(yīng)用68在稍后觀看這些圖像。手持設(shè)備60還可包括各種音頻輸入和輸出元件。例如，一般地由參考標(biāo)記70所描繪的音頻輸入/輸出元件可以包括輸入接收器，例如一個或多個麥克風(fēng)。例如，在手持設(shè)備60包括蜂窩電話功能的情況下，輸入接收器可被配置為接收用戶音頻輸入，例如用戶語音。此外，音頻輸入/輸出元件70可包括一個或多個輸出發(fā)射器。這些輸出發(fā)射器可包括一個或多個揚(yáng)聲器，其可以例如在使用媒體播放器應(yīng)用72回放音樂數(shù)據(jù)時起到將音頻信號傳送給用戶的作用。此外，在手持設(shè)備60包括蜂窩電話應(yīng)用的實施例中，如圖5所示，還可提供附加的音頻輸出發(fā)射器74。類似于音頻輸入/輸出兀件70的輸出發(fā)射器,輸出發(fā)射器74也可包括一個或多個被配置為將音頻信號(例如在電話呼叫期間接收到的語音數(shù)據(jù))傳送至用戶的揚(yáng)聲器。因此，音頻輸入/輸出元件70和74可聯(lián)合地操作以作為電話的音頻接收和發(fā)射元件。現(xiàn)已提供了一些關(guān)于電子設(shè)備10可采用的多種形式的背景，于是本公開將關(guān)注于圖I所描繪的圖像處理電路32。如上所述，圖像處理電路32可使用硬件和/或軟件部件來實現(xiàn)，并且可以包括定義圖像信號處理(ISP)流水線的各種處理單元。具體而言，以下討論會關(guān)注在本公開中闡述的圖像處理技術(shù)的各方面，尤其是涉及缺陷像素檢測/校正技術(shù)、鏡頭明暗校正技術(shù)、去馬賽克技術(shù)和圖像銳化技術(shù)的那些方面?，F(xiàn)在參考圖7，例示了依照當(dāng)前公開的技術(shù)的一個實施例的描繪了可實現(xiàn)為圖像處理電路32的一部分的多個功能性部件的簡化頂層方框圖。具體地，圖7旨在依照至少一個實施例來例示圖像數(shù)據(jù)可如何流過圖像處理電路32。為了提供對圖像處理電路32的一般概觀，這里參考圖7提供了這些功能性部件如何操作以處理圖像數(shù)據(jù)的一般描述，同時，后面將進(jìn)一步提供所示的功能性部件的每一個及其各自的子部件的更具體的描述。參考所示的實施例，圖像處理電路32可包括圖像信號處理(ISP)前端處理邏輯80、ISP流水處理邏輯82和控制邏輯84。由成像設(shè)備30捕捉的圖像數(shù)據(jù)首先由ISP前端邏輯80處理，并對其進(jìn)行分析以獲得可被用于確定ISP流水邏輯82和/或成像設(shè)備30的一個或多個控制參數(shù)的圖像統(tǒng)計信息。ISP前端邏輯80可被配置為從圖像傳感器輸入信號獲得圖像數(shù)據(jù)。例如，如圖7所示，成像設(shè)備30可包括具有一個或多個鏡頭88和(一個或多個)圖像傳感器90的相機(jī)。如上所述，(一個或多個)圖像傳感器90可以包括濾色器陣列(例如拜耳濾波器)，并且因此可以提供由圖像傳感器90的每個成像像素獲得的光強(qiáng)和波長信息，從而提供可由ISP前端邏輯80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可由傳感器接口94接收，隨后例如基于傳感器接口類型，傳感器接口94可將原始圖像數(shù)據(jù)96提供給ISP前端邏輯80。作為示例，傳感器接口94可利用標(biāo)準(zhǔn)移動成像架構(gòu)(SMIA)接口或移動工業(yè)處理器接口(MIPI)，或它們的某些組合。在特定實施例中，ISP前端邏輯80可在其自身的時鐘域內(nèi)操作，并且可以向傳感器接口94提供異步接口以支持具有不同大小和定時需求的圖像傳感器。原始圖像數(shù)據(jù)96可被提供給ISP前端邏輯80，并以多種格式被逐像素地處理。例如，每個圖像像素可具有8，10，12或14位的位深。ISP前端邏輯80可對原始圖像數(shù)據(jù)96執(zhí)行一個或多個圖像處理操作，并收集關(guān)于圖像數(shù)據(jù)96的統(tǒng)計數(shù)據(jù)?？梢砸韵嗤幕虿煌奈簧罹葋韴?zhí)行圖像處理操作和統(tǒng)計數(shù)據(jù)的收集。例如，在一個實施例中，可以以14位精度來執(zhí)行原始圖像像素數(shù)據(jù)96的處理。在這些實施例中，由ISP前端邏輯80接收到的具有小于14位(例如8位，10位，12位)位深的原始像素數(shù)據(jù)被上采樣至14位以用于圖像處理目的。在另一個實施例中，可以以8位精度進(jìn)行統(tǒng)計處理，因此具有更高位深的原始像素數(shù)據(jù)可被下采樣至8位格式用以統(tǒng)計目的?？梢悦髁说氖?，下采樣至8位可降低硬件大小(例如面積)并且還能減少用于統(tǒng)計數(shù)據(jù)的處理/計算復(fù)雜度。此外，原始圖像數(shù)據(jù)可被空間平均以允許統(tǒng)計數(shù)據(jù)對噪聲更為魯棒。此外，如圖7所示，ISP前端邏輯80還可從存儲器108接收像素數(shù)據(jù)。例如，如參考標(biāo)記98所示，原始像素數(shù)據(jù)可從傳感器接口94被發(fā)送到存儲器108。如參考標(biāo)記100所示，駐留在存儲器108中的原始像素數(shù)據(jù)隨后可被提供給ISP前端邏輯80以供處理。存儲器108可以是存儲設(shè)備20、存儲器設(shè)備18的一部分，或者可以是電子設(shè)備10內(nèi)的單獨的專用存儲器并且可包括直接存儲器訪問(DMA)特征。此外，在特定實施例中，ISP前端邏輯80可在其本身的時鐘域內(nèi)操作，并且向傳感器接口94提供異步接口以支持不同大小并且具有不同定時需求的傳感器。一旦接收到原始圖像數(shù)據(jù)96(從傳感器接口94)或100(從存儲器108)，ISP前端邏輯80可以執(zhí)行一個或多個圖像處理操作，例如時域濾波和/或像素合并補(bǔ)償濾波。經(jīng)處理的圖像數(shù)據(jù)隨后可被提供給ISP流水邏輯82(輸出信號109)以便在被顯示(例如在顯示設(shè)備28上)之前進(jìn)行其他處理，或者可被發(fā)送到存儲器(輸出信號110)。ISP流水邏輯82直接從ISP前端邏輯80或者從存儲器108(輸入信號112)接收“前端”經(jīng)處理的數(shù)據(jù)，并且提供對原始域中以及RGB和YCbCr顏色空間中的圖像數(shù)據(jù)的其他處理。由ISP流水邏輯82處理后的圖像數(shù)據(jù)隨后可被輸出(信號114)到顯示器28以供用戶觀看和/或可由圖形引擎或GUP進(jìn)行進(jìn)一步處理。此外，ISP流水邏輯82的輸出可被發(fā)送到存儲器108(信號115)，并且顯示器28可從在特定實施例中被配置為實現(xiàn)一個或多個幀緩沖器的存儲器108(信號116)讀取圖像數(shù)據(jù)。此外，在一些實施方式中，ISP流水邏輯82的輸出還可被提供給壓縮/解壓縮引擎118(信號117)以用于編碼/解碼圖像數(shù)據(jù)。經(jīng)編碼的圖像數(shù)據(jù)可被存儲，并在隨后在被顯示在顯示器28設(shè)備上(信號119)之前進(jìn)行解壓縮。作為示例，壓縮引擎或“編碼器”118可以是用于編碼靜態(tài)圖像的JPEG壓縮引擎，或用于編碼視頻圖像的H.264壓縮引擎，或它們的組合，用于解碼圖像數(shù)據(jù)的相應(yīng)的解壓縮引擎也是如此。后面將參考圖32-62來更加詳細(xì)的討論可在ISP流水邏輯82中提供的關(guān)于圖像處理操作的附加信息。同樣的，應(yīng)當(dāng)注意的是ISP流水邏輯82還可從存儲器108接收原始圖像數(shù)據(jù)，其被描述為輸入信號112。由ISP前端邏輯80確定的統(tǒng)計數(shù)據(jù)102可被提供給控制邏輯單元84。統(tǒng)計數(shù)據(jù)102可包括，例如關(guān)于自動曝光、自動白平衡、自動對焦、閃爍檢測、黑度補(bǔ)償(BLC)、鏡頭明暗校正等的圖像傳感器統(tǒng)計信息?？刂七壿?4可包括處理器和/或微控制器，其被配置為執(zhí)行一個或多個例程(例如固件)，所述例程可被配置為基于接收到的統(tǒng)計數(shù)據(jù)102來確定用于成像設(shè)備30的控制參數(shù)104和用于ISP流水處理邏輯82的控制參數(shù)106。僅作為示例，控制參數(shù)104可包括傳感器控制參數(shù)(例如增益、曝光控制的累積時間)、相機(jī)閃光燈控制參數(shù)、鏡頭控制參數(shù)(例如對焦的對焦長度或變焦的焦距)或這些參數(shù)的組合。ISP控制參數(shù)106可包括用于自動白平衡和顏色調(diào)整(例如在RGB處理期間)的增益等級和顏色校正矩陣(CCM)系數(shù)，以及如下所討論的可基于白點平衡參數(shù)而確定的鏡頭明暗校正參數(shù)。在一些實施例中，除了分析統(tǒng)計數(shù)據(jù)102之外，控制邏輯84還可分析可存儲在電子設(shè)備10上(例如存儲器18或存儲器20內(nèi))的歷史統(tǒng)計信息。由于此處所示的圖像處理電路32的總體復(fù)雜設(shè)計，如下所示，將關(guān)于ISP前端邏輯80和ISP流水處理邏輯82的討論劃分為單獨的部分會是有益的。具體而言，本申請的圖8至31可涉及ISP前端邏輯80的多個實施例和各方面的討論，而本申請的圖32至62可涉及ISP流水處理邏輯82的多個實施例和各方面的討論。ISP前端處理邏輯圖8是示出了依照一個實施例的可在ISP前端邏輯80中實現(xiàn)的功能性邏輯塊的更詳細(xì)方框圖?；诔上裨O(shè)備30和/或傳感器接94的構(gòu)造，如圖7所示，可由一個或多個圖像傳感器90將原始圖像數(shù)據(jù)提供給ISP前端邏輯80。在所描繪的實施例中，可通過第一圖像傳感器90a(傳感器0)和第二圖像傳感器90b(傳感器I)將原始圖像數(shù)據(jù)提供給ISP前端邏輯80。如圖所示，圖像傳感器90a和90b可分別提供原始圖像數(shù)據(jù)作為信號SifO和Sifl0圖像傳感器90a和90b中的每一個可與相應(yīng)的統(tǒng)計處理單元120和122相關(guān)聯(lián)。進(jìn)一步地，應(yīng)當(dāng)注意，原始圖像數(shù)據(jù)SifO和Sifl可直接提供給它們相應(yīng)的處理單元120和122，或者可以存儲在或?qū)懭氪鎯ζ?08中并隨后分別作為信號SifInO和SifInl被檢索。因而，ISP前端邏輯80可包括選擇邏輯124，選擇邏輯124可以向統(tǒng)計處理單元120提供表示由傳感器0(90a)捕捉的原始圖像數(shù)據(jù)的SifO或SifInO信號，并且，ISP前端邏輯80還可以包括選擇邏輯126，選擇邏輯126可以向統(tǒng)計處理單元122提供表示由傳感器I(90b)捕捉的原始圖像數(shù)據(jù)的Sifl或SifInl信號。每一個統(tǒng)計處理單元120和122可確定通過分析原始圖像傳感器數(shù)據(jù)所獲得的各種統(tǒng)計數(shù)據(jù)，并且可以確定相應(yīng)的統(tǒng)計信息集合，如輸出信號StatsO和Statsl所示。如上所述,統(tǒng)計數(shù)據(jù)(StatsO和Statsl)可被提供給控制邏輯84以用于各控制參數(shù)的確定，這些控制參數(shù)可被用于操作成像設(shè)備30和/或ISP流水處理邏輯82。除了統(tǒng)計處理單元120和122，ISP前端邏輯80可進(jìn)一步包括像素處理單元130。像素處理單元130可逐像素地對原始圖像數(shù)據(jù)執(zhí)行各種圖像處理操作。如所示的，通過選擇邏輯132，像素處理單元130可接收原始圖像信號SifO(來自傳感器0)或Sifl(來自傳感器1)，或者可以接收來自存儲器108的原始圖像數(shù)據(jù)FEProcIn。如同可以明了的，可由任何適合類型的邏輯來提供圖8所示的選擇邏輯塊(120、122和132)，例如響應(yīng)于控制信號而選擇多個輸入信號中的一個的多路復(fù)用器。在執(zhí)行以下將進(jìn)一步討論的像素處理操作時，F(xiàn)EPrOC130還可接收和輸出多種信號(例如可表示在時域濾波期間使用的運(yùn)動歷史和亮度數(shù)據(jù)的Rin、Hin、Hout和Yout)。然后，像素處理單元130的輸出109(FEProcOut)可諸如通過一個或多個先進(jìn)先出(FIFO)隊列被轉(zhuǎn)發(fā)到ISP流水邏輯82，或者可被發(fā)送到存儲器108。在繼續(xù)圖8的ISP前端邏輯80中描繪的統(tǒng)計處理和像素處理操作的更詳細(xì)描述之前，相信關(guān)于各種ISP幀區(qū)域的定義的簡要介紹會有助于更好的理解本技術(shù)方案。帶著這樣的想法，圖9例示了在圖像源幀內(nèi)定義的各種幀區(qū)域。提供給圖像處理電路32的源幀的格式可以使用以上所述的分塊或線性尋址模式，并且可利用8、10、12或14位精度的像素格式。如圖9所示的圖像源幀150可包括傳感器幀區(qū)域152、原始幀區(qū)域154和活動區(qū)域156。傳感器巾貞152一般是圖像傳感器90可以提供給圖像處理電路32的最大巾貞大小。原始幀區(qū)域154可被定義為傳感器幀152的被發(fā)送到ISP前端處理邏輯80的區(qū)域?；顒訁^(qū)域256可被定義為源幀150的一部分，其是典型地位于原始幀區(qū)域156內(nèi)并對其進(jìn)行具體圖像處理操作的那部分。依照本技術(shù)的實施例，對于不同的圖像處理操作，活動區(qū)域156可以相同或不同。依照本技術(shù)的一些方面，ISP前端邏輯80僅接收原始幀154。因此，出于本討論的目的，用于ISP前端處理邏輯80的全局巾貞大小可假設(shè)為由寬158和高160確定的原始巾貞大小。在一些實施例中，可以通過控制邏輯84確定和/或保存從傳感器幀152到原始幀154的邊界偏移量。例如，控制邏輯84可包括基于輸入?yún)?shù)來確定原始幀區(qū)域154的固件，所述輸入?yún)?shù)諸如是所指定的相對于傳感器巾貞152的X偏移量162和y偏移量164。此外,在一些情況下，在ISP前端邏輯80或ISP流水邏輯82內(nèi)的處理單元可具有預(yù)定義的活動區(qū)域，使得在原始幀內(nèi)但在活動區(qū)域156外的像素將不被處理，即，保持不變。例如，可基于相對于原始幀154的X偏移量170和y偏移量172來定義用于具體處理單元的具有寬166和高168的活動區(qū)域156。此外，對于活動區(qū)域沒有被具體定義的情況，圖像處理電路32的一個實施例可以假設(shè)活動區(qū)域156與原始幀154相同(例如X偏移量170和y偏移量172都等于O)。因此，為了對圖像數(shù)據(jù)進(jìn)行圖像處理操作，關(guān)于原始幀154或活動區(qū)域156的邊界，可以定義邊界條件。帶著這樣的想法并參考圖10，例示了依照本技術(shù)一個實施例的ISP前端像素處理邏輯130(之前在圖8中討論了)的更詳細(xì)視圖。如圖所示，ISP前端像素處理邏輯130包括時域濾波器180和像素合并補(bǔ)償濾波器182。時域濾波器180可接收輸入圖像信號SifO、Sifl或FEProcIn中的一個,并且可在執(zhí)行任何附加處理之前對原始像素數(shù)據(jù)進(jìn)行操作。例如，時域濾波器180可首先處理圖像數(shù)據(jù)以通過在時間方向上對圖像幀進(jìn)行平均而降低噪聲。時域濾波器180可以是基于運(yùn)動和明亮度特征而像素自適應(yīng)的。例如，當(dāng)像素運(yùn)動較大時，可降低濾波強(qiáng)度以避免得到的經(jīng)處理的圖像中出現(xiàn)“拖尾”或“重影偽像”，反之當(dāng)檢測到輕微運(yùn)動或無運(yùn)動時，可增加濾波強(qiáng)度。此外，還可基于明亮度數(shù)據(jù)(例如“亮度”)來調(diào)整濾波強(qiáng)度。例如，隨著圖像明亮度增加，濾波偽影變得更容易被人眼察覺。因此，當(dāng)像素具有較高明亮度水平時應(yīng)當(dāng)進(jìn)一步降低濾波強(qiáng)度。在應(yīng)用時域濾波時，時域濾波器180可接收可來自于前一經(jīng)濾波的幀或初始幀的參考像素數(shù)據(jù)(Rin)和運(yùn)動歷史輸入數(shù)據(jù)(Hin)。使用這些參數(shù)，時域濾波器180可提供運(yùn)動歷史輸出數(shù)據(jù)(Hout)和經(jīng)濾波的像素輸出(Yout)。接著經(jīng)濾波的像素輸出Yout被傳遞到像素合并補(bǔ)償濾波器182，后者可被配置為對經(jīng)濾波的像素輸出數(shù)據(jù)Yout執(zhí)行一個或多個縮放操作以產(chǎn)生輸出信號FEProcOut。接著，經(jīng)處理的像素數(shù)據(jù)FEProcOut可被轉(zhuǎn)發(fā)至如上所述的ISP流水處理邏輯82。參考圖11，例示了根據(jù)第一實施例描繪的可由圖10所示的時域濾波器執(zhí)行的時域濾波處理190的處理框圖。時域濾波器180可包括2抽頭濾波器，其中濾波器系數(shù)可至少部分基于運(yùn)動和明亮度數(shù)據(jù)而逐像素地進(jìn)行自適應(yīng)調(diào)整。例如，可將具有表示時間值的變量“t”的輸入像素x(t)與在前一經(jīng)濾波的幀或前一初始幀中的參考像素r(t-l)作比較，以生成在可包含濾波器系數(shù)的運(yùn)動歷史表(M)192中的運(yùn)動索引查找。此外，基于運(yùn)動歷史輸入數(shù)據(jù)h(t-Ι)，可以確定對應(yīng)于當(dāng)前輸入像素X(t)的運(yùn)動歷史輸出h(t)?？苫谶\(yùn)動增量d(j，i,t)來確定運(yùn)動歷史輸出h(t)和濾波器系數(shù)K，其中(j，i)表示當(dāng)前像素x(j，i，t)的空間位置的坐標(biāo)?？赏ㄟ^確定對于具有相同顏色的水平方向同位置的三個像素的初始和參考像素之間的三個絕對增量的最大值來計算運(yùn)動增量d(j,i,t)。例如，簡單參考圖12，例示了對應(yīng)于初始輸入像素206、208和210的三個同位置參考像素200、202和204的空間位置。在一個實施例中，可使用以下的公式基于這些初始和參考像素來計算運(yùn)動增量d(j,i,t)=max3[abs(x(j,i~2,t)~r(j,i~2,t_l)),(abs(x(j,i,t)-r(j,i,t-1))，(la)(abs(x(j,i+2,t)-r(j,i+2,t-1))]在以下圖14中進(jìn)一步例示了描繪這一用于確定運(yùn)動增量值的技術(shù)的流程圖。此夕卜，應(yīng)當(dāng)理解的是如以上等式Ia(以及以下圖14中)所示的用于計算運(yùn)動增量值的技術(shù)僅旨在提供一個用于確定運(yùn)動增量值的實施例。在其他實施例中，可以估計相同顏色像素的陣列以確定運(yùn)動增量值。例如，除了等式Ia中提到的三個像素外，一個用于確定運(yùn)動增量值的實施例還可以包括估計來自參考像素206、208和210上兩行(例如j-2;假設(shè)為拜耳模式)的相同顏色的像素與其對應(yīng)的同位置像素之間的絕對增量，以及來自參考像素206、208和210下兩行(例如j+2;假設(shè)為拜耳模式)的該相同顏色的像素與其對應(yīng)的同位置像素之間的絕對增量。例如，在一個實施例中，運(yùn)動增量值可如下表示d(j,i,t)=max9[abs(x(j,i~2,t)~r(j,i~2,t_l)),(abs(x(j,i,t)-r(j,i,t-1)),(abs(x(j,i+2,t)-r(j,i+2,t-1)),(abs(x(j_2,i~2,t)_r(j_2,i~2,t_l)),(abs(x(j_2,i,t)-r(j-2,i,t-1))，(lb)(abs(x(j_2,i+2,t)_r(j_2,i+2,t_l)),(abs(x(j+2,i~2,t)_r(j+2,i~2,t_l))(abs(x(j+2,i,t)-r(j+2,i,t-1)),(abs(x(j+2,i+2,t)~r(j+2,i+2,t_l))]從而，在由等式Ib所描繪的實施例中，可通過比較相同顏色像素的3x3陣列之間的絕對增量來確定運(yùn)動增量值，其中當(dāng)前像素(208)位于該3x3陣列(例如，如果算上不同顏色的像素，實際上是拜耳顏色模式的5x5陣列)的中心。應(yīng)當(dāng)明了的是，可以分析其中當(dāng)前像素(例如208)位于陣列中心的任何合適的相同顏色像素的二維陣列(例如，包括所有像素在同一行中的陣列(例如等式Ia)或所有像素在同一列中的陣列)以確定運(yùn)動增量值。此夕卜，雖然運(yùn)動增量值可被確定為絕對增量的最大值(例如，如等式Ia和Ib所示)，但是在其他實施例中，運(yùn)動增量值可被選擇為絕對增量的平均值或中位值。此外，前述技術(shù)還可被應(yīng)用于其他類型的濾色器陣列(例如RGBW，CYGM等)，并非旨在為拜耳模式所獨有。參考回圖11，一旦確定了運(yùn)動增量值，可以通過將用于當(dāng)前像素(例如在空間位置(j,i))的運(yùn)動增量d(t)與運(yùn)動歷史輸入h(t-l)相加來計算可被用來從運(yùn)動表(M)192中選擇濾波器系數(shù)K的運(yùn)動索引查找。例如，可通過以下等式來確定濾波器系數(shù)K:K=M[d(j,i,t)+h(j,i,t-1)](2a)此外，可使用以下公式來確定運(yùn)動歷史輸出h(t)h(j,i,t)=d(j,i,t)+(I-K)Xh(j,i,t~l)(3a)接著，可以使用當(dāng)前輸入像素x(t)的明亮度來生成亮度表(L)194內(nèi)的亮度索引查找。在一個實施例中，亮度表可包括可位于0和I之間且可基于亮度索引而被選擇的衰減因子?？赏ㄟ^將第一濾波器系數(shù)K乘上亮度衰減因子來計算第二濾波器系數(shù)K’，如以下等式所示K'=KXL[x(j,i,t)](4a)所確定的值K’隨后可被用作時域濾波器180的濾波系數(shù)。如上所述，時域濾波器180可以是2抽頭濾波器。此外，時域濾波器180可被配置為使用前一經(jīng)濾波的幀的無限沖激響應(yīng)(IIR)濾波器，或使用前一初始幀的有限沖激響應(yīng)(FIR)濾波器。時域濾波器180可以使用當(dāng)前輸入像素x(t)、參考像素r(t-l)和濾波器系數(shù)K’通過以下公式來計算經(jīng)濾波的輸出像素y(t)(Yout)y(j,i,t)=r(j,i,t~l)+K'(x(j,i,t)~r(j,i,t~l))(5a)如上所討論的，可逐像素地執(zhí)行如圖11所示的時域濾波處理190。在一個實施例中，可以對于所有顏色分量(例如R、G和B)使用相同的運(yùn)動表M和亮度表L。此外，一些實施例可提供旁路機(jī)制，其中可以例如響應(yīng)于來自控制邏輯84的控制信號而旁路時域濾波。此外，如以下將關(guān)于圖16和17所討論的，時域濾波器180的一個實施例可以為圖像數(shù)據(jù)的每個顏色分量使用單獨的運(yùn)動和亮度表。參考圖13可以更好的理解參考圖11和12所描述的時域濾波技術(shù)的實施例，其中圖13描繪了例示依照上述實施例的方法214的流程圖。方法214開始于步驟216，其中時域濾波系統(tǒng)190接收位于圖像數(shù)據(jù)的當(dāng)前幀的空間位置(j，i)的當(dāng)前像素x(t)。在步驟218，至少部分地基于來自圖像數(shù)據(jù)的前一幀(例如緊挨在當(dāng)前幀之前的圖像幀)的一個或多個同位置的參考像素(例如Ht-I))來確定用于當(dāng)前像素x(t)的運(yùn)動增量值d(t)。以下將參考圖14來進(jìn)一步說明在步驟218中用于確定運(yùn)動增量值d(t)的技術(shù)，其可依照上述的等式Ia而執(zhí)行。一旦從步驟218獲得了運(yùn)動增量值d(t)，如步驟220所示，可使用運(yùn)動增量值d(t)和來自前一幀的對應(yīng)于空間位置(j，i)的運(yùn)動歷史輸入值h(t-l)來確定運(yùn)動表查找索引。此外，盡管未示出，一旦知道了運(yùn)動增量值d(t)，在步驟220中還可以例如通過使用上述的等式3a來確定對應(yīng)于當(dāng)前像素x(t)的運(yùn)動歷史值h(t)。此后，在步驟222，可使用來自步驟220的運(yùn)動表查找索引從運(yùn)動表192中選擇第一濾波器系數(shù)K?？梢砸勒丈鲜龅牡仁?a來執(zhí)行運(yùn)動表查找索引的確定和從運(yùn)動表中對第一濾波器系數(shù)K的選擇。接著，在步驟224，可以從亮度表194中選擇衰減因子。例如，亮度表194可包括范圍大致從O至I的衰減因子，并且可以使用當(dāng)前像素x(t)的值作為查找索引來從亮度表194中選擇衰減因子。一旦選擇了衰減因子，在步驟226，如以上公式4a所示，可使用選擇的衰減因子和第一濾波器系數(shù)K(來自步驟222)來確定第二濾波器系數(shù)K’。接著在步驟228，可基于第二濾波器系數(shù)K’(來自步驟224)、同位置的參考像素r(t-l)的值和輸入像素x(t)的值來確定對應(yīng)于當(dāng)前輸入像素X(t)的時域濾波輸出值y(t)。例如，在一個實施例中，可依照上述的等式5a來確定輸出值I(t)。參考圖14，更詳細(xì)地例示了依照一個實施例的來自方法214的用于確定運(yùn)動增量值d(t)的步驟218。具體而言，運(yùn)動增量值d(t)的確定一般對應(yīng)于依照以上等式Ia所描述的操作。如圖所示，步驟218可包括子步驟232-238。其開始于子步驟232，識別與當(dāng)前輸入像素x(t)具有相同顏色值的三個水平相鄰像素的集合。作為示例，依照圖12所示的實施例，圖像數(shù)據(jù)可包括拜耳圖像數(shù)據(jù)，并且三個水平相鄰像素可包括當(dāng)前輸入像素x(t)(208)、在當(dāng)前輸入像素208左邊的相同顏色的第二像素206和在當(dāng)前輸入像素208右邊的相同顏色的第三像素。接著，在子步驟234，識別與所選擇的三個水平相鄰像素206、208和210的集合相對應(yīng)的來自前一幀的三個同位置參考像素200、202和204。使用選擇的像素206、208和210以及三個同位置參考像素200、202和204，在子步驟236中確定分別在三個選擇的像素206、208和210中的每一個與其對應(yīng)的同位置參考像素200、202和204之間的差的絕對值。隨后，在子步驟238，將來自子步驟236的三個差的最大值選為用于當(dāng)前輸入像素X(t)的運(yùn)動增量值d(t)。如上所述，例示了如等式Ia所示的運(yùn)動增量值計算技術(shù)的圖14僅旨在提供一個實施例。實際上，如上所述，可以使用其中當(dāng)前像素位于陣列中心處的任何合適的具有相同顏色像素的二維陣列來確定運(yùn)動增量值(例如，等式lb)。圖15中進(jìn)一步描繪了用于對圖像數(shù)據(jù)應(yīng)用時域濾波的技術(shù)的另一個實施例。例如，因為圖像數(shù)據(jù)的不同顏色分量的信噪比可能不同，增益可被應(yīng)用到當(dāng)前像素，使得當(dāng)前像素可在從運(yùn)動表192和亮度表194中選擇運(yùn)動和亮度值之前進(jìn)行增益。通過應(yīng)用取決于顏色的相應(yīng)增益，不同顏色分量的信噪比可以更趨于一致。僅作為示例，在一種使用原始拜耳圖像數(shù)據(jù)的實現(xiàn)中，相對于綠色(Gr和Gb)顏色通道，紅色和藍(lán)色顏色通道可能一般更加靈敏。因此，通過對每個經(jīng)處理的像素應(yīng)用合適的取決于顏色的增益，一般可以降低各個顏色分量之間的信噪比差異，由此(尤其)降低重影偽像(ghostingartifacts),并改善在自動白平衡增益之后不同顏色之間的一致性。帶著這樣的思想，圖15提供了一種依照這樣一個實施例的描繪用于對由前端處理單元130接收到的圖像數(shù)據(jù)應(yīng)用時域濾波的方法240的流程圖。其開始于步驟242，時域濾波系統(tǒng)190接收位于圖像數(shù)據(jù)當(dāng)前幀的空間位置(j，i)處的當(dāng)前像素x(t)。在步驟244，至少部分地基于來自該圖像數(shù)據(jù)的前一幀(例如緊挨在當(dāng)前幀之前的圖像幀)的一個或多個同位置的參考像素(例如r(t-1))來確定用于當(dāng)前像素x(t)的運(yùn)動增量值d(t)。步驟244與圖13的步驟218相類似，并且可以利用以上等式I所示的運(yùn)算。接著，在步驟246，可使用運(yùn)動增量值d(t)、來自前一幀的對應(yīng)于空間位置(j，i)的運(yùn)動歷史輸入值h(t-1)(例如對應(yīng)于同位置的的參考像素r(t-1))、和與當(dāng)前像素的顏色相關(guān)聯(lián)的增益，來確定運(yùn)動表查找索引。此后，在步驟248，可使用步驟246確定的運(yùn)動表查找索引來從運(yùn)動表304中選擇第一濾波器系數(shù)K。僅作為示例，在一個實施例中，可如下確定濾波器系數(shù)K和運(yùn)動表查找索引K=M[gain[c]X(d(j,i,t)+h(j,i,t-1))],(2b)其中M表示運(yùn)動表，并且其中g(shù)ain[c]對應(yīng)于與當(dāng)前像素的顏色相關(guān)聯(lián)的增益。此夕卜，盡管未在圖15中示出，應(yīng)當(dāng)理解用于當(dāng)前像素的運(yùn)動歷史輸出值h(t)也可被確定，并可被用于對隨后圖像幀(例如下一幀)的同位置的像素應(yīng)用時域濾波。在本實施例中，可使用如下公式來確定用于當(dāng)前像素x(t)的運(yùn)動歷史輸出h(t)h(j,i,t)=d(j,i,t)+K[h(j,i,t-l)-d(j,i,t)](3b)接著在步驟250，可使用基于與當(dāng)前像素x(t)的顏色相關(guān)聯(lián)的增益(gain[c])而確定的亮度表查找索引來從亮度表194中選擇衰減因子。如上所述，存儲在亮度表中的衰減因子可具有大致從0至I的范圍。此后，在步驟252，可基于衰減因子(來自步驟250)和第一濾波器系數(shù)K(來自步驟248)來計算第二濾波器系數(shù)K’。僅作為示例，在一個實施例中，可如下確定第二濾波器系數(shù)K’和亮度表查找索引K'=KXL[gain[c]Xx(j,i,t)](4b)接著，在步驟254，基于第二濾波器系數(shù)K’(來自步驟252)、同位置的參考像素r(t-l)的值和輸入像素x(t)的值，確定對應(yīng)于當(dāng)前輸入像素x(t)的時域濾波輸出值y(t)ο例如，在一個實施例中，可如下確定輸出值y(t)y(j,i,t)=x(j,i,t)+K'(r(j,i,t~l)-χ(j,i,t))(5b)繼續(xù)到圖16，描繪了時域濾波處理260的另一實施例。這里，可按照與圖15所討論的實施例相類似的方式來完成時域濾波處理260，不同之處在于，代替對每個輸入像素應(yīng)用取決于顏色的增益(例如gain[c])和使用共享的運(yùn)動和亮度表，為每個顏色分量提供單獨的運(yùn)動和亮度表。例如，如圖16所示，運(yùn)動表192可包括對應(yīng)于第一種顏色的運(yùn)動表192a，對應(yīng)于第二種顏色的運(yùn)動表192b和對應(yīng)于第η種顏色的運(yùn)動表192c，其中η取決于原始圖像數(shù)據(jù)中存在的顏色的數(shù)量。類似的，亮度表194可包括對應(yīng)于第一種顏色的亮度表194a，對應(yīng)于第二種顏色的亮度表194b和對應(yīng)于第η種顏色的亮度表194c。因此，在原始圖像數(shù)據(jù)是拜耳圖像數(shù)據(jù)的實施例中，可以提供三個運(yùn)動和亮度表分別用于紅色、藍(lán)色和綠色顏色分量。如上所述，濾波系數(shù)K和衰減因子的選擇可以取決于為當(dāng)前顏色(例如當(dāng)前輸入像素的顏色)所選擇的運(yùn)動和亮度表。圖17示出了一種例示使用取決于顏色的運(yùn)動和亮度表來進(jìn)行時域濾波的另一個實施例的方法270。將明了的是，方法270可采用的各種計算和公式可以與如圖13所示的實施例相似，但其為每個顏色選擇特定的運(yùn)動和亮度表；或者與如圖15所示的實施例相似，但其用取決于顏色的運(yùn)動和亮度表的選擇來代替取決于顏色的增益gain[c]的使用。開始于步驟272，時域濾波系統(tǒng)260(圖16)接收位于圖像數(shù)據(jù)的當(dāng)前幀的空間位置(j，i)的當(dāng)前像素χ(t)。在步驟274，至少部分地基于來自圖像數(shù)據(jù)的前一幀(例如緊挨在當(dāng)前幀之前的圖像幀)的一個或多個同位置的參考像素(例如r(t-Ι))來為當(dāng)前像素χ(t)確定運(yùn)動增量值d(t)。步驟274可以與圖13中的步驟218類似，并且可以利用如上述等式I所示的運(yùn)算。接著，在步驟276，可使用運(yùn)動增量值d(t)和來自前一幀的與空間位置(j，i)相對應(yīng)的運(yùn)動歷史輸入值h(t-l)(例如對應(yīng)于同位置的參考像素r(t-l))來確定運(yùn)動表查找索弓I。此后在步驟278，可基于當(dāng)前輸入像素的顏色從可用的運(yùn)動表(例如192a、192b、192c)之一中選擇第一濾波器系數(shù)K。例如，一旦識別出合適的運(yùn)動表，可使用在步驟276中確定的運(yùn)動表查找索引選擇第一濾波器系數(shù)K。在選擇了第一濾波器系數(shù)K之后，如步驟280所示，選擇對應(yīng)于當(dāng)前顏色的亮度表，并且基于當(dāng)前像素X(t)的值從選擇的亮度表中選擇衰減因子。此后，在步驟282，基于衰減因子(來自步驟280)和第一濾波器系數(shù)K(步驟278)確定第二濾波器系數(shù)K’。接著，在步驟284，基于第二濾波器系數(shù)K’(來自步驟282)、同位置的的參考像素r(t_l)的值和輸入像素x(t)的值來確定對應(yīng)于當(dāng)前輸入像素x(t)的時域濾波輸出值y(t)。雖然圖17所示的技術(shù)實現(xiàn)起來可能成本更高(例如因為需要用于存儲附加的運(yùn)動和亮度表的存儲器)，但在某些情況下，其可以對重影偽像以及自動白平衡增益之后的不同顏色間的一致性提供進(jìn)一步的改善。依照另一個實施例，由時域濾波器180提供的時域濾波處理可以利用取決于顏色的增益和特定于顏色的運(yùn)動和/或亮度表的組合對輸入像素應(yīng)用時域濾波。例如，在這樣的一個實施例中，為所有顏色分量提供單個運(yùn)動表，并且可基于取決于顏色的增益來確定用于從運(yùn)動表中選擇第一濾波系數(shù)(K)的運(yùn)動表查找索引(例如，如圖15中的步驟246-248所示)，而亮度表查找索引則可不被應(yīng)用以取決于顏色的增益，而是可被用于從取決于當(dāng)前輸入像素的顏色的多個亮度表之一中選擇明亮度衰減因子(例如如圖17所示的步驟280)。作為替換，在另一個實施例中，可提供多個運(yùn)動表，并且可使用運(yùn)動表查找索引(沒有應(yīng)用取決于顏色的增益)從對應(yīng)于當(dāng)前輸入像素的顏色的運(yùn)動表中選擇第一濾波系數(shù)(K)(例如如圖17所示的步驟278)，然而可為所有顏色分量提供單個亮度表，并且其中可基于取決于顏色的增益來確定用于選擇明亮度衰減因子的亮度表查找索引(例如，如圖15所示的步驟250-252)。此外，在利用拜耳濾色器陣列的一個實施例中，可以為紅色(R)和藍(lán)色(B)顏色分量中的每一個提供一個運(yùn)動表和/或亮度表，而可以為兩個綠色顏色分量(Gr和Gb)提供共用的運(yùn)動表和/或亮度表。隨后可將時域濾波器180的輸出發(fā)送到像素合并補(bǔ)償濾波器(BCF)182，后者可處理圖像像素以補(bǔ)償顏色樣本的非線性分布，使得隨后在ISP流水邏輯82中的取決于顏色樣本的線性分布的圖像處理操作(例如去馬賽克等)能夠正確運(yùn)行。此外，BCF182還可通過應(yīng)用一個或多個縮放操作，諸如垂直和/或水平縮放，來處理像素數(shù)據(jù)。圖18示出了依照一個公開的實施例的可包括縮放邏輯292和微分分析器294的像素合并補(bǔ)償濾波器182的框圖，并且圖19示出了可用于執(zhí)行縮放操作的處理296。如圖18所示，縮放邏輯292可產(chǎn)生輸出FEProc0ut(109)，如上所述的，F(xiàn)EProcOut(109)可被轉(zhuǎn)發(fā)到ISP流水邏輯82以供其它處理，下面將對此進(jìn)行進(jìn)一步討論。在一個實施例中，可使用一個或多個多抽頭多相濾波器來執(zhí)行由BCF182的執(zhí)行的(一個或多個)縮放操作，該多抽頭多相濾波器可從源圖像中選擇像素，將每個像素乘以加權(quán)因子，然后計算像素值的總和以形成目的像素。應(yīng)當(dāng)理解，縮放操作中所使用的像素的選擇可至少部分取決于當(dāng)前像素位置和濾波器提供的抽頭數(shù)量。此外，濾波操作可以使用相同顏色的像素對每個顏色分量進(jìn)行，并且加權(quán)因子(或系數(shù))可以從查找表獲得并基于當(dāng)前的像素間分?jǐn)?shù)位置來確定。在所描繪的實施例中，微分分析器294可以是數(shù)字微分分析器(DDA)，并且可以被配置為在縮放操作期間控制當(dāng)前像素位置。僅作為示例，DDA294可被提供為32位數(shù)據(jù)寄存器，其包含具有12位整數(shù)部分和20位分?jǐn)?shù)部分的二進(jìn)制補(bǔ)碼定點數(shù)。12位整數(shù)部分可被用于確定當(dāng)前像素位置。分?jǐn)?shù)部分被用作到系數(shù)表中的索引。在一個實施例中，垂直和水平縮放部件可利用8深度系數(shù)表，由此20位分?jǐn)?shù)部分的3個高位被用于索引。為了提供基于32位DDA寄存器(DDA[31:0])的例子，當(dāng)前中心源像素位置(currPixel)可由12位整數(shù)部分DDA[21:20]來定義，并且如果下一位DDA[19]為I則可以向上取整(+1)。然后，與currPixel鄰近的像素的源像素值可以根據(jù)濾波器提供的抽頭數(shù)量來獲得。例如，在一個實施例中，垂直縮放可以用3抽頭多相濾波器來執(zhí)行，從而currPixel每一側(cè)的具有相同顏色的一個像素被選擇(例如，-1,0,+1)，而水平縮放可以用5抽頭多相濾波器來執(zhí)行，其中currPixel每一側(cè)的具有相同顏色的兩個像素被選擇(例如，-2，-1，0，+1，+2)。進(jìn)一步地，每個抽頭可具有其自己相應(yīng)的系數(shù)表。因而，可以為3抽頭垂直縮放濾波器提供三個8深度表，并且可以為5抽頭水平縮放濾波器提供五個8深度表。當(dāng)前系數(shù)索引(currlndex)可以由DDA[19:16](分?jǐn)?shù)部分DDA[19:0]的3個高位)來定義，并且如果下一位DDA[15]為I則可以向上取整(+1)。因此，在BCF182中發(fā)生的濾波處理可包括獲取在中心像素(currPixel)周圍的源像素值，并將它們乘以利用currlndex從表中訪問得到的合適的系數(shù)。一旦完成了針對給定像素的濾波處理，步進(jìn)值(DDAst印)可被加到DDA294以確定下一像素的位置，并且可以為該隨后的像素重復(fù)濾波/縮放操作。這進(jìn)一步由圖19中說明的處理296示出。例如，在步驟298開始，DDA294被初始化并且當(dāng)前像素位置被識別。如上面所討論的，當(dāng)DDA294包括32位寄存器以用于存儲二進(jìn)制補(bǔ)碼定點數(shù)時，當(dāng)前像素位置可以由寄存器數(shù)據(jù)的高12位(整數(shù)部分)來指定。在步驟300，為垂直和水平縮放二者執(zhí)行多抽頭濾波。例如，假設(shè)分別為垂直和水平濾波使用3抽頭和5抽頭多相濾波器，并且假設(shè)圖像傳感器90使用拜耳顏色濾波器模式(圖2)，則垂直縮放部件可包括四個分開的3抽頭多相濾波器，各自用于一個顏色分量Gr、R、B和Gb。每個3抽頭濾波器可使用一個DDA來控制當(dāng)前中心像素的步進(jìn)和用于系數(shù)的索弓I。同樣，水平縮放部件可包括四個分開的5抽頭多相濾波器，各自用于一個顏色分量Gr、R、B和Gb。每個5抽頭濾波器可使用一個DDA來控制當(dāng)前中心像素的步進(jìn)和用于系數(shù)的索弓I。對于邊界的情況，水平和垂直濾波處理中所使用的像素可取決于由DDA所確立的當(dāng)前像素的位置。例如,如果DDA值表明當(dāng)前像素(currPixel)靠近幀邊界，從而濾波器所需的源像素中的一個或多個位于邊界之外，則可以重復(fù)邊界像素。最后，如步驟302所示，一旦針對給定當(dāng)前像素(currPixel)的垂直和水平縮放操作已經(jīng)完成，DDA294可步進(jìn)到下一像素的位置，并且處理296可返回步驟300以便對下一像素執(zhí)行垂直和水平縮放。如上所述的，BCF182的輸出(其可以是輸出FEProcOut(109))可被轉(zhuǎn)發(fā)到ISP流水處理邏輯82以供其他處理。然而，在將該討論的焦點轉(zhuǎn)移到ISP流水處理邏輯82之前，首先將給出對可在ISP前端邏輯80中實現(xiàn)的統(tǒng)計處理單元(例如122和124)可提供的各種功能的更詳細(xì)描述。重新參考統(tǒng)計處理單元120和122的一般描述，這些單元可被配置為收集關(guān)于捕捉并提供原始圖像信號(SifO和Sifl)的圖像傳感器的各種統(tǒng)計信息，例如關(guān)于自動曝光、自動白平衡、自動對焦、閃爍檢測、黑度補(bǔ)償和鏡頭明暗校正等的統(tǒng)計信息。因此，統(tǒng)計處理單元120和122首先可向它們各自的輸入信號SifO(來自傳感器O)和Sifl(來自傳感器I)應(yīng)用一個或多個圖像處理操作。例如，參考圖20，例示了依照一個實施例的與傳感器O(90a)相關(guān)聯(lián)的統(tǒng)計處理單元120的更詳細(xì)方框圖視圖。如圖所示，統(tǒng)計處理單元120可包括以下功能塊缺陷像素檢測和校正邏輯304、黑度補(bǔ)償(BLC)邏輯306、鏡頭明暗校正邏輯308、逆BLC邏輯310和統(tǒng)計信息收集邏輯312。以下將討論這些功能塊的每一個。此外，應(yīng)當(dāng)理解的是可以通過類似的方式來實現(xiàn)與傳感器I(90b)相關(guān)聯(lián)的統(tǒng)計處理單元122。首先，通過前端缺陷像素校正邏輯304來接收選擇邏輯124的輸出(SifO或SiflnO)。將明了的是，“缺陷像素”可以理解為在圖像傳感器90內(nèi)的無法準(zhǔn)確感應(yīng)光水平的成像像素。缺陷像素可歸咎于一些因素，并且其可包括“燥點(hotpixel)”(或漏電像素)、“亮點(stuckpixel)”和“壞點(deadpixel)”?！霸稂c”一般表現(xiàn)為比對于在相同空間位置的給予相同光亮的非缺陷像素更亮。燥點的產(chǎn)生可歸因于重置失敗和/或高泄漏。例如，燥點可呈現(xiàn)出比非缺陷像素的正常電荷泄漏更高的電荷泄漏，因此可能比非缺陷像素表現(xiàn)得更亮。此外，“壞點”和“亮點”可能是諸如灰塵或其他微量材料之類的雜質(zhì)在制造和/或裝配過程中污染了圖像傳感器的結(jié)果，其可導(dǎo)致某些缺陷像素比非缺陷像素更暗或更亮，或者可導(dǎo)致缺陷像素固定在特定值而不管其實際曝光的光量。此外，在圖像傳感器操作期間發(fā)生的電路故障也可導(dǎo)致壞點和亮點。作為示例，亮點可以看上去為常開(全充電)并且因此看上去更亮，而壞點則看上去為常關(guān)。在ISP前端邏輯80中的缺陷像素檢測和校正(Droc)邏輯304可在統(tǒng)計信息收集(例如312)中考慮缺陷像素之前對這些缺陷像素進(jìn)行校正(例如替換缺陷像素值)。在一個實施例中，對于每個顏色分量(例如拜耳模式的R、B、Gr和Gb)獨立地執(zhí)行缺陷像素校正。一般來說，前端DPDC邏輯304可提供動態(tài)缺陷校正，其中可基于使用相同顏色的鄰近像素算出的方向性梯度來自動地確定缺陷像素的位置。將理解的是，在給定時刻將某個像素認(rèn)為是有缺陷的像素可取決于鄰近像素中的圖像數(shù)據(jù)，在此意義上缺陷可以是“動態(tài)的”。作為示例，如果總是處于最大亮度的亮點的位置處于當(dāng)前圖像的由更亮顏色或白色主導(dǎo)的區(qū)域內(nèi)，那么該亮點可能不會被認(rèn)為是缺陷像素。相反，如果亮點處于當(dāng)前圖像的由黑色或更暗顏色主導(dǎo)的區(qū)域，則在由DPDC邏輯304處理期間該亮點可被識別為缺陷像素，并被相應(yīng)地校正。DPDC邏輯304可利用在當(dāng)前像素每一側(cè)的一個或多個具有相同顏色的水平鄰近像素，使用像素至像素方向性梯度來確定當(dāng)前像素是否有缺陷。如果當(dāng)前像素被識別為缺陷的，可使用水平鄰近像素的值來代替缺陷像素的值。例如，在一個實施例中，使用在原始幀154(圖9)邊界內(nèi)的五個具有相同顏色的水平鄰近像素，其中這五個水平鄰近像素包括當(dāng)前像素和每一側(cè)的兩個鄰近像素。因此，如圖21所示，對于給定的顏色分量c和當(dāng)前像素P，DPDC邏輯304可考慮水平的鄰居像素PO、PUP2和P3。然而，應(yīng)當(dāng)注意的是，取決于當(dāng)前像素P的位置，當(dāng)計算像素至像素梯度時，不考慮在原始幀154之外的像素。例如，如圖21所示，在“左邊緣”情況314中，當(dāng)前像素P位于原始幀154的最左邊，因此不考慮在原始幀154之外的鄰近像素PO和P1，僅留下像素P、P2和P3(N=3)。在“左邊緣+1”情況316中，當(dāng)前像素P離原始幀154的最左邊一個單位像素，因此不考慮像素PO。僅留下像素P1、P、P2和P3(N=4)。此外，在“居中”情況318中，在當(dāng)前像素P左側(cè)的像素PO和Pl和在當(dāng)前像素右側(cè)的像素P2和P3都處于原始幀154邊界之內(nèi)，因此在計算像素至像素梯度時考慮所有鄰近像素PO、PUP2和P3(N=5)。此外，還可遇到接近原始幀154的最右邊的類似情況320和322。例如，在“右邊緣_1”情況320中，當(dāng)前像素P離原始幀154的最右邊一個單位像素，因此不考慮像素P3(N=4)。同樣的，在“右邊緣”情況322中，當(dāng)前像素P處于原始幀154的最右邊，因此不考慮鄰近像素P2和P3(N=3)。在所示的實施例中，對于在圖片(例如原始幀154)邊界內(nèi)的每個鄰近像素(k=0至3)，可如下計算像素至像素梯度Gk=abs(P-Pk)，對于0彡k彡3(僅對于在原始巾貞內(nèi)的k)(6)一旦確定了像素至像素梯度，將由DPDC邏輯304執(zhí)行如下的缺陷像素檢測。首先，如果一定數(shù)量的像素梯度Gk等于或小于由變量dprTh表示的特定閾值，則假設(shè)該像素是有缺陷的。因此對于每個像素，圖片邊界內(nèi)的鄰近像素等于或小于閾值dprTh的梯度數(shù)量的計數(shù)(C)被累加。作為示例，對于原始幀154內(nèi)的每個鄰居像素，可如下的計算等于或小于閾值dprTh的梯度Gk的累加計數(shù)CC=t(Gk<dprTh),(T)k對于O彡k彡3(僅對于在原始幀內(nèi)的k)將明了的是，取決于顏色分量，閾值dprTh可以是變化的。接著，如果累加的計數(shù)C被確定為小于或等于由變量dprMaxC表示的最大計數(shù)，則像素可被考慮為是有缺陷的。該邏輯由以下表示if(C<dprMaxC)，then像素是有缺陷的。(8)使用多種替代約定來對缺陷像素進(jìn)行替代。例如，在一個實施例中，可使用緊靠其左邊的像素Pl來代替缺陷像素。在一種邊界情況下(例如Pl位于原始幀154之外)，可使用緊靠其右邊的像素P2來代替缺陷像素。此外，應(yīng)當(dāng)理解的是，替代值可被保留或傳播以用于后續(xù)的缺陷像素檢測操作。例如，參考如圖21所示的水平像素集合，如果PO或Pl在之前被DPDC邏輯304識別為缺陷像素，則它們對應(yīng)的替代值可被用于當(dāng)前像素P的缺陷像素檢測和替代為了總結(jié)上述的缺陷像素檢測和校正技術(shù)，圖22提供了描繪這種處理的流程圖，并由參考標(biāo)記330指代。如圖所示，處理330開始于步驟332，其中接收當(dāng)前像素(P)并識別一組鄰居像素。依照以上所述的實施例，鄰居像素可包括來自當(dāng)前像素相對兩側(cè)的具有相同顏色分量的兩個水平像素(例如P0、P1、P2和P3)。接著，在步驟334，如以上等式6所述，針對原始幀154內(nèi)的每個鄰近像素計算水平方向的像素至像素梯度。此后，在步驟336，確定小于或等于特定閾值dprTh的梯度的數(shù)量的計數(shù)C。如判定邏輯338所示，如果C小于或等于dprMaxC，則處理330繼續(xù)到步驟340，并且當(dāng)前像素被識別為有缺陷的。接著在步驟342使用替代值來校正缺陷像素。另外，再參考判定邏輯338，如果C大于dprMaxC，則處理繼續(xù)到步驟344，并且當(dāng)前像素被識別為沒有缺陷，且其值不被改變。應(yīng)當(dāng)注意的是在ISP前端統(tǒng)計處理期間應(yīng)用的缺陷像素檢測/校正技術(shù)可能比在ISP流水邏輯82中執(zhí)行的缺陷像素檢測/校正的魯棒性要差。例如，如以下將進(jìn)一步詳細(xì)討論的，在ISP流水邏輯82中執(zhí)行的缺陷像素檢測/校正除了動態(tài)缺陷校正之外還可提供固定缺陷校正，其中可先驗得知缺陷像素的位置，并將其載入一個或多個缺陷表。此外，如下所述，在ISP流水邏輯82中的動態(tài)缺陷校正還可以考慮水平和垂直方向兩者上的像素梯度，并且還可以提供對斑點(speckle)的檢測/校正?；氐綀D20，DPDC邏輯304的輸出隨后被傳送到黑度補(bǔ)償(BLC)邏輯306。BLC邏輯306可為每個顏色分量“c”(例如拜耳的R、B、Gr和Gb)中用于統(tǒng)計信息收集的像素獨立地提供數(shù)字增益、偏移和截短(clipping)。例如，如以下運(yùn)算所示，首先通過帶符號的值來偏移當(dāng)前像素的輸入值，接著將其乘上增益。Y=(X+0[c])XG[c],(9)其中X表示給定顏色分量c(例如R、B、Gr或Gb)的輸入像素值，O[c]表示當(dāng)前顏色分量c的帶符號的16位偏移量，以及G[c]表示該顏色分量c的增益值。在一個實施例中，增益G[c]可以是具有2個整數(shù)位和14個分?jǐn)?shù)位的16位無符號數(shù)(例如以浮點表示的2.14)，并且可對增益G[c]應(yīng)用舍入。僅作為示例，增益G[c]可具有在O至4X(例如輸入像素值的四倍)之間的范圍。接著，如以下等式10所示，可將計算得到的帶符號的值Y截短到最小值和最大值范圍Y=(Y〈min[c])min[c]:(Y>max[c])max[c]:Y)(10)變量min[c]和max[c]分別表示最小和最大輸出值的帶符號的16位截短值。在一個實施例中，BLC邏輯306還可被配置成分別為每個顏色分量保存在最大值之上和在最小值之下而被截短的像素的數(shù)量的計數(shù)。隨后，BLC邏輯306的輸出被轉(zhuǎn)發(fā)到鏡頭明暗校正(LSC)邏輯308。LSC邏輯308可被配置為逐像素地應(yīng)用合適的增益以補(bǔ)償強(qiáng)度的衰落，該強(qiáng)度衰落一般大致正比于與成像設(shè)備30的鏡頭88的光學(xué)中心的距離。可以明了的是，這種衰落可能是鏡頭的幾何光學(xué)的結(jié)果。作為示例，具有理想光學(xué)性質(zhì)的鏡頭可被建模為入射角余弦的四次方，即cos4(0)，其被稱為cos4定律。然而，由于鏡頭制造工藝并非完美，鏡頭中的各種不規(guī)則性可能導(dǎo)致光學(xué)性質(zhì)偏離假設(shè)的cos4模型。例如，鏡頭的較薄的邊緣(thinneredged)通常呈現(xiàn)最大的不規(guī)則性。另外，鏡頭明暗圖案的不規(guī)則性也可能是在圖像傳感器內(nèi)的微透鏡陣列沒有與濾色器陣列完美對齊的結(jié)果。此外，在一些鏡頭中的紅外(IR)濾波器也可能導(dǎo)致衰落取決于發(fā)光體，于是可以根據(jù)檢測到的光源來調(diào)整鏡頭明暗增益。參考圖23，例示了用于描述典型鏡頭的光強(qiáng)度相對于像素位置的三維分布346。如圖所示，光強(qiáng)度從鏡頭的中心348附近向鏡頭的角落或邊緣350逐漸降低?？赏ㄟ^圖24更好的例示圖23中所描繪的鏡頭明暗不規(guī)則性，圖24示出了展示向著角落和邊緣而光強(qiáng)度降低的圖像352的有色圖。更具體的，應(yīng)當(dāng)注意的是在大致位于圖像中心的光強(qiáng)度看上去比位于圖像的角落和/或邊緣的光強(qiáng)度更亮。依據(jù)本技術(shù)的一些實施例，鏡頭明暗校正增益可被指定為每個顏色通道(例如用于拜耳濾波器的Gr、R、B、Gb)—個二維增益柵格。增益柵格點可在原始幀154(圖24)內(nèi)以固定的水平和垂直間隔分布。如以上圖9所討論的，原始幀154可包括活動區(qū)域156，其定義了由特定圖像處理操作對其執(zhí)行處理的區(qū)域。關(guān)于鏡頭明暗校正操作，在原始幀區(qū)域154內(nèi)定義了可被稱為LSC區(qū)域的活動處理區(qū)域。如以下將討論的那樣，LSC區(qū)域必須完全在增益柵格邊界內(nèi)或邊界處，否則結(jié)果可能是不明確的。例如，參考圖25，示出了可在原始幀154內(nèi)定義的LSC區(qū)域354和增益柵格356。LSC區(qū)域354可具有寬358和高360，并且可由相對于原始幀154邊界的x偏移量362和y偏移量364來定義。還可提供從增益柵格356的基準(zhǔn)370到LSC區(qū)域354內(nèi)的第一個像素372的柵格偏移量(例如柵格X偏移量366和柵格Y偏移量368)。這些偏移量可以位于用于給定顏色分量的第一柵格間隔內(nèi)?？煞謩e為每個顏色通道獨立地指定水平(X方向)和垂直(y方向)柵格點間隔374和376。如上所述，假設(shè)使用了拜耳濾色器陣列，則可定義4個具有柵格增益的顏色通道(R、B、Gr和Gb)。在一個實施例中，總共有4K(4096)個柵格點可用，并且例如可通過使用指示器，為每個顏色通道提供用于柵格增益的開始位置的基準(zhǔn)地址。此外，還可以以在一個顏色平面的分辨率下的像素為單位來定義水平(374)和垂直(376)柵格點間隔，在特定實施例中，在水平和垂直方向上可分別提供2的冪(例如8、16、32、64或128等)個像素的柵格點間隔。可以明了的是，通過利用2的冪，可以使用移位(例如除法)和相加操作來獲得增益內(nèi)插的有效實現(xiàn)。使用這些參數(shù)，即使圖像傳感器裁剪區(qū)域發(fā)生改變?nèi)钥墒褂孟嗤脑鲆嬷?。例如，只有少?shù)參數(shù)需要被更新以將柵格點對齊到裁剪區(qū)域(例如更新柵格偏移量374和376)，而非更新所有的柵格增益值。僅作為示例，這在數(shù)字變焦操作期間使用裁剪時可能是有益的。此外，雖然如圖25的實施例所示的增益柵格356被描繪為具有基本相等間隔的柵格點，但是應(yīng)當(dāng)理解在其他實施例中，柵格點不是必須相等間隔。例如，在一些實施例中，柵格點可以非均勻地分布(例如對數(shù)分布)，使得柵格點在LSC區(qū)域354的中心較不集中，而向著LSC區(qū)域354的角落(通常在那里鏡頭明暗失真更容易被察覺)更為集中。依照此處公開的鏡頭明暗校正技術(shù)，在當(dāng)前像素位置位于LSC區(qū)域354之外時，不應(yīng)用增益(例如像素未經(jīng)改變地通過)。在當(dāng)前像素位置位于增益柵格位置時，可以使用該特定柵格點處的增益值。然而，在當(dāng)前像素位置位于柵格點之間時，可使用雙線性內(nèi)插來內(nèi)插增益。以下圖26提供了一種為像素位置“G”內(nèi)插增益的例子。如圖26所示，像素G位于柵格點GO、Gl、G2和G3之間，GO、Gl、G2和G3可分別對應(yīng)于當(dāng)前像素位置G的左上、右上、左下和右下增益。柵格間隔的水平和垂直大小分別由X和Y表示。另外，ii和jj分別表示相對于左上增益GO的位置的水平和垂直像素偏移量。基于這些因子，可如下內(nèi)插對應(yīng)于位置G的增益c—mr—n)(x—//))+(GUY—.am)+(Q2(jj)(x—m)+((mmum(輯XY隨后可組合以上等式Ila中的各項以獲得下述表達(dá)式一XYκ}在一個實施例中，可以增量方式執(zhí)行該內(nèi)插法，以代替對每個像素使用乘法器，從而降低計算復(fù)雜度。例如，可使用可在增益柵格356的位置(0，O)處被初始化為O并每次當(dāng)前列號增大一個像素時以當(dāng)前行號作為增量的加法器來實現(xiàn)項(ii)(jj)。如上所述，因為可將X和Y的值選為2的冪，于是可以使用簡單的移位操作來實現(xiàn)增益內(nèi)插。因此，僅在柵格點GO(而非每個像素)處需要乘法器，并且僅需要加法操作以確定用于剩下的像素的內(nèi)插增益。在特定實施例中，在柵格點之間的增益的內(nèi)插可使用14位精度，且柵格增益可以是具有2個整數(shù)位和8個分?jǐn)?shù)位的不帶符號的10位值(例如2.8浮點表示)。使用該約定，增益可具有在O至4X之間的范圍，并且在柵格點之間的增益分辨率可以是1/256。鏡頭明暗校正技術(shù)可由圖27所示的處理380進(jìn)一步例示。如圖所示，處理380開始于步驟382，其中確定當(dāng)前像素相對于圖25的LSC區(qū)域354邊界的位置。接著，判定邏輯384確定當(dāng)前像素位置是否在LSC區(qū)域354之內(nèi)。如果當(dāng)前像素位置在LSC區(qū)域354之夕卜，處理380繼續(xù)到步驟386，并且不對當(dāng)前像素應(yīng)用增益(例如，像素未經(jīng)改變地通過)。如果當(dāng)前像素位置在LSC區(qū)域354之內(nèi)，處理380繼續(xù)到判定邏輯388，在此進(jìn)一步確定當(dāng)前像素位置是否對應(yīng)于在增益柵格354內(nèi)的柵格點。如果當(dāng)前像素位置對應(yīng)于柵格點，則如步驟390所示，選擇在該柵格點的增益值并將其應(yīng)用到當(dāng)前像素。如果當(dāng)前像素位置不對應(yīng)于柵格點，則處理380繼續(xù)到步驟392，并基于其周圍的柵格點(例如圖26的GO、GUG2和G3)來內(nèi)插增益。例如，可依照如上所述的等式Ila和Ilb來計算內(nèi)插增益。此后，處理380結(jié)束于步驟394，在此將來自步驟392的內(nèi)插增益應(yīng)用至當(dāng)前像素。將明了的是，可對圖像數(shù)據(jù)的每個像素重復(fù)處理380。例如，如圖28所示，例示了描繪可被應(yīng)用到LSC區(qū)域(例如354)內(nèi)的每個像素位置的增益的三維分布。如圖所示，應(yīng)用到圖像角落396的增益通常可大于應(yīng)用到圖像中心398的增益，這是因為如圖23和24所示，角落具有更大的光強(qiáng)度衰落。使用此處描述的鏡頭明暗校正技術(shù)，可以減少或基本上消除圖像中呈現(xiàn)出的光強(qiáng)度衰落。例如，圖29提供一個在應(yīng)用了鏡頭明暗校正之后來自圖24的圖像352的有色圖將如何呈現(xiàn)的例子。如圖所示，相比于來自圖24的初始圖像，全幅圖像的整體光強(qiáng)度基本上更為均勻。更具體的，在圖像近似中心處的光強(qiáng)度可與在圖像的角落和/或邊緣處的光強(qiáng)度值大致地相等。另外，如上所述，在一些實施例中，內(nèi)插增益的計算(等式Ila和Ilb)可通過利用順序的列和行增量結(jié)構(gòu)而用柵格點之間的加性“增量”來代替。將明了的是，這會降低計算復(fù)雜度。在進(jìn)一步的實施例中，除了使用柵格增益，還為每個顏色分量使用一個全局增益，其根據(jù)與圖像中心的距離而縮放。圖像中心可被提供為輸入?yún)?shù)，且可通過分析被均勻照明的圖像內(nèi)每個圖像像素的光強(qiáng)度幅度而估計所述圖像中心。如下所示，于是可以使用在識別的中心像素和當(dāng)前像素之間的徑向距離來獲得經(jīng)線性縮放的徑向增益GrGr=Gp[c]XR,(12)其中Gp[c]表不用于每個顏色分量c(例如拜耳模式的R、B、Gr和Gb分量)的全局增益參數(shù)，并且其中R表示中心像素和當(dāng)前像素之間的徑向距離。參考示出了以上討論的LSC區(qū)域354的圖30，可使用多種技術(shù)來計算或估計距離R0如圖所示，對應(yīng)于圖像中心的像素C可具有坐標(biāo)(X(l，yci)，并且當(dāng)前像素G可具有坐標(biāo)(xG,yG)。在一個實施例中，LSC邏輯308可使用以下等式來計算距離RR=孤一^+(^—凡f(13)在另一個實施例中，可利用以下所示的更簡單的估計公式來獲得R的估計值R=aXmax(abs(xG_x0)，abs(yG-y0))+^Xmin(abs(xG_x0)，abs(yG-y0))(14)在等式14中，估計系數(shù)a和0可被縮放至8位值。僅作為示例，在一個實施例中，a可大致等于123/128，且P可大致等于51/128，以提供R的估計值。使用這些系數(shù)值，最大誤差可大致為4%，中間誤差大致為I.3%。因此，盡管該估計技術(shù)的準(zhǔn)確度多少會低于利用計算技術(shù)(等式13)來確定R，但是誤差幅度還是足夠低以使得估計值或R適用于確定本發(fā)明鏡頭明暗校正技術(shù)的徑向增益分量。接著可將徑向增益Gr乘上用于當(dāng)前像素的內(nèi)插柵格增益值G(等式Ila和Ilb)以確定可被應(yīng)用到當(dāng)前像素的總增益。如下所示，通過將輸入像素值X乘上總增益來獲得輸出像素Y:Y=(GXGrXX)(15)因此，依照本技術(shù)，可僅使用內(nèi)插增益或者使用內(nèi)插增益和徑向增益分量兩者來執(zhí)行鏡頭明暗校正。作為替換，可僅使用徑向增益連同補(bǔ)償徑向近似誤差的徑向柵格表來完成鏡頭明暗校正。例如，可以提供具有定義徑向和角向的增益的多個柵格點的徑向增益柵格以代替如圖25所示的矩形增益柵格356。因此，當(dāng)確定增益要被應(yīng)用到未與LSC區(qū)域354內(nèi)的徑向柵格點之一對齊的像素時，可以使用四個圍繞該像素的柵格點來應(yīng)用內(nèi)插以確定合適的內(nèi)插鏡頭明暗增益。參考圖31，由處理400例示了鏡頭明暗校正中內(nèi)插和徑向增益分量的使用。應(yīng)當(dāng)注意的是，處理400可以包括與在圖27中描述的處理380相似的步驟。因而，這樣的步驟被標(biāo)記為相同的參考標(biāo)號。其開始于步驟382，接收當(dāng)前像素并確定其相對于LSC區(qū)域354的位置。接著，判定邏輯384確定當(dāng)前像素位置是否處于LSC區(qū)域354之內(nèi)。如果當(dāng)前像素位置在LSC區(qū)域354之外，處理400繼續(xù)到步驟386，并且不對當(dāng)前像素應(yīng)用增益(例如，像素未經(jīng)改變地通過)。如果當(dāng)前像素位置處于LSC區(qū)域354之內(nèi)，則處理400可同時繼續(xù)到步驟402和判定邏輯388。首先參考步驟402，檢索用于識別圖像中心的數(shù)據(jù)。如上所述，確定圖像中心可包括分析在均勻照明下的像素的光強(qiáng)度幅度。例如，這可在校準(zhǔn)期間發(fā)生。因此，應(yīng)當(dāng)理解的是步驟402沒有必要包括為處理每個像素而重復(fù)計算圖像中心，而是可涉及檢索出先前確定的圖像中心的數(shù)據(jù)(例如，坐標(biāo))。一旦識別了圖像中心，處理400可繼續(xù)到步驟404，其中確定圖像中心和當(dāng)前像素位置之間的距離(R)。如上所述，可以計算(等式13)或估計(等式14)R的值。接著，在步驟406，可使用距離R和與當(dāng)前像素的顏色分量相對應(yīng)的全局增益參數(shù)來計算徑向增益分量4(等式12)。如以下將在步驟410要討論的那樣，徑向增益分量4可被用于確定總增益。參考回判定邏輯388，其確定當(dāng)前像素位置是否對應(yīng)于處于增益柵格354之內(nèi)的柵格點。如果當(dāng)前像素位置對應(yīng)于柵格點，則如步驟408所示，確定在柵格點上的增益值。如果當(dāng)前像素位置不對應(yīng)于柵格點，則處理400繼續(xù)到步驟392，并且基于其周圍的柵格點(例如，圖26的G0、G1、G2和G3)來計算內(nèi)插增益。例如，可依照以上討論的等式Ila和Ilb來計算內(nèi)插增益。接著，在步驟410，基于在步驟406確定的徑向增益以及柵格增益(步驟408)或內(nèi)插增益(392)之一來確定總增益。可以明了的是，這可取決于在處理400期間判定邏輯388采用哪一個分支。然后如步驟412所示，將總增益應(yīng)用到當(dāng)前像素。再次，應(yīng)當(dāng)注意的是，類似于處理380，也可以為圖像數(shù)據(jù)的每個像素重復(fù)處理400。徑向增益連同柵格增益的使用可提供多種優(yōu)點。例如，使用徑向增益允許對所有顏色分量使用單個共用增益柵格。這將大大減少用于為每個顏色分量存儲的單獨的增益柵格所需要的總存儲空間。例如，在拜耳圖像傳感器中，為所有R、B、Gr和Gb分量都使用單個增益柵格可以減少大約75%的增益柵格數(shù)據(jù)。將明了的是，柵格增益數(shù)據(jù)的這一減少可降低實現(xiàn)成本，因為柵格增益數(shù)據(jù)表可能會占用圖像處理硬件中存儲器或芯片區(qū)域的很大部分。此外，取決于硬件實現(xiàn)，使用單個增益柵格值集合還可提供其他優(yōu)點，例如降低總芯片面積(例如當(dāng)增益柵格值被存儲在芯片上的存儲器內(nèi)時)以及降低存儲器帶寬需求(例如當(dāng)增益柵格值被存儲在芯片外的外部存儲器內(nèi)時)。在透徹描述了如圖20所示的鏡頭明暗校正邏輯308的功能后，LSC邏輯308的輸出隨后被轉(zhuǎn)發(fā)給逆黑度補(bǔ)償(IBLC)邏輯310。IBLC邏輯310為每個顏色分量(例如R、B、Gr和Gb)獨立地提供增益、偏移和截短，并且通常執(zhí)行BLC邏輯306的逆功能。例如，如以下運(yùn)算所示，首先將輸入像素值乘上增益，接著使用帶符號的值進(jìn)行偏移。Y=(XXG[c])+0[c],(16)其中X表示給定顏色分量c(例如R、B、Gr或Gb)的輸入像素值，0[c]表示用于當(dāng)前顏色分量c的帶符號的16位偏移量，以及G[c]表示用于顏色分量c的增益值。在一個實施例中，增益G[c]可具有大約在O至4X(輸入像素值X的四倍)之間的范圍。應(yīng)當(dāng)注意的是，這些變量可以是如上所討論的等式9中的相同變量。使用例如等式10，計算出的值Y可被截短到最小值和最大值范圍。在一個實施例中，IBLC邏輯310可被配置成為每個顏色分量保存分別在最大值之上和在最小值之下而被截短的像素數(shù)量計數(shù)。此后，由統(tǒng)計信息收集塊312來接收IBLC邏輯310的輸出，該統(tǒng)計信息收集塊312可提供關(guān)于(一個或多個)圖像傳感器90的各種統(tǒng)計數(shù)據(jù)點的收集，例如關(guān)于自動曝光(AE)、自動白平衡(AWB)、自動對焦(AF)、閃爍檢測等的統(tǒng)計數(shù)據(jù)點。以下提供簡要概述來討論AWB、AE和AF統(tǒng)計信息的意義。關(guān)于白平衡，圖像傳感器在每個像素上的響應(yīng)可以取決于照明源，因為光源從圖像場景中的物體被反射。于是，圖像場景中所記錄的每個像素值與光源的色溫有關(guān)。當(dāng)以低色溫照明白色物體時，該物體在被捕捉的圖像中可能看上去偏紅。反之，以高色溫照明白色物體時，該物體在被捕捉的圖像中可能看上去偏藍(lán)。因此，白平衡的目的是調(diào)整RGB值，以使得圖像在人眼看上去像是在規(guī)范光下拍攝的。于是，在關(guān)于白平衡的成像統(tǒng)計信息的情況中，收集關(guān)于白色物體的顏色信息以確定光源的色溫。一般來說，白平衡算法可包括兩個主要步驟。首先，估計光源的色溫。其次，使用估計的色溫來調(diào)整顏色增益值和/或確定/調(diào)整顏色校正矩陣的系數(shù)。這樣的增益可以是模擬和數(shù)字圖像傳感器增益以及ISP數(shù)字增益的組合。接下來，自動曝光通常指的是調(diào)整像素積分時間和增益以控制所捕捉圖像的亮度的處理。例如，自動曝光可通過設(shè)置積分時間來控制由(一個或多個)圖像傳感器捕捉的場景的光量。此外，自動對焦可以指確定鏡頭的最佳對焦長度以充分地優(yōu)化圖像的對焦。因此，可經(jīng)由統(tǒng)計信息收集塊312來確定并收集尤其是這些各種類型的統(tǒng)計信息。如所示的，統(tǒng)計信息收集塊312的輸出STATSO可被發(fā)送到存儲器108并且然后被路由到控制邏輯84，或者可替換地，可被直接發(fā)送到控制邏輯84。如上所述，控制邏輯84可處理收集到的統(tǒng)計數(shù)據(jù)以確定用于控制成像設(shè)備30和/或圖像處理電路32的一個或多個控制參數(shù)。例如，這樣的控制參數(shù)可以包括用于操作圖像傳感器90的鏡頭的參數(shù)(例如對焦長度調(diào)整參數(shù))、圖像傳感器參數(shù)(例如模擬和/或數(shù)字增益、積分時間)以及ISP流水處理參數(shù)(例如數(shù)字增益值、顏色校正矩陣(CCM)系數(shù))。另夕卜，如上所述，在特定實施例中，可以8位的精度來進(jìn)行統(tǒng)計處理，因此，具有更高位深的原始像素數(shù)據(jù)可被下采樣到8位格式以用于統(tǒng)計目的。如上所述，下采樣到8位(或任何其他更低位分辨率)可減小硬件尺寸(例如面積)，還能降低處理復(fù)雜度，并且使得統(tǒng)計數(shù)據(jù)對于噪聲更為魯棒(例如使用圖像數(shù)據(jù)的空間平均)。在對ISP前端邏輯80下游的ISP流水邏輯82進(jìn)行詳細(xì)討論之前，應(yīng)當(dāng)理解的是在統(tǒng)計處理單元120和122中的各種功能性邏輯塊(例如邏輯塊304、306、308、310和312)，以及ISP前端像素處理單元130中的各種功能性邏輯塊(例如邏輯塊180和182)的布置僅旨在例示本技術(shù)的一個實施例。實際上，在其他實施例中，可以按照不同順序來布置此處例示的邏輯塊，或者可包括用于執(zhí)行未在此處特別描述的附加圖像處理功能的附加邏輯塊。此外,應(yīng)當(dāng)理解的是在統(tǒng)計處理單元(例如120和122)中執(zhí)行的圖像處理操作，例如鏡頭明暗校正、缺陷像素檢測/校正和黑度補(bǔ)償，是出于收集統(tǒng)計數(shù)據(jù)的目的而在統(tǒng)計處理單元內(nèi)執(zhí)行的。因此，對由統(tǒng)計處理單元接收到的圖像數(shù)據(jù)執(zhí)行的處理操作實際上沒有反映在從ISP前端像素處理邏輯130輸出并被轉(zhuǎn)發(fā)到ISP流水處理邏輯82的圖像信號109上(FEProcOut)。在繼續(xù)之前，還應(yīng)當(dāng)注意的是，假設(shè)充足的處理時間和此處所描述的各種操作的許多處理需求之間的相似性，有可能重新配置此處所示的功能塊以順序方式來執(zhí)行圖像處理，而不是流水線性質(zhì)。將會理解，這可能進(jìn)一步降低整體硬件實現(xiàn)成本，但是可能增加到外部存儲器的帶寬(例如為了高速緩存/存儲中間結(jié)果/數(shù)據(jù))。ISP流水線(“流水”)處理邏輯以上已詳細(xì)描述了ISP前端邏輯80，現(xiàn)在本討論將其重點轉(zhuǎn)移到ISP流水處理邏輯82。一般來說，ISP流水邏輯82的功能是接收可由ISP前端邏輯80提供的或從存儲器108檢索出的原始圖像數(shù)據(jù)，并且對其執(zhí)行附加圖像處理操作，也就是在將圖像數(shù)據(jù)輸出到顯示設(shè)備28之前進(jìn)行處理。圖32描繪了示出ISP流水邏輯82的一個實施例的方框圖。如圖所示，ISP流水邏輯82可包括原始處理邏輯414、RGB處理邏輯416和YCbCr處理邏輯418。原始處理邏輯414可執(zhí)行多種圖像處理操作，例如以下將進(jìn)一步討論的缺陷像素檢測和校正、鏡頭明暗校正、去馬賽克、以及為自動白平衡應(yīng)用增益和/或設(shè)置黑度。如本實施例所示，取決于選擇邏輯420的當(dāng)前配置，到原始處理邏輯414的輸入信號422可以是來自ISP前端邏輯80的原始像素輸出109(信號FEProcOut)或來自存儲器108的原始像素數(shù)據(jù)112。作為在原始處理邏輯414內(nèi)執(zhí)行去馬賽克操作的結(jié)果，圖像信號輸出424可以處于RGB域，并可以在隨后被轉(zhuǎn)發(fā)至RGB處理邏輯416。例如，如圖32所示，RGB處理邏輯416接收信號430，取決于選擇邏輯428的當(dāng)前配置，該信號430可以是輸出信號424或來自存儲器108的RGB圖像信號426。RGB處理邏輯416可提供多種RGB顏色調(diào)整操作，包括以下將進(jìn)一步討論的顏色校正(例如使用顏色校正矩陣)、用于自動白平衡的顏色增益的應(yīng)用、以及全局色調(diào)映射。RGB處理邏輯418還可提供RGB圖像數(shù)據(jù)到Y(jié)CbCr(亮度/色度)顏色空間的顏色空間變換。于是，圖像信號輸出432可以處于YCbCr域，并可在隨后被轉(zhuǎn)發(fā)至YCbCr處理邏輯418。例如，如圖32所示，YCbCr處理邏輯418接收信號438，取決于選擇邏輯436的當(dāng)前配置，該信號438可以是來自RGB處理邏輯416的輸出信號432，或是來自存儲器108的YCbCr信號434。如以下將進(jìn)一步進(jìn)行詳細(xì)討論的，YCbCr處理邏輯418可提供在YCbCr顏色空間內(nèi)的圖像處理操作，包括縮放，色度抑制，亮度銳化，亮度、對比度和顏色(BCC)調(diào)整，YCbCr伽馬映射，色度抽選等。YCbCr處理邏輯418的圖像信號輸出440可被發(fā)送到存儲器108，或可作為圖像信號114(圖7)從ISP流水處理邏輯82輸出。圖像信號114可被發(fā)送到顯示設(shè)備28(直接地或通過存儲器108)，以供用戶觀看，或者可使用壓縮引擎(例如編碼器118)、CPU/GPU、圖形引擎等而被進(jìn)一步處理。依照本技術(shù)的實施例，ISP流水邏輯82可支持8位、10位、12位或14位格式的原始像素數(shù)據(jù)的處理。例如在一個實施例中，8位、10位或12位的輸入數(shù)據(jù)可在原始處理邏輯414的輸出處被變換為14位，并且可使用14位精度來執(zhí)行原始處理和RGB處理操作。在后一個實施例中，可在將RGB數(shù)據(jù)變換到Y(jié)CbCr顏色空間之前，將14位圖像數(shù)據(jù)下采樣到10位，并且可以使用10位精度來執(zhí)行YCbCr處理(邏輯418)。為了提供對由ISP流水處理邏輯82所提供的多種功能的全面描述，以下將順序的討論原始處理邏輯414、RGB處理邏輯416和YCbCr處理邏輯418中的每一個，以及可在各個邏輯單元414、416和418中實現(xiàn)的用于執(zhí)行各種圖像處理操作的內(nèi)部邏輯，首先從原始處理邏輯414開始。例如,現(xiàn)在參考圖33,根據(jù)本技術(shù)的一個實施例,例示了示出原始處理邏輯414的一個實施例的更詳細(xì)視圖的方框圖。如圖所示，原始處理邏輯414包括增益、偏移和鉗位(GOC)邏輯442，缺陷像素檢測/校正(DroC)邏輯444，降噪邏輯446，鏡頭明暗校正邏輯448，G0C邏輯450和去馬賽克邏輯452。此外，雖然以下所討論的例子假設(shè)結(jié)合(一個或多個)圖像傳感器90使用拜耳濾色器陣列，但是應(yīng)當(dāng)理解本技術(shù)的其他實施例也可利用不同類型的濾色器?？梢允窃紙D像信號的輸入信號422首先由增益、偏移和鉗位(GOC)邏輯442接收。GOC邏輯442可以提供與如以上圖20中所討論的有關(guān)ISP前端邏輯80的統(tǒng)計處理單元120的BLC邏輯306類似的功能，并以類似的方式來實現(xiàn)。例如GOC邏輯442可為拜耳圖像傳感器的每個顏色分量R、B、Gr和Gb獨立地提供數(shù)字增益、偏移和鉗位(截短)。更具體的，GOC邏輯442可以執(zhí)行自動白平衡或設(shè)置原始圖像數(shù)據(jù)的黑度。此外，在一些實施例中，GOC邏輯442還可被用來校正或補(bǔ)償Gr和Gb顏色分量之間的偏移。在操作中，當(dāng)前像素的輸入值首先由帶符號的值來偏移，并與增益相乘。該操作可使用以上在等式9中示出的公式來執(zhí)行，其中X表示用于給定顏色分量R、B、Gr或Gb的輸入像素值，0[c]表示用于當(dāng)前顏色分量c的帶符號的16位偏移量，G[c]表示用于顏色分量c的增益值。可在統(tǒng)計處理期間(例如在ISP前端塊80中)預(yù)先確定G[c]的值。在一個實施例中，增益G[c]可以是具有2個整數(shù)位和14個分?jǐn)?shù)位的16位無符號數(shù)(例如2.14浮點表示)，還可對增益G[c]應(yīng)用舍入。僅作為示例，增益G[c]可具有0至4X之間的范圍。接著依照等式10將由等式9計算出的像素值Y(其包括增益G[c]和偏移量0[c])截短到最小值和最大值范圍。如上所述,變量min[c]和max[c]可分別表示用于最小和最大輸出值的帶符號的16位“截短值”。在一個實施例中，GOC邏輯442還可被配置為保存每個顏色分量的分別在最大值范圍之上和在最小值范圍之下而被截短的像素的數(shù)量的計數(shù)。隨后，GOC邏輯442的輸出被轉(zhuǎn)發(fā)到缺陷像素檢測和校正邏輯444。如以上參考圖20所述(DPDC邏輯304)，缺陷像素可歸咎于一些因素，并且可包括“燥點”(或漏電像素)、“亮點”和“壞點”，其中燥點相對于非缺陷像素呈現(xiàn)出高于正常電荷泄漏的泄漏，因此可能比非缺陷像素看上去更亮；并且其中亮點看上去為常開(例如，全充電)并且因此表現(xiàn)的更亮，而壞點則看上去為常關(guān)。因此，希望能得到一種足夠魯棒以識別和解決不同類型的故障情形的像素檢測方案。更具體的，當(dāng)與可能僅能提供動態(tài)缺陷檢測/校正的前端DPDC邏輯304相比較時，流水DPDC邏輯444可提供固定或靜態(tài)缺陷檢測/校正、動態(tài)缺陷檢測/校正以及斑點移除。依照此處公開的技術(shù)的實施例，由DPDC邏輯444執(zhí)行的缺陷像素校正/檢測可以為每個顏色分量(例如R、B、Gr和Gb)獨立地進(jìn)行，并且可包括多種用于檢測缺陷像素的操作和多種用于校正檢測到的缺陷像素的操作。例如，在一個實施例中，缺陷像素檢測操作可提供對靜態(tài)缺陷、動態(tài)缺陷的檢測以及對斑點的檢測，斑點可以指的是可能存在于成像傳感器中的電干擾或噪聲(例如光子噪聲)。作為類比，斑點可能作為看上去的隨機(jī)噪聲偽影出現(xiàn)在圖像中，類似于靜態(tài)噪聲可出現(xiàn)在諸如電視顯示器的顯示器上的方式。此外，如上所述，動態(tài)缺陷校正被在如下意義上認(rèn)為是動態(tài)的在給定的時刻將像素認(rèn)為是有缺陷可取決于鄰近像素中的圖像數(shù)據(jù)。例如，如果總是處于最大亮度的亮點位于當(dāng)前圖像中由明亮白色主導(dǎo)的區(qū)域，則該亮點可能不被認(rèn)為是缺陷像素。反之，如果亮點處于當(dāng)前圖像中由黑色或暗色主導(dǎo)的區(qū)域，則該亮點在經(jīng)由DPDC邏輯444進(jìn)行處理期間可被識別為缺陷像素，并被相應(yīng)地校正。關(guān)于靜態(tài)缺陷檢測，將每個像素的位置與靜態(tài)缺陷表相比較，該表可存儲了對應(yīng)于已知有缺陷的像素的位置的數(shù)據(jù)。例如，在一個實施例中，DPDC邏輯444可監(jiān)視缺陷像素的檢測(例如使用計數(shù)器機(jī)制或寄存器)，并且如果某特定像素被觀察到重復(fù)地失敗，該像素的位置被存儲到靜態(tài)缺陷表。因此，在靜態(tài)缺陷檢測期間，如果確定當(dāng)前像素的位置處于靜態(tài)缺陷表中，當(dāng)前像素于是被識別為缺陷像素，并且一替代值被確定并臨時存儲。在一個實施例中，替代值可以是相同顏色分量的前一像素的值(基于掃描順序)。如下所述，替代值可被用來在動態(tài)/斑點缺陷檢測和校正期間校正靜態(tài)缺陷。另外，如果前一像素處于原始幀154之外(圖9)，則不使用該前一像素的值，并可在動態(tài)缺陷校正處理期間校正靜態(tài)缺陷。此外，考慮到存儲器，靜態(tài)缺陷表可存儲有限數(shù)量的位置條目。例如，在一個實施例中，靜態(tài)缺陷表可被實現(xiàn)為FIFO隊列，其被配置為針對圖像數(shù)據(jù)的每兩條線存儲共計16個位置。雖然如此，在靜態(tài)缺陷表中定義的位置將使用前一像素替代值(而不是通過以下討論的動態(tài)缺陷檢測處理)來校正。如上所述，本技術(shù)的實施例還能夠隨時間間歇地更新靜態(tài)缺陷表。實施例可提供在片上存儲器或片外存儲器中實現(xiàn)的靜態(tài)缺陷表。將明了的是，使用片上實現(xiàn)可能增加總體芯片面積/尺寸，而使用片外實現(xiàn)可降低芯片面積/尺寸，但會增加存儲器帶寬需求。因此，應(yīng)當(dāng)理解可取決于特定實現(xiàn)需求(即，將要存儲在靜態(tài)缺陷表中的像素的總數(shù))，片上或片外地實現(xiàn)該靜態(tài)缺陷表。動態(tài)缺陷和斑點檢測處理可以相對于上述討論的靜態(tài)缺陷檢測處理具有時移。例如，在一個實施例中，動態(tài)缺陷和斑點檢測處理可于靜態(tài)缺陷檢測處理已經(jīng)分析了兩條掃描線(例如，行)的像素之后開始。可以明了的是，這允許在動態(tài)/斑點檢測發(fā)生之前確定靜態(tài)缺陷的識別以及它們各自的替代值。例如，在動態(tài)/斑點檢測處理期間，如果當(dāng)前像素在先前就被標(biāo)記為靜態(tài)缺陷，則使用先前估計的替代值來對靜態(tài)缺陷進(jìn)行簡單校正，而不是應(yīng)用動態(tài)/斑點檢測操作。關(guān)于動態(tài)缺陷和斑點檢測，這些處理可順序的或并行的發(fā)生。由DPDC邏輯444執(zhí)行的動態(tài)缺陷和斑點檢測和校正可依賴于使用像素至像素方向性梯度的自適應(yīng)邊緣檢測。在一個實施例中，DPDC邏輯444可在所使用的原始幀154(圖9)內(nèi)選擇當(dāng)前像素的具有相同顏色分量的八個直接相鄰的像素。換而言之，如下圖34所示，當(dāng)前像素及其八個直接相鄰的像素PO、PUP2、P3、P4、P5、P6和P7可形成3x3區(qū)域。然而，應(yīng)當(dāng)注意的是，取決于當(dāng)前像素P的位置，當(dāng)計算像素至像素梯度時不考慮在原始幀154之外的像素。例如，對于如圖34所示的“左上”情況454，當(dāng)前像素P處于原始幀154的左上角，因此不考慮在原始幀154之外的鄰近像素PO、P1、P2、P3和P5，僅剩下像素P4、P6和P7(N=3)。在“上”情況456，當(dāng)前像素P處于原始幀154的最上邊緣，因此不考慮在原始幀154之外的鄰近像素P0、P1和P2，僅剩下像素P3、P4、P5、P6和P7(N=5)。接著，在“右上”情況458，當(dāng)前像素P處于原始幀154的右上角，因此不考慮在原始幀154之外的鄰近像素P0、P1、P2、P4和P7，僅剩下像素P3、P5和P6(N=3)。在“左”情況460，當(dāng)前像素P處于原始幀154的最左邊緣，因此不考慮在原始幀154之外的鄰近像素PO、P3和P5，僅剩下像素PI、P2、P4、P6和P7(N=5)。在“中心”情況462，所有像素P0-P7都位于原始幀154內(nèi)，于是都被用來確定像素至像素梯度(N=8)。在“右”情況464，當(dāng)前像素P處于原始幀154的最右邊緣，因此不考慮在原始幀154之外的鄰近像素P2、P4和P7，僅剩下像素P0、P1、P3、P5和P6(N=5)。另外，在“左下”情況466，當(dāng)前像素P處于原始幀154的左下角，因此不考慮在原始幀154之外的鄰近像素P0、P3、P5、P6和P7，僅剩下像素P1、P2和P4(N=3)。在“下，，情況468，當(dāng)前像素P處于原始幀154的最下邊緣，因此不考慮在原始幀154之外的鄰近像素P5、P6和P7，僅剩下像素P0、P1、P2、P3和P4(N=5)。最后，在“右下”情況470，當(dāng)前像素P處于原始幀154的右下角，因此不考慮在原始幀154之外的鄰近像素P2、P4、P5、P6和P7，僅剩下像素PO、Pl和P3(N=3)。因此，取決于當(dāng)前像素P的位置，被用于確定像素至像素梯度的像素數(shù)量可能是3、5或8。在所示的實施例中，對于在圖片(例如原始幀154)邊界內(nèi)的每個鄰近像素(k=0至7)，可如下的計算像素至像素梯度Gk=abs(P-Pk)，對于0彡k彡7(僅對于在原始幀內(nèi)的k)(17)另外，可通過如下所示的等式來計算當(dāng)前像素和其周圍像素的平均Pav之間的差作為平均梯度Gav:/N\其中N=3，5或8(取決于像素位置)(18)p—V*/1OV~N，Gav=abs(P-Pav)(19)像素至像素梯度值(等式17)可被用來確定動態(tài)缺陷情況，鄰近像素的平均(等式18和19)可被用來識別以下所討論的斑點情況。在一個實施例中，DroC邏輯444可如下地執(zhí)行動態(tài)缺陷檢測。首先，如果一定數(shù)量的梯度Gk等于或低于由變量dynTh(動態(tài)缺陷閾值)表示的特定閾值，則假設(shè)該像素是有缺陷的。因此，對于每個像素，在圖片邊界內(nèi)的鄰近像素的等于或低于閾值dynTh的梯度的數(shù)量的計數(shù)(C)被累加。閾值dynTh可以是固定閾值分量和可取決于周圍像素中出現(xiàn)的“活動性”的動態(tài)閾值分量的組合。例如，在一個實施例中，可通過計算高頻分量值Phf來確定dynTh的動態(tài)閾值分量，計算高頻分量值Phf則基于對平均像素值Pav(等式18)和每個鄰近像素之間的差的絕對值求和，如下所示Pkf=HahsiFm-—/!)，其中N=3，5或8(20)Nk在像素位于圖像一角(N=3)或位于圖像邊緣(N=5)的情況下，Phf可分別乘上8/3或8/5?？梢悦髁说氖牵@保證了基于八個鄰近像素(N=S)來歸一化高頻分量Phf。一旦確定了Phf，可如下所示計算動態(tài)缺陷檢測閾值dynThdynTh=dynTh1+(dynTh2XPhf),(21)其中ClynTh1表示固定閾值分量，dynTh2表示動態(tài)閾值分量，并且是等式21中用于Phf的乘數(shù)?？梢詾楦鱾€顏色分量提供不同的固定閾值分量ClynTh1，但是對于每個相同顏色的像素，ClynTh1是相同的。僅作為示例，可以設(shè)置ClynTh1以使得其至少大于圖像中的噪聲方差。可基于圖像的某些特征來確定動態(tài)閾值分量dynTh2。例如，在一個實施例中，可使用存儲的關(guān)于曝光和/或傳感器積分時間的經(jīng)驗數(shù)據(jù)來確定dynTh2。該經(jīng)驗數(shù)據(jù)可在圖像傳感器(例如，90)的校準(zhǔn)期間確定，并可將可為dynTh2選擇的動態(tài)閾值分量值與多個數(shù)據(jù)點的每一個相關(guān)聯(lián)。于是，基于可在由ISP前端邏輯80執(zhí)行的統(tǒng)計處理期間確定的當(dāng)前曝光和/或傳感器積分時間值，可通過從存儲的經(jīng)驗數(shù)據(jù)中選擇對應(yīng)于當(dāng)前曝光和/或傳感器積分時間值的動態(tài)閾值分量值來確定dynTh2。另外，如果當(dāng)前曝光和/或傳感器積分時間值沒有直接對應(yīng)于經(jīng)驗數(shù)據(jù)點中的一個點，則可通過對與當(dāng)前曝光和/或傳感器積分時間值落入其間的數(shù)據(jù)點相關(guān)聯(lián)的動態(tài)閾值分量值進(jìn)行內(nèi)插而確定dynTh2。此外，類似于固定閾值分量(IynTh1,對于每個顏色分量,動態(tài)閾值分量dynTh2可具有不同的值。因此,對于每個顏色分量(例如R、B、Gr、Gb)，組合閾值dynTh可以不同。如上所述，針對每個像素，確定在圖片邊界內(nèi)的鄰近像素的等于或低于閾值dynTh的梯度的數(shù)量的計數(shù)C。例如，對于在原始幀154內(nèi)的每個鄰近像素，可以如下計算等于或低于閾值dynTh的梯度Gk的累加計數(shù)CC二YdIGk<dynTh)(22)k對于O≤k≤7(僅對于在原始幀內(nèi)的k)接著，如果累加計數(shù)C被確定為小于或等于由變量dynMaxC表示的最大計數(shù)，則該像素可被認(rèn)為是動態(tài)缺陷。在一個實施例中，可為N=3(角)、N=5(邊緣)和N=8的情況提供dynMaxC的不同值。該邏輯被表達(dá)為如下if(C^dynMaxC),then當(dāng)前像素P是有缺陷的。(23)如上所述，缺陷像素的位置可被存儲到靜態(tài)缺陷表。在一些實施例中，在用于當(dāng)前像素的動態(tài)缺陷檢測期間計算的最小梯度值Uin(Gk))可被存儲并被用于分類缺陷像素，使得更大的最小梯度值指示缺陷的更大的“嚴(yán)重性”，并且應(yīng)當(dāng)在像素校正期間在不那么嚴(yán)重的缺陷被校正之前被校正。在一個實施例中，像素在被存儲到靜態(tài)缺陷表之前可能需要對其進(jìn)行跨多個成像幀的處理，例如通過隨著時間而過濾缺陷像素的位置。在后一實施例中，可僅當(dāng)缺陷出現(xiàn)在特定數(shù)量的連續(xù)圖像的相同位置時才將該缺陷像素的位置存儲到靜態(tài)缺陷表中。此外，在一些實施例中，靜態(tài)缺陷表可被配置為基于最小梯度值來分類所存儲的缺陷像素位置。例如，最高的最小梯度值可指示缺陷具有更大的“嚴(yán)重性”。通過以這種方式來對位置排序，可以設(shè)置靜態(tài)缺陷校正的優(yōu)先級，使得可以首先校正最嚴(yán)重或重要的缺陷。另外，靜態(tài)缺陷表可隨著時間被更新以包括新檢測到的靜態(tài)缺陷，并且由此基于它們各自的最小梯度值來對其進(jìn)行排序?？梢酝ㄟ^確定值Gav(等式19)是否高于斑點檢測閾值spkTh來執(zhí)行可與以上所述的動態(tài)缺陷檢測處理并行發(fā)生的斑點檢測。類似于動態(tài)缺陷閾值dynTh，斑點閾值spkTh也可包括固定和動態(tài)分量，其分別由SpkTh1和SpkTh2指代。一般來說,相比于(IynTh1和dynTh2值，固定和動態(tài)分量SpkTh1和SpkTh2可被更“侵略性地”設(shè)置，以避免在可能具有較重紋理或其他(例如文字、樹葉、特定織物圖案等)的圖像區(qū)域中錯誤地檢測斑點。因而，在一個實施例中，動態(tài)斑點閾值分量81^112可以針對圖像的高紋理區(qū)域有所增加，而對于“更平緩”或更均勻的區(qū)域則有所減小?？扇缦滤居嬎惆唿c檢測閾值spkThSpkTh=SpkTh1+(spkTh2XPhf),(24)其中SpkTh1表示固定閾值分量，并且其中SPkTh2表示動態(tài)閾值分量。隨后可依照以下表達(dá)式來確定斑點的檢測if(Gav>spkTh)，then當(dāng)前像素P是斑點。(25)一旦識別了缺陷像素，DPDC邏輯444可取決于檢測到的缺陷類型來應(yīng)用像素校正操作。例如，如果缺陷像素被識別為靜態(tài)缺陷，則如上所述使用存儲的替代值(例如相同顏色分量的前一像素的值)來代替該像素。如果像素被識別為動態(tài)缺陷或斑點，則可如下的執(zhí)行像素校正。首先，如下所示，梯度在四個方向(水平(h)方向、垂直(V)方向、正對角方向(dp)和負(fù)對角方向(dn))上被計算為當(dāng)前像素與第一和第二鄰居像素之間的差的絕對值(例如等式17對Gk的計算)之和Gh=G3+G4(26)Gv=GJG6(27)Gdp=G2+G5(28)Gdn=GfG7(29)接著，經(jīng)由與方向性梯度Gh、Gv、Gdp和Gdn中具有最小值的方向性梯度相關(guān)聯(lián)的兩個鄰近像素的線性內(nèi)插來確定校正像素值Pc。例如，在一個實施例中，以下的邏輯陳述可表示對P。的計算if(min==Gh)(30)權(quán)利要求1.一種處理圖像數(shù)據(jù)的方法，包括利用圖像信號處理器進(jìn)行以下操作接收圖像數(shù)據(jù)的當(dāng)前幀中具有空間位置的當(dāng)前像素，其中該圖像數(shù)據(jù)是利用圖像傳感器獲取的；至少部分基于來自圖像數(shù)據(jù)的前一幀的同位置參考像素，確定當(dāng)前像素的運(yùn)動增量值；基于該運(yùn)動增量值和與當(dāng)前像素的空間位置相對應(yīng)但是來自前一幀的運(yùn)動歷史值，確定運(yùn)動表查找索引；利用運(yùn)動表查找索引從運(yùn)動表中選擇第一濾波系數(shù)；利用與當(dāng)前像素相對應(yīng)的明亮度值從亮度表中選擇衰減因子；基于所選擇的衰減因子和第一濾波系數(shù)，確定第二濾波系數(shù)；以及利用圖像信號處理器的時域濾波器，基于同位置參考像素、當(dāng)前像素和第二濾波系數(shù)，確定與當(dāng)前像素相對應(yīng)的時域濾波輸出值。2.如權(quán)利要求I所述的方法，包括利用圖像信號處理器通過如下操作來確定與當(dāng)前像素的空間位置相對應(yīng)的運(yùn)動歷史值確定第一值，該第一值等于I與第一濾波系數(shù)之差；確定第二值，該第二值等于第一值與來自前一幀的運(yùn)動歷史值的乘積；將運(yùn)動增量值與第二值求和。3.如權(quán)利要求I所述的方法，其中確定運(yùn)動增量值包括從當(dāng)前幀中識別與當(dāng)前像素具有相同顏色的像素集合并形成像素的二維陣列，其中當(dāng)前像素位于該二維陣列的中心；從前一幀中識別參考像素的集合，其中該參考像素的集合中的各個像素分別與當(dāng)前幀中的所述像素集合中的相應(yīng)像素位于相同位置；為當(dāng)前幀中的所述像素集合中的每個像素確定絕對增量，該絕對增量等于來自當(dāng)前幀的像素的值與其對應(yīng)的同位置參考像素之差的絕對值；基于絕對增量，確定運(yùn)動增量值。4.如權(quán)利要求3所述的方法，其中確定運(yùn)動增量值包括識別具有相同顏色值的三個水平相鄰像素的集合，該集合包括當(dāng)前像素、與當(dāng)前像素的第一側(cè)相鄰的第二像素、和與當(dāng)前像素的第二側(cè)相鄰的第三像素；確定第一值，該第一值等于當(dāng)前像素的值與來自前一幀的同位置參考像素的值之差的絕對值；確定第二值，該第二值等于第二像素的值與來自前一幀的第二同位置參考像素的值之差的絕對值；以及確定第三值，該第三值等于第三像素的值與來自前一幀的第三同位置參考像素的值之差的絕對值；其中運(yùn)動增量值被選擇為所述第一值、第二值、第三值中的最大值。5.如權(quán)利要求3所述的方法，其中所述圖像數(shù)據(jù)包括拜耳原始圖像數(shù)據(jù)，并且其中所述二維陣列內(nèi)的每個像素在空間上位于在水平、垂直和對角方向上從當(dāng)前像素離開兩個像素位置。6.如權(quán)利要求I所述的方法，其中運(yùn)動表查找索引被計算為運(yùn)動增量值與來自前一幀的運(yùn)動歷史值之和。7.如權(quán)利要求I所述的方法，其中確定當(dāng)前像素的時域濾波輸出值包括確定當(dāng)前像素的值與同位置參考像素的值之差；將該差乘以第二濾波系數(shù)，以獲得第一值；以及將同位置參考像素的值與第一值相加，以確定當(dāng)前像素的時域濾波輸出值。8.一種對圖像數(shù)據(jù)進(jìn)行時域濾波的方法，包括利用圖像信號處理器進(jìn)行以下操作接收圖像數(shù)據(jù)的當(dāng)前幀中具有空間位置的當(dāng)前像素，其中該圖像數(shù)據(jù)是利用圖像傳感器獲取的并且包括兩個或更多個顏色分量，每個顏色分量與一個相應(yīng)的增益相關(guān)聯(lián)；至少部分基于來自圖像數(shù)據(jù)的前一幀的同位置參考像素，確定當(dāng)前像素的運(yùn)動增量值；基于與當(dāng)前像素的顏色相對應(yīng)的所選擇的增益、該運(yùn)動增量值和與來自前一幀的同位置參考像素相對應(yīng)的運(yùn)動歷史值，確定運(yùn)動表查找索引；利用運(yùn)動表查找索引從運(yùn)動表中選擇第一濾波系數(shù)；通過將所選擇的增益應(yīng)用于當(dāng)前像素的值并且使用增益后的當(dāng)前像素的值作為用于從亮度表中選擇衰減因子的亮度表查找索引，從亮度表中選擇衰減因子；通過將第一濾波系數(shù)與所選擇的衰減因子相乘，確定第二濾波系數(shù)；以及利用圖像信號處理器的時域濾波器，基于參考像素的值、當(dāng)前像素的值和第二濾波系數(shù)，確定與當(dāng)前像素相對應(yīng)的時域濾波輸出值。9.如權(quán)利要求8所述的方法，其中確定運(yùn)動增量值包括從當(dāng)前幀中識別與當(dāng)前輸入像素具有相同顏色的像素集合并形成像素的二維陣列，其中當(dāng)前像素位于該二維陣列的中心；從前一幀中識別參考像素的集合，其中該參考像素的集合中的各個像素分別與當(dāng)前幀中的所述像素集合中的相應(yīng)像素位于相同位置；為當(dāng)前幀中的所述像素集合中的每個像素確定絕對增量，該絕對增量等于來自當(dāng)前幀的像素的值與其對應(yīng)的同位置參考像素的值之差的絕對值；確定運(yùn)動增量值，該運(yùn)動增量值是以下至少之一各絕對增量的平均值，各絕對增量的最大值，或各絕對增量的中位值。10.如權(quán)利要求9所述的方法，其中所述二維陣列包括與當(dāng)前像素具有相同顏色值的三個水平相鄰像素的集合，其中當(dāng)前像素在空間上位于這三個水平相鄰像素的集合的中心，并且其中，確定運(yùn)動增量值包括將運(yùn)動增量值確定為第一值、第二值和第三值中的最大值，其中第一值等于當(dāng)前像素的值與來自前一幀的同位置參考像素的值之差的絕對值，第二值等于當(dāng)前幀中與當(dāng)前像素水平相鄰的第二像素的值與來自前一幀的對應(yīng)的第二同位置參考像素的值之差的絕對值，第三值等于當(dāng)前幀中與當(dāng)前像素水平相鄰的第三像素的值與來自前一幀的對應(yīng)的第三同位置參考像素的值之差的絕對值。11.如權(quán)利要求8所述的方法，包括通過以下步驟確定與當(dāng)前像素的空間位置相對應(yīng)的運(yùn)動歷史值確定來自前一幀的運(yùn)動歷史值與運(yùn)動增量值之差，將該差乘以第一濾波系數(shù)以獲得一個乘積，以及將運(yùn)動增量值與該乘積求和，其中對應(yīng)于當(dāng)前像素的運(yùn)動歷史值能夠用于對圖像數(shù)據(jù)的下一幀中的同位置像素應(yīng)用時域濾波。12.如權(quán)利要求8所述的方法，其中通過將運(yùn)動增量值與來自前一幀的運(yùn)動歷史值之和乘以所選擇的增益，來確定運(yùn)動表查找索引。13.如權(quán)利要求12所述的方法，其中通過將所選擇的增益應(yīng)用到當(dāng)前像素來確定亮度查找索引。14.如權(quán)利要求8所述的方法，其中確定當(dāng)前像素的時域濾波輸出值包括確定同位置參考像素的值與當(dāng)前像素的值之差；將該差乘以第二濾波系數(shù)，以獲得第一值；以及將當(dāng)前像素的值與該乘積相加，以確定當(dāng)前像素的時域濾波輸出值。15.如權(quán)利要求8所述的方法，其中用于圖像數(shù)據(jù)的每個顏色分量的相應(yīng)增益是基于白平衡增益來確定的。16.一種圖像信號處理系統(tǒng)，包括時域濾波器，用于對利用圖像傳感器獲取的多顏色原始圖像數(shù)據(jù)進(jìn)行時域濾波，其中該時域濾波器被配置為接收來自原始圖像數(shù)據(jù)的當(dāng)前幀的當(dāng)前像素，該當(dāng)前像素具有特定顏色和在當(dāng)前幀內(nèi)的空間位置；基于同位置參考像素，確定當(dāng)前像素的運(yùn)動增量值；利用基于運(yùn)動增量值確定的運(yùn)動表查找索引、來自原始圖像數(shù)據(jù)的前一幀的與所述同位置參考像素相對應(yīng)的運(yùn)動歷史值、以及與當(dāng)前像素的顏色相關(guān)聯(lián)的增益，從運(yùn)動表中選擇第一濾波系數(shù)；通過將與當(dāng)前像素的顏色相關(guān)聯(lián)的增益應(yīng)用于當(dāng)前像素的值，并將結(jié)果作為用于選擇衰減因子的亮度表查找索引，從亮度表中選擇用于當(dāng)前像素的衰減因子；將衰減因子與第一濾波系數(shù)的乘積確定為第二濾波系數(shù)；以及基于同位置參考像素的值、當(dāng)前像素的值和第二濾波系數(shù)，提供與當(dāng)前像素相對應(yīng)的時域濾波輸出值。17.如權(quán)利要求16所述的圖像信號處理系統(tǒng)，其中時域濾波器被配置為通過確定同位置參考像素的值與當(dāng)前像素的值之差，將該差乘以第二濾波系數(shù)以確定一個乘積，并將該乘積與當(dāng)前像素的值求和，來提供時域濾波輸出值。18.如權(quán)利要求16所述的圖像信號處理系統(tǒng)，其中時域濾波器是有限沖激響應(yīng)(FIR)濾波器，并且其中，前一幀的同位置參考像素對應(yīng)于由圖像傳感器獲取的初始未濾波的圖像數(shù)據(jù)。19.如權(quán)利要求16所述的圖像信號處理系統(tǒng)，其中時域濾波器是無限沖激響應(yīng)(IIR)濾波器，并且其中，前一幀的同位置參考像素對應(yīng)于先前由時域濾波器濾波后的時域濾波圖像數(shù)據(jù)。20.如權(quán)利要求16所述的圖像信號處理系統(tǒng)，其中原始圖像數(shù)據(jù)包括拜耳圖像數(shù)據(jù)，并且其中，與當(dāng)前像素的顏色相關(guān)聯(lián)的增益是根據(jù)當(dāng)前像素是否包括紅色、藍(lán)色或綠色像素來選擇的。21.—種電子設(shè)備,包括至少一個數(shù)字圖像傳感器；被配置為與所述至少一個數(shù)字圖像傳感器通信的接口；存儲器設(shè)備；顯示設(shè)備，被配置為顯示與所述至少一個數(shù)字圖像傳感器所獲取的原始圖像數(shù)據(jù)相對應(yīng)的一個或多個圖像場景的視覺表示；以及成像信號處理系統(tǒng)，該成像信號處理系統(tǒng)包括運(yùn)動表，被配置為存儲一組濾波系數(shù)；亮度表，被配置為存儲一組明亮度衰減因子；和時域濾波器，被配置為處理原始圖像數(shù)據(jù)，以針對原始圖像數(shù)據(jù)的當(dāng)前幀中的具有特定顏色和空間位置的當(dāng)前像素應(yīng)用時域濾波，其中，通過以下操作來應(yīng)用該時域濾波基于來自原始圖像數(shù)據(jù)的前一幀的同位置參考像素確定當(dāng)前像素的運(yùn)動增量值；利用基于運(yùn)動增量值、來自原始圖像數(shù)據(jù)的前一幀的與同位置參考像素相對應(yīng)的運(yùn)動歷史值、和與當(dāng)前像素的顏色相關(guān)聯(lián)的增益而確定的第一查找索引，從存儲在運(yùn)動表中的所述一組濾波系數(shù)中選擇第一濾波系數(shù)；利用通過將與當(dāng)前像素的顏色相關(guān)聯(lián)的增益應(yīng)用到當(dāng)前像素的值而確定的第二查找索引，從存儲在亮度表中的所述一組明亮度衰減因子中選擇明亮度衰減因子；將該衰減因子與第一濾波系數(shù)的乘積確定為第二濾波系數(shù)；以及基于同位置參考像素的值、當(dāng)前像素的值和第二濾波系數(shù)，提供與當(dāng)前像素相對應(yīng)的時域濾波輸出值。22.如權(quán)利要求21所述的電子設(shè)備，其中時域濾波器被配置為向圖像信號處理系統(tǒng)的圖像處理流水線輸出經(jīng)時域濾波的原始圖像數(shù)據(jù)。23.如權(quán)利要求21所述的電子設(shè)備，其中所述至少一個數(shù)字圖像傳感器包括與該電子設(shè)備集成的數(shù)碼相機(jī)、通過所述接口耦接到該電子設(shè)備的外部數(shù)碼相機(jī)、或它們的某種組口ο24.如權(quán)利要求21所述的電子設(shè)備，其中所述接口包括移動工業(yè)處理器接口(MIPI)、標(biāo)準(zhǔn)移動成像架構(gòu)(SMIA)接口、或它們的某種組合。25.如權(quán)利要求21所述的電子設(shè)備，包括以下至少一個桌上型計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、移動蜂窩電話、便攜式媒體播放器、或它們的任一組合。26.—種對圖像數(shù)據(jù)進(jìn)行時域濾波的方法，包括利用圖像信號處理器執(zhí)行以下操作對于利用圖像傳感器獲取的多顏色原始圖像數(shù)據(jù)的當(dāng)前幀中的具有空間位置的當(dāng)前像素，至少部分基于來自該多顏色原始圖像數(shù)據(jù)的前一幀的同位置參考像素，確定用于該當(dāng)前像素的運(yùn)動增量值；基于當(dāng)前像素的顏色，通過基于所述運(yùn)動增量值和與當(dāng)前像素的空間位置相對應(yīng)但是來自前一幀的運(yùn)動歷史值確定運(yùn)動表查找索引，并利用該運(yùn)動表查找索引從運(yùn)動表中選擇第一濾波器系數(shù)，來確定第一濾波器系數(shù)；基于當(dāng)前像素的顏色，通過利用亮度表查找索引從亮度表中選擇衰減因子，并將第一濾波系數(shù)與所選擇的衰減因子相乘以確定第二濾波系數(shù)，來確定第二濾波系數(shù)；以及基于參考像素的值、當(dāng)前像素的值和第二濾波系數(shù)，確定與當(dāng)前像素相對應(yīng)的時域濾波輸出值。27.如權(quán)利要求26所述的方法，其中所述多顏色原始圖像數(shù)據(jù)中的各個顏色分量共享單個運(yùn)動表，并且其中，所述運(yùn)動表查找索引是進(jìn)一步基于與當(dāng)前像素的顏色相對應(yīng)的取決于顏色的增益而確定的；并且其中所述運(yùn)動表選自多個亮度表之一，每個亮度表對應(yīng)于所述多顏色原始圖像數(shù)據(jù)中的一種顏色，并且其中，所述衰減因子是利用亮度表查找索引從所選擇的亮度表中選擇的。28.如權(quán)利要求27所述的方法，其中所述多顏色原始圖像數(shù)據(jù)包括具有紅色顏色分量、藍(lán)色顏色分量、第一綠色顏色分量和第二綠色顏色分量的拜耳圖像數(shù)據(jù)，并且其中，所選擇的亮度表是從與紅色顏色分量相對應(yīng)的第一亮度表、與藍(lán)色顏色分量相對應(yīng)的第二亮度表、以及第一綠色顏色分量和第二綠色顏色分量共享的第三亮度表中選擇的。29.如權(quán)利要求26所述的方法，其中，所述多顏色原始圖像數(shù)據(jù)中的各個顏色分量共享單個亮度表，并且其中，所述亮度表查找索引是進(jìn)一步基于與當(dāng)前像素的顏色相對應(yīng)的取決于顏色的增益而確定的；并且其中，所述運(yùn)動表選自多個運(yùn)動表之一，每個運(yùn)動表對應(yīng)于所述多顏色原始圖像數(shù)據(jù)中的一種顏色，并且其中，所述第一濾波器系數(shù)是利用運(yùn)動表查找索引從所選擇的運(yùn)動表中選擇的。30.如權(quán)利要求29所述的方法，其中所述多顏色原始圖像數(shù)據(jù)包括具有紅色顏色分量、藍(lán)色顏色分量、第一綠色顏色分量和第二綠色顏色分量的拜耳圖像數(shù)據(jù)，并且其中，所選擇的運(yùn)動表是從與紅色顏色分量相對應(yīng)的第一運(yùn)動表、與藍(lán)色顏色分量相對應(yīng)的第二運(yùn)動表、以及第一綠色顏色分量和第二綠色顏色分量共享的第三運(yùn)動表中選擇的。全文摘要提供了用于對圖像傳感器獲取的原始圖像數(shù)據(jù)進(jìn)行時域濾波的各種技術(shù)。在一個實施例中，時域濾波器確定當(dāng)前像素的空間位置，并識別來自前一幀的至少一個同位置參考像素。至少部分基于該當(dāng)前像素及其同位置參考像素來確定運(yùn)動增量值。接下來，基于運(yùn)動增量值和與當(dāng)前像素的空間位置相對應(yīng)但是來自前一幀的運(yùn)動歷史值來確定索引。利用該索引，可從運(yùn)動表中選擇第一濾波系數(shù)。在選擇第一濾波系數(shù)之后，可以基于當(dāng)前像素的值從亮度表中選擇衰減因子，并且隨后可以基于所選擇的衰減因子和第一濾波系數(shù)來確定第二濾波系數(shù)。然后可以基于第二濾波系數(shù)、當(dāng)前像素和同位置參考像素來計算與當(dāng)前像素相對應(yīng)的時域濾波輸出值。文檔編號G06T5/50GK102640184SQ201080054781公開日2012年8月15日申請日期2010年10月12日優(yōu)先權(quán)日2009年10月20日發(fā)明者G·科特,J·E·弗萊德瑞克森申請人:蘋果公司