本申請要求于2014年4月29日提交的題為“Automatic White Balancing with Chromaticity Measure of Raw Image Data(利用對原始圖像數(shù)據(jù)的色度測量進行自動白平衡)”的美國專利申請序列號14/264,772的優(yōu)先權(quán),并且所述專利申請以全部內(nèi)容通過引用進行結(jié)合。
背景技術(shù):
數(shù)字相機是經(jīng)常被包括在商用電子介質(zhì)設(shè)備平臺中的部件。數(shù)字相機現(xiàn)在以可穿戴形狀因子可獲得(例如,視頻采集耳機、視頻采集頭戴裝置、視頻采集眼鏡等),并且嵌入在智能電話、平板計算機和筆記本式計算機等等之內(nèi)。將由相機模塊(例如,相機傳感器和光學(xué)器件)采集的圖像數(shù)據(jù)轉(zhuǎn)換成適于重現(xiàn)和/或顯示的值向由設(shè)備平臺實現(xiàn)的相機控制算法(CCA)造成了挑戰(zhàn)性問題。計算色彩恒常性算法(也被稱為自動白平衡(AWB)算法)是用于由數(shù)字相機實現(xiàn)期望的色彩重現(xiàn)的CCA的一個重要部分。AWB的作用是就相機傳感器色彩成分的響應(yīng)方面對照明色度(或者在多個不同光源情況下的色度)進行估計。AWB通常需要調(diào)整不同色彩成分的強度以使用戶期待的色彩重現(xiàn)成為可能,其中,所需要的調(diào)整高度依賴于圖像傳感器特性以及采集時的環(huán)境照明條件。
了解原始圖像數(shù)據(jù)色度對于可靠地且準(zhǔn)確地估計白點是有利的。一項被稱為灰度邊緣算法的技術(shù)前提是基于源白最可能為非彩色的原始圖像數(shù)據(jù)中的邊緣的反光。非彩色區(qū)域因此從場景內(nèi)的邊緣周圍獲得。實際上,灰度邊緣算法可能要求高分辨信息可用于準(zhǔn)確的邊緣信息提取,并且因此灰度邊緣算法的準(zhǔn)確度可以通過原始圖像的下采樣表示(即,低分辨率)而被顯著地降級。因此,灰度邊緣可能不會很好地適用于具有有限處理能力或在嚴(yán)格功率約束下工作的某些設(shè)備平臺,如大多數(shù)移動設(shè)備平臺。并且,灰度邊緣技術(shù)不處理缺乏邊緣或邊緣和表面粗糙的場景。例如采用色域映射的其他常規(guī)方法或通過相關(guān)技術(shù)的色彩經(jīng)常極大地依賴于相機模塊表征(CMC)信息,導(dǎo)致它們?nèi)菀资芘c相機模塊的批量生產(chǎn)相關(guān)聯(lián)的CMC信息誤差的影響。CMC密集型方法還可能是計算上昂貴的。
因此,用于在沒有圖像內(nèi)容的強假定、對CMC數(shù)據(jù)具有最小依賴性并且沒有高級圖像處理的情況下就原始圖像數(shù)據(jù)方面準(zhǔn)確地估計照明色度的技術(shù)將例如對于改進AWB算法并由此增強數(shù)字相機平臺的性能而言是有利的。
附圖說明
在附圖中通過舉例而非限制的方式展示了在此所描述的材料。為了展示的簡單和清楚,圖中所展示的元件不一定按比例繪制。例如,為清楚起見,某些元件的尺寸相對于其他元件可能被放大了。另外,在認為適當(dāng)?shù)那闆r下,在附圖之間對參考標(biāo)記加以重復(fù)以表示相應(yīng)的或相似的元件。在附圖中:
圖1是根據(jù)一個或多個實施例的展示了多個圖像色度權(quán)重的圖形,每個權(quán)重可以被確定并且被輸入到AWB算法中;
圖2是根據(jù)一個或多個實施例的與原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的原始圖像像素數(shù)據(jù)的展示;
圖3A是根據(jù)一個或多個實施例的展示一種用于確定一個或多個色度權(quán)重的方法的流程圖;
圖3B是根據(jù)一個或多個實施例的在[R/G,B/G]傳感器色度空間中繪制的彩色或非彩色原始圖像數(shù)據(jù)的圖形;
圖4A是根據(jù)一個或多個實施例的展示一種用于確定一個或多個色度權(quán)重的方法的流程圖;
圖4B是根據(jù)一個或多個實施例的在[R/G,B/G]傳感器色度空間中繪制的CMC數(shù)據(jù)的圖形;
圖4C是根據(jù)一個或多個實施例的示例性相機傳感器在歸一化之后的相對光譜響應(yīng)的圖形;
圖4C是根據(jù)一個或多個實施例的原始圖像數(shù)據(jù)的相對光譜響應(yīng)的圖形;
圖4E是根據(jù)一個或多個實施例的原始圖像數(shù)據(jù)的相對光譜響應(yīng)的圖形;
圖5是根據(jù)一個或多個實施例的展示一種用于基于色度權(quán)重確定至少一個白點估計的AWB方法的流程圖;
圖6是根據(jù)一個或多個實施例的采用包括用于執(zhí)行圖像色度測量和/或用于執(zhí)行基于圖像色度權(quán)重的至少一種AWB方法的邏輯的一個或多個處理器的示例性系統(tǒng)的簡圖;以及
圖7是根據(jù)一個或多個實施例安排的示例性系統(tǒng)的簡圖。
具體實施方式
參照附圖描述了一個或多個實施例。雖然對特定配置和安排進行了詳細的描繪和討論,但應(yīng)理解,這樣做僅出于說明目的。相關(guān)領(lǐng)域中的技術(shù)人員將認識到,在不背離本說明的精神和范圍的情況下,其他配置和安排是有可能的。將對相關(guān)領(lǐng)域的技術(shù)人員明顯的是,在此描述的技術(shù)和/或安排可以在超出在此詳細描述的系統(tǒng)和應(yīng)用之外的各種各樣的其他系統(tǒng)和應(yīng)用中被采用。
在以下詳細的說明書中對附圖進行參考,這些附圖形成說明書的一部分并且展示了示例性實施例。此外,應(yīng)當(dāng)理解,在不背離要求保護的主題的范圍的情況下,可以利用其他實施例并且可以做出結(jié)構(gòu)的和/或邏輯的改變。因此,以下詳細說明不應(yīng)以限制的含義來理解并且要求保護的主題的范圍僅由所附權(quán)利要求書及其等效物來限定。
在以下描述中,陳述了許多細節(jié),然而,將對本領(lǐng)域技術(shù)人員明顯的是,實施例可以在沒有限制特定細節(jié)的情況下被實踐。眾所周知的方法和設(shè)備是以框圖形式而非詳細地示出的,以避免模糊更顯著的方面。貫穿本說明書對“實施例(an embodiment)”或“一個實施例(one embodiment)”的引用意味著在至少一個實施例中包括了與所述實施例結(jié)合描述的具體特征、結(jié)構(gòu)、功能或特性。因此,貫穿本說明書在各處出現(xiàn)的短語“在實施例中(in an embodiment)”或在“在一個實施例中(in one embodiment)”并非必須指同一個實施例。此外,在實施例的上下文中描述的具體特征、結(jié)構(gòu)、功能或特性可以用任何適當(dāng)?shù)姆绞浇M合在一個或多個實施例中。例如,第一實施例可以與第二實施例在任何地方進行組合,其中,與這兩個實施例相關(guān)聯(lián)的具體特征、結(jié)構(gòu)、功能或特性不相互排斥。
如在示例性實施例和所附權(quán)利要求書的描述中使用的,除非上下文另外明確指示,否則單數(shù)形式“一個(a)”、“一個(an)”和“所述(the)”旨在同樣包括復(fù)數(shù)形式。還將理解的是,如本文使用的術(shù)語“和/或”指代并且包括相關(guān)聯(lián)的列舉項的一個或多個項的任何和所有可能組合。
如貫穿說明書并且在權(quán)利要求書中使用的,由術(shù)語“的至少一個(at least one of)”或“的一個或多個(one or more of)”聯(lián)接的項列表可以意味著所例舉的項的任意組合。例如,短語“A、B或C中的至少一者”可以意味著A;B;C;A和B;A和C;B和C;或者A、B和C。
術(shù)語“耦接”和“連接”連同其衍生詞在此可以用于描述部件之間的功能關(guān)系或結(jié)構(gòu)關(guān)系。應(yīng)當(dāng)理解,這些術(shù)語對于彼此并非旨在作為同義詞。而是,在具體實施例中,“連接”可以用于指示兩個或更多個元件彼此直接進行物理的、光學(xué)的或電學(xué)的接觸?!榜罱印笨梢杂糜谥甘緝蓚€或更多個元件彼此進行直接的或間接的(在它們之間具有介入元件)物理的、光學(xué)的或電學(xué)的接觸,和/或指示兩個或更多個元件彼此合作或交互(例如,由于因果關(guān)系的原因)。
就對計算機存儲器內(nèi)的數(shù)據(jù)比特進行的操作的算法和符號表示而言,呈現(xiàn)在此提供的詳細說明書的一些部分。如從以下討論中明顯的是,除非另外特別聲明,否則應(yīng)認識到,貫穿本說明書,使用如“運算(calculating)”、“計算(computing)”、“確定(determining)”、“估計(estimating)”、“存儲(storing)”、“收集(collecting)”“顯示(displaying)”、“接收(receiving)”、“合并(consolidating)”、“生成(generating)”、“更新(updating)”等術(shù)語的討論是指計算機系統(tǒng)或類似電子計算裝置的動作和過程,所述計算機系統(tǒng)或類似電子計算裝置對表示為計算機系統(tǒng)的包括寄存器和存儲器的電路中的物理(電子)量的數(shù)據(jù)進行操縱并且將其轉(zhuǎn)換成類似地表示為計算機系統(tǒng)存儲器或寄存器或其他此類信息存儲、傳輸或顯示裝置中的物理量的其他數(shù)據(jù)。
雖然以下描述闡述可以在如例如片上系統(tǒng)(SoC)架構(gòu)的架構(gòu)中顯現(xiàn),在此描述的技術(shù)和/或安排的實現(xiàn)方式不局限于具體的架構(gòu)和/或計算系統(tǒng),并且出于類似目的可以由任何架構(gòu)和/或計算系統(tǒng)實現(xiàn)。采用例如多個集成電路(IC)芯片和/或封裝體、和/或各種計算設(shè)備和/或消費電子產(chǎn)品(CE)設(shè)備(如機頂盒、智能電話等)的各架構(gòu)可以實現(xiàn)在此描述的技術(shù)和/或安排。此外,雖然以下描述可以陳述許多特定的細節(jié)(如邏輯實現(xiàn)、系統(tǒng)部件的類型和內(nèi)在關(guān)系、邏輯劃分/集成選擇等),要求保護的主題可以在沒有這些特定細節(jié)的情況下被實踐。此外,可以不詳細示出某些材料(如,例如,控制結(jié)構(gòu)和完整的軟件指令序列),以便不模糊在此公開的材料。
在此公開的材料的某些部分是在硬件(例如,如圖形處理器中的邏輯電路)中實現(xiàn)的。某些其他部分可以在硬件、固件、軟件、或其任意組合中實現(xiàn)。在此公開的至少部分材料還可以被實現(xiàn)為存儲于機器可讀介質(zhì)上的指令,這些指令可以被一個或多個處理器(圖形處理器和/或中央處理器)讀取或執(zhí)行。機器可讀介質(zhì)可以包括用于存儲或傳輸具有由機器(例如,計算設(shè)備)可讀的形式的信息的任何介質(zhì)和/或機制。例如,機器可讀介質(zhì)可以包括只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質(zhì);光存儲介質(zhì);閃存器;電、光、聲或其他類似非瞬態(tài)有形介質(zhì)。
以下描述了一種或多種用于估計原始圖像數(shù)據(jù)的色度值的系統(tǒng)、裝置、方法和計算機可讀介質(zhì)。在某些實施例中,利用圖像色度估計來確定原始圖像數(shù)據(jù)的白點估計。在進一步的實施例中,可以通過其他算法(如,CMC依賴型技術(shù))將白點估計與針對原始圖像數(shù)據(jù)確定的一個或多個附加白點估計進行組合。在實施例中,作為AWB流水線的一部分,包括相機的電子設(shè)備估計由相機采集的原始圖像數(shù)據(jù)的色度。例如作為AWB流水線的一部分,電子設(shè)備可以進一步至少部分地基于原始圖像數(shù)據(jù)色度值估計確定白點估計。
如以下進一步詳細描述的,原始圖像數(shù)據(jù)測量可能需要確定原始圖像數(shù)據(jù)距照明色度概率圖的參考位置的距離。然后可以基于此距離確定原始圖像數(shù)據(jù)的色度,例如,隨著距離白圖(white map)的中心的距離減小,圖像數(shù)據(jù)被視為更加沒有色彩。針對這種實施例,可以假定在色度空間內(nèi),相對更加沒有色彩的圖像數(shù)據(jù)位于照明色度圖的(多個)高概率區(qū)域中,而相對更加色彩豐富的圖像數(shù)據(jù)落入遠離高概率區(qū)域的區(qū)域中。
還如以下更詳細描述的,原始圖像數(shù)據(jù)色度測量實施例可能需要將R、G和B色彩通道能級進行比較。具有會聚通道能量的圖像數(shù)據(jù)相比具有更發(fā)散色彩通道能量的圖像數(shù)據(jù)可以被評定為更加沒有色彩。在某些這種實施例中,基于由白點校正因子歸一化的R、G和B通道值之間的差異確定色度,該白點校正因子取決于相機模塊表征(CMC)信息和/或之前確定的“初步”白點估計。
還如以下描述的,相比于彩色圖像數(shù)據(jù),還可以偏好地由AWB方法利用由以上技術(shù)中的一項或多項技術(shù)確定為非彩色的圖像數(shù)據(jù)來確定照明色度?!罢彰魃取笔菍?zhǔn)從非彩色表面反射的光(相等地反射全部波長而不改變照明光譜,并因此直接指示照明色度)的不同色彩成分(例如,R、G和B色彩成分)的像素塊中確定的色度值。基于此“照明色度”,由AWB算法/流水線計算有待應(yīng)用到ISP圖像重構(gòu)中的R、G和B增益。照明色度與物體的真實色度(即,物體的顏色)進行區(qū)分。更確切地,物體顏色的正確重現(xiàn)遵循:(i)能夠正確地估計照明色度的AWB算法;接著是(ii)從傳感器RGB到sRGB的準(zhǔn)確的色彩變換。實施例可以在沒有累贅的圖像分辨率和/或圖像內(nèi)容要求的情況下,并且還沒有計算密集的圖像處理(例如,邊緣檢測)的情況下實現(xiàn)更準(zhǔn)確且穩(wěn)健的白點估計。
在此描述的色度測量實施例與如何表示輸入圖像無關(guān)。例如,可以以全圖像分辨率應(yīng)用在此描述的色度測量,或者原始圖像區(qū)域可以被劃分為具有或者固定的相等尺寸或者可變尺寸的塊的“柵格”。每個塊覆蓋具有不同色彩成分(例如,R、G和B色彩成分)的多個像素的區(qū)域??梢杂嬎阍趬K區(qū)域中的每個色彩成分的平均水平(例如,針對塊i,指示平均值為Ri、Gi和Bi)。在塊處的色度值然后等于[Ri/Gi,Bi/Gi)。
如在此使用的,“原始”圖像數(shù)據(jù)是可以由上游圖像信號處理(ISP)流水線預(yù)處理的圖像數(shù)據(jù)。例如,在一個實施例中,原始圖像數(shù)據(jù)已經(jīng)被線性化且被色差校正。更確切地,在遵循在此描述的一個或多個實施例計算原始圖像數(shù)據(jù)色度之前,由相機傳感器輸出的原始拜耳(Bayer)數(shù)據(jù)或者類似數(shù)據(jù)可能經(jīng)歷線性化(還包括黑度校正)和色差校正。
圖1是根據(jù)實施例的展示多個圖像色度權(quán)重的圖形,每個權(quán)重可以被確定并且被輸入到AWB算法中;圖1中的實線箭頭展示了在此詳細描述的一個示例性實施例。虛線箭頭展示了一個或多個替代性實施例,該一個或多個替代性實施例還可以基于在示例性實施例的環(huán)境中教導(dǎo)的原理被實踐為好的效果。
“色度權(quán)重”是原始圖像數(shù)據(jù)色度的度量(例如在0與1之間縮放),其中,較大的權(quán)重值相比較低的權(quán)重值與更加非彩色的原始圖像相關(guān)聯(lián)。更加非彩色的原始圖像數(shù)據(jù)更準(zhǔn)確地反映照明色度,并且因此可以通過在此描述的算法基于被視為足夠非彩色的原始圖像數(shù)據(jù)有利地計算AWB白平衡增益。如圖1中所展示的,可以針對具有多個不同色彩成分的像素的原始數(shù)據(jù)塊確定多個圖像色度權(quán)重(例如,α(1)i、a(2a)i、a(2b)i)??梢允褂貌煌臏y量算法獨立地(例如,并行地)確定色度權(quán)重以得出原始圖像數(shù)據(jù)101的色度的獨立的度量。遵循使權(quán)重互補以便由這些權(quán)重一起表示原始圖像數(shù)據(jù)的穩(wěn)健的照明色度測量的算法來有利地確定圖像色度權(quán)重。替代性地,可以在缺乏其他權(quán)重的情況下例如根據(jù)一些控制信號等利用一個或多個色度權(quán)重。
跟隨圖1中的數(shù)據(jù)依賴性箭頭,可以通過第一算法通過處理原始圖像數(shù)據(jù)來確定色度權(quán)重α(1)i。如圖1中進一步展示的,然后可以在白點估計105中采用色度權(quán)重α(1)i??梢耘懦魏纹渌葯?quán)重或者以排除色度權(quán)重α(2a)i和/或α(2b)i的方式如此采用色度權(quán)重α(1)i。例如,跟隨實線箭頭,可以對原始圖像數(shù)據(jù)101獨立地執(zhí)行三種色度測量算法,生成色度權(quán)重α(1)i、α(2a)i和α(2b)i,這些色度權(quán)重隨后被線性地或非線性地組合以形成衍生色度權(quán)重α3i、α(4i)作為白點估計105的輸入。色度權(quán)重的示例性組合包括但不限于:兩個或更多個權(quán)重的乘積、兩個或更多個權(quán)重的平均值、兩個或更多個權(quán)重的加權(quán)平均值、兩個或更多個權(quán)重的最大值、兩個或更多個權(quán)重的最小值、兩個或更多個權(quán)重的中間值、或者非線性組合(如(a1m+...akm)1/n)。
如圖1中所展示的,多個圖像色度權(quán)重中的一個或多個色度權(quán)重(例如,α(1)i、α(2a)i、α(2b)i)可以進一步部分地基于CMC表征數(shù)據(jù)102。針對色度測量生成權(quán)重α(1)i、α(2a)i、α(2b)i處于AWB流水線的前端的實施例,以使得色度權(quán)重對CMC數(shù)據(jù)的錯誤不敏感的有限方式采用CMC數(shù)據(jù)是有利的。在進一步的實施例中,利用初步白點估計103作為輸入來確定一個或多個圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i。如以下進一步描述的,仍可以用與在本文其他地方描述的用于確定色度權(quán)重α(1)i、α(2a)i、α(2b)i的那些算法不同的另一種算法來確定初步白點估計103。因此,在此描述的色度測量實施例不局限于為AWB算法中的第一階段。串行分段多色度測量可以是組合測量以提高圖像場景內(nèi)容變化的魯棒性的有利方式。盡管未在圖1中描繪,一個或多個色度權(quán)重α(1)i、α(2a)i、α(2b)i自己可以是串行分階段的,其中,一種測量算法輸出一個色度權(quán)重(例如,α(1)i),該色度權(quán)重以某種方式被利用以通過第二測量算法確定另一個色度權(quán)重(例如,α(2a)I和/或α(2b)i)。例如,初步白點估計103可以是基于色度權(quán)重α(1)i并且那個初步白點估計然后可以被采用以進一步確定色度權(quán)重α(2a)i、α(2b)i。因此,可以跨AWB算法的多個階段利用在此描述的色度測量實施例。
圖2是根據(jù)一個示例性實施例的與原始圖像數(shù)據(jù)塊Di相關(guān)聯(lián)的原始圖像像素數(shù)據(jù)201的擴展視圖的圖示。如所展示的,N個原始圖像數(shù)據(jù)塊Di形成具有尺寸相等的寬和長以及均勻分布的塊Di的圖像柵格202。圖像柵格202是針對相機模塊的像素Pi采集的原始圖像像素數(shù)據(jù)201的陣列的較低分辨率表示。每個數(shù)據(jù)塊Di提供m*n像素的表示。例如,數(shù)據(jù)塊Di可以包括各自在m*n像素之上求平均的色彩通道值(例如,R、G、B)。原始圖像柵格202可以根據(jù)相機模塊的固有分辨率、根據(jù)可用于執(zhí)行色度測量的處理器帶寬以及根據(jù)m*n像素集是否特定于一個塊或合并成多個不同塊而包括任意數(shù)量的原始圖像數(shù)據(jù)塊??梢砸杂嬎愫驮肼暈榇鷥r,針對更高的相機分辨率和/或針對小非彩色區(qū)域的更大的敏靈度增加原始圖像數(shù)據(jù)塊的數(shù)量。如一個示例,原始圖像柵格202包括80×60陣列的塊(即,N=4800)。
在實施例中,基于原始圖像數(shù)據(jù)在傳感器色度空間中的位置與在傳感器照明色度軌跡或區(qū)域內(nèi)和/或周圍的最近點之間的距離確定一個或多個圖像色度權(quán)重。圖3A是根據(jù)一個這種實施例的展示一種用于確定原始圖像數(shù)據(jù)塊Di的一個或多個色度權(quán)重α(1)i的方法301的流程圖。方法301從接收或訪問與圖像傳感器相關(guān)聯(lián)的CMC數(shù)據(jù)開始,該圖像傳感器被采用以采集由有待分析的原始圖像數(shù)據(jù)塊Di表示的圖像像素數(shù)據(jù)。CMC數(shù)據(jù)可以有利地包括例如相機模塊的RGB色彩成分的光譜響應(yīng)、和照明色度的知識、以及在不同的相關(guān)色溫(CCT)區(qū)域處針對色度點的典型照明光譜。在操作305處,從CMC數(shù)據(jù)中確定在傳感器色度空間內(nèi)的高概率白點的軌跡。替代性地,在操作305處確定色度空間的與預(yù)定置信水平相關(guān)聯(lián)的區(qū)域。在一個示例性實施例中,白點的軌跡是在[R/G,B/G]傳感器空間中沿著通過映射照明色度確定的相關(guān)CCT值的平均照明色度。這種二維“白圖”被展示在圖3B中,其中,平均照明色度342的軌跡在高概率白點圖341內(nèi)被區(qū)分(例如,根據(jù)來自平均照明色度342的軌跡的照明色度響應(yīng)偏差被確定)。
方法301在操作306處繼續(xù),其中,可以可選地基于預(yù)定的飽和度值閾值對原始數(shù)據(jù)塊Di進行濾波。在一個示例性實施例中,其中,針對每個原始圖像數(shù)據(jù)塊Di存儲非飽和的紅、綠和藍像素的平均水平,在那個塊內(nèi)與塊中的像素總量相關(guān)的飽和像素的量也被存儲。從方法301中省略具有太多飽和像素的原始圖像數(shù)據(jù)塊Di,因為飽和像素的真實色度信息丟失了。此外,取決于傳感器的特性,接近飽和像素的像素可能受像素浮散(blooming)影響。因此,方法301可以僅針對與低于預(yù)定最大飽和度閾值的飽和度值相關(guān)聯(lián)的原始圖像數(shù)據(jù)塊行進至后續(xù)操作。
經(jīng)測量的原始圖像數(shù)據(jù)更加非彩色的概率隨著原始圖像數(shù)據(jù)與傳感器色度空間中的高概率白點的軌跡之間的距離減小而增加。此距離因此在操作310處針對每個原始數(shù)據(jù)塊Di被量化并且可以以各種方式被計算。圖3B進一步展示了映射到傳感器色度空間的兩個原始圖像數(shù)據(jù)值351、352。跟隨此處的實施例,原始圖像數(shù)據(jù)值351相比原始圖像數(shù)據(jù)值352被視為更加非彩色,因為原始圖像數(shù)據(jù)值351(距離d1)相比原始圖像數(shù)據(jù)值352(距離d2)更接近平均照明色度342的軌跡。任何距離信息可以充當(dāng)測量原始圖像數(shù)據(jù)Di的色度的基礎(chǔ)。在某些實施例中,可以直接使圖像色度權(quán)重α(1)i與該距離成比例。例如,傳感器色度空間內(nèi)的絕對歐幾里得距離可以在原始圖像數(shù)據(jù)塊的R/G、B/G值與在傳感器照明色度軌跡內(nèi)的最近點之間確定。在一個實現(xiàn)方式中,該軌跡是平均照明色度(例如,軌跡342)。在替代性實施例中,可以確定在原始數(shù)據(jù)與由高概率閾值定義的某個較大區(qū)域之間的距離。例如,在白圖空間341內(nèi),距離可以被假定固定在預(yù)定值(例如,1)處,并且如果原始圖像數(shù)據(jù)落到白圖空間341之外則確定到白圖空間341的邊界的距離。
在實施例中,基于在歸一化色彩通道值之間的差異確定一個或多個圖像色度權(quán)重。圖4A是根據(jù)一個或多個實施例的展示一種用于確定原始圖像數(shù)據(jù)塊Di的一個或多個色度權(quán)重α(2a)i、α(2b)i的方法401的流程圖。方法401從接收與原始圖像數(shù)據(jù)塊Di相關(guān)聯(lián)的色彩通道值開始。在示例性實施例中,色彩通道值包括三個(例如,R、G、B)通道值。在操作405處,基于色彩飽和度值閾值再次對原始數(shù)據(jù)塊Di進行濾波。在一個示例性實施例中,其中,針對每個原始圖像數(shù)據(jù)塊Di存儲非飽和的紅、綠和藍像素的平均水平,在那個塊內(nèi)與塊中的像素總量相關(guān)的飽和像素的量也被存儲。從方法401中省略具有太多飽和像素的原始圖像數(shù)據(jù)塊Di。因此,方法401可以僅針對與低于預(yù)定最大飽和度閾值的飽和度值相關(guān)聯(lián)的原始圖像數(shù)據(jù)塊行進至后續(xù)操作。
在操作410處,利用白點校正因子將色彩通道值歸一化。如圖4A中所展示的,歸一化操作410可以是基于CMC數(shù)據(jù)402和/或初步白點估計401。在一個實施例中,白點校正因子是基于與被采用以采集由原始圖像數(shù)據(jù)塊表示的圖像像素數(shù)據(jù)的圖像傳感器相關(guān)聯(lián)的圖像傳感器表征數(shù)據(jù)(即,CMC數(shù)據(jù))確定的固定值。作為一個示例,白點校正因子可以是基于與日光照射相關(guān)聯(lián)的CMC數(shù)據(jù)。圖4B是根據(jù)實施例的在[R/G,B/G]傳感器色度空間中繪制的CMC數(shù)據(jù)的圖形??梢詮腃MC數(shù)據(jù)中確定與特定的照明白點(如,5500K)相關(guān)聯(lián)的R/G和B/G值。然后可以由校正因子(如,[1/(R/G)5500,1,1/(B/G)5500])將原始圖像數(shù)據(jù)塊Di的RBG色彩通道值的增益歸一化。圖4C是在歸一化操作410之后與示例性相機傳感器相關(guān)聯(lián)的原始圖像數(shù)據(jù)的RGB色彩通道的相對光譜響應(yīng)的圖形。
在另一個實施例中,根據(jù)在操作403處采用的不同的AWB算法確定歸一化點,而不是將歸一化點固定在預(yù)定CCT處,以生成初步白點估計(例如,圖1中的初步估計103)。雖然操作403可以采用任何算法來確定歸一化點,但是所采用的算法的操作原理有利地不同于方法401的原理。每種算法的優(yōu)點和弱點針對不同類型的場景有利地互補。在操作403處利用的算法然后通過歸一化操作410的依賴性有利地聯(lián)接至色度測量方法401的輸出。作為一個示例,在傳感器色度空間中可以使用基于照明色域的信息執(zhí)行初始白點估計(或初始CCT范圍估計)操作403。針對CCT范圍和/或白點的估計可以是基于經(jīng)測量的原始圖像數(shù)據(jù)落入的照明色域。然后可以基于與在操作403處確定的初步白點估計相關(guān)聯(lián)的色彩通道值確定在操作410處采用的增益校正因子。
跟隨歸一化,方法401繼續(xù)操作415,在該操作中,基于R、G和B通道值彼此靠近的程度估計原始圖像數(shù)據(jù)塊Di的色度。通道計數(shù)越近或越會聚,圖像數(shù)據(jù)塊越?jīng)]有色彩。特別地,針對非彩色物體,遠離對應(yīng)于被用來在評定通道能量會聚度之前將色彩通道歸一化的白點校正因子的照明光譜的照明光譜將在色彩成分之間引入較大的差異。然而,針對更加色彩豐富的物體,可以期望發(fā)生相同的效應(yīng)??梢愿鶕?jù)歸一化的色彩通道值之間的差異確定一個或多個色度權(quán)重α(2a)i、α(2b)i??梢栽诓僮?15處確定任何變化度量。在一個示例性實施例中,在操作415處從歸一化的原始圖像數(shù)據(jù)塊Di中確定最小色彩通道值min(Ri,Gi,Bi)和最大色彩通道值max(Ri,Gi,Bi)。色度權(quán)重α(2a)然后可以是基于最小與最大色彩通道值之比:
色度權(quán)重α(2a)i然后針對每個原始圖像數(shù)據(jù)塊Bi被存儲于存儲器中,以供隨后用于針對N個數(shù)據(jù)塊確定白點(例如,作為AWB方法的一部分)。在進一步的實施例中,在操作415處針對歸一化的原始圖像數(shù)據(jù)塊Di確定平均色彩通道值Yi??梢赃M一步確定絕對差或第n個權(quán)力距離。在一個示例性實施例中,色彩通道值的均方根偏差被確定為:
Yi=mean(Ri,Gi,Bi),并且(2)
其中,k是基于最大可容許通道值的歸一化常量,并且因此每通道位數(shù)b。歸一化常量可以被
計算為:
作為一個示例,針對8位數(shù)據(jù)(即,具有最大通道值255),k被計算為14450。針對這些示例性實施例中的每個實施例,色度權(quán)重α(2a)i、α(2b)i是色彩通道值之間的差異的反函數(shù),如α(2a)i、α(2b)i針對非彩色原始圖像數(shù)據(jù)更接近于1,而針對相對更加色彩豐富的原始圖像數(shù)據(jù)更接近于0。
圖4D是根據(jù)實施例的假定相等能量照明時幾乎非彩色物體表面(例如,灰色)的光譜反射461的圖形。光譜反射461是在對RGB通道進行求和之后獲得的,出于說明目的將RGB通道歸一化。對應(yīng)于藍色歸一化通道能量451、綠色歸一化通道能量452以及紅色歸一化通道能量453中的每一者的數(shù)字值幾乎是相等的。利用這種原始圖像數(shù)據(jù),通過等式(1)至(4)確定的色度權(quán)重α(2a)i、α(2b)i將接近于1,并且原始圖像數(shù)據(jù)塊Bi被視為相對更加沒有色彩。
圖4E是根據(jù)實施例的假定相等能量照明時更加色彩豐富的物體表面(例如,棕色)的光譜反射462的圖形。利用此原始圖像數(shù)據(jù),紅色歸一化通道能量453顯著地高于藍色和綠色歸一化通道能量451、452。通過等式(1)至(4)確定的色度權(quán)重α(2a)i、α(2b)i將遠離1、接近0,并且原始圖像數(shù)據(jù)塊Bi相應(yīng)地被視為相對更加色彩豐富。
在實施例中,根據(jù)一個或多個圖像色度權(quán)重確定第一白點估計。利用如以上描述所確定的單獨的圖像色度權(quán)重α(1)i,α(2b)i,這些權(quán)重可以被組合以得出針對原始圖像數(shù)據(jù)塊Di的一個權(quán)重。例如,如圖1中所展示的,可以組合色度權(quán)重α(2a)i與α(2b)i以推導(dǎo)出色度權(quán)重α(3a)i。如以上參照圖1指出的,可以用任何線性或非線性方式組合色度權(quán)重。在某些實施例中,可以利用如平均值、中值、加權(quán)平均值等的統(tǒng)計數(shù)字。在一個示例性實施例中,α(3)i是α(2a)i與α(2b)i的乘積。在進一步的實施例中,例如通過采用α(2a)i、α(2b)i與α(1)i的乘積而將色度權(quán)重α(3)i與色度權(quán)重α(1)i進行組合,從而推導(dǎo)出色度權(quán)重α(4a)i。
圖5是根據(jù)實施例的展示AWB方法501的流程圖,在該方法中,基于一個或多個色度權(quán)重α(1)i-α(2b)i確定至少一個白點估計。方法501從操作505開始,在該操作中,例如通過執(zhí)行上述方法(例如,方法301、401等)中的任何一種方法針對N個原始圖像數(shù)據(jù)塊Di中的每個原始圖像數(shù)據(jù)塊確定圖像色度權(quán)重α(1)i-α(2b)i。在操作510處,初始白點估計是基于一種或多種相機模塊獨立算法確定的,如灰度世界(GW)算法、一次計數(shù)(one-count)GW算法、或經(jīng)修改的最大RGB算法等。
白點估計操作510部分地進一步基于在操作505處確定的一個或多個圖像色度權(quán)重α(1)i-α(2b)i。例如,在對圖像的R、G和B成分的值求平均以得出在傳感器色度空間中表示非彩色點的公共灰度值的GW算法中,將與原始圖像數(shù)據(jù)塊Di相關(guān)聯(lián)的Ri、Gi和Bi色彩通道值乘以圖像色度權(quán)重并且色度加權(quán)值然后在多個數(shù)據(jù)塊之上累積:
在等式(5)中,ai是色度權(quán)重α(i)1-α(i)4中的任一項,并且在示例性實施例中為α(i)4(例如,α(i)1、α(2a)i與α(2b)i的乘積)。在某些實施例中,其中,在操作510處利用多于一種的算法,白點的加權(quán)平均值或由各算法確定的白點候選項可以輸出為白點估計。此估計然后可以被存儲于存儲器中作為AWB流水線中的一個階段的結(jié)果。
在一個實施例中,AWB流水線以操作510終止。在由方法501展示的示例性實施例中,然而,在操作510處獲得的候選白點提供最終白點駐留的CCT范圍的估計。此范圍估計被輸入到AWB流水線中的一個或多個附加階段中。根據(jù)在操作510處獲得的白點的可靠性,可以利用一種或多種依賴CMC-數(shù)據(jù)的算法來在縮減的CCT范圍中搜索最終的白點估計。在操作515處,例如,基于相機模塊表征數(shù)據(jù)、勒克斯水平估計和/或手動CCT范圍限制進一步限制CCT。然后在操作520處采用一種或多種搜索標(biāo)準(zhǔn)/算法執(zhí)行搜索非彩色區(qū)域。在操作525處,基于更高級的特征(如,臉、皮膚、場景信息、用戶數(shù)據(jù)以及地理或其他設(shè)備信息)使通過搜索標(biāo)識的白點更精確以由方法501得出最終的白點估計輸出。最終的白點估計然后被存儲于存儲器中并且可以用于以任何常規(guī)的方式進行增益平衡。
圖6是根據(jù)實施例的示例性系統(tǒng)600的原理圖。盡管系統(tǒng)600不局限于此上下文,系統(tǒng)600可以是移動設(shè)備。例如,系統(tǒng)600可以并入膝上計算機、超級膝上計算機、平板機、觸摸板、便攜式計算機、手持式計算機、掌上型計算機、蜂窩電話、智能設(shè)備(例如,智能電話、智能平板機或移動電視)、移動互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備等。系統(tǒng)600還可以是基礎(chǔ)設(shè)施設(shè)備。例如,系統(tǒng)600可以并入大尺寸電視、機頂盒、臺式計算機或其他家用或商用網(wǎng)絡(luò)設(shè)備中。
系統(tǒng)600可以實現(xiàn)以上在圖3A、圖4A和圖5的背景中描述的各方法的全部或子集。在各示例性實施例中,處理器615調(diào)用或以其他方式實現(xiàn)包括AWB的視頻/圖像增強操作。例如,如在本文其他地方所描述的,處理器615包括用于執(zhí)行圖像色度測量方法的功能性,基于這些方法可以預(yù)測AWB過程。例如,在一個實施例中,處理器615實現(xiàn)或包括用于確定一個或多個原始圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i的AWB模塊617。在進一步的實施例中,AWB模塊617進一步用于至少部分地基于圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i確定白點。在一個示例性實施例中,處理器615包括用于至少部分地基于來自由相機模塊610采集的并且經(jīng)由總線傳輸至處理器615和/或圖像信號處理器614的圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i確定白點的固定功能和/或可編程邏輯電路。在一些實施例中,一個或多個計算機可讀介質(zhì)可以存儲指令,所述指令當(dāng)由處理器615執(zhí)行時致使所述處理器執(zhí)行在本文其他地方所描述的一個或多個原始圖像色度測量。在替代性實施例中,ISP 614包括被配置為AWB模塊616的固件,所述AWB模塊確定一個或多個原始圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i。在進一步的實施例中,AWB模塊616進一步用于至少部分地基于圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i確定白點。然后可以將一個或多個白點或圖像色度權(quán)重α(1)i、α(2a)i、α(2b)i、α(3)i或α(4)i存儲在存儲器612中。
在實施例中,系統(tǒng)600包括耦接到人機接口設(shè)備(HID)620的平臺602。平臺602可以接收來自相機模塊610的原始圖像數(shù)據(jù),該原始圖像數(shù)據(jù)然后由ISP 614和/或處理器615處理、和/或被輸出到HID 620和/或經(jīng)由無線電618被傳達至網(wǎng)絡(luò)660。包括一個或多個導(dǎo)航特征的導(dǎo)航控制器1050可以用來例如與平臺602和/或HID 620交互。在實施例中,HID 620可以包括任何電視機類型監(jiān)測器或顯示器。HID 620可以包括例如計算機顯示屏、觸摸屏顯示器、視頻監(jiān)視器、電視機類型的設(shè)備和/或電視機。
在一個或多個軟件應(yīng)用616的控制下,平臺602可以在HID 620上顯示用戶界面622??梢酝ㄟ^指針、光標(biāo)、聚焦環(huán)或在顯示器上顯示的其他視覺指示符的移動在顯示器(例如,HID 620)上復(fù)制控制器650的導(dǎo)航特征的移動。例如,在軟件應(yīng)用616的控制下,位于導(dǎo)航控制器650上的導(dǎo)航特征可以例如被映射為在用戶界面622上顯示的虛擬導(dǎo)航特征。
在實施例中,平臺602可以包括相機模塊610、ISP 614、芯片組605、處理器615、存儲器612、存儲設(shè)備611、應(yīng)用616和/或無線電618的任意組合。芯片組605可以在處理器610、存儲器612、存儲設(shè)備611、圖形處理器615、應(yīng)用1016或無線電1018之中提供相互通信。
處理器615可以被實現(xiàn)為一個或多個復(fù)雜指令集計算機(CISC)或精簡指令集計算機(RISC)處理器、x86指令集兼容處理器、多核或任何其他微處理器或中央處理單元(CPU)。在實施例中,處理器615可以是(多個)多核處理器、(多個)多核移動處理器等。
存儲器612可以被實現(xiàn)為易失性存儲設(shè)備,如但不限于隨機存取存儲器(RAM)、動態(tài)隨機存儲器(DRAM)或靜態(tài)RAM(SRAM)。
存儲設(shè)備611可以被實現(xiàn)為非易失性存儲設(shè)備,如但不限于磁盤驅(qū)動器、光盤驅(qū)動器、磁帶驅(qū)動器、內(nèi)部存儲設(shè)備、附加存儲設(shè)備、閃存、電池應(yīng)急SDRAM(同步DRAM)和/或可接入網(wǎng)絡(luò)的存儲設(shè)備。
處理器615可以對如用于顯示的靜止或視頻媒體數(shù)據(jù)的圖像執(zhí)行處理,或者執(zhí)行普通的計算功能。處理器615可以例如包括一個或多個CPU、GPU或SoC??梢允褂媚M或數(shù)字接口來通信地耦接處理器615與顯示器620。例如,接口可以是高清晰度多媒體接口、顯示端口、無線HDMI和/或符合無線HD的技術(shù)中的任何一個接口。處理器615可以與圖形處理器一起集成在單芯片(即,SoC)上作為圖形核或者圖形處理器可以進一步被提供作為芯片組605的一部分。
無線電618可以包括能夠使用各種適當(dāng)?shù)臒o線通信技術(shù)發(fā)射并接收信號的一個或多個無線電。這種技術(shù)可以涉及跨一個或多個無線網(wǎng)絡(luò)的通信。示例無線網(wǎng)絡(luò)包括(但不限于)無線局域網(wǎng)(WLAN)、無線個人局域網(wǎng)(WPAN)、無線城域網(wǎng)(WMAN)、蜂窩網(wǎng)和衛(wèi)星網(wǎng)。在跨這類網(wǎng)絡(luò)通信時,無線電618可以根據(jù)任意版本的一個或多個可適用標(biāo)準(zhǔn)進行操作。
在實施例中,系統(tǒng)600可以被實現(xiàn)為無線系統(tǒng)、有線系統(tǒng)或二者的組合。當(dāng)被實現(xiàn)為無線系統(tǒng)時,系統(tǒng)600可以包括適合于通過如一個或多個天線、發(fā)送器、接收器、收發(fā)器、放大器、濾波器、控制邏輯等的無線共享介質(zhì)進行通信的組件和接口。無線共享介質(zhì)的示例可以包括無線光譜部分,如RF光譜等。當(dāng)被實現(xiàn)為有線系統(tǒng)時,系統(tǒng)600可以包括適用于通過有線通信介質(zhì)(如輸入/輸出(I/O)適配器、利用相應(yīng)有線通信介質(zhì)連接I/O適配器的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、光盤控制器、視頻控制器、音頻控制器等)進行通信的組件和接口。有線通信介質(zhì)的示例可以包括導(dǎo)線、電纜、金屬引線、印刷電路板(PCB)、背板、交換光纖、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等。
如在此描述的,可以在各種硬件架構(gòu)、單元設(shè)計或“IP核”中實現(xiàn)圖像數(shù)據(jù)色度測量以及基于這種測量預(yù)測的AWB處理。
如上所述,系統(tǒng)600可以用變化的物理風(fēng)格或形成因子來體現(xiàn)。圖7展示了可以用其體現(xiàn)系統(tǒng)700的小形成因數(shù)設(shè)備600的實施例。例如,在實施例中,設(shè)備700可以被實現(xiàn)為具有無線能力的移動計算設(shè)備。例如,移動計算設(shè)備可以指具有處理系統(tǒng)和移動電源(如一個或多個電池)的任何設(shè)備。
移動計算設(shè)備的示例可以包括個人計算機(PC)、膝上計算機、超級膝上計算機、平板機、觸摸板、便攜式計算機、手持式計算機、掌上型計算機、個人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視、智能設(shè)備(例如,智能電話、平板機或智能電視)、移動互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備等。
移動計算設(shè)備的示例還可以包括被配置來由人穿戴的計算機和/或媒體采集/傳輸設(shè)備,如手腕計算機、手指計算機、戒指計算機、眼鏡計算機、皮帶夾計算機、臂帶計算機、鞋計算機、服裝計算機以及其他可穿戴計算機。在各實施例中,例如移動計算設(shè)備可以實現(xiàn)為能夠執(zhí)行計算機應(yīng)用程序、以及語音通信和/或數(shù)據(jù)通信的智能電話。舉例來講,盡管一些實施例可以用被實現(xiàn)為智能電話的移動計算設(shè)備描述,可以理解的是,其他實施例也可以使用其他無線移動計算設(shè)備實現(xiàn)。實施例并不局限于本上下文中。
如圖7中所示,設(shè)備700可以包括外殼702、顯示器704、輸入/輸出(I/O)設(shè)備706和天線708。設(shè)備700還可以包括導(dǎo)航特征712。顯示器704可以包括適合于移動計算設(shè)備的用于顯示信息的任何適當(dāng)?shù)娘@示單元。I/O設(shè)備706可以包括用于將信息輸入移動計算設(shè)備中的任何適當(dāng)?shù)腎/O設(shè)備。I/O設(shè)備706的示例可以包括字母數(shù)字鍵盤、數(shù)字小鍵盤、觸摸板、輸入建、按鈕、開關(guān)、搖桿式開關(guān)、麥克風(fēng)、揚聲器、話音識別設(shè)備和軟件等。信息還可以借助于麥克風(fēng)(未示出)被輸入設(shè)備700中或者可以由話音識別設(shè)備數(shù)字化。實施例并不局限于本上下文中。
可以使用硬件元件、軟件元件或兩者的組合實現(xiàn)在此描述的實施例。硬件元件或模塊的示例包括:處理器、微處理器、電路、電路元件(例如,晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等。軟件元件或模塊的示例包括:應(yīng)用、計算機程序、應(yīng)用程序、系統(tǒng)程序、機器程序、操作系統(tǒng)軟件、中間件、固件、例程、子例程、函數(shù)、方法、過程、軟件接口、應(yīng)用程序接口(API)、指令集、計算代碼、計算機代碼、代碼段、計算機代碼段、數(shù)據(jù)字、值、符號、或其任意組合。判定是否是使用硬件元件和/或軟件元件來實現(xiàn)實施例可以根據(jù)針對設(shè)計選擇所考慮的任意數(shù)量的因數(shù)而變化,如但不限于:期望的計算速率、功率水平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度以及其他設(shè)計或性能約束。
至少一個實施例的一個或多個方面可以由存儲在機器可讀存儲介質(zhì)上的代表性指令實現(xiàn)。這類指令在由機器對其進行執(zhí)行的過程中可以完全地或至少部分地駐留在主存儲器內(nèi)和/或在處理器內(nèi),存儲指令的主存儲器和處理器部分然后還組成機器可讀存儲介質(zhì)。可編程邏輯電路可以具有由實現(xiàn)計算機可讀介質(zhì)的處理器配置的寄存器、狀態(tài)機等。這種如所編程的邏輯電路然后可以被理解為已經(jīng)被物理地轉(zhuǎn)換成落入在此描述的實施例的范圍內(nèi)的系統(tǒng)。表示處理器內(nèi)的各邏輯的指令當(dāng)由機器讀取時還可以致使機器制造遵循在此描述的架構(gòu)的邏輯和/或執(zhí)行在此描述的技術(shù)。被稱為元件設(shè)計或IP核的這種表示可以存儲在有形的、機器可讀的介質(zhì)上或被供應(yīng)至不同的消費者或制造設(shè)施以加載到實際上制造邏輯的制造機器或處理器中。
雖然已經(jīng)參照實施例描述了在此闡述的某些特征,并不打算在限制性意義上解釋本說明書。因此,本公開涉及的對本領(lǐng)域技術(shù)人員而言明顯的對在此描述的實現(xiàn)方式以及其他實現(xiàn)方式的各種修改被視為是在本公開的精神和范圍內(nèi)。
以下示例涉及具體的示例性實施例。
在一個或多個第一實施例中,一種用于估計原始圖像數(shù)據(jù)的色度值的計算機實現(xiàn)的方法包括:接收原始圖像數(shù)據(jù)塊的色彩通道值;以及利用白點校正因子將所述色彩通道值歸一化。所述方法進一步包括:通過對所述歸一化色彩通道值之間的差異進行量化來確定一個或多個第一圖像色度權(quán)重。所述方法進一步包括:將與所述原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述一個或多個第一圖像色度權(quán)重存儲于存儲器中。
為改進所述一個或多個第一實施例,所述方法進一步包括:根據(jù)所述一個或多個第一圖像色度權(quán)重確定第一白點估計;以及將所述第一白點估計存儲于存儲器中。
為改進所述一個或多個第一實施例,對色彩通道值之間的所述差異進行量化進一步包括:從所述歸一化原始圖像數(shù)據(jù)塊中確定最小色彩通道值和最大色彩通道值;以及確定所述最小與最大色彩通道值之比。
為改進所述一個或多個第一實施例,對色彩通道值之間的所述差異進行量化進一步包括:從所述歸一化原始圖像數(shù)據(jù)塊中確定平均色彩通道值;以及從所述平均色彩通道值中確定所述色彩通道值的變化度量。
為改進所述一個或多個第一實施例,確定所述一個或多個第一圖像色度權(quán)重進一步包括根據(jù)所述色彩通道值之間的所述差異確定第一和第二色度權(quán)重。
為改進所述一個或多個第一實施例,確定所述第一和所述第二色度權(quán)重進一步包括:從所述歸一化原始圖像數(shù)據(jù)塊中確定最小色彩通道值和最大色彩通道值。所述方法進一步包括:基于所述最小與最大色彩通道值之比確定所述第一色度權(quán)重。所述方法進一步包括:從所述歸一化原始圖像數(shù)據(jù)塊中確定平均色彩通道值。所述方法進一步包括:從所述平均色彩通道值中確定所述色彩通道值的均方根偏差。所述方法進一步包括:基于所述均方根偏差確定所述第二色度權(quán)重。
為改進所述一個或多個第一實施例,所述方法進一步包括:從與被采用以采集由所述原始圖像數(shù)據(jù)塊表示的圖像像素數(shù)據(jù)的圖像傳感器相關(guān)聯(lián)的傳感器表征數(shù)據(jù)中確定所述白點校正因子。
為改進所述一個或多個第一實施例,所述方法進一步包括:從所述一個或多個圖像色度權(quán)重中獨立地確定所述白點的初步估計;以及基于所述初步估計確定所述白點校正因子。
為改進所述一個或多個第一實施例,所述方法進一步包括:基于所述原始圖像數(shù)據(jù)在傳感器色度空間中的位置與在傳感器照明色度軌跡內(nèi)的最近點之間的距離確定一個或多個第二圖像色度權(quán)重。所述方法進一步包括:根據(jù)所述一個或多個第一色度權(quán)重以及所述一個或多個第二色度權(quán)重確定所述第一白點估計。
為改進以上緊挨著的實施例,所述方法進一步包括:確定所述一個或多個第二圖像色度權(quán)重進一步包括:接收與被采用以采集由所述原始圖像數(shù)據(jù)塊表示的圖像像素數(shù)據(jù)的圖像傳感器相關(guān)聯(lián)的傳感器表征數(shù)據(jù)。所述方法進一步包括:基于所述表征數(shù)據(jù)在所述傳感器色度空間內(nèi)確定所述傳感器照明色度軌跡。所述方法進一步包括:確定在所述色度空間內(nèi)在所述原始圖像數(shù)據(jù)與在所述傳感器照明色度軌跡中的所述最近點之間的所述距離。所述方法進一步包括:根據(jù)所述確定的距離確定所述圖像色度權(quán)重。
為改進以上緊挨著的實施例,接收所述原始圖像數(shù)據(jù)進一步包括:接收多個圖像數(shù)據(jù)塊,每個圖像數(shù)據(jù)塊包括表示多個像素色彩通道值的R、G和B色彩通道值。針對所述多個圖像數(shù)據(jù)塊中的每個圖像數(shù)據(jù)塊確定所述一個或多個第一圖像色度權(quán)重以及所述一個或多個第二圖像色度權(quán)重。確定所述第一白點估計進一步包括以下各項中的至少一項:基于在所述圖像數(shù)據(jù)塊之上確定的所述白點的初步估計確定所述白點校正因子;或者將針對所述多個圖像數(shù)據(jù)塊中的每個圖像數(shù)據(jù)塊確定的所述一個或多個第一圖像色度權(quán)重與針對所述相應(yīng)的原始數(shù)據(jù)塊確定的所述一個或多個第二圖像色度權(quán)重進行組合。確定所述第一白點估計進一步包括:利用所述一個或多個第一圖像色度權(quán)重或者利用其所述組合對與所述多個圖像數(shù)據(jù)塊中的每個圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述R、G和B色彩通道值進行加權(quán);以及在所述多個數(shù)據(jù)塊之上累積所述加權(quán)的R、G、B色彩通道值。
為改進以上緊挨著的實施例,所述一個或多個第一圖像色度權(quán)重的組合包括以下各項的乘積:第一和第二色度權(quán)重,所述第一和第二色度權(quán)重各自是每個數(shù)據(jù)塊的所述R、G和B色彩通道值之間的差異的函數(shù);以及第三色度權(quán)重,所述第三色度權(quán)重基于在所述色度空間內(nèi)在所述原始圖像數(shù)據(jù)與在所述傳感器照明色度軌跡中的所述最近點之間的所述距離。所述方法進一步包括:針對所述原始圖像數(shù)據(jù)塊中的每個原始圖像數(shù)據(jù)塊確定飽和度值,并且僅基于與低于預(yù)定最大飽和度閾值的飽和度值相關(guān)聯(lián)的所述原始圖像數(shù)據(jù)塊確定所述第一白點估計。
為改進以上緊挨著的實施例,所述方法進一步包括:至少部分地基于與被采用以采集由所述原始圖像數(shù)據(jù)塊表示的圖像像素數(shù)據(jù)的圖像傳感器相關(guān)聯(lián)的傳感器表征數(shù)據(jù)確定相關(guān)色溫(CCT)范圍。所述方法進一步包括:通過搜索具有在所述CCT范圍內(nèi)的數(shù)據(jù)值的所述多個原始數(shù)據(jù)塊來標(biāo)識非彩色區(qū)域。所述方法進一步包括:基于所述經(jīng)標(biāo)識的非彩色區(qū)域確定第二白點估計。所述方法進一步包括:基于所述第一白點估計和所述第二白點估計兩者確定白平衡增益。
在一個或多個第二實施例中,一種處理器包括AWB模塊。所述AWB模塊包括用于接收原始圖像數(shù)據(jù)塊的色彩通道值的邏輯電路。所述模塊包括用于利用白點校正因子將所述色彩通道值歸一化的邏輯電路。所述模塊包括用于通過對所述歸一化色彩通道值之間的差異進行量化來確定一個或多個第一圖像色度權(quán)重的邏輯電路。所述模塊包括用于將與所述原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述一個或多個第一圖像色度權(quán)重存儲于存儲器中的邏輯電路。
為改進所述一個或多個第二實施例,所述AWB模塊進一步包括用于通過以下各項量化所述歸一化色彩通道值之間的所述差異的邏輯電路:從所述歸一化原始圖像數(shù)據(jù)塊中確定最小色彩通道值和最大色彩通道值;以及確定所述最小與最大色彩通道值之比。
為改進所述一個或多個第二實施例,所述AWB模塊進一步包括用于基于在傳感器色度空間中的所述原始圖像數(shù)據(jù)與在傳感器照明色度軌跡內(nèi)的最近點之間的距離確定一個或多個第二圖像色度權(quán)重的邏輯電路。所述AWB模塊進一步包括用于根據(jù)所述一個或多個第一色度權(quán)重以及所述一個或多個第二色度權(quán)重確定所述第一白點估計的邏輯電路。
在一個或多個第四實施例中,一種移動設(shè)備包括用于生成原始圖像數(shù)據(jù)的相機模塊。所述設(shè)備進一步包括處理器,所述處理器包括AWB模塊。所述AWB模塊耦接于所述相機模塊,用于接收所述原始圖像數(shù)據(jù)。所述AWB模塊用于從所述采集的原始圖像數(shù)據(jù)中生成原始圖像數(shù)據(jù)塊。所述AWB模塊用于接收原始圖像數(shù)據(jù)塊的色彩通道值。所述AWB模塊用于利用白點校正因子將所述色彩通道值歸一化。所述AWB模塊用于通過對所述歸一化色彩通道值之間的差異進行量化來確定一個或多個第一圖像色度權(quán)重。所述移動設(shè)備進一步包括存儲器,所述存儲器用于存儲與所述原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述一個或多個第一圖像色度權(quán)重。
為改進所述一個或多個第四實施例,所述AWB模塊進一步用于基于在傳感器色度空間內(nèi)的所述原始圖像數(shù)據(jù)與在傳感器照明色度軌跡內(nèi)的最近點之間的距離確定一個或多個第二圖像色度權(quán)重。所述AWB模塊進一步用于根據(jù)所述一個或多個第一色度權(quán)重以及所述一個或多個第二色度權(quán)重確定所述第一白點估計。
在一個或多個第五實施例中,一種或多種計算機可讀存儲介質(zhì)其上存儲有指令,所述指令當(dāng)由處理器執(zhí)行時使所述處理器執(zhí)行一種方法,所述方法包括:接收原始圖像數(shù)據(jù)塊的色彩通道值;利用白點校正因子將所述色彩通道值歸一化;通過對所述歸一化色彩通道值之間的差異進行量化來確定一個或多個第一圖像色度權(quán)重;以及將與所述原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述一個或多個第一圖像色度權(quán)重存儲于存儲器中。
為改進一個或多個第五實施例,所述介質(zhì)進一步包括存儲在其上的指令,所述指令當(dāng)由所述處理器執(zhí)行時,進一步使所述處理器執(zhí)行所述方法,所述方法進一步包括:基于在傳感器色度空間中的所述原始圖像數(shù)據(jù)與在傳感器照明色度軌跡內(nèi)的最近點之間的距離確定一個或多個第二圖像色度權(quán)重;以及根據(jù)所述一個或多個第一色度權(quán)重以及所述一個或多個第二色度權(quán)重確定所述第一白點估計。
在一個或多個第六實施例中,所述AWB模塊包括用于執(zhí)行任何一種方法的邏輯電路。
在一個或多個第七實施例中,一種或多種計算機可讀存儲介質(zhì)其上存儲有指令,所述指令當(dāng)由處理器執(zhí)行時使所述處理器執(zhí)行如所述一個或多個第五實施例中的任何一個實施例所述的方法。
在一個或多個第八實施例中,一種處理器包括AWB模塊。所述AWB模塊包括用于接收原始圖像數(shù)據(jù)塊的色彩通道值的接收裝置。所述AWB模塊包括耦接于所述接收裝置的用于利用白點校正因子將所述色彩通道值歸一化的歸一化裝置。所述AWB模塊包括耦接于所述歸一化裝置的用于通過對所述歸一化色彩通道值之間的差異進行量化來確定一個或多個第一圖像色度權(quán)重的色彩通道比較裝置。所述AWB模塊包括耦接于所述比較裝置的用于存儲與所述原始圖像數(shù)據(jù)塊相關(guān)聯(lián)的所述一個或多個第一圖像色度權(quán)重的存儲裝置。
為改進所述一個或多個第八實施例,所述色彩通道比較裝置進一步包括用于從所述歸一化原始圖像數(shù)據(jù)塊中確定最小色彩通道值和最大色彩通道值的最小/最大標(biāo)識裝置。所述色彩通道比較裝置進一步包括耦接于所述最小/最大標(biāo)識裝置的用于確定所述最小與最大色彩通道值之比的配給裝置。
為改進所述一個或多個第八實施例,所述AWB模塊進一步包括色度距離確定裝置以及白點估計裝置,所述色度距離確定裝置用于基于在傳感器色度空間中的所述原始圖像數(shù)據(jù)與在傳感器照明色度軌跡內(nèi)的最近點之間的距離確定一個或多個第二圖像色度權(quán)重;并且所述白點估計裝置耦接于所述色度距離確定裝置以及所述色彩通道比較裝置以便根據(jù)所述一個或多個第一色度權(quán)重以及所述一個或多個第二色度權(quán)重確定所述第一白點估計。
將認識到,這些實施例不局限于如此描述的這些示例性實施例,而是可以在不背離所附權(quán)利要求書的范圍的情況下通過修改和變更來實踐。例如,以上實施例可以包括特征的特定組合。然而,以上實施例不局限于這個方面,并且在實施例中,以上實施例可以包括僅采取這類特征的子集、采取這類特征的不同順序、采取這類特征的不同組合和/或采取除了明確例舉的那些特征之外的附加特征。因此,范圍連同被授予權(quán)利的這些權(quán)利要求書的等效物的全部范圍應(yīng)參照所附權(quán)利要求書來確定。