專利名稱：顏色恒常方法和系統(tǒng)的制作方法
顏色恒常方法和系統(tǒng)
背景技術(shù)：
在種類繁多的場景照明源下，人類觀察者看到相同的顏色范圍；一張白紙堅決保 持白色，而與在其之下觀察該白紙的光的顏色無關(guān)。相反，諸如數(shù)字照相機之類的顏色成像 系統(tǒng)不是那么顏色恒常的。顏色恒常(color constancy)問題一確定照明場景的光的顏色并校正圖像以計及 其效果一對于許多成像應(yīng)用來說是成問題的。特別地，數(shù)字照相機依賴于顏色恒常算法來 檢測照明源并產(chǎn)生最終圖像。這些顏色恒常算法的性能直接影響照相機的總體圖像質(zhì)量， 并且人眼對這種缺陷是敏感的。已知的顏色恒常算法的有效性不同。已知的算法均沒有給出完美的結(jié)果，并且就 精確性來說，沒有一個算法優(yōu)于其它算法。然而，這些算法的性能影響照相機的總體圖像質(zhì)量。因為這些及其它理由，需要本發(fā)明。

發(fā)明內(nèi)容
公開了顏色恒常方法和系統(tǒng)的實施例。該方法可以以指令形式存儲在存儲介質(zhì) 中，當被執(zhí)行時所述指令實施所公開的方法，該方法包括將圖像劃分成多個子圖像以及將 多個顏色恒常算法應(yīng)用于每個子圖像。通常，顏色恒常算法分析和調(diào)整圖像數(shù)據(jù)中的數(shù)字 值以校正用于照明圖像的光源的特性差異。對于每個子圖像分析每個顏色恒常算法的輸 出，以確定在子圖像上哪些顏色恒常算法給出不一致的結(jié)果。相對于提供一致結(jié)果的算法 的輸出，調(diào)整提供不一致結(jié)果的算法的輸出的影響以降低其影響(例如，效果或權(quán)重)。基 于所述輸出的調(diào)整，組合來自所述多個顏色恒常算法的輸出。


包括附圖以提供對本發(fā)明的進一步理解，并且附圖合并在本說明書中并構(gòu)成本說 明書的一部分。附圖示出了本發(fā)明的實施例，并和說明書一起用來解釋本發(fā)明的原理。本 發(fā)明的其它實施例和本發(fā)明的許多預(yù)期優(yōu)點將被容易地認識到，因為參照下列詳細說明能 更好地理解它們。附圖的要素不一定相對于彼此成比例。相似的參考數(shù)字指代對應(yīng)的類似 部分。圖1是概念性地示出根據(jù)本發(fā)明的一個或多個實施例的圖像處理系統(tǒng)的實施例 的方框圖。圖2是示出根據(jù)本發(fā)明的一個或多個實施例的顏色恒常方法的流程圖。圖3示出了根據(jù)本發(fā)明的一個或多個實施例的圖像及子圖像的示例。圖4是示出合并了圖1中示出的圖像處理系統(tǒng)的實施例的計算機系統(tǒng)的實施例的 方框圖。圖5是示出合并了圖1中示出的圖像處理系統(tǒng)的實施例的照相機系統(tǒng)的實施例的 方框圖。
圖6A和6B分別示出了由現(xiàn)有技術(shù)的顏色恒常過程以及由根據(jù)本發(fā)明的一個或多 個實施例的過程產(chǎn)生的圖像。圖7A和7B分別示出了由現(xiàn)有技術(shù)的顏色恒常過程以及由根據(jù)本發(fā)明的一個或多 個實施例的過程產(chǎn)生的圖像。
具體實施例方式在以下詳細描述中參考附圖，所述附圖形成所述描述的一部分，并且其中通過圖 示示出了其中可以實踐本發(fā)明的特定實施例。在此方面，諸如“頂部”、“底部”、“前”、“后”、 “前面的”、“后面的”等之類的方向術(shù)語參照所描述的附圖的方位來使用。由于本發(fā)明實施 例的組件可以沿若干不同的方位定位，所以所述方向術(shù)語出于說明的目的來使用而絕非進 行限制。所要理解的是，可以利用其它實施例并且可以進行結(jié)構(gòu)或邏輯變化而不背離本發(fā) 明的范圍。因此，以下詳細描述不應(yīng)以限制的意義來理解，并且本發(fā)明的范圍由所附權(quán)利要 求書限定。圖1是概念性地示出包括顏色校正模塊12的圖像處理系統(tǒng)10的實施例的方框 圖。系統(tǒng)10接收圖像14，以及顏色校正模塊12輸出具有已校正顏色的校正圖像16。其中， 顏色校正模塊12對接收的圖像14應(yīng)用各種顏色恒常算法，從而得到校正圖像16。圖2是大致示出由顏色校正模塊12執(zhí)行的方法的流程圖。在方框20中，圖像14 被劃分成多個子圖像。把圖像14劃分成子圖像18的過程類似于利用廣角鏡頭捕獲給定場 景中的照片，以及接著利用遠攝鏡頭拍攝相同場景的各部分的更加特寫的照片。假設(shè)可非 ?？焖俚嘏臄z廣角和特寫圖片以便場景照明源在此期間不變化，應(yīng)用于廣角和特寫圖片的 顏包恒常算法應(yīng)在該組照片上提供類似結(jié)果。在數(shù)字照相機中，代替切換鏡頭或縮放，可僅 僅使用來自同一照片內(nèi)的裁剪。圖像14被裁剪若干次以提供整個圖像14的若干部分的圖 像。圖3概念性地示出細分過程，其中圖像14被劃分成若干子圖像18。通常，子圖像 18的尺寸需要大到足以為顏色恒常分析提供充足的顏色信息。在由數(shù)字照相機捕獲的典型 圖像的原始像素計數(shù)的情況下，例如，相對小的子圖像將攜帶充足的數(shù)據(jù)。在示例實施方式 中，分析16個子圖像18。典型數(shù)字照相機有大約IOM像素，因此使用16個子圖像導(dǎo)致每個 子圖像有大約62 像素。相信甚至更小的子圖像(諸如20-50K像素)也能夠提供充足的 數(shù)據(jù)。子圖像的數(shù)目可以改變，例如在各種實施例中從4個變化到64個子圖像。在方框22中，不同顏色恒常算法被應(yīng)用于圖像14和子圖像18。方框22中應(yīng)用的 各種顏色恒常算法可包括例如稱為由相關(guān)決定顏色(color by correlation)的過程、BV資 格(BV Qualification)、灰度世界(Gray World)、最大 RGB、尋找灰度(Gray Finding)等。 通常來說，顏色恒常算法確定照明及調(diào)整圖像數(shù)據(jù)中的數(shù)字值以校正用來照明該圖像的光 源的特性差異。例如，Gray World顏色恒常算法假設(shè)整個圖像上的紅、綠和藍色通道中的每個 通道的均值在規(guī)范照明源下形成固定比率。由于該固定比率通常不是已知的，因此假設(shè) 該固定比率表示灰色。因此，Gray World算法通常把圖像的平均值校正成灰色。參見， E. H. Land 的"Recent Advances in Retinex Theory，，，Vision Research，26，p. 7-21, (1986) ；G. Buchsbaum 的“A Spatial Processor Model for Object Color Perception”，Journal of the Franklin Institute 310, p. 1-26(1980)；以及，R· Gershon，A· D· Jepson 禾口 J. K. Tsotsos 的 “From [R，G，B]to Surface Reflectance :Computing Color Constant Descriptors inlmages，，，Perception，p. 755-758 (1988)。最大RBG算法是基于以下主張的在紅、綠和藍色通道中單獨計算的最大像素響 應(yīng)亦可用作白點估計(我們稱這種方法為最大RGB)。參見，Ε. H. Land的“The Retinex Theory of Color Vision，，，Scientific American, p. 108-129, (1977)。在由相關(guān)決定顏色的算法中，“相關(guān)矩陣存儲器”或“關(guān)聯(lián)矩陣存儲器”連同貝葉斯 或其它相關(guān)統(tǒng)計量一起使用。構(gòu)造相關(guān)矩陣存儲器以將來自圖像的數(shù)據(jù)與在一系列照明源 下的參考圖像相關(guān)。當數(shù)字照相機例如產(chǎn)生圖像時，該數(shù)據(jù)被轉(zhuǎn)換成色度并創(chuàng)建對應(yīng)于存 在于場景中的值的向量。將該向量與相關(guān)矩陣中的每一列相乘，從而給出新矩陣。接著，對 每一列求和，以及所得值形成表示每個參考源是場景的照明源的似然性的向量。向量值可 以被按密度繪制(density plotted)，其中在該特定列的照明的色度處繪制每個值。根據(jù) 該繪圖，常規(guī)的統(tǒng)計方法可用來估計場景的可能照明。參見，G. Finlayson等的“Color by Correlation :A simple, Unifying Framework for Color Constancy，，，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23,No. 11,pp. 1209-1221, (2001) 和授予Hubel等的美國專利No. 6，038，339。如果特定算法的輸出在圖像14和/或子圖像18之間不同，則該特定算法可能不 太適合于圖像14。通常，適合于特定圖像的顏色恒常算法預(yù)期將在圖像14和子圖像18之 間提供一致的結(jié)果。類似地，由若干不同算法提供的輸出預(yù)期將是類似的一如果一種算法 的輸出顯著不同于其它算法的輸出，則它可能不太適合于該特定圖像。因此，在方框M中，確定哪些顏色恒常算法在子圖像上給出不一致的結(jié)果。例如， 輸出的分析可包括查看給定的其中一種算法在子圖像18和整個圖像14上的輸出的變化， 和/或各種顏色恒常算法之間的輸出的變化。在方框25中，相對于提供一致結(jié)果的算法的輸出，調(diào)整提供不一致結(jié)果的算法的 輸出的影響以降低其影響(例如，效果或權(quán)重)。例如，將諸如權(quán)重之類的影響因子應(yīng)用于 提供不一致結(jié)果的算法的輸出，以相較于提供一致結(jié)果的算法的輸出降低其影響(例如， 效果或權(quán)重)。在一些實施例中，構(gòu)建模型以組合各種顏色恒常算法的輸出，并且基于所述確定， 改變該模型的參數(shù)來調(diào)整所述影響。因此，組合顏色恒常算法的輸出可以是對輸出簡單加 權(quán)，或者可按照更復(fù)雜的方式改變所述參數(shù)。在示例實施例中，每種顏色恒常算法處理每個子圖像，就好像它是完整的獨立圖 像。計算并分析結(jié)果，包括例如子圖像集上的均值和方差，所述子圖像集可標注為F。通過 已知函數(shù)f (W，F(xiàn))可計算最終結(jié)果，其中W是一組參數(shù)。在某些實施例中，W的值是根據(jù)經(jīng)驗設(shè)置的。例如，如果一種算法的方差比其它算 法的方差高，則降低該算法的影響。在一些實施例中，W的最佳值是利用機器學(xué)習(xí)及優(yōu)化技 術(shù)實時確定的。給定已標記的數(shù)據(jù)集，這些技術(shù)允許確定W的值，以便對于該數(shù)據(jù)集來說， 最終結(jié)果將具有最小誤差。如果該數(shù)據(jù)集在尺寸及其內(nèi)容上是合理的，則該系統(tǒng)將產(chǎn)生更 好的整體性能。在一個實施例中，R是在對所有算法的結(jié)果加權(quán)之后的最終輸出。這也就是色溫。R如下確定
權(quán)利要求
1.一種方法，包括將圖像細分成多個子圖像；將多個顏色恒常算法應(yīng)用于每個子圖像；確定哪些顏色恒常算法在所述子圖像上給出不一致的結(jié)果；相對于提供一致結(jié)果的算法的輸出，調(diào)整提供不一致結(jié)果的算法的輸出的影響以降低 其影響；以及基于所述輸出的調(diào)整，組合所述多個顏色恒常算法的輸出。
2.權(quán)利要求1的方法，其中確定哪些顏色恒常算法給出不一致的結(jié)果包括確定所述多 個顏色恒常算法之間的輸出變化。
3.權(quán)利要求1的方法，其中確定哪些顏色恒常算法給出不一致的結(jié)果包括確定所述子 圖像之間的輸出變化。
4.權(quán)利要求1的方法，其中所述多個顏色恒常算法選自包含由相關(guān)決定顏色、Gray World、和最大RGB的組。
5.一種存儲有指令的計算機可讀存儲介質(zhì)，所述指令在被執(zhí)行時實施一種方法，該方 法包括將圖像細分成多個子圖像；將多個顏色恒常算法應(yīng)用于每個子圖像；確定哪些顏色恒常算法在所述子圖像上給出不一致的結(jié)果；相對于提供一致結(jié)果的算法的輸出，調(diào)整提供不一致結(jié)果的算法的輸出的影響以降低 其影響；以及基于所述輸出的調(diào)整，組合所述多個顏色恒常算法的輸出。
6.權(quán)利要求5的計算機可讀存儲介質(zhì)，其中確定哪些顏色恒常算法給出不一致的結(jié)果 包括確定所述多個顏色恒常算法之間的輸出變化。
7.權(quán)利要求5的計算機可讀存儲介質(zhì)，其中確定哪些顏色恒常算法給出不一致的結(jié)果 包括確定所述子圖像之間的輸出變化。
8.一種系統(tǒng)，包括顏色校正模塊，其在操作中將圖像細分成多個子圖像；將多個顏色恒常算法應(yīng)用于每 個子圖像；確定哪些顏色恒常算法給出不一致的結(jié)果；相對于提供一致結(jié)果的算法的輸 出，調(diào)整提供不一致結(jié)果的算法的輸出的影響以降低其影響；以及組合包含所調(diào)整的輸出 的所述多個顏色恒常算法的輸出。
9.權(quán)利要求8的系統(tǒng)，其中確定哪些顏色恒常算法給出不一致的結(jié)果包括確定所述多 個顏色恒常算法之間的輸出變化。
10.權(quán)利要求8的系統(tǒng)，其中確定哪些顏色恒常算法給出不一致的結(jié)果包括確定所述 子圖像之間的輸出變化。
全文摘要
一種顏色恒常方法及系統(tǒng)包括將圖像分成多個子圖像以及將多個顏色恒常算法應(yīng)用于每個子圖像。針對每個子圖像，分析每個顏色恒常算法的輸出以確定哪些顏色恒常算法在所述子圖像上給出不一致的結(jié)果。相對于提供一致結(jié)果的算法的輸出，調(diào)整提供不一致結(jié)果的算法的輸出的影響以降低其影響(例如效果或權(quán)重)?；谒鲚敵龅恼{(diào)整，組合來自所述多個顏色恒常算法的輸出。
文檔編號G06T1/00GK102138157SQ200880130935
公開日2011年7月27日 申請日期2008年8月30日 優(yōu)先權(quán)日2008年8月30日
發(fā)明者R·吳, Y-W·王 申請人:惠普開發(fā)有限公司