專利名稱：主顏色提取裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像/視頻的分割、檢索和分析領(lǐng)域，更具體地，涉 及一種在特定顏色空間中的直方圖上對圖^象進^f亍主顏色^是取的主 顏色纟是耳又裝置和方法。
背景技術(shù)：
可以人為視覺上容易理解以非常低的分辨率示出的圖像/視頻 的內(nèi)容及其細節(jié)的這種現(xiàn)象表示大的均勻著色區(qū)域是圖像/視頻分 析的必要特征。這些特征通常被描述為主顏色或主顏色區(qū)域。主顏
色(dominant color,簡稱為DC )凈皮限定為一組類似的顏色，這組 相似顏色對應的像素在圖像或視頻分割(的特定區(qū)域)中占有相當 大的比例。DC提取可用于許多應用中，諸如圖像分割、視頻(當 時的)分割、圖像/視頻檢索等。
所謂圖像或者一見頻片斷中的某一主顏色指的是一簇相近的顏 色，或者i兌是顏色空間中的一個連續(xù)的范圍，其中，這些顏色只于應 的像素在輸入的圖像或者視頻片段的所有像素中占有較大的比例， 其比例大于某 一設定的閾值。
根據(jù)上述定義，主顏色提取的首要問題是如何將輸入的所有顏 色分為若干類，或者說根據(jù)輸入像素在顏色空間中的分布，將整個 顏色空間劃分為若干個區(qū)域。這可以看作是一個顏色直方圖中的聚 類問題。目前，已對DC提取技術(shù)進行了廣泛的研究。在現(xiàn)有技術(shù)中， 采用的聚類方法包括全局峰值點(相對閾值法)、局部峰值點(固 定范圍法)、預先^^莫型訓練、K均值、在線K均值、期望最大化、 增量期望最大化、廣義Lloyd算法、均值移動等等。從應用的角度 來看，現(xiàn)有的這些4支術(shù)可以分別兩類 一類是預先對主顏色的分布 特性有足夠的了解，才艮據(jù)先-驗知識構(gòu)造主顏色的"才莫型"，然后在 主顏色才是取過程中使用此"才莫型"；另一類是不需要預先知曉主顏 色的分布特性，采用統(tǒng)一的方案Y更可以4是取各種類型的主顏色。
在D. Zhong和S.-F. Chang的 "Real-time view recognition and event detection for sports video" , Journal of Visual Communication-and Image Representation, vol. 15, no. 3， pp. 330-347， 2004中，矛J用對白
攝于不同場地條件的網(wǎng)球比賽視頻，用K均值算法學習得到若干個 網(wǎng)球場地主顏色的模型。對一個待處理的網(wǎng)3求視頻，通過用各個模 型分別與#見頻的初始部分進行匹配以選擇出適合此視頻的主顏色 模型。
在L-Y. Duan和M. Xu等人的 "Semantic Shot Classification in Sports Video, Proc. SPIE Storage and Retrieval for Media Databases", pp.300-313， 2003中，采用高其斤〉'昆合才莫型(Gaussian Mixture Model) 來描述足^求一見頻中場地主顏色在直方圖中的分布，并采用在線K均 值算法來訓練高斯混合模型，這樣，主顏色對應的高斯模型就會由 于比重較大而一直被保留下來。
在A. Ekin禾卩A. M. Tekalp等人的 "Automatic soccer video analysis and summarization" , IEEE Tmns， Image Processing, vol. 12， no. 7, pp. 796-807, 2003中，首先在一維的色度(Hue )直方圖上搜 索最大值，然后以此為中心，向左右分別搜索，找到頻度值小于最 大值一定比例的位置。左右兩位置之間的顏色被認為是足球比賽視 頻中的場;也主顏色。
7在L. Xie禾口 P. Xu等人的"Structure analysis of soccer video with domain knowledge and hidden Markov models, Pattern Recognition Letters" , vol. 25， no. 7， pp. 767-775， 2004中，足球視頻場地主顏色 提取也是在一維的色度(Hue)直方圖上進行的，其認為主顏色在 色度直方圖上符合正態(tài)分布，用從比賽開始階段提取的樣本學習正 態(tài)分布的參fc從而才是取出主顏色。
在B. Han和Y. Hu等人的"Enhanced Sports Video Shot Boundary Detection Based on Middle Level Features and a Unified Model" ， IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 1168-1176, 2007中,通
過大量統(tǒng)計得到足5求-現(xiàn)頻中場i也主顏色在色度-々包和度-亮度 (Hue-Saturation-Value )空間中的分布特性，包括在各個顏色分量 上的分布范圍和分布的離散程度。根據(jù)這些特性，通過在各一維直 方圖上依次篩選確定主顏色的范圍。
以上是第一類DC 4是取技術(shù)，由于這些^支術(shù)都需要足夠的關(guān)于 主顏色分布的先驗知識，或者強烈依賴于某些關(guān)于主顏色在直方圖 中分布的假設，所以它們僅能針對某一特定的已知類別的圖像或視 頻來4吏用。
在L. W^ng ,口 Y. Zeng等人的 "Automatic extraction of semantic colors in sports video, IEEE Int. Conf. Acoustic, Speech, and Signal Processing" ,2004和劉揚、黃慶明等人的自適應高斯混合才莫型球場 斗企測算法及其在體育#見頻分析中的應用，計算才幾研究與發(fā)展，vol. 43: no. 7, pp. 1207-1215， 2006中，它們采用高斯混合才莫型來描述體育#見 頻中的主《貞色在直方圖中的<》布，并.采用期望最大4匕(Expectation Maximization ) 或增量期望最大化 (Incremental Expectation Maximization )方法來只寸顏色進4亍聚類，^f旦是這兩種方法存在擊夾點， 它們都要求各個主顏色在直方圖中的分布滿足高斯模型或高斯混 合模型的假設；高斯混合模型中高斯模型的數(shù)目很難選取，過大會導致主顏色劃分過細、過小會導致主顏色與非主顏色混淆，并且計 算復雜度很高。
在林通、張宏江等人的"鏡頭內(nèi)容分析及其在視頻檢索中的應
用，，，專欠4牛學才艮，vol. 13， no. 4, pp. 1-10， 2002中，對每幀圖4象， 在色度-飽和度-亮度(Hue-Saturation-Value )直方圖中找到所有重要 的局部最大值點。對每個最大值點，把以此為中心，以3個量化單 位為直徑的^求內(nèi)的顏色—見為一個主顏色。此方法的主要擊夾點為主 顏色范圍在顏色空間中的半徑是此方法的重要參數(shù)，對不同的主顏 色不盡相同，很難找到一個針對各種視頻都很好的參數(shù)；并且該方 法將局部最大值點作為主顏色的類中心，這要求主顏色在直方圖中 的分布必須滿足中心頻度最高的々i設。
在 Y. Deng禾口 C. Kenney等人的 "Peer group filtering and perceptual color quantization" , in Proc. IEEE Int. Symp. Circuits Syst" vol. 4, 1999, pp. 21—24和Y. Deng以及B. S. Manjunath等人的"An Efficient Color Representation for Image Retrieval" , IEEE Trans. Image Processing, vol. 10， no. 1, pp. 140-147, 2001中，首先根據(jù)圖像
(或其某一區(qū)域)中的顏色空間分布來估計顏色的類別lt目，然后 從顏色的矢量量化角度出發(fā)，用廣義Lloyd算法(Generalized Lloyd Algorithm)將所有顏色劃分為上述凄t目個類別，最后將距離小于某 一特定閾值的類別合并。此方法的主要缺點為準確的顏色類別數(shù)
目估計難以實現(xiàn)；廣義Lloyd算法以最小化全局量化誤差為準則， 這導致出現(xiàn)頻度高的顏色空間區(qū)域分割過度(為解決此問題，算法 采用了粗糙的類別合并方案)，而出現(xiàn)頻度低的顏色空間區(qū)域分割 不足；計算復雜度很高。
在D. Comaniciu和P. Meer的 "Mean Shift: a robust approach toward feature space analysis" ， IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 5, 2002. pp. 603-619和L,Y. Duan
9以及M. Xu等人的Nonparametric color characterization using mean shift, Proc. ACM Int. Conf. Multimedia, 2003, pp. 243 - 246中，在顏
色直方圖中對各個不同的顏色值進行均值移動(Mean Shift)處理， 這樣，具有相同的均值移動終點的顏色就4皮劃為相同的顏色類別。 改變均值移動算法的窗口大小，會改變主顏色聚類的結(jié)果。此方法 的主要缺點為均值移動算法的窗口大小與主顏色提取結(jié)果緊密相 關(guān)，難以設置適用于各種圖像的最優(yōu)參數(shù)；均值移動算法容易陷入 局部最優(yōu)，因此對顏色直方圖中的噪聲、即直方圖的不平滑十分每文 感；對各個顏色都進行迭代的均值移動計算，復雜度很高。
可以看出，與第一類方法相比，第二類方法雖然具有通用性， 可以應用于各種不同類別的圖像或視頻，但是，現(xiàn)有的各種技術(shù)在 應用中仍存在不足之處。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)中的各種問題，本發(fā)明提供了 一種主顏色提 取方法和裝置，其通過檢測直方圖中的所有局部峰然后分別向周圍 不斷擴張的方法對所有顏色值進行聚類，并在對直方圖中各顏色按 頻度值從大到d、順序的掃描過程中，對相鄰的顏色類別進行適當?shù)?合并，從而根據(jù)各個顏色類別所對應的像素所占的比例分別做出是 否為主顏色的判斷。
根據(jù)本發(fā)明的一個方面，提供了一種主顏色提取裝置，其包括 顏色直方圖生成裝置，用于當輸入圖像時，根據(jù)預定的顏色空間， 生成關(guān)于輸入的圖〗象的顏色直方圖；顏色類別劃分裝置，用于對顏
色直方圖中關(guān)于各個顏色的局部極大值點進行編號，并將每個編號 分別同時迭代地傳播給關(guān)于相應顏色的除局部極大值點外的鄰接
點，以將關(guān)于每個顏色的所有直方圖點劃分為同一類別；顏色類別 合并裝置，用于基于各個類別的鄰接點在顏色直方圖中的直方圖值為最大的鄰接值，將確定進行合并的兩個或兩個以上的類別進行重
壽斤編號，以爿尋兩個或兩個以上的類別劃分為同一類別；以及主顏色 確定裝置，用于在合并后的各個類別中，將對應的像素數(shù)目占對應 于顏色直方圖中的所有顏色的 <象素的比例大于預定閾值的類另'J的 顏色確定為主顏色。
其中，當在顏色直方圖中，局部才及大^f直點之一具有同為局部^L 大值點的鄰接點時，顏色類別劃分裝置可以找出與局部極大值點之 一直4妾鄰《接的局部才及大<li,泉和間隔有其^f也局部才及大^直點的局部才及 大j直點，并為這些局部才及大4直點分配共同的編號，并且乂人多個局部 極大值點開始按照從近及遠的順序分別將編號傳播給顏色的鄰接 點，乂人而將具有相同的編號的所有直方圖點劃分為同 一類。
當 一個直方圖點沒有^皮編號時，如果一個直方圖點的鄰4妄點的 值都不大于一個直方圖點的值，或者一個直方圖點的鄰接點的值大 于一個直方圖點的值^旦一個直方圖點的鄰4妻點沒有編號，則顏色類 別劃分裝置不對一個直方圖點執(zhí)行任何操作。
可選i也，當一個直方圖點沒有,皮編號時，如果一個直方圖點的 鄰接點的值大于一個直方圖點的值以及一個直方圖點的鄰接點具 有編號，并且鄰接點唯一且鄰接點的編號唯一，則顏色類別劃分裝 置將鄰接點的編號分配給一個直方圖點。而當 一個直方圖點已經(jīng)被 編號時，顏色類別劃分裝置不再為直方圖點分配其他編號。
另外，可選i也，當一個直方圖點沒有^皮編號時，如果一個直方 圖點、的4卩 <接點的偵—大于 一 個直-方圖^、的 <直以及_ 一個直-方圖，#、的 接點具有編號，但是鄰接點不唯一或鄰接點的編號不唯一，則顏色 類別劃分裝置選4奪鄰4妄點的編號中的一個分配給一個直方圖點。在顏色類別合并裝置中可以包括平均顏色計算裝置，用于計 像素的平均顏色；以及鄰接類別合并確定裝置，用于在平均顏色之
差大于人眼易視覺區(qū)分的色差閾值的情況下，確定不將鄰接類別合 并為同一類。此外，在顏色類別合并裝置中，當確定將鄰接類別合 并為同一類時，鄰接類別合并確定裝置按照各個鄰接類別對應的鄰 接值從大到小的順序執(zhí)行鄰接類別的合并。
可選地，鄰4妄類別合并確定裝置還可以用于在鄰4妄值小于耳又決 于每個鄰接類別內(nèi)的直方圖點的分布的閾值的情況下，確定不將鄰 4妄類別合并為同一類。而且，鄰接點確定裝置還用于在存在分別屬 于兩個類別且為鄰4妄點的兩個直方圖點的情況下，將兩個類別確定 為鄰4妄類別并且將兩個直方圖點中的壽交小4直的直方圖點確定為兩 個類別的鄰接點。
另夕卜，根據(jù)本發(fā)明的主顏色提取裝置還可以包括鄰接點確定 裝置，用于將在預定的顏色空間中距離小于預定值的兩個直方圖點 確定為鄰接點。在本發(fā)明中，預定的顏色空間至少包括CIELAB空 間
根據(jù)本發(fā)明的另一個方面，提供了一種主顏色提取方法，其包 4舌以下步驟當輸入圖l象時，才艮據(jù)預定的顏色空間，生成關(guān)于輸入 的圖^f象的顏色直方圖；〗寸顏色直方圖中關(guān)于各個顏色的局部4及大4直 點進行編號，并將每個編號分別同時迭代地傳纟番給關(guān)于相應顏色的 除局部極大值點外的鄰接點，以將關(guān)于每個顏色的所有直方圖點劃 分為同 一類別；基于各個類別的鄰接點在顏色直方圖中的直方圖值 為最大的鄰接值，將確定進行合并的兩個或兩個以上的類別進行重 新編號，以將兩個或兩個以上的類別劃分為同一類別；以及在合并 后的各個類別中，將對應的像素數(shù)目占對應于顏色直方圖中的所有 顏色的像素的比例大于預定閾值的類別的顏色確定為主顏色。因而，由于本發(fā)明并不依賴于在特定顏色空間中的分布々ii殳， 所以可應用在不同顏色空間，適合于各種圖像、視頻類型的應用。 另外，由于本發(fā)明引入了對相鄰顏色類進行適當合并的方案，所以 具有對顏色直方圖中噪聲(非平滑性)的魯棒性。此外，由于本發(fā) 明在鄰接顏色類合并時考慮了兩類平均顏色間的距離，所以顏色分 類更加符合人對主顏色的理解，并且通過調(diào)節(jié)生成直方圖所用的量 化步長參凄t,本發(fā)明可以達到在顏色分辨細致禾呈度與計算速度之間 的折中。
本發(fā)明的其它特4正和優(yōu)點將在隨后的i兌明書中闡述，并且，部 分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā) 明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附 圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。


附圖用來才是供對本發(fā)明的進一步理解，并且構(gòu)成i兌明書的一部 分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的 限制。在附圖中
圖l是根據(jù)本發(fā)明的主顏色提取裝置的框圖2是根據(jù)本發(fā)明的主顏色提取方法的流程圖3是才艮據(jù)本發(fā)明實施例的主顏色提取處理的流程圖4是根據(jù)本發(fā)明實施例的顏色類別劃分(圖3的S302和 S304)過程的流程13圖5是根據(jù)本發(fā)明實施例的顏色類別合并(圖3的S306和 S308)過禾呈的ifu禾呈圖6是4艮據(jù)本發(fā)明實施例的千島湖場景的示圖7是才艮據(jù)本發(fā)明實施例的類別合并處理的流程圖8是通過本發(fā)明對體育一見頻畫面進4亍處理后得到的結(jié)果的示 圖；以及
圖9是通過本發(fā)明對顏色區(qū)域進行分割后得到的結(jié)果的示圖。
具體實施例方式
以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進行說明，應當理解，此 處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本 發(fā)明。
本發(fā)明的DC4是耳又方案是以千島湖算法為基礎的。這種無參凄t 方案既考慮到了顏色的分布情況還考慮到了顏色的相似性，從而能 夠更好的研究主顏色的各種特征。在本發(fā)明中，在顏色直方圖中的 各種顏色首先經(jīng)由局部極大值點編號和編號傳播處理而加以分類。 然后，將這些才及大值點作為湖中的小島，看作當湖中水位下降時， 一些小島就會被合并起來，從而使本發(fā)明能夠足以應對在顏色直方 圖中出現(xiàn)的噪聲(粗糙)。最后，對應于足夠大比例像素的每個類 別就被提取出來作為主要顏色。
圖1是沖艮據(jù)本發(fā)明的主顏色提取裝置100的框圖。如圖1所示， 主顏色才是取裝置100包4舌顏色直方圖生成裝置102，用于當豐IT入
圖像時，根據(jù)預定的顏色空間，生成關(guān)于輸入的圖像的顏色直方顏色類別劃分裝置104，用于對顏色直方圖中關(guān)于各個顏色的局部極大值點進行編號，并將每個編號分別同時迭代地傳播給關(guān)于相應 顏色的除局部極大值點外的鄰接點，以將關(guān)于每個顏色的所有直方
圖點劃分為同一類別；顏色類別合并裝置106,用于基于各個類別 的鄰接點在顏色直方圖中的直方圖值為最大的鄰接值，將確定進行 合并的兩個或兩個以上的類別進4于重#斤編號，以爿等兩個或兩個以上 的類別劃分為同一類別；以及主顏色確定裝置108，用于在合并后 的各個類別中，將對應的像素數(shù)目占對應于顏色直方圖中的所有顏 色的像素的比例大于預定閾值的類別的顏色確定為主顏色。
其中，當在顏色直方圖中，局部才及大^f直點之一具有同為局部^L 大^直點的鄰4妄點時，顏色類別劃分裝置104可以找出與局部才及大值 點之一 直接鄰接的局部極大值點和間隔有其他局部極大值點的局 部才及大^f直點，并為這些局部4及大1直點分配共同的編號，并且乂人多個 局部極大值點開始按照從近及遠的順序分別將編號傳播給顏色的 鄰接點，從而將具有相同的編號的所有直方圖點劃分為同 一類。
當一個直方圖點沒有被編號時，如果一個直方圖點的鄰接點的 值都不大于一個直方圖點的值，或者一個直方圖點的鄰4妄點的值大 于一個直方圖點的佳j旦一個直方圖點的鄰4妄點沒有編號，則顏色類 別劃分裝置104不對一個直方圖點扭j行任何才喿作。
可選地，當一個直方圖點沒有^:編號時，如果一個直方圖點的 鄰接點的值大于一個直方圖點的值以及一個直方圖點的鄰接點具 有編號，并且鄰接點唯一且鄰接點的編號唯一，則顏色類別劃分裝 置104將鄰接點的編號分配給一個直方圖點。而當一個直方圖點已 經(jīng)被編號時，顏色類別劃分裝置104不再為直方圖點分配其他編號。
另外，可選;l也，當一個直方圖點沒有^皮編號時，如果一個直方 圖點的鄰4妄點的^直大于一個直方圖點的^f直以及一個直方圖點的鄰 接點具有編號，但是鄰接點不唯一或鄰接點的編號不唯一，則顏色類別劃分裝置104選4奪鄰4妾點的編號中的一個分配給一個直方圖 點。
在顏色類別合并裝置104中可以包括平均顏色計算裝置，用 于計算鄰接類別中的每個類別內(nèi)大于鄰接值的所有直方圖點所對 應的〗象素的平均顏色；以及鄰4妄類別合并確定裝置，用于在平均顏 色之差大于人眼易視覺區(qū)分的色差閾值的情況下，確定不將鄰接類 別合并為同一類。此外，在顏色類別合并裝置104中，當確定將鄰 接類別合并為同一類時，鄰接類別合并確定裝置按照各個鄰接類別 對應的鄰接值從大到小的順序執(zhí)行鄰接類別的合并。
此外，根據(jù)本發(fā)明的主顏色提取裝置108還包括鄰接點確定 裝置，用于將在預定的顏色空間中距離小于預定值的兩個直方圖點 確定為鄰接點。而且，鄰接點確定裝置還用于在存在分別屬于兩個 類別且為鄰接點的兩個直方圖點的情況下，將兩個類別確定為鄰接 類別并且將兩個直方圖點中的較小值的直方圖點確定為兩個類別 的鄰4妻點。
圖2是根據(jù)本發(fā)明的主顏色提取方法的流程圖。如圖9所示， 該方法包4舌以下步-驟
S202,當輸入圖4象時，才艮據(jù)預定的顏色空間，生成關(guān)于車ir入的 圖^象的顏色直方S204,對顏色直方圖中關(guān)于各個顏色的局部極大值點進行編 號，并將每個編號分別同時迭代地傳4番給關(guān)于相應顏色的除局部極 大值點外的鄰4矣點，以將關(guān)于每個顏色的所有直方圖點劃分為同一 類別；
16S206,基于各個類別的鄰接點在顏色直方圖中的直方圖值為最 大的鄰插「值，將確定進行合并的兩個或兩個以上的類別進行重新編 號，以爿奪兩個或兩個以上的類別劃分為同一類別；以及
S208,在合并后的各個類別中，將對應的^象素凄t目占對應于顏 色直方圖中的所有顏色的 <象素的比例大于預定閾 <直的類另>J的顏色 確定為主l貞色。
應了解，本發(fā)明是在特定的顏色空間(為了感覺上更加統(tǒng)一， 最好是CIE (國際光學協(xié)會)LAB空間)中的直方圖上進行的。對 于各種不同的目標應用，這些直方圖的分辨率都是可以調(diào)整的。當 然，分辨率越高精度也就越高，而分辨率越^[氐所需的處理時間也就 降低了。應注意，對于低分辨率的圖像來說，直方圖的分辨率不應 太大才能避免直方圖過于稀疏。
此外，在本發(fā)明中，關(guān)鍵點在于將所有的顏色分成多個類別。 然后，對于每個類別，如果落入其中的像素比例大于預定閾值，那 么就將這個類別看作主顏色。
為了能夠更加直觀的了解本發(fā)明，4妄下來以千島湖為例來對本 發(fā)明進4于詳細描述。
應了解，在某種特定的距離準則下，若顏色空間中兩點之間的 距離小于特定的閾值，則"i兌這兩點"鄰4妄"。而顏色空間中與一個 點鄰4妄的所有點的集合，構(gòu)成此點的"鄰纟或"。另外，對顏色空間 中的一點，如果它的值大于等于其鄰域中的任何點，則它是一個"局 部才及大^直"。另外，々!/沒A和B為顏色空間中的兩類，若存在點a 和b, a點屬于A類，b點屬于B類，并且a和b鄰接，則說類A 和B "鄰接"；如果a點的值和b點的值相等，則它們皆為A類和B類的"鄰接點"，否則它們之中只有值較小的點是A類和B類的"鄰接點"；所有這樣的鄰接點構(gòu)成A類和B類的鄰接點集合。
圖3是根據(jù)本發(fā)明實施例的主顏色提取處理的流程圖。如圖3所示，其中，顏色直方圖是整個處理的輸入，而所獲得的顏色類別是其輸出。在圖3中主要包括了四個步驟S302，極大值編號；S304,才及大4直編號傳4番；S306， 4M妄^U臾索；以及S308類另'J合并。
應了解，圖3中的步驟S302和S304對應于在圖1中的顏色類別劃分裝置104中所執(zhí)行的處理以及圖2中的步驟S204,而步驟S306和S308對應于在圖1中的顏色類別合并裝置108中所執(zhí)行的處J里以及圖2中的步駛《S206。
在步驟S302,首先找到在直方圖中的所有局部4及大值點并且為每個局部才及大值點分配一個唯一的標號。對于一個直方圖點x來說，如果滿足以下的表達式(1 ),那么這個直方圖點x就是局部極大值點。
ZiT(;c) 2 //r(少),Yy e( 1 )
其中，HT表示直方圖中各個直方圖點的直方圖值，以及NB表示鄰域。
應了解，在直方圖中可以存在多個點鄰4妄且同為局部才及大值點的情況，這時就需要從這些點原來的編號中選取一 個作為它們共同的*斤編號。
在步驟S304中，通過迭代傳播所有極大值點的標號并將具有相同標號的直方圖點作為 一個類別來對車命入的多種顏色進4亍分類。然后，在步驟S306中，找到每兩個鄰接類別的鄰接值。假設存在兩個鄰接類別A和Q，那么它們的鄰接關(guān)系(JT)通過如下的表達式(2)來定義
;c e △， 3* e Q) a [y e層(x)] a [//r(y) 2肌
xe/r(A,Q、 (2)
其中，x和y表示分別屬于兩個鄰接類別A和Q的兩個直方圖點。接下來，按以下表達式(3)來限定鄰接值(CV):
CF(A,Q)= max[Hr(x)x e Jr(A,Q)] (3)
在步驟S308中， -使用以上計算得到的鄰接值，就可以在直方圖值掃描處理中將一些鄰接的類別進行合并。
接下來將對以上的各個步驟進行詳細描述。圖4是根據(jù)本發(fā)明實施例的顏色類別劃分(圖3的S302和S304)過程的流程圖。
應了解，對于任一個尚未具有編號的點，若其鄰域中不存在值比此點值大的點，或者存在值比此點值大的點但具有更大值的點都不具有編號，則其狀態(tài)不變；若其鄰域中存在值比此點值大且具有編號的點，且這樣的點唯一或者這些點的編號唯一，則將此編號賦予這個尚未編號的點；以及若其鄰域中存在值比此點值大且具有編號的點，且具這樣的點不唯一且它們的編號不唯一，則在這些編號中選擇一 個H武予這個尚未編號的點。
具體地，在圖4所示的處理中，在直方圖值大于零的每個直方圖點都被加上編號之前，迭代執(zhí)行編號傳播處理。接下來描述一個周期的處理。
19應了解，對于滿足以下表達式(4)的兩個直方圖點x和y來 a [Z^(y)=①]a a ) < //r(x)] ( 4 )
其中，LB表示各個直方圖點的編號，以及①表示沒有編號。
在某些情況下，假設對于沒有編號的直方圖點y來說，存在一個以上具有編號并且直方圖值大于直方圖點y的直方圖值的臨界點，那么就選擇其中直方圖值最大的直方圖點的編號來分配給直方圖點y。
=丄S(argmax[i/r(x〗x滿足表達式(4)]} (5)
因此，通過以上處理，就可以將編號/人各個4及大<直點傳插_給直方圖中的非極大值點?，F(xiàn)在，我們以非極大值點的角度來進行考慮。假定一個直方圖點具有指向兩個不同極大值點的兩個上升路徑，那么由于不同極大值點的編號是同時傳播的，所以較接近直方圖點的那個極大值點將首先到達。因此，本發(fā)明尋找的是對于每個直方圖點來說距局部極大值點最短的上升路徑，從而看出，本發(fā)明考慮到了顏色分布和顏色相似度兩個方面。
通過圖4所示的處理，已將所有的輸入圖像進行分類，但是還存在以下問題，即，高分辨率的直方圖一般都不是很平滑的，所以，可能存在多個局部極大值點，這就會使各個直方圖點被劃分的過細。為了解決上面這些問題，就需要對一些鄰接的類別進行適當?shù)暮喜ⅰ?妻下來通過圖5所示的處理來描述顏色類別合并過程。圖5是根據(jù)本發(fā)明實施例的顏色類別合并(圖3的S306和S308)過程的流程圖，圖6是根據(jù)本發(fā)明實施例的千島湖場景的示圖，以及圖7是根據(jù)本發(fā)明實施例的類別合并處理的流程圖。以下將結(jié)合圖5 ~圖7對顏色類別合并處理進行詳細描述。
顏色類別合并的一個M^點來自于圖6所示的千島湖場景。在千島湖中，各個小島是各個山的頂點。雖然一些小島彼此隔離，但是它們可能屬于同 一座山。如果直方圖是二維的顏色空間(僅為實例，并非限制直方圖為二維)，那么通過圖4所示處理獲得的類別就好〈象那些小島一樣的類別。而通過圖5的處理就可以獲得就好^f象小山一樣的類別。
如圖5所示，包^"以下步驟
S502,對每兩個鄰接的類，找到其鄰接點中的最大值，作為它
S504,按照頻度值從大到小的順序，用直方圖中所有的點生成一個序列；
S506,依次取序列中的每個值，考察其是否為某些類的鄰接值；若是，考察對應的類是否應合并，如果應該合并，則從它們原來的編號中選取一個作為共同的新編號；以及
S508,編號給出分類結(jié)果，即所有具有相同編號的點劃分為同一類。
其中，考察對應的類是否應合并的方法為對兩個鄰接的類，分別計算類內(nèi)的值大于等于當前考察值的所有點對應的像素的平
均顏色；如果這兩個類的平均顏色在某種特定的3巨離準則下間3巨大
21于特定的閾〗直，則它們不應合并，而對兩個鄰4妄的類，如果它們的鄰接值小于由它們類內(nèi)的值的分布所決定的特定閾值，則它們不應合并。除上述兩種情況之外的鄰接顏色類就要合并。
如圖6所示，當水位高到只有山頂才可見時，我們無法了解一些山頂是否對應于同一座山。隨著湖中水位的降^氐， 一些小島就變成相連的了 ，并且這樣的連接就表示它們是屬于同一座山的。
因此，在本發(fā)明中，對應i也，以降序方式來掃描直方圖中的所有值。對于正在掃描的任何鄰接值來說，將考慮將鄰接的類別合并到一起。
具體地，類別合并過程如圖7所示。首先以降序方式對所有的直方圖值進行分類。然后在整個類別合并過程中，將這些直方圖值逐一作為水位。
對于直方圖值hX)的情況，通過以下表達式(6)， -使具有//r(x)=/2的每個直方圖點x用于修改對應類別的平均顏色(MC)。
""△'a) = ^z/r(:) I" e ^ a] (6)
然后，如果h是一些類別的鄰接值，則將這些類別進行合并。
如果滿足了以下的兩個表達式(7)和(8)，那么就只于這兩個類別進行合并。
<formula>formula see original document page 22</formula>在表達式7中，II ll表示歸一化的距離。另外，其中，閾值 To是人眼可以清楚識別的色差。以及7> €
。
應了解，以上的兩個表達式指的是，如果兩個類別的平均顏色 足夠類似并且它們的鄰接值與它們的極大值點相比并不是特別小， 那么這兩個類別就可以進4亍合并。
當兩個類別被合并時，它們與其他類別之間的鄰接關(guān)系可以被 合并后得到的新類別繼承下去，所以新的類別還可以與鄰接類別進 一步的合并。
當掃描完所有的鄰接值時，將考慮合并所有可能的鄰接值。因 此，當?shù)瓿芍?，這個合并步-銀也就結(jié)束了 。
應了解，主顏色的提取通常用于體育視頻分析，接下來以圖8 和圖9為例來對通過本發(fā)明處理后的結(jié)果進4亍描述。
圖8是通過本發(fā)明對運動一見頻畫面進4亍處理后得到的結(jié)果的示 圖。在圖8中，(a)是足球場的示圖，(b)是網(wǎng)球場的示圖，(c) 是排球場的示圖，(d)是羽毛球場的示圖，(e)是壘球場的示圖， (f)是籃球場的示圖，(g)是跳水場景的示圖，以及(h)是花樣 滑冰場景的示圖。
如圖8所示，對于所有的圖像，分辨率都是720x576,以 64x64x64的CIE Lab間隔進行DC提取，閾值設定為TP = 0.1， TH =0.5， TD = 0.07。每張圖孑象的處5里時間為60 — 300 ms (Intel Core2 1.86 GHz CPU,單線程)。為了清楚地顯示結(jié)果，提取的DC像素使用了根據(jù)通過如下表 達式的平均顏色獲得的顏色標記，其中，兩個結(jié)合值均為8位量化 (8-bit quantization)的255。
^ = Auc, o = a50WV￡) — fla/c, & = ^sot/m —厶m: (9) 可以看出，王求場"求館/游泳池的DC械j青確提取。應注意，在
(c)中，由于不穩(wěn)定的照明條件，藍綠色場地顏色被聚類為兩種
DC。在(f)和(g)中，各DC也是從背景和表面區(qū)域提取的。
在圖8中所示的結(jié)果中，具有每個所才是取主顏色的遠一見圖^f象一皮 才示以不同的顏色。
圖9是通過本發(fā)明對顏色區(qū)域進行分割后得到的結(jié)果的示圖。 如圖9所示，示出了對用于圖像壓縮的一些標準測試圖像的主顏色 區(qū)域分割結(jié)果，其中，提取的主顏色區(qū)域的邊界(超過IOO像素) ,皮沖示i己為白色。
可以通過對通過圖像分割各個區(qū)域進行主顏色提取來獲得主 顏色區(qū)域。為了更好展示主顏色提取性能時，在整個圖像上進行主 顏色揭_取，然后將相同主顏色的各個鄰4妾成分都看作是主顏色區(qū) 域。
在圖9中，對于所有的圖4象，分辨率都是512x512，在 64x128x128的CIELAB空間中進行DC提取，并且閾值設定為 Tp = 0， TH = 0.5， TD = 0.07。每張圖^f象的處理時間為100 — 2000 ms (Intel Core2 1.86 GHz CPU,單線程)。具有重要語義的DC區(qū)域獲得 良好的分割。應注意，有復雜紋理的區(qū)i或，例如，第一張圖〗象的桐-枝和最后一張圖^f象的頭發(fā)，在沒有任何空間信息的情況下，難以得 到完整的分割。
24因此，根據(jù)本發(fā)明，主要致力于顏色分類和類別合并，因此， 不但考慮到了顏色分布，還考慮到了顏色的相似度。另外，這種無 參數(shù)方法適合于許多計算機視覺的應用中。對于特定的任務，本發(fā) 明可以用于具有不同量化步長的顏色空間中。
以上僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對 于本領(lǐng)域的^支術(shù)人員來"i兌，本發(fā)明可以有各種更改和變化。凡在本 發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均 應包含在本發(fā)明的<呆護范圍之內(nèi)。
權(quán)利要求
1.一種主顏色提取裝置，其特征在于，包括顏色直方圖生成裝置，用于當輸入圖像時，根據(jù)預定的顏色空間，生成關(guān)于輸入的所述圖像的顏色直方圖；顏色類別劃分裝置，用于對所述顏色直方圖中關(guān)于各個顏色的局部極大值點進行編號，并將每個所述編號分別同時迭代地傳播給關(guān)于相應顏色的除所述局部極大值點外的鄰接點，以將關(guān)于所述每個顏色的所有直方圖點劃分為同一類別；顏色類別合并裝置，用于基于各個類別的鄰接點在所述顏色直方圖中的直方圖值為最大的鄰接值，將確定進行合并的兩個或兩個以上的類別進行重新編號，以將所述兩個或兩個以上的類別劃分為同一類別；以及主顏色確定裝置，用于在合并后的所述各個類別中，將對應的像素數(shù)目占對應于所述顏色直方圖中的所有顏色的像素的比例大于預定閾值的所述類別的顏色確定為主顏色。
2. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，當在所述顏色直方圖中，所述局部4及大^f直點之一具有同為局部才及大〈直點的鄰^接點時，所述顏色類別劃分裝置找出與所述局部才及大值點之一 直^妄鄰4妾的局部才及大〗直點和間隔有其^f也局部才及大^f直點的局部才及大值點，并為這些局部極大值點分配共同的編號，并且從所述多個局部才及大值點開始4安照由近及遠的順序分別將所述編號傳播給所述顏色的鄰接點，從而將具有相同的所述編號的所有直方圖點劃分為同一類。
3. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，當一個直方圖點沒有^皮編號時，如果所述一個直方圖點的鄰4妄點的值都不大于所述一個直方圖點的4直，或者所述一個直方圖點的鄰接點的值大于所述一個直方圖點的值但所述一個直方圖點的鄰才妻點沒有編號，則所述顏色類別劃分裝置不對所述一個直方圖點執(zhí)行任何操作。
4. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，當一個直方圖點沒有^皮編號時，如果所述一個直方圖點的鄰接點的值大于所述一個直方圖點的值以及所述一個直方圖點的鄰接點具有編號，并且所述鄰4妄點唯一或所述鄰4妄點的編號唯一，則所述顏色類別劃分裝置將所述鄰接點的編號分配纟會所述一個直方圖點。
5. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，當一個直方圖點沒有被編號時，如果所述一個直方圖點的鄰接點的值大于所述一個直方圖點的^IL以及所述一個直方圖點的々N妄點具有編號，^f旦是所述鄰^妄點不唯一且所述鄰4妄點的編號不唯一 ，則所述顏色類別劃分裝置選擇所述鄰4姿點的編號中的一個分配《會所述一個直方圖點。
6. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，當一個直方圖點已經(jīng);故編號時，所述顏色類別劃分裝置不再為所述直方圖點分配其他編號。
7. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，在所述顏色類別合并裝置中包括平均顏色計算裝置，用于計算鄰接的l象素的平均顏色；以及鄰4妄類別合并確定裝置，用于在所述平均顏色之差大于人眼易視覺區(qū)分的色差閾值的情況下，確定不將所述鄰接類別合并為所述同一類。
8. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，在所述顏色類別合并裝置中，當確定將所述鄰^^妻類別合并為所述同一類時，所述鄰接類別合并確定裝置按照各個鄰接類別對應的鄰4妄值/人大到小的順序才丸4于所述鄰4妄類別的合并。
9. 根據(jù)權(quán)利要求1所述的主顏色提取裝置，其特征在于，所述鄰接類別合并確定裝置還用于在所述鄰接值小于取決于每個所述鄰4妄類別內(nèi)的直方圖點的分布的閾值的情況下，確定不將所述鄰4妻類別合并為所述同一類。
10. 根據(jù)權(quán)利要求1至9中任一項所述的主顏色提取裝置，其特征在于，還包括鄰4妄點確定裝置，用于將在所述預定的顏色空間中3巨離小于予貞定<直的兩個直方圖點確定為鄰4妄點。
11. 才艮據(jù);權(quán)利要求10所述的主顏色4是取裝置，其特4正在于，所述鄰4妄點確定裝置還用于在存在分別屬于兩個類別且為鄰4妄點的兩個直方圖點的情況下，將所述兩個類別確定為鄰4妄類別并且將所述兩個直方圖點中的壽交小值的直方圖點確定為所述兩個類別的鄰4妄點。
12. 4艮據(jù)一又利要求1至9中4壬一項所述的主顏色l是耳又裝置，其特4正在于，所述預定的顏色空間至少包4舌CIELAB空間。
13. —種主顏色^是取方法，其特4正在于，包4舌以下步-驟當輸入圖l象時，才艮據(jù)預定的顏色空間，生成關(guān)于輸入的所述圖〗象的顏色直方圖；對所述顏色直方圖中關(guān)于各個顏色的局部極大值點進行編號，并將每個所述編號分別同時迭代地傳4番給關(guān)于相應顏色的除所述局部極大值點外的鄰接點，以將關(guān)于所述每個顏色的所有直方圖點劃分為同一類別；基于各個類別的鄰接點在所述顏色直方圖中的直方圖值為最大的鄰4妄值，將確定進4于合并的兩個或兩個以上的類別進-f亍重新編號，以將所述兩個或兩個以上的類別劃分為同 一類別；以及在合并后的所述各個類別中，將對應的4象素數(shù)目占對應于所述顏色直方圖中的所有顏色的 <象素的比例大于預定閾值的所述類別的顏色確定為主顏色。
全文摘要
本發(fā)明提供主顏色提取裝置和方法，裝置包括顏色直方圖生成裝置，當輸入圖像時，根據(jù)預定的顏色空間生成關(guān)于圖像的顏色直方圖；顏色類別劃分裝置，對顏色直方圖中關(guān)于各個顏色的局部極大值點編號并傳播給關(guān)于相應顏色的除局部極大值點外的鄰接點，以將關(guān)于每個顏色的所有直方圖點劃分為同一類別；顏色類別合并裝置，基于各個類別的鄰接點在顏色直方圖中的直方圖值為最大的鄰接值，將確定進行合并的兩個或兩個以上的類別進行重新編號，以將兩個或兩個以上的類別劃分為同一類別；以及主顏色確定裝置，在合并后的各個類別中將對應的像素數(shù)目占對應于顏色直方圖中的所有顏色的像素的比例大于預定閾值的類別的顏色確定為主顏色。
文檔編號G06T7/40GK101655983SQ20081021010
公開日2010年2月24日 申請日期2008年8月18日 優(yōu)先權(quán)日2008年8月18日
發(fā)明者吳偉國, 博 韓 申請人:索尼(中國)有限公司