專利名稱：基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于色彩直方圖和全局對(duì)比度的圖 像視覺顯著性計(jì)算方法。
背景技術(shù)：
視覺注意是幫助人類視覺系統(tǒng)準(zhǔn)確有效的識(shí)別場(chǎng)景的一種重要機(jī)制。通過計(jì)算 方法獲取圖像中的顯著性區(qū)域是計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要的研究課題。它可以幫助圖像 處理系統(tǒng)在后續(xù)處理步驟中合理的分配計(jì)算資源。顯著性圖(Saliency map)被廣泛的應(yīng) 用于許多計(jì)算機(jī)視覺應(yīng)用當(dāng)中，如感興趣物體分割(專利200910046276,200910081069)、 物體識(shí)別、自適應(yīng)圖像壓縮、內(nèi)容敏感的圖像縮放(專利200910092756)、圖像檢索(專利 200910081069)等。圖像視覺顯著性檢測(cè)一直以來是一個(gè)備受研究者關(guān)注的課題。關(guān)于視覺注意的理 論研究將視覺注意分為兩類快速、任務(wù)無關(guān)、數(shù)據(jù)驅(qū)動(dòng)的顯著性檢測(cè)和較慢、任務(wù)相關(guān)、目 標(biāo)驅(qū)動(dòng)的顯著性檢測(cè)。本發(fā)明所涉及的方法屬于前一類。生理學(xué)研究表明，人類視覺細(xì)胞 優(yōu)先響應(yīng)感知場(chǎng)內(nèi)具有較高對(duì)比度的刺激?，F(xiàn)有數(shù)據(jù)驅(qū)動(dòng)的視覺顯著性檢測(cè)研究大多通過 計(jì)算各種形式的圖像內(nèi)容和場(chǎng)景的對(duì)比度來計(jì)算視覺顯著性。為了方便介紹，進(jìn)一步將該 類研究細(xì)分為兩個(gè)子類基于局部對(duì)比度的方法和基于全局對(duì)比度的方法。基于局部對(duì)比度的方法通過圖像區(qū)域在其相對(duì)較小鄰域的罕見度來計(jì)算顯著性。 Itti 等人于 1998 年提出了 "A model of saliency-based visual attention for rapid scene analysis”。該方法通過多尺度圖像特征間的中心與鄰域差異來定義圖像顯著性。 M已禾口 Zhang % 2003 4^ 出 T "Contrast-based image attention analysis by using fuzzy growing”。該方法通過局部對(duì)比度分析來得到顯著性圖。Liu等人于2007年提出了 "Learning to detect a salient object”。該方法通過學(xué)習(xí)方式找到顏色空間分布、多尺 度對(duì)比度，中心鄰域直方圖差異等顯著性檢測(cè)方法結(jié)果的最優(yōu)組合權(quán)值。Goferman等人在 其2010年的工作“Context-aware saliency detection”中對(duì)底層線索、全局考慮、組織規(guī) 則和高層特征進(jìn)行建模。這些局部方法的結(jié)果通常在物體邊緣附近產(chǎn)生更高的顯著性值， 而不是均勻的突出整個(gè)視覺顯著性物體?；谌謱?duì)比度的方法通過度量圖像區(qū)域和整幅圖像的差異來評(píng)價(jià)其顯著性。 Zhai 禾口 Shah 于 2006年提出了“Visual attention detection in video sequences using spatiotemporal cues”。該方法通過一個(gè)像素和其它所有圖像像素的亮度差異來計(jì)算該 像素的顯著性值?；谛史矫娴目紤]，該方法僅利用圖像的亮度信息，忽略了其它顏色 通道中的區(qū)分性。Achanta 等人于 2009 年提出了 “Frequency-tuned salient region detection”。該方法通過計(jì)算每個(gè)像素和平均色之間的差異來獲取顯著性值。然而，這種 簡(jiǎn)單的方法不足以有效分析復(fù)雜多變的自然圖像。該領(lǐng)域目前國內(nèi)相關(guān)專利有基于學(xué)習(xí)的視頻中顯著物體序列自動(dòng)檢測(cè)方法(專 利號(hào)2008101503 )。該方法處理一幅圖片通常需要若干秒的時(shí)間，難以滿足很多事實(shí)處理的應(yīng)用需求。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是如何快速有效的分析圖像像素的顯著性值，使得圖 像中重要物體區(qū)域可以被均勻的凸顯出來。( 二 )技術(shù)方案為解決上述技術(shù)問題，本發(fā)明提供了一種基于色彩直方圖和全局對(duì)比度的圖像視 覺顯著性計(jì)算方法，包括以下步驟Sl 對(duì)顏色空間進(jìn)行量化得到一組代表性色彩；S2:計(jì)算所述代表性色彩對(duì)應(yīng)的顏色在輸入圖像中的出現(xiàn)頻率，組成一個(gè)直方 圖；S3 根據(jù)每個(gè)代表性色彩與其它代表性色彩的差異計(jì)算代表性色彩的顯著性值；S4 對(duì)于每一個(gè)代表性色彩，將其顯著性值賦予對(duì)應(yīng)的像素。其中，所述步驟S2中，按照所述代表性色彩在輸入圖像中的出現(xiàn)頻率從大到小對(duì) 代表性色彩進(jìn)行排序，排在前預(yù)定個(gè)數(shù)的代表性色彩被保留，并將其余代表性色彩的出現(xiàn) 頻率累加到顏色最相近的被保留的代表性色彩的出現(xiàn)頻率上。其中，所述步驟S3中代表性色彩的顯著性值S的計(jì)算公式為S{c) = YjcecJiX Dhci)其中，C為步驟S2中被保留的代表性色彩集合，c為該集合中任一代表性色彩，Ci 為除c以外的其它代表性色彩，&為Ci的出現(xiàn)頻率，D(c，Ci)為c，Ci在色彩空間中的歐氏距離。其中，步驟S3和S4之間還進(jìn)一步包括以下過程來改進(jìn)檢測(cè)結(jié)果在色彩空間中對(duì) 所述代表性色彩的顯著性值進(jìn)行平滑，具體平滑公式為^'(O = Xc ec ^ x^)其中，S' (C)為平滑后的代表性色彩c的顯著性值，Cffl為與代表性色彩c的顏色 值最相近的m個(gè)代表性色彩組成的集合，Wi為權(quán)值，Ci與c越相近則Wi越大。(三)有益效果本發(fā)明所提出的用于計(jì)算圖像中像素的視覺顯著性值的方法利用利用每一個(gè)像 素和其余像素之間的差異計(jì)算其顯著性值；為了加速計(jì)算，本方法通過顏色量化和選擇更 頻繁的色彩選擇一組代表性色彩；本方法可以通過一種顏色空間平滑方法進(jìn)一步改善顯著 性檢測(cè)結(jié)果，能夠快速有效地分析圖像像素的顯著性值。本方法在國際上現(xiàn)有最大的測(cè)試 集上取得了明顯優(yōu)于比傳統(tǒng)方法的結(jié)果。


圖1是本發(fā)明實(shí)施例的一種基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì) 算方法流程圖；圖2采用圖1的方法流程處理一幅輸入圖像的示例圖3圖1的方法中代表性色彩選取及其對(duì)應(yīng)出現(xiàn)頻度的示例圖；圖4圖1的方法中色彩空間平滑對(duì)檢測(cè)結(jié)果改善影響的示例圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以下實(shí)施 例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。如圖1所示，為本發(fā)明基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法 的一個(gè)實(shí)施例的處理流程圖，包括步驟S101，對(duì)顏色空間進(jìn)行量化得到一組代表性色彩。實(shí)驗(yàn)中采用的顏色量化方 式將顏色空間均勻劃分為η3份，每個(gè)區(qū)域中顏色的平均值作為該區(qū)域的代表性顏色。在實(shí) 際計(jì)算中，計(jì)算過程中η的取值越大，整個(gè)算法的計(jì)算量就越大。在實(shí)驗(yàn)中，優(yōu)選η= 12就 可以得到很好的結(jié)果。步驟S102，計(jì)算代表性色彩對(duì)應(yīng)的顏色在輸入圖像中的出現(xiàn)頻率，組成一個(gè)直方 圖，某個(gè)代表性色彩對(duì)應(yīng)像素占輸入圖像中所有像素個(gè)數(shù)的比例為該代表性色彩的出現(xiàn)頻 率。每一個(gè)代表性色彩都有一個(gè)頻率。這組代表性色彩出現(xiàn)的頻率被稱為直方圖，如圖2 所示。為了節(jié)約計(jì)算資源，通常保留出現(xiàn)頻率較多的代表性色彩，其余代表性色彩的出現(xiàn)頻 率被累加到顏色最相近的被保留的代表性色彩的出現(xiàn)頻率上。在選擇出現(xiàn)頻率較多的代表 性色彩的時(shí)候，對(duì)代表性色彩的出現(xiàn)頻率從大到小排序。然后從前到后選擇足以覆蓋一定 比例圖像像素的代表性顏色。實(shí)驗(yàn)中這個(gè)比例通常選擇為95%，在目前國際上最大的一個(gè) 公開數(shù)據(jù)集上該比例對(duì)應(yīng)的代表性色彩的個(gè)數(shù)的統(tǒng)計(jì)結(jié)果為85。步驟S103，根據(jù)每個(gè)代表性色彩與其它代表性色彩的差異計(jì)算代表性色彩的顯著 性值S，具體計(jì)算公式如下S{c) = YjcecJiX Dhci)其中，C為步驟S102中被保留的代表性色彩集合，c為該集合中任一代表性色彩， Ci為除c以外的其它代表性色彩，fi為Ci的出現(xiàn)頻率，D(c，Ci)為c，Ci在色彩空間中的歐 氏距離。步驟S104，對(duì)于每一個(gè)代表性色彩，將其顯著性值賦予對(duì)應(yīng)的像素。如圖2所示為上述過程處理一幅圖片時(shí)的示例圖，包含了代表性色彩的出現(xiàn)頻率 和顯著性直方圖。如圖3所示，為本發(fā)明基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法 中代表性色彩選取及其對(duì)應(yīng)出現(xiàn)頻度的示例圖。圖中，用代表性色彩替換原始圖像(左圖) 后的圖像(右圖)保留了進(jìn)行顯著性檢測(cè)所需的足夠的信息，同時(shí)極大的簡(jiǎn)化了計(jì)算量。如圖4所示，為本發(fā)明基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法 中色彩空間平滑對(duì)檢測(cè)結(jié)果改善影響的示例圖。通過在色彩空間對(duì)代表性色彩的顯著性值 進(jìn)行平滑可以有效的改善視覺顯著性的檢測(cè)結(jié)果。在步驟S103中計(jì)算得到所有代表性色 彩的S (c)之后，將某個(gè)代表性色彩c最相近的m個(gè)代表性色彩組成的集合定義為Cm。這種 色彩空間的平滑過程可以定義為S’(C) = Xc,. eCm 化 xS(A )
其中，S' (C)為平滑后的代表性色彩c的顯著性值，Wi為權(quán)值，Ci與c越相近則 Wi越大。圖4中左圖和右圖分別給出了改善前后，代表性顏色的顯著性值及輸入圖像的顯 著性圖的變化的一個(gè)實(shí)例。在實(shí)驗(yàn)中m的取值通常為所有代表性色彩個(gè)數(shù)的25%就能得到 比較好的結(jié)果。本發(fā)明公開的圖像顯著性計(jì)算方法，通過某像素和其余所有像素的顏色差異來定 義其顯著性值。為了避免過于巨大的計(jì)算代價(jià)，該方法通過顏色量化和色彩出現(xiàn)頻度分析 選取代表性色彩來加速問題求解。為了避免顏色量化過程中的隨機(jī)性，本方法可以通過一 種顏色空間平滑機(jī)制控制量化誤差。本方法在國際上現(xiàn)有最大的測(cè)試集上取得了明顯優(yōu)于 比傳統(tǒng)方法的結(jié)果。本發(fā)明能夠自動(dòng)的分析圖像中的視覺顯著性區(qū)域，分析結(jié)果可以應(yīng)用 于重要目標(biāo)分割、物體識(shí)別、自適應(yīng)圖像壓縮、內(nèi)容敏感的圖像縮放、和圖像檢索等應(yīng)用領(lǐng) 域。以上實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通 技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有 等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1.一種基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法，其特征在于，包括 以下步驟51對(duì)顏色空間進(jìn)行量化得到一組代表性色彩；52計(jì)算所述代表性色彩對(duì)應(yīng)的顏色在輸入圖像中的出現(xiàn)頻率，組成一個(gè)直方圖；53根據(jù)每個(gè)代表性色彩與其它代表性色彩的差異計(jì)算代表性色彩的顯著性值；54對(duì)于每一個(gè)代表性色彩，將其顯著性值賦予對(duì)應(yīng)的像素。
2.如權(quán)利要求1所述的基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法，其 特征在于，所述步驟S2中，按照所述代表性色彩在輸入圖像中的出現(xiàn)頻率從大到小對(duì)代表 性色彩進(jìn)行排序，排在前預(yù)定個(gè)數(shù)的代表性色彩被保留，并將其余代表性色彩的出現(xiàn)頻率 累加到顏色最相近的被保留的代表性色彩的出現(xiàn)頻率上。
3.如權(quán)利要求1所述的基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法，其 特征在于，所述步驟S3中代表性色彩的顯著性值S的計(jì)算公式為其中，C為步驟S2中被保留的代表性色彩集合，c為該集合中任一代表性色彩，Ci為除 C以外的其它代表性色彩，fi為Ci的出現(xiàn)頻率，D(c，Ci)為c，Ci在色彩空間中的歐氏距離。
4.如權(quán)利要求3所述的基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法，其 特征在于，步驟S3和S4之間還進(jìn)一步包括以下過程來改進(jìn)檢測(cè)結(jié)果在色彩空間中對(duì)所述 代表性色彩的顯著性值進(jìn)行平滑，具體平滑公式為其中，S' (c)為平滑后的代表性色彩c的顯著性值，Cffl為與代表性色彩c的顏色值最 相近的m個(gè)代表性色彩組成的集合，Wi為權(quán)值，Ci與c越相近則Wi越大。
全文摘要
本發(fā)明公開了一種基于色彩直方圖和全局對(duì)比度的圖像視覺顯著性計(jì)算方法，包括S1對(duì)顏色空間進(jìn)行量化得到一組代表性色彩；S2計(jì)算所述代表性色彩對(duì)應(yīng)的顏色在輸入圖像中的出現(xiàn)頻率，組成一個(gè)直方圖；S3根據(jù)每個(gè)代表性色彩與其它代表性色彩的差異計(jì)算代表性色彩的顯著性值；S4對(duì)于每一個(gè)代表性色彩，將其顯著性值賦予對(duì)應(yīng)的像素。本發(fā)明能夠快速有效地分析圖像像素的顯著性值。
文檔編號(hào)G06T7/40GK102129693SQ201110062520
公開日2011年7月20日 申請(qǐng)日期2011年3月15日 優(yōu)先權(quán)日2011年3月15日
發(fā)明者張國鑫, 程明明, 胡事民 申請(qǐng)人:清華大學(xué)