專利名稱：一種檢測彩色圖像的感興趣區(qū)域的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種彩色圖像中感興趣區(qū)域的自動檢測方法，該方法針對彩色的圖像 自動檢測出人們在第一眼看到圖像所注意的那部分區(qū)域，具體涉及一種檢測彩色圖像的感 興趣區(qū)域的方法。
背景技術(shù)：
近年來，隨著第三代移動通信技術(shù)和多媒體處理技術(shù)的迅速發(fā)展，便攜式移動多 媒體終端也越來越流行。但由于攜帶的便利性、費用原因，便攜式多媒體終端的屏幕一般都 不大。這樣，便需要對所要顯示的圖像、視頻等內(nèi)容進(jìn)行自適應(yīng)的處理，以適應(yīng)尺寸不大的 各種顯示屏幕的要求。其中一個重要的課題便是找到所要顯示內(nèi)容的最關(guān)鍵區(qū)域，這個最 關(guān)鍵的區(qū)域便要求是圖像或視頻最具有代表性的部分，同時也應(yīng)該是用戶最關(guān)注最感興趣 的區(qū)域。視頻也可以看成是一幀幀圖像的組合，所以我們把自動檢測圖像的感興趣區(qū)域作 為本發(fā)明所針對的課題。圖像的感興趣區(qū)域的檢測從理論上講便是找到圖像所突出的部分，從實際操作上 來說也便是找到圖像的前景部分。理論研究中，把吸引用戶注意的圖像區(qū)域稱為視覺注意 力部分VA(Visual Attention)，一般通過對仿生學(xué)生物神經(jīng)系統(tǒng)、計算機(jī)視覺和模式識別 等方面的研究來確定VA。如上所述，VA是一幅圖像上人在第一眼會自動注意到的部分，這一部分的圖像 在某些特性上(顏色，形狀，紋理或者其他)與周圍不同而顯得突出，是圖像的前景部 分。傳統(tǒng)的檢測VA的方法是自底向上的，在“Itti，L.，C.Koch，in IEEE Tran. Pattern Analysis and Machine Intelligence, vol. 20, no. 11,pp.1254-1259, Aug. 1998, A model of saliency-based visual attention for rapid scene analysis. ” 中 Itti Treisman的特征整合理論FIT (Feature Integration Theory)提出了一種詳盡的基于顯著 圖SM(SalienCy Map)的檢測VA的理論。在文中，Itti利用高斯金字塔和Gabor濾波來獲 得圖像上每個位置的某種特征與周圍區(qū)域的差異，把圖像所有像素點上的差異進(jìn)行歸一化 便可以得到這個圖像在此特征下的特征圖FM(Feature Map)。Itti選取了 2個顏色特征，1 個亮度特征和4個方向特征，再把這些特征圖進(jìn)行有側(cè)重的加權(quán)相加，最后得到顯著圖，在 此顯著圖上檢測VA。在這個檢測VA的經(jīng)典理論的基礎(chǔ)上，專家們又提出了各種具體實現(xiàn)的 方法，但基本都是自底向上的、基于中心環(huán)境差異的。這類經(jīng)典方法的運算量很大，還有一 個不足之處在于這個檢測的結(jié)果對各種參數(shù)的設(shè)定很敏感。近來，Hou在“X· Hou，L. Zhang，Proc. of CVPR,vol. 1—8，pp. 2280—2287. June，2007， Saliency detection :A spectral residual approach，，中提出了一禾中新的檢IlJ VA 的方 法，這種方法認(rèn)為一般的圖像都會有某種共性，每幅圖像都是在這個共性上加入一定的特 性，而這個特性便是人視覺所特別關(guān)注的部分。在實現(xiàn)上，這個SR(SpeCtral Residual)方 法用目標(biāo)圖像的幅度譜的對數(shù)減去自然圖像共有屬性的幅度譜的對數(shù)，得到的殘余幅度譜 結(jié)合目標(biāo)圖像的相位譜，從而得到圖像時域的特征圖，這個特征圖能突出圖像的VA部分。而這個方法認(rèn)為，自然圖像共有屬性的幅度譜能用對目標(biāo)圖像幅度譜平滑濾波的方法近似 得至丨J。之后，Guo 在“C. Guo, Q. Ma and L. Zhang, Proc. CVPR2008, vol. pp. 1-8, June 2008， Spatio-temporal Saliency detection using phase spectrum ofquaternion Fourier transform"中認(rèn)為，上述方法中VA能在特征圖上顯現(xiàn)出來的關(guān)鍵因素并不是殘余幅度譜， 而是相位譜，只利用相位譜便能到檢測到圖像的I后來，又有專家指出，這種利用圖像頻 域信息的方法只能檢測出簡單圖像的前景(VA)和背景部分，如圖(Ι-a)所示，是適用于當(dāng) 圖像前景部分比較復(fù)雜而背景比較簡單的情況。經(jīng)過一個簡單的反轉(zhuǎn)也能檢測出前景簡單 背景復(fù)雜的情況，如圖(1-b)中所示。而對于較復(fù)雜的圖像，如圖(1-c)和圖(1-d)這種方 法的準(zhǔn)確率就不高了。

發(fā)明內(nèi)容
本發(fā)明的目的在于，為克服現(xiàn)有的圖像頻域信息的檢測方法受限于彩色圖像種類 的缺陷即現(xiàn)有的頻域信息檢測方法只能比較準(zhǔn)確的檢測出背景簡單前景復(fù)雜或背景復(fù)雜 背景簡單這兩種類型的彩色圖像中感興趣的部分，從而提供一種檢測彩色圖像的感興趣區(qū) 域的方法。本發(fā)明提供的一種檢測彩色圖像的感興趣區(qū)域的方法，該檢測方法能夠很好的檢 測出各種圖像(圖1-c和圖Ι-d))的感興趣區(qū)域，也具有很好的穩(wěn)定性，從而可以應(yīng)用在小 尺寸屏幕圖片的自適應(yīng)瀏覽等方面。為了實現(xiàn)上述目的，本檢測方法首先對圖像進(jìn)行模糊處理來減少圖像上多余的細(xì) 節(jié)部分，然后利用圖像的頻譜得到圖像在不同的顏色通道上的特征圖，之后再在各個特征 圖上檢測圖像的候選VA區(qū)域，綜合這些區(qū)域信息得到圖像最終的顯著圖，最后在這個顯著 圖上確定最終的感興趣區(qū)域。本發(fā)明的一種檢測彩色圖像的感興趣區(qū)域的方法，該方法用于檢測彩色圖像得到 一個矩形的感興趣區(qū)域，具體包括以下步驟1)對圖像采用基于區(qū)域的模糊方法去除多余的細(xì)節(jié)部分同時保留前景和背景區(qū) 域的邊界，其中模糊過程中采用HSV顏色模型；2)對模糊處理之后的圖像，采用HSV顏色模型和CIELUV顏色模型選取6個不同的 顏色通道，分別根據(jù)其相位譜得到6個特征圖；3)對于每個特征圖分別檢測對應(yīng)的候選感興趣區(qū)域，從而在6個特征圖上得到6 個候選的矩形感興趣區(qū)域；4)基于步驟3)中的6個候選矩形感興趣區(qū)域，建立原始圖像的顯著圖，并在顯著 圖上檢測最終得到一個矩形感興趣區(qū)域；其中，對于每個特征圖，保留其感興趣區(qū)域內(nèi)的像素點值，將特征圖上感興趣區(qū)域
外的像素點值設(shè)定為0 ；更新每個特征圖為I' i(i = 1，2... 6)，再加權(quán)相加得到最終的顯
著圖；具體公式如下 6SM = ∑σiωiIi i=1SM便是最終的顯著圖；(Oi是每個特征圖對應(yīng)的權(quán)值；
上述技術(shù)方案所述的檢測彩色圖像的感興趣區(qū)域的方法，其特征在于，所述的參 數(shù)(Oi為對應(yīng)特征圖上感興趣區(qū)域面積的倒數(shù)。所述的感興趣區(qū)域面積過大或者過小時， 設(shè)定Si = 0，否則Si = 1。上述技術(shù)方案所述的得到矩形感興趣區(qū)域的方法具體包含如下子步驟首先，對于特征圖或顯著圖，進(jìn)行直方圖均衡；然后，計算特征圖的空間累計圖；最后，在每個特征圖或顯著圖的空間累計圖上，找到一個矩形區(qū)域作為此特征圖 的感興趣區(qū)域。作為本發(fā)明的一個改進(jìn)，所述的空間累計圖的重心為矩形感興趣區(qū)域的中心，將 這個矩形區(qū)域不斷向四周等距離擴(kuò)張，每次擴(kuò)張只向一個方向，且每次都等距，直到這個區(qū) 域上所有像素點值的和達(dá)到空間累計圖上所有像素點和值的95%，找到最終的感興趣區(qū) 域。本發(fā)明的自動檢測彩色圖像的感興趣區(qū)域的方法先對圖像進(jìn)行模糊處理，去除多 余的細(xì)節(jié)部分的同時也保留了前景和背景區(qū)域的邊界，然后選用HSV顏色模型和CIELUV顏 色模型共6個顏色通道，對每個通道利用其幅度譜得到其特征圖，再在每個特征圖上檢測 對應(yīng)的候選感興趣區(qū)域，將這6個候選感興趣區(qū)域進(jìn)行加權(quán)相加得到圖像的顯著圖，在這 個顯著圖上檢測最終的感興趣區(qū)域。本發(fā)明的檢測方法有點在于，綜合了各個顏色通道的信息從而使檢測具有穩(wěn)健 性；而預(yù)先進(jìn)行的圖像模糊處理去除了多余細(xì)節(jié)對檢測的干擾，保證了檢測的準(zhǔn)確性；最 終得到的矩形感興趣區(qū)域有利于在各種矩形的小屏幕上進(jìn)行瀏覽，符合實用性的要求；本 發(fā)明提供的方法具有較大的應(yīng)用價值。


圖Ι-a是復(fù)雜前景簡單背景的彩色圖像的原始圖像；圖Ι-a'是復(fù)雜前景簡單背景的彩色圖像的基于傳統(tǒng)的頻譜監(jiān)測方法得到的感興 趣區(qū)域的圖像；圖Ι-b是復(fù)雜背景簡單前景的彩色圖像的原始圖像；圖Ι-b'是復(fù)雜背景簡單前景的彩色圖像的基于傳統(tǒng)的頻譜監(jiān)測方法得到的感興 趣區(qū)域的圖像；圖1-c是簡單前景簡單背景的彩色圖像的原始圖像；圖1-c'是簡單前景簡單背景的彩色圖像的基于傳統(tǒng)的頻譜監(jiān)測方法得到的感興 趣區(qū)域的圖像；圖Ι-d是復(fù)雜前景復(fù)雜背景的彩色圖像的原始圖像；圖Ι-d'是復(fù)雜前景復(fù)雜背景的彩色圖像的基于傳統(tǒng)的頻譜監(jiān)測方法得到的感興 趣區(qū)域的圖像；圖2是本發(fā)明中對每個顏色通道由相位譜直接得到的顯著圖進(jìn)行直方圖均衡的 示意圖；圖3_a是復(fù)雜前景復(fù)雜背景的原始的彩色圖像；圖3-b是基于HSV顏色模型的H通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示意圖；圖3-c是基于HSV顏色模型的S通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示 意圖；圖3-d是基于HSV顏色模型的V通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示 意圖；圖3-e是基于LUV顏色模型的L通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示 意圖；圖3-f是基于LUV顏色模型的U通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示 意圖；圖3-g是基于LUV顏色模型的V通道的特征圖得到的矩形候選感興趣區(qū)域結(jié)果示 意圖；圖3_h是基于6個候選區(qū)域圖得到的顯著圖的示意圖；圖3_i是從顯著圖檢測得到的最終的矩形感興趣區(qū)域結(jié)果示意圖；圖4是本發(fā)明的檢測流程示意圖。
具體實施例方式下面結(jié)合附圖和具體的實施方式對本發(fā)明的對彩色圖像上感興趣區(qū)域的檢測方 法作進(jìn)一步詳細(xì)描述。圖Ι-a，圖Ι-a'，圖l_b，圖l_b'，圖l_c，圖l_c'和圖l_d，圖l_d'是本發(fā)明中 所列舉的四組不同的彩色圖像的樣式，傳統(tǒng)的各種基于頻譜的檢測彩色圖像感興趣區(qū)域的 方法只能檢測到比較簡單的圖像，如(Ι-a)和(l-a')中所示的復(fù)雜前景簡單背景的情況， 或者(1-b)和(l_b')中所示的前景簡單背景復(fù)雜的情況。但如果前景和背景部分都比較 簡單或者都比較復(fù)雜的情況，如(1-c) (1-d)中所示，依靠其特征圖是沒有辦法確定原圖的 感興趣區(qū)域的，即利用傳統(tǒng)方法得到的檢測結(jié)果如圖(l-c' ) (l-d')，這些圖并不能比較 準(zhǔn)確反應(yīng)彩色圖像的感興趣區(qū)域。圖2是本發(fā)明中對每個顏色通道由相位譜直接得到的顯著圖進(jìn)行直方圖均衡的 示意圖。圖3-a是一幅是復(fù)雜前景復(fù)雜背景的原始的彩色圖像；圖3-b，圖3_c，圖3_d，圖 3-e,圖3-f和圖3-g是本發(fā)明中各個顏色通道的特征圖對候選感興趣區(qū)域(ROI)檢測結(jié)果 示意圖；圖3-h是基于6個候選區(qū)域圖得到的顯著圖的示意圖；圖3-i從顯著圖檢測得到的 最終的矩形感興趣區(qū)域結(jié)果示意圖，從顯著圖上我們便可以看出圖上哪個部分最突出，而 最后的檢測結(jié)果也說明本發(fā)明的檢測方法對于復(fù)雜前景和復(fù)雜背景的彩色圖像的感興趣 區(qū)域的檢測是有效的。圖4是本發(fā)明整個檢測過程的示意圖。首先對圖像進(jìn)行模糊處理來減少圖像上多 余的細(xì)節(jié)部分，然后利用圖像的頻譜得到圖像在不同的顏色通道上的特征圖，之后再在各 個特征圖上檢測圖像的候選VA區(qū)域，綜合這些區(qū)域信息得到圖像最終的顯著圖，最后在這 個顯著圖上確定最終的感興趣區(qū)域。具體包括如下步驟1)對圖像進(jìn)行模糊處理我們?yōu)榱巳コ龍D像上多余的細(xì)節(jié)，從而更好的檢測圖像上的前景部分，我們提出
6首先對圖像進(jìn)行模糊處理。在這個模糊處理的過程中，多余的細(xì)節(jié)被除去，同時前景和 背景的邊界部分還保留著，因此本發(fā)明采用基于區(qū)域的模糊方法Density-basedSpatial Clustering of Applications with Noise (DBSCAN)。為 了適應(yīng)本方面模糊處理的要求，對 DBSCAN進(jìn)行一些改進(jìn)和限定。(a)相鄰區(qū)域的半徑應(yīng)該設(shè)定為一個較小的數(shù)，本發(fā)明中將其設(shè)定為1。另外，鄰域的距離用棋盤距離來計算。(b)在模糊的過程中采用Mimsell (HSV)顏色模型。(c)由于這里進(jìn)行DBSCAN的目的是對圖像進(jìn)行模糊而不是聚類，在除去圖像多余 細(xì)節(jié)的同時不能也消去了圖像前景和背景的邊界，因此聚合的次數(shù)需要預(yù)先加以限定。本 發(fā)明中，基于實驗數(shù)據(jù)，將聚合的次數(shù)設(shè)定為使聚合之后圖像區(qū)域的數(shù)量為50。這里需要指 出的是，模糊所達(dá)到的效果和對聚合次數(shù)的敏感度并不是很高，比如聚合之后區(qū)域的數(shù)量 設(shè)定為40至80，對模糊后檢測的效果影響不大。2)利用圖像的頻譜得到其幾個不同顏色通道的特征圖選用HSV顏色模型和CIELUV顏色模型共六個顏色通道，對圖像每個顏色通道上的 分量I (χ)，利用其相位譜P (f)，得到對應(yīng)的特征圖S (χ)。
權(quán)利要求
1.一種檢測彩色圖像的感興趣區(qū)域的方法，該方法用于檢測彩色圖像得到一個矩形的 感興趣區(qū)域，具體包括以下步驟1)對圖像采用基于區(qū)域的模糊方法去除多余的細(xì)節(jié)部分同時保留前景和背景區(qū)域的 邊界，其中模糊過程中采用HSV顏色模型；2)對模糊處理之后的圖像，采用HSV顏色模型和CIELUV顏色模型選取6個不同的顏色 通道，分別根據(jù)其相位譜得到6個特征圖；3)對于每個特征圖分別檢測對應(yīng)的候選感興趣區(qū)域，在6個特征圖上分別得到6個候 選的矩形感興趣區(qū)域；4)基于步驟3)中的6個候選矩形感興趣區(qū)域，建立原始圖像的顯著圖，并在顯著圖上 檢測最終得到一個矩形感興趣區(qū)域；其中，對于每個特征圖，保留其感興趣區(qū)域內(nèi)的像素點值，將特征圖上感興趣區(qū)域外的 像素點值設(shè)定為0 ；更新每個特征圖為I' ^1 = 1,2... 6)，再加權(quán)相加得到最終的顯著圖； 具體公式如下SM =知0>工/=1其中，SM是最終的顯著圖；ω i是每個特征圖對應(yīng)的權(quán)值。
2.根據(jù)權(quán)利要求1所述的檢測彩色圖像的感興趣區(qū)域的方法，其特征在于，所述的參 數(shù)(Oi為對應(yīng)特征圖上感興趣區(qū)域面積的倒數(shù)。
3.根據(jù)權(quán)利要求1所述的檢測彩色圖像的感興趣區(qū)域的方法，其特征在于，所述的感 興趣區(qū)域面積大于整個畫面面積的85%或小于畫面面積的10%時，設(shè)定δ i = 0，否則δ i =1。
4.根據(jù)權(quán)利要求1中所述的檢測彩色圖像感興趣區(qū)域的檢測方法，其特征在于，所述 的得到矩形感興趣區(qū)域的方法具體包含如下子步驟首先，對于特征圖或顯著圖，進(jìn)行直方圖均衡；然后，計算特征圖或顯著圖的空間累計圖；最后，在每個特征圖或顯著圖的空間累計圖上，找到一個矩形區(qū)域作為此特征圖的感 興趣區(qū)域。
5.根據(jù)權(quán)利要求4中所述的檢測彩色圖像感興趣區(qū)域的檢測方法，其特征在于，所述 的找矩形感興趣區(qū)域的步驟為，選空間累計圖的重心為矩形感興趣區(qū)域的中心，將這個矩 形區(qū)域不斷向四周擴(kuò)張，直到這個區(qū)域上所有像素點值的和達(dá)到空間累計圖上所有像素點 和值的95%。
全文摘要
本發(fā)明提供一種檢測彩色圖像的感興趣區(qū)域的方法，該方法用于檢測彩色圖像得到一個矩形的感興趣區(qū)域，具體包括以下步驟1)對圖像采用基于區(qū)域的模糊方法去除多余的細(xì)節(jié)部分同時保留前景和背景區(qū)域的邊界，其中模糊過程中采用HSV顏色模型；2)對模糊處理之后的圖像，采用HSV顏色模型和CIELUV顏色模型選取6個不同的顏色通道，分別根據(jù)其相位譜得到6個特征圖；3)對于每個特征圖分別檢測對應(yīng)的候選感興趣區(qū)域，從而在6個特征圖上得到6個候選的矩形感興趣區(qū)域；4)基于步驟3)中的6個候選矩形感興趣區(qū)域，建立原始圖像的顯著圖，并在顯著圖上檢測最終得到一個矩形感興趣區(qū)域；本發(fā)明對感興趣區(qū)域檢測的準(zhǔn)確性和魯棒性都很高，有很好的應(yīng)用價值。
文檔編號G06T7/60GK102005057SQ201010548679
公開日2011年4月6日 申請日期2010年11月17日 優(yōu)先權(quán)日2010年11月17日
發(fā)明者侯朝煥, 楊樹元, 洪纓, 王東輝, 裴朝科, 高麗 申請人:中國科學(xué)院聲學(xué)研究所