一種基于區(qū)域描述和先驗知識的圖像顯著性檢測方法
【專利摘要】本發(fā)明公開了一種基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，包括以下步驟：(1)對待檢測圖像進(jìn)行預(yù)分割，生成超像素，得到預(yù)分割圖像；(2)生成超像素的融合特征協(xié)方差矩陣；(3)計算每個超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符；(4)計算待檢測圖像的各像素點的初始顯著度值；(5)獲取圖像先驗顯著區(qū)域及背景區(qū)域；(6)計算待檢測圖像每個像素點的顯著度權(quán)值；(7)計算每個像素點的最終顯著度值。本發(fā)明得到的最終顯著圖能夠均勻地突出顯著區(qū)域，抑制背景噪聲干擾，不僅能夠在一般圖像中得到很好的顯著性檢測效果，也能處理復(fù)雜圖像的顯著性檢測，有利于后續(xù)諸如圖像關(guān)鍵區(qū)域提取等處理。
【專利說明】一種基于區(qū)域描述和先驗知識的圖像顯著性檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像智能處理領(lǐng)域，特別涉及一種基于區(qū)域描述和先驗知識的圖像顯 著性檢測方法。

【背景技術(shù)】
[0002] 隨著圖像處理技術(shù)的快速發(fā)展，圖像視覺顯著性檢測成為一個備受關(guān)注的課題。 顯著性檢測廣泛應(yīng)用于圖像處理各個領(lǐng)域，比如圖像分割、圖像檢索、物體檢測和識別、自 適應(yīng)圖像壓縮、圖像拼接等。
[0003] 人們在觀察一幅圖像時，給予圖像各區(qū)域的關(guān)注往往是不均勻的。其中受到更多 關(guān)注和引起人們興趣的區(qū)域稱為顯著對象。心理學(xué)和感知等學(xué)科研究表明，人們更傾向于 通過顯著對象獲取圖像信息，對圖像進(jìn)行分析、理解。相對于其它區(qū)域，顯著對象在圖像評 價中起到關(guān)鍵作用。此外，通過優(yōu)先分析和處理顯著性區(qū)域，能夠提高計算資源的利用效 率，因此視覺顯著對象的檢測具有重要的研究意義。
[0004] 圖像顯著性檢測是檢測一個場景中最顯著和最吸引注意力的區(qū)域，利用每個像 素的不同灰度，表示這個像素屬于顯著區(qū)域的可能性，其輸出結(jié)果通常是一幅被稱為顯著 圖的灰度圖，顯著圖中每個像素的灰度值被稱為顯著度值。現(xiàn)有進(jìn)行顯著性檢測的方法分 為兩大類。一類是基于注視點預(yù)測的模型；另一類是基于提取和分割顯著物體的模型。本 發(fā)明所涉及的方法屬于后一類。這類方法，主要是通過對分割區(qū)域與鄰域之間的差異度進(jìn) 行比較，來計算分割區(qū)域的顯著度值。
[0005] 下面對國內(nèi)外關(guān)于圖像顯著性檢測的方法和專利做相關(guān)介紹。T. Liu等人于2011 年在國際模式識別頂級期刊ΡΑΜΙ期刊中發(fā)表了"Learning to detect a salient object" 一文。該方法通過條件隨機(jī)場理論（Conditional random field),利用多尺度對比度、中心 四周直方圖以及顏色空間分布等特征學(xué)習(xí)用戶感興趣的顯著區(qū)域，通過窮舉算法在顯著圖 上搜索目標(biāo)矩形。該算法檢測到目標(biāo)物體的準(zhǔn)確率高，但是搜索過程耗時長。
[0006] Achanta等人在2009年的計算機(jī)視覺國際會議CVPR會議發(fā)表了 "Frequency-tuned Salient Region Detection" 一文，文中所述方法的原理是將圖像通過 一個帶通濾波器濾波，把高頻的噪聲和細(xì)節(jié)，以及低頻的均勻背景去除掉。具體實現(xiàn)是首先 對原圖進(jìn)行高斯模糊得到清晰度較低的圖像，同時，計算整幅圖像的平均值，然后兩者相減 取絕對值，得到最后的顯著圖。該方法提取出的Z. Liu等人在2009年的圖像處理期刊IET 發(fā)表了"Efficient saliency detection based on Gaussian models"一文，該文提出的顯 著性模型是以高斯分布模型作為基礎(chǔ)建立的，該模型首先利用均值飄移算法在Luv顏色空 間中把圖像預(yù)分割為不同區(qū)域，然后利用一系列高斯分布模型描述各個區(qū)域，并計算每個 像素與不同區(qū)域之間的顏色相似程度，再計算各區(qū)域之間的顏色距離以及空間距離，分別 形成顏色顯著性圖和空間顯著性圖。最后由兩者相結(jié)合形成最終的顯著性圖。該方法僅僅 利用了圖像的顏色特征，導(dǎo)致最終的顯著圖中可能含有大量背景噪聲干擾。
[0007] 區(qū)域具有清晰度較高且邊緣清晰的特點，而且算法簡單，運算耗時少。但該方法具 有一個明顯的缺點，當(dāng)背景稍微復(fù)雜時，顯著性檢測效果會變得很不理想。
[0008] Z. Liu等人在2009年的圖像處理期刊 IET發(fā)表了"Efficient saliency detection based on Gaussian models"一文，該文提出的顯著性模型是以高斯分布模型作為基礎(chǔ)建立 的，該模型首先利用均值飄移算法在Luv顏色空間中把圖像預(yù)分割為不同區(qū)域，然后利用 一系列高斯分布模型描述各個區(qū)域，并計算每個像素與不同區(qū)域之間的顏色相似程度，再 計算各區(qū)域之間的顏色距離以及空間距離，分別形成顏色顯著性圖和空間顯著性圖。最后 由兩者相結(jié)合形成最終的顯著性圖。該方法僅僅利用了圖像的顏色特征，導(dǎo)致最終的顯著 圖中可能含有大量背景噪聲干擾。
[0009] 目前我國在該領(lǐng)域相關(guān)專利有：基于色彩直方圖和全局對比度的圖像視覺顯著性 計算方法（專利號201110062520. 1)。該方法同時考慮了全局對比度和空間相干性。但是 由于僅利用了顏色直方圖和空間關(guān)系，而且得到的顯著圖是基于分割區(qū)域而非像素，使得 最終的顯著圖比較粗糙，并且在背景較為復(fù)雜時檢測結(jié)果不太理想。
[0010] 綜上所述，現(xiàn)有基于分割區(qū)域的顯著性檢測方法大部分僅利用圖像的顏色特征， 導(dǎo)致最終生成的顯著圖比較粗糙，可能含有大量背景噪聲干擾，而且對背景復(fù)雜的圖像顯 著性檢測效果較差。


【發(fā)明內(nèi)容】

[0011] 為了克服現(xiàn)有技術(shù)的上述缺點與不足，本發(fā)明的目的在于提供一種基于區(qū)域描述 和先驗知識的圖像顯著性檢測方法，能夠使圖像的顯著區(qū)域均勻地凸顯出來，并有效地抑 制背景噪聲干擾，對背景較復(fù)雜的圖像也能得到良好的顯著圖檢測結(jié)果。
[0012] 本發(fā)明的目的通過以下技術(shù)方案實現(xiàn)：
[0013] 一種基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，包括如下步驟：
[0014] (1)對待檢測圖像進(jìn)行預(yù)分割，生成超像素，得到預(yù)分割圖像；
[0015] (2)將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采用非 線性的方法，生成超像素的融合特征協(xié)方差矩陣；
[0016] (3)計算每個超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符；
[0017] (4)利用超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符，計算待檢測圖像 的各像素點的初始顯著度值；
[0018] (5)基于顯著點的先驗知識，獲取圖像先驗顯著區(qū)域及背景區(qū)域；
[0019] (6)根據(jù)超像素與背景區(qū)域的顏色距離，計算待檢測圖像每個像素點的顯著度權(quán) 值；
[0020] (7)將步驟￠)中得到的各像素點的顯著度權(quán)值進(jìn)行歸一化后，與初始顯著度值 相乘，計算得到每個像素點的最終顯著度值。
[0021] 步驟（1)所述對圖像進(jìn)行預(yù)分割，具體為采用自適應(yīng)SLIC算法對圖像進(jìn)行預(yù)分 害I]，包括以下步驟：
[0022] (1-1)計算圖像復(fù)雜度及分割數(shù)量N ;
[0023] 首先將待檢測圖像轉(zhuǎn)化為灰度圖，然后計算0°，45°，90°，135°四個方向的灰 度共生矩陣，再計算四個方向上灰度共生矩陣的能量、熵、相關(guān)性和均勻度四個常用特征， 根據(jù)下式分別計算0°，45°，90°，135°四個方向的復(fù)雜度，
[0024] GrayComplexity(α) = entropy (α)+homogeneous(α)-energy (α)-correlati on ( α )
[0025] 其中，α的取值為1、2、3、4,分別對應(yīng)0°，45°，90°，135°四個方向；
[0026] 對四個方向上的復(fù)雜度加和求平均，得到圖像復(fù)雜度，計算公式如下：
[0027]

【權(quán)利要求】
1. 一種基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在于，包括如下步 驟： (1) 對待檢測圖像進(jìn)行預(yù)分割，生成超像素，得到預(yù)分割圖像； (2) 將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采用非線性 的方法，生成超像素的融合特征協(xié)方差矩陣； (3) 計算每個超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符； (4) 利用超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符，計算待檢測圖像的各 像素點的初始顯著度值； (5) 基于顯著點的先驗知識，獲取圖像先驗顯著區(qū)域及背景區(qū)域； (6) 根據(jù)超像素與背景區(qū)域的顏色距離，計算待檢測圖像每個像素點的顯著度權(quán)值； (7) 將步驟￠)中得到的各像素點的顯著度權(quán)值進(jìn)行歸一化后，與初始顯著度值相乘， 計算得到每個像素點的最終顯著度值。
2. 根據(jù)權(quán)利要求1所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（1)所述對圖像進(jìn)行預(yù)分割，具體為采用自適應(yīng)SLIC算法對圖像進(jìn)行預(yù)分割，包括 以下步驟： (1-1)計算圖像復(fù)雜度及分割數(shù)量N; 首先將待檢測圖像轉(zhuǎn)化為灰度圖，然后計算0°，45°，90°，135°四個方向的灰度共 生矩陣，再計算四個方向上灰度共生矩陣的能量、熵、相關(guān)性和均勻度四個常用特征，根據(jù) 下式分別計算0°，45°，90°，135°四個方向的復(fù)雜度， GrayComplexity( a ) = entropy(α)+homogeneous(α)-energy(α)-correlation ( α ) 其中，α的取值為1、2、3、4,分別對應(yīng)0°，45°，90°，135°四個方向； 對四個方向上的復(fù)雜度加和求平均，得到圖像復(fù)雜度，計算公式如下：
分割數(shù)量Ν由下式計算： N = 30Χ (GrayCompleixty+1) (1-2)將待檢測圖像從RGB色彩空間轉(zhuǎn)換為CIELab色彩空間； (1-3)利用SLIC算法將圖像分割為N個超像素，得到預(yù)分割圖像。
3. 根據(jù)權(quán)利要求2所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（2)所述將每個像素點在CIELab色彩空間中的三個顏色特征和四個紋理特征，采 用非線性的方法，生成超像素的融合特征協(xié)方差矩陣，具體為： (2-1)提取每個像素點在CIELab色彩空間中的顏色和紋理特征； 分別求預(yù)分割圖像在0°，45°，90°，135°四個方向上的Gabor紋理灰度圖，并計算 每個像素點在四個方向上的Gabor紋理值；將顏色L、a、b以及四個方向上的Gabor紋理灰 度值gi，g2, g3, 84組合，形成每個像素點的7維特征向量f = (L，a, b, gp g2, g3, g4); (2-2)生成第i個超像素氏的融合特征協(xié)方差矩陣; 采用非線性的方法，按照下式把7維特征向量生成7 X 7的特征協(xié)方差矩陣€λ<，以表征 超像素氏的特征：
其中，，表示預(yù)分割圖像中超像素氏的融合特征協(xié)方差矩陣，fj表示超像素氏中的 第j個像素點的7維特征向量，表示Ri的特征向量平均值，η表示氏中像素點的數(shù)量；j =l、2、3...n ;i = 1、2、3…N。
4. 根據(jù)權(quán)利要求3所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（3)所述計算每個超像素的特征差異區(qū)域描述符和空間分布區(qū)域描述符，具體為： (3-1)計算預(yù)分割圖像中超像素&的特征差異區(qū)域描述符￡)<，以衡量超像素Ri與其 他超像素的特征差異程度，具體的公式為：
其中，Pi, pt分別代表超像素氏，Rt的空間質(zhì)心位置，t = 1、2、3…N ;w(Pi, pt)是一個 高斯分布形式的權(quán)值系數(shù)，其大小和超像素的空間位置有關(guān)，用于增強鄰近超像素的影 響；1/Zi是歸一化因子，以保證權(quán)值系數(shù)之和為1，SP
< 是一個控制參數(shù)； ，(：&)表示兩個超像素特征協(xié)方差矩陣
間的距離；| |Pi_pt| |是超像素 氏，Rt的空間質(zhì)心之間的歐式距離； (3-2)計算預(yù)分割圖像中超像素氏的空間分布區(qū)域描述符1?，用以度量超像素氏的 空間分布程度，該值越小表明氏空間分布越緊湊，具體的公式為：
其中，I |Pi-ptl I表示超像素 Ri，Rt之間的空間歐氏距離，表示Ri和Rt特征上 的相似性權(quán)值系數(shù)，〃/,,)表示是利用特征的一維統(tǒng)計特性得到的馬氏距離。
5. 根據(jù)權(quán)利要求4所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（4)所述利用超像素的征差異區(qū)域描述符和空間分布區(qū)域描述符，計算待檢測圖 像的各像素點的初始顯著度值，具體為： 首先將特征差異區(qū)域描述符和空間分布區(qū)域描述符￡5,.歸一化到[〇，1]之間，再計 算待檢測圖像的超像素 Ri的粗顯著度值Si，得到粗顯著圖，最后使用高維高斯濾波器對顯 著區(qū)域進(jìn)行升采樣，得到超像素氏中的第j個像素點的初始顯著度值6 〇
6. 根據(jù)權(quán)利要求5所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，所述粗顯著度值Si由下式計算：
其中，τ是用來調(diào)節(jié)空間分布區(qū)域描述符和特征差異區(qū)域描述符權(quán)重的參數(shù)，τ越大 空間分布區(qū)域描述符的影響越小，其取值根據(jù)實際情況選取。
7. 根據(jù)權(quán)利要求6所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（5)所述基于顯著點的先驗知識，獲取圖像先驗顯著區(qū)域R in及背景區(qū)域，具體 為： 利用顏色增強Harris角點檢測方法，找到顯著區(qū)域的角點作為先驗顯著點，然后用一 個凸包把所有先驗顯著點包含在內(nèi)，從而確定出先驗顯著區(qū)域Rin，其他區(qū)域作為背景Rwt， 得到先驗顯著圖。
8. 根據(jù)權(quán)利要求7所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（6)所述根據(jù)超像素與背景區(qū)域的顏色距離，計算待檢測圖像每個像素點的顯 著度權(quán)值，具體為： (6-1)計算待檢測圖像的背景區(qū)域顏色cf"; (6-2)計算預(yù)分割圖像中超像素氏的顯著度權(quán)值Xi :
其中，argminlh-表示最小顏色距離，是預(yù)分割圖像中超像素氏的平均顏色Ci與 先驗顯著圖中背景區(qū)域分割塊平均顏色cf…之間最小的歐氏距離，K(i，Rin)是控制參數(shù)； (6-3)計算預(yù)分割圖像中超像素氏中的第j個像素點的顯著度權(quán)值λ』： 人 j - X i 〇
9. 根據(jù)權(quán)利要求8所述的基于區(qū)域描述和先驗知識的圖像顯著性檢測方法，其特征在 于，步驟（6-1)計算待檢測圖像的背景區(qū)域顏色cf" ?具體為： 用mean-shift算法，根據(jù)相似度將原圖像中的背景區(qū)域劃分割為β個分割塊，再根據(jù) 下式計算處于背景區(qū)域ICt的分割塊的平均顏色ef* :
其中，1?'1;表示第1^個分割塊，1(=1、2、3-0;巧表示像素1"1的顏色向量，|1^ 1;|表 示V k中像素總個數(shù)。
【文檔編號】G06T7/40GK104103082SQ201410251160
【公開日】2014年10月15日 申請日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】王偉凝, 蔡冬, 姜怡孜, 韋崗 申請人:華南理工大學(xué)