一種圖像顯著性物體檢測(cè)方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種圖像顯著性物體檢測(cè)方法和裝置，屬于計(jì)算機(jī)視覺領(lǐng)域。所述方法包括：根據(jù)圖像構(gòu)建一個(gè)隨機(jī)森林，根據(jù)所述隨機(jī)森林用全局的圖像塊稀有性捕捉顯著物體的近似輪廓，將圖像分為輪廓內(nèi)和輪廓外兩部分；通過度量?jī)?nèi)外部圖像塊的對(duì)比度來壓制與輪廓外部相似的內(nèi)部圖像塊，凸顯與輪廓內(nèi)部相似的外部圖像塊；最后使用基于圖切割的圖像分割修飾局部圖。采用本發(fā)明提供的圖像顯著性物體檢測(cè)方法可以檢測(cè)圖像中任何大小的物體，并且能夠?qū)崿F(xiàn)物體的完整精確檢測(cè)，同時(shí)，采用本發(fā)明提供的圖像顯著性物體檢測(cè)方法可以檢測(cè)出單幅圖像中的多個(gè)顯著物體。
【專利說明】一種圖像顯著性物體檢測(cè)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種圖像顯著性物體檢測(cè)方法和裝置。
【背景技術(shù)】
[0002]視覺顯著性是一個(gè)來自于神經(jīng)科學(xué)和生理學(xué)的概念，它使吸引人的注意力的區(qū)域從人的視場(chǎng)中凸顯出來。
[0003]傳統(tǒng)的視覺顯著性檢測(cè)方法通常基于局部或者全局的對(duì)比分析來計(jì)算顯著性?；诰植康姆椒舾杏趫D像中高對(duì)比度的邊緣和噪聲，從而弱化了物體內(nèi)的平滑區(qū)域，這使得它們更適合檢測(cè)小物體。在基于全局對(duì)比的方法中，基于圖像塊的方法也趨向于凸出物體的邊界而非整個(gè)物體區(qū)域。雖然基于分割的方法有效地克服了“物體弱化”問題(物體內(nèi)部被壓制)，當(dāng)物體的內(nèi)部不均勻時(shí)，它們?nèi)匀缓茈y凸出整個(gè)物體。大部分情況下，基于局部的方法和基于全局對(duì)比的方法只能檢測(cè)出物體的某些部分。
[0004]文 獻(xiàn)“Exploiting local and global patch rarities for saliencydetection”(A.Borji and L.1tt1.1n CVPR，2012)提出用全局的圖像塊稀有性(圖像塊在整幅圖像中出現(xiàn)的頻率)去填充物體的內(nèi)部區(qū)域。然而對(duì)大的物體來說，稀有的圖像塊通常出現(xiàn)在物體和背景的交界處。
[0005]上述的大部分模型是本著檢測(cè)單個(gè)顯著性物體而被提出。這些模型的局限使得它們有一定的難度去檢測(cè)一幅圖像中的多個(gè)物體。
[0006]與本發(fā)明最近似的方法是論文“Automaticsalient object segmentation basedon context and shape prior(H.Jiang, J.Wang, Z.Yuan, T.Liu, and N.Zheng, in Proc.BMVC, 2011)。這篇文獻(xiàn)的作者把顯著性圖和物體的形狀先驗(yàn)(顯著物體有很明顯的封閉邊界)整合到一個(gè)模型中去分割顯著物體。這個(gè)形狀先驗(yàn)是依靠結(jié)合顯著性和通過邊緣檢測(cè)器得到的物體邊界信息而被提取出來的。
[0007]在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題:
[0008]1.現(xiàn)有顯著性檢測(cè)技術(shù)不適合檢測(cè)小物體；2.當(dāng)物體內(nèi)部不均勻時(shí)，現(xiàn)有顯著性檢測(cè)技術(shù)只能檢測(cè)出物體的一些部分；3.現(xiàn)有顯著性檢測(cè)技術(shù)難以檢測(cè)一幅圖像中的多個(gè)顯著性物體。

【發(fā)明內(nèi)容】

[0009]為了解決現(xiàn)有技術(shù)存在的問題，本發(fā)明實(shí)施例提供了一種圖像顯著性物體檢測(cè)方法和裝置。所述技術(shù)方案如下:
[0010]一方面，本發(fā)明提供了一種圖像顯著性物體檢測(cè)方法，所述方法包括:
[0011]將圖像進(jìn)行拉伸，提取拉伸后的圖像中的圖像塊構(gòu)成圖像塊集合，以遞歸的方式從所述圖像塊集合中構(gòu)建出一個(gè)隨機(jī)森林；
[0012]根據(jù)所述隨機(jī)森林對(duì)所述圖像塊集合中的所有圖像塊進(jìn)行稀有性分析，得到稀有性圖，采用主動(dòng)輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖；[0013]根據(jù)所述隨機(jī)森林計(jì)算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級(jí)別的顯著性圖；
[0014]將所述精確到物體級(jí)別的顯著性圖重新拉伸到原始圖像的大小，對(duì)重新拉伸后的圖像進(jìn)行基于圖切割的圖像分割，得到一個(gè)由均勻的圖像區(qū)域組成的集合，均化每個(gè)區(qū)域的顯著性值，得到最終的顯著性圖。
[0015]具體地，所述將圖像進(jìn)行拉伸，提取拉伸后的圖像中的圖像塊構(gòu)成圖像塊集合具體包括:將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r) X (H/r)個(gè)大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構(gòu)成圖像塊集合P= (P1, P2, “.，ρη}，其中H對(duì)r可除。
[0016]具體地，所述以遞歸的方式從所述圖像塊集合中構(gòu)建出一個(gè)隨機(jī)森林具體包括:以遞歸的方式從所述圖像塊集合中構(gòu)建一個(gè)由T棵樹組成的隨機(jī)森林F= IT1, -Ττ}，隨機(jī)森林中的每棵樹均由分割結(jié)點(diǎn)和葉子結(jié)點(diǎn)構(gòu)成，其中，葉子結(jié)點(diǎn)具體為不能被繼續(xù)分割的分表1]結(jié)點(diǎn)；
[0017]進(jìn)一步地，以遞歸的方式從所述圖像塊集合中構(gòu)建一棵樹Tk具體包括:
[0018]Al:在樹Tk的分割結(jié)點(diǎn)η處，產(chǎn)生兩個(gè)隨機(jī)數(shù)Ii1和h2，定義
(IiOi1, h2) =Pi Oi1)-PiOi2)；
[0019]A2:構(gòu)造η處的分割函數(shù)，將到達(dá)η的圖像塊集合Sn分割為包含在η的左孩子結(jié)點(diǎn)內(nèi)的圖像塊集合S1和包含在η的右孩子結(jié)點(diǎn)內(nèi)的圖像塊集合Sr ；
[0020]A3:將η的孩子結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)繼續(xù)進(jìn)行分割，直至當(dāng)前結(jié)點(diǎn)的深度達(dá)到預(yù)定義的最大深度或者達(dá)到當(dāng)前結(jié)點(diǎn)的圖像塊集合中只包含一個(gè)圖像塊時(shí)，執(zhí)行Α4;
[0021]Α4:選擇一個(gè)新的分割結(jié)點(diǎn)進(jìn)行分割，直至不存在可以分割的結(jié)點(diǎn)為止，停止增長樹Tk ；
[0022]更進(jìn)一步地，所述Α2具體包括:構(gòu)造η處的分割函數(shù)為
【權(quán)利要求】
1.一種圖像顯著性物體檢測(cè)方法，其特征在于，所述方法包括: 將圖像進(jìn)行拉伸，提取拉伸后的圖像中的圖像塊構(gòu)成圖像塊集合，以遞歸的方式從所述圖像塊集合中構(gòu)建出一個(gè)隨機(jī)森林； 根據(jù)所述隨機(jī)森林對(duì)所述圖像塊集合中的所有圖像塊進(jìn)行稀有性分析，得到稀有性圖，采用主動(dòng)輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖； 根據(jù)所述隨機(jī)森林計(jì)算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級(jí)別的顯著性圖； 將所述精確到物體級(jí)別的顯著性圖重新拉伸到原始圖像的大小，對(duì)重新拉伸后的圖像進(jìn)行基于圖切割的圖像分割，得到一個(gè)由均勻的圖像區(qū)域組成的集合，均化每個(gè)區(qū)域的顯著性值，得到最終的顯著性圖。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將圖像進(jìn)行拉伸，提取拉伸后的圖像中的圖像塊構(gòu)成圖像塊集合具體包括:將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r)X(H/r)個(gè)大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構(gòu)成圖像塊集合P= {Pl，P2，…，P1J，其中H對(duì)r可除。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述以遞歸的方式從所述圖像塊集合中構(gòu)建出一個(gè)隨機(jī)森林具體包括:以遞歸的方式從所述圖像塊集合中構(gòu)建一個(gè)由T棵樹組成的隨機(jī)森林F=IT1,…Ττ}，隨機(jī)森林中的每棵樹均由分割結(jié)點(diǎn)和葉子結(jié)點(diǎn)構(gòu)成，其中，葉子結(jié)點(diǎn)具體為不 能被繼續(xù)分割的分割結(jié)點(diǎn)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，以遞歸的方式從所述圖像塊集合中構(gòu)建一棵樹Tk具體包括: Al:在樹Tk的分割結(jié)點(diǎn)η處，產(chǎn)生兩個(gè)隨機(jī)數(shù)Ii1和h2,定義(Ii (h” h2) =Pi Oi1) -Pi (h2)；A2:構(gòu)造η處的分割函數(shù)，將到達(dá)η的圖像塊集合Sn分割為包含在η的左孩子結(jié)點(diǎn)內(nèi)的圖像塊集合S1和包含在η的右孩子結(jié)點(diǎn)內(nèi)的圖像塊集合Sr ； A3:將η的孩子結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)繼續(xù)進(jìn)行分割，直至當(dāng)前結(jié)點(diǎn)的深度達(dá)到預(yù)定義的最大深度或者達(dá)到當(dāng)前結(jié)點(diǎn)的圖像塊集合中只包含一個(gè)圖像塊時(shí)，執(zhí)行Α4; Α4:選擇一個(gè)新的分割結(jié)點(diǎn)進(jìn)行分割，直至不存在可以分割的結(jié)點(diǎn)為止，停止增長樹Tk。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述Α2具體包括:構(gòu)造η處的分割函數(shù)
? Di e S1.1ff dik,L.) <θ,,,.,% K(Sa-JhJh) = 1:,Λ，其中，S1為包含在η的左孩子結(jié)點(diǎn)內(nèi)的圖像

[jf^f € 5 f.， ι ? Al；






I塊集合包含在η的右孩子結(jié)點(diǎn)內(nèi)的圖像塊集合，Sj表示圖像塊集合大小。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述隨機(jī)數(shù)Ii1和匕滿足公式(K ’ /h ) = arS max fc j,: 1^1 Σ ^: s? ⑷(;?丨為)―0Ih J, )2 *
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述隨機(jī)森林對(duì)所述圖像塊集合中的所有圖像塊進(jìn)行稀有性分析具體包括:根據(jù)公式
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，根據(jù)公式
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述隨機(jī)森林計(jì)算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度具體包括: B1:將所有的圖像塊分成顯著性物體輪廓內(nèi)部圖像塊集合Sin和顯著性物體輪廓外部圖像塊集合Stjut ； B2:計(jì)算顯著性物體輪廓外部圖像塊集合Stjut中的圖像塊Pi和顯著性物體輪廓內(nèi)部圖像塊集合Sin中的圖像塊P」在隨機(jī)森林的同一顆樹中的相似性； B3:整合Pi和P」在隨機(jī)森林的每一棵樹中的相似性，得到Pi和P」間的相似性； B4:計(jì)算Pi與Sin間的相似性,并根據(jù)Pi與Sin間的相似性計(jì)算Pi的顯著性值； B5:計(jì)算Pj與Stjut間的相似性,并根據(jù)Pj與Srat間的相似性計(jì)算P」的顯著性值。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述B2具體包括:根據(jù)公式
11.一種圖像顯著性物體檢測(cè)裝置，其特征在于，所述裝置包括:構(gòu)建隨機(jī)森林模塊、顯著物體輪廓提取模塊、顯著物體檢測(cè)模塊和顯著物體修飾模塊；其中: 所述構(gòu)建隨機(jī)森林模塊，包括圖像塊提取單元和遞歸單元，所述圖像塊提取單元用于將圖像進(jìn)行拉伸，提取拉伸后的圖像中的圖像塊構(gòu)成圖像塊集合，所述遞歸單元用于以遞歸的方式從所述圖像塊集合中構(gòu)建出一個(gè)隨機(jī)森林； 所述顯著物體輪廓提取模塊，包括稀有性分析單元和顯著物體輪廓提取單元，所述稀有性分析單元用于根據(jù)所述隨機(jī)森林對(duì)所述圖像塊集合中的所有圖像塊進(jìn)行稀有性分析，得到稀有性圖，所述顯著物體輪廓提取單元用于采用主動(dòng)輪廓模型提取所述稀有性圖中的顯著物體輪廓，得到輪廓性圖； 所述顯著物體檢測(cè)模塊，用于根據(jù)所述隨機(jī)森林計(jì)算所述輪廓圖中顯著物體輪廓內(nèi)部的圖像塊和外部的圖像塊間的相似度，得到精確到物體級(jí)別的顯著性圖； 所述顯著物體修飾模塊，用于將所述精確到物體級(jí)別的顯著性圖重新拉伸到原始圖像的大小，對(duì)重新拉伸后的圖像進(jìn)行基于圖切割的圖像分割，得到一個(gè)由均勻的圖像區(qū)域組成的集合，均化每個(gè)區(qū)域的顯著性值，得到最終的顯著性圖。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述圖像塊提取單元具體用于將圖像拉伸到HXH的大小，將拉伸后的圖像劃分為(H/r) X (H/r)個(gè)大小為rXr的圖像塊，將這些圖像塊按照從左向右，自上而下的順序，以無重疊的方式從拉伸的圖像中被提取出來，構(gòu)成圖像塊集合P=Ip1, P2,…，P1J，其中H對(duì)r可除。
13.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述遞歸單元具體用于以遞歸的方式從所述圖像塊集合中構(gòu)建一個(gè)由T棵樹組成的隨機(jī)森林F= IT1,…Ττ}，隨機(jī)森林中的每棵樹均由分割結(jié)點(diǎn)和葉子結(jié)點(diǎn)構(gòu)成，其中，葉子結(jié)點(diǎn)具體為不能被繼續(xù)分割的分割結(jié)點(diǎn)。
14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述遞歸單元具體包括:` 構(gòu)造分割函數(shù)子單元，用于在樹Tk的分割結(jié)點(diǎn)η處，產(chǎn)生兩個(gè)隨機(jī)數(shù)Ii1和h2，定義(IiOi1, h2) =Pi Oi1)-Pi (h2),構(gòu)造 η 處的分割函數(shù)； 分割圖像塊集合子單元，用于根據(jù)所述構(gòu)造分割函數(shù)子單元構(gòu)造的分割函數(shù)將到達(dá)η的圖像塊集合Sn分割為包含在η的左孩子結(jié)點(diǎn)內(nèi)的圖像塊集合S1和包含在η的右孩子結(jié)點(diǎn)內(nèi)的圖像塊集合& ;還用于將η的孩子結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)繼續(xù)進(jìn)行分割，直至當(dāng)前結(jié)點(diǎn)的深度達(dá)到預(yù)定義的最大深度或者達(dá)到當(dāng)前結(jié)點(diǎn)的圖像塊集合中只包含一個(gè)圖像塊時(shí)，選擇一個(gè)新的分割結(jié)點(diǎn)進(jìn)行分割，直至不存在可以分割的結(jié)點(diǎn)為止，停止增長樹Tk。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述構(gòu)造分割函數(shù)子單元具體用于在樹Tk的分割結(jié)點(diǎn)η處，產(chǎn)生兩個(gè)隨機(jī)數(shù)Ii1和h2,定義(Ii Qi1, h2) =Pi Oi1) -Pi (h2),構(gòu)造η處的

? P,- e Si, -- Jh) < 0h h ,分割函數(shù)為4(?AlsIi2) = ^" 1,2，其中，S1為包含在n的左孩子結(jié)

[P, e Sr, --ΙΙ,點(diǎn)內(nèi)的圖像塊集合，Sr包含在η的右孩子結(jié)點(diǎn)內(nèi)的圖像塊集合，Jh 二 j^|ZVAeS; )，Sn表示圖像塊集合Sn的大小。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述構(gòu)造分割函數(shù)子單元生成的所述1隨機(jī)數(shù) Ii1 和 h2 滿足公式(K)=?*8規(guī)》秘(d,f?
17.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述稀有性分析單元具體用于根據(jù)公式
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述稀有性分析單元根據(jù)公式
19.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述顯著物體檢測(cè)模塊具體包括: 圖像塊劃分單元，用于將所有的圖像塊分成顯著性物體輪廓內(nèi)部圖像塊集合Sin和顯著性物體輪廓外部圖像塊集合Stjut ； 第一相似性計(jì)算單元，用于計(jì)算顯著性物體輪廓外部圖像塊集合Swt中的圖像塊Pi和顯著性物體輪廓內(nèi)部圖像塊集合Sin中的圖像塊P」在隨機(jī)森林的同一顆樹中的相似性； 整合單元，用于整合所述第一相似性計(jì)算單元計(jì)算得到的Pi和P」在隨機(jī)森林的每一棵樹中的相似性，得到Pi和P」間的相似性； 第二相似性計(jì)算單元，用于計(jì)算Pi與Sin間的相似性，并根據(jù)Pi與Sin間的相似性計(jì)算Pi的顯著性值； 第三相似性計(jì)算單元，用于計(jì)算P」與Srat間的相似性，并根據(jù)P」與Swt間的相似性計(jì)算h的顯著性值。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述第一相似性計(jì)算單元具體用于根 據(jù)公式
【文檔編號(hào)】G06T7/00GK103793710SQ201310686930
【公開日】2014年5月14日 申請(qǐng)日期:2013年12月12日 優(yōu)先權(quán)日:2013年12月12日
【發(fā)明者】陳世峰, 杜書澤 申請(qǐng)人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院