本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,具體涉及聯(lián)合視覺(jué)顯著性和圖割優(yōu)化的圖像自動(dòng)分割方法。
背景技術(shù):
圖像分割是將圖像分成不同的區(qū)域,每個(gè)區(qū)域有相同的顏色、強(qiáng)度或紋理,在圖像分析、物體識(shí)別跟蹤和計(jì)算機(jī)視覺(jué)中它都具有重要作用。圖像分割的方法多種多樣,早期人們利用閾值法進(jìn)行分割,近些年研究人員更多地研究利用能量函數(shù)解決分割問(wèn)題。
閾值法是人們最開始使用也是最簡(jiǎn)單的圖像分割方法,給定一個(gè)事先定義好的灰度閾值,大于這個(gè)閾值的被視為前景物體,小于這個(gè)閾值的被視為背景物體。該方法關(guān)鍵是找到一個(gè)合適的灰度閾值,在這一方面Otsu的算法是最常被使用的。閾值法之后陸續(xù)出現(xiàn)了基于邊緣和基于區(qū)域的圖像分割方法,基于邊緣的分割方法利用連接圖像前景和背景的像素會(huì)有較大差異這一特性,對(duì)圖像求一階導(dǎo)數(shù)或二階導(dǎo)數(shù)可以檢測(cè)到這種不連續(xù)性。Sobel邊緣檢測(cè)子就是利用圖像梯度概念檢測(cè)邊緣,Canny邊緣檢測(cè)子通過(guò)使用濾波和強(qiáng)化操作能得到更好的分割結(jié)果。基于區(qū)域的分割方法利用同一區(qū)域內(nèi)像素是相似的這一特性,通過(guò)逐步迭代擴(kuò)大種子區(qū)域來(lái)進(jìn)行分割。像k-means方法、meanshift方法都是屬于基于區(qū)域的分割方法。這些圖像分割方法利用圖像底層屬性(強(qiáng)度、顏色或紋理)來(lái)對(duì)圖像進(jìn)行分割,同樣的還有watershed方法,其基本思想是把圖像看作是測(cè)地學(xué)上的拓?fù)涞孛?,圖像中每一像素的灰度值表示該像素的海拔高度,每一局部極小值及其影響區(qū)域稱為集水盆,集水盆的邊界形成分水嶺,找到分水嶺即完成了對(duì)圖像的分割。無(wú)論是閾值法、基于邊緣、基于區(qū)域或watershed方法,都容易導(dǎo)致圖像過(guò)度分割或分割不足的問(wèn)題。
基于能量函數(shù)的分割方法是對(duì)圖像構(gòu)建一個(gè)能量函數(shù),當(dāng)能量函數(shù)達(dá)到最小值時(shí)圖像就完成了分割。圖割(Graph Cut)就屬于這一類,它最早被Boykov和Jolly提出,這種算法模型將圖像的邊緣特征和區(qū)域特征很好地結(jié)合起來(lái),在一定程度上解決了過(guò)分割或分割不足的問(wèn)題。在圖割基礎(chǔ)上發(fā)展起來(lái)的Grab Cut如今應(yīng)用比較廣泛,它需要用戶將圖像中前景物體用矩形框出作為先驗(yàn)知識(shí),在數(shù)據(jù)量較大時(shí)這項(xiàng)工作將變得費(fèi)時(shí)費(fèi)力。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的就是為了解決上述技術(shù)問(wèn)題,而提供聯(lián)合視覺(jué)顯著性和圖割優(yōu)化的圖像自動(dòng)分割方法。
本發(fā)明包括以下步驟:
①利用HC算法獲取圖像顯著圖;
②對(duì)圖像前景像素和背景像素進(jìn)行高斯混合模型訓(xùn)練;
③依據(jù)圖像高斯混合模型訓(xùn)練結(jié)果對(duì)圖像構(gòu)造圖結(jié)構(gòu)并利用圖割優(yōu)化方法對(duì)圖像進(jìn)行分割。
所述步驟①中,HC算法利用圖像像素顏色統(tǒng)計(jì)信息標(biāo)識(shí)各像素之間的區(qū)別,通過(guò)量化計(jì)算表示這種差別即為各像素的顯著值,計(jì)算公式為:
其中,cl是像素顏色值,n是圖像中顏色值不同的像素?cái)?shù)目,fj是具有顏色值cl的像素?cái)?shù)目。
所述步驟②中,對(duì)獲取的圖像顯著圖的圖像前景像素和背景像素進(jìn)行初步估計(jì),估計(jì)方法為閾值法:
fO={(x,y)|s(x,y)>Vthreshold}
bO={(x,y)|s(x,y)<Vthreshold}
其中,fO代表屬于前景的像素,bO代表屬于背景的像素,s(x,y)為步驟一中求得的各像素的顯著值,Vthreshold為自定義的閾值。
所述步驟③中,用無(wú)向權(quán)重圖G<V,E>表示要分割的圖像,其中V表示頂點(diǎn)集合,E表示邊集合,頂點(diǎn)包括圖像中各像素點(diǎn)和分別代表前景的S和背景的T的兩個(gè)頂點(diǎn),邊包括相鄰像素之間的連接和各像素與S、T之間的連接,且各條邊會(huì)有一個(gè)附加權(quán)重值,利用步驟3訓(xùn)練得到的圖像前景與背景高斯混合模型,對(duì)圖像中各像素求解該像素屬于前景和背景的概率,圖中各條邊的權(quán)重由該概率確定,由此確定圖像的圖結(jié)構(gòu),求解圖的最小割問(wèn)題,定義圖像能量函數(shù):
E(L)=αR(L)+B(L)
其中,R(L)是區(qū)域項(xiàng),B(L)是邊界項(xiàng)。
本發(fā)明具有以下優(yōu)點(diǎn):本發(fā)明提供聯(lián)合視覺(jué)顯著性和圖割優(yōu)化的圖像自動(dòng)分割方法,可實(shí)現(xiàn)圖像的自動(dòng)分割,即不需要人為參與完成圖像分割,具有很好的推廣應(yīng)用價(jià)值。
附圖說(shuō)明
圖1是本發(fā)明步驟示意圖。
圖2是本發(fā)明進(jìn)行圖像自動(dòng)分割的原圖。
圖3是本發(fā)明步驟①得到的圖像顯著圖。
圖4是本發(fā)明步驟③割優(yōu)化獲取的圖像前景物體蒙版圖。
圖5是發(fā)明自動(dòng)分割的得到前景物體圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
如圖所示,聯(lián)合視覺(jué)顯著性和圖割優(yōu)化的圖像自動(dòng)分割方法包含三個(gè)步驟。
步驟①:利用HC算法獲取圖像顯著圖
在該步驟中,HC算法利用圖像像素顏色統(tǒng)計(jì)信息標(biāo)識(shí)各像素之間的區(qū)別,通過(guò)量化計(jì)算表示這種差別即為各像素的顯著值,計(jì)算公式為:
其中,cl是像素顏色值,n是圖像中顏色值不同的像素?cái)?shù)目,fj是具有顏色值cl的像素?cái)?shù)目。通過(guò)該公式即求得了一幅圖像中不同像素之間的顯著值,該圖像中的前景物體往往具有更大的顯著值,因此在圖像顯著圖中前景物體會(huì)高亮顯示,得到原圖1的圖像顯著圖2。
經(jīng)過(guò)HC算法獲取的圖像顯著圖對(duì)圖像前景部分會(huì)有一個(gè)初步的估計(jì)。該估計(jì)也是下面步驟的輸入。
步驟③:對(duì)圖像前景像素和背景像素進(jìn)行高斯混合模型訓(xùn)練
在該步驟中,利用步驟1獲取的圖像顯著圖對(duì)圖像的前景像素和背景像素進(jìn)行初步估計(jì),估計(jì)方法為閾值法:
fO={(x,y)|s(x,y)>Vthreshold}
bO={(x,y)|s(x,y)<Vthreshold}
其中,fO代表屬于前景的像素,bO代表屬于背景的像素,s(x,y)為步驟一中求得的各像素的顯著值,Vthreshold為自定義的閾值。有了圖像前景像素和背景像素的初步估計(jì)后,對(duì)圖像前景和背景進(jìn)行高斯混合模型訓(xùn)練。
步驟3:依據(jù)圖像高斯混合模型訓(xùn)練結(jié)果對(duì)圖像構(gòu)造圖結(jié)構(gòu)并利用圖割優(yōu)化方法對(duì)圖像進(jìn)行分割
在該步驟中,用無(wú)向權(quán)重圖G<V,E>表示要分割的圖像,其中V表示頂點(diǎn)集合,E表示邊集合。頂點(diǎn)包括圖像中各像素點(diǎn)和分別代表前景的S和背景的T的兩個(gè)頂點(diǎn),邊包括相鄰像素之間的連接和各像素與S、T之間的連接,且各條邊會(huì)有一個(gè)附加權(quán)重值。利用步驟3訓(xùn)練得到的圖像前景與背景高斯混合模型,對(duì)圖像中各像素求解該像素屬于前景和背景的概率,圖G中各條邊的權(quán)重由該概率確定,由此確定圖像的圖結(jié)構(gòu)。
進(jìn)一步地,求解圖的最小割問(wèn)題具體包括:
定義圖像能量函數(shù):
E(L)=αR(L)+B(L)
其中,R(L)是區(qū)域項(xiàng),B(L)是邊界項(xiàng),α是區(qū)域項(xiàng)和邊界項(xiàng)之間的重要因子,決定它們對(duì)能量的影響大小。通過(guò)最小化該能量函數(shù)完成對(duì)圖像的分割問(wèn)題。
具體實(shí)驗(yàn)結(jié)果如圖所示,圖3為圖割優(yōu)化獲取的圖像前景物體蒙版與前景物體,從圖4和圖5可以看出,在經(jīng)過(guò)圖割優(yōu)化這一步驟后,圖像前景物體被分割出來(lái),從而達(dá)到了本發(fā)明的圖像自動(dòng)分割效果。
本發(fā)明技術(shù)方案中的關(guān)鍵術(shù)語(yǔ)解釋如下:
視覺(jué)顯著性:人類的視覺(jué)注意機(jī)制能夠?qū)⒂邢薜恼J(rèn)知資源聚集于場(chǎng)景中重要的刺激而抑制那些不重要的信息,在計(jì)算機(jī)視覺(jué)領(lǐng)域,有關(guān)顯著性的研究在于提出模擬人類視覺(jué)注意機(jī)制的模型。
圖像分割:把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過(guò)程。
圖割:圖割是指基于圖論的分割方法移除特定的邊,將圖劃分為若干子圖從而實(shí)現(xiàn)分割。將圖像映射為帶權(quán)無(wú)向圖G=<V,E>,圖中每個(gè)節(jié)點(diǎn)N∈V對(duì)應(yīng)于圖像中的每個(gè)像素,每條邊∈E連接著一對(duì)相鄰的像素,邊的權(quán)值表示了相鄰像素之間在灰度、顏色或紋理方面的非負(fù)相似度。而對(duì)圖像的一個(gè)分割s就是對(duì)圖的一個(gè)剪切,被分割的每個(gè)區(qū)域C∈S對(duì)應(yīng)著圖中的一個(gè)子圖。而分割的最優(yōu)原則就是使劃分后的子圖在內(nèi)部保持相似度最大,而子圖之間的相似度保持最小。
以上實(shí)施方式僅用于說(shuō)明本發(fā)明,而并非對(duì)本發(fā)明的限制,有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本發(fā)明的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇,本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。