本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種圖像分割方法及其系統(tǒng)。
背景技術(shù):
圖像的研究和應(yīng)用中,人們往往對(duì)圖像中的某些部分感興趣,這些感興趣的部分一般對(duì)應(yīng)圖像中特定的、具有特殊性質(zhì)的區(qū)域(可以對(duì)應(yīng)單一區(qū)域,也可以對(duì)應(yīng)多個(gè)區(qū)域),稱之為目標(biāo)或前景;而其他部分稱為圖像的背景。為了辨識(shí)和分析目標(biāo),需要把目標(biāo)從一幅圖像中孤立出來(lái),這就是圖像分割要研究的問(wèn)題。圖像分割就是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過(guò)程。圖像分割是圖像識(shí)別和計(jì)算機(jī)視覺(jué)至關(guān)重要的預(yù)處理。沒(méi)有正確的分割就不可能有正確的識(shí)別。但是,進(jìn)行分割僅有的依據(jù)是圖像中像素的亮度及顏色,由計(jì)算機(jī)自動(dòng)處理分割時(shí),將會(huì)遇到各種困難。例如,光照不均勻、噪聲的影響、圖像中存在不清晰的部分,以及陰影等,常常發(fā)生分割錯(cuò)誤。因此圖像分割是需要進(jìn)一步研究的技術(shù)。人們希望引入一些人為的知識(shí)導(dǎo)向和人工智能的方法,用于糾正某些分割中的錯(cuò)誤,是很有前途的方法,但是這又增加了解決問(wèn)題的復(fù)雜性。圖像分割是圖像理解與識(shí)別的前提。作為圖像處理的基礎(chǔ)環(huán)節(jié),一直是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)和難點(diǎn)問(wèn)題。利用水平集方法實(shí)現(xiàn)的活動(dòng)輪廓模型近年來(lái)受到眾多學(xué)者的關(guān)注。
圖像分割有三種以不同的途徑:
其一是將各像素劃歸到相應(yīng)物體或區(qū)域的像素聚類方法,即區(qū)域法;
其二是通過(guò)直接確定區(qū)域的邊界來(lái)實(shí)現(xiàn)分割的邊界方法;
其三是首先檢測(cè)邊緣像素,再將邊緣像素連接起來(lái)構(gòu)成邊界形成分割。
osher和sethian首次提出的水平集方法:它主要基于曲線演化和水平集理論。水平集的基本思想是把圖像的演化曲線或是曲面嵌入到更高一維的水平集中,把高維曲線或曲面的演化曲線轉(zhuǎn)化高維的偏微分方程,通過(guò)求解偏微分方程得到最終的演化曲線。d.mumford等人提出一種幾何活動(dòng)輪廓模型(mumford-shah,ms),該模型是基于斷裂力學(xué)的變分能量方程,可以在演化過(guò)程中快速的斷裂、合并,但是ms模型的能量項(xiàng)很難找到簡(jiǎn)單的數(shù)值逼近,阻礙了ms模型發(fā)展。
caselles等人提出基于水平集方法的圖像分割模型——測(cè)地輪廓模型(geodesicactivecontour,gac),該模型在傳統(tǒng)模型的基礎(chǔ)上使能量泛函數(shù)可以進(jìn)行拓?fù)渥兓?,但是該模型的初始化曲線必須完全在待割目標(biāo)的內(nèi)部或是外部,否則不能自然地進(jìn)行拓?fù)浣Y(jié)構(gòu)變化。
2001年,chan等人提出了一種c-v模型,這種模型在能量函數(shù)中加入包含曲線長(zhǎng)度和局部區(qū)域面積的懲罰項(xiàng),該模型對(duì)含有噪聲的圖像效果比較好,但是對(duì)于灰度不均勻圖像,基于圖像的全局信息的c-v模型,往往不能有很好的分割效果。
為了克服傳統(tǒng)的水平集演化需要重復(fù)初始化,li等人提出了一種無(wú)需重新初始化的距離正規(guī)化水平集演化(drlse)模型,其主要思想是在能量函數(shù)方程中加入內(nèi)部能量懲罰項(xiàng),內(nèi)部能量懲罰項(xiàng)使得水平集曲線在演化過(guò)程中離符號(hào)距離函數(shù)不會(huì)偏差太遠(yuǎn),始終保持為符號(hào)距離函數(shù)或是近似符號(hào)距離函數(shù),使得演化曲線不需要重新初始化。雖然這種方法避免了重新初始化,但是在分割背景信息復(fù)雜或灰度不均勻的圖像時(shí),會(huì)導(dǎo)致分割曲線偏離目標(biāo)區(qū)域,從而出現(xiàn)錯(cuò)誤的分割。
顯著性檢測(cè)是當(dāng)前計(jì)算機(jī)領(lǐng)域一個(gè)研究熱點(diǎn),用于甄選視覺(jué)場(chǎng)景中的相關(guān)內(nèi)容(物或區(qū)域)作為人眼視覺(jué)注意力區(qū)域。顯著性區(qū)域檢測(cè)可作為圖像的預(yù)處理階段,已經(jīng)在圖像檢索,分類,圖像的編輯以及圖像分割等方面發(fā)揮出越來(lái)越重要的作用。顯著性模型可以分為自上而下的和自下而上這兩種,自上而下的方法是用圖像的高級(jí)信息檢索來(lái)獲得圖像的顯著值,自下而上的方法使用圖像的低級(jí)信息比如顏色,距離等獲得圖像的顯著值?,F(xiàn)有的顯著區(qū)域檢測(cè)算法通過(guò)計(jì)算每個(gè)圖像子區(qū)域同其一定范圍內(nèi)的相鄰區(qū)域的對(duì)比度來(lái)度量該圖像子區(qū)域的顯著性,顯著區(qū)域檢測(cè)方法對(duì)以下領(lǐng)域發(fā)揮著重大的助益作用:圖像分割、物體檢測(cè)、內(nèi)容保持的圖像縮放等。
人類可以快速準(zhǔn)確地識(shí)別視覺(jué)場(chǎng)中的顯著區(qū)域。在機(jī)器上模擬人類的這種能力對(duì)于使機(jī)器能夠像人類一樣處理視覺(jué)內(nèi)容是至關(guān)重要的。在過(guò)去的幾十年內(nèi),已有大量的顯著性檢測(cè)方法進(jìn)入了公開(kāi)發(fā)表。這些方法中的大部分都趨向于預(yù)測(cè)人眼視覺(jué)注視點(diǎn)前人也提出了許多方法,例如,itti等人提出的基于自下而上的視覺(jué)注意力模型,對(duì)圖像的顏色,方向等進(jìn)行提取,得到圖像的單一顯著圖。guo等人提出的通過(guò)計(jì)算圖像的四元傅里葉變換的相位譜,得到圖像的顯著圖,每個(gè)四元組包含顏色,亮度和向量組。
borji等人在2014年提出的顯著性區(qū)域檢測(cè)算法分類方式,這種模型是通過(guò)繪出物體的輪廓,檢測(cè)出顯著物體??梢?jiàn)自下而上的模型是這幾年的趨勢(shì),自上而下的模型是利用視覺(jué)的注意模型沒(méi)有先驗(yàn)知識(shí)可以利用,可用的信息很少,所以這種模型太過(guò)于復(fù)雜。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問(wèn)題是:提供一種圖像分割方法及其系統(tǒng),可解決現(xiàn)有技術(shù)中對(duì)背景信息復(fù)雜及弱邊界的圖像分割不準(zhǔn)確的問(wèn)題。
為了解決上述技術(shù)問(wèn)題,本發(fā)明采用的技術(shù)方案為:一種圖像分割方法,包括:
檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;
根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù);
根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
本發(fā)明還涉及一種圖像分割系統(tǒng),包括:
檢測(cè)模塊,用于檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;
生成模塊,用于根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù);
演化模塊,用于根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
分割模塊,用于根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
本發(fā)明的有益效果在于:通過(guò)進(jìn)行顯著性檢測(cè),很容易獲得圖像的邊緣信息,也就是目標(biāo)區(qū)域的梯度信息,可很好地把背景區(qū)域的信息排除掉,使初始曲線開(kāi)始于目標(biāo)區(qū)域的邊緣附近,大大節(jié)約了演化的時(shí)間,提高分割的準(zhǔn)確度,使最終曲線很好的位于目標(biāo)區(qū)域;通過(guò)局部信息和梯度信息結(jié)合的水平集方法,很好地保證了分割精度,能夠有效地分割背景信息復(fù)雜及弱邊界的圖像;本發(fā)明可提高圖像分割的效率和準(zhǔn)確性,且無(wú)論在時(shí)間上,還是在分割模型上大幅優(yōu)于drlse模型,對(duì)于多種類型的圖片,具有較高的計(jì)算效率和準(zhǔn)確性。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例一的一種圖像分割方法的流程圖;
圖2為本發(fā)明一種圖像分割系統(tǒng)的結(jié)構(gòu)示意圖;
圖3為本發(fā)明實(shí)施例三的系統(tǒng)結(jié)構(gòu)示意圖。
標(biāo)號(hào)說(shuō)明:
1、檢測(cè)模塊;2、生成模塊;3、演化模塊;4、分割模塊;
101、第一劃分單元;102、第二劃分單元;103、第一構(gòu)建單元;104、第二構(gòu)建單元;105、第一計(jì)算單元;106、第三構(gòu)建單元;107、歸一化單元;
108、第四構(gòu)建單元;109、優(yōu)化單元;110、演化更新單元;111、第一得到單元;
201、生成單元;202、第二得到單元;203、第三得到單元;204、第四得到單元。
具體實(shí)施方式
為詳細(xì)說(shuō)明本發(fā)明的技術(shù)內(nèi)容、所實(shí)現(xiàn)目的及效果,以下結(jié)合實(shí)施方式并配合附圖詳予說(shuō)明。
本發(fā)明最關(guān)鍵的構(gòu)思在于:通過(guò)元胞自動(dòng)機(jī)進(jìn)行顯著性區(qū)域的檢測(cè);通過(guò)局部信息和梯度信息結(jié)合的水平集方法,有效地分割背景信息復(fù)雜及弱邊界的圖像。
名詞解釋:
元胞自動(dòng)機(jī):元胞自動(dòng)機(jī)是由網(wǎng)格組成,格子上有著離散的狀態(tài),根據(jù)相應(yīng)的規(guī)則,元胞可以在離散的時(shí)間里更新自己的狀態(tài)。每一個(gè)元胞當(dāng)前的狀態(tài)由前一時(shí)刻的狀態(tài)及與其相鄰的元胞的前一時(shí)刻的狀態(tài)決定。
超像素:由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點(diǎn)組成的小區(qū)域。
請(qǐng)參閱圖1,一種圖像分割方法,包括:
檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;
根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù);
根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
從上述描述可知,本發(fā)明的有益效果在于:可大大節(jié)約了演化的時(shí)間,提高分割的準(zhǔn)確度;能夠有效地分割背景信息復(fù)雜及弱邊界的圖像。
進(jìn)一步地,在drlse方法的基礎(chǔ)上加入了局部信息lif方法,lif方法很好的把細(xì)節(jié)信息作為能量項(xiàng),drlse方法把梯度信息加入到能量方程中作為懲罰項(xiàng),不僅控制了演化的速度,方向,也很好地把演化曲線停留在目標(biāo)區(qū)域邊界上。
進(jìn)一步地,所述“根據(jù)元胞自動(dòng)機(jī),檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線”具體為:
將目標(biāo)圖像劃分為n個(gè)超像素;
根據(jù)k均值算法,將位于目標(biāo)圖像邊緣的超像素劃分為k類;
根據(jù)劃分后的k類超像素,構(gòu)建k個(gè)全局顏色差異圖及其對(duì)應(yīng)的顯著值矩陣;
根據(jù)各個(gè)超像素與k類超像素中的超像素之間的空間距離,構(gòu)建權(quán)重矩陣;
根據(jù)所述顯著值矩陣和權(quán)重矩陣,計(jì)算得到顯著圖;
根據(jù)超像素之間的相鄰關(guān)系和空間距離,定義一超像素對(duì)另一超像素的影響因子,并構(gòu)建影響因子矩陣;
根據(jù)預(yù)設(shè)的度矩陣,對(duì)所述影響因子矩陣進(jìn)行歸一化,得到歸一化后的影響因子矩陣;
根據(jù)影響因子矩陣中的影響因子,計(jì)算各超像素當(dāng)前狀態(tài)的置信度,并構(gòu)建置信度矩陣;
對(duì)所述置信度矩陣進(jìn)行優(yōu)化,得到優(yōu)化后的置信度矩陣;
根據(jù)歸一化后的影響因子矩陣和優(yōu)化后的置信度矩陣,對(duì)所述顯著圖進(jìn)行演化更新,得到目標(biāo)圖像的最終顯著圖;
根據(jù)所述最終顯著圖,得到目標(biāo)區(qū)域的初始化邊界曲線。
由上述描述可知,利用元胞自動(dòng)機(jī)快速準(zhǔn)確地找出目標(biāo)圖像的顯著圖作為新模型的初始演化曲線,避免了drlse模型手動(dòng)選取初始分割曲線這一弊端,大大節(jié)約了時(shí)間,且分割精度高。
進(jìn)一步地,所述“根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù)”具體為:
根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù),所述新的能量泛函數(shù)為
根據(jù)lif模型的能量泛函數(shù),得到lif模型的水平集演化方程;
根據(jù)drlse模型的能量泛函數(shù),得到drlse模型的水平集演化方程;
根據(jù)所述新的能量泛函數(shù)、lif模型的水平集演化方程和drlse模型的水平集演化方程,得到新的水平集演化方程。
由上述描述可知,在drlse方法的基礎(chǔ)上加入了局部信息lif方法,lif方法很好的把細(xì)節(jié)信息作為能量項(xiàng),drlse方法把梯度信息加入到能量方程中作為懲罰項(xiàng),不僅控制了演化的速度,方向,也很好地把演化曲線停留在目標(biāo)區(qū)域邊界上。
進(jìn)一步地,所述“根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線”具體為:
根據(jù)所述新的水平集演化方程和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線。
由上述描述可知,利用lif模型和drlse模型組合的新的能量函數(shù)很好地保證了分割的精度。
請(qǐng)參照?qǐng)D2,本發(fā)明還提出了一種圖像分割系統(tǒng),包括:
檢測(cè)模塊,用于檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;
生成模塊2,用于根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù);
演化模塊,用于根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
分割模塊,用于根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
進(jìn)一步地,所述檢測(cè)模塊具體用于根據(jù)元胞自動(dòng)機(jī),檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線。
進(jìn)一步地,所述檢測(cè)模塊包括:
第一劃分單元,用于將目標(biāo)圖像劃分為n個(gè)超像素;
第二劃分單元,用于根據(jù)k均值算法,將位于目標(biāo)圖像邊緣的超像素劃分為k類;
第一構(gòu)建單元,用于根據(jù)劃分后的k類超像素,構(gòu)建k個(gè)全局顏色差異圖及其對(duì)應(yīng)的顯著值矩陣;
第二構(gòu)建單元,用于根據(jù)各個(gè)超像素與k類超像素中的超像素之間的空間距離,構(gòu)建權(quán)重矩陣;
第一計(jì)算單元,用于根據(jù)所述顯著值矩陣和權(quán)重矩陣,計(jì)算得到顯著圖;
第三構(gòu)建單元,用于根據(jù)超像素之間的相鄰關(guān)系和空間距離,定義一超像素對(duì)另一超像素的影響因子,并構(gòu)建影響因子矩陣;
歸一化單元,用于根據(jù)預(yù)設(shè)的度矩陣,對(duì)所述影響因子矩陣進(jìn)行歸一化,得到歸一化后的影響因子矩陣;
第四構(gòu)建單元,用于根據(jù)影響因子矩陣中的影響因子,計(jì)算各超像素當(dāng)前狀態(tài)的置信度,并構(gòu)建置信度矩陣;
優(yōu)化單元,用于對(duì)所述置信度矩陣進(jìn)行優(yōu)化,得到優(yōu)化后的置信度矩陣;
演化更新單元,用于根據(jù)歸一化后的影響因子矩陣和優(yōu)化后的置信度矩陣,對(duì)所述顯著圖進(jìn)行演化更新,得到目標(biāo)圖像的最終顯著圖;
第一得到單元,用于根據(jù)所述最終顯著圖,得到目標(biāo)區(qū)域的初始化邊界曲線。
進(jìn)一步地,所述生成模塊包括:
生成單元,用于根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù),所述新的能量泛函數(shù)為
第二得到單元,用于根據(jù)lif模型的能量泛函數(shù),得到lif模型的水平集演化方程;
第三得到單元,用于根據(jù)drlse模型的能量泛函數(shù),得到drlse模型的水平集演化方程;
第四得到單元,用于根據(jù)所述新的能量泛函數(shù)、lif模型的水平集演化方程和drlse模型的水平集演化方程,得到新的水平集演化方程。
進(jìn)一步地,所述演化模塊具體用于根據(jù)所述新的水平集演化方程和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線。
實(shí)施例一
請(qǐng)參照?qǐng)D1,本發(fā)明的實(shí)施例一為:一種圖像分割方法,所述方法基于顯著性區(qū)域檢測(cè)和水平集,包括如下步驟:
s1:檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;本實(shí)施例中的目標(biāo)區(qū)域即為目標(biāo)圖像中的顯著性區(qū)域,目標(biāo)區(qū)域也為待分割目標(biāo)。
s2:根據(jù)lif模型的能量函數(shù)和drlse模型的能量函數(shù),生成新的能量函數(shù);
s3:根據(jù)所述新的能量函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
s4:根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
步驟s1中,顯著性區(qū)域即為圖片中最吸引人視覺(jué)注意力的像素,顯著性檢測(cè)的標(biāo)準(zhǔn)如下:
a、突出的最為顯著的物體;
b、一致的高亮整個(gè)顯著物體;
c、精確符合物體的邊界;
d、較高的抗噪性;
e、全分辨率。
本實(shí)施例采用元胞自動(dòng)機(jī)的顯著性檢測(cè)算法來(lái)檢測(cè)得到目標(biāo)圖像的顯著性區(qū)域。具體地,步驟s1包括如下步驟:
s101:根據(jù)簡(jiǎn)單線性迭代聚類算法,將目標(biāo)圖像劃分為n個(gè)超像素;簡(jiǎn)單線性迭代聚類(simplelineariterativeclustering,slic)算法結(jié)構(gòu)簡(jiǎn)單,需要參數(shù)少,可以有效地將圖像分成大小和形狀不同的像素塊。超像素的邊界很大程度上貼近了圖中物體的邊界,每個(gè)超像素都是一個(gè)具有代表性的區(qū)域,它不僅含有底層的顏色、方向信息,而且還包含了中層的結(jié)構(gòu)信息。使用超像素作為基本計(jì)算單位可以保證最終的顯著性計(jì)算結(jié)果對(duì)物體的邊界表示更加準(zhǔn)確。進(jìn)一步地,本實(shí)施例中每個(gè)超像素的大小為9*9像素。每一個(gè)超像素即代表一個(gè)元胞。
s102:根據(jù)k均值算法,將位于目標(biāo)圖像邊緣的超像素劃分為k類;優(yōu)選地,k=3,也即將位于目標(biāo)圖像邊緣的超像素劃分為三類。
s103:根據(jù)劃分后的k類超像素,構(gòu)建k個(gè)全局顏色差異圖(globalcolordistinction,gcd)及其對(duì)應(yīng)的顯著值矩陣m,m=[mk,i]k×n,mk,i表示在第k個(gè)全局顏色差異圖中超像素i的顯著性值,可根據(jù)第一公式計(jì)算得到;
第一公式:
其中,pk為第k類超像素的超像素總數(shù),k=1,2,…,k,‖di,dj‖為超像素i和超像素j在cilelab色彩空間中的歐式距離,i=1,2,…,n,σ1和β為預(yù)設(shè)的常量,本實(shí)施例中,σ1=0.2,β=10。
s104:根據(jù)各個(gè)超像素與k類超像素中的超像素之間的空間距離,構(gòu)建權(quán)重矩陣w。
在步驟s103中得到了k個(gè)顯著值矩陣m;僅僅基于邊緣聚類的得到的gcd圖,結(jié)果不能讓人滿意,但是結(jié)果每幅圖中都有一些高度準(zhǔn)確的超像素,由于優(yōu)化后的超像素有非常大的相似性,為了優(yōu)化基于邊緣得到的gcd圖,構(gòu)建權(quán)重矩陣w=[wk,i]k×n來(lái)權(quán)衡不同gcd圖之間的重要性。由于圖像邊緣的超像素點(diǎn)是彼此相連的,因此將圖像邊緣的超像素當(dāng)作背景種子;wk,i表示超像素i和第k類背景種子,即第k類超像素中的超像素之間的空間距離,可根據(jù)第二公式計(jì)算得到;
第二公式:
其中,ri和rj分別為超像素i和超像素j的坐標(biāo)(一個(gè)超像素含有多個(gè)像素點(diǎn),以每個(gè)超像素的所有像素點(diǎn)的平均值作為該超像素的坐標(biāo)點(diǎn)),‖ri,rj‖為超像素i和超像素j的歐式距離,σ2為預(yù)設(shè)的控制權(quán)重的常量,本實(shí)施例中,σ2=1.3。
s105:根據(jù)所述顯著值矩陣m和權(quán)重矩陣w,計(jì)算得到顯著圖mbg,mbg=[m1bg,...,mnbg]t,mibg根據(jù)第三公式計(jì)算得到。
第三公式:
用空間距離來(lái)約束gcd圖,可以加強(qiáng)局部區(qū)域?qū)Ρ榷龋瑥亩岣唢@著性值的準(zhǔn)確性。通過(guò)有效地利用不同gcd圖的優(yōu)勢(shì),基于背景得到的顯著圖更加令人信服。
s106:根據(jù)超像素之間的相鄰關(guān)系和空間距離,定義一超像素對(duì)另一超像素的影響因子fi,j,并構(gòu)建影響因子矩陣f。
定義一個(gè)元胞的鄰居元胞,包括和它相鄰的元胞、以及與和它相鄰的元胞共有同一邊緣的元胞。同時(shí)我們認(rèn)為圖像邊緣的超像素是彼此相連的,因此它們都被當(dāng)作背景種子。鄰居元胞對(duì)元胞的影響力不是固定不變的。直觀上認(rèn)為如果一個(gè)鄰居元胞對(duì)某個(gè)元胞有更相似的顏色特征,就會(huì)對(duì)該元胞下一時(shí)刻的狀態(tài)產(chǎn)生更大的影響,任何一對(duì)元胞的相似性是由cielab色彩空間中定義的距離來(lái)衡量的。
因此,通過(guò)定義超像素i對(duì)超像素j的影響因子fi,j,來(lái)構(gòu)建影響因子矩陣f=[fi,j]n×n,fi,j可根據(jù)第四公式計(jì)算得到;
第四公式:
fi,j=0,otherwise
其中,nb(i)為超像素i(元胞i)的鄰居超像素(鄰居元胞)的集合,也就是說(shuō),當(dāng)超像素j不是超像素i的鄰居超像素,則超像素i對(duì)超像素j的影響因子為0;‖di,dj‖為超像素i和超像素j在cilelab色彩空間中的歐式距離,σ3為預(yù)設(shè)的控制相似性度量的參數(shù),本實(shí)施例中,σ3=0.1。f的大小與m或w的大小無(wú)關(guān)系。
s107:根據(jù)預(yù)設(shè)的度矩陣d,對(duì)所述影響因子矩陣f進(jìn)行歸一化,得到歸一化后的影響因子矩陣f*。定義度矩陣d=diag{d1,d2,…dn},其中,di=∑jfij;根據(jù)第五公式對(duì)所述影響因子矩陣f進(jìn)行歸一化;
第五公式:f*=d-1f
s108:根據(jù)影響因子矩陣中的影響因子,計(jì)算各超像素當(dāng)前狀態(tài)的置信度,并構(gòu)建置信度矩陣c。
由于每個(gè)元胞下一刻的狀態(tài)由當(dāng)前的狀態(tài)和前一時(shí)刻的狀態(tài)共同決定,因此需要平衡這兩個(gè)決定性因素。在顏色空間中,一個(gè)超像素和它的鄰居超像素有很大的差異,它下一時(shí)刻的狀態(tài)主要由當(dāng)前時(shí)刻的狀態(tài)決定,那么它很可能被局部的環(huán)境同化,因此建立一個(gè)置信度矩陣c=diag{c1,c2,…cn}去更好地促進(jìn)所有元胞的更新演化,每個(gè)元胞對(duì)它當(dāng)前時(shí)刻狀態(tài)的置信度ci可根據(jù)第六公式計(jì)算得到;
第六公式:
s109:對(duì)所述置信度矩陣c進(jìn)行優(yōu)化,得到優(yōu)化后的置信度矩陣c*。為了保證ci在預(yù)設(shè)的區(qū)間[b,a+b]內(nèi),根據(jù)第七公式對(duì)ci進(jìn)行優(yōu)化,得到ci*,從而得到優(yōu)化后的置信度矩陣c*=diag{c1*,c2*,…cn*};
第七公式:
其中,j=1,2,…,n,a和b為預(yù)設(shè)的常量,本實(shí)施例中,a=0.6,b=0.2。
采用優(yōu)化后的置信度矩陣c*,元胞將自動(dòng)更新到下一個(gè)更加準(zhǔn)確和穩(wěn)定的狀態(tài)。
s110:根據(jù)歸一化后的影響因子矩陣f*和優(yōu)化后的置信度矩陣c*,對(duì)所述顯著圖mbg進(jìn)行演化更新,得到目標(biāo)圖像的最終顯著圖;
歸一化后的影響因子矩陣f*是衡量超像素受鄰居超像素影響程度,優(yōu)化后的置信度矩陣c*是前一時(shí)刻的元胞對(duì)后一時(shí)刻的元胞的影響,將f*和c*作為衡量鄰居元胞和前一時(shí)刻的元胞狀態(tài)各自對(duì)當(dāng)前時(shí)刻的元胞影響度。
具體地,根據(jù)第八公式來(lái)進(jìn)行更新;
第八公式:mt+1=c*mt+(i-c*)f*mt
其中,mt表示當(dāng)前時(shí)刻的更新?tīng)顟B(tài),mt+1表示下一時(shí)刻的更新?tīng)顟B(tài),當(dāng)t=0時(shí),是初始狀態(tài),即m0=mbg,由圖像本身的特性來(lái)決定的,經(jīng)過(guò)預(yù)設(shè)的nl=t+1個(gè)時(shí)間步長(zhǎng)(nl由超像素的個(gè)數(shù)n決定),得到最終顯著圖,也即顯著性區(qū)域。
s111:根據(jù)所述最終顯著圖,得到目標(biāo)區(qū)域的初始化邊界曲線。
基于大多數(shù)圖像的本質(zhì)特征,屬于前景的超像素通常有相似的顏色特征,利用鄰居超像素的固有聯(lián)系,單層元胞自動(dòng)機(jī)可以加強(qiáng)相似區(qū)域的顯著值的一致性,并形成一個(gè)穩(wěn)定的局部環(huán)境。其次,顯著性目標(biāo)和其周圍環(huán)境在顏色空間中有很大的差異性,通過(guò)相似鄰居超像素之間的影響,在目標(biāo)和背景之間會(huì)自然的出現(xiàn)一個(gè)明顯的分界線。而元胞自動(dòng)機(jī)可以很好的加強(qiáng)前景并抑制背景,因此,基于元胞自動(dòng)機(jī),直觀的更新機(jī)制被設(shè)計(jì)為通過(guò)與鄰居的交互來(lái)利用突出物體的內(nèi)在連接。這種基于上下文的傳播可以將任何給定的最先進(jìn)的結(jié)果改進(jìn)到具有更高精度的相似水平,且具有更高的精確度和回憶度。
由于drlse模型是手動(dòng)選取初始分割曲線,所以初始分割曲線必須在待分割目標(biāo)的外側(cè)或是內(nèi)側(cè),導(dǎo)致分割的時(shí)間加大。而本實(shí)施例用基于元胞自動(dòng)機(jī)原理的顯著性模型找到待分割目標(biāo)大致的輪廓,然后用顯著性區(qū)域輪廓作為初始分割曲線,不僅大大節(jié)約了時(shí)間,還提高了算法的效率。
對(duì)于步驟s2,局部圖像擬合(lif)模型是利用圖像的局部灰度信息構(gòu)造能量函數(shù)。它采用高斯核函數(shù)提取圖像的局部信息,用兩個(gè)局部自適應(yīng)函數(shù)近似輪廓內(nèi)部和外部的平均灰度值,最小化能量函數(shù)得到分割結(jié)果。假設(shè)目標(biāo)圖像為i:ω→οl(ο表示圖像的領(lǐng)域,l表示圖像i(x)的維度)。首先在點(diǎn)x處構(gòu)造局部擬合項(xiàng)ilif,然后通過(guò)在定義域ω上對(duì)x處的局部擬合能量項(xiàng)ilif取積分,得到lif模型的能量泛函數(shù),如第九公式所示;局部圖像擬合能量公式如第十公式所示,第十公式中的m1、m2根據(jù)第十一公式計(jì)算得到;
第九公式:
第十公式:ilif=m1hω(φ)+m2(1-hω(φ))
第十一公式:
其中,*表示卷積運(yùn)算;hω(φ)是heaviside函數(shù);m1(x),m2(x)是零水平集曲線內(nèi)部和外部局部矩形區(qū)域的均值,這兩個(gè)局部矩形區(qū)域分別是
最小化所述lif模型的能量泛函數(shù),得到lif模型的水平集演化方程,如第十二公式所示。
第十二公式:
lif模型對(duì)特定類的圖像分割效果比較明顯,比如對(duì)弱邊界的圖像分割的效果比較好,但其存在分割結(jié)果依賴于初始輪廓的大小、形狀和位置的缺點(diǎn),容易陷入局部極小的問(wèn)題,所以初始輪廓設(shè)計(jì)的不合理會(huì)導(dǎo)致錯(cuò)誤的結(jié)果。
活動(dòng)輪廓模型(activecontourmodel)基本思想是使用連續(xù)曲線來(lái)表達(dá)目標(biāo)邊緣,并定義一個(gè)能量泛函使得其自變量包括邊緣曲線,因此分割過(guò)程就轉(zhuǎn)變?yōu)榍蠼饽芰糠汉淖钚≈档倪^(guò)程,一般可通過(guò)求解函數(shù)對(duì)應(yīng)的歐拉(euler.lagrange)方程來(lái)實(shí)現(xiàn),能量達(dá)到最小時(shí)的曲線位置就是目標(biāo)的輪廓所在。水平集就是一種典型的活動(dòng)輪廓模型。但是傳統(tǒng)的水平集模型需要反復(fù)初始化操作,增加了演化的時(shí)間。
因此,本實(shí)施例還引入了距離正則化的水平集演化(thedistanceregularizedlevelsetevolutionmode,drlse)模型。
水平集模型的原理為初始曲線通過(guò)迭代不斷的向邊緣靠近,最終將圖像分割出來(lái)。在參數(shù)主動(dòng)輪廓模型中,曲線的演化是通過(guò)最小化能量函數(shù)來(lái)實(shí)現(xiàn)最終分割的,而水平集方法則是將曲線嵌入到一個(gè)3維的曲面中的0水平集中,通過(guò)演化3維空間中的曲面,再?gòu)难莼蟮那嬷蝎@取0水平集,這個(gè)0水平集就是演化后的曲線。通過(guò)在水平集函數(shù)輪廓模型中加入一項(xiàng)懲罰項(xiàng),避免水平集函數(shù)在演化過(guò)程中原理帶符號(hào)的距離函數(shù),同時(shí)還有一項(xiàng)數(shù)據(jù)項(xiàng),使得演化曲線向著目標(biāo)輪廓曲線的方向進(jìn)行演化。該方法很有效地避免了水平集函數(shù)在演化過(guò)程中需要重新初始化的問(wèn)題。而且初始化的水平集函數(shù)并不局限為帶符號(hào)的距離函數(shù),所使用的迭代方法也使得計(jì)算效率得到提高。但是,一個(gè)很嚴(yán)重的問(wèn)題就是圖像會(huì)存在灰度不均勻的現(xiàn)象。為了克服對(duì)曲線的初始化,采用不需要重復(fù)初始化的變分水平集模型,該模型克服了擴(kuò)散率趨于無(wú)窮大的問(wèn)題,加入了懲罰項(xiàng),并糾正了水平集函數(shù)與符號(hào)距離之間的偏差,提高了曲線的演化速度。其距離正則化的能量泛函數(shù)如第十三公式所示;
第十三公式:edrlse=μep+eext
其中,ep是距離規(guī)正化項(xiàng),加入這一項(xiàng)是保證演化曲線始終保持或者接近于符號(hào)距離函數(shù),其表達(dá)式如第十四公式所示;μ為預(yù)設(shè)的常量,用于權(quán)衡距離正規(guī)化的重要性;eext是外部能量函數(shù),是保證演化曲線能很好的停在目標(biāo)區(qū)域。
第十四公式:
其中,第十四公式中的“=”為
第十五公式:edrlse=μep(φ)+λl(φ)+αa(φ)
其中,λ>0,α為預(yù)設(shè)的實(shí)數(shù),這兩個(gè)參數(shù)決定l(φ)和a(φ)所占的比重,l(φ)和a(φ)的表達(dá)式如第十六公式所示;
第十六公式:
其中,第十六公式中的“=”也為
第十七公式:
δ(x)=0,|x|>ω
第十八公式:
hω(x)=1,x>ω
hω(x)=0,x<-ω
其中,ω為預(yù)設(shè)的常數(shù);g是邊緣指示函數(shù),定義
因此,結(jié)合第十六公式、第十七公式、第十八公式,以最快下降速度過(guò)程為梯度流得到最終的演化曲線,即drlse模型的水平集演化方程,如第十九公式和第二十公式所示;
第十九公式:
第二十公式:
其中,δ表示拉普拉斯算子。這種模型最大的優(yōu)點(diǎn)在于克服了傳統(tǒng)的水平集需要重新初始化的問(wèn)題,使曲線在演化過(guò)程中接近于符號(hào)距離函數(shù),由于演化原理是基于梯度信息的,對(duì)圖像邊緣具有很好的局部化效果,利用圖像的局部梯度信息而沒(méi)有考慮圖像的全局信息,利用這種模型對(duì)圖像邊緣模糊,局部信息少的圖像分割效果不是太好,收斂速度比較慢。所以結(jié)合圖像的局部信息,不單單只考慮圖像的梯度信息,得到的分割模型具有很好的分割效果。
基于上述分析,結(jié)合局部信息和梯度信息,引入lif模型和drlse模型因子,生成新的能量泛函數(shù),如第二十一公式所示;
第二十一公式:
其中,elif為lif模型的能量泛函數(shù),edrlse為drlse模型的能量泛函數(shù),η為預(yù)設(shè)的對(duì)應(yīng)lif模型的權(quán)重,ρ為預(yù)設(shè)的對(duì)應(yīng)drlse模型的權(quán)重。
根據(jù)第九公式、第十二公式、第十五公式、第十九公式和第二十一公式,可得到最終的演化曲線方程,如第二十二公式所示;
第二十二公式:
根據(jù)上述公式,將新的水平集演化方程(第二十二公式)離散為有限差分方程,如第二十三公式所示;
第二十三公式:
其中,
對(duì)于步驟s3和步驟s4,用步驟s1得到的初始化邊界曲線,即顯著性檢測(cè)輪廓曲線作為初始輪廓曲線,用步驟s2得到新的演化方程指導(dǎo)曲線的演化。最后根據(jù)演化后的曲線進(jìn)行圖像分割
本實(shí)施例用基于元胞自動(dòng)機(jī)原理的顯著性模型找到待分割目標(biāo)大致的輪廓,然后用顯著性區(qū)域輪廓作為初始分割曲線,不僅大大節(jié)約了時(shí)間,還提高了算法的效率。在drlse方法的基礎(chǔ)上加入了局部信息lif方法,lif方法很好的把細(xì)節(jié)信息作為能量項(xiàng),drlse方法把梯度信息加入到能量方程中作為懲罰項(xiàng),不僅控制了演化的速度,方向,也很好地把演化曲線停留在目標(biāo)區(qū)域邊界上。通過(guò)局部信息和梯度信息結(jié)合的水平集方法,很好地保證了分割精度,能夠有效地分割背景信息復(fù)雜及弱邊界的圖像。
實(shí)施例二
本實(shí)施例是上述實(shí)施例的一具體應(yīng)用場(chǎng)景。
首先,設(shè)置新的水平集演化方程的參數(shù),η=0.1,ρ=0.9,時(shí)間步長(zhǎng)δt=1,μ=0.2,λ=5,α=1.5,迭代次數(shù)為11。根據(jù)元胞自動(dòng)機(jī)得到目標(biāo)圖像的顯著圖mt+1,即顯著性區(qū)域,求出顯著圖mt+1的均值mmean,以所述均值作為閾值,根據(jù)閾值將目標(biāo)圖像分成兩部分,將劃分的曲線作為初始輪廓曲線,即初始化邊界曲線。根據(jù)第十一公式和第十六公式,分別計(jì)算出m1和m2、l(φ)和a(φ),然后根據(jù)新的水平集演化方程及其有限差分方程,每隔δt=1s演化一次水平集函數(shù)。若演化的次數(shù)不滿足迭代次數(shù),則繼續(xù)演化曲線,直至滿足迭代次數(shù),得到最終的演化曲線,也就是最終的分割曲線,根據(jù)分割曲線進(jìn)行圖像分割。
實(shí)施例三
請(qǐng)參照?qǐng)D3,本實(shí)施例是對(duì)應(yīng)上述實(shí)施例的一種圖像分割系統(tǒng),包括:
檢測(cè)模塊1,用于檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線;
生成模塊2,用于根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù);
演化模塊3,用于根據(jù)所述新的能量泛函數(shù)和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線;
分割模塊4,用于根據(jù)所述演化后的邊界曲線進(jìn)行圖像分割。
進(jìn)一步地,所述檢測(cè)模塊1具體用于根據(jù)元胞自動(dòng)機(jī),檢測(cè)目標(biāo)圖像的顯著性區(qū)域,得到目標(biāo)區(qū)域的初始化邊界曲線。
進(jìn)一步地,所述檢測(cè)模塊1包括:
第一劃分單元101,用于將目標(biāo)圖像劃分為n個(gè)超像素;
第二劃分單元102,用于根據(jù)k均值算法,將位于目標(biāo)圖像邊緣的超像素劃分為k類;
第一構(gòu)建單元103,用于根據(jù)劃分后的k類超像素,構(gòu)建k個(gè)全局顏色差異圖及其對(duì)應(yīng)的顯著值矩陣;
第二構(gòu)建單元104,用于根據(jù)各個(gè)超像素與k類超像素中的超像素之間的空間距離,構(gòu)建權(quán)重矩陣;
第一計(jì)算單元105,用于根據(jù)所述顯著值矩陣和權(quán)重矩陣,計(jì)算得到顯著圖;
第三構(gòu)建單元106,用于根據(jù)超像素之間的相鄰關(guān)系和空間距離,定義一超像素對(duì)另一超像素的影響因子,并構(gòu)建影響因子矩陣;
歸一化單元107,用于根據(jù)預(yù)設(shè)的度矩陣,對(duì)所述影響因子矩陣進(jìn)行歸一化,得到歸一化后的影響因子矩陣;
第四構(gòu)建單元108,用于根據(jù)影響因子矩陣中的影響因子,計(jì)算各超像素當(dāng)前狀態(tài)的置信度,并構(gòu)建置信度矩陣;
優(yōu)化單元109,用于對(duì)所述置信度矩陣進(jìn)行優(yōu)化,得到優(yōu)化后的置信度矩陣;
演化更新單元110,用于根據(jù)歸一化后的影響因子矩陣和優(yōu)化后的置信度矩陣,對(duì)所述顯著圖進(jìn)行演化更新,得到目標(biāo)圖像的最終顯著圖;
第一得到單元111,用于根據(jù)所述最終顯著圖,得到目標(biāo)區(qū)域的初始化邊界曲線。
進(jìn)一步地,所述生成模塊2包括:
生成單元201,用于根據(jù)lif模型的能量泛函數(shù)和drlse模型的能量泛函數(shù),生成新的能量泛函數(shù),所述新的能量泛函數(shù)為
第二得到單元202,用于根據(jù)lif模型的能量泛函數(shù),得到lif模型的水平集演化方程;
第三得到單元203,用于根據(jù)drlse模型的能量泛函數(shù),得到drlse模型的水平集演化方程;
第四得到單元204,用于根據(jù)所述新的能量泛函數(shù)、lif模型的水平集演化方程和drlse模型的水平集演化方程,得到新的水平集演化方程。
進(jìn)一步地,所述演化模塊3具體用于根據(jù)所述新的水平集演化方程和預(yù)設(shè)的迭代次數(shù),對(duì)所述初始化邊界曲線進(jìn)行演化,得到演化后的邊界曲線。
綜上所述,本發(fā)明提供的一種圖像分割方法及其系統(tǒng),通過(guò)進(jìn)行顯著性檢測(cè),很容易獲得圖像的邊緣信息,也就是目標(biāo)區(qū)域的梯度信息,可很好地把背景區(qū)域的信息排除掉,使初始曲線開(kāi)始于目標(biāo)區(qū)域的邊緣附近,大大節(jié)約了演化的時(shí)間,提高分割的準(zhǔn)確度,使最終曲線很好的位于目標(biāo)區(qū)域;通過(guò)基于元胞自動(dòng)機(jī)原理的顯著性模型找到待分割目標(biāo)大致的輪廓,然后用顯著性區(qū)域輪廓作為初始分割曲線,不僅大大節(jié)約了時(shí)間,還提高了算法的效率;在drlse方法的基礎(chǔ)上加入了局部信息lif方法,lif方法很好的把細(xì)節(jié)信息作為能量項(xiàng),drlse方法把梯度信息加入到能量方程中作為懲罰項(xiàng),不僅控制了演化的速度,方向,也很好地把演化曲線停留在目標(biāo)區(qū)域邊界上;通過(guò)局部信息和梯度信息結(jié)合的水平集方法,很好地保證了分割精度,能夠有效地分割背景信息復(fù)雜及弱邊界的圖像。
以上所述僅為本發(fā)明的實(shí)施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等同變換,或直接或間接運(yùn)用在相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。