本發(fā)明屬于彩色圖像處理技術(shù)領(lǐng)域，具體涉及全局顏色對(duì)比度的顯著性檢測(cè)和分割方法。

背景技術(shù)：

任一時(shí)刻，環(huán)境中均存在大量的視覺(jué)刺激。經(jīng)過(guò)漫長(zhǎng)的進(jìn)化，人類視覺(jué)系統(tǒng)(humanvisualsystem,hvs)能夠從復(fù)雜環(huán)境中，快速提取感興趣的目標(biāo)與區(qū)域，以降低視覺(jué)信號(hào)處理的復(fù)雜度。這些引起視覺(jué)注意力的局部區(qū)域，通常被稱為顯著性區(qū)域(saliencyregion)。將場(chǎng)景中各個(gè)區(qū)域的顯著性，進(jìn)行歸一化后得到的圖像則稱為顯著圖(saliencymap)^[1]。

在圖像處理與計(jì)算機(jī)視覺(jué)中，魯棒準(zhǔn)確的顯著性區(qū)域自動(dòng)檢測(cè)算法具有重要的實(shí)用價(jià)值。這是因?yàn)閺挠?jì)算復(fù)雜度角度考慮，一些圖像的處理任務(wù)，常常無(wú)法做到對(duì)視覺(jué)場(chǎng)景中的全部視覺(jué)信息同時(shí)進(jìn)行處理，這時(shí)，希望顯著性強(qiáng)的區(qū)域獲得更多的計(jì)算資源。其主要的應(yīng)用場(chǎng)景包括目標(biāo)檢測(cè)與追蹤、自適應(yīng)圖像壓縮、圖像編輯、圖像質(zhì)量評(píng)估等。

近年來(lái)，文獻(xiàn)報(bào)道了大量顯著性檢測(cè)算法^[1]-[6]。大部分此類算法試圖利用亮度、顏色、邊緣等底層特征，來(lái)確定某一區(qū)域與其周圍區(qū)域的對(duì)比度，以計(jì)算獲取顯著性區(qū)域。其中，基于局部對(duì)比度的方法，是利用圖像區(qū)域相對(duì)于鄰域的稀缺性來(lái)檢測(cè)顯著性。如經(jīng)典的itti&koch^[1]方法，就是利用多尺度圖像特征的中心與環(huán)繞差異來(lái)計(jì)算顯著圖，而文獻(xiàn)[2]則提出了基于傅立葉變換相位譜的方法。另一類是基于全局對(duì)比度的方法，它們根據(jù)圖像區(qū)域相對(duì)于全局的對(duì)比度差異來(lái)計(jì)算顯著性，包括rachanta等人在文獻(xiàn)[3]提出的基于頻率調(diào)整的顯著性檢測(cè)與分割算法，文獻(xiàn)[4]報(bào)道了最大化顯著性密度函數(shù)的方法。這些現(xiàn)有報(bào)道算法的主要缺點(diǎn)是：基于局部對(duì)比度類的算法，往往是通過(guò)檢測(cè)圖像邊緣來(lái)計(jì)算顯著性，因此只有目標(biāo)的邊緣才可以產(chǎn)生較高的顯著性；而其他一些算法則只能檢測(cè)全局最大顯著性，因而不適用于多目標(biāo)檢測(cè)問(wèn)題；忽略圖像部分空間關(guān)系的算法，則未有效利用空間信息等等。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種能夠應(yīng)對(duì)不規(guī)則背景干擾，檢測(cè)與分割正確性高的全局顏色對(duì)比度檢測(cè)和分割顯著圖的方法。

本發(fā)明提供的全局顏色對(duì)比度檢測(cè)和分割顯著圖的方法，包括兩部分：顯著性檢測(cè)和顯著圖分割；其中：

(一)顯著性檢測(cè)，采用全局顏色對(duì)比度方法，具體步驟為：

1.1全局顏色對(duì)比度分析

在彩色圖像中，一個(gè)彩色像素點(diǎn)通常由rgb三個(gè)通道聯(lián)合加以表示。如果將彩色圖像從rgb空間轉(zhuǎn)換到l*a*b空間^[7][8]，那么其中的l分量就描述了像素點(diǎn)的亮度，而a和b分量則描述了像素點(diǎn)的色度。如果定義像素點(diǎn)ii的顏色為ci，那么ci在l*a*b空間就可以表示為ci＝(li,ai,bi)，這樣像素點(diǎn)ii和ij的顏色對(duì)比度則可定義為ci和cj的歐式幾何距離，即：

d(ii,ij)＝d(ci,cj)＝[(li-lj)²+(ai-aj)²+(bi-bj)²]^1/2(1)

式(1)表明：如果像素點(diǎn)ii和ij的顏色對(duì)比度越強(qiáng)，那么d(ii,ij)值就越大。

在復(fù)雜場(chǎng)景中，人類視覺(jué)系統(tǒng)會(huì)根據(jù)高對(duì)比度的刺激，來(lái)準(zhǔn)確判斷目標(biāo)的顯著性，因此顯著性目標(biāo)和周圍環(huán)境相比，往往具有較強(qiáng)的顏色對(duì)比度^[5]?；谶@一觀察，對(duì)任一幅彩色圖像i，我們就可定義某一像素點(diǎn)ii的顯著性s(ii)，是該像素點(diǎn)與其它所有像素點(diǎn)之間的顏色對(duì)比度之和^[5]，數(shù)學(xué)上，這一定義可以寫成下式：

s(ii)＝d(ii,i1)+d(ii,i2)+...+d(ii,in)(2)

其中，n代表圖像i的總像素點(diǎn)，d(ii,ij)(j＝1，2，...，n)是像素點(diǎn)ii和ij之間的顏色對(duì)比度。

此外，從式(1)和(2)可以看出，定義的顯著性s(ii)只與像素點(diǎn)ii的顏色ci相關(guān)。對(duì)于圖像i中任意兩個(gè)相同顏色的像素點(diǎn)ij和ik，有d(ii,ij)＝d(ii,ik)。因此，我們可以將式(2)右邊相同顏色的像素點(diǎn)整合在一起而得到下式：

其中，n代表圖像i的總顏色個(gè)數(shù)；f(cj)是顏色cj在圖像i中出現(xiàn)的頻次。

1.2顏色的聚類與量化

將彩色圖像從rgb顏色空間轉(zhuǎn)換到l*a*b空間，共有256³種不同的顏色，因此計(jì)算式(3)的復(fù)雜度非常高。我們注意到，對(duì)圖像顯著性產(chǎn)生決定性影響的往往是圖像中的幾種主要顏色，考慮到人類視覺(jué)系統(tǒng)存在的掩蓋效應(yīng)，即人眼不能察覺(jué)低于靈敏度閾值的差異[9],因此，我們可采用k-means算法來(lái)對(duì)在l*a*b空間的像素點(diǎn)進(jìn)行聚類，其中心個(gè)數(shù)設(shè)置為m，像素點(diǎn)ii聚類后的顏色為ri，那么式(3)就能簡(jiǎn)化為：

在本發(fā)明中，我們?nèi)的值為8。為了說(shuō)明式(4)的有效性，讓我們來(lái)看圖1給出的例子，圖1(a)是測(cè)試圖像，圖1(b)是據(jù)文獻(xiàn)[14]給出的基于小波金字塔分解方法計(jì)算出的顯著圖，圖1(c)是由我們的式(4)所獲得的顯著圖?？梢钥吹?，文獻(xiàn)[14]的局部對(duì)比度的方法只在圖像邊緣處產(chǎn)生較高的顯著性，而本發(fā)明方法則能夠均勻地突出顯著性目標(biāo)。

1.3顏色的離散度與邊緣加權(quán)

除了全局顏色對(duì)比度，空間信息對(duì)于視覺(jué)注意力選擇機(jī)制也具有重要的影響^[9]。在自然場(chǎng)景中，顯著性目標(biāo)往往具有規(guī)則的形狀，并且在空間分布較為集中，而天空、云彩、河流等目標(biāo)則在空間分布比較離散。因此，下面將討論如何利用顏色在空間上的離散度，來(lái)進(jìn)一步提高顯著圖的顯著性。為此我們定義某個(gè)顏色在空間上的分布離散度，是該顏色像素點(diǎn)在空間位置上的方差，數(shù)學(xué)上它的定義如下：

其中，(x0,y0)為聚類后顏色為ri的像素區(qū)域中心，(xi,yi)是該區(qū)域內(nèi)像素點(diǎn)的坐標(biāo)，k則是該區(qū)域像素點(diǎn)個(gè)數(shù)，并歸一化它們的坐標(biāo)到[0,1]區(qū)間。

定義用顏色離散度來(lái)增強(qiáng)顯著性式(4)的結(jié)果就為：

其中，σ²是顏色離散度的加權(quán)權(quán)重。σ²越接近0時(shí)，顏色離散度對(duì)顯著圖的影響就越大，反之則小。根據(jù)經(jīng)驗(yàn)，σ²的取值區(qū)間可為[0.1,0.3]。本發(fā)明實(shí)驗(yàn)中取σ²的值為0.2。

顏色離散度加權(quán)的顯著性，有利于提高對(duì)大范圍非顯著性目標(biāo)的抑制，如天空、云彩、河流等。圖2給出了這樣一個(gè)例子，其中圖2(a)為測(cè)試圖像，圖2(b)為未加權(quán)計(jì)算的顯著圖，圖2(c)為σ²取值0.2時(shí)由式(6)獲得的顯著圖?？梢钥吹?，由于大面積云彩的離散度較高，顏色離散度加權(quán)使得其顯著性大為降低，因而有利于正確地檢測(cè)原圖中的顯著性目標(biāo)。

另外，考慮到自然場(chǎng)景中，顯著性目標(biāo)往往位于圖像中間的位置，與圖像邊緣重合的區(qū)域顯著性一般較低。因此，我們將可將圖像i視為無(wú)向圖g，i中的像素點(diǎn)是g中的頂點(diǎn)，相鄰頂點(diǎn)之間存在一條邊e。這樣我們就可采用圖的廣度搜索算法^[10]，將與圖像邊緣重合區(qū)域的顯著性進(jìn)行降低：

s(ii)＝s(ii)'*β(7)

其中，ii∈θ，區(qū)域θ內(nèi)的像素點(diǎn)滿足：存在一條從圖像邊緣某一點(diǎn)imar到ii的路徑，且該路徑上各像素點(diǎn)經(jīng)過(guò)聚類后的顏色相等。其中，s(ii)'是原始顯著性，s(ii)是加權(quán)后的顯著性，β是權(quán)值，β越接近0表示邊緣部分顯著性的權(quán)值就越低。一般β取值區(qū)間可為[0.1,0.8]。本發(fā)明實(shí)驗(yàn)中取β的值為0.5。

(二)分割顯著圖分割，采用動(dòng)態(tài)閾值方法

顯著性目標(biāo)通常是我們關(guān)心的目標(biāo)，為了對(duì)它們進(jìn)行進(jìn)一步處理，例如在視頻圖像中對(duì)它們進(jìn)行跟蹤，我們希望對(duì)上節(jié)研究的顯著圖做進(jìn)一步處理，即分割出顯著圖中的顯著性目標(biāo)，并得到包含顯著性目標(biāo)的二值圖像。為此，本發(fā)明首先根據(jù)顯著圖初始化前景目標(biāo)和背景區(qū)域，并設(shè)其它區(qū)域?yàn)榇▍^(qū)域，再根據(jù)前景和背景的統(tǒng)計(jì)信息對(duì)待定區(qū)域中的像素點(diǎn)做進(jìn)一步劃分，經(jīng)過(guò)多次迭代后，使待定區(qū)域面積為0，以達(dá)到分割出顯著性目標(biāo)的目的。其處理的具體步驟如下：

(1)初始化：設(shè)輸入歸一化后的顯著圖為s，首先采用固定閾值初步分割出前景和背景區(qū)域。在本發(fā)明中，前景閾值hi取值范圍[0.6,1]，這里選為0.7，背景閾值lo取值范圍[0.1,0.3]，選為0.2。其它區(qū)域設(shè)為待定。

(2)迭代：

(2.1)統(tǒng)計(jì)信息：統(tǒng)計(jì)計(jì)算出前景區(qū)域的均值mean_t和最小值min_t，以及背景區(qū)域的均值mean_b和最大值max_b。據(jù)下式更新前景閾值hi和背景閾值lo：

其中，μ為前景閾值的迭代步長(zhǎng)，(1-mean_t+min_t)為步長(zhǎng)加權(quán)值，取值范圍為[0,1]。觀察顯著圖可以發(fā)現(xiàn)，目標(biāo)的顯著性統(tǒng)計(jì)分布常常較為集中，因此，當(dāng)目標(biāo)區(qū)域的顯著性最小值距離均值越遠(yuǎn)，說(shuō)明待定區(qū)域中存在目標(biāo)的可能性越小，此時(shí)應(yīng)越謹(jǐn)慎更新目標(biāo)區(qū)域。當(dāng)目標(biāo)區(qū)域的顯著性最小值距離均值越遠(yuǎn)，(1-mean_t+min_t)的值則越小，此時(shí)(1-mean_t+min_t)μ整體就越小，因此就有較少待定區(qū)域的點(diǎn)會(huì)被歸入目標(biāo)區(qū)域，與我們的期望符合。ν為背景閾值迭代步長(zhǎng)，(1-mean_b+max_b)為步長(zhǎng)加權(quán)值，其意義同步長(zhǎng)加權(quán)值(1-mean_t+min_t)。μ和ν初始值均設(shè)為0.05。

(2.2)更新前景與背景區(qū)域：對(duì)待定區(qū)域中的像素點(diǎn)，可據(jù)式(8)更新前景閾值hi和背景閾值lo。當(dāng)顯著值式(7)同時(shí)落入前景和背景區(qū)域時(shí)，該像素點(diǎn)將歸入?yún)^(qū)域均值離它顯著值最近的區(qū)域。

(2.3)更新迭代步長(zhǎng)：此時(shí)，如果前景區(qū)域已經(jīng)更新，則保持迭代步長(zhǎng)μ不變；否則，說(shuō)明沒(méi)有新的像素點(diǎn)歸入前景區(qū)域，此時(shí)迭代步長(zhǎng)μ應(yīng)增大。根據(jù)實(shí)驗(yàn)，選擇迭代步長(zhǎng)的增量為0.05，即μ＝μ+0.05。對(duì)背景區(qū)域的迭代步長(zhǎng)更新方式同前景區(qū)域迭代步長(zhǎng)更新方式。

(2.4)如果待定區(qū)域面積為0，則跳出循環(huán)，否則重復(fù)步驟2。

(3)輸出：輸出前景區(qū)域，即得到包含顯著性目標(biāo)的二值圖像。

此外，為避免局部亮點(diǎn)顯著性過(guò)高而掩蓋了真實(shí)的目標(biāo)，我們?cè)O(shè)置前景區(qū)域占整幅畫面比例至少為整幅畫面的10％。如果在迭代過(guò)程中沒(méi)有達(dá)到這一比例，則我們持續(xù)地增大前景區(qū)域的迭代步長(zhǎng)μ，以便更多待定區(qū)域中的像素點(diǎn)能歸入前景區(qū)域。

本發(fā)明從全局顏色對(duì)比度的角度研究如何檢測(cè)顯著性，并通過(guò)顏色離散度和空間信息來(lái)進(jìn)一步優(yōu)化檢測(cè)到的顯著圖。在此基礎(chǔ)上，為了有效地分割顯著圖中的多個(gè)目標(biāo)，本發(fā)明通過(guò)迭代更新的方法來(lái)動(dòng)態(tài)地計(jì)算分割閾值，利用它來(lái)分割得到二值圖像并為后續(xù)目標(biāo)追蹤等圖像處理問(wèn)題提供自動(dòng)目標(biāo)檢測(cè)的方法。相比于傳統(tǒng)的顯著性檢測(cè)和分割方法，本發(fā)明算法的主要優(yōu)點(diǎn)在于：

(1)利用顏色信息建立起全局的對(duì)比度，對(duì)圖像中相似的區(qū)域賦予相近的顯著性，因此有利于均勻地突出全部目標(biāo)；

(2)利用顏色離散度和空間信息來(lái)對(duì)得到的顯著圖進(jìn)行進(jìn)一步增強(qiáng)，以應(yīng)對(duì)白云等不規(guī)則背景的干擾；

(3)根據(jù)前景目標(biāo)與背景區(qū)域的均值、方差等統(tǒng)計(jì)信息，通過(guò)迭代方法來(lái)動(dòng)態(tài)地計(jì)算分割閾值，以提高了多目標(biāo)檢測(cè)與分割的正確性。

附圖說(shuō)明

圖1為全局對(duì)比度與局部對(duì)比度方法生成的顯著圖。

圖2為顏色離散度加權(quán)的效果。

圖3為本發(fā)明算法用于顯著性檢測(cè)和分割的視覺(jué)效果。

圖4為不同顯著圖模型的roc曲線。

具體實(shí)施方式

首先，我們選取achanta數(shù)據(jù)庫(kù)中的部分圖像，用本發(fā)明算法檢測(cè)和分割它們中的顯著性目標(biāo)，實(shí)驗(yàn)中取σ²的值為0.2；hi取值范圍[0.6,1]，這里選為0.7，背景閾值lo取值范圍[0.1,0.3]，選為0.2；迭代步長(zhǎng)μ和ν初始值均設(shè)為0.05，μ和μ的增量均為0.05，一般增量和迭代步長(zhǎng)可取[0,0.1]范圍內(nèi)的值。其視覺(jué)效果如圖3所示。

在圖3中，圖3(a)為測(cè)試圖像，圖3(b)是本發(fā)明算法得到的顯著圖，圖3(c)～(d)是分割算法在迭代過(guò)程中生成的目標(biāo)二值圖像，圖3(e)是最終包含顯著性目標(biāo)的二值圖像，圖3(f)是由人工標(biāo)記的目標(biāo)二值圖像。

從圖3可以看到，本發(fā)明算法利用全局顏色對(duì)比度，并結(jié)合顏色離散度和邊緣加權(quán)能夠?qū)⒋蠓秶哪繕?biāo)和背景分離開。在之后迭代的分割算法中，利用已確定的前景背景區(qū)域的統(tǒng)計(jì)信息，謹(jǐn)慎地更新待定區(qū)域，從而能夠有效地提取出顯著性目標(biāo)。特別是，從圖3中第1，2，4幅測(cè)試圖像可看出，本發(fā)明算法適用于多目標(biāo)的自動(dòng)檢測(cè)。

采用正確率precision、召回率recall和f-測(cè)度f(wàn)-measure等指標(biāo)，來(lái)對(duì)本發(fā)明的顯著性檢測(cè)和分割算法進(jìn)行定量的分析。假設(shè)人工標(biāo)記的二值圖像為rmap，由客觀顯著性算法所得到的二值圖像為smap，則其各項(xiàng)指標(biāo)可具體定義如下^[3]：

據(jù)文獻(xiàn)[3]中的實(shí)驗(yàn)方法，采用固定閾值tf來(lái)分割顯著圖，以得到包含顯著性目標(biāo)的二值圖像。對(duì)于數(shù)據(jù)庫(kù)中的所有圖像，分別取正確率和召回率的均值，來(lái)作為算法在閾值為tf時(shí)的正確率precision和召回率recall。通過(guò)選取不同的閾值tf，以precision為縱軸、recall為橫軸，繪制出roc(receiveroperatingcharacteristics)曲線。在隨機(jī)分割算法中，roc曲線為y＝x。當(dāng)roc曲線離y＝x越遠(yuǎn)，表示顯著圖模型與人工標(biāo)記越一致。

圖4是由achanta數(shù)據(jù)庫(kù)上由ft^[3]、hc^[5]、lc^[11]、wt^[12]、sdct^[13]和本發(fā)明算法所繪制的roc曲線。當(dāng)tf取值最小值時(shí)，圖像中所有的像素點(diǎn)都被認(rèn)為是顯著性目標(biāo)，此時(shí)召回率為1，正確率均為0.2。說(shuō)明在該數(shù)據(jù)庫(kù)中，顯著性目標(biāo)的大小平均占整幅圖像面積的20％。另一方面，當(dāng)tf取最大值時(shí)，本發(fā)明算法的召回率高于其它幾種算法，說(shuō)明顯著性最大的像素點(diǎn)中包含了更多的顯著性目標(biāo)。圖4的結(jié)果說(shuō)明相比較于文獻(xiàn)報(bào)道中的算法，本發(fā)明算法和人類視覺(jué)系統(tǒng)的注意力選擇機(jī)制具有更好的一致性。

參考文獻(xiàn)

[1]ittil,kochc,niebure.amodelofsaliency-basedvisualattentionforrapidsceneanalysis[j].ieeetransactionsonpatternanalysisandmachineintelligence,1998,20(11):1254-1259.

[2]maq,zhangl.saliency-basedimagequalityassessmentcriterion[c]//

internationalconferenceonintelligentcomputing.springerberlinheidelberg,2008:1124-1133.

[3]achantar,hemamis,estradaf,etal.frequency-tunedsalientregiondetection[c]//computervisionandpatternrecognition,2009.cvpr2009.ieeeconferenceon.ieee,2009:1597-1604.

[4]luoy,yuanj,xuep,etal.saliencydensitymaximizationforefficientvisualobjectsdiscovery[j].ieeetransactionsoncircuitsandsystemsforvideotechnology,2011,21(12):1822-1834.

[5]chengmm,mitranj,huangx,etal.globalcontrastbasedsalientregiondetection[j].ieeetransactionsonpatternanalysisandmachineintelligence,2015,37(3):569-582.

[6]borjia,chengmm,jiangh,etal.salientobjectdetection:abenchmark[j].ieeetransactionsonimageprocessing,2015,24(12):5706-5722.

[7]hunterrs.photoelectriccolordifferencemeter[j].josa,1958,48(12):985-995.

[8]hunterrs.accuracy,precision,andstabilityofnewphotoelectriccolor-differencemeter[c]//journaloftheopticalsocietyofamerica.circulationfulfillmentdiv,500sunnysideblvd,woodbury,ny11797-2999:amerinstphysics,1948,38(12):1094-1094.

[9]liut,yuanz,sunj,etal.learningtodetectasalientobject[j].ieeetransactionsonpatternanalysisandmachineintelligence,2011,33(2):353-367.

[10]zhour,hansenea.breadth-firstheuristicsearch[j].artificialintelligence,2006,170(4):385-408.

[11]zhaiy,shahm.visualattentiondetectioninvideosequencesusingspatiotemporalcues[c]//proceedingsofthe14thacminternationalconferenceonmultimedia.acm,2006:815-824.

[12]imamoglun,linw,fangy.asaliencydetectionmodelusinglow-levelfeaturesbasedonwavelettransform[j].ieeetransactionsonmultimedia,2013,15(1):96-105.

[13]baip,cuiz,ganz,etal.anovelsaliencydetectionmodelbasedoncurvelettransform[c]//wirelesscommunications&signalprocessing(wcsp),20168thinternationalconferenceon.ieee,2016:1-5.

[14]黃虹,張建秋.彩色自然場(chǎng)景統(tǒng)計(jì)顯著圖模型[j].復(fù)旦學(xué)報(bào):自然科學(xué)版,2014(1):51-58.。