本發(fā)明涉及一種圖像的檢測處理方法，具體涉及一種圖像的協(xié)同顯著性檢測方法，用于檢測多幅圖像中的共同顯著區(qū)域。
背景技術：
：顯著性檢測是通過模擬人眼的視覺注意機制來快速檢測出圖像或視頻種的感興趣目標，而協(xié)同顯著性檢測的目的是檢測多張圖像或視頻中相同或相似的顯著性的區(qū)域。它在許多領域具有廣泛的應用價值，如協(xié)同分割、視頻前景檢測、圖像檢索和目標跟蹤等。近幾年，伴隨互聯(lián)網(wǎng)與多媒體等技術的飛速發(fā)展，從多幅圖像或多視頻中，尋找相同或相似的顯著性目標的協(xié)同顯著性檢測技術已逐漸成為一種新的需求，有效利用多幅圖像的優(yōu)勢可以更好地對各個圖像中的背景或干擾的顯著性進行抑制。與單張圖像相比，圖像組內(nèi)的多張相關圖像包含更多豐富且有用的信息。但是，對多幅圖像協(xié)同顯著性檢測的處理效率也提出了比單幅圖像顯著性檢測處理效率更高的要求，迫切需要一種既準確又快捷的多幅圖像協(xié)同顯著性檢測方法?，F(xiàn)有技術中，進行協(xié)同顯著性檢測的方法主要有兩類，一類是首先對單幅圖像進行顯著性檢測，在此基礎上再計算協(xié)同顯著性。這類方法對顯著性檢測的要求比較高，如果顯著區(qū)域定位錯誤，那么協(xié)同顯著性區(qū)域肯定會錯誤。而如果針對原始圖像的每個像素點進行聚類判斷，則隨著圖像數(shù)量的增加，聚類而帶來的耗時也會不斷增加。另一類方法是基于學習的協(xié)同顯著性檢測方法，將協(xié)同顯著性檢測問題看作每個像素點或區(qū)域的分類問題。這些方法首先采用任何現(xiàn)成的無監(jiān)督顯著性檢測方法來提供初始估計，然后設計一個迭代自學習方案來學習協(xié)同顯著對象的外觀并逐漸調(diào)整協(xié)同顯著圖。但是深度學習框架巨大的計算量背離了協(xié)同顯著性的研究目的，因此需要在時間復雜度上進一步優(yōu)化。超像素分割方法是指利用像素之間特征的相似程度將像素分組，可以獲取圖像的冗余信息，在很大程度上降低后續(xù)圖像處理任務的復雜圖。將超像素分割方法應用于協(xié)同顯著性檢測，有可以減少計算時間。但是，目前將超像素分割方法結(jié)合到協(xié)同顯著性檢測中時，不具有內(nèi)容感知，并且沒有在多個尺度上進行超像素分割，所以顯著目標的邊界輪廓很難準確定位。因此，如何既能保持高準確率又能保證計算代價小是目前協(xié)同顯著性檢測急需解決的一個問題。技術實現(xiàn)要素：本發(fā)明的發(fā)明目的是提供一種基于超像素聚類的協(xié)同顯著性檢測方法，在保證顯著性檢測的準確性的同時，減少計算時間，以適應協(xié)同顯著性檢測的需求。為達到上述發(fā)明目的，本發(fā)明提出了一種基于超像素聚類的協(xié)同顯著性檢測方法，通過構(gòu)建超像素金字塔，使用超像素塊來代替普通像素點，加速協(xié)同顯著性計算，同時構(gòu)建超像素金字塔可以獲得不同尺度上的特征信息，保證協(xié)同顯著目標的邊界的準確性，另外，使用聚類的方法進一步將超像素塊分類，進一步加速了協(xié)同顯著性的計算時間，最后使用協(xié)同顯著圖與顯著圖融合的方法得到最終的協(xié)同顯著圖，保證了協(xié)同顯著目標的準確性。具體采用的技術方案是：一種基于超像素聚類的協(xié)同顯著性檢測方法，包括以下步驟：(1)構(gòu)建超像素金字塔圖像：(1a)輸入原始圖像組數(shù)據(jù)，構(gòu)建三層的高斯金字塔，其中，第一層圖像由原始圖像進行高斯平滑得到，第二層圖像由第一層圖像降采樣后進行高斯平滑得到，第三層圖像由第二層圖像降采樣后進行高斯平滑得到；(1b)利用基于內(nèi)容感知的超像素分割方法對每層圖像進行超像素分割，對長寬分別為width和height像素的圖像，根據(jù)圖像的大小動態(tài)設定超像素塊的數(shù)目，超像素塊數(shù)得到超像素的金字塔圖像；所述基于內(nèi)容感知的超像素分割方法(mslic，manifoldslic)可參見文獻：liuyj,yucc,yumj,etal.manifoldslic:afastmethodtocomputecontent-sensitivesuperpixels[a].ruzenabajcsy.proceedingsofthe2016ieeeconferenceoncomputervisionandpatternrecognition[c].piscataway:ieee,2016。(2)計算單一顯著圖：(2a)計算弱顯著圖將超像素分割得到的n個超像素塊表示為：{ci},i＝1,2,...,n，將處于邊緣區(qū)域的超像素假設為背景，表示為：{nj},j＝1,2,...,nb，其中nb是位于該圖像邊緣區(qū)域的超像素個數(shù)，然后分別計算每個超像素塊的特征：暗通道值、中心先驗權(quán)重和顏色特征；暗通道計算公式如下：其中表示區(qū)域ci覆蓋的像素個數(shù)，sd(p)是暗通道值的計算函數(shù)，如下所示：其中ich(q)表示q在對應通道內(nèi)的顏色值；弱顯著性檢測模型通過如下公式實現(xiàn)：其中dk(ci,nj)表示區(qū)域ci與nj在k所對應的特征之間的歐氏距離，三種特征分別是rgb(f1)、cielab(f2)和lbp(f3)特征，g(ci)為中心先驗權(quán)重，通過超像素ci的中心與圖像中心的歸一化空間距離計算得到；由公式(3)得到每個區(qū)域的顯著值，將每個區(qū)域的顯著值賦給該區(qū)域內(nèi)的所有像素，得到弱顯著圖；(2b)訓練強顯著性檢測模型將多個單核單特征的支持向量機分類器作為弱分類器，采用adaboost增強學習方法通過多次迭代學習得到一個強分類器；多個單核單特征的支持向量機核函數(shù)的線性加和表示為：其中，r表示訓練樣本，ri為第i個樣本，訓練集樣本集由上一步的弱顯著圖得到，βm表示對應核函數(shù)的權(quán)重，m表示弱分類器的數(shù)量，經(jīng)過多次迭代得到一個強分類器，應用于當前圖像的所有測試樣本，最后預測得到單一顯著圖；(3)超像素塊聚類選用rgb、cielab和gabor特征作為聚類特征，對組內(nèi)的所有圖像的所有超像素塊進行聚類，聚類方法為k-means聚類方法；(4)計算協(xié)同顯著性m張圖像經(jīng)過聚類后得到k個類，記為聚類中心記為通過計算對比度測度、重復率測度以及位置測度來描述協(xié)同顯著性，根據(jù)3個測度的乘積得到弱協(xié)同顯著圖；(5)融合：進行多尺度融合；將弱顯著圖與弱協(xié)同顯著圖相乘，獲得融合后的顯著圖。上述技術方案中，步驟(1a)中，所述降采樣時，將圖像的x和y方向像素分別調(diào)整為原尺寸的一半。步驟(3)中，聚類數(shù)k＝min(max(2×nimg,10),30)。步驟(3)中，gabor特征的獲取方法是：先獲取8個方向的gabor特征，bandwidth為1，然后組合這8個方向特征作為使用的gabor特征，組合方法為線性相加組合。步驟(4)中，對比度測度計算一個類別與其他所有類的特征距離，類ck的對比度測度計算公式為：其中n為所有圖像的超像素塊之和，ni為聚類ci的像素個數(shù)；位置測度計算每一類所有超像素塊的到中心點的距離的歸一化，公式如下：其中nk表示類k的超像素塊數(shù)，nj是第j張圖上的超像素塊數(shù)目，是類內(nèi)第i個超像素塊的中心點在第j張圖像上的位置，oj是第j張圖像的中心位置，是指超像素的類索引，δ(·)是克羅內(nèi)克函數(shù)，如果兩數(shù)相等返回1，否則返回0；重復率測度計算一個類別內(nèi)的超像素塊在所有圖像上的分布情況，采用m個bin的直方圖來描述聚類ck在m張圖像中的重復率測度：步驟(5)中，所述多尺度融合采用加權(quán)融合法，以5∶3∶2的權(quán)重融合第1、2和3層的結(jié)果。由于上述技術方案運用，本發(fā)明與現(xiàn)有技術相比具有下列優(yōu)點：1、本發(fā)明提供了一種基于內(nèi)容感知的多尺度顯著性檢測方法，將得到的顯著圖與弱協(xié)同顯著圖進行融合，得到最終的協(xié)同顯著區(qū)域，由于使用具有內(nèi)容感知的超像素金字塔，獲得的顯著目標的邊界輪廓定位更加準確。2、本發(fā)明利用基于內(nèi)容感知的超像素分割方法將圖像分割，然后構(gòu)建超像素金字塔，在每個尺度上對所有圖像進行聚類，于是每個像素點都獲得了全局關聯(lián)性，再根據(jù)對比度測度、未知測度和重復率測度計算協(xié)同顯著性，得到的弱協(xié)同顯著圖與顯著圖融合得到最終的協(xié)同顯著圖，實驗結(jié)果證明了提出的檢測方法在時間和準確性上具有一定的優(yōu)勢。附圖說明圖1是本發(fā)明實施例的方法框架構(gòu)圖；圖2是實施例中imageparis上顯著性檢測對比圖；圖3是實施例中imageparis上協(xié)同顯著性檢測對比圖；圖4是實施例中4種顯著性方法的對比；圖5是在3種協(xié)同顯著性檢測方法在icoseg數(shù)據(jù)集上的pr圖；圖6是3種協(xié)同顯著性檢測方法在imagepairs數(shù)據(jù)集上的pr圖。具體實施方式下面結(jié)合附圖及實施例對本發(fā)明作進一步描述：實施例一：一種基于超像素聚類的協(xié)同顯著性檢測方法，框架如圖1所示。通過構(gòu)建超像素金字塔，本方法試圖使用超像素塊來代替普通像素點，加速協(xié)同顯著性計算，同時構(gòu)建超像素金字塔可以獲得不同尺度上的特征信息，保證協(xié)同顯著目標的邊界的準確性。另外，使用聚類的方法進一步將超像素塊分類，進一步加速了協(xié)同顯著性的計算時間。最后使用協(xié)同顯著圖與顯著圖融合的方法得到最終的協(xié)同顯著圖，保證了協(xié)同顯著目標的準確性。具體分為4個步驟：構(gòu)建超像素金字塔、計算單一顯著圖、超像素塊聚類、計算協(xié)同顯著性和融合。1、構(gòu)建超像素金字塔超像素分割會將一張圖像分割成很多超像素塊，這些超像素塊具有相似的特征表達，所以用超像素塊替代普通像素點進行顯著性計算或者協(xié)同顯著性計算不僅不會引起計算錯誤，而且可以加快計算速度。構(gòu)建超像素金字塔分為2個步驟：(1)構(gòu)建高斯金字塔在計算sift(scale-invariantfeaturetransform)算法時，構(gòu)建了一個高斯金字塔來獲取不同尺度上的特征信息，這種方法是經(jīng)過驗證的。因此，本方法對每幅圖像也構(gòu)建了一個三層的高斯金字塔。對第一層圖像是由原始圖像進行高斯平滑得到，這樣做消除圖像中的一些噪聲點，有利于后面的超像素分割階段能獲得更加準確的邊界。第二層由第一層降采樣后再高斯平滑得到，第二層降采樣再高斯平滑作為第三層圖像，這里將圖像降采樣為原來尺寸的一半。(2)超像素分割利用基于內(nèi)容感知的超像素分割方法(mslic)對每層圖像驚醒超像素分割，這種超像素分割方法較普通超像素分割方法的優(yōu)點是：內(nèi)容感知和計算速度。該方法是2016年cvpr提出的新的超像素分割方法，會在信息比較多的區(qū)域分得更細，同時分割時間較其他方法更快，因此選用mslic作為此發(fā)明的超像素方法。這里根據(jù)圖像的大小動態(tài)設定超像素塊的數(shù)目，超像素塊數(shù)width和height是圖像寬和高，通過多次實驗證明這樣選取超像素塊在時間和精度上效果較好。得到超像素金字塔。2、計算單一顯著圖使用基于內(nèi)容感知的多尺度顯著性檢測方法計算單一顯著圖，使用具有內(nèi)容感知的超像素分割方法在內(nèi)容多的區(qū)域獲得更多的超像素塊，有利于計算內(nèi)部不同位置的協(xié)同顯著性，同時該分割方法還加快了分割速度；另外超像素金字塔有利于獲得多尺度信息，對計算協(xié)同顯著性有很大的引導作用，該發(fā)明會將每一層單獨計算顯著性，最后融合多層顯著圖。計算每層顯著圖的過程主要分為4個步驟：(1)計算弱顯著圖將超像素分割得到的n個超像素塊表示為：{ci},i＝1,2,...,n。將處于邊緣區(qū)域的超像素假設為背景，表示為：{nj},j＝1,2,...,nb，其中nb是位于該圖像邊緣區(qū)域的超像素個數(shù)。然后分別計算每個超像素塊的特征：暗通道值、中心先驗權(quán)重和顏色特征。暗通道主要是由一些彩色或者深色目標以及陰影產(chǎn)生的，tong等人發(fā)現(xiàn)這個特征也是顯著目標所具備的。計算公式如下：其中表示區(qū)域ci覆蓋的像素個數(shù)，sd(p)是暗通道值的計算函數(shù)，如下所示：其中ich(q)表示q在對應通道內(nèi)的顏色值。弱顯著性檢測模型通過如下公式實現(xiàn)：其中dk(ci，nj)表示區(qū)域ci與nj在k所對應的特征之間的歐氏距離，三種特征分別是f1(rgb)、f2(cielab)和f3(lbp)特征。此外，g(ci)為中心先驗權(quán)重，通過超像素ci的中心與圖像中心的歸一化空間距離計算得到。由公式(3)就可以得到每個區(qū)域的顯著值，將每個區(qū)域的顯著值賦給該區(qū)域內(nèi)的所有像素。(2)訓練強顯著性檢測模型本發(fā)明將多個單核單特征的svm(supportvectormachine，支持向量機)分類器作為弱分類器，并采用adaboost增強學習方法通過多次迭代學習得到一個強分類器。多個svm核函數(shù)的線性加和可以表示為：其中，r表示訓練樣本，ri為第i個樣本，訓練集樣本集由上一步的弱顯著圖得到。βm表示對應核函數(shù)的權(quán)重，m表示弱分類器的數(shù)量，經(jīng)過驗證取12(特征數(shù)是3，核函數(shù)數(shù)為4)效果最佳。經(jīng)過多次迭代得到一個強分類器，該分類器可以直接應用于當前圖像的所有測試樣本，最后預測得到單一顯著圖。3、超像素塊聚類選用rgb和cielab和gabor特征作為聚類特征，共7維。之所以采用兩種顏色特征，是因為發(fā)明人發(fā)現(xiàn)在進行顯著性檢測時，這兩種顏色空間發(fā)揮著互補作用。gabor特征的獲取過程是：8個方向的gabor特征，bandwidth為1，然后組合這8個方向特征作為紋理特征，這里使用簡單的線性相加組合方法。為了獲得全局關聯(lián)性，本方法對組內(nèi)的所有圖像的所有超像素塊進行了聚類，特征接近的超像素塊就會被聚到相同的類，這里使用了k-means聚類方法。對于聚類數(shù)，為了避免聚類數(shù)過多或太少影響聚類結(jié)果，于是采用公式k＝min(max(2×ntmb，10)，30)計算。4、計算協(xié)同顯著性m張圖像經(jīng)過聚類后得到k個類，記為聚類中心記為這些類來自不同的圖像，將不同圖像中的超像素塊聚類到一起，說明這些超像素塊具有全局關聯(lián)性，但是不一定就是協(xié)同顯著區(qū)域，可能是想關聯(lián)的背景區(qū)域或者其他關聯(lián)區(qū)域。接下來就需要計算每一類的協(xié)同顯著性，本方法通過計算對比度測度、重復率測度以及位置測度來描述協(xié)同顯著性。對比度測度和位置測度是為了找到圖像的前景區(qū)域，在顯著性檢測的研究發(fā)現(xiàn)前景區(qū)域往往都存在著對比度高的特性，另外由于人眼往往會對圖像中心感興趣，所以超像素塊的位置也會影響其是否為前景的可能性。重復率測度描述了一個類別在多張圖像上重復出現(xiàn)的頻率，是反應協(xié)同顯著性的一個重要的全局屬性。一個類在圖像中分布得越均勻，說明其越協(xié)同，這是特別容易理解的。根據(jù)這3個測度的乘積就到了弱顯著圖。對比度測度計算一個類別與其他所有類的特征距離，類ck的對比度測度計算公式為：其中n為所有圖像的超像素塊之和，ni為聚類ci的像素個數(shù)。位置測度是通過計算每一類所有超像素塊的到中心點的距離的歸一化，公式如下：其中nk表示類k的超像素塊數(shù)，nj是第j張圖上的超像素塊數(shù)目，是類內(nèi)第i個超像素塊的中心點在第j張圖像上的位置，oj是第j張圖像的中心位置，是指超像素的類索引，δ(·)是克羅內(nèi)克函數(shù)，如果兩數(shù)相等返回1，否則返回0。本方法計算一個類別內(nèi)的超像素塊在所有圖像上的分布情況來表示重復率測度，首先采用m個bin的直方圖來描述聚類ck在m張圖像中的重復率測度：其中為了避免分母為0導致錯誤，這里都會加上1。5、融合融合包括多尺度融合和顯著圖與協(xié)同顯著圖融合，多尺度融合是為了融合多尺度信息，可以獲得更加準確顯著目標區(qū)域和協(xié)同顯著區(qū)域。由于不同尺度上的信息的影響權(quán)重不一樣，所以這里采用加權(quán)融合的方法，本發(fā)明中采用5：3：2的比重融合第1、2和3層的結(jié)果。為了進一步精確協(xié)同顯著區(qū)域，這里通過顯著圖與弱協(xié)同顯著圖相乘的方法去除弱顯著圖的噪聲區(qū)域。對本實施例的方法進行論證實驗，使用數(shù)據(jù)集是：msra、imagepair和icoseg。msra是目前在顯著性檢測領域含有像素級別真值的最大圖像庫，在這個庫上驗證表明本發(fā)明的顯著性檢測效果具有一定的優(yōu)越性。后兩個數(shù)據(jù)集是目前協(xié)同顯著性檢測最常用的兩個數(shù)據(jù)集，imagepair數(shù)據(jù)集中每組只包含兩張圖像，而icoseg數(shù)據(jù)集中每組會有5～20張不等，對計算要求較高。實驗硬件環(huán)境：window7，corei7處理器，主頻為3.4g，內(nèi)存為8g。代碼運行環(huán)境是：matlab2013a。1、定性分析本發(fā)明的算法與ccd(2013年，cluster-basedco-saliencydetection)、bl(2015年，bootstraplearning)和eld(2016年，encodedlowlevel)進行的對比，結(jié)果如圖2所示。從圖中可以發(fā)現(xiàn)本實施例的方法能夠很好地找到顯著目標，并且可以消除噪聲區(qū)域，最終保留較干凈的顯著區(qū)域，為后面消除弱協(xié)同顯著圖的噪聲提供了很大的幫助。由于目前找到的提供源碼的協(xié)同顯著性檢測方法只有ccd和cmip(2011年，co-saliencymodelofimagepairs)，而cmip只能檢測一對圖像的協(xié)同顯著性，所以這里只使用這兩種方法與本發(fā)明提出的方法在imagepair作對比，圖3中有兩組圖像，每組兩張圖像，第1行是輸入圖像，第2行是真值圖，第3、4行分別是ccd和cmip方法，第5行是本發(fā)明的方法，可以看出本發(fā)明的方法最接近真值圖。2、定量評估這里采用準確率-召回率(p-r)曲線評測本發(fā)明的方法。計算p-r曲線的過程又稱為固定閾值分割。首先，將顯著圖量化至[0,255]，每隔5個數(shù)值設置一個閾值，按照這些閾值分割待測顯著圖得到52張二值圖。參照真值圖，計算測試的數(shù)據(jù)庫中所有圖片的平均準確率以及召回率值，可以得到52組p-r值，因此可以畫出p-r曲線。圖4是4種顯著性方法的對比，從圖中可以看出本方法在這4種方法中效果最好，但對于bl方法只取得了小幅的提高。圖5是在3種協(xié)同顯著性檢測方法在icoseg數(shù)據(jù)集上的pr圖，其中ours-slic和ours-mslic是在本發(fā)明提出的模型中分別采用slic(simplelineariterativeclustering)和mslc(manifoldslic)作為超像素分割算法的協(xié)同顯著性檢測模型，mslc是具有內(nèi)容感知的超像素分割算法，從圖中可以看出具有內(nèi)容感知的超像素分割算法提高了協(xié)同顯著性檢測效果。圖6是3種協(xié)同顯著性檢測方法在imagepairs數(shù)據(jù)集上的pr圖，從圖中可以看出本發(fā)明提出的模型相比于其他兩種模型具有較大的優(yōu)勢。本發(fā)明的另外一個優(yōu)點是計算協(xié)同顯著性的速度快，根據(jù)下表，發(fā)現(xiàn)本發(fā)明方法在imagepairs和icoseg上計算協(xié)同顯著性的速度最快，由于其他方法沒提供源碼，而在論文中提供的數(shù)據(jù)是在不同的環(huán)境運行得到的，所以不具有對比性。表格計算每張圖像協(xié)同顯著性的平均時間(s)cmipccd本實施例imagepairs0.580.430.32icoseg--1.070.65當前第1頁12