本發(fā)明涉及一種圖像協(xié)同顯著性檢測(cè)方法，特別是一種基于多核增強(qiáng)和顯著性融合的rgbd圖像(rgb彩色圖像與其對(duì)應(yīng)的深度圖像)協(xié)同顯著性檢測(cè)方法，旨在從一組具有共同顯著對(duì)象的rgbd圖像集中檢測(cè)出共同顯著的對(duì)象。

背景技術(shù)：

隨著互聯(lián)網(wǎng)和多媒體技術(shù)的蓬勃發(fā)展，人們可以從越來(lái)越多的領(lǐng)域如監(jiān)控視頻，社交網(wǎng)絡(luò)，新聞報(bào)道等中獲取圖像的信息。因此，如何抓取圖像中的關(guān)鍵信息是當(dāng)今人們關(guān)注的焦點(diǎn)。顯著性檢測(cè)是一個(gè)具有挑戰(zhàn)性的領(lǐng)域，旨在提取圖像或視頻中人們所關(guān)注的主要對(duì)象的區(qū)域，而協(xié)同顯著對(duì)象檢測(cè)作為視覺(jué)顯著性的一個(gè)新興的分支，目的是從一組相關(guān)圖像集中提取出共同顯著的對(duì)象。協(xié)同顯著對(duì)象檢測(cè)已經(jīng)被廣泛地應(yīng)用于圖像/視頻協(xié)同分割，對(duì)象協(xié)同定位，以及弱監(jiān)督對(duì)象檢測(cè)等領(lǐng)域。近年來(lái)，隨著立體照相機(jī)、深度照相機(jī)以及kinect傳感器的廣泛應(yīng)用，深度信息已經(jīng)被用到rgbd圖像協(xié)同顯著性檢測(cè)中。2015年，fu等人提出一種利用深度信息的基于對(duì)象的協(xié)同分割算法，能有效處理共有對(duì)象沒(méi)有或者出現(xiàn)不止一次的噪聲圖像，利用幾個(gè)現(xiàn)存性能較好的rgb顯著性檢測(cè)模型、協(xié)同顯著性模型以及rgbd顯著性模型，根據(jù)秩約束融合各個(gè)模型得到的顯著性圖來(lái)得到最終的rgbd協(xié)同顯著性圖，但忽略了不同rgbd圖像間深度信息的相關(guān)性。2016年，song等人基于bagging的聚類(lèi)提出一個(gè)rgbd協(xié)同顯著性檢測(cè)的框架，針對(duì)不同的rgbd圖像集有效地選擇不同的特征進(jìn)行協(xié)同顯著對(duì)象的聚類(lèi)和檢測(cè)。首先根據(jù)單個(gè)圖像顯著性圖和區(qū)域預(yù)分割生成候選對(duì)象區(qū)域，然后對(duì)特征進(jìn)行有放回地隨機(jī)抽樣來(lái)得到多次聚類(lèi)結(jié)果，最后評(píng)價(jià)聚類(lèi)效果將其作融合權(quán)重，生成最后的協(xié)同顯著性圖。但就rgbd協(xié)同顯著性檢測(cè)而言，仍有很大的發(fā)展空間。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提高現(xiàn)有技術(shù)的性能，提出一種基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)方法，該方法利用深度信息能夠更為準(zhǔn)確地提取出rgbd圖像組中出現(xiàn)的共同對(duì)象，并且有效地抑制無(wú)關(guān)的背景區(qū)域。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)方法，其特征在于該方法的具體步驟如下：

a.輸入原始圖像和深度圖像n表示圖像的總張數(shù)，用基于隨機(jī)森林的rgbd顯著性模型得到單張圖像的rgbd顯著性圖，再采用基于輪廓的圖像分割算法對(duì)輸入的原始圖像進(jìn)行預(yù)分割，每張圖像被分為q個(gè)區(qū)域，表示圖像in的每個(gè)區(qū)域，用該區(qū)域所有像素點(diǎn)的單張rgbd顯著性值的平均值作為該區(qū)域的rgbd顯著性值，將區(qū)域的rgbd顯著性值大于閾值t1的區(qū)域選為候選對(duì)象區(qū)域；

b.將步驟a所得的候選對(duì)象區(qū)域進(jìn)行聚類(lèi)，根據(jù)聚類(lèi)結(jié)果選擇候選的正負(fù)樣本：取聚類(lèi)質(zhì)量最好的那次聚類(lèi)結(jié)果，得到基協(xié)同顯著性圖把這次聚類(lèi)結(jié)果中聚類(lèi)顯著性值最大的那個(gè)類(lèi)的區(qū)域作為正的候選樣本，取顯著性值低于某個(gè)設(shè)定的閾值t2且位于圖像四周的區(qū)域作為負(fù)的候選樣本，所述的聚類(lèi)顯著性值由以下三個(gè)值決定：這個(gè)類(lèi)中的所有區(qū)域的平均顯著性值，這個(gè)類(lèi)中所有區(qū)域的各個(gè)特征間的歐式距離，以及這個(gè)類(lèi)中區(qū)域所屬的圖像張數(shù)占總圖像張數(shù)的比例；

c.學(xué)習(xí)模型：對(duì)于模型t，首先生成一個(gè)隨機(jī)數(shù)in^t,1≤in^t≤n，從原始圖像集中隨機(jī)有放回地選擇in^t張圖像，構(gòu)成第t個(gè)圖像組，從步驟b中得到的正的候選樣本中選擇出屬于這個(gè)圖像組的區(qū)域作為正樣本，標(biāo)記為+1，從步驟b中得到的負(fù)的候選樣本中選擇出屬于這個(gè)圖像組的區(qū)域作為負(fù)樣本，標(biāo)記為-1，得到樣本總數(shù)為h的第t個(gè)訓(xùn)練樣本集其中，ri和li表示樣本i的二值標(biāo)簽；由此訓(xùn)練得到模型t，將其應(yīng)用到所有n張圖像的所有區(qū)域，從而得到模型t對(duì)應(yīng)的基于多核增強(qiáng)的協(xié)同顯著性圖這樣，根據(jù)一個(gè)圖像組就學(xué)習(xí)到了一個(gè)模型，實(shí)驗(yàn)中，共生成tt個(gè)圖片組，也就是學(xué)習(xí)tt個(gè)模型。綜合考慮實(shí)驗(yàn)效果和執(zhí)行時(shí)間，將tt設(shè)為這個(gè)圖像總張數(shù)n的3倍；

d.將步驟c得到的圖和步驟b得到的相應(yīng)bcs圖進(jìn)行線性融合，得到融合協(xié)同顯著性圖；并評(píng)價(jià)每張融合協(xié)同顯著性圖的質(zhì)量；以這個(gè)質(zhì)量評(píng)價(jià)為權(quán)重進(jìn)行自適應(yīng)的融合，得到最后的協(xié)同顯著性圖。

上述步驟b中的候選正負(fù)樣本的生成，具體步驟如下：

(b-1)、提取步驟a所得的每個(gè)候選區(qū)域的顏色、深度、幾何等共24維特征。對(duì)于某次聚類(lèi)，我們首先產(chǎn)生一個(gè)隨機(jī)數(shù)fnⁿ(1≤fnⁿ≤24)，并從所有特征中隨機(jī)挑選出fnⁿ個(gè)特征，為每個(gè)區(qū)域構(gòu)成一個(gè)fnⁿ維的特征向量，并用模糊c均值的聚類(lèi)方法進(jìn)行聚類(lèi)；計(jì)算每次聚類(lèi)過(guò)程每個(gè)聚類(lèi)的顯著性值，并評(píng)價(jià)每次聚類(lèi)的質(zhì)量，所述的聚類(lèi)質(zhì)量由聚類(lèi)分離率、類(lèi)中的區(qū)域數(shù)決定，取聚類(lèi)質(zhì)量最好的那次聚類(lèi)結(jié)果，得到基協(xié)同顯著性圖把這次聚類(lèi)結(jié)果中聚類(lèi)顯著性值最大的那個(gè)類(lèi)的區(qū)域作為正的候選樣本，取顯著性值低于某個(gè)設(shè)定的閾值t2且位于圖像四周的區(qū)域作為負(fù)的候選樣本。

上述的基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)方法，其特征在于，所述步驟c中的學(xué)習(xí)模型的過(guò)程，對(duì)于模型t，具體步驟如下：

(c-1)、生成m，m＝nk×nf個(gè)支持向量機(jī)其中nk表示核函數(shù)的數(shù)目，nk為4，分別是線性核、多項(xiàng)式核、rbf以及sigmoid核；nf表示特征集的數(shù)目，nf為10，表示聚類(lèi)質(zhì)量最好的前10次聚類(lèi)使用的特征，r表示每個(gè)樣本，這些支持向量機(jī)將根據(jù)各自的權(quán)重融合得到最后的強(qiáng)分類(lèi)器y(r)；

(c-2)、初始化每個(gè)樣本的權(quán)重為w1(i)＝1/h(i＝1,...,h)，h表示此次用于訓(xùn)練的樣本總數(shù)；

(c-3)、采用adaboost方法融合支持向量機(jī)，在第j次迭代中，計(jì)算每個(gè)支持向量機(jī)的分類(lèi)誤差εm，將m個(gè)分類(lèi)器中誤差最小的那個(gè)分類(lèi)器作為本次迭代的最佳分類(lèi)器，記為zj(r)，并計(jì)算其核的權(quán)重βj，其計(jì)算公式為：

其中，εj＝min1≤m≤m{εm}，表示m個(gè)分類(lèi)器中最小的誤差，并更新訓(xùn)練樣本的權(quán)重wj+1(i)，其計(jì)算公式為：

(3-4)、經(jīng)過(guò)j次迭代，j＝m，得到最后的分類(lèi)器作為從第t個(gè)訓(xùn)練樣本集學(xué)習(xí)到的模型t。

上述步驟d中的具體步驟如下：

(d-1)、將基于多核增強(qiáng)的協(xié)同顯著性圖和相應(yīng)的基協(xié)同顯著性圖進(jìn)行線性融合，得到融合協(xié)同顯著性圖其計(jì)算公式為：

(d-2)、評(píng)價(jià)每個(gè)圖的顯著性質(zhì)量，其計(jì)算公式為：

其中，表示顯著性緊密度，表示邊界質(zhì)量，表示顯著性直方圖，表示顏色分離度，表示分割質(zhì)量；前兩者值越大，后三者值越小說(shuō)明該顯著性圖的質(zhì)量越好，針對(duì)首先計(jì)算一個(gè)占圖全部顯著性值的p,1＜p＜1的窗口wp，用這個(gè)窗口內(nèi)的顯著性值之和表示在這個(gè)比例下顯著性圖的緊密度，為增加魯棒性，分別計(jì)算p為0.25、0.5和0.75的顯著性緊密度，再分別以p為權(quán)重，加權(quán)相加，得到針對(duì)分別計(jì)算顯著性圖在0.25、0.5、0.75和1.0四個(gè)縮放比例的邊界質(zhì)量，并以縮放比例為權(quán)重，加權(quán)相加得到針對(duì)首先計(jì)算顯著性圖的顏色直方圖，并將其分為20個(gè)小區(qū)間；計(jì)算其占全部區(qū)域的比例，得到針對(duì)根據(jù)顯著性圖和顏色直方圖分布來(lái)計(jì)算顯著對(duì)象和背景的直方圖分布，該值越小越說(shuō)明該顯著性圖顯著對(duì)象和背景越分離，則該顯著性圖質(zhì)量越好；針對(duì)分別計(jì)算在不同分割尺度下的二值分割質(zhì)量，并分別以其分割尺度為權(quán)重，加權(quán)相加，得到歸一化到[0，1]；

(d-3)、最后的區(qū)域級(jí)協(xié)同顯著性圖由以下公式計(jì)算得到：

其中，qn＝t/3，即選擇顯著性質(zhì)量排名前qn張圖像進(jìn)行融合，最后為追求更好的可視化，利用一個(gè)小高斯核函數(shù)將區(qū)域級(jí)協(xié)同顯著性圖轉(zhuǎn)化為最后的像素級(jí)協(xié)同顯著性圖。

本發(fā)明的基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)方法與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn)：

該發(fā)明基于多核增強(qiáng)和顯著性融合進(jìn)行rgbd圖像協(xié)同顯著性檢測(cè)，能夠更有效完整地突顯共同顯著的對(duì)象，并抑制無(wú)關(guān)的背景區(qū)域。

附圖說(shuō)明

圖1是本發(fā)明基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)的流程圖。

圖2(a)是本發(fā)明步驟(1)中輸入的原始rgb彩色圖像。

圖2(b)是本發(fā)明步驟(1)中輸入的原始rgb彩色圖像對(duì)應(yīng)的深度圖像。

圖2(c)是本發(fā)明由原始圖像得到的預(yù)分割圖像。

圖3(a)是本發(fā)明基于聚類(lèi)得到的候選正樣本。

圖3(b)是本發(fā)明基于聚類(lèi)得到的候選負(fù)樣本。

圖3(c)是基于最好的那次聚類(lèi)得到的基協(xié)同顯著性圖(bcs)。

圖4(a)是本發(fā)明的由其中一個(gè)模型得到的基于多核增強(qiáng)的協(xié)同顯著性圖(mcs)。

圖4(b)是本發(fā)明的由其中另一個(gè)模型得到的基于多核增強(qiáng)的協(xié)同顯著性圖(mcs)。

圖5(a)是本發(fā)明步驟(3)基于其中一個(gè)模型得到的基于多核增強(qiáng)的協(xié)同顯著性圖(mcs)與最好的那次聚類(lèi)得到的基協(xié)同顯著性圖(bcs)線性融合得到的融合協(xié)同顯著性圖(ics)。

圖5(b)是本發(fā)明基于顯著性圖質(zhì)量融合得到的最終rgbd協(xié)同顯著性圖。

具體實(shí)施方式

下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明的實(shí)施例作進(jìn)一步詳細(xì)說(shuō)明。

本發(fā)明進(jìn)行的仿真實(shí)驗(yàn)是在cpu為4ghz、內(nèi)存為16g的pc測(cè)試平臺(tái)上編程實(shí)現(xiàn)。

如圖1所示，本發(fā)明的基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)，其具體步驟如下：

(1)、輸入原始圖像和深度圖像如圖2(a)和圖2(b)所示，用基于隨機(jī)森林的rgbd顯著性模型得到單張圖像的rgbd顯著性圖。使用基于輪廓的圖像分割算法，預(yù)分割原始圖像，如圖2(c)所示，每張圖像被分為q個(gè)區(qū)域，表示圖像in的每個(gè)區(qū)域，用該區(qū)域所有像素點(diǎn)的平均單張rgbd顯著性值作為該區(qū)域的rgbd顯著性值。將區(qū)域顯著性值大于閾值t1的區(qū)域選為候選對(duì)象區(qū)域。

(2)、得到候選區(qū)域后，提取每個(gè)候選區(qū)域的顏色、深度、幾何等特征用模糊c均值的聚類(lèi)方法進(jìn)行聚類(lèi)。為了平衡聚類(lèi)性能和算法時(shí)間的關(guān)系，將聚類(lèi)次數(shù)設(shè)為150。計(jì)算每次聚類(lèi)過(guò)程每個(gè)聚類(lèi)的顯著性值，并評(píng)價(jià)每次聚類(lèi)的質(zhì)量。取聚類(lèi)質(zhì)量最好的那次聚類(lèi)結(jié)果，得到聚類(lèi)協(xié)同顯著性圖如圖3(c)所示。把這次聚類(lèi)結(jié)果中聚類(lèi)顯著性值最大的那個(gè)類(lèi)的區(qū)域作為正的候選樣本，如圖3(a)所示，取顯著性值低于某個(gè)設(shè)定的閾值t2且位于圖像四周的區(qū)域作為負(fù)的候選樣本，如圖3(b)所示。這里聚類(lèi)質(zhì)量的標(biāo)準(zhǔn)是采用了論文h.song,z.liu,y.xie,l.wu,andm.huang."rgbdco-saliencydetectionviabagging-basedclustering,"ieeesignalprocess.lett.,vol.23,no.12,pp.1722-1726,dec.2016里cq的方法，由聚類(lèi)分離率、類(lèi)中區(qū)域數(shù)等決定

(3)、根據(jù)不同的圖像組學(xué)習(xí)多個(gè)基于多核增強(qiáng)的模型。實(shí)驗(yàn)中，共生成tt個(gè)圖片組，也就是學(xué)習(xí)tt個(gè)模型。綜合考慮實(shí)驗(yàn)效果和執(zhí)行時(shí)間，將tt設(shè)為這個(gè)圖像總張數(shù)n的3倍。對(duì)于模型t，首先生成一個(gè)隨機(jī)數(shù)in^t(1≤in^t≤n)從圖像集中隨機(jī)選擇in^t張圖像，構(gòu)成第t個(gè)圖像組，從(2)中正的候選樣本中選擇出屬于這個(gè)圖像組的區(qū)域作為正樣本(標(biāo)記為+1)，從(2)中負(fù)的候選樣本中選擇出屬于這個(gè)圖像組的區(qū)域作為負(fù)樣本(標(biāo)記為-1)，得到樣本總數(shù)為h的第t個(gè)訓(xùn)練樣本集由此訓(xùn)練得到模型t，該過(guò)程如下：

(3-1)、生成m(m＝nk×nf)個(gè)支持向量機(jī)(弱分類(lèi)器)其中nk表示核函數(shù)的數(shù)目，這里為4，分別是線性核、多項(xiàng)式核、rbf以及sigmoid核；nf表示特征集的數(shù)目，這里為10，表示聚類(lèi)質(zhì)量最好的前10次聚類(lèi)使用的特征，r表示每個(gè)樣本。這些弱分類(lèi)器將根據(jù)各自的權(quán)重融合得到最后的強(qiáng)分類(lèi)器y(r)；

(3-2)、初始化每個(gè)樣本的權(quán)重為w1(i)＝1/h(i＝1,...,h)；

(3-3)、采用adaboost方法融合弱分類(lèi)器。在第j次迭代中，計(jì)算每個(gè)弱分類(lèi)器的分類(lèi)誤差εm，將m個(gè)分類(lèi)器中誤差最小的那個(gè)分類(lèi)器作為本次迭代的最佳分類(lèi)器，記為zj(r)，并用公式(1)計(jì)算其核的權(quán)重βj，用公式(2)來(lái)更新訓(xùn)練樣本的權(quán)重wj+1(i)。

(3-4)、經(jīng)過(guò)j次迭代(j＝m)，得到最后的分類(lèi)器作為從第t個(gè)訓(xùn)練樣本集學(xué)習(xí)到的模型t。將學(xué)習(xí)到的模型t應(yīng)用到所有n張圖像的所有區(qū)域，從而得到模型t對(duì)應(yīng)的基于多核增強(qiáng)的協(xié)同顯著性圖用同樣方法訓(xùn)練t個(gè)模型，得到相應(yīng)的mcs圖。如圖4(a)和圖4(b)所示，為其中兩個(gè)模型得到的協(xié)同顯著性圖。

(4)、基于顯著性質(zhì)量的自適應(yīng)融合。用公式(3)將mcs圖和相應(yīng)的bcs圖進(jìn)行線性融合，得到融合協(xié)同顯著性圖，如圖5(a)所示，為其中一組mcs圖與相應(yīng)bcs圖的線性融合。用公式(4)評(píng)價(jià)每個(gè)圖的顯著性質(zhì)量，根據(jù)顯著性質(zhì)量用公式(5)計(jì)算得到區(qū)域級(jí)協(xié)同顯著性圖，并利用一個(gè)小高斯核函數(shù)將之轉(zhuǎn)化為最后的像素級(jí)協(xié)同顯著性圖，如圖5(b)所示。

從上述仿真實(shí)驗(yàn)結(jié)果可以看出，本發(fā)明基于多核增強(qiáng)和顯著性融合的rgbd圖像協(xié)同顯著性檢測(cè)，能夠更有效完整地突顯共同顯著的對(duì)象，并抑制無(wú)關(guān)的背景區(qū)域。