本發(fā)明涉及圖像、視頻處理技術(shù)領(lǐng)域，具體地說(shuō)是涉及一種基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法。

背景技術(shù)：

隨著具有拍照錄像功能的可穿戴設(shè)備、智能手機(jī)與平板電腦的普及，視頻信息的獲取和存儲(chǔ)變得越來(lái)越容易，人們可以隨意拍攝不同時(shí)長(zhǎng)的視頻信息，如此視頻數(shù)量急劇增多，其中不乏大量的無(wú)約束視頻，這也對(duì)圖像視頻處理等研究領(lǐng)域帶來(lái)了新的挑戰(zhàn)。近年來(lái)，研究表明人類的視覺系統(tǒng)能夠快速的從復(fù)雜場(chǎng)景中定位出最吸引眼球的物體，而如何利用計(jì)算機(jī)技術(shù)模擬人眼視覺機(jī)制并用于提取圖像、視頻中的人眼感興趣區(qū)域亦成為當(dāng)前研究熱點(diǎn)，在過去的幾十年中，研究人員提出了眾多的顯著性模型，并應(yīng)用到很多領(lǐng)域，如內(nèi)容感知的圖像/視頻縮放、圖像/視頻分割、基于感興趣區(qū)域的圖像/視頻壓縮編碼、圖像/視頻質(zhì)量評(píng)價(jià)等。與此同時(shí)，我們亦要注意到視頻序列，尤其是無(wú)約束視頻中，包含大量復(fù)雜的場(chǎng)景信息，而這無(wú)疑進(jìn)一步增加了研究難度。2014年，liu等人提出的基于超像素區(qū)域的時(shí)空顯著性檢測(cè)方法，首先通過基于對(duì)比度框架分別得到時(shí)域顯著性圖和空域顯著性圖，然后通過提出的一種自適應(yīng)的線性融合方法生成時(shí)空顯著性圖。但是，對(duì)于復(fù)雜視頻幀來(lái)說(shuō)，經(jīng)常出現(xiàn)物體與周圍背景較相似或者由運(yùn)動(dòng)引起的模糊，如此，基于中心-周圍差異的對(duì)比度框架的顯著性計(jì)算方法常常失效。2015年，wang等人通過計(jì)算時(shí)空顯著性圖作為后續(xù)視頻中顯著對(duì)象分割的先驗(yàn)信息，其時(shí)空顯著性圖是建立在超像素區(qū)域的圖結(jié)構(gòu)基礎(chǔ)之上，利用測(cè)地距離得到時(shí)空顯著性圖。這里，該超像素圖結(jié)構(gòu)是以幀內(nèi)超像素區(qū)域的邊界以及相鄰幀之間運(yùn)動(dòng)邊界為邊界構(gòu)造出來(lái)的。經(jīng)過分析可以發(fā)現(xiàn)，有些視頻幀中，物體可能位于圖像的邊界，此時(shí)該類圖結(jié)構(gòu)可能會(huì)失效；且尋找時(shí)域鄰域時(shí)，僅采用覆蓋、交疊的方式獲取，這對(duì)于非剛性形變物體而言，亦是常常失效的。2016年，liu等人提出了基于超像素級(jí)圖結(jié)構(gòu)及時(shí)空傳播的顯著性模型，用于獲取無(wú)約束視頻中的時(shí)空顯著性圖。該算法中采用的運(yùn)動(dòng)顯著性度量作為初始顯著性圖，但對(duì)于復(fù)雜場(chǎng)景等無(wú)約束視頻常常失效。綜上所述，現(xiàn)有的時(shí)空顯著性模型不能有效的凸顯顯著的運(yùn)動(dòng)對(duì)象和抑制背景，特別是無(wú)約束視頻，這也阻礙了視頻顯著性檢測(cè)方法的廣泛應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)已有技術(shù)中存在的缺陷，提出一種基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法。該方法能夠均勻點(diǎn)亮、凸顯視頻中的顯著性運(yùn)動(dòng)對(duì)象，同時(shí)較好的抑制背景，從而能夠有效的進(jìn)行視頻顯著性檢測(cè)。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法，其特征在于該方法的具體步驟如下：

a.輸入視頻的每一幀，對(duì)于視頻的當(dāng)前幀，構(gòu)建以當(dāng)前幀為中心的局部時(shí)域窗口wtt；

b.利用光流算法計(jì)算所需的光流場(chǎng)，即運(yùn)動(dòng)矢量場(chǎng)；然后進(jìn)行超像素分割；最后提取區(qū)域特征；

c.利用當(dāng)前幀的前兩幀信息獲取集成式顯著性預(yù)測(cè)模型，并對(duì)當(dāng)前幀進(jìn)行顯著性預(yù)測(cè)；

d.首先對(duì)當(dāng)前幀進(jìn)行前向時(shí)域傳播；然后利用當(dāng)前幀的前兩幀信息作用于當(dāng)前幀的后兩幀獲取其對(duì)應(yīng)的粗略時(shí)空顯著性圖，接著基于此對(duì)當(dāng)前幀進(jìn)行后向時(shí)域傳播；最后結(jié)合當(dāng)前幀的前向、后向時(shí)域傳播結(jié)果及c中的預(yù)測(cè)結(jié)果，得到對(duì)應(yīng)于當(dāng)前幀的時(shí)域顯著性圖；

e.首先構(gòu)建空域傳播圖模型；然后將步驟d所得到的結(jié)果相結(jié)合送入空域傳播；最后得到對(duì)應(yīng)于當(dāng)前幀的時(shí)空顯著性圖；

f.獲取當(dāng)前幀的時(shí)空顯著性圖后，判斷當(dāng)前幀是否為截止幀，若是，則算法結(jié)束；否則，算法則進(jìn)行至下一幀。

上述步驟a的具體步驟為：輸入視頻序列，將當(dāng)前幀記作ft，并將其前面兩幀記為{ft-2,ft-1}，其后面兩幀記為{ft+1,ft+2}，構(gòu)建以當(dāng)前幀ft為中心的局部時(shí)域窗口wtt＝{ft-2,ft-1,ft,ft+1,ft+2}；此時(shí)當(dāng)前幀ft的前面兩幀的時(shí)空顯著性圖已經(jīng)獲取，記作{smt-2,final，smt-1,final}。

上述步驟b的具體步驟為：

b-1.采用簡(jiǎn)單線性迭代聚類超像素分割算法對(duì)步驟a所得局部時(shí)域窗口wtt中的每一視頻幀進(jìn)行超像素區(qū)域分割，得到一系列超像素區(qū)域和nt為超像素區(qū)域個(gè)數(shù)；

b-2.利用光流場(chǎng)估計(jì)算法ldof，獲得局部時(shí)域窗口wtt中的每一視頻幀的運(yùn)動(dòng)矢量場(chǎng)mvft-2,t-1，mvft-1,t，mvft+1,t+2，和mvft+2,t+3；

b-3.提取四類區(qū)域特征：位置特征，記為水平x1、垂直x2；顏色特征，即rgb顏色值對(duì)應(yīng)的區(qū)域均值、方差，分別記作x3～x5、x6～x8和lab顏色值對(duì)應(yīng)的區(qū)域均值、方差x9～x11、x12～x14；紋理特征，即局部二值模式對(duì)應(yīng)的區(qū)域均值與方差，分別記作x15、x16；運(yùn)動(dòng)特征，即運(yùn)動(dòng)矢量場(chǎng)對(duì)應(yīng)的幅值、相位，亦包含區(qū)域均值與方差，記作x17～x20，其中x17,x18代表幅值的區(qū)域均值與方差，x19,x20代表相位的區(qū)域均值與方差。

上述步驟c中的獲取集成式顯著性預(yù)測(cè)模型的方法，分為訓(xùn)練與測(cè)試兩部分，具體步驟如下：

(c-1)、采用otsu算法對(duì)當(dāng)前幀的前兩幀{ft-2,ft-1}的顯著性圖{smt-2,final，smt-1,final}二值化，得到對(duì)應(yīng)的二值圖{bsmt-2,final,bsmt-1,final}；

(c-2)、對(duì)于ft-2，其對(duì)應(yīng)的超像素區(qū)域?yàn)?imgfile="bda0001271943360000031.gif"wi="310"he="125"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>利用下式來(lái)確定正負(fù)樣本：

這里，表示任一區(qū)域i與二值圖bsmt-2,final相交后，其中的前景點(diǎn)個(gè)數(shù)占該區(qū)域所有像素點(diǎn)個(gè)數(shù)的比率；當(dāng)時(shí)，標(biāo)記該區(qū)域?yàn)檎龢颖?，記?imgfile="bda0001271943360000035.gif"wi="262"he="86"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>當(dāng)則該區(qū)域標(biāo)記為負(fù)樣本，記為如此形成確定性的訓(xùn)練樣本對(duì)應(yīng)的正負(fù)樣本的標(biāo)記為：及對(duì)應(yīng)的四大類區(qū)域特征的數(shù)據(jù)為：q表示收集的區(qū)域樣本數(shù)目；

(c-3)、一般地，視頻數(shù)據(jù)中背景區(qū)域數(shù)目遠(yuǎn)大于前景區(qū)域數(shù)目，為此，這里將多數(shù)類樣本設(shè)定為背景樣本n，少數(shù)類樣本則設(shè)定為前景p；對(duì)已獲取的訓(xùn)練樣本中的負(fù)樣本進(jìn)行m次有放回的下采樣，每次采用數(shù)目為多數(shù)類樣本數(shù)目的得到一系列負(fù)樣本集{n1,n2,...,nm}，結(jié)合少數(shù)類樣本p，構(gòu)成了m個(gè)訓(xùn)練集集合，{{p,n1},{p,n2},...,{p,nm}}；利用隨機(jī)森林算法于這些訓(xùn)練集集合上訓(xùn)練，可得到m個(gè)隨機(jī)森林顯著性預(yù)測(cè)模型

(c-4)、重復(fù)步驟c-2和c-3，得到對(duì)應(yīng)于ft-1的隨機(jī)森林顯著性預(yù)測(cè)模型

(c-5)、利用{ft-2,ft-1}對(duì)應(yīng)的顯著性預(yù)測(cè)模型{mt-1,mt-2}，對(duì)于當(dāng)前幀ft可做如下顯著性預(yù)測(cè)：

smt,pre即是集成式顯著性預(yù)測(cè)模型的預(yù)測(cè)結(jié)果，其中xt為當(dāng)前幀ft的區(qū)域特征。

上述步驟d中的時(shí)域傳播，其具體步驟為：

(d-1)、計(jì)算當(dāng)前幀ft中的任一超像素區(qū)域中的像素點(diǎn)根據(jù)運(yùn)動(dòng)矢量場(chǎng)的位移mvft,t-1投影到前一幀ft-1后，得到投影后的超像素區(qū)域由此可計(jì)算與ft-1中任一區(qū)域之間的重疊度olrt,t-1(i,j)，即：

同樣，亦可計(jì)算投影后的超像素區(qū)域與之間的空間位置距離spdt,t-1(i,j)：

這里，與分別表示與的中心位置；表示的運(yùn)動(dòng)矢量場(chǎng)的區(qū)域均值。結(jié)合上述二者，即可確定于ft-1中的最匹配區(qū)域及相關(guān)集，即：

這里，為最匹配區(qū)域，表示相關(guān)集，由自身及其鄰接區(qū)域構(gòu)成，表示其中任一區(qū)域；然后與中所有元素的相似性，具體如下：

這里，與分別表示與中任一區(qū)域的顏色或運(yùn)動(dòng)特征，feadt,t-1(i,j)計(jì)算的是兩區(qū)域之間的特征距離；相似性wt,t-1(i,j)則利用了二者的空間距離與特征距離，其中z，z1及z2分別表示歸一化因子；最后，在上述兩步的基礎(chǔ)上進(jìn)行前向時(shí)域傳播：

此即是對(duì)應(yīng)于當(dāng)前幀上的前向時(shí)域傳播的結(jié)果。

(d-2)、利用當(dāng)前幀的前兩幀{ft-2,ft-1}對(duì)應(yīng)的預(yù)測(cè)模型{mt-1,mt-2}對(duì){ft+1,ft+2}做顯著性預(yù)測(cè)：

(d-3)、利用{ft-2,ft-1}對(duì){ft+1,ft+2}做前向傳播：

如此，分別為于ft+1與ft+2的前向時(shí)域傳播的結(jié)果；綜合步驟(d-2)與(d-3)的結(jié)果步驟(6)中將敘述的空域傳播，可得到對(duì)應(yīng)于{ft+1,ft+2}的粗略時(shí)空顯著性圖：

這里，上式表示將步驟(d-2)的結(jié)果同步驟(d-3)前述的結(jié)果相結(jié)合；箭頭即表示空域傳播，得到對(duì)應(yīng)于{ft+1,ft+2}的粗略時(shí)空顯著性圖

(d-4)、利用獲取的對(duì)應(yīng)于{ft+1,ft+2}的粗略時(shí)空顯著性圖對(duì)當(dāng)前幀ft做后向傳播，其過程同步驟(d-1)：

如此，即為ft的后向時(shí)域傳播的結(jié)果。這里要注意需先求得對(duì)應(yīng)的光流場(chǎng)mvft,t+1與mvft,t+2用于投影映射，計(jì)算公式(3)中的重疊度；

(d-5)、將步驟(c-5)中的預(yù)測(cè)結(jié)果smt,pre與步驟(d-1)、步驟(d-4)中的對(duì)應(yīng)的前后向時(shí)域傳播結(jié)果相結(jié)合，生成對(duì)應(yīng)于當(dāng)前幀的時(shí)域傳播結(jié)果smt,tp：

上述步驟e中的空域傳播方法，其具體步驟為：

(e-1)、分別采用lab區(qū)域均值x＝[x9,x10,x11]∈r³與運(yùn)動(dòng)幅值、相位之區(qū)域均值特征x＝[x17,x19]∈r²構(gòu)建圖模型；該圖模型的建立可參考lu于2013年提出的gmr模型。

(e-2)、將當(dāng)前幀的時(shí)域傳播結(jié)果smt,tp進(jìn)行二值化，得到二值圖bsmt,tp，對(duì)于其任一區(qū)域若其值等于1，則為前景點(diǎn)；若為0，則表示背景點(diǎn)；利用步驟(e-1)建立的圖模型進(jìn)行前景點(diǎn)傳播，即

smt,sp＝fqa(bsmt,tp)+fqm(bsmt,tp)(16)

這里fqa與fqm分別表示基于lab外觀顏色特征與運(yùn)動(dòng)特征建立的圖模型進(jìn)行的前景點(diǎn)傳播；結(jié)合步驟d中得到的時(shí)域傳播結(jié)果smt,tp，構(gòu)成了最終的時(shí)空顯著性圖，即

smt,final＝smt,tp+smt,sp(17)

為了更進(jìn)一步提升顯著性圖質(zhì)量，對(duì)smt,final引入圖割算法進(jìn)行優(yōu)化；如此，smt,final即是當(dāng)前幀ft對(duì)應(yīng)的時(shí)空顯著性圖。

上述步驟f中的判斷算法是否結(jié)束，具體如下：

獲取當(dāng)前幀ft的時(shí)空顯著性圖smt,final后，判斷當(dāng)前幀是否為截止幀，若是，則算法結(jié)束；反之，則進(jìn)行至下一幀：更新預(yù)測(cè)模型，具體同步驟(c-1,c-2,c-3,c-4)；獲得當(dāng)前幀ft對(duì)應(yīng)的預(yù)測(cè)模型接下來(lái)處理至第t+1幀，ft+1，此時(shí)的局部時(shí)域窗口變?yōu)閣tt+1＝{ft-1,ft,ft+1,ft+2,ft+3}，預(yù)測(cè)模型為{mt,mt-1}，已知幀的顯著性圖為{smt-1,final,smt,final}，接下重復(fù)步驟(c-5)至(e-2)；這里要注意，整個(gè)處理流程中，從第二幀開始至倒數(shù)第三幀結(jié)束，其中，第二幀與倒數(shù)第三幀的局部時(shí)域窗口僅包含三幀，其余各幀的局部時(shí)域窗口則為五幀；同時(shí)，給定第一幀對(duì)應(yīng)的二值圖。

本發(fā)明的基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn)：該發(fā)明充分利用了相鄰幀或鄰域幀之間的相關(guān)關(guān)系，即這些幀中的顯著性物體變化相對(duì)較??；該方法引入bagging機(jī)制構(gòu)建集成式預(yù)測(cè)模型，同時(shí)構(gòu)建局部時(shí)域窗口的雙向時(shí)域傳播框架，最后輔以空域傳播，能夠均勻點(diǎn)亮視頻幀中的顯著性物體，有效的抑制背景，從而準(zhǔn)確的凸顯出顯著性運(yùn)動(dòng)物體；對(duì)于無(wú)約束視頻中的復(fù)雜場(chǎng)景，該方法亦能較好的凸顯顯著對(duì)象，實(shí)現(xiàn)視頻顯著性檢測(cè)的目的。

附圖說(shuō)明

圖1是本發(fā)明的基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法的流程圖。

圖2是本發(fā)明的基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法的示意圖。

圖3是本發(fā)明步驟(c)中提出的集成式預(yù)測(cè)模型示意圖。

圖4是本發(fā)明步驟(d-2)與(d-3)的粗略時(shí)空顯著性圖的獲取的示意圖。

圖5是本發(fā)明步驟(e)的空域傳播框架示意圖。

圖6與7是本發(fā)明的方法作用于視頻的結(jié)果，這里僅取部分幀作示例。

圖8，即表1是本發(fā)明步驟(2)中提取的區(qū)域特征。

具體實(shí)施方式

下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明的實(shí)施例作進(jìn)一步詳細(xì)說(shuō)明。

本發(fā)明進(jìn)行的仿真實(shí)驗(yàn)是在cpu為英特爾i7-4790k、4ghz、內(nèi)存為16g的pc測(cè)試平臺(tái)上編程實(shí)現(xiàn)。如圖2所示，本發(fā)明的基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法，其具體步驟如下：

(1)、對(duì)于視頻的當(dāng)前幀ft，首先構(gòu)建以當(dāng)前幀ft為中心的局部時(shí)域窗口wtt＝{ft-2,ft-1,ft,ft+1,ft+2}，并利用ldof光流算法計(jì)算所需的光流場(chǎng)(運(yùn)動(dòng)矢量場(chǎng))；然后利用slic算法進(jìn)行超像素分割；最后提取區(qū)域特征，如表1(即圖8)所示。

(2)、首先基于前兩幀{ft-2,ft-1}的時(shí)空顯著性圖{smt-2,final，smt-1,final}，按照步驟(c-1,c-2,c-3,c-4)所述，獲取對(duì)應(yīng)于{ft-2,ft-1}的集成式顯著性預(yù)測(cè)模型{mt-1,mt-2}；然后利用(c-5)中的公式(2)對(duì)當(dāng)前幀進(jìn)行顯著性預(yù)測(cè)，得到smt,pre。該部分過程如圖3所示。具體的結(jié)果如圖2中預(yù)測(cè)模塊后的顯著性圖。

(3)、利用前兩幀{ft-2,ft-1}的時(shí)空顯著性圖{smt-2,final，smt-1,final}向當(dāng)前幀ft做前向時(shí)域傳播，具體操作參考步驟(d-1)，得到

(4)、基于{ft-2,ft-1}的集成式顯著性預(yù)測(cè)模型{mt-1,mt-2}利用公式(8,9)對(duì)后兩幀{ft+1,ft+2}做顯著性預(yù)測(cè)；基于前兩幀{ft-2,ft-1}的時(shí)空顯著性圖{smt-2,final，smt-1,final}對(duì)后兩幀{ft+1,ft+2}做前向傳播，具體操作參考步驟(d-1)及公式(7)；將前兩者的輸出送入后續(xù)步驟空域傳播框架中，得到對(duì)應(yīng)于{ft+1,ft+2}的粗略時(shí)空顯著性圖該部分具體如圖4所示。

(5)、基于{ft+1,ft+2}的粗略時(shí)空顯著性圖對(duì)當(dāng)前幀ft做后向時(shí)域傳播，具體操作參考步驟(d-1)、(d-4)及公式(14)，得到

(6)、利用公式(15)將對(duì)應(yīng)于前述(2，3，5)的smt,pre、相加得到對(duì)應(yīng)于當(dāng)前幀的時(shí)域傳播結(jié)果smt,tp，具體圖示如圖2中時(shí)域傳播模塊后的顯著性圖。

(7)、將smt,tp送入空域傳播框架中，具體操作參考步驟(e)，如圖5所示，得到最終的時(shí)空顯著性圖smt,final。其中，圖5(a)表示前述得到的時(shí)域傳播結(jié)果smt,tp，(b)表示對(duì)應(yīng)的二值圖bsmt,tp，(c)和(d)分別表示利用基于表觀圖模型與運(yùn)動(dòng)圖模型進(jìn)行前景傳播得到的結(jié)果，(e)表示公式(16)的結(jié)果，即初步空域傳播結(jié)果smt,sp，(f)表示最終的時(shí)空顯著性圖smt,final。

(8)、得到對(duì)應(yīng)于當(dāng)前幀ft的時(shí)空顯著性圖smt,final后，判斷當(dāng)前幀是否為截止幀，若是，則算法結(jié)束；否則，則利用步驟(c-2,c-3,c-4)得到對(duì)應(yīng)于當(dāng)前幀ft的顯著性預(yù)測(cè)模型如此處理下一幀ft+1，同樣構(gòu)建局部時(shí)域窗口，更新預(yù)測(cè)模型等，具體參考步驟(f)。

利用本發(fā)明的方法，取無(wú)約束視頻做仿真實(shí)驗(yàn)，結(jié)果如圖6與圖7所示，這里取部分幀作示例，其中第一列為輸入視頻幀，第二列為groundtruth，第三列為本發(fā)明對(duì)應(yīng)的結(jié)果。由前述及圖6與圖7可以看出，本發(fā)明基于集成式預(yù)測(cè)與時(shí)空域傳播的視頻顯著性檢測(cè)方法，以逐幀處理的方式對(duì)視頻進(jìn)行處理，充分利用自頂向下的算法及時(shí)域連貫性的優(yōu)勢(shì)，并結(jié)合有效的空域傳播策略，能夠均勻的點(diǎn)亮、凸顯視頻幀中的顯著性運(yùn)動(dòng)物體，同時(shí)有效的抑制背景。