亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種基于深度的視頻感興趣區(qū)域提取方法

文檔序號(hào):7703328閱讀:275來(lái)源:國(guó)知局
專利名稱:一種基于深度的視頻感興趣區(qū)域提取方法
技術(shù)領(lǐng)域
本發(fā)明涉及一種視頻信號(hào)的處理方法,尤其是涉及一種基于深度的視頻感興趣區(qū)域 提取方法。
背景技術(shù)
電視的出現(xiàn)極大的改變了人們的生活方式,有力地推動(dòng)了社會(huì)的進(jìn)步與發(fā)展。迄今 為止,廣播電視領(lǐng)域已經(jīng)經(jīng)歷了兩次技術(shù)革命,實(shí)現(xiàn)了從黑白到彩色、從模擬到數(shù)字高 清的跨越。立體電視,又稱3DTV (Three Dimensional Television,三維電視),因立體 電視能提供從平面到立體的跨越,必將成為廣播電視技術(shù)新發(fā)展方向,因此立體電視受 到了國(guó)內(nèi)外研究機(jī)構(gòu)和產(chǎn)業(yè)界的高度重視。
2002年,在歐洲委員會(huì)支持的1ST計(jì)劃中啟動(dòng)了一個(gè)ATTEST (高級(jí)三維電視系 統(tǒng)技術(shù))項(xiàng)目,目標(biāo)致力于建立一條完整的可向后兼容的三維數(shù)字電視廣播鏈系統(tǒng)。 ATTEST的目標(biāo)是提出一個(gè)3DTV廣播鏈的新理念,與現(xiàn)有的二維廣播實(shí)現(xiàn)向下兼容, 并廣泛地支持各種不同形式的二維和三維顯示。ATTEST的主要設(shè)計(jì)理念在于提出了在 傳統(tǒng)二維視頻圖像傳輸?shù)幕A(chǔ)上,增加深度圖(Depth Map)作為增強(qiáng)層信息,即"二 維彩色視頻加深度"的數(shù)據(jù)表示,以二維彩色視頻加深度的方式在顯示終端解碼、重建 三維視頻,而且業(yè)界部分先進(jìn)裸眼自由立體顯示終端也已支持二維彩色視頻加深度的 顯不模式。
運(yùn)動(dòng)圖像專家組在2001年12月成立專項(xiàng)工作組從事3DAV (Three Audio Visual, 三維音視頻)技術(shù)的核心探索實(shí)驗(yàn)研究。國(guó)際標(biāo)準(zhǔn)化組織JVT (聯(lián)合視頻專家組)2006 年正式開始三維立體相關(guān)技術(shù)的標(biāo)準(zhǔn)化工作,提出了多視點(diǎn)視頻加深度(Multi-view video plus depth, MVD)的三維場(chǎng)景表示方式,即采用K個(gè)視點(diǎn)的二維彩色視頻及二維 彩色視頻對(duì)應(yīng)的深度視頻信息來(lái)表達(dá)場(chǎng)景的三維信息。MVD能夠較好地支持基于深度 圖的視點(diǎn)繪制(Depth Image Based Rendering)方法,該方法具有虛擬視點(diǎn)繪制質(zhì)量高、 繪制視角廣、速度快等特點(diǎn),已逐漸成為3DTV和自由立體電視等多媒體系統(tǒng)中主 流三維表示方式。其中,深度視頻的生成目前主要有兩種方法, 一種是通過(guò)深度獲取 設(shè)備直接采集景物深度,深度獲取設(shè)備最為典型的如3DV Systems公司生產(chǎn)的深度立體 攝像頭Zcam;另一種是通過(guò)算法從采集到的普通二維視頻中生成深度信息,具有針對(duì)多路攝像機(jī)和單路攝相機(jī)的系列處理方法。
視頻感興趣區(qū)域提取是視頻壓縮與通信、視頻檢索、模式識(shí)別等領(lǐng)域中基于內(nèi)容的 視頻處理方法的核心技術(shù)之一。傳統(tǒng)的視頻感興趣區(qū)域提取方法主要利用彩色視頻的顏 色、邊緣以及運(yùn)動(dòng)等信息進(jìn)行感興趣區(qū)域分割,該提取方法的計(jì)算復(fù)雜度高,同時(shí)由于 可以利用的信息量的限制導(dǎo)致提取的感興趣區(qū)域的精度不高,且難以在復(fù)雜背景環(huán)境下 提取符合語(yǔ)義特征的感興趣區(qū)域。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種計(jì)算復(fù)雜度低、提取的感興趣區(qū)域的精度較 高,且所提取的感興趣區(qū)域符合語(yǔ)義特征的基于深度的視頻感興趣區(qū)域的提取方法。
本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為 一種基于深度的視頻感興趣區(qū)域的 提取方法,包括以下步驟-
(1) 、定義紋理視頻為二維彩色視頻或灰度視頻,定義紋理視頻中各時(shí)刻的紋理視 頻幀的尺寸大小均為『x/f,『為紋理視頻中各時(shí)刻的紋理視頻幀的寬,i/為紋理視頻
中各時(shí)刻的紋理視頻幀的高,記紋理視頻中^時(shí)刻的紋理視頻幀為F,,定義紋理視頻中
r時(shí)刻的紋理視頻幀F(xiàn),為當(dāng)前紋理視頻幀,采用運(yùn)動(dòng)檢測(cè)方法檢測(cè)當(dāng)前紋理視頻幀的運(yùn) 動(dòng)區(qū)域,并提取當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像,記當(dāng)前紋理視頻幀的運(yùn)動(dòng)
區(qū)域的二值掩模圖像為M;",然后采用邊緣提取算子提取當(dāng)前紋理視頻幀的輪廓紋理, 并對(duì)當(dāng)前紋理視頻幀的輪廓紋理進(jìn)行二值化處理得到當(dāng)前紋理視頻幀的輪廓紋理的二 值掩模圖像,記當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像為M^;
(2) 、定義紋理視頻對(duì)應(yīng)的深度視頻中各時(shí)刻的深度視頻幀為Z比特深度表示的灰 度圖,將深度視頻中各時(shí)刻的深度視頻幀的尺寸大小均設(shè)置為『x//,『為深度視頻中 各時(shí)刻的深度視頻幀的寬,//為深度視頻中各時(shí)刻的深度視頻幀的高,記深度視頻中/ 時(shí)刻的深度視頻幀為D,,定義深度視頻中f時(shí)刻的深度視頻幀D,為當(dāng)前深度視頻幀,根
據(jù)深度將當(dāng)前深度視頻幀分割成Z個(gè)深度層,提取當(dāng)前深度視頻幀的各個(gè)深度層的二值 掩模圖像,記第/個(gè)深度層的二值掩模圖像為1^0,,,,其中,/e
,然后采用邊緣
提取算子提取當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域,并對(duì)當(dāng)前深度視頻幀的深度不連續(xù)區(qū) 域進(jìn)行二值化處理得到當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像,記當(dāng)前深度 視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像為M,;(3) 、利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng) 區(qū)域的二值掩模圖像及當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像提取當(dāng)前深 度視頻幀的各個(gè)深度層的對(duì)象層種子點(diǎn),計(jì)算各個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方 圖,對(duì)各個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方圖進(jìn)行平滑處理,將各個(gè)平滑處理后的深
度直方圖劃分成r個(gè)分段,根據(jù)各個(gè)平滑處理后的深度直方圖的r個(gè)分段對(duì)當(dāng)前深度視 頻幀的各個(gè)深度層的二值掩模圖像進(jìn)行細(xì)分并提取得到r個(gè)深度對(duì)象層的二值掩模圖 像;
(4) 、利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng) 區(qū)域的二值掩模圖像、當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像及當(dāng)前深度視頻幀的 深度不連續(xù)區(qū)域的二值掩模圖像構(gòu)建當(dāng)前深度視頻幀的各個(gè)深度層的初步輪廓特征區(qū) 域的二值掩模圖像,然后采用輪廓恢復(fù)方法分別對(duì)各個(gè)深度層的初步輪廓特征區(qū)域的二 值掩模圖像進(jìn)行斷裂輪廓修復(fù),再分別濾除斷裂輪廓修復(fù)后得到的二值掩模圖像中存在 的孤立噪聲區(qū)域,得到各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的
輪廓特征區(qū)域的二值掩模圖像為M。;
(5) 、以當(dāng)前深度視頻幀的各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為特征,對(duì)
各個(gè)深度層中的各個(gè)深度對(duì)象層的二值掩模圖像進(jìn)行掃描,清除各個(gè)深度對(duì)象層的二值 掩模圖像中的非感興趣區(qū)域,得到各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感
興趣區(qū)域;
(6) 、將各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域加權(quán)疊加, 合并得到當(dāng)前紋理視頻幀的感興趣區(qū)域,記當(dāng)前紋理視頻幀的感興趣區(qū)域?yàn)镽,,
<formula>formula see original document page 12</formula>
其中,"x,力
表示當(dāng)前紋理視頻幀的感興趣區(qū)域中坐標(biāo)為(x,力的像素的像素值,/7,,,為在(0,1]范圍的
加權(quán)系數(shù),/Oc,力表示當(dāng)前紋理視頻幀中坐標(biāo)為Oc,力的像素的像素值,RM方為第/
個(gè)深度層的第A個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域。
所述的步驟(1)中的運(yùn)動(dòng)檢測(cè)方法的具體過(guò)程為(1) -a、記紋理視頻中與當(dāng)前紋
理視頻幀時(shí)間上連續(xù)的r+A:時(shí)刻的紋理視頻幀為Fw,其中,Ae[-7V/2,iV/2],且A-O,
W為小于10的正整數(shù);(l)-b、采用公知的圖像幀差法計(jì)算當(dāng)前紋理視頻幀與,+;t時(shí)刻 的紋理視頻幀F(xiàn)^的幀差圖像,記幀差圖像為F,-F,^; (1) -c、將幀差圖像F,-F,+^分
割成若干個(gè)尺寸大小為w, x/^的塊且塊與塊之間互不重疊,記橫坐標(biāo)為";c且縱坐標(biāo)為^的塊為BL,砂,其中,oxe
,砂e
,『為當(dāng)前紋理視頻幀的寬, //為當(dāng)前紋理視頻幀的高;(1) -d、根據(jù)幀差圖像F,-F,"中的各個(gè)塊確定當(dāng)前紋理視 頻幀中與幀差圖像F,-F,+,中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域還是非運(yùn)動(dòng)區(qū)域,對(duì) 于塊BL^,判斷塊B^^中當(dāng)前紋理視頻幀與f+A:時(shí)刻的紋理視頻幀F(xiàn)^的各個(gè)像素的 像素值之差的絕對(duì)值之和是否大于設(shè)定的第一閾值7;,其中,0S7;〈10xm^x/^,如果 是,則將當(dāng)前紋理視頻幀中與塊BL^對(duì)應(yīng)的區(qū)域中的所有像素的像素值置1,并確定該 區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前紋理視頻幀中與塊BL"對(duì)應(yīng)的區(qū)域中的所有像素的像 素值置0,并確定該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域;(l)-e、提取運(yùn)動(dòng)區(qū)域的二值掩模圖像M「, M「 為U^
中所有像素值為1的像素的集合,其中,0(F,-F,+J) 表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中與當(dāng)前紋理視頻幀與^ + /時(shí)刻的紋理視 頻幀F(xiàn) 的幀差圖像F,-F吣中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集 合,G)(F, - F,力)表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中與當(dāng)前紋理視頻幀與/ - _/ 時(shí)刻的紋理視頻幀F(xiàn),力的幀差圖像F,-F。中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1 的像素的集合。
所述的步驟(1)中的運(yùn)動(dòng)檢測(cè)方法的具體過(guò)程為(1) -1、記紋理視頻中與當(dāng)前 紋理視頻幀時(shí)間上連續(xù)的時(shí)刻的紋理視頻幀為F,+r其中,A:e[-7V/2,iV/2],且
A*0, W為小于10的正整數(shù);(1) -2、采用公知的光流法計(jì)算當(dāng)前紋理視頻幀與 時(shí)刻的紋理視頻幀F(xiàn),^的運(yùn)動(dòng)矢量圖像,記運(yùn)動(dòng)矢量圖像為V; (1) -3、將運(yùn)動(dòng)矢量圖
像V分割成若干個(gè)尺寸大小為vv2 的塊且塊與塊之間互不重疊,記橫坐標(biāo)為且縱坐
標(biāo)為^的塊為BL辦,其中,&xe
, &>^
,『為當(dāng)前紋理視頻
幀的寬,//為當(dāng)前紋理視頻幀的高;(1) -4、根據(jù)運(yùn)動(dòng)矢量圖像V中的各個(gè)塊確定當(dāng)前 紋理視頻幀中與運(yùn)動(dòng)矢量圖像V中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域還是非運(yùn)動(dòng)區(qū)
域,對(duì)于塊B^^,判斷塊B^^中運(yùn)動(dòng)矢量圖像V的運(yùn)動(dòng)幅度的絕對(duì)值的平均值是否大 于設(shè)定的第二閾值7;,其中,0^r <10xW2></z2,如果是,則將當(dāng)前紋理視頻幀中與塊B^ 對(duì)應(yīng)的區(qū)域中的所有像素的像素值置l,并確定該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前 紋理視頻幀中與塊BL 對(duì)應(yīng)的區(qū)域中的所有像素的像素值置0,并確定該區(qū)域?yàn)榉沁\(yùn)動(dòng) 區(qū)域;(1)-5、提取運(yùn)動(dòng)區(qū)域的二值掩模圖像M,"', Mr為U-
,其中,/e
, MD,,
為當(dāng)前深度視頻幀的第/個(gè)深度層的二值掩模圖像,M「為當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域 的二值掩模圖像,Mf為當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像;(3) -2、
記第/個(gè)深度層的對(duì)象層種子點(diǎn)i;,的深度直方圖為第/個(gè)深度層的對(duì)象層種
子點(diǎn)T1;的深度直方圖/z(i;,,/)表示第/個(gè)深度層的對(duì)象層種子點(diǎn)T,,中深度值《(;c,力為 /的像素的個(gè)數(shù),其中,/e
; (3) -3、對(duì)第/個(gè)深度層的對(duì)象層種子點(diǎn)i;,的深 度直方圖//(T,,,/)進(jìn)行平滑處理,記平滑處理后的深度直方圖為/^(T,,,/),
1(T""卜i::/2。MV"力,其中,。為加權(quán)系數(shù)且滿足1]^/2。=1, R為平
滑窗口的尺寸大小,Re[2,io], //(1;,,/+力表示第/個(gè)深度層的對(duì)象層種子點(diǎn)1;/中深
度值《(x,力為/+/ 的像素的個(gè)數(shù);(3) -4、將平滑處理后的深度直方圖/^,(1;/,/)劃分
成r個(gè)分段,記第A個(gè)分段為[A,&],其中,;u[o,r-1], ^和^為分段參數(shù),且^和&滿足條件
、,(U)*o,y/ebA,^j , z;為設(shè)定的第三閾值,
/^e
o^7)^!;"72 ^,,^; (3)-5、根據(jù)深度直方圖/^(T,,,,/)的r個(gè)分段對(duì)第/個(gè)深度層 的二值掩模圖像1^ \,進(jìn)行細(xì)分并提取得到1^個(gè)深度對(duì)象層的二值掩模圖像,記第/i個(gè)深
度對(duì)象層的二值掩模圖像為MD,,。
所述的步驟(3) -5中根據(jù)深度直方圖/^(T;"/)的r個(gè)分段對(duì)第/個(gè)深度層的二值 掩模圖像md,,,進(jìn)行細(xì)分并提取得到r個(gè)深度對(duì)象層的二值掩模圖像的具體過(guò)程為對(duì)于
深度直方圖、,(1;/,/)的第/1個(gè)分段[;7/1,^1],計(jì)算第A個(gè)分段[^,^]的深度均值和深度
平均絕對(duì)離差,記第a個(gè)分段[a,《j的深度均值為& , i
7Hft(/x/Uru,^,記第義個(gè)分段[At,^]的深度平均絕對(duì)離差為
°^,
S:/4^,,')卜〃」,根據(jù)第A個(gè)分段[A,&]的深度均值A(chǔ)
和深度平均絕對(duì)離差CJ,將第/1個(gè)深度對(duì)象層中深度值《(x,力滿足條件
《(x,力e[/^-G^,A+(y^]的所有像素的像素值置1,將不滿足條件的所有像素的像
素值置0,得到第/l個(gè)深度對(duì)象層的二值掩模圖像,記第義個(gè)深度對(duì)象層的二值掩模圖 像為MD;1, , MD(, ^(;c,力l《(x,力e[〃廣cyo^/^+wcrj},其中,w為加權(quán)系數(shù),《(jc,力
為當(dāng)前深度視頻幀中坐標(biāo)為(x, j)的像素的深度值。
所述的步驟(4)的具體過(guò)程為(4) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,利 用第/個(gè)深度層的二值掩模圖像MD,,,、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像
M「、當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像M[及當(dāng)前深度視頻幀的深度不連續(xù)
區(qū)域的二值掩模圖像Mf構(gòu)建第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像為T2,, , T2/ -MD^r^MruMfuM;],
其中,"[(U-l],將第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,分割成若干
個(gè)尺寸大小為w3x&的塊,塊與塊之間互不重疊,記橫坐標(biāo)為cx且縱坐標(biāo)為矽的塊為
BLa,其中,"e
, ^£
,『為當(dāng)前深度視頻幀的寬,i/為當(dāng) 前深度視頻幀的高;(4) -2、采用輪廓恢復(fù)方法對(duì)第/個(gè)深度層的初步輪廓特征區(qū)域的 二值掩模圖像T2,,進(jìn)行斷裂輪廓修復(fù),輪廓恢復(fù)方法的具體過(guò)程為首先判斷第/個(gè)深
度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,中的各個(gè)塊是否為疑似輪廓特征區(qū)域,對(duì)
于第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,中的塊B二^ ,判斷塊B^^中像
素值為1的像素的個(gè)數(shù)是否大于設(shè)定的第四閾值 ;,其中,0S7;^w3x^,如果是,則
將塊BL,^中的所有像素的像素值置1,并確定該塊B^^為疑似輪廓特征區(qū)域,否則,將
塊BL,C的所有像素的像素值置O,并確定該塊B^為非疑似輪廓特征區(qū)域;由各個(gè)疑 似輪廓特征區(qū)域和各個(gè)非疑似輪廓特征區(qū)域構(gòu)成疑似輪廓特征區(qū)域的二值掩模圖像,然 后采用公知的形態(tài)學(xué)膨脹和腐蝕算法,以尺寸大小為w4x/z4的矩形區(qū)域?yàn)榕蛎浉g運(yùn)算
的基元,對(duì)疑似輪廓特征區(qū)域的二值掩模圖像進(jìn)行巧次膨脹和"2腐蝕操作;(4) -3、濾
除膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模圖像中存在的孤立噪聲區(qū)域,得到 第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,具體過(guò)程為采用公知的連通區(qū)域計(jì)算 法計(jì)算膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模圖像中的疑似輪廓特征區(qū)域 的八鄰接連通區(qū)域,并判斷疑似輪廓特征區(qū)域中的各個(gè)連通區(qū)域中像素值為1的像素的
個(gè)數(shù)是否小于設(shè)定的第五閾值7;,其中,0<7;<『><///100,如果是,則標(biāo)記該連通區(qū)
域?yàn)榉禽喞卣鲄^(qū)域,否則,標(biāo)記該連通區(qū)域?yàn)檩喞卣鲄^(qū)域,得到第/個(gè)深度層的輪
廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為M「,,。
所述的步驟(5)的具體過(guò)程為(5) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,將
第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像M〖,中坐標(biāo)為(;^)的像素的像素值表示為
附力(x,30,對(duì)于第/個(gè)深度層的第義個(gè)深度對(duì)象層,記第/個(gè)深度層的第義個(gè)深度對(duì)象層 的二值掩模圖像為MDi,將MD么中坐標(biāo)為(x,力的像素的像素值表示為mt^(;c,力;(5)-2、以MD^的最左上角像素為起始像素,從左到右逐列對(duì)MD^進(jìn)行列掃描,在列掃描 過(guò)程中自上而下逐像素進(jìn)行掃描,對(duì)于MD^,的第p列,從該列中位于MD力的上邊界的 像素開始自上而下向該列中位于MD力,的下邊界的像素逐像素掃描,當(dāng)M。中與該列中 坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值附力(x,;0-O時(shí),將該列中坐標(biāo)為(xj;)的像素的像 素值wc^(x,少)置0,并確定該列中坐標(biāo)為(xjO的像素為非感興趣區(qū)域,繼續(xù)掃描該列的 下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至M。中與該列中坐標(biāo)為(jc,力的像素 對(duì)應(yīng)的像素的像素值附力(x,;04或己掃描到該列中位于MD^的下邊界的像素時(shí)停止 對(duì)該列的掃描;(5) -3、對(duì)于MD^的第p+l列,重復(fù)步驟(5) -2,確定第p+l列中各個(gè) 像素是否為非感興趣區(qū)域,直至掃描完MD么的最后一列;(5) -4、以MDf,的最左下角 像素為起始像素,從左到右逐列對(duì)MD^進(jìn)行列掃描,在列掃描過(guò)程中自下而上逐像素 進(jìn)行掃描,對(duì)于MD〖,的第p列,從該列中位于MD力的下邊界的像素開始自下而上向該 列中位于MD二的上邊界的像素逐像素掃描,當(dāng)M〖,中與該列中坐標(biāo)為(x,力的像素對(duì)應(yīng)的
像素的像素值附i(U)-O時(shí),將該列中坐標(biāo)為(x,力的像素的像素值m《(x,力置0,并 確定該列中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描該列的下一個(gè)像素,確定該像 素是否為非感興趣區(qū)域,直至M^中與該列中坐標(biāo)為(jc,力的像素對(duì)應(yīng)的像素的像素值
4(x,力"或已掃描到該列中位于MD^的上邊界的像素時(shí)停止對(duì)該列的掃描;(5) -5、
對(duì)于MDi的第^+l列,重復(fù)步驟(5)-4,確定第/7+l列中各個(gè)像素是否為非感興趣區(qū)域,
直至掃描完MDi的最后一列;(5) -6、以MD么的最左上角像素為起始像素,自上而下
逐行對(duì)MD^進(jìn)行行掃描,在行掃描過(guò)程中從左到右逐像素進(jìn)行掃描,對(duì)于MDf,的第《
行,從該行中位于MDf,,的左邊界的像素開始從左到右向該行中位于MD,,的右邊界的像
素逐像素掃描,當(dāng)1V^中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值"^(x,力二0
時(shí),將該行中坐標(biāo)為0c,力的像素的像素值w《,^,30置O,并確定該行中坐標(biāo)為(xjO的像 素為非感興趣區(qū)域,繼續(xù)掃描該行的下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至M。中與該行中坐標(biāo)為(x,;;)的像素對(duì)應(yīng)的像素的像素值m二0:,力二l或已掃描到該行 中位于MD古的右邊界的像素時(shí)停止對(duì)該行的掃描;(5) -7、對(duì)于MDf,的第g+l行,重 復(fù)步驟(5) -6,確定第《+l列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完MD么的最 后一行;(5) -8、以MD力,的最右上角像素為起始像素,自上而下逐行對(duì)MD力進(jìn)行行掃 描,在行掃描過(guò)程中從右到左逐像素進(jìn)行掃描,對(duì)于MDf,的第《行,從該行中位于MD,(,
的右邊界的像素開始從右到左向該行中位于md^的左邊界的像素逐像素掃描,當(dāng)mj;,
中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值w力(x,;;)-O時(shí),將該行中坐標(biāo)為(xjO 的像素的像素值附"力(x,力置O,并確定該行中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù) 掃描該行的下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至M。中與該行中坐標(biāo)為 Oqy)的像素對(duì)應(yīng)的像素的像素值^(A力"或已掃描到該行中位于MD二的左邊界的像 素時(shí)停止對(duì)該行的掃描;(5) -9、對(duì)于MD力,的第《+1行,重復(fù)步驟(5) -8,確定第《+l 列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完MD力,的最后一行;(5) -10、通過(guò)上述 對(duì)MDf,,的掃描得到MD力,中的感興趣區(qū)域,記MD,,中的感興趣區(qū)域?yàn)镽M,,, RM,(,((x,力lm《(x,j;卜l)。
與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)在于聯(lián)合利用了時(shí)間上同步的紋理視頻幀和紋理視 頻幀對(duì)應(yīng)的深度視頻幀,首先通過(guò)提取紋理視頻幀的運(yùn)動(dòng)區(qū)域和輪廓紋理,獲取運(yùn)動(dòng)區(qū) 域的二值掩模圖像和輪廓紋理的二值掩模圖像,將深度視頻幀分割成多個(gè)深度層,獲取 各個(gè)深度層的二值掩模圖像,提取深度視頻幀的深度不連續(xù)區(qū)域,獲取深度不連續(xù)區(qū)域 的二值掩模圖像,然后利用各個(gè)深度層的二值掩模圖像、運(yùn)動(dòng)區(qū)域的二值掩模圖像及深 度不連續(xù)區(qū)域的二值掩模圖像獲取各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像,利用 各個(gè)深度層的二值掩模圖像、運(yùn)動(dòng)區(qū)域的二值掩模圖像、輪廓紋理的二值掩模圖像及深 度不連續(xù)區(qū)域的二值掩模圖像構(gòu)建當(dāng)前深度視頻幀的各個(gè)深度層的初步輪廓特征區(qū)域 的二值掩模圖像,并對(duì)各個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像進(jìn)行斷裂輪廓修 復(fù)和孤立噪聲區(qū)域?yàn)V除,得到各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,再以各個(gè)深 度層的輪廓特征區(qū)域的二值掩模圖像為特征,對(duì)各個(gè)深度對(duì)象層的二值掩模圖像進(jìn)行掃 描,得到各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域,最后加權(quán)疊加各個(gè)深度對(duì)象 層的二值掩模圖像中的感興趣區(qū)域得到紋理視頻幀的感興趣區(qū)域,該方法計(jì)算復(fù)雜度低,能夠從紋理復(fù)雜的背景環(huán)境中提取感興趣區(qū)域,通過(guò)該方法獲取的感興趣區(qū)域符合 人眼對(duì)運(yùn)動(dòng)對(duì)象感興趣的視覺特性外,還符合人眼在立體視覺中對(duì)深度感強(qiáng)且距離近的 對(duì)象感興趣的深度感知特性,符合語(yǔ)義特征且精度較高。


圖la為測(cè)試序列"Ballet"彩色視頻中/時(shí)刻的彩色視頻幀;
圖lb為測(cè)試序列"Breakdancers"彩色視頻中?時(shí)刻的彩色視頻幀;
圖lc為測(cè)試序列"Ballet"彩色視頻對(duì)應(yīng)的深度視頻中/時(shí)刻的深度視頻幀;
圖Id為測(cè)試序列"Breakdancers"彩色視頻對(duì)應(yīng)的深度視頻中/時(shí)刻的深度視頻幀;
圖2為本發(fā)明方法的總體流程框圖3a為圖la所示的彩色視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像;
圖3b為圖la所示的彩色視頻幀的輪廓紋理的二值掩模圖像;
圖3c為圖lc所示的深度視頻幀的各個(gè)深度層的二值掩模圖像;
圖3d為圖lc所示的深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像;
圖4a為利用圖3c所示的深度視頻幀的最小深度層的二值掩模圖像、圖3a所示的
運(yùn)動(dòng)區(qū)域的二值掩模圖像及圖3d所示的深度不連續(xù)區(qū)域的二值掩模圖像提取得到的最
小深度層的對(duì)象種子點(diǎn);
圖4b為圖3c所示的深度視頻幀的最小深度層的二值掩模圖像的第0個(gè)深度對(duì)象層
的二值掩模圖像;
圖4c為圖3c所示的深度視頻幀的最小深度層的二值掩模圖像的第1個(gè)深度對(duì)象層 的二值掩模圖像;
圖5a為利用圖3c所示的深度視頻幀的最小深度層的二值掩模圖像、圖3a所示的 運(yùn)動(dòng)區(qū)域的二值掩模圖像、圖3d所示的深度不連續(xù)區(qū)域的二值掩模圖像及圖3b所示的 輪廓紋理的二值掩模圖像構(gòu)建得到的最小深度層的初步輪廓特征區(qū)域的二值掩模圖像; 圖5b為圖5a所示的最小深度層的初步輪廓特征區(qū)域的二值掩模圖像經(jīng)斷裂輪廓修 復(fù)及孤立噪聲區(qū)域去除后得到的最小深度層的輪廓特征區(qū)域的二值掩模圖像; 圖6a為圖4b所示的第0個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域; 圖6b為圖4c所示的第1個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域; 圖7a為加權(quán)疊加圖6a和圖6b所示的感興趣區(qū)域得到的"Ballet"彩色視頻中f時(shí) 刻的彩色視頻幀中的感興趣區(qū)域;
圖7b為測(cè)試序列"Breakdancers"彩色視頻中f時(shí)刻的彩色視頻幀經(jīng)本發(fā)明處理后 得到的感興趣區(qū)域;
圖8a為測(cè)試序列"Ballet"彩色視頻中什l時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;
圖8b為測(cè)試序列"Ballet"彩色視頻中&2時(shí)刻的彩色視頻幀本發(fā)明處理后得到的 感興趣區(qū)域;
圖8c為測(cè)試序列"Ballet"彩色視頻中/+3時(shí)刻的彩色視頻幀本發(fā)明處理后得到的 感興趣區(qū)域;
圖8d為測(cè)試序列"Ballet"彩色視頻中&4時(shí)刻的彩色視頻幀本發(fā)明處理后得到的 感興趣區(qū)域;
圖9a為測(cè)試序列"Breakdancers"彩色視頻中f+l時(shí)刻的彩色視頻幀本發(fā)明處理后 得到的感興趣區(qū)域;
圖9b為測(cè)試序列"Breakdancers"彩色視頻中r+2時(shí)刻的彩色視頻幀本發(fā)明處理后 得到的感興趣區(qū)域;
圖9c為測(cè)試序列"Breakdancers"彩色視頻中/+3時(shí)刻的彩色視頻幀本發(fā)明處理后 得到的感興趣區(qū)域;
圖9d為測(cè)試序列"Breakdancers"彩色視頻中r+4時(shí)刻的彩色視頻幀本發(fā)明處理后 得到的感興趣區(qū)域。
具體實(shí)施例方式
以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
本發(fā)明的基于深度的視頻感興趣區(qū)域的提取方法,主要聯(lián)合利用了時(shí)間上同步的深 度視頻的信息和紋理視頻的信息來(lái)提取視頻的感興趣區(qū)域,在本實(shí)施例中定義紋理視頻 為二維彩色視頻或灰度視頻。在此,紋理視頻以測(cè)試序列"Ballet"彩色視頻和 "Breakdancers"彩色視頻為例,圖la給出了 "Ballet"彩色視頻中t時(shí)刻的彩色視頻幀, 圖lb給出了"Breakdancers"彩色視頻中t時(shí)刻的彩色視頻幀,圖lc為測(cè)試序列"Ballet" 彩色視頻對(duì)應(yīng)的深度視頻中f時(shí)刻的深度視頻幀,圖Id為測(cè)試序列"Breakdancers"彩 色視頻對(duì)應(yīng)的深度視頻中f時(shí)刻的深度視頻幀,彩色視頻對(duì)應(yīng)的深度視頻中各時(shí)刻的深 度視頻幀為Z比特深度表示的灰度圖,灰度圖的灰度值表示深度視頻幀中各像素所表示 的對(duì)象到相機(jī)的相對(duì)距離。紋理視頻幀的尺寸大小定義為『x//,而對(duì)于深度視頻,若 尺寸與紋理視頻幀的尺寸不相同,則一般采用現(xiàn)有的尺度變換和插值等方法將深度視頻 幀設(shè)置為與紋理視頻幀相同的尺寸,即也為『xi/,『為紋理視頻中各時(shí)刻的紋理視頻 幀的寬或深度視頻中各時(shí)刻的深度視頻幀的寬,if為紋理視頻中各時(shí)刻的紋理視頻幀的 高或深度視頻中各時(shí)刻的深度視頻幀的高,將深度視頻幀的尺寸大小設(shè)置成與紋理視頻 幀的尺寸大小相同,目的是為了更方便地提取視頻感興趣區(qū)域。本發(fā)明方法的總體處理 流程框圖如圖2所示,具體包括以下步驟(1)、定義紋理視頻為二維彩色視頻或灰度視頻,定義紋理視頻中各時(shí)刻的紋理視 頻幀的尺寸大小均為『x//,『為紋理視頻中各時(shí)刻的紋理視頻幀的寬,//為紋理視頻
中各時(shí)刻的紋理視頻幀的高,記紋理視頻中?時(shí)刻的紋理視頻幀為F,,定義紋理視頻中
^時(shí)刻的紋理視頻幀F(xiàn),為當(dāng)前紋理視頻幀,采用運(yùn)動(dòng)檢測(cè)方法檢測(cè)當(dāng)前紋理視頻幀的運(yùn)
動(dòng)區(qū)域,并提取當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像,記當(dāng)前紋理視頻幀的運(yùn)動(dòng) 區(qū)域的二值掩模圖像為M;1 ,然后采用邊緣提取算子提取當(dāng)前紋理視頻幀的輪廓紋理,
并對(duì)當(dāng)前紋理視頻幀的輪廓紋理進(jìn)行二值化處理得到當(dāng)前紋理視頻幀的輪廓紋理的二 值掩模圖像,記當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像為。
在該步驟中運(yùn)動(dòng)檢測(cè)方法的具體過(guò)程為(1) -a、記紋理視頻中與當(dāng)前紋理視頻幀 時(shí)間上連續(xù)的f+A時(shí)刻的紋理視頻幀為F,+r其中,Ae[-7V/2,7V/2],且A:^0, 7V為小
于10的正整數(shù);(l)-b、采用公知的圖像幀差法計(jì)算當(dāng)前紋理視頻幀與&A:時(shí)刻的紋理 視頻幀F(xiàn)^的幀差圖像,記幀差圖像為F,-F,+,; (l)-c、將幀差圖像F,-F^分割成若干
個(gè)尺寸大小為vv,x/^的塊且塊與塊之間互不重疊,記橫坐標(biāo)為ox且縱坐標(biāo)為qy的塊為
BL,。"其中,"xe
, ";;e
,『為當(dāng)前紋理視頻幀的寬,//為當(dāng)
前紋理視頻幀的高;(l)-d、根據(jù)幀差圖像F,-F,^中的各個(gè)塊確定當(dāng)前紋理視頻幀中與
幀差圖像F, -F,+4中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域還是非運(yùn)動(dòng)區(qū)域,對(duì)于塊BL,",
判斷塊8| ^中當(dāng)前紋理視頻幀與/+&時(shí)刻的紋理視頻幀巧+,的各個(gè)像素的像素值之差的
絕對(duì)值之和是否大于設(shè)定的第一閾值 ;,其中,os7;〈iOxw,xA,第一閾值 ;的數(shù)值
選擇是因?yàn)橐话阌捎谙鄼C(jī)噪聲造成連續(xù)兩幀紋理視頻幀的靜止區(qū)域的對(duì)應(yīng)單像素值抖 動(dòng)絕對(duì)差值小于10,如果是,則將當(dāng)前紋理視頻幀中與塊B'^。^寸應(yīng)的區(qū)域中的所有像
素的像素值置l,即標(biāo)記該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前紋理視頻幀中與塊B;^對(duì)應(yīng)
的區(qū)域中的所有像素的像素值置0,即標(biāo)記該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域;(1) -e、提取運(yùn)動(dòng)區(qū) 域的二值掩模圖像M;", M「為U-[G)(F,-F,+》。0(F,-F,—」]中所有像素值為1的像
素的集合,其中,0(F,-F )表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中當(dāng)前紋理
視頻幀與f + y時(shí)刻的紋理視頻幀F(xiàn)^的幀差圖像F,-F,"中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合,表示了前紋理視頻幀相對(duì)于^ + _/時(shí)刻的紋理視頻幀^+7 的運(yùn)動(dòng)區(qū)域,F(xiàn),力)表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中當(dāng)前紋理視頻 幀與卜/時(shí)刻的紋理視頻幀F(xiàn),力的幀差圖像F,-F,力中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有 像素值為1的像素的集合,表示了前紋理視頻幀相對(duì)于纟-y時(shí)刻的紋理視頻幀F(xiàn),力的運(yùn) 動(dòng)區(qū)域,。在本實(shí)施例中,可取iV-2, ^=^=2,乙=15,即采用基于2x2塊的圖像 幀差法提取連續(xù)3幀即H、 Z和汁l時(shí)刻的紋理視頻幀的運(yùn)動(dòng)區(qū)域,當(dāng)2x2塊B二。y中 幀差圖像F, -F,+1的各個(gè)像素的像素值的絕對(duì)值之和大于15并且2x2塊B^^中幀差圖像 F,-Fw的各個(gè)像素的像素值的絕對(duì)值之和也大于15時(shí),則標(biāo)記當(dāng)前紋理視頻幀中與塊 B^^對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則標(biāo)記當(dāng)前紋理視頻幀中與塊BL,^對(duì)應(yīng)的區(qū)域?yàn)榉沁\(yùn) 動(dòng)區(qū)域,得到運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)掩模M「,圖la所示的彩色視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模
圖像M;"如圖3a所示。
運(yùn)動(dòng)檢測(cè)方法除上述給出的過(guò)程外,也可采用以下具體過(guò)程(1) -1、記紋理視頻 中與當(dāng)前紋理視頻幀時(shí)間上連續(xù)的f+it時(shí)刻的紋理視頻幀為F,+t ,其中,
A:eHV/2,iV/2],且A:^0, iV為小于10的正整數(shù);(1) -2、采用公知的光流法計(jì)算當(dāng)
前紋理視頻幀與/+^時(shí)刻的紋理視頻幀5"的運(yùn)動(dòng)矢量圖像,記運(yùn)動(dòng)矢量圖像為V; (1)
-3、將運(yùn)動(dòng)矢量圖像V分割成若干個(gè)尺寸大小為v^x&的塊且塊與塊之間互不重疊,記
橫坐標(biāo)為6x且縱坐標(biāo)為&的塊為BL ,其中,&ce
, ^e
,『
為當(dāng)前紋理視頻幀的寬,//為當(dāng)前紋理視頻幀的高;(1)-4、根據(jù)運(yùn)動(dòng)矢量圖像V中的 各個(gè)塊確定當(dāng)前紋理視頻幀中與運(yùn)動(dòng)矢量圖像V中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)
域還是非運(yùn)動(dòng)區(qū)域,對(duì)于塊BL^,判斷塊B^^中運(yùn)動(dòng)矢量圖像V的運(yùn)動(dòng)幅度的絕對(duì)值
的平均值是否大于設(shè)定的第二閾值 ;,其中,0^7;〈ioxw2x/^,第二閾值 ;的數(shù)值選
擇因?yàn)橛捎谙鄼C(jī)噪聲造成連續(xù)兩幀紋理視頻幀的靜止區(qū)域的對(duì)應(yīng)像素值抖動(dòng),并由像素 值抖動(dòng)誤差導(dǎo)致采用光流法進(jìn)行運(yùn)動(dòng)檢測(cè)所得的單像素運(yùn)動(dòng)矢量絕對(duì)誤差一般小于io,
如果是,則將當(dāng)前紋理視頻幀中與塊BL^對(duì)應(yīng)的區(qū)域中的所有像素的像素值置1,即標(biāo)記該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前紋理視頻幀中與塊B^^對(duì)應(yīng)的區(qū)域中的所有像素 的像素值置0,即標(biāo)記該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域;(1)-5、提取運(yùn)動(dòng)區(qū)域的二值掩模圖像M「,
M「為L(zhǎng)O(F',F(xiàn)'"〕。①(F',F )]中所有像素值為1的像素的集合,其中,。(F,,F(xiàn),+乂) 表示通過(guò)步驟(1) -4得到的當(dāng)前紋理視頻幀中當(dāng)前紋理視頻幀與纟+ /時(shí)刻的紋理視頻 幀F(xiàn)"的運(yùn)動(dòng)矢量圖像中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合,表 示了前紋理視頻幀相對(duì)于/ + 乂時(shí)刻的紋理視頻幀巧"的運(yùn)動(dòng)區(qū)域,O(F,,F(xiàn),力)表示通過(guò)步
驟(1) -4得到的當(dāng)前紋理視頻幀中當(dāng)前紋理視頻幀與卜)時(shí)刻的紋理視頻幀^力的運(yùn)動(dòng)
矢量圖像中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合,表示了前紋理視 頻幀相對(duì)于,-7時(shí)刻的紋理視頻幀F(xiàn) 的運(yùn)動(dòng)區(qū)域。
在此,運(yùn)動(dòng)檢測(cè)方法還可采用其他現(xiàn)有的運(yùn)動(dòng)檢測(cè)方法;在提取當(dāng)前紋理視頻幀的 輪廓紋理過(guò)程中采用的邊緣提取算子可采用Sobel邊緣提取算子、Canny邊緣提取算子、 Roberts邊緣提取算子、Laplace邊緣提取算子中的任一種,如采用Sobel邊緣提取算子 對(duì)當(dāng)前紋理視頻幀的亮度分量作縱、橫向兩次運(yùn)算,并取縱、橫方向的較大邊緣作為當(dāng) 前紋理視頻幀的輪廓紋理,圖3b給出了圖la所示的彩色視頻幀經(jīng)Sobel邊緣提取算子 提取后得到的輪廓紋理再經(jīng)二值化處理后得到的二值掩模圖像。
(2)、定義紋理視頻對(duì)應(yīng)的深度視頻中各時(shí)刻的深度視頻幀為Z比特深度表示的灰
度圖,其0到2Z-1范圍的灰度值表示深度視頻幀中的各個(gè)像素所表示的對(duì)象到相機(jī)的
相對(duì)距離,灰度值0對(duì)應(yīng)最大深度,灰度值22-1對(duì)應(yīng)最小深度,將深度視頻中各時(shí)刻 的深度視頻幀的尺寸大小均設(shè)置為『x/f ,『為深度視頻中各時(shí)刻的深度視頻幀的寬, //為深度視頻中各時(shí)刻的深度視頻幀的高,記深度視頻中r時(shí)刻的深度視頻幀為D,,定
義深度視頻中f時(shí)刻的深度視頻幀D,為當(dāng)前深度視頻幀,將當(dāng)前深度視頻幀中坐標(biāo)為Ocj)
的像素的深度值記為《(;c,力,用丄+l個(gè)閾值7^D,其中,we
,7^D=0, 7^D=2Z,
將當(dāng)前深度視頻幀依據(jù)深度分割成丄個(gè)深度層,提取當(dāng)前深度視頻幀的各個(gè)深度層的二 值掩模圖像,記第/個(gè)深度層的二值掩模圖像為MD(/ ,
MD,,={(x,y)|《(x,;;)e[7^D,7^)},其中,Ze
, / = 0時(shí)MD,0表示最小深度層
的二值掩模圖像,/ = £-1時(shí)MD,n表示最大深度層的二值掩模圖像,對(duì)于最大深度層的二值掩模圖像MD,,,可直接確認(rèn)其為非感興趣的背景區(qū)域。在此,比特深度可以根
據(jù)需要選取,如16比特深度或8比特深度等,在本實(shí)施例中深度視頻幀為8比特深度 的灰度圖,即2=8,另外在此為方便說(shuō)明,丄取值為2,這樣分割當(dāng)前深度視頻幀的深
度層的三個(gè)閾值分別為T^、 7!和7^D, C=0, C^2T。'I^》^,力/^xW和 r:=28 =256,根據(jù)深度將當(dāng)前深度視頻幀分割為兩層,即MD,。和MD,"在此認(rèn)為 當(dāng)前深度視頻幀的最小深度層的二值掩模圖像MD,。為感興趣的前景區(qū)域,最大深度層 的二值掩模圖像MD,j為非感興趣的背景區(qū)域,將圖lc所示的深度視頻幀依照上述方法
分割成兩層深度層MD,。和MD,,,, MD,。如圖3c的黑色區(qū)域所示,MD,,,如圖3c的白
色區(qū)域所示。
然后采用邊緣提取算子提取當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域即邊緣,并對(duì)當(dāng)前深 度視頻幀的深度不連續(xù)區(qū)域進(jìn)行二值化處理得到當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的
二值掩模圖像,記當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像為Mf 。在提取當(dāng)
前深度視頻幀的深度不連續(xù)區(qū)域過(guò)程中采用的邊緣提取算子可采用Sobel邊緣提取算 子、Canny邊緣提取算子、Roberts邊緣提取算子、Laplace邊緣提取算子中的任一種, 如采用Sobel邊緣提取算子對(duì)當(dāng)前深度視頻幀作縱、橫向兩次運(yùn)算,并取縱、橫方向的 較強(qiáng)邊緣作為當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域,然后可采用較大的閾值80分割方法 對(duì)提取得到的深度不連續(xù)區(qū)域進(jìn)行二值化處理,得到深度不連續(xù)區(qū)域的二值掩模圖像, 圖3d給出了圖lc所示的深度視頻幀經(jīng)Sobel邊緣提取算子提取后得到的深度不連續(xù)區(qū) 域再經(jīng)二值化處理后得到的二值掩模圖像。
(3)、在立體視頻中,深度不連續(xù)區(qū)域所包含的對(duì)象能夠給予用戶特有的立體感或 深度感,是用戶感興趣的區(qū)域之一;觀看者對(duì)靠近拍攝相機(jī)(或視頻觀看者)的區(qū)域的 感興趣程度大于遠(yuǎn)離拍攝相機(jī)(或視頻觀看者)的區(qū)域的感興趣程度;另外對(duì)于視頻中 的運(yùn)動(dòng)物體是用戶感興趣的另一主要內(nèi)容,所以前景區(qū)域的中運(yùn)動(dòng)和深度不連續(xù)區(qū)域通 常是觀看者感興趣區(qū)域的一部分,根據(jù)這些區(qū)域劃分感興趣區(qū)域所在的深度層,可以縮 小感興趣區(qū)域所在的范圍。
利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的 二值掩模圖像及當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像提取當(dāng)前深度視頻 幀的各個(gè)深度層的對(duì)象層種子點(diǎn),計(jì)算各個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方圖,對(duì)各 個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方圖進(jìn)行平滑處理,將各個(gè)平滑處理后的深度直方圖
劃分成r個(gè)分段,根據(jù)各個(gè)平滑處理后的深度直方圖的r個(gè)分段對(duì)當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像進(jìn)行細(xì)分并提取提到r個(gè)深度對(duì)象層的二值掩模圖像。具體過(guò)
程為(3) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,記第/個(gè)深度層的對(duì)象層種子點(diǎn) 為i;〃 Ti^MD^nfMruMf],其中,"[O,丄-l], MD,,為當(dāng)前深度視頻幀的第/
個(gè)深度層的二值掩模圖像,M,"'為當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像,M,"為
當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像;圖4a給出了利用圖3c所示的深度 視頻幀的最小深度層的二值掩模圖像、圖3a所示的運(yùn)動(dòng)區(qū)域的二值掩模圖像及圖3d所
示的深度不連續(xù)區(qū)域的二值掩模圖像提取得到的最小深度層的對(duì)象種子點(diǎn)T,。; (3) -2、
記第/個(gè)深度層的對(duì)象層種子點(diǎn)i;,的深度直方圖為/z(i;口),第/個(gè)深度層的對(duì)象層種
子點(diǎn)T,,的深度直方圖表示第/個(gè)深度層的對(duì)象層種子點(diǎn)T,,中深度值《(jc,力為 /的像素的個(gè)數(shù),其中,/e
; (3) -3、對(duì)第/個(gè)深度層的對(duì)象層種子點(diǎn)i;,,的深
度直方圖/ (1;/,/)進(jìn)行平滑處理,記平滑處理后的深度直方圖為,
i(t1^)=it4 (tw+/),其中'f,為加權(quán)系數(shù)且滿足d::ci, ^為平
滑窗口的尺寸大小,^e[2,10], /2(1;/,/+力表示第/個(gè)深度層的對(duì)象層種子點(diǎn)1;/中深
度值4^,力為/+/的像素的個(gè)數(shù);(3) -4、將平滑處理后的深度直方圖/^(T,"/)劃分
成r個(gè)分段,記第/i個(gè)分段為[/^,^j,其中,Ae[o,r-1], ^和^為分段參數(shù),且^
t(U)^o,zyve[A,^] , t;為設(shè)定的第三閾值,
/^e〖0,2z-1]
0《^〈2^d訓(xùn)(Ti,,,乃;(3)-5、根據(jù)深度直方圖、,Ci;/,/)的r個(gè)分段對(duì)第/個(gè)深度層 的二值掩模圖像MD,.,進(jìn)行細(xì)分并提取得到r個(gè)深度對(duì)象層的二值掩模圖像,記第;i個(gè)深 度對(duì)象層的二值掩模圖像為MDA ,在該步驟中細(xì)分并提取得到r個(gè)深度對(duì)象層的二值掩
和&滿足條件
模圖像的具體過(guò)程如下,對(duì)于深度直方圖、,(1;,,!')的第義個(gè)分段[; /1,^1],計(jì)算第義 分段[A,&]的深度均值和深度平均絕對(duì)離差,記第義個(gè)分段[^,^]的深度均值為/",,
水記第義個(gè)分段[^,^]的深度平均絕對(duì)離差為 ,根據(jù)第;1個(gè)分段[/7/1,^1]的深度均值^
J,(x,力e^-6^,/^+w^]的所有像素的像素值置1,將不滿足條件的所有像素的像
素值置o,得到第;i個(gè)深度對(duì)象層的二值掩模圖像,記第/i個(gè)深度對(duì)象層的二值掩模圖
像為MD,,, MD',—(x,;;)l《(x,力e[/^-w ,A+wo^]1 ,其中,w為加權(quán)系數(shù),《可 取值為0.6,《(;c,;;)為當(dāng)前深度視頻幀中坐標(biāo)為(x,力的像素的深度值。對(duì)于Ballet測(cè)試 序列,圖3c所示的深度視頻幀的最小深度層的二值掩模圖像MD,。被細(xì)分為2個(gè)深度對(duì) 象層,即r^2,得到各個(gè)深度對(duì)象層的二值掩模圖像,即MD 。和MD)。, MD ,。如圖
4b所示,MD:,。如圖4c所示。
(4)、利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng) 區(qū)域的二值掩模圖像、當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像及當(dāng)前深度視頻幀的 深度不連續(xù)區(qū)域的二值掩模圖像構(gòu)建當(dāng)前深度視頻幀的各個(gè)深度層的初步輪廓特征區(qū) 域的二值掩模圖像,然后采用輪廓恢復(fù)方法分別對(duì)各個(gè)深度層的初步輪廓特征區(qū)域的二 值掩模圖像進(jìn)行斷裂輪廓修復(fù),再分別濾除斷裂輪廓修復(fù)后得到的二值掩模圖像中存在 的孤立噪聲區(qū)域,得到各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的
輪廓特征區(qū)域的二值掩模圖像為M;;,。具體過(guò)程如下(4) -1、對(duì)于當(dāng)前深度視頻幀的
第/個(gè)深度層,利用第/個(gè)深度層的二值掩模圖像MD,/、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的 二值掩模圖像Mr 、當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像M〖及當(dāng)前深度視頻幀 的深度不連續(xù)區(qū)域的二值掩模圖像Mf構(gòu)建第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩 模圖像,記第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像為Tv ,
T2,,=MD,,,n[M"uMfuM〖],其中,/e
,圖5a給出了利用圖3c所示的深度
視頻幀的最小深度層的二值掩模圖像、圖3a所示的運(yùn)動(dòng)區(qū)域的二值掩模圖像、圖3d所 示的深度不連續(xù)區(qū)域的二值掩模圖像及圖3b所示的輪廓紋理的二值掩模圖像構(gòu)建得到
2::力'xtd/))和深度平均絕對(duì)離差
26的最小深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,。;將第/個(gè)深度層的初步輪廓特
征區(qū)域的二值掩模圖像T2,,分割成若干個(gè)尺寸大小為W3X/23的塊且塊與塊之間互不重
疊,記橫坐標(biāo)為cx且縱坐標(biāo)為^的塊為B乙,其中,cxe
, c^e
,
『為當(dāng)前深度視頻幀的寬,//為當(dāng)前深度視頻幀的高;(4) -2、采用輪廓恢復(fù)方法對(duì)第 /個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像12,,進(jìn)行斷裂輪廓修復(fù),輪廓恢復(fù)方法的
具體過(guò)程為首先判斷第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像12,,中的各個(gè)
塊是否為疑似輪廓特征區(qū)域,對(duì)于第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像Tv
中的塊BL^,判斷塊BL,中像素值為i的像素的個(gè)數(shù)是否大于設(shè)定的第四閾值 ;,其
中,O^K^^x/^如果是,則將塊Bi,^中的所有像素的像素值置l,即標(biāo)記該塊BL^
為疑似輪廓特征區(qū)域,否則,將塊BL^中的所有像素的像素值置0,即標(biāo)記該塊B^y為
非疑似輪廓特征區(qū)域;由各個(gè)疑似輪廓特征區(qū)域和各個(gè)非疑似輪廓特征區(qū)域構(gòu)成疑似輪 廓特征區(qū)域的二值掩模圖像,然后采用公知的形態(tài)學(xué)膨脹和腐蝕算法,以尺寸大小為
w4x/ 4的矩形區(qū)域?yàn)榕蛎浉g運(yùn)算的基元,對(duì)疑似輪廓特征區(qū)域的二值掩模圖像進(jìn)行A
次膨脹和"2腐蝕操作;(4) -3、濾除膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模
圖像中存在的孤立噪聲區(qū)域,得到第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,具體 過(guò)程為采用公知的連通區(qū)域計(jì)算法計(jì)算膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值 掩模圖像中的疑似輪廓特征區(qū)域的各個(gè)八鄰接連通區(qū)域,并判斷疑似輪廓特征區(qū)域中的
各個(gè)連通區(qū)域中像素值為i的像素的個(gè)數(shù)是否小于設(shè)定的第五閾值7;,其中, o< ;<『x/f/ioo,第五閾值7;的數(shù)值的選擇因?yàn)橐话氵h(yuǎn)小于圖像面積百分之一的小面
積區(qū)域可以確認(rèn)為非感興趣區(qū)域,如果是,則標(biāo)記疑似輪廓特征區(qū)域的該連通區(qū)域?yàn)榉?輪廓特征區(qū)域,否則,標(biāo)記疑似輪廓特征區(qū)域的該連通區(qū)域?yàn)檩喞卣鲄^(qū)域,得到第/ 個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的輪廓特征區(qū)域的二值掩模
圖像為M^。
在此,輪廓修復(fù)還可采用其他現(xiàn)有的輪廓恢復(fù)方法;在此具體實(shí)施例中,W3=&=8, T6 = w3 x/ 3/8;對(duì)疑似輪廓特征區(qū)域的二值掩模圖像進(jìn)行膨脹和腐蝕操作過(guò)程中,取尺
寸大小為^4>^4=4><4的矩形區(qū)域?yàn)榕蛎浉g運(yùn)算的基元,進(jìn)行3次膨脹和1腐蝕操作;采用公知的連通區(qū)域計(jì)算法計(jì)算膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模圖 像中的疑似輪廓特征區(qū)域中的各個(gè)八鄰接連通區(qū)域,由于人們通常對(duì)較大面積的區(qū)域感 興趣,所以將連通區(qū)域中像素值為1的像素個(gè)數(shù)小于『x/Z/150的連通區(qū)域內(nèi)的像素的 像素值置O,即標(biāo)記為非輪廓特征區(qū)域。對(duì)圖5a所示的最小深度層的初步輪廓特征區(qū)域
的二值掩模圖像1V。進(jìn)行斷裂輪廓修復(fù)及孤立噪聲區(qū)域去除操作后,得到如圖5b所示的
第0個(gè)深度層即最小深度層的輪廓特征區(qū)域的二值掩模圖像M:。。
(5)、以當(dāng)前深度視頻幀的各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為特征,對(duì) 各個(gè)深度層中的各個(gè)深度對(duì)象層的二值掩模圖像進(jìn)行掃描,清除各個(gè)深度對(duì)象層的二值 掩模圖像中的非感興趣區(qū)域,得到各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感 興趣區(qū)域。具體過(guò)程如下(5) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,將第/個(gè)深
度層的輪廓特征區(qū)域的二值掩模圖像M;;,中坐標(biāo)為(x,力的像素的像素值表示為
m力(x,力,對(duì)于第/個(gè)深度層的第義個(gè)深度對(duì)象層,記第/個(gè)深度層的第A個(gè)深度對(duì)象 層的二值掩模圖像為MD二,將MD^中坐標(biāo)為(;cj;)的像素的像素值表示為/m^(x,;/);
(5) -2、以MD么的最左上角像素為起始像素,從左到右逐列對(duì)MDf,進(jìn)行列掃描,在 列掃描過(guò)程中自上而下逐像素進(jìn)行掃描,對(duì)于MD〖,的第p列,從該列中位于MD么的上 邊界的像素開始自上而下向該列中位于MDf,的下邊界的像素逐像素掃描,當(dāng)M。中與 該列中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值《(x,少)=0時(shí),將該列中坐標(biāo)為(;c,力的像 素的像素值附^/(A力置0,即標(biāo)記該列中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描 該列的下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至M,中與該列中坐標(biāo)為(x,力
的像素對(duì)應(yīng)的像素的像素值/^,(x,"-i或己掃描到該列中位于MD;;,的下邊界的像素
時(shí)停止對(duì)該列的掃描;(5) -3、對(duì)于MD^的第p+l歹ij,重復(fù)步驟(5) -2,確定第p+l 列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完MD^的最后一列;(5) -4、以MD古的 最左下角像素為起始像素,從左到右逐列對(duì)MDi進(jìn)行列掃描,在列掃描過(guò)程中自下而 上逐像素進(jìn)行掃描,對(duì)于MD^的第;7列,從該列中位于MD,,的下邊界的像素開始自下 而上向該列中位于MD;,的上邊界的像素逐像素掃描,當(dāng)M〖,中與該列中坐標(biāo)為(;c,力的像素對(duì)應(yīng)的像素的像素值W力(x,jO-0時(shí),將該列中坐標(biāo)為(x,力的像素的像素值m6^(X,力 置0,即標(biāo)記該列中坐標(biāo)為(xj;)的像素為非感興趣區(qū)域,繼續(xù)掃描該列的下一個(gè)像素, 確定該像素是否為非感興趣區(qū)域,直至M。中與該列中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的
像素值附;!/(x,力^i或已掃描到該列中位于MD;;,的上邊界的像素時(shí)停止對(duì)該列的掃描;
(5) -5、對(duì)于MD二的第; +1列,重復(fù)步驟(5) -4,確定第/7+1列中各個(gè)像素是否為
非感興趣區(qū)域,直至掃描完MD纟,的最后一列;(5) -6、以MD么的最左上角像素為起始
像素,自上而下逐行對(duì)MD纟進(jìn)行行掃描,在行掃描過(guò)程中從左到右逐像素進(jìn)行掃描,
對(duì)于MD力的第g行,從該行中位于MD力,的左邊界的像素開始從左到右向該行中位于
MD么的右邊界的像素逐像素掃描,當(dāng)M。中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的
像素值</(",力=0時(shí),將該行中坐標(biāo)為(Xy)的像素的像素值w《(x,力置0,即標(biāo)記該 行中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描該行的下一個(gè)像素,確定該像素是否 為非感興趣區(qū)域,直至M。中與該行中坐標(biāo)為(jc,力的像素對(duì)應(yīng)的像素的像素值
附(,(A力"或已掃描到該行中位于MD;;,的右邊界的像素時(shí)停止對(duì)該行的掃描;(5)-7、
對(duì)于MDf,的第g+l行,重復(fù)步驟(5) -6,確定第《+l列中各個(gè)像素是否為非感興趣區(qū)
域,直至掃描完MD^的最后一行;(5) -8、以MDf,的最右上角像素為起始像素,自上
而下逐行對(duì)MDi進(jìn)行行掃描,在行掃描過(guò)程中從右到左逐像素進(jìn)行掃描,對(duì)于MDf,的
第g行,從該行中位于MD;,的右邊界的像素開始從右到左向該行中位于MD;1,,的左邊界
的像素逐像素掃描,當(dāng)M〖,中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值
m力(x,力-O時(shí),將該行中坐標(biāo)為(x,力的像素的像素值w《(x,力置0,即標(biāo)記該行中坐 標(biāo)為Oc,力的像素為非感興趣區(qū)域,繼續(xù)掃描該行的下一個(gè)像素,確定該像素是否為非感 興趣區(qū)域,直至MG中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值wi(x,力-l或已 掃描到該行中位于MD(,的左邊界的像素時(shí)停止對(duì)該行的掃描;(5) -9、對(duì)于MD方的第 《+l行,重復(fù)步驟(5) -8,確定第《+l列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完 MD,,的最后一行;(5)-10、通過(guò)上述對(duì)MDf,的掃描得到MDf,中的感興趣區(qū)域,記MD, 中的感興趣區(qū)域?yàn)镽M〖,,RMf,={(x,;;)|m《(x,_y) = l}。對(duì)于圖4b所示的第0個(gè)深度
對(duì)象層的二值掩模圖像中的感興趣區(qū)域如圖6a所示,對(duì)于圖4c所示的第1個(gè)深度對(duì)象 層的二值掩模圖像中的感興趣區(qū)域如圖6b所示。
(6)、將各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域加權(quán)疊加,
合并得到當(dāng)前紋理視頻幀的感興趣區(qū)域,記當(dāng)前紋理視頻幀的感興趣區(qū)域?yàn)镽,, R, = & ",力k (A " = 7," (x j), (x,少)e畫',,義e
,/ e
},其中'r ";;) 表示當(dāng)前紋理視頻幀的感興趣區(qū)域中坐標(biāo)為(x,力的像素的像素值,7,,,為在(0,1]范圍的 加權(quán)系數(shù),在此實(shí)施例中取77,,,^, /(x,力表示當(dāng)前紋理視頻幀中坐標(biāo)為Oc,;0的像素的
像素值,RMf,,為第/個(gè)深度層的第/l個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域。將
圖6a和圖6b所示的感興趣區(qū)域加權(quán)疊加,合并得到圖la的彩色視頻幀的感興趣區(qū)域, 圖la的彩色視頻幀的感興趣區(qū)域如圖7a所示。
圖7b給出了圖lb所示的測(cè)試序列"Breakdancers"彩色視頻中t時(shí)刻的彩色視頻幀 經(jīng)本發(fā)明處理后得到的感興趣區(qū)域。圖8a給出了測(cè)試序列"Ballet"彩色視頻中什l時(shí) 刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;圖8b給出了測(cè)試序列"Ballet"彩色 視頻中什2時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;圖8c給出了測(cè)試序列 "Ballet"彩色視頻中什3時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;圖8d給 出了測(cè)試序列"Ballet"彩色視頻中什4時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū) 域。圖9a給出了測(cè)試序列"Breakdancers"彩色視頻中汁l時(shí)刻的彩色視頻幀本發(fā)明處 理后得到的感興趣區(qū)域;圖9b給出了測(cè)試序列"Breakdancers"彩色視頻中f+2時(shí)刻的 彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;圖9c給出了測(cè)試序列"Breakdancers"彩 色視頻中/+3時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域;圖9d給出了測(cè)試序 列"Breakdancers"彩色視頻中什4時(shí)刻的彩色視頻幀本發(fā)明處理后得到的感興趣區(qū)域。
權(quán)利要求
1、一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于包括以下步驟(1)、定義紋理視頻為二維彩色視頻或灰度視頻,定義紋理視頻中各時(shí)刻的紋理視頻幀的尺寸大小均為W×H,W為紋理視頻中各時(shí)刻的紋理視頻幀的寬,H為紋理視頻中各時(shí)刻的紋理視頻幀的高,記紋理視頻中t時(shí)刻的紋理視頻幀為Ft,定義紋理視頻中t時(shí)刻的紋理視頻幀F(xiàn)t為當(dāng)前紋理視頻幀,采用運(yùn)動(dòng)檢測(cè)方法檢測(cè)當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域,并提取當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像,記當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像為Mtm,然后采用邊緣提取算子提取當(dāng)前紋理視頻幀的輪廓紋理,并對(duì)當(dāng)前紋理視頻幀的輪廓紋理進(jìn)行二值化處理得到當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像,記當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像為Mtc;(2)、定義紋理視頻對(duì)應(yīng)的深度視頻中各時(shí)刻的深度視頻幀為Z比特深度表示的灰度圖,將深度視頻中各時(shí)刻的深度視頻幀的尺寸大小均設(shè)置為W×H,W為深度視頻中各時(shí)刻的深度視頻幀的寬,H為深度視頻中各時(shí)刻的深度視頻幀的高,記深度視頻中t時(shí)刻的深度視頻幀為Dt,定義深度視頻中t時(shí)刻的深度視頻幀Dt為當(dāng)前深度視頻幀,根據(jù)深度將當(dāng)前深度視頻幀分割成L個(gè)深度層,提取當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像,記第l個(gè)深度層的二值掩模圖像為MDt,l,其中,l∈
,然后采用邊緣提取算子提取當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域,并對(duì)當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域進(jìn)行二值化處理得到當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像,記當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像為Mtd;(3)、利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像及當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像提取當(dāng)前深度視頻幀的各個(gè)深度層的對(duì)象層種子點(diǎn),計(jì)算各個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方圖,對(duì)各個(gè)深度層的對(duì)象層種子點(diǎn)的深度直方圖進(jìn)行平滑處理,將各個(gè)平滑處理后的深度直方圖劃分成Γ個(gè)分段,根據(jù)各個(gè)平滑處理后的深度直方圖的Γ個(gè)分段對(duì)當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像進(jìn)行細(xì)分并提取得到Γ個(gè)深度對(duì)象層的二值掩模圖像;(4)、利用當(dāng)前深度視頻幀的各個(gè)深度層的二值掩模圖像、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像、當(dāng)前紋理視頻幀的輪廓紋理的二值掩模圖像及當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像構(gòu)建當(dāng)前深度視頻幀的各個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像,然后采用輪廓恢復(fù)方法分別對(duì)各個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像進(jìn)行斷裂輪廓修復(fù),再分別濾除斷裂輪廓修復(fù)后得到的二值掩模圖像中存在的孤立噪聲區(qū)域,得到各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,記第l個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為Mt,lT;(5)、以當(dāng)前深度視頻幀的各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為特征,對(duì)各個(gè)深度層中的各個(gè)深度對(duì)象層的二值掩模圖像進(jìn)行掃描,清除各個(gè)深度對(duì)象層的二值掩模圖像中的非感興趣區(qū)域,得到各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域;(6)、將各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域加權(quán)疊加,合并得到當(dāng)前紋理視頻幀的感興趣區(qū)域,記當(dāng)前紋理視頻幀的感興趣區(qū)域?yàn)镽t,<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msub> <mi>R</mi> <mi>t</mi></msub><mo>=</mo><mo>{</mo><mi>r</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>|</mo><mi>r</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msub> <mi>&eta;</mi> <mrow><mi>l</mi><mo>,</mo><mi>&lambda;</mi> </mrow></msub><msub> <mi>f</mi> <mi>t</mi></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>,</mo><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>&Element;</mo><msubsup> <mi>RM</mi> <mrow><mi>t</mi><mo>,</mo><mi>l</mi> </mrow> <mi>&lambda;</mi></msubsup><mo>,</mo><mi>&lambda;</mi><mo>&Element;</mo><mo>[</mo><mn>0</mn><mo>,</mo><mi>&Gamma;</mi><mo>-</mo><mn>1</mn><mo>]</mo><mo>,</mo><mi>l</mi><mo>&Element;</mo><mo>[</mo><mn>0</mn><mo>,</mo><mi>L</mi><mo>-</mo><mn>2</mn><mo>]</mo><mo>}</mo><mo>,</mo> </mrow>]]></math> id="icf0001" file="A2009100997060003C1.tif" wi="134" he="6" top= "110" left = "22" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>其中,r(x,y)表示當(dāng)前紋理視頻幀的感興趣區(qū)域中坐標(biāo)為(x,y)的像素的像素值,ηl,λ為在(0,1]范圍的加權(quán)系數(shù),ft(x,y)表示當(dāng)前紋理視頻幀中坐標(biāo)為(x,y)的像素的像素值,RMt,lλ為第l個(gè)深度層的第λ個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域。
2、根據(jù)權(quán)利要求1所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于 所述的步驟(1)中的運(yùn)動(dòng)檢測(cè)方法的具體過(guò)程為(1) -a、記紋理視頻中與當(dāng)前紋理視頻幀時(shí)間上連續(xù)的f+Jt時(shí)刻的紋理視頻幀為F^,其中,A:e[-W/2,iV/2],且A^0, iV為小于10的正整數(shù);(1) -b、釆用公知的圖像幀差法計(jì)算當(dāng)前紋理視頻幀與f+A:時(shí)刻的 紋理視頻幀F(xiàn)^的幀差圖像,記幀差圖像為F,-F,+" (1) -c、將幀差圖像F,-F^分割成若干個(gè)尺寸大小為Wl x/^的塊且塊與塊之間互不重疊,記橫坐標(biāo)為ox且縱坐標(biāo)為^的塊為BL,。"其中,axe
, ^e
'『為當(dāng)前紋理視頻幀的寬,//為當(dāng)前紋理視頻幀的高;(l)-d、根據(jù)幀差圖像F,-F^中的各個(gè)塊確定當(dāng)前紋理視頻幀中與幀差圖像F,-F^中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域還是非運(yùn)動(dòng)區(qū)域,對(duì)于塊BL^,判斷塊B^^中當(dāng)前紋理視頻幀與f+A時(shí)刻的紋理視頻幀F(xiàn)^的各個(gè)像素的像素值之差的絕對(duì)值之和是否大于設(shè)定的第一閾值7;,其中,0《7;〈ioxvnx/^如果是,則將當(dāng)前紋理視頻幀中與塊BL。,對(duì)應(yīng)的區(qū)域中的所有像素的像素值置1,并確定該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前紋理視頻幀中與塊B^"對(duì)應(yīng)的區(qū)域中的所有像素的像素值 置0,并確定該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域;(l)-e、提取運(yùn)動(dòng)區(qū)域的二值掩模圖像M;", M「為 U-[O(F,-F,")。0(F,-F。)]中所有像素值為1的像素的集合,其中,0(F,—F,")表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中與當(dāng)前紋理視頻幀與,+ y時(shí)刻的紋理視頻幀F(xiàn),"的幀差圖像F,-F 中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合,O(F,-F,力)表示通過(guò)步驟(1) -d得到的當(dāng)前紋理視頻幀中與當(dāng)前紋理視頻幀與/-/時(shí)刻的紋理視頻幀F(xiàn),—^的幀差圖像F,-F,力中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1 的像素的集合。
3、根據(jù)權(quán)利要求1所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于 所述的步驟(1)中的運(yùn)動(dòng)檢測(cè)方法的具體過(guò)程為(1) -1、記紋理視頻中與當(dāng)前紋理視頻幀時(shí)間上連續(xù)的汁A;時(shí)刻的紋理視頻幀為Fw,其中,Ae[-7V/2,iV/2],且A:^0,iV為小于10的正整數(shù);(1)-2、采用公知的光流法計(jì)算當(dāng)前紋理視頻幀與&A:時(shí)刻的紋 理視頻幀F(xiàn),^的運(yùn)動(dòng)矢量圖像,記運(yùn)動(dòng)矢量圖像為V; (1)-3、將運(yùn)動(dòng)矢量圖像V分割成若干個(gè)尺寸大小為w2 x/ 2的塊且塊與塊之間互不重疊,記橫坐標(biāo)為h且縱坐標(biāo)為^的塊為BL加,其中,&ce
, tye
,『為當(dāng)前紋理視頻幀的寬,/f為當(dāng)前紋理視頻幀的高;(1)-4、根據(jù)運(yùn)動(dòng)矢量圖像V中的各個(gè)塊確定當(dāng)前紋理視頻 幀中與運(yùn)動(dòng)矢量圖像V中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域還是非運(yùn)動(dòng)區(qū)域,對(duì)于塊B^ ,判斷塊BL, 中運(yùn)動(dòng)矢量圖像V的運(yùn)動(dòng)幅度的絕對(duì)值的平均值是否大于設(shè)定的第二閾值7;,其中,0S7;〈10xw2x/^,如果是,則將當(dāng)前紋理視頻幀中與塊B^加對(duì)應(yīng)的區(qū)域中的所有像素的像素值置1,并確定該區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域,否則,將當(dāng)前紋理視頻幀 中與塊B^加對(duì)應(yīng)的區(qū)域中的所有像素的像素值置0,并確定該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域;(1)
4.
5、提取運(yùn)動(dòng)區(qū)域的二值掩模圖像Mr, Mj^Un^F,,F,+》。<D(F,,F,—》]中所有像素值為1的像素的集合,其中,O(F,,F(xiàn),")表示通過(guò)步驟(1) -4得到的當(dāng)前紋理視頻幀中當(dāng)前紋理視頻幀與f + y時(shí)刻的紋理視頻幀F(xiàn),w的運(yùn)動(dòng)矢量圖像中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合,(D(F,,F(xiàn)。)表示通過(guò)步驟(1) -4得到的當(dāng)前紋理視頻幀中與當(dāng)前紋理視頻幀與/-/時(shí)刻的紋理視頻幀F(xiàn),力的運(yùn)動(dòng)矢量圖像中的各個(gè)塊分別對(duì)應(yīng)的區(qū)域中所有像素值為1的像素的集合。4、 根據(jù)權(quán)利要求2或3所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征 在于所述的步驟(1)中的邊緣提取算子為Sobel邊緣提取算子、Canny邊緣提取算子、 Roberts邊緣提取算子、Laplace邊緣提取算子中的任一種。5、 根據(jù)權(quán)利要求1所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于 所述的步驟(3)的具體過(guò)程為(3) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,記第/個(gè)深度層的對(duì)象層種子點(diǎn)為i;,, l^-MD^r^MruMf],其中,/e
, MD,乂為當(dāng)前深度視頻幀的第/個(gè)深度層的二值掩模圖像,M,"'為當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的 二值掩模圖像,Mf為當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二值掩模圖像;(3) -2、記第/個(gè)深度層的對(duì)象層種子點(diǎn)1;,/的深度直方圖為/7(1;/,/),第/個(gè)深度層的對(duì)象層種子 點(diǎn)1;/的深度直方圖/^1;,,/)表示第/個(gè)深度層的對(duì)象層種子點(diǎn)T;,中深度值4(x,力為/的像素的個(gè)數(shù),其中,/e
; (3) -3、對(duì)第/個(gè)深度層的對(duì)象層種子點(diǎn)i;,的深度直方圖;^i;,,/)進(jìn)行平滑處理,記平滑處理后的深度直方圖為t(T,,,/),ltV) = S:/2C(T""".),其中'。為加權(quán)系數(shù)且滿足I^C,1, K為平 滑窗口的尺寸大小,^e[2,io], / (1;/,/+力表示第/個(gè)深度層的對(duì)象層種子點(diǎn)11/中深度值《(x,刃為W的像素的個(gè)數(shù);(3) -4、將平滑處理后的深度直方圖/^(T^/)劃分成r個(gè)分段,記第;i個(gè)分段為[;v&],其中,;u[o,r-1], ^和^為分段參數(shù),且^和&滿足條件jl(U)-0,^Ve[;v^] ,7;為設(shè)定的第三閾值'/7^e
^個(gè)分段對(duì)第/個(gè)深度層的二值掩模圖像MD,.,進(jìn)行細(xì)分并提取得到r個(gè)深度對(duì)象層的二值掩模圖像的具體過(guò)程為對(duì)于深度 直方圖/^(TL,,/)的第/L個(gè)分段[A,&],計(jì)算第義個(gè)分段[/7,,^]的深度均值和深度平均絕對(duì)離差,記第/l個(gè)分段[A,&]的深度均值為A ,A = " , ^ .、U.x化,/)),記第A個(gè)分段[A,&]的深度平均絕對(duì)離差為^ 1, ^s: 根據(jù)第A個(gè)分段[A,^]的深度均值^o*3 , o"3 = _和深度平均絕對(duì)離差a,將第A個(gè)深度對(duì)象層中深度值《(x,"滿足條件《(;c,j;)e[^-GKj,,/^+OKJ」的所有像素的像素值置1,將不滿足條件的所有像素的像素值置0,得到第義個(gè)深度對(duì)象層的二值掩模圖像,記第義個(gè)深度對(duì)象層的二值掩模圖 像為MD,, , MDf,—(x,力l《(x,力e[/^—wo^A+wcrj},其中,w為加權(quán)系數(shù),《(x為當(dāng)前深度視頻幀中坐標(biāo)為(x,少)的像素的深度值。
7、根據(jù)權(quán)利要求1所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于 所述的步驟(4)的具體過(guò)程為(4) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,利用第/個(gè)深度層的二值掩模圖像1> >,,、當(dāng)前紋理視頻幀的運(yùn)動(dòng)區(qū)域的二值掩模圖像M「、當(dāng) 前紋理視頻幀的輪廓紋理的二值掩模圖像M〖及當(dāng)前深度視頻幀的深度不連續(xù)區(qū)域的二 值掩模圖像Mf構(gòu)建第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層 的初步輪廓特征區(qū)域的二值掩模圖像為T2,,, l^-MD^r^MruMfuM;'],其中, /e
,將第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,分割成若干個(gè)尺寸大小為^x/^的塊,塊與塊之間互不重疊,記橫坐標(biāo)為cx且縱坐標(biāo)為c;;的塊為B^^,其中,<formula>formula see original document page 7</formula>為當(dāng)前深度視頻幀的寬,//為當(dāng)前深度 視頻幀的高;(4) -2、采用輪廓恢復(fù)方法對(duì)第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩 模圖像12,,進(jìn)行斷裂輪廓修復(fù),輪廓恢復(fù)方法的具體過(guò)程為首先判斷第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,中的各個(gè)塊是否為疑似輪廓特征區(qū)域,對(duì)于第/個(gè)深度層的初步輪廓特征區(qū)域的二值掩模圖像T2,,中的塊B^,,判斷塊B^^中像素值為1的像素的個(gè)數(shù)是否大于設(shè)定的第四閾值 ;,其中,OS7;Sw3x/23,如果是,則將塊BL^ 中的所有像素的像素值置l,并確定該塊BL^為疑似輪廓特征區(qū)域,否則,將塊B^^中 的所有像素的像素值置O,并確定該塊B^^為非疑似輪廓特征區(qū)域;由各個(gè)疑似輪廓特 征區(qū)域和各個(gè)非疑似輪廓特征區(qū)域構(gòu)成疑似輪廓特征區(qū)域的二值掩模圖像,然后采用公 知的形態(tài)學(xué)膨脹和腐蝕算法,以尺寸大小為、x/^的矩形區(qū)域?yàn)榕蛎浉g運(yùn)算的基元,對(duì)疑似輪廓特征區(qū)域的二值掩模圖像進(jìn)行巧次膨脹和"2腐蝕操作;(4) -3、濾除膨脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模圖像中存在的孤立噪聲區(qū)域,得到第/個(gè)深 度層的輪廓特征區(qū)域的二值掩模圖像,具體過(guò)程為采用公知的連通區(qū)域計(jì)算法計(jì)算膨 脹和腐蝕操作后的疑似輪廓特征區(qū)域的二值掩模圖像中的疑似輪廓特征區(qū)域的八鄰接 連通區(qū)域,并判斷疑似輪廓特征區(qū)域中的各個(gè)連通區(qū)域中像素值為1的像素的個(gè)數(shù)是否小于設(shè)定的第五閾值7;,其中,0<7;<『><///100,如果是,則標(biāo)記該連通區(qū)域?yàn)榉禽喞卣鲄^(qū)域,否則,標(biāo)記該連通區(qū)域?yàn)檩喞卣鲄^(qū)域,得到第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,記第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為M。。
8、根據(jù)權(quán)利要求1所述的一種基于深度的視頻感興趣區(qū)域提取方法,其特征在于 所述的步驟(5)的具體過(guò)程為(5) -1、對(duì)于當(dāng)前深度視頻幀的第/個(gè)深度層,將第/個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像M。中坐標(biāo)為Oc^)的像素的像素值表示為w;Mx,力,對(duì)于第/個(gè)深度層的第;i個(gè)深度對(duì)象層,記第/個(gè)深度層的第A個(gè)深度對(duì)象層的二值掩模圖像為MDf,,,將MDf,,中坐標(biāo)為O,力的像素的像素值表示為附<,; (5) -2、以MD么的最左上角像素為起始像素,從左到右逐列對(duì)MDi進(jìn)行列掃描,在列掃描過(guò)程中自上而下逐像素進(jìn)行掃描,對(duì)于MDf,的第^列,從該列中位于MDf,的上 邊界的像素開始自上而下向該列中位于MD力,的下邊界的像素逐像素掃描,當(dāng)M。中與 該列中坐標(biāo)為(xj)的像素對(duì)應(yīng)的像素的像素值^= 0時(shí),將該列中坐標(biāo)為(x,力的像 素的像素值附^/(x,力置0,并確定該列中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描 該列的下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至M。中與該列中坐標(biāo)為(x,力 的像素對(duì)應(yīng)的像素的像素值A(chǔ)^,(x,力^或已掃描到該列中位于MD二的下邊界的像素 時(shí)停止對(duì)該列的掃描;(5) -3、對(duì)于MDi的第p+l歹l」,重復(fù)步驟(5) -2,確定第p+l 列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完MD古的最后一列;(5) -4、以MD方的 最左下角像素為起始像素,從左到右逐列對(duì)MDf,進(jìn)行列掃描,在列掃描過(guò)程中自下而 上逐像素進(jìn)行掃描,對(duì)于MD二的第戶列,從該列中位于MDf,的下邊界的像素開始自下 而上向該列中位于MDi的上邊界的像素逐像素掃描,當(dāng)M〖,中與該列中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值附;!,(x,少^0時(shí),將該列中坐標(biāo)為(x,力的像素的像素值m《Oc,少) 置0,并確定該列中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描該列的下一個(gè)像素, 確定該像素是否為非感興趣區(qū)域,直至M。中與該列中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值附;!,(x,力-i或已掃描到該列中位于MD^的上邊界的像素時(shí)停止對(duì)該列的掃描;(5) -5、對(duì)于MDf,的第; +l歹lj,重復(fù)步驟(5) -4,確定第p+l列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完MDi的最后一列;(5) -6、以MDf,的最左上角像素為起始像素,自上而下逐行對(duì)MD^進(jìn)行行掃描,在行掃描過(guò)程中從左到右逐像素進(jìn)行掃描,對(duì)于MD^的第《行,從該行中位于MDi的左邊界的像素開始從左到右向該行中位于MDf,的右邊界的像素逐像素掃描,當(dāng)M。中與該行中坐標(biāo)為(xj;)的像素對(duì)應(yīng)的像素的像素值^,(x,力-0時(shí),將該行中坐標(biāo)為(x,力的像素的像素值w《(x,力置0,并確定該 行中坐標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描該行的下一個(gè)像素,確定該像素是否為非感興趣區(qū)域,直至MG中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值 <(A力=1或已掃描到該行中位于MD么的右邊界的像素時(shí)停止對(duì)該行的掃描;(5) -7、 對(duì)于MD古的第《+1行,重復(fù)步驟(5)-6,確定第《+l列中各個(gè)像素是否為非感興趣區(qū) 域,直至掃描完MD^的最后一行;(5) -8、以MD^的最右上角像素為起始像素,自上 而下逐行對(duì)MD么進(jìn)行行掃描,在行掃描過(guò)程中從右到左逐像素進(jìn)行掃描,對(duì)于MD么的 第《行,從該行中位于MD力,的右邊界的像素開始從右到左向該行中位于MD力的左邊界的像素逐像素掃描,當(dāng)M。中與該行中坐標(biāo)為(xjO的像素對(duì)應(yīng)的像素的像素值 /^(x,力-0時(shí),將該行中坐標(biāo)為(jc,力的像素的像素值m《(x,;;)置0,并確定該行中坐 標(biāo)為(x,力的像素為非感興趣區(qū)域,繼續(xù)掃描該行的下一個(gè)像素,確定該像素是否為非感 興趣區(qū)域,直至M。中與該行中坐標(biāo)為(x,力的像素對(duì)應(yīng)的像素的像素值m力(x,力-l或已掃描到該行中位于MDi的左邊界的像素時(shí)停止對(duì)該行的掃描;(5) -9、對(duì)于MDf,的第 《+l行,重復(fù)步驟(5) -8,確定第《+l列中各個(gè)像素是否為非感興趣區(qū)域,直至掃描完 MD,,的最后一行;(5)-10、通過(guò)上述對(duì)MD^的掃描得到MD;;,中的感興趣區(qū)域,記MD,(,中的感興趣區(qū)域?yàn)镽M方,RM,,, = {(x," I m《(x," = 1}。
全文摘要
本發(fā)明公開了一種基于深度的視頻感興趣區(qū)域提取方法,優(yōu)點(diǎn)在于聯(lián)合利用了時(shí)間上同步的紋理視頻幀和紋理視頻幀對(duì)應(yīng)的深度視頻幀,首先獲取紋理視頻幀的運(yùn)動(dòng)區(qū)域和輪廓紋理的二值掩模圖像及深度視頻幀的各個(gè)深度層和深度不連續(xù)區(qū)域的二值掩模圖像,然后獲取各個(gè)深度層的各個(gè)深度對(duì)象層的二值掩模圖像,及各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像,再以各個(gè)深度層的輪廓特征區(qū)域的二值掩模圖像為特征,對(duì)各個(gè)深度對(duì)象層的二值掩模圖像進(jìn)行掃描,得到各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域,最后疊加各個(gè)深度對(duì)象層的二值掩模圖像中的感興趣區(qū)域得到紋理視頻幀的感興趣區(qū)域,通過(guò)該方法獲取的感興趣區(qū)域符合語(yǔ)義特征,計(jì)算復(fù)雜度低且精度較高。
文檔編號(hào)H04N5/14GK101588445SQ20091009970
公開日2009年11月25日 申請(qǐng)日期2009年6月9日 優(yōu)先權(quán)日2009年6月9日
發(fā)明者云 張, 蔣剛毅, 梅 郁 申請(qǐng)人:寧波大學(xué)
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1