專利名稱：基于新型十字菱形搜索及三幀背景對齊的動背景視頻對象提取的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻分割中的處理方法，特別涉及基于新型十字菱形搜索及三幀背景對齊的動背景視頻對象提取。
背景技術(shù)：
對于動態(tài)視頻序列中運(yùn)動對象的提取，由于攝像機(jī)產(chǎn)生的全局運(yùn)動使得在靜背景下的分割方法，如幀差或者背景差分等方法不適用于動背景下的分割，即不能夠準(zhǔn)確地將運(yùn)動對象提取出來，因此針對動背景下的分割問題必須首先消除攝像機(jī)運(yùn)動所造成的全局運(yùn)動的影響，通過全局運(yùn)動估計(jì)和補(bǔ)償技術(shù)，將問題轉(zhuǎn)化成靜背景下的分割問題，進(jìn)而應(yīng)用靜背景下廣泛的分割方法實(shí)現(xiàn)動背景下的準(zhǔn)確、有效分割。全局運(yùn)動估計(jì)是指估計(jì)由攝像機(jī)運(yùn)動引起的序列背景區(qū)域的運(yùn)動規(guī)律，求解出相·應(yīng)數(shù)學(xué)運(yùn)動模型中的多個(gè)參數(shù)。全局運(yùn)動補(bǔ)償是在根據(jù)運(yùn)動估計(jì)所得到的全局運(yùn)動參數(shù)，在當(dāng)前幀和前一幀之間作一個(gè)相應(yīng)的背景對齊的映射變換。這樣在準(zhǔn)確的補(bǔ)償之后就可以采用幀差或背景差等方法消除背景區(qū)域，突出感興趣的具有局部運(yùn)動的前景區(qū)域(參見楊文明.時(shí)空融合的視頻對象分割[D].浙江浙江大學(xué)，2006)。對于動背景下的運(yùn)動對象分割問題，目前國際上已有相當(dāng)多的學(xué)者做了大量的研究工作。如利用改進(jìn)的分水嶺算法將運(yùn)動補(bǔ)償后的視頻幀分割成不同的灰度區(qū)域，通過光流計(jì)算得到序列的運(yùn)動信息，最后，將運(yùn)動信息和分割的區(qū)域按一定的準(zhǔn)則綜合得到對象模板，達(dá)到對視頻對象的準(zhǔn)確定位(參見張慶利.一種基于運(yùn)動背景的視頻對象分割算法.上海大學(xué)學(xué)報(bào)(自然科學(xué)版)，2005，11(2):111-115.)。如建立四參數(shù)運(yùn)動放射模型來描述全局運(yùn)動，采用塊匹配方法進(jìn)行參數(shù)估計(jì)，結(jié)合Horn-Schunck算法檢測出運(yùn)動目標(biāo)并應(yīng)用卡爾曼濾波對運(yùn)動目標(biāo)的質(zhì)心位置等信息進(jìn)行跟蹤，實(shí)現(xiàn)了動態(tài)場景中運(yùn)動對象的檢測與跟蹤。(參見施家棟.動態(tài)場景中運(yùn)動目標(biāo)檢測與跟蹤.北京理工大學(xué)學(xué)報(bào)，2009，29(10) :858-876.)。另一種采用非參數(shù)核密度估計(jì)的方法，首先采用匹配加權(quán)的全局運(yùn)動估計(jì)補(bǔ)償算法消除動態(tài)場景下背景運(yùn)動的影響，然后估計(jì)各像素屬于前景與背景的概率密度并結(jié)合形態(tài)學(xué)等算法進(jìn)行處理，實(shí)現(xiàn)了動背景下運(yùn)動對象的準(zhǔn)確、有效分割。(參見馬志強(qiáng).一種動態(tài)場景下運(yùn)動對象分割新算法.計(jì)算機(jī)工程與科學(xué)，2012，34(4) :43-46.)。為了解決動背景下的分割問題，本發(fā)明方法實(shí)現(xiàn)了一種采用宏塊預(yù)判斷、塊匹配、攝像機(jī)六參數(shù)仿射模型、最小二乘法等全局運(yùn)動估計(jì)及補(bǔ)償方法，并通過三幀背景對齊結(jié)合邊緣信息等實(shí)現(xiàn)動背景分割。實(shí)驗(yàn)證明，該方法實(shí)現(xiàn)了動背景視頻序列中視頻對象的提取，并且提取精度得到明顯提高。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是如何減少塊匹配的運(yùn)算時(shí)間，如何實(shí)現(xiàn)動背景下視頻對象的準(zhǔn)確提取。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是基于新型十字菱形搜索及三幀背景對齊的動背景視頻對象提取，包括以下步驟(I)將參考幀K幀，K-I幀，K+1幀分成8X8宏塊，根據(jù)紋理信息對K_1幀、K+1幀中所有宏塊進(jìn)行預(yù)判斷、篩選；(2)對上述篩選后的宏塊采用SAD準(zhǔn)則、新型十字形菱形搜索策略(NCDS)進(jìn)行塊匹配，以K-I幀作為當(dāng)前幀、K幀作為參考幀，得到K-I幀相對于K幀的運(yùn)動矢量場；以K+1幀作為當(dāng)前幀、K幀作為參考幀，得到K+1幀相對于K幀的運(yùn)動矢量場，并通過最小二乘法計(jì)算全局運(yùn)動參數(shù)，獲得攝像機(jī)六參數(shù)模型；
(3)對第K-I幀進(jìn)行運(yùn)動補(bǔ)償，使第K-I幀與第K幀背景對齊，得到重建幀K-1’，對第K+1幀進(jìn)行運(yùn)動補(bǔ)償，使第K+1幀與第K幀背景對齊，得到重建幀Κ+Γ ；(4)分別采用Sobel算子提取邊緣信息，分別計(jì)算其相對于參考幀K邊緣的幀差，并采用最大方差閾值進(jìn)行二值化；(5)采用與運(yùn)算及形態(tài)學(xué)、中值濾波等進(jìn)行后處理，實(shí)現(xiàn)動背景下視頻對象的快速有效分割。所述步驟(I)中對于當(dāng)前幀K-I幀、K+1幀中分成的8X8宏塊進(jìn)行預(yù)判斷及篩選，具體步驟如下由于在下述步驟中應(yīng)用最小二乘法計(jì)算全局運(yùn)動參數(shù)的時(shí)候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運(yùn)算之前將誤差大的宏塊剔除，將顯著的提高運(yùn)算速度，并降低運(yùn)算量。而決定宏塊誤差大小、影響計(jì)算準(zhǔn)確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預(yù)判斷及篩選的方法正是從宏塊的梯度信息出發(fā)，根據(jù)設(shè)定的閾值對于宏塊進(jìn)行篩選抑或保留，當(dāng)宏塊的信息量小于該閾值時(shí)，對該宏塊進(jìn)行篩選，不作為下述步驟中參與塊匹配的宏塊；當(dāng)信息量大于該閾值時(shí)，則對宏塊進(jìn)行保留，作為有效特征塊參與進(jìn)行下述的運(yùn)動估計(jì)等運(yùn)算。其主要步驟如下第一步將每一幀分成8X8子塊，經(jīng)試驗(yàn)證明，若采用分成16X16子塊的形式則計(jì)算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故采用8X8子塊的形式；第二步采用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據(jù)；
權(quán)利要求
1.應(yīng)用于一種基于新型十字菱形搜索及三幀背景對齊的動背景視頻對象提取，其特征在于包括以下步驟 (1)將參考幀K幀，K-I幀，K+1幀分成8X8宏塊，根據(jù)紋理信息對K-I幀、K+1幀中所有宏塊進(jìn)行預(yù)判斷、篩選； (2)對上述篩選后的宏塊采用SAD準(zhǔn)則、新型十字形菱形搜索策略(NCDS)進(jìn)行塊匹配，以K-I幀作為當(dāng)前幀、K幀作為參考幀，得到K-I幀相對于K幀的運(yùn)動矢量場；以K+1幀作為當(dāng)前幀、K幀作為參考幀，得到K+1幀相對于K幀的運(yùn)動矢量場，并通過最小二乘法計(jì)算全局運(yùn)動參數(shù)，獲得攝像機(jī)六參數(shù)模型； (3)對第K-I幀進(jìn)行運(yùn)動補(bǔ)償，使第K-I幀與第K幀背景對齊，得到重建幀Κ-Γ，對第K+1幀進(jìn)行運(yùn)動補(bǔ)償，使第K+1幀與第K幀背景對齊，得到重建幀Κ+Γ ； (4)分別采用Sobel算子提取邊緣信息，分別計(jì)算其相對于參考幀K邊緣的幀差，并采用最大方差閾值進(jìn)行二值化； (5)采用與運(yùn)算及形態(tài)學(xué)、中值濾波等進(jìn)行后處理，實(shí)現(xiàn)動背景下視頻對象的快速有效分割。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(I)的對于當(dāng)前幀K-I幀、K+1幀中分成的8X8宏塊進(jìn)行預(yù)判斷及篩選，具體步驟如下 由于在下述步驟中應(yīng)用最小二乘法計(jì)算全局運(yùn)動參數(shù)的時(shí)候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運(yùn)算之前將誤差大的宏塊剔除，將顯著的提高運(yùn)算速度，并降低運(yùn)算量。而決定宏塊誤差大小、影響計(jì)算準(zhǔn)確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預(yù)判斷及篩選的方法正是從宏塊的梯度信息出發(fā)，根據(jù)設(shè)定的閾值對于宏塊進(jìn)行篩選抑或保留，當(dāng)宏塊的信息量小于該閾值時(shí)，對該宏塊進(jìn)行篩選，不作為下述步驟中參與塊匹配的宏塊；當(dāng)信息量大于該閾值時(shí)，則對宏塊進(jìn)行保留，作為有效特征塊參與進(jìn)行下述的運(yùn)動估計(jì)等運(yùn)算。
其主要步驟如下 第一步將每一幀分成8X8子塊，經(jīng)試驗(yàn)證明，若采用分成16X16子塊的形式則計(jì)算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故采用8X8子塊的形式； 第二步采用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據(jù)；
3.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(2)的分別以K-I幀、Κ+1幀作為當(dāng)前幀，以K幀作為參考幀，對篩選后的宏塊采用SAD準(zhǔn)則、NCDS搜索策略進(jìn)行塊匹配，并將塊匹配求得的運(yùn)動矢量場利用最小二乘法獲得攝像機(jī)六參數(shù)模型，其具體步驟如下 (i)塊匹配準(zhǔn)則SAD 本部分采用SAD塊匹配準(zhǔn)則，該準(zhǔn)則不僅能夠找到最佳匹配點(diǎn)，并且計(jì)算量小、耗時(shí)短。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(3)的通過運(yùn)動補(bǔ)償分別獲得當(dāng)前幀K-1、K+1的重建幀K-Γ、K+1’，其具體內(nèi)容如下 對于當(dāng)前幀k-Ι幀、k+1幀中的每一個(gè)點(diǎn)根據(jù)上述獲取的攝像機(jī)模型，計(jì)算其分別在參考幀K中的對應(yīng)位置并對其進(jìn)行賦值，從而實(shí)現(xiàn)對于K-I幀、k+Ι幀的全局運(yùn)動補(bǔ)償，使補(bǔ)償后的重建幀k-1’、k+l’與參考幀k的背景對齊，從而實(shí)現(xiàn)下述結(jié)合邊緣信息、自適應(yīng)最大方差閾值的基于新型十字菱形搜索及三幀背景對齊的動背景視頻分割方法。
5.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(4)的采用Sobel算子提取邊緣信息，并分別與參考幀K邊緣進(jìn)行差分，并采用最大方差閾值進(jìn)行二值化，其具體步驟如下 (i)Sobel算子提取邊緣信息，并與參考幀K邊緣進(jìn)行差分 邊緣檢測算子種類很多，基于Sobel算子對于邊緣定位效果不錯(cuò)并且對于噪聲具有魯棒性的特點(diǎn)考慮，選擇Sobel邊緣檢測算子對于重建幀k-Γ、k+Γ及k幀進(jìn)行邊緣特征提取。
Sobel算子可以用模板卷積來實(shí)現(xiàn) fs (X，y) = I f (x, y) X Sx I +1 f (x, y) X Sy
全文摘要
本發(fā)明公開了基于新型十字菱形搜索及三幀背景對齊的動背景視頻對象提取方法，包括如下步驟首先將參考幀K幀，K-1幀，K+1幀分成8×8宏塊，根據(jù)宏塊預(yù)判斷準(zhǔn)則對所有的宏塊進(jìn)行篩選；對篩選后的宏塊采用新型十字形菱形運(yùn)動估計(jì)方法進(jìn)行塊匹配，得到K-1幀相對于K幀的運(yùn)動矢量場，K+1幀相對于K幀的運(yùn)動矢量場，并通過最小二乘法計(jì)算全局運(yùn)動參數(shù)；對第K-1幀和K+1幀分別進(jìn)行運(yùn)動補(bǔ)償，使第K-1幀和第K+1幀分別與第K幀背景對齊，得到重建幀K-1'和K+1'；對重建幀K-1'、參考幀K及重建幀K+1'分別采用Sobel算子提取邊緣信息，分別計(jì)算其相對于參考幀邊緣的幀差，最大方差閾值進(jìn)行二值化；最后采用形態(tài)學(xué)及中值濾波等進(jìn)行后處理，實(shí)現(xiàn)對于動背景下視頻對象的快速有效分割。
文檔編號H04N5/14GK102917221SQ201210397558
公開日2013年2月6日 申請日期2012年10月18日 優(yōu)先權(quán)日2012年10月18日
發(fā)明者祝世平, 郭智超 申請人:北京航空航天大學(xué)