專利名稱：基于時(shí)空梯度范圍和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在兩種運(yùn)動(dòng)模型下進(jìn)行全局運(yùn)動(dòng)估計(jì)的方法，具體地說，是一種適用于視頻編碼標(biāo)準(zhǔn)MPEG-4/7的基于Special Temporal GradientScale(光流方程的時(shí)空梯度范圍)分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法。
另外，從運(yùn)動(dòng)信息的挖掘和利用角度看，以前的一系列的估計(jì)方法都是沒有預(yù)先對圖像進(jìn)行全局運(yùn)動(dòng)信息分析的，這樣得到的估計(jì)過程收斂很慢。目前比較好的做法是采用STGS分析技術(shù)。但是在STGS分析的方式和STGS信息的利用方式上仍值得深入研究。
在運(yùn)動(dòng)模型的使用上，一般采用單一的運(yùn)動(dòng)模型。由于平移模型對于鏡頭的旋轉(zhuǎn)或焦距的調(diào)節(jié)無法作出正確的描述，而仿射模型對于大的平移運(yùn)動(dòng)估計(jì)的誤差卻很大，更高階的模型則計(jì)算復(fù)雜度太大。因而，運(yùn)動(dòng)模型的使用對運(yùn)動(dòng)估計(jì)的效果有重要的影響。
本發(fā)明的技術(shù)方案如下根據(jù)本發(fā)明的一種基于STGS(光流方程的時(shí)空梯度范圍)分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其處理步驟包括第一步，先對輸入的兩幀圖象進(jìn)行高斯低通濾波和下采樣處理，然后做STGS預(yù)分析得到重要的全局運(yùn)動(dòng)信息，特別是關(guān)于outliers(無效區(qū))的信息；第二步，接著把這些信息運(yùn)用到參數(shù)估計(jì)模塊中，并且利用最小化中的迭代方法尋找最佳的估計(jì)參數(shù)；第三步，最后把這些結(jié)果用于后續(xù)的視頻壓縮、運(yùn)動(dòng)的分割和視頻信息分類處理。
進(jìn)一步，所說的對輸入的兩幀下采樣圖像進(jìn)行STGS分析的步驟是指對輸入的連續(xù)兩幀下采樣圖像I0(ax，ay，t-1)和I1(ax，ay，t)進(jìn)行STGS預(yù)分析，其中a為下采樣因子；所說的對輸入的連續(xù)兩幀下采樣圖像進(jìn)行STGS預(yù)分析的步驟包括利用水平和垂直兩個(gè)空間上的STGS分析圖像，通過對其濾波后并對該兩幅STGS圖像進(jìn)行加權(quán)，得到一個(gè)綜合的STGS圖像，以其作為outliers mask(無效區(qū)掩膜)；利用所說的outliers mask作為估計(jì)平移參數(shù)作為的重要信息并利用所說的outliers mask來設(shè)計(jì)ω0(ε)，然后再根據(jù)誤差大小來設(shè)計(jì)ω(ε)；所說的參數(shù)估計(jì)系采用兩層的參數(shù)估計(jì)結(jié)構(gòu)，先是做平移模型的參數(shù)估計(jì)，把估計(jì)得到的平移參數(shù)用于第二層的仿射模型的參數(shù)估計(jì)，并且通過基于I0幀圖像的卷繞得到預(yù)測圖像；接著進(jìn)行仿射模型的參數(shù)估計(jì)，利用平移模型估計(jì)的結(jié)果用于改善仿射模型的參數(shù)估計(jì)；最后仿射模型的參數(shù)在已有的預(yù)測圖像基礎(chǔ)上進(jìn)行基于I0幀的圖像卷繞得到最終的預(yù)測圖像。本發(fā)明具有如下的優(yōu)點(diǎn)1.有效地挖掘和利用運(yùn)動(dòng)信息利用光流方程式推導(dǎo)出的STGS圖像預(yù)分析方法，對于確定全局運(yùn)動(dòng)中的outliers非常有效，而且可以提供比較準(zhǔn)確的初始搜索方向，計(jì)算代價(jià)較低。本發(fā)明利用STGS得到的運(yùn)動(dòng)信息確定了outliers的范圍，排除它對全局運(yùn)動(dòng)估計(jì)的影響，在最小化過程中找到最佳的搜索方向。
特別是本發(fā)明方法先對輸入的連續(xù)兩幀圖像進(jìn)行下采樣，而后才做STGS分析。這種方法可以減少噪聲對STGS分析的影響，忽略那些可以不考慮的小outliers，更利于真正的大outliers的檢測而且計(jì)算量更??；接下來是對兩幅濾波后的STGS圖像進(jìn)行加權(quán)，得到一個(gè)加權(quán)的STGS分析圖像，這樣更充分地利用了全局運(yùn)動(dòng)信息。
2.本發(fā)明方法使用由STGS圖像得到的關(guān)于outliers的信息來選取初始加權(quán)函數(shù)，這樣的估計(jì)具有更快的收斂速度。
3.本發(fā)明同時(shí)采用兩種運(yùn)動(dòng)模型，進(jìn)行分層結(jié)構(gòu)的參數(shù)估計(jì)，即兩層結(jié)構(gòu)第一層是采用平移模型，第二層采用仿射模型，這樣的結(jié)構(gòu)可以彌補(bǔ)單一模型的不足，提高估計(jì)準(zhǔn)確度，從而產(chǎn)生好的預(yù)測圖像。
根據(jù)

圖1可以看出總的模塊組成結(jié)構(gòu)當(dāng)前幀(I1)輸入當(dāng)前幀存儲(chǔ)器10，前一幀I0存儲(chǔ)在前一幀存儲(chǔ)器12，這兩幀I0、I1輸入到STGS圖像預(yù)分析模塊11和分層結(jié)構(gòu)的參數(shù)估計(jì)模塊13，其中STGS圖像預(yù)分析得到的數(shù)據(jù)也要輸入分層結(jié)構(gòu)的參數(shù)估計(jì)模塊13中，最后進(jìn)入后續(xù)處理14。下面將詳細(xì)描述這一系列處理過程。
圖2描述了STGS圖像預(yù)分析這一過程。首先，在運(yùn)動(dòng)估計(jì)之前，對輸入的連續(xù)兩幀下采樣圖像I0(ax，ay，t-1)和I1(ax，ay，t)經(jīng)由圖像高斯低通濾波處理模塊110濾波后進(jìn)入下采樣圖像STGS分析模塊111進(jìn)行STGS預(yù)分析，其中a為下采樣因子。在本實(shí)施例中以2∶1(即a＝2)的下采樣比率為例，即I0(2x，2y，t-1)和I1(2x，2y，t)進(jìn)行STGS預(yù)分析，令x＝2x，y＝2yGh(x,y)=It(x,y)Ih(x,y)]]>Gv(x,y)=It(x,y)Iv(x,y)]]>其中Gh(x，y)和Gv(x，y)分別是水平和垂直方向的STGS分析圖像；It(x，y)是I0和I1之間的時(shí)間梯度圖像；Ih(x，y)和Iv(x，y)分別是當(dāng)前I1水平和垂直空間的梯度圖像，它們分別被送入水平方向STGS圖像三灰度級處理模塊112和垂直方向STGS圖像三灰度級處理模塊113。其次，對利用Gh(x，y)和Gv(x，y)值的符號對其進(jìn)行灰度值處理，得到灰度級的SGh(x，y)和SGv(x，y)。具體的方法可以是在水平方向上，如果Gh(x，y)大于0則相應(yīng)像素的灰度值為255，如果小于0則為0，如果It(x，y)或Ih(x，y)等于0則為128；對于Gv(x，y)做相同的處理。
然后，把這兩個(gè)方向上的STGS圖像送入濾波和加權(quán)模塊114并對灰度級的SGh(x，y)和SGv(x，y)做中值濾波(或形態(tài)濾波)處理進(jìn)行加權(quán)，得到綜合的STGS圖像，最后對綜合的STGS圖像送入上采樣處理模塊115進(jìn)行上采樣得到outliers mask(無效區(qū)掩膜)，這樣完成了對outliers(無效區(qū))的信息提取的過程，并最后，把得到的outliers mask送入STGS預(yù)分析信息(outliers mask)模塊116。
從圖1可見，參數(shù)估計(jì)過程是在分層結(jié)構(gòu)的參數(shù)估計(jì)模塊13中實(shí)現(xiàn)的。如圖3所示，先是將兩幀圖像I0幀和I1幀輸入二參數(shù)平移模型估計(jì)模塊132做平移模型的參數(shù)估計(jì)，把估計(jì)得到的平移參數(shù)分別送入圖像卷繞模塊133和六參數(shù)仿射模型估計(jì)模塊134用于第二層的仿射模型的參數(shù)估計(jì)，并且在圖像卷繞模塊133中進(jìn)行基于I0幀圖像卷繞得到預(yù)測圖像；接著進(jìn)行仿射模型的參數(shù)估計(jì)，利用平移模型估計(jì)的結(jié)果可以改善仿射模型的參數(shù)估計(jì)；最后利用仿射模型的參數(shù)在已有的預(yù)測圖像基礎(chǔ)上做基于I0幀的圖像卷繞模塊135上進(jìn)行圖像卷繞得到最終的預(yù)測圖像。
上述的第一層是用二參數(shù)的平移運(yùn)動(dòng)模型 其中a0和b0是平移分量，作為下面的仿射模型估計(jì)的平移參量的初始值。利用outliers mask信息來估計(jì)平移參數(shù)，這樣的計(jì)算效率提高了。在左上角頂點(diǎn)為原點(diǎn)(0，0)的情況下，mask＝0的區(qū)域，a0是正值而b0為負(fù)；mask＝255的區(qū)域，a0是負(fù)值而b0是正值；mask＝128則均為0。這樣根據(jù)outliersmask的值就可確定該區(qū)域的運(yùn)動(dòng)方向，從而提高估計(jì)的速度。
第二層是基于仿射運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)模型，即仿射變換x1y1=a1a2b1b2x0y0+a0b0]]>這樣要估計(jì)的參數(shù)矢量就是a→=(A,D),]]>令A(yù)=a1a2b1b2]]>和平移參數(shù)D=a0b0,]]>x是像素的坐標(biāo)對，整個(gè)變換函數(shù)可以寫成F(x，a)＝Ax+D于是，預(yù)測圖像I0和I1圖像間的殘差ϵ(x)=I1(x)-I0(F(x,a→)),]]>根據(jù)經(jīng)典的robust M-estimator(魯棒性M-估計(jì))有最小化過程中的目標(biāo)函數(shù)minΣx∈Ωω2(ϵ)ϵx2]]>其中x是坐標(biāo)對(x，y)，Ω是估計(jì)的圖像區(qū)域，一般是整幅圖像。在本實(shí)施例中先利用前面產(chǎn)生的outliers mask來設(shè)計(jì)ω0(ε)，然后再根據(jù)誤差大小來設(shè)計(jì)ω(ε)，從而有效的消除outliers對參數(shù)估計(jì)的影響，提高準(zhǔn)確度和效率，即(1)初始時(shí)刻，利用outliers mask來設(shè)計(jì)ω0(ε)的方法可以是 (2)由于考慮了圖像STGS預(yù)分析得到的outliers mask信息，因此在迭代過程中的ω(ε)設(shè)計(jì)可以簡化如下 其中，c是一個(gè)可調(diào)的正參數(shù)；而μ是圖像區(qū)域的誤差的方差。
根據(jù)本發(fā)明的估計(jì)方法，在對目標(biāo)函數(shù)進(jìn)行最小化過程中，仍然可以采用常用的線性迭代方法，諸如高斯-牛頓、SOR、Levenberg-Marquardt等算法。
權(quán)利要求
1.一種基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其處理步驟包括先對輸入的兩幀圖像進(jìn)行高斯低通濾波和下采樣處理，然后做STGS預(yù)分析得到重要的全局運(yùn)動(dòng)信息，特別是關(guān)于無效區(qū)的信息；接著把這些信息運(yùn)用到參數(shù)估計(jì)模塊中，并且利用最小化中的迭代方法尋找最佳的估計(jì)參數(shù)；最后把這些結(jié)果用于后續(xù)的視頻壓縮、運(yùn)動(dòng)的分割和視頻信息分類處理。
2.根據(jù)權(quán)利要求1所述的基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所說的對輸入的兩幀下采樣圖像進(jìn)行STGS分析的步驟是指對輸入的連續(xù)兩幀下采樣圖像I0(ax，ay，t-1)和I1(ax，ay，t)進(jìn)行STGS預(yù)分析，其中a為下采樣因子。
3.根據(jù)權(quán)利要求2所述的基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所說的對輸入的連續(xù)兩幀下采樣圖像進(jìn)行STGS預(yù)分析的步驟包括利用水平和垂直兩個(gè)空間上的STGS分析圖像，通過對其濾波后的該兩幅STGS圖像進(jìn)行加權(quán)，得到一個(gè)綜合的STGS圖像，以其作為無效區(qū)掩膜。
4.根據(jù)權(quán)利要求3所述的基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其特征在于，利用所說的綜合的STGS圖像的無效區(qū)掩膜作為估計(jì)平移參數(shù)的重要信息。
5.根據(jù)權(quán)利要求3所述的基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其特征在于，利用所說的無效區(qū)掩膜來設(shè)計(jì)ω0(ε)，然后再根據(jù)誤差大小來設(shè)計(jì)ω(ε)。
6.根據(jù)權(quán)利要求1或2所述的基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所說的參數(shù)估計(jì)系采用兩層的參數(shù)估計(jì)結(jié)構(gòu)，先是做平移模型的參數(shù)估計(jì)，把估計(jì)得到的平移參數(shù)用于第二層的仿射模型的參數(shù)估計(jì)，并且通過基于I0幀圖像的卷繞得到預(yù)測圖像；接著進(jìn)行仿射模型的參數(shù)估計(jì)，利用平移模型估計(jì)的結(jié)果來改善仿射模型的參數(shù)估計(jì)；最后仿射模型的參數(shù)在已有的預(yù)測圖像基礎(chǔ)上進(jìn)行基于I0幀的圖像卷繞得到最終的預(yù)測圖像。
全文摘要
一種基于光流方程的時(shí)空梯度范圍分析和分層結(jié)構(gòu)的全局運(yùn)動(dòng)估計(jì)方法，其處理步驟包括先對輸入的兩幀圖像進(jìn)行高斯低通濾波和下采樣處理，然后做STGS預(yù)分析得到重要的全局運(yùn)動(dòng)信息，特別是關(guān)于無效區(qū)的信息；接著把這些信息運(yùn)用到參數(shù)估計(jì)模塊中，并且利用最小化中的迭代方法尋找最佳的估計(jì)參數(shù)；最后把這些結(jié)果用于后續(xù)的視頻壓縮、運(yùn)動(dòng)的分割和視頻信息分類處理。本發(fā)明可應(yīng)用于視頻編碼壓縮、視頻對象分割、視頻信息分類檢索以及鑲嵌等方面，特別是在MPEG－4中的精靈的產(chǎn)生和視頻對象的分割尤其重要。本發(fā)明對全局運(yùn)動(dòng)估計(jì)準(zhǔn)確、快速。
文檔編號H04N7/26GK1468004SQ02152848
公開日2004年1月14日 申請日期2002年11月25日 優(yōu)先權(quán)日2002年6月27日
發(fā)明者王洪燕, 胡敏 申請人:上海漢唐科技有限公司