專利名稱：基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及是一種可廣泛用于手機(jī)、數(shù)碼相機(jī)、攝像機(jī)等消費(fèi)電子類產(chǎn)品，同時(shí)亦 可廣泛用于飛機(jī)、艦船、衛(wèi)星、導(dǎo)彈等所裝備的攝像和監(jiān)視系統(tǒng)中的實(shí)時(shí)視頻穩(wěn)像方法。
背景技術(shù)：
攝像機(jī)在移動(dòng)過程中拍攝的視頻序列，不僅包含了攝像機(jī)的主動(dòng)運(yùn)動(dòng)部分，同時(shí) 也引入了不規(guī)則的隨機(jī)運(yùn)動(dòng)，這種隨機(jī)運(yùn)動(dòng)的存在，會(huì)造成視頻的抖動(dòng)和模糊，嚴(yán)重影響了 人的視覺感受，視頻穩(wěn)像的目的就是消除或削弱這種隨機(jī)運(yùn)動(dòng)對(duì)視頻畫面所造成的破壞性 影響。視頻穩(wěn)像的實(shí)現(xiàn)包括運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波和無效區(qū)域補(bǔ)償三個(gè)模塊，針對(duì)這三個(gè)模 塊，國內(nèi)外學(xué)者提出了很多方法。在運(yùn)動(dòng)估計(jì)方面，有基于塊、基于特征點(diǎn)、基于位平面等方 法；在運(yùn)動(dòng)濾波方面，有加權(quán)均值濾波、卡爾曼濾波(Kalman Filter)等；在無效區(qū)域補(bǔ)償 方面，有基于圖像放大、基于視頻修復(fù)(Video Inpaint)等方法。盡管提出了這么多方法， 但是這些方法在速度和效果上仍沒能做到很好的折中，比如在運(yùn)動(dòng)估計(jì)方面，基于塊的方 法，速度快，但是受光照影響較大，基于特征點(diǎn)方法，具有較好的抗光照效果，但是對(duì)局部運(yùn) 動(dòng)較敏感，基于位平面方法，對(duì)光照不敏感，但是速度較慢且數(shù)據(jù)存儲(chǔ)量較大。另外在運(yùn)動(dòng)濾波方面，基本都是采用傳統(tǒng)卡爾曼濾波或加權(quán)均值濾波，濾波的響 應(yīng)性不好，有的濾波方法利用未來幀信息進(jìn)行前向平滑處理，盡管濾波效果較好，但是由于 利用未來幀信息不能實(shí)時(shí)處理；無效區(qū)域補(bǔ)償方面，目前較好的一種方法是利用視頻修復(fù) 思想來實(shí)現(xiàn)，但是這種方法致命缺點(diǎn)是速度慢并且依賴未來幀信息，無法實(shí)時(shí)處理。因此， 對(duì)于一個(gè)魯棒的視頻穩(wěn)像器而言，設(shè)計(jì)一組實(shí)時(shí)有效的運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波和無效區(qū)域補(bǔ) 償方法顯得非常重要。最后，經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)Marius Tico在《IEEEInternational Conference on Image Processing〉〉(pp569_572,2005)上 發(fā)表"Constraint motion filtering for videostabilization”(基于約束運(yùn)動(dòng)濾波的視頻穩(wěn)像方法，圖像處理IEEE 國際會(huì)議)，該文采用了特征點(diǎn)跟蹤方法及帶約束限制的卡爾曼運(yùn)動(dòng)濾波方法，試驗(yàn)結(jié)果表 明該方法有較好的穩(wěn)像效果，但是文中的運(yùn)動(dòng)估計(jì)采用了基于全像素的特征匹配，精度高， 但是速度慢，同時(shí)文中采用了基于勻速模型的卡爾曼運(yùn)動(dòng)濾波方法，當(dāng)運(yùn)動(dòng)模型匹配時(shí)，濾 波效果較好，但是一旦模型發(fā)生變化，則濾波效果會(huì)受到很大影響，而實(shí)際攝像機(jī)在拍攝過 程中往往不符合勻速運(yùn)動(dòng)規(guī)律。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí) 視頻穩(wěn)像方法，該方法實(shí)現(xiàn)簡單，避免了復(fù)雜的高維矩陣運(yùn)算，并且估計(jì)精度較高，為低速 嵌入式平臺(tái)環(huán)境下的實(shí)時(shí)視頻穩(wěn)像提供了一種非常有效的方法。為了解決以上技術(shù)問題，本發(fā)明提供了一種基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí) 時(shí)視頻穩(wěn)像方法，它包括如下步驟第一步，對(duì)當(dāng)前幀進(jìn)行塊分割，第二步，基于鉆石搜索法獲取每個(gè)塊的運(yùn)動(dòng)矢量，第三步，判斷塊運(yùn)動(dòng)是否異常，如果不異常則標(biāo)注為有效塊，第 四步，統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，第五步，根據(jù)所述全局平移量估 算出每一個(gè)有效塊相對(duì)于前一幀中的匹配塊的旋轉(zhuǎn)和縮放量，第六步，統(tǒng)計(jì)所述的旋轉(zhuǎn)和 縮放量估算出全局的旋轉(zhuǎn)和縮放量，第七步，對(duì)全局的平移、旋轉(zhuǎn)和縮放量進(jìn)行運(yùn)動(dòng)濾波處 理，第八步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動(dòng)補(bǔ)償。另外，所述第二步包括步驟1，利用積分圖特征描述每個(gè)塊內(nèi)容；步驟2，以積分 圖特征誤差最小為匹配準(zhǔn)則對(duì)每個(gè)塊進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)。其中，所述第七步濾波處理是采用粒子濾波方法進(jìn)行運(yùn)動(dòng)濾波處理，并且所述第 七步粒子濾波方法中的重要性采樣通過自適應(yīng)卡爾曼濾波方法獲取。本發(fā)明首先進(jìn)行了異常塊的剔除，然后，在判斷出有效塊后，需利用這些塊的 運(yùn)動(dòng)參數(shù)估計(jì)出全局運(yùn)動(dòng)參數(shù)，經(jīng)典方法是采用最小二乘法求解一個(gè)超定方程組，即 2 = (X^T1X1,其中i = [XjAsf為全局運(yùn)動(dòng)參數(shù)，X為前一幀中塊的坐標(biāo)，X’為當(dāng)前幀 中對(duì)應(yīng)塊的坐標(biāo)，在求解該方程時(shí)，需要求矩陣逆，該矩陣的維數(shù)一般都較高，因此運(yùn)算較 復(fù)雜，并且有可能會(huì)由于計(jì)算機(jī)數(shù)值問題出現(xiàn)矩陣不可逆，導(dǎo)致無法求出全局運(yùn)動(dòng)參數(shù)，而 本發(fā)明利用估計(jì)出當(dāng)前幀每個(gè)塊相對(duì)于前一幀塊所產(chǎn)生的平移、旋轉(zhuǎn)和縮放量，然后，采用 統(tǒng)計(jì)均值的方法求出全局運(yùn)動(dòng)參數(shù)，該方法實(shí)現(xiàn)簡單，避免了復(fù)雜的高維矩陣求逆運(yùn)算，并 且估計(jì)精度較高。另外，本發(fā)明采用了基于積分圖特征的塊運(yùn)動(dòng)估計(jì)方法，而該塊運(yùn)動(dòng)估計(jì) 方法，首先將當(dāng)前幀圖像分成若干塊，如8x8或16x16，將每塊在參考幀內(nèi)特定搜索范圍內(nèi) 進(jìn)行匹配，塊與塊之間的匹配準(zhǔn)則，傳統(tǒng)方法采用絕對(duì)誤差、均方誤差等，這些準(zhǔn)則易于計(jì) 算，但是對(duì)圖像噪聲和光照變化較敏感，本發(fā)明采用了積分圖特征誤差作為匹配準(zhǔn)則，該特 征具有運(yùn)算速度快，且具有對(duì)圖像噪聲和光照變化不敏感的優(yōu)點(diǎn)，增強(qiáng)了攝像設(shè)備的抗光 照和圖像噪聲的能力，提高了全局運(yùn)動(dòng)參數(shù)估計(jì)的魯棒性。最后，本發(fā)明設(shè)計(jì)一種基于自適 應(yīng)卡爾曼濾波的概率粒子濾波方法(Particle Filter)，通過調(diào)節(jié)觀測噪聲方差，提高卡爾 曼濾波的響應(yīng)速度，同時(shí)通過概率粒子濾波方法來校正卡爾曼濾波在運(yùn)動(dòng)模型不匹配時(shí)的 狀態(tài)估計(jì)誤差。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。圖l(a)-l(h)為本發(fā)明處理方法總體框圖。其中圖1(a)為積分圖特征描述圖；圖1(b)為運(yùn)動(dòng)塊的積分圖特征描述圖；圖 1(c)為塊運(yùn)動(dòng)估計(jì)流程圖；圖1(d)為異常運(yùn)動(dòng)塊和無效運(yùn)動(dòng)塊標(biāo)注圖；圖1(e)為單個(gè)有 效塊的旋轉(zhuǎn)角度量和縮放量的估計(jì)示意圖；圖1(f)為基于有效塊的全局運(yùn)動(dòng)參數(shù)估計(jì)流 程圖；圖1(g)為運(yùn)動(dòng)濾波實(shí)現(xiàn)過程圖；圖1(h)為視頻穩(wěn)像的總體框圖。圖2(a)_2(b)為本發(fā)明中兩種運(yùn)動(dòng)濾波效果比較圖。其中圖2(a)為帶約束限制的卡爾曼運(yùn)動(dòng)濾波方法效果圖，圖2(b)為基于自適應(yīng) 卡爾曼濾波的概率粒子濾波方法效果圖。圖3(a)_(f)為本發(fā)明中視頻穩(wěn)像效果圖。其中圖3(a)為原始視頻序列，圖3(b)為穩(wěn)像后序列，圖3 (c)為χ方向位移量的 運(yùn)動(dòng)濾波效果圖，圖3(d)為y方向位移量的運(yùn)動(dòng)濾波效果圖，圖3(e)為旋轉(zhuǎn)角度量的運(yùn)動(dòng)
6濾波效果圖，圖3(f)為縮放量的運(yùn)動(dòng)濾波效果圖。
具體實(shí)施例方式圖l(a)-l(h)為本發(fā)明提出的一種基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻 穩(wěn)像方法的總體框圖。各部分具體實(shí)施細(xì)節(jié)如下圖1 (a)為積分圖特征描述圖1.積分圖特征(對(duì)應(yīng)的英文為Integral Image Feature)
權(quán)利要求
基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于，第一步，對(duì)當(dāng)前幀進(jìn)行塊分割，第二步，基于鉆石搜索法獲取每個(gè)塊的運(yùn)動(dòng)向量，第三步，判斷塊運(yùn)動(dòng)是否異常，如果不異常則標(biāo)注為有效塊，第四步，統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，第五步，根據(jù)所述全局平移量估算出每一個(gè)有效塊相對(duì)于前一幀中的匹配塊的旋轉(zhuǎn)和縮放量，第六步，統(tǒng)計(jì)所述塊的旋轉(zhuǎn)和縮放量估算出全局的旋轉(zhuǎn)和縮放量，第七步，對(duì)全局的平移、旋轉(zhuǎn)和縮放量進(jìn)行運(yùn)動(dòng)濾波處理，第八步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動(dòng)補(bǔ)償。
2.根據(jù)權(quán)利要求1所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，所述第三步中判斷塊是否異常包括如下步驟步驟1 統(tǒng)計(jì)塊在χ，y方向上的運(yùn)動(dòng)參數(shù)的均值和方差，具體計(jì)算公式如下ux=\±vx{i)⑴L /=1sl—^hvx{i)-uxf(2)1 /=1υ,=τΣνΛ0(3)厶 一 i /=1其中，1為塊的索引值，L為塊的總數(shù)量，VX(1)為第1個(gè)塊在X方向上的運(yùn)動(dòng)位移，Vy(I) 為y方向上的運(yùn)動(dòng)位移，Ux為所有塊在χ方向上的運(yùn)動(dòng)位移均值，焚為χ方向上的運(yùn)動(dòng)位移 方差，Uy為所有塊在y方向上的運(yùn)動(dòng)位移均值，g為y方向上的運(yùn)動(dòng)位移方差；步驟2 檢驗(yàn)每個(gè)塊的運(yùn)動(dòng)異常性，對(duì)于第k個(gè)塊，如果其χ和y方向位移量Vx (k)和 Vy (k)滿足下面任何一個(gè)公式，則該塊為異常運(yùn)動(dòng)塊，否則標(biāo)注為有效塊，公式如下 \[vxi.k)-uxf>T*sl(5)其中，τ為閾值，一般取2. 5-4。如該塊為異常運(yùn)動(dòng)塊，則不參與下次均值和方差的統(tǒng)計(jì)；步驟3 循環(huán)步驟1和步驟2，當(dāng)?shù)鷿M足一個(gè)最大迭代次數(shù)，或當(dāng)前統(tǒng)計(jì)出的均值與前 一次的均值相比變化很小時(shí)，停止迭代。
3.根據(jù)權(quán)利要求1或2所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法， 其特征在于，所述第四步統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，所述全局平 移量包括在χ方向上的全局平移量Gx和y方向上的全局平移量Gy，具體計(jì)算公式如下ι M(6)ι M(7)其中，M為有效塊的總數(shù)，m為有效塊的索引，Vx(m)和Vy(m)分別為第m個(gè)有效塊在χ 方向和y方向上的運(yùn)動(dòng)位移。
4.根據(jù)權(quán)利要求3所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，所述第五步的第m個(gè)有效塊的旋轉(zhuǎn)角度量θ (m)通過如下公式計(jì)算其中，O4y和O4x為當(dāng)前幀中心位置為(04y, o4x)的塊，Oly和Olx為在前一幀中搜索到的 最佳匹配塊中心位置，GX和Gy為估計(jì)到的所述的在X方向和y方向上全局平移量，m從1到 M，M為有效塊的總數(shù)。
5.根據(jù)權(quán)利要求3所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，所述第五步的第m個(gè)有效塊的縮放量S (m)通過如下公式計(jì)算Sjm)= ;(9)其中，O4y和O4x為當(dāng)前幀中心位置為(04y, OJ的塊，Oly和Olx為在前一幀中搜索到的 最佳匹配塊中心位置，Gx和Gy為估計(jì)到的全局平移量。
6.根據(jù)權(quán)利要求3所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，所述第六步統(tǒng)計(jì)所述的全局旋轉(zhuǎn)和縮放量，可以通過如下公式計(jì)算得到ι MGe=IflL^m)(10)ι MGs=^Sim)(11)Mti其中，G0是全局旋轉(zhuǎn)量，Gs是全局縮放量，θ (m)是第m個(gè)有效塊的旋轉(zhuǎn)角度量，S(m) 是第m個(gè)有效塊的縮放量。
7.根據(jù)權(quán)利要求1所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，所述第二步基于鉆石搜索法包括步驟1，利用積分圖特征描述每個(gè)塊內(nèi)容；步驟 2，以積分圖特征誤差最小為匹配準(zhǔn)則對(duì)每個(gè)塊進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)。
8.根據(jù)權(quán)利要求7所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其特 征在于，在所述步驟2之前還包括對(duì)所述塊的特征豐富程度進(jìn)行判定，由下式計(jì)算得到MT = YFB(k)(12)k=\其中，F(xiàn)b (k)為塊B上的第k個(gè)積分圖特征，M為積分圖特征總數(shù)，T表示特征豐富程度， T值越大，特征越豐富，如果T小于一個(gè)最小閾值，則該塊的特征被定義為不豐富，直接標(biāo)注 為無效塊，對(duì)該塊不進(jìn)行所述步驟2的積分圖特征的塊匹配運(yùn)動(dòng)估計(jì)。
9.根據(jù)權(quán)利要求7或8所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法， 其特征在于，所述步驟2還包括塊匹配誤差判斷步驟，該步驟是對(duì)前后兩個(gè)塊的匹配誤差 按照如下公式進(jìn)行計(jì)算M .ISAD(Ax,Ay) = Σ“⑷(13 )其中，k為積分圖特征的索引號(hào)，M為積分圖特征總數(shù)，^和Ay為位移量，B(i，j)為當(dāng) 前幀中心位置為(i，j)的塊，B(i+Ax，j+Ay)為前一幀中心位置為(i+Ax，j+Ay)的塊，F(xiàn)B(i, j) (k)和巧㈨分別為塊B(i，j)禾口 B(i+Ax，j+Ay)上第k個(gè)積分圖特征，ISAD ( Δ x, Δ ￥)為匹配誤差值，如果該匹配誤差值大于一個(gè)最大設(shè)定值，則標(biāo)注為無效塊，該塊不參與所述第四步和第六步中的全局運(yùn)動(dòng)參數(shù)估計(jì)。
10.根據(jù)權(quán)利要求1所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其 特征在于，所述第七步濾波處理是采用粒子濾波方法進(jìn)行運(yùn)動(dòng)濾波處理。
11.根據(jù)權(quán)利要求10所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其 特征是，所述第七步粒子濾波方法中的重要性采樣通過自適應(yīng)卡爾曼濾波方法獲取。
12.根據(jù)權(quán)利要求11所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其 特征是，所述的自適應(yīng)卡爾曼濾波方法是通過判斷全局運(yùn)動(dòng)參數(shù)的變化劇烈程度來自適應(yīng) 調(diào)節(jié)卡爾曼濾波中的觀測噪聲方差，其中調(diào)節(jié)觀測噪聲方差采用如下公式^lu = CC^llu, if Sz > Smaxif5min <Sz <^max(14) ΛΧ, if H其中，為t時(shí)刻的觀測噪聲方差，^,為t-1時(shí)刻的觀測噪聲方差；sz為時(shí)間窗內(nèi)的 觀測值變化劇烈程度，當(dāng)Sz越大，則在該時(shí)間窗內(nèi)，觀測值變化越劇烈，否則，反之；α和β 為調(diào)節(jié)系數(shù)，α —般取0.7-0. 9，β 一般取1.1-1. 3 ;Smax為觀測值變化劇烈程度的最大閾 值，Sfflin為觀測值變化劇烈程度最小閾值。
13.根據(jù)權(quán)利要求12所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，其 特征是，所述的的調(diào)節(jié)過程中的值當(dāng)大于最大設(shè)定閾值時(shí)，取最大設(shè)定閾值，當(dāng)小于最 小設(shè)定閾值時(shí)，取最小設(shè)定閾值。
14.根據(jù)權(quán)利要求12或13所述的基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方 法，其特征是，所述最大設(shè)定閾值一般取402-502之間的值，最小設(shè)定閾值一般取52-102之間 的值。
全文摘要
本發(fā)明公開了一種基于簡易快速全局運(yùn)動(dòng)參數(shù)估計(jì)的實(shí)時(shí)視頻穩(wěn)像方法，該方法實(shí)現(xiàn)簡單，并且估計(jì)精度較高，為低速嵌入式平臺(tái)環(huán)境下的實(shí)時(shí)視頻穩(wěn)像提供了一種非常有效的方法。它包括如下步驟第一步，對(duì)當(dāng)前幀進(jìn)行塊分割，第二步，基于鉆石搜索法獲取每個(gè)塊的運(yùn)動(dòng)矢量，第三步，判斷塊運(yùn)動(dòng)是否異常，如果不異常則標(biāo)注為有效塊，第四步，統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，第五步，根據(jù)所述全局平移量估算出每一個(gè)有效塊相對(duì)于前一幀中的匹配塊的旋轉(zhuǎn)和縮放量，第六步，統(tǒng)計(jì)所述的旋轉(zhuǎn)和縮放量估算出全局的旋轉(zhuǎn)和縮放量，第七步，對(duì)全局的平移、旋轉(zhuǎn)和縮放量進(jìn)行運(yùn)動(dòng)濾波處理，第八步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動(dòng)補(bǔ)償。
文檔編號(hào)H04N5/14GK101951463SQ201010179280
公開日2011年1月19日 申請(qǐng)日期2010年5月19日 優(yōu)先權(quán)日2010年5月19日
發(fā)明者王競, 龔志 申請(qǐng)人:上海穩(wěn)像信息技術(shù)有限公司