專利名稱：：實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于圖像處理技術(shù)的應(yīng)用領(lǐng)域，涉及視頻圖像實時電子穩(wěn)像中的一種運(yùn)動補(bǔ)償方法。該方法通過幀間運(yùn)動估計和運(yùn)動補(bǔ)償能夠消除視頻圖像序列中因拍攝載體的不規(guī)則運(yùn)動給圖像造成的影響，實時輸出穩(wěn)定的視頻圖像，以此提高視頻設(shè)備的圖像質(zhì)量和系統(tǒng)后續(xù)處理的準(zhǔn)確性。
背景技術(shù)：
：隨著光學(xué)成像設(shè)備在交通、醫(yī)療、精確制導(dǎo)、軍事偵察和航天領(lǐng)域等的廣泛應(yīng)用，對成像質(zhì)量的要求越來越高。通過手持?jǐn)z像設(shè)備、車載攝像系統(tǒng)、飛機(jī)、導(dǎo)彈以及衛(wèi)星等攝影平臺所采集到的視頻圖像信號不僅包含攝像機(jī)載體的平穩(wěn)運(yùn)動，還包含了很多隨機(jī)運(yùn)動，如低頻抖動、高頻振動以及不規(guī)則的晃動、攝動等，涉及的運(yùn)動類型主要有旋轉(zhuǎn)、平移和尺度等。由于這種隨機(jī)運(yùn)動的存在，造成了拍攝視頻的不穩(wěn)定，嚴(yán)重影響視覺效果，不利于觀察和監(jiān)視，容易造成操作者的視覺疲勞甚至情緒變化，同時也不利于后續(xù)處理。為避免上述不規(guī)則的隨機(jī)運(yùn)動對光學(xué)設(shè)備成像質(zhì)量的影響，就需要判斷出拍攝載體本身的平穩(wěn)運(yùn)動和隨機(jī)抖動，利用圖像處理的方法消除隨機(jī)抖動，只保留攝像機(jī)本身的平穩(wěn)運(yùn)動，使輸出的圖像序列清晰穩(wěn)定，這就是電子穩(wěn)像技術(shù)。這種穩(wěn)像方法具有成本低、效果好和應(yīng)用靈活等特點，已獲得廣泛關(guān)注，在國內(nèi)外都有較快發(fā)展。電子穩(wěn)像技術(shù)包含兩項關(guān)鍵技術(shù)(1)、幀間運(yùn)動估計方法。通過估計相鄰幀或多幀圖像之間的運(yùn)動參數(shù)來描述攝像機(jī)的平穩(wěn)運(yùn)動軌跡，這些運(yùn)動關(guān)系包括平移、旋轉(zhuǎn)或者尺度變換等；(2)、運(yùn)動補(bǔ)償方法。這一部分主要用于分析運(yùn)動軌跡中的平穩(wěn)運(yùn)動成分和隨機(jī)抖動成分，在保留平穩(wěn)運(yùn)動成分的同時剔除隨機(jī)抖動。其中運(yùn)動補(bǔ)償是電子穩(wěn)像中涉及到的一個關(guān)鍵技術(shù)。通過運(yùn)動補(bǔ)償處理可以保留全局運(yùn)動矢量中攝像機(jī)的平穩(wěn)運(yùn)動量，同時去除運(yùn)動軌跡中的不穩(wěn)定運(yùn)動量，并確定輸出圖像在視場中的位置。攝像機(jī)拍攝的視頻可分為兩大類(1)、凝視拍攝，即攝像機(jī)拍攝的畫面始終保持對同一場景的拍攝，視頻的幀間運(yùn)動都是需要去除的不規(guī)則抖動；(2)、掃描拍攝，即攝像機(jī)隨載體做無規(guī)則自由運(yùn)動，視頻幀間運(yùn)動既包含攝像機(jī)隨載體的平穩(wěn)運(yùn)動，也包括攝像機(jī)的隨機(jī)抖動。通常情況下拍攝的視頻可近似認(rèn)為是這兩類拍攝方式的組合以及它們之間的過渡。最簡單的方法是以某一幀作為參考幀，將后續(xù)的各幀直接與參考幀配準(zhǔn)，該方法的優(yōu)點是能夠獲得十分穩(wěn)定的視頻，適用于凝視拍攝方式，但該方法無法適用于掃描拍攝，并且容易受到積累誤差和噪聲的影響。為了處理掃描拍攝的視頻，通常采用濾波的方法對運(yùn)動軌跡進(jìn)行平滑，但該方法無法并不能很好的處理凝視和掃描混合拍攝的視頻，一方面，較小的濾波器帶寬雖能適應(yīng)運(yùn)動形式變化，但尖銳的噪聲會嚴(yán)重破壞穩(wěn)像效果，導(dǎo)致連續(xù)幾幀的圖像不穩(wěn)定或跳動現(xiàn)象，稱為“欠平滑”；另一方面，過度的平滑雖然可在一定程度上避免尖銳噪聲的影響，卻可將平穩(wěn)運(yùn)動作為噪聲大幅抑制，出現(xiàn)視頻滯后現(xiàn)象，稱為“過平滑”。因此單純采用一種運(yùn)動補(bǔ)償方法往往很難獲得滿意的效果，此外，現(xiàn)有方法都沒有考慮到掃描拍攝和凝視拍攝兩種狀態(tài)過渡時對穩(wěn)像效果的影響，常常導(dǎo)致運(yùn)動補(bǔ)償滯后于實際運(yùn)動的變化。公開號是CN101281650A的中國發(fā)明專利申請采用參考幀方法，這種方法只適用于凝視拍攝的視頻序列穩(wěn)像。公開號是CN101316368A的中國發(fā)明專利申請采用濾波方法進(jìn)行運(yùn)動補(bǔ)償，此方法沒有考慮到拍攝狀態(tài)的問題。由YasuyukiMatsushita，EyalOfek，WeinaGe，XiaoouTang和Heung-YeungShum公開于PAMIVOL.28，NO.7，JULY2006的Full-frameVideoStabilizationwithMotionInpainting，采用了光流和濾波的運(yùn)動補(bǔ)償方法，該方法對于存在復(fù)雜運(yùn)動的視頻序列穩(wěn)像效果也并不理想。綜上所述，目前現(xiàn)有的電子穩(wěn)像技術(shù)對于攝像載體任意無規(guī)則運(yùn)動的穩(wěn)像能力還存在很多缺陷和不足，特別是運(yùn)動補(bǔ)償方法對于多種運(yùn)動狀態(tài)也不具有自適應(yīng)能力，造成光學(xué)成像設(shè)備不能有效消除隨機(jī)抖動，無法輸出真實反映攝像載體運(yùn)動情況的穩(wěn)定視頻圖像，圖像可能存在模糊、跳動等現(xiàn)象，給后續(xù)圖像處理工作帶來難度。
發(fā)明內(nèi)容本發(fā)明的目的是針對上述傳統(tǒng)電子穩(wěn)像中運(yùn)動補(bǔ)償方法的缺陷和不足，為滿足拍攝過程中多種復(fù)雜運(yùn)動狀態(tài)下進(jìn)行正確運(yùn)動補(bǔ)償?shù)哪康模岢隽艘环N基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，該方法將運(yùn)動補(bǔ)償分為抖動補(bǔ)償、平穩(wěn)運(yùn)動補(bǔ)償和偏離補(bǔ)償三個部分，將攝像機(jī)運(yùn)動分為凝視拍攝和掃描拍攝，通過識別場景的運(yùn)動狀態(tài)軌跡，并根據(jù)運(yùn)動分類自適應(yīng)調(diào)整三部分補(bǔ)償參數(shù)的比例，從而解決運(yùn)動補(bǔ)償過程中的“過平滑”與“欠平滑”問題。本發(fā)明能夠有效解決多種復(fù)雜運(yùn)動狀態(tài)和拍攝方式自由轉(zhuǎn)換時的穩(wěn)像問題，可以實現(xiàn)復(fù)雜環(huán)境下任意隨機(jī)拍攝的視頻圖像序列的穩(wěn)像要求，并達(dá)到實時輸出穩(wěn)定視頻的目的，不僅可以改善視覺觀察效果，而且能夠保障后續(xù)信息處理的精度。本發(fā)明所采用的技術(shù)方案是本發(fā)明一種實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，其具體步驟如下步驟1.運(yùn)動類型的似然函數(shù)訓(xùn)練為了對拍攝場景的運(yùn)動狀態(tài)和類型進(jìn)行識別，在穩(wěn)像前需要對運(yùn)動類型的似然函數(shù)進(jìn)行訓(xùn)練。在下述步驟5中，采用最大后驗概率方法對運(yùn)動狀態(tài)進(jìn)行估計，每種狀態(tài)的似然函數(shù)必須通過樣本訓(xùn)練，具體實現(xiàn)過程如下(1)、采集訓(xùn)練的視頻樣本針對其應(yīng)用背景，如車載、機(jī)載、手持設(shè)備，采集所需訓(xùn)練樣本，即對該應(yīng)用背景分別采集掃描和凝視兩種拍攝類型的視頻樣本，視頻樣本為僅存在一種運(yùn)動類型的視頻片斷。(2)、幀間運(yùn)動估計與拍攝狀態(tài)標(biāo)記采用基于極性布局特征描述子的實時運(yùn)動估計方法對訓(xùn)練樣本進(jìn)行幀間運(yùn)動估計，并記錄每一幀的幀間運(yùn)動估計參數(shù)。幀間運(yùn)動參數(shù)可以包括垂直運(yùn)動、水平運(yùn)動和旋轉(zhuǎn)運(yùn)動等。具體步驟為①、構(gòu)造高斯尺度空間，提取特征點；②、構(gòu)建極性布局特征描述子；③、局部特征點匹配；④、計算幀間運(yùn)動模型，求出幀間運(yùn)動估計參數(shù)。(3)、計算線性擬和參數(shù)設(shè)第i組訓(xùn)練樣本由m幀組成，設(shè)運(yùn)動軌跡與幀序號呈線性關(guān)系，即通過下式表示用最小二乘解上述方程得到擬和參數(shù)ai和bi，其中yi是由運(yùn)動估計得到的幀間運(yùn)動參數(shù)(如水平、垂直和旋轉(zhuǎn)運(yùn)動等)。(4)、計算似然函數(shù)參數(shù)按照下述步驟5中的定義，在穩(wěn)像前需要分別計算每個類別ωc的兩個似然函數(shù)p(a|ωc)和p(b|ωc)的參數(shù)，即p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)p(a|ωc＝′掃描′)＝N(0，σstable，a)在本發(fā)明中，似然函數(shù)采用高斯函數(shù)和對數(shù)高斯函數(shù)，其參數(shù)是均值μ和方差σ2。步驟2.建立運(yùn)動補(bǔ)償模型定義視頻場景的運(yùn)動模型，其中xn是當(dāng)前幀圖像相對于輸出窗口的絕對位置參數(shù)(包括平移和旋轉(zhuǎn)等運(yùn)動)；xn-1是上一幀相當(dāng)于輸出窗口的絕對位置參數(shù)(包括平移和旋轉(zhuǎn)等運(yùn)動)；err(n)是需要進(jìn)行補(bǔ)償?shù)倪\(yùn)動部分；兩幀之間的位置關(guān)系如下xn＝xn-1+err(n)定義運(yùn)動補(bǔ)償模型為err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)其中wrap(n)是幀間運(yùn)動所引起的抖動分量，對應(yīng)于隨機(jī)抖動所引起的退化，具體數(shù)值由運(yùn)動估計中的圖像配準(zhǔn)方法計算得出。wrap(n)是穩(wěn)像系統(tǒng)中必須去除的運(yùn)動成分。motion(n)是由攝像機(jī)載體引起的理想運(yùn)動，通過分析幀間配準(zhǔn)參數(shù)就能得到攝像機(jī)運(yùn)動的方向和運(yùn)動速度，可以對攝像機(jī)的運(yùn)動進(jìn)行補(bǔ)償。departure(n)為偏離補(bǔ)償部分，該部分使輸出圖像始終保持在窗口中心位置，能夠及時糾正緩慢的圖像飄移。在凝視狀態(tài)下，由于拍攝的不穩(wěn)定性以及算法的積累誤差，存在視點緩慢偏離輸出窗口的飄移現(xiàn)象，使視頻中大量數(shù)據(jù)丟失而無法及時得到糾正，而利用該補(bǔ)償部分則可以很好解決這一問題。步驟3.計算當(dāng)前幀圖像輸出位置相對于窗口中心點的偏移量輸出窗口與輸出圖像位置的距離代表了偏移的程度。為保證圖像參數(shù)的運(yùn)動曲線保持平滑，所有圖像幀都必須進(jìn)行偏差糾正，將departure(n)定義為輸出視頻與輸出窗口偏差的絕對值，偏差糾正的權(quán)重由參數(shù)γ決定式中threshold定義了邊界閾值，即偏離限制在threshold范圍內(nèi)，且threshold>abs(departure)×2。threshold的取值與圖像的大小有關(guān)。步驟4.對運(yùn)動分量濾波，計算理想運(yùn)動參數(shù)和線性擬和參數(shù)定義為幀間變換矩陣，若t為當(dāng)前幀要平滑圖像的幀號，定義它的相鄰幀集合為N＝{j:t-k≤j≤t+k}，相鄰幀與當(dāng)前幀圖像的變換矩陣為，則當(dāng)前幀圖像平滑后的變換矩陣motion(n)為這里是高斯核函數(shù)。motion(n)是去除了高頻抖動的理想運(yùn)動軌跡，反映的是攝像機(jī)載體的理想運(yùn)動。步驟5.識別當(dāng)前幀圖像運(yùn)動狀態(tài)，設(shè)置運(yùn)動補(bǔ)償參數(shù)抖動補(bǔ)償系數(shù)α和理想運(yùn)動補(bǔ)償系數(shù)β通過識別的方法確定，不同的運(yùn)動形式如靜止、勻速運(yùn)動和變速運(yùn)動決定了不同的補(bǔ)償系數(shù)。用戶所提供的訓(xùn)練樣本是在應(yīng)用背景下拍攝含有抖動而不包含拍攝場景運(yùn)動的視頻圖像序列，用以計算抖動的統(tǒng)計特征。本發(fā)明利用相鄰幀運(yùn)動估計參數(shù)來擬合線性函數(shù)，將線性函數(shù)的參數(shù)作為樣本，函數(shù)參數(shù)不但體現(xiàn)了運(yùn)動狀態(tài)，也體現(xiàn)了運(yùn)動變化的趨勢。對于第i組樣本，樣本由m幀幀間運(yùn)動估計參數(shù)擬合線性函數(shù)得到，它們與時間的線性關(guān)系如公式用最小二乘解上述方程，得到參數(shù)斜率ai和截距bi。ai體現(xiàn)了運(yùn)動趨勢，bi是運(yùn)動幅度。由最大后驗概率(MAP)推導(dǎo)出其中C是類別。由運(yùn)動的趨勢a和幅度b是相互獨立的，則有抖動可以認(rèn)為是均值為0的高斯噪聲，則固定拍攝狀態(tài)的似然函數(shù)可定義為p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)穩(wěn)像系統(tǒng)所滿足的應(yīng)用背景與攝像機(jī)載體和攝像機(jī)自身配置有關(guān)。對于勻速的運(yùn)動拍攝，其載體速度有限，載體的運(yùn)動速度不可能無限大，速度越大的運(yùn)動發(fā)生概率也就越?。唤淮蟮倪\(yùn)動速度也造成了運(yùn)動模糊，無法用于穩(wěn)像。因此，不同載體的運(yùn)動速度通常集中在一定范圍內(nèi)，可采用混合對數(shù)正態(tài)分布表示運(yùn)動幅度的似然函數(shù)，μ是平均運(yùn)動速度。p(a|ωc＝′掃描′)＝N(0，σstable，a)根據(jù)運(yùn)動狀態(tài)設(shè)置運(yùn)動補(bǔ)償系數(shù)和抖動補(bǔ)償系數(shù)。ωc＝′凝視′時只需要補(bǔ)償抖動，即α＝1，β＝0。在掃描拍攝狀態(tài)下時，除了需要補(bǔ)償抖動外，還需要對運(yùn)動進(jìn)行補(bǔ)償，則α＝1，β＝1。步驟6.根據(jù)三階段運(yùn)動補(bǔ)償量，計算當(dāng)前幀圖像輸出的位置通過計算得到運(yùn)動補(bǔ)償函數(shù)的各個參數(shù)后，按照下面公式計算出當(dāng)前幀的輸出位置xn＝xn-1+err(n)其中xn是當(dāng)前幀相對于輸出窗口的絕對位置參數(shù)，xn-1是上一幀相當(dāng)于輸出窗口的絕對運(yùn)動參數(shù)，err(n)是兩幀圖像之間的運(yùn)動補(bǔ)償函數(shù)，當(dāng)前幀圖像輸出的位置就是運(yùn)動參數(shù)xn的輸出值。本發(fā)明一種實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，其優(yōu)點和功效是(1)、本發(fā)明提出了一種三階段運(yùn)動補(bǔ)償方法，一方面保證穩(wěn)像輸出窗口的視點保持固定，避免窗口飄移現(xiàn)象(即由積累誤差引起的輸出視頻偏離輸出窗口)，另一方面避免傳統(tǒng)運(yùn)動補(bǔ)償方法“過平滑”與“欠平滑”的問題。本發(fā)明將運(yùn)動補(bǔ)償分為抖動補(bǔ)償、平穩(wěn)運(yùn)動補(bǔ)償和偏移補(bǔ)償，通過每部分的系數(shù)調(diào)整補(bǔ)償比例。其中抖動補(bǔ)償去除視頻中的抖動成分，平穩(wěn)運(yùn)動補(bǔ)償補(bǔ)償因載體運(yùn)動而產(chǎn)生場景移動，通過偏移補(bǔ)償糾正輸出窗口視點中心。本發(fā)明設(shè)計的穩(wěn)像系統(tǒng)全方位的保證輸出視頻平穩(wěn)和信息量。(2)、本發(fā)明設(shè)計了基于識別的運(yùn)動類型分類方法，通過識別出不同類型的運(yùn)動，設(shè)置不同的運(yùn)動補(bǔ)償參數(shù)。避免單一傳統(tǒng)濾波方法對掃描拍攝的過平滑問題和凝視拍攝的欠平滑問題。本發(fā)明對幀間運(yùn)動參數(shù)進(jìn)行線性擬和，并將擬和結(jié)果投影到參數(shù)空間，通過概率的方法進(jìn)行建模。在使用中通過最大后驗概率方法識別運(yùn)動狀態(tài)，并以此為依據(jù)調(diào)整運(yùn)動補(bǔ)償各部分系數(shù)。在凝視拍攝時，任何幀間運(yùn)動都是有害的抖動成分，因而應(yīng)通過減小平穩(wěn)運(yùn)動補(bǔ)償部分系數(shù)，提高抖動補(bǔ)償系數(shù)來輸出穩(wěn)定的凝視視頻；在掃描拍攝時，應(yīng)同時提高運(yùn)動補(bǔ)償系數(shù)和抖動補(bǔ)償系數(shù)，以適應(yīng)載體平穩(wěn)運(yùn)動下的補(bǔ)償。本發(fā)明設(shè)計的穩(wěn)像系統(tǒng)滿足實時電子穩(wěn)像中即可快速適應(yīng)平穩(wěn)運(yùn)動的變化，又可穩(wěn)定的平滑軌跡中的抖動。圖1本發(fā)明的運(yùn)動補(bǔ)償方法在穩(wěn)像過程中的流程示意圖圖2本發(fā)明運(yùn)動類型似然函數(shù)訓(xùn)練過程示意圖圖3a未經(jīng)平滑的場景運(yùn)動軌跡圖3b傳統(tǒng)濾波方法獲得的場景運(yùn)動軌跡圖3c本發(fā)明的運(yùn)動補(bǔ)償方法獲得的場景運(yùn)動軌跡圖4本發(fā)明對隨機(jī)拍攝的存在無規(guī)則運(yùn)動的視頻圖像序列的穩(wěn)像效果圖具體實施例方式參照圖1，本發(fā)明一種實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，其具體實施步驟如下步驟1.運(yùn)動類型的似然函數(shù)訓(xùn)練為了對拍攝場景的運(yùn)動狀態(tài)和類型進(jìn)行識別，在穩(wěn)像前需要對運(yùn)動類型的似然函數(shù)進(jìn)行訓(xùn)練；在下述步驟5中，采用最大后驗概率方法對運(yùn)動狀態(tài)進(jìn)行估計，每種狀態(tài)的似然函數(shù)必須通過樣本訓(xùn)練，具體實現(xiàn)過程如下(1)、采集訓(xùn)練的視頻樣本針對其應(yīng)用背景，如車載、機(jī)載、手持設(shè)備，采集所需訓(xùn)練樣本，即對該應(yīng)用背景分別采集掃描和凝視兩種拍攝類型的視頻樣本，視頻樣本為僅存在一種運(yùn)動類型的視頻片斷。(2)、幀間運(yùn)動估計與拍攝狀態(tài)標(biāo)記采用基于極性布局特征描述子的實時運(yùn)動估計方法對訓(xùn)練樣本進(jìn)行幀間運(yùn)動估計，并記錄每一幀的幀間運(yùn)動估計參數(shù)。幀間運(yùn)動參數(shù)可以包括垂直運(yùn)動、水平運(yùn)動和旋轉(zhuǎn)運(yùn)動等。具體步驟為①、構(gòu)造高斯尺度空間，提取特征點；②、構(gòu)建極性布局特征描述子；③、局部特征點匹配；④、計算幀間運(yùn)動模型，求出幀間運(yùn)動估計參數(shù)。(3)、計算線性擬和參數(shù)設(shè)第i組訓(xùn)練樣本由m幀組成，設(shè)運(yùn)動軌跡與幀序號呈線性關(guān)系，即通過下式表示可用最小二乘解上述方程得到擬和參數(shù)ai和bi，其中yi是由運(yùn)動估計得到的幀間運(yùn)動參數(shù)(如水平、垂直和旋轉(zhuǎn)運(yùn)動等)。(4)、計算似然函數(shù)參數(shù)按照步驟5中的定義，在穩(wěn)像前需要分別計算每個類別ωc的兩個似然函數(shù)p(a|ωc)和p(b|ωc)的參數(shù)，即p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)p(a|ωc＝′掃描′)＝N(0，σstable，a)在本發(fā)明中，似然函數(shù)采用高斯函數(shù)和對數(shù)高斯函數(shù)，其參數(shù)是均值μ和方差σ2。步驟2.建立運(yùn)動補(bǔ)償模型定義視頻場景的運(yùn)動模型，其中xn是當(dāng)前幀圖像相對于輸出窗口的絕對位置參數(shù)(包括平移和旋轉(zhuǎn)等運(yùn)動)；xn-1是上一幀相當(dāng)于輸出窗口的絕對位置參數(shù)(平移和旋轉(zhuǎn)等運(yùn)動)；err(n)是需要進(jìn)行補(bǔ)償?shù)倪\(yùn)動部分；兩幀之間的位置關(guān)系如下xn＝xn-1+err(n)定義運(yùn)動補(bǔ)償模型為err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)其中wrap(n)是幀間運(yùn)動所引起的抖動分量，對應(yīng)于隨機(jī)抖動所引起的退化，具體數(shù)值由運(yùn)動估計中的圖像配準(zhǔn)方法計算得出；wrap(n)是穩(wěn)像系統(tǒng)中必須去除的運(yùn)動成分。motion(n)是由攝像機(jī)載體引起的理想運(yùn)動，通過分析幀間配準(zhǔn)參數(shù)就能得到攝像機(jī)運(yùn)動的方向和運(yùn)動速度，可以對攝像機(jī)的運(yùn)動進(jìn)行補(bǔ)償。departure(n)為偏離補(bǔ)償部分，該部分使輸出圖像始終保持在窗口中心位置，能夠及時糾正緩慢的圖像飄移。在凝視狀態(tài)下，由于拍攝的不穩(wěn)定性以及算法的積累誤差，存在視點緩慢偏離輸出窗口的飄移現(xiàn)象，使視頻中大量數(shù)據(jù)丟失而無法及時得到糾正，而利用該補(bǔ)償部分則可以很好解決這一問題。α，β，γ為針對各種補(bǔ)償?shù)臋?quán)重，用于衡量每一項對總體運(yùn)動補(bǔ)償err(n)的影響。步驟3.計算當(dāng)前幀圖像輸出位置相對于窗口中心點的偏移量輸出窗口與輸出圖像位置的距離代表了偏移的程度。為保證圖像參數(shù)的運(yùn)動曲線保持平滑，所有圖像幀都必須進(jìn)行偏差糾正，將departure(n)定義為輸出視頻與輸出窗口偏差的絕對值，偏差糾正的權(quán)重由參數(shù)γ決定式中threshold定義了邊界閾值，即偏離限制在threshold范圍內(nèi)，且threshold>abs(departure)×2。threshold的取值與圖像的大小有關(guān)。步驟4.對運(yùn)動分量進(jìn)行濾波，計算理想運(yùn)動參數(shù)和線性擬和參數(shù)定義為幀間變換矩陣，若t為當(dāng)前幀要平滑圖像的幀號，定義它的相鄰幀集合為N＝{j:t-k≤j≤t+k}，相鄰幀與當(dāng)前幀圖像的變換矩陣為Ttj，則當(dāng)前幀圖像平滑后的變換矩陣motion(n)為這里是高斯核函數(shù)。motion(n)是去除了高頻抖動的理想運(yùn)動軌跡，反映的是攝像機(jī)載體的理想運(yùn)動。步驟5.識別當(dāng)前幀圖像運(yùn)動狀態(tài)，設(shè)置運(yùn)動補(bǔ)償參數(shù)抖動補(bǔ)償系數(shù)α和理想運(yùn)動補(bǔ)償系數(shù)β通過識別的方法確定，不同的運(yùn)動形式如靜止、勻速運(yùn)動和變速運(yùn)動決定了不同的補(bǔ)償系數(shù)。用戶所提供的訓(xùn)練樣本是在應(yīng)用背景下拍攝含有抖動而不包含拍攝場景運(yùn)動的視頻圖像序列，用以計算抖動的統(tǒng)計特征。本發(fā)明利用相鄰幀運(yùn)動估計參數(shù)來擬合線性函數(shù)，將線性函數(shù)的參數(shù)作為樣本，函數(shù)參數(shù)不但體現(xiàn)了運(yùn)動狀態(tài)，也體現(xiàn)了運(yùn)動變化的趨勢。對于第i組樣本，樣本由m幀幀間運(yùn)動估計參數(shù)擬合線性函數(shù)得到，它們與時間的線性關(guān)系如公式用最小二乘解上述方程，得到參數(shù)斜率ai和截距bi。ai體現(xiàn)了運(yùn)動趨勢，bi是運(yùn)動幅度。由最大后驗概率(MAP)推導(dǎo)出其中C是類別。由運(yùn)動的趨勢a和幅度b是相互獨立的，則有抖動可以認(rèn)為是均值為0的高斯噪聲，則固定拍攝狀態(tài)的似然函數(shù)可定義為p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)穩(wěn)像系統(tǒng)所滿足的應(yīng)用背景與攝像機(jī)載體和攝像機(jī)自身配置有關(guān)。對于勻速的運(yùn)動拍攝，其載體速度有限，載體的運(yùn)動速度不可能無限大，速度越大的運(yùn)動發(fā)生概率也就越??；較大的運(yùn)動速度也造成了運(yùn)動模糊，無法用于穩(wěn)像。因此，不同載體的運(yùn)動速度通常集中在一定范圍內(nèi)，可采用混合對數(shù)正態(tài)分布表示運(yùn)動幅度的似然函數(shù)，μ是平均運(yùn)動速度。p(a|ωc＝′掃描′)＝N(0，σstable，a)根據(jù)運(yùn)動狀態(tài)設(shè)置運(yùn)動補(bǔ)償系數(shù)和抖動補(bǔ)償系數(shù)。ωc＝′凝視′時只需要補(bǔ)償抖動，即α＝1，β＝0。在掃描拍攝狀態(tài)下時，除了需要補(bǔ)償抖動外，還需要對運(yùn)動進(jìn)行補(bǔ)償，則α＝1，β＝1。步驟6.根據(jù)三階段運(yùn)動補(bǔ)償量，計算當(dāng)前幀圖像輸出的位置通過計算得到運(yùn)動補(bǔ)償函數(shù)的各個參數(shù)后，按照下面公式計算出當(dāng)前幀的輸出位置xn＝xn-1+err(n)其中xn是當(dāng)前幀相對于輸出窗口的絕對位置參數(shù)，xn-1是上一幀相當(dāng)于輸出窗口的絕對運(yùn)動參數(shù)，err(n)是兩幀圖像之間的運(yùn)動補(bǔ)償函數(shù)，當(dāng)前幀圖像輸出的位置就是運(yùn)動參數(shù)xn的輸出值。本發(fā)明對存在復(fù)雜運(yùn)動關(guān)系的視頻序列的運(yùn)動補(bǔ)償效果和穩(wěn)定效果可以通過實驗情況進(jìn)一步說明。圖3給出了本發(fā)明對視頻進(jìn)行穩(wěn)定后的軌跡與未穩(wěn)定法和傳統(tǒng)濾波法所得到場景運(yùn)動軌跡的比較，圖中描繪了橫向運(yùn)動的“時間-距離”曲線，圖中橫坐標(biāo)表示時間，縱坐標(biāo)表示x軸相對于原點的距離。圖3(a)是未經(jīng)過穩(wěn)像處理的運(yùn)動軌跡，其中包含了靜止?fàn)顟B(tài)、加速、減速和勻速運(yùn)動等情況。圖3(b)是利用傳統(tǒng)濾波方法穩(wěn)定后的場景運(yùn)動軌跡。圖3(c)是采用本發(fā)明方法穩(wěn)像后輸出的運(yùn)動軌跡。從圖3(c)可以看出，由于本發(fā)明對軌跡類別的進(jìn)行了識別，因此可以更準(zhǔn)確的還原出原始拍攝狀態(tài)的視頻，如圖中，凝視狀態(tài)時在運(yùn)動軌跡圖中表現(xiàn)為水平直線(沒有位移)，而濾波方法由于前后幀運(yùn)動狀態(tài)改變而引入了離散點，從而導(dǎo)致了凝視拍攝時無法達(dá)到真正視頻穩(wěn)定效果。實驗結(jié)果表明，本方明方法對運(yùn)動狀態(tài)變化具有良好的自適應(yīng)性。圖4給出了利用本發(fā)明的運(yùn)動補(bǔ)償方法對于存在復(fù)雜運(yùn)動關(guān)系的視頻圖像的穩(wěn)像效果，其中圖4(a)(c)是原始抖動視頻，圖4(b)(d)是利用本發(fā)明提出的基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法對視頻圖像序列穩(wěn)像后的結(jié)果，在原始視頻圖像序列中不僅包含了平移、旋轉(zhuǎn)、尺度和視角變換，還包含了多種運(yùn)動狀態(tài)和拍攝方式，對于這樣復(fù)雜的視頻運(yùn)動圖像序列，本發(fā)明方法能夠獲得較好的穩(wěn)像效果，且達(dá)到了實時的速度要求。本發(fā)明在VC2005下對于176×144的視頻圖像序列實現(xiàn)了每秒30幀的穩(wěn)像速度。權(quán)利要求1.一種實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，其特征在于其具體步驟如下步驟1.運(yùn)動類型的似然函數(shù)訓(xùn)練為了對拍攝場景的運(yùn)動狀態(tài)和類型進(jìn)行識別，在穩(wěn)像前需要對運(yùn)動類型的似然函數(shù)進(jìn)行訓(xùn)練；在下述步驟5中，采用最大后驗概率方法對運(yùn)動狀態(tài)進(jìn)行估計，每種狀態(tài)的似然函數(shù)必須通過樣本訓(xùn)練，具體實現(xiàn)過程如下(1)、采集訓(xùn)練的視頻樣本針對其應(yīng)用背景，如車載、機(jī)載、手持設(shè)備，采集所需訓(xùn)練樣本，對該應(yīng)用背景分別采集掃描和凝視兩種拍攝類型的視頻樣本，視頻樣本為僅存在一種運(yùn)動類型的視頻片斷；(2)、幀間運(yùn)動估計與拍攝狀態(tài)標(biāo)記采用基于極性布局特征描述子的實時運(yùn)動估計方法對訓(xùn)練樣本進(jìn)行幀間運(yùn)動估計，并記錄每一幀的幀間運(yùn)動估計參數(shù)；幀間運(yùn)動參數(shù)包括垂直運(yùn)動、水平運(yùn)動和旋轉(zhuǎn)運(yùn)動，具體步驟為①、構(gòu)造高斯尺度空間，提取特征點；②、構(gòu)建極性布局特征描述子；③、局部特征點匹配；④、計算幀間運(yùn)動模型，求出幀間運(yùn)動估計參數(shù)；(3)、計算線性擬和參數(shù)設(shè)第i組訓(xùn)練樣本由m幀組成，設(shè)運(yùn)動軌跡與幀序號呈線性關(guān)系，即通過下式表示用最小二乘解上述方程，得到擬和參數(shù)αi和bi，其中yi是由運(yùn)動估計得到的幀間運(yùn)動參數(shù)；(4)、計算似然函數(shù)參數(shù)按照下述步驟5中的定義，在穩(wěn)像前需要分別計算每個類別ωc的兩個似然函數(shù)p(a|ωc)和p(b|ωc)的參數(shù)，即p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)p(a|ωc＝′掃描′)＝N(0，σstable，a)其中，似然函數(shù)采用高斯函數(shù)和對數(shù)高斯函數(shù)，其參數(shù)是均值μ和方差σ2；步驟2.建立運(yùn)動補(bǔ)償模型定義視頻場景的運(yùn)動模型，其中xn是當(dāng)前幀圖像相對于輸出窗口的絕對位置參數(shù)；xn-1是上一幀相當(dāng)于輸出窗口的絕對位置參數(shù)；err(n)是需要進(jìn)行補(bǔ)償?shù)倪\(yùn)動部分；兩幀之間的位置關(guān)系如下xn＝xn-1+err(n)定義運(yùn)動補(bǔ)償模型為err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)其中wrap(n)是幀間運(yùn)動所引起的抖動分量，對應(yīng)于隨機(jī)抖動所引起的退化，具體數(shù)值由運(yùn)動估計中的圖像配準(zhǔn)方法計算得出；wrap(n)是穩(wěn)像系統(tǒng)中必須去除的運(yùn)動成分；motion(n)是由攝像機(jī)載體引起的理想運(yùn)動，通過分析幀間配準(zhǔn)參數(shù)就能得到攝像機(jī)運(yùn)動的方向和運(yùn)動速度，可以對攝像機(jī)的運(yùn)動進(jìn)行補(bǔ)償；departure(n)為偏離補(bǔ)償部分，該部分使輸出圖像始終保持在窗口中心位置，能夠及時糾正緩慢的圖像飄移；在凝視狀態(tài)下，由于拍攝的不穩(wěn)定性以及算法的積累誤差，存在視點緩慢偏離輸出窗口的飄移現(xiàn)象，使視頻中大量數(shù)據(jù)丟失而無法及時得到糾正，而利用該補(bǔ)償部分則可以很好解決這一問題；α，β，γ為針對各種補(bǔ)償?shù)臋?quán)重，用于衡量每一項對總體運(yùn)動補(bǔ)償err(n)的影響比例；步驟3.計算當(dāng)前幀圖像輸出位置相對于窗口中心點的偏移量輸出窗口與輸出圖像位置的距離代表了偏移的程度，為保證圖像參數(shù)的運(yùn)動曲線保持平滑，所有圖像幀都必須進(jìn)行偏差糾正，將departure(n)定義為輸出視頻與輸出窗口偏差的絕對值，偏差糾正的權(quán)重由參數(shù)γ決定式中threshold定義了邊界閾值，即偏離限制在threshold范圍內(nèi)，且threshold>abs(departure)×2，threshold的取值與圖像的大小有關(guān)；步驟4.對運(yùn)動分量濾波，計算理想運(yùn)動參數(shù)和線性擬和參數(shù)定義為幀間變換矩陣，若t為當(dāng)前幀要平滑圖像的幀號，定義它的相鄰幀集合為N＝{jt-k≤j≤t+k}，相鄰幀與當(dāng)前幀圖像的變換矩陣為，則當(dāng)前幀圖像平滑后的變換矩陣motion(n)表示為這里是高斯核函數(shù)，motion(n)是去除了高頻抖動的理想運(yùn)動軌跡，反映的是攝像機(jī)載體的理想運(yùn)動；步驟5.識別當(dāng)前幀圖像的運(yùn)動狀態(tài)，設(shè)置運(yùn)動補(bǔ)償參數(shù)抖動補(bǔ)償系數(shù)α和理想運(yùn)動補(bǔ)償系數(shù)β通過識別的方法確定，不同的運(yùn)動形式如靜止、勻速運(yùn)動和變速運(yùn)動決定了不同的補(bǔ)償系數(shù)，用戶所提供的訓(xùn)練樣本是在應(yīng)用背景下拍攝含有抖動而不包含拍攝場景運(yùn)動的視頻圖像序列，用以計算抖動的統(tǒng)計特征；本發(fā)明利用相鄰幀運(yùn)動估計參數(shù)來擬合線性函數(shù)，將線性函數(shù)的參數(shù)作為樣本，函數(shù)參數(shù)不但體現(xiàn)了運(yùn)動狀態(tài)，也體現(xiàn)了運(yùn)動變化的趨勢；對于第i組樣本，樣本由m幀幀間運(yùn)動估計參數(shù)擬合線性函數(shù)得到，它們與時間的線性關(guān)系如公式用最小二乘法解上述方程，得到參數(shù)斜率αi和截距bi；ai體現(xiàn)了運(yùn)動趨勢，bi是運(yùn)動幅度；由最大后驗概率(MAP)推導(dǎo)出其中C是類別；由于運(yùn)動的趨勢a和幅度b是相互獨立的，則有若抖動是均值為0的高斯噪聲，則固定拍攝狀態(tài)的似然函數(shù)定義為p(a|ωc＝′凝視′)＝N(0，σstable，a)p(b|ωc＝′凝視′)＝N(0，σstable，b)穩(wěn)像系統(tǒng)所滿足的應(yīng)用背景與攝像機(jī)載體和攝像機(jī)自身配置有關(guān)，對于勻速運(yùn)動拍攝，其載體速度有限，載體的運(yùn)動速度不可能無限大，速度越大的運(yùn)動發(fā)生概率也就越?。惠^大的運(yùn)動速度會造成運(yùn)動模糊，無法用于穩(wěn)像；因此，不同載體的運(yùn)動速度通常集中在一定范圍內(nèi)，因此采用混合對數(shù)正態(tài)分布表示運(yùn)動幅度的似然函數(shù)，μ是平均運(yùn)動速度；p(a|ωc＝′掃描′)＝N(0，σstable，a)根據(jù)運(yùn)動狀態(tài)設(shè)置運(yùn)動補(bǔ)償系數(shù)和抖動補(bǔ)償系數(shù)，ωc＝′凝視′時只需要補(bǔ)償抖動，即α＝1，β＝0；在掃描拍攝狀態(tài)下時，除了需要補(bǔ)償抖動外，還需要對運(yùn)動進(jìn)行補(bǔ)償，則α＝1，β＝1；步驟6.根據(jù)三階段運(yùn)動補(bǔ)償量，計算當(dāng)前幀圖像輸出的位置通過計算得到運(yùn)動補(bǔ)償函數(shù)的各個參數(shù)后，按照下面公式計算出當(dāng)前幀的輸出位置xn＝xn-1+err(n)其中xn是當(dāng)前幀相對于輸出窗口的絕對位置參數(shù)；xn-1是上一幀相當(dāng)于輸出窗口的絕對運(yùn)動參數(shù)；err(n)是兩幀圖像之間的運(yùn)動補(bǔ)償函數(shù)；當(dāng)前幀圖像輸出的位置就是運(yùn)動參數(shù)xn的輸出值。全文摘要一種實時電子穩(wěn)像中基于運(yùn)動狀態(tài)識別的運(yùn)動補(bǔ)償方法，其方法步驟為①訓(xùn)練運(yùn)動類型的似然函數(shù)；②建立運(yùn)動補(bǔ)償模型；③計算當(dāng)前幀圖像相對于窗口中心點的偏移量；④對運(yùn)動分量濾波，計算理想運(yùn)動參數(shù)和線性擬和參數(shù)；⑤識別當(dāng)前幀圖像運(yùn)動狀態(tài)，設(shè)置運(yùn)動補(bǔ)償參數(shù)；⑥根據(jù)三階段運(yùn)動補(bǔ)償量，計算當(dāng)前幀圖像的輸出位置。該方法將運(yùn)動補(bǔ)償分為抖動補(bǔ)償、平穩(wěn)運(yùn)動補(bǔ)償和偏離補(bǔ)償三部分，將攝像機(jī)運(yùn)動分為凝視拍攝和掃描拍攝兩種類型，通過識別場景的當(dāng)前運(yùn)動狀態(tài)，自適應(yīng)調(diào)整三部分運(yùn)動補(bǔ)償參數(shù)的比例，從而解決運(yùn)動補(bǔ)償過程中的“過平滑”與“欠平滑”問題。有效解決多種復(fù)雜運(yùn)動狀態(tài)和拍攝方式自由轉(zhuǎn)換時的穩(wěn)像問題，達(dá)到實時輸出穩(wěn)定視頻的目的。文檔編號G06T7/20GK101511024SQ20091008105公開日2009年8月19日申請日期2009年4月1日優(yōu)先權(quán)日2009年4月1日發(fā)明者趙丹培,昊馮,姜志國,萌安申請人:北京航空航天大學(xué)