專利名稱：一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手持?jǐn)?shù)碼攝像設(shè)備圖像處理方法，具體涉及手持?jǐn)?shù)碼攝像設(shè)備的視頻防抖方法。本發(fā)明還涉及手持?jǐn)?shù)碼攝像設(shè)備的視頻防抖裝置。
背景技術(shù)：
隨著科技的進步和發(fā)展，手持?jǐn)?shù)碼攝像設(shè)備越來越多的進入人們的生活，然而由于人體結(jié)構(gòu)的自然因素，肘腕關(guān)節(jié)不可避免的輕微運動都會給攝像的結(jié)果帶來抖動，另外由于手持設(shè)備的自身存儲限制一般都需要實時的視頻壓縮編碼。本項發(fā)明就是利用了視頻壓縮編碼的運動估計模塊來進行防抖，將防抖與視頻編碼相結(jié)合既減少了防抖的代價又提高了視頻壓縮的效率。
現(xiàn)階段的防抖系統(tǒng)主要分為兩大類光學(xué)防抖和電子防抖。光學(xué)防抖是通過鏡頭內(nèi)置的儀器感應(yīng)相機的抖動，再通過調(diào)整鏡頭內(nèi)透鏡的位置而達到防抖效果。光學(xué)防抖技術(shù)通常用于高端的數(shù)碼相機和數(shù)碼攝像機中。電子防抖，是通過電子手段來對圖像進行處理，以減輕抖動對成像的影響。目前，電子防抖主要有三種實施手段，自動提高ISO感光度/電子圖像壓縮/BSS模式。CCD(Charge Coupled Device電荷耦合元件)防抖的原理就是將CCD安置在一個可以上下左右移動的支架上，先檢測出是否有抖動，由于使用陀螺傳感器，抖動的檢測與其他公司基本相同。然后傳感器檢測出抖動的方向、速度、移動量等信號，經(jīng)過處理計算出可以足以抵消抖動的CCD移動量。電子防抖由于造價低廉，通常用于低端的數(shù)碼相機和數(shù)碼攝像機中。
由此可見，光學(xué)防抖和電子防抖兩種技術(shù)各有優(yōu)缺點。光學(xué)防抖技術(shù)的防抖效果好，可以充分利用CCD的采集像素，但是需要透鏡運動補償裝置，因此造價相對較高。電子防抖無需透鏡運動補償裝置，造價低廉，實現(xiàn)簡單，但是降低CCD的利用率；而采用CCD補償方法則需要額外的CCD移動裝置，也一定程度提高了造價。無論是光學(xué)防抖還是電子防抖，多數(shù)方法都需要一個運動的傳感器-抖動補償陀螺儀來感知運動的方向和強度，從而采用光學(xué)方法和電子方法進行補償。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種造價低、CCD(Charge Coupled Device電荷耦合元件)利用率高、實現(xiàn)容易的用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法。本發(fā)明的目的還提供一種手持?jǐn)?shù)碼攝像設(shè)備的視頻防抖裝置。
為了達到上述目的，本發(fā)明采取以下方案1)首先對圖像序列進行運動估計，然后進行抖動發(fā)生的判斷，如果當(dāng)前幀的非零有效運動矢量占全部運動矢量的比例大于某個閾值則認(rèn)為發(fā)生了抖動，需要進行抖動補償；否則保持原圖像而不進行補償；2)抖動發(fā)生時，即通過圖像的當(dāng)前幀的各個局部運動矢量估計當(dāng)前幀的仿射變換系數(shù)并進行仿射變換及局部運動濾除；3)對當(dāng)前幀進行防抖動或仿射變換并與參考幀合并成變換幀之后再繼續(xù)進行編碼。
其中，所述運動估計包括1)運動估計模塊輸入為第i幀圖像和第i-1幀圖像作為參考圖像，輸出為第i幀圖像相對于第i-1幀圖像的運動矢量；2)運動估計方法采用基于視頻壓縮方法中的運動估計方法，即以塊和宏塊為單位而進行運動估計，通過運動估計獲取圖像中每個宏塊或塊的運動矢量。
其中，所述當(dāng)前幀的變換系數(shù)計算及仿射變換和局部運動濾除操作包括<1>首先將運動估計得到的矢量矩陣MV轉(zhuǎn)換成成對的像素點坐標(biāo)，當(dāng)前幀的當(dāng)前點坐標(biāo)為(X1，Y1)，運動矢量為MV(MVx1，MVy1)，則對應(yīng)前一幀的像素點為(Xref1，Yref1)有Xref1＝X1+MVx1；Yref1＝Y(jié)1+MVy1；<2>其次求解抖動變換系數(shù)，當(dāng)攝像頭發(fā)生抖動時能夠認(rèn)為兩幀圖象間類似于發(fā)生了仿射變換，從而有Xref1＝a*X1+b*Y1+e；Yref1＝c*X1+d*Y1+f；當(dāng)認(rèn)為只發(fā)生旋轉(zhuǎn)和平移的抖動而不考慮鏡頭縮放的抖動時能夠簡化為Xref1＝a*X1+b*Y1+e；Yref1＝-b*X1+a*Y1+f；由運動估計得到的矢量矩陣結(jié)合該點的坐標(biāo)我們可以建立矩陣方程Xref1Yref1Xref2Yref2··XrefnYrefn=ab-ba*X1Y1X2Y2··XnY1+ef]]>變換如下X1Y110Y1-X101X2Y210Y2-X201········XnYn10Yn-Xn01*abef=Xref1Yref1Xref2Yref2··XrefnYrefn]]>可以看成如下形式
AX＝b其中A=X1Y110Y1-X101X2Y210Y2-X201········XnYn10Yn-Xn01]]>b=Xref1Yref1Xref2Yref2··XrefnYrefn]]>X=abef]]>求解得到(X)X＝[ATA]-1ATb即可得到變換系數(shù)(a b e f)<3>再次，濾除局部運動，利用計算出的變換系數(shù)對運動矢量矩陣得到的像素點對進行重新計算得到的(Xrefi’，Yrefi’)與對應(yīng)的(Xrefi，Yrefi)比較誤差，對于任意一個坐標(biāo)誤差大于預(yù)定數(shù)目個像素的點對認(rèn)為是局部運動塊所在的位置，從而進行了去除；然后利用剩下的n’個點對重新進行步驟<2>中的運算得到相對準(zhǔn)確的全局變換系數(shù)。
其中，所述運動補償包括利用全局變換系數(shù)對當(dāng)前幀進行變換，即用仿射變換和插值將當(dāng)前幀中的點變換到新的變換幀上，切除位于圖像坐標(biāo)外的點，對于沒有的點用參考幀上的點補齊，此時得到當(dāng)前幀的變換幀與參考幀的誤差只有局部運動而消除了全局抖動。
手持?jǐn)?shù)碼攝像設(shè)備的防抖裝置，包括運動估計單元、編碼單元、熵編碼單元、運動補償單元、緩存單元，轉(zhuǎn)換開關(guān)，該開關(guān)用于將當(dāng)前幀運動估計結(jié)果的信息送入編碼單元，或送入變換系數(shù)計算單元、仿射變換單元；變換系數(shù)計算單元，用于求解當(dāng)前幀的仿射變換系數(shù)，它的一端通過轉(zhuǎn)換開關(guān)與運動估計單元連接，另一端與仿射變換單元連接；仿射變換單元，用于消除當(dāng)前幀可能存在的抖動，它通過轉(zhuǎn)換開關(guān)接所述編碼單元；局部運動濾除單元，用于判斷當(dāng)前幀是否發(fā)生了抖動并消除全局抖動中的局部運動，它分別接仿射變換單元和變換系數(shù)計算單元。
手持?jǐn)?shù)碼攝像設(shè)備的防抖裝置，包括運動估計單元一、編碼單元、熵編碼單元、運動補償單元、緩存單元，還增設(shè)一個運動估計單元二，該單元的一端與仿射變換單元連接，另一端通過轉(zhuǎn)換開關(guān)與編碼單元連接；變換系數(shù)計算單元，用于求解當(dāng)前幀的仿射變換系數(shù)，它的一端與運動估計單元一連接，另一端與仿射變換單元連接；仿射變換單元，用于消除當(dāng)前幀可能存在的抖動，它接增設(shè)的運動估計單元二；局部運動濾除單元，用于判斷當(dāng)前幀是否發(fā)生了抖動并消除全局抖動中的局部運動，它分別接仿射變換單元和變換系數(shù)計算單元。
1)與已有技術(shù)相比，由于采用以上方案，本發(fā)明無需外接運動傳感器，抖動補償陀螺儀，完全通過數(shù)字圖像處理方法實現(xiàn)抖動的估計、抖動圖像的補償，有效解決了平移，旋轉(zhuǎn)甚至焦距變換過程中發(fā)生的抖動。2)實現(xiàn)簡單、CCD利用率高、且價格低廉。3)本發(fā)明對于手持?jǐn)z像設(shè)備能夠在進行編碼的同時進行防抖處理，尤其是對出現(xiàn)旋轉(zhuǎn)的防抖處理。


圖1是本發(fā)明只有一個運動估計單元的結(jié)構(gòu)示意圖；圖2是本發(fā)明兩個運動估計單元的結(jié)構(gòu)示意圖；圖3是本發(fā)明當(dāng)發(fā)生抖動時當(dāng)前幀與參考幀之間的關(guān)系與運動矢量示意圖；圖4是本發(fā)明當(dāng)前幀仿射變換與插值后的結(jié)構(gòu)示意圖；圖5是本發(fā)明變換后的當(dāng)前幀與參考幀合并成的變換幀示意圖；圖6是本發(fā)明參考幀示意圖；圖7是本發(fā)明抖動發(fā)生的當(dāng)前幀其中人物向前行進存在局部運動示意圖；圖8是本發(fā)明合并后的變換幀示意圖。
圖中K1、K2、轉(zhuǎn)換開關(guān)；1、K1、K2、K3的位置1；2、K1、K2、K3的位置2；3、運動估計單元；4、變換系數(shù)計算單元；5、局部運動濾除單元；6、仿射單元；7、熵編碼單元；8、編碼單元；9、運動補償單元；10、緩存單元；11、增設(shè)的運動估計單元。
具體實施例方式
以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
如圖1所示，本發(fā)明提出的防抖方法無需外加運動補償傳感器獲得運動狀態(tài)，而是引入了視頻編碼技術(shù)的運動估計方法，其中，圖像的抖動相當(dāng)于發(fā)生了仿射變換，從而通過運動估計方法計算出每幀的全局抖動的變換系數(shù)。即通過當(dāng)前幀的各個局部運動矢量(MV1，MV2，...MVN)，估計當(dāng)前幀的仿射變換系數(shù)(a，b，c，d，e，f)。對當(dāng)前幀進行防抖動(仿射)變換并與參考幀合并成變換幀之后再繼續(xù)進行編碼。
實施例一如圖1所示，本裝置采用在視頻編碼器中增加一個變換系數(shù)計算單元4，一個仿射變換單元6，一個局部運動濾除單元5以及兩個轉(zhuǎn)換開關(guān)K1、K2。在防抖裝置工作時，兩個開關(guān)K1、K2先置于位置1，此時對當(dāng)前幀先進行運動估計。變換系數(shù)計算單元4對運動估計得到的運動矢量進行仿射變換系數(shù)的計算。仿射變換單元6利用得到的變換系數(shù)進行仿射變換。局部運動濾除單元5濾除全局抖動中存在的局部運動。圖1中虛線表示轉(zhuǎn)換開關(guān)K1、K2由局部運動濾除單元來控制的。
在運動估計單元3的結(jié)果中判斷有效運動矢量(不包含0運動矢量)占全部運動矢量的比例小于某個閾值，則認(rèn)為不存在全局抖動或運動量過大超出了抖動的范圍。此時進行正常的編碼等后續(xù)工作不再進行防抖動的處理。該閾值一般選取2/3。當(dāng)不存在全局抖動時將兩個轉(zhuǎn)換開關(guān)K1、K2置于位置2。這種情況下對運動估計的結(jié)果直接進行視頻編碼器的其他編碼工作。
當(dāng)運動估計單元輸出非0有效運動矢量占整個運動矢量數(shù)目的比例大于某個閾值時，認(rèn)為存在全局抖動(該閾值一般選取2/3)，當(dāng)局部運動濾除單元中不存在坐標(biāo)誤差大于預(yù)定數(shù)目個像素的點對時認(rèn)為不存在局部運動。此時則將當(dāng)前幀直接進行仿射變換后與參考幀合并成變換幀，然后將兩個轉(zhuǎn)換開關(guān)K1、K2置于位置2利用變換幀進行視頻編碼器中完整的視頻編碼過程。
當(dāng)存在全局抖動并且有局部運動時則濾除局部運動后的運動矢量進行變換系數(shù)的計算，然后將當(dāng)前幀利用求得的變換系數(shù)進行仿射變換后與參考幀合并成變換幀，然后將兩個開關(guān)K1、K2置于位置2利用變換幀進行視頻編碼器中完整的視頻編碼過程。
其中，所述運動估計單元3包括運動估計單元3輸入為第i幀圖像和第i-1幀圖像作為參考圖像。輸出為第i幀圖像相對于第i-1幀圖像的運動矢量。
運動估計方法能夠采用基于視頻壓縮方法中的運動估計方法，以塊和宏塊為單位而進行運動估計。這時通過運動估計可以獲取圖像中每個宏塊或塊的運動矢量。
本發(fā)明采用MPEG和H.26X視頻編碼標(biāo)準(zhǔn)中的運動估計單元直接應(yīng)用到本發(fā)明的運動估計單元3。這些方法已經(jīng)可以很容易實現(xiàn)，直接應(yīng)用。
由于目前MPEG和H.26X等視頻編碼標(biāo)準(zhǔn)中都有運動估計單元，本發(fā)明可以直接采用符合這些標(biāo)準(zhǔn)的視頻編碼器中的運動估計單元。所以本發(fā)明可以很容易的融合到視頻編碼器中。
所述變換系數(shù)計算單元4的功能包括<1>首先將運動估計得到的矢量矩陣MV轉(zhuǎn)換成成對的像素點坐標(biāo)，當(dāng)前幀的當(dāng)前點坐標(biāo)為(X1，Y1)，運動矢量為MV(MVx1，MVy1)，則對應(yīng)前一幀的像素點為(Xref1，Yref1)有Xref1＝X1+MVx1；Yref1＝Y(jié)1+MVy1；<2>其次求解抖動變換系數(shù)，當(dāng)攝像頭發(fā)生抖動時能夠認(rèn)為兩幀圖象間類似于發(fā)生了仿射變換，從而有Xref1＝a*X1+b*Y1+e；Yref1＝c*X1+d*Y1+f；當(dāng)認(rèn)為只發(fā)生旋轉(zhuǎn)和平移的抖動而不考慮鏡頭縮放的抖動時能夠簡化為Xref1＝a*X1+b*Y1+e；Yref1＝-b*X1+a*Y1+f；由運動估計得到的矢量矩陣結(jié)合該點的坐標(biāo)我們可以建立矩陣方程Xref1Yref1Xref2Yref2··XrefnYrefn=ab-ba*X1Y1X2Y2··X2Y2+ef]]>變換如下X1Y110Y1-X101X2Y210Y2-X201········XnYn10YnXn01*abef=Xref1Yref1Xref2Yref2··XrefnYrefn]]>可以看成如下形式
AX＝b其中A=X1Y110Y1-X101X2Y210Y2-X201········XnYn10Yn-Xn01]]>b=Xref1Yref1Xref2Yref2··XrefnYrefn]]>X=abef]]>求解得到(X)X＝[ATA]-1ATb即可得到變換系數(shù)(a b e f)所述仿射變換單元6的功能包括1)當(dāng)運動估計單元輸出非0有效運動矢量占整個運動矢量數(shù)目的比例大于某個閾值時，認(rèn)為存在全局抖動(該閾值一般選取2/3)。當(dāng)存在全局抖動情況下，利用變換系數(shù)計算單元4輸出的變換系數(shù)對運動矢量矩陣得到的像素點對進行仿射變換的計算(Xrefi’，Yrefi’)輸出到局部運動濾除單元5。
2)參見圖3-圖5，由圖3可見，當(dāng)抖動發(fā)生時當(dāng)前幀與參考幀之間既存在水平與垂直方向上的偏移也存在旋轉(zhuǎn)的偏差，我們可以將其看作發(fā)生了仿射變換。從而利用相對應(yīng)的運動矢量來求取全局運動的變換系數(shù)。利用全局變換系數(shù)對當(dāng)前幀進行變換，即用仿射變換和插值將當(dāng)前幀中的點進行變換(見圖4)，所述插值的方法可用最鄰近插值法，線性插值法，三次B樣條插值法等；切除位于圖像坐標(biāo)外的點，對于沒有的點用參考幀上的點補齊生成變換幀(見圖5)，進行視頻編碼操作。同樣，圖6-圖8描述了存在局部運動時的抖動消除，其中圖6表示參考幀，圖7為存在全局抖動和局部運動(行人的移動)的當(dāng)前幀，圖8為利用濾除局部運動后得到的變換系數(shù)進行仿射變換和插值后切除位于圖像坐標(biāo)外的點并與參考幀合并得到的變換幀。此時得到當(dāng)前幀的變換幀與參考幀的誤差只有局部運動而消除了大量的全局抖動。由于變換幀與參考幀的誤差很小所以繼續(xù)進行編碼得到的殘差相應(yīng)變小，從而也提高了壓縮效率。
所述局部運動濾除單元5的功能如下1)當(dāng)存在全局抖動情況下，利用仿射變換單元6輸出的(Xrefi’，Yrefi’)與對應(yīng)的(Xrefi，Yrefi)比較誤差，由于坐標(biāo)的單位就是像素，所以對于任意一個坐標(biāo)誤差大于Δ數(shù)目個像素的點對認(rèn)為是局部運動塊所在的位置，從而進行了去除。然后利用剩下的n’個點對，重新進行上述變換系數(shù)計算單元4步驟<2>中的運算得到相對準(zhǔn)確的全局變換系數(shù)。其中Δ選取最小運動估計塊大小的1/2，例如選用了8*8的運動估計塊則Δ選取為8*1/2＝4。
2)當(dāng)濾除局部運動矢量后的非0有效運動矢量占全部運動估計輸出的非0有效運動矢量的比例小于某個閾值時，則認(rèn)為不存在全局抖動或運動量過大超出了抖動的范圍。此時控制兩個轉(zhuǎn)換開關(guān)K1、K2置于位置2進行正常的編碼等后續(xù)工作不再進行防抖動的處理。該閾值一般選取2/3。
圖1所示的裝置中由于只有一個運動估計單元，防抖處理和視頻編碼都需要使用，所以雖然節(jié)省了裝置但是需要兩個開關(guān)來切換，為了更好的滿足在快速處理，我們提出了如圖2所示的裝置，本裝置采用在視頻編碼器之前增設(shè)一個運動估計單元11，一個變換系數(shù)計算單元4，一個仿射變換單元6，一個局部運動濾除單元5以及一個轉(zhuǎn)換開關(guān)K3。此時雖然比實施例一增加了一個運動估計單元11，但是減少了一個開關(guān)。所述增設(shè)的一個運動估計單元11一端與仿射變換單元6連接，另一端通過轉(zhuǎn)換開關(guān)K3與編碼單元連接；變換系數(shù)計算單元4，用于求解當(dāng)前幀的仿射變換系數(shù)，它的一端與運動估計單元3連接，另一端與仿射變換單元6連接；仿射變換單元6，用于消除當(dāng)前幀可能存在的抖動，它與增設(shè)的運動估計單元11相連；局部運動濾除單元5，用于判斷當(dāng)前幀是否發(fā)生了抖動并消除全局抖動中的局部運動，它分別與仿射變換單元6和變換系數(shù)計算單元4相連。圖2中虛線表示轉(zhuǎn)換開關(guān)K3由局部運動濾除單元來控制的。
在防抖裝置工作時，開關(guān)K3先置于位置2，此時對當(dāng)前幀先進行運動估計。變換系數(shù)計算單元4對運動估計得到的運動矢量進行仿射變換系數(shù)的計算。仿射變換單元6利用得到的變換系數(shù)進行仿射變換。局部運動濾除單元5濾除全局抖動中存在的局部運動。
在增設(shè)的運動估計單元11的結(jié)果中判斷有效運動矢量(不包含0運動矢量)占全部運動矢量的比例小于某個閾值，則認(rèn)為不存在全局抖動或運動量過大超出了抖動的范圍。此時進行正常的編碼等后續(xù)工作不再進行防抖動的處理。該閾值一般選取2/3。當(dāng)不存在全局抖動時將開關(guān)K3置于位置1。這種情況下對運動估計的結(jié)果直接進行視頻編碼器的其他編碼工作。
當(dāng)運動估計單元輸出非0有效運動矢量占整個運動矢量數(shù)目的比例大于某個閾值時，認(rèn)為存在全局抖動(該閾值一般選取2/3)，當(dāng)局部運動濾除單元中不存在坐標(biāo)誤差大于預(yù)定數(shù)目個像素的點對時認(rèn)為不存在局部運動。此時則將當(dāng)前幀直接進行仿射變換后與參考幀合并成變換幀，開關(guān)K3保持在位置2，然后利用變換幀進行視頻編碼器中完整的視頻編碼過程。
當(dāng)存在全局抖動并且有局部運動時則濾除局部運動后的運動矢量進行變換系數(shù)的計算，然后將當(dāng)前幀利用求得的變換系數(shù)進行仿射變換后與參考幀合并成變換幀，開關(guān)K3保持在位置2，利用變換幀進行視頻編碼器中完整的視頻編碼過程。
其中，所述運動估計單元3的功能與實施例一相同；所述增設(shè)的運動估計單元11的功能與實施例一中運動估計單元3相同。
其中，所述變換系數(shù)計算單元4的功能與實施例一相同。
所述仿射變換單元6的功能與實施例一相同。
所述局部運動濾除單元5的功能如下1)利用仿射變換單元6輸出的(Xrefi’，Yrefi’)與對應(yīng)的(Xrefi，Yrefi)比較誤差，由于坐標(biāo)的單位就是像素，所以對于任意一個坐標(biāo)誤差大于Δ數(shù)目個像素的點對認(rèn)為是局部運動塊所在的位置，從而進行了去除。然后利用剩下的n’個點對，重新進行上述變換系數(shù)計算單元步驟<2>中的運算得到相對準(zhǔn)確的全局變換系數(shù)。其中Δ選取最小運動估計塊大小的1/2，例如選用了8*8的運動估計塊則Δ選取為8*1/2＝4。
2)當(dāng)濾除局部運動矢量后的非0有效運動矢量占全部運動估計輸出的非0有效運動矢量的比例小于某個閾值時，則認(rèn)為不存在全局抖動或運動量過大超出了抖動的范圍。此時控制開關(guān)K3置于位置1進行正常的編碼等后續(xù)工作不再進行防抖動的處理。該閾值一般選取2/3。
權(quán)利要求
1.一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法，其特征在于包括1)首先對圖像序列進行運動估計，然后進行抖動發(fā)生的判斷，如果當(dāng)前幀的非零有效運動矢量占全部運動矢量的比例大于某個閾值則認(rèn)為發(fā)生了抖動，需要進行抖動補償；否則保持原圖像而不進行補償；2)抖動發(fā)生時，即通過圖像的當(dāng)前幀的各個局部運動矢量估計當(dāng)前幀的仿射變換系數(shù)并進行仿射變換及局部運動濾除；3)對當(dāng)前幀進行防抖動或仿射變換并與參考幀合并成變換幀之后再繼續(xù)進行編碼。
2.如權(quán)利要求1所述的一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法，其特征在于所述運動估計方法采用基于視頻壓縮方法中的運動估計方法，即以塊和宏塊為單位而進行運動估計，通過運動估計獲取圖像中每個宏塊或塊的運動矢量。
3.如權(quán)利要求1所述的一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法，其特征在于所述當(dāng)前幀的變換系數(shù)計算以及仿射變換和局部運動濾除操作包括<1>首先將運動估計得到的矢量矩陣MV轉(zhuǎn)換成成對的像素點坐標(biāo)，當(dāng)前幀的當(dāng)前點坐標(biāo)為(X1，Y1)，運動矢量為MV(MVx1，MVy1)，則對應(yīng)前一幀的像素點為(Xref1，Yref1)有Xref1＝X1+MVx1；Yref1＝Y(jié)1+MVy1；<2>其次求解抖動變換系數(shù)，當(dāng)攝像頭發(fā)生抖動時能夠認(rèn)為兩幀圖象間類似于發(fā)生了仿射變換，從而有Xref1＝a*X1+b*Y1+e；Yref1＝c*X1+d*Y1+f；當(dāng)認(rèn)為只發(fā)生旋轉(zhuǎn)和平移的抖動而不考慮鏡頭縮放的抖動時能夠簡化為Xref1＝a*X1+b*Y1+e；Yref1＝-b*X1+a*Y1+f；由運動估計得到的矢量矩陣結(jié)合該點的坐標(biāo)我們可以建立矩陣方程Xref1Yref1Xref2Yref2..XrefnYrefn=ab-ba*X1Y1X2Y2..XnY1+ef]]>變換如下X1Y110Y1-X101X2Y210Y2-X201........XnYn10Yn-Xn01*abef=Xref1Yref1Xref2Yref2..XrefnYrefn]]>可以看成如下形式AX＝b其中A=X1Y110Y1-X101X2Y210Y2-X201........XnYn10Yn-Xn01b=Xref1Yref1Xref2Yref2..XrefnYrefnX=abef]]>求解得到(X)X＝[ATA]-1ATb即可得到變換系數(shù)(a b e f)<3>再次，濾除局部運動，利用計算出的變換系數(shù)對運動矢量矩陣得到的像素點對進行重新計算得到的(Xrefi’，Yrefi’)與對應(yīng)的(Xrefi，Yrefi)比較誤差，對于任意一個坐標(biāo)誤差大于預(yù)定數(shù)目個像素的點對認(rèn)為是局部運動塊所在的位置，從而進行了去除；然后利用剩下的n’個點對重新進行步驟<2>中的運算得到相對準(zhǔn)確的全局變換系數(shù)。<4>最后，判斷當(dāng)濾除局部運動矢量后的非0有效運動矢量數(shù)占全部運動估計輸出的非0有效運動矢量數(shù)的比例小于某個閾值時，則認(rèn)為不存在全局抖動或運動量過大超出了抖動的范圍，此時直接利用運動估計模塊的輸出結(jié)果進行正常的編碼后續(xù)工作不再進行防抖動的處理。
4.如權(quán)利要求1所述的一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法，其特征在于所述運動補償包括利用全局變換系數(shù)對當(dāng)前幀進行變換，即用仿射變換和插值將當(dāng)前幀中的點變換到新的變換幀上，切除位于圖像坐標(biāo)外的點，對于沒有的點用參考幀上的點補齊，此時得到當(dāng)前幀的變換幀與參考幀的誤差只有局部運動產(chǎn)生的很少的誤差而消除了全局抖動產(chǎn)生的大量誤差。
5.一種手持?jǐn)?shù)碼攝像設(shè)備的防抖裝置，包括運動估計單元、編碼單元、熵編碼單元、運動補償單元、緩存單元，其特征在于還包括轉(zhuǎn)換開關(guān)、變換系數(shù)計算單元、仿射變換單元、局部運動濾除單元，其中，轉(zhuǎn)換開關(guān)，用于將當(dāng)前幀運動估計結(jié)果的信息送入編碼單元，或送入變換系數(shù)計算單元、仿射變換單元；變換系數(shù)計算單元，用于求解當(dāng)前幀的仿射變換系數(shù)，它的一端通過轉(zhuǎn)換開關(guān)與運動估計單元連接，另一端與仿射變換單元連接；仿射變換單元，用于消除當(dāng)前幀可能存在的抖動，它通過轉(zhuǎn)換開關(guān)接所述編碼單元；局部運動濾除單元，用于判斷當(dāng)前幀是否發(fā)生了抖動并消除全局抖動中的局部運動，它分別接仿射變換單元和變換系數(shù)計算單元。
6.一種手持?jǐn)?shù)碼攝像設(shè)備的防抖裝置，包括運動估計單元一、編碼單元、熵編碼單元、運動補償單元、緩存單元，其特征在于還包括增設(shè)一個運動估計單元二，該單元的一端與仿射變換單元連接，另一端通過轉(zhuǎn)換開關(guān)與編碼單元連接；變換系數(shù)計算單元，用于求解當(dāng)前幀的仿射變換系數(shù)，它的一端與運動估計單元一連接，另一端與仿射變換單元連接；仿射變換單元，用于消除當(dāng)前幀可能存在的抖動，它接增設(shè)的運動估計單元；局部運動濾除單元，用于判斷當(dāng)前幀是否發(fā)生了抖動并消除全局抖動中的局部運動，它分別接仿射變換單元和變換系數(shù)計算單元。
全文摘要
本發(fā)明涉及手持?jǐn)?shù)碼攝像設(shè)備的視頻防抖。本發(fā)明公開的一種用于手持?jǐn)?shù)碼攝像設(shè)備的防抖方法及裝置，包括1)首先對圖像序列進行運動估計，然后進行抖動發(fā)生的判斷，如果當(dāng)前幀的非零有效運動矢量占全部運動矢量的比例大于某個閾值則認(rèn)為發(fā)生了抖動，需要進行抖動補償；否則保持原圖像而不進行補償；2)抖動發(fā)生時，即通過圖像的當(dāng)前幀的各個局部運動矢量估計當(dāng)前幀的仿射變換系數(shù)；3)對當(dāng)前幀進行防抖動(仿射)變換并與參考幀合并成變換幀之后再繼續(xù)進行編碼。本發(fā)明應(yīng)用于數(shù)碼攝像機、攝像頭等視頻采集裝置中。裝置包括運動估計單元、編碼單元、熵編碼單元、運動補償單元、緩存單元，變換系數(shù)計算單元；仿射變換單元；局部運動濾除單元。
文檔編號G06T7/00GK1933554SQ20051013593
公開日2007年3月21日 申請日期2005年12月31日 優(yōu)先權(quán)日2005年12月31日
發(fā)明者高飛, 王浩, 夏煜, 黃英 申請人:北京中星微電子有限公司