專利名稱：降低運動向量傳輸成本的運動估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用于MPEG視頻編碼的運動估計方法。
在視頻編碼過程中實現(xiàn)的大多數(shù)運動估計算法均使用“塊匹配”技術(shù)。
圖像被分段為N*N大小的塊，稱為宏塊，并且估計器搜索能使當(dāng)前圖像塊與基準(zhǔn)圖像塊之間的差值最小的向量。此差值通常指對亮度像素計算的MSE(均方差值)或MAE(平均絕對差值)。
由于該估計器是基于亮度的變化而不是基于此序列中的實際運動的，所以它提供不均勻運動區(qū)域。這必然會產(chǎn)生編碼器的編碼開銷，并且由于編碼過程通常是差分過程，所以會降低性能。
本發(fā)明的目標(biāo)就是克服上述缺陷。
本發(fā)明的目的是提供一種運動估計方法，該方法包括將視頻圖像分段為圖像塊、對各圖像塊進行估計以獲得運動矢量場，其特征在于，該方法包括通過從屬于矢量場的N個主向量中選擇一個運動向量以將向量重新指定到塊的步驟。
根據(jù)一個特定實施例，對于主向量，檢測二級區(qū)域最大值以便在選擇其它主向量時不考慮它。
根據(jù)另一個實施例，在四個方向的各方向選擇主向量。
根據(jù)本方法的特定實施例，根據(jù)相互移動圖像的差值(DFD)選擇重新指定向量。
本發(fā)明的特定特征包括，當(dāng)與N個主向量有關(guān)的DFD大于與初始向量有關(guān)的DFD時采用零向量，或者當(dāng)與N個主向量有關(guān)的DFD大于與初始向量有關(guān)的加權(quán)DFD時實際保持初始向量。
根據(jù)本方法的另一個實施例，根據(jù)對相互圖像差值塊(當(dāng)前塊一估計塊)中的活動性(空間梯度)的計算，來選擇重新指定向量。如果對應(yīng)于N個主向量的活動性大于對應(yīng)于初始向量的活動性，則采用零向量。如果對應(yīng)于N個主向量的活動性大于對應(yīng)于初始向量的加權(quán)活動性，則保持初始向量。
根據(jù)本方法的另一個特定實施例，對于各圖像，從當(dāng)前圖像的矢量場與至少一個以前圖像的矢量場之間選擇主向量。
根據(jù)本發(fā)明，利用“塊匹配”估計器計算的運動矢量場可以被均勻化。
通過以下參考附圖和實例的說明，本發(fā)明的特征和優(yōu)勢將更加明顯，其中

圖1示出運動向量的直方圖；圖2示出區(qū)域最大值搜索滑窗；圖3示出中值濾波的實例；圖4示出被考慮的以前圖像向量的實例；圖5示出在圖像縮放期間的運動矢量場；圖6示出可以檢測的各種運動；利用有條件的重新指定方法，可以實現(xiàn)對矢量場的均質(zhì)化作用。
利用估計器來計算并存儲與序列圖像有關(guān)的向量。
為了完成對此向量的處理過程，建立512*512的二維直方圖，在該直方圖中，坐標(biāo)代表數(shù)值(dx，dy)，它們是這些向量的水平分量和垂直分量。
在圖1的左側(cè)部分示出包含定位了運動向量的宏塊的圖像，在圖1的右側(cè)示出相應(yīng)的直方圖。主向量的選擇為了使運動區(qū)域更均勻，方法是采用特定數(shù)目的向量，用戶將運動區(qū)域固定到第一位置。與不均勻運動比較，該數(shù)目較大。
第一種方案包括采用N個對應(yīng)于視在最高頻率的向量。
另一種可能性是規(guī)定算法在四個定向平面的各平面選擇N/4個主向量。由于根據(jù)在此序列中對圖像縮放的檢測進行輸出，所以作為一種選擇，可以采用此方案。這是因為這種現(xiàn)象必然會產(chǎn)生矢量場在所有方向上的分布。
所設(shè)想的最后一個方案對區(qū)域最大值進行檢測。這是因為，第一種方案的問題是可能會有幾個相接近的最大值，這樣與采用更少向量的方法相比并不具有太大優(yōu)勢。
因此掃描直方圖，將出現(xiàn)在其它更主要主向量附近的N個主向量中的向量剔除。因此，通過查看直方圖來檢驗兩個最大值是否位于相同滑窗(例如3*3大小的滑窗)內(nèi)，來識別現(xiàn)存二級最大值。
圖2示出這種用于搜索區(qū)域最大值的滑窗(參考編號1)，此滑窗以出現(xiàn)率為n、采用(dx，dy)的主向量為中心。選擇被定位到宏塊MB的向量、重新指定-DFD方法一旦選取了主向量，就獲得了將這些向量中的各向量重新指定到各MB的準(zhǔn)則。由于運動估計器利用最小DFD(移動幀差值)準(zhǔn)則來計算運動向量，所以當(dāng)利用此準(zhǔn)則發(fā)現(xiàn)已采用向量與待處理圖像的宏塊之間的最大可能相符性時，運動估計器似乎有用。
以其視在頻率增加的順序?qū)⑾蛄颗判蚝?，對各MB計算與這些各向量有關(guān)的DFD。該計算過程可以被簡化為下列公式Dfd(i,j)=Σk=0N-1Σl=0N-1|MBCurrent(i+k,j+1)-MBReference(i+k+dy,j+1+dx)|]]>其中(i，j)為待處理的MB的坐標(biāo)；N(＝16)為MB的大小；(dx，dy)為待檢測的向量的分量，位于(-128；+127.5)。
在應(yīng)用此公式之前，重要的是校驗待檢驗的向量未指到基準(zhǔn)圖像外。如果沒有合適的向量，則指定零向量。
因此，將對應(yīng)于最小DFD的向量指定到各MB。
—梯度方法此方法包括對包括預(yù)定基準(zhǔn)圖像和當(dāng)前圖像的“差值”圖像的各MB查找對應(yīng)于最小梯度的向量，最小梯度給出MB的局部活動性信息(水平梯度和垂直梯度)。MB_gradient=Σ4lumablocksblock_active]]>其中block_active=MAX(MAXi,j=0i=6,j=7|x(i,j)-x(i+1,j)|MAXi,j=0i=7,j=6|x(i,j)-x(x,j+1)|)]]>重新指定的改進DFD/梯度準(zhǔn)則為了保持小尺寸對象的某種運動，確定了下列準(zhǔn)則應(yīng)用DFD方法后，如果對MB采用的向量產(chǎn)生的DFD大于加權(quán)初始DFD，則保持此初始向量。
同樣，關(guān)于梯度方法，對相互圖像差值之后獲得的各MB，將通過重新指定獲得的梯度與初始向量的梯度進行比較。如果加權(quán)初始梯度小于該新梯度，則保持初始向量。
對運動向量的濾波過程為了使矢量場更均勻，還可以采用其它準(zhǔn)則，即空間濾波或時間濾波。
—空間濾波所采用的濾波器為二維3*3中值濾波器以下將根據(jù)圖3說明此原理，圖3示出濾波前的圖像(參考編號2)和濾波后的圖像(參考編號3)。參考編號4所表示的向量為待處理的向量。
將上述MB分量的水平與垂直鄰近值沿方向(dx，dy)排列，然后，取各分量的中值。接著，對于一個分量被濾波，或兩個分量均被濾波，或兩個分量均未被濾波的情況，對與各MB有關(guān)的各DFD進行比較。顯然，由于初始DFD被加權(quán)，這樣就可以選擇對應(yīng)于最小DFD的向量。
—時間濾波在圖像向量的重新指定過程中，時間相干性方法考慮到以前圖像的運動區(qū)域；這是為了限制一個圖像與另一個圖像之間在運動過程中的不一致性實現(xiàn)的。
首先詳細(xì)說明對前向向量(延后運動向量)進行時間濾波的原理。前向向量的空間時間域直方圖為了考慮各種直方圖，第一步首先對向量進行定標(biāo)，然后根據(jù)所處理的直方圖計算所占的權(quán)重，權(quán)重是各直方圖的位置函數(shù)。
因此，對于圖4所示的P圖像，可以將3倍權(quán)重的出現(xiàn)率、1倍權(quán)重的第一B向量(其振幅已乘3)的出現(xiàn)率以及2倍權(quán)重的第二B向量(其振幅已乘3/2)的出現(xiàn)率附加到初始向量直方圖。
當(dāng)出現(xiàn)勻速運動時，應(yīng)與時間相干性有關(guān)，并且不會出現(xiàn)運動中止(場景改變)。
對于后向向量情況(預(yù)期運動向量)有理由認(rèn)為，如果存在從一個圖像到下一個圖像的勻速“前向”運動，則在“后向”向量與B圖像有關(guān)的情況下，它們還存在。為了對后者進行濾波，請務(wù)必不要忘記后向向量是基于P和I的，P和I在現(xiàn)在討論的B之后。因此，對于第一個B，可以認(rèn)為其后向向量將是與第二個B有關(guān)的后向向量的二倍。在與第一個B有關(guān)的直方圖中，利用系數(shù)2對后者的向量進行定標(biāo)，并加入加權(quán)出現(xiàn)率。
均勻區(qū)域的檢測對諸如圖像縮放的具有多個方向運動的序列重新指定N個向量的想法不切實。這是因為，在這種非常特定的情況下，僅采用N個主向量并不能方便地對包括多個向量的區(qū)域進行處理。
圖5示出圖像縮放期間的向量圖。明顯可以看到區(qū)域內(nèi)的不一致性不能提供這種均勻性。
因此決定在第一位置對向量均勻分布、或者單向分布、或者向各方向分布(圖像縮放)的區(qū)域進行檢測。利用接近根據(jù)N個主向量計算的平均標(biāo)準(zhǔn)偏差的第一主向量的標(biāo)準(zhǔn)偏差來表示此檢測?？梢员硎緸?br> 如果σ1≤閾值*σ平均值＝＞均勻區(qū)域存在其中閾值由用戶設(shè)定(例如，閾值＝1.34)。
圖6a、圖6b、圖6c和圖6d示出成功檢測的運動類型實例。
當(dāng)前，對存在(c)和(d)的情況下，目的是不使用此算法。應(yīng)將這些情況與(a)和(b)的情況區(qū)分開。為了實現(xiàn)此目的，根據(jù)采用的N個向量，對dx和dy運動的平均值進行檢驗，并判別它們是否接近0。這是因為，與單向運動不同，如果將它們加入，會觀察到圖像縮放中的運動被消除?？梢詫x、dy設(shè)置五個像素的最大差值。
對時間濾波的限制如果運動中止，不必對直方圖進行時間濾波很有用。因為，這樣就可以●存儲初始直方圖或?qū)型圖像指定的向量；●在下一個P型圖像P(t)上，對新“圖像”向量進行比較。如果它們與P(t-n)產(chǎn)生的對應(yīng)向量差別太大，則保持初始向量。
選擇主向量數(shù)可以以這樣的方式自動或動態(tài)判定必需的向量數(shù)，以致對于具有隨機運動的各序列(例如體育序列)所具有的向量比對于具有勻速運動的序列(“串”)所具有的向量要多。
權(quán)利要求
1.一種包括將圖像分段為圖像塊、對各圖像塊進行運動估計以獲得運動矢量場的運動估計方法，其特征在于，該方法包括通過從屬于矢量場的N個主向量中選擇一個運動向量將向量重新指定到塊的步驟。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對主向量檢測二級區(qū)域最大值，以便在選擇其它主向量時不再考慮它們。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在四個方向的各方向選擇主向量。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)相互移動圖像的差值(DFD)選擇重新指定向量。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，如果與N個主向量有關(guān)的DFD大于與初始主向量有關(guān)的DFD，則采用零向量。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，如果與N個主向量有關(guān)的DFD大于與初始向量有關(guān)的加權(quán)DFD，則保持初始向量。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)對相互圖像差值塊(當(dāng)前塊-估計塊)計算的活動性(空間梯度)，選擇重新指定向量。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，如果對應(yīng)于N個主向量的活動性大于對應(yīng)于初始向量的活動性，則采用零向量。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，如果對應(yīng)于N個主向量的活動性大于對應(yīng)于初始向量的加權(quán)活動性，自動保持初始向量。
10.根據(jù)權(quán)利要求4所述的方法，其特征在于，在計算DFD期間使用的向量分量為空間濾波分量。
11.根據(jù)權(quán)利要求7所述的方法，其特征在于，在計算空間梯度期間使用的向量分量為空間濾波分量。
12.根據(jù)權(quán)利要求1所述的方法，其特征在于，對于各圖像，在當(dāng)前圖像的矢量場與至少一個以前圖像的矢量場之間選擇主向量。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，同時被定標(biāo)的以前圖像的向量被作為時間距離的函數(shù)加權(quán)。
14.根據(jù)權(quán)利要求12所述的方法，其特征在于，當(dāng)檢測到運動中止時，不考慮以前圖像的向量。
全文摘要
一種包括將視頻圖像分段為圖像塊對各圖像塊進行運動估計以獲得運動矢量場的方法。其特征在于,該方法包括通過在屬于矢量場的N個主向量中選擇一個運動向量,對塊重新指定向量的步驟。本申請涉及例如通過圖像塊匹配的運動估計。
文檔編號G06T9/00GK1357133SQ99810649
公開日2002年7月3日 申請日期1999年9月6日 優(yōu)先權(quán)日1998年9月7日
發(fā)明者克里斯托夫·舍旺斯, 皮埃爾·魯埃洛, 多米尼克·托羅 申請人:湯姆森多媒體公司