專利名稱：視頻編碼器的運(yùn)動估計(jì)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼系統(tǒng)。具體地說，涉及利用運(yùn)動補(bǔ)償預(yù)計(jì)來壓縮視頻序列的系統(tǒng)。


圖1和圖2是利用運(yùn)動補(bǔ)償預(yù)計(jì)的系統(tǒng)的原理圖。圖1說明具有運(yùn)動估計(jì)塊的編碼器10，圖2說明對應(yīng)的解碼器30。以下概述在這種系統(tǒng)中的運(yùn)動補(bǔ)償預(yù)計(jì)。
在一般的視頻序列中，連續(xù)幀內(nèi)容的更改在很大程度上是場景運(yùn)動的結(jié)果。此運(yùn)動可以是因攝像機(jī)運(yùn)動或因場景中呈現(xiàn)對象的運(yùn)動所造成的。因此，通常的視頻序列具有相當(dāng)大的時(shí)間相關(guān)性特征，這種相關(guān)性沿運(yùn)動軌道最強(qiáng)。視頻序列的高效壓縮需要開發(fā)此特性。
視頻補(bǔ)償(MC)預(yù)計(jì)是一項(xiàng)廣為認(rèn)可的壓縮技術(shù)。它利用了這樣一個(gè)事實(shí)在典型的視頻序列中，特定幀的像素(pel)值可以使用其他某幅已經(jīng)編碼并傳送的幀的像素值來預(yù)計(jì)(給定了這兩幀之間的運(yùn)動軌道)。
以下參照圖1和2來描述運(yùn)動補(bǔ)償系統(tǒng)。運(yùn)動補(bǔ)償視頻編碼器的工作原理是將預(yù)計(jì)錯(cuò)誤En(x，y)、也就是稱為當(dāng)前幀的已編碼幀In(x，y)與預(yù)計(jì)幀Pn(x，y)之間的差最小化En(x，y)＝In(x，y)-Pn(x，y) (1)預(yù)計(jì)幀Pn(x，y)使用表示為Rn(x.y)的參考幀像素值和當(dāng)前幀與參考幀之間像素的運(yùn)動矢量、使用以下等式來構(gòu)建Pn(x，y)＝Rn[x+Δx(x，y)，y+Δy(x，y)](2)參考幀Rn(x，y)的幀信息先前已被編碼并傳送，以便可以在解碼器中重新構(gòu)建它。因而，它可以是正被用于編碼幀之前的一幀，它同時(shí)存在編碼器10和解碼器30的幀存儲器中。所述一對值[Δx(x，y)，Δy(x，y)]表示當(dāng)前幀中位置(x，y)處像素的運(yùn)動矢量。Δx(x，y)和Δy(x，y)分別是該像素水平和垂直位移值。運(yùn)動矢量由編碼器10中運(yùn)動域估計(jì)塊12計(jì)算，如圖1所示。當(dāng)前幀所有像素的運(yùn)動矢量集[Δx(.)，Δy(.)]被稱為運(yùn)動矢量域，它在運(yùn)動補(bǔ)償預(yù)計(jì)塊16中被用來計(jì)算預(yù)計(jì)幀Pn(x，y)之前、在運(yùn)動域編碼塊14中計(jì)算出來。運(yùn)動矢量域也被傳送至解碼器30。
再來看圖1，減法器18根據(jù)等式1來確定預(yù)計(jì)幀和已編碼幀In(x，y)之間的預(yù)計(jì)誤差En(x，y)。一旦計(jì)算出來，預(yù)計(jì)誤差En(x，y)被在預(yù)計(jì)誤差編碼塊20中壓縮，產(chǎn)生壓縮的預(yù)計(jì)誤差，表示為 ，開將它發(fā)送至解碼器30。壓縮過程通常會產(chǎn)生一些信息丟失。因此，壓縮的預(yù)計(jì)誤差 在預(yù)計(jì)誤差解碼塊22中被解碼，以便在編碼器10中使用它來產(chǎn)生參考幀Rn(x，y)，它對應(yīng)于在解碼器30中產(chǎn)生的參考幀Rn(x，y)。在編碼器10中，這是通過在加法器24中將解碼的預(yù)計(jì)誤差En(x，y)和預(yù)計(jì)幀Pn(x，y)組合以便產(chǎn)生參考幀Rn(x，y)來完成的。參考幀Rn(x，y)存儲于編碼器10的幀存儲器26中。
來自運(yùn)動域編碼塊14的運(yùn)動信息和來自預(yù)計(jì)誤差編碼塊20的預(yù)計(jì)誤差信息在多路復(fù)用塊28中被組合在一起。
圖3顯示解碼器30。多路分解器32將預(yù)計(jì)誤差信息和運(yùn)動信息分離。預(yù)計(jì)誤差信息提供給預(yù)計(jì)誤差解碼塊34，運(yùn)動信息提供給運(yùn)動補(bǔ)償預(yù)計(jì)塊36。運(yùn)動補(bǔ)償預(yù)計(jì)塊36使用運(yùn)動信息和存儲在解碼器30幀存儲器38中的參考幀Rn(x，y)來重新構(gòu)建預(yù)計(jì)幀Pn(x，y)。然后通過在加法器40中將預(yù)計(jì)幀加到接收的預(yù)計(jì)誤差 來重構(gòu)編碼的當(dāng)前幀 的像素，即I~n(x,y)=Rn[x+Δx(x.y),y+Δy(x,y)]+E~n(x,y)---(3)]]>
由于幀中的像素?cái)?shù)量非常大，為每幀傳送單獨(dú)的運(yùn)動矢量效率很差。作為替代，在大多數(shù)視頻編碼方案中，當(dāng)前幀被劃分成較大的圖像區(qū)段，因而區(qū)段的所有運(yùn)動矢量可以由較少系數(shù)描述。取決于當(dāng)前幀劃分成區(qū)段的方法，可區(qū)分為兩類運(yùn)動補(bǔ)償編碼器1.基于區(qū)塊的編碼器，其當(dāng)前幀被劃分成固定和預(yù)知的區(qū)塊(參見圖3a)，例如按照國際標(biāo)準(zhǔn)ISO/IEC MPEG-1或ITU-T H.261，在編解碼器中分為16×16像素區(qū)塊；以及2.基于區(qū)段(基于區(qū)域)的編碼器，其當(dāng)前幀被劃分為任意形狀的區(qū)段(參見圖3b)，例如由分段算法所獲得。例如，參考Centrede Morphologie Mathematique(CMM)，“多標(biāo)準(zhǔn)區(qū)域結(jié)合的分段算法”，文檔SIM(95)19，COST 211ter Project Meeting，1995年5月，及P.Cicconi和H.Nicolas的“圖像序列編碼的高效基于區(qū)域運(yùn)動估計(jì)及面向?qū)ΨQ的分段”，IEEE Transaction on Circuits and Systems forVideo Technology，卷4，第三號，1994年6月，第357-364頁。
實(shí)際上，區(qū)段至少包括幾十個(gè)像素。為緊湊地表示這些像素的運(yùn)動矢量，較好的方法是用帶有幾個(gè)系數(shù)的函數(shù)來描述它們的值。這樣的函數(shù)稱為運(yùn)動矢量域模型。
幾乎所有通常使用的運(yùn)動矢量域模型都是加法運(yùn)動模型。運(yùn)動補(bǔ)償視頻編碼方案可根據(jù)以下一般等式定義圖像區(qū)段的運(yùn)動矢量Δx(x,y)=Σi=0N-1aifi(x,y)---(4)]]>Δy(x,y)=Σi=0M-1bigi(x,y)---(5)]]>其中系數(shù)ai和bi稱為運(yùn)動系數(shù)，它們被傳送至解碼器。函數(shù)fi和gi稱為運(yùn)動域基本函數(shù)，它們?yōu)榫幋a器和解碼器所共知。
為了將發(fā)送運(yùn)動系數(shù)至解碼器所需的信息量最小化，并不傳送所有區(qū)段的所有運(yùn)動系數(shù)。例如，這可以是在可忽略某些運(yùn)動系數(shù)而不會導(dǎo)致重大誤差的情況。代之以，某些區(qū)段的某些運(yùn)動系數(shù)被傳送，而不傳送其他系數(shù)。
多項(xiàng)式運(yùn)動模型是廣為使用的運(yùn)動模型族。(參見，例如在90年P(guān)roc.Picture Coding Symposium中H.Nguyen和E.Dubois的“圖像編碼的運(yùn)動信息表示”，馬薩諸塞州劍橋，1990年5月26-18，第841-845頁，以及Centre de Morphoiogie Mathematique(CMM)的“多標(biāo)準(zhǔn)區(qū)域結(jié)合的分段算法”，文檔SIM(95)19，COST 21 lter ProjectMeeting，1995年5月)。
運(yùn)動矢量的值通過函數(shù)來描述，它是二維多項(xiàng)式函數(shù)的線性組合。平移運(yùn)動模型是最簡單的模型，僅需兩個(gè)系數(shù)來描述每個(gè)區(qū)段的運(yùn)動矢量。運(yùn)動矢量的值由以下等式給出Δx(x，y)＝a0Δy(x，y)＝b0(6)此模型應(yīng)用于國際標(biāo)準(zhǔn)(ISO MPEG-1、MPEG-2、MPEG-4、ITU-T推薦H.261和H.263)，以描述8×8和16×16區(qū)塊的運(yùn)動。兩個(gè)其他廣泛使用的模型是由以下等式給出的仿射運(yùn)動模型Δx(x，y)＝a0+a1x+a2yΔy(x，y)＝b0+b1x+b2y(7)以及由下面等式給出的二次運(yùn)動模型Δx(x，y)＝a0+a1x+a2y+a3xy+a4x2+a5y2Δy(x，y)＝b0+b1x+b2y+b3xy+b4x2+b5y2(8)仿射運(yùn)動模型給出了運(yùn)動系數(shù)個(gè)數(shù)和預(yù)計(jì)效能之間非常簡便的平衡。它僅用幾個(gè)系數(shù)就能表示出一些通?，F(xiàn)實(shí)生活的運(yùn)動類型，如平移、旋轉(zhuǎn)、變焦及剪切。
二次運(yùn)動模型提供很好的預(yù)計(jì)效能，但在編碼中它沒有仿射模型通用，因?yàn)樗褂幂^多運(yùn)動系數(shù)，而預(yù)計(jì)效能并不太好。此外，使用二次模型比使用仿射模型估計(jì)運(yùn)動在計(jì)算上代價(jià)更高。
運(yùn)動估計(jì)塊計(jì)算給定區(qū)段Sk的像素運(yùn)動矢量[Δx(x，y)，Δy(x，y)]，這可以將區(qū)段中一定量的預(yù)計(jì)誤差最小化。一個(gè)有意義的加法預(yù)計(jì)誤差計(jì)算形式如下Σ(xi,yi)∈Skpih(|In(x,y)-Rn(x+Δx(x,y),y+Δy(x,y))|)---(9)]]>其中Pi的值是標(biāo)量常數(shù)，|.|表示絕對值，h是個(gè)非遞減函數(shù)。一個(gè)非常通用的計(jì)量是平方預(yù)計(jì)誤差，在這種情況下Pi＝1，h(.)＝(.)2Σ(xi,yi)∈Sk(In(x,y)-Rn(x+Δx(x,y),y+Δy(x,y)))2---(10)]]>等式(9)是個(gè)帶有許多變元的高度非線性函數(shù)，因而沒有實(shí)踐裝置可以在可接受的時(shí)間內(nèi)總是找到等式(9)的絕對最小值。因此，運(yùn)動估計(jì)技術(shù)的區(qū)分點(diǎn)在于使所選預(yù)計(jì)誤差計(jì)量最小化的算法。等式(10)一般用作運(yùn)動估計(jì)中的代價(jià)函數(shù)。
以下討論先前所知的運(yùn)動估計(jì)技術(shù)。
一種技術(shù)是完全搜索。在此技術(shù)中，代價(jià)函數(shù)的值被計(jì)算為所有可能的允許運(yùn)動系數(shù)值的組合(受限于可以表示運(yùn)動系數(shù)的范圍和精度)。選擇使代價(jià)函數(shù)最小化的那些運(yùn)動系數(shù)值來表示運(yùn)動矢量域。
因計(jì)算的負(fù)擔(dān)，完全搜索技術(shù)通常僅用來估計(jì)平移運(yùn)動模型的運(yùn)動系數(shù)，不能直接一般化用于其他運(yùn)動模型。在直接一般化中，算法的計(jì)算復(fù)雜性隨用以表示運(yùn)動矢量域的運(yùn)動系數(shù)個(gè)數(shù)而指數(shù)地增加。
作為可供選擇的方法，可以使用高斯-牛頓迭代(或差別優(yōu)化方案)運(yùn)動估計(jì)。這些方案概括在93年P(guān)roc.Picture Coding Symposium中H.Sanson的“數(shù)字電視序列編碼的基于區(qū)域運(yùn)動估計(jì)和補(bǔ)償”，瑞士洛桑，1993年3月17-19，以及C.A.Papadoupoulos和T.G.Clarkson的“使用二次幾何變換的運(yùn)動補(bǔ)償”，IEEE Transaction onCircuits and Systems for Video Technology，卷5，第四號，1995年8月，第319-331頁。這些技術(shù)使用著名的高斯-牛頓函數(shù)最小化算法來將代價(jià)函數(shù)(9)最小化，它是作為運(yùn)動系數(shù)函數(shù)選擇的預(yù)計(jì)誤差計(jì)量。
此算法假設(shè)要最小化的函數(shù)可以由自變量的二次函數(shù)來局部估計(jì)。則第n次迭代步驟包括1.使用第n-1次步驟生成的運(yùn)動系數(shù)，用實(shí)際函數(shù)的第一和第二導(dǎo)數(shù)計(jì)算適當(dāng)?shù)亩魏瘮?shù)，2.計(jì)算最小化近似函數(shù)的系數(shù)向量，并將結(jié)果分配給n次步驟的運(yùn)動系數(shù)。
與高斯-牛頓算法相關(guān)的主要問題是它僅覆蓋局部最小值，除非初始運(yùn)動系數(shù)位于全局最小值的吸引域中。因此，必須為高斯-牛頓算法提供足夠好的實(shí)際最優(yōu)初始估計(jì)。通常使用兩種不同技術(shù)來改善高斯-牛頓算法的收劍。
1.使用多解析度圖像金字塔的運(yùn)動估計(jì)，2.使用運(yùn)動模型的層次性提高級別的運(yùn)動估計(jì)。
使用多解析度圖像金字塔的運(yùn)動估計(jì)技術(shù)是基于這樣的假設(shè)對當(dāng)前幀和參考幀進(jìn)行低通濾波將消除局部極小值，并有助于算法收劍為全局最小值。運(yùn)動估計(jì)首先在參考幀和當(dāng)前幀的低通濾波(平滑)版上進(jìn)行，其結(jié)果以輸入信號的形式、使用較不平滑的圖像饋送到運(yùn)動估計(jì)階段。最終估計(jì)在非平滑圖像上進(jìn)行。此類的某些變量附加減少了低通濾波圖像的采樣，以減少計(jì)算的數(shù)量。有關(guān)此技術(shù)的示例，參見93年P(guān)roc.Picture Coding Symposium中H.Sanson的“數(shù)字電視序列編碼的基于區(qū)域運(yùn)動估計(jì)和補(bǔ)償”，瑞士洛桑，1993年3月17-19，以及P.J.Burt的“作為高效計(jì)算結(jié)構(gòu)的金字塔”，它發(fā)表在“多解析度圖像處理與分析”，ed.Rosenfeld，Springer Verlag，1984，第6-35頁。
但是，低通濾波圖像并不一定要消除局部最小值。此外，這可能轉(zhuǎn)移全局最小值的位置。
比較起來，使用層次性提高運(yùn)動模型級別的運(yùn)動估計(jì)技術(shù)使用了以下假設(shè)1.復(fù)雜的運(yùn)動模型可以用較低次的運(yùn)動模型粗估。
2.此粗估是對更復(fù)雜運(yùn)動模型系數(shù)的迭代搜索的較好初始推測。
最通常的層次開始于平移模型(兩個(gè)系數(shù))，然后繼續(xù)以簡化線性模型(對應(yīng)于平移、旋轉(zhuǎn)及變焦物理運(yùn)動，有4個(gè)系數(shù))，最后結(jié)束于完全線性模型(6個(gè)系數(shù))。這樣的層次可見于P.Cicconi和H.Nicolas的“圖像序列編碼的高效基于區(qū)域運(yùn)動估計(jì)及面向?qū)ΨQ的分段”，IEEE Transaction on Circuits and Systems for VideoTechnology，卷4，第三號，1994年6月，第357-364頁，以及Proc.1994 International Conference on Acoustics，Speech and SignalProcessing中H.Nicolas和C.Labit的“圖像序列編碼的使用確定性松弛方案的基于區(qū)域運(yùn)動估計(jì)”，第III265-268頁。
這些假設(shè)在某些條件下可以運(yùn)用得非常好。但是，收劍為局部最小值常常是一個(gè)問題，尤其是當(dāng)粗估表現(xiàn)得非常差的情況下。
現(xiàn)有的系統(tǒng)，如以上概述的那些，受限于計(jì)算復(fù)雜性和視頻壓縮效能之間關(guān)系所帶來的不利。也就是，在一方面，編碼器將要求運(yùn)動估計(jì)塊具有很高的計(jì)算復(fù)雜性，以確定將所選預(yù)計(jì)誤差量度(9)最小化因而取得適當(dāng)?shù)囊曨l壓縮效能的運(yùn)動系數(shù)。通常，因達(dá)成此解決方案所需的計(jì)算量巨大，這種情況下這樣的運(yùn)動估計(jì)塊起到了整體編碼器計(jì)算復(fù)雜性的瓶頸的作用。
在另一方面，若計(jì)算復(fù)雜性得到減少，這將導(dǎo)致預(yù)計(jì)效能、從而視頻壓縮效能的降低。因?yàn)檫\(yùn)動估計(jì)的預(yù)計(jì)效能嚴(yán)重影響編碼器的總體壓縮效能，對于運(yùn)動估計(jì)算法來說，具有高預(yù)計(jì)效能(也就是低預(yù)計(jì)誤差)、而復(fù)雜性又相對較低是關(guān)鍵。
要保持低復(fù)雜性，運(yùn)動估計(jì)算法將對圖像數(shù)據(jù)、運(yùn)動及預(yù)計(jì)誤差作出假設(shè)。這些假設(shè)統(tǒng)計(jì)上設(shè)得越多、并且假設(shè)越是健壯，算法就越好。不同的假設(shè)集通常引出不同的最小化技術(shù)。
根據(jù)本發(fā)明的第一方面，提供一種用于對視頻幀序列進(jìn)行運(yùn)動補(bǔ)償編碼的編碼器，它包括用于存儲參考幀的存儲器裝置；以及用于至少使用參考幀估計(jì)當(dāng)前幀中像素的運(yùn)動的運(yùn)動域估計(jì)裝置，其中，運(yùn)動域估計(jì)裝置使用先前對當(dāng)前幀的至少一個(gè)像素估計(jì)得到的預(yù)計(jì)運(yùn)動系數(shù)來估計(jì)當(dāng)前幀中至少一個(gè)其他像素的運(yùn)動系數(shù)。
本發(fā)明利用了當(dāng)進(jìn)入運(yùn)動估計(jì)階段時(shí)已經(jīng)具有的運(yùn)動信息。此附加運(yùn)動信息可以從相鄰區(qū)段預(yù)計(jì)，或從對與要估計(jì)其運(yùn)動的像素重疊的主片段的較早的運(yùn)動估計(jì)繼承。
運(yùn)動域估計(jì)裝置最好通過使用先前對至少一個(gè)相鄰像素估計(jì)的預(yù)計(jì)運(yùn)動系數(shù)集來對至少一個(gè)像素計(jì)算運(yùn)動系數(shù)。這可以使用多個(gè)相鄰像素。在這種情況下，它可以使用預(yù)計(jì)運(yùn)動系數(shù)的平均集，該平均集從先前對多個(gè)相鄰像素估計(jì)的運(yùn)動信息中平均得到。
當(dāng)應(yīng)用于像素時(shí)，術(shù)語“相鄰”指鄰近的像素，其中一個(gè)像素的至少一個(gè)像素直接與另一個(gè)像素的至少一個(gè)像素靠近或重疊。
編碼器最好包括分段裝置，用以將接收的幀分為多個(gè)像素。分段裝置可以為主像素導(dǎo)出初始運(yùn)動系數(shù)。
所述像素最好是區(qū)段。
在一個(gè)實(shí)施例中，編碼器包括兩個(gè)單獨(dú)的運(yùn)動估計(jì)器，一個(gè)運(yùn)動估計(jì)器用以基于預(yù)計(jì)的運(yùn)動系數(shù)來估計(jì)運(yùn)動系數(shù)，另一個(gè)運(yùn)動估計(jì)器用以基于初始運(yùn)動系數(shù)估計(jì)運(yùn)動系數(shù)。若預(yù)計(jì)運(yùn)動系數(shù)和初始運(yùn)動系數(shù)同時(shí)可用，則兩個(gè)運(yùn)動估計(jì)器可同時(shí)估計(jì)運(yùn)動系數(shù)。在這種情況下，編碼器中的選擇裝置可以選擇來自這兩個(gè)運(yùn)動估計(jì)器中任一個(gè)的運(yùn)動系數(shù)用于對當(dāng)前幀進(jìn)行編碼。然而，若僅有一個(gè)運(yùn)動系數(shù)集可用，而另一個(gè)運(yùn)動估計(jì)器的系數(shù)集卻不可用，則一個(gè)運(yùn)動估計(jì)器估計(jì)運(yùn)動系數(shù)。
本發(fā)明能夠使用各種具有比較簡單的運(yùn)動估計(jì)方法的運(yùn)動估計(jì)器的組合，它們依賴不同假設(shè)，而非一個(gè)高度復(fù)雜的方法依賴一個(gè)假設(shè)。
編碼器最好確定與當(dāng)前選擇的運(yùn)動估計(jì)方法所估計(jì)的運(yùn)動系數(shù)相關(guān)的預(yù)計(jì)誤差是否超過預(yù)定閾值，并且如果超過，它順序地選擇后續(xù)的運(yùn)動估計(jì)方法。
編碼器最好包括具有各不相同的復(fù)雜性的一系列運(yùn)動估計(jì)方法。該系列可以包括含有零運(yùn)動模型、平移運(yùn)動模型及仿射運(yùn)動模型在內(nèi)的各個(gè)層次。
編碼器最好包括一系列最小化器，包括區(qū)段匹配最小化器、高斯-牛頓最小化器及準(zhǔn)牛頓最小化器。
本發(fā)明最好能夠在健壯性各異的統(tǒng)計(jì)上有效假設(shè)之間動態(tài)切換。這樣，它能夠以相對較小的復(fù)雜性取得統(tǒng)計(jì)上的低誤差。
編碼器最好包括用于對當(dāng)前幀進(jìn)行二次抽樣、以產(chǎn)生二次抽樣后的幀并且用于將二次抽樣后的幀轉(zhuǎn)發(fā)給運(yùn)動模型系列的裝置。二次抽樣的裝置可以包括一系列二次抽樣器，其二次抽樣因子各異。
編碼器還可以包括控制裝置，若與當(dāng)前選擇的運(yùn)動估計(jì)器單元所估計(jì)的運(yùn)動矢量域相關(guān)的預(yù)計(jì)誤差超過預(yù)定閾值，它可以用來選擇并使用該系列中后續(xù)的運(yùn)動模型?？刂蒲b置可以被用來在最小化期間根據(jù)預(yù)計(jì)誤差的改變選擇二次抽樣的量。
編碼器最好包括接收裝置，用以接收要被運(yùn)動編碼的當(dāng)前幀。
根據(jù)第二方面，本發(fā)明提供一種編解碼器，它包括根據(jù)本發(fā)明第一方面的編碼器以及解碼器。
根據(jù)第三方面，本發(fā)明提供一種移動終端，它包括根據(jù)本發(fā)明第一方面的編碼器。
根據(jù)第四方面，本發(fā)明提供一種數(shù)據(jù)通信網(wǎng)絡(luò)，它包括根據(jù)本發(fā)明第一方面的編碼器。
根據(jù)第五方面，本發(fā)明提供一種用于對視頻幀序列進(jìn)行運(yùn)動補(bǔ)償編碼的方法，它包括以下步驟存儲參考幀；至少使用所述參考幀估計(jì)當(dāng)前幀中像素的運(yùn)動；以及把先前對當(dāng)前幀的至少一個(gè)像素估計(jì)得到的預(yù)計(jì)運(yùn)動系數(shù)集用于估計(jì)當(dāng)前幀中至少一個(gè)其他像素的運(yùn)動系數(shù)集。
以下僅以示例方式參考附圖描述本發(fā)明的實(shí)施例，附圖中圖1顯示用于視頻幀運(yùn)動補(bǔ)償編碼的編碼器；圖2顯示用于視頻幀運(yùn)動補(bǔ)償編碼的解碼器；圖3(a)顯示用于基于區(qū)塊的運(yùn)動補(bǔ)償?shù)漠?dāng)前幀的分割；圖3(b)顯示用于基于區(qū)段的運(yùn)動補(bǔ)償?shù)漠?dāng)前幀的分割；圖4顯示根據(jù)本發(fā)明的用于視頻幀運(yùn)動補(bǔ)償編碼的編碼器；圖5顯示根據(jù)本發(fā)明實(shí)施例的運(yùn)動估計(jì)系統(tǒng)；圖6顯示圖5運(yùn)動估計(jì)系統(tǒng)中出現(xiàn)的運(yùn)動估計(jì)塊；圖7顯示圖6運(yùn)動估計(jì)塊中出現(xiàn)的二次抽樣塊；圖8是圖6運(yùn)動估計(jì)塊中出現(xiàn)的運(yùn)動模型選擇器框圖；圖9是圖6運(yùn)動估計(jì)塊中出現(xiàn)的代價(jià)函數(shù)最小化器框圖；圖10是全動感估計(jì)塊的結(jié)果驗(yàn)證塊的最佳實(shí)現(xiàn)方案流程圖；以及圖11是精細(xì)運(yùn)動估計(jì)塊的結(jié)果驗(yàn)證塊的最佳實(shí)現(xiàn)方案流程圖。
根據(jù)本發(fā)明的編碼器10顯示于圖4中。此圖與圖1相似，并且適用前面的描述。圖4的編碼器與對應(yīng)于圖2的解碼器結(jié)合工作。以下將描述圖4。
在本發(fā)明實(shí)施例中使用了運(yùn)動域編碼塊14中的基于區(qū)塊的分段，以下將說明它。最終分段由16×16像素的宏區(qū)塊和8×8像素的子區(qū)塊所組成。在估計(jì)了宏區(qū)塊的運(yùn)動之后，預(yù)計(jì)誤差將在運(yùn)動域估計(jì)塊12中分析，并在運(yùn)動域估計(jì)塊12中作出決定是否將宏區(qū)塊分割成四塊8×8的子區(qū)塊。若發(fā)生分割，宏區(qū)塊的運(yùn)動系數(shù)保留在運(yùn)動域估計(jì)塊12的運(yùn)動系數(shù)存儲器中，并用作8×8運(yùn)動估計(jì)中的初始運(yùn)動系數(shù)。這將在以下說明。不管分割是否發(fā)生，宏區(qū)塊的最終運(yùn)動系數(shù)被輸出到運(yùn)動域編碼塊14。運(yùn)動域編碼塊14最終決定要傳送的運(yùn)動模型，是否使用單個(gè)16×16區(qū)塊或四個(gè)8×8區(qū)塊來描述此(16×16)宏區(qū)塊及運(yùn)動系數(shù)的編碼。在此實(shí)施例中使用了相同的運(yùn)動估計(jì)系統(tǒng)，而與被估計(jì)運(yùn)動區(qū)塊的大小無關(guān)。
圖1和圖4之間的主要差別是運(yùn)動域編碼塊14所產(chǎn)生的運(yùn)動信息被回饋到運(yùn)動域估計(jì)塊12。此運(yùn)動信息同時(shí)包括初始運(yùn)動系數(shù)和與相對于參考幀中區(qū)段的當(dāng)前幀中區(qū)段的運(yùn)動相關(guān)的預(yù)計(jì)運(yùn)動系數(shù)。此反饋由數(shù)字30表示。以下將說明運(yùn)動域估計(jì)塊如何使用運(yùn)動信息。
運(yùn)動域估計(jì)塊在圖5中顯示。所述塊包括兩個(gè)運(yùn)動估計(jì)塊、即全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42以及運(yùn)動系數(shù)存儲器43。為獲得對上述16×16宏區(qū)塊運(yùn)動估計(jì)的良好起點(diǎn)，首先將在全動感估計(jì)塊41中估計(jì)32×32像素區(qū)塊的運(yùn)動。作為結(jié)果的運(yùn)動系數(shù)被保存于運(yùn)動系數(shù)存儲器43中，并被取出和用作分割先前估計(jì)區(qū)塊所創(chuàng)建區(qū)段(16×16宏區(qū)塊或8×8子區(qū)塊)的初始運(yùn)動系數(shù)。全動感估計(jì)塊41根據(jù)當(dāng)前幀和較早的參考幀之間的差別來計(jì)算運(yùn)動系數(shù)。但是，若有初始運(yùn)動系數(shù)可用，則全動感估計(jì)塊41可包括它們以作為計(jì)算當(dāng)前幀區(qū)段運(yùn)動系數(shù)的基礎(chǔ)。精細(xì)運(yùn)動估計(jì)塊42根據(jù)對先前已經(jīng)計(jì)算的當(dāng)前幀區(qū)段所預(yù)計(jì)的運(yùn)動系數(shù)來計(jì)算當(dāng)前幀的一個(gè)區(qū)段的運(yùn)動系數(shù)。
若運(yùn)動域編碼塊14沒有先前預(yù)計(jì)的運(yùn)動系數(shù)可供運(yùn)動域估計(jì)塊12用作預(yù)計(jì)運(yùn)動系數(shù)的基礎(chǔ)，則僅使用全動感估計(jì)塊41(若可用，則使用初始運(yùn)動系數(shù))。
若運(yùn)動域編碼塊14有先前預(yù)計(jì)的運(yùn)動系數(shù)可供運(yùn)動域估計(jì)塊12用作預(yù)計(jì)運(yùn)動系數(shù)的基礎(chǔ)，則使用全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42。運(yùn)動估計(jì)塊41和42的操作將在稍后參照圖10和11作較詳細(xì)的描述。
全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42具有通用的運(yùn)動估計(jì)塊結(jié)構(gòu)，這在圖6中顯示。現(xiàn)參考圖6，兩個(gè)運(yùn)動估計(jì)塊都包含四個(gè)主要塊，即二次抽樣塊51、運(yùn)動模型選擇塊52、代價(jià)函數(shù)最小化器塊53及結(jié)果驗(yàn)證塊54。以下將描述每個(gè)塊。
全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42按步驟操作。在每個(gè)步驟決定運(yùn)動模型，即用于將代價(jià)函數(shù)值和二次抽樣因子最小化的最小化方法。這些決定在圖6的相應(yīng)的運(yùn)動估計(jì)塊的結(jié)果驗(yàn)證塊54中做出。
圖7顯示二次抽樣塊51的框圖。所述塊的輸入有來自編碼器10的幀存儲器26的參考幀Rn(x，y)、當(dāng)前幀In(x，y)、來自運(yùn)動域編碼塊14的分段信息，以及有關(guān)二次抽樣所需級別的信息。這是由二次抽樣開關(guān)信號55所提供的，它在下面描述。
二次抽樣塊51由二次抽樣器61(1)至61(k)的存儲體(bank)61和多路復(fù)用器形式的二次抽樣選擇器62組成。在存儲體61中的每個(gè)二次抽樣器61(1)至61(k)(表示為“按m×m二次抽樣”)通過取得每個(gè)水平方向上第m個(gè)和垂直方向上第m個(gè)像素來對參考圖像和當(dāng)前圖像二者進(jìn)行二次抽樣，其中m是2的整數(shù)乘冪。
二次抽樣選擇器62的輸入有參考幀Rn(x，y)和當(dāng)前幀In(x，y)、分段信息及其各個(gè)級別的二次抽樣版，即未取樣版和由每個(gè)二次抽樣器61(1)至61(k)二次抽樣所得版。二次抽樣選擇器使用二次抽樣開關(guān)信號55選擇圖像對及要輸出的適當(dāng)分段。結(jié)果驗(yàn)證塊54(圖6)負(fù)責(zé)產(chǎn)生一致的開關(guān)信號。
圖8顯示優(yōu)選的運(yùn)動模型選擇塊52。運(yùn)動模型選擇塊52包括運(yùn)動模型多路復(fù)用器71和運(yùn)動模型存儲體72。運(yùn)動模型選擇決52從結(jié)果驗(yàn)證塊54接收運(yùn)動模型開關(guān)信號73。
運(yùn)動模型選擇塊52是個(gè)多路復(fù)用器，它依據(jù)運(yùn)動模型開關(guān)信號73來在運(yùn)動模型72a至72c的存儲體72中做出選擇。存儲體72中的運(yùn)動模型按復(fù)雜性的增加依次有“無運(yùn)動”72a、“平移模型”72b及“仿射模型”72c。復(fù)雜性程度指用于表示運(yùn)動的基本函數(shù)的個(gè)數(shù)。在運(yùn)動模型的復(fù)雜性程度和計(jì)算復(fù)雜性之間有密切的關(guān)系隨著運(yùn)動模型復(fù)雜性程度的增加，模型系數(shù)估計(jì)的計(jì)算復(fù)雜性也增加。作為特例，“無運(yùn)動”模型72a的所有運(yùn)動系數(shù)都設(shè)為零。也可以使用其他運(yùn)動模型，例如二次運(yùn)動模型。此模型或者可以作為附加使用的模型。
存儲體72中的運(yùn)動模型72a至72c具有層次“無運(yùn)動”模型72a可以在平移模型和仿射模型中通過設(shè)置所有運(yùn)動系數(shù)為零來表示。同樣地，“平移模型”72b可以在仿射模型中通過設(shè)置等式(7)中a1＝a2＝b1＝b2＝0來完全表示。
圖9顯示代價(jià)函數(shù)最小化器塊53的框圖。代價(jià)函數(shù)的最小化在所述塊中執(zhí)行。它包括最小化方法選擇器81、最小化方法存儲體82及最小化塊83，后者計(jì)算運(yùn)動系數(shù)向量及其相關(guān)的最小化代價(jià)函數(shù)向量。最小化方法包括“無最小化”82a、“區(qū)段匹配”82b以及“高斯-牛頓步驟”82c。以下將進(jìn)一步說明這些最小化方法。
代價(jià)函數(shù)最小化器塊53的輸入有來自二次抽樣塊51的參考幀Rn(x，y)和當(dāng)前幀In(x，y)及分段信息(它們?nèi)慷伎赡鼙欢纬闃?；來自運(yùn)動模型選擇器52的所選運(yùn)動模型；以及當(dāng)前運(yùn)動系數(shù)，來自結(jié)果驗(yàn)證塊54的當(dāng)前代價(jià)函數(shù)值及最小化方法開關(guān)信號80。
此代價(jià)函數(shù)最小化器塊53由其存儲體82中的方法之一執(zhí)行最小化。方法的選擇由結(jié)果驗(yàn)證塊54所提供的最小化方法開關(guān)信號80來決定。
“無最小化”82a可對于任何運(yùn)動模型選擇。在這種情況下，代價(jià)函數(shù)最小化塊53不執(zhí)行任何代價(jià)函數(shù)優(yōu)化，而僅返回輸入了運(yùn)動系數(shù)的代價(jià)函數(shù)值。此方法在存在初始運(yùn)動參數(shù)的情況下用來評估代價(jià)函數(shù)值。
“區(qū)段匹配”82b僅可對平移運(yùn)動模型選擇。對所選運(yùn)動系數(shù)a0和b0的值的集合，計(jì)算代價(jià)函數(shù)的值。產(chǎn)生(6)中預(yù)計(jì)誤差最小值的值a0和b0被選為解。搜索在量化網(wǎng)格上進(jìn)行，也就是說，僅使用標(biāo)量化的值a0和b0。搜索通過評估網(wǎng)格上某些或所有候選對來進(jìn)行，并選擇產(chǎn)生最小代價(jià)函數(shù)值的對。
除了“無運(yùn)動”外，“高斯-牛頓步驟”82c可被用于任何運(yùn)動模型。它使用單個(gè)高斯-牛頓迭代步驟來減少代價(jià)函數(shù)。R.Fletcher的“優(yōu)化的實(shí)踐方法”，第二版，John Wiley 8 Sons，1987，第3章和第6章給出了高斯-牛頓最小化的概述。
高斯-牛頓方法是牛頓方法的具體形式，當(dāng)要最小化的代價(jià)函數(shù)是平方和時(shí)通用。
牛頓的方法在下面概述。使e(a)為參數(shù)向量a函數(shù)的代價(jià)函數(shù)。使ac為當(dāng)前參數(shù)向量，作為最小化迭代的輸入。則此代價(jià)函數(shù)可以圍繞ac被二次地粗估如下e(a)≈e(ac)+gT(a-ac)+12(a-ac)TG(a-ac)---(11)]]>其中g(shù)表示在點(diǎn)a＝ac處關(guān)于a的e梯度；并且G是在點(diǎn)a＝ac處關(guān)于a的e的第二導(dǎo)出矩陣粗估。
然后，根據(jù)牛頓方法的最小化步驟輸出參數(shù)向量ao由以下等式計(jì)算
ao＝-G-1g+ac(12)這是圍繞ac的的代價(jià)函數(shù)二次粗估成為最小的點(diǎn)。若e(a)具有以下形式e(a)=Σi=1m(di(a))2=dTd---(13)]]>則高斯-牛頓方法通過以下等式來粗估第二導(dǎo)出矩陣G≈2(d)(d)T(14)其中d表示雅可比矩陣，其列是d組件的第一導(dǎo)出向量di。考慮通過以下等式給出第一導(dǎo)出向量gg＝2(d)d (15)高斯-牛頓方法的迭代步驟采用以下形式ao＝-[(d)(d)T]-1((d)d)+ac(16)在預(yù)計(jì)誤差最小化的上下文中，等式(10)向量d的項(xiàng)di由以給出di＝In(xi，yi)-Rn(xi+Δx(xi，yi)，yi+Δy(xi，yi)) (17)高斯-牛頓方法的計(jì)算代價(jià)并不太高，因?yàn)樗鼉H執(zhí)行一次迭代步驟。代價(jià)函數(shù)最小化器53輸出最小化的代價(jià)函數(shù)值及運(yùn)動系數(shù)向量。
圖6顯示圖5的全動感估計(jì)41和精細(xì)運(yùn)動估計(jì)42塊的細(xì)節(jié)。驗(yàn)證塊54提供開關(guān)信號。開關(guān)信號包括二次抽樣開關(guān)信號55、運(yùn)動模型開關(guān)信號73以及最小化方法開關(guān)信號80，它們分別選擇二次抽樣因子、運(yùn)動模型及最小化模型，以便用于當(dāng)前迭代中。由結(jié)果驗(yàn)證塊54所產(chǎn)生的任何開關(guān)信號組合都具有基本的假設(shè)集。結(jié)果驗(yàn)證塊54的目的是優(yōu)化這些假設(shè)。一旦確定了假設(shè)集，將產(chǎn)生新的開關(guān)信號集及引出新的運(yùn)動系數(shù)和新的代價(jià)函數(shù)值。通過將這些與先前的進(jìn)行比較，結(jié)果驗(yàn)證塊54將確定1)是否接受(驗(yàn)證通過)新的系數(shù)；2)代價(jià)函數(shù)是否達(dá)到可接受的低值(終止決定)；以及3)假如迭代繼續(xù)，下一個(gè)開關(guān)信號將是什么。
這些開關(guān)信號控制系統(tǒng)中的其他塊。因此，開關(guān)信號的確定將決定要用于下輪迭代中的運(yùn)動模型、最小化方法以及二次抽樣因子。
結(jié)果驗(yàn)證塊54保留“當(dāng)前運(yùn)動系數(shù)”，它是目前為止產(chǎn)生代價(jià)函數(shù)最小值的運(yùn)動系數(shù)，以及“當(dāng)前代價(jià)函數(shù)值”，它是目前為止的代價(jià)函數(shù)最小值。若迭代繼續(xù)，則當(dāng)前運(yùn)動系數(shù)和當(dāng)前代價(jià)函數(shù)值被饋送至代價(jià)函數(shù)最小化器53。
當(dāng)代價(jià)函數(shù)收劍時(shí)，也就是說，當(dāng)代價(jià)函數(shù)落至幾個(gè)預(yù)定義閾值之一以下時(shí)，結(jié)果驗(yàn)證塊54設(shè)置收斂標(biāo)記信號56，然后把收斂標(biāo)記信號56與當(dāng)前運(yùn)動系數(shù)一起作為“最終運(yùn)動系數(shù)”57并且把當(dāng)前代價(jià)函數(shù)值作為“最終代價(jià)函數(shù)值”58輸出。這些輸出被發(fā)送至運(yùn)動域編碼塊14。
結(jié)果驗(yàn)證塊54是一個(gè)使系統(tǒng)的計(jì)算復(fù)雜性保持最小的強(qiáng)大工具。通過在假設(shè)集之間上下文相關(guān)切換，也就是在特定運(yùn)動模型集、最小化方法和二次抽樣程度之間，所述塊允許高效能的運(yùn)動估計(jì)，僅當(dāng)需要時(shí)才涉及計(jì)算上復(fù)雜的技術(shù)。該系統(tǒng)可以對以下情況找到區(qū)段的運(yùn)動系數(shù)任何任意形狀的區(qū)段；區(qū)段中任何期望的運(yùn)動域模型；以及任何有意義地選擇的估計(jì)誤差(均方誤差、中間絕對誤差、拉格朗日比率失真，等等)代價(jià)函數(shù)。
該系統(tǒng)可以用多種方法實(shí)現(xiàn)例如，以下特性可以改變
在等式(4)和(5)中可以使用不同的基本函數(shù)；作為量度預(yù)計(jì)誤差可以選擇不同的代價(jià)函數(shù)；對于區(qū)段匹配可以使用不同方法；可以使用各種不同的牛頓方法；對于結(jié)果驗(yàn)證和方法切換可以使用不同策略；以及對于圖像的子像素評估和梯度計(jì)算可以使用不同方法。
以下將描述本發(fā)明的最佳實(shí)施例。
在最佳實(shí)施例中，在二次抽樣塊51中僅配備一個(gè)二次抽樣器61。此二次抽樣器將使信號以2×2來二次抽樣。二次抽樣開關(guān)信號55要么選擇此二次抽樣器，或完全沒有二次抽樣。
在本發(fā)明的最佳實(shí)施例中，在運(yùn)動模型選擇器存儲體72中有三個(gè)運(yùn)動模型“無運(yùn)動”模型72a、“平移模型”72b以及“仿射模型”72c。
在此最佳實(shí)施例的代價(jià)函數(shù)最小化器53中，所執(zhí)行的區(qū)段匹配82a是“具有完全搜索的完全像素區(qū)段匹配”。該操作需要在特定范圍中測試所有整數(shù)值的運(yùn)動系數(shù)對，以找到最小化代價(jià)函數(shù)的那對。
對于高斯-牛頓最小化82c，等式(16)可以重新設(shè)置如下Gδ＝g (18)其中δ＝ao-ac，G＝(d)(d)T，g＝-(d)d。
等式(18)由Cholesky分解所解答(W.H.Press、S.A.Teukolsky、W.T.Vetterling及B.P.Flannery所著“用C語言編程的數(shù)字處方”，第二版，劍橋大學(xué)出版社，1992年，第96-98頁)，輸出運(yùn)動系數(shù)向量ao由ao＝ac+δ計(jì)算。在最佳實(shí)現(xiàn)模式中，僅當(dāng)運(yùn)動模型是仿射時(shí)才使用高斯-牛頓步驟。在此例中，G是具有以下項(xiàng)的6×6正半確定對稱矩陣(m,n)=Σ(xi,yi)∈Skcm(i)cn(i)---(19)]]>其中c(i)＝[dxiyidxixidxidyiyidyixidyi]T；dxi表示在第i個(gè)像素處的水平圖像導(dǎo)數(shù)，dyi表示在第i個(gè)像素處的垂直圖像導(dǎo)數(shù)。同樣地，g是具有以下項(xiàng)的大小為6的向量g(n)=Σ(xi,yi)∈Skdicn(i)---(20)]]>其中di如等式(17)中所定義。
立方卷積插值法被用于子像素評估。圖像導(dǎo)數(shù)也使用立體卷積計(jì)算計(jì)算由立方卷積插值法所得到的連續(xù)函數(shù)的導(dǎo)數(shù)，它們被解釋作圖像導(dǎo)數(shù)。
在全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42的結(jié)果驗(yàn)證塊54中新開關(guān)信號的產(chǎn)生可以用許多方法來完成。以下說明兩個(gè)運(yùn)動估計(jì)塊產(chǎn)生開關(guān)信號的優(yōu)選的方法。
圖10顯示根據(jù)本發(fā)明最佳實(shí)施例，在全動感估計(jì)塊41的結(jié)果驗(yàn)證塊54中所執(zhí)行操作的流程圖。第一套假設(shè)“無運(yùn)動”(91)被通過將二次抽樣級別切換至“無”來設(shè)置，最小化方法設(shè)置為“無最小化”，運(yùn)動模型為“無運(yùn)動”。若作為結(jié)果的代價(jià)函數(shù)低于預(yù)定義閾值(92)(在圖10中表示為″Th1″)，則搜索結(jié)束(913)，不產(chǎn)生運(yùn)動系數(shù)。
若代價(jià)函數(shù)值大于或等于Th1，下一套假設(shè)(93)是“平移模型可以粗估實(shí)際運(yùn)動域”以及“二次抽樣不會根本地轉(zhuǎn)移全局最小值”。遵循這些假設(shè)，二次抽樣開關(guān)信號55被設(shè)為“按2×2二次抽樣”，模型切換至“平移模型”，代價(jià)函數(shù)最小化方法被設(shè)為“區(qū)段匹配”(93)(執(zhí)行二次抽樣以減少操作復(fù)雜性)。若此步驟導(dǎo)致的代價(jià)函數(shù)低于對應(yīng)于零運(yùn)動的代價(jià)函數(shù)，則至目前為止最佳的系數(shù)通過將等式7中的值a0和b0設(shè)置為區(qū)段匹配所計(jì)算的值，并設(shè)置其他系數(shù)為零來更新(94)。
若初始運(yùn)動系數(shù)可用，例如來自主區(qū)段(并存儲于運(yùn)動系數(shù)存儲器塊43中)，則下一個(gè)假設(shè)是“具有初始運(yùn)動系數(shù)的仿射模型可以粗估實(shí)際運(yùn)動”(95)?，F(xiàn)在，運(yùn)動模型被設(shè)為“仿射”，“無最小化”被選為最小化方法，并且二次抽樣開關(guān)信號55設(shè)為“無”。再次使用等式(10)來評估所述代價(jià)，并且若代價(jià)小于先前階段(96)的最小代價(jià)，則作為目前最佳值來存儲初始運(yùn)動系數(shù)。若沒有初始運(yùn)動系數(shù)可用，則步驟95和96不發(fā)生，并且步驟97跟隨步驟94。
下一套假設(shè)是“仿射運(yùn)動模型滿意地粗估了運(yùn)動域”，并且“高斯-牛頓步驟減少了代價(jià)函數(shù)”。因而，運(yùn)動模型開關(guān)信號73被設(shè)為“仿射”、二次抽樣開關(guān)信號55為“無”，以及最小化方法開關(guān)信號80為“高斯-牛頓”。用這些設(shè)置，執(zhí)行迭代98、99、910、911及952，直到發(fā)生以下條件之一在最后迭代中代價(jià)函數(shù)值的減少低于預(yù)定閾值Th2(910)；或者達(dá)到一定個(gè)數(shù)的迭代計(jì)數(shù)Maxlter1(912)。
再次地，在每次迭代之后，與迭代結(jié)果相關(guān)的代價(jià)函數(shù)與到目前為止得到的最佳代價(jià)函數(shù)進(jìn)行比較(99)。若作為結(jié)果的代價(jià)函數(shù)小于到目前為止最佳的代價(jià)函數(shù)，則迭代的結(jié)果將用來更新運(yùn)動系數(shù)和到目前為止最佳的代價(jià)函數(shù)值。
圖11顯示在根據(jù)本發(fā)明的較好方法實(shí)施例中，在精細(xì)運(yùn)動估計(jì)塊42的結(jié)果驗(yàn)證塊54中所執(zhí)行操作的流程圖。可以看出操作與圖10中所執(zhí)行的那些相似。第一個(gè)假設(shè)是“無運(yùn)動”，并且如果與此假設(shè)相關(guān)的結(jié)果代價(jià)函數(shù)值低于預(yù)定義閾值Th1(與圖10相同)，則搜索結(jié)束(913)，不產(chǎn)生運(yùn)動系數(shù)。第二個(gè)假設(shè)是“進(jìn)來的預(yù)計(jì)運(yùn)動系數(shù)集已經(jīng)相當(dāng)好地粗估了最終運(yùn)動系數(shù)52”(101)。初始代價(jià)被評估并與預(yù)定義閾值Th3(102)進(jìn)行比較。若代價(jià)低于閾值，則輸入運(yùn)動系數(shù)如(109)輸出，并發(fā)送至運(yùn)動域編碼塊14。否則作出新的假設(shè)，“高斯-牛頓的牛頓步驟減少了代價(jià)函數(shù)”。運(yùn)動模型開關(guān)信號被設(shè)為“仿射”、二次抽樣開關(guān)信號被設(shè)為“無”，并且最小化方法為“高斯-牛頓”(104)。如全動感估計(jì)塊41的結(jié)果驗(yàn)證塊54中那樣，在每個(gè)步驟之后評估代價(jià)函數(shù)，并且如果代價(jià)減少了，作為結(jié)果的運(yùn)動系數(shù)與代價(jià)一起存儲(105)。再次有兩個(gè)結(jié)束迭代的條件在最后迭代中代價(jià)函數(shù)值的減少低于預(yù)定閾值Th4(106)；或者達(dá)到一定個(gè)數(shù)的迭代計(jì)數(shù)Maxlter2(108)。
若全動感估計(jì)塊41和精細(xì)運(yùn)動估計(jì)塊42都可工作(也就是說若初始運(yùn)動系數(shù)和預(yù)計(jì)的運(yùn)動系數(shù)都可用)，則在接收到這些決的輸出時(shí)，運(yùn)動域編碼塊14將比較“最終代價(jià)函數(shù)值”以選擇要使用的一套運(yùn)動系數(shù)。比較這些運(yùn)動系數(shù)的合適方法在與此有關(guān)的題為“適應(yīng)性運(yùn)動矢量域編碼”的美國專利申請中描述，發(fā)明人為JaniLainerna和Marta Karczewicz，于2000年1月21日提交。
預(yù)定義的閾值在最小化的不同階段和/或?qū)τ诓煌Ｐ秃?或?qū)τ诓煌凰俾士赡懿煌?br> 如以上所概括的，根據(jù)本發(fā)明的運(yùn)動估計(jì)系統(tǒng)在取得運(yùn)動估計(jì)上比先前的解決方案極大地減少了預(yù)計(jì)誤差，同時(shí)使計(jì)算復(fù)雜性保持在統(tǒng)計(jì)上的低級別。這是通過在每個(gè)迭代進(jìn)行假設(shè)驗(yàn)證，在健壯性各異的統(tǒng)計(jì)有效假設(shè)之間提供動態(tài)切換來達(dá)到的。
進(jìn)一步地，本發(fā)明使用多項(xiàng)式運(yùn)動矢量域模型特別為圖像區(qū)段的運(yùn)動估計(jì)提供改進(jìn)的系統(tǒng)。運(yùn)動估計(jì)是使用運(yùn)動補(bǔ)償預(yù)計(jì)的視頻編碼要素。本系統(tǒng)找到了比先有技術(shù)解決方案能產(chǎn)生較低預(yù)計(jì)誤差的運(yùn)動系數(shù)，同時(shí)讓計(jì)算復(fù)雜性保持在低級別。此低預(yù)計(jì)誤差使得在視頻壓縮方面有較好的效能。此低預(yù)計(jì)誤差是通過將圖像數(shù)據(jù)和運(yùn)動的一般特性整合入眾所周知的函數(shù)最小化技術(shù)組合中而達(dá)到的。
前面的描述對于本專業(yè)的技術(shù)人員來說很容易明白一點(diǎn)在權(quán)利要求書的范圍內(nèi)可以做各種修改。
權(quán)利要求
1.一種用于對具有像素的視頻幀序列執(zhí)行運(yùn)動補(bǔ)償編碼的編碼器(10)，所述編碼器包括用于存儲參考幀的存儲器裝置(26)；以及用于至少使用所述參考幀估計(jì)當(dāng)前幀中的像素運(yùn)動的運(yùn)動域估計(jì)裝置(12)，其中，所述運(yùn)動域估計(jì)裝置把先前對所述當(dāng)前幀的至少一個(gè)第一像素的估計(jì)得到的預(yù)計(jì)運(yùn)動系數(shù)用于估計(jì)所述當(dāng)前幀中至少一個(gè)第二像素的運(yùn)動系數(shù)。
2.如權(quán)利要求1所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)利用先前對至少一個(gè)相鄰像素估計(jì)的預(yù)計(jì)運(yùn)動系數(shù)集來對至少一個(gè)第二像素計(jì)算運(yùn)動系數(shù)。
3.如權(quán)利要求1或權(quán)利要求2所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)利用先前對多于一個(gè)相鄰像素估計(jì)的預(yù)計(jì)運(yùn)動系數(shù)集來對至少一個(gè)第二像素計(jì)算運(yùn)動系數(shù)。
4.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)使用對先前對多于一個(gè)相鄰像素估計(jì)的預(yù)計(jì)運(yùn)動信息求平均得來的平均預(yù)計(jì)運(yùn)動系數(shù)集。
5.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于為將接收到的幀分段為多個(gè)像素而設(shè)置分段裝置。
6.如權(quán)利要求5所述的編碼器(10)，其特征在于所述分段裝置為主像素導(dǎo)出初始運(yùn)動系數(shù)。
7.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)包括用于根據(jù)所述預(yù)計(jì)的運(yùn)動系數(shù)估計(jì)第一運(yùn)動系數(shù)的第一運(yùn)動估計(jì)器(41，42)；以及用于根據(jù)初始運(yùn)動系數(shù)估計(jì)第二運(yùn)動系數(shù)的第二運(yùn)動估計(jì)器(41，42)。
8.如權(quán)利要求7所述的編碼器(10)，其特征在于如果所述預(yù)計(jì)運(yùn)動系數(shù)和所述初始運(yùn)動系數(shù)可用，則所述第一運(yùn)動估計(jì)器(41，42)和所述第二運(yùn)動估計(jì)器(41，42)將估計(jì)運(yùn)動系數(shù)。
9.如權(quán)利要求7或權(quán)利要求8所述的編碼器(10)，其特征在于如果一個(gè)運(yùn)動估計(jì)器(41，42)的對應(yīng)運(yùn)動系數(shù)可用，而另一個(gè)運(yùn)動估計(jì)器(41，42)的那些系數(shù)不可用，則僅一個(gè)運(yùn)動估計(jì)器(41，42)估計(jì)運(yùn)動系數(shù)。
10.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)包括選擇裝置，用以從第一運(yùn)動系數(shù)或第二運(yùn)動系數(shù)選擇運(yùn)動系數(shù)。
11.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于所述運(yùn)動域估計(jì)裝置(12)包括一系列運(yùn)動模型(52)。
12.如權(quán)利要求11所述的編碼器(10)，其特征在于所述運(yùn)動模型系列(52)包括有層次，所述層次包括零運(yùn)動模型(72a)、平移運(yùn)動模型(72b)及仿射運(yùn)動模型(72c)。
13.如權(quán)利要求11或權(quán)利要求12所述的編碼器(10)，其特征在于包括控制裝置(71)，若與當(dāng)前選擇的運(yùn)動估計(jì)器單元所估計(jì)的運(yùn)動矢量域相關(guān)的預(yù)計(jì)誤差超過預(yù)定閾值，則它可以用來選擇并使用所述系列中后續(xù)的運(yùn)動模型。
14.如權(quán)利要求11至13中任一個(gè)所述的編碼器(10)，其特征在于包括用于對當(dāng)前幀進(jìn)行二次抽樣(51)、以便產(chǎn)生二次抽樣后的幀并且將所述二次抽樣后的幀轉(zhuǎn)發(fā)給所述運(yùn)動模型系列的裝置。
15.如權(quán)利要求14所述的編碼器(10)，其特征在于包括在最小化期間根據(jù)預(yù)計(jì)誤差的變化選擇二次抽樣量的控制裝置(62)。
16.如權(quán)利要求15或權(quán)利要求16所述的編碼器(10)，其特征在于所述二次抽樣裝置(51)包括一系列二次抽樣器(61(1)，…61(k))，其二次抽樣因子各不相同。
17.如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)，其特征在于所述運(yùn)動估計(jì)裝置包括一系列最小化器(82)，后者包括區(qū)段匹配最小化器(82a)、高斯-牛頓最小化器(82b)以及準(zhǔn)牛頓最小化器(82c)。
18.一種包括如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)和解碼器(30)的編解碼器。
19.一種包括如上述權(quán)利要求中任何一個(gè)所述的編碼器(10)的移動終端。
20.一種包括如權(quán)利要求1至17中任何一個(gè)所述的編碼器(10)的數(shù)據(jù)通信網(wǎng)絡(luò)。
21.一種用于對具有像素的視頻幀序列執(zhí)行運(yùn)動補(bǔ)償編碼的方法，所述方法包括以下步驟存儲參考幀；至少使用所述參考幀估計(jì)當(dāng)前幀中像素的運(yùn)動；以及把先前對所述當(dāng)前幀的至少一個(gè)第一像素的估計(jì)得到的預(yù)計(jì)運(yùn)動系數(shù)集用于估計(jì)所述當(dāng)前幀中至少一個(gè)第二像素的運(yùn)動系數(shù)集。
全文摘要
公開一種用于視頻編碼器運(yùn)動估計(jì)方法和系統(tǒng)。所述系統(tǒng)包括待編碼的視頻圖像的輸入。它還包括一個(gè)層次系列的具有各不相同的復(fù)雜性的運(yùn)動估計(jì)器，用以估計(jì)接收到的圖像和參考圖像之間的運(yùn)動矢量域。若由當(dāng)前選擇的運(yùn)動估計(jì)器所估計(jì)的與運(yùn)動矢量域相關(guān)的預(yù)計(jì)誤差超過預(yù)定閾值，則由控制裝置選擇系列中隨后的運(yùn)動估計(jì)器。當(dāng)繼承和預(yù)計(jì)的運(yùn)動信息可用時(shí)，則使用它們來改進(jìn)預(yù)計(jì)質(zhì)量。
文檔編號H04N7/26GK1418437SQ01806741
公開日2003年5月14日 申請日期2001年1月19日 優(yōu)先權(quán)日2000年1月21日
發(fā)明者M·卡爾澤維克, J·瀨內(nèi)馬 申請人:諾基亞有限公司