專利名稱：用于運(yùn)動(dòng)估算的單元和方法以及設(shè)有這種運(yùn)動(dòng)估算單元的圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動(dòng)估算單元，用于產(chǎn)生對(duì)應(yīng)于圖像的像素塊的運(yùn)動(dòng)矢量，包括-塊匹配器，用于通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算起始運(yùn)動(dòng)矢量，預(yù)定的成本函數(shù)作為匹配這個(gè)像素塊與另一個(gè)圖像的另一個(gè)像素塊的匹配標(biāo)準(zhǔn)；-光流分析器，用于基于起始運(yùn)動(dòng)矢量并且基于像素塊的第一像素的第一光流方程來(lái)計(jì)算更新的運(yùn)動(dòng)矢量；-選擇器，通過比較起始運(yùn)動(dòng)矢量的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量或更新運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量。
本發(fā)明還涉及一種產(chǎn)生與圖像的像素塊對(duì)應(yīng)的運(yùn)動(dòng)矢量的方法，該方法包括如下步驟-塊匹配，通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算作為匹配這個(gè)像素塊與另一個(gè)圖像的另一個(gè)像素塊的匹配標(biāo)準(zhǔn)的起始運(yùn)動(dòng)矢量；-光流分析，基于起始運(yùn)動(dòng)矢量并且基于像素塊的第一像素的第一光流方程來(lái)計(jì)算更新的運(yùn)動(dòng)矢量；-選擇，通過比較起始運(yùn)動(dòng)矢量的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量或更新運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量。
本發(fā)明還涉及一種圖像處理設(shè)備，包括；-接收裝置，用于接收代表要顯示的圖像的信號(hào)；-這樣的一個(gè)運(yùn)動(dòng)估算單元；和-運(yùn)動(dòng)補(bǔ)償圖像處理單元。
背景技術(shù)：
對(duì)于運(yùn)動(dòng)估算，通常分為兩種主要的技術(shù)，即基于對(duì)應(yīng)性的方法和基于光流的方法。前者適合于大的運(yùn)動(dòng)。基于光流的方法適合于小的運(yùn)動(dòng)，這種方法是快速和準(zhǔn)確的?；诠饬鞯姆椒ǖ母拍钍鞘褂霉饬鞣匠?OFE)來(lái)計(jì)算運(yùn)動(dòng)矢量。光流方程簡(jiǎn)單來(lái)說(shuō)就是描述亮度L沿運(yùn)動(dòng)軌跡是常數(shù)的假設(shè)的方程的線性化過程。對(duì)于固定的位置x和速度v，可將常數(shù)-亮度假設(shè)寫成如下的形式L(x+tv，t)＝const.， (1)利用運(yùn)動(dòng)矢量ν＝(u，v)，對(duì)于t進(jìn)行微分，則有u∂L∂x+v∂L∂y=∂L∂t--(2)]]>或者改寫成如下形式ν‾·gradL=∂L∂t,--(3)]]>塊匹配方法屬于基于對(duì)應(yīng)性的方法。
在WO99/17256中公開了在本說(shuō)明書開始段中描述的那種運(yùn)動(dòng)估算單元的一個(gè)實(shí)施例。在這個(gè)文獻(xiàn)中，將相鄰的時(shí)空候選對(duì)象用作塊遞歸匹配過程的輸入。此外，相對(duì)于塊遞歸匹配過程的最佳候選對(duì)象測(cè)試另一個(gè)更新的矢量。計(jì)算這個(gè)更新矢量的方法是向當(dāng)前的像素塊施加一個(gè)局部的像素塊遞歸過程，其中使用像素塊遞歸匹配過程的最佳候選對(duì)象作為開始的矢量。所說(shuō)的像素塊遞歸過程是基于光流方程的。通過比較來(lái)自于像素遞歸的更新矢量與來(lái)自于像素塊遞歸過程的起始矢量并且選擇具有最佳匹配的一個(gè)矢量，就可獲得最終的輸出矢量。按照現(xiàn)有技術(shù)的這種運(yùn)動(dòng)估算單元相對(duì)于光流方程具有兩個(gè)缺點(diǎn)。第一，像素遞歸方案導(dǎo)致基本上不可預(yù)期的存儲(chǔ)訪問，這對(duì)于硬件實(shí)施方案來(lái)說(shuō)是不期望的。第二，為了解決孔徑問題所選擇的技術(shù)使這種方法易受噪聲的影響。所謂的孔徑問題指的是，必須求解兩個(gè)未知數(shù)的單個(gè)光流方程，即，在方程(2)中u和v都是未知數(shù)。

發(fā)明內(nèi)容
本發(fā)明的第一個(gè)目的是提供一種在本說(shuō)明書開始段描述的這種類型的運(yùn)動(dòng)估算單元，設(shè)計(jì)所說(shuō)的運(yùn)動(dòng)估算單元用來(lái)估算相對(duì)高質(zhì)量的運(yùn)動(dòng)矢量場(chǎng)。
本發(fā)明的第二個(gè)目的是提供一種在本說(shuō)明書開始段描述的這種類型的運(yùn)動(dòng)估算方法，所說(shuō)的運(yùn)動(dòng)估算方法用來(lái)估算相對(duì)高質(zhì)量的運(yùn)動(dòng)矢量場(chǎng)。
本發(fā)明的第三個(gè)目的是提供一種在本說(shuō)明書開始段描述的這種類型的圖像處理設(shè)備，所說(shuō)的圖像處理設(shè)備用來(lái)根據(jù)相對(duì)高質(zhì)量的運(yùn)動(dòng)矢量場(chǎng)完成運(yùn)動(dòng)補(bǔ)償圖像處理。
為了實(shí)現(xiàn)第一個(gè)目的，對(duì)于光流分析器進(jìn)行設(shè)計(jì)，以便從像素塊中選擇第一像素和第二像素，求解一組包括相應(yīng)的第一光流方程和第二光流方程的方程，其中根據(jù)第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量進(jìn)行選擇。按照現(xiàn)有技術(shù)的運(yùn)動(dòng)估算單元與按照本發(fā)明的運(yùn)動(dòng)估算單元之間的主要差別是，按照本發(fā)明的運(yùn)動(dòng)估算單元的光流分析器不是遞推的，而是基于像素塊的。在按照現(xiàn)有技術(shù)的運(yùn)動(dòng)估算單元中，對(duì)應(yīng)于像素塊的每個(gè)像素的光流方程的解是逐個(gè)估算的，并且用這個(gè)解來(lái)估算對(duì)應(yīng)于下一個(gè)像素的光流方程的解。在按照本發(fā)明的運(yùn)動(dòng)估算單元中，尋找并使用與最合適的光流方程相關(guān)的像素。理想的情況是，在這組方程中選擇對(duì)于ν＝(u，v)可導(dǎo)致最可靠的解的那些光流方程。典型的情況是需要兩個(gè)光流方程。除了退化情況以外，這對(duì)于ν＝(u，v)將給出一個(gè)唯一解。通過適當(dāng)?shù)剡x擇像素，可抑制噪聲的影響。其結(jié)果是得到一個(gè)相當(dāng)準(zhǔn)確的運(yùn)動(dòng)矢量場(chǎng)。這例如對(duì)于編碼應(yīng)用有好處，因?yàn)槭Ｓ嗟膱D像數(shù)據(jù)很少。從高質(zhì)量的運(yùn)動(dòng)矢量場(chǎng)受益的另一個(gè)應(yīng)用是解交錯(cuò)，因?yàn)樵谶@里運(yùn)動(dòng)矢量場(chǎng)的子像素的準(zhǔn)確性是至關(guān)重要的。另一個(gè)優(yōu)點(diǎn)是，好的候選對(duì)象可以穩(wěn)定運(yùn)動(dòng)估算單元，使錯(cuò)誤的候選對(duì)象(即與真正的運(yùn)動(dòng)不對(duì)應(yīng)但又偶然表現(xiàn)出很低的匹配誤差的候選答案)被選中的情況不太可能發(fā)生。
求解光流方程的通用方法是附加一個(gè)平滑約束以克服這個(gè)孔徑問題。Hom和Schunk在文章“確定光流”(人工智能，1981年，第17卷，第185-203頁(yè))中公開了這種處理方法的一個(gè)例子。平滑約束項(xiàng)是非線性的，必須進(jìn)行一個(gè)迭代過程來(lái)求解程，這比按照本發(fā)明的方法更復(fù)雜。
在按照本發(fā)明的運(yùn)動(dòng)估算單元的一個(gè)實(shí)施例中，對(duì)于光流分析器進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊的一系列像素計(jì)算光流方程的梯度矢量對(duì)的叉積，特定的叉積值對(duì)應(yīng)于包括第一梯度矢量和第二梯度矢量在內(nèi)的特定的梯度矢量對(duì)；和-如果與這個(gè)叉積值相比特定的叉積值相對(duì)較大，則選擇第一像素和第二像素。
解的可靠性取決于所涉及的梯度矢量的長(zhǎng)度以及它們之間的角度。當(dāng)梯度矢量很短，或者幾乎平行，噪聲的影響被放大。通過叉積來(lái)度量長(zhǎng)度和平行度這兩者，對(duì)于二維矢量來(lái)說(shuō)，叉積是一個(gè)標(biāo)量?，F(xiàn)在引入下面的記法-像素塊中的像素用單個(gè)角標(biāo)i或j表示；-X=∂L∂x,]]>Y=∂L∂y,]]>T=∂L∂t;]]>-Li是在角標(biāo)為i的塊中像素的亮度值；-Xi是在這個(gè)像素處的L相對(duì)于x的導(dǎo)數(shù)；-Yi是在這個(gè)像素處的L相對(duì)于y的導(dǎo)數(shù)；-Ti是在這個(gè)像素處的L相對(duì)于t導(dǎo)數(shù)；-g1＝(Xi，Yi)是對(duì)應(yīng)于像素i的梯度矢量。
在第一梯度矢量gi和第二梯度矢量gj之間的叉積是gi×gj=XiYj-YiXj=||gi||||gj||sin(angle(gi,gj))--(4)]]>通過找到絕對(duì)叉積值gi×gj相對(duì)較大的梯度矢量對(duì)，就可以實(shí)現(xiàn)優(yōu)良的可靠性。
在按照本發(fā)明的運(yùn)動(dòng)估算單元的一個(gè)實(shí)施例中，對(duì)于光流分析器進(jìn)行設(shè)計(jì)，使其可以對(duì)于像素塊的像素的光流方程的所有可能的梯度矢量對(duì)計(jì)算叉積值，以便選擇第一像素和第二像素。開發(fā)這個(gè)實(shí)施例是為了得到最簡(jiǎn)單的處理方法，找到叉積值實(shí)際最大的梯度矢量對(duì)。其優(yōu)點(diǎn)在于這種方法最有可能得到最佳的結(jié)果。然而，這個(gè)簡(jiǎn)單的方法的時(shí)間復(fù)雜性對(duì)于梯度矢量的數(shù)目來(lái)說(shuō)是二次的。例如，對(duì)于維數(shù)為8×8的一個(gè)像素塊，大約需要2000次運(yùn)算。
在按照本發(fā)明的運(yùn)動(dòng)估算單元的另一個(gè)實(shí)施例中，對(duì)于光流分析器進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊的一系列像素計(jì)算光流方程的梯度矢量的長(zhǎng)度值，特定的長(zhǎng)度值與第一梯度矢量相關(guān)；和-如果與這個(gè)長(zhǎng)度值相比特定的長(zhǎng)度值相對(duì)較大，則選擇第一像素。
首先，按照歐幾里得范數(shù)在梯度矢量中選擇相對(duì)較長(zhǎng)的梯度矢量。優(yōu)選地，選擇最長(zhǎng)的梯度矢量。然后，選擇第二梯度矢量，這個(gè)第二梯度矢量與最長(zhǎng)的梯度矢量的叉積值最大。按照本發(fā)明的光流方程對(duì)于每個(gè)梯度矢量只考慮兩次，因而按線性時(shí)間運(yùn)行?？梢钥闯觯罱K的叉積值沒能達(dá)到實(shí)際的最大值，最多相差2倍。
在按照本發(fā)明的運(yùn)動(dòng)估算單元的另一個(gè)實(shí)施例中，對(duì)于光流分析器進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊的3個(gè)像素，反復(fù)計(jì)算來(lái)自于光流方程的3個(gè)梯度矢量的3對(duì)叉積值中的3個(gè)叉積值；-反復(fù)地比較這3個(gè)叉積值，以確定像素塊的這3個(gè)像素的光流方程的3個(gè)梯度矢量中的哪兩個(gè)梯度矢量產(chǎn)生了最大的叉積值；-反復(fù)地產(chǎn)生新的梯度矢量對(duì)，新的梯度矢量對(duì)包括3個(gè)梯度矢量中的這兩個(gè)以及另一個(gè)梯度矢量(如果有的話)；-選擇對(duì)應(yīng)于3個(gè)梯度矢量中的這兩個(gè)梯度矢量的第一像素和第二像素。
將兩個(gè)“當(dāng)前的”梯度矢量保存在存儲(chǔ)器內(nèi)，如gA和gB它們可利用g1和g2初始化。對(duì)于每個(gè)新的gk，確定下述的3個(gè)叉積值中的哪一個(gè)的絕對(duì)值最大gA×gB、gk，×gB、gA×gk，。梯度矢量對(duì)(gA、gB)然后由對(duì)應(yīng)于最大叉積值的梯度矢量對(duì)代替。換言之，反復(fù)地取出3個(gè)梯度矢量構(gòu)成的組來(lái)計(jì)算叉積值。根據(jù)叉積值，用新的梯度矢量代替這一組中的一個(gè)梯度矢量。按照本發(fā)明的這個(gè)光流分析器所執(zhí)行的算法也是線性的，但光流分析器只需對(duì)梯度矢量訪問一次。但仍無(wú)法保證找到的叉積值在實(shí)際最大可能值的不變的倍數(shù)內(nèi)。
按照本發(fā)明的運(yùn)動(dòng)估算的一個(gè)實(shí)施例，塊匹配器是遞歸的。在文章“利用3維遞歸搜尋的塊匹配方法的真正運(yùn)動(dòng)估算”(G.de Haan等人，有關(guān)“用于視頻技術(shù)的電路和系統(tǒng)”的IEEE學(xué)報(bào)中第3卷，第5期，1993年10月，第368-379頁(yè))中公開了一個(gè)比較好的運(yùn)動(dòng)估算單元。這種3DRS塊匹配器在原理上可以準(zhǔn)確到1/4個(gè)像素。這個(gè)精確度在大的織構(gòu)區(qū)進(jìn)行平動(dòng)運(yùn)動(dòng)時(shí)的確可以實(shí)現(xiàn)，例如在攝像機(jī)搖攝(pan)時(shí)。然而，在較小的區(qū)域或者在具有比效復(fù)雜的運(yùn)動(dòng)的區(qū)域，例如變焦移動(dòng)，3DRS匹配器就必須選擇許多更新的候選對(duì)象，這是不期望的，因?yàn)樵谝话闱闆r下這將導(dǎo)致空間一致性的下降。出于這個(gè)理由，通過懲罰補(bǔ)償來(lái)抑制更新的候選對(duì)象。這將導(dǎo)致在空間上和時(shí)間上穩(wěn)定的矢量場(chǎng)，但也導(dǎo)致子優(yōu)化的精確度。按照本發(fā)明的這個(gè)實(shí)施例將塊匹配方法和基于光流的方法這兩者的好的方面組合在一起。這一思路就是使用像素塊匹配器尋找起始矢量場(chǎng)，達(dá)到中等精確度。剩余的運(yùn)動(dòng)矢量是足夠地小，可以允許光流分析器應(yīng)用光流方法。與按照現(xiàn)有技術(shù)的3DRS塊匹配器相比，必須考慮的更新候選對(duì)象的數(shù)目較少，因?yàn)檫\(yùn)動(dòng)的跟蹤主要是由光流分析器完成的。這就改善了運(yùn)動(dòng)估算單元的效率。
圖像處理設(shè)備的改進(jìn)和它的變化對(duì)應(yīng)于所述的運(yùn)動(dòng)估算單元的改進(jìn)和它的變化。圖像處理設(shè)備可以包括一些附加的部件，例如用于接收代表圖像的信號(hào)的接收裝置，用于顯示處理的圖像的顯示裝置。運(yùn)動(dòng)補(bǔ)償圖像處理單元可以支持下述類型圖像處理中的一項(xiàng)或多項(xiàng)-解交錯(cuò)(de-interlacing)交錯(cuò)是普通的視頻廣播過程，用于交替地發(fā)送奇數(shù)或偶數(shù)圖像行。解交錯(cuò)試圖恢復(fù)全垂直分辨率，即，使奇數(shù)行和偶數(shù)行可為每個(gè)圖像同時(shí)利用；-上變換(up-conversion)計(jì)算來(lái)自于一系列初始輸入圖像中一個(gè)較大系列的輸出圖像；和-臨時(shí)的噪聲減小。這還可能涉及空間處理，導(dǎo)致空間-時(shí)間的噪聲減小。


從以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施方案和實(shí)施例的描述中，按照本發(fā)明的運(yùn)動(dòng)估算單元及其方法以及圖像處理設(shè)備的這些和其它方面都將變得顯而易見，其中圖1A示意地表示運(yùn)動(dòng)估算單元的一個(gè)實(shí)施例；圖1B更加詳細(xì)地示意地表示運(yùn)動(dòng)估算單元的一個(gè)實(shí)施例；
圖2示意地表示圖像處理設(shè)備的一個(gè)實(shí)施例；在所有的圖中，相應(yīng)的標(biāo)號(hào)具有相同的含義。
具體實(shí)施例方式
圖1A示意地表示按照本發(fā)明的運(yùn)動(dòng)估算單元100的一個(gè)實(shí)施例。對(duì)于運(yùn)動(dòng)估算單元100進(jìn)行設(shè)計(jì)，使其可以產(chǎn)生對(duì)應(yīng)于圖像118的像素塊116的運(yùn)動(dòng)矢量126。一個(gè)圖像的的所有的運(yùn)動(dòng)矢量稱之為運(yùn)動(dòng)矢量場(chǎng)124。運(yùn)動(dòng)估算單元100包括-塊匹配器102，用于通過使預(yù)定的成本函數(shù)最小計(jì)算起始運(yùn)動(dòng)矢量110，所說(shuō)的預(yù)定的成本函數(shù)是匹配像素塊116與另一個(gè)圖像120的另一個(gè)像素塊122的匹配標(biāo)準(zhǔn)；-光流分析器104，用于根據(jù)起始運(yùn)動(dòng)矢量110計(jì)算更新運(yùn)動(dòng)矢量111，對(duì)于光流分析器104進(jìn)行設(shè)計(jì)以從像素塊116選擇第一像素和第二像素，從而可以求解包括相應(yīng)的第一光流方程和第二光流方程在內(nèi)的一組方程，基于第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量進(jìn)行這種選擇；和-選擇器106，通過比較起始運(yùn)動(dòng)矢量110的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量111的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量110或更新運(yùn)動(dòng)矢量111，以此作為運(yùn)動(dòng)矢量126。
運(yùn)動(dòng)估算單元100的輸入包括圖像，這個(gè)輸入在輸入連接器112上提供。運(yùn)動(dòng)估算單元100的輸出是運(yùn)動(dòng)矢量場(chǎng)例如124，這個(gè)輸出在輸出連接器114上提供。
圖1B更加詳細(xì)地示意表示出結(jié)合圖1A所述的運(yùn)動(dòng)估算單元100的實(shí)施例。塊匹配器102的行為如下。首先，產(chǎn)生裝置202針對(duì)像素塊116產(chǎn)生一組候選運(yùn)動(dòng)矢量。然后，塊匹配誤差計(jì)算器206針對(duì)這些候選運(yùn)動(dòng)矢量計(jì)算匹配誤差。然后，選擇器204根據(jù)這些匹配誤差從這些候選運(yùn)動(dòng)矢量組中選擇起始運(yùn)動(dòng)矢量110。選擇這個(gè)起始運(yùn)動(dòng)矢量110是因?yàn)樗钠ヅ湔`差具有最小值。由塊匹配誤差計(jì)算器206計(jì)算的匹配誤差對(duì)應(yīng)于SAD在圖像118的像素塊116的像素和對(duì)應(yīng)于像素塊116的由候選運(yùn)動(dòng)矢量位移的下一個(gè)圖像120的另一個(gè)像素塊122的像素之間的絕對(duì)亮度差之和。
光流分析器104的行為如以下所述。梯度運(yùn)算器208、210、212分別在x、y、和時(shí)間方向計(jì)算亮度梯度。在一般情況下，計(jì)算像素塊的所有像素的梯度。在只對(duì)一部分像素塊使用光流方程時(shí)，必須計(jì)算較少的梯度。通過梯度分析器214來(lái)分析梯度矢量，以找到最合適的像素以及對(duì)應(yīng)的光流方程。按照方程(2)，其結(jié)果是一組兩個(gè)光流方程。在方程(5)中給出了這組方程。要注意的是，在這種情況下，角標(biāo)i、j表示的是最合適的光流方程。
uXi+vYi+Ti＝0uXj+vYj+Tj＝0(5)求解方程(4)可得到更新運(yùn)動(dòng)矢量ν＝(u，v)111u=TiYj-TjYiXiYj-YiXj]]>v=TjXi-TiXjXiYj-YiXj]]>最后，通過選擇器106分析這兩個(gè)運(yùn)動(dòng)矢量，即由塊匹配器102計(jì)算的起始運(yùn)動(dòng)矢量110和由光流分析器104計(jì)算的更新運(yùn)動(dòng)矢量111，從而可以選擇運(yùn)動(dòng)矢量126。為此，塊匹配誤差計(jì)算器216對(duì)于兩個(gè)運(yùn)動(dòng)矢量計(jì)算匹配誤差，例如根據(jù)絕對(duì)差之和進(jìn)行這種計(jì)算。然后，選擇器218根據(jù)這些匹配誤差選擇運(yùn)動(dòng)矢量126。所選的運(yùn)動(dòng)矢量126是其它像素塊的可能的候選運(yùn)動(dòng)矢量。因此，向塊匹配器102的產(chǎn)生裝置202提供所選的運(yùn)動(dòng)矢量126。
對(duì)于梯度分析器進(jìn)行設(shè)計(jì)，以采取下述方法搜尋最合適的光流方程-對(duì)于像素塊匹配器116的一系列像素的光流方程的所有可能的梯度矢量對(duì)，計(jì)算叉積值。具有最大叉積值的梯度矢量對(duì)對(duì)應(yīng)于最合適的光流方程。
-首先，按照歐幾里得范數(shù)在梯度矢量中選擇最長(zhǎng)的梯度矢量。而后，選擇第二梯度矢量，所說(shuō)的第二梯度矢量與最長(zhǎng)的梯度矢量的叉積值最大。
-重復(fù)地取由3個(gè)梯度矢量構(gòu)成的組以計(jì)算叉積值。根據(jù)叉積值，用新的梯度矢量替換這個(gè)組中的一個(gè)梯度矢量。這就是說(shuō)，不屬于具有最大叉積值的梯度矢量對(duì)的一部分的梯度矢量要由新的梯度矢量代替。經(jīng)過控制接口220，可以選擇這些方法中的一個(gè)。
圖2示意地表示出圖像處理設(shè)備200的各個(gè)部件，它包括；-接收裝置201，用于接收代表在進(jìn)行了某些處理后要顯示的圖像的信號(hào)。這個(gè)信號(hào)可以是經(jīng)過天線或電纜接收的廣播信號(hào)，或者還可以是來(lái)自于存儲(chǔ)裝置的信號(hào)，如VCR(視頻盒式錄象機(jī))或數(shù)字通用盤(DVD)。這個(gè)信號(hào)在輸入連接器207上提供。
-結(jié)合圖1A和1B描述的運(yùn)動(dòng)估算單元；-運(yùn)動(dòng)補(bǔ)償圖像處理單元203；和-顯示器件205，用于顯示處理的圖像。這個(gè)顯示器件是光學(xué)的。
運(yùn)動(dòng)補(bǔ)償圖像處理單元203需要圖像和運(yùn)動(dòng)矢量作為它的輸入。
應(yīng)該注意的是，上述的實(shí)施例說(shuō)明了本發(fā)明，而不是限制了本發(fā)明，本領(lǐng)域的普通技術(shù)人員可以設(shè)計(jì)出另外的實(shí)施例而不會(huì)偏離所附的權(quán)利要求書的范圍。在權(quán)利要求書中，放在括號(hào)之間的任何標(biāo)號(hào)不認(rèn)為是對(duì)本權(quán)利要求的限制。術(shù)語(yǔ)“包括”不排除存在沒有列在權(quán)利要求中的部件或步驟。在部件前邊的“一個(gè)”并不排除存在多個(gè)這樣的部件。本發(fā)明可以借助于包括幾個(gè)不同的部件在內(nèi)的硬件來(lái)實(shí)施，并且可以借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)施。在列舉了幾個(gè)裝置的設(shè)備權(quán)利要求中，通過一個(gè)和相同項(xiàng)目的硬件可以實(shí)施這幾個(gè)裝置。要注意的是，塊匹配誤差計(jì)算器216和206的功能是相似的。選擇這兩種裝置中的任何一個(gè)可能實(shí)現(xiàn)兩項(xiàng)任務(wù)。對(duì)于選擇器204和218，情況亦是如此。
權(quán)利要求
1.一種運(yùn)動(dòng)估算單元(100)，用于產(chǎn)生對(duì)應(yīng)于圖像(118)的像素塊(116)的運(yùn)動(dòng)矢量(126)，包括-塊匹配器(102)，用于通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算起始運(yùn)動(dòng)矢量(110)，所述的預(yù)定的成本函數(shù)是匹配所述像素塊(116)與另一個(gè)圖像(120)的另一個(gè)像素塊(122)的匹配標(biāo)準(zhǔn)；-光流分析器(104)，用于基于起始運(yùn)動(dòng)矢量(110)并且基于像素塊(116)的第一像素的第一光流方程來(lái)計(jì)算更新的運(yùn)動(dòng)矢量(111)；-選擇器(106)，通過比較起始運(yùn)動(dòng)矢量(110)的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量(111)的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量(110)或更新運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，以便從像素塊(116)中選擇第一像素和第二像素，求解一組包括相應(yīng)的第一光流方程和第二光流方程的方程，其中根據(jù)第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量進(jìn)行選擇。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)估算單元(100)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊(116)的一系列像素計(jì)算光流方程的梯度矢量對(duì)的叉積值，特定的叉積值對(duì)應(yīng)于包括第一梯度矢量和第二梯度矢量在內(nèi)的特定的梯度矢量對(duì)；和-如果與這個(gè)叉積值相比特定的叉積值相對(duì)較大，則選擇第一像素和第二像素。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)估算單元(100)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，使其可以計(jì)算像素塊(116)的像素的光流方程的所有可能的梯度矢量對(duì)，以便選擇第一像素和第二像素。
4.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)估算單元(100)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊(116)的一系列像素計(jì)算光流方程的梯度矢量的長(zhǎng)度值，特定的長(zhǎng)度值與第一梯度矢量相關(guān)；和-如果與這個(gè)長(zhǎng)度值相比，特定的長(zhǎng)度值相對(duì)較大，則選擇第一像素。
5.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)估算單元(100)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，使其可以-對(duì)于像素塊(116)的3個(gè)像素反復(fù)計(jì)算來(lái)自于光流方程的3個(gè)梯度矢量的3對(duì)的3個(gè)叉積值；-反復(fù)地比較這3個(gè)叉積值，以確定像素塊(116)的這3個(gè)像素的光流方程的3個(gè)梯度矢量中的哪兩個(gè)梯度矢量產(chǎn)生了最大的叉積值；-反復(fù)地產(chǎn)生新的梯度矢量對(duì)，新的梯度矢量對(duì)包括3個(gè)梯度矢量中的這兩個(gè)以及另一個(gè)梯度矢量(如果有的話)；-選擇對(duì)應(yīng)于3個(gè)梯度矢量中的這兩個(gè)梯度矢量的第一像素和第二像素。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)估算單元(100)，其特征在于塊匹配器(102)是遞歸的。
7.一種產(chǎn)生與圖像(118)的像素塊(116)對(duì)應(yīng)的運(yùn)動(dòng)矢量(126)的方法，該方法包括如下步驟-塊匹配，通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算起始運(yùn)動(dòng)矢量(110)，預(yù)定的成本函數(shù)作為匹配所述像素塊(116)與另一個(gè)圖像(120)的另一個(gè)像素塊(1220的匹配標(biāo)準(zhǔn)；-光流分析，基于起始運(yùn)動(dòng)矢量(110)并且基于像素塊(116)的第一像素的第一光流方程來(lái)計(jì)算更新的運(yùn)動(dòng)矢量(111)；-選擇，通過比較起始運(yùn)動(dòng)矢量(110)的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量(111)的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量(110)或更新運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)，其特征在于在光流分析步驟中，從像素塊(116)中選擇第一像素和第二像素，求解一組包括相應(yīng)的第一光流方程和第二光流方程的方程，其中根據(jù)第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量進(jìn)行選擇。
8.一種圖像處理設(shè)備(200)，包括-用于接收代表要顯示的圖像(118)的信號(hào)的接收裝置(201)；-用于產(chǎn)生對(duì)應(yīng)于圖像(118)的像素塊(116)的運(yùn)動(dòng)矢量(126)的運(yùn)動(dòng)估算單元(100)，所述運(yùn)動(dòng)估算單元(100)包括*塊匹配器(102)，用于通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算起始運(yùn)動(dòng)矢量(1110)，所述預(yù)定的成本函數(shù)作為匹配這個(gè)像素塊(116)與另一個(gè)圖像(120)的另一個(gè)像素塊(122)的匹配標(biāo)準(zhǔn)；*光流分析器(104)，用于基于起始運(yùn)動(dòng)矢量(110)并且基于像素塊(116)的第一像素的第一光流方程來(lái)計(jì)算更新的運(yùn)動(dòng)矢量(111)；*選擇器(106)，通過比較起始運(yùn)動(dòng)矢量(110)的匹配標(biāo)準(zhǔn)的第一值與更新運(yùn)動(dòng)矢量(111)的匹配標(biāo)準(zhǔn)的第二值，選擇起始運(yùn)動(dòng)矢量(110)或更新運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)；和-運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)，其特征在于對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，以便從像素塊(116)中選擇第一像素和第二像素，求解一組包括相應(yīng)的第一光流方程和第二光流方程的方程，其中根據(jù)第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量進(jìn)行選擇。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備(200)，其特征在于對(duì)于運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)進(jìn)行設(shè)計(jì)，以減小圖像(118)中的噪聲。
10.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備(200)，其特征在于對(duì)于運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)進(jìn)行設(shè)計(jì)，以使圖像(118)解交錯(cuò)。
11.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備(200)，其特征在于對(duì)于運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)進(jìn)行設(shè)計(jì)，以便能夠上行轉(zhuǎn)換。
全文摘要
運(yùn)動(dòng)估算單元(100)包括塊匹配器(102)，用于通過使預(yù)定的成本函數(shù)最小來(lái)計(jì)算起始運(yùn)動(dòng)矢量(110)，預(yù)定的成本函數(shù)作為匹配這個(gè)像素塊(116)與另一個(gè)圖像(120)的另一個(gè)像素塊(122)的匹配標(biāo)準(zhǔn)。運(yùn)動(dòng)估算單元(100)還包括光流分析器(104)，用于基于起始運(yùn)動(dòng)矢量(110)來(lái)計(jì)算更新的運(yùn)動(dòng)矢量(111)，對(duì)于光流分析器(104)進(jìn)行設(shè)計(jì)，以便找到對(duì)應(yīng)于像素塊(116)的相應(yīng)像素的最合適的一組光流方程。這是通過對(duì)于像素塊(116)的像素的光流方程的梯度矢量進(jìn)行分析實(shí)現(xiàn)的。最后，運(yùn)動(dòng)估算單元(100)的選擇器(106)通過比較起始運(yùn)動(dòng)矢量(110)與更新運(yùn)動(dòng)矢量(111)來(lái)選擇運(yùn)動(dòng)矢量(126)。
文檔編號(hào)G06T7/20GK1575479SQ02821055
公開日2005年2月2日 申請(qǐng)日期2002年10月14日 優(yōu)先權(quán)日2001年10月25日
發(fā)明者G·A·倫特, A·阿佩拉戈蒂 申請(qǐng)人:皇家飛利浦電子股份有限公司