專利名稱：對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對具有象素的數(shù)字圖像進(jìn)行的運(yùn)動估算。
這樣的方法不同于參考文獻(xiàn)[1]。
在參考文獻(xiàn)[1]的運(yùn)動估算方法中，將要進(jìn)行運(yùn)動估算的數(shù)字塊中的象素被分組成為若干圖象塊。
對于在圖象中的每一個圖象塊，在大小可以預(yù)先確定的檢索區(qū)域內(nèi)進(jìn)行嘗試，以確定圖象塊中一個與檢索區(qū)域同樣大小的編碼信息最相似的區(qū)域，該編碼信息包括在進(jìn)行運(yùn)動估算的圖象塊中。
在下文中，名詞“編碼信息”意味著與一個象素相關(guān)的亮度信息(亮度值)或顏色信息(色度值)。
為此，在先前圖象中，基于圖象塊在先前圖象中的位置，對于大小可以預(yù)先確定的區(qū)域(檢索區(qū)域)中的每一個位置，具有相應(yīng)大小的包括與圖象塊中的象素數(shù)量相同的象素的區(qū)域被形成；并且，將要進(jìn)行運(yùn)動估算的圖象塊的編碼信息和在先前圖象中的不同區(qū)域的編碼信息之間的絕對偏差和或偏差的平方和被形成。最佳匹配的區(qū)域，這也就是說和值最小的區(qū)域，被視作匹配圖象塊，并且在先前圖象的“最佳”區(qū)域和該圖象塊之間圖象塊位置的移動被確定。這個移動被稱為運(yùn)動矢量。
本發(fā)明針對上述問題，提供了一種可以減少為編碼數(shù)字圖象的運(yùn)動估算的運(yùn)動矢量所需總位數(shù)的方法和裝置。
具有獨(dú)立權(quán)利要求的特征的方法和裝置，解決了這個問題。
在對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的方法中，象素被分組到圖象塊中。象素至少被分組到第一圖象區(qū)域和第二圖象區(qū)域。在第一檢索區(qū)域，至少為在第一圖象區(qū)域的第一圖象塊實(shí)行第一運(yùn)動估算，以便確定第一個運(yùn)動矢量，利用它，通過比較在先前圖象中的第一圖象塊或后面的圖象中的第一圖象塊，第一圖象塊的移動被描述。進(jìn)一步，在第二檢索區(qū)域，至少為在第二圖象區(qū)域中的第二圖象塊實(shí)行第二運(yùn)動估算，以便確定第二個運(yùn)動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在后面的后繼圖象中的第二圖象塊，第二圖象塊的移動被確定。第一檢索區(qū)域和第二檢索區(qū)域大小不同。
對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的裝置，具有一個處理器，它被如此設(shè)定以便執(zhí)行下述步驟象素被分組到圖象塊，象素被分組以便至少形成一個第一圖象區(qū)域和第二圖象區(qū)域，在第一檢索區(qū)域，至少為在第一圖象區(qū)域中的第一圖象塊實(shí)行第一運(yùn)動估算，以便確定第一個運(yùn)動矢量，利用它，通過比較在先前圖象中的第一圖象塊或后面的圖象中的第一圖象塊，第一圖象塊的移動被描述；進(jìn)一步，在第二檢索區(qū)域，至少為在第二圖象區(qū)域中的第二圖象塊實(shí)行第二運(yùn)動估算，以便確定第二個運(yùn)動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在后面的后繼圖象中的第二圖象塊，第二圖象塊的移動被確定；第一檢索區(qū)域和第二檢索區(qū)域大小不同。
本發(fā)明可以減少為壓縮視頻數(shù)據(jù)傳輸而要求的數(shù)據(jù)量，因?yàn)檫\(yùn)動矢量的大小可自適應(yīng)地符合質(zhì)量的要求，所以即使在非常小的檢索區(qū)域，也沒有明顯的圖象質(zhì)量的主觀印象的下降，例如，在只要求低質(zhì)量的區(qū)域中。檢索區(qū)域中運(yùn)動矢量的最大尺寸也因此相對小，這導(dǎo)致運(yùn)動矢量編碼的位數(shù)被減小。
從本發(fā)明可以明顯的看出不同大小的檢索區(qū)域被用于該圖象區(qū)域中的圖象塊的運(yùn)動估算，本發(fā)明可以根據(jù)質(zhì)量靈活的減少運(yùn)動矢量編碼所要求的數(shù)據(jù)量。
從從屬權(quán)利要求中可得出本發(fā)明的進(jìn)一步改進(jìn)。
一個改進(jìn)規(guī)定第一檢索區(qū)域和/或第二檢索區(qū)域的大小是預(yù)先確定的圖象質(zhì)量的函數(shù)，利用它，第一圖象塊和/或第二圖象塊被編碼。
以這種方式，一種限制檢索區(qū)域的方法被確定，它根據(jù)要求的圖象質(zhì)量減少需求的數(shù)據(jù)量。
在一個實(shí)施例中，一個十分簡單的確定檢索區(qū)域大小的標(biāo)準(zhǔn)是一個量化參數(shù)，通過它第一圖象塊和/或第二圖象塊被量化。
進(jìn)一步的改進(jìn)規(guī)定一定數(shù)量的表格，存儲不同長度的編碼的代碼，它們用于運(yùn)動矢量的不同的長度編碼，這樣導(dǎo)致進(jìn)一步減少視頻數(shù)據(jù)的傳輸所要求的數(shù)據(jù)量。
本發(fā)明的一個實(shí)施例將在下面詳細(xì)介紹，并在下面的圖中圖示，其中

圖1a到1c顯示了圖象和先前圖象的略圖，其中，圖示了本發(fā)明的基本原理；圖2顯示了具有兩個計算機(jī)、一個攝像機(jī)和一個顯示器的裝置，通過它視頻數(shù)據(jù)被編碼、傳送、解碼和顯示；圖3顯示了基于塊的數(shù)字圖象的編碼設(shè)備的略圖。
圖2顯示了包括兩臺計算機(jī)202,208和一個攝像機(jī)201的裝置，顯示了圖象的編碼、視頻數(shù)據(jù)的傳輸和圖象的解碼。
攝像機(jī)201通過連線19連接到第一計算機(jī)202。攝像機(jī)201傳送它拍攝的圖象204到第一計算機(jī)202。第一計算機(jī)202擁有第一處理器203，它通過總線218連接到幀存儲器205。在第一計算機(jī)202的第一處理器203執(zhí)行一種圖象編碼方法。以這種方式，編碼的視頻數(shù)據(jù)206從第一計算機(jī)202通過通訊鏈路207，最好是電纜或是無線路徑，被傳送到第二計算機(jī)208。第二計算機(jī)208擁有第二處理器209，它通過總線210連接到幀存儲器211。通過第二處理器209，圖象解碼方法被實(shí)行。
第一計算機(jī)202和第二計算機(jī)208具有各自的顯示器212或213，通過它們視頻數(shù)據(jù)204被顯示。輸入單元，最好是鍵盤214或215和計算機(jī)鼠標(biāo)216或217，被分別提供給第一計算機(jī)202和第二計算機(jī)208。
通過連線219從攝像機(jī)201傳送到第一計算機(jī)202的視頻數(shù)據(jù)204是時域數(shù)據(jù)，而通過通訊鏈路207，從第一計算機(jī)202傳送到第二計算機(jī)208的數(shù)據(jù)206是頻域視頻數(shù)據(jù)。
編碼的視頻數(shù)據(jù)被顯示在顯示器213。
圖3顯示了根據(jù)H.263標(biāo)準(zhǔn)(參見[5])執(zhí)行基于塊的圖象編碼方法的裝置的略圖。
將編碼的并具有被順序數(shù)字化的圖象的視頻數(shù)據(jù)流提供到圖象編碼單元301。數(shù)字化的圖象被再細(xì)分為宏塊302，每一個宏塊包括16×16象素。宏塊302包括4個圖象塊303,304,305和306，每一個圖象塊包括8×8象素，它們的照度值(亮度值)被指定。此外，每一個宏塊302包括具有被分配給該象素(色信息，色飽和度)的色度值的2個色度塊307和308。
圖象中的塊包括亮度值(=亮度)，第一色度值和第二色度值。這時，亮度值，第一色度值和第二色度值被稱作顏色值。
圖象塊被提供給變換編碼單元309。在差分圖象編碼時，從先前圖象的圖象塊編碼的值被減去在那時編碼的圖象塊的值，只有差分構(gòu)成信息310被提供給變換編碼單元(離散余弦變換，DCT)309。為此，宏塊302通過鏈路334被傳信到運(yùn)動估算單元329。在變換編碼單元309，將被編碼的圖象塊或差分圖象塊的頻譜系數(shù)311被形成，并被提供給量化單元312。
量化的頻譜系數(shù)313在反饋路徑上被提供給掃描單元314和反量化單元315。使用掃描方法，例如“z字形”掃描方法，在為此目的而提供的熵編碼單元316中，對掃描的頻譜系數(shù)332執(zhí)行熵編碼。熵編碼的頻譜系數(shù)作為編碼的視頻數(shù)據(jù)317通過一個信道，最好是電纜或無線通路，被傳送到解碼器。
量化的頻譜系數(shù)313的反向量化在反向量化單元315中被實(shí)行。以這種方法得到的頻譜系數(shù)318被提供給反向變換編碼單元319(反向離散余弦變換，IDCT)。重建的編碼值(和差分編碼值)320以差分構(gòu)成模式被提供給加法器321。一旦運(yùn)動補(bǔ)償被進(jìn)行，加法器321也接收從先前圖象獲得的圖象塊的編碼值。加法器321用于形成儲存在幀存儲器323中的重建的圖象塊322。
重建的圖象塊322的色度值324從幀存儲器323被提供到運(yùn)動補(bǔ)償單元325。對于亮度值326，在提供的內(nèi)插單元327中實(shí)現(xiàn)內(nèi)插。該內(nèi)插最好用于使包括在各個圖象塊中的亮度值擴(kuò)大四倍。亮度值328不僅被提供到運(yùn)動補(bǔ)償單元325，也被提供到運(yùn)動估算單元329。運(yùn)動估算單元329，通過鏈路334分別接收將被編碼的宏塊(16x16象素)的圖象塊。在運(yùn)動估算單元329，根據(jù)內(nèi)插的亮度值(“基于半象素的運(yùn)動估算”)進(jìn)行運(yùn)動估算。
運(yùn)動估算的結(jié)果是表示從先前圖象選出的宏塊到將被編碼的宏塊302的位置移動的運(yùn)動矢量330。
與由運(yùn)動估算單元329確定的宏塊相關(guān)的亮度信息和色度信息通過運(yùn)動矢量330被改變，被減去宏塊302的編碼值(參見數(shù)據(jù)路徑231)運(yùn)動估算得到了具有2個運(yùn)動矢量分量的運(yùn)動矢量330，即，分別沿著第一方向x和第二方向y的第一運(yùn)動矢量分量BVx，和第二運(yùn)動矢量分量BVy。BV=(BVxBVy)]]>運(yùn)動矢量330被分配到圖象塊。
圖3中的圖象編碼單元為所有圖象塊和圖象宏塊都提供運(yùn)動矢量330。
圖1a顯示了將用圖3所示設(shè)備編碼的數(shù)字圖象100。
數(shù)字圖象100具有被分配有編碼信息的象素。
象素101被分組到圖象塊102。圖象塊102被分組到第一圖象區(qū)域105和第二圖象區(qū)域106。
在下文中，假設(shè)在第一圖象區(qū)域105的質(zhì)量要求比在第二圖象區(qū)域106的質(zhì)量要求更嚴(yán)格。
為第一圖象區(qū)域105中的第一圖象塊103實(shí)行運(yùn)動估算。為此，在先前圖象和/或在后繼圖象110中，定義了第一檢索區(qū)域114。
基于形狀、大小同于第一圖象塊的起始區(qū)113，在每種情況下下，以下誤差E被確定，它變化是一個象素或幾分之一或多個象素(例如用半象素(半象素運(yùn)動估算))，利用它，在各種情況下，起始區(qū)113被移E=Σi=1nΣj=1m(xi,j-yi,j)2,]]>動其中-i,j是連續(xù)的指數(shù)，-n是在第一圖象塊中沿第一方向的象素數(shù)，-m是在第一圖象塊中沿第二方向的象素數(shù)，-xi,j是在第一圖象塊中在位置i,j的象素的編碼信息，-yi,j是通過相應(yīng)的運(yùn)動矢量移動的，在先前圖象相應(yīng)位置的象素編碼信息。
在先前圖象，對于每一個移動110，誤差E被計算，并且從該移動(=運(yùn)動矢量)的圖象塊中，誤差E具有最小值的、一個被選為與第一圖象塊103最相似的一個。
在本實(shí)施例中，在每種情況下，檢索區(qū)域在水平垂直方向跨越4象素間隔，大約是相應(yīng)于在先前圖象110第一圖象區(qū)域的第一圖象塊位置的起始位置113。因此，這時將被編碼的第一運(yùn)動矢量117的最大尺寸是 象素間隔(參見圖1b)。
圖1c顯示了在第二圖象區(qū)域106中的第二圖象塊104的第二運(yùn)動估算。該運(yùn)動估算的基本過程也被描述為如上述的第二運(yùn)動估算的過程。
對于第二運(yùn)動估算，第二檢索區(qū)域116更小，因?yàn)樵诘诙D象區(qū)域106的圖象質(zhì)量要求不如第一圖象區(qū)域105的嚴(yán)格。
因此，第二檢索區(qū)域116的大小只是從起始位置115向每一個方向的2個象素116。將為第二圖象塊104編碼的第二運(yùn)動矢量118的最大尺寸是 。
從這個例子可見，編碼第二運(yùn)動矢量118需要的計算量比編碼第一運(yùn)動矢量117顯著減小。
根據(jù)這個例子，在該實(shí)施例中的圖象塊的探測區(qū)大小取決于量化參數(shù)，它顯示了用于先前圖象100編碼的量化步驟。
探測區(qū)大小S用下式獲得S=15-QP/2其中-S是檢索區(qū)域大小，-QP是量化參數(shù)。
量化參數(shù)QP是包括在H.263的一般標(biāo)題數(shù)據(jù)中的因數(shù)，并用作為量化初始值。
為圖象塊而確定的檢索區(qū)域大小S隨量化參數(shù)QP的變小而增大，這相應(yīng)于高的圖象質(zhì)量。
包括具有不同長度范圍的不同長度的運(yùn)動矢量的編碼的若干個表，用于運(yùn)動矢量的可變長編碼。
量化參數(shù)QP用于選擇一個變長度編碼表，其中變長度編碼域值與檢索區(qū)域大小S匹配，因此達(dá)到運(yùn)動矢量的最大長度。
上述示例性實(shí)施例的一些變形被描述如下。
運(yùn)動估算的類型以及相應(yīng)的類似形成測度方法，與本發(fā)明無關(guān)。
例如，以下公式也可形成誤差EE=Σi=1nΣj=1m|Xi,j-Yi,j|,]]>它進(jìn)一步顯示了，為了進(jìn)一步減少要求的數(shù)據(jù)量，在許多情況下，只傳送運(yùn)動矢量已經(jīng)足夠了，而不傳送在運(yùn)動補(bǔ)償差分圖象的形成時產(chǎn)生的誤差信號。
很明顯，在本發(fā)明中，不同尺寸的檢索區(qū)域被用于該圖象區(qū)域中的圖象塊的運(yùn)動估算，其結(jié)果是，對于該運(yùn)動矢量的編碼，可按照質(zhì)量以需要的數(shù)據(jù)率來減少數(shù)據(jù)量。
下面的出版物被本文引用[1]ITU-T Draft Recommendation H.26,Video Coding for LowBitrate Communication,May,1996。
權(quán)利要求
1．一種對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的方法，其中象素被分組到圖象塊；其中象素被分組，以便至少形成第一圖象區(qū)域和第二圖象區(qū)域；在第一檢索區(qū)域，至少為在第一圖象區(qū)域中的第一圖象塊實(shí)行第一運(yùn)動估算，以便確定第一個運(yùn)動矢量，利用它，通過比較在前面圖象中的第一圖象塊或后面圖象中的第一圖象塊，第一圖象塊的移動被描述；其中，在第二檢索區(qū)域，至少為在第二圖象區(qū)域的第二圖象塊實(shí)行第二運(yùn)動估算，以便確定第二個運(yùn)動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在后面的后繼圖象中的第二圖象塊，第二圖象塊的移動被確定；其中，第一檢索區(qū)域和第二檢索區(qū)域大小不同。
2.按照權(quán)利要求1所述的方法，其特征在于第一檢索區(qū)域和/或第二探測區(qū)大小是預(yù)定圖象質(zhì)量的函數(shù)，通過它第一圖象塊和/或第二圖象塊被編碼。
3.按照權(quán)利要求2所述的方法，其特征在于第一檢索區(qū)域和/或第二探測區(qū)的大小按照量化參數(shù)的函數(shù)而變化，利用它，第一圖象塊和/或第二圖象塊被量化。
4.按照權(quán)利要求1-3所述的方法，被用于數(shù)字圖象的編碼。
5.按照權(quán)利要求4所述的方法，其中運(yùn)動矢量變長度編碼被實(shí)現(xiàn)，其中，若干個不同的表被用于變長編碼，所述表中存儲了變長編碼的代碼。
6.按照權(quán)利要求5所述的方法，其特征在于該表匹配到運(yùn)動矢量的最大長度。
7.一種對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的裝置，具有一個處理器，它被設(shè)定以便實(shí)行下述功能象素被分組到圖象塊，象素被分組，以便至少形成第一圖象區(qū)域和第二圖象區(qū)域，在第一檢索區(qū)域，至少為第一圖象區(qū)域中的第一圖象塊實(shí)行第一運(yùn)動估算，以便確定第一運(yùn)動矢量，利用它，通過比較在前面圖象中的第一圖象塊或后面圖象中的第一圖象塊，第一圖象塊的移動被描述；進(jìn)一步，在第二檢索區(qū)域，至少為第二圖象區(qū)域中的第二圖象塊實(shí)行第二運(yùn)動估算，以便確定第二運(yùn)動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在后面的后繼圖象中的第二圖象塊，第二圖象塊的移動被確定；第一檢索區(qū)域和第二檢索區(qū)域大小不同。
8.按照權(quán)利要求7所述的裝置，其特征在于該處理器被如此設(shè)置，以使第一檢索區(qū)域和/或第二檢索區(qū)域的大小是預(yù)先確定的圖象質(zhì)量的函數(shù)，利用它，第一圖象塊和/或第二圖象塊被編碼。
9.按照權(quán)利要求8所述的裝置，其特征在于該處理器被如此設(shè)置，以使第一檢索區(qū)域和/或第二檢索區(qū)域大小按照量化參數(shù)的函數(shù)變化，通過它第一圖象塊和/或第二圖象塊被量化。
10.按照權(quán)利要求7-9所述的裝置，它們被用于圖象編碼設(shè)備。
11.按照權(quán)利要求7-9所述的裝置，它們被用于圖象編碼設(shè)備，其特征在于該處理器被如此設(shè)置，以使運(yùn)動矢量變長編碼被實(shí)現(xiàn)，若干儲存的不同表用于變長編碼，所述表中存儲有變長編碼的代碼。
12.按照權(quán)利要求11所述的裝置，其特征在于該處理器被如此設(shè)置，以使該表匹配到運(yùn)動矢量的最大長度。
全文摘要
對具有象素的數(shù)字圖像進(jìn)行運(yùn)動估算的方法和裝置，其中，象素被分組到圖象塊。象素被分組到至少第一圖象區(qū)域和第二圖象區(qū)域。第一運(yùn)動估算在第一檢索區(qū)域被實(shí)現(xiàn)，以便確定一個第一運(yùn)動矢量。此外，第二運(yùn)動估算在第二檢索區(qū)域被實(shí)現(xiàn)，以便確定一個第二運(yùn)動矢量。第一檢索區(qū)域和第二檢索區(qū)域大小不同。
文檔編號H03M7/40GK1317125SQ99810653
公開日2001年10月10日 申請日期1999年8月2日 優(yōu)先權(quán)日1998年8月7日
發(fā)明者哲真·番德爾, 格羅·巴斯, 諾伯特·歐特爾 申請人:英芬能技術(shù)公司