專利名稱：運(yùn)動圖片編碼和解碼方法以及使用該方法的設(shè)備和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動圖片編碼和解碼方法，具體地，涉及一種運(yùn) 動圖片編碼/解碼程序、方法和設(shè)備，其中自適應(yīng)地切換濾波器系數(shù)， 以便對用于運(yùn)動補(bǔ)償?shù)男?shù)點(diǎn)圖片元素的插值進(jìn)行編碼。
背景技術(shù)：
在數(shù)字廣播系統(tǒng)或業(yè)務(wù)中，針對傳輸和存儲，對大量的運(yùn)動圖片 信號進(jìn)行了壓縮和編碼。
圖1是示出了用于運(yùn)動圖片信號的典型編碼設(shè)備的結(jié)構(gòu)的方框
圖。圖1所示的編碼設(shè)備包括本地解碼器并由以下裝置構(gòu)成頻率轉(zhuǎn)
換器ll、量化器12、可變長度編碼器13、反量化器14、反頻率轉(zhuǎn)換 器15、幀存儲器16、運(yùn)動補(bǔ)償器17和運(yùn)動矢量檢測器18。
將輸入圖像作為輸入提供給編碼器并劃分為多個(gè)塊。當(dāng)對輸入圖 像進(jìn)行幀間預(yù)測時(shí)，通過運(yùn)動補(bǔ)償器17在每個(gè)塊中減去從已預(yù)先解碼 圖像中產(chǎn)生的預(yù)測值。幀間預(yù)測是一種使用預(yù)先重構(gòu)的參考圖像以編 碼當(dāng)前圖像的方法。
接下來，由頻率轉(zhuǎn)換器ll將這些圖像塊轉(zhuǎn)換到頻域。接下來，由 量化器12對已經(jīng)轉(zhuǎn)換到頻域的圖像塊進(jìn)行量化。最后，由可變長度編 碼器對已經(jīng)量化的圖像塊進(jìn)行加密編碼并存儲。
作為本地解碼，由反量化器14和反頻率轉(zhuǎn)換器15將上述已量化 的圖像塊再次返回到初始的空間域。
在幀間預(yù)測的情況下，將上述預(yù)測值添加到圖像塊，以形成重構(gòu)的圖像。該重構(gòu)圖像用于編碼下一個(gè)圖像，因此將其稱為參考圖像。將上述參考圖像存儲在幀存儲器16中并用于運(yùn)動矢量檢測器18和運(yùn)
動補(bǔ)償器17。運(yùn)動矢量檢測器18從輸入圖像塊和上述參考圖像中檢測運(yùn)動矢量。運(yùn)動補(bǔ)償器17從上述運(yùn)動矢量和上述參考圖像中產(chǎn)生預(yù)
、、圖2是示出了與圖l所示的編碼器相對應(yīng)的解碼器的結(jié)構(gòu)的方框圖。圖2所示的解碼器包括可變長度解碼器19、反量化器20、反頻率轉(zhuǎn)換器21、運(yùn)動補(bǔ)償器22和幀存儲器23。反量化器20、反頻率轉(zhuǎn)換器21、運(yùn)動補(bǔ)償器22和幀存儲器23的操作與編碼器中的反量化器14、反頻率轉(zhuǎn)換器15、運(yùn)動補(bǔ)償器17和幀存儲器16的操作相同。
在解碼中，首先，利用可變長度解碼器19，將輸入從已編碼的表示中恢復(fù)為初始表示。接下來，對于己解碼的轉(zhuǎn)換系數(shù)執(zhí)行反量化和反頻率轉(zhuǎn)換，以便將轉(zhuǎn)換系數(shù)恢復(fù)為空間域圖像塊。當(dāng)執(zhí)行幀間預(yù)測時(shí)，將預(yù)測值添加到已經(jīng)恢復(fù)到空間域的圖像塊中，以形成重構(gòu)圖像。利用已經(jīng)存儲在幀存儲器23中的參考圖像和從可變長度解碼器19提供的運(yùn)動矢量來產(chǎn)生這些預(yù)測值。重構(gòu)圖像用于接下來要解碼的圖像，因此將其存儲在幀存儲器23中。
用于提高編碼上述運(yùn)動圖片信號的效率的手段包括使用預(yù)濾波器或小數(shù)點(diǎn)圖片元素精度的運(yùn)動補(bǔ)償。預(yù)濾波器通過使用濾波器以控制輸入圖像的帶寬來提高編碼效率。相反，小數(shù)點(diǎn)圖片元素精度的運(yùn)動補(bǔ)償通過在參考圖像中產(chǎn)生小數(shù)點(diǎn)精度的運(yùn)動來提高編碼效率。
預(yù)濾波限制了輸入圖像的帶寬，因此不能直接提高運(yùn)動圖片的編碼效率?，F(xiàn)有技術(shù)中的小數(shù)點(diǎn)圖片元素精度的運(yùn)動補(bǔ)償使用了固定的濾波器來對小數(shù)點(diǎn)圖片元素進(jìn)行插值。結(jié)果，現(xiàn)有技術(shù)的方法不能實(shí)現(xiàn)根據(jù)比特率和運(yùn)動圖片本質(zhì)的小數(shù)點(diǎn)圖片元素插值。

發(fā)明內(nèi)容
考慮到以上現(xiàn)有技術(shù)來實(shí)現(xiàn)本發(fā)明，且本發(fā)明的目的是提供一種能夠增強(qiáng)運(yùn)動補(bǔ)償?shù)男什⑻岣呔幋a效率的編碼/解碼運(yùn)動圖片的方法。本發(fā)明的第一實(shí)施例是一種用于檢測小數(shù)點(diǎn)精度的運(yùn)動圖片編碼
程序、方法或設(shè)備；由此-
通過多個(gè)濾波器組對參考圖像中的小數(shù)點(diǎn)(decimal point)位置的
圖片元素進(jìn)行插值；
檢測濾波器與實(shí)現(xiàn)了最高編碼效率的運(yùn)動矢量的組合；將使用所檢測到的濾波器和運(yùn)動矢量以產(chǎn)生預(yù)測值；以及提供運(yùn)動矢量的信息和產(chǎn)生預(yù)測值的濾波器的信息，作為輸出。根據(jù)上述結(jié)構(gòu)，檢測濾波器和針對編碼效率最高的運(yùn)動矢量，并
且將通過所檢測到的濾波器和運(yùn)動矢量所產(chǎn)生的預(yù)測值用于運(yùn)動補(bǔ)
償，由此能夠提高運(yùn)動圖片的編碼效率。
本發(fā)明的第二實(shí)施例是一種用于檢測小數(shù)點(diǎn)精度的運(yùn)動圖片解碼
程序、方法或設(shè)備；由此
根據(jù)已經(jīng)作為輸入應(yīng)用的濾波器信息，切換濾波器或被參考的插
值幀；以及
使用已經(jīng)切換的濾波器或被參考的插值幀以及已經(jīng)作為輸入應(yīng)用的運(yùn)動矢量以產(chǎn)生預(yù)測值。
本發(fā)明的第三實(shí)施例是第一實(shí)施例的運(yùn)動圖片編碼程序、方法或設(shè)備，其中
將其中至少相位不同的多個(gè)濾波器用于插值小數(shù)點(diǎn)位置的圖片元素。
第三實(shí)施例增加了運(yùn)動補(bǔ)償?shù)木炔⑻岣吡司幋a效率。
本發(fā)明的第四實(shí)施例是根據(jù)第二實(shí)施例的運(yùn)動圖片解碼程序、方
法或設(shè)備，其中
將其中至少相位不同的多個(gè)濾波器用于插值小數(shù)點(diǎn)位置的圖片元素。
本發(fā)明的第五實(shí)施例是根據(jù)第一實(shí)施例的運(yùn)動圖片編碼程序、方
法或設(shè)備，其中
將其中至少帶寬不同的多個(gè)濾波器用于插值上述小數(shù)點(diǎn)位置的圖
片元素。
第五實(shí)施例能夠通過保持參考圖像的帶寬或通過衰減參考圖像的噪聲來提高編碼效率。
本發(fā)明的第六實(shí)施例是根據(jù)第二實(shí)施例的運(yùn)動圖片解碼程序、方
法或設(shè)備，其中
將其中至少帶寬不同的多個(gè)濾波器用于插值上述小數(shù)點(diǎn)位置的圖
片元素。


從參考附圖的以下說明中，本發(fā)明的以上和其它目的、特點(diǎn)和優(yōu)點(diǎn)會變得顯而易見，其中所述附圖演示了本發(fā)明的實(shí)例。圖1是示出了現(xiàn)有技術(shù)的編碼設(shè)備的方框圖。
圖2是示出了現(xiàn)有技術(shù)的解碼設(shè)備的方框圖。
圖3是示出了當(dāng)在本發(fā)明第一實(shí)施例中設(shè)置多個(gè)插值圖像存儲設(shè)備時(shí)的結(jié)構(gòu)的方框圖。
圖4是示出了當(dāng)在根據(jù)本發(fā)明的第一實(shí)施例中設(shè)置多個(gè)插值圖像存儲設(shè)備時(shí)的操作的流程圖。
圖5是示出了當(dāng)在根據(jù)本發(fā)明的第二實(shí)施例中設(shè)置一個(gè)插值圖像存儲設(shè)備時(shí)的結(jié)構(gòu)的方框圖。
圖6是示出了當(dāng)在根據(jù)本發(fā)明的第二實(shí)施例中設(shè)置一個(gè)插值圖像存儲設(shè)備時(shí)的操作的流程圖。
圖7是示出了當(dāng)在根據(jù)本發(fā)明的第三實(shí)施例中不設(shè)置插值圖像存儲設(shè)備時(shí)的結(jié)構(gòu)的方框圖。
圖8是示出了當(dāng)在根據(jù)本發(fā)明的第三實(shí)施例中設(shè)置多個(gè)插值圖像存儲設(shè)備時(shí)的操作的流程圖。
圖9是示出了當(dāng)在根據(jù)本發(fā)明的第四實(shí)施例中設(shè)置多個(gè)插值圖像存儲設(shè)備時(shí)的結(jié)構(gòu)的方框圖。
圖10是示出了當(dāng)在根據(jù)本發(fā)明的第四實(shí)施例中設(shè)置多個(gè)插值圖像存儲設(shè)備時(shí)的操作的流程圖。
圖11示出了插值小數(shù)點(diǎn)圖片元素的步驟。
圖12示出了無相移的插值小數(shù)點(diǎn)圖片元素的情況。
圖13示出了有相移的插值小數(shù)點(diǎn)圖片元素的情況。圖14示出了插值二分之一圖片元素的濾波器和插值四分之一圖片元素的濾波器之間的差別。
圖15示出了通過使用具有較寬帶寬的插值來保持邊緣。圖16示出了寬帶寬的濾波器如何還保留噪聲。圖17示出了一種信息處理系統(tǒng)的典型示意方框圖，其中實(shí)現(xiàn)了根據(jù)本發(fā)明的運(yùn)動圖片編碼/解碼設(shè)備。
具體實(shí)施例方式
接下來，將參考附圖，詳細(xì)描述本發(fā)明的實(shí)施例。圖3是示出了本發(fā)明第一實(shí)施例的結(jié)構(gòu)的方框圖。通過使用典型的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)該實(shí)施例，所述計(jì)算機(jī)系統(tǒng)包括控制設(shè)備、存儲設(shè)備和顯示設(shè)備。圖3只示出了實(shí)施例的主要組件。
實(shí)施例包括濾波器/插值圖像存儲設(shè)備101、運(yùn)動矢量/濾波器系數(shù)檢測器102和預(yù)測值產(chǎn)生器103。這些組件對應(yīng)于圖1所示的編碼方法的幀存儲器/運(yùn)動補(bǔ)償/運(yùn)動矢量檢測，并且除了這些以外的部件具有和圖1所示的編碼設(shè)備相同的構(gòu)成。因此，本發(fā)明的以下說明還參考圖1。
構(gòu)造本實(shí)施例，用于其中包括本實(shí)施例的計(jì)算機(jī)系統(tǒng)的主存儲器具有剩余空間并且能夠存儲多個(gè)插值圖像的情況。接下來，描述本發(fā)明的結(jié)構(gòu)和操作。
濾波器/插值圖像存儲設(shè)備101包括多個(gè)組，在每個(gè)組中，濾波器1011與插值圖像存儲設(shè)備1012相組合；以及幵關(guān)1013，接收作為輸入的每個(gè)組的插值圖像存儲設(shè)備1012的輸出，并且選擇性地將這些輸入中的任一個(gè)作為輸出提供給運(yùn)動矢量/濾波器檢測器102和預(yù)測值產(chǎn)生器103。
每個(gè)濾波器1011具有不同的濾波器特性，并且從作為輸入所接收的重構(gòu)圖像中產(chǎn)生小數(shù)點(diǎn)位置插入圖像，并將所產(chǎn)生的圖像存儲在插值圖像存儲設(shè)備1021中。
插值圖像存儲設(shè)備1021存儲從濾波器1011提供的插值圖像。當(dāng)采用以下結(jié)構(gòu)時(shí)單獨(dú)設(shè)置用于存儲重構(gòu)圖像的裝置并且必要時(shí)連續(xù)地讀取重構(gòu)圖像，可以由濾波器1011提供作為輸出的連續(xù)的計(jì)算結(jié)果，而無需設(shè)置插值圖像存儲設(shè)備1021。
運(yùn)動矢量/濾波器檢測器102包括運(yùn)動矢量檢測器1021和濾波器檢測器1022。配置該運(yùn)動矢量/濾波器檢測器102，從而使其能夠控制開關(guān)1013、檢測運(yùn)動矢量和提供最高編碼效率的濾波器的組合并且將所檢測到的運(yùn)動矢量和濾波器提供給預(yù)測值產(chǎn)生器103和可變長度編碼器13 (參考圖1)。
配置運(yùn)動矢量檢測器1021，以接收作為輸入的圖像并能夠操作開關(guān)1013，并且連續(xù)地切換開關(guān)1013，以便接收并參考存儲在每個(gè)插值圖像存儲設(shè)備1012中的每個(gè)插值圖像，從輸入圖像和參考的插值圖像中得到塊成本(下面進(jìn)行解釋)，并將運(yùn)動矢量和承擔(dān)最低塊成本的預(yù)測誤差提供給濾波器檢測器1022。預(yù)測誤差是輸入圖像和重構(gòu)圖像之間的差。
濾波器檢測器1022使用濾波器信息和存儲在每個(gè)插值圖像存儲設(shè)備1012和從運(yùn)動矢量檢測器1021中提供的每個(gè)插值圖像的運(yùn)動矢量與預(yù)測誤差，以得到編碼成本(下面進(jìn)行解釋)并檢測產(chǎn)生具有最低編碼成本的圖像的濾波器1011。濾波器檢測器1022還將所檢測到的濾波器與運(yùn)動矢量的組合提供給預(yù)測值產(chǎn)生器103和可變長度編碼器13。
還可以將運(yùn)動矢量檢測器1021和濾波器檢測器1022實(shí)現(xiàn)為單個(gè)的單元，并對其進(jìn)行配置，以便檢測獲得最低塊成本和編碼成本的運(yùn)動矢量和濾波器的組合。
與運(yùn)動矢量檢測器1021相類似，配置預(yù)測值產(chǎn)生器103，以使其能夠操作開關(guān)1013并使用從運(yùn)動矢量/濾波器檢測器102提供的運(yùn)動矢量和濾波器以產(chǎn)生預(yù)測值。更具體地，預(yù)測值產(chǎn)生器103通過切換開關(guān)1013來參考與濾波器相對應(yīng)的插值圖像，并使用運(yùn)動矢量，以便從插值圖像中讀取預(yù)測值。還向運(yùn)動矢量/濾波器檢測器102提供了存儲預(yù)測值的能力，并且向運(yùn)動矢量/濾波器檢測器配置了直接產(chǎn)生預(yù)測值的能力。
參考圖4，對本實(shí)施例的操作進(jìn)行解釋。圖4是示出了本實(shí)施例的操作的流程圖。
在步驟SlOl，將濾波器/插值圖像存儲設(shè)備101用于在重構(gòu)圖像 中產(chǎn)生多個(gè)小數(shù)點(diǎn)位置插值圖像并存儲多個(gè)插值圖像。
如果構(gòu)成圖像的圖片元素是x(i ， j)，圖像大小是WXH，且插值 濾波器系數(shù)是(fl, G, f3和f4)，則利用以下方程對位于x(i , j)和x(i + 1 ,j)之間的二分之一圖像單元進(jìn)行插值
x(i+l/2, j) = (fl X x(i-l,j) +f2 X x(i,j)十f3 X x(i+l，j)+ f4 X
x(i+2,j))/^y; …[方程i]
通過將方程i應(yīng)用于圖像的水平方向和垂直方向來完成二分之一
圖片元素的插值。二分之一小數(shù)點(diǎn)位置插值圖像的大小是4X WXH。 通過重復(fù)上述處理來獲得四分之一圖片元素和八分之一圖片元素，插 值圖像的大小分別是16XWXH和64XWXH。
當(dāng)插值1/n圖片元素時(shí)，可以將根據(jù)插值精度和小數(shù)點(diǎn)圖片元素 位置的典型濾波器用于直接插值。
在隨后的步驟S102，將運(yùn)動矢量/濾波器檢測器102用于從在步 驟S101中獲得的插值圖像中得到針對每個(gè)插值圖像獲得最低塊成本 的運(yùn)動矢量和預(yù)測誤差的組合。
通過運(yùn)動矢量檢測器1021來計(jì)算塊成本，并由以下方程表示
Block cost = 2|s(i, j) - r(i - vx， j - vy) + 5 x VF(vx - px， vy - py)|
...[方程2]
其中構(gòu)成輸入圖像的圖片元素是s(i,j)，構(gòu)成插值重構(gòu)圖像的圖片 元素是r(i,j)，塊大小是MXN，運(yùn)動矢量是(vx,vy)，運(yùn)動矢量的預(yù) 測是(px,py)，用于得到矢量編碼量的函數(shù)是VF (x，y)， 3是矢量編 碼量的加權(quán)參數(shù)。
接下來，在步驟S103，濾波器檢測器1022使用在步驟S102所獲
得的運(yùn)動矢量和預(yù)測誤差的組合和指定了插值圖像的濾波器系數(shù)來得 到編碼成本。由以下方程給出與該濾波器系數(shù)相對應(yīng)的編碼成本 Encode costcoeffi=Ecoeffl+ 3 x VF(vx — px, vy — py)咖fn + F(coeff /)[方程3-l]
其中E是預(yù)測誤差的編碼量，coeffl是濾波器系數(shù)，以及F(coeff) 是用于得到濾波器系數(shù)的編碼量的函數(shù)。
當(dāng)減小得到預(yù)測誤差編碼量所需的計(jì)算量時(shí)，該量是方程3 — 1 中的第一項(xiàng)，編碼成本可以重新使用塊成本-
Encode costcoeffl=Block costc。effi+F(coej;fl) …[方禾呈3-2]
當(dāng)在具有大小P的塊中切換濾波器時(shí)，(幀也是塊組)，由下列方 程給出濾波器系數(shù)coeff 1的編碼成本
Encode costcoeffi=j](Blockcostc。eff](k))+ …[方禾呈3-3]
在計(jì)算塊成本時(shí)，明顯可以使用預(yù)測誤差的編碼量。然而，當(dāng)在 塊組的單元中切換濾波器系數(shù)時(shí)，必須將預(yù)測誤差和塊成本與用于多
個(gè)塊的運(yùn)動矢量一起存儲，并且使濾波器檢測器1022具有存儲該信息 的能力。
接下來，在步驟S104，將獲得最低編碼成本并在步驟S103中得 到的濾波器系數(shù)和運(yùn)動矢量的組合提供給可變長度編碼器13和預(yù)測 值產(chǎn)生器103。
在步驟S105，預(yù)測值產(chǎn)生器103使用在步驟S104中獲得的濾波 器系數(shù)和運(yùn)動矢量來產(chǎn)生預(yù)測值。在預(yù)測值的產(chǎn)生中，預(yù)測值產(chǎn)生器 103根據(jù)濾波器系數(shù)來切換開關(guān)1013，從而選擇參考的插值圖像并使 用運(yùn)動矢量以讀取并產(chǎn)生預(yù)測值。
盡管在上述步驟中描述了預(yù)先己經(jīng)得知的選擇濾波器系數(shù)的方 法，不言而喻，該方法能夠容易地與用于估計(jì)濾波器系數(shù)的算法相結(jié)
合o
第二實(shí)施例
接下來，對本發(fā)明的第二實(shí)施例進(jìn)行解釋。構(gòu)造第二實(shí)施例，用于 其中包括本實(shí)施例的計(jì)算機(jī)系統(tǒng)的主存儲器沒有剩余空間并且不能存 儲多個(gè)插值圖像的的情況。下面描述本實(shí)施例的配置和操作。
圖5是示出了本發(fā)明的第二實(shí)施例的主要配置的方框圖。 本實(shí)施例配備有濾波器/插值圖像存儲設(shè)備101b、運(yùn)動矢量/濾波器系數(shù)檢測器102b和預(yù)測值產(chǎn)生器103b。與圖3所示的實(shí)施例的構(gòu)成 部件相比較，濾波器/插值圖像存儲設(shè)備101b執(zhí)行與濾波器/插值圖像 存儲設(shè)備101相同的操作；運(yùn)動矢量/濾波器系數(shù)檢測器102b執(zhí)行與 運(yùn)動矢量/濾波器系數(shù)檢測器102相同的操作；并且預(yù)測值產(chǎn)生器103b 執(zhí)行與預(yù)測值產(chǎn)生器103相同的操作。至于這些部件之間的不同點(diǎn)， 只設(shè)置了一組構(gòu)成部分濾波器/插值圖像存儲設(shè)備102b的濾波器 1011b和插值圖像存儲設(shè)備1012b;并且運(yùn)動矢量/濾波器檢測器102b 和預(yù)測值產(chǎn)生器103b配備有用于更新濾波器系數(shù)的單一線路。此外， 由于此配置只包含一組濾波器1011b和插值圖像存儲設(shè)備1012b，因 此沒有設(shè)置開關(guān)1013。
圖6是示出了圖5所示實(shí)施例的操作的流程圖。
圖6所示的流程圖由步驟S101b到107b構(gòu)成，當(dāng)與圖4所示的第 一實(shí)施例的流程圖相比較時(shí)，分別在步驟S101b和步驟SlOl、步驟 S102b和步驟S102、步驟S103b和步驟S103、步驟S104b和步驟S104、 步驟S105b和步驟S101以及步驟S106b和步驟S105執(zhí)行相同的操作。
本實(shí)施例的操作和第一實(shí)施例的操作之間的主要不同點(diǎn)在于在步 驟S101b中執(zhí)行了的濾波器和運(yùn)動矢量的最優(yōu)組合的檢測，同時(shí)在小 數(shù)點(diǎn)圖片元素插值中重寫存儲在插值圖像存儲設(shè)備1012b中的插值圖 像；在步驟S102b中執(zhí)行的運(yùn)動矢量檢測；以及在步驟S103b中執(zhí)行 的成本比較。此外，在步驟S104b之后，檢查預(yù)測值產(chǎn)生器103b希 望參考的插值圖像是否存儲在插值圖像存儲設(shè)備1012b中，并且如果 插值圖像沒有存儲在插值圖像存儲設(shè)備1012b中，則再次在步驟S105b 中執(zhí)行小數(shù)點(diǎn)圖片元素插值，之后在步驟S106b中產(chǎn)生預(yù)測值。
當(dāng)主存儲器中沒有剩余空間時(shí)，本實(shí)施例的配置是有效的。然而， 當(dāng)所希望的插值圖像沒有保留在插值圖像存儲設(shè)備1012b中時(shí)，必須 通過濾波器再次產(chǎn)生插值圖像，這導(dǎo)致與第一實(shí)施例相比時(shí)，造成計(jì) 算量的增大。 第三實(shí)施例
下面的說明有關(guān)本發(fā)明的第三實(shí)施例。構(gòu)造本實(shí)施例，用于其中在 解碼時(shí)包括本實(shí)施例的計(jì)算機(jī)系統(tǒng)的主存儲器沒有剩余空間并且不能存儲小數(shù)點(diǎn)位置插值圖像的情況。下面描述本實(shí)施例的配置和操作。 圖7是示出了本實(shí)施例的主要配置的方框圖。本實(shí)施例包括濾波器
切換設(shè)備201和預(yù)測值產(chǎn)生器202。這些單元對應(yīng)于圖1所示編碼系 統(tǒng)的幀存儲器/運(yùn)動補(bǔ)償器/運(yùn)動矢量檢測，并且除這些之外的構(gòu)成部 件與圖l所示的編碼器具有相同的結(jié)構(gòu)。因此，本實(shí)施例的以下解釋 仍然參考圖1。
濾波器切換設(shè)備201根據(jù)從可變長度解碼所提供的濾波器系數(shù)信 息來切換預(yù)測值產(chǎn)生器202的濾波器系數(shù)。
預(yù)測值產(chǎn)生器202包括整數(shù)圖片元素讀取設(shè)備202K濾波器2022 和預(yù)測值讀取設(shè)備2023。預(yù)測值產(chǎn)生器202使用從可變長度解碼所提 供的運(yùn)動矢量來從重構(gòu)圖像中讀取整數(shù)圖片元素并執(zhí)行濾波，以產(chǎn)生 預(yù)測值。
整數(shù)圖片元素讀取設(shè)備2021使用從可變長度解碼所提供的運(yùn)動矢 量來從重構(gòu)圖像中讀取包括預(yù)測值的整數(shù)圖片元素。將所讀取的整數(shù) 圖片元素提供給濾波器2022。
濾波器2022使用由濾波器切換設(shè)備201切換的濾波器系數(shù)來插值 從整數(shù)圖片元素讀取設(shè)備2021提供的整數(shù)圖片元素中的小數(shù)點(diǎn)圖片 元素。很明顯，可以利用從可變長度解碼提供的濾波器系數(shù)信息來直 接切換濾波器系數(shù)。
預(yù)測值讀取設(shè)備2023從濾波器2022所提供的插值圖片元素和從可
變長度解碼所提供的運(yùn)動矢量來讀取預(yù)測值塊。
圖8是示出了圖7所示實(shí)施例的操作的流程圖。
在步驟S201，整數(shù)圖片元素讀取設(shè)備2021使用從可變長度解碼所 提供的運(yùn)動矢量來從重構(gòu)圖像中讀取整數(shù)圖片元素塊。
在步驟S202，濾波器切換設(shè)備201使用從可變長度解碼所提供的 濾波器系數(shù)信息來切換濾波器2022的濾波器系數(shù)。
在步驟S203,濾波器2022使用在步驟S202所切換的濾波器系數(shù) 來執(zhí)行整數(shù)圖片元素讀取設(shè)備2021所提供的整數(shù)圖片元素中的小數(shù) 點(diǎn)圖片元素插值。
在步驟S204，預(yù)測值讀取設(shè)備2023使用從可變長度解碼所提供的運(yùn)動矢量來從在步驟S203所獲得的插值圖像中讀取預(yù)測值。
第四實(shí)施例
下面的說明有關(guān)本發(fā)明的第四實(shí)施例。構(gòu)造本實(shí)施例，用于其中包 括本實(shí)施例的計(jì)算機(jī)系統(tǒng)的主存儲器有剩余空間并且能夠存儲多個(gè)小 數(shù)點(diǎn)位置插值圖像的情況。下面描述本實(shí)施例的配置和操作。
圖9是示出了本發(fā)明第四實(shí)施例的主要配置的方框圖。
如圖9所示，本實(shí)施例包括選擇插值圖像切換設(shè)備201b和預(yù)測值 產(chǎn)生器202b。選擇插值圖像切換設(shè)備201b使用從可變長度解碼所提 供的濾波器系數(shù)信息來切換預(yù)測值產(chǎn)生器202b所參考的插值圖像。
預(yù)測值產(chǎn)生器202b包括多組濾波器2021b和插值圖像存儲設(shè)備 2022b以及預(yù)測值讀取設(shè)備2023b。
濾波器2021b和插值圖像存儲設(shè)備2022b執(zhí)行濾波器計(jì)算并存儲小 數(shù)點(diǎn)圖片元素插值圖像。預(yù)測值讀取設(shè)備2023b參考由選擇插值圖像 切換設(shè)備201b所選擇的插值圖像，并使用從可變長度解碼所提供的運(yùn) 動矢量，以便讀取預(yù)測值。
圖10是示出了圖9所示的實(shí)施例的操作的流程圖。
在步驟S201b中，從重構(gòu)圖像中產(chǎn)生多個(gè)小數(shù)點(diǎn)位置插值圖像并 通過多組濾波器2021b和插值圖像存儲設(shè)備2022b將其存儲。
在步驟S202b，選擇插值圖像切換設(shè)備201b使用從可變長度解碼 所提供的濾波器系數(shù)信息來選擇預(yù)測值讀取設(shè)備2023b所參考的插值 圖像。
在步驟S203b中，預(yù)測值讀取設(shè)備2023b通過使用從可變長度解 碼所提供的運(yùn)動矢量和已經(jīng)存儲在插值圖像存儲設(shè)備2022b并由選擇 插值圖像切換設(shè)備201b所選擇的插值圖像來讀取預(yù)測值。
上述配置不需要在區(qū)域、塊或圖片元素單元中進(jìn)行小數(shù)點(diǎn)位置插值 圖像濾波器的切換，結(jié)果，在不希望濾波器系數(shù)切換的開銷的情況下， 此外，在主存儲器具有較大容量的情況下，處理器的構(gòu)造是有效的。 第五實(shí)施例
下面的說明有關(guān)本發(fā)明的第五實(shí)施例。本實(shí)施例的主要結(jié)構(gòu)與圖3 所示的第一實(shí)施例或圖5所示的第二實(shí)施例的結(jié)構(gòu)相同，因此省略針對本實(shí)施例的圖。
與在第一或第二實(shí)施例中在濾波器1011和1011b中使用的濾波器 系數(shù)相同，本實(shí)施例使用了至少具有不同相位的多個(gè)濾波器系數(shù)，并 且本實(shí)施例的操作與第一實(shí)施例或第二實(shí)施例的操作相類似。
關(guān)于本實(shí)施例的效果，首先解釋有關(guān)通過濾波器的相移所獲得的效果。
首先，解釋有關(guān)在現(xiàn)有技術(shù)中執(zhí)行的四分之一圖片元素插值的操 作。如圖ll所示，通過兩級處理來執(zhí)行小數(shù)點(diǎn)圖片元素插值，其中利 用使用了濾波器1的第一級處理來從整數(shù)圖片元素中產(chǎn)生二分之一圖 片元素，以及利用使用了濾波器2的第二級處理來從二分之一圖片元 素中產(chǎn)生四分之一圖片元素。
如圖12 (a)到(c)所示，通過上述兩級處理來重復(fù)中間位置插 值。插值在水平方向上對準(zhǔn)的整數(shù)圖片元素之間的空間內(nèi)生成了三個(gè) 小數(shù)點(diǎn)圖片元素。
如圖13 (a)到(c)所示，只將第一級插值濾波器向右移動四分 之一導(dǎo)致明顯的四分之一的增加，而在第二級插值中生成1/8和5/8 圖片元素。此外，如圖13 (d)到(f)所示，在第二級插值中向左移 動四分之一能夠生成3/8和7/8圖片元素。
如前所述，即使在明顯具有四分之一圖片元素精度的運(yùn)動補(bǔ)償中， 將濾波器向右或向左移動四分之一使得在整數(shù)圖片元素之間插值以呈 現(xiàn)八分之一的值的三個(gè)小數(shù)點(diǎn)圖片元素增加。當(dāng)然，明顯地，根據(jù)相 移的方法，小數(shù)點(diǎn)圖片元素可以呈現(xiàn)十六分之一或三十二分之一的值 的增加。
以下說明有關(guān)在本實(shí)施例中使用的相移的方法。
圖14 (a)和14 (b)示出了插值1/2圖片元素的濾波器和插值1/4 圖片元素的濾波器的濾波器系數(shù)。
在每個(gè)圖中，虛線表示理想濾波器，而實(shí)線表示其中將虛線移動 1/2或1/4圖片元素的濾波器。在圖14 (a)所示的實(shí)例中，示出了用 于得到1/2圖片元素位置的圖片元素值的濾波器系數(shù)，并且通過將理 想濾波器移動1/2來獲得該濾波器系數(shù)(a， b， c， d， a)。利用以下方程得到1/2位置圖片元素值P (1/2):<formula>formula see original document page 16</formula>
其中P (i)是圖片元素值。
在圖14 (b)所示的實(shí)例中，示出了用于得到1/4圖片元素位置的 圖片元素值的濾波器系數(shù)，并且通過將理想濾波器移動1/4來獲得該 濾波器系數(shù)(d， e， f， g， h， i)。利用以下方程得到1/4位置的圖片 元素值P (1/4):
<formula>formula see original document page 16</formula>
為了將插值小數(shù)點(diǎn)位置1/4的圖片元素向右移動，替代了在1/2 位置處插值1/2圖片元素的濾波器A，在相同的1/2位置處使用插值 1/4圖片元素的濾波器B。換句話說，切換濾波器系數(shù)使得能夠通過相 位進(jìn)行控制。
本實(shí)施例中的每個(gè)濾波器1011或1011b具有如上所述的不同相位 的濾波器系數(shù)，并且這些用于插值的濾波器的使用不僅獲得了第一或 第二實(shí)施例的效果，并且能夠得到準(zhǔn)確精度的運(yùn)動補(bǔ)償并提高了編碼 效率。
第六實(shí)施例
接下來，解釋有關(guān)本發(fā)明的第六實(shí)施例。本實(shí)施例的主要結(jié)構(gòu) 與圖7所示的第三實(shí)施例或圖9所示的第四實(shí)施例的結(jié)構(gòu)相同，因此 省略針對本實(shí)施例的圖。
本實(shí)施例的特征在于使用了具有至少不同相位的多個(gè)濾波器系數(shù) 作為在第三或第四實(shí)施例中用在濾波器2022和2021b中的濾波器系 數(shù)，并且本實(shí)施例的操作與第三實(shí)施例或第四實(shí)施例的操作相類似。
此外，不同相位的濾波器與在第五實(shí)施例中所示的濾波器相同，因 此這里省略對其的具體描述。
本實(shí)施例不僅實(shí)現(xiàn)了第三或第四實(shí)施例的效果，而且實(shí)現(xiàn)了準(zhǔn)確精 度的運(yùn)動補(bǔ)償并提高了編碼效率。 第七實(shí)施例200910206099 與圖3所示的第一實(shí)施例或圖5所示的第二實(shí)施例的結(jié)構(gòu)相同，因此 省略針對本實(shí)施例的圖。
本實(shí)施例的特征在于使用了中具有至少不同帶寬的濾波器系數(shù)的
濾波器作為第一或第二實(shí)施例中的濾波器1011和1011b，并且本實(shí)施
例的操作與第一實(shí)施例或第二實(shí)施例的操作相類似。 關(guān)于本實(shí)施例的效果，首先解釋通過改變?yōu)V波器帶寬所獲得的效果。
圖15示出了使用寬帶寬濾波器來插值小數(shù)點(diǎn)圖片元素的情況以及
使用窄帶寬濾波器來插值小數(shù)點(diǎn)圖片元素的情況。
從圖15 (a)的圖像中，通過使用圖15 (b)所示的具有寬帶寬幅 度特性的濾波器和具有窄帶寬幅度特性的濾波器來獲得圖15 (c)和 15 (d)所示的插值圖像。從圖15 (c)中，可以看出，利用寬帶寬濾 波器來插值小數(shù)點(diǎn)圖片元素能夠保留邊緣信息。寬帶寬濾波器的使用 在具有多個(gè)邊緣，即具有多個(gè)高頻分量的圖像中保持了邊緣信息，并 提高了運(yùn)動補(bǔ)償?shù)男Ч?br> 但是，當(dāng)以較低的比特率頻繁地產(chǎn)生作為偽邊緣的量化噪聲時(shí)，使 用寬帶寬濾波器以插值小數(shù)點(diǎn)圖片元素還保留了噪聲。圖16 (a)到 (d)示出了這些保留狀態(tài)的實(shí)例，由此退化了運(yùn)動補(bǔ)償?shù)男Ч?。結(jié)果， 按照較低的比特率，在小數(shù)點(diǎn)圖片元素插值中使用窄帶寬濾波器系數(shù) 能夠提高編碼效率。
接下來，解釋其中修改帶寬以用于保持小數(shù)點(diǎn)圖片元素的方法。
假設(shè)圖15和圖16所示的寬帶寬濾波器的系數(shù)是A而窄帶寬濾波 器的系數(shù)是B，將濾波器系數(shù)從A切換到B使得能夠利用窄帶寬濾波 器來進(jìn)行小數(shù)插值，而將濾波器系數(shù)從B切換到A使得能夠利用寬帶 寬濾波器來進(jìn)行小數(shù)插值。
換句話說，通過切換與每個(gè)帶寬特性相對應(yīng)的濾波器系數(shù)然后進(jìn)行 插值，能夠修改用于保留小數(shù)點(diǎn)圖片元素的帶寬。 第八實(shí)施例
接下來，說明本發(fā)明的第八實(shí)施例。本實(shí)施例的主要結(jié)構(gòu)與圖7所示的第三實(shí)施例或圖9所示的第四實(shí)施例的結(jié)構(gòu)相同，因此省略針 對本實(shí)施例的圖。
本實(shí)施例的特征在于使用了具有至少不同帶寬的濾波器系數(shù)的濾
波器作為第三或第四實(shí)施例中的濾波器1022和1022b，并且本實(shí)施例 的操作與第三實(shí)施例或第四實(shí)施例的操作相同。此外，不同帶寬的濾 波器與第七實(shí)施例所示的濾波器相同，因此省略詳細(xì)的解釋。
本實(shí)施例不僅能夠獲得第三或第四實(shí)施例的效果，而且能夠修改用 于保留小數(shù)點(diǎn)圖片元素的帶寬。
圖17是示出了一種信息處理系統(tǒng)的實(shí)例的示意結(jié)構(gòu)的方框圖，其 中實(shí)現(xiàn)了根據(jù)本發(fā)明的運(yùn)動圖片編碼/解碼設(shè)備。
從以上解釋應(yīng)該清楚，可以通過硬件來構(gòu)成根據(jù)本發(fā)明的運(yùn)動圖片 編碼/解碼設(shè)備，或通過計(jì)算機(jī)程序來實(shí)現(xiàn)。
圖17所示的信息處理系統(tǒng)包括處理器301、程序存儲器302和存 儲介質(zhì)303和304。存儲介質(zhì)303和304可以是分離的存儲介質(zhì)，或 是由相同存儲介質(zhì)構(gòu)成的存儲區(qū)域。存儲介質(zhì)可以使用諸如硬盤的磁 存儲介質(zhì)。
本發(fā)明能夠通過根據(jù)比特率或運(yùn)動圖片的本質(zhì)來切換用于小數(shù)點(diǎn) 位置插值的濾波器系數(shù)來提高運(yùn)動圖片的編碼效率。該濾波器系數(shù)的 切換包括濾波器選擇和估計(jì)。濾波器選擇指預(yù)先準(zhǔn)備的具有不同帶寬 的濾波器系數(shù)和相位，以及然后從所準(zhǔn)備的濾波器系數(shù)中選擇的最優(yōu) 濾波器系數(shù)。另一方面，例如，濾波器估計(jì)指利用自適應(yīng)算法和所計(jì) 算的濾波器系數(shù)來計(jì)算濾波器系數(shù)，然后將其用于切換。
控制濾波器相位能夠進(jìn)行準(zhǔn)確精度的運(yùn)動補(bǔ)償并提高編碼效率；同 時(shí)控制濾波器帶寬能夠在圖像的高頻區(qū)域分量和量化噪聲上進(jìn)行控 制，由此能夠增加運(yùn)動補(bǔ)償?shù)男Ч⑻岣呔幋a效率。
此外，通過大于圖像塊單元的單元來切換濾波器系數(shù)不會改變?yōu)V 波的計(jì)算負(fù)擔(dān)，并且由于切換，還導(dǎo)致較低的計(jì)算負(fù)擔(dān)開銷，因此， 用于解碼的計(jì)算負(fù)擔(dān)增大也較低。
權(quán)利要求
1.一種運(yùn)動圖片編碼方法，包括步驟利用多個(gè)濾波器來對由小數(shù)精度的運(yùn)動矢量表示的參考圖像的小數(shù)位置的多個(gè)圖像進(jìn)行插值；基于所述插值參考圖像和輸入圖像檢測其編碼效率最高的濾波器組以及運(yùn)動矢量；使用與檢測的濾波器和檢測的運(yùn)動矢量的小數(shù)位置對應(yīng)的參考圖像來預(yù)測小數(shù)精度的運(yùn)動補(bǔ)償；以及對檢測的濾波器和運(yùn)動矢量信息進(jìn)行可變長度編碼，其中在插值步驟中，所述濾波器的相位的小數(shù)精度與運(yùn)動矢量的小數(shù)精度不同。
2. —種運(yùn)動圖片解碼方法，包括步驟根據(jù)作為輸入接收的濾 波器信息對由小數(shù)精度的運(yùn)動矢量表示的參考圖像的小數(shù)位置進(jìn)行插 值的濾波器；以及根據(jù)作為輸入接收的運(yùn)動矢量信息以及選擇的濾波 器來預(yù)測小數(shù)精度的運(yùn)動補(bǔ)償；其中在選擇濾波器步驟中，選擇候選濾波器的相位彼此不相同。
3. 根據(jù)權(quán)利要求2的運(yùn)動圖片解碼方法，其中所述濾波器的相 位的小數(shù)精度與運(yùn)動矢量的小數(shù)精度不同。
4. 一種運(yùn)動圖片編碼設(shè)備，包括裝置，用于利用多個(gè)濾波器 來對由小數(shù)精度的運(yùn)動矢量表示的參考圖像的小數(shù)位置的多個(gè)圖像進(jìn) 行插值；裝置，用于基于經(jīng)過了插值處理的所述參考圖像和輸入圖像 檢測其編碼效率最高的運(yùn)動矢量和濾波器組；裝置，用于使用與檢測 的濾波器和檢測的運(yùn)動矢量的小數(shù)位置對應(yīng)的參考圖像來預(yù)測小數(shù)精 度的運(yùn)動補(bǔ)償；以及裝置，用于對檢測的濾波器和運(yùn)動矢量信息進(jìn)行 可變長度編碼，其中在插值裝置中，所述濾波器的相位的小數(shù)精度與運(yùn)動矢量的小數(shù) 精度不同。
5. —種運(yùn)動圖片解碼設(shè)備，包括裝置，用于選擇根據(jù)作為輸入接收的濾波器信息對由小數(shù)精度的運(yùn)動矢量表示的參考圖像的小數(shù)位置進(jìn)行插值的濾波器；以及裝置，用于根據(jù)作為輸入接收的運(yùn)動矢量信息以及選擇的濾波器來預(yù)測小數(shù)精度的運(yùn)動補(bǔ)償；其中包括裝置，用于選擇針對選擇候選濾波器的每個(gè)相位不同的濾波器。
6.根據(jù)權(quán)利要求5的運(yùn)動圖片解碼設(shè)備，其中在用于選擇濾波器的裝置中，所述濾波器的相位的小數(shù)精度與運(yùn)動矢量的小數(shù)精度不 同。
全文摘要
本發(fā)明尋求提供一種現(xiàn)有技術(shù)的編碼方法中的運(yùn)動補(bǔ)償問題的解決方案，所述編碼方法包含利用固定濾波器的小數(shù)點(diǎn)圖片元素插值，因此不能實(shí)現(xiàn)根據(jù)運(yùn)動圖片本質(zhì)和比特率的小數(shù)點(diǎn)圖片元素的插值。濾波器/插值圖像存儲器(101)利用多個(gè)濾波器組來在參考圖像中插值小數(shù)點(diǎn)位置的圖片元素，運(yùn)動矢量/濾波器檢測器(102)檢測濾波器與實(shí)現(xiàn)了最高編碼效率的運(yùn)動矢量的組合，預(yù)測值產(chǎn)生器(103)使用所檢測到的濾波器和運(yùn)動矢量組合以產(chǎn)生預(yù)測值，運(yùn)動矢量/濾波器檢測器(102)提供運(yùn)動矢量的信息和所產(chǎn)生預(yù)測值的濾波器的信息，作為輸出；由此，能夠?qū)崿F(xiàn)與運(yùn)動圖片的本質(zhì)和比特率相對應(yīng)的小數(shù)點(diǎn)圖片元素插值，并且能夠提高運(yùn)動圖片的編碼效率。
文檔編號G06T9/00GK101686396SQ200910206099
公開日2010年3月31日 申請日期2003年4月16日 優(yōu)先權(quán)日2002年4月24日
發(fā)明者蝶野慶一 申請人:日本電氣株式會社