專利名稱：編碼裝置、解碼裝置及數(shù)據(jù)結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對運動圖像進行編碼并生成編碼數(shù)據(jù)的運動圖像編碼裝置。另外，涉及對利用這種運動圖像編碼裝置所生成的編碼數(shù)據(jù)進行解碼的運動圖像解碼裝置。
背景技術(shù)：
為了有效地傳送或記錄運動圖像，采用了運動圖像編碼裝置。作為具體的運動圖像編碼方式，例如舉出H. 264/MPEG-4AVC、以及VCEG(視頻編碼專家組)中的共同開發(fā)用編解碼器即KTA軟件所采用的方式等。在這種編碼方式中，構(gòu)成運動圖像的圖像(圖片)利用由通過分割圖像而得到的切片、通過分割切片而得到的宏塊、以及通過分割宏塊而得到的塊構(gòu)成的層級結(jié)構(gòu)進行管·理，通常按塊進行編碼。另外，在這種編碼方式中，采用了對輸入圖像與預(yù)測圖像之差(預(yù)測誤差)進行編碼的方式。即、(I)根據(jù)輸入圖像和通過量化/逆量化輸入圖像而得到的局部解碼圖像來算出運動矢量；(2)通過利用該運動矢量進行運動補償而生成預(yù)測圖像；(3)對該預(yù)測圖像與輸入圖像的預(yù)測誤差進行編碼。在專利文獻I中公開了下述針對參考圖像的自適應(yīng)濾波方法根據(jù)輸入圖像和局部解碼圖像來求出第I運動矢量，以利用第I運動矢量對濾波局部解碼圖像而得到的參考圖像進行運動補償所獲得的圖像與輸入圖像之間的誤差最小的方式，生成作用于局部解碼圖像的濾波器，由該濾波器對上述局部解碼圖像進行濾波來生成上述參考圖像，根據(jù)輸入圖像和上述參考圖像來求出第2運動矢量，利用第2運動矢量對參考圖像進行運動補償而生成預(yù)測圖像。根據(jù)該方法，因為能夠以利用第I運動矢量對參考圖像進行運動補償而得到的圖像與輸入圖像之間的誤差最小的方式生成自適應(yīng)濾波器，所以較之僅采用固定濾波器的情況，存在預(yù)測圖像與輸入圖像之間的預(yù)測誤差變小的趨勢?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I :日本公開專利公報“特開2006-135376(2006年5月25日公開)”

發(fā)明內(nèi)容
發(fā)明要解決的技術(shù)問題然而，在上述方法中，由于相對于上述局部解碼圖像整體而生成濾波器，因而具有在上述局部解碼圖像的各區(qū)域中的圖像的特性不均勻的情況下難以進行適當濾波的技術(shù)問題。本發(fā)明是鑒于上述技術(shù)問題而提出的，其目的在于實現(xiàn)具備有即便在上述局部解碼圖像的各區(qū)域中的圖像的特性不均勻的情況下也能進行適當濾波的濾波器的編碼裝置。為解決技術(shù)問題而采用的技術(shù)方案
為了解決上述技術(shù)問題，本發(fā)明涉及的編碼裝置其特征在于具備第I濾波器，其作用于通過編碼并重構(gòu)輸入圖像而得到的參考圖像；第I預(yù)測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預(yù)測圖像；第2濾波器，其作用于上述參考圖像;第2預(yù)測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像；分割単元，其將上述第I預(yù)測圖像和上述輸入圖像分割成多個區(qū)域；和濾波器系數(shù)設(shè)定單元，其以按每個上述區(qū)域使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式，來設(shè)定上述第2濾波器的濾波器系數(shù)，所述編碼裝置對上述輸入圖像與上述第2預(yù)測圖像的殘差數(shù)據(jù)進行編碼。根據(jù)如上述構(gòu)成的本發(fā)明涉及的編碼裝置，由于具備將上述第I預(yù)測圖像和上述輸入圖像分割成多個區(qū)域的分割単元、和以按每個上述區(qū)域使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式設(shè)定上述第2濾波器的濾波器系數(shù)的濾波器系數(shù)設(shè)定單元，因而即便在上述第I預(yù)測圖像的特性不均勻的情況下，也能按上述多個區(qū)域的每個區(qū)域自適應(yīng)地設(shè)定上述第2濾波器的濾波器系數(shù)。換言之，即便在上述第I預(yù)測圖像的參考源即上述參考圖像(局部解碼圖像)的特性不均勻的情況下，通過按上述多個區(qū)域的每個區(qū)域自適應(yīng)地設(shè)定上述第2濾波器的濾波器系數(shù)，也可起到能進行適當濾波的效果。另外，本發(fā)明涉及的另ー種編碼裝置是具備第I濾波器、第I預(yù)測單元、第2濾波器和第2預(yù)測單元的編碼裝置，其中上述第I濾波器作用于通過編碼并重構(gòu)輸入圖像而得到的多個參考圖像，上述第I預(yù)測單元通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預(yù)測圖像，上述第2濾波器作用于上述多個參考圖像，上述第2預(yù)測單元通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像，所述編碼裝置對上述輸入圖像與上述第2預(yù)測圖像的殘差數(shù)據(jù)進行編碼，上述編碼裝置的特征在于，上述第2濾波器在上述多個參考圖像之中的、屬于第I參考圖像列表的參考圖像對上述第I預(yù)測圖像作出貢獻的權(quán)重為預(yù)先確定的權(quán)重以上的情況下，針對屬于該第I參考圖像列表的參考圖像，利用以使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式設(shè)定出的濾波器系數(shù)來進行濾波，在上述第2濾波器在上述多個參考圖像之中的、屬于第I參考圖像列表的參考圖像對上述第I預(yù)測圖像作出貢獻的權(quán)重小于預(yù)先確定的權(quán)重的情況下，針對屬于不同于第I參考圖像列表的第2參考圖像列表的參考圖像而利用預(yù)先確定的濾波器系數(shù)來進行濾波。一般地，參考圖像的、對預(yù)測圖像作出貢獻的權(quán)重越小，對該參考圖像進行自適應(yīng)濾波的優(yōu)點越少。換言之，參考圖像對預(yù)測圖像作出貢獻的權(quán)重越小，因進行自適應(yīng)濾波而引起的計算成本以及濾波器系數(shù)所需的碼量的増大這ー缺點超過因自適應(yīng)濾波而帶來的編碼效率的提高這ー優(yōu)點的可能性變高。根據(jù)上述構(gòu)成，因為能夠僅關(guān)于對上述第I預(yù)測圖像作出貢獻的權(quán)重為預(yù)先確定的權(quán)重以上的參考圖像來進行自適應(yīng)濾波，關(guān)于對上述第I預(yù)測圖像作出貢獻的權(quán)重小于預(yù)先確定的權(quán)重的參考圖像，利用預(yù)先確定的濾波器系數(shù)來進行濾波，由此起到在不會導(dǎo)致計算成本増大這ー缺點的情況下能夠進行適當濾波的效果。
另外，根據(jù)上述構(gòu)成，能夠在上述多個參考圖像之中的、屬于第I參考圖像列表的參考圖像對上述第I預(yù)測圖像作出貢獻的權(quán)重小于預(yù)先確定的權(quán)重的情況下，針對屬于第2參考圖像列表的參考圖像而利用預(yù)先確定的濾波器系數(shù)來進行濾波。因此，能夠?qū)⒖剂斜砭幪栕鳛橄率鰳酥景l(fā)揮功能，該標志表示利用自適應(yīng)地求出的濾波器系數(shù)或者利用非自適應(yīng)濾波器系數(shù)。因此，根據(jù)上述構(gòu)成，可起到能夠在利用追加的輔助信息而不增大碼量的情況下進行更適當?shù)臑V波的效果。另外，本發(fā)明涉及的解碼裝置，對通過將原圖像與預(yù)測圖像的殘差數(shù)據(jù)、與濾波器系數(shù)組一起編碼而得到的編碼數(shù)據(jù)進行解碼，上述解碼裝置的特征在于具備濾波器単元，其是針對基于通過解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器単元，即能夠按上述參考圖像的每個單位區(qū)域來切換濾波器系數(shù)的濾波器単元；預(yù)測圖像生成単元，其對上述濾波完成參考圖像進行運動補償，由此生成上述預(yù)測圖像；和濾波器系數(shù)選擇單元，其按上述參考圖像上的每個單位區(qū)域選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)、或預(yù)先確定的濾波器系數(shù)之中的任ー個。根據(jù)如上述構(gòu)成的本發(fā)明涉及的解碼裝置，由于具備濾波器単元，其是針對基于通過解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器単元，即可以按上述參考圖像的每個單位區(qū)域來切換濾波器系數(shù)；預(yù)測圖像生成単元，其對上述濾波完成參考圖像進行運動補償，由此生成上述預(yù)測圖像；和濾波器系數(shù)選擇單元，其按上述參考圖像上的每個單位區(qū)域選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)和預(yù)先確定的濾波器系數(shù)之中的任ー個，因而可起到能夠按上述參考圖像上的每個單位區(qū)域而利用更適當?shù)臑V波器系數(shù)來進行濾波的效果。另外，本發(fā)明涉及的編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，是通過將原圖像與根據(jù)原圖像生成的預(yù)測圖像的殘差數(shù)據(jù)、與濾波器系數(shù)組一起編碼而得到的編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，上述編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的特征在于，上述濾波器系數(shù)組包括按參考圖像上的每個單位區(qū)域而選擇出的濾波器系數(shù)，所述參考圖像是基于通過在解碼該編碼數(shù)據(jù)的解碼裝置中解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的。根據(jù)如上述構(gòu)成的編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，由于包括下述濾波器系數(shù)按照基于通過在解碼該編碼數(shù)據(jù)的解碼裝置中解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的參考圖像上的每個單位區(qū)域選擇出的濾波器系數(shù)，因而起到能夠在解碼裝置中按參考圖像上的每個單位區(qū)域進行更適當?shù)臑V波的效果。發(fā)明效果如上所述，本發(fā)明涉及的編碼裝置具備 第I濾波器，其作用于通過編碼并重構(gòu)輸入圖像而得到的參考圖像；第I預(yù)測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預(yù)測圖像；第2濾波器，其作用于上述參考圖像；第2預(yù)測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像；分割単元，其將上述第I預(yù)測圖像和上述輸入圖像分割成多個區(qū)域；和濾波器系數(shù)設(shè)定單元，其以按每個上述區(qū)域使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式，來設(shè)定上述第2濾波器的濾波器系數(shù)，而且，所述編碼裝置對上述輸入圖像與上述第2預(yù)測圖像的殘差數(shù)據(jù)進行編碼。因此，即便在上述參考圖像(局部解碼圖像)的各區(qū)域中的圖像的特性不均勻的情況下，也能進行適當濾波。本發(fā)明的其他目的、特征及優(yōu)點根據(jù)以下所示的記載可充分理解。另外，本發(fā)明的、優(yōu)點在參考了附圖的下述說明的基礎(chǔ)上可明確。


圖I是表示實施方式涉及的編碼裝置的構(gòu)成的框圖。圖2是表示實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的構(gòu)成的框圖。圖3是表示實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作流程的流程圖。圖4是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是表示第I預(yù)測圖像中的第I區(qū)域及第2區(qū)域的例子的圖。圖5是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是表示針對參考圖像中的參考圖像索引為O的參考圖片中的區(qū)域、以及參考圖像中的 參考圖像索引為I的參考圖片中的區(qū)域分別施加濾波器的情況的圖。圖6是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是針對第I參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片、即由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區(qū)域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區(qū)域、以及由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區(qū)域分別施加濾波器的情況的圖。圖7是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是表示第I預(yù)測圖像中的第I區(qū)域以及第2區(qū)域的例子的圖、即表示第I區(qū)域的面積小的情況的圖。圖8是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是表示針對參考圖像中的參考圖像索引為O的參考圖片中的區(qū)域、以及參考圖像中的參考圖像索引為O的參考圖片中的其他區(qū)域分別施加濾波器的情況的圖。圖9是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片上的區(qū)域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區(qū)域、由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區(qū)域、以及由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區(qū)域分別施加濾波器的情況的圖。圖10是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的其他動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片、即由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區(qū)域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區(qū)域、以及由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區(qū)域分別施加濾波器的情況的圖。圖11是用于說明實施方式涉及的編碼裝置中的幀間預(yù)測圖像生成部的其他動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片上的區(qū)域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區(qū)域、由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區(qū)域、以及由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區(qū)域分別施加濾波器的情況的圖。圖12是表示實施方式涉及的解碼裝置的構(gòu)成的框圖。
圖13是表示實施方式涉及的解碼裝置中的幀間預(yù)測圖像生成部的構(gòu)成的框圖。圖14是表示被輸入至實施方式涉及的解碼裝置中的編碼數(shù)據(jù)的比特流的圖。
具體實施例方式以下，根據(jù)實施例對本發(fā)明進行更進ー步的詳細說明，但是本發(fā)明并非通過此來進行任何限定。參照圖I 圖2來說明本實施方式涉及的運動圖像編碼裝置I的構(gòu)成。運動圖像編碼裝置I是在其一部分利用了 H. 264/AVC規(guī)格、以及被KTA軟件采用的技術(shù)的運動圖像
編碼裝置。圖I是表示運動圖像編碼裝置I的構(gòu)成的框圖。如圖I所示，運動圖像編碼裝置I具備變換/量化部11、可變長度編碼部12、逆量化/逆變換部13、緩沖存儲器14、幀內(nèi)預(yù)測圖像生成部15、幀間預(yù)測圖像生成部16、預(yù)測方式控制部18、運動矢量冗余性削減部19、加法器21以及減法器22。在運動圖像編碼裝置I中輸入了輸入圖像#I，該輸入圖像#I被分割成由相鄰的多個像素構(gòu)成的塊圖像(以下稱為“宏塊”)。運動圖像編碼裝置I對輸入圖像#1進行編碼處理，并輸出編碼數(shù)據(jù)#2。變換/量化部11在通過DCT (離散余弦變換)變換將被分割成宏塊的輸入圖像#I與從后述的預(yù)測方式控制部18輸出的預(yù)測圖像#18a之間的差分圖像#22變換成頻率分量之后，對該頻率分量進行量化，生成量化預(yù)測殘差數(shù)據(jù)#11。在這里，上述量化是指，將上述頻率分量與整數(shù)值建立對應(yīng)的運算。另外，上述DCT變換及量化是以分割宏塊后的分區(qū)作為單位進行的。以下，將成為處理對象的宏塊稱為“對象宏塊”，將成為處理對象的分區(qū)稱為“對象分區(qū)”。逆量化/逆變換部13對量化預(yù)測殘差數(shù)據(jù)#11進行解碼，生成預(yù)測殘差#13。具體而言，逆量化/逆變換部13對量化預(yù)測殘差數(shù)據(jù)#11進行逆量化、即構(gòu)成量化預(yù)測殘差數(shù)據(jù)#11的整數(shù)值向頻率分量的對應(yīng)、以及、對該頻率分量進行逆DCT變換、即基于該頻率分量的對象宏塊向像素分量的逆變換，生成預(yù)測殘差#13。加法器21對預(yù)測殘差#13和預(yù)測圖像#18a進行加法運算，生成解碼圖像#21。所生成的解碼圖像#21被提供至緩沖存儲器14。幀內(nèi)預(yù)測圖像生成部15從保存至緩沖存儲器14中的解碼圖像#21之中提取局部解碼圖像#14a(與對象宏塊相同的幀的已解碼區(qū)域)，基于局部解碼圖像#14a進行幀內(nèi)預(yù)測，生成幀內(nèi)預(yù)測圖像#15。幀間預(yù)測圖像生成部16利用對輸入圖像#I上的對象分區(qū)已經(jīng)解碼了幀整體且保存至緩沖存儲器14中的參考圖像#14b，算出運動矢量#17并進行分配。所算出的運動矢量 #17被輸出至幀間預(yù)測圖像生成部16、運動矢量冗余性削減部19，并且被保存至緩沖存儲器14。另外，幀間預(yù)測圖像生成部16針對參考圖像#14b，按照每個分區(qū)基于運動矢量#17來進行運動補償，生成幀間預(yù)測圖像#16。另外，幀間預(yù)測圖像生成部16將用于濾波處理的濾波器系數(shù)#101輸出至可變長度編碼部12。關(guān)于幀間預(yù)測圖像生成部16的詳細構(gòu)成在后面詳細敘述，因而在此省略其說明。預(yù)測方式控制部18以宏塊為單位，比較幀內(nèi)預(yù)測圖像#15、幀間預(yù)測圖像#16和輸入圖像#1，選擇幀內(nèi)預(yù)測圖像#15和幀間預(yù)測圖像#16之中的任ー個，并作為預(yù)測圖像#18a進行輸出。另外，預(yù)測方式控制部18輸出預(yù)測模式#18b，該預(yù)測模式#18b是表示選擇了幀內(nèi)預(yù)測圖像#15和幀間預(yù)測圖像#16之中的哪ー個的信息。預(yù)測圖像#18a被輸入至減法器22。預(yù)測模式#18b被保存至緩沖存儲器14，并且被輸入至可變長度編碼部12。運動矢量冗余性削減部19在幀間預(yù)測圖像生成部16中給上述對象分區(qū)分配了運動矢量#17之后，基于被分配給其他分區(qū)且保存至緩沖存儲器14的運動矢量組#14c算出預(yù)測矢量。另外，運動矢量冗余性削減部19取該預(yù)測矢 量與運動矢量#17之間的差分，生成差分運動矢量#19。所生成的差分運動矢量#19被輸出至可變長度編碼部12?？勺冮L度編碼部12對量化預(yù)測殘差數(shù)據(jù)#11、差分運動矢量#19、預(yù)測模式#18b以及濾波器系數(shù)#101進行可變長度編碼，生成編碼數(shù)據(jù)#2。減法器22針對對象宏塊，取輸入圖像#1與預(yù)測圖像#18a之間的差分，輸出差分圖像#22。(幀間預(yù)測圖像生成部16)接著，參照圖2 圖4來說明幀間預(yù)測圖像生成部16的構(gòu)成及動作。圖2是表示幀間預(yù)測圖像生成部16的構(gòu)成的框圖。如圖2所示，幀間預(yù)測圖像生成部16具備預(yù)測圖像生成部16a、運動矢量推定部17、自適應(yīng)濾波器100。圖3是表示幀間預(yù)測圖像生成部16中的動作流程的流程圖。以下，參照圖3 圖4來說明幀間預(yù)測圖像生成部16的各部的動作例。(動作例I)(步驟101)保存于緩沖存儲器14的參考圖像#14b被輸入至自適應(yīng)濾波器100。另外，設(shè)在后述的步驟102中，在采用了多個參考圖片的情況下，參考圖像#14b由這些多個參考圖片構(gòu)成。自適應(yīng)濾波器100在本步驟中，基于預(yù)先確定的規(guī)定濾波器系數(shù)(以下稱為標準濾波器系數(shù))對參考圖像#14b進行濾波處理，輸出第I輸出圖像數(shù)據(jù)#100。具體而言，自適應(yīng)濾波器100利用由式(I)表示的加權(quán)線性和來算出第I輸出圖像數(shù)據(jù)#100的坐標(X’、y’ )處的像素值S0(x’、y’ )。此外，自適應(yīng)濾波器100也不需要一次生成并輸出輸出圖像數(shù)據(jù)全體，而可以基于來自運動矢量推定部或預(yù)測圖像生成部的請求來生成并輸出輸出圖像數(shù)據(jù)的部分區(qū)域。數(shù)學(xué)式I.ν,, ,τ',.ν I ニ YhijJ)\Ax f I /') ' + ,,(I)
、仏ノ在這里，SI(x，y)表示參考圖像#14b的坐標(x，y)處的像素值，h(i，j)表示與像素值SI(x+i，y+j)相乘的濾波器系數(shù)。另外，R表示取上述加權(quán)線性和的像素的區(qū)域(以下稱為濾波器區(qū)域)。更具體而言，R表示成為上述加權(quán)線性和對象的相對坐標的集合。例如，在進行以坐標(x，y)處的像素為中心的3X3抽頭的濾波的情況下，R= {(-1、-1)、(-1、O)、(-1,1) > (O、-I)、(0、0)、(OU) > (I、-I)、(1、0)、(Ul)Io 另外，hoffset 表示與像素值相加的偏差值。此外，濾波器區(qū)域R—般既可以是MXN抽頭的矩形形狀的區(qū)域，也可以是菱形、圓形或其他任意形狀的區(qū)域。另外，參考圖像#14b是由整數(shù)坐標的像素(以下稱為整數(shù)像素)的像素值構(gòu)成的圖像數(shù)據(jù)。即、在式(I)中，X及y都取整數(shù)值。另ー方面，X’及y’也可取非整數(shù)的值。即、第I輸出圖像數(shù)據(jù)#100是包括整數(shù)像素的像素值、以及整數(shù)像素以下的像素精度的插補信號在內(nèi)的圖像數(shù)據(jù)。換言之，自適應(yīng)濾波器100是根據(jù)整數(shù)像素的像素值以插補的方式生成整數(shù)像素以下的像素精度的插補信號的圖像濾波器。此外，自適應(yīng)濾波器100根據(jù)要以濾波器處理取得的像素的坐標值來適當?shù)厍袚Q濾波器系數(shù)及偏差。例如，在X’和y’分別取相當于整數(shù)像素、1/4像素、1/2像素、3/4像素這4個種類像素的任一個像素的坐標位置的值的情況下，根據(jù)X’及y’的坐標位置的種類的組合來切換濾波器系數(shù)及偏差。以下，設(shè)濾波器系數(shù)h(i，j)及偏差hoffset為包括與X’及y’的坐標值的組合相應(yīng)的濾波器系數(shù)及偏差在內(nèi)的值，為適當選擇并應(yīng)用的值。 另外，在本步驟中，濾波器系數(shù)h(i，j)及偏差hoffset取預(yù)先確定的值。此外，上述標準濾波器系數(shù)的具體值并未限定本發(fā)明，例如也可以采用H. 264/AVC規(guī)格中的用于插補濾波器的濾波器系數(shù)。(步驟102)運動矢量推定部17基于第I輸出圖像數(shù)據(jù)#100和輸入圖像#1來進行運動預(yù)測，生成第I運動矢量#17’。此外，在本步驟中的運動預(yù)測中，也可利用參考圖像#14b中包含的多個參考圖片。(步驟IO3)預(yù)測圖像生成部16a基于第I運動矢量#17’對第I輸出圖像數(shù)據(jù)#100進行運動補償，生成第I預(yù)測圖像#16’。此外，設(shè)步驟102及步驟103的處理是按預(yù)測方法不同的每個預(yù)測模式進行試行且采用最佳的預(yù)測模式的處理。(步驟104)自適應(yīng)濾波器100將第I預(yù)測圖像#16，分割成由應(yīng)用了跳躍模式的宏塊構(gòu)成的第I區(qū)域ER1、和由未應(yīng)用跳躍模式的宏塊構(gòu)成的第2區(qū)域ER2。圖4是表示第I預(yù)測圖像#16’中的第I區(qū)域ERl以及第2區(qū)域ER2的例子的圖。另外，自適應(yīng)濾波器100將輸入圖像#1分割成與上述第I區(qū)域ERl對應(yīng)的區(qū)域ER1’、和與上述第2區(qū)域ER2對應(yīng)的區(qū)域ER2’。進而，與之對應(yīng)地，將在參考圖像#14b中為了預(yù)測區(qū)域ER1’所參照的區(qū)域設(shè)定成區(qū)域ER 1’，將在參考圖像#14b中為了預(yù)測區(qū)域ER2’所參照的區(qū)域設(shè)定成區(qū)域ER 2’。此外，區(qū)域ER I’及區(qū)域ER 2’并不限于將參考圖像#14b進行2分割。S卩、區(qū)域ER I’及區(qū)域ER 2’有時也相互重疊。(步驟IO5)自適應(yīng)濾波器100基于濾波器系數(shù)hi’ (i,j)對參考圖像#14b中的區(qū)域ER I’進行濾波，基于濾波器系數(shù)h2’(i，j)對參考圖像#14b中的區(qū)域ER 2’進行濾波。雖然區(qū)域ER I’和區(qū)域ER 2’有時會如前述那樣在參考圖像#14b上重疊，但是能夠通過判別參考了該區(qū)域的區(qū)域是區(qū)域ER1’還是區(qū)域ER2’，來判別是被作為區(qū)域ER I’參考的區(qū)域還是被作為區(qū)域ER 2’參考的區(qū)域。
在這里，以第I預(yù)測圖像#16’中的區(qū)域ERl和與其對應(yīng)的輸入圖像#I之間的誤差最小的方式，確定濾波器系數(shù)hr (i，j)。另外，以第I預(yù)測圖像#16’中的區(qū)域ER2和與其對應(yīng)的輸入圖像#I之間的誤差最小的方式，確定濾波器系數(shù)h2’(i，j)。此外，為了如前述那樣根據(jù)運動矢量的不足整數(shù)的精度的位置來變更濾波器系數(shù)hi’(i，j)及濾波器系數(shù)h2’(i，j)，只要按運動矢量#17’的不足整數(shù)的像素精度的每種組合來導(dǎo)出各濾波器系數(shù)即可。另外，濾波器系數(shù)hk’(i，j) (k = 1,2)的具體決定能夠采用統(tǒng)計手法。例如，濾波器系數(shù)hk’ (i,j) (k = 1,2)能夠按照由以下的式(2)給出的平方誤差Ek最小的方式進行決定。數(shù)學(xué)式
權(quán)利要求
1.一種編碼裝置，其特征在于具備 第I濾波器，其作用于通過編碼并重構(gòu)輸入圖像而得到的參考圖像； 第I預(yù)測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預(yù)測圖像； 第2濾波器，其作用于上述參考圖像； 第2預(yù)測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像； 分割單元，其將上述第I預(yù)測圖像和上述輸入圖像分割成多個區(qū)域；和濾波器系數(shù)設(shè)定單元，其以按每個上述區(qū)域使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式，來設(shè)定上述第2濾波器的濾波器系數(shù)， 所述編碼裝置對上述輸入圖像與上述第2預(yù)測圖像的殘差數(shù)據(jù)進行編碼。
2.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元將上述第I預(yù)測圖像分割成由應(yīng)用了跳躍模式的宏塊構(gòu)成的區(qū)域、和由未應(yīng)用跳躍模式的宏塊構(gòu)成的區(qū)域。
3.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元將上述第I預(yù)測圖像分割成由參考了參考圖像索引為O的圖像的分區(qū)構(gòu)成的區(qū)域、和由參考了參考圖像索引不為O的圖像的分區(qū)構(gòu)成的區(qū)域。
4.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元包括第I分割單元及第2分割單元， 上述濾波器系數(shù)設(shè)定單元包括第I濾波器系數(shù)設(shè)定單元及第2濾波器系數(shù)設(shè)定單元，上述第I分割單元將上述第I預(yù)測圖像分割成由應(yīng)用了跳躍模式的宏塊構(gòu)成的第I區(qū)域、和由未應(yīng)用跳躍模式的宏塊構(gòu)成的第2區(qū)域， 上述第I濾波器系數(shù)設(shè)定單元針對上述第I區(qū)域及上述第2區(qū)域，分別以使上述第I預(yù)測圖像與上述輸入圖像之差最小化的方式來決定第I備用濾波器系數(shù)， 上述第2分割單元將上述第I預(yù)測圖像分割成由參考了參考圖像索引為O的圖像的分區(qū)構(gòu)成的第3區(qū)域、和由參考了參考圖像索引不為O的圖像的分區(qū)構(gòu)成的第4區(qū)域， 上述第2濾波器系數(shù)設(shè)定單元針對上述第3區(qū)域及上述第4區(qū)域，分別以使上述第I預(yù)測圖像與上述輸入圖像之差最小化的方式來決定第2備用濾波器系數(shù)， 將上述第I備用濾波器系數(shù)和上述第2備用濾波器系數(shù)中編碼效率良好的濾波器系數(shù)設(shè)定為上述第2濾波器的濾波器系數(shù)。
5.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元通過將上述第I預(yù)測圖像上的各單位區(qū)域分配給與該宏塊相鄰的多個宏塊之中更多宏塊所屬的區(qū)域，來將上述第I預(yù)測圖像分割成多個區(qū)域。
6.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元將上述第I預(yù)測圖像分割成由平均亮度大于預(yù)先確定的亮度的宏塊構(gòu)成的區(qū)域、和由平均亮度為預(yù)先確定的亮度以下的宏塊構(gòu)成的區(qū)域。
7.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述濾波器系數(shù)設(shè)定單元針對上述多個區(qū)域之中的、相對于上述第I預(yù)測圖像的面積比大于預(yù)先確定的面積比的區(qū)域，以使上述第I預(yù)測圖像與上述輸入圖像之差最小化的方式來設(shè)定上述第2濾波器的濾波器系數(shù)， 上述濾波器系數(shù)設(shè)定單元針對上述多個區(qū)域之中的、相對于上述第I預(yù)測圖像的面積比為預(yù)先確定的面積比以下的區(qū)域，將預(yù)先確定的濾波器系數(shù)選擇為上述第2濾波器的濾波器系數(shù)。
8.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述分割單元將上述第I預(yù)測圖像分割成由參考了參考圖像索引為O的圖像的分區(qū)構(gòu)成的第I區(qū)域、和由參考了參考圖像索引不為O的圖像的分區(qū)構(gòu)成的第2區(qū)域， 在上述第2區(qū)域相對于上述第I預(yù)測圖像的面積比小于預(yù)先確定的面積比的情況下，上述濾波器系數(shù)設(shè)定單元針對上述第I區(qū)域，以使上述第I預(yù)測圖像與上述輸入圖像之差最小化的方式來設(shè)定上述第2濾波器的濾波器系數(shù)， 在上述第2區(qū)域相對于上述第I預(yù)測圖像的面積比小于預(yù)先確定的面積比的情況下，上述第2預(yù)測單元針對與上述第2區(qū)域?qū)?yīng)的上述參考圖像之中參考圖像索引為O的參考圖片，利用預(yù)先確定的濾波器系數(shù)來進行濾波。
9.根據(jù)權(quán)利要求I所述的編碼裝置，其特征在于， 上述濾波器系數(shù)設(shè)定單元以上述第2濾波器的濾波器系數(shù)的平方誤差最小的方式來決定濾波器系數(shù)。
10.一種編碼裝置，是具備第I濾波器、第I預(yù)測單元、第2濾波器和第2預(yù)測單元的編碼裝置，其中上述第I濾波器作用于通過編碼并重構(gòu)輸入圖像而得到的多個參考圖像，上述第I預(yù)測單元通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預(yù)測圖像，上述第2濾波器作用于上述多個參考圖像，上述第2預(yù)測單元通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像，并且所述編碼裝置對上述輸入圖像與上述第2預(yù)測圖像的殘差數(shù)據(jù)進行編碼， 上述編碼裝置的特征在于， 在上述多個參考圖像之中屬于第I參考圖像列表的參考圖像對上述第I預(yù)測圖像作出貢獻的權(quán)重為預(yù)先確定的權(quán)重以上的情況下，上述第2濾波器針對屬于該第I參考圖像列表的參考圖像，利用以使上述輸入圖像與上述第I預(yù)測圖像之差最小化的方式而設(shè)定的濾波器系數(shù)來進行濾波， 在上述多個參考圖像之中屬于第I參考圖像列表的參考圖像對上述第I預(yù)測圖像作出貢獻的權(quán)重小于預(yù)先確定的權(quán)重的情況下，上述第2濾波器針對屬于與第I參考圖像列表不同的第2參考圖像列表的參考圖像，利用預(yù)先確定的濾波器系數(shù)來進行濾波。
11.一種解碼裝置，對通過將原圖像與預(yù)測圖像的殘差數(shù)據(jù)、與濾波器系數(shù)組一起進行編碼而得到的編碼數(shù)據(jù)進行解碼，上述解碼裝置的特征在于具備 濾波器單元，其是針對基于通過解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器單元，即能夠按上述參考圖像的每個單位區(qū)域來切換濾波器系數(shù)的濾波器單元； 預(yù)測圖像生成單元，其通過對上述濾波完成參考圖像進行運動補償，來生成上述預(yù)測圖像；和 濾波器系數(shù)選擇單元，其按上述參考圖像上的每個單位區(qū)域來選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)、或預(yù)先確定的濾波器系數(shù)中任一個。
12.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 上述濾波器系數(shù)選擇單元根據(jù)上述參考圖像上的單位區(qū)域是否屬于應(yīng)用了跳躍模式的宏塊，來選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)中的任一個。
13.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 上述濾波器系數(shù)選擇單元根據(jù)上述參考圖像的參考圖像索引是否為O，來選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)中的任一個。
14.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 上述濾波器系數(shù)選擇單元根據(jù)預(yù)先確定的判定基準將生成中的上述預(yù)測圖像分割成多個區(qū)域，并針對與該多個區(qū)域的每一個對應(yīng)的上述參考圖像上的區(qū)域，選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)中的任一個。
15.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 上述濾波器系數(shù)選擇單元針對生成中的上述預(yù)測圖像上的多個區(qū)域之中的、相對于該生成中的預(yù)測圖像的面積比大于預(yù)先確定的面積比的區(qū)域所對應(yīng)的上述參考圖像上的區(qū)域，選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)，針對生成中的上述預(yù)測圖像上的多個區(qū)域之中的、相對于該生成中的預(yù)測圖像的面積比為預(yù)先確定的面積比以下的區(qū)域所對應(yīng)的上述參考圖像上的區(qū)域，選擇上述預(yù)先確定的濾波器系數(shù)。
16.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 在上述參考圖像之中參考圖像索引不為O的參考圖像所對應(yīng)的上述預(yù)測圖像上的區(qū)域相對于上述預(yù)測圖像的面積比小于預(yù)先確定的面積比的情況下， 上述濾波器單元通過利用上述預(yù)先確定的濾波器系數(shù)對參考圖像索引為O的參考圖像上的該區(qū)域進行濾波，來生成參考圖像索引不為O的參考圖像所對應(yīng)的上述預(yù)測圖像上的區(qū)域。
17.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 在上述參考圖像之中參考圖像列表編號不為O的參考圖像所對應(yīng)的上述預(yù)測圖像上的區(qū)域?qū)ι鲜鲱A(yù)測圖像作出貢獻的權(quán)重小于預(yù)先確定的權(quán)重的情況下， 上述濾波器單元通過利用上述預(yù)先確定的濾波器系數(shù)對參考圖像列表編號為O的參考圖像上的該區(qū)域進行濾波，來生成參考圖像列表編號不為O的參考圖像所對應(yīng)的上述預(yù)測圖像上的區(qū)域。
18.根據(jù)權(quán)利要求11所述的解碼裝置，其特征在于， 取代上述濾波器系數(shù)選擇單元而具備下述濾波器系數(shù)選擇單元參考上述編碼數(shù)據(jù)中所含的標志，來選擇上述濾波器系數(shù)組中所含的濾波器系數(shù)中的任一個濾波器系數(shù)、以及應(yīng)該應(yīng)用該濾波器系數(shù)的參考圖像上的區(qū)域。
19.一種編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，是通過將原圖像與根據(jù)原圖像而生成的預(yù)測圖像的殘差數(shù)據(jù)、與濾波器系數(shù)組一起編碼而得到的編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，上述編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的特征在于， 上述濾波器系數(shù)組包括按參考圖像上的每個單位區(qū)域而選擇出的濾波器系數(shù)，所述參考圖像是基于通過在解碼該編碼數(shù)據(jù)的解碼裝置中解碼上述殘差數(shù)據(jù)而得到的預(yù)測殘差所生成的。
全文摘要
編碼裝置具備作用于通過編碼并重構(gòu)輸入圖像而得到的參考圖像的自適應(yīng)濾波器(100)、以及生成第1預(yù)測圖像的預(yù)測圖像生成部(16a)，預(yù)測圖像生成部(16a)與作用于上述參考圖像的第2濾波器一起，通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預(yù)測圖像，自適應(yīng)濾波器(100)還將上述第1預(yù)測圖像分割成多個區(qū)域，以按每個上述區(qū)域使上述輸入圖像與上述第1預(yù)測圖像之差最小化的方式來設(shè)定上述第2濾波器的濾波器系數(shù)。
文檔編號H04N7/32GK102714732SQ201080061128
公開日2012年10月3日 申請日期2010年12月24日 優(yōu)先權(quán)日2010年1月12日
發(fā)明者八杉將伸, 豬飼知宏 申請人:夏普株式會社