運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法

文檔序號：7792443閱讀：258來源：國知局

運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法
【專利摘要】可變長編碼部（13)對表示由環(huán)路濾波器部(11)所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼。
【專利說明】運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法

【技術領域】
[0001] 本發(fā)明涉及對運動圖像高效地進行編碼的運動圖像編碼裝置以及運動圖像編碼方法、和對高效地編碼了的運動圖像進行解碼的運動圖像解碼裝置以及運動圖像解碼方法。

【背景技術】
[0002] 以往，在MPEG、ITU-T Η. 26x等國際標準影像編碼方式中，以由16X16像素塊構成的宏塊為單位分割輸入影像幀，在實施了運動補償預測之后，按照塊單位對預測誤差信號進行正交變換、量化，從而進行信息壓縮。
[0003] 但是，存在如下問題：如果壓縮率變高，則由于在實施運動補償預測時所使用的預測參照圖像的品質降低，從而妨礙壓縮效率。
[0004] 因此，在MPEG-4AVC/H. 264的編碼方式（參照非專利文獻1)中，通過實施環(huán)內去塊濾波（deblocking filtering)的處理，去除伴隨正交變換系數的量化而發(fā)生的預測參照圖像的塊失真。
[0005] 此處，圖21是示出非專利文獻1公開的運動圖像編碼裝置的結構圖。
[0006] 在該運動圖像編碼裝置中，如果塊分割部101輸入了編碼對象的圖像信號，則按照宏塊單位分割該圖像信號，將宏塊單位的圖像信號作為分割圖像信號而輸出到預測部 102。
[0007] 預測部102如果從塊分割部101接收到分割圖像信號，則在幀內或者幀間預測宏塊內的各顏色分量的圖像信號，計算預測誤差信號。
[0008] 特別是在幀間實施運動補償預測的情況下，按照宏塊自身或者將宏塊進一步細致地分割而得到的子塊的單位來搜索運動矢量。
[0009] 然后，使用該運動矢量，實施針對由存儲器107儲存著的參照圖像信號的運動補償預測，從而生成運動補償預測圖像，求出表示該運動補償預測圖像的預測信號和分割圖像信號的差分，由此計算預測誤差信號。
[0010] 另外，預測部102將在得到預測信號時所決定的預測信號生成用參數輸出到可變長編碼部108。
[0011] 另外，在預測信號生成用參數中，例如包括表示如何進行幀內的空間預測的幀內部預測模式、表示幀間的運動量的運動矢量等信息。
[0012] 壓縮部103如果從預測部102接收到預測誤差信號，則實施針對該預測誤差信號的DCT (離散余弦變換）處理從而去除信號相關，之后，進行量化從而得到壓縮數據。
[0013] 局部解碼部104如果從壓縮部103接收到壓縮數據，則對該壓縮數據進行逆量化，實施逆DCT處理，從而計算與從預測部102輸出了的預測誤差信號相當的預測誤差信號。
[0014] 加法器105如果從局部解碼部104接收到預測誤差信號，則對該預測誤差信號和從預測部102輸出了的預測信號進行相加，生成局部解碼圖像。
[0015] 環(huán)路濾波器106去除在表示由加法器105所生成的局部解碼圖像的局部解碼圖像信號中重疊著的塊失真，將去除失真后的局部解碼圖像信號作為參照圖像信號而儲存到存儲器107。
[0016] 可變長編碼部108如果從壓縮部103接收到壓縮數據，則對該壓縮數據進行熵編碼，輸出作為其編碼結果的比特流。
[0017] 另外，可變長編碼部108在輸出比特流時，將從預測部102輸出了的預測信號生成用參數復用到比特流而輸出。
[0018] 此處，在非專利文獻1公開的方式中，環(huán)路濾波器106針對DCT的塊邊界的周邊像素，根據量化的粗糙度、編碼模式、運動矢量的偏差程度等信息來決定平滑化強度，降低在塊邊界中發(fā)生的失真。
[0019] 由此，參照圖像信號的品質得到改善，能夠提高以后的編碼中的運動補償預測的效率。
[0020] 另一方面，在非專利文獻1公開的方式中，存在如下問題：越是以高壓縮率進行編碼，越是損失信號的高頻分量，畫面整體被過度地平滑化而影像變得模糊。
[0021] 為了解決這個問題，在非專利文獻2中提出了如下的自適應偏移處理（像素自適應偏移處理）：作為環(huán)路濾波器106,將畫面分割為多個塊，按照該所分割的塊單位對塊內的各像素進行級別分類，針對每個級別，相加使作為原圖像信號的編碼對象的圖像信號、與對應于該圖像信號的參照圖像信號的平方誤差失真最小化的偏移值。
[0022] 非專利文獻 1 :MPEG-4AVC(IS0/IEC 14496-10)/ITU-T H. 264 規(guī)格
[0023] 非專利文獻 2 :"CE13 :Sample Adaptive Offset with LCU-Independent Decoding"，JCT-VC Document JCTVC-E049,March 2011，Geneva，CH.

【發(fā)明內容】

[0024] 以往的運動圖像編碼裝置如以上那樣構成，所以需要按照將畫面進行分割而得到的塊單位，對與級別數相應的偏移進行編碼。因此，存在如下課題：為了在像素自適應偏移處理中進行高精度的失真補償處理，將畫面分割為越細小的塊，偏移的編碼所需的代碼量越增大，編碼效率降低。
[0025] 本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠削減偏移的編碼所需的代碼量來提高編碼效率的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法。
[0026] 在本發(fā)明的運動圖像編碼裝置中，濾波部件實施如下的像素自適應偏移處理：按照最大尺寸的編碼塊單位來決定級別的分類方法，使用上述分類方法，實施該塊內的各像素的分級，計算每個級別的偏移值，將該偏移值相加到屬于對應的級別的像素的像素值，可變長編碼部件對表示由濾波部件所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼。
[0027] 根據本發(fā)明，濾波部件實施如下的像素自適應偏移處理：按照最大尺寸的編碼塊單位來決定級別的分類方法，使用上述分類方法，實施該塊內的各像素的分級，計算每個級別的偏移值，將該偏移值相加到屬于對應的級別的像素的像素值，可變長編碼部件對表示由濾波部件所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼，所以具有能夠削減偏移的編碼所需的代碼量而提高編碼效率的效果。

【專利附圖】

【附圖說明】
[0028] 圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結構圖。
[0029] 圖2是示出本發(fā)明的實施方式1的運動圖像編碼裝置的處理內容（運動圖像編碼方法）的流程圖。
[0030] 圖3是示出本發(fā)明的實施方式1的運動圖像解碼裝置的結構圖。
[0031] 圖4是示出本發(fā)明的實施方式1的運動圖像解碼裝置的處理內容（運動圖像解碼方法）的流程圖。
[0032] 圖5是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。
[0033] 圖6的（a)是示出分割后的編碼塊以及預測塊的分布的圖，（b)是示出通過層次分割而分配編碼模式m(B n)的狀況的說明圖。
[0034] 圖7是示出編碼塊Bn內的各預測塊Pf可選擇的幀內部預測參數（幀內部預測模式）的一個例子的說明圖。
[0035] 圖8是示出在生成1廣=min = 4時的預測塊Ρ，內的像素的預測值時使用的像素的一個例子的說明圖。
[0036] 圖9是示出以預測塊Pin內的左上像素為原點的相對坐標的說明圖。
[0037] 圖10是示出量化矩陣的一個例子的說明圖。
[0038] 圖11是示出在本發(fā)明的實施方式1的運動圖像編碼裝置的環(huán)路濾波器部中使用多個環(huán)路濾波處理時的結構例的說明圖。
[0039] 圖12是示出在本發(fā)明的實施方式1的運動圖像解碼裝置的環(huán)路濾波器部中使用多個環(huán)路濾波處理時的結構例的說明圖。
[0040] 圖13是示出作為進行像素自適應偏移處理時的級別分類方法之一的B0方法的說明圖。
[0041] 圖14是示出作為進行像素自適應偏移處理時的級別分類方法之一的E0方法的說明圖。
[0042] 圖15是示出編碼比特流的一個例子的說明圖。
[0043] 圖16是示出像素自適應偏移處理的級別分類方法的索引的說明圖。
[0044] 圖17是示出像素自適應偏移處理的每個級別的偏移值的組合的表格的一個例子的說明圖。
[0045] 圖18是示出編碼了多個序列等級頭部的編碼比特流的一個例子的說明圖。
[0046] 圖19是示出針對每個比特深度切換像素自適應偏移處理的每個級別的偏移值的組合的表格的一個例子的說明圖。
[0047] 圖20是示出在一個表格中針對每個比特深度切換像素自適應偏移處理的每個級別的偏移值的組合的表格的偏移的組合數的一個例子的說明圖。
[0048] 圖21是示出非專利文獻1公開的運動圖像編碼裝置的結構圖。
[0049] 圖22是示出包括IDR圖片的圖片構造的一個例子的說明圖。
[0050] 圖23是示出包括CRA圖片的圖片構造的一個例子的說明圖。
[0051] 圖24是示出從IDR圖片或者CRA圖片開始的解碼處理中的自適應參數集合的無效化處理的編碼比特流的說明圖。
[0052] 圖25是示出編碼對象碼元的范圍是0至5時的truncated unary (截斷一元）碼的說明圖。
[0053] 圖26是示出unary (-元）碼的說明圖。
[0054] 圖27是示出自適應參數集合的語法的一個例子的說明圖。
[0055] 圖28是在解碼側調換了圖24的編碼比特流內的數據的順序時的說明圖。
[0056] (符號說明）
[0057] 1 :塊分割部（塊分割部件）；2 :編碼控制部（編碼參數決定部件）；3 :切換開關； 4 :幀內部預測部（預測部件）；5 :運動補償預測部（預測部件）；6 :減法部（差分圖像生成部件）；7 :變換/量化部（圖像壓縮部件）；8 :逆量化/逆變換部（局部解碼圖像生成部件）；9:加法部（局部解碼圖像生成部件）；10:幀內部預測用存儲器（預測部件）；11: 環(huán)路濾波器部（濾波部件）；12 :運動補償預測幀存儲器（預測部件）；13 :可變長編碼部 (可變長編碼部件）；14:切片分割部（切片分割部件）；31 :可變長解碼部（可變長解碼部件）；32 :逆量化/逆變換部（差分圖像生成部件）；33 :切換開關；34 :幀內部預測部（預測部件）；35 :運動補償部（預測部件）；36 :加法部（解碼圖像生成部件）；37 :幀內部預測用存儲器（預測部件）；38 :環(huán)路濾波器部（濾波部件）；39 :運動補償預測幀存儲器（預測部件）；101 :塊分割部；102 :預測部；103 :壓縮部；104 :局部解碼部；105 :加法器；106 :環(huán)路濾波器；107 :存儲器；108 :可變長編碼部。

【具體實施方式】
[0058] 以下，為了更詳細地說明本發(fā)明，依照附圖來說明用于實施本發(fā)明的方式。
[0059] 實施方式1.
[0060] 圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結構圖。
[0061] 在圖1中，切片分割部14實施如下處理：如果作為輸入圖像輸入了影像信號，則將該輸入圖像依照由編碼控制部2所決定的切片分割信息，分割為1個以上的"切片"這樣的部分圖像。切片的分割單位能夠細化至后述的編碼塊單位。另外，切片分割部14構成了切片分割部件。
[0062] 塊分割部1實施如下處理：每當輸入由切片分割部14所分割的切片時，將該切片分割為由編碼控制部2所決定的最大尺寸的編碼塊即最大編碼塊，并且直至達到由編碼控制部2所決定的上限的層次數為止，將該最大編碼塊層次性地分割為各編碼塊。
[0063] S卩，塊分割部1實施如下處理：將切片根據由編碼控制部2所決定的分割而分割為各編碼塊，輸出該編碼塊。另外，各編碼塊被分割為成為預測處理單位的一個或多個預測塊。
[0064] 另外，塊分割部1構成了塊分割部件。
[0065] 編碼控制部2實施如下處理：決定成為實施編碼處理時的處理單位的編碼塊的最大尺寸，并且決定最大尺寸的編碼塊被層次性地分割時的上限的層次數，從而決定各個編碼塊的尺寸。
[0066] 另外，編碼控制部2實施如下處理：從可選擇的1個以上的編碼模式（表示預測處理單位的預測塊的尺寸等不同的1個以上的幀內部編碼模式、預測塊的尺寸等不同的1個以上的幀間編碼模式）中，選擇適用于從塊分割部1輸出的編碼塊的編碼模式。作為選擇方法的例子有如下方法：從可選擇的1個以上的編碼模式中，選擇針對從塊分割部1輸出的編碼塊的編碼效率最高的編碼模式。
[0067] 另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是幀內部編碼模式的情況下，將在該幀內部編碼模式下實施針對編碼塊的幀內部預測處理時所使用的幀內部預測參數，針對作為上述幀內部編碼模式所表示的預測處理單位的每個預測塊來決定，在編碼效率最高的編碼模式是幀間編碼模式的情況下，將在該幀間編碼模式下實施針對編碼塊的幀間預測處理時所使用的幀間預測參數，針對作為上述幀間編碼模式所表示的預測處理單位的每個預測塊來決定。
[0068] 而且，編碼控制部2實施如下處理：決定對變換/量化部7以及逆量化/逆變換部 8提供的預測差分編碼參數。在預測差分編碼參數中，包括表示成為編碼塊中的正交變換處理單位的正交變換塊的分割信息的正交變換塊分割信息、對進行變換系數的量化時的量化步長進行規(guī)定的量化參數等。
[0069] 另外，編碼控制部2構成了編碼參數決定部件。
[0070] 切換開關3實施如下處理：如果由編碼控制部2所決定的編碼模式是幀內部編碼模式，則將從塊分割部1輸出了的編碼塊輸出到幀內部預測部4,如果由編碼控制部2所決定的編碼模式是幀間編碼模式，則將從塊分割部1輸出了的編碼塊輸出到運動補償預測部 5 〇
[0071] 幀內部預測部4實施如下處理：在由編碼控制部2選擇了幀內部編碼模式作為與從切換開關3輸出了的編碼塊對應的編碼模式的情況下，針對作為進行該編碼塊的預測處理時的預測處理單位的每個預測塊，一邊參照在幀內部預測用存儲器10中儲存著的局部解碼圖像，一邊實施使用了由編碼控制部2所決定的幀內部預測參數的幀內部預測處理 (幀內預測處理）來生成幀內部預測圖像。
[0072] 運動補償預測部5實施如下處理：在由編碼控制部2選擇了幀間編碼模式作為與從切換開關3輸出了的編碼塊對應的編碼模式的情況下，將編碼塊和在運動補償預測幀存儲器12中儲存著的1幀以上的局部解碼圖像，按照作為預測處理單位的預測塊單位進行比較而搜索運動矢量，使用該運動矢量和由編碼控制部2所決定的參照的幀編號等幀間預測參數，按照預測塊單位來實施針對該編碼塊的幀間預測處理（運動補償預測處理），生成幀間預測圖像。
[0073] 另外，由幀內部預測部4、幀內部預測用存儲器10、運動補償預測部5以及運動補償預測幀存儲器12構成了預測部件。
[0074] 減法部6實施如下處理：從由塊分割部1輸出了的編碼塊，減去由幀內部預測部4 所生成的幀內部預測圖像或者由運動補償預測部5所生成的幀間預測圖像，將表示作為其減法結果的差分圖像的預測差分信號輸出到變換/量化部7。另外，減法部6構成了差分圖像生成部件。
[0075] 變換/量化部7實施如下處理：參照由編碼控制部2所決定的預測差分編碼參數中包含的正交變換塊分割信息，按照正交變換塊單位來實施針對從減法部6輸出了的預測差分信號的正交變換處理（例如DCT(離散余弦變換）、DST(離散正弦變換）、預先對特定的學習序列進行了基底設計的KL變換等正交變換處理）而計算變換系數，并且參照在該預測差分編碼參數中包含的量化參數，對該正交變換塊單位的變換系數進行量化，將作為量化后的變換系數的壓縮數據輸出到逆量化/逆變換部8以及可變長編碼部13。
[0076] 另外，變換/量化部7構成了圖像壓縮部件。
[0077] 變換/量化部7也可以在對變換系數進行量化時，使用將根據上述量化參數計算的量化步長針對每個變換系數進行縮放的量化矩陣，實施變換系數的量化處理。
[0078] 此處，圖10是示出8X8DCT的量化矩陣的一個例子的說明圖。
[0079] 圖中的數字表示各變換系數的量化步長的縮放值。關于縮放值為0的系數，由于量化步長成為〇,所以等效于"無量化"。
[0080] 例如，為了抑制編碼比特率，如圖10所示，越是高頻的變換系數，將量化步長縮放為越大的值，從而能夠抑制在復雜的圖像區(qū)域等中發(fā)生的高頻的變換系數來抑制代碼量，并且不會遺漏地對大幅影響主觀品質的低頻的系數的信息進行編碼。
[0081] 這樣，在希望控制每個變換系數的量化步長的情況下，使用量化矩陣即可。
[0082] 另外，關于量化矩陣，能夠以各正交變換尺寸針對每個顏色信號、編碼模式（是幀內部編碼還是幀間編碼）使用獨立的矩陣，能夠分別選擇是從作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣或已經編碼了的量化矩陣中選擇、還是使用新的量化矩陣。
[0083] 因此，變換/量化部7對于各正交變換尺寸，針對顏色信號、編碼模式的每一個，將表示是否使用新的量化矩陣的標志信息設定為應編碼的量化矩陣參數。
[0084] 而且，在使用新的量化矩陣的情況下，將圖10所示那樣的量化矩陣的各縮放值設定為應編碼的量化矩陣參數。另一方面，在不使用新的量化矩陣的情況下，將從作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣、或者已經編碼了的量化矩陣中確定要使用的矩陣的索引，設定為應編碼的量化矩陣參數。但是，在不存在可參照的已經編碼了的量化矩陣的情況下，僅能夠選擇預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣。
[0085] 然后，變換/量化部7將所設定的量化矩陣參數作為自適應參數集合的一部分而輸出到可變長編碼部13。
[0086] 逆量化/逆變換部8實施如下處理：參照由編碼控制部2所決定的預測差分編碼參數中包含的量化參數以及正交變換塊分割信息，按照正交變換塊單位對從變換/量化部 7輸出了的壓縮數據進行逆量化，并且實施針對作為逆量化后的壓縮數據的變換系數的逆正交變換處理，計算與從減法部6輸出了的預測差分信號相當的局部解碼預測差分信號。另外，在變換/量化部7使用量化矩陣實施了量化處理的情況下，在逆量化處理時，也參照該量化矩陣來實施對應的逆量化處理。
[0087] 加法部9實施如下處理：將由逆量化/逆變換部8計算出的局部解碼預測差分信號、和由幀內部預測部4所生成的幀內部預測圖像或者由運動補償預測部5所生成的幀間預測圖像進行相加，計算與從塊分割部1輸出了的編碼塊相當的局部解碼圖像。
[0088] 另外，由逆量化/逆變換部8以及加法部9構成了局部解碼圖像生成部件。
[0089] 幀內部預測用存儲器10是儲存由加法部9計算出的局部解碼圖像的記錄介質。
[0090] 環(huán)路濾波器部11實施如下處理：對由加法部9計算出的局部解碼圖像實施規(guī)定的濾波處理，輸出濾波處理后的局部解碼圖像。
[0091] 具體而言，進行如下處理：降低在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真的濾波（去塊濾波）處理、按照像素單位自適應地相加偏移的（像素自適應偏移）處理、自適應地切換維納濾波器等線性濾波器來進行濾波處理的自適應濾波處理等。
[0092] 其中，環(huán)路濾波器部11對于上述去塊濾波處理、像素自適應偏移處理以及自適應濾波處理的各個處理，決定是否進行處理，將各處理的有效標志作為應編碼的自適應參數集合的一部分以及切片等級頭部的一部分而輸出到可變長編碼部13。另外，在使用多個上述濾波處理時，依次實施各濾波處理。圖11示出使用多個濾波處理時的環(huán)路濾波器部11 的結構例。
[0093] 一般使用的濾波處理的種類越多，圖像品質越提高，但另一方面，處理負荷變高。艮P，圖像品質和處理負荷處于折衷的關系。另外，各濾波處理的圖像品質改善效果根據濾波處理對象圖像的特性而不同。因此，依照運動圖像編碼裝置容許的處理負荷、編碼處理對象圖像的特性，決定要使用的濾波處理即可。
[0094] 另外，環(huán)路濾波器部11構成了濾波部件。
[0095] 此處，在去塊濾波處理中，能夠從初始值變更在對塊邊界施加的濾波強度的選擇中使用的各種參數。在變更的情況下，將該參數作為應編碼的自適應參數集合的一部分而輸出到可變長編碼部13。
[0096] 在像素自適應偏移處理中，最初，將圖像分割為多個塊，按照該塊單位，在未進行偏移處理的情況下也定義為級別分類方法之一，從預先準備的多個級別分類方法中選擇一個級別分類方法。
[0097] 接下來，通過所選擇的級別分類方法，對塊內的各像素進行級別分類，針對每個級另1J，計算補償編碼失真的偏移值。
[0098] 最后，進行對局部解碼圖像的亮度值相加其偏移值的處理，從而改善局部解碼圖像的圖像品質。
[0099] 因此，在像素自適應偏移處理中，將塊分割信息、表示各塊的級別分類方法的索弓丨、確定塊單位的各級別的偏移值的偏移信息，作為應編碼的自適應參數集合的一部分而輸出到可變長編碼部13。
[0100] 另外，在像素自適應偏移處理中，例如也可以始終按照最大編碼塊這樣的固定尺寸的塊單位進行分割，針對每個該塊來選擇級別分類方法，進行每個級別的自適應偏移處理。在該情況下，不需要上述塊分割信息，能夠將代碼量削減與塊分割信息所需的代碼量相應的量。
[0101] 在自適應濾波處理中，通過規(guī)定的方法對局部解碼圖像進行級別分類，針對屬于各級別的每個區(qū)域（局部解碼圖像），設計對重疊了的失真進行補償的濾波器，使用該濾波器來實施該局部解碼圖像的濾波處理。
[0102] 然后，將針對每個級別所設計的濾波器，作為應編碼的自適應參數集合的一部分而輸出到可變長編碼部13。
[0103] 作為級別分類方法，有如下方法：將圖像在空間上等間隔地劃分的簡易的方法、按照塊單位根據圖像的局部性的特性（分散等）而分類的方法。
[0104] 另外，關于在自適應濾波處理中使用的級別數，既可以預先設定為在運動圖像編碼裝置以及運動圖像解碼裝置中公用的值，也可以作為應編碼的自適應參數集合的一部分。
[0105] 相比于前者，后者能夠更自由地設定所使用的級別數，所以圖像品質改善效果提高，但另一方面，為了對級別數進行編碼，代碼量相應地增加。
[0106] 而且，也可以不針對整個圖像，而是例如針對最大編碼塊這樣的固定尺寸的每個塊，進行自適應濾波處理的級別分類以及濾波器設計/濾波處理。
[0107] 即，也可以按照對固定尺寸的塊內進行分割而得到的多個小塊單位，根據圖像的局部性的特性（分散等）來進行級別分類，針對每個級別進行濾波器設計以及濾波處理，從而針對固定尺寸的每個塊，將各級別的濾波器作為自適應參數集合的一部分而實施編碼。
[0108] 由此，相比于針對整個圖像實施級別分類以及濾波器設計/濾波處理的情況，能夠實現與局部性的性質對應的高精度的濾波處理。
[0109] 另外，在進行像素自適應偏移處理以及自適應濾波處理的情況下，需要在環(huán)路濾波器部11中參照影像信號，所以需要變更圖1的運動圖像編碼裝置以使影像信號被輸入到環(huán)路濾波器部11。
[0110] 運動補償預測幀存儲器12是儲存環(huán)路濾波器部11的濾波處理后的局部解碼圖像的記錄介質。
[0111] 可變長編碼部13對從變換/量化部7輸出了的壓縮數據、編碼控制部2的輸出信號（最大編碼塊內的塊分割信息、編碼模式、預測差分編碼參數、幀內部預測參數或者幀間預測參數）、以及從運動補償預測部5輸出了的運動矢量（編碼模式是幀間編碼模式的情況）進行可變長編碼來生成編碼數據。
[0112] 另外，可變長編碼部13如圖15例示，作為編碼比特流的頭部信息，對序列等級頭部、圖片等級頭部、自適應參數集合進行編碼，并與圖片數據一起生成編碼比特流。
[0113] 另外，可變長編碼部13構成了可變長編碼部件。
[0114] 其中，圖片數據由1個以上的切片數據構成，各切片數據是將切片等級頭部和該切片內存在的上述編碼數據匯總而得到的數據。
[0115] 序列等級頭部是將圖像尺寸、顏色信號格式、亮度信號、色差信號的信號值的比特深度、序列單位下的環(huán)路濾波器部11中的各濾波處理（自適應濾波處理、像素自適應偏移處理、去塊濾波處理）的有效標志信息、量化矩陣的有效標志信息等一般按照序列單位成為共同的頭部信息進行匯總而得到的。
[0116] 圖片等級頭部是將參照的序列等級頭部的索引、運動補償時的參照圖片數、熵編碼的概率表格初始化標志等按照圖片單位來設定的頭部信息進行匯總而得到的。
[0117] 切片等級頭部是將表示該切片處于圖片的哪個位置的位置信息、表示參照哪個圖片等級頭部的索引、切片的編碼類型（所有幀內部編碼、幀間編碼等）、在該切片中使用的自適應參數集合的索引以及表示是否進行使用了上述索引所表示的自適應參數集合的環(huán) 路濾波器部11中的各濾波處理（自適應濾波處理、像素自適應偏移處理、去塊濾波處理）的標志信息等切片單位的參數進行匯總而得到的。
[0118] 自適應參數集合是分別具有是否存在與自適應濾波處理、像素自適應偏移處理、去塊濾波處理有關的參數（濾波參數）以及與量化矩陣有關的參數（量化矩陣參數）的標志、并具有僅與上述標志是"有效"的參數對應的參數的參數集合。而且，自適應參數集合還具有用于對在編碼比特流中所復用的多個自適應參數集合進行識別的索引（aps_id)。
[0119] 此處，可變長編碼部13如圖18那樣在序列的切換時對新的序列等級頭部（序列等級頭部2)進行編碼的情況下，使在本序列等級頭部之前編碼了的自適應參數集合全部成為無效。
[0120] 因此，在圖18中，在圖片數據30的編碼中參照自適應參數集合2這樣的跨越序列等級頭部的自適應參數集合的參照被禁止。
[0121] 即，在對新的序列等級頭部（序列等級頭部2)進行了編碼之后的圖片中，使用自適應參數集合內的參數的情況下，需要將該參數作為新的自適應參數集合而進行編碼。因此，在由于上述自適應參數集合的無效化處理等而無法使用任何過去的自適應參數集合的情況下新編碼的自適應參數集合，成為量化矩陣等參數不參照過去的自適應參數集合而僅用該自適應參數集合就能夠對所有參數進行解碼的自適應參數集合。
[0122] 這樣，在序列的切換時，通過序列等級頭部，對自適應參數集合進行初始化，從而在運動圖像解碼裝置中，在新的序列等級頭部被解碼之前的編碼比特流中產生了錯誤時，能夠避免由于參照處于該流內的自適應參數集合而引起的解碼錯誤，能夠提高容錯性。
[0123] 其中，也可以構成為在序列等級頭部中具有自適應參數集合的初始化標志aps_ reset_flag從而提高容錯性。具體而言，僅在初始化標志aps_reset_flag是"有效"的情況下，對自適應參數集合進行初始化，在初始化標志aps_reset_flag是"無效"的情況下，不對自適應參數集合進行初始化。通過這樣作為序列等級頭部的參數之一而具有自適應參數集合的初始化標志，從而能夠實施自適應的初始化處理，通過僅在需要提高容錯性時實施初始化，能夠抑制自適應參數集合的初始化所致的編碼效率降低。
[0124] 而且，作為對于即使在運動圖像解碼裝置中并非從編碼比特流的開頭而是從途中開始解碼、在規(guī)定的圖片以后也能夠始終正確地實施影像再生的隨機存取性進行保證的特殊的圖片，有 IDR(instantaneous decoding refresh，即時解碼刷新）圖片和 CRA(clean random access,凈隨機存?。﹫D片。
[0125] 圖22不出包括IDR圖片的圖片構造的例子。其中，在圖22中，將顯不順序以及編碼（解碼）順序的最初的值設為0。
[0126] IDR圖片是幀內部編碼圖片，是如下圖片：即使在從IDR圖片開始了解碼的情況下，也對在IDR圖片之后被編碼的圖片（圖22中的灰色的圖片）進行圖22所示的運動補償時的參照圖片的限制，從而能夠始終正確地解碼IDR圖片以及在IDR圖片之后被解碼的圖片。
[0127] 接下來，圖23不出包括CRA圖片的圖片構造的例子。其中，在圖23中將顯不順序以及編碼（解碼）順序的最初的值設為0。
[0128] CRA圖片是幀內部編碼圖片，是如下圖片：即使在從CRA圖片開始了解碼的情況下，也對在CRA圖片之后被編碼、且在顯示順序中也比CRA圖片靠后的圖片（圖23中的灰色的圖片）進行圖23所示的運動補償時的參照圖片的限制，而且，禁止先于CRA圖片被編碼并且顯示順序比CRA圖片靠后的圖片的存在，從而能夠始終正確地解碼CRA圖片以及在 CRA圖片之后被顯不的圖片。
[0129] 此處，在通過IDR圖片、CRA圖片進行隨機存取的情況下，如果關于自適應參數集合，未具有在上述圖片之前被編碼了的全部自適應參數集合，則在上述中用IDR圖片、CRA 圖片能夠正確地解碼的圖片有可能變得無法正確地解碼（這是因為這些能夠正確地解碼的圖片有可能參照在IDR圖片、CRA圖片之前被編碼了的自適應參數集合）。因此，在IDR 圖片、CRA圖片的編碼數據之前的編碼比特流越長，必須對越大量的自適應參數集合進行解碼，或者產生由于在IDR圖片、CRA圖片的編碼數據之前的編碼比特流的錯誤而無法對自適應參數集合進行解碼而無法正確地解碼圖片這樣的容錯性的降低，所以作為自適應參數集合的參數的一部分，具有使已編碼的自適應參數集合成為無效的標志previous_aps_ clear_flag?？勺冮L編碼部13在previous_aps_clear_flag是"有效"的情況下，使在該自適應參數集合之前被編碼了的自適應參數集合成為無效，在previous_aps_clear_flag 是"無效"的情況下，不實施上述無效化處理。
[0130] 圖24示出表示一部分的自適應參數集合的無效化處理的編碼比特流的例子。其中，關于圖24的圖片數據31，參照序列等級頭部2、圖片等級頭部3、自適應參數集合21來進行編碼（解碼）處理。一般，把這樣將與圖片數據關聯的頭部信息進行匯總得到的圖片存取的單位稱為存取單元。
[0131] 關于圖24的自適應參數集合，僅針對自適應參數集合21使標志previous_aps_ clear_f lag成為"有效"，從而從自適應參數集合1至自適應參數集合20被無效化，在編碼順序中在IDR圖片或者CRA圖片以后的圖片中，無法參照自適應參數集合1至自適應參數集合20。因此，在進行基于IDR圖片、CRA圖片的隨機存取的情況下，從圖24的序列等級頭部2解碼即可。
[0132] 另一方面，在隨機存取時的高速的解碼處理、高的容錯性變得不需要的情況下，使標志previous_aps_clear_flag始終成為"無效"而不進行自適應參數集合的無效化即可。因此，能夠通過標志previous_aps_clear_f lag,實現自適應的自適應參數集合的無效化處理。
[0133] 在上述例子中，通過自適應參數集合內的標志previous_aps_clear_flag，實現了用于隨機存取的自適應的自適應參數集合的無效化處理，但也可以通過在序列等級頭部或者被稱為NAL單元的單元內具有在對IDR圖片或者CRA圖片進行編碼（解碼）時使一部分的自適應參數集合成為無效化的標志part_aps_clear_flag，從而實現用于隨機存取的自適應的自適應參數集合的無效化處理。其中，NAL單元是指，對圖15中的切片數據、序列等級頭部、圖片等級頭部、自適應參數頭部等進行儲存的單元，且是具有對于在單元內儲存著的數據是切片數據還是頭部信息這樣的內容進行識別的識別信息的單元，在切片數據的情況下，還能夠通過該識別信息，識別IDR圖片或者CRA圖片。
[0134] 具體而言，在IDR圖片或者CRA圖片的編碼時，如果標志part_aps_clear_flag是 "有效"，則可變長編碼部13使IDR圖片或者CRA圖片的前一個圖片的圖片數據之前的自適應參數集合成為無效，從而實現與標志previous_aps_clear_flag的情況同樣的用于隨機存取的自適應的自適應參數集合的無效化處理。即，在圖24的例子的情況下，通過使序列等級頭部2或者圖片數據31的NAL單元內存在的標志part_aps_clear_flag成為"有效"，從而在圖片數據31的編碼時使作為圖片數據31的前一個圖片數據的圖片數據30之前的自適應參數集合成為無效，所以在編碼順序中在IDR圖片或者CRA圖片以后的圖片中，無法參照自適應參數集合1至自適應參數集合20。即，包括IDR圖片、CRA圖片的圖片數據的存取單元之前的自適應參數集合被無效化，變得無法參照。因此，在進行基于IDR圖片、CRA圖片的隨機存取的情況下，從圖24的序列等級頭部2解碼即可。
[0135] 另外，在上述說明中，在標志part_aps_clear_flag是"有效"的情況下，進行自適應參數集合的無效化處理，但也可以不設置上述標志，而在IDR圖片或者CRA圖片的編碼時始終進行自適應參數集合的無效化處理。由此，與上述標志的編碼所需的代碼量相應量的代碼量被削減，另外在編碼處理時參照上述標志的處理變得不需要，運動圖像編碼裝置被簡化。
[0136] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的其他方法，還考慮構成在自適應參數集合內具有ap S_gr〇Up_id這樣的參數的運動圖像編碼裝直。
[0137] 在上述運動圖像編碼裝置中，如圖27所示，在自適應參數集合內設置上述參數，在可變長編碼部13對IDR圖片或者CRA圖片進行編碼時，使具有與該IDR圖片或者CRA圖片的圖片數據所參照的自適應參數集合具有的aps_group_id不同的值的aps_group_id的自適應參數集合成為無效。
[0138] 例如，在圖24的情況下，通過將自適應參數集合1至自適應參數集合20的aps_ group_id設為0,并在自適應參數集合21以后將aps_group_id設為1，從而在IDR圖片或者CRA圖片的圖片數據31參照自適應參數集合21時，使具有與自適應參數集合21的aps_ group_id(=l)不同的aps_group_id( = 0)的自適應參數集合1至自適應參數集合20無效化。因此，從圖片數據31以后的圖片數據起，無法參照自適應參數集合1至自適應參數集合20。
[0139] 這樣，根據IDR圖片或者CRA圖片，以變更自適應參數集合的aps_group_id的值的方式實施編碼，從而限制自適應參數集合的參照，運動圖像解碼裝置如果從包括IDR圖片或者CRA圖片的圖片數據的存取單元開始解碼，則在規(guī)定的圖片以后能夠始終正確地解碼。另外，aps_group_id也可以設為僅具有0或者1的標志，在該情況下，根據IDR圖片或者CRA圖片，將自適應參數集合所具有的上述標志的值從0切換為1或者從1切換為0,從而能夠實現同樣的自適應參數集合的無效化處理。
[0140] 通過使用導入上述aps_group_id的方法，即使在由于將編碼比特流分配到多個線路來發(fā)送等這樣的理由而在運動圖像解碼裝置側接受的編碼比特流內的數據的順序從在運動圖像編碼裝置側編碼了的次序被調換了的情況下，也能夠正確地解碼。具體而言，即使按照圖24的順序編碼了的編碼比特流如圖28所示，在運動圖像解碼裝置側以先于圖片數據30而解碼自適應參數集合21、22的方式被調換，在IDR圖片或者CRA圖片的圖片數據 31參照了自適應參數集合21時，也能夠使具有與自適應參數集合21不同的aps_gr 〇up_ id( = 0)的自適應參數集合1至自適應參數集合20適當地無效化。
[0141] 另外，在導入上述aps_group_id的方法中，相比于容錯性，使編碼效率更優(yōu)先的情況下，根據IDR圖片或者CRA圖片對自適應參數集合的aps_gr 〇up_id的值以不切換的方式進行編碼，從而自適應參數集合不被無效化也行，所以能夠避免可參照的自適應參數集合被限制所致的編碼效率的降低。
[0142] 另外，關于在自適應參數集合內具有aps_group_id的運動圖像編碼裝置，也可以以使具有與在對IDR圖片或者CRA圖片以外的圖片進行解碼時也參照的aps_gr〇up_id不同的值的apS_gr〇Up_id的自適應參數集合成為無效的方式構成運動圖像編碼裝置。由此，能夠進行任意地執(zhí)行自適應參數集合的aps_group_id的變更的定時所致的自適應參數集合的自適應的無效化處理，能夠實現自適應的容錯性處理。
[0143] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的其他方法，也可以以在對IDR圖片或者CRA圖片進行編碼時可變長編碼部13使具有比IDR圖片或者CRA圖片所參照的自適應參數集合的索引（aps_id)小的索引的自適應參數集合成為無效化的方式，構成運動圖像編碼裝置。
[0144] S卩，在圖24、圖28的例子中按照編碼順序附加了自適應參數集合的索引的情況下，在IDR圖片或者CRA圖片的圖片數據31參照了自適應參數集合21時，具有比自適應參數集合21的索引小的索引的自適應參數集合1至自適應參數集合20被無效化。因此，從圖片數據31以后的圖片數據起無法參照自適應參數集合1至自適應參數集合20,運動圖像解碼裝置如果從包括IDR圖片或者CRA圖片的圖片數據31的存取單元開始解碼，則在規(guī)定的圖片以后能夠始終正確地解碼。
[0145] 而且，可變長編碼部13也可以構成為并非將量化矩陣參數作為自適應參數集合來實施編碼，而是作為按照圖片單位可變更的參數，在圖片等級頭部內實施編碼。由此，能夠以獨立的單位對量化矩陣參數和濾波參數進行編碼。在該情況下，對量化矩陣參數也實施與在上述中說明了的利用序列等級頭部的自適應參數集合初始化處理、或伴隨IDR、CRA 圖片的自適應參數集合的無效化處理同樣的處理。
[0146] 另外，可變長編碼部13也可以構成為并非將在環(huán)路濾波器部11中使用的濾波參數作為自適應參數集合而實施編碼，而是對于按照切片單位使用的濾波參數，直接利用切片等級頭部等切片數據實施編碼。由此，在切片之間不存在重復的濾波參數的情況下，無需為了在環(huán)路濾波器部11中使用的濾波參數而對在作為切片等級頭部之一的切片的解碼處理時所參照的自適應參數集合的索引進行編碼，所以能夠削減索引的代碼量，能夠改善編碼效率。
[0147] 在圖1的例子中，設想了作為運動圖像編碼裝置的構成要素的塊分割部1、編碼控制部2、切換開關3、幀內部預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化 /逆變換部8、加法部9、幀內部預測用存儲器10、環(huán)路濾波器部11、運動補償預測幀存儲器 12以及可變長編碼部13的各個由專用的硬件（例如安裝了 CPU的半導體集成電路、單片式微型計算機等）所構成的例子，但在運動圖像編碼裝置由計算機構成的情況下，也可以將記述了塊分割部1、編碼控制部2、切換開關3、幀內部預測部4、運動補償預測部5、減法部 6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長編碼部13 的處理內容的程序儲存到計算機的存儲器，該計算機的CPU執(zhí)行在該存儲器中儲存著的程序。
[0148] 圖2是示出本發(fā)明的實施方式1的運動圖像編碼裝置的處理內容（運動圖像編碼方法）的流程圖。
[0149] 圖3是示出本發(fā)明的實施方式1的運動圖像解碼裝置的結構圖。
[0150] 在圖3中，可變長解碼部31如果輸入了由圖1的運動圖像編碼裝置所生成的編碼比特流，則從該比特流，解碼序列等級頭部、圖片等級頭部、自適應參數集合、切片等級頭部等各頭部信息，并且從該比特流，可變長解碼表示層次性地分割的各個編碼塊的分割狀況的塊分割信息。
[0151] 此時，從由可變長解碼部31可變長解碼了的自適應參數集合內的量化矩陣參數，確定該自適應參數集合的量化矩陣。具體而言，在針對各正交變換尺寸的顏色信號、編碼模式的每一個，量化矩陣參數表示是作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣、或者已經解碼了的量化矩陣（并非新的量化矩陣）的情況下，參照確定是上述自適應參數集合中包含的上述矩陣內的哪個量化矩陣的索引信息來確定量化矩陣，在量化矩陣參數表示使用新的量化矩陣的情況下，將量化矩陣參數中包含的量化矩陣確定為要使用的量化矩陣。
[0152] 另外，可變長解碼部31實施如下處理：參照各頭部信息，確定切片數據中包含的最大解碼塊（與圖1的運動圖像編碼裝置的"最大編碼塊"相當的塊），參照塊分割信息，確定作為對最大解碼塊層次性地進行分割來進行解碼處理的單位的解碼塊（與圖1的運動圖像編碼裝置的"編碼塊"相當的塊），對與各個解碼塊有關的壓縮數據、編碼模式、幀內部預測參數（編碼模式是幀內部編碼模式的情況）、幀間預測參數（編碼模式是幀間編碼模式的情況）、預測差分編碼參數以及運動矢量（編碼模式是幀間編碼模式的情況）進行可變長解碼。另外，可變長解碼部31構成了可變長解碼部件。
[0153] 逆量化/逆變換部32實施如下處理：參照由可變長解碼部31可變長解碼了的預測差分編碼參數中包含的量化參數以及正交變換塊分割信息，對由可變長解碼部31可變長解碼了的壓縮數據按照正交變換塊單位進行逆量化，并且實施針對作為逆量化后的壓縮數據的變換系數的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出了的局部解碼預測差分信號相同的解碼預測差分信號。另外，逆量化/逆變換部32構成了差分圖像生成部件。
[0154] 此處，在由可變長解碼部31可變長解碼了的各頭部信息表示在該切片中使用量化矩陣來實施逆量化處理的情況下，使用量化矩陣來進行逆量化處理。
[0155] 具體而言，使用在根據各頭部信息確定的該切片中參照的自適應參數集合的量化矩陣來進行逆量化處理。
[0156] 切換開關33實施如下處理：如果由可變長解碼部31可變長解碼了的編碼模式是幀內部編碼模式，則將由可變長解碼部31可變長解碼了的幀內部預測參數輸出到幀內部預測部34,如果由可變長解碼部31可變長解碼了的編碼模式是幀間編碼模式，則將由可變長解碼部31可變長解碼了的幀間預測參數以及運動矢量輸出到運動補償部35。
[0157] 幀內部預測部34實施如下處理：在根據由可變長解碼部31可變長解碼了的塊分割信息確定的與解碼塊有關的編碼模式是幀內部編碼模式的情況下，針對作為進行該解碼塊的預測處理時的預測處理單位的每個預測塊，一邊參照在幀內部預測用存儲器37中儲存著的解碼圖像，一邊實施使用了從切換開關33輸出了的幀內部預測參數的幀內部預測處理（幀內預測處理）來生成幀內部預測圖像。
[0158] 運動補償部35實施如下處理：在根據由可變長解碼部31可變長解碼了的塊分割信息確定的與解碼塊有關的編碼模式是幀間編碼模式的情況下，針對作為進行上述解碼塊的預測處理時的預測處理單位的每個預測塊，一邊參照在運動補償預測幀存儲器39中儲存著的解碼圖像，一邊實施使用了從切換開關33輸出了的運動矢量和幀間預測參數的幀間預測處理（運動補償預測處理）來生成幀間預測圖像。
[0159] 另外，由幀內部預測部34、幀內部預測用存儲器37、運動補償部35以及運動補償預測幀存儲器39構成了預測部件。
[0160] 加法部36實施如下處理：將由逆量化/逆變換部32計算出的解碼預測差分信號、和由幀內部預測部34所生成的幀內部預測圖像或者由運動補償部35所生成的幀間預測圖像進行相加，計算與從圖1的加法部9輸出了的局部解碼圖像相同的解碼圖像。另外，加法部36構成了解碼圖像生成部件。
[0161] 幀內部預測用存儲器37是儲存由加法部36計算出的解碼圖像的記錄介質。
[0162] 環(huán)路濾波器部38實施如下處理：對由加法部36計算出的解碼圖像，實施規(guī)定的濾波處理，輸出濾波處理后的解碼圖像。
[0163] 具體而言，進行如下處理：使在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真降低的濾波（去塊濾波）處理、按照像素單位自適應地相加偏移的（像素自適應偏移）處理、自適應地切換維納濾波器等線性濾波器來實施濾波處理的自適應濾波處理等。
[0164] 其中，環(huán)路濾波器部38針對上述去塊濾波處理、像素自適應偏移處理、自適應濾波處理的各個，參照由可變長解碼部31可變長解碼了的各頭部信息，確定是否利用該切片來進行。
[0165] 另外，在圖1的運動圖像編碼裝置中，在并非將在環(huán)路濾波器部38中使用的濾波參數作為頭部信息之一的自適應參數集合的一部分而實施編碼，而是對于按照切片單位使用的濾波參數分別直接利用切片數據來實施編碼的情況下，可變長解碼部31從切片數據，解碼在環(huán)路濾波器部38中使用的濾波參數。
[0166] 此時，在進行2個以上的濾波處理的情況下，如果運動圖像編碼裝置的環(huán)路濾波器部11如圖11那樣構成，則如圖12所示構成環(huán)路濾波器部38。
[0167] 另外，環(huán)路濾波器部38構成了濾波部件。
[0168] 此處，在去塊濾波處理中，參照該切片所參照的自適應參數集合，當存在將對塊邊界施加的濾波強度的選擇中使用的各種參數從初始值進行變更的信息的情況下，根據該變更信息，實施去塊濾波處理。在無變更信息的情況下，依照預先決定的方法進行。
[0169] 在像素自適應偏移處理中，參照該切片所參照的自適應參數集合，根據在該自適應參數集合中包含的塊分割信息來分割解碼圖像，并按照該塊單位，參照表示該自適應參數集合中包含的塊單位的級別分類方法的索引，在該索引并非是表示"不進行偏移處理"的索引的情況下，按照塊單位，依照上述索引表示的級別分類方法，對塊內的各像素進行級別分類。
[0170] 另外，作為級別分類方法的候補，預先準備了與環(huán)路濾波器部11的像素自適應偏移處理的級別分類方法的候補相同的候補。
[0171] 然后，進行如下處理：參照對塊單位的各級別的偏移值進行確定的偏移信息（自適應參數集合中包含的偏移信息），對解碼圖像的亮度值相加偏移。
[0172] 其中，在運動圖像編碼裝置的環(huán)路濾波器部11的像素自適應偏移處理中，關于塊分割信息不進行編碼，而始終將圖像分割為固定尺寸的塊單位（例如最大編碼塊單位），針對每個該塊選擇級別分類方法，進行每個級別的自適應偏移處理的情況下，在環(huán)路濾波器部38中，也按照與環(huán)路濾波器部11相同的固定尺寸的塊單位，實施像素自適應偏移處理。
[0173] 在自適應濾波處理中，參照該切片所參照的自適應參數集合，使用該自適應參數集合中包含的每個級別的濾波器，通過與圖1的運動圖像編碼裝置相同的方法來實施級別分類，之后根據該級別分類信息，進行濾波處理。
[0174] 其中，在運動圖像編碼裝置的環(huán)路濾波器部11的自適應濾波處理中，并非是針對整個圖像，而是例如針對最大編碼塊這樣的固定尺寸的每個塊進行上述級別分類以及濾波器設計/濾波處理的情況下，在環(huán)路濾波器部38中，針對與環(huán)路濾波器部11相同的固定尺寸的每個塊，也對在各級別中使用的濾波器進行解碼來進行上述級別分類以及濾波處理。
[0175] 另外，可變長解碼部31如圖18那樣，為了序列的切換而在編碼比特流的途中插入了新的序列等級頭部（序列等級頭部2)的情況下，在對新的序列等級頭部進行解碼的時間點使已經解碼了的自適應參數集合全部成為無效。
[0176] 因此，在圖18中，在圖片數據30的解碼時參照自適應參數集合2這樣的跨越序列等級頭部的自適應參數集合的參照不會發(fā)生。而且，在通過上述自適應參數集合的無效化處理等而無法使用任何過去的自適應參數集合的情況下所解碼的自適應參數集合，成為量化矩陣等的參數不參照過去的自適應參數集合而僅利用該自適應參數集合就能夠對所有參數進行解碼的自適應參數集合。
[0177] 通過該限制，能夠避免在新的序列等級頭部之前的編碼比特流中產生了錯誤時參照該比特流內存在的自適應參數集合所致的解碼錯誤，能夠提高容錯性。
[0178] 其中，在運動圖像編碼裝置構成為在序列等級頭部中具有自適應參數集合的初始化標志aps_reset_flag的情況下，僅在由可變長解碼部31解碼了的標志aps_reset_flag 是"有效"的情況下，對自適應參數集合進行初始化，在標志aps_reset_flag是"無效"的情況下，不對自適應參數集合進行初始化。由此，能夠對由進行利用自適應參數集合的初始化標志aps_reset_flag的自適應的初始化處理的運動圖像編碼裝置所生成的流正確地進行解碼。
[0179] 而且，在運動圖像編碼裝置構成為作為自適應參數集合的參數的一部分而具有使已解碼的自適應參數集合成為無效的標志previous_aps_clear_flag的情況下，在由可變長解碼部31解碼了的previous_aps_clear_flag是"有效"的情況下，可變長解碼部31 使在該自適應參數集合之前解碼了的自適應參數集合成為無效，在previous_aps_clear_ flag是"無效"的情況下，不實施上述無效化處理。
[0180] 即，在圖24的編碼比特流的例子中，如果運動圖像編碼裝置的可變長編碼部13將自適應參數集合21的標志previous_aps_clear_flag編碼為"有效"，則自適應參數集合1 至自適應參數集合20被無效化，在編碼順序中在IDR圖片或者CRA圖片以后的圖片中不參照自適應參數集合1至自適應參數集合20,所以在從包括作為IDR圖片或者CRA圖片的圖片數據31的存取單元的開頭即序列等級頭部2起的解碼中，能夠實現利用IDR圖片、CRA圖片的隨機存取。
[0181] 或者，在運動圖像編碼裝置構成為通過在序列等級頭部或者NAL單元內具有在對IDR圖片或者CRA圖片進行解碼時使一部分的自適應參數集合成為無效化的標志part_ aps_clear_flag，從而實現用于隨機存取的自適應參數集合的無效化處理的情況下，如果在IDR圖片或者CRA圖片的解碼時由可變長解碼部31解碼了的標志part_aps_clear_flag 是"有效"，則可變長解碼部31使IDR圖片或者CRA圖片的前一個圖片的圖片數據之前存在的自適應參數集合成為無效。即，在圖24的例子的情況下，如果運動圖像編碼裝置的可變長編碼部13將序列等級頭部2或者圖片數據31的NAL單元內存在的標志part_aps_clear_ flag編碼為"有效"，則在圖片數據31的解碼時使作為圖片數據31的前一個圖片數據的圖片數據30之前存在的自適應參數集合成為無效，所以在解碼順序中在IDR圖片或者CRA圖片以后的圖片中，不參照自適應參數集合1至自適應參數集合20，在從序列等級頭部2起的解碼中，能夠實現利用IDR圖片、CRA圖片的隨機存取。
[0182] 但是，在運動圖像編碼裝置構成為不設置上述標志，而在IDR圖片或者CRA圖片的編碼時始終進行自適應參數集合的無效化處理的情況下，通過以在IDR圖片或者CRA圖片的解碼時可變長解碼部31始終進行上述自適應參數集合的無效化處理的方式來構成運動圖像解碼裝置，能夠對由上述運動圖像編碼裝置所生成的編碼比特流正確地進行解碼。
[0183] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的方法，在運動圖像編碼裝置構成為在自適應參數集合內具有ap S_gr〇Up_id這樣的參數的情況下，運動圖像解碼裝置的可變長解碼部31在對IDR圖片或者CRA圖片進行解碼時，使具有與該IDR圖片或者CRA圖片的圖片數據所參照的自適應參數集合所具有的aps_gr 〇up_id 不同的值的aps_group_id的自適應參數集合成為無效。
[0184] 例如，在圖24的情況下，以使自適應參數集合1至自適應參數集合20的aps_ group_id成為0、在自適應參數集合21以后使aps_group_id成為1的方式，運動圖像編碼裝置進行編碼，從而運動圖像解碼裝置的可變長解碼部31在IDR圖片或者CRA圖片的圖片數據31參照自適應參數集合21時，使具有與自適應參數集合21的aps_group_id ( = 1) 不同的aps_group_id( = 0)的自適應參數集合1至自適應參數集合20成為無效化，所以從圖片數據31以后的圖片數據起無法參照自適應參數集合1至自適應參數集合20,運動圖像解碼裝置通過從包括IDR圖片或者CRA圖片的圖片數據31的存取單元的開頭即序列等級頭部2開始解碼，能夠在規(guī)定的圖片以后始終正確地解碼。
[0185] 另外，在導入上述aps_group_id的方法中，在運動圖像編碼裝置相比于容錯性使編碼效率更優(yōu)先，而根據IDR圖片或者CRA圖片以不切換自適應參數集合的aps_gr 〇up_id 的值的方式進行了編碼的情況下，即使在運動圖像解碼裝置中，在IDR圖片或者CRA圖片的圖片數據參照自適應參數集合時，由于不存在具有與參照的自適應參數集合所具有的aps_ group_id不同的值的aps_group_id的自適應參數集合，所以自適應參數集合不會被無效化而能夠正確地解碼。
[0186] 另外，在以使具有與在對IDR圖片或者CRA圖片以外的圖片進行解碼時也參照的 aps_group_id不同的值的aps_group_id的自適應參數集合成為無效的方式構成了運動圖像編碼裝置的情況下，運動圖像解碼裝置的可變長解碼部31使具有與在對圖片進行解碼時參照的aps_group_id不同的值的aps_group_id的自適應參數集合成為無效。由此，能夠對由實現因任意地進行自適應參數集合的aps_group_id的變更的定時所致的自適應參數集合的自適應的無效化處理的運動圖像編碼裝置所生成的流正確地進行解碼。
[0187] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的其他方法，在運動圖像編碼裝置的可變長編碼部13構成為在對IDR圖片或者CRA圖片進行編碼時通過自適應參數集合的索引（aps_id)進行利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的情況下，運動圖像解碼裝置的可變長解碼部31在參照了 IDR圖片或者 CRA圖片所參照的自適應參數集合時，使具有比該自適應參數集合的索引（aps_id)小的索引的自適應參數集合成為無效化。
[0188] S卩，在圖24、圖28的例子中按照編碼順序附加了自適應參數集合的索引的情況下，在IDR圖片或者CRA圖片的圖片數據31參照了自適應參數集合21時，具有比自適應參數集合21的索引小的索引的自適應參數集合1至自適應參數集合20被無效化。因此，從圖片數據31以后的圖片數據起無法參照自適應參數集合1至自適應參數集合20，運動圖像解碼裝置如果從包括IDR圖片或者CRA圖片的圖片數據31的存取單元開始解碼，則在規(guī)定的圖片以后能夠始終正確地解碼。
[0189] 而且，在運動圖像編碼裝置中，在構成為并非將量化矩陣參數作為自適應參數集合來實施編碼，而是作為按照圖片單位可變更的參數而在圖片等級頭部內實施編碼的情況下，對量化矩陣參數也實施與在上述中說明了的利用序列等級頭部的自適應參數集合初始化處理、或伴隨IDR、CRA圖片的自適應參數集合的無效化處理同樣的處理。
[0190] 運動補償預測幀存儲器39是儲存環(huán)路濾波器部38的濾波處理后的解碼圖像的記錄介質。
[0191] 另外，一般在運動圖像解碼裝置中，作為表示用于規(guī)定存儲器容量等電路規(guī)模的制約的例子，有時規(guī)定了分布（profile)和等級。在分布中規(guī)定運動圖像解碼裝置的規(guī)范 (可變長解碼部、逆量化/逆變換部、幀內部預測部、運動補償部、環(huán)路濾波器部等的構成內容），在等級中限制最大輸入圖像尺寸、幀存儲器數、可取的運動矢量的范圍等運動圖像解碼裝置的必要存儲器容量、對運算量有影響的設定值。另一方面，關于環(huán)路濾波器部38中的像素自適應偏移處理的每個圖片的偏移數、自適應濾波處理的每個圖片的濾波器數，圖像的空間分辨率越高，最佳的數量越大，所以關于像素自適應偏移處理的每個圖片的最大偏移數、自適應濾波處理的每個圖片的最大濾波器數，也可以根據在等級中規(guī)定的最大輸入圖像尺寸來規(guī)定。由此，能夠自適應地規(guī)定適合的最大偏移數、最大濾波器數。
[0192] 在圖3的例子中，設想了作為運動圖像解碼裝置的構成要素的可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內部預測部34、運動補償部35、加法部36、幀內部預測用存儲器37、環(huán)路濾波器部38以及運動補償預測幀存儲器39的各個由專用的硬件（例如安裝了 CPU的半導體集成電路、單片式微型計算機等）構成了的例子，但在運動圖像解碼裝置由計算機構成的情況下，也可以將記述了可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內部預測部34、運動補償部35、加法部36以及環(huán)路濾波器部38的處理內容的程序儲存到計算機的存儲器，該計算機的CPU執(zhí)行在該存儲器中儲存著的程序。
[0193] 圖4是示出本發(fā)明的實施方式1的運動圖像解碼裝置的處理內容（運動圖像解碼方法）的流程圖。
[0194] 接下來，說明動作。
[0195] 在該實施方式1中，說明將影像的各幀圖像作為輸入圖像而實施從已編碼的附近像素起的幀內部預測或者接近幀間的運動補償預測，并對所得到的預測差分信號實施利用正交變換、量化的壓縮處理，之后進行可變長編碼來生成編碼比特流的運動圖像編碼裝置，以及對從該運動圖像編碼裝置輸出的編碼比特流進行解碼的運動圖像解碼裝置。
[0196] 圖1的運動圖像編碼裝置的特征在于，適應于影像信號的空間/時間方向的局部性的變化，將影像信號分割為各種尺寸的塊，進行幀內/幀間自適應編碼。
[0197] 一般，影像信號具有在空間/時間上信號的復雜度局部性地變化的特性。如果在空間上觀察，則在某個影像幀上，例如有時既有如天空、壁等那樣的在比較寬的圖像區(qū)域中具有均勻的信號特性的圖樣，也混合存在人物或包含細致的紋理的繪畫等在小的圖像區(qū)域內具有復雜的紋理圖案的圖樣。
[0198] 即使在時間上觀察，關于天空或壁，局部性地時間方向的圖樣的變化小，但關于活動的人物、物體，其輪廓在時間上呈現剛體/非剛體的運動，所以時間上的變化大。
[0199] 在編碼處理中，進行通過時間/空間上的預測來生成信號功率、熵小的預測差分信號從而削減整體的代碼量的處理，但只要能夠將在預測中使用的參數均勻地應用于盡可能大的圖像信號區(qū)域，就能夠減小該參數的代碼量。
[0200] 另一方面，針對在時間上/空間上變化大的圖像信號圖案，如果將同一預測參數應用于大的圖像區(qū)域，則預測的錯誤增加，所以預測差分信號的代碼量增加。
[0201] 因此，在時間上/空間上變化大的區(qū)域中，期望減小應用同一預測參數來進行預測處理的塊尺寸，增加在預測中使用的參數的數據量，降低預測差分信號的功率/熵。
[0202] 在該實施方式1中，進行與這樣的影像信號的一般的性質適應的編碼，所以構成為最初從規(guī)定的最大塊尺寸開始預測處理等，層次性地分割影像信號的區(qū)域，針對所分割的每個區(qū)域，使預測處理、其預測差分的編碼處理自適應化。
[0203] 關于圖1的運動圖像編碼裝置設為處理對象的影像信號格式，除了由亮度信號和 2個色差信號構成的YUV信號、從數字攝像元件輸出的RGB信號等任意的顏色空間的彩色影像信號以外，還有單色圖像信號、紅外線圖像信號等影像幀由水平/垂直二維的數字采樣 (像素）列構成的任意的影像信號。
[0204] 其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0205] 在以下的說明中，為便于說明，只要沒有特別說明，就設為輸入圖像的影像信號是 YUV信號，并且敘述處理相對亮度分量Y對2個色差分量U、V進行子采樣而得到的4 :2 :0 格式的信號的情況。
[0206] 另外，將與影像信號的各幀對應的處理數據單位稱為"圖片"。
[0207] 在該實施方式1中，將"圖片"設為逐次掃描（逐行掃描）了的影像幀信號而進行說明，但在影像信號是隔行掃描信號的情況下，"圖片"也可以是作為構成影像幀的單位的場圖像信號。
[0208] 最初，說明圖1的運動圖像編碼裝置的處理內容。
[0209] 首先，編碼控制部2決定成為編碼對象的圖片（當前圖片）的切片分割狀態(tài)，并且決定在圖片的編碼中使用的最大編碼塊的尺寸、和對最大編碼塊進行層次分割的層次數的上限（圖2的步驟ST1)。
[0210] 作為最大編碼塊的尺寸的決定方法，例如既可以根據輸入圖像的影像信號的分辨率，針對所有圖片決定同一尺寸，也可以將輸入圖像的影像信號的局部性的運動的復雜度的差異作為參數而進行定量化，針對運動劇烈的圖片決定小的尺寸，另一方面針對運動少的圖片決定大的尺寸。
[0211] 作為分割層次數的上限的決定方法，例如有如下方法：根據輸入圖像的影像信號的分辨率針對所有圖片決定同一層次數的方法、在輸入圖像的影像信號的運動劇烈的情況下增大層次數而設定為能夠檢測更細的運動并在運動少的情況下設定為抑制層次數的方法等。
[0212] 另外，關于上述最大編碼塊的尺寸、和對最大編碼塊進行層次分割的層次數的上限，既可以在序列等級頭部等中編碼，也可以不編碼而在運動圖像解碼裝置側也進行相同的決定處理。前者雖然使頭部信息的代碼量增加，但在運動圖像解碼裝置側不進行上述決定處理也行，所以能夠抑制運動圖像解碼裝置的處理負荷，而且能夠在運動圖像編碼裝置側搜索最佳的值來發(fā)送。后者相反地，在運動圖像解碼裝置側進行上述決定處理，所以雖然使運動圖像解碼裝置的處理負荷增加，但頭部信息的代碼量不增加。
[0213] 另外，編碼控制部2從可利用的1個以上的編碼模式中，選擇與層次性地分割的各個編碼塊對應的編碼模式（步驟ST2)。
[0214] S卩，編碼控制部2針對最大編碼塊尺寸的每個圖像區(qū)域，直至達到先前所決定的分割層次數的上限，層次性地分割為具有編碼塊尺寸的編碼塊，決定針對各個編碼塊的編碼模式。
[0215] 在編碼模式中，有一個或多個幀內部編碼模式（總稱為"INTRA"）、和一個或多個幀間編碼模式（總稱為"INTER"），編碼控制部2從在該圖片中可利用的所有編碼模式或者其子集合中，選擇與各個編碼塊對應的編碼模式。
[0216] 其中，關于由后述的塊分割部1層次性地分割的各個編碼塊，被進一步分割為作為進行預測處理的單位的一個或多個預測塊，預測塊的分割狀態(tài)也作為信息而包含于編碼模式中。即，編碼模式是對于是具有什么樣的預測塊分割的幀內部或者幀間編碼模式進行識別的索引。
[0217] 關于由編碼控制部2實施的編碼模式的選擇方法，是公知的技術，所以省略詳細的說明，但例如有如下方法等：使用可利用的任意的編碼模式，實施針對編碼塊的編碼處理來驗證編碼效率，在可利用的多個編碼模式中，選擇編碼效率最良好的編碼模式。
[0218] 另外，編碼控制部2針對各個編碼塊的每一個，決定在壓縮差分圖像時使用的量化參數以及正交變換塊分割狀態(tài)，并且決定在實施預測處理時使用的預測參數（幀內部預測參數或者巾貞間預測參數）。
[0219] 其中，在編碼塊被進一步分割為進行預測處理的預測塊單位的情況下，能夠針對每個預測塊，選擇預測參數（幀內部預測參數或者幀間預測參數）。
[0220] 而且，在編碼模式是幀內部編碼模式的編碼塊中，雖然在后面詳細敘述，但在進行幀內部預測處理時使用與預測塊鄰接的已編碼的像素，所以需要按照預測塊單位進行編碼，所以可選擇的變換塊尺寸被限制為預測塊的尺寸以下。
[0221] 編碼控制部2將包括量化參數以及變換塊尺寸的預測差分編碼參數輸出到變換/ 量化部7、逆量化/逆變換部8以及可變長編碼部13。
[0222] 另外，編碼控制部2將幀內部預測參數根據需要而輸出到幀內部預測部4。
[0223] 另外，編碼控制部2將幀間預測參數根據需要而輸出到運動補償預測部5。
[0224] 切片分割部14如果作為輸入圖像而輸入了影像信號，則將該輸入圖像，依照由編碼控制部2所決定的切片分割信息，分割為作為1個以上的部分圖像的切片。
[0225] 塊分割部1每當從切片分割部14輸入了各切片時，將該切片分割為由編碼控制部 2所決定的最大編碼塊尺寸，進而將所分割的最大編碼塊層次性地分割為由編碼控制部2 所決定的編碼塊，輸出該編碼塊。
[0226] 此處，圖5是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。
[0227] 在圖5中，最大編碼塊是記載為"第0層次"的亮度分量具有（L°，M°)的尺寸的編碼塊。
[0228] 將最大編碼塊設為出發(fā)點，直至在四叉樹構造中另外決定的規(guī)定的深度為止，層次性地進行分割，從而得到編碼塊。
[0229] 在深度η中，編碼塊是尺寸（Ln，Mn)的圖像區(qū)域。
[0230] 其中，1^和#既可以相同也可以不同，但在圖5中，示出了 Ln = Ml^情形。
[0231] 以后，將由編碼控制部2決定的編碼塊尺寸定義為編碼塊的亮度分量中的尺寸 (Ln，M n)。
[0232] 由于進行四叉樹分割，所以（Ln+1，Mn+1) = (L72，Mn/2)始終成立。
[0233] 另外，在RGB信號等所有顏色分量具有同一采樣數的彩色影像信號（4 :4 :4格式）中，所有顏色分量的尺寸成為0ΛMn)，但在處理4 :2 :0格式的情況下，對應的色差分量的編碼塊尺寸成為（L72，Mn/2)。
[0234] 以后，設為用Bn表示第η層次的編碼塊，用m(Bn)表示在編碼塊B n中可選擇的編碼模式。
[0235] 在由多個顏色分量構成的彩色影像信號的情況下，編碼模式m(Bn)既可以構成為針對每個顏色分量分別使用單獨的模式，也可以構成為針對所有顏色分量使用共同的模式。以后，只要沒有特別說明，就設為是指針對YUV信號、4 :2 :0格式的編碼塊的亮度分量的編碼模式來進行說明。
[0236] 關于編碼塊Bn，如圖5所示，通過塊分割部1而被分割為表示預測處理單位的一個或多個預測塊。
[0237] 以后，將屬于編碼塊Bn的預測塊記載為Pin(i是第η層次中的預測塊編號）。在圖 5中示出了 PQ°和Ρ，的例子。
[0238] 在編碼模式m(Bn)中，作為信息包含有如何進行編碼塊Bn內的預測塊的分割。
[0239] 關于預測塊ΡΛ全部依照編碼模式m(Bn)進行預測處理，但能夠針對每個預測塊 ΡΛ選擇單獨的預測參數（幀內部預測參數或者幀間預測參數）。
[0240] 編碼控制部2針對最大編碼塊，例如生成圖6所示那樣的塊分割狀態(tài)，確定編碼塊。
[0241] 圖6(a)的虛線所包圍的矩形表示各編碼塊，各編碼塊內存在的用斜線涂覆了的塊表示各預測塊的分割狀態(tài)。
[0242] 在圖6(b)中，用四叉樹圖形示出了關于圖6(a)的例子通過層次分割來分配編碼模式m(B n)的狀況。圖6(b)的□所包圍的節(jié)點是分配了編碼模式m(Bn)的節(jié)點（編碼塊）。
[0243] 該四叉樹圖形的信息與編碼模式m(Bn) -起從編碼控制部2被輸出到可變長編碼部13,而復用到比特流中。
[0244] 切換開關3在由編碼控制部2所決定的編碼模式m(Bn)是幀內部編碼模式的情況 (m(B n) e INTRA的情況）下，將從塊分割部1輸出了的編碼塊以輸出到幀內部預測部4。
[0245] 另一方面，在由編碼控制部2所決定的編碼模式m(Bn)是幀間編碼模式的情況 (m(B n) e INTER的情況）下，將從塊分割部1輸出了的編碼塊以輸出到運動補償預測部5。
[0246] 在幀內部預測部4中，如果由編碼控制部2所決定的編碼模式m(Bn)是幀內部編碼模式（m(Bn) e INTRA的情況），且從切換開關3接收到編碼塊Bn (步驟ST3)，則一邊參照在幀內部預測用存儲器10中儲存著的局部解碼圖像，一邊使用由編碼控制部2所決定的幀內部預測參數，實施針對該編碼塊Bn內的各預測塊Ρ，的幀內部預測處理，生成幀內部預測圖像Ρ ΙΝΤ·η (步驟ST4)。
[0247] 另外，運動圖像解碼裝置需要生成與幀內部預測圖像PINTEAin完全相同的幀內部預測圖像，所以在幀內部預測圖像P INTEAin的生成中所使用的幀內部預測參數從編碼控制部2 被輸出到可變長編碼部13,而復用到比特流中。
[0248] 幀內部預測部4的處理內容的詳細內容后述。
[0249] 在運動補償預測部5中，如果由編碼控制部2所決定的編碼模式m(Bn)是幀間編碼模式（m (Bn) e INTER的情況），且從切換開關3接收到編碼塊Bn (步驟ST3)，則比較該編碼塊Bn內的各預測塊Pf和在運動補償預測幀存儲器12中儲存著的濾波處理后的局部解碼圖像來搜索運動矢量，使用該運動矢量和由編碼控制部2所決定的幀間預測參數，實施針對該編碼塊B n內的各預測塊Ρ，的幀間預測處理，生成幀間預測圖像PINTEKin(步驟ST5)。
[0250] 另外，運動圖像解碼裝置需要生成與幀間預測圖像&_^完全相同的幀間預測圖像，所以在幀間預測圖像P INTEKin的生成中所使用的幀間預測參數從編碼控制部2被輸出到可變長編碼部13,而復用到比特流中。
[0251] 另外，由運動補償預測部5搜索到的運動矢量也被輸出到可變長編碼部13,而復用到比特流中。
[0252] 減法部6如果從塊分割部1接收到編碼塊Bn，則從該編碼塊Bn內的預測塊ΡΛ減去由幀內部預測部4所生成的幀內部預測圖像P INTKAin、或者由運動補償預測部5所生成的幀間預測圖像pINTEKi n中的某一方，將表示作為其減法結果的差分圖像的預測差分信號ein輸出到變換/量化部7 (步驟ST6)。
[0253] 變換/量化部7如果從減法部6接收到預測差分信號ein，則參照由編碼控制部2 所決定的預測差分編碼參數中包含的正交變換塊分割信息，按照正交變換塊單位來實施針對該預測差分信號ef的正交變換處理（例如DCT (離散余弦變換）、DST (離散正弦變換）、預先對特定的學習序列進行了基底設計的KL變換等正交變換處理），計算變換系數。
[0254] 另外，變換/量化部7參照在該預測差分編碼參數中包含的量化參數，對該正交變換塊單位的變換系數進行量化，將作為量化后的變換系數的壓縮數據輸出到逆量化/逆變換部8以及可變長編碼部13 (步驟ST7)。此時，也可以使用將根據上述量化參數計算出的量化步長針對每個變換系數進行縮放的量化矩陣來實施量化處理。
[0255] 關于量化矩陣，能夠以各正交變換尺寸針對每個顏色信號、編碼模式（是幀內部編碼還是幀間編碼）使用獨立的矩陣，能夠分別選擇是從作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣或已經編碼了的量化矩陣中選擇、還是使用新的量化矩陣。
[0256] 因此，變換/量化部7對各正交變換尺寸，針對顏色信號、編碼模式的每一個，將表示是否使用新的量化矩陣的標志信息設定為應編碼的量化矩陣參數。
[0257] 而且，在使用新的量化矩陣的情況下，將圖10所示那樣的量化矩陣的各縮放值設定為應編碼的量化矩陣參數。另一方面，在不使用新的量化矩陣的情況下，將從作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣、或者已經編碼了的量化矩陣中確定要使用的矩陣的索引，設定為應編碼的量化矩陣參數。但是，在不存在可參照的已經編碼了的量化矩陣的情況下，僅能夠選擇預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的量化矩陣。
[0258] 然后，變換/量化部7將所設定的量化矩陣參數作為自適應參數集合的一部分而輸出到可變長編碼部13。
[0259] 逆量化/逆變換部8如果從變換/量化部7接收到壓縮數據，則參照由編碼控制部2所決定的預測差分編碼參數中包含的量化參數以及正交變換塊分割信息，按照正交變換塊單位，對該壓縮數據進行逆量化。
[0260] 在變換/量化部7在量化處理中使用了量化矩陣的情況下，在逆量化處理時也參照該量化矩陣，實施對應的逆量化處理。
[0261] 另外，逆量化/逆變換部8按照正交變換塊單位，實施針對作為逆量化后的壓縮數據的變換系數的逆正交變換處理（例如逆DCT、逆DST、逆KL變換等），計算與從減法部6輸出了的預測差分信號e in相當的局部解碼預測差分信號，而輸出到加法部9 (步驟ST8)。
[0262] 加法部9如果從逆量化/逆變換部8接收到局部解碼預測差分信號，則通過將該局部解碼預測差分信號、和由幀內部預測部4所生成的幀內部預測圖像P INTKAin或者由運動補償預測部5所生成的幀間預測圖像PINTEKi n中的某一方進行相加，從而計算局部解碼圖像 (步驟ST9)。
[0263] 另外，加法部9將該局部解碼圖像輸出到環(huán)路濾波器部11，并且將該局部解碼圖像儲存到幀內部預測用存儲器10。
[0264] 該局部解碼圖像成為在以后的幀內部預測處理時使用的已編碼的圖像信號。
[0265] 環(huán)路濾波器部11如果從加法部9接收到局部解碼圖像，則對該局部解碼圖像實施規(guī)定的濾波處理，將濾波處理后的局部解碼圖像儲存到運動補償預測幀存儲器12 (步驟 ST10)。
[0266] 具體而言，進行如下處理：使在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真降低的濾波（去塊濾波）處理、按照像素單位自適應地相加偏移的（像素自適應偏移）處理、自適應地切換維納濾波器等線性濾波器來實施濾波處理的自適應濾波處理等。
[0267] 其中，環(huán)路濾波器部11針對上述去塊濾波處理、像素自適應偏移處理、自適應濾波處理的各個，決定是否進行處理，將各處理的有效標志作為應編碼的自適應參數集合的一部分以及切片等級頭部的一部分而輸出到可變長編碼部13。另外，在使用多個上述濾波處理時，依次實施各濾波處理。圖11示出了使用多個濾波處理時的環(huán)路濾波器部11的結構例。
[0268] 一般所使用的濾波處理的種類越多，圖像品質越提高，但另一方面處理負荷越高。艮P，圖像品質和處理負荷處于折衷的關系。另外，各濾波處理的圖像品質改善效果根據濾波處理對象圖像的特性而不同。因此，依照運動圖像編碼裝置容許的處理負荷、編碼處理對象圖像的特性來決定所使用的濾波處理即可。
[0269] 此處，在去塊濾波處理中，能夠從初始值變更在對塊邊界施加的濾波強度的選擇中使用的各種參數。在變更的情況下，將該參數作為應編碼的自適應參數集合的一部分而輸出到可變長編碼部13。
[0270] 在像素自適應偏移處理中，最初，將圖像分割為多個塊，按照該塊單位，在未進行偏移處理的情況下也定義為級別分類方法之一，從預先準備的多個級別分類方法中選擇一個級別分類方法。
[0271] 接下來，通過所選擇的級別分類方法，對塊內的各像素進行級別分類，針對每個級另1J，計算補償編碼失真的偏移值。
[0272] 最后，進行對局部解碼圖像的亮度值相加該偏移值的處理，從而改善局部解碼圖像的圖像品質。
[0273] 作為級別分類方法，有如下方法：按照局部解碼圖像的亮度值的大小進行分類的方法（稱為B0方法）、針對邊緣的每個方向根據各像素的周圍的狀況（是否為邊緣部等）進行分類的方法（稱為E0方法）。
[0274] 預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備這些方法，如圖16 所示，即使在不進行偏移處理的情況下也定義為級別分類方法之一，按照上述塊單位，選擇表示利用這些方法中的哪個方法來進行級別分類的索引。
[0275] 此處，圖13是示出B0方法的說明圖。
[0276] 在B0方法中，最初，將局部解碼圖像的亮度值等分為個群組。其中，是成為 (亮度值的最大值）_(亮度值的最小值）+1的約數的常數，在圖13的例子中，設為M m = 32。
[0277] 接下來，將塊內的各像素，按照該像素的亮度值而分類到Mm個群組中的對應的群組。
[0278] 然后，為了決定成為相加偏移的群組的級別，決定表示級別的開頭位置的bo_ start-position。
[0279] 如圖13所示，從bo_start_position表示的群組，依次決定為級別0、級別1、級別 2.....級別LB<rl。其中，LM是表示級別數的常數，在圖13的例子中，設為L M = 4。
[0280] bo_start_position是應編碼的自適應參數集合的一部分，以使圖像品質改善效果變得最高的方式，與對屬于各級別的像素相加的偏移值一起決定bo_start_position。
[0281] 另外，關于常數，值越大，能夠按照越細小的單位來設定偏移，所以圖像品質改善效果提高，但bo_start_position可取的范圍變大，所以bo_start_position的編碼所需的代碼量增加。
[0282] 關于常數，值越大，偏移的個數越增加，所以圖像品質改善效果提高，但偏移的編碼所需的代碼量增加。
[0283] 因此，關于常數Mm、LM的值，考慮圖像品質改善效果和代碼量的折衷，預先在運動圖像編碼裝置以及運動圖像解碼裝置中設定為共同地適合的值。
[0284] 另外，關于常數MBQ、LBQ的值，也可以并非是預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備的常數，而是設為應編碼的自適應參數集合的一部分。在該情況下，能夠自適應地設定常數M m、LM，所以圖像品質改善效果提高，但另一方面，應編碼的信息增加，所以代碼量增加。
[0285] 接下來，圖14是示出E0方法的說明圖。
[0286] 圖14的c表示偏移處理對象像素，a、b表示與c鄰接的像素。
[0287] 如圖14所示，關于級別分類方法，按照a、b、c排列的方向有4個，從方法1，依次對應于圖16所示的E0方法1至E0方法4。
[0288] 在各分類方法中，依照圖14所示的級別分類條件，將塊內的各像素分類為5個級另|J，決定與屬于級別的像素相加的偏移值。
[0289] 關于與屬于各級別的像素相加的偏移值，如圖17例示那樣，預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地準備決定了各級別的偏移值的表格，將表示所使用的偏移值的組合的索引選擇為偏移信息。
[0290] 由此，雖然可取的偏移值被限制，但通過預先適合地設定在上述表格中準備的每個級別的偏移值的組合，從而相比于對偏移值直接進行編碼，能夠削減偏移信息的編碼所需的代碼量，并且實現高精度的失真補償處理。
[0291] 另外，作為由可變長編碼部13實施的上述索引的編碼方法，由于根據預先準備了的表格可知可取的索引的范圍，所以如圖25所示的truncated unary碼（截斷一元碼）那樣，使用考慮了編碼對象碼元的值的范圍的2值化方法，從而能夠實現高效的編碼。其中，圖25是將編碼對象碼元的值的范圍設定為0至5時的例子。
[0292] 此時，關于預先準備的表格，既可以在所有級別分類方法中共同，也可以根據級別分類方法來分類所準備的表格。
[0293] 例如，在B0方法和E0方法中，處理完全不同，所以通過分別準備不同的表格，能夠實現自適應的圖像品質改善。
[0294] 而且，關于E0方法，在E0方法1、2、和E0方法3、4中，像素 a、b、c的距離不同，所以通過分別準備E0方法1、2用的表格、和E0方法3、4用的表格，能夠實現自適應的圖像品質改善。
[0295] 但是，如果準備的表格變多，則用于保持該表格的存儲器的容量也增加。因此，根據在運動圖像編碼裝置以及運動圖像解碼裝置中能準備的存儲器容量，可準備的表格數被限制。
[0296] 另外，通過增加各表格具有的索引數（各級別的偏移的組合數），能夠實現高精度的圖像品質改善，但由于可選擇的表格的索引數增加，從而索引的編碼所需的代碼量增加。因此，考慮圖像品質改善效果和代碼量的折衷，預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地設定索引數。
[0297] 另外，關于預先準備的表格，也可以針對每個顏色信號來準備。由此，能夠針對信號特性不同的每個顏色信號，準備適合的表格，能夠提高圖像品質改善效果。
[0298] 而且，也可以不將所有偏移設為表格參照，而例如僅將E0方法如上所述那樣設為表格參照，關于B0方法的偏移，對偏移值自身進行編碼。
[0299] -般，在E0方法中，有去除邊緣部的微小的噪聲的效果，最佳的偏移值易于偏向小的值。另一方面，在B0方法中，具有校正某一定的亮度值內的信號的直流量的效果，最佳的偏移值不一定偏向小的值。
[0300] 因此，通過僅對在最佳的偏移值中有偏差的級別分類方法設為表格參照，關于在最佳的偏移值中無偏差的級別分類方法，對偏移值自身進行編碼，從而得到更高的圖像品質改善效果。
[0301] 另外，作為由可變長編碼部13實施的上述偏移值的編碼方法，通過預先在運動圖像編碼裝置以及運動圖像解碼裝置中共同地設定可取的偏移值的范圍，如圖25所示的 truncated unary碼那樣，使用考慮了編碼對象碼元的值的范圍的2值化方法，從而能夠實現高效的編碼。另一方面，在不預先設定可取的偏移值的范圍的情況下，使用圖26所示的 unary碼那樣的不考慮編碼對象碼元的值的范圍而能夠實現2值化的碼。
[0302] 另外，也可以根據編碼處理時的亮度信號或者色差信號的信號值的比特深度，切換表格。
[0303] 與8比特時的偏移值1對應的9比特下的偏移值是2。但是，即使在8比特時最佳的偏移值是1，在9比特下最佳的偏移值有可能并非是2而是1等。
[0304] 因此，如圖19例示，針對信號值的每個比特深度，準備表格，從而能夠提高圖像品質改善效果。
[0305] 而且，如圖20例示，僅使用一個表格，在8比特的情況下，僅將索引0(0比特）作為選擇分支，在9比特的情況下，將索引0、1(1比特）作為選擇分支，在10比特的情況下，將索引〇?4 (2比特）作為選擇分支，從而能夠削減所準備的表格數，削減保持表格的存儲器。
[0306] 另外，在圖19以及圖20的例子中，在8比特的情況下，僅為索引0,所以無需對索引進行編碼。由此，能夠改善索引的編碼所需的代碼量分編碼效率。
[0307] 另外，在像素自適應偏移處理中，從上述多個級別分類方法和最佳的偏移值的組合中，選擇最佳的級別分類方法以及偏移值，從而能夠實現最佳的失真補償處理。
[0308] 根據以上，在像素自適應偏移處理中，將塊的分割信息、表示塊單位的級別分類方法的索引、塊單位的偏移信息作為應編碼的自適應參數集合的一部分，而輸出到可變長編碼部13。而且，在像素自適應偏移處理中，在表示塊單位的級別分類方法的索引是表示B0 方法的索引的情況下，將表示級別的開頭位置的b 〇_Start_p〇Siti〇n也作為應編碼的自適應參數集合的一部分，而輸出到可變長編碼部13。
[0309] 另外，在上述像素自適應偏移處理中，例如也可以始終按照最大編碼塊這樣的固定尺寸的塊單位進行分割，針對每個該塊，選擇級別分類方法來進行每個級別的自適應偏移處理。
[0310] 在該情況下，不需要上述塊分割信息，能夠將代碼量削減與塊分割信息所需的代碼量相應的量。
[0311] 另外，在自適應濾波處理中，通過規(guī)定的方法對局部解碼圖像進行級別分類，針對屬于各級別的每個區(qū)域（局部解碼圖像），設計補償重疊了的失真的濾波器，使用該濾波器，實施該局部解碼圖像的濾波處理。
[0312] 然后，將針對每個級別所設計的濾波器作為應編碼的自適應參數集合的一部分，而輸出到可變長編碼部13。
[0313] 此處，作為級別分類方法，有如下方法：將圖像在空間上等間隔地劃分的簡易的方法、按照塊單位根據圖像的局部性的特性（分散等）進行分類的方法。另外，關于在自適應濾波處理中使用的級別數，既可以預先在運動圖像編碼裝置以及運動圖像解碼裝置中設定為共同的值，也可以設為應編碼的自適應參數集合的一部分。
[0314] 相比于前者，后者能夠更自由地設定所使用的級別數，所以圖像品質改善效果提高，但另一方面，為了對級別數進行編碼，代碼量相應地增加。
[0315] 而且，也可以并非是針對整個圖像，而是針對例如最大編碼塊這樣的固定尺寸的每個塊，進行上述自適應濾波處理的級別分類以及濾波器設計/濾波處理。
[0316] S卩，也可以按照將固定尺寸的塊內進行分割而得到的多個小塊單位，根據圖像的局部性的特性（分散等）來實施級別分類，針對每個級別進行濾波器設計以及濾波處理，針對固定尺寸的每個塊，將各級別的濾波器作為自適應參數集合的一部分而實施編碼。
[0317] 由此，相比于針對整個圖像實施級別分類以及濾波器設計/濾波處理的情況，能夠實現與局部性的性質對應的高精度的濾波處理。
[0318] 直至針對層次性地分割的所有編碼塊Bn的處理完成為止，反復實施步驟ST3? ST9的處理，如果針對所有編碼塊Bn的處理完成，則轉移到步驟ST13的處理（步驟ST11、 ST12)。
[0319] 可變長編碼部13對從變換/量化部7輸出了的壓縮數據、從編碼控制部2輸出了的最大編碼塊內的塊分割信息（以圖6(b)為例子的四叉樹信息）、編碼模式m(B n)以及預測差分編碼參數、從編碼控制部2輸出了的幀內部預測參數（編碼模式是幀內部編碼模式的情況）或者幀間預測參數（編碼模式是幀間編碼模式的情況）、以及從運動補償預測部5 輸出了的運動矢量（編碼模式是幀間編碼模式的情況）進行可變長編碼，生成表示這些編碼結果的編碼數據（步驟ST13)。
[0320] 另外，可變長編碼部13如圖15例示，作為編碼比特流的頭部信息，對序列等級頭部、圖片等級頭部、自適應參數集合進行編碼，與圖片數據一起生成編碼比特流。
[0321] 其中，圖片數據由1個以上的切片數據構成，各切片數據是將切片等級頭部和該切片內存在的上述編碼數據匯總而得到的數據。
[0322] 序列等級頭部是將圖像尺寸、顏色信號格式、亮度信號、色差信號的信號值的比特深度、序列單位下的環(huán)路濾波器部11中的各濾波處理（自適應濾波處理、像素自適應偏移處理、去塊濾波處理）的有效標志信息、量化矩陣的有效標志信息等一般按照序列單位成為共同的頭部信息進行匯總而得到的。
[0323] 圖片等級頭部是將參照的序列等級頭部的索引、運動補償時的參照圖片數、熵編碼的概率表格初始化標志等按照圖片單位來設定的頭部信息進行匯總而得到的。
[0324] 切片等級頭部是將表示該切片處于圖片的哪個位置的位置信息、表示參照哪個圖片等級頭部的索引、切片的編碼類型（所有幀內部編碼、幀間編碼等）、在該切片中使用的自適應參數集合的索引以及表示是否進行使用了上述索引表示的自適應參數集合的環(huán)路濾波器部11中的各濾波處理（自適應濾波處理、像素自適應偏移處理、去塊濾波處理）的標志信息等這樣的切片單位的參數進行匯總而得到的。
[0325] 自適應參數集合是具有與自適應濾波處理、像素自適應偏移處理、去塊濾波處理有關的參數（濾波參數）、以及與量化矩陣有關的參數（量化矩陣參數）的參數集合，為了識別在編碼比特流中復用了的多個自適應參數集合，各自適應參數集合具有索引（aps_ id)。
[0326] 并且，各自適應參數集合具有表示與自適應濾波處理、像素自適應偏移處理、去塊濾波處理有關的各個濾波參數、以及量化矩陣參數是否分別存在的標志（pr eSent_flag)，在各存在標志是"有效"的情況下，具有與其對應的參數。
[0327] 因此，關于自適應參數集合，能夠自由地設定是否有各參數。
[0328] 各切片在切片等級頭部內具有至少一個在切片的解碼處理時所參照的自適應參數集合的索引（aps_id)，參照對應的自適應參數集合來實施量化處理/逆量化處理、環(huán)路濾波處理。
[0329] 另外，在對自適應參數集合進行編碼而復用到編碼比特流時，具有相同的索引 (aps_id)的自適應參數集合已經存在于編碼比特流的情況下，具有該索引的自適應參數集合被置換為上述編碼對象的自適應參數集合。
[0330] 因此，在對新的自適應參數集合進行編碼時，不需要已經編碼了的自適應參數集合的情況下，通過利用該不需要的自適應參數集合的索引進行編碼，能夠進行自適應參數集合的改寫更新，不用增加必須保存的自適應參數集合的數量也行，所以能夠抑制所使用的存儲器的容量。
[0331] 而且，可變長編碼部13在如圖18那樣在序列的切換時對新的序列等級頭部（序列等級頭部2)進行編碼的情況下，使在本序列等級頭部之前編碼了的自適應參數集合全部成為無效。
[0332] 因此，在圖18中，在圖片數據30的編碼中參照自適應參數集合2這樣的跨越序列等級頭部的自適應參數集合的參照被禁止。
[0333] S卩，在對新的序列等級頭部（序列等級頭部2)進行了編碼之后的圖片中，使用自適應參數集合內的參數的情況下，需要將該參數作為新的自適應參數集合進行編碼。因此，在由于上述自適應參數集合的無效化處理等而無法使用任何過去的自適應參數集合的情況下新編碼的自適應參數集合，成為量化矩陣等參數不參照過去的自適應參數集合而僅利用該自適應參數集合就能夠對所有參數進行解碼的自適應參數集合。
[0334] 這樣，在序列的切換時，通過序列等級頭部，對自適應參數集合進行初始化，從而在運動圖像解碼裝置中，在新的序列等級頭部被解碼之前的編碼比特流中產生了錯誤時，能夠避免因參照該流內存在的自適應參數集合所致的解碼錯誤，能夠提高容錯性。
[0335] 但是，也可以構成為在序列等級頭部中具有自適應參數集合的初始化標志aps_ reset_flag而提高容錯性。具體而言，僅在初始化標志aps_reset_flag是"有效"的情況下，對自適應參數集合進行初始化，在初始化標志aps_reset_flag是"無效"的情況下，不對自適應參數集合進行初始化。通過這樣作為序列等級頭部的參數之一而具有自適應參數集合的初始化標志，能夠實施自適應的初始化處理，通過僅在需要提高容錯性時實施初始化，能夠抑制自適應參數集合的初始化所致的編碼效率的降低。
[0336] 而且，在進行利用IDR圖片、CRA圖片的隨機存取的情況下，為了實現解碼處理的高速化、提高容錯性，作為自適應參數集合的參數的一部分，而具有使已編碼的自適應參數集合成為無效的標志previous_aps_clear_flag。可變長編碼部13在previous_aps_ clear_flag是"有效"的情況下，使在該自適應參數集合之前編碼了的自適應參數集合成為無效，在previous_aps_clear_flag是"無效"的情況下，不實施上述無效化處理。
[0337] 圖24示出表示一部分的自適應參數集合的無效化處理的編碼比特流的例子。其中，關于圖24的圖片數據31，參照序列等級頭部2、圖片等級頭部3、自適應參數集合21來進行編碼（解碼）處理。一般，把這樣將與圖片數據關聯的頭部信息進行匯總得到的圖片存取的單位稱為存取單元。關于圖24的自適應參數集合，通過僅針對自適應參數集合21 使標志previous_aps_clear_flag成為"有效"，從而自適應參數集合1至自適應參數集合 20被無效化，在編碼順序中在IDR圖片或者CRA圖片以后的圖片中，無法參照自適應參數集合1至自適應參數集合20。因此，在進行利用IDR圖片、CRA圖片的隨機存取的情況下，從圖24的序列等級頭部2解碼即可。
[0338] 另一方面，在不需要隨機存取時的高速的解碼處理、高的容錯性的情況下，使標志 previous_aps_clear_flag始終成為"無效"，不進行自適應參數集合的無效化即可。因此，能夠通過標志previous_aps_clear_f lag,實現自適應的自適應參數集合的無效化處理。
[0339] 在上述例子中，通過自適應參數集合內的標志previous_aps_clear_flag,實現了用于隨機存取的自適應的自適應參數集合的無效化處理，但也可以通過在序列等級頭部或者NAL單元內具有在對IDR圖片或者CRA圖片進行編碼（解碼）時使一部分的自適應參數集合成為無效化的標志part_aps_clear_flag，從而實現用于隨機存取的自適應的自適應參數集合的無效化處理。
[0340] 具體而言，在IDR圖片或者CRA圖片的編碼時，如果標志part_aps_clear_flag是 "有效"，則可變長編碼部13使在IDR圖片或者CRA圖片的前一個圖片的圖片數據之前存在的自適應參數集合成為無效，從而實現與標志previous_aps_clear_flag的情況同樣的用于隨機存取的自適應的自適應參數集合的無效化處理。即，在圖24的例子的情況下，通過將序列等級頭部2或者圖片數據31的NAL單元內存在的標志part_aps_clear_flag設為 "有效"，在圖片數據31的編碼時使在作為圖片數據31的前一個圖片數據的圖片數據30之前存在的自適應參數集合成為無效，所以在編碼順序中在IDR圖片或者CRA圖片以后的圖片中，無法參照自適應參數集合1至自適應參數集合20。即，在包括IDR圖片、CRA圖片的圖片數據的存取單元之前的自適應參數集合被無效化，無法參照。因此，在進行利用IDR圖片、CRA圖片的隨機存取的情況下，從圖24的序列等級頭部2解碼即可。
[0341] 另外，在上述說明中，在標志part_aps_clear_flag是"有效"的情況下，進行自適應參數集合的無效化處理，但也可以不設置上述標志，而在IDR圖片或者CRA圖片的編碼時始終進行自適應參數集合的無效化處理。由此，與上述標志的編碼所需的代碼量相應量的代碼量被削減，另外在編碼處理時參照上述標志的處理變得不需要，運動圖像編碼裝置被簡化。
[0342] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的其他方法，還考慮構成在自適應參數集合內具有ap S_gr〇Up_id這樣的參數的運動圖像編碼裝直。
[0343] 在上述運動圖像編碼裝置中，如圖27所示，在自適應參數集合內設置上述參數，在可變長編碼部13對IDR圖片或者CRA圖片進行編碼時，使具有與該IDR圖片或者CRA圖片的圖片數據所參照的自適應參數集合所具有的aps_group_id不同的值的aps_group_id 的自適應參數集合成為無效。
[0344] 例如在圖24的情況下，通過將自適應參數集合1至自適應參數集合20的aps_ group_id設為0,并在自適應參數集合21以后將aps_group_id設為1，從而在IDR圖片或者CRA圖片的圖片數據31參照自適應參數集合21時，使具有與自適應參數集合21的aps_ group_id( = 1)不同的aps_group_id( = 0)的自適應參數集合1至自適應參數集合20無效化。因此，從圖片數據31以后的圖片數據起，無法參照自適應參數集合1至自適應參數集合20。
[0345] 這樣，通過根據IDR圖片或者CRA圖片以變更自適應參數集合的aps_group_id的值的方式實施編碼，自適應參數集合的參照被限制，運動圖像解碼裝置如果從包括IDR圖片或者CRA圖片的圖片數據的存取單元開始解碼，則能夠在規(guī)定的圖片以后始終正確地解碼。另外，aps_group_id也可以設為僅具有0或者1的標志，在該情況下，通過根據IDR圖片或者CRA圖片將自適應參數集合具有的上述標志的值從0切換為1或者從1切換為0,能夠實現同樣的自適應參數集合的無效化處理。
[0346] 通過使用導入上述aps_group_id的方法，即使由于將編碼比特流分配到多個線路來發(fā)送等這樣的理由，在運動圖像解碼裝置側接受的編碼比特流內的數據的順序從在運動圖像編碼裝置側編碼了的次序被調換了的情況下，也能夠正確地解碼。具體而言，即使按照圖24的順序編碼了的編碼比特流如圖28所示，在運動圖像解碼裝置側以先于圖片數據 30而對自適應參數集合21、22進行解碼的方式被調換，在IDR圖片或者CRA圖片的圖片數據31參照了自適應參數集合21時，也能夠使具有與自適應參數集合21不同的aps_gr 〇up_ id( = 0)的自適應參數集合1至自適應參數集合20適當地無效化。
[0347] 另外，在導入上述aps_group_id的方法中，相比于容錯性，使編碼效率更優(yōu)先的情況下，根據IDR圖片或者CRA圖片對自適應參數集合的aps_gr 〇up_id的值以不切換的方式進行編碼，從而自適應參數集合不被無效化也行，所以能夠避免可參照的自適應參數集合被限制所致的編碼效率的降低。
[0348] 另外，關于在自適應參數集合內具有aps_group_id的運動圖像編碼裝置，也可以以使具有與在對IDR圖片或者CRA圖片以外的圖片進行解碼時也參照的aps_gr 〇up_id不同的值的apS_gr〇Up_id的自適應參數集合成為無效的方式來構成運動圖像編碼裝置。由此，能夠進行任意地執(zhí)行自適應參數集合的aps_group_id的變更的定時所致的自適應參數集合的自適應的無效化處理，能夠實現自適應的容錯性處理。
[0349] 而且，作為實現利用IDR圖片或者CRA圖片的自適應參數集合的無效化處理的其他方法，也可以以在對IDR圖片或者CRA圖片進行編碼時可變長編碼部13使具有比IDR圖片或者CRA圖片所參照的自適應參數集合的索引（aps_id)小的索引的自適應參數集合成為無效化的方式，構成運動圖像編碼裝置。
[0350] 即，在圖24、圖28的例子中按照編碼順序附加了自適應參數集合的索引的情況下，在IDR圖片或者CRA圖片的圖片數據31參照了自適應參數集合21時，具有比自適應參數集合21的索引小的索引的自適應參數集合1至自適應參數集合20被無效化。因此，從圖片數據31以后的圖片數據起無法參照自適應參數集合1至自適應參數集合20，運動圖像解碼裝置如果從包括IDR圖片或者CRA圖片的圖片數據31的存取單元開始解碼，則在規(guī)定的圖片以后能夠始終正確地解碼。
[0351] 而且，可變長編碼部13也可以構成為并非將量化矩陣參數作為自適應參數集合來實施編碼，而是作為按照圖片單位可變更的參數，在圖片等級頭部內實施編碼。由此，能夠以獨立的單位對量化矩陣參數和濾波參數進行編碼。在該情況下，對量化矩陣參數也實施與在上述中說明了的利用序列等級頭部的自適應參數集合初始化處理、或伴隨IDR、CRA 圖片的自適應參數集合的無效化處理同樣的處理。
[0352] 另外，可變長編碼部13也可以構成為并非將在環(huán)路濾波器部11中使用的濾波參數作為自適應參數集合而實施編碼，而是對于按照切片單位使用的濾波參數，直接利用切片等級頭部等切片數據實施編碼。由此，在切片之間不存在重復的濾波參數的情況下，無需為了在環(huán)路濾波器部11中使用的濾波參數而對在作為切片等級頭部之一的切片的解碼處理時所參照的自適應參數集合的索引進行編碼，所以能夠削減索引的代碼量，能夠改善編碼效率。
[0353] 接下來，詳細說明幀內部預測部4的處理內容。
[0354] 圖7是示出作為編碼塊Bn內的各預測塊Pf可選擇的幀內部預測參數的幀內部預測模式的一個例子的說明圖。其中，隊表示幀內部預測模式數。
[0355] 在圖7中，示出幀內部預測模式的索引值、和該幀內部預測模式表示的預測方向矢量，在圖7的例子中，被設定為隨著可選擇的幀內部預測模式的個數增加，預測方向矢量彼此的相對角度變小。
[0356] 幀內部預測部4如上所述，參照預測塊Ρ，的幀內部預測參數，實施針對該預測塊 Pin的幀內部預測處理，生成幀內部預測圖像PINTEAin，但此處說明生成亮度信號中的預測塊 Pin的幀內部預測信號的幀內部處理。
[0357] 將預測塊Ρ，的尺寸設為Ι^Χπ^像素。
[0358] 圖8是示出在生成1廣=!< = 4時的預測塊Ρ，內的像素的預測值時使用的像素的一個例子的說明圖。
[0359] 在圖8中，將預測塊Pin的上面的已編碼的像素（2Xlin+l)個、和左面的已編碼的像素（2Χ!〇個設為在預測中使用的像素，但在預測中使用的像素既可以多于圖8所示的像素，也可以少于圖8所示的像素。
[0360] 另外，在圖8中，在預測中使用了預測塊Pin的附近的1行或者1列部分的像素，但也可以在預測中使用2行或者2列、或者其以上的像素。
[0361] 在針對預測塊Pin的幀內部預測模式的索引值是0(平面（Planar)預測）的情況下，使用與預測塊Pi n的上面鄰接的已編碼的像素和與預測塊Pin的左面鄰接的已編碼的像素，根據這些像素和預測塊Pi n內的預測對象像素的距離來實施內插，將由此得到的值作為預測值，生成預測圖像。
[0362] 在針對預測塊Ρ，的幀內部預測模式的索引值是2 (平均值（DC)預測）的情況下，將與預測塊Pin的上面鄰接的已編碼的像素和與預測塊Pin的左面鄰接的已編碼的像素的平均值，作為預測塊Pi n內的像素的預測值而生成預測圖像。
[0363] 在幀內部預測模式的索引值是0(平面預測）和2(平均值預測）以外的情況下，根據索引值表示的預測方向矢量％ = (dx，dy)，生成預測塊Pin內的像素的預測值。
[0364] 如圖9所示，如果將預測塊Pf的左上像素作為原點而將預測塊Pf內的相對坐標設定為（X，y)，則在預測中使用的參照像素的位置成為下述的L和鄰接像素的交點。

【權利要求】
1. 一種運動圖像編碼裝置，其特征在于，具備：濾波部件，對作為從輸入圖像的壓縮數據解碼得到的差分圖像和預測圖像的加法結果的局部解碼圖像實施濾波處理，輸出濾波處理后的局部解碼圖像作為在生成所述預測圖像時使用的參照圖像；以及可變長編碼部件，對所述壓縮數據以及由所述濾波部件實施濾波處理時使用的濾波參數進行可變長編碼，生成復用了所述壓縮數據以及所述濾波參數的編碼數據的編碼比特流，所述濾波部件實施如下的像素自適應偏移處理：按照最大尺寸的編碼塊單位來決定級別的分類方法，使用所述分類方法，實施該塊內的各像素的分級，計算每個級別的偏移值，將所述偏移值相加到屬于對應的級別的像素的像素值，所述可變長編碼部件對表示由所述濾波部件所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼。
2. 根據權利要求1所述的運動圖像編碼裝置，其特征在于，具備：切片分割部件，將輸入圖像分割為多個作為部分圖像的切片；編碼參數決定部件，決定成為實施編碼處理時的處理單位的編碼塊的最大尺寸，并且決定對最大尺寸的編碼塊層次性地進行分割時的上限的層次數，對層次性地分割的各個編碼塊分配編碼模式；塊分割部件，將由所述切片分割部件所分割的切片分割為由所述編碼參數決定部件所決定的最大尺寸的編碼塊，并且直至達到由所述編碼參數決定部件所決定的上限的層次數為止，對所述編碼塊層次性地進行分割；預測部件，針對由所述塊分割部件所分割的編碼塊，實施與由所述編碼參數決定部件所分配的編碼模式對應的預測處理來生成預測圖像；差分圖像生成部件，生成由所述塊分割部件所分割的編碼塊和由所述預測部件所生成的預測圖像的差分圖像；圖像壓縮部件，實施由所述差分圖像生成部件所生成的差分圖像的變換處理，對所述差分圖像的變換系數進行量化，將量化后的變換系數作為壓縮數據來輸出；以及局部解碼圖像生成部件，從由所述圖像壓縮部件輸出了的壓縮數據解碼出差分圖像，將解碼后的差分圖像和由所述預測部件所生成的預測圖像相加來生成局部解碼圖像，所述可變長編碼部件對從所述圖像壓縮部件輸出了的壓縮數據、由所述編碼參數決定部件所分配的編碼模式、生成在由所述圖像壓縮部件對變換系數進行量化時所使用的量化矩陣的量化矩陣參數、由所述濾波部件實施濾波處理時所使用的濾波參數以及包含由所述切片分割部件得到的切片的分割信息的各切片的頭部信息進行可變長編碼，生成復用了所述壓縮數據、所述編碼模式、所述量化矩陣參數、所述濾波參數以及所述頭部信息的編碼數據的編碼比特流。
3. 根據權利要求2所述的運動圖像編碼裝置，其特征在于，在由編碼參數決定部件分配了幀內部編碼模式作為與由塊分割部件所分割的編碼塊對應的編碼模式的情況下，預測部件針對成為進行所述編碼塊的預測處理時的預測處理單位的每個預測塊，實施與所述幀內部編碼模式對應的幀內預測處理來生成預測圖像。
4. 根據權利要求3所述的運動圖像編碼裝置，其特征在于，在由編碼參數決定部件分配了幀間編碼模式作為與由塊分割部件所分割的編碼塊對應的編碼模式的情況下，預測部件針對成為進行所述編碼塊的預測處理時的預測處理單位的每個預測塊，使用參照圖像，實施針對該預測塊的運動補償預測處理來生成預測圖像。
5. 根據權利要求4所述的運動圖像編碼裝置，其特征在于，編碼參數決定部件針對各個編碼塊的每一個編碼塊，決定壓縮差分圖像時所使用的量化參數以及變換塊分割狀態(tài)，并且針對該編碼塊的每個預測塊，決定實施預測處理時所使用的幀內部預測參數或者幀間預測參數，預測部件在由所述編碼參數決定部件分配了幀內部編碼模式的情況下，使用所述幀內部預測參數來實施幀內預測處理，在由所述編碼參數決定部件分配了幀間編碼模式的情況下，使用所述幀間預測參數來實施運動補償預測處理，圖像壓縮部件按照由所述編碼參數決定部件所決定的變換塊單位，實施由差分圖像生成部件所生成的差分圖像的變換處理，并且使用由所述編碼參數決定部件所決定的量化參數以及量化矩陣參數，對所述差分圖像的變換系數進行量化，將量化后的變換系數作為所述差分圖像的壓縮數據來輸出，可變長編碼部件在對所述壓縮數據、編碼模式、所述量化矩陣參數、濾波參數以及各切片的頭部信息進行可變長編碼時，對由所述編碼參數決定部件所決定的幀內部預測參數或者幀間預測參數以及變換塊分割信息進行可變長編碼，生成復用了所述壓縮數據、所述編碼模式、所述量化矩陣參數、所述濾波參數、所述頭部信息、所述幀內部預測參數或者所述幀間預測參數以及所述變換塊分割信息的編碼數據的編碼比特流。
6. -種運動圖像解碼裝置，其特征在于，具備：可變長解碼部件，從復用到編碼比特流中的編碼數據，可變長解碼出壓縮數據以及濾波參數；以及濾波部件，使用由所述可變長解碼部件可變長解碼的濾波參數，對從由所述可變長解碼部件可變長解碼的壓縮數據解碼出的解碼圖像實施濾波處理，將濾波處理后的解碼圖像作為再生圖像來輸出，所述可變長解碼部件從復用到所述編碼比特流中的編碼數據，可變長解碼出表示最大尺寸的編碼塊單位的級別的分類方法的索引作為濾波參數，并且根據利用截斷一元碼的2 值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長解碼，所述濾波部件實施如下的像素自適應偏移處理：使用表示所述最大尺寸的編碼塊單位的級別的分類方法的索引，確定各最大尺寸的編碼塊的級別的分類方法，利用與所述最大尺寸的編碼塊單位對應的級別的分類方法來實施各像素的分級，根據與所述最大尺寸的每個編碼塊的各級別的偏移值有關的參數來計算偏移值，將所述偏移值相加到屬于對應的級別的像素的像素值。
7. 根據權利要求6所述的運動圖像解碼裝置，其特征在于，具備：可變長解碼部件，從復用到編碼比特流中的編碼數據，可變長解碼出各切片的頭部信息、量化矩陣參數以及濾波參數，從所述編碼數據，可變長解碼出與層次性地分割的各個編碼塊有關的壓縮數據以及編碼模式；預測部件，實施與和由所述可變長解碼部件可變長解碼了的編碼塊有關的編碼模式對應的預測處理來生成預測圖像；差分圖像生成部件，使用由所述可變長解碼部件可變長解碼了的量化參數以及所述量化矩陣參數，對作為與由所述可變長解碼部件可變長解碼了的編碼塊有關的壓縮數據的變換系數進行逆量化，對逆量化后的變換系數進行逆變換，生成壓縮前的差分圖像；以及解碼圖像生成部件，將由所述差分圖像生成部件所生成的差分圖像和由所述預測部件所生成的預測圖像相加來生成解碼圖像。
8. 根據權利要求7所述的運動圖像解碼裝置，其特征在于，預測部件在與由可變長解碼部件可變長解碼了的編碼塊有關的編碼模式是幀內部編碼模式的情況下，針對成為進行所述編碼塊的預測處理時的預測處理單位的每個預測塊，實施與所述幀內部編碼模式對應的幀內預測處理來生成預測圖像。
9. 根據權利要求8所述的運動圖像解碼裝置，其特征在于，在與由可變長解碼部件可變長解碼了的編碼塊有關的編碼模式是幀間編碼模式的情況下，預測部件針對成為進行編碼塊的預測處理時的預測處理單位的每個預測塊，使用參照圖像，實施針對該預測塊的運動補償預測處理來生成預測圖像。
10. 根據權利要求9所述的運動圖像解碼裝置，其特征在于，可變長解碼部件在從復用到編碼比特流中的編碼數據可變長解碼出壓縮數據、編碼模式、自適應參數集合時，對幀內部預測參數或者幀間預測參數以及變換塊分割信息進行可變長解碼，預測部件在與由所述可變長解碼部件可變長解碼了的編碼塊有關的編碼模式是幀內部編碼模式的情況下，使用所述幀內部預測參數，實施幀內預測處理，在與由所述可變長解碼部件可變長解碼了的編碼塊有關的編碼模式是幀間編碼模式的情況下，使用所述幀間預測參數，實施運動補償預測處理，差分圖像生成部件按照根據由所述可變長解碼部件可變長解碼了的變換塊分割信息得到的變換塊單位，對逆量化后的變換系數進行逆變換，生成壓縮前的差分圖像。
11. 一種運動圖像編碼方法，其特征在于，具備：濾波處理步驟，濾波部件對作為從輸入圖像的壓縮數據解碼得到的差分圖像和預測圖像的加法結果的局部解碼圖像實施濾波處理，輸出濾波處理后的局部解碼圖像作為在生成所述預測圖像時使用的參照圖像；以及可變長編碼處理步驟，可變長編碼部件對所述壓縮數據以及在所述濾波處理步驟中實施濾波處理時使用的濾波參數進行可變長編碼，生成復用了所述壓縮數據以及所述濾波參數的編碼數據的編碼比特流，在所述濾波處理步驟中，實施如下的像素自適應偏移處理：按照最大尺寸的編碼塊單位來決定級別的分類方法，使用所述分類方法，實施該塊內的各像素的分級，計算每個級別的偏移值，將所述偏移值相加到屬于對應的級別的像素的像素值，在所述可變長編碼處理步驟中，對表示在所述濾波處理步驟中所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼。
12. -種運動圖像編碼方法，其特征在于，具備：濾波處理步驟，濾波部件對作為從輸入圖像的壓縮數據解碼得到的差分圖像和預測圖像的加法結果的局部解碼圖像實施濾波處理，輸出濾波處理后的局部解碼圖像作為在生成所述預測圖像時使用的參照圖像；以及可變長編碼處理步驟，可變長編碼部件對所述壓縮數據以及在所述濾波處理步驟中實施濾波處理時使用的濾波參數進行可變長編碼，生成復用了所述壓縮數據以及所述濾波參數的編碼數據的編碼比特流，在所述濾波處理步驟中，實施如下的像素自適應偏移處理：按照最大尺寸的編碼塊單位來決定級別的分類方法，使用所述分類方法，實施該塊內的各像素的分級，決定用于計算每個級別的偏移值的參數，并且根據所述參數來計算每個級別的偏移值，將所述偏移值相加到屬于對應的級別的像素的像素值，在所述可變長編碼處理步驟中，對表示在所述濾波處理步驟中所決定的最大尺寸的編碼塊單位的級別的分類方法的索引進行可變長編碼，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長編碼。
13. -種運動圖像解碼方法，其特征在于，具備：可變長解碼處理步驟，可變長解碼部件從復用到編碼比特流中的編碼數據，可變長解碼出壓縮數據以及濾波參數；以及濾波處理步驟，濾波部件使用在所述可變長解碼處理步驟中可變長解碼了的濾波參數，對從在所述可變長解碼處理步驟中可變長解碼了的壓縮數據解碼出的解碼圖像實施濾波處理，將濾波處理后的解碼圖像作為再生圖像來輸出，在所述可變長解碼處理步驟中，從復用到所述編碼比特流中的編碼數據，可變長解碼出表示最大尺寸的編碼塊單位的級別的分類方法的索引作為濾波參數，并且根據利用截斷一元碼的2值化處理，對與最大尺寸的每個編碼塊的各級別的偏移值有關的參數進行可變長解碼，在所述濾波處理步驟中，實施如下的像素自適應偏移處理：使用表示所述最大尺寸的編碼塊單位的級別的分類方法的索引，確定各最大尺寸的編碼塊的級別的分類方法，利用與所述最大尺寸的編碼塊單位對應的級別的分類方法來實施各像素的分級，根據用于計算所述最大尺寸的每個編碼塊的各級別的偏移值的參數來計算偏移值，將所述偏移值相加到屬于對應的級別的像素的像素值。
【文檔編號】H04N19/463GK104221383SQ201380019619
【公開日】2014年12月17日申請日期:2013年4月3日優(yōu)先權日:2012年4月13日
【發(fā)明者】峯澤彰, 杉本和夫, 日和佐憲道, 關口俊一申請人:三菱電機株式會社

完整全部詳細技術資料下載