本發(fā)明涉及對運動圖像高效地進行編碼的運動圖像編碼裝置以及運動圖像編碼方法、和對高效地編碼的運動圖像進行解碼的運動圖像解碼裝置以及運動圖像解碼方法。

背景技術：
可伸縮編碼是指，將影像從粗的信息向細的信息層次性地編碼的技術，是解碼的層次數(shù)越多則能夠得到越高品質的解碼影像的編碼方式，如果僅對由最粗的信息構成的基本層次的編碼數(shù)據(jù)進行解碼，則得到最低品質的解碼影像，如果對基本層次和第1層次的編碼數(shù)據(jù)進行解碼，則得到中品質的解碼影像，進而如果對第2層次的編碼數(shù)據(jù)進行解碼，則得到高品質的解碼影像。SVC(參照非專利文獻1)是被標準化為MPEG-4AVC/H.264編碼方式的擴展方式的可伸縮編碼方式，支持時間層次編碼、空間層次編碼、SNR層次編碼。圖24示出被時間層次編碼的影像數(shù)據(jù)的一個例子。在圖24中，箭頭表示在幀間預測編碼時參照的幀。最初解碼的幀(I0)是僅使用幀內(nèi)的像素值而預測的幀，不參照其他幀。接下來解碼的幀(P1)參照已解碼的I0幀而生成預測圖像，表示與所生成的預測圖像的差分圖像已被編碼。接下來解碼的幀(B2)參照已解碼的I0幀和P1幀這2幀而生成預測圖像，表示與所生成的預測圖像的差分圖像已被編碼。以下，相同。另外，在圖24中，如果將I0、P1幀稱為基本層次幀(T0)，將B2幀稱為第1層次幀，將B3、B4幀稱為第2層次幀，將B5、B6、B7、B8稱為第3層次幀，則基本層次幀是僅參照屬于相同的層次的幀來解碼，第1層次幀是僅參照屬于相同的層次或者基本層次幀的幀來解碼，以下同樣地僅參照屬于相同的層次或者其以下的層次幀的幀來解碼。如果對所有層次的幀進行解碼，則能夠對影像數(shù)據(jù)內(nèi)的所有幀進行解碼，但如果僅對屬于基本層次幀的幀進行解碼，則整體的1/8的幀被解碼，如果對屬于基本層次和第1層次的幀進行解碼，則整體1/4的幀被解碼，被編碼成越增加解碼的層次則解碼出運動越平滑的影像。如以上那樣，被時間層次編碼的影像數(shù)據(jù)構成為能夠抽出一部分的幀來解碼，所以即使是未與可伸縮編碼對應的解碼裝置也能夠正確地解碼出影像數(shù)據(jù)。另外，通過在影像數(shù)據(jù)的開頭中附加的上位頭的參數(shù)組中編碼好該影像數(shù)據(jù)被層次性地編碼的情況下的最大層次數(shù)、表示屬于各層次的幀是否將屬于更上層次的幀用作參照圖像的標志，由此在與可伸縮編碼對應的解碼裝置中，能夠判斷影像數(shù)據(jù)是否被可伸縮地構成、在被可伸縮地構成的情況下能夠以何種程度的粗細度進行解碼。例如在非專利文獻2中，在比序列級別(level)的參數(shù)組更上位，編碼用于對被時間層次編碼的影像數(shù)據(jù)的最大層次數(shù)、表示層次之間的參照關系的標志進行編碼的參數(shù)組(視頻參數(shù)組)。圖25是示出以往的生成被時間層次編碼的影像數(shù)據(jù)的運動圖像編碼裝置的結構的框圖。視頻參數(shù)組編碼部101對影像數(shù)據(jù)的最大層次數(shù)、表示屬于各層次的幀是否將屬于更上層次的幀用作參照圖像的標志進行編碼。序列參數(shù)組編碼部102對序列參照哪個視頻參數(shù)組的識別編號和與影像數(shù)據(jù)的序列整體有關的參數(shù)(影像數(shù)據(jù)的分辨率等)進行編碼?；緦哟螏幋a部103對參照的序列參數(shù)組的識別編號和屬于基本層次的幀進行編碼。上位層次幀編碼部104與基本層次幀編碼部103同樣地，對屬于上位層次的幀進行編碼。非專利文獻1：OverviewoftheScalableVideoCodingExtensionoftheH.264/AVCStandard，IEEETRANSACTIONSONCIRCUITSANDSYSTEMSFORVIDEOTECHNOLOGY，VOL.17，NO.9，SEPTEMBER2007非專利文獻2：Parametersetsmodificationsfortemporalscalabilityandextensionhooks，JCT-VCDocumentJCTVC-I0230，April2012，Geneva，CH.

技術實現(xiàn)要素：
以往的生成被時間層次編碼的影像數(shù)據(jù)的運動圖像編碼裝置如以上那樣構成，所以存在如下課題：被時間層次編碼的影像數(shù)據(jù)必須包括基本層次幀的影像數(shù)據(jù)，無法生成僅編碼了屬于上位層次的幀的影像數(shù)據(jù)，所以即使在僅對一部分的幀進行處理的情況下，也一定必須包括基本層次幀，無法獨立地對僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行處理。本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種即使是層次化的編碼方式，在解碼裝置側也能夠可伸縮地解碼的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法。本發(fā)明具備可變長編碼部，該可變長編碼部對表示在序列內(nèi)是否包括所述基本層次的基本層次有無標志按照所述序列單位進行編碼。根據(jù)本發(fā)明，具備對表示在序列內(nèi)是否包括所述基本層次的基本層次有無標志按照所述序列單位進行編碼的可變長編碼部，從而具有能夠可伸縮地進行編碼、解碼處理的效果。附圖說明圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結構圖。圖2是示出在本發(fā)明的實施方式1的運動圖像編碼裝置的環(huán)路濾波器部中使用多個環(huán)路濾波處理的情況的結構例的說明圖。圖3是示出本發(fā)明的實施方式1中的編碼比特流的一個例子的說明圖。圖4是示出本發(fā)明的實施方式1中的NAL單元的結構的說明圖。圖5是示出本發(fā)明的實施方式1的運動圖像編碼裝置的處理內(nèi)容(運動圖像編碼方法)的流程圖。圖6是示出本發(fā)明的實施方式1的運動圖像解碼裝置的結構圖。圖7是示出在本發(fā)明的實施方式1的運動圖像解碼裝置的環(huán)路濾波器部中使用多個環(huán)路濾波處理的情況的結構例的說明圖。圖8是示出本發(fā)明的實施方式1的運動圖像解碼裝置的處理內(nèi)容(運動圖像解碼方法)的流程圖。圖9是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。圖10(a)是示出分割后的編碼塊以及預測塊的分布的圖，(b)是通過層次分割而分配編碼模式m(Bn)的狀況的說明圖。圖11是示出本發(fā)明的實施方式1中的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖12是示出本發(fā)明的實施方式1中的編碼比特流的一個例子的說明圖。圖13是示出本發(fā)明的實施方式1中的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖14是示出本發(fā)明的實施方式1中的編碼比特流的一個例子的說明圖。圖15是示出本發(fā)明的實施方式1中的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖16是示出本發(fā)明的實施方式1中的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖17是示出本發(fā)明的實施方式1中的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖18是示出編碼塊Bn內(nèi)的各預測塊Pin可選擇的幀內(nèi)部預測參數(shù)(幀內(nèi)部預測模式)的一個例子的說明圖。圖19是示出在生成lin＝min＝4的情況下的預測塊Pin內(nèi)的像素的預測值時使用的像素的一個例子的說明圖。圖20是示出本發(fā)明的實施方式2中的子比特流生成裝置的結構的說明圖。圖21是示出本發(fā)明的實施方式2中的子比特流的一個例子的說明圖。圖22是示出本發(fā)明的實施方式2中的子比特流的一個例子的說明圖。圖23是示出本發(fā)明的實施方式2中的子比特流的一個例子的說明圖。圖24是示出以往的被時間層次編碼的影像數(shù)據(jù)的一個例子的說明圖。圖25是示出以往的生成被時間層次編碼的影像數(shù)據(jù)的運動圖像編碼裝置的結構的框圖。(符號說明)1：塊分割部(塊分割部件)；2：編碼控制部(編碼控制部件)；3：切換開關；4：幀內(nèi)部預測部(預測部件)；5：運動補償預測部(預測部件)；6：減法部(差分圖像生成部件)；7：變換/量化部(圖像壓縮部件)；8：逆量化/逆變換部(局部解碼圖像生成部件)；9：加法部(局部解碼圖像生成部件)；10：幀內(nèi)部預測用存儲器(預測部件)；11：環(huán)路濾波器部(濾波部件)；12：運動補償預測幀存儲器(預測部件)；13：可變長編碼部(可變長編碼部件)；14：切片分割部(切片分割部件)；31：可變長解碼部(可變長解碼部件)；32：逆量化/逆變換部(差分圖像生成部件)；33：切換開關；34：幀內(nèi)部預測部(預測部件)；35：運動補償部(預測部件)；36：加法部(解碼圖像生成部件)；37：幀內(nèi)部預測用存儲器(預測部件)；38：環(huán)路濾波器部(濾波部件)；39：運動補償預測幀存儲器(預測部件)；51：NAL單元頭解析部；52：視頻參數(shù)組解析部；53：NAL單元抽出部；54：NAL單元復用部。具體實施方式實施方式1.圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結構圖。在圖1中，切片分割部14實施如下處理：如果作為輸入圖像輸入了影像信號，則依照由編碼控制部2決定的切片分割信息，將該輸入圖像分割為1個以上的“切片”這樣的部分圖像。切片的分割單位能夠細化至后述編碼塊單位。另外，切片分割部14構成了切片分割部件。塊分割部1實施如下處理：每當輸入由切片分割部14分割的切片時，將該切片分割為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，并且直至達到由編碼控制部2決定的上限的層次數(shù)為止，將該最大編碼塊層次性地分割為各編碼塊。即，塊分割部1實施如下處理：將切片根據(jù)由編碼控制部2決定的分割來分割為各編碼塊，并輸出該編碼塊。另外，各編碼塊被分割為成為預測處理單位的一個或者多個預測塊。另外，塊分割部1構成了塊分割部件。編碼控制部2實施如下處理：決定成為實施編碼處理時的處理單位的編碼塊的最大尺寸，并且決定最大尺寸的編碼塊被層次性地分割時的上限的層次數(shù)，從而決定各個編碼塊的尺寸。另外，編碼控制部2實施如下處理：從可選擇的1個以上的編碼模式(表示預測處理單位的預測塊的尺寸等不同的1個以上的幀內(nèi)部(intra)編碼模式、預測塊的尺寸等不同的1個以上的幀之間(inter)編碼模式)中，選擇適用于從塊分割部1輸出的編碼塊的編碼模式。作為選擇手法的例子，有從可選擇的1個以上的編碼模式中選擇針對從塊分割部1輸出的編碼塊的編碼效率最高的編碼模式的手法。另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是幀內(nèi)部編碼模式的情況下，針對作為上述幀內(nèi)部編碼模式表示的預測處理單位的每個預測塊，決定在該幀內(nèi)部編碼模式下實施針對編碼塊的幀內(nèi)部預測處理時使用的幀內(nèi)部預測參數(shù)，在編碼效率最高的編碼模式是幀之間編碼模式的情況下，針對作為上述幀之間編碼模式表示的預測處理單位的每個預測塊，決定在該幀之間編碼模式下實施針對編碼塊的幀之間預測處理時使用的幀之間預測參數(shù)。進而，編碼控制部2實施決定對變換/量化部7以及逆量化/逆變換部8提供的預測差分編碼參數(shù)的處理。在預測差分編碼參數(shù)中，包括表示成為編碼塊中的正交變換處理單位的正交變換塊的分割信息的正交變換塊分割信息、規(guī)定進行變換系數(shù)的量化時的量化步長的量化參數(shù)等。另外，編碼控制部2構成了編碼控制部件。切換開關3實施如下處理：如果由編碼控制部2決定的編碼模式是幀內(nèi)部編碼模式，則將從塊分割部1輸出的編碼塊輸出到幀內(nèi)部預測部4，如果由編碼控制部2決定的編碼模式是幀之間編碼模式，則將從塊分割部1輸出的編碼塊輸出到運動補償預測部5。幀內(nèi)部預測部4實施如下處理：在作為與從切換開關3輸出的編碼塊對應的編碼模式，由編碼控制部2選擇了幀內(nèi)部編碼模式的情況下，針對作為進行該編碼塊的預測處理時的預測處理單位的每個預測塊，邊參照在幀內(nèi)部預測用存儲器10中保存的局部解碼圖像，邊實施使用了由編碼控制部2決定的幀內(nèi)部預測參數(shù)的幀內(nèi)部預測處理(幀內(nèi)預測處理)，由此生成幀內(nèi)部預測圖像。運動補償預測部5實施如下處理：在作為與從切換開關3輸出的編碼塊對應的編碼模式，由編碼控制部2選擇了幀之間編碼模式的情況下，按照作為預測處理單位的預測塊單位，比較編碼塊和在運動補償預測幀存儲器12中保存的1幀以上的局部解碼圖像，探索運動矢量，使用該運動矢量和由編碼控制部2決定的參照的幀編號等幀之間預測參數(shù)，按照預測塊單位實施針對該編碼塊的幀之間預測處理(運動補償預測處理)，生成幀之間預測圖像。另外，由幀內(nèi)部預測部4、幀內(nèi)部預測用存儲器10、運動補償預測部5以及運動補償預測幀存儲器12構成了預測部件。減法部6實施如下處理：從由塊分割部1輸出的編碼塊，減去由幀內(nèi)部預測部4生成的幀內(nèi)部預測圖像、或者、由運動補償預測部5生成的幀之間預測圖像，將表示作為其減法結果的差分圖像的預測差分信號輸出到變換/量化部7。另外，減法部6構成了差分圖像生成部件。變換/量化部7實施如下處理：參照由編碼控制部2決定的預測差分編碼參數(shù)所包含的正交變換塊分割信息，按照正交變換塊單位，實施針對從減法部6輸出的預測差分信號的正交變換處理(例如DCT(離散余弦變換)、DST(離散正弦變換)、預先對特定的學習系列進行了基底設計的KL變換等正交變換處理)，計算變換系數(shù)，并且參照該預測差分編碼參數(shù)所包含的量化參數(shù)，對該正交變換塊單位的變換系數(shù)進行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長編碼部13。另外，變換/量化部7構成了圖像壓縮部件。變換/量化部7在對變換系數(shù)進行量化時，也可以使用針對每個變換系數(shù)縮放根據(jù)上述量化參數(shù)計算的量化步長的量化矩陣，實施變換系數(shù)的量化處理。另外，關于量化矩陣，能夠在各正交變換尺寸下針對顏色信號、編碼模式(是幀內(nèi)部編碼還是幀之間編碼)的每一個，使用獨立的矩陣，能夠分別選擇是從作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共用地準備的量化矩陣、已經(jīng)編碼的量化矩陣中選擇、還是使用新的量化矩陣。因此，變換/量化部7針對各正交變換尺寸，按照顏色信號、編碼模式的每一個，將表示是否使用新的量化矩陣的標志信息設定在應編碼的量化矩陣參數(shù)中。然后，變換/量化部7將設定的量化矩陣參數(shù)作為自適應參數(shù)組的一部分而輸出到可變長編碼部13。逆量化/逆變換部8實施如下處理：參照由編碼控制部2決定的預測差分編碼參數(shù)所包含的量化參數(shù)以及正交變換塊分割信息，按照正交變換塊單位，對從變換/量化部7輸出的壓縮數(shù)據(jù)進行逆量化，并且實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計算與從減法部6輸出的預測差分信號相當?shù)木植拷獯a預測差分信號。另外，在變換/量化部7使用量化矩陣來實施量化處理的情況下，在逆量化處理時，也參照該量化矩陣實施對應的逆量化處理。加法部9實施如下處理：將由逆量化/逆變換部8計算的局部解碼預測差分信號、和由幀內(nèi)部預測部4生成的幀內(nèi)部預測圖像、或者、由運動補償預測部5生成的幀之間預測圖像相加，計算與從塊分割部1輸出的編碼塊相當?shù)木植拷獯a圖像。另外，由逆量化/逆變換部8以及加法部9構成了局部解碼圖像生成部件。幀內(nèi)部預測用存儲器10是保存由加法部9計算出的局部解碼圖像的記錄介質。環(huán)路濾波器部11實施如下處理：對由加法部9計算出的局部解碼圖像實施規(guī)定的濾波處理，輸出濾波處理后的局部解碼圖像。具體而言，進行降低在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真的濾波(解塊濾波)處理、按照像素單位自適應地相加偏置(offset)的(像素自適應偏置)處理、自適應地切換維納濾波器等線性濾波器而濾波處理的自適應濾波處理等。其中，環(huán)路濾波器部11針對上述解塊濾波處理、像素自適應偏置處理以及自適應濾波處理的各個，決定是否進行處理，并將各處理的有效標志作為應編碼的自適應參數(shù)組的一部分以及切片級別頭的一部分，輸出到可變長編碼部13。另外，在使用多個上述濾波處理時，依次實施各濾波處理。圖2示出使用多個濾波處理的情況下的環(huán)路濾波器部11的結構例。一般情況下，使用的濾波處理的種類越多，圖像品質越提高，但另一方面，處理負荷越高。即，圖像品質和處理負荷具有折衷的關系。另外，各濾波處理的圖像品質改善效果是根據(jù)濾波處理對象圖像的特性而不同。因此，依照運動圖像編碼裝置容許的處理負荷、編碼處理對象圖像的特性來決定要使用的濾波處理為好。另外，環(huán)路濾波器部11構成了濾波部件。此處，在解塊濾波處理中，能夠將在對塊邊界施加的濾波強度的選擇中使用的各種參數(shù)從初始值起變更。在變更的情況下，將該參數(shù)作為應編碼的自適應參數(shù)組的一部分，輸出到可變長編碼部13。在像素自適應偏置處理中，最初，將圖像分割為多個塊，按照該塊單位，即使在不進行偏置處理的情況下，也定義為等級(class)分類手法的一種，從預先準備的多個等級分類手法中選擇1種等級分類手法。接下來，通過選擇的等級分類手法，對塊內(nèi)的各像素進行等級分類，針對每個等級，計算補償編碼失真的偏置值。最后，進行對局部解碼圖像的亮度值相加該偏置值的處理，從而改善局部解碼圖像的圖像品質。因此，在像素自適應偏置處理中，將塊分割信息、表示各塊的等級分類手法的索引、確定塊單位的各等級的偏置值的偏置信息作為應編碼的自適應參數(shù)組的一部分，輸出到可變長編碼部13。另外，在像素自適應偏置處理中，例如，也可以始終分割為最大編碼塊這樣的固定尺寸的塊單位，針對每個該塊，選擇等級分類手法，進行每個等級的自適應偏置處理。在該情況下，不需要上述塊分割信息，能夠與塊分割信息所需的代碼量相應地削減代碼量。在自適應濾波處理中，用規(guī)定的手法，對局部解碼圖像進行等級分類，針對屬于各等級的每個區(qū)域(局部解碼圖像)，設計補償重疊的失真的濾波器，使用該濾波器，實施該局部解碼圖像的濾波處理。然后，將針對每個等級設計的濾波器作為應編碼的自適應參數(shù)組的一部分，輸出到可變長編碼部13。作為等級分類手法，有將圖像在空間上等間隔地劃分的簡易的手法、按照塊單位根據(jù)圖像的局部特性(分散(scatter)等)進行分類的手法。另外，關于在自適應濾波處理中使用的等級數(shù)，既可以預先設定為在運動圖像編碼裝置以及運動圖像解碼裝置中共用的值，也可以作為應編碼的自適應參數(shù)組的一部分。相比于前者，在后者中，能夠自由地設定所使用的等級數(shù)，所以圖像品質改善效果提高，但另一方面，為了對等級數(shù)進行編碼，相應量的代碼量增加。進而，并非針對圖像整體，而可以針對例如最大編碼塊這樣的固定尺寸的每個塊進行自適應濾波處理的等級分類以及濾波設計/處理。即，也可以按照對固定尺寸的塊內(nèi)進行分割而得到的多個小塊單位，根據(jù)圖像的局部特性(分散等)實施等級分類，針對每個等級，進行濾波設計以及濾波處理，從而針對固定尺寸的每個塊，將各等級的濾波器作為自適應參數(shù)組的一部分進行編碼。由此，相比于對圖像整體實施等級分類以及濾波設計/處理的情況，能夠實現(xiàn)與局部性質對應的高精度的濾波處理。另外，在進行像素自適應偏置處理以及自適應濾波處理的情況下，需要在環(huán)路濾波器部11中參照影像信號，所以需要以將影像信號輸入到環(huán)路濾波器部11的方式變更圖1的運動圖像編碼裝置。運動補償預測幀存儲器12是保存環(huán)路濾波器部11的濾波處理后的局部解碼圖像的記錄介質?？勺冮L編碼部13對從變換/量化部7輸出的壓縮數(shù)據(jù)、編碼控制部2的輸出信號(最大編碼塊內(nèi)的塊分割信息、編碼模式、預測差分編碼參數(shù)、幀內(nèi)部預測參數(shù)或者幀之間預測參數(shù))、以及從運動補償預測部5輸出的運動矢量(編碼模式是幀之間編碼模式的情況)進行可變長編碼，從而生成編碼數(shù)據(jù)。另外，可變長編碼部13如圖3例示，作為編碼比特流的頭信息，對視頻參數(shù)組、序列級別頭、圖片級別頭、自適應參數(shù)組進行編碼，與圖片數(shù)據(jù)一起生成編碼比特流。另外，可變長編碼部13構成了可變長編碼部件。其中，圖片數(shù)據(jù)由1個以上的切片數(shù)據(jù)構成，各切片數(shù)據(jù)是集中切片級別頭和處于該切片內(nèi)的上述編碼數(shù)據(jù)而得到。序列級別頭是集中圖像尺寸、顏色信號格式、亮度信號、色差信號的信號值的比特深度、序列單位下的環(huán)路濾波器部11中的各濾波處理(自適應濾波處理、像素自適應偏置處理、解塊濾波處理)的有效標志信息、量化矩陣的有效標志信息等一般按照序列單位共用的頭信息而得到。圖片級別頭是集中參照的序列級別頭的索引、運動補償時的參照圖片數(shù)、熵編碼的概率表格初始化標志等按照圖片單位設定的頭信息而得到。切片級別頭是集中表示該切片處于圖片的哪個位置的位置信息、表示參照哪個圖片級別頭的索引、切片的編碼類型(全部幀內(nèi)部編碼、幀之間編碼等)、在該切片中使用的自適應參數(shù)組的索引以及表示是否進行使用了上述索引表示的自適應參數(shù)組的環(huán)路濾波器部11中的各濾波處理(自適應濾波處理、像素自適應偏置處理、解塊濾波處理)的標志信息等切片單位的參數(shù)而得到。自適應參數(shù)組是分別具有與自適應濾波處理、像素自適應偏置處理、解塊濾波處理有關的參數(shù)(濾波參數(shù))以及是否存在與量化矩陣有關的參數(shù)(量化矩陣參數(shù))的標志、且具有僅與上述標志是“有效”的參數(shù)對應的參數(shù)的參數(shù)組。進而，自適應參數(shù)組還具有用于識別在編碼比特流上復用的多個自適應參數(shù)組的索引(aps_id)。視頻參數(shù)組是集中與時間層次編碼有關的參數(shù)、其他與可伸縮編碼有關的參數(shù)、與多視圖編碼有關的參數(shù)等與屬于不同的層次的圖片有關的信息而得到。進而，視頻參數(shù)組還具有用于識別在編碼比特流上復用的多個視頻參數(shù)組的索引(video_parameteter_set_id)。關于構成視頻參數(shù)組、序列級別頭、圖片級別頭、自適應參數(shù)組、圖片數(shù)據(jù)的1個以上的切片數(shù)據(jù)等各編碼數(shù)據(jù)，以被稱為NAL(NetworkAbstractionLayer，網(wǎng)絡提取層)單元的單位構成編碼比特流。圖4示出NAL單元的結構。NAL單元由頭部和有效載荷數(shù)據(jù)部構成，在頭部中包括進入到有效載荷數(shù)據(jù)部的編碼數(shù)據(jù)的種類、即表示視頻參數(shù)組、序列級別頭、圖片級別頭、自適應參數(shù)組、切片數(shù)據(jù)中的哪一個編碼數(shù)據(jù)的類型信息等。在有效載荷數(shù)據(jù)部中，包括用類型信息表示的種類的編碼數(shù)據(jù)。在頭部中，除了類型信息以外還包括參照標志、層次識別編號等。參照標志是表示在有效載荷數(shù)據(jù)所包含的編碼數(shù)據(jù)是切片數(shù)據(jù)的情況下對該切片數(shù)據(jù)進行解碼而得到的幀是否為從其他幀參照的幀的標志。層次識別編號是表示在影像數(shù)據(jù)被時間層次編碼的情況下是與哪個層次關聯(lián)的編碼數(shù)據(jù)的編號。例如，在編碼數(shù)據(jù)是切片數(shù)據(jù)、且該切片是屬于基本層次的幀的切片數(shù)據(jù)的情況下，由于是與基本層次關聯(lián)的編碼數(shù)據(jù)，所以將表示基本層次的“0”作為層次識別編號進行編碼。在圖1的例子中，設想了作為運動圖像編碼裝置的構成要素的塊分割部1、編碼控制部2、切換開關3、幀內(nèi)部預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、幀內(nèi)部預測用存儲器10、環(huán)路濾波器部11、運動補償預測幀存儲器12以及可變長編碼部13的各個由專用的硬件(例如安裝了CPU的半導體集成電路、單片式微型計算機等)構成的例子，但在運動圖像編碼裝置由計算機構成的情況下，也可以將記述了塊分割部1、編碼控制部2、切換開關3、幀內(nèi)部預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長編碼部13的處理內(nèi)容的程序保存到計算機的存儲器，該計算機的CPU執(zhí)行在該存儲器中保存的程序。圖5是示出本發(fā)明的實施方式1的運動圖像編碼裝置的處理內(nèi)容(運動圖像編碼方法)的流程圖。圖6是示出本發(fā)明的實施方式1的運動圖像解碼裝置的結構圖。在圖6中，可變長解碼部31當輸入了由圖1的運動圖像編碼裝置生成的編碼比特流時，從該比特流，按照NAL單元的單位，解碼視頻參數(shù)組、序列級別頭、圖片級別頭、自適應參數(shù)組、切片級別頭等各頭信息，并且從該比特流，可變長解碼表示層次性地分割的各個編碼塊的分割狀況的塊分割信息。此時，根據(jù)由可變長解碼部31可變長解碼出的自適應參數(shù)組內(nèi)的量化矩陣參數(shù)，確定該自適應參數(shù)組的量化矩陣。具體而言，針對各正交變換尺寸的顏色信號、編碼模式的每一個，在量化矩陣參數(shù)表示是作為初始值預先在運動圖像編碼裝置以及運動圖像解碼裝置中共用地準備的量化矩陣、或者、已經(jīng)解碼出的量化矩陣(并非新的量化矩陣)的情況下，參照用于確定是上述自適應參數(shù)組所包含的上述矩陣內(nèi)的哪個量化矩陣的索引信息來確定量化矩陣，在量化矩陣參數(shù)表示使用新的量化矩陣的情況下，將量化矩陣參數(shù)所包含的量化矩陣確定為使用的量化矩陣。另外，可變長解碼部31實施如下處理：參照各頭信息，確定切片數(shù)據(jù)所包含的最大解碼塊(與圖1的運動圖像編碼裝置的“最大編碼塊”相當?shù)膲K)，參照塊分割信息，確定作為將最大解碼塊層次性地分割而進行解碼處理的單位的解碼塊(與圖1的運動圖像編碼裝置的“編碼塊”相當?shù)膲K)，對與各個解碼塊有關的壓縮數(shù)據(jù)、編碼模式、幀內(nèi)部預測參數(shù)(編碼模式是幀內(nèi)部編碼模式的情況)、幀之間預測參數(shù)(編碼模式是幀之間編碼模式的情況)、預測差分編碼參數(shù)以及運動矢量(編碼模式是幀之間編碼模式的情況)進行可變長解碼。另外，可變長解碼部31構成了可變長解碼部件。逆量化/逆變換部32實施如下處理：參照由可變長解碼部31可變長解碼出的預測差分編碼參數(shù)所包含的量化參數(shù)以及正交變換塊分割信息，按照正交變換塊單位，對由可變長解碼部31可變長解碼出的壓縮數(shù)據(jù)進行逆量化，并且實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出的局部解碼預測差分信號相同的解碼預測差分信號。另外，逆量化/逆變換部32構成了差分圖像生成部件。此處，在由可變長解碼部31可變長解碼出的各頭信息表示在該切片中使用量化矩陣來實施逆量化處理的情況下，使用量化矩陣來進行逆量化處理。具體而言，使用從各頭信息確定的在該切片中參照的自適應參數(shù)組的量化矩陣來進行逆量化處理。切換開關33實施如下處理：如果由可變長解碼部31可變長解碼出的編碼模式是幀內(nèi)部編碼模式，則將由可變長解碼部31可變長解碼出的幀內(nèi)部預測參數(shù)輸出到幀內(nèi)部預測部34，如果由可變長解碼部31可變長解碼出的編碼模式是幀之間編碼模式，則將由可變長解碼部31可變長解碼出的幀之間預測參數(shù)以及運動矢量輸出到運動補償部35。幀內(nèi)部預測部34實施如下處理：在與根據(jù)由可變長解碼部31可變長解碼出的塊分割信息確定的解碼塊有關的編碼模式是幀內(nèi)部編碼模式的情況下，針對作為進行該解碼塊的預測處理時的預測處理單位的每個預測塊，邊參照在幀內(nèi)部預測用存儲器37中保存的解碼圖像，邊實施使用了從切換開關33輸出的幀內(nèi)部預測參數(shù)的幀內(nèi)部預測處理(幀內(nèi)預測處理)，生成幀內(nèi)部預測圖像。運動補償部35實施如下處理：在與根據(jù)由可變長解碼部31可變長解碼出的塊分割信息確定的解碼塊有關的編碼模式是幀之間編碼模式的情況下，針對作為進行上述解碼塊的預測處理時的預測處理單位的每個預測塊，邊參照在運動補償預測幀存儲器39中保存的解碼圖像，邊實施使用了從切換開關33輸出的運動矢量和幀之間預測參數(shù)的幀之間預測處理(運動補償預測處理)，生成幀之間預測圖像。另外，由幀內(nèi)部預測部34、幀內(nèi)部預測用存儲器37、運動補償部35以及運動補償預測幀存儲器39構成了預測部件。加法部36實施如下處理：將由逆量化/逆變換部32計算出的解碼預測差分信號、和由幀內(nèi)部預測部34生成的幀內(nèi)部預測圖像、或者、由運動補償部35生成的幀之間預測圖像進行相加，計算與從圖1的加法部9輸出的局部解碼圖像相同的解碼圖像。另外，加法部36構成了解碼圖像生成部件。幀內(nèi)部預測用存儲器37是保存由加法部36計算出的解碼圖像的記錄介質。環(huán)路濾波器部38實施如下處理：對由加法部36計算出的解碼圖像實施規(guī)定的濾波處理，輸出濾波處理后的解碼圖像。具體而言，進行降低在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真的濾波(解塊濾波)處理、按照像素單位自適應地相加偏置的(像素自適應偏置)處理、自適應地切換維納濾波器等線性濾波器而進行濾波處理的自適應濾波處理等。其中，環(huán)路濾波器部38關于上述解塊濾波處理、像素自適應偏置處理、自適應濾波處理的各個處理，參照由可變長解碼部31可變長解碼出的各頭信息，確定在該切片中是否進行。另外，在圖1的運動圖像編碼裝置中，并非將在環(huán)路濾波器部38中使用的濾波參數(shù)編碼為作為頭信息的一個的自適應參數(shù)組的一部分，而按照切片單位分別直接用切片數(shù)據(jù)對所使用的濾波參數(shù)進行編碼的情況下，可變長解碼部31從切片數(shù)據(jù)解碼出在環(huán)路濾波器部38中使用的濾波參數(shù)。此時，在進行2個以上的濾波處理的情況下，如果運動圖像編碼裝置的環(huán)路濾波器部11如圖2那樣構成，則如圖7所示構成環(huán)路濾波器部38。另外，環(huán)路濾波器部38構成了濾波部件。此處，在解塊濾波處理中，參照該切片參照的自適應參數(shù)組，在存在將在對塊邊界施加的濾波強度的選擇中使用的各種參數(shù)從初始值變更的信息的情況下，根據(jù)該變更信息，實施解塊濾波處理。在沒有變更信息的情況下，依照預先決定的手法進行。在像素自適應偏置處理中，參照該切片參照的自適應參數(shù)組，根據(jù)該自適應參數(shù)組所包含的塊分割信息，分割解碼圖像，按照該塊單位，參照表示該自適應參數(shù)組所包含的塊單位的等級分類手法的索引，在該索引不是表示“不進行偏置處理”的索引的情況下，按照塊單位，依照上述索引表示的等級分類手法，對塊內(nèi)的各像素進行等級分類。另外，作為等級分類手法的候補，預先準備了與環(huán)路濾波器部11的像素自適應偏置處理的等級分類手法的候補相同的例子。而且，參照確定塊單位的各等級的偏置值的偏置信息(自適應參數(shù)組所包含的偏置信息)，進行對解碼圖像的亮度值相加偏置的處理。其中，在運動圖像編碼裝置的環(huán)路濾波器部11的像素自適應偏置處理中，構成為不對塊分割信息進行編碼，而始終按照固定尺寸的塊單位(例如最大編碼塊單位)分割圖像，針對每個該塊，選擇等級分類手法，進行每個等級的自適應偏置處理的情況下，在環(huán)路濾波器部38中，也按照與環(huán)路濾波器部11相同的固定尺寸的塊單位，實施像素自適應偏置處理。在自適應濾波處理中，參照該切片參照的自適應參數(shù)組，使用該自適應參數(shù)組所包含的每個等級的濾波器，用與圖1的運動圖像編碼裝置相同的手法進行等級分類之后，根據(jù)該等級分類信息進行濾波處理。其中，在運動圖像編碼裝置的環(huán)路濾波器部11的自適應濾波處理中，構成為并未對圖像整體而是按照例如最大編碼塊這樣的固定尺寸的每個塊進行上述等級分類以及濾波設計/處理的情況下，在環(huán)路濾波器部38中，也針對與環(huán)路濾波器部11相同的固定尺寸的每個塊，對在各等級中使用的濾波器進行解碼，進行上述等級分類以及濾波處理。運動補償預測幀存儲器39是保存環(huán)路濾波器部38的濾波處理后的解碼圖像的記錄介質。在圖6的例子中，設想了作為運動圖像解碼裝置的構成要素的可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內(nèi)部預測部34、運動補償部35、加法部36、幀內(nèi)部預測用存儲器37、環(huán)路濾波器部38以及運動補償預測幀存儲器39的各個由專用的硬件(例如安裝了CPU的半導體集成電路、單片式微型計算機等)構成的例子，但在運動圖像解碼裝置由計算機構成的情況下，也可以將記述了可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內(nèi)部預測部34、運動補償部35、加法部36以及環(huán)路濾波器部38的處理內(nèi)容的程序保存到計算機的存儲器，該計算機的CPU執(zhí)行在該存儲器中保存的程序。圖8是示出本發(fā)明的實施方式1的運動圖像解碼裝置的處理內(nèi)容(運動圖像解碼方法)的流程圖。接下來，說明動作。在該實施方式1中，說明如下運動圖像編碼裝置和對從該運動圖像編碼裝置輸出的編碼比特流進行解碼的運動圖像解碼裝置，在該運動圖像編碼裝置中，將影像的各幀圖像作為輸入圖像，實施根據(jù)已編碼的附近像素進行的幀內(nèi)部預測或者接近幀間的運動補償預測，對得到的預測差分信號實施利用正交變換/量化的壓縮處理，之后，進行可變長編碼來生成編碼比特流。圖1的運動圖像編碼裝置的特征在于，適應于影像信號的空間/時間方向的局部變化，將影像信號分割為各種尺寸的塊，進行幀內(nèi)/幀間自適應編碼。一般，影像信號具有在空間/時間上信號的復雜度局部地變化的特性。在空間上觀察時，在某個影像幀上，既有例如天空、壁等那樣的在比較廣的圖像區(qū)域中具有均勻的信號特性的圖樣，又混合存在人物、包括細致的紋理的繪畫等在小的圖像區(qū)域內(nèi)具有復雜的紋理圖案的圖樣。在時間上觀察時也是，關于天空、壁，在局部上，時間方向的圖樣的變化小，但關于運動的人物、物體，其輪廓在時間上進行剛體/非剛體的運動，所以時間上的變化大。在編碼處理中，通過時間/空間上的預測，生成信號功率、熵小的預測差分信號，進行削減整體的代碼量的處理，但如果對盡可能大的圖像信號區(qū)域均勻地應用在預測中使用的參數(shù)，則能夠減小該參數(shù)的代碼量。另一方面，如果針對在時間/空間上變化大的圖像信號圖案，在大的圖像區(qū)域中應用同一預測參數(shù)，則預測的錯誤會增加，所以預測差分信號的代碼量會增加。因此，期望在時間/空間上變化大的區(qū)域中，減小應用同一預測參數(shù)來進行預測處理的塊尺寸，增加在預測中使用的參數(shù)的數(shù)據(jù)量，降低預測差分信號的功率/熵。在該實施方式1中，為了進行適合于這樣的影像信號的一般性質的編碼，采用如下結構：最初從規(guī)定的最大塊尺寸開始進行預測處理等，層次性地分割影像信號的區(qū)域，針對分割的每個區(qū)域，使預測處理、該預測差分的編碼處理自適應化。將圖1的運動圖像編碼裝置作為處理對象的影像信號格式設為，除了由亮度信號和2個色差信號構成的YUV信號、從數(shù)字攝像元件輸出的RGB信號等任意的顏色空間的彩色影像信號以外，還有單色圖像信號、紅外線圖像信號等影像幀由水平/垂直二維的數(shù)字采樣(像素)列構成的任意的影像信號。其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。在以下的說明中，為便于說明，只要沒有特別說明，敘述如下情況：設輸入圖像的影像信號是YUV信號，并且處理2個色差分量U、V相對亮度分量Y被子采樣了的4：2：0格式的信號。另外，將與影像信號的各幀對應的處理數(shù)據(jù)單位稱為“圖片”。在該實施方式1中，設“圖片”為依次掃描(逐行掃描)的影像幀信號來進行說明，但在影像信號是隔行掃描信號的情況下，“圖片”也可以是作為構成影像幀的單位的場(field)圖像信號。最初，說明圖1的運動圖像編碼裝置的處理內(nèi)容。首先，編碼控制部2決定序列內(nèi)的圖片的圖片類型、編碼順序、在預測中使的圖片的參照關系等GOP(GroupOfPicture，圖像組)構造。以用例如圖24所示那樣的GOP構造進行時間層次編碼的情況為例子，說明編碼處理的內(nèi)容。在編碼控制部2中，將最初的圖片的圖片類型設為I圖片(I0圖片)，將接下來編碼的圖片的圖片類型設為P圖片(P1圖片)，僅參照I0圖片，對P1圖片進行預測編碼。將I0圖片和P1圖片設為屬于基本層次(T0)的圖片。將接著P1圖片編碼的圖片的圖片類型設為B圖片(B2圖片)，將B2圖片設為屬于第1層次(T1)的圖片。參照屬于基本層次或者第1層次的圖片而對B2圖片進行預測編碼。在圖24的例子中，參照I0圖片和P1圖片來進行預測編碼。將接著B2圖片編碼的圖片的圖片類型設為B圖片(B3圖片)，將B3圖片設為屬于第2層次(T2)的圖片。另外，將接著B3圖片編碼的圖片也設為屬于第2層次(T2)的圖片(B4圖片)。參照屬于基本層次至第2層次的圖片，對屬于第2層次(T2)的圖片進行預測編碼。接著B4圖片，按照B5圖片、B6圖片、B7圖片、B8圖片的順序進行編碼。將B5圖片至B8圖片設為屬于第3層次(T3)的圖片，參照屬于基本層次至第3層次的圖片來進行預測編碼。以下，每隔9張設為屬于基本層次的圖片，將基本層次之間的8張圖片分成第2層次至第4層次這3個層次來進行編碼。另外，在以以上那樣的GOP構造進行時間層次編碼的情況下，在解碼裝置側只能夠正確地解碼出屬于基本層次的圖片。同樣地，如只能夠正確地解碼出屬于基本層次和第2層次的圖片，在解碼裝置側能夠可伸縮地解碼。因此，編碼控制部2將表示是否被時間層次編碼的標志設置為表示被時間層次編碼的值(例如1)，輸出到可變長編碼部。在GOP構造未被時間層次編碼的情況下，將表示是否被時間層次編碼的標志設置為表示未被時間層次編碼的值(例如0)而輸出到可變長編碼部。接下來，將最大層次數(shù)、針對每個層次必要的圖片緩沖器的大小等信息輸出到可變長編碼部。在圖24的例子中，最大層次數(shù)是4，針對每個層次必要的圖片緩沖器的大小是通過直至參照幀數(shù)和屬于各層次的圖片成為顯示順序為止需要緩沖的圖片數(shù)來決定的。接下來，編碼控制部2決定成為編碼對象的圖片(當前圖片)的切片分割狀態(tài)，并且決定在圖片的編碼中使用的最大編碼塊的尺寸、和對最大編碼塊進行層次分割的層次數(shù)的上限(圖5的步驟ST1)。作為最大編碼塊的尺寸的決定方法，例如，也可以根據(jù)輸入圖像的影像信號的分辨率，針對所有圖片決定相同尺寸，也可以將輸入圖像的影像信號的局部運動的復雜度的差異作為參數(shù)而定量化，對運動劇烈的圖片，決定小的尺寸，另一方面，對運動少的圖片，決定大的尺寸。作為分割層次數(shù)的上限的決定方法，例如有根據(jù)輸入圖像的影像信號的分辨率針對所有圖片決定相同層次數(shù)的方法、在輸入圖像的影像信號的運動劇烈的情況下加深層次數(shù)而設定成能夠檢測出更細致的運動、在運動少的情況下設定成抑制層次數(shù)的方法等。另外，關于上述最大編碼塊的尺寸和對最大編碼塊進行層次分割的層次數(shù)的上限，既可以在序列級別頭等中進行編碼，也可以不編碼而在運動圖像解碼裝置側也進行相同的決定處理。在前者中，雖然頭信息的代碼量增加，但在運動圖像解碼裝置側不進行上述決定處理也可以，所以能夠抑制運動圖像解碼裝置的處理負荷，而且能夠在運動圖像編碼裝置側探索最佳的值而發(fā)送。在后者的情況下，相反地在運動圖像解碼裝置側進行上述決定處理，所以運動圖像解碼裝置的處理負荷增加，但頭信息的代碼量不增加。另外，編碼控制部2從可利用的1個以上的編碼模式中，選擇與層次性地分割的各個編碼塊對應的編碼模式(步驟ST2)。即，編碼控制部2針對最大編碼塊尺寸的每個圖像區(qū)域，直至達到之前決定的分割層次數(shù)的上限為止，層次性地分割為具有編碼塊尺寸的編碼塊，決定針對各個編碼塊的編碼模式。在編碼模式中，有一個或者多個幀內(nèi)部編碼模式(總稱為“INTRA”)和一個或者多個幀之間編碼模式(總稱為“INTER”)，編碼控制部2從在該圖片中可利用的所有編碼模式或者其子集中，選擇與各個編碼塊對應的編碼模式。其中，由后述塊分割部1層次性地分割的各個編碼塊進而被分割為作為進行預測處理的單位的一個或者多個預測塊，預測塊的分割狀態(tài)也作為信息包含于編碼模式中。即，編碼模式是識別具有什么樣的預測塊分割的幀內(nèi)部或者幀之間編碼模式的索引。由編碼控制部2實施的編碼模式的選擇方法是公知的技術，所以省略詳細的說明，例如，有使用可利用的任意的編碼模式來實施針對編碼塊的編碼處理而驗證編碼效率，并在可利用的多個編碼模式中選擇編碼效率最良好的編碼模式的方法等。另外，編碼控制部2針對各個編碼塊的每一個，決定在壓縮差分圖像時使用的量化參數(shù)以及正交變換塊分割狀態(tài)，并且決定在實施預測處理時使用的預測參數(shù)(幀內(nèi)部預測參數(shù)或者幀之間預測參數(shù))。其中，在編碼塊被進一步分割為進行預測處理的預測塊單位的情況下，能夠針對每個預測塊選擇預測參數(shù)(幀內(nèi)部預測參數(shù)或者幀之間預測參數(shù))。進而，在編碼模式是幀內(nèi)部編碼模式的編碼塊中，如后詳述，在進行幀內(nèi)部預測處理時使用與預測塊鄰接的已編碼的像素，所以需要按照預測塊單位進行編碼，所以可選擇的變換塊尺寸被限制為預測塊的尺寸以下。編碼控制部2將包括量化參數(shù)以及變換塊尺寸的預測差分編碼參數(shù)輸出到變換/量化部7、逆量化/逆變換部8以及可變長編碼部13。另外，編碼控制部2將幀內(nèi)部預測參數(shù)根據(jù)需要輸出到幀內(nèi)部預測部4。另外，編碼控制部2將幀之間預測參數(shù)根據(jù)需要輸出到運動補償預測部5。切片分割部14如果作為輸入圖像輸入了影像信號，則將該輸入圖像依照由編碼控制部2決定的切片分割信息分割為作為1個以上的部分圖像的切片。塊分割部1每當從切片分割部14輸入各切片時，將該切片分割為由編碼控制部2決定的最大編碼塊尺寸，進而，將分割的最大編碼塊層次性地分割為由編碼控制部2決定的編碼塊，輸出該編碼塊。此處，圖9是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。在圖9中，最大編碼塊是記為“第0層次”的亮度分量具有(L0，M0)的尺寸的編碼塊。將最大編碼塊作為出發(fā)點，以四叉樹構造，直至另行決定的規(guī)定的深度為止層次性地進行分割，從而得到編碼塊。在深度n中，編碼塊是尺寸(Ln，Mn)的圖像區(qū)域。其中，Ln和Mn既可以相同，也可以不同，但在圖9中，示出了Ln＝Mn的情形。以后，將由編碼控制部2決定的編碼塊尺寸定義為編碼塊的亮度分量中的尺寸(Ln，Mn)。由于進行四叉樹分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始終成立。另外，在RGB信號等所有顏色分量具有相同采樣數(shù)的彩色影像信號(4：4：4格式)中，所有顏色分量的尺寸成為(Ln，Mn)，但在處理4：2：0格式的情況下，對應的色差分量的編碼塊尺寸成為(Ln/2，Mn/2)。以后，設為用Bn表示第n層次的編碼塊，用m(Bn)表示在編碼塊Bn中可選擇的編碼模式。在由多個顏色分量構成的彩色影像信號的情況下，編碼模式m(Bn)既可以構成為針對每個顏色分量分別使用個別的模式，也可以構成為針對所有顏色分量使用共用的模式。以后，只要沒有特別說明，設為指示針對YUV信號、4：2：0格式的編碼塊的亮度分量的編碼模式而進行說明。編碼塊Bn如圖9所示，通過塊分割部1被分割為表示預測處理單位的一個或者多個預測塊。以后，將屬于編碼塊Bn的預測塊記載為Pin(i是第n層次中的預測塊編號)。在圖9中示出了P00和P10的例子。關于如何進行編碼塊Bn內(nèi)的預測塊的分割，在編碼模式m(Bn)中作為信息包括。對于預測塊Pin全部依照編碼模式m(Bn)進行預測處理，但能夠針對每個預測塊Pin，選擇個別的預測參數(shù)(幀內(nèi)部預測參數(shù)或者幀之間預測參數(shù))。編碼控制部2針對最大編碼塊例如生成圖10所示那樣的塊分割狀態(tài)，確定編碼塊。圖10(a)的虛線所包圍的矩形表示各編碼塊，處于各編碼塊內(nèi)的用斜線涂覆的塊表示各預測塊的分割狀態(tài)。圖10(b)是關于圖10(a)的例子用四叉樹圖形表示了通過層次分割而被分配編碼模式m(Bn)的狀況的圖。圖10(b)的□所包圍的節(jié)點是被分配了編碼模式m(Bn)的節(jié)點(編碼塊)。關于該四叉樹圖形的信息，與編碼模式m(Bn)一起，從編碼控制部2輸出到可變長編碼部13，被復用到比特流。切換開關3在由編碼控制部2決定的編碼模式m(Bn)是幀內(nèi)部編碼模式的情況(m(Bn)∈INTRA的情況)下，將從塊分割部1輸出的編碼塊Bn輸出到幀內(nèi)部預測部4。另一方面，在由編碼控制部2決定的編碼模式m(Bn)是幀之間編碼模式的情況(m(Bn)∈INTER的情況)下，將從塊分割部1輸出的編碼塊Bn輸出到運動補償預測部5。幀內(nèi)部預測部4在由編碼控制部2決定的編碼模式m(Bn)是幀內(nèi)部編碼模式(m(Bn)∈INTRA的情況)、且從切換開關3接收到編碼塊Bn(步驟ST3)時，邊參照在幀內(nèi)部預測用存儲器10中保存的局部解碼圖像，邊使用由編碼控制部2決定的幀內(nèi)部預測參數(shù)，實施針對該編碼塊Bn內(nèi)的各預測塊Pin的幀內(nèi)部預測處理，生成幀內(nèi)部預測圖像PINTRAin(步驟ST4)。另外，運動圖像解碼裝置需要生成與幀內(nèi)部預測圖像PINTRAin完全相同的幀內(nèi)部預測圖像，所以在幀內(nèi)部預測圖像PINTRAin的生成中使用的幀內(nèi)部預測參數(shù)從編碼控制部2輸出到可變長編碼部13，被復用到比特流。幀內(nèi)部預測部4的處理內(nèi)容的詳細內(nèi)容后述。運動補償預測部5在由編碼控制部2決定的編碼模式m(Bn)是幀之間編碼模式(m(Bn)∈INTER的情況)、且從切換開關3接收到編碼塊Bn(步驟ST3)時，比較該編碼塊Bn內(nèi)的各預測塊Pin和在運動補償預測幀存儲器12中保存的濾波處理后的局部解碼圖像來探索運動矢量，使用該運動矢量和由編碼控制部2決定的幀之間預測參數(shù)，實施針對該編碼塊Bn內(nèi)的各預測塊Pin的幀之間預測處理，生成幀之間預測圖像PINTERin(步驟ST5)。另外，運動圖像解碼裝置需要生成與幀之間預測圖像PINTERin完全相同的幀之間預測圖像，所以在幀之間預測圖像PINTERin的生成中使用的幀之間預測參數(shù)從編碼控制部2輸出到可變長編碼部13，被復用到比特流。另外，由運動補償預測部5探索的運動矢量也輸出到可變長編碼部13，被復用到比特流。減法部6當從塊分割部1接收到編碼塊Bn時，從該編碼塊Bn內(nèi)的預測塊Pin減去由幀內(nèi)部預測部4生成的幀內(nèi)部預測圖像PINTRAin、或者、由運動補償預測部5生成的幀之間預測圖像PINTERin中的某一方，將作為其減法結果的表示差分圖像的預測差分信號ein輸出到變換/量化部7(步驟ST6)。變換/量化部7當從減法部6接收到預測差分信號ein時，參照由編碼控制部2決定的預測差分編碼參數(shù)所包含的正交變換塊分割信息，按照正交變換塊單位，實施針對該預測差分信號ein的正交變換處理(例如DCT(離散余弦變換)、DST(離散正弦變換)、預先對特定的學習系列進行了基底設計的KL變換等正交變換處理)，計算變換系數(shù)。另外，變換/量化部7參照該預測差分編碼參數(shù)所包含的量化參數(shù)，對該正交變換塊單位的變換系數(shù)進行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長編碼部13(步驟ST7)。此時，也可以使用將根據(jù)上述量化參數(shù)計算出的量化步長針對每個變換系數(shù)縮放的量化矩陣來實施量化處理。逆量化/逆變換部8當從變換/量化部7接收到壓縮數(shù)據(jù)時，參照由編碼控制部2決定的預測差分編碼參數(shù)所包含的量化參數(shù)以及正交變換塊分割信息，按照正交變換塊單位，對該壓縮數(shù)據(jù)進行逆量化。在變換/量化部7在量化處理中使用量化矩陣的情況下，在逆量化處理時，也參照該量化矩陣，實施對應的逆量化處理。另外，逆量化/逆變換部8按照正交變換塊單位實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理(例如逆DCT、逆DST、逆KL變換等)，計算與從減法部6輸出的預測差分信號ein相當?shù)木植拷獯a預測差分信號，輸出到加法部9(步驟ST8)。加法部9當從逆量化/逆變換部8接收到局部解碼預測差分信號時，將該局部解碼預測差分信號、和由幀內(nèi)部預測部4生成的幀內(nèi)部預測圖像PINTRAin、或者、由運動補償預測部5生成的幀之間預測圖像PINTERin中的某一方進行相加，從而計算局部解碼圖像(步驟ST9)。另外，加法部9將該局部解碼圖像輸出到環(huán)路濾波器部11，同時將該局部解碼圖像保存于幀內(nèi)部預測用存儲器10。該局部解碼圖像成為在以后的幀內(nèi)部預測處理時使用的已編碼的圖像信號。環(huán)路濾波器部11當從加法部9接收到局部解碼圖像時，對該局部解碼圖像實施規(guī)定的濾波處理，將濾波處理后的局部解碼圖像保存于運動補償預測幀存儲器12(步驟ST10)。具體而言，進行降低在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真的濾波(解塊濾波)處理、按照像素單位自適應地相加偏置的(像素自適應偏置)處理、自適應地切換維納濾波器等線性濾波器而濾波處理的自適應濾波處理等。其中，環(huán)路濾波器部11關于上述解塊濾波處理、像素自適應偏置處理、自適應濾波處理的各個處理，決定是否進行處理，將各處理的有效標志作為應編碼的自適應參數(shù)組的一部分以及切片級別頭的一部分輸出到可變長編碼部13。另外，在使用多個上述濾波處理時，依次實施各濾波處理。圖2示出使用多個濾波處理的情況下的環(huán)路濾波器部11的結構例。一般情況下，使用的濾波處理的種類越多，圖像品質越提高，但另一方面，處理負荷越高。即，圖像品質和處理負荷具有折衷的關系。另外，各濾波處理的圖像品質改善效果是根據(jù)濾波處理對象圖像的特性而不同的。因此，依照運動圖像編碼裝置容許的處理負荷、編碼處理對象圖像的特性，決定所使用的濾波處理即可。直至針對層次性地分割的所有編碼塊Bn的處理完成為止，反復實施步驟ST3～ST9的處理，如果針對所有編碼塊Bn的處理完成，則轉移到步驟ST13的處理(步驟ST11、ST12)?？勺冮L編碼部13對從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部2輸出的最大編碼塊內(nèi)的塊分割信息(以圖10(b)為例子的四叉樹信息)、編碼模式m(Bn)以及預測差分編碼參數(shù)、從編碼控制部2輸出的幀內(nèi)部預測參數(shù)(編碼模式是幀內(nèi)部編碼模式的情況)或者幀之間預測參數(shù)(編碼模式是幀之間編碼模式的情況)、和從運動補償預測部5輸出的運動矢量(編碼模式是幀之間編碼模式的情況)進行可變長編碼，生成表示這些編碼結果的編碼數(shù)據(jù)(步驟ST13)。另外，可變長編碼部13如圖3例示，作為編碼比特流的頭信息，對視頻參數(shù)組、序列級別頭、圖片級別頭、自適應參數(shù)組進行編碼，與圖片數(shù)據(jù)一起生成編碼比特流。其中，圖片數(shù)據(jù)由1個以上的切片數(shù)據(jù)構成，各切片數(shù)據(jù)是集中切片級別頭和處于該切片內(nèi)的上述編碼數(shù)據(jù)而得到。序列級別頭是集中圖像尺寸、顏色信號格式、亮度信號、色差信號的信號值的比特深度、序列單位下的環(huán)路濾波器部11中的各濾波處理(自適應濾波處理、像素自適應偏置處理、解塊濾波處理)的有效標志信息、量化矩陣的有效標志信息等一般按照序列單位共用的頭信息而得到。圖片級別頭是集中參照的序列級別頭的索引、運動補償時的參照圖片數(shù)、熵編碼的概率表格初始化標志等以圖片單位設定的頭信息而得到。切片級別頭是集中表示該切片處于圖片的哪個位置的位置信息、表示參照哪個圖片級別頭的索引、切片的編碼類型(全部幀內(nèi)部編碼、幀之間編碼等)、在該切片中使用的自適應參數(shù)組的索引以及表示是否進行使用了上述索引表示的自適應參數(shù)組的環(huán)路濾波器部11中的各濾波處理(自適應濾波處理、像素自適應偏置處理、解塊濾波處理)的標志信息等這樣的切片單位的參數(shù)而得到。自適應參數(shù)組是具有與自適應濾波處理、像素自適應偏置處理、解塊濾波處理有關的參數(shù)(濾波參數(shù))、和與量化矩陣有關的參數(shù)(量化矩陣參數(shù))的參數(shù)組，為了識別在編碼比特流上復用的多個自適應參數(shù)組，各自適應參數(shù)組具有索引(aps_id)。而且，各自適應參數(shù)組具有表示是否分別存在與自適應濾波處理、像素自適應偏置處理、解塊濾波處理有關的各個濾波參數(shù)、和量化矩陣參數(shù)的標志(present_flag)，在各存在標志是“有效”的情況下，具有與其對應的參數(shù)。因此，自適應參數(shù)組能夠自由地設定是否有各參數(shù)。各切片在切片級別頭內(nèi)具有至少一個在切片的解碼處理時參照的自適應參數(shù)組的索引(aps_id)，參照對應的自適應參數(shù)組，實施量化處理/逆量化處理、環(huán)路濾波處理。另外，在對自適應參數(shù)組進行編碼而復用到編碼比特流時，在編碼比特流中已經(jīng)存在具有相同的索引(aps_id)的自適應參數(shù)組的情況下，具有該索引的自適應參數(shù)組被置換為上述編碼對象的自適應參數(shù)組。因此，在對新的自適應參數(shù)組進行編碼時，在不需要已經(jīng)編碼的自適應參數(shù)組的情況下，通過用該不需要的自適應參數(shù)組的索引進行編碼，從而能夠實現(xiàn)自適應參數(shù)組的改寫更新，無需增加必須保存的自適應參數(shù)組的數(shù)量，所以能夠抑制所使用的存儲器的容量。接下來，說明視頻參數(shù)組。在視頻參數(shù)組中，編碼了從編碼控制部2輸出的表示是否被時間層次編碼的標志和最大層次數(shù)、各層次的圖片緩沖器的尺寸。在視頻參數(shù)組中，還編碼了在參照該視頻參數(shù)組的圖片中是否包括基本層次的基本層次有無標志。在圖3、圖11的例子中，僅在序列的開頭中編碼了視頻參數(shù)組，圖3、圖11的序列由基本層次和第1層次的圖片構成，參照視頻參數(shù)組1編碼了基本層次和第1層次的圖片。在該情況下，在參照視頻參數(shù)組的圖片中包括基本層次，所以將在參照該視頻參數(shù)組的圖片中是否包括基本層次的基本層次有無標志設定為表示包括基本層次的值(例如1)。在圖12、圖13的例子中，序列以層次單位構成，僅在序列的開頭中編碼的視頻參數(shù)組也針對每個層次被編碼，參照視頻參數(shù)組1對基本層次的圖片進行了編碼。參照視頻參數(shù)組2對第1層次的圖片進行了編碼。在該情況下，在參照視頻參數(shù)組1的圖片中包括基本層次，所以將在參照視頻參數(shù)組1的圖片中是否包括基本層次的基本層次有無標志設定為表示包括基本層次的值(例如1)。另外，在參照視頻參數(shù)組2的圖片中不包括基本層次，所以將在參照視頻參數(shù)組2的圖片中是否包括基本層次的基本層次有無標志設定為表示不包括基本層次的值(例如0)。另外，在基本層次有無標志表示不包括基本層次的情況下，序列需要由基本層次和1個以上的層次的圖片構成，所以最大層次數(shù)也可以被限制為1以上的值。另外，作為其他例子，在最大層次數(shù)是1以上的情況下，基本層次有無標志也可以被編碼到視頻參數(shù)組中。視頻參數(shù)組還編碼用于識別在編碼比特流上復用的多個視頻參數(shù)組的索引(video_parameteter_set_id)。在圖12的例子中，也可以將視頻參數(shù)組1和視頻參數(shù)組2的識別索引(video_parameteter_set_id)編碼成具有相同的值。即，將在同一序列內(nèi)被時間層次編碼的圖片參照的視頻參數(shù)組的識別索引編碼成為同一值。另外，關于除了表示是否包括在同一序列內(nèi)被時間層次編碼的圖片參照的視頻參數(shù)組的基本層次的基本層次有無標志以外的參數(shù)的值(最大層次數(shù)、各層次的圖片緩沖器的大小、識別索引)，既可以以成為相同值的方式進行編碼，也可以以成為分別不同的值的方式進行編碼。接下來，以將圖12、圖13的編碼比特流針對每個層次用不同的線路傳送的情況為例子進行說明。利用例如電波來傳送與參照視頻參數(shù)組1的基本層次的圖片有關的編碼數(shù)據(jù)，利用例如IP網(wǎng)來傳送與參照視頻參數(shù)組2的第1層次以上的層次的圖片有關的編碼數(shù)據(jù)。在僅接收電波而解碼的解碼裝置中，只能夠正確地解碼出基本層次的圖片。在使用電波和IP網(wǎng)這雙方來接收并解碼的解碼裝置中，在接收到了參照用電波接收的視頻參數(shù)組1的圖片的編碼數(shù)據(jù)的情況下，基本層次有無標志表示包括基本層次，能夠正常地解碼出基本層次的圖片。之后，在接收到了參照用IP網(wǎng)接收的視頻參數(shù)組2的圖片的編碼數(shù)據(jù)的情況下，基本層次有無標志表示不包括基本層次，但由于基本層次的圖片已經(jīng)被解碼，所以能夠正常地解碼出第1層次以上的層次的圖片。進而，在用電波接收參照視頻參數(shù)組1的圖片的編碼數(shù)據(jù)之前，用IP網(wǎng)接收到參照視頻參數(shù)組2的圖片的編碼數(shù)據(jù)的情況下，在參照用IP網(wǎng)接收的視頻參數(shù)組2的圖片的編碼數(shù)據(jù)中，根據(jù)從視頻參數(shù)組2解碼出的基本層次有無標志的值知道不包括基本層次的圖片，參照用電波接收的視頻參數(shù)組1的圖片的編碼數(shù)據(jù)的解碼未完成，所以知道需要等待其解碼結果來開始解碼。另外，在圖13的例子中，說明了在基本層次和第1層次的視頻參數(shù)組中設定了基本層次有無標志的情況，但例如在第2層次的視頻參數(shù)組3中設定與第1層次同樣的基本層次有無標志，且之前接收到了參照視頻參數(shù)組3的圖片的編碼數(shù)據(jù)的情況下，知道需要等待參照視頻參數(shù)組1的圖片的編碼數(shù)據(jù)和參照視頻參數(shù)組2的圖片的編碼數(shù)據(jù)的解碼結果來開始解碼。視頻參數(shù)組在序列級別頭之前被編碼，在序列級別頭中，編碼有所參照的視頻參數(shù)的識別索引(video_parameteter_set_id)。在沒有基本層次有無標志的以往的編碼裝置、解碼裝置中，例如未設想在用電波接收視頻參數(shù)組1之前用IP網(wǎng)接收視頻參數(shù)組2那樣的情況，對接收到的序列開始解碼，所以如果不包括基本層次幀的影像數(shù)據(jù)，則必然無法進行解碼。相對于此，在本發(fā)明的編碼裝置、解碼裝置中，如上所述，即使在針對每個層次用不同的線路傳送等解碼裝置未必按照層次順序接收編碼比特流的情況下，作為視頻參數(shù)組，對在參照該視頻參數(shù)組的圖片中是否包括基本層次的基本層次有無標志進行編碼，從而在解碼裝置中，能夠判斷是否包括基本層次的圖片，能夠進行如下處理：在包括基本層次的圖片的情況下立即對基本層次的圖片進行解碼，在不包括基本層次的圖片的情況下在基本層次的圖片的解碼之后進行解碼，所以能夠進行能夠對僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行獨立處理的可伸縮地編碼、解碼的處理。另外，不限于時間層次編碼，在其他層次編碼方式、多視圖編碼方式中，也可以將該基本層次有無標志設為表示在參照的圖片中是否包括基本層次或者基礎視圖的圖片的標志。另外，作為視頻參數(shù)組的其他例子，也可以對表示參照該視頻參數(shù)組的層次的圖片在預測時不參照比自己自身下面的層次的圖片的下位層次參照標志進行編碼。如圖14、圖15那樣，在被時間層次編碼的情況下，在該下位層次參照標志被設定為表示在預測時不參照比自己自身下面的層次的圖片的值(例如1)的情況下，在預測中能夠使用的參照圖片僅是屬于相同的層次的圖片間，無論有無比自己自身下面的層次都能夠設定參照視頻參數(shù)組的圖片的單位(子比特流)。(在下位層次參照標志未表示在預測時不參照比自己自身下面的層次的圖片的情況下，設定為例如0。)例如，在利用例如電波來傳送與參照視頻參數(shù)組1的基本層次的圖片有關的編碼數(shù)據(jù)，利用例如IP網(wǎng)來傳送與參照視頻參數(shù)組2的第1、2層次的圖片有關的編碼數(shù)據(jù)和與參照視頻參數(shù)組3的第3層次的圖片有關的編碼數(shù)據(jù)的情況下，如果如圖15那樣任何視頻參數(shù)組的下位層次參照標志都被設定為表示在預測時不參照比自己自身下面的層次的圖片的值，則接收到利用IP網(wǎng)傳送的數(shù)據(jù)(子比特流1、2)的解碼裝置無論是否已接收比自己自身下面的層次的圖片都能夠立即對接收到的數(shù)據(jù)進行解碼。在沒有下位層次參照標志的以往的編碼裝置、解碼裝置中，在預測時必然參照比自己自身下面的層次的圖片，所以只能夠定義包括基本層次的子比特流。相對于此，在本發(fā)明的編碼裝置、解碼裝置中，作為視頻參數(shù)組，通過對表示參照該視頻參數(shù)組的層次的圖片在預測時不參照比自己自身下面的層次的圖片的下位層次參照標志進行編碼，從而無論有無比自己自身下面的層次都設定參照視頻參數(shù)組的圖片的單位(子比特流)，在解碼裝置中，在接收到這樣的子比特流的情況下無論是否已接收比自己自身下面的層次的圖片都能夠立即對接收到的數(shù)據(jù)進行解碼，所以能夠得到能夠對僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行獨立處理的能夠可伸縮地進行編碼、解碼的裝置。另外，不限于時間層次編碼，在其他層次編碼方式、多視圖編碼方式中，也可以將該下位層次參照標志設為表示將在預測中能夠使用的圖片僅設為屬于相同的層次或者相同的視圖的圖片間的標志。另外，作為視頻參數(shù)組，說明了對上述基本層次有無標志和上述下位層次參照標志單獨地進行編碼的情況，但也可以并用上述基本層次有無標志和上述下位層次參照標志來進行編碼。例如，雖然希望獨立地處理僅編碼了屬于上位層次的幀的影像數(shù)據(jù)，但在是希望不降低編碼效率地進行解碼的數(shù)據(jù)的情況下，通過如圖14、圖16那樣，將屬于上位層次的幀(子比特流1、2)的基本層次有無標志設定為0，將下位層次參照標志設定為1，從而接收到子比特流1、2的解碼裝置等待接收子比特流1，對子比特流1、2進行解碼。而且，雖然希望獨立地處理僅編碼了屬于上位層次的幀的影像數(shù)據(jù)，但在是希望僅用僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行處理的數(shù)據(jù)的情況下，通過如圖14、圖17那樣，將屬于上位層次的幀(子比特流1、2)的基本層次有無標志設定為0，將下位層次參照標志設定為0，從而接收到子比特流1、2的解碼裝置無論有無比自己自身下面的層次都對子比特流1、2進行解碼。這樣，通過并用上述基本層次有無標志和上述下位層次參照標志，能夠針對要求不同的每個應用數(shù)據(jù)，變更處理。另外，在本實施方式1中，說明了上述基本層次有無標志和上述下位層次參照標志被設定為視頻參數(shù)組的情況，但也可以在序列級別頭中設定。另外，在本實施方式1中，關于上述基本層次有無標志，以表示包括基本層次的情況(例如1)和表示不包括基本層次的情況(例如0)進行了說明，但也可以設為表示不包括基本層次的情況(例如1)和不表示不包括基本層次的情況(例如0)。另外，在本實施方式1中，關于上述下位層次參照標志，以表示參照該視頻參數(shù)組的層次的圖片在預測時不參照比自己自身下面的層次的圖片的情況(例如1)和不表示不參照的情況(例如0)進行了說明，但也可以設為表示參照該視頻參數(shù)組的層次的圖片在預測時不參照比自己自身下面的層次的圖片的情況(例如1)和表示參照的情況(例如0)。另外，關于哪個標志，設定的值都可以是0和1相逆。接下來，說明將視頻參數(shù)組作為編碼數(shù)據(jù)包括的NAL單元的編碼。如上所述，NAL單元由頭部和有效載荷數(shù)據(jù)部構成，在頭部中包括類型信息、層次識別編號等。敘述類型信息表示視頻參數(shù)組的情況下的層次識別編號的編碼值。如上所述，層次識別編號是表示在影像數(shù)據(jù)被時間層次編碼的情況下是與哪個層次關聯(lián)的編碼數(shù)據(jù)的編號。在如視頻參數(shù)組那樣與多個層次關聯(lián)的情況下，對表示關聯(lián)的最小的層次的編號進行編碼。在圖3、圖11的例子中，視頻參數(shù)組從基本層次和第1層次被參照，所以是與基本層次和第1層次關聯(lián)的編碼數(shù)據(jù)。在該情況下，作為包括視頻參數(shù)組的NAL單元的層次識別編號，對表示最小的層次即基本層次的“0”進行編碼。接下來，在圖12、圖13的例子中，基本層次的圖片是參照視頻參數(shù)組1來編碼，第1層次的圖片是參照視頻參數(shù)組2來編碼，所以關于包括視頻參數(shù)組1的NAL單元的層次識別編號，對“0”進行編碼，關于包括視頻參數(shù)組2的NAL單元的層次識別編號，對“1”進行編碼。接下來，詳細說明幀內(nèi)部預測部4的處理內(nèi)容。圖18是示出作為編碼塊Bn內(nèi)的各預測塊Pin可選擇的幀內(nèi)部預測參數(shù)的幀內(nèi)部預測模式的一個例子的說明圖。其中，NI表示幀內(nèi)部預測模式數(shù)。在圖18中，示出幀內(nèi)部預測模式的索引值和該幀內(nèi)部預測模式表示的預測方向矢量，在圖18的例子中，設計成隨著可選擇的幀內(nèi)部預測模式的個數(shù)增加，預測方向矢量彼此的相對角度變小。幀內(nèi)部預測部4如上所述，參照預測塊Pin的幀內(nèi)部預測參數(shù)，實施針對該預測塊Pin的幀內(nèi)部預測處理，生成幀內(nèi)部預測圖像PINTRAin，但在此說明生成亮度信號中的預測塊Pin的幀內(nèi)部預測信號的幀內(nèi)部處理。將預測塊Pin的尺寸設為lin×min像素。圖19是示出在生成lin＝min＝4的情況下的預測塊Pin內(nèi)的像素的預測值時使用的像素的一個例子的說明圖。在圖19中，將預測塊Pin的上邊的已編碼的像素(2×lin+1)個和左邊的已編碼的像素(2×min)個作為在預測中使用的像素，但在預測中使用的像素既可以比圖19所示的像素多也可以少。另外，在圖19中，在預測中使用了預測塊Pin的附近的1行或者1列量的像素，但也可以在預測中使用2行或者2列、或者、其以上的像素。在針對預測塊Pin的幀內(nèi)部預測模式的索引值是0(平面(Planar)預測)的情況下，使用與預測塊Pin的上邊鄰接的已編碼像素和與預測塊Pin的左邊鄰接的已編碼像素，將根據(jù)這些像素和預測塊Pin內(nèi)的預測對象像素的距離進行內(nèi)插而得到的值作為預測值，生成預測圖像。在針對預測塊Pin的幀內(nèi)部預測模式的索引值是2(平均值(DC)預測)的情況下，將與預測塊Pin的上邊鄰接的已編碼像素和與預測塊Pin的左邊鄰接的已編碼像素的平均值作為預測塊Pin內(nèi)的像素的預測值，生成預測圖像。在幀內(nèi)部預測模式的索引值是0(平面預測)和2(平均值預測)以外的情況下，根據(jù)索引值表示的預測方向矢量υp＝(dx，dy)，生成預測塊Pin內(nèi)的像素的預測值。如果如圖19所示，將預測塊Pin的左上像素作為原點，將預測塊Pin內(nèi)的相對坐標設定為(x，y)，則在預測中使用的參照像素的位置成為下述的L和鄰接像素的交點。其中，k是負的標量值。在參照像素處于整數(shù)像素位置的情況下，將該整數(shù)像素作為預測對象像素的預測值，在參照像素不處于整數(shù)像素位置的情況下，將根據(jù)與參照像素鄰接的整數(shù)像素生成的插值像素作為預測值。在圖19的例子中，參照像素不處于整數(shù)像素位置，所以將根據(jù)與參照像素鄰接的2個像素內(nèi)插而得到的結果作為預測值。另外，也可以是，不根據(jù)鄰接的2個像素而是根據(jù)鄰接的2個像素以上的像素生成插值像素而作為預測值。通過增加在插值處理中使用的像素，具有提高插值像素的插值精度的效果，另一方面，插值處理所需的運算的復雜度增加，所以在即使運算負荷大也要求高的編碼性能的運動圖像編碼裝置的情況下，優(yōu)選根據(jù)更多的像素生成插值像素。通過以上敘述的處理，生成針對預測塊Pin內(nèi)的亮度信號的所有像素的預測像素，輸出幀內(nèi)部預測圖像PINTRAin。另外，關于在幀內(nèi)部預測圖像PINTRAin的生成中使用的幀內(nèi)部預測參數(shù)(幀內(nèi)部預測模式)，為了復用到比特流，輸出到可變長編碼部13。另外，與在之前說明的MPEG-4AVC/H.264中的8×8像素的塊的幀內(nèi)部預測時對參照圖像實施的平滑化處理同樣地，構成為在幀內(nèi)部預測部4中將生成預測塊Pin的中間預測圖像時的參照像素作為對與預測塊Pin鄰接的已編碼像素進行了平滑化處理的像素的情況下，也能夠進行與上述的例子同樣的針對中間預測圖像的濾波處理。針對預測塊Pin的色差信號，也按照與亮度信號同樣的步驟，實施基于幀內(nèi)部預測參數(shù)(幀內(nèi)部預測模式)的幀內(nèi)部預測處理，將在幀內(nèi)部預測圖像的生成中使用的幀內(nèi)部預測參數(shù)輸出到可變長編碼部13。其中，在色差信號中可選擇的幀內(nèi)部預測參數(shù)(幀內(nèi)部預測模式)也可以與亮度信號不同。例如，在YUV信號4：2：0格式的情況下，色差信號(U、V信號)是針對亮度信號(Y信號)將分辨率在水平方向、垂直方向上都縮小為1/2的信號，相比于亮度信號，圖像信號的復雜度低且預測容易，所以也可以將可選擇的幀內(nèi)部預測參數(shù)設為比亮度信號少的數(shù)量，實現(xiàn)為了對幀內(nèi)部預測參數(shù)進行編碼而所需的代碼量的削減、預測處理的低運算化。接下來，具體說明圖6的運動圖像解碼裝置的處理內(nèi)容?？勺冮L解碼部31當輸入了由圖1的運動圖像編碼裝置生成的編碼比特流時，實施針對該比特流的可變長解碼處理(圖8的步驟ST21)，解碼出表示被編碼為視頻參數(shù)組的序列內(nèi)的圖片是否被時間層次編碼的標志、最大層次數(shù)、針對每個層次必要的圖片緩沖器的大小、表示在參照該視頻參數(shù)組的圖片中是否包括基本層次的基本層次有無標志等信息以及幀尺寸的信息等由1幀以上的圖片構成的序列單位的頭信息(序列級別頭)以及圖片單位的頭信息(圖片級別頭)、被編碼為自適應參數(shù)組的環(huán)路濾波器部38中使用的濾波參數(shù)、量化矩陣參數(shù)。另外，在編碼裝置中作為視頻參數(shù)組對表示參照該視頻參數(shù)組的層次的圖片在預測時是否參照比自己自身下面的層次的圖片的下位層次參照標志進行了編碼的情況下，解碼出該標志。另外，在最大層次數(shù)是1以上的情況下，在基本層次有無標志被編碼到視頻參數(shù)組的情況下，僅在最大層次數(shù)是1以上的情況下對基本層次有無標志進行解碼。另外，關于對基本層次有無標志、下位層次參照標志進行了解碼的情況下的動作、其效果，如上所述。另外，可變長解碼部31按照與運動圖像編碼裝置同樣的步驟，決定由圖1的運動圖像編碼裝置的編碼控制部2決定的最大編碼塊尺寸以及分割層次數(shù)的上限(步驟ST22)。例如，在根據(jù)影像信號的分辨率決定了最大編碼塊尺寸、分割層次數(shù)的上限的情況下，根據(jù)解碼出的幀尺寸信息，按照與運動圖像編碼裝置同樣的步驟，決定最大編碼塊尺寸。在運動圖像編碼裝置側在序列級別頭等中復用了最大編碼塊尺寸以及分割層次數(shù)的上限的情況下，使用從上述頭解碼出的值。以后，在運動圖像解碼裝置中，將上述最大編碼塊尺寸稱為最大解碼塊尺寸，將最大編碼塊稱為最大解碼塊?？勺冮L解碼部31按照決定的最大解碼塊單位，對圖10所示那樣的最大解碼塊的分割狀態(tài)進行解碼。根據(jù)解碼出的分割狀態(tài)，層次性地確定解碼塊(與圖1的運動圖像編碼裝置的“編碼塊”相當?shù)膲K)(步驟ST23)。接下來，可變長解碼部31解碼分配給解碼塊的編碼模式。根據(jù)解碼出的編碼模式所包含的信息，將解碼塊進一步分割為作為一個或者多個預測處理單位的預測塊，對按照預測塊單位分配的預測參數(shù)進行解碼(步驟ST24)。即，可變長解碼部31在分配給解碼塊的編碼模式是幀內(nèi)部編碼模式的情況下，針對包含于解碼塊且成為預測處理單位的1個以上的每個預測塊，解碼幀內(nèi)部預測參數(shù)。另一方面，在分配給解碼塊的編碼模式是幀之間編碼模式的情況下，針對包含于解碼塊且成為預測處理單位的1個以上的每個預測塊，解碼幀之間預測參數(shù)以及運動矢量(步驟ST24)。進而，可變長解碼部31根據(jù)預測差分編碼參數(shù)所包含的正交變換塊分割信息，針對每個正交變換塊，解碼壓縮數(shù)據(jù)(變換/量化后的變換系數(shù))(步驟ST24)。如果由可變長解碼部31可變長解碼出的編碼模式m(Bn)是幀內(nèi)部編碼模式(m(Bn)∈INTRA的情況)，則切換開關33將由可變長解碼部31可變長解碼出的預測塊單位的幀內(nèi)部預測參數(shù)輸出到幀內(nèi)部預測部34。另一方面，如果由可變長解碼部31可變長解碼出的編碼模式m(Bn)是幀之間編碼模式(m(Bn)∈INTER的情況)，則將由可變長解碼部31可變長解碼出的預測塊單位的幀之間預測參數(shù)以及運動矢量輸出到運動補償部35。幀內(nèi)部預測部34在由可變長解碼部31可變長解碼出的編碼模式m(Bn)是幀內(nèi)部編碼模式(m(Bn)∈INTRA)的情況下(步驟ST25)，接受從切換開關33輸出的預測塊單位的幀內(nèi)部預測參數(shù)，按照與圖1的幀內(nèi)部預測部4同樣的步驟，邊參照在幀內(nèi)部預測用存儲器37中保存的解碼圖像，邊實施使用了上述幀內(nèi)部預測參數(shù)的針對解碼塊Bn內(nèi)的各預測塊Pin的幀內(nèi)部預測處理，生成幀內(nèi)部預測圖像PINTRAin(步驟ST26)。運動補償部35在由可變長解碼部31可變長解碼出的編碼模式m(Bn)是幀之間編碼模式(m(Bn)∈INTER)的情況下(步驟ST25)，接受從切換開關33輸出的預測塊單位的運動矢量和幀之間預測參數(shù)，邊參照在運動補償預測幀存儲器39中保存的濾波處理后的解碼圖像，邊實施使用了該運動矢量和幀之間預測參數(shù)的針對解碼塊Bn內(nèi)的各預測塊Pin的幀之間預測處理，生成幀之間預測圖像PINTERin(步驟ST27)。逆量化/逆變換部32當從可變長解碼部31接收到壓縮數(shù)據(jù)以及預測差分編碼參數(shù)時，按照與圖1的逆量化/逆變換部8同樣的步驟，參照該預測差分編碼參數(shù)所包含的量化參數(shù)以及正交變換塊分割信息，按照正交變換塊單位，對該壓縮數(shù)據(jù)進行逆量化。此時，參照由可變長解碼部31可變長解碼出的各頭信息，在各頭信息表示在該切片中使用量化矩陣來實施逆量化處理的情況下，使用量化矩陣來進行逆量化處理。此時，參照由可變長解碼部31可變長解碼出的各頭信息，確定以各正交變換尺寸針對顏色信號、編碼模式(幀內(nèi)部編碼或者幀之間編碼)的每一個所使用的量化矩陣。具體而言，將根據(jù)切片級別頭確定的在該切片中參照的自適應參數(shù)組的量化矩陣設定為在該切片中使用的量化矩陣。另外，逆量化/逆變換部32按照正交變換塊單位實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出的局部解碼預測差分信號相同的解碼預測差分信號(步驟ST28)。加法部36將由逆量化/逆變換部32計算出的解碼預測差分信號、和由幀內(nèi)部預測部34生成的幀內(nèi)部預測圖像PINTRAin、或者、由運動補償部35生成的幀之間預測圖像PINTERin中的某一方相加來計算解碼圖像，將該解碼圖像輸出到環(huán)路濾波器部38，并且將該解碼圖像保存于幀內(nèi)部預測用存儲器37(步驟ST29)。該解碼圖像成為在以后的幀內(nèi)部預測處理時使用的已解碼的圖像信號。在環(huán)路濾波器部38中，如果針對所有解碼塊Bn的步驟ST23～ST29的處理完成(步驟ST30)，則對從加法部36輸出的解碼圖像實施規(guī)定的濾波處理，將濾波處理后的解碼圖像保存于運動補償預測幀存儲器39(步驟ST31)。具體而言，進行降低在正交變換塊的邊界、預測塊的邊界中發(fā)生的失真的濾波(解塊濾波)處理、按照像素單位自適應地相加偏置的(像素自適應偏置)處理、自適應地切換維納濾波器等線性濾波器而濾波處理的自適應濾波處理等。其中，環(huán)路濾波器部38關于上述解塊濾波處理、像素自適應偏置處理、自適應濾波處理的各個處理，參照由可變長解碼部31可變長解碼出的各頭信息，確定在該切片中是否進行處理。此時，在進行2個以上的濾波處理的情況下，運動圖像編碼裝置的環(huán)路濾波器部11如圖2那樣構成的情況下，如圖7所示構成環(huán)路濾波器部38。此處，在解塊濾波處理中，參照該切片參照的自適應參數(shù)組，在存在將在對塊邊界施加的濾波強度的選擇中使用的各種參數(shù)從初始值變更的信息的情況下，根據(jù)該變更信息，實施解塊濾波處理。在沒有變更信息的情況下，依照預先決定的手法進行。在像素自適應偏置處理中，參照該切片參照的自適應參數(shù)組，根據(jù)該自適應參數(shù)組所包含的塊分割信息進行分割，按照該塊單位，參照表示該自適應參數(shù)組所包含的塊單位的等級分類手法的索引，在該索引不是表示“不進行偏置處理”的索引的情況下，按照塊單位，依照上述索引表示的等級分類手法，對塊內(nèi)的各像素進行等級分類。另外，作為等級分類手法的候補，預先準備了與環(huán)路濾波器部11的像素自適應偏置處理的等級分類手法的候補相同的例子。而且，環(huán)路濾波器部38參照確定塊單位的各等級的偏置值的自適應參數(shù)組所包含的偏置信息，進行對解碼圖像的亮度值相加偏置的處理。其中，在運動圖像編碼裝置的環(huán)路濾波器部11的像素自適應偏置處理中，構成為不對塊分割信息進行編碼，將圖像始終分割為固定尺寸的塊單位(例如最大編碼塊單位)，針對每個該塊選擇等級分類手法來進行每個等級的自適應偏置處理的情況下，在環(huán)路濾波器部38中，也按照與環(huán)路濾波器部11相同的固定尺寸的塊單位，實施像素自適應偏置處理。在自適應濾波處理中，參照該切片參照的自適應參數(shù)組，使用該自適應參數(shù)組所包含的每個等級的濾波器，用與圖1的運動圖像編碼裝置相同的手法進行等級分類之后，根據(jù)該等級分類信息進行濾波處理。其中，在運動圖像編碼裝置的環(huán)路濾波器部11的自適應濾波處理中，構成為并未對圖像整體而是按照例如最大編碼塊這樣的固定尺寸的每個塊進行上述等級分類以及濾波設計/處理的情況下，在環(huán)路濾波器部38中，也針對與環(huán)路濾波器部11相同的固定尺寸的每個塊，對在各等級中使用的濾波器進行解碼，進行上述等級分類以及濾波處理。由該環(huán)路濾波器部38實施濾波處理后的解碼圖像成為運動補償預測用的參照圖像，并且，成為再生圖像。如以上可知，根據(jù)該實施方式1，在可變長編碼部13中，作為編碼比特流的頭信息，對視頻參數(shù)組進行編碼，在視頻參數(shù)組中，對表示是否被時間層次編碼的標志和最大層次數(shù)、各層次的圖片緩沖器的大小進行編碼，并且對表示在參照視頻參數(shù)組的圖片的編碼數(shù)據(jù)中是否包括基本層次的圖片的編碼數(shù)據(jù)的基本層次有無標志進行編碼，可變長解碼部31對該基本層次有無標志進行解碼，所以能夠在解碼裝置中判斷是否包括基本層次的圖片，能夠進行如下處理：在包括基本層次的圖片的情況下立即對基本層次的圖片進行解碼，在不包括基本層次的圖片的情況下在基本層次的圖片的解碼之后進行解碼，能夠進行能夠對僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行獨立處理的可伸縮地編碼、解碼的處理。另外，在可變長編碼部13中，作為編碼比特流的頭信息，在參照視頻參數(shù)組的圖片的編碼數(shù)據(jù)中，對表示參照該視頻參數(shù)的層次的圖片在預測時是否參照比自己自身下面的層次的圖片的下位層次參照標志進行編碼，所以無論有無比自己自身下面的層次都設定參照視頻參數(shù)組的圖片的單位(子比特流)，在解碼裝置中，在接收到這樣的子比特流的情況下，無論是否已接收比自己自身下面的層次的圖片都能夠立即對接收到的數(shù)據(jù)進行解碼，能夠得到能夠對僅編碼了屬于上位層次的幀的影像數(shù)據(jù)進行獨立處理的能夠可伸縮地進行編碼、解碼的裝置。實施方式2.在本實施方式中，敘述從實施方式1的運動圖像編碼裝置生成的編碼比特流抽出子比特流的子比特流生成裝置。圖20示出子比特流生成裝置的結構。在圖20中，將作為圖1的可變長編碼部13的輸出的被編碼的比特流作為輸入，NAL單元頭解析部51解析構成了編碼比特流的NAL單元的頭部，對類型信息、參照標志、層次識別編號等頭信息進行解碼。視頻參數(shù)組解析部52在類型信息表示是視頻參數(shù)組的情況下，對NAL單元的有效載荷數(shù)據(jù)部所包含的視頻參數(shù)組進行解碼。在從視頻參數(shù)組解碼出的表示是否被時間層次編碼的標志表示編碼比特流被時間層次編碼的情況下，根據(jù)從視頻參數(shù)組解碼出的最大層次數(shù)，決定子比特流的層次數(shù)。關于子比特流的層次數(shù)的決定，能夠根據(jù)例如從視頻參數(shù)組解碼出的為了對各層次進行解碼而所需的圖片緩沖器的大小來決定。在圖片緩沖器的大小大的情況下，解碼圖像的延遲變大，所以能夠根據(jù)在解碼器側容許的最大延遲，決定子比特流的層次數(shù)。NAL單元抽出部53根據(jù)決定的子比特流的層次數(shù)，抽出NAL單元。在例如有3個以上的層次數(shù)的編碼比特流中，在將子比特流的層次數(shù)決定為2的情況下，抽出作為有效載荷數(shù)據(jù)包括屬于基本層次和第1層次的圖片的編碼數(shù)據(jù)的NAL單元。NAL單元復用部54對由NAL單元抽出部53抽出的NAL單元進行復用而生成子比特流。接下來，說明動作。以根據(jù)作為圖3的編碼裝置中的輸出的編碼比特流生成子比特流的情況為例子進行說明。首先，NAL單元頭解析部51解析構成了編碼比特流的NAL單元的頭部。在從NAL單元的頭部解碼出的類型信息表示是視頻參數(shù)組的情況下，在視頻參數(shù)組解析部52中，對NAL單元的有效載荷數(shù)據(jù)部所包含的視頻參數(shù)組進行解碼。在圖3的例子中，視頻參數(shù)組解析部52對視頻參數(shù)組1進行解碼。在從視頻參數(shù)組1解碼出的表示被時間層次編碼的標志表示編碼比特流被時間層次編碼的情況下，根據(jù)從視頻參數(shù)組解碼出的最大層次數(shù)(在圖3中2)，決定子比特流中的層次數(shù)。在將子比特流中的層次數(shù)決定為1的情況下，NAL單元抽出部53抽出作為有效載荷數(shù)據(jù)包括屬于基本層次的圖片的編碼數(shù)據(jù)的NAL單元。即，去掉NAL單元頭的層次識別編號是1以上的NAL單元，僅抽出層次識別編號是0的NAL單元。NAL單元復用部54復用由NAL單元抽出部53抽出的NAL單元來生成子比特流。圖21示出從圖3的編碼比特流僅抽出基本層次的NAL單元而構成的子比特流。接下來，以從圖3所示的編碼比特流僅抽出第1層次來生成子比特流的情況為例子進行說明。NAL單元頭解析部51與僅抽出基本層次來生成子比特流的情況相同。NAL單元抽出部53抽出作為有效載荷數(shù)據(jù)包括屬于第1層次的圖片的編碼數(shù)據(jù)的NAL單元。在圖3的例子中，視頻參數(shù)組1和序列級別頭1從基本層次和第1層次的圖片共用地被參照，所以被抽出為與屬于第1層次的圖片有關的編碼數(shù)據(jù)。關于圖片數(shù)據(jù)(切片數(shù)據(jù))，通過僅抽出NAL單元頭的層次識別編號是1的NAL單元，從而能夠抽出屬于第1層次的圖片的圖片數(shù)據(jù)。在僅抽出第1層次來生成的子比特流中，不包括基本層次的編碼數(shù)據(jù)，所以將視頻參數(shù)組1的基本層次有無標志的值從表示包括基本層次的值(例如1)變更為表示不包括基本層次的值(例如0)。NAL單元復用部54復用基本層次有無標志的值被變更的視頻參數(shù)組1A和序列級別頭1、第1層次的圖片的圖片級別頭和圖片數(shù)據(jù)(切片數(shù)據(jù))來生成子比特流(圖22)。接下來，以根據(jù)圖12所示的編碼比特流生成子比特流的情況為例子進行說明。另外，在生成包括基本層次的子比特流的情況下，與根據(jù)圖3的編碼比特流生成子比特流的情況相同，所以以生成不包括基本層次的子比特流、例如僅由屬于第1層次的圖片的編碼數(shù)據(jù)構成的子比特流的情況為例子進行說明。NAL單元頭解析部51的處理與根據(jù)圖3的編碼比特流生成子比特流的情況相同。NAL單元抽出部53抽出作為有效載荷數(shù)據(jù)包括屬于第1層次的圖片的編碼數(shù)據(jù)的NAL單元。在圖12的例子中，針對每個層次對視頻參數(shù)組進行了編碼，所以參照視頻參數(shù)組2，對屬于第1層次的圖片進行編碼。因此，在圖12的例子中，作為與屬于第1層次的圖片有關的編碼數(shù)據(jù)，僅抽出NAL單元頭的層次識別編號是1的NAL單元，從而能夠抽出視頻參數(shù)組2、序列級別頭2和屬于第1層次的圖片的圖片數(shù)據(jù)。另外，視頻參數(shù)組2的基本層次有無標志成為表示不包括基本層次的值，所以NAL單元復用部54不變更視頻參數(shù)組2的參數(shù)值，而復用視頻參數(shù)組2和序列級別頭2、第1層次的圖片的圖片級別頭和圖片數(shù)據(jù)(切片數(shù)據(jù))來生成子比特流(圖23)。如以上那樣，通過根據(jù)在視頻參數(shù)組中設定的信息，以NAL單元單位抽出子比特流的編碼數(shù)據(jù)，能夠生成各種子比特流，所以能夠得到能夠可伸縮地進行編碼、解碼的裝置。產(chǎn)業(yè)上的可利用性如以上那樣，本發(fā)明的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法對可伸縮地進行編碼、解碼處理的運動圖像編碼裝置、運動圖像解碼裝置等是有用的。