專利名稱：圖像編碼方法、圖像解碼方法、存儲器管理方法、圖像編碼裝置、圖像解碼裝置、存儲器管 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動態(tài)圖像的圖像編碼方法及圖像解碼方法等。
背景技術(shù)：
在對動態(tài)圖像進(jìn)行編碼的圖像編碼方法中，通常利用動態(tài)圖像具有的空間方向及時間方向的冗余性進(jìn)行信息量的壓縮。其中，作為利用空間方向的冗余性的方法通常采用向頻率區(qū)域的變換，作為利用時間方向的冗余性的方法，通常采用圖片間預(yù)測(以后稱為幀間(inter)預(yù)測)編碼處理。當(dāng)在幀間預(yù)測編碼處理中對某個圖片進(jìn)行編碼時，將按照顯示順序位于編碼對象圖片的前方或者后方的已編碼的圖片用作參照圖片。并且，通過相對于該參照圖片的編碼對象圖片的運(yùn)動檢測來導(dǎo)出運(yùn)動向量，根據(jù)運(yùn)動向量進(jìn)行運(yùn)動補(bǔ)償，并獲取通過運(yùn)動補(bǔ)償而得到的預(yù)測圖像數(shù)據(jù)與編碼對象圖片的圖像數(shù)據(jù)之差分，由此消除時間方向的冗余性。在已經(jīng)標(biāo)準(zhǔn)化 的被稱為H. 264的圖像編碼方式中，為了壓縮信息量而采用I圖片、P圖片、B圖片這三種圖片類型。I圖片是未進(jìn)行幀間預(yù)測編碼處理的圖片、即被實施圖片內(nèi)預(yù)測(以后稱為幀內(nèi)(intra)預(yù)測)編碼處理的圖片。P圖像是參照按照顯示順序位于編碼對象圖片的前方或者后方的已編碼的一個圖片進(jìn)行幀間預(yù)測編碼的圖片。B圖片是參照按照顯示順序位于編碼對象圖片的前方或者后方的已編碼的兩個圖片進(jìn)行幀間預(yù)測編碼的圖片。另外，關(guān)于I圖片和P圖片，為了流的切換等，存在Switching Slice (切換條帶，SI條帶、SP條帶)等。在依據(jù)于現(xiàn)行的H. 264標(biāo)準(zhǔn)規(guī)格的圖像編碼方法及圖像解碼方法中，要求與能夠根據(jù)這些類型的圖片的定義而認(rèn)定的參照關(guān)系全部對應(yīng)。例如，在進(jìn)行P圖片的解碼時，要求也可以參照顯示順序中位于后方的圖片。并且，如果針對B圖片的運(yùn)動向量有兩個，則無論這些運(yùn)動向量的方向是向前還是向后，對于條帶內(nèi)的每個塊均可以參照不同的圖片。在用于應(yīng)對這種參照構(gòu)造的靈活性的H. 264中，對于圖像編碼方法和圖像解碼方法要求執(zhí)行幾個進(jìn)程(例如參照非專利文獻(xiàn)I)?，F(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)非專利文獻(xiàn)1:1TU — T H. 26403/2010發(fā)明概要發(fā)明要解決的問題但是，在上述非專利文獻(xiàn)I的圖像編碼方法和圖像解碼方法中，存在處理負(fù)擔(dān)較大的問題。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問題而提出的，其目的在于，提供一種能夠減輕處理負(fù)擔(dān)的圖像編碼方法和圖像解碼方法等。用于解決問題的手段為了達(dá)到上述目的，本發(fā)明的一個方式的圖像編碼方法對動態(tài)圖像信號進(jìn)行編碼，在該圖像編碼方法中，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對編碼對象圖像的參照圖像進(jìn)行參照，所述編碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述編碼對象圖像所屬的第I層次而限制的范圍內(nèi)，根據(jù)所述參照圖像對所述編碼對象圖像進(jìn)行編碼。因此，在進(jìn)行編碼對象圖像的編碼時參照的參照圖像所屬的層次，處于根據(jù)該編碼對象圖像所屬的第I層次而限制的范圍內(nèi)。因此，由于在進(jìn)行編碼對象圖像的編碼時參照的參照圖像被根據(jù)第I層次進(jìn)行限制，因而能夠減輕該編碼的處理負(fù)擔(dān)。另外，在對這樣被編碼后的圖像進(jìn)行解碼時，由于參照圖像被限制，因而能夠減輕該解碼的處理負(fù)擔(dān)。另外，也可以是，在參照所述參照圖像時，禁止參照屬于所述第I層次之上的層次的圖像，將屬于處于被限制為所述第I層次以下的范圍內(nèi)的所述第2層次的圖像作為所述參照圖像進(jìn)行參照。因此，由于禁止參照屬于編碼對象圖像所屬的第I層次之上的層次的圖像，因而能夠以較少的處理負(fù)擔(dān)對編碼對象圖像進(jìn)行編碼。同樣，在對被編碼后的圖像進(jìn)行解碼時，由于不需要參照屬于該被編碼后的圖像所屬的層次之上的層次的圖像，因而能夠以較少的處理負(fù)擔(dān)對該被編碼后的圖像進(jìn)行解碼。并且，在包含于動態(tài)圖像信號中的多個圖像分別被作為編碼對象圖像來對該動態(tài)圖像信號進(jìn)行編碼的情況下，在對包含于被編碼后的動態(tài)圖像信號中的某圖像進(jìn)行解碼時，也不需要參照屬于該圖像所屬的層次之上的層次的圖像。因此，圖像解碼裝置僅對屬于被作為特殊再現(xiàn)的對象的層次的圖像進(jìn)行解碼即可，能夠節(jié)省特意對屬于被作為特殊再現(xiàn) 的對象的層次之上的層次的圖像進(jìn)行解碼并參照的工夫。例如，在被作為N倍速再現(xiàn)(N>2)等特殊再現(xiàn)的對象的層次是處于最下位的最下位層次的情況下，圖像解碼裝置不需要特意對處于該最下位層次之上的層次的不被作為再現(xiàn)的對象的圖像進(jìn)行解碼并參照，僅對屬于最下位層次的各個圖像進(jìn)行解碼即可。例如，所述多個圖像分別是圖片或者條帶。并且，為了達(dá)到上述目的，本發(fā)明的一個方式的圖像編碼方法對動態(tài)圖像信號進(jìn)行編碼，在該圖像編碼方法中，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，生成表示是否對在進(jìn)行所述多個圖像中的某一個圖像即編碼對象圖像的編碼時參照的參照圖像的選擇附加限制的標(biāo)志，在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述編碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述編碼對象圖像的參照圖像，參照所選擇的所述參照圖像對所述編碼對象圖像進(jìn)行編碼，并使所述標(biāo)志包含在被編碼后的所述動態(tài)圖像信號中。因此，在利用標(biāo)志來表示附加限制的情況下，滿足根據(jù)編碼對象圖像所屬的第I層次而限制的條件的圖像被選擇為參照圖像。即，根據(jù)第I層次來限制在進(jìn)行編碼對象圖像的編碼時參照的參照圖像。其結(jié)果是，能夠減輕編碼對象圖像的編碼的處理負(fù)擔(dān)。并且，由于生成表示是否對參照圖像的選擇附加限制的標(biāo)志、并使其包含在被編碼后的動態(tài)圖像信號中，因而對于該被編碼后的動態(tài)圖像信號進(jìn)行解碼的圖像解碼裝置，能夠容易根據(jù)該標(biāo)志來掌握參照圖像的選擇是否被附加限制。其結(jié)果是，圖像解碼裝置能夠適當(dāng)以較少的處理負(fù)擔(dān)對該被編碼后的動態(tài)圖像信號進(jìn)行解碼。另外，也可以是，在選擇所述參照圖像時，當(dāng)在編碼順序中的所述編碼對象圖像和候選圖像之間、存在屬于處于根據(jù)所述第I層次而限制的范圍內(nèi)的第2層次的基準(zhǔn)圖像的情況下，禁止選擇所述候選圖像作為所述參照圖像，而選擇所述候選圖像以外的圖像作為所述參照圖像。例如，在選擇所述參照圖像時，當(dāng)存在屬于處于被限制為所述第I層次之下的范圍內(nèi)的所述第2層次的所述基準(zhǔn)圖像的情況下，禁止選擇所述候選圖像作為所述參照圖像。并且，在選擇所述參照圖像時，禁止選擇按照編碼順序處于所述編碼對象圖像前面的所述候選圖像作為所述參照圖像。因此，能夠選擇合適的圖像作為參照圖像，能夠進(jìn)一步抑制處理負(fù)擔(dān)。并且，為了達(dá)到上述目的，本發(fā)明的一個方式的圖像解碼方法對編碼動態(tài)圖像信號進(jìn)行解碼，在該圖像解碼方法中，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對解碼對象圖像的參照圖像進(jìn)行參照，所述解碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述解碼對象圖像所屬的第I層次而限制的范圍內(nèi)，根據(jù)所述參照圖像對所述解碼對象圖像進(jìn)行解碼。例如，在所述圖像解碼方法中，還生成表示包含于所述編碼動態(tài)圖像信號中的多個圖像中屬于所述第I層次以下的層次的至少一個圖像的參照列表，在該參照列表中不包含所述編碼動態(tài)圖像信號中的多個圖像中分別屬于所述第I層次之上的所有層次的所有圖像，在參照所述參照圖像時，從在所述參照列表中示出的至少一個圖像中選擇所述參照圖像。因此，在進(jìn)行解碼對象圖像的解碼時參照的參照圖像所屬的層次，處于根據(jù)該解碼對象圖像所屬的第I層次而限制的范圍內(nèi)。因此，由于在進(jìn)行解碼對象圖像的解碼時參照的參照圖像被根據(jù)第I層次進(jìn)行限制，因而能夠減輕該解碼的處理負(fù)擔(dān)。
`
并且，為了達(dá)到上述目的，本發(fā)明的一個方式的圖像解碼方法對編碼動態(tài)圖像信號進(jìn)行解碼，在該圖像解碼方法中，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，從所述編碼動態(tài)圖像信號取得標(biāo)志，該標(biāo)志表示是否對在進(jìn)行所述多個圖像中的某一個圖像即解碼對象圖像的解碼時參照的參照圖像的選擇附加限制，在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述解碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述解碼對象圖像的參照圖像，參照所選擇的所述參照圖像對所述解碼對象圖像進(jìn)行解碼。因此，在利用標(biāo)志來表示附加限制的情況下，滿足根據(jù)解碼對象圖像所屬的第I層次而限制的條件的圖像被選擇為參照圖像。即，根據(jù)第I層次來限制在進(jìn)行解碼對象圖像的解碼時參照的參照圖像。其結(jié)果是，能夠減輕解碼對象圖像的解碼的處理負(fù)擔(dān)。并且，為了達(dá)到上述目的，本發(fā)明的一個方式的存儲器管理方法用于管理存儲器，該存儲器存儲在進(jìn)行動態(tài)圖像信號的編碼或者解碼時參照的圖像，在該存儲器管理方法中，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將所述多個圖像中的存儲對象圖像存儲在所述存儲器內(nèi)的區(qū)域中，該區(qū)域被限制為對所述存儲對象圖像所屬的層次分配的容量即層次容量。具體地講，在所述存儲器管理方法中，對于每個層次，將所述存儲器內(nèi)的可用容量中的一部分容量作為層次容量分配給該層次。例如，存在這樣的情況，即被長時間地參照的長時間參照圖像屬于另一個層次，該長時間參照圖像被存儲在存儲器內(nèi)的另一個區(qū)域中。在這種情況下，如果存儲對象圖像被存儲在另一個區(qū)域中，有時會導(dǎo)致該長時間參照圖像被從存儲器中刪除。因此，在長時間參照圖像被從存儲器中刪除后，為了參照該長時間參照圖像，需要再次對該長時間參照圖像進(jìn)行解碼等處理。因此，在本發(fā)明的一個方式的存儲器管理方法中，存儲對象圖像被存儲在存儲器內(nèi)的區(qū)域中，該區(qū)域被限制為對該存儲對象圖像所屬的層次分配的層次容量，因而能夠防止長時間參照圖像被從存儲器中刪除。即，能夠?qū)⒈匾膮⒄請D像確實存儲在存儲器中。其結(jié)果是，能夠節(jié)省再次對該長時間參照圖像進(jìn)行解碼等多余的處理。并且，由于將必要的參照圖像確實保持存儲在存儲器中，因而能夠省去逐次適用用于指示刪除不要的圖像的存儲器管理命令等的處理負(fù)擔(dān)。其中，也可以是，在存儲所述存儲對象圖像時，當(dāng)在所述區(qū)域中沒有存儲所述存儲對象圖像的容量的情況下，將已經(jīng)存儲在所述區(qū)域中的至少一個已有圖像中被最早存儲的已有圖像從所述區(qū)域中刪除，再存儲所述存儲對象圖像。另外，也可以是，在對包含于所述動態(tài)圖像信號中的多個圖像中的處理對象圖像進(jìn)行編碼或者解碼時參照的圖像即參照圖像所屬的層次、被限制為所述處理對象圖像所屬的層次以下的層次，在對所述每個層次分配所述層次容量時，針對所述多個層次中處于最下位的最下位層次，分配比對處于所述最下位層次之上的上位層次分配的層次容量大的層
次容量。因此，由于參照圖像所屬的層次被限制為處理對象圖像所屬的層次以下的層次，因而屬于最下位層次的圖像被長時間參照的可能性比屬于上位層次的圖像增大。因此，在本發(fā)明的一個方式的存儲器管 理方法中，由于對最下位層次分配比對上位層次分配的層次容量大的層次容量，因而能夠?qū)儆谧钕挛粚哟蔚膱D像長時間地存儲在存儲器中。其結(jié)果是，在屬于最下位層次的圖像被參照時，能夠防止該圖像被從存儲器中刪除而使得不能參照該圖像。另外，也可以是，在所述存儲器管理方法中，還對被存儲在所述存儲器中的多個圖像中、屬于被作為編碼或者解碼的對象的處理對象圖像所屬的層次之上的層次的圖像標(biāo)記屬性。例如，在標(biāo)記所述屬性時，標(biāo)記表示是不被用于參照的圖像的屬性。因此，由于對圖像標(biāo)記圖像，因而能夠容易確定不被用于參照的不要的圖像，能夠優(yōu)先將該圖像從存儲器中刪除。其結(jié)果是，能夠有效利用存儲器的容量。另外，本發(fā)明不僅能夠?qū)崿F(xiàn)為這種圖像編碼方法、圖像解碼方法及存儲器管理方法，也能夠?qū)崿F(xiàn)為執(zhí)行依據(jù)于這些方法的處理的裝置、集成電路、用于使計算機(jī)執(zhí)行依據(jù)于這些方法的處理的程序、存儲該程序的存儲介質(zhì)。發(fā)明效果本發(fā)明的圖像編碼方法和圖像解碼方法能夠減輕處理負(fù)擔(dān)。


圖1是本發(fā)明的實施方式I的圖像編碼裝置的塊圖。
圖2是表示由本發(fā)明的實施方式I的幀間預(yù)測部構(gòu)建的參照構(gòu)造的圖。圖3是表示必要的參照圖片被刪除時的存儲器管理方法的一例的圖。圖4是表示對圖片的編碼順序附加限制時的存儲器管理方法的一例的圖。圖5是表示本發(fā)明的實施方式I的存儲器控制部的存儲器管理方法的圖。圖6是表示本發(fā)明的實施方式I的圖像編碼裝置的處理的流程圖。圖7是表示本發(fā)明的實施方式I的圖像編碼裝置利用標(biāo)志時的處理的流程圖。圖8是表示本發(fā)明的實施方式I的圖像編碼裝置的具體處理的流程圖。圖9是本發(fā)明的實施方式I的圖像解碼裝置的塊圖。圖10是表示本發(fā)明的實施方式I的圖像解碼裝置的處理的流程圖。圖11是表示本發(fā)明的實施方式I的圖像解碼裝置利用標(biāo)志時的處理的流程圖。圖12是表示本發(fā)明的實施方式I的存儲器管理方法的流程圖。圖13是表示本發(fā)明的實施方式I的圖像解碼裝置的具體處理的流程圖。圖14是表示本發(fā)明的實施方式I的變形例的參照構(gòu)造的圖。圖15是表示本發(fā)明的實施方式I的變形例的存儲器管理方法的一例的圖。圖16是表示本發(fā)明的實施方式的變形例的存儲器管理方法的另一個示例的圖。圖17是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。圖18是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。圖19是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。圖20是表示對作為光盤的記錄介 質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。圖21是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。圖22A是表示便攜電話的一例的圖。圖22B是表示便攜電話的結(jié)構(gòu)例的模塊圖。圖23是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。圖24是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。圖25是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。圖26是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。圖27是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。圖28是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。圖29是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。圖30是表示識別影像數(shù)據(jù)的步驟的圖。圖31是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。圖32是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。圖33是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。圖34是表示將影像數(shù)據(jù)的規(guī)格與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。圖35A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。圖35B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
具體實施例方式首先，在說明本發(fā)明的實施方式之前，說明在對圖像進(jìn)行編碼或者解碼時執(zhí)行的幾個處理。例如，圖像編碼裝置和圖像解碼裝置構(gòu)建參照列表(也稱為參照圖片列表)。S卩，這些裝置在參照其它圖片對B條帶等條帶進(jìn)行編碼或者解碼時，構(gòu)建列舉了對于該條帶(包含于條帶中的宏塊)所參照的圖片的參照列表。在該進(jìn)程中，需要在參照列表內(nèi)按照圖片號碼順序?qū)⒏鱾€圖片重排的處理(參照列表初始化時的重排處理)。例如，圖像編碼裝置和圖像解碼裝置在取得B條帶后，將對于該B條帶所參照的參照圖片(在短時間參照及長時間參照雙方中使用的圖片，以下相同)添加在參照列表(L0、LI)中。在此，圖像編碼裝置和圖像解碼裝置根據(jù)該參照圖片的圖片號碼(PicNum)，按照降序(從大到小的順序)重排該參照列表(L0、L1)中的各個參照圖片。并且，圖像編碼裝置和圖像解碼裝置將例如長時間地持續(xù)參照的參照圖片等圖片保存在一個邏輯存儲器(DPB :Decoded Picture Buffer)中。在此,為了使該存儲器不至于飽和，需要對這些圖片標(biāo)記屬性來管理被保存在該存儲器中的參照圖片。例如，圖像編碼裝置和圖像解碼裝置對于不被用作參照圖片的圖片，在判定為該圖片被參照的可能性減小的時刻或者接收到規(guī)定的命令(MMC0 :存儲器管理命令)的時刻標(biāo)記屬性“不用于參照(unused for reference)”。另外，該規(guī)定的命令是指表示作為管理對象的圖片不被參照的命令。即，在這種標(biāo)記的方式或者控制中包括FIFO (First -1nFirst - Out :先入先出)管理方式和基于存儲器管理命令的適應(yīng)性存儲器控制。其中，利用H. 264的圖片定義能夠?qū)崿F(xiàn)的參照構(gòu)造的靈活度對圖像解碼裝置的安裝簡化沒有直接幫助。參照構(gòu)造的靈活度可能會有助于碼壓縮率的提高，但是至于這種靈活性是否有助于再現(xiàn)編碼數(shù)據(jù) (編碼流)的圖像解碼裝置的安裝簡化又是另外的話題。即，根據(jù)參照構(gòu)造的靈活度，將導(dǎo)致圖像編碼裝置和圖像解碼裝置的處理負(fù)擔(dān)增大。例如，如果能夠掌握到被賦予了制約條件的情況，則也存在圖像解碼裝置的安裝容易進(jìn)行的情況。并且，至少過度的靈活性在通用處理方面存在具有界限的情況。例如，長時間地參照多個參照圖片的圖像編碼裝置和圖像解碼裝置在按照上述的FIFO方式管理(標(biāo)記處理)存儲器時，由于該存儲器的尺寸是有限的，因而有時導(dǎo)致需要參照的圖片被從存儲器中刪除。并且，該圖像編碼裝置和圖像解碼裝置在進(jìn)行基于上述的存儲器管理命令的適應(yīng)性存儲器控制的情況下，將逐一地需要命令(存儲器管理命令)。因此，在本發(fā)明的實施方式的圖像編碼方法和圖像解碼方法中，其特征在于，利用附加了制約條件的參照構(gòu)造來減輕處理負(fù)擔(dān)。并且，在本發(fā)明的實施方式的存儲器管理方法中，其特征在于，抑制處理負(fù)擔(dān)的增加，防止需要參照的圖片被從存儲器中刪除。下面，參照附圖詳細(xì)說明本發(fā)明的實施方式。另外，下面說明的實施方式均用于示出本發(fā)明的優(yōu)選的一個具體示例。在下面的實施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接方式、步驟、步驟的順序等僅是一例，其主旨不是限定本發(fā)明。本發(fā)明僅利用權(quán)利要求書進(jìn)行限定。因此，關(guān)于下面的實施方式的構(gòu)成要素中、沒有在表示本發(fā)明的最上位概念的獨(dú)立權(quán)利要求中記載的構(gòu)成要素，不一定是實現(xiàn)本發(fā)明的課題所需要的構(gòu)成要素，僅是作為構(gòu)成更優(yōu)選的方式的構(gòu)成要素進(jìn)行說明的。(實施方式I)
圖1是本發(fā)明的實施方式I的圖像編碼裝置的塊圖。本實施方式的圖像編碼裝置1000的特征在于，對于幀間預(yù)測編碼中的圖片的參照，附加了與圖片的層次構(gòu)造對應(yīng)的限制。這種圖像編碼裝置1000具有減法器1101、正交變換部1102、量化部1103、熵編碼部1104、逆量化部1105、逆正交變換部1106、加法器1107、解塊濾波器1108、存儲器1109、面內(nèi)預(yù)測部1110、幀間預(yù)測部1111、運(yùn)動檢測部1112、開關(guān)1113和存儲器控制部1200。減法器1101在取得動態(tài)圖像信號的同時，從開關(guān)1113取得預(yù)測圖像。并且，減法器1101從包含于該動態(tài)圖像信號中的編碼對象塊減去預(yù)測圖像，由此生成差分圖像。正交變換部1102通過對由減法器1101生成的差分圖像進(jìn)行例如離散余弦變換等正交變換(頻率變換)，將該差分圖像變換為由多個頻率系數(shù)構(gòu)成的系數(shù)塊。量化部1103對包含于該系數(shù)塊中的各個頻率系數(shù)進(jìn)行量化，由此生成被量化后的系數(shù)塊。逆量化部1105對由量化部1103進(jìn)行量化后的系數(shù)塊進(jìn)行逆量化。逆正交變換部1106對包含于該被逆量化后的系數(shù)塊中的各個頻率系數(shù)進(jìn)行逆離散余弦變換等逆正交變換(逆頻率變換)，由此生成解碼差分圖像。加法器1107從開關(guān)1113取得預(yù)測圖像，將該預(yù)測圖像和由逆正交變換部1106生成的解碼差分圖像相加，由此生成局部解碼圖像(重建圖像)。解塊濾波器1108將由加法器1107生成的局部解碼圖像的塊變形去除后，將該局部解碼圖像存儲在存儲器1109中。存儲器1109是用于存儲局部解碼圖像作為幀間預(yù)測時的參照圖像的存儲器。另外，該存儲器1109被用作解碼圖片緩沖器(DPB)。面內(nèi)預(yù)測部1110使用由加法器1107生成的局部解碼圖像，對編碼對象塊進(jìn)行幀內(nèi)預(yù)測，由此生成預(yù)測圖像(幀內(nèi)預(yù)測圖像)。

運(yùn)動檢測部1112對包含于動態(tài)圖像信號中的編碼對象塊檢測運(yùn)動向量，將該檢測到的運(yùn)動向量輸出給幀間預(yù)測部1111和熵編碼部1104。幀間預(yù)測部1111將存儲在存儲器1109中的圖像作為參照圖像進(jìn)行參照，并且使用由運(yùn)動檢測部1112檢測到的運(yùn)動向量，對編碼對象塊進(jìn)行運(yùn)動補(bǔ)償。幀間預(yù)測部1111通過進(jìn)行這種運(yùn)動補(bǔ)償，即通過對編碼對象塊進(jìn)行幀間預(yù)測，生成編碼對象塊的預(yù)測圖像(幀間預(yù)測圖像)。并且，幀間預(yù)測部1111將包含于動態(tài)圖像信號中的多個圖片分層次。具體地講，幀間預(yù)測部1111以使包含于動態(tài)圖像信號中的多個圖片分別屬于多個層次(layer)中的某一個層次的方式，將該多個圖片分層次地分類。另外，在本實施方式中，作為一例，幀間預(yù)測部1111將多個圖片分層次，但作為分層次的對象的多個圖像均不限于圖片，也可以是條帶等其它圖像單位。在這種情況下，幀間預(yù)測部1111將屬于第2層次的圖片作為針對編碼對象圖片的參照圖片進(jìn)行參照，該編碼對象圖片是多個圖片中的某一個圖片，該第2層次處于根據(jù)該編碼對象圖片所屬的第I層次而限制的范圍內(nèi)。具體地講，幀間預(yù)測部1111禁止參照屬于第I層次之上(較高的級別)的層次的圖片，將屬于處于被限制為第I層次以下的范圍內(nèi)的第2層次的圖片作為參照圖片進(jìn)行參照。另外，幀間預(yù)測部1111生成表示是否對在進(jìn)行所述多個圖片中的某一個圖片即編碼對象圖片的編碼時參照的參照圖片的選擇附加限制的標(biāo)志，并輸出給熵編碼部1104。例如，如上所述，在對編碼對象圖片附加了基于層次構(gòu)造的參照限制的情況下，幀間預(yù)測部1111生成表示I的標(biāo)志，并輸出給熵編碼部1104。換言之，在利用標(biāo)志表示附加限制的情況下，幀間預(yù)測部1111選擇滿足根據(jù)編碼對象圖片所屬的第I層次而限制的條件的圖片，作為針對編碼對象圖片的參照圖片。另外，幀間預(yù)測部1111對被分層次后的多個圖片分別生成表示該圖片所屬的層次的層次信息，將該層次信息輸出給熵編碼部1104和存儲器控制部1200。在編碼對象塊被實施幀內(nèi)預(yù)測編碼的情況下，開關(guān)1113將由面內(nèi)預(yù)測部1110生成的預(yù)測圖像(幀內(nèi)預(yù)測圖像)輸出給減法器1101和加法器1107。另一方面，在編碼對象塊被實施幀間預(yù)測編碼的情況下，開關(guān)1113將由幀間預(yù)測部1111生成的預(yù)測圖像(幀間預(yù)測圖像)輸出給減法器1101和加法器1107。熵編碼部1104對由量化部1103進(jìn)行量化后的系數(shù)塊、和由運(yùn)動檢測部1112檢測到的運(yùn)動向量、和由幀間預(yù)測部1111生成的標(biāo)志及層次信息進(jìn)行熵編碼(可變長編碼)，由此生成編碼流。因此，在編碼流中包含上述的標(biāo)志及層次信息。存儲器控制部1200從幀間預(yù)測部1111取得各個圖片的層次信息，根據(jù)利用這些層次信息示出的各個圖片的層次、即根據(jù)層次構(gòu)造，分別管理被存儲在存儲器1109中的多個圖片。具體地講，存儲器控制部1200對于每個層次，將存儲器1109內(nèi)的能夠使用的存儲器容量中的一部分容量作為層次容量分配給該層次。并且，存儲器控制部1200將存儲對象圖片存儲在存儲器1109內(nèi)的如下區(qū)域中，該區(qū)域被限制為對應(yīng)該存儲的該存儲對象圖片所屬的層次分配的容量即層次容量。另外，也可以是，當(dāng)在該區(qū)域中沒有用于存儲存儲對象圖片的容量的情況下，存儲器控制部1200將已經(jīng)存儲在該區(qū)域中的至少一個已有圖片中被最早存儲的已有圖片從該區(qū)域中刪除，再存儲存儲對象圖片。在此，存儲器控制部1200在對每個層次分配層次容量時，針對該多個層次中處于最下位的最下位層次，分配比對處于該最下位層次之上的上位層次分配的層次容量大的層 次容量。另外，存儲器控制部1200對被存儲在存儲器1109中的多個圖片中、屬于編碼對象圖片所屬的層次之上的層次的圖片標(biāo)記屬性。具體地講，存儲器控制部1200標(biāo)記表示是不被用于參照的圖片的屬性。下面，詳細(xì)說明由幀間預(yù)測部1111構(gòu)建的圖片的層次構(gòu)造和參照構(gòu)造。圖2是表示由幀間預(yù)測部1111構(gòu)建的圖片的層次構(gòu)造和參照構(gòu)造的圖。另外，在圖2中，圖片附帶的字母和數(shù)字分別表示圖片類型和圖片的顯示順序。例如，IO表示圖片類型“I”和圖片的顯示順序“0”，Br2表示圖片類型“B”和圖片的顯示順序“2”。如圖2所示，幀間預(yù)測部1111根據(jù)通過將包含于動態(tài)圖像信號中的多個圖片分別分類為各個層次(layer)而構(gòu)建的層次構(gòu)造，定義參照構(gòu)造。在此，幀間預(yù)測部1111按照多個圖片的顯示順序?qū)㈤_頭圖片用作I圖片，將開頭I圖片以外的圖片用作B圖片。并且，幀間預(yù)測部1111當(dāng)在多個層次中分別進(jìn)行屬于該層次的圖片的幀間預(yù)測時，參照屬于與該層次相同的層次的圖片或者屬于級別比該層次低的層次的圖片。即，在由幀間預(yù)測部1111構(gòu)建的參照構(gòu)造中附加了這樣的限制，即不認(rèn)可對被分類為比編碼對象圖片所屬的層次高的層次或者編碼對象圖片所屬的層次之上的層次的圖片的參照(對與編碼對象圖片的層次相同的層次或者比編碼對象圖片的層次低的層次的圖片進(jìn)行參照)。
例如，如圖2所示，幀間預(yù)測部1111在對屬于層次3的圖片BI進(jìn)行幀間預(yù)測時，參照屬于層次O的圖片IO和屬于層次2的圖片Br2。并且，幀間預(yù)測部1111在對屬于級別最低的層次O的圖片BfS進(jìn)行幀間預(yù)測時，參照屬于與該層次相同的層次O的圖片10。在此，在對屬于級別最低的層次O的圖片進(jìn)行幀間預(yù)測時，只能參照在顯示順序中位于前面的圖片。這樣，在本實施方式的參照構(gòu)造中，由于將I圖片以外的圖片構(gòu)成為B圖片，因而能夠提高動態(tài)圖像信號的壓縮率。通常，與參照較少的參照圖片被實施編碼的圖片相比，參照較多的參照圖片被實施編碼的圖片能夠提高壓縮率。因此，在本實施方式的參照構(gòu)造中，由于將I圖片以外的圖片構(gòu)成為B圖片，因而能夠提高動態(tài)圖像信號的壓縮率。另外，在本實施方式的參照構(gòu)造中，對于屬于多個層次中級別較高的層次的圖片，參照屬于與該層次相同的層次的圖片或者屬于級別比該層次低的層次的圖片進(jìn)行編碼。因此，在具有圖像解碼裝置的再現(xiàn)裝置中，能夠容易進(jìn)行倍速再現(xiàn)等特殊再現(xiàn)。例如，再現(xiàn)裝置在進(jìn)行高速再現(xiàn)的情況下，僅再現(xiàn)屬于層次O的圖片。在圖2所示的參照構(gòu)造中，再現(xiàn)裝置再現(xiàn)圖片I0、Bf8、Bfl6。在降低再現(xiàn)速度的情況下，再現(xiàn)裝置再現(xiàn)分別屬于層次O和層次I的圖片，在繼續(xù)降低再現(xiàn)速度的情況下，再現(xiàn)分別屬于層次O和層次I和層次2的圖片。這樣，通過參照層次來定義參照構(gòu)造，能夠容易實現(xiàn)靈活的高速再現(xiàn)。即，如果圖像編碼裝置將屬于級別比通過特殊再現(xiàn)而顯示的顯示對象圖片所屬的層次高的層次的圖片作為參照圖片進(jìn)行參照，并對該顯示對象圖片進(jìn)行編碼，在特殊再現(xiàn)中，盡管該參照圖片未被顯示，再現(xiàn)裝置也必須對該參照圖片進(jìn)行解碼。但是，在本實施方式的圖像編碼裝置1000中，對于每個圖片，禁止將屬于級別比該圖片所屬的層次高的層次的圖片作為參照圖片進(jìn)行參照。因此，能夠節(jié)省再現(xiàn)裝置在特殊再現(xiàn)中特意對未被顯示的參照圖片進(jìn)行解碼的時間。其結(jié)果是，在本實施方式中，能夠減輕再現(xiàn)裝置具有的圖像解碼裝置的處理負(fù)擔(dān)。在此，幀間預(yù)測部1111生成如上所述的標(biāo)志。即，幀間預(yù)測部1111輸出標(biāo)志，該標(biāo)志利用I比特來識別是否作為特殊用途(例如特殊再現(xiàn)等)而附帶層次性制約條件地對動態(tài)圖像信號(流)進(jìn)行編碼、或者是否不受制約地進(jìn)行編碼。熵編碼部1104在例如編碼流中的存取單位(例如隨機(jī)存取單位或者序列)的開頭附加該標(biāo)志(I比特)。由此，再現(xiàn)裝置能夠利用最小的比特數(shù)判定編碼流或者編碼圖片是否是高速再現(xiàn)或者隨機(jī)存取等特殊用途的編碼流或者編碼圖片。其結(jié)果是，能夠?qū)⑨槍Π凑者^去的H. 264方式進(jìn)行編碼的動態(tài)圖像信號即編碼流、和對該編碼流進(jìn)行解碼的圖像解碼裝置的互換性的影響抑制為最小限度。另外，也可以在SEI (Supplemental enhancement information)等附加部分中附加與上述的標(biāo)志(I比特)不同的、表示與用途對應(yīng)的層次構(gòu)造和參照構(gòu)造的信息即表示有無制約的信息。另外，幀間預(yù)測部1111生成如上所述的層次信息。即，幀間預(yù)測部1111對于每個圖片，輸出用于確定該圖片屬于哪個層次的層次信息(識別信息)。此時，熵編碼部1104將層次信息附加在與該層次信息對應(yīng)的圖片的標(biāo)題中。具體地講，幀間預(yù)測部1111對一張圖片(幀或者字段對)中的所有條帶分配相同的層次信息。這是因為在高速再現(xiàn)或者隨機(jī)存取等特殊再現(xiàn)時，不需要將圖片內(nèi)的各個部分(條帶)分配為彼此不同的層次。因此，熵編碼部1104將層次信息附加在圖片參數(shù)集合等圖片的標(biāo)題中。
其結(jié)果是，再現(xiàn)裝置在對編碼流進(jìn)行高速再現(xiàn)時，從圖片的標(biāo)題取得層次信息，僅對高速再現(xiàn)所需要的圖片進(jìn)行再現(xiàn)。并且，熵編碼部1104也可以將多個層次信息一并配置在編碼流的開頭。具體地講，熵編碼部1104將按照包含于編碼流中的多個圖片的編碼順序或者顯示順序排列的這多個圖片的層次信息、作為管理信息配置在編碼流的開頭。再現(xiàn)裝置在對編碼流進(jìn)行解碼之前，首先讀取開頭的管理信息，由此能夠判定能夠進(jìn)行哪種高速再現(xiàn)(特殊再現(xiàn))。并且，熵編碼部1104在將編碼流保存在光盤中時等，也可以將管理信息與編碼流分開保存在光盤中。通過與編碼流分開來保存管理信息，再現(xiàn)裝置能夠在對編碼流進(jìn)行再現(xiàn)之前判定能夠進(jìn)行哪種高速再現(xiàn)。另外，在本實施方式中，對于屬于級別較高的層次的圖片，參照屬于與該層次相同的層次的圖片或者屬于級別比該層次低的層次的圖片進(jìn)行編碼。但是，作為例外，對于屬于規(guī)定級別的層次的圖片，也可以參照屬于級別比該規(guī)定級別的層次高的層次的圖片進(jìn)行編碼。例如，如圖2中的虛線箭頭所示，對于屬于級別最低的層次的圖片，參照屬于級別較高的層次的圖片進(jìn)行編碼。具體地講，對于屬于級別最低的層次O的圖片Bfl6，參照屬于級別較高的層次I的圖片Br4和屬于級別較高的層次2的圖片Br6進(jìn)行編碼。這樣，對于屬于規(guī)定級別的層次的圖片是參照屬于級別較高的層次的圖片，由此能夠進(jìn)一步提高動態(tài)圖像信號的壓縮率。另一方面，由于特殊再現(xiàn)是有限制的，因而也可以在編碼流中追加表示能夠進(jìn)行哪種特殊再現(xiàn)的新信息。例如，對于屬于級別最低的層次的圖片，附加表示能夠參照到屬于哪個層次的圖片的信息。例如，如圖2所示，幀間預(yù)測部1111輸出表示能夠參照到屬于層次2的圖片的信息，熵編碼部1104將該信息附加在編碼流中。其結(jié)果是，再現(xiàn)裝置根據(jù)該信息，判定能夠進(jìn)行分別屬于層次O、層次I和層次2的圖片的再現(xiàn)、以及分別屬于層次O、層次1、層次2和層次3的圖片的再現(xiàn)。表示能夠參照到屬于哪個層次的圖片的信息也 可以附加在編碼流的標(biāo)題中，還可以作為管理信息與編碼流分開進(jìn)行保存。另外，也可以是，幀間預(yù)測部1111對于在顯示順序中位于屬于級別最低的層次的圖片的后面的圖片的幀間預(yù)測，禁止參照在顯示順序中位于屬于級別最低的層次的該圖片的前面的圖片。即，幀間預(yù)測部1111將屬于級別最低的層次的圖片作為設(shè)置參照限制時的基準(zhǔn)圖片。通過這樣設(shè)置參照限制，在圖像解碼裝置對屬于級別最低的層次的圖片進(jìn)行隨機(jī)存取時，能夠保證位于被隨機(jī)存取的圖片以后的圖片的解碼。并且，也可以是，幀間預(yù)測部1111對于屬于級別最低的層次的圖片，輸出表示該圖片是否是參照限制用的基準(zhǔn)圖片的信息。在這種情況下，熵編碼部1104對該圖片附加表示是否是基準(zhǔn)圖片的信息。由此，在級別最低的層次中混合存在基準(zhǔn)圖片和不是基準(zhǔn)圖片的圖片，因而能夠一并實現(xiàn)動態(tài)圖像信號的壓縮率的提高和隨機(jī)存取。在此，基準(zhǔn)圖片也可以不是屬于級別最低的層次的圖片，而是例如屬于級別比編碼對象圖片的層次低的層次的圖片。即，基準(zhǔn)圖片是屬于第2層次的圖片，該第2層次處于根據(jù)編碼對象圖片所屬的第I層次而限制的范圍，即該第2層次處于被限制為第I層次之下的范圍內(nèi)。例如，該基準(zhǔn)圖片位于編碼順序中的編碼對象圖片和候選圖片之間。在這種情況下，幀間預(yù)測部1111在選擇參照圖片時，禁止選擇在編碼順序中位于編碼對象圖片前面的該候選圖片作為參照圖片，而是選擇該候選圖片以外的圖片作為參照圖片。由此，能夠選擇合適的圖片作為參照圖片，能夠進(jìn)一步抑制處理負(fù)擔(dān)。另外，也可以是，幀間預(yù)測部1111對于位于隨機(jī)存取的存取位置的圖片的幀間預(yù)測，參照級別最低的層次的圖片。即，也可以是，對于屬于有可能成為隨機(jī)存取的存取位置的層次3的圖片的幀間預(yù)測，一定是只將屬于層次O的圖片作為參照圖片進(jìn)行參照。因此，圖像解碼裝置在對隨機(jī)存取的存取位置的圖片進(jìn)行解碼時，能夠直接參照層次O的參照圖片對該存取位置的圖片進(jìn)行解碼，而不需對中間層次(位于存取位置的圖片所屬的層次和級別最低的層次O之間的層次)的圖片進(jìn)行解碼。而且，不需要Switching P (SP)條帶等的追加的碼數(shù)據(jù)。下面，詳細(xì)說明存儲器控制部1200管理存儲器1109的存儲器管理方法。例如，在單純地將現(xiàn)行的H. 264標(biāo)準(zhǔn)規(guī)格的存儲器管理方法適用于圖2所示的參照構(gòu)造時，有時會產(chǎn)生這樣的情況，即在進(jìn)行編碼對象圖片的編碼時參照的參照圖片被從存儲器1109中刪除，導(dǎo)致不能參照該參照圖片。圖3是表示必要的參照圖片被刪除時的存儲器管理方法的一例的圖。 首先，在按照編碼順序的第O個處理中，圖片IO被進(jìn)行編碼及解碼，并作為參照圖片IO被存儲在存儲器中。然后，參照圖片被依次存儲在存儲器中，在按照編碼順序的第3個處理中，圖片10、圖片Bf8、圖片Br4及圖片Br2被存儲在存儲器中。然后，在按照編碼順序的第4個處理中，新的圖片Br6被追加在存儲器1109中，最早被存儲在存儲器中的圖片IO被從該存儲器中刪除。但是，在按照編碼順序的第5個處理中，在進(jìn)行圖片BI的編碼時需要參照圖片10，因而需要在第5個處理中再次對圖片IO進(jìn)行解碼。換言之，在存儲器中需要能夠保持存儲圖片IO的較大的存儲器容量，以便進(jìn)行圖片BI的編碼。并且，同樣在按 照編碼順序的第9個處理中，圖片BfS被從存儲器中刪除。但是，在按照編碼順序的第10個處理中，在進(jìn)行圖片Brl2的編碼時需要參照圖片Bf8，因而需要在第10個處理中再次對圖片BfS進(jìn)行解碼。換言之，在按照編碼順序的第10個處理中，在該存儲器中需要較大的存儲器容量，以便保持將圖片Bf8存儲在存儲器中的狀態(tài)。或者，需要適用存儲器管理命令(MMC0)。這樣，如果單純地將現(xiàn)行的H. 264標(biāo)準(zhǔn)規(guī)格的存儲器管理方法適用于圖2所示的參照構(gòu)造，將產(chǎn)生應(yīng)該被保持存儲在存儲器中的參照圖片被刪除的問題。為了解決這種問題，可以對圖片的編碼順序附加限制。圖4是表示對圖片的編碼順序附加限制時的存儲器管理方法的一例的圖。例如，附加使屬于級別最高的層次以外的層次的圖片的編碼順序盡量靠后的限制。另外，在這種限制中，在進(jìn)行按照編碼順序靠前的圖片的編碼時也不會參照編碼順序靠后的圖片。并且，編碼順序和解碼順序相同。具體地講，在圖4所示的編碼順序中，層次2的圖片Br6位于層次3的圖片BI和B3的編碼順序后面。在按照這種編碼順序?qū)哟?的圖片BI進(jìn)行編碼時，被圖片BI參照的圖片IO被存儲在存儲器1109中。因此，能夠節(jié)省對圖片IO再次進(jìn)行解碼的時間，并且能夠抑制存儲器1109的容量的增加。但是，在這種情況下，圖片Bf8通過按照編碼順序的第9個處理(圖片Bf 16的編碼及解碼)被從存儲器中刪除。其結(jié)果是，在按照編碼順序的第10個處理中，在進(jìn)行圖片Brl2的編碼時參照圖片Bf8，因而需要對圖片BfS再次進(jìn)行解碼。或者，在按照編碼順序的第10個處理中，為了保持存儲圖片Bf8，在存儲器中需要較大的存儲器容量?；蛘?，需要適用存儲器管理命令(MMCO)。圖5是表示本實施方式的存儲器控制部1200的存儲器管理方法的圖。存儲器控制部1200使用圖片的層次構(gòu)造和參照構(gòu)造管理存儲器1109。例如，存儲器1109具有存儲4張圖片的存儲器容量。在這種情況下，存儲器控制部1200將存儲器1109的可用容量即4張圖片量的存儲器容量中的2張圖片量的存儲器容量作為層次容量，分配給級別最低的層次O。另外，存儲器控制部1200將存儲器1109中的上述4張圖片量的存儲器容量中的I張圖片量的存儲器容量作為層次容量，分別分配給層次I和層次2。BP,I張圖片量的層次容量被分配給除了級別最低的層次O和級別最高的層次3之外的各個中間層次。然后，存儲器控制部1200從幀間預(yù)測部1111取得包含于動態(tài)圖像信號中的圖片的層次信息。并且，在該層次信息表示層次O的情況下，存儲器控制部1200將該圖片存儲在存儲器1109中的分配給層次O的層次容量的區(qū)域中。并且，在該層次信息表示層次I或者層次2的情況下，存儲器控制部1200將該圖片存儲在存儲器1109中的分配給層次I或者層次2的層次容量的區(qū)域中。這樣，在本實施方式中，對被其它圖片參照的可能性較大的圖片所屬的級別較低的層次分配較多的層次容量，對被其它圖片參照的可能性較小的圖片所屬的級別較高的層次分配較少的存儲器容量。因此，能夠?qū)⑦M(jìn)行編碼及解碼所需要的參照圖片可靠地保持存儲在存儲器1109中，而且不需增大存儲器1109的存儲器容量或者不需適用MMC0。另外，層次容量的分配方法不限于圖5所示的示例。存儲器控制部1200也可以對級別較低的層次分配較多的層次容量，例如可以對層次O分配3張圖片量的層次容量，對其它的層次I和層次2整體分配I張圖片量的層次容量。圖6是表示本實施方式`的圖像編碼裝置1000的處理的流程圖。圖像編碼裝置1000的幀間預(yù)測部1111將屬于第2層次的圖像作為針對編碼對象圖像的參照圖像進(jìn)行參照，該第2層次處于根據(jù)編碼對象圖像所屬的第I層次而限制的范圍內(nèi)(步驟S10)。并且，圖像編碼裝置1000根據(jù)參照圖像對編碼對象圖像進(jìn)行編碼(步驟SID0另外，在本實施方式中，幀間預(yù)測部1111構(gòu)成為參照參照圖像的參照部(第I參照部)。并且，圖像編碼裝置1000具有的至少一個構(gòu)成要素構(gòu)成為對編碼對象圖像進(jìn)行編碼的編碼部。因此，在進(jìn)行編碼對象圖像的編碼時參照的參照圖像所屬的層次，處于根據(jù)該編碼對象圖像所屬的第I層次而限制的范圍內(nèi)。因此，由于在進(jìn)行編碼對象圖像的編碼時參照的參照圖像被根據(jù)第I層次進(jìn)行限制，因而能夠減輕該編碼的處理負(fù)擔(dān)。另外，在對這樣進(jìn)行編碼后的圖像進(jìn)行解碼時，由于參照圖像被限制，因而能夠減輕該解碼的處理負(fù)擔(dān)。在此，當(dāng)幀間預(yù)測部1111在步驟SlO參照參照圖像時，禁止參照屬于第I層次之上的層次的圖像，將屬于處于被限制為所述第I層次以下的范圍內(nèi)的第2層次的圖像作為參照圖像進(jìn)行參照。因此，由于禁止參照屬于編碼對象圖像所屬的第I層次之上的層次的圖像，因而能夠以較少的處理負(fù)擔(dān)對編碼對象圖像進(jìn)行編碼。同樣，在對被編碼后的圖像進(jìn)行解碼時，由于不需要參照屬于該被編碼后的圖像所屬的層次之上的層次的圖像，因而能夠以較少的處理負(fù)擔(dān)對該被編碼后的圖像進(jìn)行解碼。并且，在包含于動態(tài)圖像信號中的多個圖像分別被作為編碼對象圖像來對該動態(tài)圖像信號進(jìn)行編碼的情況下，即使在對包含于被編碼后的動態(tài)圖像信號中的某圖像進(jìn)行解碼時，也不需要參照屬于該圖像所屬的層次之上的層次的圖像。因此，圖像解碼裝置僅對屬于被作為特殊再現(xiàn)(高速再現(xiàn))的對象的層次的圖像進(jìn)行解碼即可，能夠節(jié)省特意對屬于被作為特殊再現(xiàn)的對象的層次之上的層次的圖像進(jìn)行解碼并參照的工夫。例如，在被作為N倍速再現(xiàn)(N>2)等特殊再現(xiàn)的對象的層次是處于最下位的最下位層次O的情況下，圖像解碼裝置不需要特意對處于該最下位層次O之上的層次1、層次2和層次3的不被作為再現(xiàn)的對象的圖像進(jìn)行解碼并參照，僅對屬于最下位層次O的各個圖像進(jìn)行解碼即可。另外，多個圖像分別是圖片或者條帶。圖7是表示本實施方式的圖像編碼裝置1000利用標(biāo)志時的處理的流程圖。圖像編碼裝置1000的幀間預(yù)測部1111生成表示是否對在進(jìn)行編碼對象圖像的編碼時參照的參照圖像的選擇附加限制的標(biāo)志(步驟S20)。然后，在標(biāo)志表示附加限制的情況下，幀間預(yù)測部1111選擇滿足根據(jù)編碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對編碼對象圖像的參照圖像(步驟S21)。然后，圖像編碼裝置1000參照所選擇的參照圖像對編碼對象圖像進(jìn)行編碼(步驟S22)。并且，圖像編碼裝置1000的熵編碼部1104將該標(biāo)志包含在被編碼后的動態(tài)圖像信號即編碼流中(步驟S23)。另外，在本實施方式中，幀間預(yù)測部1111構(gòu)成為生成標(biāo)志的標(biāo)志生成部，并且構(gòu)成為選擇參照圖像的選擇部。并且，圖像編碼裝置1000具有的至少一個構(gòu)成要素構(gòu)成為對編碼對象圖像進(jìn)行編碼的編碼部。并且，熵編碼部1104構(gòu)成為將標(biāo)志包含在編碼流中的插入部。因此，在利用標(biāo)志來表示附加限制的情況下，滿足根據(jù)編碼對象圖像所屬的第I層次而限制的條件的圖像被選擇為參照圖像。即，根據(jù)第I層次來限制在進(jìn)行編碼對象圖像的編碼時參照的參照圖像。其結(jié)果是，能夠減輕編碼對象圖像的編碼的處理負(fù)擔(dān)。并且，由于生成表示是否對參照圖像的選擇附加限制的標(biāo)志、并使其包含在編碼流中，因而對該編碼流進(jìn)行解碼的圖像解碼裝 置能夠容易根據(jù)該標(biāo)志來掌握參照圖像的選擇是否被附加限制。其結(jié)果是，圖像解碼裝置能夠適當(dāng)以較少的處理負(fù)擔(dān)對該被編碼后的動態(tài)圖像信號進(jìn)行解碼。圖8是表示本實施方式的圖像編碼裝置1000的具體處理的流程圖。首先，圖像編碼裝置1000取得被編碼的動態(tài)圖像信號(S100)。然后，圖像編碼裝置1000將所取得的包含于動態(tài)圖像信號中的圖片分層次
(5101)0并且，圖像編碼裝置1000按照基于圖片的層次構(gòu)造的限制對圖片進(jìn)行編碼
(5102)。然后，圖像編碼裝置1000輸出包括被編碼后的圖片、該圖片的層次信息、和標(biāo)志的編碼流(S103)。圖9是本發(fā)明的實施方式的圖像解碼裝置的塊圖。本實施方式的圖像解碼裝置2000是對由圖像編碼裝置1000生成的編碼流適當(dāng)進(jìn)行解碼的裝置，具有熵解碼部2101、逆量化部2102、逆正交變換部2103、加法器2104、解塊濾波器2105、存儲器2106、面內(nèi)預(yù)測部2107、幀間預(yù)測部2108、開關(guān)2109和存儲器控制部2200。熵解碼部2101取得編碼流，并對該編碼流進(jìn)行熵解碼(可變長解碼)。即，熵解碼部2101通過該熵解碼，生成被量化后的系數(shù)塊、運(yùn)動向量、標(biāo)志、和層次信息。逆量化部2102對通過熵解碼部2101的熵解碼而生成的被量化后的系數(shù)塊進(jìn)行逆量化。逆正交變換部2103對該被逆量化后的系數(shù)塊中包含的各個頻率系數(shù)進(jìn)行逆離散余弦變換等逆正交變換(逆頻率變換)，由此生成解碼差分圖像。加法器2104從開關(guān)2109取得預(yù)測圖像，將該預(yù)測圖像和由逆正交變換部2103生成的解碼差分圖像相加，由此生成解碼圖像(重建圖像)。解塊濾波器2105將由加法器2104生成的解碼圖像的塊變形去除后，將該解碼圖像存儲在存儲器2106中，并且輸出該解碼圖像。面內(nèi)預(yù)測部2107使用由加法器2104生成的解碼圖像，對解碼對象塊進(jìn)行幀內(nèi)預(yù)測，由此生成預(yù)測圖像(幀內(nèi)預(yù)測圖像)。幀間預(yù)測部2108將存儲在存儲器2106中的圖像作為參照圖像進(jìn)行參照，并且使用通過熵解碼部2101的熵解碼而生成的運(yùn)動向量，對解碼對象塊進(jìn)行運(yùn)動補(bǔ)償。幀間預(yù)測部2108通過進(jìn)行這種運(yùn)動補(bǔ)償，即通過對解碼對象塊進(jìn)行幀間預(yù)測，生成解碼對象塊的預(yù)測圖像(巾貞間預(yù)測圖像)。在此，該幀間預(yù)測部2108與圖像編碼裝置1000的幀間預(yù)測部1111相同地對參照圖像的選擇附加限制。即，幀間預(yù)測部2108將屬于第2層次的圖片作為針對解碼對象圖片的參照圖片進(jìn)行參照，該第2層次處于根據(jù)解碼對象圖片所屬的第I層次而限制的范圍內(nèi)。具體地講，幀間預(yù)測部2108禁止參照屬于第I層次之上(較高的級別)的層次的圖片，將屬于處于被限制為第I層次以下的 范圍內(nèi)的第2層次的圖片作為參照圖片進(jìn)行參照。并且，幀間預(yù)測部2108生成表示編碼流中包含的多個圖片中屬于第I層次以下的層次的至少一個圖片的參照列表，在該參照列表中不表示編碼流中包含的多個圖片中分別屬于第I層次之上的所有層次的所有圖片。并且，幀間預(yù)測部2108在參照參照圖片時，從在該參照列表中示出的至少一個圖片中選擇參照圖片。并且，幀間預(yù)測部2108取得上述的標(biāo)志。在此，在該標(biāo)志表示附加限制的情況下，幀間預(yù)測部2108選擇滿足根據(jù)解碼對象圖片所屬的第I層次而限制的條件的圖片，作為針對解碼對象圖片的參照圖片。例如，幀間預(yù)測部2108與圖像編碼裝置1000的幀間預(yù)測部1111相同地，使用基準(zhǔn)圖片來選擇參照圖片。并且，幀間預(yù)測部2108參照所選擇的該參照圖片對解碼對象圖片進(jìn)行解碼。在解碼對象塊被實施幀內(nèi)預(yù)測編碼的情況下，開關(guān)2109將由面內(nèi)預(yù)測部2107生成的預(yù)測圖像(幀內(nèi)預(yù)測圖像)輸出給加法器2104。另一方面，在解碼對象塊被實施幀間預(yù)測編碼的情況下，開關(guān)2109將由幀間預(yù)測部2108生成的預(yù)測圖像(幀間預(yù)測圖像)輸出給加法器2104。存儲器控制部2200從熵解碼部2101取得各個圖片的層次信息，并與圖像編碼裝置1000的存儲器控制部1200相同地，根據(jù)利用這些層次信息示出的各個圖片的層次、即根據(jù)層次構(gòu)造，分別管理被存儲在存儲器2106中的多個圖片。圖10是表示本實施方式的圖像解碼裝置2000的處理的流程圖。圖像解碼裝置2000的幀間預(yù)測部2108將屬于第2層次的圖像作為針對解碼對象圖像的參照圖像進(jìn)行參照，該第2層次處于根據(jù)解碼對象圖像所屬的第I層次而限制的范圍內(nèi)(步驟S30)。并且，圖像解碼裝置2000根據(jù)參照圖像對解碼對象圖像進(jìn)行解碼(步驟S31)。另外，在本實施方式中，幀間預(yù)測部2108構(gòu)成為參照參照圖像的參照部(第2參照部)。并且，圖像解碼裝置2000具有的至少一個構(gòu)成要素構(gòu)成為對解碼對象圖像進(jìn)行解碼的解碼部。并且，圖像是圖片或者條帶等。例如，幀間預(yù)測部2108生成表示編碼流中包含的多個圖像中屬于第I層次以下的層次的至少一個圖像的參照列表，在該參照列表中不表示編碼流中包含的多個圖像中分別屬于第I層次之上的所有層次的所有圖像。并且，幀間預(yù)測部2108當(dāng)在步驟S30參照參照圖像時，從在該參照列表中示出的至少一個圖像中選擇參照圖像。因此，在進(jìn)行解碼對象圖像的解碼時參照的參照圖像所屬的層次，處于根據(jù)該解碼對象圖像所屬的第I層次而限制的范圍內(nèi)。因此，由于在進(jìn)行解碼對象圖像的解碼時參照的參照圖像被根據(jù)第I層次進(jìn)行限制，因而能夠減輕該解碼的處理負(fù)擔(dān)。圖11是表示本實施方式的圖像解碼裝置2000利用標(biāo)志時的處理的流程圖。圖像解碼裝置2000的幀間預(yù)測部2108從編碼流取得標(biāo)志(步驟S40)，該標(biāo)志表示是否對在進(jìn)行包含于編碼流中的多個圖像中的某一個圖像即解碼對象圖像的解碼時參照的參照圖像的選擇附加限制。然后，在該標(biāo)志表示附加限制的情況下，幀間預(yù)測部2108選擇滿足根據(jù)解碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對解碼對象圖像的參照圖像(步驟S41)。然后，圖像解碼裝置2000參照所選擇的參照圖像對解碼對象圖像進(jìn)行解碼(步驟S42)。另外，在本實施方式中，幀間預(yù)測部2108構(gòu)成為取得該標(biāo)志的標(biāo)志取得部，并且構(gòu)成為選擇參照圖像的選擇部。因此，在利用標(biāo)志來表示附加限制的情況下，滿足根據(jù)解碼對象圖像所屬的第I層次而限制的條件的圖像被選擇為參照圖像。即，根據(jù)第I層次來限制在進(jìn)行解碼對象圖像的解碼時參照的參照圖像。其結(jié)果是，能夠減輕解碼對象圖像的解碼的處理負(fù)擔(dān)。圖12是表示本實施方式的存儲器管理方法的流程圖。圖像解碼裝置2000 的存儲器控制部2200將存儲對象圖像存儲在存儲器2106內(nèi)的區(qū)域中(步驟S50)，該區(qū)域被限制為針對編碼流中包含的多個圖像中的該存儲對象圖像所屬的層次而分配的容量即層次容量。即，存儲器控制部2200對于每個層次，將存儲器2106內(nèi)的能夠使用的存儲器容量中的一部分容量作為層次容量分配給該層次。另外，在本實施方式中，存儲器控制部2200構(gòu)成為存儲器管理裝置，并具有存儲上述的存儲對象圖像的存儲控制部。例如，存在這樣的情況，即被長時間地參照的長時間參照圖像屬于另一個層次，該長時間參照圖像被存儲在另一個區(qū)域中。在這種情況下，如果存儲對象圖像被存儲在另一個區(qū)域中，有時會導(dǎo)致該長時間參照圖像被從存儲器2106中刪除。因此，在長時間參照圖像被從存儲器2106中刪除后，為了參照該長時間參照圖像，需要再次對該長時間參照圖像進(jìn)行解碼等處理。因此，在本實施方式的存儲器管理方法中，存儲對象圖像被存儲在存儲器內(nèi)的如下區(qū)域中，該區(qū)域被限制為針對該存儲對象圖像所屬的層次而分配的層次容量，因而能夠防止長時間參照圖像被從存儲器2106中刪除。即，能夠可靠地在存儲器2106中保持存儲所需的參照圖像。其結(jié)果是，能夠節(jié)省再次對該長時間參照圖像進(jìn)行解碼等多余的處理。并且，由于將必要的參照圖像可靠地保持存儲在存儲器2106中，因而能夠省去逐次適用用于指示刪除不要的圖像的存儲器管理命令等的處理負(fù)擔(dān)。另外，存儲器控制部2200在存儲存儲對象圖像時，在上述的區(qū)域中沒有用于存儲存儲對象圖像的容量的情況下，將已經(jīng)存儲在該區(qū)域中的至少一個已有圖像中被最早存儲的已有圖像從該區(qū)域中刪除，再存儲存儲對象圖像。在此，在本實施方式中，在對包含于動態(tài)圖像信號(編碼流)中的多個圖像中的處理對象圖像進(jìn)行編碼或者解碼時參照的圖像即參照圖像所屬的層次，被限制為該處理對象圖像所屬的層次以下的層次。在這種情況下，存儲器控制部2200在對每個層次分配層次容量時，針對多個層次中處于最下位的最下位層次0，分配比對處于最下位層次O之上的上位層次分配的層次容量大的層次容量。因此，由于參照圖像所屬的層次被限制為處理對象圖像所屬的層次以下的層次，因而屬于最下位層次O的圖像被長時間參照的可能性比屬于上位層次的圖像增大。因此，在本實施方式的存儲器管理方法中，由于對最下位層次O分配比對上位層次分配的層次容量大的層次容量，因而能夠?qū)儆谧钕挛粚哟蜲的圖像長時間地存儲在存儲器中。其結(jié)果是，在屬于最下位層次O的圖像被參照時，能夠防止該圖像被從存儲器2106中刪除而使得不能參照該圖像。另外，存儲器控制 部2200對被存儲在存儲器2106中的多個圖像中、屬于被作為解碼的對象的解碼對象圖像所屬的層次之上的層次的圖像標(biāo)記屬性。例如，存儲器控制部2200標(biāo)記表示是不被用于參照的圖像的屬性。因此，由于對圖像標(biāo)記屬性，因而能夠容易確定不被用于參照的不要的圖像，能夠優(yōu)先將該圖像從存儲器2106中刪除。其結(jié)果是，能夠有效利用存儲器2106的容量。圖13是表示本實施方式的圖像解碼裝置2000的具體處理的流程圖。首先，圖像解碼裝置2000從編碼流取得I比特的標(biāo)志，并判別該標(biāo)志是否表示I(步驟 S201)。在此，圖像解碼裝置2000如果判別為標(biāo)志不表示I (步驟S201 :否)，則取得與該標(biāo)志對應(yīng)的解碼對象圖片(步驟S202)，利用通常的方法(例如依據(jù)于H. 264標(biāo)準(zhǔn)規(guī)格的幀間預(yù)測或者幀內(nèi)預(yù)測)，對該解碼對象圖片進(jìn)行解碼(步驟S203)。另一方面，圖像解碼裝置2000如果判別為標(biāo)志表示I (步驟S201 :是)，則取得與該標(biāo)志對應(yīng)的解碼對象圖片(步驟S204)，并判別該解碼對象圖片是否是通過幀間預(yù)測而被解碼的圖片(步驟S205)。在此，圖像解碼裝置2000如果判別為解碼對象圖片不是通過幀間預(yù)測而被解碼的圖片(步驟S205 :否)，則通過幀內(nèi)預(yù)測對解碼對象圖片進(jìn)行解碼(步驟S206)。另一方面，圖像解碼裝置2000如果判別為解碼對象圖片是通過幀間預(yù)測而被解碼的圖片(步驟S205 :是)，則取得該解碼對象圖片的層次信息(步驟S207)。并且，圖像解碼裝置2000的幀間預(yù)測部2108確定屬于級別比利用該層次信息表示的層次高的層次的圖片(步驟S208)。然后，幀間預(yù)測部2108使用被存儲在存儲器2106中的圖片中除確定出的圖片以外的圖片，構(gòu)建解碼對象圖片的參照列表(L0、L1)(步驟S209)。另外，圖像解碼裝置2000的存儲器控制部2200針對被存儲在存儲器2106中的通過步驟S208被確定出的圖片，標(biāo)記表示“不用于參照”的屬性(步驟S210)。并且，幀間預(yù)測部2108通過使用了在步驟S209構(gòu)建的參照列表所表示的參照圖片的幀間預(yù)測，對解碼對象圖片進(jìn)行解碼(步驟S211)。在此，在步驟S210，存儲器控制部2200針對被存儲在存儲器2106中的圖片(參照圖片)中、屬于級別比利用層次信息表示的層次高的層次的所有參照圖片，標(biāo)記屬性“不用于參照”。因此，圖像解碼裝置2000能夠預(yù)先掌握到在編碼流中附加有制約條件，該制約條件表示不認(rèn)可對屬于級別比解碼對象圖片的層次高的層次的圖片的參照。這樣，在本實施方式中，根據(jù)與通常的FIFO管理及基于MMCO的適應(yīng)性存儲器控制不同的第3方法(基于層次構(gòu)造的方法)，能夠?qū)Υ_實不被用于參照的參照圖片標(biāo)記屬性“不用于參照”。由此，如果該參照圖片被輸出(顯示)，則能夠自然地從存儲器2106中刪除該參照圖片。并且，圖像解碼裝置2000在步驟S209的參照列表的構(gòu)建(參照列表初始化時的重排處理)中，將級別比解碼對象圖片的層次高的層次的參照圖片從參照列表中去除，并生成或者更新解碼對象圖片(或者解碼對象條帶)的參照列表。由此，能夠使參照列表的構(gòu)建進(jìn)程容易進(jìn)行。(變形例)另外，在本實施方式中，也可以進(jìn)行如圖14、圖15和圖16所示的圖片的參照及存
儲器管理。圖14是表示本變形例的參照構(gòu)造的圖。另外，在圖14中，圖片附帶的字母、數(shù)字及括號內(nèi)的數(shù)字分別表示圖片類型、圖片的顯示順序和圖片的編碼順序。IO (O)表示圖片類型“I”、圖片的顯示順序“O”和圖片的編碼順序“0”，Br2 (3)表示圖片類型“B”、圖片的顯示順序“ 2 ”和圖片的編碼順序“ 3 ”。例如，在本變形例的參照構(gòu)造中，如圖14中的實線箭頭(f :forward)所示，在進(jìn)行屬于級別最低的層次O的B圖片即圖片BfS (I)和圖片Bfl6 (9)的編碼及解碼時，分別參照在顯示順序中位于前面的圖片。并且，如圖14中的實線箭頭(r :rear)所示，在進(jìn)行屬于級別比該層次O高、而 且比級別最高的層次3低的層次的圖片、例如屬于層次2的圖片Br2
(3)等的編碼及解碼時，參照在顯示順序中位于后面的圖片。這樣，本變形例的圖像編碼裝置1000和圖像解碼裝置2000在對B圖片進(jìn)行編碼或者解碼時，也可以僅將在顯示順序中位于從該B圖片起的單一方向(前方或者后方)上的圖片，作為參照圖片進(jìn)行參照。在這種情況下，圖像編碼裝置1000也可以將表示是否將參照僅限制于單一方向的單向標(biāo)志包含在編碼流中。在此，該單向標(biāo)志在層次O中表示是否只能參照前方的圖片而不能參照后方的圖片，在層次I和層次2中表示是否只能參照后方的圖片而不能參照前方的圖片。這樣，單向標(biāo)志表示是否按照層次構(gòu)造的觀點來限制參照。并且，圖像編碼裝置1000按照編碼流內(nèi)的序列等的每個規(guī)定單位，將這種單向標(biāo)志包含在編碼流中。圖像解碼裝置2000取得包含于編碼流中的單向標(biāo)志，在該單向標(biāo)志表示限制參照的情況下，僅參照與解碼對象圖片的層次對應(yīng)的單一方向(前方或者后方)上的圖片，對解碼對象圖片進(jìn)行解碼。另外，在單向標(biāo)志表示限制參照的情況下，如果能夠利用單一方向以外的其它方向上的圖片，如圖14中的虛線箭頭(opt option)所示，圖像解碼裝置2000也可以參照單一方向以外的其它方向上的圖片。并且，圖像編碼裝置1000也可以利用圖片類型來表示單一方向上的圖片。在這種情況下，圖像編碼裝置1000將該圖片類型包含在編碼流中，圖像解碼裝置2000根據(jù)包含于編碼流中的該圖片類型，將單一方向上的圖片作為參照圖片進(jìn)行參照。并且，在層次信息包含在編碼流中的情況下，圖像解碼裝置2000根據(jù)該層次信息將存儲器2106釋放。圖15是表示本變形例的存儲器管理方法的一例的流程圖。圖像解碼裝置2000在對圖14所示的參照構(gòu)造的編碼流進(jìn)行I倍速再現(xiàn)(通常再現(xiàn))的情況下，對屬于各個層次O、層次1、層次2、層次3的圖片進(jìn)行解碼。此時，圖像解碼裝置2000在對屬于各個層次O、層次1、層次2的圖片進(jìn)行解碼后，將這些圖片作為參照圖片存儲在存儲器2106中。另一方面，圖像解碼裝置2000即使在對屬于層次3的圖片進(jìn)行解碼時，也不將這些圖片作為參照圖片存儲在存儲器2106中?；蛘?，即使是屬于層次3的圖片被存儲在存儲器2106中，也在存儲該圖片的同時，由存儲器控制部2200對該圖片標(biāo)記屬性“不用于參照”。圖16是表示本變形例的存儲器管理方法的另一個示例的流程圖。圖像解碼裝置2000在對圖14所示的參照構(gòu)造的編碼流進(jìn)行快進(jìn)再現(xiàn)的情況下，對屬于層次3以外的各個層次O、層次1、層次2的圖片進(jìn)行解碼。S卩，圖片Brl (4)、Br3
(5)、Br5 (7)、Br7 (8)的解碼或者再現(xiàn)被跳過。此時，圖像解碼裝置2000在對屬于各個層次O、層次I的圖片進(jìn)行解碼后，將這些圖片作為參照圖片存儲在存儲器2106中。另一方面，圖像解碼裝置2000即使在對屬于層次2的圖片進(jìn)行解碼時，也不將該圖片作為參照圖片存儲在存儲器2106中?；蛘撸词箤儆趯哟?的圖片被存儲在存儲器2106中，也在存儲該圖片的同時，由存儲器控制部2200對該圖片標(biāo)記屬性“不用于參照”。即使是這樣的本變形例涉及的圖片的參照方法和存儲器管理方法，也能夠減輕編碼或者解碼的處理負(fù)擔(dān)。 (實施方式2)通過將用來實現(xiàn)上述實施方式所示的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵?dú)立的計算機(jī)系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲器等，只要是能夠記錄程序的介質(zhì)就可以。進(jìn)而，這里說明在上述各實施方式中示出的動態(tài)圖像編碼方法(圖像編碼方法)及動態(tài)圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當(dāng)變更。圖17是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話網(wǎng)exl04、及基站 exl07 exllO 連接著計算機(jī) exlll、PDA (Personal Digital Assistant)exll2、照相機(jī)exll3、便攜電話exll4、游戲機(jī)exll5等的各設(shè)備。但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖17那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl07 exllO將各設(shè)備直接連接在電話網(wǎng)exl04上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。照相機(jī)exll3是能夠進(jìn)行數(shù)字?jǐn)z像機(jī)等的動態(tài)圖像攝影的設(shè)備，照相機(jī)exll6是能夠進(jìn)行數(shù)字照相機(jī)等的靜止圖像攝影、動態(tài)圖像攝影的設(shè)備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機(jī)、或 PHS(Personal Handyphone System)等，是哪種都可以。在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機(jī)exl 13等經(jīng)由基站exl09、電話網(wǎng)exl04連接在流媒體服務(wù)器exl03上，能夠進(jìn)行現(xiàn)場分發(fā)等。在現(xiàn)場分發(fā)中，對用戶使用照相機(jī)exll3攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進(jìn)行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進(jìn)行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機(jī)exlll、PDAexll2、照相機(jī)exll3、便攜電話exll4、游戲機(jī)exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機(jī)exll3進(jìn)行，也可以由進(jìn)行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進(jìn)行，也可以由流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。此外，并不限于照相機(jī)exll3，也可以將由照相機(jī)exll6攝影的靜止圖像及/或動態(tài)圖像數(shù)據(jù)經(jīng)由計算機(jī)exlll向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機(jī)exll6、計算機(jī)exlll、流媒體服務(wù)器exl03的哪個進(jìn)行都可以，也可以相互分擔(dān)進(jìn)行。此外，這些編碼解碼處理一般在計算機(jī)exlll或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將動態(tài)圖像編碼解碼用的軟件裝入到能夠由計算機(jī)exlll等讀取的某些記錄介質(zhì)(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進(jìn)行編碼解碼處理。進(jìn)而，在便攜電話exl 14是帶有照相機(jī)的情況下，也可以將由該照相機(jī)取得的動態(tài)圖像數(shù)據(jù)發(fā)送。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。此外，也可以是， 流媒體服務(wù)器exl03是多個服務(wù)器或多個計算機(jī)，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人廣播。另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖18所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少動態(tài)圖像編碼裝置(圖像編碼裝置)或動態(tài)圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的動態(tài)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM(jìn)行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB) ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(S卩，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。此外，可以在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機(jī)頂盒ex217內(nèi)安裝動態(tài)圖像解碼裝置，將其用電視機(jī)的監(jiān)視器ex219顯示。此時，也可以不是在機(jī)頂盒、而在電視機(jī)內(nèi)裝入動態(tài)圖像解碼裝置。圖19是表示使用在上述各實施方式中說明的動態(tài)圖像解碼方法及動態(tài)圖像編碼方法的電視機(jī)(接收機(jī))ex300的圖。電視機(jī)ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿縠x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。此外，電視機(jī)eX300具備具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚(yáng)聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進(jìn)而，電視機(jī)eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進(jìn)而，電視機(jī)ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲元件電氣地進(jìn)行信息的記錄的結(jié)構(gòu)。電視機(jī)ex300的各部經(jīng)由同步總線相互連接。首先，對電視 機(jī)ex300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進(jìn)而，電視機(jī)ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機(jī)ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對電視機(jī)ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進(jìn)而，在圖示以外，也可以在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。此外，電視機(jī)ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機(jī)的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進(jìn)行編碼處理。另夕卜，這里，將電視機(jī)ex300作為能夠進(jìn)行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進(jìn)行了說明，但也可以不能進(jìn)行這些處理，而是僅能夠進(jìn)行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機(jī)ex300、讀取器/記錄器ex218的哪個進(jìn)行都可以，也可以是電視機(jī)ex300和讀取器/記錄器ex218相互分擔(dān)進(jìn)行。作為一例，將從光盤進(jìn)行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖20中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進(jìn)行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達(dá)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406 —邊控制盤馬達(dá)ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進(jìn)行激光斑的追蹤處理。系統(tǒng)控制部ex407進(jìn)行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進(jìn)行新的信息的生成、追力口、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進(jìn)行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。以上，假設(shè)光頭ex401照射激光斑而進(jìn)行了說明，但也可以是使用接近場光進(jìn)行高密度的記錄的結(jié)構(gòu)。`在圖21中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進(jìn)行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的確定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進(jìn)行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。以上，舉I層次的DVD、BD等的光盤為例進(jìn)行了說明，但并不限定于這些，也可以是多層次構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層次等、進(jìn)行多維的記錄/再現(xiàn)的構(gòu)造的光盤。
此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)動態(tài)圖像。另外，導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖19所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機(jī)exlll及便攜電話exll4等中也可以考慮同樣的結(jié)構(gòu)。圖22A是表示使用在上述實施方式中說明的動態(tài)圖像解碼方法和動態(tài)圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機(jī)部ex365、顯示將由照相機(jī)部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進(jìn)行聲音輸出的揚(yáng)聲器等的聲音輸出部ex357、用來進(jìn)行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。進(jìn)而，使用圖22B對便攜電話exl 14的結(jié)構(gòu)例進(jìn)行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機(jī)接口部ex363、LCD (LiquidCrystal Display :液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態(tài)。便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex35 6集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進(jìn)行波譜逆擴(kuò)散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。進(jìn)而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350o在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機(jī)部ex365供給的影像信號通過上述各實施方式所示的動態(tài)圖像編碼方法進(jìn)行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號處理部ex354對通過照相機(jī)部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進(jìn)行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。復(fù)用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進(jìn)行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。在數(shù)據(jù)通信模式時接收到鏈接到主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的動態(tài)圖像編碼方法相對應(yīng)的動態(tài)圖像解碼方法進(jìn)行解碼，由此對影像信號進(jìn)行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的動態(tài)圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進(jìn)行解碼,從聲音輸出部ex357輸出聲音。此外，上述便攜電話exll4等的終端與電視機(jī)ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進(jìn)行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。這樣，將在上述各實施方式中表示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進(jìn)行各種變形或修正。

(實施方式3)也可以通過將在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、與依據(jù)MPEG - 2、MPEG4 — AVC,VC 一 I等不同的規(guī)格的動態(tài)圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換,來生成影像數(shù)據(jù)。這里，在生成分別依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應(yīng)于各個規(guī)格的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個規(guī)格，所以產(chǎn)生不能選擇適當(dāng)?shù)慕獯a方法的問題。為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個規(guī)格的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG - 2傳輸流形式的數(shù)字流。圖23是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖23所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進(jìn)行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 I等規(guī)格的動態(tài)圖像編碼方法或裝置編碼。音頻流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。包含在復(fù)用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。圖24是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到I條流中而構(gòu)成。圖25更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖25的第I段表示視頻流的視頻巾貞序列。第2段表示PES包序列。如圖25的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各 PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp) 圖26表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header,構(gòu)成192字節(jié)的源包,寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復(fù)用數(shù)據(jù)中，源包如圖26下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN (源包號)。此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該P(yáng)CR包被轉(zhuǎn)送至解碼器的ATS對應(yīng)的STC時間的信息。圖27是詳細(xì)地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該P(yáng)MT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。復(fù)用數(shù)據(jù)信息文件如圖28所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對一地對應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。
復(fù)用數(shù)據(jù)信息如圖28所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設(shè)定為對復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。流屬性信息如圖29所示，按每個PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應(yīng)于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。在本實施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態(tài)圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他規(guī)格的影像數(shù)據(jù)。此外，在圖30中表示本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exSlOO中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的動態(tài)圖像解碼方法進(jìn)行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的規(guī)格的復(fù)用數(shù)據(jù)的情況下 ，在步驟exS103中，通過依據(jù)以往的規(guī)格的動態(tài)圖像解碼方法進(jìn)行解碼。這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的動態(tài)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的規(guī)格的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進(jìn)行解碼。此外，將在本實施方式中示出的動態(tài)圖像編碼方法或裝置、或者動態(tài)圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。(實施方式4)在上述各實施方式中示出的動態(tài)圖像編碼方法及裝置、動態(tài)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖31中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。例如在進(jìn)行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風(fēng)exl 17及照相機(jī)exl 13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)胤譃槎啻蔚?，向信號處理部ex507發(fā)送，在信號處理部ex507中進(jìn)行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進(jìn)行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。另外，在上述中，設(shè)存儲器ex511為LSIex500的外部的結(jié)構(gòu)進(jìn)行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等,但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如,也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進(jìn)一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。另外，這里設(shè)為LSI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(super)LS1、特級(ultra)LSI的情況。此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進(jìn)行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。

(實施方式5)在將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等規(guī)格的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的規(guī)格的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設(shè)得高，則發(fā)生消耗電力變高的問題。為了解決該問題，電視機(jī)ex300、LSIex500等的動態(tài)圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個規(guī)格、并根據(jù)規(guī)格切換驅(qū)動頻率的結(jié)構(gòu)。圖32表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設(shè)定得高。并且，對執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的規(guī)格的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設(shè)定得低。并且，對依據(jù)以往的規(guī)格的解碼處理部ex802指示將影像數(shù)據(jù)解碼。更具體地講，驅(qū)動頻率切換部ex803由圖31的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的規(guī)格的解碼處理部ex802對應(yīng)于圖31的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個規(guī)格。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式3中記載的識別信息。關(guān)于識別信息，并不限定于在實施方式3中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個規(guī)格的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機(jī)還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個規(guī)格的情況下，也可以基于這樣的外部信號進(jìn)行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖34所示的將影像數(shù)據(jù)的規(guī)格與驅(qū)動頻率建立對應(yīng)的查找表進(jìn)行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。圖33表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復(fù)用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得高的信號。并且，在驅(qū)動頻率控制部ex512中設(shè)定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的規(guī)格的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。進(jìn)而，通過與驅(qū)動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進(jìn)一步提高節(jié)電效果。例如，在將驅(qū)動頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設(shè)定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。 此外，驅(qū)動頻率的設(shè)定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設(shè)定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4 — AVC規(guī)格的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進(jìn)行驅(qū)動頻率的設(shè)定。進(jìn)而，驅(qū)動頻率的設(shè)定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的規(guī)格的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的規(guī)格的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的規(guī)格的影像數(shù)據(jù)的情況相比，將停止時間設(shè)定得短。這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的規(guī)格來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。(實施方式6)在電視機(jī)、便攜電話等上述的設(shè)備、系統(tǒng)中，有時被輸入依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應(yīng)于多個規(guī)格。但是，如果單獨(dú)使用對應(yīng)于各個規(guī)格的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的規(guī)格的解碼處理部一部分共用的結(jié)構(gòu)。圖35A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的動態(tài)圖像解碼方法和依據(jù)MPEG4 - AVC規(guī)格的動態(tài)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運(yùn)動補(bǔ)償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通?？梢钥紤]如下結(jié)構(gòu)關(guān)于共通的處理內(nèi)容，共用對應(yīng)于MPEG4 - AVC規(guī)格的解碼處理部ex902，關(guān)于不對應(yīng)于MPEG4 — AVC規(guī)格的本發(fā)明特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu)關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部，關(guān)于MPEG4 - AVC規(guī)格所特有的處理內(nèi)容，使用專用的解碼處理部。此外,用圖35B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exlOOl、和與其他的以往規(guī)格所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exl002、和與在本發(fā)明的一個方式的動態(tài)圖像解碼方法和其他的以往規(guī)格的動 態(tài)圖像解碼方法中共通的處理內(nèi)容對應(yīng)的共用的解碼處理部exl003的結(jié)構(gòu)。這里,專用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個方式、或者其他的以往規(guī)格所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIeX500安裝本實施方式的結(jié)構(gòu)。這樣，對于在本發(fā)明的一個方式的動態(tài)圖像解碼方法和以往的規(guī)格的動態(tài)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。產(chǎn)業(yè)上的可利用性本發(fā)明涉及的圖像編碼方法及圖像解碼方法能夠發(fā)揮減輕處理負(fù)擔(dān)的效果，能夠適用于例如攝像機(jī)、具有動態(tài)圖像的拍攝及再現(xiàn)功能的便攜電話、個人電腦、或者錄制再現(xiàn)裝置等中。標(biāo)號說明1000圖像編碼裝置；1101減法器；1102正交變換部；1103量化部；1104熵編碼部；1105逆量化部；1106逆正交變換部；1107加法器；1108解塊濾波器；1109存儲器；1110面內(nèi)預(yù)測部；1111幀間預(yù)測部；1112運(yùn)動檢測部；1113開關(guān)；1200存儲器控制部；2000圖像解碼裝置；2101熵解碼部；2102逆量化部；2103逆正交變換部；2104加法器；2105解塊濾波器；2106存儲器；2107面內(nèi)預(yù)測部；2108幀間預(yù)測部；2109開關(guān)；2200存儲器控制部。
權(quán)利要求
1.一種對動態(tài)圖像信號進(jìn)行編碼的圖像編碼方法， 在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對編碼對象圖像的參照圖像進(jìn)行參照，所述編碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述編碼對象圖像所屬的第1層次而限制的范圍內(nèi)， 根據(jù)所述參照圖像對所述編碼對象圖像進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，在參照所述參照圖像時，禁止參照屬于所述第I層次之上的層次的圖像，將屬于處于被限制為所述第I層次以下的范圍內(nèi)的所述第2層次的圖像作為所述參照圖像進(jìn)行參照。
3.根據(jù)權(quán)利要求2所述的圖像編碼方法，所述多個圖像分別是圖片或者條帶。
4.一種對動態(tài)圖像信號進(jìn)行編碼的圖像編碼方法， 在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，生成表示是否對在進(jìn)行所述多個圖像中的某一個圖像即編碼對象圖像的編碼時參照的參照圖像的選擇附加限制的標(biāo)志， 在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述編碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述編碼對象圖像的參照圖像， 參照所選擇的所述參照圖像對所述編碼對象圖像進(jìn)行編碼， 使所述標(biāo)志包含在被編碼后的所述動態(tài)圖像信號中。
5.根據(jù)權(quán)利要求4所述的圖像編碼方法，在選擇所述參照圖像時，當(dāng)按照編碼順序在所述編碼對象圖像和候選圖像之間、存在屬于處于根據(jù)所述第I層次而限制的范圍內(nèi)的第2層次的基準(zhǔn)圖像的情況下，禁止選擇所述候選圖像作為所述參照圖像，而選擇所述候選圖像以外的圖像作為所述參照圖像。
6.根據(jù)權(quán)利要求5所述的圖像編碼方法，在選擇所述參照圖像時，當(dāng)存在屬于處于被限制為所述第I層次之下的范圍內(nèi)的所述第2層次的所述基準(zhǔn)圖像的情況下，禁止選擇所述候選圖像作為所述參照圖像。
7.根據(jù)權(quán)利要求5所述的圖像編碼方法，在選擇所述參照圖像時，禁止選擇按照編碼順序處于所述編碼對象圖像前面的所述候選圖像作為所述參照圖像。
8.一種對編碼動態(tài)圖像信號進(jìn)行解碼的圖像解碼方法， 在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對解碼對象圖像的參照圖像進(jìn)行參照，所述解碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述解碼對象圖像所屬的第I層次而限制的范圍內(nèi)， 根據(jù)所述參照圖像對所述解碼對象圖像進(jìn)行解碼。
9.根據(jù)權(quán)利要求8所述的圖像解碼方法，在所述圖像解碼方法中，還生成參照列表，該參照列表表示包含于所述編碼動態(tài)圖像信號中的多個圖像之中除了分別屬于所述第I層次之上的所有層次的所有圖像之外的、屬于所述第I層次以下的層次的至少一個圖像， 在參照所述參照圖像時，從在所述參照列表中示出的至少一個圖像中選擇所述參照圖像。
10.一種對編碼動態(tài)圖像信號進(jìn)行解碼的圖像解碼方法，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，從所述編碼動態(tài)圖像信號取得標(biāo)志，該標(biāo)志表示是否對在進(jìn)行所述多個圖像中的某一個圖像即解碼對象圖像的解碼時參照的參照圖像的選擇附加限制， 在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述解碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述解碼對象圖像的參照圖像， 參照所選擇的所述參照圖像對所述解碼對象圖像進(jìn)行解碼。
11.一種管理存儲器的存儲器管理方法，該存儲器存儲在進(jìn)行動態(tài)圖像信號的編碼或者解碼時參照的圖像， 在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將所述多個圖像中的存儲對象圖像存儲在所述存儲器內(nèi)的區(qū)域中，該區(qū)域被限制為對所述存儲對象圖像所屬的層次分配的容量即層次容量。
12.根據(jù)權(quán)利要求11所述的存儲器管理方法，在所述存儲器管理方法中，對于每個層次，將所述存儲器內(nèi)的可用容量中的一部分容量作為層次容量分配給該層次。
13.根據(jù)權(quán)利要求12所述的存儲器管理方法，在存儲所述存儲對象圖像時，當(dāng)在所述區(qū)域中沒有用于存儲所述存儲對象圖像的容量的情況下，將已經(jīng)存儲在所述區(qū)域中的至少一個已有圖像中被最早存儲的已有圖像從所述區(qū)域中刪除，再存儲所述存儲對象圖像。
14.根據(jù)權(quán)利要求13所述的存儲器管理方法，在對包含于所述動態(tài)圖像信號中的多個圖像中的處理對象圖像進(jìn)行編碼或者解碼時參照的圖像即參照圖像所屬的層次，被限制為所述處理對象圖像所屬的層次以下的層次， 在對所述每個層次分配所述層次容量時，針對所述多個層次中處于最下位的最下位層次，分配比對處于所述最下位層次之上的上位層次分配的層次容量大的層次容量。
15.根據(jù)權(quán)利要求11所述的存儲器管理方法，在所述存儲器管理方法中，還對被存儲在所述存儲器中的多個圖像之中、屬于被作為編碼或者解碼的對象的處理對象圖像所屬的層次之上的層次的圖像標(biāo)記屬性。
16.根據(jù)權(quán)利要求15所述的存儲器管理方法，在標(biāo)記所述屬性時，標(biāo)記表示是不被用于參照的圖像的屬性。
17.—種對動態(tài)圖像信號進(jìn)行編碼的圖像編碼裝置，該圖像編碼裝置具有 參照部，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對編碼對象圖像的參照圖像進(jìn)行參照，所述編碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述編碼對象圖像所屬的第I層次而限制的范圍內(nèi)；以及 編碼部，根據(jù)所述參照圖像對所述編碼對象圖像進(jìn)行編碼。
18.—種對動態(tài)圖像信號進(jìn)行編碼的圖像編碼裝置，該圖像編碼裝置具有 標(biāo)志生成部，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，生成表示是否對在進(jìn)行所述多個圖像中的某一個圖像即編碼對象圖像的編碼時參照的參照圖像的選擇附加限制的標(biāo)志；選擇部，在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述編碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述編碼對象圖像的參照圖像； 編碼部，參照所選擇的所述參照圖像對所述編碼對象圖像進(jìn)行編碼；以及 插入部，使所述標(biāo)志包含在被編碼后的所述動態(tài)圖像信號中。
19.一種對編碼動態(tài)圖像信號進(jìn)行解碼的圖像解碼裝置，該圖像解碼裝置具有 參照部，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對解碼對象圖像的參照圖像進(jìn)行參照，所述解碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述解碼對象圖像所屬的第I層次而限制的范圍內(nèi)；以及解碼部，根據(jù)所述參照圖像對所述解碼對象圖像進(jìn)行解碼。
20.一種對編碼動態(tài)圖像信號進(jìn)行解碼的圖像解碼裝置，該圖像解碼裝置具有 標(biāo)志取得部，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，從所述編碼動態(tài)圖像信號取得標(biāo)志，該標(biāo)志表示是否對在進(jìn)行所述多個圖像中的某一個圖像即解碼對象圖像的解碼時參照的參照圖像的選擇附加限制； 選擇部，在所述標(biāo)志表示附加限制的情況下，選擇滿足根據(jù)所述解碼對象圖像所屬的第I層次而限制的條件的圖像，作為針對所述解碼對象圖像的參照圖像；以及解碼部，參照所選擇的所述參照圖像對所述解碼對象圖像進(jìn)行解碼。
21.—種管理存儲器的存儲器管理裝置，該存儲器存儲在進(jìn)行動態(tài)圖像信號的編碼或者解碼時參照的圖像，該存儲器管理裝置具有 存儲控制部，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將所述多個圖像中的存儲對象圖像存儲在所述存儲器內(nèi)的區(qū)域中，該區(qū)域被限制為對所述存儲對象圖像所屬的層次分配的容量即層次容量。
22.—種圖像編碼解碼裝置，具有對動態(tài)圖像信號進(jìn)行編碼的圖像編碼裝置、和對由所述圖像編碼裝置生成的編碼動態(tài)圖像信號進(jìn)行解碼的圖像解碼裝置， 所述圖像編碼裝置具有 第I參照部，在以使包含于所述動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對編碼對象圖像的參照圖像進(jìn)行參照，所述編碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述編碼對象圖像所屬的第I層次而限制的范圍內(nèi)；以及編碼部，根據(jù)所述參照圖像對所述編碼對象圖像進(jìn)行編碼， 所述圖像解碼裝置具有 第2參照部，在以使包含于所述編碼動態(tài)圖像信號中的多個圖像分別屬于多個層次中的某一個層次的方式、將所述多個圖像分層次地分類的情況下，將屬于第2層次的圖像作為針對解碼對象圖像的參照圖像進(jìn)行參照，所述解碼對象圖像是所述多個圖像中的某一個圖像，所述第2層次處于根據(jù)所述解碼對象圖像所屬的第I層次而限制的范圍內(nèi)；以及解碼部，根據(jù)所述參照圖像對所述解碼對象圖像進(jìn)行解碼。
全文摘要
一種能夠減輕處理負(fù)擔(dān)的圖像編碼方法，在以使包含于動態(tài)圖像信號中的多個圖片分別屬于多個層次中的某一個層次的方式、將該多個圖片分層次地分類的情況下，將屬于第2層次的圖片作為針對編碼對象圖片的參照圖片進(jìn)行參照(S10)，根據(jù)該參照圖片對編碼對象圖片進(jìn)行編碼(S11)，該編碼對象圖片是多個圖片中的某一個圖片，該第2層次處于根據(jù)該編碼對象圖片所屬的第1層次而限制的范圍內(nèi)。
文檔編號H04N7/26GK103053160SQ201280002258
公開日2013年4月17日 申請日期2012年1月12日 優(yōu)先權(quán)日2011年1月14日
發(fā)明者西孝啟, 柴原陽司, 笹井壽郎, 杉尾敏康 申請人:松下電器產(chǎn)業(yè)株式會社