專利名稱：圖像編碼裝置、方法及程序和圖像解碼裝置、方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法以及圖像解碼程序。
背景技術(shù)：
近年來，因互聯(lián)網(wǎng)的普及，經(jīng)由網(wǎng)絡(luò)來收發(fā)圖像數(shù)據(jù)、或者存儲圖像數(shù)據(jù)的情況廣泛得以進(jìn)行。在圖像數(shù)據(jù)的編碼上一般利用可有效地削減圖像數(shù)據(jù)的容量的不可逆編碼方式。作為此不可逆編碼方式的一例，有ITU-T建議的作為國際標(biāo)準(zhǔn)規(guī)格的H.264活動(dòng)圖像編碼方式(例如，參照ITU-TVCEG(Q.6/16)、“H.26L Test Model LongTerm Number 8(TML-8)draft”)。
在H.264幀內(nèi)編碼(I幀)中，通過利用了畫面內(nèi)預(yù)測的幀內(nèi)編碼來進(jìn)行活動(dòng)圖像的壓縮。另外，在H.264的幀間編碼中，編碼對象幀被分割成例如16×16圖像大小的宏塊，并對每個(gè)宏塊進(jìn)行編碼處理。宏塊被進(jìn)一步分割成16×8像素或8×8像素這樣大小的塊，并對所分割的每個(gè)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測。由此，活動(dòng)圖像中的時(shí)間方向的冗余度就得以削減。
可是，對上述的活動(dòng)圖像編碼或者靜止圖像編碼之類的圖像編碼，還要求效率更加良好的編碼技術(shù)。

發(fā)明內(nèi)容
因此，本發(fā)明就是以提供一種可效率良好地對圖像進(jìn)行編碼的圖像編碼裝置、圖像編碼方法以及圖像編碼程序，另外，還提供一種可從由本發(fā)明的圖像編碼裝置所生成的比特流將圖像復(fù)原的圖像解碼裝置、圖像解碼方法以及圖像解碼程序?yàn)槟康摹?br> 本發(fā)明的一個(gè)技術(shù)方案提供一種圖像編碼裝置，包括(a)決定單元，對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；(b)第1圖像預(yù)測單元，對于在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；(c)存儲單元，存儲基于預(yù)測圖像的再生圖像；以及(d)編碼單元，生成包含對編碼方式信息和預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。
本發(fā)明的另一個(gè)技術(shù)方案提供一種圖像編碼方法，包括(a)決定步驟，由決定單元對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；(b)第1圖像預(yù)測步驟，由第1圖像預(yù)測單元對于在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；(c)存儲步驟，由存儲單元存儲基于預(yù)測圖像的再生圖像；以及(d)編碼步驟，由編碼單元生成包含對編碼方式信息和預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。
另外，本發(fā)明的又一個(gè)技術(shù)方案提供一種圖像編碼程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能(a)決定單元，對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；(b)第1圖像預(yù)測單元，對于在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；(c)存儲單元，存儲基于預(yù)測圖像的再生圖像；以及(d)編碼單元，生成包含對編碼方式信息和預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。此外，上述圖像編碼程序以及下面將說明的本發(fā)明的圖像編碼程序，能夠以計(jì)算機(jī)可讀取的記錄媒體、被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號、或者程序產(chǎn)品之類的形式來進(jìn)行提供。
上述第2圖像預(yù)測處理可以為以下處理，即，預(yù)測信號未生成的像素占一部分的區(qū)域被設(shè)為模板，生成完畢的再生圖像被設(shè)為參考區(qū)域，該參考區(qū)域之中與模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在模板內(nèi)預(yù)測信號未生成的像素賦予復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此預(yù)測圖像得以生成。
另外，本發(fā)明的一個(gè)技術(shù)方案提供一種圖像解碼裝置，包括(a)解碼單元，對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；(b)第1圖像預(yù)測單元，通過利用了預(yù)測輔助信息的第1圖像預(yù)測處理，從生成完畢的再生圖像生成在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；(c)圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及(d)存儲單元，存儲基于預(yù)測圖像的再生圖像，其中，(e)在第2圖像預(yù)測處理中，預(yù)測信號未生成的像素占一部分的區(qū)域被設(shè)為模板，存儲單元中所存儲的再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在模板內(nèi)預(yù)測信號未生成的像素賦予復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此預(yù)測圖像得以生成。
本發(fā)明的另一技術(shù)方案提供一種圖像解碼方法，包括(a)解碼步驟，由解碼單元對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；(b)第1圖像預(yù)測步驟，由第1圖像預(yù)測單元通過利用了預(yù)測輔助信息的第1圖像預(yù)測處理，從生成完畢的再生圖像生成在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；(c)第2圖像預(yù)測步驟，由第2圖像預(yù)測單元通過該第2圖像預(yù)測處理來生成多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及(d)存儲步驟，由存儲單元存儲基于預(yù)測圖像的再生圖像，其中，(e)在第2圖像預(yù)測處理中，預(yù)測信號未生成的像素占一部分的區(qū)域被設(shè)為模板，存儲單元中所存儲的再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在模板內(nèi)預(yù)測信號未生成的像素賦予復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此預(yù)測圖像得以生成。
本發(fā)明的又一技術(shù)方案提供一種圖像解碼程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能(a)解碼單元，對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和在預(yù)測圖像通過第1圖像預(yù)測處理而得以生成的情況下用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；(b)第1圖像預(yù)測單元，通過利用了預(yù)測輔助信息的第1圖像預(yù)測處理，從生成完畢的再生圖像生成在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；(c)第2圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及(d)存儲單元，存儲基于預(yù)測圖像的再生圖像，其中，(e)在第2圖像預(yù)測處理中，預(yù)測信號未生成的像素占一部分的區(qū)域被設(shè)為模板，存儲單元中所存儲的再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在模板內(nèi)預(yù)測信號未生成的像素賦予復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此預(yù)測圖像得以生成。此外，上述圖像解碼程序以及下面將說明的本發(fā)明的圖像解碼程序，能夠以計(jì)算機(jī)可讀取的記錄媒體、被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號、或者程序產(chǎn)品之類的形式來進(jìn)行提供。
根據(jù)上述的本發(fā)明，第2圖像預(yù)測處理將已經(jīng)生成完畢的再生圖像設(shè)為參考區(qū)域，將從參考區(qū)域所選擇的復(fù)制參考區(qū)域的對應(yīng)像素復(fù)制于模板內(nèi)的預(yù)測信號未生成的像素。作為復(fù)制參考區(qū)域，從參考區(qū)域之中選擇相對于模板相關(guān)性較高的區(qū)域。例如，相關(guān)值最高的區(qū)域、或者相關(guān)值最初比規(guī)定的基準(zhǔn)值變高了的區(qū)域等得以選擇。從而，就能夠在解碼側(cè)對于被確定為應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，能動(dòng)地生成預(yù)測圖像而不利用來自編碼側(cè)的預(yù)測輔助信息。因此在編碼側(cè)效率良好的編碼就得以實(shí)現(xiàn)。
在與圖像編碼有關(guān)的本發(fā)明中，優(yōu)選的技術(shù)方案是決定單元，在經(jīng)第1圖像預(yù)測處理按規(guī)定的掃描順序生成多個(gè)部分區(qū)域的再生圖像后，按與該規(guī)定的掃描順序相反的順序選擇處理對象的部分區(qū)域，將比該處理對象的部分區(qū)域在掃描順序上位于前方的部分區(qū)域的圖像、比該處理對象的部分區(qū)域在掃描順序上位于后方的部分區(qū)域并且編碼方式被決定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的該部分區(qū)域的再生圖像設(shè)為參考區(qū)域，經(jīng)第2圖像預(yù)測處理生成該處理對象的部分區(qū)域的再生圖像，并基于經(jīng)該第2圖像預(yù)測處理所生成的處理對象的部分區(qū)域的再生圖像與經(jīng)第1圖像預(yù)測處理所生成的處理對象的部分區(qū)域的再生圖像的比較來決定該處理對象的部分區(qū)域的編碼方式。
在此情況下，在與圖像解碼有關(guān)的本發(fā)明中，第1圖像預(yù)測單元，對于根據(jù)編碼方式信息被確定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，按規(guī)定的掃描順序通過第1圖像預(yù)測處理生成預(yù)測圖像，在基于該預(yù)測圖像的再生圖像被存儲到存儲單元后，第2圖像預(yù)測單元，對于根據(jù)編碼方式信息被確定為應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，按規(guī)定的掃描順序通過第2圖像預(yù)測處理生成預(yù)測圖像。
根據(jù)本發(fā)明，在通過第1圖像預(yù)測處理在先生成了再生圖像后，已經(jīng)生成的再生圖像就被設(shè)為第2圖像預(yù)測處理中的參考區(qū)域。從而，由于能夠?qū)匆?guī)定的掃描順序位于后方的再生圖像也用于第2圖像預(yù)測處理，所以空間方向的冗余度就更加有效地得以削減。
在與圖像編碼相關(guān)的本發(fā)明中，決定單元也可以計(jì)算出根據(jù)成本函數(shù)的成本值，并基于該成本值來決定該處理對象的部分區(qū)域的上述編碼方式，其中上述成本函數(shù)基于分別利用了經(jīng)第2圖像預(yù)測處理所生成的處理對象的部分區(qū)域的再生圖像和經(jīng)第1圖像預(yù)測處理所生成的處理對象的部分區(qū)域的再生圖像時(shí)的編碼失真或/和編碼信息量。
在與圖像編碼相關(guān)的本發(fā)明中，還包括第2圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成在多個(gè)部分區(qū)域之中根據(jù)編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像，第2圖像預(yù)測單元將通過第2圖像預(yù)測處理所生成的預(yù)測圖像設(shè)為再生圖像。在此情況下，在與圖像解碼相關(guān)的本發(fā)明中，第2圖像預(yù)測單元將通過第2圖像預(yù)測處理所生成的預(yù)測圖像設(shè)為再生圖像。即、通過第2圖像預(yù)測處理所生成的預(yù)測圖像原封不動(dòng)作為再生圖像被采用。從而，由于能夠?qū)⑼ㄟ^第2圖像預(yù)測處理所生成的再生圖像也用于接著進(jìn)行處理的部分區(qū)域的預(yù)測，所以冗余度就進(jìn)一步得以削減。另外，由于無需將與輸入圖像和通過第2圖像預(yù)測處理所生成的預(yù)測圖像之差分有關(guān)的信息包含在比特流中，所以效率更加良好的編碼就得以實(shí)現(xiàn)。
在本發(fā)明中，編碼對象的輸入圖像也可以是活動(dòng)圖像的幀。在此情況下，在第2圖像預(yù)測處理中，編碼對象幀的再生圖像以及比該編碼對象幀在先得以處理的幀的再生圖像中的至少一方被設(shè)為參考區(qū)域。另外，在此情況下，在與圖像解碼有關(guān)的本發(fā)明中，解碼對象的圖像就成為活動(dòng)圖像的幀，第2圖像預(yù)測單元，將作為存儲單元中所存儲的再生圖像的、解碼對象幀的該再生圖像以及比解碼對象幀在先得以處理的幀的再生圖像中的至少一方設(shè)為參考區(qū)域。
根據(jù)本發(fā)明，在第2圖像預(yù)測處理中，由于編碼對象幀的再生圖像以及與編碼對象幀不同的處理完畢的幀的再生圖像的兩者被設(shè)為參考區(qū)域，所以時(shí)間方向及空間方向的冗余度就進(jìn)一步得以削減。
在與圖像編碼有關(guān)的本發(fā)明中，第1圖像預(yù)測處理也可以是運(yùn)動(dòng)補(bǔ)償預(yù)測處理。在此情況下，預(yù)測輔助信息將包含通過第1圖像預(yù)測處理所抽取出的運(yùn)動(dòng)矢量。另外，在此情況下，在與圖像解碼有關(guān)的本發(fā)明中，預(yù)測輔助信息也將包含被用于第1圖像預(yù)測處理的運(yùn)動(dòng)矢量。
在本發(fā)明中，第1圖像預(yù)測處理也可以是將與處理對象的部分區(qū)域同一空間內(nèi)的再生圖像用于預(yù)測以生成預(yù)測圖像的處理，即，第1圖像預(yù)測處理還可以是被用于靜止圖像的編碼及解碼的預(yù)測處理，或者是被用于靜止圖像的編碼及解碼的幀內(nèi)預(yù)測處理。在此情況下，在第1圖像預(yù)測處理中，在根據(jù)編碼方式被確定為鄰接于處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于不鄰接于該處理對象的部分區(qū)域的非鄰接部分區(qū)域的再生圖像來生成該處理對象的部分區(qū)域的預(yù)測圖像。
根據(jù)本發(fā)明，即便在處理對象的部分區(qū)域?yàn)閼?yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域，鄰接于該處理對象的部分區(qū)域的鄰接部分區(qū)域?yàn)閼?yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的情況下，也能夠利用不鄰接于處理對象的部分區(qū)域的非鄰接部分區(qū)域的再生圖像數(shù)據(jù)來生成預(yù)測圖像。由此，就能夠不僅利用鄰接于處理對象的部分區(qū)域的鄰接部分區(qū)域的再生圖像，還利用不鄰接于處理對象的部分區(qū)域的非鄰接部分區(qū)域的再生圖像來生成預(yù)測圖像。從而，由于生成預(yù)測圖像數(shù)據(jù)時(shí)的參考范圍就得以擴(kuò)大，空間上的冗余度就得以削減，所以編碼效率就進(jìn)一步得以提高。
另外，在此情況下，在與圖像編碼有關(guān)的本發(fā)明中，就能夠在第1圖像預(yù)測處理中，從與多個(gè)不同預(yù)測規(guī)則相關(guān)的多個(gè)預(yù)測方式之中，決定在處理對象的部分區(qū)域的預(yù)測圖像的生成上所用的預(yù)測方式，并生成用于確定該預(yù)測方式的預(yù)測方式信息，編碼單元將對預(yù)測方式信息進(jìn)行了編碼的數(shù)據(jù)包含在比特流中。在此情況下，在與圖像解碼有關(guān)的本發(fā)明中，就在比特流中，包含對預(yù)測方式信息進(jìn)行了編碼的數(shù)據(jù)，其中上述預(yù)測方式信息，在通過第1圖像預(yù)測處理來生成預(yù)測圖像的情況下在與多個(gè)不同的預(yù)測規(guī)則相關(guān)的多個(gè)預(yù)測方式之中、確定在第1圖像預(yù)測處理中所用的預(yù)測方式，解碼單元從比特流對預(yù)測方式信息進(jìn)行解碼，并在第1圖像預(yù)測處理中基于預(yù)測方式信息來生成預(yù)測圖像。
在本發(fā)明中最好是，在第1圖像預(yù)測處理中，在根據(jù)編碼方式被確定為鄰接于處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于在處于預(yù)測方向的直線上并且存在于預(yù)測源側(cè)的方向的非鄰接部分區(qū)域的再生圖像之中、最接近處理對象的部分區(qū)域的像素的像素值來生成預(yù)測圖像。由此，適合于各預(yù)測圖像生成模式的最佳的再生圖像數(shù)據(jù)就從非鄰接塊中進(jìn)行選定。
在與圖像編碼有關(guān)的本發(fā)明中，也可以是預(yù)測殘差圖像生成單元，通過執(zhí)行由第1圖像預(yù)測單元所生成的預(yù)測圖像與編碼對象的輸入圖像的差運(yùn)算來生成預(yù)測殘差圖像，編碼單元將對基于預(yù)測殘差圖像的信號進(jìn)行了編碼的數(shù)據(jù)包含在比特流中。
在此情況下，在與圖像解碼相關(guān)的本發(fā)明中，就在比特流中包含，通過對基于由通過第1圖像預(yù)測所生成的部分區(qū)域的預(yù)測圖像與該部分區(qū)域的圖像(輸入圖像)的差運(yùn)算而得到的預(yù)測殘差圖像的信號進(jìn)行編碼而成的數(shù)據(jù)，解碼單元，從作為比特流中所包含的數(shù)據(jù)的、基于預(yù)測殘差圖像的信號被編碼而成的該數(shù)據(jù)對該信號進(jìn)行解碼，再生圖像生成單元，通過將基于由解碼單元所解碼的信號的復(fù)原預(yù)測殘差圖像與預(yù)測圖像相加來生成再生圖像。
另外，在與圖像編碼有關(guān)的本發(fā)明中，也可以是預(yù)測殘差圖像生成單元，通過執(zhí)行由第1圖像預(yù)測單元所生成的預(yù)測圖像與編碼對象的輸入圖像的差運(yùn)算來生成預(yù)測殘差圖像，變換單元通過對預(yù)測殘差圖像實(shí)施變換處理來生成變換信息，逆變換單元通過對變換信息實(shí)施逆變換處理來生成復(fù)原預(yù)測殘差圖像，再生圖像生成單元通過將復(fù)原預(yù)測殘差圖像與預(yù)測圖像進(jìn)行相加來生成再生圖像，編碼單元將對變換信息進(jìn)行了編碼的數(shù)據(jù)包含在比特流中。
在此情況下，在與圖像解碼相關(guān)的本發(fā)明中，就在比特流中，包含有通過對預(yù)測殘差圖像實(shí)施變換處理而成變換信息被編碼所生成的數(shù)據(jù)，其中，上述預(yù)測殘差圖像由通過第1圖像預(yù)測所生成的部分區(qū)域的預(yù)測圖像與該部分區(qū)域的圖像(輸入圖像)的差運(yùn)算而得到，解碼單元從比特流對變換信息進(jìn)行解碼，逆變換單元通過對變換信息實(shí)施逆變換處理而生成復(fù)原預(yù)測殘差圖像，再生圖像生成單元，通過將復(fù)原預(yù)測殘差圖像與預(yù)測圖像相加來生成再生圖像。


圖1是表示與第1實(shí)施方式相關(guān)的圖像編碼裝置之構(gòu)成的圖。
圖2是用于說明圖像預(yù)測處理之內(nèi)容的圖。
圖3是用于說明圖像預(yù)測處理之內(nèi)容的圖。
圖4是用于就替代像素值進(jìn)行說明的圖。
圖5是用于就替代像素值進(jìn)行說明的圖。
圖6是用于說明圖像填補(bǔ)處理之內(nèi)容的圖。
圖7是表示圖像編碼處理中的圖像編碼裝置之動(dòng)作的流程圖。
圖8是表示記錄圖像編碼程序的記錄媒體之構(gòu)成的圖。
圖9是表示與第2實(shí)施方式相關(guān)的圖像解碼裝置之構(gòu)成的圖。
圖10是表示圖像解碼處理之概要?jiǎng)幼鞯牧鞒虉D。
圖11是表示預(yù)測圖像解碼處理之動(dòng)作的流程圖。
圖12是表示填補(bǔ)圖像解碼處理之動(dòng)作的流程圖。
圖13是表示記錄圖像解碼程序的記錄媒體之構(gòu)成的圖。
圖14是表示用于執(zhí)行在記錄媒體中所存儲的程序的計(jì)算機(jī)之硬件構(gòu)成的圖。
圖15是用于執(zhí)行在記錄媒體中所存儲的程序的計(jì)算機(jī)的透視圖。
圖16是表示與本發(fā)明的第3實(shí)施方式相關(guān)的活動(dòng)圖像編碼裝置之構(gòu)成的圖。
圖17是用于說明編碼方式?jīng)Q定部之處理的圖。
圖18是表示圖像預(yù)測部之構(gòu)成的框圖。
圖19是用于說明第2圖像預(yù)測處理的圖。
圖20是涉及第3實(shí)施方式的活動(dòng)圖像編碼方法的流程圖。
圖21是涉及第3實(shí)施方式的活動(dòng)圖像編碼方法中的編碼方式?jīng)Q定處理的流程圖。
圖22是第2圖像預(yù)測處理的流程圖。
圖23是將與第3實(shí)施方式相關(guān)的活動(dòng)圖像編碼程序之構(gòu)成和記錄媒體一起進(jìn)行表示的圖。
圖24是表示涉及第4實(shí)施方式的活動(dòng)圖像解碼裝置之構(gòu)成的圖。
圖25是涉及第4實(shí)施方式的活動(dòng)圖像解碼方法的流程圖。
圖26是將涉及第4實(shí)施方式的活動(dòng)圖像解碼程序之構(gòu)成和記錄媒體一起進(jìn)行表示的圖。
具體實(shí)施例方式
下面，參照附圖就本發(fā)明的優(yōu)選實(shí)施方式詳細(xì)地進(jìn)行說明。此外，在各附圖中對相同或者相當(dāng)?shù)牟糠指郊酉嗤母綀D標(biāo)記。
首先，就本發(fā)明的第1實(shí)施方式進(jìn)行說明。圖1是表示與第1實(shí)施方式相關(guān)的圖像編碼裝置之構(gòu)成的圖。圖1所示的圖像編碼裝置1，在物理上可以是具備例如，CPU(中央處理裝置)、存儲器之類的存儲裝置、顯示器之類的顯示裝置、通信裝置等的計(jì)算機(jī)。另外，圖像編碼裝置1也可以是攜帶式電話之類的移動(dòng)通信終端、DVD設(shè)備等。即、在圖像編碼裝置1上可進(jìn)行信息處理的裝置能得以廣泛應(yīng)用。
圖像編碼裝置1，在功能上具有圖像分割部(圖像分割單元)11、編碼方式?jīng)Q定部(決定單元)12、預(yù)測圖像生成部(第1圖像預(yù)測單元)13、減法運(yùn)算部(預(yù)測殘差圖像生成單元)14、變換部(變換單元)15、編碼部(編碼單元)16、逆變換部(逆變換單元)17、加法運(yùn)算部(再生圖像生成單元)18以及存儲部(存儲單元)19。
接著，就圖1所示的各構(gòu)成要素進(jìn)行說明。圖像分割部11將按幀單位所輸入的輸入圖像分割成規(guī)定的大小(例如4×4像素)的塊、即部分區(qū)域。另外，圖像分割部11還生成用于確定成為編碼處理之對象的處理對象塊的塊位置信息。作為塊位置信息，例如，對幀內(nèi)的各塊按光柵掃描順序、例如0、1、2…升序地附加了編號的塊編號或者由將包含各塊的幀的左上端設(shè)為基準(zhǔn)的坐標(biāo)所示的塊坐標(biāo)就符合條件。
編碼方式?jīng)Q定部12基于規(guī)定的編碼方式?jīng)Q定規(guī)則來決定針對各個(gè)塊的編碼方式，并生成用于確定該編碼方式的編碼方式信息。
本實(shí)施方式中，在編碼方式上有以下兩種方式利用處理對象塊的輸入圖像以及對應(yīng)于該圖像的預(yù)測圖像對該處理對象塊的圖像進(jìn)行編碼的方式、即預(yù)測編碼處理方式(P方式)和不利用處理對象塊的輸入圖像以及對應(yīng)于該圖像的預(yù)測圖像對該處理對象塊的圖像進(jìn)行編碼的方式、即填補(bǔ)編碼方式(C方式)。即、在編碼方式為預(yù)測編碼處理方式的情況下，與處理對象塊的圖像有關(guān)的信息被編碼后被輸出。另一方面，在編碼方式為填補(bǔ)編碼處理方式的情況下，與處理對象塊的圖像有關(guān)的信息則不被編碼、不被輸出。另外，在編碼方式為預(yù)測編碼處理方式的情況下，在解碼側(cè)的預(yù)測圖像的生成上借助于需要預(yù)測輔助信息的第1圖像預(yù)測處理來生成預(yù)測圖像，而在編碼方式為填補(bǔ)編碼方式的情況下，則在解碼側(cè)的預(yù)測圖像的生成上借助于不需要預(yù)測輔助信息的第2的圖像預(yù)測處理(圖像填補(bǔ)處理)來生成預(yù)測圖像。
作為編碼方式?jīng)Q定規(guī)則，例如，還可以借助于后述的圖像填補(bǔ)處理(參照圖6、第2圖像預(yù)測處理)來生成處理對象塊的再生圖像，在對處理對象塊的輸入圖像與該再生圖像的誤差進(jìn)行了二乘后的值小于等于預(yù)先設(shè)定的閾值的情況下設(shè)為填補(bǔ)編碼方式，在其以外的情況下則設(shè)為預(yù)測編碼處理方式。此外，未必需要比較對誤差進(jìn)行了二乘后的值和閾值，還可以比較誤差的絕對值和閾值。另外，作為其他的編碼方式?jīng)Q定規(guī)則，例如，還可以使預(yù)先決定了以預(yù)測編碼處理方式進(jìn)行編碼的塊和以填補(bǔ)編碼方式進(jìn)行編碼的塊的信息與塊位置信息對應(yīng)起來進(jìn)行保持，在進(jìn)行處理時(shí)，基于塊位置信息取得對應(yīng)于處理對象塊的編碼方式。
預(yù)測圖像生成部13，在編碼方式為預(yù)測編碼處理方式的情況下，從后述的9種預(yù)測圖像生成模式中選擇在借助于第1圖像預(yù)測處理生成對應(yīng)于處理對象塊的輸入圖像的預(yù)測圖像時(shí)采用的幀內(nèi)預(yù)測圖像生成模式、即預(yù)測方式，并輸出用于確定該預(yù)測方式的預(yù)測方式信息。即、此幀內(nèi)預(yù)測圖像生成模式(預(yù)測方式)就是在解碼側(cè)生成預(yù)測圖像時(shí)所需要的預(yù)測輔助信息。
預(yù)測圖像生成部13按照所決定的預(yù)測圖像生成模式，利用各塊的圖像之中已經(jīng)被編碼、再生后被存儲于存儲部19的再生圖像的一部分，生成對應(yīng)于處理對象塊的輸入圖像的預(yù)測圖像。此外，關(guān)于生成預(yù)測圖像時(shí)的第1圖像預(yù)測處理的細(xì)節(jié)在后面進(jìn)行敘述。
減法運(yùn)算部14以像素為單位從處理對象塊的輸入圖像減去該處理對象塊的預(yù)測圖像，生成預(yù)測殘差圖像。
變換部15使用規(guī)定的變換規(guī)則對預(yù)測殘差圖像進(jìn)行變換，并輸出借助于該變換而得到的變換系數(shù)(變換信息)。作為規(guī)定的變換規(guī)則，例如，4行4列的2維DCT、和在H.264中所采用的4行4列的正交變換以及量化就符合條件。另外，規(guī)定的變換規(guī)則，例如還可以是匹配追逃(Matching Pursuit)、矢量量化以及子波變換等變換操作及量化。
編碼部16基于規(guī)定的規(guī)則對變換系數(shù)進(jìn)行熵編碼(平均信息量編碼)。另外，編碼部16基于規(guī)定的規(guī)則對編碼方式信息以及預(yù)測圖像生成模式(預(yù)測方式)進(jìn)行熵編碼。作為熵編碼例如利用算術(shù)編碼。
逆變換部17通過利用規(guī)定的逆變換規(guī)則對變換系數(shù)進(jìn)行逆變換來生成復(fù)原預(yù)測殘差圖像。此規(guī)定的逆變換規(guī)則是對應(yīng)于由變換部15所采用的規(guī)定的變換規(guī)則的逆變換規(guī)則。
加法運(yùn)算部18將處理對象塊的預(yù)測圖像和對應(yīng)于該預(yù)測圖像的復(fù)原預(yù)測殘差圖像相加而生成再生圖像。此外，加法運(yùn)算部18在對圖像的像素值設(shè)定有特定的范圍的情況下，也可以進(jìn)行限幅處理以使像素值收納于特定的范圍內(nèi)。
存儲部19使由加法運(yùn)算部18所生成的再生圖像存儲于未圖示的存儲器中。
接著，參照圖2和圖3就生成預(yù)測圖像時(shí)的第1圖像預(yù)測處理進(jìn)行說明。此外，雖然在本實(shí)施方式中，第1圖像預(yù)測處理是幀內(nèi)預(yù)測處理，但在第1圖像預(yù)測處理上可適用例如運(yùn)動(dòng)補(bǔ)償預(yù)測處理之類的各種預(yù)測處理。
首先，如圖2所示那樣，設(shè)鄰接于4×4像素的處理對象塊Y的左斜上方的塊為塊X0，同樣地設(shè)鄰接于上側(cè)的塊為塊X1，鄰接于右斜上方的塊為塊X2，鄰接于左側(cè)的塊為塊X3。另外，設(shè)鄰接于塊X1之上側(cè)的塊為塊X4、鄰接于塊X2之上側(cè)的塊為塊X5、鄰接于塊X3之左側(cè)的塊為塊X6。另外，從左開始按順序?qū)⑻幱趬KX1的最下行的再生像素值設(shè)為A，B，C，D、從左開始按順序?qū)⑻幱趬KX2的最下行的再生像素值設(shè)為E，F(xiàn)，G，H、從上開始按順序?qū)⑻幱趬KX3的最右列的再生像素值設(shè)為I，J，K，L。另外，將處于塊X0的右下角的再生像素值設(shè)為M。進(jìn)而，按光柵掃描順序?qū)⑻幚韺ο髩KY中的預(yù)測圖像的像素值設(shè)為a，b，c，d，e，f，g，h，i，j，k，l，m，n，o，p。
這里，參照圖3，就4×4像素塊編碼方式中的9種預(yù)測方式A0～A8進(jìn)行說明。圖3(a)所示的預(yù)測方式A0是通過將鄰接于處理對象塊之上側(cè)的像素值沿下方向、直線地進(jìn)行伸長(伸展)來生成預(yù)測圖像的方式。在此預(yù)測方式A0中，基于下式來生成預(yù)測圖像。
a＝e＝i＝m＝Ab＝f＝j(luò)＝n＝Bc＝g＝k＝o＝Cd＝h＝l＝p＝D圖3(b)所示的預(yù)測方式A1是通過將鄰接于處理對象塊之左側(cè)的像素值沿右方向、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A1中，基于下式來生成預(yù)測圖像。
a＝b＝c＝d＝Ie＝f＝g＝h＝Ji＝j(luò)＝k＝l＝Km＝n＝o＝P＝L圖3(c)所示的預(yù)測方式A2是利用周圍像素的平均值僅預(yù)測處理對象塊的DC成分的方式。在此預(yù)測方式A2中，基于以下規(guī)則來生成預(yù)測圖像。首先，在A～M全部為幀內(nèi)的再生像素的情況下，將a～p的值全部設(shè)為(A+B+C+D+I+J+K+L+4)/8。相對于此，在A～D不屬于幀內(nèi)的再生塊、I～L屬于幀內(nèi)的再生塊的情況下，將a～p的值全部設(shè)為(I+J+K+L+2)/4。另外，在I～L不屬于幀內(nèi)的再生塊、A～D屬于幀內(nèi)的再生塊的情況下，將a～p的值全部設(shè)為(A+B+C+D+2)/4。另外，在A～D以及I～L全部不屬于幀內(nèi)的再生塊的情況下，將a～p的值全部設(shè)為128。
圖3(d)所示的預(yù)測方式A3是通過將鄰接于處理對象塊之上側(cè)以及右斜上方的像素值沿左斜下方向、直線地進(jìn)行伸長的來生成預(yù)測圖像的方式。在此預(yù)測方式A3中，基于下式來生成預(yù)測圖像。
a＝(A+2B+C+2)/4b＝e＝(B+2C+D+2)/4c＝f＝i＝(C+2D+E+2)/4d＝g＝j(luò)＝m＝(D+2E+F+2)/4h＝k＝n＝(E+2F+G+2)/4
l＝o＝(F+2G+H+2)/4p＝(G+3H+2)/4圖3(e)所示的預(yù)測方式A4是通過將鄰接于處理對象塊之左側(cè)、左斜上方以及上側(cè)的像素值沿右斜下方向、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A4中，基于下式來生成預(yù)測圖像。
m＝(J+2K+L+2)/4i＝n＝(I+2J+K+2)/4e＝j(luò)＝o＝(M+2I+J+2)/4a＝f＝k＝p＝(A+2M+I+2)/4b＝g＝l＝(M+2A+B+2)/4c＝h＝(A+2B+C+2)/4d＝(B+2C+D+2)/4圖3(f)所示的預(yù)測方式A5是通過將鄰接于處理對象塊之左側(cè)、左斜上方以及上側(cè)的像素值沿下方右側(cè)、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A5中，基于下式來生成預(yù)測圖像。
a＝j(luò)＝(M+A+1)/2b＝k＝(A+B+1)/2c＝l＝(B+C+1)/2d＝(C+D+1)/2f＝o＝(M+2A+B+2)/4g＝p＝(A+2B+C+2)/4h＝(B+2C+D+2)/4i＝(M+2I+J+2)/4m＝(I+2J+K+2)/4圖3(g)所示的預(yù)測方式A6是通過將鄰接于處理對象塊之左側(cè)、左斜上方以及上側(cè)的像素值沿右方下側(cè)、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A6中，基于下式來生成預(yù)測圖像。
a＝g＝(M+I+1)/2b＝h＝(I+2M+A+2)/4
c＝(M+2A+B+2)/4d＝(A+2B+C+2)/4e＝k＝(I+J+1)/2f＝l＝(M+2I+J+2)/4i＝o＝(J+K+1)/2j＝p＝(I+2J+K+2)/4m＝(K+L+1)/2n＝(J+2K+L+2)/4圖3(h)所示的預(yù)測方式A7是通過將鄰接于處理對象塊之上側(cè)以及右斜上方的像素值沿下方左側(cè)、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A7中，基于下式來生成預(yù)測圖像。
a＝(A+B+1)/2b＝i＝(B+C+1)/2c＝j(luò)＝(C+D+1)/2d＝k＝(D+E+1)/2l＝(E+F+1)/2e＝(A+2B+C+2)/4f＝m＝(B+2C+D+2)/4g＝n＝(C+2D+E+2)/4h＝o＝(D+2E+F+2)/4p＝(E+2F+G+2)/4圖3(i)所示的預(yù)測方式A8是通過將鄰接于處理對象塊之左側(cè)的像素值沿右方上側(cè)、直線地進(jìn)行伸長來生成預(yù)測圖像的方式。在此預(yù)測方式A8中，基于下式來生成預(yù)測圖像。
a＝(I+J+1)/2b＝(I+2J+K+2)/4c＝e＝(J+K+1)/2d＝f＝(J+2K+L+2)/4g＝i＝(K+L+1)/2
h＝j(luò)＝(K+3L+2)/4k＝l＝m＝n＝o＝p＝L預(yù)測圖像生成部13，不選擇上述各預(yù)測方式之中、在生成預(yù)測圖像時(shí)所用的再生像素值即便只要有一個(gè)處于幀外的預(yù)測方式。
這里，在本實(shí)施方式中，在包含A～M中任一的塊的編碼方式為填補(bǔ)編碼方式的情況下，由于預(yù)測圖像未被生成，故在此情況下不存在再生像素值。從而，在用其他塊生成預(yù)測圖像時(shí)，就不能參考是填補(bǔ)編碼方式的塊的再生像素值。
在本實(shí)施方式中，在這種情況下，將在預(yù)測方式中的預(yù)測方向(圖3所示的箭頭記號的方向)的直線上且存在于預(yù)測源側(cè)(圖3所示的箭頭記號的起點(diǎn)側(cè))的方向的同一幀內(nèi)的再生像素值中、最接近處理對象塊的再生像素值作為A～M的替代像素值使用于預(yù)測圖像的生成。另外，在預(yù)測方向的直線通過兩個(gè)像素中間的情況下則將該兩個(gè)像素的平均像素值設(shè)為替代像素值。
參照圖4以及圖5，就上述的替代像素值進(jìn)行說明。首先，圖4是表示鄰接于處理對象塊Y之上側(cè)的塊X1為填補(bǔ)編碼方式、且預(yù)測方式為A0的情況下所決定的替代像素值的圖。如圖4所示那樣，處于塊X4的最下行的再生像素值N，O，P，Q被選擇作為塊X1的再生像素值A(chǔ)，B，C，D的替代像素值。即、對于再生像素值A(chǔ)，B，C，D，在預(yù)測方式A0下的預(yù)測方向的直線上存在于預(yù)測源側(cè)的方向的同一幀內(nèi)的再生像素值中、最接近處理對象塊Y的再生像素值N，O，P，Q被選擇。從而，在生成圖4所示的處理對象塊Y的預(yù)測圖像時(shí)，就取代處于上述的預(yù)測方式A0下的式中的A，B，C，D而利用N，O，P，Q。此外，在塊X4為幀外或者填補(bǔ)編碼方式的情況下，A，B，C，D就被作為幀外來進(jìn)行處理。即、A0被選擇作為預(yù)測方式。
接著，圖5是表示鄰接于處理對象塊Y之上側(cè)的塊X1為填補(bǔ)編碼方式、且預(yù)測方式為A7的情況下所決定的替代像素值的圖。如圖5所述那樣，處于塊X4的最下行的兩個(gè)再生像素值N，O以及處于塊X2的最左列的兩個(gè)再生像素值P，Q被選擇作為塊X1的再生像素值A(chǔ)，B，C，D的替代像素值的候補(bǔ)。然后，N被選擇作為A的替代值、O被選擇作為B的替代值、P被選擇作為D的替代值，作為C的替代值則使用O和P的平均值。O和P的平均值被用作C的替代值是因?yàn)轭A(yù)測方向的直線通過兩個(gè)像素O和P的中間(處于塊X5的左下角的像素上)。即、對于再生像素值A(chǔ)，B，C，D，在預(yù)測方式A7下的預(yù)測方向的直線上存在于預(yù)測源側(cè)的方向的同一幀內(nèi)的再生像素值中、最接近處理對象塊Y的再生像素值N，O，(O+P)/2，Q被選擇。從而，在生成圖5所示的處理對象塊Y的預(yù)測圖像時(shí)，就取代處于上述的預(yù)測方式A7下的式中的A，B，C，D而利用N，O，(O+P)/2，Q。此外，在以二進(jìn)制計(jì)算兩個(gè)像素值的平均值的情況下，將兩個(gè)像素值相加并在此加法運(yùn)算結(jié)果上加上1后，向右移位1位即可。
通過這樣決定替代像素值，就能夠從非鄰接塊中選定適合于各預(yù)測方式的最佳的再生像素值。
接著，參照圖6就在上述的編碼方式?jīng)Q定規(guī)則中所施行的生成填補(bǔ)圖像時(shí)的圖像填補(bǔ)處理(第2圖像預(yù)測處理)進(jìn)行說明。
在本實(shí)施方式的圖像填補(bǔ)處理中，如圖6所示那樣，將處理對象塊Y中所包含的一個(gè)像素設(shè)為處理對象像素P。將包含此處理對象像素P和存在于處理對象像素P附近的再生圖像的像素(再生像素)的區(qū)域設(shè)為模板T。此外，在處理對象塊Y中存在圖像填補(bǔ)處理完畢的像素(填補(bǔ)像素)的情況下，能夠?qū)⒃搱D像填補(bǔ)處理完畢的像素包含在模板T中。另外，將處理對象塊Y以及該處理對象塊Y的周圍區(qū)域設(shè)為對象區(qū)域R。
首先，通過基于規(guī)定的掃描規(guī)則在處理對象塊Y內(nèi)進(jìn)行掃描，從處理對象塊Y中所包含的多個(gè)像素中選定處理對象像素P。接著，基于所選定的處理對象像素P來決定模板T。接著，在對象區(qū)域R內(nèi)、具有與模板T相同形狀的區(qū)域之中，選擇與從模板T除去處理對象像素P的部分的像素的相關(guān)性為最大的相關(guān)區(qū)域S。接著，將相關(guān)區(qū)域S之中對應(yīng)于處理對象像素P的再生像素Q的像素值設(shè)為處理對象像素P中的填補(bǔ)像素值。對在處理對象塊Y中所包含的各像素按掃描順序進(jìn)行與以上處理同樣的處理。由此生成對應(yīng)于處理對象塊Y的填補(bǔ)圖像。這里，選擇上述的相關(guān)區(qū)域S時(shí)的相關(guān)性的計(jì)算方法，例如，既可以是將對應(yīng)的各像素值間的差分的二乘和為最小的設(shè)其相關(guān)性為最大的方法、或?qū)?yīng)的各像素值中的差分的絕對值之和為最小的設(shè)其相關(guān)性為最大的方法、也可以是其他的任何方法，只要是能夠?qū)ο嚓P(guān)關(guān)系進(jìn)行計(jì)測的方法就可應(yīng)用。此外，在編碼對象圖像為活動(dòng)圖像的情況下，通過將解碼完畢的幀中的解碼像素以及填補(bǔ)像素用作對象區(qū)域R，就能夠進(jìn)行效率更好的圖像填補(bǔ)。
接著，參照圖7，就圖像編碼處理中的圖像編碼裝置1的動(dòng)作進(jìn)行說明。此圖像編碼處理以從一幀開始按規(guī)定的掃描順序(例如，光柵掃描順序)所讀入的塊為單位來進(jìn)行。
首先，圖像分割部11將以幀為單位所輸入的輸入圖像分割成規(guī)定大小(例如，4×4像素)的塊，并生成用于確定各處理對象塊的決位置信息(步驟S1)。
接著，編碼方式?jīng)Q定部12基于規(guī)定的編碼方式?jīng)Q定規(guī)則將對處理對象塊的圖像進(jìn)行編碼時(shí)的編碼方式，決定成預(yù)測編碼處理方式(P方式)或者填補(bǔ)編碼方式(C方式)中的某一方，并輸出用于確定該編碼方式的編碼方式信息(步驟S2)。此塊編碼方式信息被輸出給圖像分割部11、預(yù)測圖像生成部13以及編碼部16。
接著，預(yù)測圖像生成部13判定由編碼方式?jīng)Q定部12所決定的處理對象塊的編碼方式是否為預(yù)測編碼處理方式(步驟S3)。在此判定為“否”的情況下(步驟S31；“否”)，為了進(jìn)行下一處理對象塊的圖像編碼處理，將處理轉(zhuǎn)移到步驟S11。
另一方面，在根據(jù)步驟S3中的判定，處理對象塊的編碼方式被判定為是預(yù)測編碼處理方式的情況下(步驟S3；“是”)，預(yù)測圖像生成部13決定預(yù)測方式，并按照此所決定的預(yù)測方式，利用已經(jīng)進(jìn)行編碼并存儲在存儲部19中的再生圖像的一部分，生成對應(yīng)于處理對象塊的圖像的預(yù)測圖像(步驟S4)。即、預(yù)測圖像生成部13，通過執(zhí)行上述的第1圖像預(yù)測處理，基于鄰接于處理對象塊的鄰接塊以及不鄰接于處理對象塊的非鄰接塊的再生圖像來生成預(yù)測圖像。此預(yù)測圖像被輸出給減法運(yùn)算部14以及加法運(yùn)算部18。
接著，減法運(yùn)算部14以像素為單位從處理對象塊的圖像(輸入圖像)減去對應(yīng)于該處理對象塊的圖像的預(yù)測圖像，生成預(yù)測殘差圖像(步驟S5)。此預(yù)測殘差圖像被輸出給變換部15。
接著，變換部15利用規(guī)定的變換規(guī)則來變換由減法運(yùn)算部14所生成的預(yù)測殘差圖像，計(jì)算出借助于該變換所得到的變換系數(shù)(變換信息)(步驟S6)。此變換系數(shù)被輸出給編碼部16以及逆變換部17。
接著，編碼部16基于規(guī)定的規(guī)則對由變換部15計(jì)算出的變換系數(shù)進(jìn)行熵編碼(步驟S7)。另外，編碼部16還基于規(guī)定的規(guī)則對在步驟S2中所決定的編碼方式信息進(jìn)行熵編碼，同時(shí)還基于規(guī)定的規(guī)則對在步驟S4中所選擇的預(yù)測圖像生成模式進(jìn)行熵編碼。這些經(jīng)過熵編碼的編碼數(shù)據(jù)作為壓縮數(shù)據(jù)(比特流)被輸出到處于外部的圖像解碼裝置。
接著，逆變換部17利用與由變換部15所采用的規(guī)定的變換規(guī)則相對應(yīng)的逆變換規(guī)則，對由變換部15所計(jì)算出的變換系數(shù)進(jìn)行逆變換，生成復(fù)原預(yù)測殘差圖像(步驟S8)。此復(fù)原預(yù)測殘差圖像被輸出到加法運(yùn)算部18。
接著，加法運(yùn)算部18對由預(yù)測圖像生成部13所生成的預(yù)測圖像和由逆變換部17所生成的復(fù)原預(yù)測殘差圖像進(jìn)行加法運(yùn)算以生成再生圖像(步驟S9)。此再生圖像借助于存儲部19保存到存儲器進(jìn)行存儲(步驟S10)。
接著，判定對于全部塊處理是否已結(jié)束(步驟S11)，在全部塊結(jié)束了的情況下(步驟S11；“是”)，將圖像編碼處理結(jié)束。另一方面，在全部塊未結(jié)束的情況下(步驟S11；“否”)，將處理轉(zhuǎn)移到步驟S2。
接著，就涉及本發(fā)明的實(shí)施方式的圖像編碼程序、以及記錄了該圖像編碼程序的計(jì)算機(jī)可讀取的記錄媒體(以下、簡單稱為記錄媒體)進(jìn)行說明。這里，記錄媒體是指對計(jì)算機(jī)的硬件資源中所具備的讀取裝置，依照程序的記述內(nèi)容引起磁、光、電等能量的變化狀態(tài)，并能夠以與其相對應(yīng)的信號的形式將程序的記述內(nèi)容傳達(dá)給讀取裝置的介質(zhì)。作為這種記錄媒體，例如，磁盤、光盤、CD-ROM、內(nèi)置于計(jì)算機(jī)的存儲器等就符合條件。
圖8是涉及第1實(shí)施方式的記錄媒體的構(gòu)成圖。記錄媒體100如圖8所示那樣，具備記錄程序的程序區(qū)域101。在此程序區(qū)域101上記錄著圖像編碼程序102。
圖14是表示用于執(zhí)行記錄媒體中所存儲的程序的計(jì)算機(jī)的硬件構(gòu)成的圖，圖15是用于執(zhí)行記錄媒體中所存儲的程序的計(jì)算機(jī)的透視圖。如圖15所示那樣，計(jì)算機(jī)110具備軟盤驅(qū)動(dòng)裝置、CD-ROM驅(qū)動(dòng)裝置、DVD驅(qū)動(dòng)裝置等讀取裝置112，使操作系統(tǒng)常駐的工作存儲器(RAM)114，存儲記錄媒體100中所存儲的程序的存儲器116，顯示器之類的顯示裝置118，作為輸入裝置的鼠標(biāo)20及鍵盤122，用于進(jìn)行數(shù)據(jù)等的收發(fā)的通信裝置124以及控制程序執(zhí)行的CPU126。
若記錄媒體100被插入讀取裝置112，計(jì)算機(jī)110就可由讀取裝置112對記錄媒體100中所保存的圖像編碼程序102進(jìn)行存取，借助于該圖像編碼程序102，作為圖像編碼裝置1進(jìn)行動(dòng)作就成為可能。
如圖15所示那樣，圖像編碼程序102也可以作為被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號130經(jīng)由網(wǎng)絡(luò)來進(jìn)行提供。在此情況下，計(jì)算機(jī)110就能夠?qū)⒂赏ㄐ叛b置124接收到的圖像編碼程序102保存在存儲器116中，以執(zhí)行圖像編碼程序102。
圖像編碼程序102具備圖像分割模塊102a、編碼方式?jīng)Q定模塊102b、預(yù)測圖像生成模塊102c、減法運(yùn)算模塊102d、變換模塊102e、編碼模塊102f、逆變換模塊102g、加算運(yùn)算模塊102h以及存儲模塊102i而構(gòu)成。這里，通過使圖像分割模塊102a、編碼方式?jīng)Q定模塊102b、預(yù)測圖像生成模塊102c、減法運(yùn)算模塊102d、變換模塊102e、編碼模塊102f、逆變換模塊102g、加算運(yùn)算模塊102h、存儲模塊102i分別動(dòng)作而實(shí)現(xiàn)的功能，與上述圖像編碼裝置1的圖像分割部11、編碼方式?jīng)Q定部12、預(yù)測圖像生成部13、減法運(yùn)算部14、變換部15、編碼部16、逆變換部17、加法運(yùn)算部18、存儲部19分別具有的功能相同。
根據(jù)第1實(shí)施方式的圖像編碼裝置1，關(guān)于編碼方式為填補(bǔ)編碼方式的區(qū)域，由于不需要在比特流中包含基于預(yù)測輔助信息的數(shù)據(jù)，所以編碼效率高的比特流就得以生成。
另外，預(yù)測圖像生成部13，在鄰接于處理對象塊的鄰接塊的編碼方式為填補(bǔ)編碼方式的情況下，就能夠利用不鄰接于處理對象塊的非鄰接塊的再生圖像來生成預(yù)測圖像。由此，就能夠不僅利用鄰接于處理對象塊的鄰接塊的再生圖像，還利用不鄰接于處理對象塊的非鄰接塊的再生圖像來生成預(yù)測圖像，所以生成預(yù)測圖像時(shí)的參考范圍就得以擴(kuò)大，并能夠削減空間冗余度，同時(shí)還能夠使編碼效率進(jìn)一步提高。另外，通過效率良好地選定填補(bǔ)編碼方式的圖像，生成預(yù)測圖像時(shí)的參考范圍就效率良好地得以擴(kuò)大，空間的冗余度就進(jìn)一步得以削減。
接著，對本發(fā)明的第2實(shí)施方式進(jìn)行說明。此圖像解碼裝置，接收從第1實(shí)施方式的圖像編碼裝置輸出的壓縮數(shù)據(jù)(包含編碼數(shù)據(jù))、即比特流，并對此接收到的比特流進(jìn)行解碼以生成再生圖像數(shù)據(jù)。
圖9是示例與第2實(shí)施方式相關(guān)的圖像解碼裝置之構(gòu)成的圖。圖9所示的圖像解碼裝置2在物理上可以是具備例如，CPU(中央處理裝置)、存儲器之類的存儲裝置、顯示器之類的顯示裝置、通信裝置等的計(jì)算機(jī)。另外，圖像解碼裝置2也可以是攜帶式電話之類的移動(dòng)通信終端、DVD設(shè)備等。即、在圖像解碼裝置2上可進(jìn)行信息處理的裝置能得以廣泛應(yīng)用。
圖9所示的圖像解碼裝置2具有解碼部(解碼單元)21、編碼方式判定部22、預(yù)測圖像生成部(第1圖像預(yù)測單元)23、逆變換部(逆變換單元)24、加法運(yùn)算部(再生圖像生成單元)25、存儲部(存儲單元)26、切換開關(guān)27、填補(bǔ)圖像生成部(第2圖像預(yù)測單元)28。
接著，就圖9所示的各構(gòu)成要素進(jìn)行說明。解碼部21接收與被分割成規(guī)定大小的塊的成為解碼處理對象的輸入圖像有關(guān)的輸入圖像信息(壓縮數(shù)據(jù))。解碼部21基于規(guī)定的規(guī)則對接收到的輸入圖像信息進(jìn)行熵解碼。變換系數(shù)、編碼方式信息以及預(yù)測方式信息通過此熵解碼而得以解碼。由于這些變換系數(shù)、編碼方式信息以及預(yù)測方式信息與對圖像編碼裝置1所說明過的差分圖像數(shù)據(jù)的變換系數(shù)、編碼方式信息以及預(yù)測方式信息相同故省略說明。
編碼方式判定部22根據(jù)按規(guī)定的掃描順序(例如，光柵掃描順序)所輸入的編碼方式信息來判定編碼方式是預(yù)測編碼處理方式或者填補(bǔ)編碼方式中的哪個(gè)。
這里，根據(jù)編碼方式判定部22的判定結(jié)果所進(jìn)行的處理因幀內(nèi)的掃描為第1回還是第2回而異。若具體地進(jìn)行說明就是當(dāng)幀內(nèi)的掃描為第1回時(shí)，在編碼方式被判定為是預(yù)測編碼處理方式的情況下對處理對象塊進(jìn)行包含上述的第1圖像預(yù)測處理的預(yù)測圖像解碼處理，而在編碼方式被判定為是填補(bǔ)編碼方式的情況下則讀入下一塊。另一方面，當(dāng)幀內(nèi)的掃描為第2回時(shí)，在編碼方式被判定為是填補(bǔ)編碼方式的情況下對處理對象塊進(jìn)行包含上述的圖像填補(bǔ)處理的填補(bǔ)圖像解碼處理，而在編碼方式被判定為是預(yù)測編碼處理方式的情況下則讀入下一塊。即、在第1回僅對是預(yù)測編碼處理方式的處理對象塊進(jìn)行包含圖像預(yù)測處理的預(yù)測圖像解碼處理，而在第2回則僅對是填補(bǔ)編碼方式的處理對象塊進(jìn)行包含圖像填補(bǔ)處理的填補(bǔ)圖像解碼處理。
預(yù)測圖像生成部23按照根據(jù)被解碼的預(yù)測方式信息所確定的預(yù)測方式，利用在各塊的圖像之中已經(jīng)被解碼、并存儲在存儲部26中的再生圖像的一部分，生成成為解碼處理的對象的處理對象塊的預(yù)測圖像。由于用于生成此預(yù)測圖像的圖像預(yù)測處理與上述的第1圖像預(yù)測處理(參照圖2、圖3)相同故省略說明。
逆變換部24對被解碼的變換系數(shù)，利用與上述的變換部15中所采用的規(guī)定的變換規(guī)則相對應(yīng)的逆變換規(guī)則進(jìn)行逆變換，并生成通過該逆變換所得到的復(fù)原預(yù)測殘差圖像。
加法運(yùn)算部25將預(yù)測圖像與對應(yīng)于該預(yù)測圖像的復(fù)原預(yù)測殘差圖像相加以生成再生圖像。此外，加法運(yùn)算部25在對圖像的像素值設(shè)定有特定的范圍的情況下，也可以進(jìn)行限幅處理以使像素值收納于特定的范圍內(nèi)。
存儲部26使由加法運(yùn)算部25所生成的再生圖像存儲于未圖示的存儲器中。
切換開關(guān)27，依照處理對象塊的編碼方式來切換存儲部26中所存儲的再生圖像的送信目的地。即、切換開關(guān)27在編碼方式為預(yù)測編碼處理方式的情況下，對開關(guān)進(jìn)行切換以得能夠?qū)⒋鎯Σ?6中所保存的再生圖像發(fā)送給預(yù)測圖像生成部23。另一方面，在編碼方式為填補(bǔ)編碼方式的情況下，對開關(guān)進(jìn)行切換以得能夠?qū)⒋鎯Σ?6中所保存的再生圖像發(fā)送給填補(bǔ)圖像生成部28。
填補(bǔ)圖像生成部28，利用在處理對象塊的附近已經(jīng)被解碼的再生圖像來生成填補(bǔ)圖像。這里，由于生成填補(bǔ)圖像時(shí)的圖像填補(bǔ)處理與上述的圖像填補(bǔ)處理(參照圖6、第2圖像預(yù)測處理)相同故省略說明。
接著，參照圖10～圖12就圖像解碼裝置2的動(dòng)作以及圖像解碼處理進(jìn)行說明。首先，參照圖10就圖像解碼處理中的概要?jiǎng)幼鬟M(jìn)行說明。如圖10所示那樣，在圖像解碼處理中，首先，由解碼部21基于規(guī)定的規(guī)則對從第1實(shí)施方式中的圖像編碼裝置1接收到的1幀部分的輸入圖像信息進(jìn)行熵解碼，并生成變換系數(shù)、編碼方式信息以及預(yù)測方式信息(步驟S20)。接著，執(zhí)行在第1回的幀內(nèi)掃描中所進(jìn)行的預(yù)測圖像解碼處理(步驟S30)，接著，執(zhí)行在第2回的幀內(nèi)掃描中所進(jìn)行的填補(bǔ)圖像解碼處理(步驟S40)。
在下面，對預(yù)測圖像解碼處理(步驟S30)以及填補(bǔ)圖像解碼處理(步驟S40)中的各動(dòng)作按各自的處理分別詳細(xì)地進(jìn)行說明。
首先，參照圖11就預(yù)測圖像解碼處理的詳細(xì)動(dòng)作進(jìn)行說明。首先，編碼方式判定部22判定根據(jù)按規(guī)定掃描順序(例如，光柵掃描順序)而輸入的編碼方式信息所確定的編碼方式是否為預(yù)測編碼處理方式(步驟S31)。在此判定為“否”的情況下(步驟S31；“否”)，將處理轉(zhuǎn)移到后述的步驟S36。
另一方面，當(dāng)在步驟S31中的判定中，編碼方式被判定為是預(yù)測編碼處理方式的情況下(步驟S31；“是”)，預(yù)測圖像生成部23，按照由在上述的步驟S20(參照圖10)中被解碼的預(yù)測方式信息所確定的預(yù)測方式，利用在各塊的圖像之中已經(jīng)被解碼、并存儲在存儲部26中的再生圖像的一部分生成處理對象塊的預(yù)測圖像(步驟S32)。此外，生成此預(yù)測圖像的方法，取決于上述的第1圖像預(yù)測處理。另外，此預(yù)測圖像被輸出到加法運(yùn)算部25。
接著，逆變換部24對在上述的步驟S20(參照圖10)被解碼的變換系數(shù)，利用與在上述的變換部15中所采用的規(guī)定的變換規(guī)則相對應(yīng)的逆變換規(guī)則進(jìn)行逆變換，并生成通過該逆變換所得到的復(fù)原預(yù)測殘差圖像(步驟S33)。此復(fù)原預(yù)測殘差圖像被輸出到加法運(yùn)算部25。
接著，加法運(yùn)算部25將由預(yù)測圖像生成部23所生成的預(yù)測圖像與由逆變換部24進(jìn)行了逆變換的復(fù)原預(yù)測殘差圖像相加以生成再生圖像(步驟S34)。此再生圖像由存儲部26被保存在存儲器中而得以存儲(步驟S35)。
接著，判定處理對全部塊是否結(jié)束(步驟S36)，在全部塊的處理已結(jié)束的情況下(步驟S36；“是”)，結(jié)束預(yù)測圖像解碼處理。另一方面，在全部塊尚未結(jié)束的情況下(步驟S36；“否”)，將處理轉(zhuǎn)移到上述的步驟S31。
接著，參照圖12就填補(bǔ)圖像解碼處理(圖10的步驟S40)的詳細(xì)動(dòng)作進(jìn)行說明。首先，編碼方式判定部22判定根據(jù)按規(guī)定的掃描順序(例如，光柵掃描順序)而輸入的編碼方式信息所確定的編碼方式是否為填補(bǔ)編碼方式(步驟S41)。在此判定為“否”的情況下(步驟S41；“否”)，將處理轉(zhuǎn)移到后述的步驟S44。
另一方面，當(dāng)在步驟S41的判定中，編碼方式被判定為是填補(bǔ)編碼方式的情況下(步驟S4；“是”)，填補(bǔ)圖像生成部28對處理對象塊中所包含的每個(gè)處理對象像素，從各處理對象像素的周圍所存在的再生圖像取得相關(guān)關(guān)系成為最大的再生像素值而求得填補(bǔ)像素值，由此生成對應(yīng)于處理對象塊的填補(bǔ)圖像(步驟S42)。此外，生成此填補(bǔ)圖像的方法取決于上述的圖像填補(bǔ)處理(第2圖像預(yù)測處理)。
接著，由填補(bǔ)圖像生成部28所生成的填補(bǔ)圖像作為再生圖像由存儲部26保存在存儲器中而得以存儲(步驟S43)。
接著，判定處理對全部塊是否結(jié)束(步驟S44)，在全部塊已結(jié)束的情況下(步驟S44；“是”)，結(jié)束填補(bǔ)圖像解碼處理。另一方面，在全部塊尚未結(jié)束的情況下(步驟S44；“否”)，將處理轉(zhuǎn)移到上述的步驟S41。
圖13是涉及第2實(shí)施方式的記錄媒體之構(gòu)成圖。記錄媒體100如圖13所示那樣具備對程序進(jìn)行記錄的程序區(qū)域201。此程序區(qū)域201中記錄有圖像解碼程序202。
若記錄媒體100被插入讀取裝置112，則計(jì)算機(jī)110(參照圖14及圖15)，就可從讀取裝置112對記錄媒體100中所保存的圖像解碼程序202進(jìn)行訪問，由該圖像解碼程序202作為、圖像解碼裝置2進(jìn)行動(dòng)作就成為可能。
如圖15所示那樣，圖像解碼程序202也可以作為被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號130經(jīng)由網(wǎng)絡(luò)來進(jìn)行提供。在此情況下，計(jì)算機(jī)110就能夠?qū)⒂赏ㄐ叛b置124所接收到的圖像解碼程序202保存在存儲器116中，以執(zhí)行圖像解碼程序202。
圖像解碼程序202具備解碼模塊202a、編碼方式判定模塊202b、預(yù)測圖像生成模塊202c、逆變換模塊202d、加法運(yùn)算模塊202e、存儲模塊202f、切換開關(guān)模塊202g、填補(bǔ)圖像生成模塊202h而構(gòu)成。這里，通過使解碼模塊202a、編碼方式判定模塊202b、預(yù)測圖像生成模塊202c、逆變換模塊202d、加法運(yùn)算模塊202e、存儲模塊202f、切換開關(guān)模塊202g、填補(bǔ)圖像生成模塊202h分別進(jìn)行動(dòng)作而實(shí)現(xiàn)的功能與上述圖像解碼裝置2的解碼部21、編碼方式判定部22、預(yù)測圖像生成部23、逆變換部24、加法運(yùn)算部25、存儲部26、切換開關(guān)27、填補(bǔ)圖像生成部28各自具有的功能相同。
根據(jù)圖像解碼裝置2，就能夠?qū)τ蓤D像編碼裝置1效率良好地編碼了的圖像效率良好地進(jìn)行解碼。即、預(yù)測圖像生成部23在鄰接于處理對象塊的鄰接塊的編碼方式為填補(bǔ)編碼方式的情況下，就能夠利用不鄰接于處理對象塊的非鄰接塊的再生圖像來生成預(yù)測圖像。由此，就能夠不僅利用鄰接于處理對象塊的鄰接塊的再生圖像，還利用不鄰接于處理對象塊的非鄰接塊的再生圖像來生成預(yù)測圖像，所以生成預(yù)測圖像時(shí)的參考范圍就得以擴(kuò)大，并能夠削減空間上的冗余度。
另外，在編碼方式被判定為是填補(bǔ)編碼方式的情況下，能夠利用已經(jīng)被解碼的再生圖像，使對該再生圖像進(jìn)行填補(bǔ)的填補(bǔ)圖像得以生成。從而，即便在進(jìn)行編碼時(shí)不發(fā)送填補(bǔ)編碼方式的圖像也能夠使再生圖像生成。
此外，雖然在上述的各實(shí)施方式中，作為預(yù)測圖像生成部13、23中的圖像預(yù)測就利用了幀內(nèi)編碼處理的情況進(jìn)行了說明，但并不限于此，例如，也可以將運(yùn)動(dòng)補(bǔ)償預(yù)測包含在圖像預(yù)測中。在此情況下，運(yùn)動(dòng)矢量信息也進(jìn)行熵編碼。另外，作為此運(yùn)動(dòng)補(bǔ)償預(yù)測能夠利用與歷來所用的MPEG-4或H.264中的運(yùn)動(dòng)補(bǔ)償預(yù)測同樣的辦法。另外，還能夠應(yīng)用其他的任意運(yùn)動(dòng)補(bǔ)償預(yù)測手段。
另外，雖然在上述的各實(shí)施方式中，作為幀內(nèi)預(yù)測利用了在H.264中所用的空間區(qū)域上的預(yù)測，但幀內(nèi)預(yù)測并不限定于此。例如，還可以應(yīng)用在MPEG-4中所進(jìn)行的頻率區(qū)域上的預(yù)測。
在此情況下，在鄰接于上或左的塊已編碼或解碼完畢的情況下，將相鄰接的塊中的變換系數(shù)的全部或者一部分用作該編碼或解碼對象塊中的變換系數(shù)的預(yù)測值。在鄰接于上和左的塊都已編碼或解碼完畢的情況下，將表示鄰接于上或左的塊之中、將哪個(gè)塊的變換系數(shù)的全部或者一部分用作預(yù)測值的1位的數(shù)據(jù)作為預(yù)測方式信息進(jìn)行編碼。另外，在鄰接于上或左的塊之中某一方已編碼或解碼完畢的情況下，將該編碼或解碼完畢的塊中的正交變換系數(shù)的全部或者一部分用作預(yù)測值。
另一方面，在鄰接于上或左的塊哪個(gè)都未編碼或解碼完畢的情況下，將沿該塊的上方向或左方向存在于最近距離的編碼或解碼完畢的塊中的正交變換系數(shù)的全部或一部分用作預(yù)測值。但是，在沿上方向和左方向存在于最近距離的編碼或解碼完畢的塊沿上方向和左方向都存在于相同距離的情況下，則將表示沿上方向和左方向存在的塊之中、哪些塊的變換系數(shù)的全部或者一部分用作預(yù)測值的1位的數(shù)據(jù)作為預(yù)測方式信息來進(jìn)行編碼。另外，在編碼或解碼對象塊的沿上方向和左方向存在的全部塊尚未編碼或解碼完畢的情況下，僅DC成分作為設(shè)定值(例如128)來進(jìn)行預(yù)測。
另外，在上述的各實(shí)施方式中，還可以通過作為幀內(nèi)預(yù)測設(shè)預(yù)測值為0，以不進(jìn)行幀內(nèi)預(yù)測這樣來使之動(dòng)作。在此情況下也能夠通過圖像填補(bǔ)方式的導(dǎo)入使空間上的冗余度得以削減從而提高編碼效率。
另外，雖然在上述的各實(shí)施方式中，在圖像填補(bǔ)處理中利用與處理對象的幀同一空間內(nèi)的再生圖像來生成預(yù)測圖像，但是與該處理對象的幀不同的幀、再生圖像生成完畢的幀的再生圖像也可以被用于圖像填補(bǔ)處理。
另外，雖然在上述的第1實(shí)施方式中，通過圖像填補(bǔ)處理所生成的預(yù)測圖像原封不動(dòng)作為再生圖像進(jìn)行采用，但也可以在編碼側(cè)對該預(yù)測圖像與輸入圖像的預(yù)測殘差圖像進(jìn)行上述的變換處理及熵編碼后包含在比特流中。在此情況下，在解碼側(cè)通過對比特流的數(shù)據(jù)進(jìn)行解碼及逆變換處理來生成復(fù)原預(yù)測殘差圖像，將該復(fù)原預(yù)測殘差圖像與通過圖像填補(bǔ)處理所生成的預(yù)測圖像進(jìn)行相加由此來生成再生圖像。
下面，就本發(fā)明的第3實(shí)施方式進(jìn)行說明。
圖16是表示與第3實(shí)施方式相關(guān)的活動(dòng)圖像編碼裝置之構(gòu)成的圖。圖16所示的活動(dòng)圖像編碼裝置310，在物理上可以是具備例如，CPU(中央處理裝置)、存儲器之類的存儲裝置、顯示器之類的顯示裝置、通信裝置等的計(jì)算機(jī)。另外，活動(dòng)圖像編碼裝置310也可以是攜帶式電話之類的移動(dòng)通信終端、DVD設(shè)備等。即、在活動(dòng)圖像編碼裝置310上可進(jìn)行信息處理的裝置能得以廣泛應(yīng)用。
活動(dòng)圖像編碼裝置310在功能上具有區(qū)域分割部312、編碼方式?jīng)Q定部(決定單元)314、圖像預(yù)測部316、減法運(yùn)算部318、變換部(變換單元)320、編碼部(編碼單元)322、逆變換部(逆變換單元)324、加法運(yùn)算部(再生圖像生成單元)326、圖像存儲部(存儲單元)328。
區(qū)域分割部31 2將輸入視頻圖像(活動(dòng)圖像)的各幀依次作為編碼對象幀、并將編碼對象幀分割成規(guī)定大小的多個(gè)部分區(qū)域(以下、稱為宏塊)。規(guī)定大小例如可以是16×16像素的大小，但并不限定于此還可以是其他的大小。
區(qū)域分割部312另外還生成用于確定宏塊的宏塊位置信息。在宏塊位置信息上例如能夠利用對幀內(nèi)的各宏塊按光柵掃描順序升序的附加的整數(shù)編號。另外，在宏塊位置信息上還能夠利用按光柵掃描順序位于宏塊的開頭的像素的坐標(biāo)。
編碼方式?jīng)Q定部314求解各宏塊的編碼方式，并將用于確定該編碼方式的編碼方式信息輸出給圖像預(yù)測部316及編碼部322。在本實(shí)施方式中，此編碼方式信息是指用于確定應(yīng)通過第1圖像預(yù)測處理及第2圖像預(yù)測處理中的哪一個(gè)來生成宏塊的預(yù)測圖像的信息。下面，設(shè)第1圖像預(yù)測處理為運(yùn)動(dòng)補(bǔ)償預(yù)測處理來進(jìn)行本實(shí)施方式的說明。另外，下面在本說明書中把對宏塊應(yīng)通過第1圖像預(yù)測處理來進(jìn)行處理的情況下的編碼方式稱為P方式，把應(yīng)第2圖像預(yù)測處理來進(jìn)行處理的情況下的編碼方式稱為C方式。此外，第1圖像預(yù)測處理并不限定于運(yùn)動(dòng)補(bǔ)償預(yù)測處理。在第1圖像預(yù)測處理上例如能夠利用公知的幀內(nèi)預(yù)測之類的處理。關(guān)于第1圖像預(yù)測處理及第2圖像預(yù)測處理的細(xì)節(jié)將在后面敘述。
圖像預(yù)測部316基于由編碼方式?jīng)Q定部314所輸出的編碼方式信息，利用第1預(yù)測圖像處理或者第2預(yù)測圖像處理的一方來生成處理對象的宏塊的預(yù)測圖像。圖像預(yù)測部316在通過第1圖像預(yù)測處理對宏塊進(jìn)行了處理的情況下，將作為預(yù)測輔助信息的運(yùn)動(dòng)矢量輸出給編碼部322。關(guān)于圖像預(yù)測部316的細(xì)節(jié)將在后面進(jìn)行敘述。
減法運(yùn)算部318執(zhí)行由圖像預(yù)測部316所生成的處理對象的宏塊的預(yù)測圖像、與從區(qū)域分割部312輸出的處理對象的宏塊的輸入圖像的差運(yùn)算以生成預(yù)測殘差圖像。
變換部320對預(yù)測殘差圖像進(jìn)行變換以生成變換信息。在此變換上能夠利用例如、DCT(離散余弦變換Discrete Cosine Transform)之類的變換處理和逆量化處理。在此情況下，在變換信息中就包含量化系數(shù)的集合。作為DCT能夠利用4行4列的2維DCT、或者8行8列的二維DCT。此外，在此變換上還能夠利用在H.264中所用的4行4列的整數(shù)正交變換及量化、MP法(Matiching Pursuit)、或者矢量量化及子波變換等任意的變換處理·量化處理。
編碼部322利用熵編碼之類的編碼處理對來自區(qū)域分割部312的宏塊位置信息、來自編碼方式?jīng)Q定部314的編碼方式信息、來自圖像預(yù)測部316的運(yùn)動(dòng)矢量以及來自變換部320的變換信息進(jìn)行編碼，并將編碼的結(jié)果包含在比特流中進(jìn)行輸出。
逆變換部324通過對來自變換部320的變換信息進(jìn)行逆變換，生成對預(yù)測殘差圖像進(jìn)行了復(fù)原的復(fù)原預(yù)測殘差圖像。在變換信息包含量化系數(shù)的集合的情況下，逆變換部324對量化系數(shù)實(shí)施逆量化處理及逆變換處理，生成對預(yù)測殘差圖像進(jìn)行了復(fù)原的復(fù)原預(yù)測殘差圖像。
加法運(yùn)算部326通過將來自逆變換部324的復(fù)原預(yù)測殘差圖像與來自圖像預(yù)測部316的預(yù)測圖像相加來生成再生圖像，使其編入再生幀并存儲在圖像存儲部328中。此外，在對圖像數(shù)據(jù)的像素值設(shè)定有范圍的情況下，加法運(yùn)算部326也可以對加法運(yùn)算結(jié)果的像素值進(jìn)行限幅處理以使其收納于該范圍內(nèi)圖像存儲部328存儲編入了編碼對象幀的宏塊的生成完畢的再生圖像的再生幀以及參考幀。此參考幀是與編碼對象幀不同的幀的再生幀，在本實(shí)施方式中為前一幀的再生幀。
對編碼方式?jīng)Q定部314詳細(xì)地進(jìn)行說明。圖17是用于說明編碼方式?jīng)Q定部的處理的圖。在圖17中，四邊形的區(qū)域表示宏塊、帶箭頭記號的實(shí)線及虛線表示掃描順序。
編碼方式?jīng)Q定部314如該圖(a)所示那樣，首先，以規(guī)定的掃描順序(例如，光柵掃描順序)經(jīng)由借助于第1圖像預(yù)測處理(運(yùn)動(dòng)補(bǔ)償預(yù)測處理)的編碼對象幀的全部宏塊的預(yù)測圖像的生成(即、以P方式來生成預(yù)測圖像)后生成由編碼對象幀的全部宏塊的再生圖像組成的再生幀。
編碼方式?jīng)Q定部314如該圖(b)所示那樣，按與上述相反的掃描順序經(jīng)由借助于第2圖像預(yù)測處理的編碼對象幀的全部宏塊的預(yù)測圖像的生成后生成編碼對象幀的全部宏塊的再生圖像。
編碼方式?jīng)Q定部314在利用第2圖像預(yù)測處理生成預(yù)測圖像時(shí)，利用自處理對象的宏塊、按規(guī)定的掃描順序位于前方的宏塊的再生圖像、按規(guī)定的掃描順序位于后方的宏塊之中編碼方式為P方式的宏塊的再生圖像、圖像存儲部328中所存儲的參考幀。例如，如該圖(c)所示那樣，若設(shè)附加了“A”的宏塊為處理對象的宏塊，則利用再生幀的宏塊之中比宏塊A靠前方的宏塊的再生圖像、比A靠后方且編碼方式為P方式的宏塊的再生圖像(在圖中附加“P”的宏塊)、以及圖像存儲部328中所存儲的參考幀來進(jìn)行第2圖像預(yù)測處理。關(guān)于第2圖像預(yù)測處理的細(xì)節(jié)將在后面進(jìn)行敘述。
編碼方式?jīng)Q定部314每當(dāng)經(jīng)第2圖像預(yù)測處理而生成再生圖像，就通過進(jìn)行與經(jīng)第1圖像預(yù)測處理所生成的再生圖像以及經(jīng)第2圖像預(yù)測處理所生成的再生圖像各自有關(guān)的成本計(jì)算來決定編碼方式。
此成本，例如在設(shè)處理對象的宏塊的編碼所需要的位數(shù)為R、設(shè)該宏塊的再生圖像的各像素與該宏塊的輸入圖像的各像素之誤差的二乘和為D、以及設(shè)預(yù)先所設(shè)定的系數(shù)為λ的情況下，通過D+λ·R來進(jìn)行計(jì)算。編碼方式?jīng)Q定部314將P方式或者C方式之中、此成本較小一方的方式選擇為編碼方式。此外，只要成本能夠表現(xiàn)編碼效率或/和圖像質(zhì)量，則通過任何函數(shù)來求解均可。
下面，對圖像預(yù)測部316詳細(xì)地進(jìn)行說明。圖18是表示圖像預(yù)測部316的構(gòu)成的框圖。圖像預(yù)測部316具備方式切換部330、第1圖像預(yù)測部(第1圖像預(yù)測單元)332、第2圖像預(yù)測部(第2圖像預(yù)測單元)334。
方式切換部330接收來自編碼方式?jīng)Q定部314的編碼方式信息，并按照根據(jù)該編碼方式信息所確定的編碼方式，啟動(dòng)第1圖像預(yù)測部332或者第2圖像預(yù)測部334。方式切換部330在編碼方式為P方式的情況下啟動(dòng)第1圖像預(yù)測部332，在編碼方式為C方式的情況下則啟動(dòng)第2圖像預(yù)測部334。
在活動(dòng)圖像編碼裝置310中，方式切換部330最初使編碼對象幀的全部宏塊之中、編碼方式為P方式的全部宏塊的預(yù)測圖像由第1圖像預(yù)測部332進(jìn)行生成。之后，方式切換部330使編碼對象幀的全部宏塊之中、編碼方式為C方式的宏塊的預(yù)測圖像由第2圖像預(yù)測部334進(jìn)行生成。
第1圖像預(yù)測部332如上述那樣，通過第1圖像預(yù)測處理、即、運(yùn)動(dòng)補(bǔ)償預(yù)測處理來生成再生圖像。運(yùn)動(dòng)補(bǔ)償預(yù)測處理是指進(jìn)行處理對象的宏塊的輸入圖像與參考幀的任意區(qū)域的塊匹配，將相關(guān)性最高的參考幀的區(qū)域的部分圖像作為再生圖像來采用，并產(chǎn)生向該區(qū)域的運(yùn)動(dòng)矢量發(fā)處理。此相關(guān)性例如利用處理對象的宏塊的輸入圖像與匹配對象的區(qū)域的再生圖像的差分二乘和D、從處理對象的宏塊至該區(qū)域的運(yùn)動(dòng)矢量的編碼上所需要的數(shù)據(jù)長度R以及預(yù)先決定的系數(shù)λ，根據(jù)D+λR的評價(jià)函數(shù)而求得。此外，運(yùn)動(dòng)補(bǔ)償預(yù)測處理也可以利用將參考幀以2倍或者4倍進(jìn)行了上升抽樣的圖像來執(zhí)行。另外，還可以在將宏塊更小地進(jìn)行了分割的小塊上執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測處理。在此情況下，表示每個(gè)小塊的運(yùn)動(dòng)矢量和宏塊的分割種類的宏塊分割方式就被輸出。
第2圖像預(yù)測部334利用第2圖像預(yù)測處理，生成編碼方式被決定為C方式的宏塊的預(yù)測圖像。圖19是用于說明第2圖像預(yù)測處理的圖。在第2圖像預(yù)測處理中，再生圖像未生成的宏塊Y被選擇。在此宏塊Y之中，未賦予再生圖像的像素值(預(yù)測信號)的未處理的像素被選擇、部分地包含該像素的模板T被設(shè)定。雖然在本實(shí)施方式中，以上述未處理的像素為中心的模板T被設(shè)定，但只要包含有處理完畢的像素和未處理的像素，則模板T可以是任意的大小及形狀。另外，對于宏塊Y對再生幀F(xiàn)1設(shè)定任意大小的參考區(qū)域R。另外，對圖像存儲部328中所存儲的參考幀F(xiàn)2也設(shè)定參考區(qū)域R。參考幀F(xiàn)2中的參考區(qū)域R也可以被設(shè)置于與設(shè)置在再生幀F(xiàn)1的參考區(qū)域R的位置相當(dāng)?shù)膮⒖紟現(xiàn)2的位置?；蛘?，參考幀F(xiàn)2中的參考區(qū)域R還可以被設(shè)置于偏離了與由宏塊Y周圍的宏塊的運(yùn)動(dòng)矢量的中間值組成的運(yùn)動(dòng)矢量相當(dāng)?shù)某潭鹊奈恢谩?br> 在第2圖像預(yù)測處理中，求得處于參考區(qū)域R中的任意位置的再生圖像生成完畢的候補(bǔ)區(qū)域S與模板T的相關(guān)性，相關(guān)性最高的候補(bǔ)區(qū)域被選擇為復(fù)制參考區(qū)域Sc。此相關(guān)性例如，根據(jù)將在模板T與候補(bǔ)區(qū)域S雙方的對應(yīng)位置上有再生圖像的像素值的像素設(shè)為有效像素，并將模板T與候補(bǔ)區(qū)域S的有效像素的像素值的差分值的二乘和、即匹配誤差M除以有效像素?cái)?shù)U的值而求出。此外，只要相關(guān)性能夠表現(xiàn)模板T與候補(bǔ)區(qū)域S的圖像的類似度則通過任意的運(yùn)算方法來求解均可。
在第2圖像預(yù)測處理中，在模板T之中未賦予再生圖像的像素值的未處理的像素上，復(fù)制參考區(qū)域Sc所對應(yīng)像素所像素值被復(fù)制為填補(bǔ)像素值。在圖19中，在模板T的再生圖像生成完畢的部分附著影線。在圖19中示出在模板T內(nèi)的再生圖像未生成的區(qū)域(模板T內(nèi)的下部)、賦予復(fù)制參考區(qū)域Sc的下部的像素值的情形。在第2圖像預(yù)測處理中，就各宏塊反復(fù)進(jìn)行像素的選擇直到未賦予再生圖像的像素值的未處理的像素變無為止，生成再生圖像。
下面，就活動(dòng)圖像編碼裝置310的動(dòng)作進(jìn)行說明。同時(shí)就涉及本發(fā)明的實(shí)施方式的活動(dòng)圖像編碼方法一并進(jìn)行說明。圖20是涉及第3實(shí)施方式的活動(dòng)圖像編碼方法的流程圖。
如圖20所示那樣，在活動(dòng)圖像編碼裝置310中的編碼處理過程中，由區(qū)域分割部312將編碼對象幀分割成多個(gè)宏塊(步驟S301)。另外，由區(qū)域分割部312生成上述的宏塊位置信息。
接著，由編碼方式?jīng)Q定部314執(zhí)行對各宏塊的編碼方式進(jìn)行決定的編碼方式?jīng)Q定處理(步驟S302)。圖21是涉及第3實(shí)施方式的活動(dòng)圖像編碼方法中的編碼方式?jīng)Q定處理的流程圖。如圖21所示那樣，在編碼方式?jīng)Q定處理中，首先，按掃描順序(光柵掃描順序)經(jīng)第1圖像預(yù)測處理(運(yùn)動(dòng)補(bǔ)償預(yù)測處理)生成由全部宏塊的再生圖像組成的再生幀(步驟S302-1)。
接著，按掃描順序最終的宏塊被選擇為處理對象的宏塊(步驟S302-2)，執(zhí)行上述的第2圖像預(yù)測處理。在第2圖像預(yù)測處理中，利用如上述那樣在經(jīng)步驟S302-1所生成的再生幀之中、相對于處理對象的宏塊按掃描順序位于前方的宏塊的再生圖像、相對于處理對象的宏塊按掃描順序位于后方的宏塊之中編碼方式為P方式的宏塊的再生圖像以及參考幀生成再生圖像。
接著，在步驟S302-3中所生成的處理對象的宏塊的再生圖像與在步驟S302-1中所生成的對應(yīng)的宏塊的再生圖像的成本利用上述的成本函數(shù)分別進(jìn)行求解(步驟S302-4)。接著，第1圖像預(yù)測處理、即P方式、或者第2圖像預(yù)測處理、即C方式之中、成本較低一方的方式被選擇為編碼方式(步驟S302-5)。
接著，檢查全部宏塊的處理是否結(jié)束(步驟S302-6)。在全部宏塊的處理已結(jié)束的情況(是)下編碼方式的決定處理結(jié)束。另一方面，在全部宏塊的處理尚未結(jié)束的情況下(否)，在逆掃描順序選擇編碼方式尚未決定的宏塊(步驟S302-7)，反復(fù)進(jìn)行從步驟S302-3到步驟S302-6的處理。
返回圖20，接著，在活動(dòng)圖像編碼裝置310中由編碼部322對編碼方式信息進(jìn)行編碼(步驟S303)。接著，由方式切換部330按規(guī)定的掃描順序(例如，光柵掃描順序)，將宏塊選擇為處理對象，并檢查處理對象的宏塊的編碼方式是否為P方式(第1圖像預(yù)測處理)(步驟S304)。在編碼方式不是P方式的情況下(否)，處理過程轉(zhuǎn)移到步驟S312。另一方面，在編碼方式為P方式的情況下(是)，方式切換部330啟動(dòng)第1圖像預(yù)測部332通過第1圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像(步驟S305)。
接著，由減法運(yùn)算部318生成由處理對象的宏塊的輸入圖像與預(yù)測圖像之差組成的預(yù)測殘差圖像(步驟S306)。接著，由變換部320將此預(yù)測殘差圖像變換成變換信息(步驟S307)。接著，由編碼部322對運(yùn)動(dòng)矢量以及變換信息進(jìn)行熵編碼(步驟S308)。
接著，由逆變換部324對變換信息實(shí)施逆變換以生成復(fù)原了預(yù)測殘差圖像的復(fù)原預(yù)測殘差圖像(步驟S309)。接著，通過由加法運(yùn)算部326將此復(fù)原預(yù)測殘差圖像與來自圖像預(yù)測部316的預(yù)測圖像相加以生成處理對象的宏塊的再生圖像(步驟S310)。此再生圖像被編入再生幀、并存儲在圖像存儲部328中(步驟S311)。
接著，檢查全部宏塊的處理是否已結(jié)束(步驟S312)。在全部宏塊的處理尚未結(jié)束的情況下(否)，選擇未處理的宏塊后反復(fù)進(jìn)行從步驟S304到步驟S312的處理。另一方面，在全部宏塊的處理已結(jié)束的情況下(是)，處理過程轉(zhuǎn)移至步驟S313。
在步驟S313中，由方式切換部330按規(guī)定的掃描順序(例如，光柵掃描順序)將宏塊選擇為處理對象，并檢查處理對象的宏塊的編碼方式是否為C方式(第2圖像預(yù)測處理)。在編碼方式不是C方式的情況下(否)，處理轉(zhuǎn)移到步驟S321。
另一方面，在編碼方式為C方式的情況下(是)，方式切換部330啟動(dòng)第2圖像預(yù)測部334，通過第2圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像(步驟S314)。圖22是涉及第3實(shí)施方式的活動(dòng)圖像編碼方法中的第2圖像預(yù)測處理的流程圖。
如圖22所示那樣，在第2圖像預(yù)測處理中，再生圖像未生成的塊被選擇。在本實(shí)施方式中，編碼方式為C方式的宏塊作為處理對象的宏塊按規(guī)定的掃描順序被選擇(步驟S314-1)。
接著，針對處理對象的宏塊的參考區(qū)域如上述那樣進(jìn)行設(shè)定(步驟S314-2)。接著，宏塊內(nèi)的再生面像未生成的像素被選擇(步驟S314～3)，部分地包含將該像素的模板被設(shè)定(步驟S314-4)。
此模板與參考區(qū)域中的候補(bǔ)區(qū)域的相關(guān)性如上述那樣進(jìn)行運(yùn)算(步驟S314-5)，相關(guān)性最高的候補(bǔ)區(qū)域被選擇為復(fù)制參考區(qū)域(步驟S314-6)。
接著，在再生圖像的像素值未被賦予的模板內(nèi)的未處理的像素上復(fù)制參考區(qū)域的對應(yīng)像素的像素值被復(fù)制(步驟S314-7)。接著，檢查在處理對象的宏塊內(nèi)是否有再生像素的像素值未被賦予的未處理的像素(步驟S314-8)。在有未處理的像素的情況下(是)，選擇該未處理的像素(步驟S314-9)并反復(fù)進(jìn)行步驟S314-4～步驟S314-8的處理。另一方面，在處理對象的宏塊內(nèi)沒有未處理的像素的情況下，第2圖像預(yù)測處理(步驟S314)結(jié)束。
返回圖20，在活動(dòng)圖像編碼裝置310中，由減法運(yùn)算部318，生成由處理對象的宏塊的輸入圖像與通過第2圖像預(yù)測處理所生成的預(yù)測圖像之差組成的預(yù)測殘差圖像(步驟S315)。
接著，由變換部320，將此預(yù)測殘差圖像變換成變換信息(步驟S316)。接著，由編碼部322對變換信息進(jìn)行熵編碼(步驟S317)。
接著，由逆變換部324對變換信息進(jìn)行逆變換，以生成復(fù)原了預(yù)測殘差圖像的復(fù)原預(yù)測殘差圖像(步驟S318)。接著，由加法運(yùn)算部326將此復(fù)原預(yù)測殘差圖像與來自圖像預(yù)測部316的預(yù)測圖像相加，生成處理對象的宏塊的再生圖像(步驟S319)。此再生圖像被編入再生幀，并存儲在圖像存儲部328中(步驟S320)。
接著，檢查全部宏塊的處理是否已結(jié)束(步驟S321)。在全部宏塊的處理尚未結(jié)束的情況下(否)，選擇未處理的宏塊后反復(fù)進(jìn)行從步驟S313到步驟S321的處理。另一方面，在全部宏塊的處理已結(jié)束的情況下(是)，編碼的處理過程就結(jié)束。
下面，就用于使計(jì)算機(jī)作為活動(dòng)圖像編碼裝置310來動(dòng)作的活動(dòng)圖像編碼程序進(jìn)行說明。圖23是將與第3實(shí)施方式相關(guān)的活動(dòng)圖像編碼程序之構(gòu)成與記錄媒體一起進(jìn)行表示的圖。圖23所示的活動(dòng)圖像編碼程序340被保存在記錄媒體100中進(jìn)行提供。作為記錄媒體100，軟盤、CD-ROM、DVD、或者ROM等記錄媒體或者半導(dǎo)體存儲器等得以示例。
若記錄媒體100被插入讀取裝置112，則計(jì)算機(jī)110(參照圖14及圖15)就可從讀取裝置112對記錄媒體100中所保存的活動(dòng)圖像編碼程序340進(jìn)行訪問，由該活動(dòng)圖像編碼程序340作為活動(dòng)圖像編碼裝置310進(jìn)行動(dòng)作就成為可能。
如圖15所示那樣，活動(dòng)圖像編碼程序340還可以作為被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號130經(jīng)由網(wǎng)絡(luò)來進(jìn)行提供。在此情況下，計(jì)算機(jī)110就能夠?qū)⒂赏ㄐ叛b置124所接收到的活動(dòng)圖像編碼程序340保存在存儲器116中，以執(zhí)行該活動(dòng)圖像編碼程序340。
如圖23所示那樣，活動(dòng)圖像編碼程序340具備對處理進(jìn)行統(tǒng)括的主模塊341、區(qū)域分割模塊342、編碼方式?jīng)Q定模塊344、圖像預(yù)測模塊346、減法運(yùn)算模塊348、變換模塊350、編碼模塊352、逆變換模塊354、加法運(yùn)算模塊356以及圖像存儲模塊358。圖像預(yù)測模塊346具有方式切換模塊360、第1圖像預(yù)測模塊362和第2圖像預(yù)測模塊364。
區(qū)域分割模塊342、編碼方式?jīng)Q定模塊344、圖像預(yù)測模塊346、減法運(yùn)算模塊348、變換模塊350、編碼模塊352、逆變換模塊354、加法運(yùn)算模塊356、圖像存儲模塊358、方式切換模塊360、第1圖像預(yù)測模塊362、第2圖像預(yù)測模塊364各自使計(jì)算機(jī)實(shí)現(xiàn)的功能，與上述的區(qū)域分割部312、編碼方式?jīng)Q定部314、圖像預(yù)測部316、減法運(yùn)算部318、變換部320、編碼部322、逆變換部324、加法運(yùn)算部326、圖像存儲部328、方式切換部330、第1圖像預(yù)測部332以及第2圖像預(yù)測部334之中對應(yīng)的部分相同。
下面，就活動(dòng)圖像編碼裝置310的作用及效果進(jìn)行說明。根據(jù)第3實(shí)施方式的圖像編碼裝置310，由于對編碼方式為C方式的宏塊、即通過第2圖像預(yù)測處理生成預(yù)測圖像的宏塊，不需要將基于預(yù)測輔助信息的數(shù)據(jù)包含在比特流中，所以編碼效率高的比特流就得以生成。
在活動(dòng)圖像編碼裝置310中，第2圖像預(yù)測部334利用參考幀以及編碼對象幀的再生幀來生成預(yù)測圖像。在此再生幀中，就包含有經(jīng)第1圖像預(yù)測處理及第2圖像預(yù)測處理已經(jīng)被生成的再生圖像。即、第2圖像預(yù)測部334利用由與編碼對象幀不同的幀的再生圖像組成的參考幀與由編碼對象幀的再生圖像組成的再生幀來生成預(yù)測圖像。從而，時(shí)間方向及空間方向的冗余度被削減的編碼數(shù)據(jù)就得以生成。
另外，在第2圖像預(yù)測處理中，利用包含經(jīng)第1圖像預(yù)測處理及第2圖像預(yù)測處理已經(jīng)被生成的再生圖像的再生幀。從而，就能夠?qū)磼呙桧樞蛭挥诤蠓降脑偕鷪D像也用于預(yù)測，所以就能夠更加有效地削減空間方向的冗余度。
下面，就本發(fā)明的第4實(shí)施方式的活動(dòng)圖像解碼裝置進(jìn)行說明。圖24是表示涉及第4實(shí)施方式的活動(dòng)圖像解碼裝置之構(gòu)成的圖。圖24所示的活動(dòng)圖像解碼裝置370在物理上可以是具備CPU(中央處理裝置)、存儲器之類的存儲裝置、顯示器之類的顯示裝置、通信裝置等的計(jì)算機(jī)。另外，活動(dòng)圖像解碼裝置370也可以是攜帶式電話之類的移動(dòng)通信終端、DVD裝置等。即、在活動(dòng)圖像解碼裝置370上可進(jìn)行信息處理可能的裝置能得以廣泛應(yīng)用。
如圖24所示那樣，活動(dòng)圖像解碼裝置370具備解碼部(解碼單元)372、逆變換部(逆變換單元)374、圖像預(yù)測部376、加法運(yùn)算部(再生圖像生成單元)378、圖像存儲部(存儲單元)380。
解碼部372接收所輸入的比特流并對該比特流進(jìn)行解碼。在接收由活動(dòng)圖像編碼裝置310所生成的比特流的情況下，解碼部372對該比特流進(jìn)行解碼，產(chǎn)生宏塊位置信息、編碼方式信息、運(yùn)動(dòng)矢量以及變換信息。
逆變換部374從解碼部372接收變換信息，并對處理對象的宏塊的變換信息實(shí)施逆變換，由此生成該處理對象宏塊的復(fù)原預(yù)測殘差圖像。逆變換部374將此復(fù)原預(yù)測殘差圖像輸出到加法運(yùn)算部378。此外，由逆變換部374進(jìn)行的處理是與活動(dòng)圖像編碼裝置310的逆變換部324同樣的處理。
圖像預(yù)測部376生成處理對象的宏塊的預(yù)測圖像，并將該預(yù)測圖像輸出到加法運(yùn)算部378。圖像預(yù)測部376具有方式切換部382、第1圖像預(yù)測部(第1圖像預(yù)測單元)384和第2圖像預(yù)測部(第2圖像預(yù)測單元)386。方式切換部382基于來自解碼部372的編碼方式信息啟動(dòng)第1圖像預(yù)測部384或者第2圖像預(yù)測部386。第1圖像預(yù)測部384通過第1圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像，第2圖像預(yù)測部386則通過第2圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像。由圖像預(yù)測部376中所包含的這些要素進(jìn)行的處理與由活動(dòng)圖像編碼裝置310的圖像預(yù)測部316中對應(yīng)的要素進(jìn)行的處理相同。
加法運(yùn)算部378將來自圖像預(yù)測部376的預(yù)測圖像與來自逆變換部374的復(fù)原預(yù)測殘差圖像相加，生成處理對象的宏塊的再生圖像，并使其存儲在圖像存儲部380中。此外，在對圖像數(shù)據(jù)的像素值設(shè)定有范圍的情況下，加法運(yùn)算部378也可以對加法運(yùn)算結(jié)果的像素值進(jìn)行限幅以使其收納于該范圍內(nèi)。
圖像存儲部380存儲編入了生成完畢的再生圖像的解碼對象幀的再生幀和參考幀。參考幀如上述那樣是與解碼對象幀不同的幀的再生幀，在本實(shí)施方式中為解碼對象幀的前一幀的再生幀。
下面，就活動(dòng)圖像解碼裝置370的動(dòng)作進(jìn)行說明。同時(shí)就涉及本發(fā)明的實(shí)施方式的活動(dòng)圖像解碼方法進(jìn)行說明。圖25是涉及第4實(shí)施方式的活動(dòng)圖像解碼方法的流程圖。
如圖25所示那樣，在活動(dòng)圖像解碼裝置370中的解碼處理過程中，首先，由解碼部372將解碼對象幀的全部宏塊的編碼方式信息從比特流進(jìn)行解碼(步驟S331)。
接著，由方式切換部382按規(guī)定的掃描順序(例如，光柵掃描順序)將宏塊選擇為處理對象，并檢查處理對象的宏塊的編碼方式是否為P方式(第1圖像預(yù)測處理)(步驟S332)。在編碼方式不是P方式的情況下(否)，處理過程轉(zhuǎn)移到步驟S338。另一方面，在編碼方式為P方式的情況下(是)，由解碼部372從比特流對處理對象的宏塊的變換信息以及運(yùn)動(dòng)矢量進(jìn)行熵解碼(步驟S333)。接著，方式切換部382啟動(dòng)第1圖像預(yù)測部384，通過第1圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像(步驟S34)。
接著，由逆變換部374對變換信息實(shí)施逆變換以生成復(fù)原預(yù)測殘差圖像(步驟S335)。接著，由加法運(yùn)算部378，將此復(fù)原預(yù)測殘差圖像與預(yù)測圖像相加以生成再生圖像(步驟S336)。此再生圖像被編入再生幀、并存儲在圖像存儲部380中(步驟S337)。
接著，檢查全部宏塊的處理是否已結(jié)束(步驟S338)。在全部塊的處理尚未結(jié)束的情況(否)下，選擇未處理的宏塊后反復(fù)進(jìn)行從步驟S332到步驟S338的處理。
另一方面，在全部塊的處理已結(jié)束的情況下(是)，處理過程轉(zhuǎn)移到步驟S339。在步驟S339中，由方式切換部82按規(guī)定的掃描順序(例如，光柵掃描順序)將宏塊選擇為處理對象，并檢查處理對象的宏塊的編碼方式是否為C方式(第2圖像預(yù)測處理)(步驟S339)。在編碼方式不是C方式的情況下(否)，處理過程轉(zhuǎn)移到步驟S345。另一方面，在編碼方式為C方式的情況下(是)由解碼部372從比特流中對處理對象的宏塊的變換信息進(jìn)行熵解碼(步驟S340)。接著，方式切換部382啟動(dòng)第2圖像預(yù)測部386，通過第2圖像預(yù)測處理生成處理對象的宏塊的預(yù)測圖像(步驟S341)。
接著，由逆變換部374對變換信息實(shí)施逆變換以生成復(fù)原預(yù)測殘差圖像(步驟S342)。接著，由加法運(yùn)算部378將此復(fù)原預(yù)測殘差圖像與預(yù)測圖像相加以生成再生圖像(步驟S343)。此再生圖像被編入再生幀、并存儲在圖像存儲部380中(步驟S344)。
接著，檢查全部宏塊的處理是否已結(jié)束(步驟S345)。在全部塊的處理尚未結(jié)束的情況下(否)，選擇未處理的宏塊后反復(fù)進(jìn)行從步驟S339到步驟S345的處理。另一方面，在全部塊的處理已結(jié)束的情況下(是)，解碼的處理過程就結(jié)束。
下面，就用于使計(jì)算機(jī)作為活動(dòng)圖像解碼裝置370來動(dòng)作的活動(dòng)圖像解碼程序進(jìn)行說明。圖26是將涉及第4實(shí)施方式的活動(dòng)圖像解碼程序之構(gòu)成與記錄媒體一起進(jìn)行表示的圖。圖26所示的活動(dòng)圖像解碼程序390被保存在記錄媒體100中進(jìn)行提供。作為記錄媒體100，軟盤、CD-ROM、DVD、或者ROM等記錄媒體或者半導(dǎo)體存儲器等得以示例。
若記錄媒體100被插入讀取裝置112，則計(jì)算機(jī)110(參照圖14及圖15)就可從讀取裝置112對記錄媒體100中所保存的活動(dòng)圖像解碼程序390進(jìn)行訪問，由該活動(dòng)圖像解碼程序390作為活動(dòng)圖像解碼裝置370進(jìn)行動(dòng)作就成為可能。
如圖15所示那樣，活動(dòng)圖像解碼程序390也可以作為被重疊于載波的計(jì)算機(jī)數(shù)據(jù)信號130經(jīng)由網(wǎng)絡(luò)來進(jìn)行提供。在此情況下，計(jì)算機(jī)110就能夠?qū)⒂赏ㄐ叛b置124接收到的活動(dòng)圖像解碼程序390保存在存儲器116中，以執(zhí)行該活動(dòng)圖像解碼程序390。
如圖26所示那樣，活動(dòng)圖像解碼程序390具備對處理進(jìn)行統(tǒng)括的主模塊391、解碼模塊392、逆變換模塊394、圖像預(yù)測模塊396、加法運(yùn)算模塊398、圖像存儲模塊400。圖像預(yù)測模塊396具有方式切換模塊402、第1圖像預(yù)測模塊404和第2圖像預(yù)測模塊406。
解碼模塊392、逆變換模塊394、圖像預(yù)測模塊396、加法運(yùn)算模塊398、圖像存儲模塊400、方式切換模塊402、第1圖像預(yù)測模塊404、第2圖像預(yù)測模塊406各自使計(jì)算機(jī)實(shí)現(xiàn)的功能，與上述的解碼部372、逆變換部374、圖像預(yù)測部376、加法運(yùn)算部378、圖像存儲部380、方式切換部382、第1圖像預(yù)測部384、第2圖像預(yù)測部386之中對應(yīng)的要素的功能相同。
如以上所說明那樣，活動(dòng)圖像解碼裝置370就可基于由活動(dòng)圖像編碼裝置310所生成的比特流來對活動(dòng)圖像進(jìn)行復(fù)原。另外，活動(dòng)圖像解碼裝置370，能夠?qū)幋a方式為C方式的宏塊、即、通過第2圖像預(yù)測處理生成預(yù)測圖像的宏塊，生成預(yù)測圖像而不用從編碼側(cè)取得運(yùn)動(dòng)矢量之類的預(yù)測輔助信息。
此外，本發(fā)明并部限定于上述的第3、及第4實(shí)施方式可進(jìn)行各種各樣的變形。例如，在第3實(shí)施方式中，在第2圖像預(yù)測處理中由編碼對象幀的再生圖像組成的再生幀被參考。即便取代此再生幀而參考編碼對象幀、即輸入圖像自身，也能夠?qū)崿F(xiàn)第2圖像預(yù)測處理。
另外，由第2圖像預(yù)測處理所生成的預(yù)測圖像還可以作為再生圖像原封不動(dòng)地得以采用。在此情況下，由于不需要將與通過第2圖像預(yù)測處理所生成的預(yù)測圖像與輸入圖像之差組成的預(yù)測殘差圖像相關(guān)的編碼數(shù)據(jù)包含在比特流中，所以編碼效率更高的比特流就得以生成。
另外，在作為活動(dòng)圖像的特性，運(yùn)動(dòng)較多的部分和運(yùn)動(dòng)較少的背景部分的位置為已知的情況下，還可以通過參照預(yù)先決定了各宏塊的編碼方式的表等，而省去編碼方式的決定處理。
如以上對本發(fā)明的優(yōu)選實(shí)施方式所說明那樣，根據(jù)本發(fā)明，就提供了一種可效率良好地對圖像進(jìn)行編碼的圖像編碼裝置、圖像編碼方法以及圖像編碼程序，另外，還提供了一種可從由本發(fā)明的圖像編碼裝置所生成的比特流將圖像復(fù)原的圖像解碼裝置、圖像解碼方法以及圖像解碼程序。
權(quán)利要求
1.一種圖像編碼裝置，其特征在于包括決定單元，對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；第1圖像預(yù)測單元，對于在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；存儲單元，存儲基于上述預(yù)測圖像的再生圖像；以及編碼單元，生成包含對上述編碼方式信息和上述預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。
2.按照權(quán)利要求1所述的圖像編碼裝置，其特征在于上述第2圖像預(yù)測處理為以下處理，即，預(yù)測信號未生成的像素作為其一部分的區(qū)域被設(shè)為模板，生成完畢的上述再生圖像被設(shè)為參考區(qū)域，該參考區(qū)域之中與上述模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在上述模板內(nèi)上述預(yù)測信號未生成的像素賦予上述復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此上述預(yù)測圖像得以生成。
3.按照權(quán)利要求1或2所述的圖像編碼裝置，其特征在于上述決定單元，在經(jīng)上述第1圖像預(yù)測處理按規(guī)定的掃描順序生成上述多個(gè)部分區(qū)域的再生圖像后，按與該規(guī)定的掃描順序相反的順序選擇處理對象的部分區(qū)域，將比該處理對象的部分區(qū)域在上述掃描順序上位于前方的部分區(qū)域的圖像、比該處理對象的部分區(qū)域在上述掃描順序上位于后方的部分區(qū)域并且編碼方式被決定為應(yīng)通過第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的該部分區(qū)域的再生圖像設(shè)為上述參考區(qū)域，經(jīng)上述第2圖像預(yù)測處理生成該處理對象的部分區(qū)域的再生圖像，并基于經(jīng)該第2圖像預(yù)測處理所生成的上述處理對象的部分區(qū)域的再生圖像與經(jīng)上述第1圖像預(yù)測處理所生成的上述處理對象的部分區(qū)域的再生圖像的比較來決定該處理對象的部分區(qū)域的編碼方式。
4.按照權(quán)利要求1或2所述的圖像編碼裝置，其特征在于還包括第2圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像，上述第2圖像預(yù)測單元將通過上述第2圖像預(yù)測處理所生成的上述預(yù)測圖像設(shè)為上述再生圖像。
5.按照權(quán)利要求1或2所述的圖像編碼裝置，其特征在于上述編碼對象的輸入圖像是活動(dòng)圖像的幀，在上述第2圖像預(yù)測處理中，編碼對象幀的再生圖像以及比該編碼對象幀在先得以處理的幀的再生圖像中的至少一方被設(shè)為上述參考區(qū)域。
6.按照權(quán)利要求1或2所述的圖像編碼裝置，其特征在于上述第1圖像預(yù)測處理是將與上述處理對象的部分區(qū)域同一空間內(nèi)的上述再生圖像用于預(yù)測以生成預(yù)測圖像的處理，在該第1圖像預(yù)測處理中，在根據(jù)上述編碼方式被確定為鄰接于上述處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于不鄰接于該處理對象的部分區(qū)域的非鄰接部分區(qū)域的再生圖像來生成該處理對象的部分區(qū)域的預(yù)測圖像。
7.按照權(quán)利要求6所述的圖像編碼裝置，其特征在于在上述第1圖像預(yù)測處理中，在根據(jù)上述編碼方式被確定為鄰接于上述處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于在處于預(yù)測方向的直線上并且存在于預(yù)測源側(cè)的方向的上述非鄰接部分區(qū)域的上述再生圖像之中、最接近上述處理對象的部分區(qū)域的像素的像素值來生成上述預(yù)測圖像。
8.按照權(quán)利要求1或2所述的圖像編碼裝置，其特征在于還包括預(yù)測殘差圖像生成單元，通過執(zhí)行由上述第1圖像預(yù)測單元所生成的上述預(yù)測圖像與上述編碼對象的輸入圖像的差運(yùn)算來生成預(yù)測殘差圖像，上述編碼單元將對基于上述預(yù)測殘差圖像的信號進(jìn)行了編碼的數(shù)據(jù)包含在上述比特流中。
9.一種圖像編碼方法，其特征在于包括決定步驟，由決定單元對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；第1圖像預(yù)測步驟，由第1圖像預(yù)測單元對于在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；存儲步驟，由存儲單元存儲基于上述預(yù)測圖像的再生圖像；以及編碼步驟，由編碼單元生成包含對上述編碼方式信息和上述預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。
10.一種圖像編碼程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能決定單元，對于將編碼對象的輸入圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，決定編碼方式且生成用于確定該編碼方式的編碼方式信息，其中上述編碼方式與在預(yù)測圖像的生成上通過需要預(yù)測輔助信息的第1圖像預(yù)測處理、或者第2圖像預(yù)測處理中的哪個(gè)來執(zhí)行預(yù)測圖像的生成相關(guān)；第1圖像預(yù)測單元，對于在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，抽取出用于從其他部分區(qū)域的生成完畢的再生圖像生成該部分區(qū)域的預(yù)測圖像的預(yù)測輔助信息，并基于該預(yù)測輔助信息來執(zhí)行用于生成該預(yù)測圖像的上述第1圖像預(yù)測處理；存儲單元，存儲基于上述預(yù)測圖像的再生圖像；以及編碼單元，生成包含對上述編碼方式信息和上述預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流。
11.一種圖像解碼裝置，其特征在于包括解碼單元，對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；第1圖像預(yù)測單元，通過利用了上述預(yù)測輔助信息的該第1圖像預(yù)測處理，從生成完畢的再生圖像生成在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；第2圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及存儲單元，存儲基于上述預(yù)測圖像的再生圖像，其中，在上述第2圖像預(yù)測處理中，預(yù)測信號未生成的像素作為其一部分的區(qū)域被設(shè)為模板，上述存儲單元中所存儲的上述再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與上述模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在上述模板內(nèi)上述預(yù)測信號未生成的像素賦予上述復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此上述預(yù)測圖像得以生成。
12.按照權(quán)利要求11所述的圖像解碼裝置，其特征在于第1圖像預(yù)測單元，對于根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，按規(guī)定的掃描順序通過上述第1圖像預(yù)測處理生成上述預(yù)測圖像，在基于該預(yù)測圖像的上述再生圖像被存儲到上述存儲單元后，上述第2圖像預(yù)測單元，對于根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域，按上述規(guī)定的掃描順序通過上述第2圖像預(yù)測處理生成上述預(yù)測圖像。
13.按照權(quán)利要求11所述的圖像解碼裝置，其特征在于上述第2圖像預(yù)測單元將通過上述第2圖像預(yù)測處理所生成的上述預(yù)測圖像設(shè)為上述再生圖像。
14.按照權(quán)利要求11所述的圖像解碼裝置，其特征在于上述解碼對象的圖像是活動(dòng)圖像的幀，上述第2圖像預(yù)測單元，將作為上述存儲單元中所存儲的再生圖像、上述解碼對象幀的該再生圖像以及比該解碼對象幀在先得以處理的幀的上述再生圖像中的至少一方設(shè)為上述參考區(qū)域。
15.按照權(quán)利要求11所述的圖像解碼裝置，其特征在于上述第1圖像預(yù)測處理是將與上述處理對象的部分區(qū)域同一空間內(nèi)的上述再生圖像用于預(yù)測以生成預(yù)測圖像的處理，在該第1圖像預(yù)測處理中，在根據(jù)上述編碼方式被確定為鄰接于上述處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于不鄰接于該處理對象的部分區(qū)域的非鄰接部分區(qū)域的上述再生圖像來生成該處理對象的部分區(qū)域的預(yù)測圖像。
16.按照權(quán)利要求15述的圖像解碼裝置，其特征在于在上述第1圖像預(yù)測處理中，在根據(jù)上述編碼方式被確定為鄰接于上述處理對象的部分區(qū)域的鄰接部分區(qū)域是應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的部分區(qū)域的情況下，基于在處于預(yù)測方向的直線上并且存在于預(yù)測源側(cè)的方向的上述非鄰接部分區(qū)域的上述再生圖像之中、最接近上述處理對象的部分區(qū)域的像素的像素值來生成上述預(yù)測圖像。
17.按照權(quán)利要求11所述的圖像解碼裝置，其特征在于在上述比特流中包含，通過對基于由上述部分區(qū)域的上述預(yù)測圖像與該部分區(qū)域的圖像的差運(yùn)算而得到的預(yù)測殘差圖像的信號進(jìn)行編碼而生成的數(shù)據(jù)，上述解碼單元，從作為上述比特流中所包含的數(shù)據(jù)、基于上述預(yù)測殘差圖像的信號被編碼而成的該數(shù)據(jù)對該信號進(jìn)行解碼，該圖像解碼裝置還包括，通過將基于由上述解碼單元所解碼的上述信號的復(fù)原預(yù)測殘差圖像與上述預(yù)測圖像相加來生成上述再生圖像的再生圖像生成單元。
18.一種圖像解碼方法，其特征在于包括解碼步驟，由解碼單元對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；第1圖像預(yù)測步驟，由第1圖像預(yù)測單元通過利用了上述預(yù)測輔助信息的該第1圖像預(yù)測處理，生成在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；第2圖像預(yù)測步驟，由第2圖像預(yù)測單元通過該第2圖像預(yù)測處理來生成上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及存儲步驟，由存儲單元存儲基于上述預(yù)測圖像的再生圖像，其中，在上述第2圖像預(yù)測處理中，預(yù)測信號未生成的像素作為其一部分的區(qū)域被設(shè)為模板，上述存儲單元中所存儲的上述再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與上述模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在上述模板內(nèi)上述預(yù)測信號未生成的像素賦予上述復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此上述預(yù)測圖像得以生成。
19.一種圖像解碼程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能解碼單元，對于將解碼對象的圖像按規(guī)定大小進(jìn)行分割而成的多個(gè)部分區(qū)域的各區(qū)域，從包含對用于確定在預(yù)測圖像的生成上所用的第1圖像預(yù)測處理或者第2圖像預(yù)測處理的編碼方式信息、和用于通過該第1圖像預(yù)測處理來生成預(yù)測圖像的預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)的比特流，對該編碼方式信息和該預(yù)測輔助信息進(jìn)行解碼；第1圖像預(yù)測單元，通過利用了上述預(yù)測輔助信息的該第1圖像預(yù)測處理，生成在上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第1圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；第2圖像預(yù)測單元，通過該第2圖像預(yù)測處理來生成上述多個(gè)部分區(qū)域之中根據(jù)上述編碼方式信息被確定為應(yīng)通過上述第2圖像預(yù)測處理來生成預(yù)測圖像的區(qū)域的部分區(qū)域的預(yù)測圖像；以及存儲單元，存儲基于上述預(yù)測圖像的再生圖像，其中，在上述第2圖像預(yù)測處理中，預(yù)測信號未生成的像素作為其一部分的區(qū)域被設(shè)為模板，上述存儲單元中所存儲的上述再生圖像被設(shè)為參考區(qū)域，在該參考區(qū)域之中與上述模板的相關(guān)性較高的區(qū)域被選擇為復(fù)制參考區(qū)域，對在上述模板內(nèi)上述預(yù)測信號未生成的像素賦予上述復(fù)制參考區(qū)域內(nèi)的對應(yīng)像素的像素值，由此上述預(yù)測圖像得以生成。
全文摘要
本發(fā)明提供一種圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法以及圖像解碼程序，其中，圖像編碼裝置具備編碼方式?jīng)Q定部、預(yù)測圖像生成部、存儲部以及編碼部。編碼方式?jīng)Q定部決定與通過第1圖像預(yù)測處理或者第2圖像預(yù)測處理的哪個(gè)來生成輸入圖像的部分區(qū)域的預(yù)測圖像相關(guān)的編碼方式。預(yù)測圖像生成部通過第1圖像預(yù)測處理抽取出預(yù)測輔助信息，并基于該預(yù)測輔助信息來生成預(yù)測圖像。存儲部存儲基于預(yù)測圖像的再生圖像。編碼部生成包含對編碼方式信息以及預(yù)測輔助信息進(jìn)行了編碼的數(shù)據(jù)比特流。
文檔編號H04N7/32GK1638484SQ20041008185
公開日2005年7月13日 申請日期2004年12月24日 優(yōu)先權(quán)日2003年12月26日
發(fā)明者文仲丞, 杉本和夫 申請人:株式會社Ntt都科摩