專利名稱：圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法、圖像編碼程序、圖像解碼程 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用幀間預(yù)測(cè)編碼方式的、多個(gè)幀的圖像編碼/解碼技術(shù)。
背景技術(shù)：
在所謂MPEG-1、MPEG-2或H.261、H.263的國(guó)際標(biāo)準(zhǔn)動(dòng)態(tài)圖像編碼中，編碼各幀的輸出時(shí)刻。將這些時(shí)刻信息稱為TR(Temporal Reference)，對(duì)每個(gè)幀進(jìn)行固定長(zhǎng)度編碼。在系統(tǒng)中預(yù)先設(shè)定成為基準(zhǔn)的時(shí)間間隔，用該時(shí)間間隔與TR的積來(lái)表示從序列開頭開始的時(shí)刻。編碼器將輸入圖像的時(shí)刻信息設(shè)定成TR，編碼各幀，解碼器在由TR指定的時(shí)刻，輸出各幀的解碼圖像。
另一方面，一般在動(dòng)態(tài)圖像編碼中，為了使用時(shí)間方向的相關(guān)來(lái)實(shí)現(xiàn)高的編碼效率，采用幀間預(yù)測(cè)編碼。在幀的編碼模式中，有不使用幀間相關(guān)來(lái)進(jìn)行編碼的I幀、根據(jù)過(guò)去編碼的1個(gè)幀來(lái)預(yù)測(cè)的P幀、和可根據(jù)過(guò)去編碼的兩個(gè)幀來(lái)預(yù)測(cè)的B幀。
在B幀中，必需在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)2幀大小的解碼圖像。尤其是在映像編碼方式H.263與H.264中，在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)2幀或2幀以上的多個(gè)幀大小的解碼圖像，從該存儲(chǔ)器中選擇參照?qǐng)D像來(lái)進(jìn)行預(yù)測(cè)。
參照?qǐng)D像可在每個(gè)塊中選擇，編碼指定參照?qǐng)D像的參照?qǐng)D像指定信息。在參照?qǐng)D像存儲(chǔ)器中有短時(shí)間用(STRM)與長(zhǎng)時(shí)間用(LTRM)，在STRM中存儲(chǔ)當(dāng)前幀的解碼圖像，選擇存儲(chǔ)在STRM中的圖像來(lái)存儲(chǔ)于LTRM中。另外，就LTRM與STRM的控制方法而言，例如非專利文獻(xiàn)1中記載的那樣。
非專利文獻(xiàn)1Thomas Wiegand，Xiaozheng Zhang，and Berned Girod，“Long-Term Memory Motion-Compensated Prediction”，IEEE Transactions onCircuits and Systems for Video Technology，vol.9，no.1，pp.70-84，F(xiàn)eb.，1999在MPEG-1、MPEG-2的B幀中，將根據(jù)過(guò)去的幀來(lái)預(yù)測(cè)的方法稱為前方向幀間預(yù)測(cè)，將根據(jù)以后的幀來(lái)預(yù)測(cè)的方法稱為后方向幀間預(yù)測(cè)。后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻比當(dāng)前幀更靠后(更靠未來(lái))。此時(shí)，在顯示當(dāng)前幀之后，輸出后方向幀間預(yù)測(cè)的參照幀。在B幀中根據(jù)兩個(gè)幀來(lái)預(yù)測(cè)的情況下(兩方向幀間預(yù)測(cè))，內(nèi)插來(lái)自兩個(gè)幀的圖像信息，制作一個(gè)幀大小的圖像信息，將其設(shè)為預(yù)測(cè)圖像。
圖16(A)中示出后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻為之后的情況下的、動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例。圖16所示的(1)-(7)表示幀序號(hào)。在按IBBPBBP的順序編碼從第1幀至第7幀的編碼模式的情況下，由于存在圖16(A)所示的預(yù)測(cè)關(guān)系，所以在實(shí)際編碼的情況下，如圖16(B)所示，按1423756的順序來(lái)編碼幀。此時(shí)被編碼的TR順序與編碼幀一樣，為對(duì)應(yīng)于1423756的值。
在H.264的B幀中，從MPEG-1、MPEG-2進(jìn)一步擴(kuò)展后方向幀間預(yù)測(cè)的概念，后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻也可以在當(dāng)前幀之前。此時(shí)，向目的地輸出后方向幀間預(yù)測(cè)的參照幀。
如上所述，在H.264中，可在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè)解碼圖像。因此，定義前方向幀間預(yù)測(cè)用的參照?qǐng)D像指定信息L0與后方向幀間預(yù)測(cè)用的參照?qǐng)D像指定信息L1，分別獨(dú)立指定前方向幀間預(yù)測(cè)用的參照?qǐng)D像與后方向幀間預(yù)測(cè)用的參照?qǐng)D像。
為了對(duì)每個(gè)塊指定參照?qǐng)D像，首先編碼塊的預(yù)測(cè)模式(前方向幀間預(yù)測(cè)或后方向幀間預(yù)測(cè)或兩方向幀間預(yù)測(cè))，在預(yù)測(cè)模式為前方向幀間預(yù)測(cè)的情況下，編碼參照?qǐng)D像指定信息L0，在為后方向幀間預(yù)測(cè)的情況下，編碼參照?qǐng)D像指定信息L1，在為兩方向幀間預(yù)測(cè)的情況下，編碼參照?qǐng)D像指定信息L0和參照?qǐng)D像指定信息L1。
若如此定義，則后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻不必在當(dāng)前幀之后。在H.264的B幀中，可將如此在后方向幀間預(yù)測(cè)之前的幀指定為參照?qǐng)D像，并且指定可變更成塊單位，所以除兩方向幀間預(yù)測(cè)的情況下，可制作與P幀一樣的預(yù)測(cè)圖像。
圖17(A)中示出后方向幀間預(yù)測(cè)中的參照幀的顯示時(shí)刻為過(guò)去的情況下的、動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例。與圖16的情況不同，即便在按IBBPBBP的順序編碼從第1幀至第7幀的編碼模式的情況下，也由于存在圖17(A)所示的預(yù)測(cè)關(guān)系，所以如圖17(B)所示，按1423567的順序來(lái)編碼幀。
在參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè)解碼圖像、選擇參照?qǐng)D像后進(jìn)行幀間預(yù)測(cè)編碼的方法中，不必存儲(chǔ)全部幀的解碼圖像。應(yīng)用這些，可實(shí)現(xiàn)時(shí)間可升級(jí)(scalable)功能。
例如，在MPEG-1、MPEG-2存在于圖16(A)等預(yù)測(cè)關(guān)系的情況下，B幀(幀序號(hào)(2)、(3)、(5)、(6))在之后的幀中不作為參照?qǐng)D像來(lái)作用。因此，解碼側(cè)可不解碼B幀而僅解碼I幀與P幀。若與原來(lái)一樣以每秒30幀編碼，則如果不解碼/輸出B幀，就能輸出每秒10幀的映像。
也可將這種技術(shù)應(yīng)用于多個(gè)階層中。圖1是表示3層構(gòu)成的預(yù)測(cè)關(guān)系的實(shí)例圖。圖1中，(1)-(9)表示幀序號(hào)，幀中記載的1-9的數(shù)字表示各幀的編碼順序。
例如圖1(C)所示，第5幀(第1層)將第1幀設(shè)為參照幀，第3幀(第2層)將第1幀或第5幀設(shè)為參照幀，第2幀(第3層)將第1幀或第3幀設(shè)為參照幀，第4幀(第3層)將第3幀與第5幀設(shè)為參照幀時(shí)，在全部5個(gè)幀均為每秒30幀的映像的情況下，通過(guò)不解碼第2幀與第4幀(第3層)，可輸出每秒15幀的映像。
通過(guò)不解碼第2幀、第3幀與第4幀(第2層與第3層)，可輸出每秒7.5幀的映像。另外，除圖1(C)之外，幀的編碼順序也可設(shè)定多個(gè)模式，例如圖1(A)所示，與輸入順序相同，或如圖1(B)所示，在第1層編碼之后，立即編碼第2層，接著編碼第3層。
當(dāng)在存在不構(gòu)成這種參照幀的幀時(shí)，變更時(shí)間分辯率的方式既可在解碼側(cè)執(zhí)行，也可在編碼側(cè)與解碼側(cè)之間的中繼地點(diǎn)執(zhí)行。當(dāng)如播放那樣單方向分配編碼數(shù)據(jù)的情況下，最好解碼側(cè)執(zhí)行。
另外，這種時(shí)間可升級(jí)功能通過(guò)將第1層視為視點(diǎn)，也可適用于多視點(diǎn)映像的編碼。
另外，即便是一般的在幀間沒有時(shí)間關(guān)系的多個(gè)幀，也可通過(guò)按預(yù)先設(shè)定的維(dimension)排列多個(gè)幀，將該維視為時(shí)間，從而作為動(dòng)態(tài)圖像進(jìn)行處理。也可進(jìn)一步將這種多個(gè)幀分類成少數(shù)的集合，將其視為圖1中的層，適用時(shí)間可升級(jí)功能。
另外，作為實(shí)現(xiàn)時(shí)間可升級(jí)編碼的方法，例如MCTF編碼。該MCTF編碼方法是如下方法，即對(duì)映像數(shù)據(jù)，沿時(shí)間方向過(guò)濾(子頻帶分割)，利用映像數(shù)據(jù)的時(shí)間方向的相關(guān)，使映像數(shù)據(jù)的能量致密化。圖18示出在時(shí)間方向上倍頻程(octave)分割低頻段的原理圖。設(shè)定GOP，在GOP內(nèi)，沿時(shí)間方向過(guò)濾。在時(shí)間方向的濾波器中，一般提議Haar基底(參照非專利文獻(xiàn)2)。
非專利文獻(xiàn)2Jens-Rainer Ohm，“Three-Dimensiona；Subband Coding withMotion Compensation”，IEEE Trans，Image Proc.，vol.3，no.5，pp.559-571，1994.另外，在Haar基底中，一般可適用圖19所示的Lifting Scheme。利用該方法，可減少運(yùn)算量地進(jìn)行過(guò)濾。就該Lifting Scheme而言，predict是與通常的預(yù)測(cè)編碼一樣的處理，是求出預(yù)測(cè)圖像與原圖像的殘差的處理。
另外，在非專利文獻(xiàn)3或非專利文獻(xiàn)4中，記載了根據(jù)多個(gè)圖像來(lái)得到高分辯率的圖像的方法。
非專利文獻(xiàn)3Sung Cheol Park，Min Kyu Park，and Moon Gi Kang，“Super-Resolution Image ReconstructionA Technical Overview”，IEEE SignalProcessing Magazine，pp.21-36，May，2003非專利文獻(xiàn)4C.Andrew Segall，Rafael Molina，and Aggelos K.Katsaggelos，“High-Resolution Image from Low-Resolution Compress Video”，IEEE Signal Processing Magazine，pp.37-48，May，2003.
在具備多個(gè)幀的參照?qǐng)D像存儲(chǔ)器的情況下，越增大存儲(chǔ)的最大幀數(shù)，編碼效率越高。這里，在實(shí)現(xiàn)時(shí)間可升級(jí)功能的情況下，即便解碼的層數(shù)少時(shí)，也必需利用編碼數(shù)據(jù)中的參照?qǐng)D像指定信息來(lái)指定同一解碼圖像。
但是，在以前的H.264中，雖然具備STRM與LTRM，但由于LTRM是存儲(chǔ)在STRM中存儲(chǔ)的圖像的存儲(chǔ)器，將解碼圖像存儲(chǔ)在STRM中，所以與時(shí)間可升級(jí)中的層無(wú)關(guān)，對(duì)解碼圖像編碼參照?qǐng)D像指定信息。
因此，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，會(huì)參照參照?qǐng)D像指定信息不同的幀。若如此根據(jù)不同的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像，則解碼側(cè)得不到正確的解碼圖像。
不使用參照?qǐng)D像指定信息從多個(gè)幀中選擇參照?qǐng)D像，而如MPEG-1、MPEG-2的B幀所示，不使解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中，另外，在將參照?qǐng)D像限定為前后的I幀或P幀的情況下，當(dāng)不解碼B幀時(shí)，參照?qǐng)D像不會(huì)不同。由此，可實(shí)現(xiàn)時(shí)間可升級(jí)編碼。但是，若設(shè)未將B幀的解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中，則B幀將參照?qǐng)D像限定為前后的I幀或P幀，不具備多個(gè)幀的參照?qǐng)D像存儲(chǔ)器，所以可提高編碼效率。
如上所述，就現(xiàn)有的實(shí)現(xiàn)時(shí)間可升級(jí)編碼的方法而言，為了提高編碼效率，不能具備多個(gè)幀的參照?qǐng)D像存儲(chǔ)器，相反，現(xiàn)有的參照?qǐng)D像存儲(chǔ)器中存儲(chǔ)多個(gè)幀的方法不能實(shí)現(xiàn)時(shí)間可升級(jí)編碼。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法、圖像編碼程序、圖像解碼程序、和其記錄媒體，在解碼側(cè)未解碼編碼數(shù)據(jù)的特定幀的情況下，也可指定與解碼該幀時(shí)相同的參照?qǐng)D像，得到正確的解碼圖像，并且，可使編碼效率提高。
本發(fā)明的第1方面是一種圖像編碼方法，從過(guò)去編碼的多個(gè)幀的圖像信息中，選擇圖像信息，并編碼制作預(yù)測(cè)圖像的多個(gè)圖像信息，其特征在于，執(zhí)行如下步驟圖像分類步驟，將各幀分類成N個(gè)類目(category)；預(yù)測(cè)圖像制作步驟，就分類成第i類目的當(dāng)前幀而言，從第i(1≤i≤j)類目的、過(guò)去編碼的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼步驟，編碼指定由預(yù)測(cè)圖像制作步驟選擇到的圖像信息的、第j類目用的參照?qǐng)D像指定信息；和當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)。
本發(fā)明的第2方面根據(jù)本發(fā)明第1方面的圖像編碼方法，其特征在于，對(duì)每個(gè)解碼類目，分配指定屬于類目的幀的幀序號(hào)，參照?qǐng)D像指定信息由預(yù)測(cè)圖像制作步驟選擇到的圖像信息所屬的類目序號(hào)、和由該序號(hào)指定的類目的幀序號(hào)構(gòu)成。
本發(fā)明的第3方面是一種圖像解碼方法，從過(guò)去解碼了的多個(gè)幀的圖像信息中，選擇圖像信息，并解碼制作預(yù)測(cè)圖像的多個(gè)圖像信息，其特征在于，執(zhí)行如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息解碼步驟，解碼由當(dāng)前類目解碼步驟得到的類目序號(hào)用的、指定圖像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分；解碼圖像制作步驟，根據(jù)差分信息與預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存儲(chǔ)步驟，將當(dāng)前幀的解碼圖像存儲(chǔ)在由當(dāng)前類目解碼步驟得到的類目序號(hào)用存儲(chǔ)器中。
本發(fā)明的第4方面根據(jù)本發(fā)明第3方面的圖像解碼方法，其特征在于，對(duì)每個(gè)類目，分配指定屬于類目的幀的幀序號(hào)，參照?qǐng)D像指定信息由預(yù)測(cè)圖像制作步驟選擇到的圖像信息所屬的類目序號(hào)、和由該序號(hào)指定的類目的幀序號(hào)構(gòu)成。
根據(jù)本發(fā)明第1方面的圖像編碼方法或本發(fā)明第3方面的圖像解碼方法，將參照?qǐng)D像存儲(chǔ)器分類成多個(gè)類目，對(duì)每個(gè)類目管理參照?qǐng)D像。由此，在確定是否對(duì)每個(gè)類目解碼，存在未解碼的類目的情況下，可根據(jù)包含于其它類目中的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。由于參照?qǐng)D像指定信息對(duì)每個(gè)類目分別設(shè)定，所以在解碼類目的情況與未解碼類目的情況下，均可利用參照?qǐng)D像指定信息來(lái)指定同一圖像，得到正確的解碼圖像。另外，可對(duì)每個(gè)類目增多參照?qǐng)D像數(shù)量，提高編碼效率。
類目例如可按圖1中所示的層來(lái)設(shè)定。第1類目(第1層)的圖像僅參照第1類目(第1層)的圖像，第2類目(第2層)的圖像參照第1類目(第1層)與第2類目(第2層)的圖像，第3類目(第3層)的圖像參照第1類目(第1層)、第2類目(第2層)與第3類目(第3層)的圖像。此時(shí)，若對(duì)每個(gè)類目配備可存儲(chǔ)多個(gè)幀大小的參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器，則可提高各類目的編碼效率。
作為參照?qǐng)D像指定信息，例如有如下信息(方法1)對(duì)包含于設(shè)為參照?qǐng)D像的類目中的幀，從編碼或解碼順序接近當(dāng)前幀的幀開始附加通用序號(hào)，(方法2)對(duì)包含于設(shè)為參照?qǐng)D像的類目中的幀，從輸入或輸出順序接近當(dāng)前幀的幀開始附加通用序號(hào)，等。
不限于此，只要是如下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照?qǐng)D像，在未解碼不設(shè)為參照?qǐng)D像的類目的幀的情況下，參照的圖像一致。
就圖1(C)中的編碼順序的幀構(gòu)成而言，圖2中示出由方法1指定時(shí)的參照?qǐng)D像指定信息的實(shí)例，圖3中示出由方法2指定時(shí)的參照?qǐng)D像指定信息的實(shí)例。其中，圖3中，在對(duì)當(dāng)前幀的輸入或輸出順序的差分相同的情況下，向最近編碼的幀賦予小的序號(hào)。另外，作為參照?qǐng)D像指定信息，例如為0、1、2、...等通用序號(hào)的信息。
圖2中，例如在當(dāng)前幀為第2幀的情況下，附加參照?qǐng)D像指定信息的順序?yàn)榈?幀、第5幀、第1幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照?qǐng)D像指定信息的順序?yàn)榈?幀、第1幀的順序。
圖3中，例如在當(dāng)前幀為第2幀的情況下，附加參照?qǐng)D像指定信息的順序?yàn)榈?幀、第1幀、第5幀的順序，在當(dāng)前幀為第3幀的情況下，附加參照?qǐng)D像指定信息的順序?yàn)榈?幀、第1幀的順序。
另外，本發(fā)明也可用于可逆編碼和不可逆編碼中任意一個(gè)。也可在圖像編碼裝置的參照?qǐng)D像存儲(chǔ)器中，在可逆編碼的情況下，存儲(chǔ)原圖像與解碼圖像之一。在不可逆編碼的情況下，存儲(chǔ)解碼圖像。
根據(jù)本發(fā)明第2方面的圖像編碼方法或本發(fā)明第4方面的圖像解碼方法，就參照?qǐng)D像指定信息而言，除上述例舉的實(shí)例(方法1與方法2)之外，還可由(方法3)類目序號(hào)與在類目?jī)?nèi)設(shè)定的類目?jī)?nèi)的幀序號(hào)構(gòu)成。
這里，類目序號(hào)可以是從第1類目起順序附加的絕對(duì)序號(hào)，也可以是與當(dāng)前幀的類目序號(hào)的差分。幀序號(hào)同樣可以是從類目的第1幀起順序附加的絕對(duì)序號(hào)，也可以是與當(dāng)前幀的差分。
根據(jù)方法3，由于向每個(gè)類目分配不同的幀序號(hào)，所以幀序號(hào)的管理簡(jiǎn)易，另外，可減輕由于傳輸錯(cuò)誤而不能解碼特定類目的幀時(shí)的、參照?qǐng)D像的不一致。
例如，在圖1(C)中，在由于傳輸錯(cuò)誤而不能解碼第2幀(第3類目?jī)?nèi)的第1個(gè)幀)的情況下，得不到第2幀的解碼圖像，向參照第2幀的幀傳播錯(cuò)誤。
在將類目?jī)?nèi)的幀序號(hào)設(shè)為與第1幀的絕對(duì)序號(hào)的情況下，當(dāng)圖1(C)所示的第3類目?jī)?nèi)的第2個(gè)幀未參照第3類目?jī)?nèi)的第1個(gè)幀的情況下，可根據(jù)第3類目?jī)?nèi)的第2個(gè)幀來(lái)正確解碼。因此，若在第3類目?jī)?nèi)的第2個(gè)幀之后參照第3類目?jī)?nèi)的第1個(gè)幀以外的幀，則可正確解碼該幀。
另外，在將類目?jī)?nèi)的幀序號(hào)設(shè)為與當(dāng)前幀的相對(duì)序號(hào)的情況下，第2類目的幀的全部幀序號(hào)會(huì)錯(cuò)位。但是，若在第2幀之后的幀不參照第2類目的幀，則可正確解碼其它類目的幀。
另外，通過(guò)向?qū)儆诋?dāng)前類目序號(hào)以下的幀分配暫定幀序號(hào)，則可僅向可在預(yù)測(cè)圖像步驟中選擇的幀分配固有的序號(hào)。另外，不向不能在預(yù)測(cè)圖像步驟中選擇的幀分配序號(hào)。因此，即便在圖像解碼側(cè)未解碼類目序號(hào)比當(dāng)前幀大的幀的情況下，也由于可正確指定參照?qǐng)D像，所以可得到正確的解碼圖像。
另外，通過(guò)使用過(guò)去編碼的幀的編碼順序，可設(shè)定暫定幀序號(hào)，使得越是最近編碼的幀，則參照?qǐng)D像指定信息的編碼量越少。由此，可降低參照?qǐng)D像指定信息的編碼量，提高編碼效率。
根據(jù)本發(fā)明第5方面的圖像編碼方法或本發(fā)明第6方面的圖像解碼方法，可將參照?qǐng)D像與參照?qǐng)D像指定信息的對(duì)應(yīng)變更為幀或切片(slice)單位。通過(guò)變更參照?qǐng)D像指定信息以削減編碼量，可提高整體的編碼效率。
根據(jù)本發(fā)明第7方面的圖像編碼方法或本發(fā)明第8方面的圖像解碼方法，就MCTF編碼方式而言，由于在編碼當(dāng)前幀時(shí)，增加參照?qǐng)D像信息的替補(bǔ)，所以提高編碼效率。
另外，在本發(fā)明中，各類目的參照?qǐng)D像存儲(chǔ)器可由物理上不同的存儲(chǔ)器構(gòu)成，也可邏輯上相區(qū)別地構(gòu)成。另外，也可對(duì)幀或多個(gè)幀的每個(gè)，變更各類目的參照?qǐng)D像存儲(chǔ)器量的分配。
另外，也可設(shè)定成每個(gè)類目下幀內(nèi)象素?cái)?shù)不同。例如，可將圖1中的第2層或第3層的象素?cái)?shù)設(shè)為第1層的縱向橫向一半，或2倍。此時(shí)，當(dāng)由預(yù)測(cè)圖像制作部制作預(yù)測(cè)圖像時(shí)，必需進(jìn)行基于仿射變換等的放大、縮小、或高分辯率變換。
就高分辯率變換而言，報(bào)告根據(jù)多個(gè)圖像來(lái)得到高分辯率的圖像的方法，最好利用這些方法(例如參照非專利文獻(xiàn)3或非專利文獻(xiàn)4)。另外，也可設(shè)定成對(duì)每個(gè)類目、使象素的灰度(比特?cái)?shù))不同。例如，可將圖1中的第1層的灰度設(shè)為8比特，將第2層或第3層的灰度設(shè)為4比特。此時(shí)，當(dāng)由預(yù)測(cè)圖像制作部制作預(yù)測(cè)圖像時(shí)，必需增加或減少灰度。
本發(fā)明以由多個(gè)幀構(gòu)成的圖像為目的地。多個(gè)幀例如可構(gòu)成動(dòng)態(tài)圖像，或構(gòu)成改變視點(diǎn)來(lái)拍攝得到的多視點(diǎn)圖像。
根據(jù)本發(fā)明，當(dāng)編碼或解碼多個(gè)幀的圖像時(shí)，將參照?qǐng)D像存儲(chǔ)器分割成多個(gè)類目，通過(guò)對(duì)每個(gè)類目管理參照?qǐng)D像，在解碼類目的情況下與不解碼類目的情況下，指定相同的參照?qǐng)D像，可得到正確的解碼圖像。另外，對(duì)每個(gè)類目可增多參照?qǐng)D像數(shù)量，提高編碼效率。


圖1是表示層構(gòu)成的預(yù)測(cè)關(guān)系實(shí)例的圖。
圖2是表示參照?qǐng)D像指定信息的實(shí)例的圖。
圖3是表示參照?qǐng)D像指定信息的實(shí)例的圖。
圖4是表示圖像編碼裝置的第1構(gòu)成例的圖。
圖5是表示圖像編碼處理流的一例的圖。
圖6是表示圖像解碼裝置的第1構(gòu)成例的圖。
圖7是表示圖像解碼處理流的一例的圖。
圖8是表示圖像編碼裝置的第2構(gòu)成例的圖。
圖9是表示圖像解碼裝置的第2構(gòu)成例的圖。
圖10是說(shuō)明基于與現(xiàn)有技術(shù)的比較的本發(fā)明效果的圖。
圖11是表示層構(gòu)成的預(yù)測(cè)關(guān)系實(shí)例的圖。
圖12是表示圖像編碼裝置的第3構(gòu)成例的圖。
圖13是表示圖像解碼裝置的第3構(gòu)成例的圖。
圖14是表示MCTF圖像編碼實(shí)例的圖。
圖15是表示MCTF圖像解碼實(shí)例的圖。
圖16是表示動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例的圖。
圖17是表示動(dòng)態(tài)圖像的預(yù)測(cè)關(guān)系實(shí)例的圖。
圖18是表示MCTF編碼中的時(shí)間方向的濾波器實(shí)例的圖。
圖19是表示Haar基底下的Lifting Scheme實(shí)例的圖。
圖20是表示參照?qǐng)D像指定信息編碼部的一構(gòu)成例的圖。
圖21是表示暫定幀序號(hào)設(shè)定部的一構(gòu)成例的圖。
圖22是表示暫定幀序號(hào)設(shè)定部的其它構(gòu)成例的圖。
圖23是表示暫定幀序號(hào)確定部的一構(gòu)成例的圖。
圖24是表示參照?qǐng)D像指定信息解碼部的一構(gòu)成例的圖。
具體實(shí)施例方式
參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施方式。在本實(shí)施方式中，設(shè)將圖像分類成3個(gè)類目，不可逆編碼圖像。第1類目的輸入圖像將第1類目的解碼圖像設(shè)為參照?qǐng)D像的替補(bǔ)，第2類目的輸入圖像將第1類目與第2類目的解碼圖像設(shè)為參照?qǐng)D像的替補(bǔ)，第3類目的輸入圖像將第1類目、第2類目與第3類目的解碼圖像設(shè)為參照?qǐng)D像的替補(bǔ)。
作為本發(fā)明的實(shí)施方式，示出編碼圖1所示圖像時(shí)的實(shí)例。另外還示出如下實(shí)例，將1幀分割成縱向橫向16個(gè)象素的微塊，并對(duì)每個(gè)微塊選擇并編碼參照?qǐng)D像，以使差分編碼數(shù)據(jù)的編碼量為最小。
圖4是表示本發(fā)明實(shí)施方式的圖像編碼裝置的構(gòu)成圖。圖像編碼裝置1具備取入圖像信息的圖像輸入部101；將輸入圖像分割成3個(gè)類目的圖像分類部102；制作預(yù)測(cè)圖像的預(yù)測(cè)圖像制作部103；編碼輸入圖像信息與預(yù)測(cè)圖像的差分的差分編碼部104；編碼參照?qǐng)D像指定信息的參照?qǐng)D像指定信息編碼部105；編碼當(dāng)前幀的類目序號(hào)的當(dāng)前類目編碼部106；存儲(chǔ)解碼圖像的參照?qǐng)D像存儲(chǔ)器107；解碼部108，解碼由差分編碼部104制作的差分編碼數(shù)據(jù)，并制作解碼圖像；編碼量計(jì)測(cè)部109，計(jì)測(cè)差分編碼部104制作的差分編碼數(shù)據(jù)的編碼量；參照?qǐng)D像切換部110，控制預(yù)測(cè)圖像制作部103中使用的參照?qǐng)D像的切換；利用參照?qǐng)D像切換部110的控制來(lái)切換參照?qǐng)D像的開關(guān)部111；和切換差分編碼數(shù)據(jù)的輸出與編碼量的計(jì)測(cè)的開關(guān)部112。
設(shè)參照?qǐng)D像指定信息編碼部105編碼如圖2所示的、按照所述方法1附加的參照?qǐng)D像指定信息。
在參照?qǐng)D像存儲(chǔ)器107中，具備可存儲(chǔ)7幀大小圖像的存儲(chǔ)器，向第1類目分配2幀大小的存儲(chǔ)器(C1)，向第2類目分配2幀大小的存儲(chǔ)器(C2)，向第3類目分配3幀大小的存儲(chǔ)器(C3)。
在各類目中，當(dāng)在重新存儲(chǔ)解碼圖像時(shí)、在全部存儲(chǔ)器中存儲(chǔ)圖像的情況下，廢棄最早存儲(chǔ)的圖像，存儲(chǔ)解碼圖像。圖像輸入部101按圖1(C)的各幀內(nèi)記載的數(shù)字所示順序，取入輸入圖像，將輸入圖像分割成微塊。
圖像分類部102將各幀分類成圖1所示的類目(第1層、第2層、第3層)。當(dāng)前類目編碼部106固定長(zhǎng)度編碼當(dāng)前幀的類目序號(hào)。預(yù)測(cè)圖像制作部103在輸入圖像與參照?qǐng)D像之間進(jìn)行動(dòng)作探索，將差分為最小的位置的圖像設(shè)為預(yù)測(cè)圖像。
差分編碼部104將動(dòng)作矢量信息作為差分編碼數(shù)據(jù)的一部分編碼。另外，設(shè)已編碼第1幀，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107中。
在這種前提下如下編碼輸入圖像。首先，圖像輸入部101取入圖1(C)的第5幀，分割成微塊。圖像分類部102將輸入圖像分類成第1類目。當(dāng)前類目編碼部106對(duì)是第1類目的情況進(jìn)行編碼。
參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第1幀。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。差分編碼部104對(duì)每個(gè)微塊制作差分編碼數(shù)據(jù)。由于該幀中參照?qǐng)D像的替補(bǔ)為1幀，所以編碼量計(jì)測(cè)部109不計(jì)測(cè)編碼量，從開關(guān)部112輸出差分編碼數(shù)據(jù)。另外，解碼部108解碼差分編碼數(shù)據(jù)。
參照?qǐng)D像指定信息編碼部105編碼參照?qǐng)D像指定信息。在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器(C1)中。在編碼第5幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中。
接著，圖像輸入部101取入圖1(C)的第3幀，分割成微塊。圖像分類部102將輸入圖像分類成第2類目。當(dāng)前類目編碼部106對(duì)是第2類目的情況進(jìn)行編碼。
之后，對(duì)每個(gè)微塊如下編碼。首先，參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第1幀。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量。
接著，參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第2幀。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量。
另外，參照?qǐng)D像切換部110將編碼量計(jì)測(cè)部109得到的編碼量中值最小時(shí)的幀設(shè)定成參照?qǐng)D像。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。差分編碼數(shù)據(jù)制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照?qǐng)D像指定信息編碼部105編碼參照?qǐng)D像指定信息。
對(duì)全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第2類目用存儲(chǔ)器(C2)中。在編碼第3幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
接著，圖像輸入部101取入圖1(C)的第2幀，分割成微塊。圖像分類部102將輸入圖像分類成第3類目。當(dāng)前類目編碼部106對(duì)是第3類目的情況進(jìn)行編碼。
之后，對(duì)每個(gè)微塊如下編碼。首先，參照?qǐng)D像切換部110將參照?qǐng)D像設(shè)定成第1類目的第1幀。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。差分編碼部104制作差分編碼數(shù)據(jù)。編碼量計(jì)測(cè)部109計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量。
對(duì)全部參照?qǐng)D像的替補(bǔ)執(zhí)行這種處理。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器(C1)或第2類目用存儲(chǔ)器(C2)中的圖像(第1幀、第5幀、第3幀)。
另外，參照?qǐng)D像切換部110將編碼量計(jì)測(cè)部109得到的編碼量中值最小時(shí)的幀設(shè)定成參照?qǐng)D像。預(yù)測(cè)圖像制作部103根據(jù)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。差分編碼部104制作并輸出差分編碼數(shù)據(jù)。解碼部108解碼差分編碼數(shù)據(jù)。參照?qǐng)D像指定信息編碼部105編碼參照?qǐng)D像指定信息。
對(duì)全部微塊執(zhí)行這種處理。在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目用存儲(chǔ)器(C3)中。在編碼第2幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第4幀與第2幀一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照?qǐng)D像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第1幀、第5幀、第3幀、第2幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目用存儲(chǔ)器(C3)中。在編碼第4幀后的參照?qǐng)D像存儲(chǔ)器107中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第9幀與第5幀一樣，分類成第1類目，對(duì)每個(gè)微塊，邊切換參照?qǐng)D像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器中的圖像(第1幀、第5幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目用存儲(chǔ)器(C1)中。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅能存儲(chǔ)2幀大小，所以在廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解碼圖像。
在編碼第9幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第7幀與第3幀一樣，分類成第2類目，對(duì)每個(gè)微塊，邊切換參照?qǐng)D像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目用存儲(chǔ)器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第2類目用存儲(chǔ)器(C2)中。在編碼第7幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第6幀與第2幀一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照?qǐng)D像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目用存儲(chǔ)器(C1或C2)或第3類目用存儲(chǔ)器(C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目用存儲(chǔ)器(C3)中。在編碼第6幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀、第4幀與第6幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
下面，第8幀與第2幀一樣，分類成第3類目，對(duì)每個(gè)微塊，邊切換參照?qǐng)D像邊求出差分編碼數(shù)據(jù)，確定參照?qǐng)D像，以使編碼量最小，制作解碼圖像。
參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第1類目或第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀、第6幀)。
在編碼全部微塊之后，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107的第3類目用存儲(chǔ)器(C3)中。此時(shí)，由于第3類目用存儲(chǔ)器(C3)僅能存儲(chǔ)3幀大小，所以在廢棄最早存儲(chǔ)的第2幀的圖像之后，存儲(chǔ)第8幀的解碼圖像。
在編碼第8幀后的參照?qǐng)D像存儲(chǔ)器107中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第4幀、第6幀與第8幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。通過(guò)上述操作，進(jìn)行從第1幀至第9幀的編碼。
圖5是表示本發(fā)明實(shí)施方式的圖像編碼處理流的一例的圖。首先，輸入圖像信息(幀)，并分割成微塊(步驟S1)。向分割后的微塊附加例如塊序號(hào)k(k＝1、2、3...)。
之后，將輸入圖像分類成類目(步驟S2)。編碼當(dāng)前幀的類目序號(hào)(步驟S3)。取出最初的微塊(塊序號(hào)k＝1)(步驟S4)，選擇當(dāng)前幀的參照?qǐng)D像替補(bǔ)(步驟S5)，根據(jù)選擇到的參照?qǐng)D像替補(bǔ)來(lái)制作預(yù)測(cè)圖像(步驟S6)。
對(duì)當(dāng)前幀的圖像信息與根據(jù)選擇的參照?qǐng)D像替補(bǔ)來(lái)制作的預(yù)測(cè)圖像的差分進(jìn)行編碼(步驟S7)。之后，計(jì)測(cè)差分編碼數(shù)據(jù)的編碼量(步驟S8)。
判定是否有未選擇的參照?qǐng)D像替補(bǔ)(步驟S9)，若有未選擇的參照?qǐng)D像替補(bǔ)，則返回步驟S5，若沒有未選擇的參照?qǐng)D像替補(bǔ)，則將差分編碼數(shù)據(jù)的編碼量最小的參照?qǐng)D像替補(bǔ)設(shè)定成當(dāng)前幀的參照?qǐng)D像(步驟S10)。
根據(jù)設(shè)定的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像(步驟S11)，編碼當(dāng)前幀的圖像信息與根據(jù)設(shè)定的參照?qǐng)D像來(lái)制作的預(yù)測(cè)圖像的差分，輸出差分編碼數(shù)據(jù)(步驟S12)。解碼并存儲(chǔ)差分編碼數(shù)據(jù)(步驟S13)。另外，編碼參照?qǐng)D像指定信息(步驟S14)。
之后，將塊序號(hào)k加1(步驟S15)，判定是否對(duì)全部微塊制作差分編碼數(shù)據(jù)(k＞kMAX)(步驟S16)。在存在未制作差分編碼數(shù)據(jù)的微塊的情況下，返回步驟S5。在對(duì)全部微塊制作差分編碼數(shù)據(jù)的情況下，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107中(步驟S17)，結(jié)束處理。
圖6是表示本發(fā)明實(shí)施方式的圖像解碼裝置的構(gòu)成圖。圖像解碼裝置2具備解碼差分編碼數(shù)據(jù)的差分解碼部201；制作預(yù)測(cè)圖像的預(yù)測(cè)圖像制作部202；解碼參照?qǐng)D像指定信息的參照?qǐng)D像指定信息解碼部203；解碼當(dāng)前幀的類目序號(hào)的當(dāng)前類目解碼部204；存儲(chǔ)參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器205；根據(jù)差分圖像與預(yù)測(cè)圖像來(lái)制作解碼圖像的解碼圖像制作部206；將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中的解碼圖像存儲(chǔ)部207；參照?qǐng)D像切換部208，控制預(yù)測(cè)圖像制作部202使用的參照?qǐng)D像的切換；和利用參照?qǐng)D像切換部208的控制來(lái)切換參照?qǐng)D像的開關(guān)部209。
參照?qǐng)D像指定信息解碼部203如圖2所示，按照方法1來(lái)解碼參照?qǐng)D像指定信息。在參照?qǐng)D像存儲(chǔ)器205中具備可存儲(chǔ)7幀大小圖像的存儲(chǔ)器，向第1類目分配2幀大小的存儲(chǔ)器(C1)，向第2類目分配2幀大小的存儲(chǔ)器(C2)，向第3類目分配3幀大小的存儲(chǔ)器(C3)。
在各類目中，當(dāng)在重新存儲(chǔ)解碼圖像時(shí)、在全部存儲(chǔ)器中存儲(chǔ)圖像的情況下，廢棄最早存儲(chǔ)的圖像，存儲(chǔ)解碼圖像。當(dāng)前類目解碼部204固定長(zhǎng)度解碼當(dāng)前幀的類目序號(hào)。另外，第1幀已被解碼，在參照?qǐng)D像存儲(chǔ)器205中存儲(chǔ)解碼圖像。
下面，具體說(shuō)明由所述圖像編碼裝置1編碼的編碼數(shù)據(jù)的解碼處理。當(dāng)前類目解碼部204對(duì)圖1(C)的第5幀解碼當(dāng)前幀的類目序號(hào)。之后，對(duì)每個(gè)微塊，如下制作解碼圖像。
差分解碼部201解碼差分編碼數(shù)據(jù)，制作差分圖像。另外，還解碼動(dòng)作矢量信息。參照?qǐng)D像指定信息解碼部203解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換部208將參照?qǐng)D像設(shè)定成由參照?qǐng)D像指定信息指定的圖像。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器25的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀)。預(yù)測(cè)圖像制作部202根據(jù)參照?qǐng)D像，制作對(duì)應(yīng)于動(dòng)作矢量的預(yù)測(cè)圖像。解碼圖像制作部206根據(jù)差分圖像和預(yù)測(cè)圖像來(lái)制作解碼圖像。
對(duì)全部微塊執(zhí)行這種處理。在解碼全部微塊之后，解碼圖像存儲(chǔ)部207將解碼圖像存儲(chǔ)、輸出到參照?qǐng)D像存儲(chǔ)器205中的指定的類目序號(hào)用存儲(chǔ)器中。在解碼第5幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。
在解碼第3幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
第2幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用存儲(chǔ)器(C1)或第2類目用存儲(chǔ)器(C2)中的圖像(第1幀、第5幀、第3幀)。
在解碼第2幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第4幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第1幀、第5幀、第3幀、第2幀)。
在解碼第4幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅能存儲(chǔ)2幀大小，所以在廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解碼圖像。
在解碼第9幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或第2類目用存儲(chǔ)器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在解碼第7幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第6幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀)。
在解碼第6幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第2幀與第4幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。
第8幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或第2類目或第3類目用存儲(chǔ)器(C1或C2或C3)中的圖像(第5幀、第9幀、第3幀、第7幀、第2幀、第4幀、第6幀)。
此時(shí)，由于第3類目用存儲(chǔ)器(C3)僅能存儲(chǔ)3幀大小，所以在廢棄最早存儲(chǔ)的第2幀的圖像之后，存儲(chǔ)第8幀的解碼圖像。在解碼第8幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中，將第4幀、第6幀與第8幀的解碼圖像存儲(chǔ)在第3類目用存儲(chǔ)器(C3)中。通過(guò)上述操作，進(jìn)行從第1幀至第9幀的解碼。
圖7是表示本發(fā)明實(shí)施方式的圖像解碼處理流的一例的圖。說(shuō)明已解碼第1幀、將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中之后的處理流。首先，解碼當(dāng)前幀的類目序號(hào)(步驟S21)。設(shè)塊序號(hào)k＝1(步驟S22)。
解碼差分編碼數(shù)據(jù)，制作差分圖像，另外，解碼動(dòng)作矢量信息(步驟S23)。解碼參照?qǐng)D像指定信息(步驟S24)，將參照?qǐng)D像設(shè)定成由參照?qǐng)D像指定信息指定的圖像(步驟S25)。根據(jù)參照?qǐng)D像來(lái)制作對(duì)應(yīng)于動(dòng)作矢量的預(yù)測(cè)圖像(步驟S26)。
之后，根據(jù)差分圖像與預(yù)測(cè)圖像來(lái)制作解碼圖像(步驟S27)，將塊序號(hào)k加1(步驟S28)，判定是否對(duì)全部微塊制作解碼圖像(k＞kMAX)(步驟S29)。
在存在未制作解碼圖像的微塊的情況下，返回步驟S23，在對(duì)全部微塊制作解碼圖像的情況下，將解碼圖像存儲(chǔ)在由類目序號(hào)指定的參照?qǐng)D像存儲(chǔ)器中(步驟S30)，輸出解碼圖像(步驟S31)，結(jié)束處理。
下面，說(shuō)明本發(fā)明的實(shí)施方式中、變更時(shí)間分辯率后解碼時(shí)的實(shí)例。已解碼第1幀，將解碼圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中。在本例中，僅從編碼數(shù)據(jù)中解碼第1類目(圖1(C)的第5幀與第9幀)與第2類目(圖1(C)的第3幀與第7幀)的圖像。
第5幀與上述實(shí)例一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀)。在解碼第5幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中。
第3幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目用存儲(chǔ)器(C1)中的圖像(第1幀、第5幀)。在解碼第3幀后的參照?qǐng)D像存儲(chǔ)器205中，將第1幀與第5幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C1)中。
第9幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在第1類目用存儲(chǔ)器(C1)的圖像(第1幀、第5幀)。此時(shí)，由于第1類目用存儲(chǔ)器(C1)僅能存儲(chǔ)2幀大小，所以在廢棄最早存儲(chǔ)的第1幀的圖像之后，存儲(chǔ)第9幀的解碼圖像。在解碼第9幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
第7幀與第5幀一樣，解碼編碼數(shù)據(jù)，得到解碼圖像，存儲(chǔ)輸出到參照?qǐng)D像存儲(chǔ)器205中。參照?qǐng)D像的替補(bǔ)是存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205的第1類目或第2類目用存儲(chǔ)器(C1或C2)中的圖像(第5幀、第9幀、第3幀)。
在解碼第7幀后的參照?qǐng)D像存儲(chǔ)器205中，將第5幀與第9幀的解碼圖像存儲(chǔ)在第1類目用存儲(chǔ)器(C1)中，將第3幀與第7幀的解碼圖像存儲(chǔ)在第2類目用存儲(chǔ)器(C2)中。
通過(guò)上述操作，盡管不解碼第3類目的圖像，也可正確解碼第1類目與第2類目的圖像。同樣，也可僅解碼第1類目的圖像。
本實(shí)施例中的參照?qǐng)D像指定信息編碼部根據(jù)方法1編碼參照?qǐng)D像指定信息，參照?qǐng)D像指定信息解碼部根據(jù)方法1來(lái)解碼參照?qǐng)D像指定信息，但也可根據(jù)暫定幀序號(hào)來(lái)確定并編碼參照?qǐng)D像指定信息。圖20示出使用該方法時(shí)的圖像編碼裝置的參照?qǐng)D像指定信息編碼部105的構(gòu)成。
參照?qǐng)D像指定信息編碼部105由暫定幀序號(hào)設(shè)定部1051與暫定幀序號(hào)編碼部1052構(gòu)成。這里，暫定幀序號(hào)設(shè)定部1051對(duì)存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器107中的多個(gè)圖像信息中、屬于當(dāng)前幀的類目以下的幀的圖像信息，設(shè)定暫定幀序號(hào)。暫定幀序號(hào)編碼部1052編碼指定由預(yù)測(cè)圖像制作部103選擇的幀的暫定幀序號(hào)，作為參照?qǐng)D像指定信息。
作為由暫定幀序號(hào)設(shè)定部1051設(shè)定暫定幀序號(hào)的方法，也可用實(shí)施例中記載的方法1、方法2或方法3。另外，作為利用各幀的編碼順序的方法，例如以下實(shí)例。暫定幀序號(hào)設(shè)定部1051如圖21所示，由編碼順序記錄部10511與暫定幀序號(hào)確定部10512構(gòu)成。編碼順序記錄部10511記錄過(guò)去編碼的幀的編碼順序，作為每個(gè)類目的編碼順序序號(hào)。暫定幀序號(hào)確定部10512根據(jù)過(guò)去編碼的幀的編碼順序序號(hào)與當(dāng)前幀的類目序號(hào)，確定過(guò)去編碼的幀的暫定幀序號(hào)。
或者，也可如圖22所示構(gòu)成暫定幀序號(hào)設(shè)定部1051。此時(shí)，暫定幀序號(hào)設(shè)定部1051由編碼順序記錄部10511、類目序號(hào)記錄部10513與暫定幀序號(hào)確定部10512構(gòu)成。這里的編碼順序記錄部10511記錄過(guò)去編碼的幀的編碼順序，作為編碼順序序號(hào)，類目序號(hào)記錄部10513記錄過(guò)去編碼的幀的類目序號(hào)。即，編碼順序記錄部10511不存儲(chǔ)每個(gè)類目的編碼順序，與類目無(wú)關(guān)地記錄各幀的編碼順序。另外，暫定幀序號(hào)確定部10512根據(jù)過(guò)去編碼的幀的編碼順序序號(hào)與當(dāng)前幀的類目序號(hào)，確定過(guò)去編碼的幀的暫定幀序號(hào)。
這里，暫定幀序號(hào)確定部10512也可如下根據(jù)編碼順序來(lái)確定暫定幀序號(hào)。如圖23所示，由差分幀序號(hào)分配部105121與暫定幀序號(hào)算出部105122構(gòu)成暫定幀序號(hào)確定部10512。差分幀序號(hào)分配部105121按照預(yù)先設(shè)定的規(guī)則，根據(jù)編碼順序序號(hào)來(lái)分配差分幀序號(hào)。之后，暫定幀序號(hào)算出部105122根據(jù)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)的組合，算出暫定幀序號(hào)。此時(shí)，對(duì)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)的組合預(yù)先配備分配暫定幀序號(hào)的表，根據(jù)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)，參照表，求出暫定幀序號(hào)即可?；蛘?，對(duì)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)的組合預(yù)先設(shè)定算出暫定幀序號(hào)的計(jì)算式，根據(jù)差分幀序號(hào)與當(dāng)前幀的類目序號(hào)，通過(guò)計(jì)算，算出暫定幀序號(hào)即可。
另外，此時(shí)，參照?qǐng)D像指定信息解碼部203如圖24所示，可由暫定幀序號(hào)設(shè)定部2031與暫定幀序號(hào)解碼部2032構(gòu)成。這里，暫定幀序號(hào)設(shè)定部2031對(duì)存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器205中的多個(gè)圖像信息中、屬于當(dāng)前幀的類目以下的幀的圖像信息，設(shè)定暫定幀序號(hào)。暫定幀序號(hào)解碼部2032解碼指定由預(yù)測(cè)圖像制作部203選擇的幀的暫定幀序號(hào)，作為參照?qǐng)D像指定信息。
在本實(shí)施例中，參照?qǐng)D像指定信息編碼部105根據(jù)方法1來(lái)編碼參照?qǐng)D像指定信息，參照?qǐng)D像指定信息解碼部203根據(jù)方法1來(lái)解碼參照?qǐng)D像指定信息。即，參照?qǐng)D像指定信息編碼部或參照?qǐng)D像指定信息解碼部使用預(yù)先設(shè)定的、對(duì)應(yīng)于各類目的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系，編碼或解碼參照?qǐng)D像指定信息。下面，示出對(duì)每個(gè)幀或每個(gè)切片變更該對(duì)應(yīng)關(guān)系的構(gòu)成。
圖8中示出此時(shí)的圖像編碼裝置3的構(gòu)成，圖9中示出圖像解碼裝置4的構(gòu)成。分別為追加參照類目設(shè)定部311、403與參照?qǐng)D像指定信息設(shè)定部312、410的構(gòu)成。在圖像編碼裝置3中，參照?qǐng)D像指定信息編碼部308對(duì)參照?qǐng)D像切換部307設(shè)定的參照?qǐng)D像，根據(jù)參照?qǐng)D像指定信息設(shè)定部312設(shè)定的對(duì)應(yīng)關(guān)系，編碼參照?qǐng)D像指定信息。另外，圖像解碼裝置4中，參照?qǐng)D像指定信息解碼部404解碼參照?qǐng)D像指定信息，參照?qǐng)D像切換部403根據(jù)參照?qǐng)D像指定信息設(shè)定部410設(shè)定的對(duì)應(yīng)關(guān)系，切換參照?qǐng)D像。
圖像編碼裝置3與圖像解碼裝置4中的參照類目設(shè)定部311、403對(duì)每個(gè)幀，根據(jù)當(dāng)前幀的類目序號(hào)，設(shè)定可參照的類目序號(hào)。在本實(shí)施例中，若當(dāng)前幀為第1類目，則設(shè)定第1，作為可參照的類目，若當(dāng)前幀為第2類目，則設(shè)定第1與第2，作為可參照的類目，若當(dāng)前幀為第3類目，則設(shè)定第1、第2與第3，作為可參照的類目。
另外，也可不是本實(shí)施例中所示的設(shè)定，例如，除第1類目之外，當(dāng)前幀所屬的類目不包含于可參照的類目中。
圖像編碼裝置3中的參照?qǐng)D像指定信息設(shè)定部312對(duì)于每個(gè)幀，對(duì)應(yīng)地選擇方法1或方法2之一。此時(shí)，編碼指定使用哪個(gè)方法的信息。圖像解碼裝置4中的參照?qǐng)D像指定信息設(shè)定部410解碼表示對(duì)于每個(gè)幀、對(duì)應(yīng)地選擇方法1或方法2哪個(gè)的信息，選擇某一個(gè)。
也可不是對(duì)每個(gè)幀、而是對(duì)每個(gè)切片執(zhí)行該對(duì)應(yīng)的設(shè)定。另外，不限于方法1或方法2，也可預(yù)先設(shè)定多個(gè)可選擇的方法，選擇其中之一。另外，也可不預(yù)先設(shè)定可選擇的方法，而編碼對(duì)應(yīng)關(guān)系本身。在編碼對(duì)應(yīng)關(guān)系的情況下，編碼表示對(duì)屬于各類目的幀的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系的信息。此時(shí)，作為指定幀的信息，也可固有分配幀序號(hào)，利用該幀序號(hào)。例如，在將屬于第1類目的幀序號(hào)1與幀序號(hào)5的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的情況下，將參照?qǐng)D像指定信息1與幀序號(hào)5對(duì)應(yīng)，將參照?qǐng)D像指定信息2與幀序號(hào)1對(duì)應(yīng)。
為了確認(rèn)本發(fā)明的效果，進(jìn)行基于現(xiàn)有方法與本發(fā)明方法的圖像編碼/解碼的實(shí)驗(yàn)。在使用本發(fā)明的方法中，如上述實(shí)施方式說(shuō)明的那樣，具備由3個(gè)層構(gòu)成的參照?qǐng)D像存儲(chǔ)器，由第1層為2幀大小、第2層為2幀大小、第3層為3幀大小的圖像存儲(chǔ)器來(lái)構(gòu)成參照?qǐng)D像存儲(chǔ)器。下面，將使用本發(fā)明的方法的圖像編碼/解碼方法稱為L(zhǎng)ayerMul。
作為現(xiàn)有方法，使用如下方法，即對(duì)每個(gè)層不管理參照?qǐng)D像存儲(chǔ)器，僅剩余1幀大小按每規(guī)定間隔存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的圖像，廢棄其它圖像。將該現(xiàn)有方法稱為L(zhǎng)ayerOff。
例如，在方法LayerOff中，圖1中，幀序號(hào)(5)的幀參照幀序號(hào)(1)的圖像，幀序號(hào)(3)的幀參照幀序號(hào)(1)與幀序號(hào)(5)的圖像，幀序號(hào)(2)的幀參照幀序號(hào)(1)、幀序號(hào)(5)與幀序號(hào)(3)的圖像，幀序號(hào)(4)的幀參照幀序號(hào)(1)、幀序號(hào)(5)、幀序號(hào)(3)與幀序號(hào)(2)的圖像。
這樣，在從幀序號(hào)(2)的幀編碼到幀序號(hào)(5)的幀之后，廢棄存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的從幀序號(hào)(2)到幀序號(hào)(4)的圖像，僅存儲(chǔ)幀序號(hào)(5)的圖像。
之后，幀序號(hào)(9)的幀參照幀序號(hào)(5)的圖像，幀序號(hào)(7)的幀參照幀序號(hào)(5)與幀序號(hào)(9)的圖像，幀序號(hào)(6)的幀參照幀序號(hào)(5)、幀序號(hào)(9)與幀序號(hào)(7)的圖像，幀序號(hào)(8)的幀參照幀序號(hào)(5)、幀序號(hào)(9)、幀序號(hào)(7)與幀序號(hào)(6)的圖像。
這樣，在編碼從幀序號(hào)(6)的幀到幀序號(hào)(9)的幀之后，廢棄存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的從幀序號(hào)(6)到幀序號(hào)(8)的圖像，僅存儲(chǔ)幀序號(hào)(9)的圖像。
如上所述，對(duì)于每4個(gè)幀，僅剩余1幀大小參照?qǐng)D像存儲(chǔ)器的圖像，廢棄其余的圖像。將指定剩余的幀的參照?qǐng)D像指定信息復(fù)位為1。利用該方法，除解碼全部層的方法外，還可僅解碼第1層，或僅解碼第1層與第2層。
圖10中示出使用方法LayerMul與方法Layeroff，將圖像尺寸為橫向352、縱向288象素、由17幀構(gòu)成的圖像A分類成3層后編碼時(shí)的、每幀的編碼量(比特?cái)?shù))。在預(yù)測(cè)圖像的制作方法與預(yù)測(cè)殘差的編碼中，使用H.264映像編碼方式中采用的方式。
量化刻度固定，進(jìn)行實(shí)驗(yàn)，就各幀而言，方法LayerMul與方法LayerOff中，為大致相同值。這樣，在幀序號(hào)(6)之前，兩者為大致相同的編碼量，但就幀序號(hào)(6)之后的第奇數(shù)個(gè)幀而言，方法LayerMul的編碼量比方法LayerOff的少這是因?yàn)榈谄鏀?shù)個(gè)幀屬于第1層與第2層，方法LayerMul中可用作參照?qǐng)D像的幀數(shù)多。即，根據(jù)本發(fā)明，示出通過(guò)對(duì)每層管理參照?qǐng)D像存儲(chǔ)器，提高各層的編碼效率。
在以上說(shuō)明的本發(fā)明的實(shí)施方式中，根據(jù)1幀的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像，但也可根據(jù)多個(gè)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。此時(shí)，圖像編碼裝置1中，參照?qǐng)D像切換部110選擇多個(gè)參照?qǐng)D像，預(yù)測(cè)圖像制作部103根據(jù)多個(gè)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。另外，參照?qǐng)D像指定信息編碼部105編碼多個(gè)參照?qǐng)D像指定信息。
圖像解碼裝置2中，參照?qǐng)D像切換部208選擇多個(gè)參照?qǐng)D像，預(yù)測(cè)圖像制作部202根據(jù)多個(gè)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像。另外，參照?qǐng)D像指定信息解碼部203解碼多個(gè)參照?qǐng)D像指定信息。
為了根據(jù)多個(gè)參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像，也可平均參照?qǐng)D像間對(duì)應(yīng)的象素位置的圖像信息。另外，當(dāng)平均時(shí)，也可進(jìn)行加權(quán)。也可根據(jù)與當(dāng)前幀的時(shí)間間隔算出加權(quán)，使得例如越是早的圖像則加權(quán)越小。另外，也可明示地編碼。
另外，作為本實(shí)施方式，說(shuō)明了對(duì)各類目的參照?qǐng)D像存儲(chǔ)器的分配固定的情況，但本發(fā)明不限于參照存儲(chǔ)器的分配固定的情況，也可在中途的幀中改變存儲(chǔ)器的分配。例如，在編碼/解碼第4幀之后，將第1類目用存儲(chǔ)器(C1)變?yōu)?幀大小，將第3類目用存儲(chǔ)器(C3)變?yōu)?幀大小。通過(guò)增多類目的存儲(chǔ)器量，可提高該類目的編碼效率。
另外，作為本實(shí)施方式，說(shuō)明周期地將幀分配給類目的實(shí)例，但本發(fā)明不限于周期地將幀分配給類目的情況。例如圖11所示，在編碼第4幀之前，設(shè)定到第3類目，當(dāng)編碼此后的幀時(shí)，編碼到第2類目，第3類目不編碼。此時(shí)，最好變更參照?qǐng)D像存儲(chǔ)器向類目的分配。
另外，作為本實(shí)施方式，說(shuō)明對(duì)每個(gè)幀編碼當(dāng)前幀的類目序號(hào)的實(shí)例，但本發(fā)明不限于對(duì)每個(gè)幀編碼當(dāng)前幀的類目序號(hào)的情況，也可對(duì)多個(gè)幀的每個(gè)編碼當(dāng)前幀的類目序號(hào)。例如，編碼側(cè)不每個(gè)幀地輸出編碼數(shù)據(jù)，而是存儲(chǔ)屬于相同類目的幀的編碼數(shù)據(jù)，當(dāng)編碼某種程度的幀數(shù)之后，對(duì)每個(gè)類目編碼類目序號(hào)，匯總輸出屬于由該序號(hào)指定的類目的幀的編碼數(shù)據(jù)。該方法由于按每個(gè)類目來(lái)匯總編碼數(shù)據(jù)，所以在解碼側(cè)解碼特定類目的編碼數(shù)據(jù)時(shí)，容易從編碼側(cè)輸出的編碼數(shù)據(jù)中取出期望的編碼數(shù)據(jù)。
在如此由每個(gè)類目各自的編碼數(shù)據(jù)構(gòu)成的情況下，不僅解碼側(cè)容易取出期望類目的編碼數(shù)據(jù)，在編碼側(cè)與解碼側(cè)之間存在中繼裝置的情況下，也可由中繼裝置取出特定類目的編碼數(shù)據(jù)。據(jù)此，在多個(gè)幀構(gòu)成動(dòng)態(tài)圖像的情況下，解碼側(cè)通常以低的幀頻解碼輸出，當(dāng)位于必需的時(shí)間帶時(shí)，通過(guò)解碼側(cè)向中繼裝置請(qǐng)求接收多個(gè)類目的編碼數(shù)據(jù)，解碼側(cè)可僅在該時(shí)間帶以高的幀頻來(lái)解碼輸出。
另外，作為本實(shí)施方式，說(shuō)明以上述方法1來(lái)編碼參照?qǐng)D像指定信息的實(shí)例，但本發(fā)明不限于以上述方法1來(lái)編碼參照?qǐng)D像指定信息的情況，只要是如下指定方法即可，即編碼側(cè)與解碼側(cè)可唯一指定參照?qǐng)D像，在未解碼不作為參照?qǐng)D像的類目的幀的情況下，參照的圖像一致。
下面，示出本發(fā)明的圖像編碼裝置與圖像解碼裝置的其它實(shí)施例。圖12示出此時(shí)的圖像編碼裝置5的構(gòu)成，圖13中示出圖像解碼裝置6的構(gòu)成。
圖像編碼裝置5的參照?qǐng)D像指定信息設(shè)定部512固有分配幀序號(hào)，作為指定幀的信息，編碼使相對(duì)該幀序號(hào)的參照?qǐng)D像指定信息的對(duì)應(yīng)關(guān)系。設(shè)對(duì)應(yīng)就構(gòu)成參照?qǐng)D像的替補(bǔ)的幀而言，按類目序號(hào)大小的順序，或幀序號(hào)大小的順序，分配指定參照?qǐng)D像的序號(hào)。圖像解碼裝置6的參照?qǐng)D像指定信息設(shè)定部610解碼該對(duì)應(yīng)關(guān)系。圖像編碼裝置5的預(yù)測(cè)圖像制作部505將當(dāng)前幀分割成微塊，探索每個(gè)微塊的動(dòng)作矢量，制作對(duì)應(yīng)于動(dòng)作矢量位置的預(yù)測(cè)圖像。無(wú)損編碼部513無(wú)損編碼圖像信息。
這里，示出編碼圖14所示的4幀輸入圖像時(shí)的處理。設(shè)參照?qǐng)D像存儲(chǔ)器有1幀大小的第3類目用存儲(chǔ)器、2幀大小的第2類目用存儲(chǔ)器、4幀大小的第1類目用存儲(chǔ)器。另外，將輸入的原圖像存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的第1類目用存儲(chǔ)器中。
首先，進(jìn)行位于第1類目用存儲(chǔ)器中的幀1與幀2的編碼。當(dāng)前類目編碼部503編碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，僅將第1類目的幀2設(shè)定為參照?qǐng)D像。預(yù)測(cè)圖像制作部505根據(jù)幀2來(lái)制作預(yù)測(cè)圖像。差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè)圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲(chǔ)在第2類目用參照?qǐng)D像存儲(chǔ)器506的幀1中。參照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。
接著，進(jìn)行位于第1類目用存儲(chǔ)器中的幀3與幀4的編碼。當(dāng)前類目編碼部503編碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀3時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，將第1類目的幀1、幀2、幀4與第2類目的幀1設(shè)定為參照?qǐng)D像。之后，對(duì)每個(gè)微塊，從設(shè)定的參照?qǐng)D像中選擇一個(gè)，進(jìn)行如下所示的處理。預(yù)測(cè)圖像制作部505根據(jù)選擇到的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。編碼量計(jì)測(cè)部509計(jì)測(cè)此時(shí)的編碼量。
對(duì)全部參照?qǐng)D像執(zhí)行該處理，編碼量計(jì)測(cè)部509指示參照?qǐng)D像切換部507，以選擇編碼量少的作為參照?qǐng)D像。參照?qǐng)D像切換部507選擇指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部505制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。參照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。在對(duì)全部微塊執(zhí)行上述處理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè)圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲(chǔ)在第2類目用參照?qǐng)D像存儲(chǔ)器506的幀2中。但是，在選擇到的參照?qǐng)D像為第1類目的幀4之外的情況下，不使用該微塊的高頻段圖像信息。
接著，進(jìn)行位于第2類目用存儲(chǔ)器中的幀1與幀2的編碼。當(dāng)前類目編碼部503編碼類目序號(hào)2。參照?qǐng)D像指定信息設(shè)定部512設(shè)定將當(dāng)前幀設(shè)為幀1時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。此刻，將第2類目的幀2設(shè)定為參照?qǐng)D像。
之后，對(duì)每個(gè)微塊，從設(shè)定的參照?qǐng)D像中選擇一個(gè)，進(jìn)行如下所示的處理。預(yù)測(cè)圖像制作部505根據(jù)選擇到的參照?qǐng)D像來(lái)制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，并編碼當(dāng)制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量，編碼量計(jì)測(cè)部509計(jì)測(cè)此時(shí)的編碼量。
對(duì)全部參照?qǐng)D像執(zhí)行該處理，編碼量計(jì)測(cè)部509指示參照?qǐng)D像切換部507，以選擇編碼量少的作為參照?qǐng)D像。參照?qǐng)D像切換部507選擇指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部505制作預(yù)測(cè)圖像，差分編碼部504編碼作為預(yù)測(cè)圖像與當(dāng)前幀圖像的差分的高頻段圖像信息，還編碼制作預(yù)測(cè)圖像時(shí)使用的動(dòng)作矢量。參照?qǐng)D像指定信息編碼部508編碼參照?qǐng)D像指定信息。
在對(duì)全部微塊執(zhí)行上述處理之后，解碼部510根據(jù)高頻段圖像信息與預(yù)測(cè)圖像信息，制作低頻段圖像信息，將低頻段圖像信息存儲(chǔ)在第3類目用參照?qǐng)D像存儲(chǔ)器506的幀1中。最后，無(wú)損編碼部513無(wú)損編碼存儲(chǔ)在第3類目用參照?qǐng)D像存儲(chǔ)器的幀1中的圖像信息。
下面，表示將如此制作的編碼數(shù)據(jù)解碼成圖15所示的4幀輸出圖像時(shí)的步驟。按第3類目、第2類目、第1類目的順序解碼。
首先，當(dāng)前類目解碼部605解碼類目序號(hào)3。無(wú)損解碼部61解碼編碼數(shù)據(jù)，將解碼圖像存儲(chǔ)在第3類目的幀1中。
之后，進(jìn)行第2類目的解碼。當(dāng)前類目解碼部605解碼類目序號(hào)2。參照?qǐng)D像指定信息設(shè)定部604設(shè)定將當(dāng)前幀設(shè)為幀1時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成參照?qǐng)D像的第2類目的幀2的參照?qǐng)D像指定信息對(duì)應(yīng)，以指定第3類目的幀1。此刻，將第3類目的幀1設(shè)定成參照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部602使用動(dòng)作矢量來(lái)制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測(cè)圖像，制作解碼圖像2幀。解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第2類目的幀1與幀2中。
之后，執(zhí)行第1類目的解碼。首先，示出解碼幀1與幀2的步驟。當(dāng)前類目解碼部605解碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè)為幀1時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成參照?qǐng)D像的第1類目的幀2的參照?qǐng)D像指定信息對(duì)應(yīng)，以指定第2類目的幀1。此刻，將第2類目的幀1設(shè)定成參照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部602使用動(dòng)作矢量來(lái)制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測(cè)圖像，制作解碼圖像2幀。解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第1類目的幀1與幀2中。
下面，示出解碼幀3與幀4的步驟。當(dāng)前類目解碼部605解碼類目序號(hào)1。參照?qǐng)D像指定信息設(shè)定部610設(shè)定將當(dāng)前幀設(shè)為幀3時(shí)的參照?qǐng)D像指定信息與參照?qǐng)D像的對(duì)應(yīng)。圖像編碼裝置5使指定構(gòu)成參照?qǐng)D像的第1類目的幀4的參照?qǐng)D像指定信息對(duì)應(yīng)，以指定第2類目的幀2。此刻，將第2類目的幀1與幀2、第1類目的幀1與幀2設(shè)定成參照?qǐng)D像。
之后，對(duì)每個(gè)微塊執(zhí)行如下所示的處理。差分解碼部601解碼高頻段圖像信息與動(dòng)作矢量。參照?qǐng)D像指定信息解碼部604解碼參照?qǐng)D像指定信息。參照?qǐng)D像切換部603選擇由參照?qǐng)D像指定信息指示的參照?qǐng)D像，預(yù)測(cè)圖像制作部602使用動(dòng)作矢量來(lái)制作預(yù)測(cè)圖像。解碼圖像制作部607根據(jù)高頻段圖像信息與預(yù)測(cè)圖像，制作解碼圖像2幀。但是，在選擇的參照?qǐng)D像為第2類目的幀2之外的情況下，不使用該微塊的高頻段圖像信息。
解碼圖像存儲(chǔ)部608將解碼圖像存儲(chǔ)在第1類目的幀3與幀4中。由此，解碼作為編碼目的地圖像的第1類目4幀。
這里，預(yù)測(cè)圖像制作部602進(jìn)行動(dòng)作探索，但也可不執(zhí)行該探索，而根據(jù)畫面內(nèi)相同位置的圖像信息來(lái)制作預(yù)測(cè)圖像。
根據(jù)本實(shí)施例，因?yàn)楫?dāng)編碼第2類目的幀3與幀4時(shí)可從多個(gè)參照?qǐng)D像中選擇參照?qǐng)D像，所以可提高編碼效率。
另外，作為本實(shí)施方式，說(shuō)明向幀分配多個(gè)圖像后視為動(dòng)態(tài)圖像來(lái)編碼的實(shí)例，但本發(fā)明不限于向幀分配多個(gè)圖像后視為動(dòng)態(tài)圖像來(lái)編碼的情況，也可沒有多個(gè)圖像的時(shí)間相關(guān)。即，就改變視點(diǎn)或視線后拍攝的多個(gè)圖像而言，可將各圖像視為幀來(lái)編碼。
另外，作為本實(shí)施方式，說(shuō)明不可逆編碼預(yù)測(cè)殘差的實(shí)例，但本發(fā)明不限于不可逆編碼預(yù)測(cè)殘差的情況，也可可逆編碼。此時(shí)，圖像編碼裝置1中不配備解碼部108，不在參照?qǐng)D像存儲(chǔ)器107中存儲(chǔ)解碼圖像，還可以存儲(chǔ)原圖像。
另外，本發(fā)明不限于編碼二維圖像的情況，圖像的維也可以是二維之外。例如，可編碼三維的多個(gè)圖像，或存儲(chǔ)一維的多個(gè)圖像。
產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明，當(dāng)編碼或解碼多個(gè)幀的圖像時(shí)，將參照?qǐng)D像存儲(chǔ)器分類成多個(gè)類目，通過(guò)對(duì)每個(gè)類目管理參照?qǐng)D像，可在解碼類目與不解碼類目的情況下，指定同一參照?qǐng)D像，得到正確的解碼圖像。另外，對(duì)每個(gè)類目可增多參照?qǐng)D像數(shù)量，提高編碼效率
權(quán)利要求
1.一種圖像編碼方法，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(gè)(N≥2)類目；預(yù)測(cè)圖像制作步驟，對(duì)于分類成第i類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過(guò)去編碼了的參照?qǐng)D像存儲(chǔ)器中的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼步驟，編碼指定所述選擇到的圖像信息的、第j類目用的參照?qǐng)D像指定信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)；和圖像存儲(chǔ)步驟，將當(dāng)前幀的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，對(duì)每個(gè)所述類目，分配幀序號(hào)，該幀序號(hào)指定屬于類目的幀，所述參照?qǐng)D像指定信息由所述預(yù)測(cè)圖像制作部選擇到的圖像信息所屬的類目序號(hào)，和由該序號(hào)指定的類目的幀序號(hào)構(gòu)成。
3.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼數(shù)據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制作解碼圖像，所述差分編碼步驟通過(guò)不可逆編碼來(lái)編碼所述差分，所述圖像存儲(chǔ)步驟存儲(chǔ)由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖像信息。
4.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，所述參照?qǐng)D像指定信息編碼步驟具有暫定幀序號(hào)設(shè)定步驟，對(duì)存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)器中的多個(gè)圖像信息中、屬于第i類目的幀的圖像信息，設(shè)定暫定幀序號(hào)；和暫定幀序號(hào)編碼步驟，編碼暫定幀序號(hào)，作為參照?qǐng)D像指定信息，該暫定幀序號(hào)指定由所述預(yù)測(cè)圖像制作步驟選擇到的圖像信息。
5.根據(jù)權(quán)利要求4所述的圖像編碼方法，其特征在于，所述暫定幀序號(hào)設(shè)定步驟具有編碼順序記錄步驟，記錄過(guò)去編碼的幀的編碼順序，作為每個(gè)類目的編碼順序序號(hào)；和暫定幀序號(hào)確定步驟，根據(jù)過(guò)去編碼的幀的編碼順序序號(hào)和當(dāng)前幀的類目序號(hào)，確定過(guò)去編碼的幀的暫定幀序號(hào)。
6.根據(jù)權(quán)利要求4所述的圖像編碼方法，其特征在于，所述暫定幀序號(hào)設(shè)定步驟具有編碼順序記錄步驟，記錄過(guò)去編碼的幀的編碼順序，作為編碼順序序號(hào)；類目序號(hào)記錄步驟，記錄過(guò)去編碼的幀的類目序號(hào)；和暫定幀序號(hào)確定步驟，根據(jù)過(guò)去編碼的幀的編碼順序序號(hào)和當(dāng)前幀的類目序號(hào)，確定過(guò)去編碼的幀的暫定幀序號(hào)。
7.根據(jù)權(quán)利要求5或6所述的圖像編碼方法，其特征在于，所述暫定幀序號(hào)確定步驟具有差分幀序號(hào)分配步驟，按編碼順序序號(hào)的大小順序，分配差分幀序號(hào)；和暫定幀序號(hào)算出步驟，預(yù)先具備對(duì)差分幀序號(hào)和當(dāng)前幀的類目序號(hào)的組合分配暫定幀序號(hào)的表，根據(jù)差分幀序號(hào)與當(dāng)前幀序號(hào)，參照表來(lái)算出暫定幀序號(hào)。
8.根據(jù)權(quán)利要求5或6所述的圖像編碼方法，其特征在于，所述暫定幀序號(hào)確定步驟具有差分幀序號(hào)分配步驟，按編碼順序序號(hào)的大小順序，分配差分幀序號(hào)；和暫定幀序號(hào)算出步驟，預(yù)先對(duì)差分幀序號(hào)和當(dāng)前幀的類目序號(hào)的組合設(shè)定算出暫定幀序號(hào)的計(jì)算式，根據(jù)差分幀序號(hào)與當(dāng)前幀序號(hào)，通過(guò)計(jì)算來(lái)算出暫定幀序號(hào)。
9.一種圖像解碼方法，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息解碼步驟，解碼所述解碼的類目序號(hào)用的、指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由所述參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像和預(yù)測(cè)圖像的差分；解碼圖像制作步驟，根據(jù)所述解碼的差分信息和所述預(yù)測(cè)圖像，制作當(dāng)前幀的解碼圖像；和解碼圖像存儲(chǔ)步驟，將所述制作的當(dāng)前幀的解碼圖像信息存儲(chǔ)在所述解碼的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
10.根據(jù)權(quán)利要求9所述的圖像解碼方法，其特征在于，所述參照?qǐng)D像指定信息由所述預(yù)測(cè)圖像制作部從所述參照?qǐng)D像存儲(chǔ)器讀入的參照?qǐng)D像信息所屬的類目序號(hào)，和指定屬于由該序號(hào)指定的類目的幀的幀序號(hào)構(gòu)成。
11.根據(jù)權(quán)利要求9所述的圖像解碼方法，其特征在于，所述參照?qǐng)D像指定信息解碼步驟具有暫定幀序號(hào)設(shè)定步驟，對(duì)存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)器中的多個(gè)圖像信息中、屬于第i類目的幀的圖像信息，設(shè)定暫定幀序號(hào)；和暫定幀序號(hào)解碼步驟，解碼參照?qǐng)D像指定信息，得到指定由所述預(yù)測(cè)圖像制作步驟選擇的圖像信息的暫定幀序號(hào)。
12.根據(jù)權(quán)利要求11所述的圖像解碼方法，其特征在于，所述暫定幀序號(hào)設(shè)定步驟具有解碼順序記錄步驟，記錄過(guò)去解碼的幀的解碼順序，作為每個(gè)類目的解碼順序序號(hào)；和暫定幀序號(hào)確定步驟，根據(jù)過(guò)去解碼的幀的解碼順序序號(hào)和當(dāng)前幀的類目序號(hào)，確定過(guò)去解碼的幀的暫定幀序號(hào)。
13.根據(jù)權(quán)利要求11所述的圖像解碼方法，其特征在于，所述暫定幀序號(hào)設(shè)定步驟具有解碼順序記錄步驟，記錄過(guò)去解碼的幀的解碼順序，作為解碼順序序號(hào)；類目序號(hào)記錄步驟，記錄過(guò)去解碼的幀的類目序號(hào)；和暫定幀序號(hào)確定步驟，根據(jù)過(guò)去解碼的幀的解碼順序序號(hào)和當(dāng)前幀的類目序號(hào)，確定過(guò)去解碼的幀的暫定幀序號(hào)。
14.根據(jù)權(quán)利要求12或13所述的圖像解碼方法，其特征在于，所述暫定幀序號(hào)確定步驟具有差分幀序號(hào)分配步驟，按解碼順序序號(hào)的大小順序，分配差分幀序號(hào)；和暫定幀序號(hào)算出步驟，預(yù)先具備對(duì)差分幀序號(hào)和當(dāng)前幀的類目序號(hào)的組合分配暫定幀序號(hào)的表，根據(jù)差分幀序號(hào)和當(dāng)前幀序號(hào)，參照表來(lái)算出暫定幀序號(hào)。
15.根據(jù)權(quán)利要求12或13所述的圖像解碼方法，其特征在于，所述暫定幀序號(hào)確定步驟具有差分幀序號(hào)分配步驟，按解碼順序序號(hào)的大小順序，分配差分幀序號(hào)；和暫定幀序號(hào)算出步驟，預(yù)先對(duì)差分幀序號(hào)和當(dāng)前幀的類目序號(hào)的組合設(shè)定算出暫定幀序號(hào)的計(jì)算式，根據(jù)差分幀序號(hào)和當(dāng)前幀序號(hào)，通過(guò)計(jì)算來(lái)算出暫定幀序號(hào)。
16.一種圖像編碼裝置，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，包括圖像分類部，將編碼目的地的各幀分類成N個(gè)(N≥2)類目；預(yù)測(cè)圖像制作部，對(duì)于分類成第i類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過(guò)去編碼了的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼部，編碼指定由所述預(yù)測(cè)圖像制作部選擇到的圖像信息的、第j類目用的參照?qǐng)D像指定信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號(hào)；和參照?qǐng)D像存儲(chǔ)器，存儲(chǔ)當(dāng)前幀的圖像信息。
17.根據(jù)權(quán)利要求16所述的圖像編碼裝置，其特征在于，還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和解碼制作部，根據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制作解碼圖像，所述差分編碼部通過(guò)不可逆編碼來(lái)編碼所述差分，所述參照?qǐng)D像存儲(chǔ)器存儲(chǔ)由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖像信息。
18.一種圖像解碼裝置，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，包括分類成N個(gè)(N≥2)類目的多個(gè)幀大小的參照?qǐng)D像存儲(chǔ)器；當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息解碼部，解碼由所述當(dāng)前類目解碼部得到的類目序號(hào)用的、指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，根據(jù)由所述參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分；解碼圖像制作部，根據(jù)所述解碼的差分信息和所述預(yù)測(cè)圖像，制作當(dāng)前幀的解碼圖像；和解碼圖像存儲(chǔ)部，將所述制作的當(dāng)前幀的解碼圖像信息存儲(chǔ)在由所述當(dāng)前類目解碼部得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
19.一種圖像編碼方法，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟圖像分類步驟，將編碼目的地的各幀分類成N個(gè)(N≥2)類目；參照類目設(shè)定步驟，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定步驟，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，從由所述參照類目設(shè)定步驟設(shè)定的類目的、過(guò)去編碼的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼步驟，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼步驟，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息指定由所述預(yù)測(cè)圖像制作步驟選擇的圖像信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)；和圖像存儲(chǔ)步驟，將當(dāng)前幀的圖像信息存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
20.根據(jù)權(quán)利要求19所述的圖像編碼方法，其特征在于，還具有差分解碼步驟，解碼由所述差分編碼步驟制作的編碼數(shù)據(jù)；和解碼制作步驟，根據(jù)由所述差分解碼步驟制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制作解碼圖像，所述差分編碼步驟通過(guò)不可逆編碼來(lái)編碼所述差分，所述圖像存儲(chǔ)步驟存儲(chǔ)由所述解碼圖像制作步驟制作的當(dāng)前幀的解碼圖像信息。
21.一種圖像解碼方法，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照類目設(shè)定步驟，設(shè)定在解碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定步驟，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；參照?qǐng)D像指定信息解碼步驟，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼步驟，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分；解碼圖像制作步驟，根據(jù)差分信息與預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存儲(chǔ)步驟，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼步驟得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
22.一種圖像編碼裝置，編碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有圖像分類部，將編碼目的地的各幀分類成N個(gè)(N≥2)類目；參照類目設(shè)定部，設(shè)定在編碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于由所述參照類目設(shè)定步驟設(shè)定的可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，從由所述參照類目設(shè)定部設(shè)定的類目的、過(guò)去編碼的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼部，編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分；參照?qǐng)D像指定信息編碼部，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息指定由所述預(yù)測(cè)圖像制作部選擇的圖像信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號(hào)；和參照?qǐng)D像存儲(chǔ)器，存儲(chǔ)當(dāng)前幀的圖像信息。
23.根據(jù)權(quán)利要求22所述的圖像編碼裝置，其特征在于，還具有差分解碼部，解碼由所述差分編碼部制作的編碼數(shù)據(jù)；和解碼制作部，根據(jù)由所述差分解碼部制作的解碼數(shù)據(jù)和所述預(yù)測(cè)圖像，制作解碼圖像，所述差分編碼部通過(guò)不可逆編碼來(lái)編碼所述差分，所述參照?qǐng)D像存儲(chǔ)器存儲(chǔ)由所述解碼圖像制作部制作的當(dāng)前幀的解碼圖像信息。
24.一種圖像解碼裝置，解碼由多個(gè)幀構(gòu)成的圖像信息，其特征在于，具有分類成N個(gè)(N≥2)類目的多個(gè)幀大小的參照?qǐng)D像存儲(chǔ)器；當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號(hào)；參照類目設(shè)定部，設(shè)定解碼當(dāng)前幀所屬的類目的幀時(shí)可參照的類目；參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于由所述參照類目設(shè)定部設(shè)定的可參照的類目的、存儲(chǔ)在所述參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；參照?qǐng)D像指定信息解碼部，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，根據(jù)由參照?qǐng)D像指定信息指定的圖像信息，制作預(yù)測(cè)圖像；差分解碼部，解碼當(dāng)前幀的解碼圖像與預(yù)測(cè)圖像的差分；解碼圖像制作部，根據(jù)差分信息和預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存儲(chǔ)部，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼部得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
25.一種圖像編碼方法，根據(jù)多個(gè)幀的圖像信息，制作分類成N個(gè)(N≥2)類目的低頻段圖像信息與高頻段圖像信息，編碼圖像信息，其特征在于，具有如下步驟參照?qǐng)D像指定信息設(shè)定步驟，對(duì)當(dāng)前幀可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的多個(gè)幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，從當(dāng)前幀可參照的類目的、存儲(chǔ)于參照?qǐng)D像存儲(chǔ)器中的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼步驟，根據(jù)當(dāng)前幀的圖像信息與預(yù)測(cè)圖像，制作并編碼高頻段圖像信息；參照?qǐng)D像指定信息編碼步驟，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息指定由所述預(yù)測(cè)圖像制作步驟選擇的圖像信息；當(dāng)前類目編碼步驟，編碼當(dāng)前幀的類目序號(hào)；和解碼步驟，根據(jù)高頻段圖像信息和預(yù)測(cè)圖像，制作低頻段圖像信息并存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
26.一種圖像解碼方法，根據(jù)高頻段圖像信息和低頻段圖像信息，解碼圖像信息，其特征在于，具有如下步驟當(dāng)前類目解碼步驟，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息設(shè)定步驟，對(duì)屬于當(dāng)前幀可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；參照?qǐng)D像指定信息解碼步驟，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作步驟，根據(jù)由參照?qǐng)D像指定信息指定的低頻段圖像信息，制作預(yù)測(cè)圖像；差分解碼步驟，解碼高頻段圖像信息；解碼圖像制作步驟，根據(jù)高頻段圖像信息和預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存儲(chǔ)步驟，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼步驟得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
27.一種圖像編碼裝置，根據(jù)多個(gè)幀的圖像信息，制作分類成N個(gè)(N≥2)類目的低頻段圖像信息和高頻段圖像信息，編碼圖像信息，其特征在于，包括參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于當(dāng)前幀可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，從當(dāng)前幀可參照的類目的、存儲(chǔ)于參照?qǐng)D像存儲(chǔ)器中的多個(gè)幀的圖像信息中，選擇圖像信息，并制作預(yù)測(cè)圖像；差分編碼部，根據(jù)當(dāng)前幀的圖像信息和預(yù)測(cè)圖像，制作并編碼高頻段圖像信息；參照?qǐng)D像指定信息編碼部，編碼參照?qǐng)D像指定信息，該參照?qǐng)D像指定信息指定由所述預(yù)測(cè)圖像制作部選擇的圖像信息；當(dāng)前類目編碼部，編碼當(dāng)前幀的類目序號(hào)；和解碼部，根據(jù)高頻段圖像信息和預(yù)測(cè)圖像，制作低頻段圖像信息并存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中。
28.一種圖像解碼裝置，根據(jù)高頻段圖像信息和低頻段圖像信息，解碼圖像信息，其特征在于，包括當(dāng)前類目解碼部，解碼當(dāng)前幀的類目序號(hào)；參照?qǐng)D像指定信息設(shè)定部，對(duì)屬于當(dāng)前幀可參照的類目的、存儲(chǔ)在參照?qǐng)D像存儲(chǔ)器中的幀的圖像信息，設(shè)定參照?qǐng)D像指定信息；參照?qǐng)D像指定信息解碼部，解碼指定參照?qǐng)D像信息的參照?qǐng)D像指定信息；預(yù)測(cè)圖像制作部，根據(jù)由參照?qǐng)D像指定信息指定的低頻段圖像信息，制作預(yù)測(cè)圖像；差分解碼部，解碼高頻段圖像信息；解碼圖像制作部，根據(jù)高頻段圖像信息和預(yù)測(cè)圖像，制作解碼圖像；和解碼圖像存儲(chǔ)部，將當(dāng)前幀的解碼圖像存儲(chǔ)在由所述當(dāng)前類目解碼部得到的類目序號(hào)用的參照?qǐng)D像存儲(chǔ)器中。
29.一種圖像編碼程序，用于讓計(jì)算機(jī)執(zhí)行權(quán)利要求1、19、25中任意一項(xiàng)所述的圖像編碼方法。
30.一種圖像解碼程序，用于讓計(jì)算機(jī)執(zhí)行權(quán)利要求9、21、26中任意一項(xiàng)所述的圖像解碼方法。
31.一種記錄圖像編碼程序的記錄媒體，該程序用于讓計(jì)算機(jī)執(zhí)行權(quán)利要求1、19、25中任意一項(xiàng)所述的圖像編碼方法。
32.一種記錄圖像解碼程序的記錄媒體，該程序用于讓計(jì)算機(jī)執(zhí)行權(quán)利要求9、21、26中任意一項(xiàng)所述的圖像解碼方法。
全文摘要
為了在未解碼編碼數(shù)據(jù)的特定幀的情況下也能得到正確的解碼圖像，并且使編碼效率提高，預(yù)測(cè)圖像制作部(103)對(duì)由圖像分類部(102)分類到第j類目的當(dāng)前幀，從第i(1≤i≤j)類目的、過(guò)去編碼的參照?qǐng)D像存儲(chǔ)器(107)的多個(gè)幀的圖像信息中，選擇圖像信息，制作預(yù)測(cè)圖像。差分編碼部(104)編碼當(dāng)前幀的圖像信息與預(yù)測(cè)圖像的差分。另外，當(dāng)前類目編碼部(106)編碼當(dāng)前幀的類目序號(hào)，參照?qǐng)D像指定信息編碼部(105)編碼指定從參照?qǐng)D像存儲(chǔ)器(107)中選擇出的圖像信息的參照?qǐng)D像指定信息。
文檔編號(hào)H03M7/36GK1806447SQ20048001666
公開日2006年7月19日 申請(qǐng)日期2004年7月22日 優(yōu)先權(quán)日2003年7月24日
發(fā)明者木全英明, 北原正樹, 上倉(cāng)一人 申請(qǐng)人:日本電信電話株式會(huì)社