專利名稱：圖像編碼方法和裝置、圖像解碼方法和裝置以及它們的程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像的編碼和解碼技術(shù)，特別是涉及適合于像距離圖像那樣的圖像的編碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置以及它們的程序。本申請(qǐng)基于2010年9月29日申請(qǐng)的日本特愿2010 - 218036號(hào)要求優(yōu)先權(quán)，并在此引用其內(nèi)容。
背景技術(shù)：
距離圖像是將從攝影機(jī)(camera)到被攝物體的距離表現(xiàn)為像素值的圖像。因?yàn)閺臄z影機(jī)到被攝物體的距離也可以稱為場(chǎng)景的縱深，所以有時(shí)也將距離圖像稱為縱深圖像。此外，由于縱深(Depth)，有時(shí)也將其稱為深度圖(Depth Map)。在計(jì)算機(jī)圖形的領(lǐng)域中，由于深度為積蓄在Z緩沖器(將畫面整體的深度匯總起來進(jìn)行保存的存儲(chǔ)區(qū)域)中的信息，所以有時(shí)也稱為Z圖像或Z圖。再有，除了從攝影機(jī)到被攝物體的距離以外，有時(shí)也將作為表現(xiàn)對(duì)象的相對(duì)于在空間上展開的三維坐標(biāo)系的Z軸的坐標(biāo)值用作距離(深度)。通常，對(duì)所攝影的圖像將水平方向設(shè)為X軸并將垂直方向設(shè)為Y軸，因此Z軸與攝影機(jī)的朝向一致，但是也存在對(duì)多個(gè)攝影機(jī)使用共同的坐標(biāo)系的情況等Z軸與攝影機(jī)的朝向不一致的情況。以下，將距離/縱深/Z值(縱深信息)不區(qū)分地稱為距離信息，將距離信息被表示為像素值的圖像稱為距離圖像。在將距離信息表示為像素值時(shí)，有如下方法，S卩，將與物理量對(duì)應(yīng)的值直接作為像素值的方法、使用將最小值和最大值之間量化為某個(gè)離散數(shù)而得到的值的方法、以及使用以某個(gè)步長(zhǎng)對(duì)與最小值的差進(jìn)行量化而得到的值的方法。在欲表現(xiàn)的范圍被限制的情況下，使用最小值等附加信息更能高精度地表現(xiàn)距離信息。此外，在等間隔地進(jìn)行量化時(shí)，有對(duì)物理量直接進(jìn)行量化的方法和對(duì)物理量的倒數(shù)進(jìn)行量化的方法。通常，因?yàn)榫嚯x信息的倒數(shù)是與視差成比例的值，所以在需要高精度地表現(xiàn)距離信息的情況下，使用前者的情況較多，在需要高精度地表現(xiàn)視差信息的情況下，使用后者的情況較多。以下，與距離信息的像素值化的方法、量化的方法無關(guān)地將距離信息被表現(xiàn)為圖像后的圖像全部稱為距離圖像。作為距離圖像的利用用途之一，有立體圖像。作為一般的立體圖像的表現(xiàn)，有由觀測(cè)者的右眼用圖像和左眼用圖像構(gòu)成的立體(stereo)圖像，但是能使用某個(gè)攝影機(jī)中的圖像和該距離圖像來表現(xiàn)立體圖像(詳細(xì)的技術(shù)參照非專利文獻(xiàn)I)。在對(duì)這樣的使用I個(gè)視點(diǎn)處的影像和距離圖像來表現(xiàn)的立體影像進(jìn)行編碼的方式中，能使用MPEG-C Part.3 (IS0/IEC 23002 - 3)(詳細(xì)的內(nèi)容參照非專利文獻(xiàn)2)。此外，通過對(duì)多個(gè)視點(diǎn)具有影像和距離圖像，從而與在單視點(diǎn)的情況下能表現(xiàn)的立體影像相比，能表現(xiàn)具有更大的視差的立體影像(細(xì)節(jié)參照非專利文獻(xiàn)3)。
此外，除了表現(xiàn)這樣的立體影像的用途以外，距離圖像還被用作生成鑒賞者不用在意拍攝攝影機(jī)的配置而能自由地移動(dòng)視點(diǎn)的自由視點(diǎn)影像的數(shù)據(jù)之一。有時(shí)將這樣的假設(shè)從與拍攝攝影機(jī)不同的攝影機(jī)觀察場(chǎng)景時(shí)的合成圖像稱為假想視點(diǎn)圖像，在基于圖像的繪制(Image-based Rendering)領(lǐng)域中正熱烈地研究該生成法。作為根據(jù)多視點(diǎn)的影像和距離圖像生成假想視點(diǎn)影像的代表性的手法，有非專利文獻(xiàn)4所記載的手法。因?yàn)榫嚯x圖像由I個(gè)成分(component)構(gòu)成，所以能看作為灰度(gray scale)圖像。此外，因?yàn)楸粩z物體在實(shí)空間上連續(xù)地存在，不能瞬間移動(dòng)到離開的位置，所以可以說與圖像信號(hào)同樣地具有空間的相關(guān)和時(shí)間的相關(guān)。因此，利用為了對(duì)通常的圖像信號(hào)、影像信號(hào)進(jìn)行編碼而使用的圖像編碼方式、動(dòng)態(tài)圖像編碼方式，能對(duì)距離圖像、距離動(dòng)態(tài)圖像一邊除去空間的冗長(zhǎng)性、時(shí)間的冗長(zhǎng)性，一邊高效地進(jìn)行編碼。實(shí)際上，在MPEG-C Part.3中，使用現(xiàn)有的動(dòng)態(tài)圖像編碼方式來進(jìn)行距離動(dòng)態(tài)圖像的編碼。在此，對(duì)以往的一般的影像信號(hào)的編碼方式進(jìn)行說明。通常，因?yàn)楸粩z物體在實(shí)空間上具有空間的連續(xù)性和時(shí)間的連續(xù)性，所以其視覺效果在空間上和時(shí)間上具有高的相關(guān)。在影像信號(hào)的編碼中，利用這樣的相關(guān)性來實(shí)現(xiàn)高的編碼效率。具體地說，根據(jù)已經(jīng)完成編碼的影像信號(hào)預(yù)測(cè)編碼對(duì)象塊的影像信號(hào)，僅對(duì)該預(yù)測(cè)殘差進(jìn)行編碼，由此減少需要進(jìn)行編碼的信息，實(shí)現(xiàn)高的編碼效率。作為代表性的影像信號(hào)的預(yù)想的手法，有根據(jù)鄰接的塊在空間上生成預(yù)測(cè)信號(hào)的幀內(nèi)預(yù)測(cè)、根據(jù)在不同的時(shí)刻所攝影的編碼完成幀估計(jì)被攝物體的運(yùn)動(dòng)以在時(shí)間上生成預(yù)測(cè)信號(hào)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。此外，關(guān)于被稱為預(yù)測(cè)殘差信號(hào)的預(yù)測(cè)的誤差，也為了利用空間的相關(guān)和人類的視覺特性而使用DCT (離散余弦變換)等將預(yù)測(cè)殘差信號(hào)變換為頻率空間中的數(shù)據(jù)，使殘差信號(hào)的能量集中在低頻區(qū)域，由此高效地進(jìn)行編碼。各手法的細(xì)節(jié)希望參照動(dòng)態(tài)圖像國(guó)際標(biāo)準(zhǔn)規(guī)范的MPEG-2、H.264/MPEG - 4 AVC(非專利文獻(xiàn)5)?，F(xiàn)有技術(shù)文獻(xiàn) 非專利文獻(xiàn)
非專利文獻(xiàn) 1:C.Fehn, P.Kauff, M.0p de Beeck, F.Ernst, ff.1Jsselstei jn, M.Poilefeys， L.Van GooI, E.0fek and 1.Sexton, 〃An Evolutionary and OptimisedApproach on 3D_TV〃， Proceedings of International Broadcast Conference,pp.357-365, Amsterdam, The Netherlands, September 2002
非專利文獻(xiàn) 2:W.H.A.Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrugand A.Bourge, "Enabling Introduction of Stereoscopic (3D) Video: Formats andCompression Standards , Proceedings of IEEE International Conference on ImageProcessing, pp.1-89-1-92, San Antonio, USA, September 2007 非專利文獻(xiàn) 3:A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, 0.Schreer, R.Tanger, P.Kauff and T.ffiegand, ^Mult1-view video plusdepth (MVD) format for advanced 3D video systems' Joint Video Team of IS0/IECJTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc.JVT-fflOO, San Jose, USA, April 2007非專利文獻(xiàn) 4:C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder,and R.Szeliski, ^High-quality Video View Interpolation Using a LayeredRepresentation", ACM Transactions on Graphics, vol.23, n0.3, pp.600-608，August2004
非專利文獻(xiàn)5:Recommendation ITU-T H.264, "Advanced video coding for genericaudiovisual services", March 2009。

發(fā)明內(nèi)容
發(fā)明要解決的課題
被攝物體由于在實(shí)空間上是連續(xù)的，所以具有高的空間相關(guān)，并且由于不可能瞬間移動(dòng)到離開的位置，所以具有高的時(shí)間相關(guān)。因此，通過使用利用了空間相關(guān)和時(shí)間相關(guān)的現(xiàn)有的動(dòng)態(tài)圖像編碼方式，從而能對(duì)表示為灰度圖像的距離圖像高效地進(jìn)行編碼。然而，因?yàn)榫嚯x信息在被攝物體內(nèi)部變化少，而在被攝物體間卻存在非常大的差異，所以空間的預(yù)測(cè)結(jié)果或時(shí)間的預(yù)測(cè)結(jié)果是以下的任一個(gè)，即，要么能實(shí)現(xiàn)正確的預(yù)測(cè)并且預(yù)測(cè)殘差變得非常小，要么完全不能進(jìn)行有效的預(yù)測(cè)并且預(yù)測(cè)殘差變得非常大。也就是說，在預(yù)測(cè)殘差信號(hào)生成強(qiáng)的邊緣。當(dāng)使用DCT等將這樣的強(qiáng)的邊緣變換為頻率空間中的數(shù)據(jù)時(shí)，不能使殘差信號(hào)的能量集中在低頻區(qū)域，產(chǎn)生許多高頻分量。其結(jié)果是，不能對(duì)殘差信號(hào)高效地進(jìn)行編碼。在圖23中示出了某個(gè)距離圖像的9X9像素的塊的一個(gè)例子。在該塊中存在2個(gè)被攝物體，一個(gè)被攝物體的像素值為50左右，另一個(gè)被攝物體的像素值為200左右。
`
在空間的預(yù)測(cè)中，使用該塊的第一行和第一列的信息來對(duì)剩余的8X8像素進(jìn)行預(yù)測(cè)。雖然在預(yù)測(cè)的方法中有各種各樣的方法，但是在此示出了在H.264中采用的代表性的2個(gè)預(yù)測(cè)方法、即水平預(yù)測(cè)和垂直預(yù)測(cè)這兩個(gè)的例子。如圖的右側(cè)所示，對(duì)預(yù)測(cè)殘差大致地進(jìn)行劃分，只存在-150左右、O左右、150左右這3種值，產(chǎn)生相當(dāng)大的邊緣。圖24A、24B示出對(duì)圖23所示的預(yù)測(cè)殘差施加了 8X8的二維DCT的結(jié)果。直流(DC)分量為圖的最深處,越遠(yuǎn)離深處,越表示高頻。根據(jù)圖顯然可知，在所有的情況下，都會(huì)在大部分的高頻區(qū)域產(chǎn)生大的信號(hào)，殘差信號(hào)的緊湊化失敗。雖然也能不進(jìn)行預(yù)測(cè)而僅使用DCT等的變換來進(jìn)行編碼，但是不能除去與其它塊的空間的相關(guān)，進(jìn)而編碼效率劣化。此外，雖然也能不進(jìn)行DCT等的變換而進(jìn)行編碼，但是在該情況下，不能利用塊內(nèi)的局部的相關(guān)，不能實(shí)現(xiàn)高效的編碼。本發(fā)明是鑒于以上那樣的情況而完成的，其目的在于提供一種對(duì)像距離圖像那樣的像素值較大地依賴于對(duì)象(object)的圖像高效地進(jìn)行編碼的圖像編碼技術(shù)和對(duì)編碼后的比特流(bit stream)進(jìn)行解碼的圖像解碼技術(shù)。用于解決課題的方案
為了解決上述課題，本發(fā)明提供一種圖像編碼，在對(duì)圖像進(jìn)行傳輸或積蓄時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域(以下，也稱為塊)，按每個(gè)塊一邊預(yù)測(cè)各像素的像素值一邊進(jìn)行編碼，在該圖像編碼中假定在各塊內(nèi)存在固定數(shù)量的被攝物體或按每個(gè)塊為可變數(shù)量的被攝物體，用“代表各被攝物體的像素值(以下，稱為被攝物體像素值)”、“各像素的被攝物體標(biāo)識(shí)信息”的信息表現(xiàn)各塊的圖像。即，對(duì)塊內(nèi)的I個(gè)像素分配示出是哪個(gè)被攝物體的I個(gè)被攝物體標(biāo)識(shí)信息，將I個(gè)被攝物體像素值與I個(gè)被攝物體標(biāo)識(shí)信息相對(duì)應(yīng)。按照該信息按每個(gè)像素分配最類似的值，因此，能生成保持有復(fù)雜的邊緣形狀的預(yù)測(cè)圖像。再有，因?yàn)閴K內(nèi)所包含的被攝物體的數(shù)量被限制到至多幾個(gè)，所以該信息的量有限。這里所說的被攝物體并不意味著被攝影到的每個(gè)物體、人物本身，而是賦予信息的對(duì)象，例如是具有類似的圖像信號(hào)(亮度、色彩、深度等)的區(qū)域。即，即使是單一物體，在根據(jù)位置具有不同的顏色的情況下，也被看作為多個(gè)被攝物體。此外，不需要對(duì)圖像信號(hào)進(jìn)行編碼的物體、物體的一部分不會(huì)被看作為被攝物體。即，被攝物體與幀內(nèi)的實(shí)際對(duì)象(被攝物體)沒有關(guān)系，未被賦予信息的實(shí)際對(duì)象不是在本發(fā)明中所說的“被攝物體”。此外，在對(duì)I個(gè)實(shí)際對(duì)象賦予2個(gè)信息的情況下，被處理為各自不同的被攝物體。對(duì)在本發(fā)明及其實(shí)施方式的說明中使用的用語(yǔ)進(jìn)行說明。以下，將處理區(qū)域代表性地作為塊進(jìn)行說明?！氨粩z物體數(shù)”:被攝物體數(shù)是存在于塊內(nèi)的“被攝物體”的數(shù)量，并且是賦予信息的對(duì)象的個(gè)數(shù)。通過對(duì)塊內(nèi)的像素值進(jìn)行解析，從而能生成被攝物體數(shù)。例如，能使用像素值、位置等信息對(duì)塊內(nèi)的像素進(jìn)行聚類(clustering)，將各類的評(píng)價(jià)值(例如，像素值的方差)為固定值以下的類數(shù)的最大值作為被攝物體數(shù)。此外，也能基于經(jīng)驗(yàn)等從外部給出、或者使用預(yù)先規(guī)定的值。該被攝物體數(shù)是為了表現(xiàn)作為附加信息之一的被攝物體像素值的個(gè)數(shù)而使用的。此外，也為了表現(xiàn)在被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符的最大值而被使用?！氨粩z物體像素值”:被攝物體像素值是對(duì)每個(gè)“被攝物體”定義I個(gè)的值，并且是代表該“被攝物體”的像素值。作為像素值，能使用亮度值、色差值、R值等。此外，也有使用RGB值等多個(gè)顏色成分值的集合的情況。通過對(duì)塊內(nèi)的像素值進(jìn)行解析，從而生成被攝物體像素值。具體地說，使用像素值、位置等信息將塊內(nèi)的像素聚類為“被攝物體數(shù)”的類，按各類的每一個(gè)對(duì)所包含的像素的像素值計(jì)算平均值或中央值，由此得到被攝物體像素值。通過對(duì)塊內(nèi)的各像素分配與該像素的“被攝物體”對(duì)應(yīng)的被攝物體像素值，從而用于生成該塊的預(yù)測(cè)圖像?！氨粩z物體圖”:被攝物體圖是示出了在塊內(nèi)的各像素存在哪個(gè)“被攝物體”的圖。具體地說，是用與“被攝物體”(被攝物體像素值)對(duì)應(yīng)起來的被攝物體標(biāo)識(shí)符表現(xiàn)各像素的圖。在最簡(jiǎn)單的表現(xiàn)中能表現(xiàn)為二維信息，但是也能使用樹形構(gòu)造來表現(xiàn)。通過對(duì)塊內(nèi)的各像素分配與最接近于該像素值的被攝物體像素值對(duì)應(yīng)的被攝物體標(biāo)識(shí)符，從而生成被攝物體圖。再有，不僅鑒于像素值與被攝物體像素值的類似度，有時(shí)也鑒于被攝物體圖本身的表現(xiàn)所需的比特?cái)?shù)而生成。在生成預(yù)測(cè)像素時(shí)，被攝物體圖是為了示出對(duì)塊內(nèi)的各像素分配哪個(gè)被攝物體像素值而被使用的。“附加信息”:在本發(fā)明中將為了對(duì)處理對(duì)象幀的圖像(影像)信號(hào)進(jìn)行預(yù)測(cè)而使用的信息稱為附加信息。附加信息是以進(jìn)行處理的塊單位生成的。附加信息基本上由被攝物體數(shù)、被攝物體像素值、被攝物體圖這3個(gè)信息構(gòu)成。在本發(fā)明的圖像編碼中，典型地進(jìn)行以下的處理。(I)將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)。(2)假定在處理區(qū)域內(nèi)存在僅被攝物體數(shù)的被攝物體，按每個(gè)被攝物體將I個(gè)像素值設(shè)定為被攝物體像素值。(3)將識(shí)別被攝物體的被攝物體標(biāo)識(shí)符與被攝物體像素值對(duì)應(yīng)起來，根據(jù)處理區(qū)域內(nèi)的各像素的像素值和被攝物體像素值，生成被攝物體圖，所述被攝物體圖用被攝物體標(biāo)識(shí)符示出在處理區(qū)域內(nèi)的各像素對(duì)哪個(gè)被攝物體進(jìn)行了攝影。(4)按照被攝物體圖對(duì)各像素分配被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像。(5)對(duì)被攝物體圖進(jìn)行編碼。( 6 )對(duì)被攝物體像素值進(jìn)行編碼。(7)使用預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。(8)對(duì)被攝物體圖的編碼數(shù)據(jù)、被攝物體像素值的編碼數(shù)據(jù)、圖像信號(hào)的編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出。像以上那樣，在本發(fā)明中，為了生成預(yù)測(cè)圖像，使用作為被攝物體的代表性的像素值的被攝物體像素值和按每個(gè)像素示出使用哪個(gè)被攝物體像素值來生成預(yù)測(cè)圖像的被攝物體圖這2個(gè)附加信息。雖然與在預(yù)測(cè)圖像的生成中使用“預(yù)測(cè)方向”的信息的現(xiàn)有技術(shù)相比較，在本發(fā)明中，附加信息的碼量增加，但是通過生成正確的預(yù)測(cè)圖像，從而能大幅地減少預(yù)測(cè)殘差的編碼所需的碼量，能作為總數(shù)削減平均每個(gè)塊等的處理區(qū)域所需的碼量。進(jìn)而，本發(fā)明也可以在上述(I)的設(shè)定被攝物體數(shù)的步驟中，進(jìn)行根據(jù)處理區(qū)域內(nèi)的像素的信息估計(jì)處理區(qū)域內(nèi)的被攝物體的數(shù)量來作為被攝物體數(shù)的處理，對(duì)該被攝物體進(jìn)行編碼，將被攝物體數(shù)的編碼數(shù)據(jù)作為附加信息與其它編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出。由此，能按每個(gè)處理區(qū)域設(shè)定最佳的被攝物體數(shù)，能提高預(yù)測(cè)精度。此外，本發(fā)明也能在上述(6 )的對(duì)被攝物體像素值進(jìn)行編碼的步驟中，按每個(gè)被攝物體標(biāo)識(shí)符檢查是否在被攝物體圖中使用了該被攝物體標(biāo)識(shí)符，在進(jìn)行使用的情況下，對(duì)與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值進(jìn)行編碼，在未進(jìn)行使用的情況下，省略與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值的編碼。通過省略未在處理區(qū)域內(nèi)的像素的預(yù)測(cè)中使用的被攝物體像素值的編碼，從而能進(jìn)一步削減碼量。此外，本發(fā)明也可以在上述(7)的對(duì)圖像信號(hào)進(jìn)行預(yù)測(cè)編碼的步驟中，對(duì)預(yù)測(cè)圖像附加抖動(dòng)(dither)，使用被施加了抖動(dòng)的預(yù)測(cè)圖像來將針對(duì)編碼對(duì)象的處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。通過對(duì)預(yù)測(cè)圖像附加抖動(dòng)，從而即使被攝物體的個(gè)數(shù)有限，也能賦予更接近于自然圖像的變化。
在本發(fā)明的圖像解碼中，典型地進(jìn)行以下的處理。(I)將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)。(2)根據(jù)成為解碼對(duì)象的編碼數(shù)據(jù)對(duì)被攝物體圖進(jìn)行解碼。(3)根據(jù)編碼數(shù)據(jù)對(duì)按各被攝物體標(biāo)識(shí)符的每一個(gè)設(shè)定有I個(gè)的被攝物體像素值進(jìn)行解碼。(4)按照被攝物體圖對(duì)各像素分配被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像。(5)根據(jù)編碼數(shù)據(jù)使用預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。由此，能對(duì)由上述圖像編碼進(jìn)行編碼后的圖像進(jìn)行解碼。此外，本發(fā)明也可以在上述(I)的設(shè)定被攝物體數(shù)的步驟中，根據(jù)編碼數(shù)據(jù)對(duì)被攝物體數(shù)進(jìn)行解碼并進(jìn)行設(shè)定。此外，本發(fā)明也可以在上述(3)的對(duì)被攝物體像素值進(jìn)行解碼的步驟中，僅對(duì)與被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值進(jìn)行解碼。此外，本發(fā)明也可以在上述(5)的對(duì)圖像信號(hào)進(jìn)行解碼的步驟中，對(duì)預(yù)測(cè)圖像附加抖動(dòng)，根據(jù)編碼數(shù)據(jù)使用被加了抖動(dòng)的預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。發(fā)明效果
根據(jù)本發(fā)明，通過對(duì)像距離圖像那樣的像素值較大地依賴于被攝物體、在局部上僅存在有限數(shù)量的被攝物體那樣的圖像，使用每個(gè)被攝物體的代表像素值和被攝物體標(biāo)識(shí)信息，從而能實(shí)現(xiàn)聞精度的預(yù)測(cè)，能實(shí)現(xiàn)聞效的圖像編碼。即，通過使用本發(fā)明，從而對(duì)具有復(fù)雜的形狀的被攝物體提供正確保持了邊緣的正確的預(yù)測(cè)圖像，由此能削減預(yù)測(cè)殘差編碼所需的碼量。


圖1是示出本發(fā)明第一實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)的框圖。圖2是第一實(shí)施方式的圖像編碼裝置的處理流程圖。圖3是示出第一實(shí)施方式的圖像編碼裝置的另一結(jié)構(gòu)例的框圖。圖4是示出被攝物體圖的例子的圖。圖5是說明對(duì)被攝物體標(biāo)識(shí)符進(jìn)行編碼的例子的圖。圖6是示出樹形構(gòu)造被攝物體圖的例子的圖。圖7是示出樹形構(gòu)造被攝物體圖的另一例子的圖。圖8是在僅將針對(duì)出現(xiàn)在被攝物體圖中的被攝物體標(biāo)識(shí)符的被攝物體像素值進(jìn)行編碼的情況下的處理流程圖。圖9是在進(jìn)行被攝物體像素值的預(yù)測(cè)來對(duì)被攝物體像素值進(jìn)行編碼的情況下的處理流程圖。圖10是示出第二實(shí)施方式的圖像解碼裝置的結(jié)構(gòu)的框圖。圖11是第二實(shí)施方式的圖像解碼裝置的處理流程圖。圖12是示出第二實(shí)施方式的圖像解碼裝置的另一結(jié)構(gòu)例的框圖。圖13是示出進(jìn)行解碼后的樹形構(gòu)造被攝物體圖的例子的圖。圖14是示出進(jìn)行解碼后的被攝物體圖的例子的圖。
圖15是示出編碼數(shù)據(jù)的每個(gè)塊的句法的一個(gè)例子的圖。圖16A是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例I的圖。圖16B是示出上述數(shù)據(jù)構(gòu)造的例I的具體例子的圖。圖17A是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例2的圖。圖17B是示出上述數(shù)據(jù)構(gòu)造的例2的具體例子的圖。圖18A是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例3的圖。圖18B是示出上述數(shù)據(jù)構(gòu)造的例3的具體例子的圖。圖19A是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例4的圖。圖19B是示出上述數(shù)據(jù)構(gòu)造的例4的具體例子的圖。圖20是示出在由計(jì)算機(jī)和軟件程序構(gòu)成圖像編碼裝置的情況下的硬件結(jié)構(gòu)例的圖。圖21是示出在由計(jì)算機(jī)和軟件程序構(gòu)成圖像解碼裝置的情況下的硬件結(jié)構(gòu)例的圖。圖22A是示出在使用本手法和以往手法來進(jìn)行編碼的情況下的產(chǎn)生碼量的比較的圖。圖22B是示出在使用本手法和以往手法來進(jìn)行編碼的情況下的圖像品質(zhì)的比較的圖。圖23是說明本發(fā)明的課題的圖，并且是對(duì)某個(gè)距離圖像的水平預(yù)測(cè)和垂直預(yù)測(cè)的例子。圖24A是示出對(duì)圖23所示的水平預(yù)測(cè)殘差施加了 8X8的二維DCT的結(jié)果的圖。圖24B是示出對(duì)圖23所示的垂直預(yù)測(cè)殘差施加了 8X8的二維DCT的結(jié)果的圖。
具體實(shí)施例方式在本發(fā)明中，按設(shè)定在處理區(qū)域內(nèi)的各被攝物體的每一個(gè)設(shè)定I個(gè)像素值，對(duì)處理區(qū)域內(nèi)的各像素給出用于識(shí)別被攝物體的信息，生成預(yù)測(cè)圖像。因此，能與任意的被攝物體形狀對(duì)應(yīng)地生成高精度的預(yù)測(cè)圖像。特別是在像素值依賴于被攝物體而較大地不同的情況下，能使參照目的地與預(yù)測(cè)目的地的被攝物體一致，能使每個(gè)像素的預(yù)測(cè)精度大體相等。此外，即使在圖像整體中存在許多像素值，也認(rèn)為在局部上僅有有限數(shù)量的像素值，因此，通過按較小的每個(gè)區(qū)域設(shè)定作為被攝物體的像素值，從而在本發(fā)明中能利用被攝物體的局部的特征來進(jìn)行高效的編碼。以下，參照附圖對(duì)本發(fā)明的一個(gè)實(shí)施方式進(jìn)行說明。[第一實(shí)施方式:圖像編碼裝置]
首先，對(duì)第一實(shí)施方式進(jìn)行說明。圖1是示出本發(fā)明第一實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)的框圖。如圖1所示，圖像編碼裝置100具備:編碼對(duì)象幀輸入部101、編碼對(duì)象幀存儲(chǔ)器102、被攝物體數(shù)設(shè)定部103、被攝物體像素值設(shè)定部104、被攝物體像素值編碼部105、被攝物體圖生成部106、被攝物體圖編碼部107、預(yù)測(cè)圖像生成部108、圖像信號(hào)編碼部109、以及多路復(fù)用部110。編碼對(duì)象幀輸入部101輸入成為編碼對(duì)象的圖像幀。
編碼對(duì)象幀存儲(chǔ)器102對(duì)被輸入的編碼對(duì)象幀進(jìn)行積蓄。被攝物體數(shù)設(shè)定部103對(duì)預(yù)先規(guī)定的大小的處理區(qū)域所包含的被攝物體數(shù)進(jìn)行設(shè)定。被攝物體像素值設(shè)定部104假定在處理區(qū)域存在給出的數(shù)量的被攝物體，并對(duì)各被攝物體設(shè)定I個(gè)像素值。被攝物體像素值編碼部105對(duì)給出的每個(gè)被攝物體的像素值進(jìn)行編碼。以下，將對(duì)某個(gè)區(qū)域生成的每個(gè)被攝物體的像素值稱為被攝物體像素值。被攝物體圖生成部106對(duì)在處理區(qū)域內(nèi)的各像素所攝影的被攝物體進(jìn)行識(shí)別，生成后述的被攝物體圖。被攝物體圖編碼部107對(duì)生成的被攝物體圖進(jìn)行編碼。預(yù)測(cè)圖像生成部108根據(jù)對(duì)處理區(qū)域生成的被攝物體像素值和被攝物體圖，生成對(duì)處理區(qū)域的預(yù)測(cè)圖像。圖像信號(hào)編碼部109按每個(gè)處理區(qū)域使用預(yù)測(cè)圖像來對(duì)編碼對(duì)象幀的圖像信號(hào)進(jìn)行編碼。多路復(fù)用部110對(duì)被攝物體像素值的編碼數(shù)據(jù)、被攝物體圖的編碼數(shù)據(jù)、以及編碼對(duì)象幀的圖像信號(hào)的編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出。圖2是用于說明第一實(shí)施方式的圖像編碼裝置100的工作的流程圖。按照該流程圖，對(duì)圖像編碼裝置100執(zhí)行的處理詳細(xì)地進(jìn)行說明。首先，由編碼對(duì)象幀輸入部101輸入編碼對(duì)象幀，并儲(chǔ)存在編碼對(duì)象幀存儲(chǔ)器102中(步驟S101)。在編碼對(duì)象幀的儲(chǔ)存結(jié)束了之后，對(duì)編碼對(duì)象幀進(jìn)行分割，按分割的每個(gè)區(qū)域?qū)幋a對(duì)象幀的圖像信號(hào)進(jìn)行編碼(步驟S102 S112)。也就是說，當(dāng)假設(shè)用blk表示編碼對(duì)象塊索引(index)、用numBlks表示總編碼對(duì)象塊數(shù)時(shí)，用O對(duì)blk進(jìn)行初始化(步驟S102)，之后，一邊對(duì)blk加I (步驟S111) —邊重復(fù)以下的處理(步驟S103 步驟S110),直到blk變成numBlks (步驟S112)。在按每個(gè)編碼對(duì)象塊進(jìn)行重復(fù)的處理中，首先，在被攝物體數(shù)設(shè)定部103中設(shè)定塊blk所包含的被攝物體的數(shù)量(被攝物體數(shù)numObjs)(步驟S103)。只要是與解碼側(cè)相同的處理，那么無論使用什么樣的處理都可以確定被攝物體數(shù)。例如，也可以總是設(shè)定預(yù)先規(guī)定的數(shù)。此外，也可以按每個(gè)編碼對(duì)象塊設(shè)定不同的值來作為被攝物體數(shù)。作為按每個(gè)編碼對(duì)象塊設(shè)定不同的值的方法，有按照編碼對(duì)象塊的像素值設(shè)定被攝物體數(shù)的方法。具體地說，有如下方法，即，對(duì)編碼對(duì)象塊的像素使用k - means法、AffinityPropagation等聚類手法，將各類內(nèi)的像素值方差為預(yù)先規(guī)定的值以下的聚類結(jié)果中的最小的類數(shù)作為被攝物體數(shù)。作為用于聚類的尺度，既可以僅使用像素值，也可以使用由像素值和像素位置構(gòu)成的值。作為其它的方法，有如下方法，即，按被攝物體數(shù)的每個(gè)候補(bǔ)，計(jì)算由設(shè)定該被攝物體數(shù)并進(jìn)行編碼的情況下的碼量和失真量的加權(quán)和給出的率失真成本，設(shè)定該成本為最小的被攝物體數(shù)。因?yàn)楫?dāng)被攝物體數(shù)變大時(shí)存在編碼效率降低的情況，所以也可以預(yù)先規(guī)定被攝物體數(shù)的最大值，防止被攝物體數(shù)變?yōu)楣潭ㄖ狄陨?。再有，在按每個(gè)編碼對(duì)象塊將不同的值作為被攝物體數(shù)的情況下，因?yàn)樵趯?duì)編碼數(shù)據(jù)進(jìn)行解碼時(shí)需要被攝物體數(shù)，所以需要將設(shè)定的被攝物體數(shù)包含在編碼數(shù)據(jù)中。圖3是在對(duì)被攝物體數(shù)進(jìn)行編碼的情況下的圖像編碼裝置的框圖。在對(duì)被攝物體數(shù)進(jìn)行編碼的情況下，在圖1所示的圖像編碼裝置100中的被攝物體數(shù)設(shè)定部103之后，追加對(duì)被攝物體數(shù)設(shè)定部103設(shè)定的被攝物體數(shù)進(jìn)行編碼的被攝物體數(shù)編碼部111。在對(duì)被攝物體數(shù)進(jìn)行編碼的情況下，既可以對(duì)設(shè)定的被攝物體數(shù)直接進(jìn)行編碼，也可以使用與編碼對(duì)象塊鄰接的已經(jīng)完成編碼的區(qū)域的信息來對(duì)與預(yù)測(cè)的被攝物體數(shù)的差分值進(jìn)行編碼。作為預(yù)測(cè)的方法，有將對(duì)已經(jīng)完成編碼的鄰接塊進(jìn)行編碼時(shí)使用的被攝物體數(shù)的平均值或中央值作為預(yù)測(cè)值的方法。此外，在對(duì)被攝物體進(jìn)行編碼的情況下，也可以不按每個(gè)塊進(jìn)行編碼，而是按幀或被稱為片段(slice)的多個(gè)塊的每個(gè)集合對(duì)被攝物體數(shù)進(jìn)行設(shè)定、編碼。通過這樣做，從而在被攝物體數(shù)依賴于區(qū)域而變化的那樣的情況下，能高效地對(duì)被攝物體數(shù)進(jìn)行編碼。再有，也能組合對(duì)幀或片段單位的被攝物體數(shù)的設(shè)定、編碼和對(duì)每個(gè)塊的被攝物體數(shù)的設(shè)定、編碼。在該情況下，在幀或片段單位中對(duì)被認(rèn)為與該幀或片段所包含的多個(gè)塊的大部分相適合的被攝物體數(shù)進(jìn)行設(shè)定、編碼，按每個(gè)塊對(duì)從該被攝物體數(shù)的變化量進(jìn)行設(shè)定、編碼。關(guān)于按每個(gè)塊進(jìn)行設(shè)定、編碼的變化量，也能使用鄰接的已經(jīng)完成編碼的區(qū)域的信息來進(jìn)行預(yù)測(cè)，并編碼為變化量的預(yù)測(cè)差分。在被攝物體數(shù)的設(shè)定結(jié)束了之后，接著，在被攝物體像素值設(shè)定部104中，按塊blk內(nèi)的每個(gè)被攝物體設(shè)定I個(gè)像素值來作為被攝物體像素值Value (i)(步驟S104)。在此，將i設(shè)為用于識(shí)別被攝物體的被攝物體標(biāo)識(shí)符，i是O以上且不足numObjs的整數(shù)。此外，按照預(yù)先規(guī)定的規(guī)則來分配被攝物體標(biāo)識(shí)符。在此，假設(shè)按照被攝物體像素值小的順序進(jìn)行分配。在按每個(gè)被攝物體設(shè)定I個(gè)像素值的方法中，使用什么樣的方法都可以。例如，也可以將像素值的值域均等地劃分為被攝物體數(shù)的量的區(qū)間(例如，在像素值范圍為O 255并且被攝物體數(shù)為4的情況下，設(shè)定O 63、64 127、128 191、192 255這4個(gè)區(qū)間)，并設(shè)定各范圍的中央值。作為其它的方法，有如下方法，即，使用前述的那樣的聚類手法將塊blk的像素分割成numObjs個(gè)類，將各類所包含的像素的像素值的平均值或中央值作為被攝物體像素值。再有，在對(duì)被攝物體數(shù)進(jìn)行設(shè)定時(shí)，在對(duì)塊blk的像素進(jìn)行聚類的情況下，也可以與被攝物體數(shù)的設(shè)定同時(shí)地設(shè)定被攝物體像素值。進(jìn)而，作為其它的方法，有如下方法，即，以numObjs個(gè)以下的類數(shù)，以類內(nèi)的像素值方差值的最大值比另外規(guī)定的閾值小的最小的類數(shù)進(jìn)行分割，將每個(gè)類的平均值或中央值設(shè)定為被攝物體像素值，對(duì)不足numObjs個(gè)的部分適當(dāng)?shù)卦O(shè)定被攝物體像素值。在被攝物體數(shù)總是固定的情況下，在本來僅存在單一對(duì)象的情況下，也通過假定存在多個(gè)被攝物體，從而提供過度高精度的預(yù)測(cè)，存在被攝物體圖(對(duì)塊blk的各像素分配被攝物體標(biāo)識(shí)符的圖)的碼量增大的可能性?？墒?，通過對(duì)成為目標(biāo)的比特率規(guī)定閾值，并與numObjs無關(guān)地規(guī)定被攝物體標(biāo)識(shí)符，從而能防止碼量變得過多。例如，能夠以如下方式對(duì)被攝物體圖的生成進(jìn)行控制，S卩，(i)在目標(biāo)比特率比閾值A(chǔ)小的情況下，與設(shè)定的被攝物體數(shù)無關(guān)地在被攝物體圖中僅出現(xiàn)一種被攝物體標(biāo)識(shí)符，(ii)在目標(biāo)比特率比閾值A(chǔ)大且比閾值B小的情況下，在被攝物體圖中出現(xiàn)兩種被攝物體標(biāo)識(shí)符。在未設(shè)置這樣的條件的情況下，例如，在被攝物體數(shù)被設(shè)定得比較大(例:10)的情況下，當(dāng)直接應(yīng)用后述的處理時(shí)，也存在被攝物體圖的碼量變得龐大的可能性。在得到了被攝物體像素值之后，接著，在被攝物體圖生成部106中對(duì)塊blk生成被攝物體圖(步驟S105)。被攝物體圖例如是圖4那樣的二維信息。作為對(duì)各像素分配被攝物體標(biāo)識(shí)符的方法，有對(duì)各像素分配具有最接近于該像素值的被攝物體像素值的被攝物體標(biāo)識(shí)符的方法。此外，作為其它的方法，有如下方法，S卩，在對(duì)被攝物體像素值進(jìn)行設(shè)定時(shí)進(jìn)行聚類的情況下，利用其結(jié)果，將按每個(gè)類分配的被攝物體標(biāo)識(shí)符對(duì)屬于該類的像素進(jìn)行設(shè)定。進(jìn)而，作為其它的方法，有如下方法，即，生成多個(gè)被攝物體圖候補(bǔ)，按每個(gè)被攝物體圖候補(bǔ)計(jì)算由使用該被攝物體圖候補(bǔ)來進(jìn)行編碼時(shí)的碼量與失真量的加權(quán)和給出的率失真成本，將該值為最小的被攝物體圖候補(bǔ)設(shè)定為被攝物體圖。既可以將存在可能性的全部的被攝物體圖作為被攝物體圖候補(bǔ)，也可以僅將限定的幾個(gè)特征性的被攝物體圖作為被攝物體圖候補(bǔ)。作為特征性的被攝物體圖，有對(duì)各像素分配具有最接近于其像素值的被攝物體像素值的被攝物體標(biāo)識(shí)符而生成的被攝物體圖、全部的像素為相同的被攝物體標(biāo)識(shí)符那樣的被攝物體圖、對(duì)水平或垂直進(jìn)行二分的被攝物體圖等。接著，在被攝物體圖編碼部107中對(duì)生成的被攝物體圖進(jìn)行編碼(步驟S106)。在編碼中使用什么樣的方法都可以。例如，也可以根據(jù)被攝物體數(shù)對(duì)各被攝物體標(biāo)識(shí)符分配固定長(zhǎng)度或可變長(zhǎng)度的碼，使用光柵掃描(raster scan)、Z字形掃描(zigzagscan)等將二維的圖信息變換成一維的二進(jìn)制數(shù)據(jù)，由此進(jìn)行編碼。作為其它的方法，有如下方法，即，在一邊按預(yù)先規(guī)定的順序進(jìn)行掃描一邊將針對(duì)塊blk內(nèi)的各像素的被攝物體標(biāo)識(shí)符進(jìn)行編碼時(shí)，對(duì)各像素將周圍的已經(jīng)完成編碼的像素設(shè)定為參照像素，根據(jù)該參照像素中的被攝物體標(biāo)識(shí)符，一邊使概率表變化一邊進(jìn)行算術(shù)編碼。例如，在被攝物體數(shù)為3時(shí)像圖5那樣對(duì)編碼對(duì)象像素(圖中X)定義3個(gè)參照像素的情況下，能按參照像素中的被攝物體標(biāo)識(shí)符的每個(gè)組合，定義編碼對(duì)象像素中的被攝物體標(biāo)識(shí)符的概率表。也就是說，在該情況下使用27種概率表進(jìn)行編碼。只要在解碼側(cè)可得到相同的概率表，那么該概率表既可以是固定的，也可以是根據(jù)在此之前的編碼歷史進(jìn)行更新的可變的概率表。
通常，因?yàn)橄嗤谋粩z物體連續(xù)地出現(xiàn)，所以通過像這樣使用(根據(jù)周圍像素得到的)周圍的狀況，從而能更加高精度地表現(xiàn)編碼對(duì)象符號(hào)(symbol)的發(fā)生概率，能使算術(shù)編碼的編碼效率提高。再有，通過使用更寬范圍的周圍像素的信息，從而能更加高精度地預(yù)測(cè)發(fā)生概率。再有，根據(jù)參照像素的設(shè)定方法，有在畫面端處不存在一部分參照像素的情況、在像H.264/AVC那樣按每個(gè)塊切換不同的預(yù)測(cè)模式進(jìn)行使用時(shí)在參照像素中不存在被攝物體標(biāo)識(shí)符的情況。對(duì)這樣的像素分配預(yù)先規(guī)定的被攝物體標(biāo)識(shí)符、或者另外分配不明的標(biāo)簽(label)并定義其它的概率表，由此能考慮上述那樣的情況使被攝物體圖的算術(shù)編碼的編碼效率提高。進(jìn)而，作為其它的方法，有將被攝物體圖變換成樹形構(gòu)造的信息后進(jìn)行編碼的方法。具體地說，使用將塊blk作為根(root)并使分割了雙親節(jié)點(diǎn)(根)的塊的多個(gè)子塊(sub-b1ck)與各節(jié)點(diǎn)的子節(jié)點(diǎn)對(duì)應(yīng)的樹形構(gòu)造。通過使用這樣的樹形構(gòu)造,從而能效率良好地表現(xiàn)匯總起來存在的單一對(duì)象的像素集合，能使編碼效率提高。作為樹形構(gòu)造,能使用任意的定義的樹形構(gòu)造。例如，能對(duì)各節(jié)點(diǎn)附加表示與該節(jié)點(diǎn)對(duì)應(yīng)的塊內(nèi)的全部像素的被攝物體標(biāo)識(shí)符是否相同的二進(jìn)制信息，作為子節(jié)點(diǎn)，在被攝物體標(biāo)識(shí)符全部相同的情況下，定義具有該被攝物體標(biāo)識(shí)符的編號(hào)的葉(leaf),在被攝物體標(biāo)識(shí)符不全部相同的情況下，定義與將自身的塊進(jìn)行四分而生成的子塊對(duì)應(yīng)的4個(gè)節(jié)點(diǎn)，生成樹形構(gòu)造的信息。再有，在對(duì)應(yīng)的塊為I個(gè)像素的情況下，能對(duì)表示全部像素的被攝物體標(biāo)識(shí)符是否相同的二進(jìn)制信息的節(jié)點(diǎn)進(jìn)行省略。在圖6中示出對(duì)圖4的被攝物體圖利用以上的方法生成的樹形構(gòu)造。在圖6中，對(duì)各節(jié)點(diǎn)，在與該節(jié)點(diǎn)對(duì)應(yīng)的塊內(nèi)的全部像素的被攝物體標(biāo)識(shí)符相同的情況下，附加二進(jìn)制信息的“1”，在不是這樣的情況下，附加二進(jìn)制信息的“O”。作為其它的定義，還有如下方法，即，對(duì)各節(jié)點(diǎn)，在與該節(jié)點(diǎn)對(duì)應(yīng)的塊內(nèi)的全部像素的被攝物體標(biāo)識(shí)符相同的情況下，賦予對(duì)該被攝物體標(biāo)識(shí)符的編號(hào)加I后的數(shù)作為信息，在不是這樣的情況下賦予O作為信息，僅對(duì)被賦予了信息O的節(jié)點(diǎn)，定義針對(duì)將該塊進(jìn)行四分后的子塊的子節(jié)點(diǎn)。對(duì)圖4的被攝物體圖用該方法生成的樹形構(gòu)造是圖7。在對(duì)生成的樹進(jìn)行編碼時(shí)，對(duì)樹進(jìn)行深度優(yōu)先搜索或?qū)挾葍?yōu)先搜索并進(jìn)行掃描，按掃描順序?qū)Ω鞴?jié)點(diǎn)所具有的信息進(jìn)行編碼。深度優(yōu)先搜索是如下這樣的搜索，即，從成為搜索對(duì)象的樹的最初的節(jié)點(diǎn)開始一直較深地延伸，直到找到目的節(jié)點(diǎn)或到達(dá)沒有子的節(jié)點(diǎn)為止，之后返回到最近的搜索未結(jié)束的節(jié)點(diǎn)。另一方面，寬度優(yōu)先搜索是具有如下這樣的規(guī)則的搜索，即，從深度淺的點(diǎn)(從頂點(diǎn)開始沿路前進(jìn)的節(jié)點(diǎn)數(shù)少的點(diǎn))開始按順序進(jìn)行搜索，此外，從位于左側(cè)的頂點(diǎn)開始按順序進(jìn)行搜索。再有，還能劃分葉和葉以外來進(jìn)行編碼。利用樹的深度優(yōu)先搜索對(duì)圖6進(jìn)行掃描后的結(jié)果的數(shù)列為01001000222110221201011000011111。當(dāng)以葉和葉以外對(duì)其進(jìn)行劃分時(shí)，葉為0002221221201000111,葉以外為0101010011011。利用樹的深度優(yōu)先搜索對(duì)圖7進(jìn)行掃描后的結(jié)果的數(shù)列為0101013332033230120111222ο數(shù)列可以直接進(jìn)行二值化作為編碼數(shù)據(jù)，也可以根據(jù)鄰接像素中的被攝物體標(biāo)識(shí)符的狀況一邊切換概率表一邊進(jìn)行算術(shù)編碼。例如，在對(duì)圖6的葉以外進(jìn)行編碼的情況下，有如下方法，即，對(duì)與各節(jié)點(diǎn)所對(duì)應(yīng)的塊鄰接的像素的被攝物體標(biāo)識(shí)符進(jìn)行查找，根據(jù)針對(duì)像素?cái)?shù)最多的被攝物體標(biāo)識(shí)符的像素?cái)?shù)對(duì)概率表進(jìn)行切換。此外，在對(duì)圖6的葉進(jìn)行編碼的情況下，有如下方法，S卩，根據(jù)與各節(jié)點(diǎn)所對(duì)應(yīng)的塊鄰接的像素的被攝物體標(biāo)識(shí)符的狀況對(duì)概率表進(jìn)行切換。再有，只要在解碼側(cè)可得到相同的概率表，那么概率表可以是固定的概率表，也可以是根據(jù)在此之前的編碼歷史進(jìn)行更新的可變的概率表。在被攝物體圖的編碼結(jié)束了之后，接著，在被攝物體像素值編碼部105中按每個(gè)被攝物體標(biāo)識(shí)符對(duì)被攝物體像素值進(jìn)行編碼(步驟S107)。既可以對(duì)被攝物體像素值直接進(jìn)行編碼，也可以使用鄰接塊中的被攝物體像素值、已經(jīng)進(jìn)行了編碼的相同的塊的被攝物體像素值來進(jìn)行預(yù)測(cè)并僅對(duì)預(yù)測(cè)殘差進(jìn)行編碼。作為根據(jù)鄰接塊進(jìn)行預(yù)測(cè)的方法，有將 相同的被攝物體標(biāo)識(shí)符的鄰接塊的被攝物體像素值的平均值或中央值作為預(yù)測(cè)值的方法。作為使用已經(jīng)進(jìn)行了編碼的相同的塊的被攝物體像素值來進(jìn)行預(yù)測(cè)的方法，在按被攝物體像素值小的順序進(jìn)行編碼的情況下，有如下方法，即，將對(duì)之前進(jìn)行了編碼的被攝物體像素值加I后的值作為預(yù)測(cè)值的方法、使用之前進(jìn)行了編碼的被攝物體像素值和剩余的編碼所需的被攝物體像素值的數(shù)量生成預(yù)測(cè)值的方法。該最后的方法是如下方法，即，將對(duì)之前進(jìn)行了編碼的被攝物體像素值加I后的值設(shè)為最小值、將能取得的像素值的最大的值設(shè)為最大值，將這樣的范圍分割成具有剩余的編碼所需的被攝物體像素值的數(shù)量大體上相同的大小的部分范圍，從其中將包含最小值的部分范圍的中央值設(shè)為預(yù)測(cè)值。例如，在之前對(duì)作為被攝物體像素值的51進(jìn)行編碼并且剩余的被攝物體像素值的數(shù)量為3個(gè)的情況下，通過將[52、255]分割成具有相同大小的3個(gè)部分范圍，從而得到[52、119]、[120、187]、[188、255]，將包含最小值的[52,119]的范圍的中央值85設(shè)為預(yù)測(cè)值。在無法成為完全相同的大小的部分范圍的情況下，既可以按照預(yù)先規(guī)定的規(guī)則，生成在兩端具有整數(shù)的部分范圍，也可以使用小數(shù)等來表現(xiàn)。再有，因?yàn)轭A(yù)測(cè)值需要是整數(shù)，所以在求取中央值時(shí)進(jìn)行取整、四舍五入。此外，在對(duì)范圍進(jìn)行分割時(shí)，也可以使用以前的知識(shí)按照等間隔以外的固定規(guī)則進(jìn)行分割。例如，有以部分范圍的大小為Ν、2Ν、3Ν、…這樣變大的方式進(jìn)行分割的方法、以部分范圍的大小為Ν、Ν/2、Ν/3、…這樣變小的方式進(jìn)行分割的方法。此外，還有將根據(jù)鄰接塊進(jìn)行預(yù)測(cè)的方法和使用已經(jīng)進(jìn)行了編碼的相同的塊的被攝物體像素值來進(jìn)行預(yù)測(cè)的方法組合起來進(jìn)行預(yù)測(cè)的方法。例如，有如下方法，S卩，在對(duì)最初的被攝物體像素值進(jìn)行編碼的情況下，根據(jù)鄰接塊進(jìn)行預(yù)測(cè)，在對(duì)除此以外的被攝物體像素值進(jìn)行編碼的情況下，使用在相同的塊中之前進(jìn)行了編碼的被攝物體像素值來進(jìn)行預(yù)測(cè)。作為其它的方法，有如下方法，即，將在相同的塊中之前進(jìn)行了編碼的被攝物體像素值和根據(jù)鄰接塊進(jìn)行了預(yù)測(cè)的值相比較，根據(jù)該比較結(jié)果確定預(yù)測(cè)值。進(jìn)而，作為其它的方法，有對(duì)表示使用了哪個(gè)預(yù)測(cè)方法的信息另外進(jìn)行編碼并切換預(yù)測(cè)方法的方法。再有，在對(duì)被攝物體像素值進(jìn)行編碼時(shí)，也可以僅將針對(duì)在被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符的被攝物體像素值進(jìn)行編碼。在圖8中示出該情況的詳細(xì)的處理流程。在該流程中，將被攝物體標(biāo)識(shí)符(obj)初始化為O (步驟S121)，按每個(gè)被攝物體標(biāo)識(shí)符，檢查是否在被攝物體圖中使用了該被攝物體標(biāo)識(shí)符(步驟S122)。在進(jìn)行使用的情況下，將針對(duì)該被攝物體標(biāo)識(shí)符的被攝物體像素值編碼(步驟S123)，進(jìn)入到下一個(gè)被攝物體標(biāo)識(shí)符(步驟S124)。另一方面，在未進(jìn)行使用的情況下，不進(jìn)行編碼，立刻進(jìn)入到下一個(gè)被攝物體標(biāo)識(shí)符(步驟S124)。如果對(duì)全部被攝物體標(biāo)識(shí)符重復(fù)了以上的處理，則結(jié)束處理(步驟S125)。圖9是在進(jìn)行被攝物體像素值的預(yù)測(cè)的情況下的流程圖。與圖8的差異在于，在被攝物體圖中使用被攝物體標(biāo)識(shí)符的情況下，生成針對(duì)該被攝物體標(biāo)識(shí)符的被攝物體像素值的預(yù)測(cè)值(步驟S133)，對(duì)該預(yù)測(cè)值與被攝物體像素值的差分值進(jìn)行編碼(步驟S134)。在檢查是否在被攝物體圖中使用某個(gè)被攝物體標(biāo)識(shí)符的方法中可以使用任意的方法。例如，有如下方法，即，在對(duì)被攝物體圖進(jìn)行生成、編碼時(shí)等，在進(jìn)入到圖8、圖9的流程之前，生成表示各被攝物體標(biāo)識(shí)符是否被使用的標(biāo)記，在檢查時(shí)檢查該標(biāo)記，由此進(jìn)行判定。通過像這樣對(duì)被攝物體圖進(jìn)行檢查來控制被攝物體像素值的編碼的執(zhí)行，從而能削減對(duì)不被使用的信息進(jìn)行編碼所需的碼量。例如，在與塊blk的圖像信號(hào)無關(guān)地總是設(shè)定固定的被攝物體數(shù)的情況下等，利用被攝物體像素值的設(shè)定方法、被攝物體圖的生成方法產(chǎn)生不使用的被攝物體標(biāo)識(shí)符，因此通過像這樣省略針對(duì)不使用的被攝物體標(biāo)識(shí)符的被攝物體像素值的編碼，從而能使碼量變少。此外，雖然在上述的說明中，對(duì)被攝物體像素值、被攝物體像素值的預(yù)測(cè)殘差直接進(jìn)行編碼，但是也可以使用對(duì)碼量、品質(zhì)的目標(biāo)設(shè)定的量化參數(shù)來對(duì)量化后的值進(jìn)行編碼。在該情況下，在生成預(yù)測(cè)值時(shí)，需要參照經(jīng)量化/反量化由解碼得到的值。接著，使用被攝物體圖和被攝物體像素值，在預(yù)測(cè)圖像生成部108中生成針對(duì)塊blk的預(yù)測(cè)圖像(步驟S108)。具體地說，通過對(duì)各像素分配根據(jù)與從被攝物體圖得到的被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值，從而生成預(yù)測(cè)圖像。再有，在對(duì)被攝物體像素值進(jìn)行量化、編碼的情況下，需要使用進(jìn)行量化/反量化而在解碼側(cè)得到的值來生成預(yù)測(cè)圖像。
再有，也可以對(duì)像上述那樣制作的預(yù)測(cè)圖像進(jìn)一步附加抖動(dòng)。在使用了被攝物體圖和被攝物體像素值的預(yù)測(cè)圖像中，僅存在與被攝物體數(shù)相同的數(shù)量的像素值，因此成為具有與自然圖像不同的性質(zhì)的圖像。因此，通過附加抖動(dòng)(對(duì)存在的像素值進(jìn)行組合，在整體的圖像中表現(xiàn)中間的像素值)，從而能賦予更接近于自然圖像的變化。雖然在抖動(dòng)生成中能使用任意的方法，但是需要能在解碼側(cè)發(fā)生同樣的抖動(dòng)。因而，在切換多個(gè)抖動(dòng)生成法、或者在抖動(dòng)生成法中需要初始值等參數(shù)的情況下，需要對(duì)這些信息進(jìn)行編碼。在得到了預(yù)測(cè)圖像之后，在圖像信號(hào)編碼部109中將針對(duì)塊blk的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼(步驟S109)。在編碼中使用什么樣的方法都可以。在MPEG _2、H.264/AVC等一般的編碼中，通過對(duì)塊blk的圖像信號(hào)與預(yù)測(cè)圖像的差分信號(hào)依次施加DCT等頻率變換、量化、二值化、熵編碼，從而進(jìn)行編碼。最后，在多路復(fù)用部110中對(duì)被攝物體圖的編碼數(shù)據(jù)、被攝物體像素值的編碼數(shù)據(jù)以及圖像信號(hào)的編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出(步驟S110)。在對(duì)被攝物體數(shù)進(jìn)行編碼時(shí)，也將針對(duì)被攝物體數(shù)的編碼數(shù)據(jù)進(jìn)行編碼。再有，雖然在此按每個(gè)塊進(jìn)行多路復(fù)用，但是以幀單位進(jìn)行多路復(fù)用也可以。但是，在該情況下，需要在解碼時(shí)對(duì)一個(gè)幀的量的編碼數(shù)據(jù)進(jìn)行緩沖后進(jìn)行解碼。作為特殊的狀況，在被攝物體數(shù)為I的情況下，因?yàn)楸粩z物體圖僅存在I種，所以在被攝物體圖設(shè)定步驟中，僅通過對(duì)該唯一的被攝物體圖候補(bǔ)進(jìn)行設(shè)定即可，無需對(duì)被攝物體圖進(jìn)行編碼。[第二實(shí)施方式:圖像解碼裝置]
接著，對(duì)本發(fā)明的第二實(shí)施方式進(jìn)行說明。圖10是表示第二實(shí)施方式的圖像解碼裝置的結(jié)構(gòu)的框圖。如圖10所示，圖像解碼裝置200具備:編碼數(shù)據(jù)輸入部201、編碼數(shù)據(jù)存儲(chǔ)器202、分離部203、被攝物體數(shù)設(shè)定部204、被攝物體圖解碼部205、被攝物體像素值解碼部206、預(yù)測(cè)圖像生成部207、以及圖像信號(hào)解碼部208。編碼數(shù)據(jù)輸入部201輸入成為解碼對(duì)象的圖像幀的編碼數(shù)據(jù)。編碼數(shù)據(jù)存儲(chǔ)器202對(duì)輸入的編碼數(shù)據(jù)進(jìn)行積蓄。分離部203將進(jìn)行多路復(fù)用后的編碼數(shù)據(jù)分離成多個(gè)不同的信息被編碼的編碼數(shù)據(jù)。被攝物體數(shù)設(shè)定部204對(duì)預(yù)先規(guī)定的大小的處理區(qū)域所包含的被攝物體數(shù)進(jìn)行設(shè)定。被攝物體圖解碼部205根據(jù)編碼數(shù)據(jù)對(duì)被攝物體圖進(jìn)行解碼。被攝物體像素值解碼部206根據(jù)編碼數(shù)據(jù)按每個(gè)被攝物體對(duì)被攝物體像素值進(jìn)行解碼。預(yù)測(cè)圖像生成部207根據(jù)對(duì)處理區(qū)域進(jìn)行解碼后的被攝物體像素值和被攝物體圖生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像。圖像信號(hào)解碼部208按每個(gè)處理區(qū)域使用預(yù)測(cè)圖像根據(jù)編碼數(shù)據(jù)對(duì)解碼對(duì)象幀的圖像信號(hào)進(jìn)行解碼。圖11是用于說明第二實(shí)施方式的圖像解碼裝置200的工作的流程圖。按照該流程圖，對(duì)圖像解碼裝置200執(zhí)行的處理詳細(xì)地進(jìn)行說明。首先，編碼數(shù)據(jù)輸入部201輸入針對(duì)解碼對(duì)象幀的編碼數(shù)據(jù)，儲(chǔ)存在編碼數(shù)據(jù)存儲(chǔ)器202中(步驟S201)。在編碼數(shù)據(jù)的儲(chǔ)存結(jié)束了之后，對(duì)解碼對(duì)象幀進(jìn)行分割，按分割的每個(gè)區(qū)域?qū)獯a對(duì)象幀的圖像信號(hào)進(jìn)行解碼(步驟S202 S210)。也就是說，當(dāng)假設(shè)用blk表示解碼對(duì)象塊索引、用numBlks表示總解碼對(duì)象塊數(shù)時(shí)，用O對(duì)blk進(jìn)行初始化(步驟S202)，之后，一邊對(duì)blk加I (步驟S209)，一邊重復(fù)以下的處理(步驟S203 S208)，直到blk變成numBlks (步驟S210)。在按每個(gè)解碼對(duì)象塊進(jìn)行重復(fù)的處理中，首先，在分離部203中將輸入的編碼數(shù)據(jù)分離成多個(gè)信息的編碼數(shù)據(jù)(步驟S203)。在第二實(shí)施方式中，用以塊單位交織(interleave)有多個(gè)信息的編碼數(shù)據(jù)(按每個(gè)塊按順序存儲(chǔ)有各信息的編碼數(shù)據(jù))的例子進(jìn)行說明，但是在以幀等不同的單位進(jìn)行交織的情況下，無需以塊單位重復(fù)該編碼數(shù)據(jù)的分離。在編碼數(shù)據(jù)的分離結(jié)束了之后，接著，在被攝物體數(shù)設(shè)定部204中設(shè)定塊blk所包含的被攝物體的數(shù)量numObjs (步驟S204)。使用與編碼側(cè)相同的處理進(jìn)行被攝物體數(shù)的設(shè)定。例如，在編碼側(cè)總是設(shè)定預(yù)先規(guī)定的數(shù)量的情況下，在此也設(shè)定相同的數(shù)量。作為其它的例子，在為了按每個(gè)塊設(shè)定不同的被攝物體數(shù)而對(duì)被攝物體數(shù)進(jìn)行編碼并包含于編碼數(shù)據(jù)中的情況下，被攝物體數(shù)設(shè)定部204接收被攝物體數(shù)的編碼數(shù)據(jù)，將進(jìn)行解碼后的結(jié)果的值設(shè)定為被攝物體數(shù)。再有，也能不設(shè)定被攝物體數(shù)，在該情況下，只要像以下所說明的那樣對(duì)被攝物體圖進(jìn)行解碼，按在那里出現(xiàn)的每個(gè)被攝物體標(biāo)識(shí)符對(duì)被攝物體像素值進(jìn)行解碼，就也能沒問題地對(duì)圖像進(jìn)行解碼。由于在設(shè)定被攝物體數(shù)的情況下知道被攝物體標(biāo)識(shí)符的最大值，所以能以較少的碼量對(duì)被攝物體圖進(jìn)行解碼(表現(xiàn))。圖12是在對(duì)被攝物體數(shù)進(jìn)行編碼的情況下的圖像解碼裝置的框圖。在對(duì)被攝物體數(shù)進(jìn)行編碼的情況下，如圖12所示，被攝物體數(shù)設(shè)定部204’接收被分離部203分離后的被攝物體數(shù)的編碼數(shù)據(jù)，對(duì)其進(jìn)行解碼，取得被攝物體數(shù)。再有，在編碼時(shí)，將在對(duì)與塊blk鄰接的已經(jīng)完成處理的塊進(jìn)行編碼時(shí)使用的被攝物體數(shù)的平均值或中央值作為預(yù)測(cè)值，在對(duì)塊blk的被攝物體數(shù)進(jìn)行預(yù)測(cè)編碼的情況下，以同樣的方法生成預(yù)測(cè)值，將對(duì)該值加上了根據(jù)編碼數(shù)據(jù)進(jìn)行解碼后的值的結(jié)果設(shè)定為被攝物體數(shù)。此外，還存在不按每個(gè)塊而是按幀或被稱為片段的多個(gè)塊的每個(gè)集合對(duì)被攝物體數(shù)進(jìn)行編碼的情況。在這樣的情況下，通過以幀、片段單位對(duì)被攝物體數(shù)編碼數(shù)據(jù)只進(jìn)行一次解碼，并臨時(shí)地積蓄該結(jié)果，從而在下一更新的定時(shí)之前重復(fù)設(shè)定相同的值。進(jìn)而，還存在以幀或片段單位對(duì)全局的(global)被攝物體數(shù)進(jìn)行編碼，按每個(gè)塊對(duì)從此處起的變化量進(jìn)行編碼的情況。在這樣的情況下，以幀、片段單位對(duì)全局的被攝物體數(shù)編碼數(shù)據(jù)只進(jìn)行一次解碼，并臨時(shí)地積蓄該結(jié)果，對(duì)該值加上按每個(gè)塊進(jìn)行解碼的變化量的值，得到在該塊中使用的被攝物體數(shù)。進(jìn)而，在根據(jù)鄰接的塊對(duì)該變化量進(jìn)行預(yù)測(cè)的情況下，按每個(gè)塊對(duì)被攝物體變化量預(yù)測(cè)差分進(jìn)行解碼，對(duì)該值加上全局的被攝物體數(shù)和從鄰接塊起的變化量的預(yù)測(cè)值，由此得到在該塊中使用的被攝物體數(shù)。在被攝物體數(shù)的設(shè)定結(jié)束了之后，接著，在被攝物體圖解碼部205中根據(jù)分離后的編碼數(shù)據(jù)對(duì)被攝物體圖進(jìn)行解碼(步驟S205)。在此，像前述的那樣，被攝物體圖是對(duì)塊blk的各像素分配有被攝物體標(biāo)識(shí)符的圖。例如，是像圖4那樣的二維信息。根據(jù)在編碼時(shí)使用的方法，被攝物體圖的解碼是不同的。例如，存在如下情況，即，根據(jù)被攝物體數(shù)對(duì)各被攝物體標(biāo)識(shí)符分配固定長(zhǎng)度或可變長(zhǎng)度的碼，使用光柵掃描、Z字形掃描等將二維的圖信息變換成一維的二進(jìn)制數(shù)據(jù)，由此進(jìn)行編碼。在該情況下，對(duì)作為編碼數(shù)據(jù)給出的一維的二進(jìn)制數(shù)據(jù)依次進(jìn)行掃描，每當(dāng)找到對(duì)應(yīng)的被攝物體標(biāo)識(shí)符時(shí)，光柵掃描、Z字形掃描等按與編碼時(shí)相同的順序，按每個(gè)像素分配被攝物體標(biāo)識(shí)符，由此進(jìn)行解碼。作為其它的方法，存在如下情況，即，在一邊按預(yù)先規(guī)定的順序進(jìn)行掃描一邊將針對(duì)塊blk內(nèi)的各像素的被攝物體標(biāo)識(shí)符進(jìn)行編碼時(shí)，對(duì)各像素將周圍的已經(jīng)完成編碼的像素設(shè)定為參照像素，根據(jù)該參照像素中的被攝物體標(biāo)識(shí)符，一邊使概率表變化一邊進(jìn)行算術(shù)編碼。在這樣的情況下，按照與使用的掃描順序同樣的順序按每個(gè)像素將周圍的已經(jīng)完成解碼的像素設(shè)定為參照像素，根據(jù)該像素中的被攝物體標(biāo)識(shí)符，一邊使概率表變化一邊進(jìn)行算術(shù)解碼。關(guān)于概率表的數(shù)量、初始值、更新方法、設(shè)定方法，使用與編碼時(shí)相同的手法，由此能正確地進(jìn)行解碼。再有，根據(jù)參照像素的設(shè)定方法，存在如下情況，S卩，在畫面端處不存在一部分參照像素的情況、在像H.264/AVC那樣按每個(gè)塊切換不同的預(yù)測(cè)模式進(jìn)行使用時(shí)在參照像素中不存在被攝物體標(biāo)識(shí)符的情況。對(duì)這樣的像素以與編碼時(shí)同樣的方法分配預(yù)先規(guī)定的被攝物體標(biāo)識(shí)符、或者另外分配不明的標(biāo)簽并定義其它的概率表，由此能考慮上述那樣的情況效率良好地對(duì)編碼后的被攝物體圖的編碼數(shù)據(jù)正確地進(jìn)行解碼。進(jìn)而，作為其它的方法，存在使用樹形構(gòu)造的數(shù)據(jù)對(duì)被攝物體圖進(jìn)行編碼的情況。在該情況下，也通過使用與編碼時(shí)的方法對(duì)應(yīng)的方法，從而能根據(jù)編碼數(shù)據(jù)對(duì)被攝物體圖進(jìn)行解碼。在根據(jù)給出的編碼數(shù)據(jù)經(jīng)由樹形構(gòu)造的數(shù)據(jù)對(duì)被攝物體圖進(jìn)行解碼的處理中，首先，根據(jù)編碼數(shù)據(jù)的二進(jìn)制列對(duì)表示樹形構(gòu)造的數(shù)據(jù)的數(shù)列進(jìn)行解碼。在根據(jù)二進(jìn)制列對(duì)樹形構(gòu)造數(shù)據(jù)數(shù)列的解碼中，需要使用與編碼時(shí)使用的方法對(duì)應(yīng)的方法。例如，在進(jìn)行使用了可變概率表的算術(shù)編碼的情況下，一邊以與編碼時(shí)相同的方法對(duì)概率表進(jìn)行更新，一邊根據(jù)編碼數(shù)據(jù)對(duì)非壓縮的二進(jìn)制列進(jìn)行解碼。非壓縮的二進(jìn)制列參照與在編碼時(shí)使用的表相同的固定長(zhǎng)度或可變長(zhǎng)度的表進(jìn)行逆變換，對(duì)編碼前的數(shù)列進(jìn)行解碼。在表示樹形構(gòu)造數(shù)據(jù)的數(shù)列能進(jìn)行解碼之后，對(duì)該數(shù)列進(jìn)行解讀，構(gòu)筑樹形構(gòu)造的數(shù)據(jù)。在此，需要進(jìn)行與編碼時(shí)根據(jù)樹形構(gòu)造生成數(shù)列相反的變換。再有，關(guān)于樹形構(gòu)造的定義，也需要與編碼側(cè)共有。例如，定義如下樹形構(gòu)造，即，將塊blk作為根，各節(jié)點(diǎn)具有O numObjs的數(shù)字，被分配O的節(jié)點(diǎn)具有4個(gè)子節(jié)點(diǎn)，在以深度優(yōu)先搜索對(duì)樹進(jìn)行掃描并生成數(shù)列的情況下，在給出了數(shù)列0100133332033231020232222的情況下，復(fù)原像圖13那樣的樹。在得到了樹形構(gòu)造數(shù)據(jù)之后，從此處對(duì)被攝物體圖進(jìn)行復(fù)原。在該復(fù)原中，需要與編碼側(cè)共有樹形構(gòu)造的定義，使用該定義進(jìn)行復(fù)原。例如，在如下的情況下，能根據(jù)圖13的樹對(duì)圖14的被攝物體圖進(jìn)行解碼，該情況是，樹的根表示塊blk整體，子節(jié)點(diǎn)與能將雙親節(jié)點(diǎn)進(jìn)行縱橫二等分而成的4個(gè)子塊(光柵掃描順序)對(duì)應(yīng)，從對(duì)各節(jié)點(diǎn)分配的O以外的數(shù)字減去I的數(shù)示出針對(duì)對(duì)應(yīng)的塊所包含的全部像素的被攝物體標(biāo)識(shí)符。再有，在此示出的樹形構(gòu)造、數(shù)列的定義等是一個(gè)例子，只要能與編碼側(cè)共有定義，那么使用什么樣的方法都可以。在被攝物體圖的解碼結(jié)束了之后，接著，在被攝物體像素值解碼部206中，根據(jù)分離后的編碼數(shù)據(jù)按每個(gè)被攝物體標(biāo)識(shí)符對(duì)被攝物體像素值進(jìn)行解碼(步驟S206)。根據(jù)編碼時(shí)使用的方法，每個(gè)被攝物體標(biāo)識(shí)符的被攝物體像素值的解碼是不同的。以下，為了簡(jiǎn)單，假設(shè)按被攝物體標(biāo)識(shí)符小的順序?qū)Ρ粩z物體像素值進(jìn)行編碼。例如，在對(duì)被攝物體像素值直接進(jìn)行編碼的情況下，依次對(duì)被攝物體標(biāo)識(shí)符分配進(jìn)行解碼而得到的值。此外，在使用鄰接塊中的被攝物體像素值、已經(jīng)進(jìn)行解碼后的相同的塊的被攝物體像素值進(jìn)行預(yù)測(cè)并僅對(duì)預(yù)測(cè)殘差進(jìn)行編碼的情況下，將對(duì)生成的預(yù)測(cè)值加上了根據(jù)編碼數(shù)據(jù)進(jìn)行解碼的值而得到的值作為被攝物體像素值依次分配給被攝物體標(biāo)識(shí)符。在預(yù)測(cè)值的生成中需要使用與解碼時(shí)相同的方法。例如，作為根據(jù)鄰接塊進(jìn)行預(yù)測(cè)的方法，有將相同的被攝物體標(biāo)識(shí)符的鄰接塊的被攝物體像素值的平均值或中央值作為預(yù)測(cè)值的方法。作為使用已經(jīng)進(jìn)行了解碼的相同的塊的被攝物體像素值來進(jìn)行預(yù)測(cè)的方法，在按被攝物體像素值小的順序進(jìn)行解碼的情況下，有如下方法，即，將對(duì)之前進(jìn)行了解碼的被攝物體像素值加I后的值作為預(yù)測(cè)值的方法、使用之前進(jìn)行了解碼的被攝物體像素值和剩余的解碼所需的被攝物體像素值的數(shù)量生成預(yù)測(cè)值的方法。作為使用之前進(jìn)行了解碼的被攝物體像素值和剩余的解碼所需的被攝物體像素值的數(shù)量來生成預(yù)測(cè)值的方法的具體例子，有以下那樣的例子。首先，將對(duì)之前進(jìn)行了解碼的被攝物體像素值加I后的值設(shè)為最小值、將能取得的像素值的最大的值設(shè)為最大值，將這樣的范圍分割成具有剩余的解碼所需的被攝物體像素值的數(shù)量大體上相同的大小的部分范圍。而且，從其中將包含最小值的部分范圍的中央值設(shè)為預(yù)測(cè)值。例如，在之前對(duì)作為被攝物體像素值的51進(jìn)行解碼并且剩余的被攝物體像素值的數(shù)量為3個(gè)的情況下，通過將[52、255]分割成具有相同的大小的3個(gè)部分范圍，從而得到[52、119]、[120、187]、[188、255]，將包含最小值的[52、119]的范圍的中央值85設(shè)為預(yù)測(cè)值。在無法成為完全相同的大小的部分范圍的情況下，按照預(yù)先規(guī)定的規(guī)則，既可以生成在兩端具有整數(shù)的部分范圍，也可以使用小數(shù)等來表現(xiàn)。例如，有以部分范圍的大小為N、2N、3N、…這樣變大的方式進(jìn)行分割的方法、以部分范圍的大小為N、N/2、N/3、…這樣變小的方式進(jìn)行分割的方法。為了正確地進(jìn)行解碼，分割的規(guī)則需要與在編碼時(shí)使用的規(guī)則相同。此外，還有將根據(jù)鄰接塊進(jìn)行預(yù)測(cè)的方法和使用已經(jīng)進(jìn)行了解碼的相同的塊的被攝物體像素值來進(jìn)行預(yù)測(cè)的方法組合起來進(jìn)行預(yù)測(cè)的方法。例如，有如下方法，即，在對(duì)最初的被攝物體像素值進(jìn)行解碼的情況下，根據(jù)鄰接塊進(jìn)行預(yù)測(cè)，在對(duì)除此以外的被攝物體像素值進(jìn)行解碼的情況下，使用在相同的塊中之前進(jìn)行了解碼的被攝物體像素值來進(jìn)行預(yù)測(cè)。作為其它的方法，有如下方法，即，將在相同的塊中之前進(jìn)行了解碼的被攝物體像素值和根據(jù)鄰接塊進(jìn)行了預(yù)測(cè)的值相比較，根據(jù)該比較結(jié)果確定預(yù)測(cè)值。進(jìn)而，作為其它的方法，有對(duì)表示使用了哪個(gè)預(yù)測(cè)方法的信息另外進(jìn)行編碼并切換預(yù)測(cè)方法的情況。在該情況下，在對(duì)表示預(yù)測(cè)手法的信息進(jìn)行解碼后，根據(jù)該結(jié)果生成預(yù)測(cè)值。再有，有僅對(duì)針對(duì)在被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符的被攝物體像素值進(jìn)行編碼的情況。在這樣的情況下 ，根據(jù)被攝物體圖的結(jié)果判定成為缺號(hào)的被攝物體標(biāo)識(shí)符，跳過該被攝物體標(biāo)識(shí)符，按解碼順序分配被攝物體像素值。此外，雖然在上述的說明中說明了對(duì)被攝物體像素值、被攝物體像素值的預(yù)測(cè)殘差直接進(jìn)行編碼，但是存在使用對(duì)碼量、品質(zhì)的目標(biāo)設(shè)定的量化參數(shù)來對(duì)量化后的值進(jìn)行編碼的情況。在這樣的情況下，通過對(duì)進(jìn)行解碼而得到的值進(jìn)行反量化，從而得到被攝物體像素值的解碼值。在被攝物體像素值的解碼結(jié)束了之后，接著，在預(yù)測(cè)圖像生成部207中生成針對(duì)塊blk的預(yù)測(cè)圖像(步驟S207)。具體地說，通過對(duì)各像素分配與從被攝物體圖得到的被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值，從而生成預(yù)測(cè)圖像。再有，也可以對(duì)像上述那樣制作的預(yù)測(cè)圖像進(jìn)一步附加抖動(dòng)。在使用了被攝物體圖和被攝物體像素值的預(yù)測(cè)圖像中，僅存在與被攝物體數(shù)相同的數(shù)量的像素值，因此成為具有與自然圖像不同的性質(zhì)的圖像。因此，通過附加抖動(dòng)，從而能賦予更接近于自然圖像的變化。雖然在抖動(dòng)生成中能使用任意的方法，但是需要使用與編碼側(cè)相同的手法。再有，在編碼數(shù)據(jù)中包含抖動(dòng)生成裝置的初始化等所需的參數(shù)的情況下，對(duì)其進(jìn)行解碼并使用。在得到了預(yù)測(cè)圖像之后，在圖像信號(hào)解碼部208中將針對(duì)塊blk的圖像信號(hào)進(jìn)行解碼(步驟S208)。根據(jù)在編碼時(shí)使用的方法，圖像信號(hào)的解碼是不同的。例如，在使用MPEG-2、H.264/AVC等一般的編碼的情況下，通過對(duì)編碼數(shù)據(jù)進(jìn)行熵解碼、逆二值化、反量化、IDCT等頻率逆變換，從而對(duì)預(yù)測(cè)殘差進(jìn)行解碼，通過對(duì)該結(jié)果施加預(yù)測(cè)圖像，從而對(duì)塊blk的圖像信號(hào)進(jìn)行復(fù)原。作為特殊的狀況，在被攝物體數(shù)為I的情況下，因?yàn)楸粩z物體圖僅存在I種，所以存在通過不將針對(duì)該塊的被攝物體圖進(jìn)行編碼而削減碼量的情況。在這樣的情況下，不對(duì)被攝物體圖編碼數(shù)據(jù)進(jìn)行解碼，而是僅通過將該唯一的被攝物體圖候補(bǔ)設(shè)定為針對(duì)該塊的被攝物體圖即可。再有，在被攝物體數(shù)為I的情況下，是否對(duì)被攝物體圖進(jìn)行解碼需要與編碼時(shí)的處理相匹配。在圖15中示出在上述的第一實(shí)施方式中生成的編碼數(shù)據(jù)和在第二實(shí)施方式中輸入的編碼數(shù)據(jù)的每個(gè)塊的句法的一個(gè)例子。在此，num_objects表示被攝物體數(shù)，map_object表示被攝物體圖,exist (i, j)表示在被攝物體圖j內(nèi)存在被攝物體標(biāo)識(shí)符i的情況下返回TRUE、在不是這樣的情況下返回FALSE的函數(shù)，residual_value_object [i]表示被攝物體標(biāo)識(shí)符為i的被攝物體像素值的預(yù)測(cè)殘差，residuals表示圖像信號(hào)的預(yù)測(cè)殘差。接著，在本實(shí)施方式中，對(duì)用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例子進(jìn)行說明。[附加信息的數(shù)據(jù)構(gòu)造的例I]
圖16A、16B是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例I的圖。為了編碼/解碼對(duì)象的圖像信號(hào)的預(yù)測(cè)，如圖16A所示，對(duì)被攝物體數(shù)、被攝物體圖、各被攝物體標(biāo)識(shí)符的每一個(gè)的被攝物體像素值進(jìn)行設(shè)定。被攝物體數(shù)N是整數(shù)。被攝物體圖是與塊內(nèi)的像素?cái)?shù)相同的長(zhǎng)度的I N的整數(shù)列。在無預(yù)測(cè)的情況下，被攝物體像素值是無編碼的整數(shù)，在有預(yù)測(cè)的情況下，被攝物體像素值是帶有編碼的整數(shù)(考慮負(fù)數(shù))。圖16B示出附加信息的具體例子。雖然被攝物體數(shù)是4，但是在被攝物體圖中被攝物體標(biāo)識(shí)符為2的像素一個(gè)也不存在。因此，省略與被攝物體標(biāo)識(shí)符2對(duì)應(yīng)的被攝物體像素值的數(shù)據(jù)。[附加信息的數(shù)據(jù)構(gòu)造的例子2]
圖17A、17B是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例2的圖。在該例子中，在被攝物體圖之前，附加有單一被攝物體塊標(biāo)識(shí)信息。單一被攝物體塊標(biāo)識(shí)信息是O N的整數(shù)，在塊內(nèi)為單一被攝物體的情況下，即在塊內(nèi)的全部像素為相同的被攝物體標(biāo)識(shí)符的情況下，是I N的值，在包含多個(gè)被攝物體的情況下是O。在單一被攝物體塊標(biāo)識(shí)信息為O的情況下，之后的被攝物體圖和被攝物體像素值的數(shù)據(jù)與前述的數(shù)據(jù)構(gòu)造的例I是同樣的。在單一被攝物體塊標(biāo)識(shí)信息為I N的情況下，對(duì)該數(shù)減去I后的數(shù)為被攝物體標(biāo)識(shí)符。換言之，在塊內(nèi)的被攝物體標(biāo)識(shí)符全部相同的情況下，將對(duì)該被攝物體標(biāo)識(shí)符加I后的值作為單一被攝物體塊標(biāo)識(shí)信息設(shè)定在附加信息中。圖17B示出附加信息的具體例子。雖然在該例子中，被攝物體數(shù)是2，但是因?yàn)槭菃我槐粩z物體塊，所以沒有被攝物體圖的數(shù)據(jù)。此外，因?yàn)閱我槐粩z物體標(biāo)識(shí)符變成1-1=0，所以僅設(shè)定該被攝物體像素值“31”，沒有除此以外(被攝物體標(biāo)識(shí)符=1)的被攝物體像素值。[附加信息的數(shù)據(jù)構(gòu)造的例3]
圖18A、18B是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例3。在該例子中，以樹形構(gòu)造形式保持被攝物體圖。該樹形構(gòu)造被攝物體圖是以樹形構(gòu)造表現(xiàn)被攝物體圖并且按預(yù)先規(guī)定的順序?qū)Ω鞴?jié)點(diǎn)的值進(jìn)行掃描的圖，是可變長(zhǎng)度的整數(shù)列。圖18B示出附加信息的具體例子。在該例子中，被攝物體數(shù)是3，以在圖7中說明了的被攝物體圖形式保持有樹形構(gòu)造被攝物體圖。此外，被攝物體像素值是有預(yù)測(cè)的情況，也包含負(fù)的值。[附加信息的數(shù)據(jù)構(gòu)造的例4]
圖19A、19B是示出用于預(yù)測(cè)圖像的生成的附加信息的數(shù)據(jù)構(gòu)造的例4的圖。在該例子中，將樹形構(gòu)造被攝物體圖劃分成塊分割信息和塊內(nèi)被攝物體標(biāo)識(shí)符信息來進(jìn)行保持。塊分割信息示出對(duì)使用了樹形構(gòu)造被攝物體圖時(shí)的葉以外的節(jié)點(diǎn)進(jìn)行掃描后的結(jié)果，塊內(nèi)被攝物體標(biāo)識(shí)符信息示出對(duì)使用了樹形構(gòu)造被攝物體圖時(shí)的葉進(jìn)行掃描后的結(jié)果。圖19B示出附加信息的具體例子。在該例子中，作為樹形構(gòu)造被攝物體圖，設(shè)定在將圖6中說明了的樹形構(gòu)造被攝物體圖劃分為葉以外的節(jié)點(diǎn)和葉的節(jié)點(diǎn)進(jìn)行掃描的情況下的值。雖然在上述的第一、第二實(shí)施方式中，說明了利用本發(fā)明對(duì)一個(gè)幀中的全部塊進(jìn)行編碼和解碼的處理，但是也可以僅應(yīng)用于一部分的塊，在其它的塊中，使用在H.264/AVC等中使用的幀內(nèi)預(yù)測(cè)編碼、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼等來進(jìn)行編碼。在該情況下，需要按每個(gè)塊對(duì)表示使用哪個(gè)方法進(jìn)行編碼的信息進(jìn)行編碼和解碼。雖然在上述的第一、第二實(shí)施方式中，說明了對(duì)一個(gè)幀進(jìn)行編碼和解碼的處理，但是通過重復(fù)多個(gè)幀，從而也能應(yīng)用于動(dòng)態(tài)圖像編碼。此外，也能僅應(yīng)用于動(dòng)態(tài)圖像的一部分的中貞、一部分的塊。在該情況下，因?yàn)樵诒粩z物體的存在中不僅有空間的連續(xù)性而且有時(shí)間的連續(xù)性，所以能容易類推將用于被攝物體圖的編碼的參照像素、用于被攝物體像素值的預(yù)測(cè)的鄰接塊的定義不僅擴(kuò)展到空間方向使用，而且還擴(kuò)展到時(shí)間方向上使用。以上說明了的圖像編碼和圖像解碼的處理也能由計(jì)算機(jī)和軟件程序?qū)崿F(xiàn)，既能將該程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中進(jìn)行提供，也能通過網(wǎng)絡(luò)提供該程序。在圖20中示出在由計(jì)算機(jī)和軟件程序構(gòu)成圖像編碼裝置的情況下的硬件結(jié)構(gòu)例。本系統(tǒng)為用總線連接有以下部分的結(jié)構(gòu):
執(zhí)行程序的CPU50 ；
儲(chǔ)存有CPU50進(jìn)行訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器51 ；
輸入來自攝影機(jī)等的編碼對(duì)象的圖像信號(hào)的編碼對(duì)象幀輸入部52 (也可以是利用磁盤(disc)裝置等的對(duì)圖像信號(hào)進(jìn)行存儲(chǔ)的存儲(chǔ)部)
儲(chǔ)存有使CPU50執(zhí)行在第一實(shí)施方式中進(jìn)行說明的處理的軟件程序即圖像編碼程序531的程序存儲(chǔ)裝置53 ； 例如經(jīng)由網(wǎng)絡(luò)輸出通過CPU50執(zhí)行載入到存儲(chǔ)器51中的圖像編碼程序531而生成的多路復(fù)用編碼數(shù)據(jù)的多路復(fù)用編碼數(shù)據(jù)輸出部54(也可以是利用磁盤裝置等的對(duì)多路復(fù)用編碼數(shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)部)。雖然省略圖示，但是除此以外，還設(shè)置有被攝物體數(shù)存儲(chǔ)部、被攝物體圖存儲(chǔ)部、被攝物體像素值存儲(chǔ)部、預(yù)測(cè)圖像存儲(chǔ)部、被攝物體數(shù)編碼數(shù)據(jù)存儲(chǔ)部、被攝物體圖編碼數(shù)據(jù)存儲(chǔ)部、被攝物體像素值編碼數(shù)據(jù)存儲(chǔ)部、圖像信息編碼數(shù)據(jù)存儲(chǔ)部等硬件，并在本手法的實(shí)施中進(jìn)行利用。在圖21中示出在由計(jì)算機(jī)和軟件程序構(gòu)成圖像解碼裝置的情況下的硬件結(jié)構(gòu)例。本系統(tǒng)為用總線連接有以下部分的結(jié)構(gòu):
執(zhí)行程序的CPU60 ；
儲(chǔ)存有CPU60進(jìn)行訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器61 ；
對(duì)圖像編碼裝置利用上述的手法進(jìn)行編碼的多路復(fù)用編碼數(shù)據(jù)進(jìn)行輸入的多路復(fù)用編碼數(shù)據(jù)輸入部62 (也可以是利用磁盤裝置等的對(duì)多路復(fù)用編碼數(shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)部)；儲(chǔ)存有使CPU60執(zhí)行在第二實(shí)施方式中進(jìn)行說明的處理的軟件程序即圖像解碼程序631的程序存儲(chǔ)裝置63 ；
將通過CPU60執(zhí)行載入到存儲(chǔ)器61中的圖像解碼程序631而對(duì)多路復(fù)用編碼數(shù)據(jù)進(jìn)行解碼得到的解碼圖像數(shù)據(jù)輸出到再生裝置等的解碼圖像數(shù)據(jù)輸出部64。雖然省略圖示，但是除此以外，還設(shè)置有被攝物體數(shù)存儲(chǔ)部、被攝物體圖存儲(chǔ)部、被攝物體像素值存儲(chǔ)部、預(yù)測(cè)圖像存儲(chǔ)部、被攝物體數(shù)編碼數(shù)據(jù)存儲(chǔ)部、被攝物體圖編碼數(shù)據(jù)存儲(chǔ)部、被攝物體像素值編碼數(shù)據(jù)存儲(chǔ)部、圖像信息編碼數(shù)據(jù)存儲(chǔ)部等硬件，并在本手法的實(shí)施中利用。[效果的驗(yàn)證]
進(jìn)行以往手法(例如，H.264/AVC)和使用了本發(fā)明的手法(稱為本手法)的碼量的比較。1.概念性的碼量的比較
1.1附加信息的碼量
附加信息在以往手法中是表示邊緣的朝向的信息，是二維矢量。與此相對(duì)地，根據(jù)本手法的附加信息是被攝物體數(shù)的量的被攝物體像素值(標(biāo)量(scalar)值或顏色矢量)和被攝物體圖(二維信息)，雖然也依賴于條件，但是在將處理塊設(shè)為16X16、將被攝物體數(shù)設(shè)為4的情況下，比特量變?yōu)榧s68倍(但是，通過進(jìn)行熵編碼，從而能成為約5倍左右)。1.2預(yù)測(cè)殘差的碼量
在邊緣強(qiáng)的圖像中，當(dāng)在預(yù)測(cè)圖像和輸入圖像中物體形狀較大地不同時(shí)，即使將該預(yù)測(cè)殘差變換到頻域，也不能使信息高效地集中到低頻區(qū)域，預(yù)測(cè)殘差的碼量會(huì)變得非常多。也就是說，與僅能進(jìn)行直線的表現(xiàn)的以往手法相比，能表現(xiàn)任意的形狀的本手法更能減少預(yù)測(cè)殘差的碼量。雖然也依賴于對(duì)象圖像、編碼條件，但是能使預(yù)測(cè)殘差的碼量為約三分之一左右。1.3總的編碼量
在一般的編碼率中，以往手法的預(yù)測(cè)殘差的碼量占碼量整體的約9成。也就是說，當(dāng)將整體的碼量設(shè)為100時(shí)，附加信息為10，預(yù)測(cè)殘差為90。
另一方面，根據(jù)本手法，當(dāng)假設(shè)附加信息為5倍、預(yù)測(cè)殘差為1/3時(shí)，利用本手法能使整體的碼量為80。2.實(shí)驗(yàn)例
在圖22A、22B中示出在對(duì)某個(gè)樣本圖像(ballet)使用本手法和以往手法進(jìn)行編碼的情況下的產(chǎn)生碼量和圖像品質(zhì)的比較。在圖22A、22B所示的圖表中，縱軸的Y - PSNR表示圖像的品質(zhì)(單位是dB)，橫軸的比特率表示碼量(單位是bps/view)。Y - PSNR的值越大就示出越美麗的圖像。在圖22A、22B中，LI的曲線示出利用本手法得到的碼量與圖像的品質(zhì)的關(guān)系，L2的曲線示出利用以往手法得到的碼量與圖像的品質(zhì)的關(guān)系。再有，圖22A、22B是相同的圖表。2.1作為碼量削減效果的解釋(參照?qǐng)D22A)
從圖22A的圖表可知，在Y-PSNR變成43dB時(shí)，在以往手法(H.264/AVC)中需要約650kbps的碼量，在本手法中需要約400kbps的碼量。根據(jù)此情況可知,在以相同的品質(zhì)進(jìn)行編碼的情況下，利用本手法能將碼量削減約4成。2.2作為品質(zhì)改善效果的解釋(參照?qǐng)D22B)
根據(jù)圖22B的圖表可知，在比特率為400kbps時(shí)，在以往手法(H.264/AVC)中是約39dB的品質(zhì)，在本手法中是約43dB的品質(zhì)。根據(jù)此情況可知，在以相同的碼量進(jìn)行編碼的情況下，利用本手法能改善4dB的量的畫質(zhì)(將失真量削減約6成)。以上，雖然參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行了說明，但是上述實(shí)施方式只不過是本發(fā)明的例示，顯然，本發(fā)明不被上述實(shí)施方式限定。因此，也可以在不脫離本發(fā)明的精神和技術(shù)性范圍的范圍中進(jìn)行結(jié)構(gòu)要素的追加、省略、調(diào)換、其它變更。產(chǎn)業(yè)上的可利用性
通過使用本發(fā)明，從而對(duì)具有復(fù)雜的形狀的被攝物體提供正確保持了邊緣的正確的預(yù)測(cè)圖像，由此能削減預(yù)測(cè)殘差編碼所需的碼量。附圖標(biāo)記的說明:
100圖像編碼裝置；
101編碼對(duì)象幀輸入部；
102編碼對(duì)象幀存儲(chǔ)器；
103被攝物體數(shù)設(shè)定部；
104被攝物體像素值設(shè)定部；
105被攝物體像素值編碼部；
106被攝物體圖生成部；
107被攝物體圖編碼部；
108預(yù)測(cè)圖像生成部；
109圖像信號(hào)編碼部；
110多路復(fù)用部；
111被攝物體數(shù)編碼部；
200圖像解碼裝置；
201編碼數(shù)據(jù)輸入部；202編碼數(shù)據(jù)存儲(chǔ)器；
203分尚部；
204被攝物體數(shù)設(shè)定部；
205被攝物體圖解碼部；
206被攝物體像素值解碼部；207預(yù)測(cè)圖像生成部；
208圖像信號(hào)解碼部。
權(quán)利要求
1.一種圖像編碼方法，在對(duì)圖像進(jìn)行傳輸或積蓄時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行編碼，所述圖像編碼方法的特征在于，具有: 被攝物體數(shù)設(shè)定步驟，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)；被攝物體像素值設(shè)定步驟，按存在于處理區(qū)域內(nèi)的每個(gè)被攝物體，將代表各被攝物體的I個(gè)像素值與識(shí)別該被攝物體的被攝物體標(biāo)識(shí)符對(duì)應(yīng)起來設(shè)定為被攝物體像素值； 被攝物體圖生成步驟，根據(jù)處理區(qū)域內(nèi)的各像素的像素值和被攝物體像素值，生成被攝物體圖，所述被攝物體圖用被攝物體標(biāo)識(shí)符示出在處理區(qū)域內(nèi)的各像素對(duì)哪個(gè)被攝物體進(jìn)行了攝影； 預(yù)測(cè)圖像生成步驟，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像； 被攝物體圖編碼步驟，對(duì)所述被攝物體圖進(jìn)行編碼； 被攝物體像素值編碼步驟，對(duì)所述被攝物體像素值進(jìn)行編碼；以及 圖像信號(hào)編碼步驟，使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在干， 還包含:被攝物體數(shù)編碼步驟，對(duì)在所述被攝物體數(shù)設(shè)定步驟中設(shè)定的被攝物體數(shù)進(jìn)行編碼。
3.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在干， 在所述被攝物體數(shù)設(shè)定步驟中，根據(jù)處理區(qū)域內(nèi)的像素的信息估計(jì)處理區(qū)域內(nèi)的被攝物體的數(shù)量來作為被攝物體 數(shù)。
4.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在干， 在所述被攝物體像素值編碼步驟中，按每個(gè)所述被攝物體標(biāo)識(shí)符檢查是否在所述被攝物體圖中使用了該被攝物體標(biāo)識(shí)符，在進(jìn)行使用的情況下，將與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的所述被攝物體像素值進(jìn)行編碼，在未進(jìn)行使用的情況下，省略與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的所述被攝物體像素值的編碼。
5.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在干， 還包含:抖動(dòng)附加步驟，對(duì)所述預(yù)測(cè)圖像附加抖動(dòng)， 在所述圖像信號(hào)編碼步驟中，使用被施加了所述抖動(dòng)的預(yù)測(cè)圖像來將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。
6.一種圖像解碼方法，在對(duì)圖像的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行解碼，所述圖像解碼方法的特征在于，具有: 被攝物體數(shù)設(shè)定步驟，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)；被攝物體圖解碼步驟，根據(jù)所述編碼數(shù)據(jù)，對(duì)利用被攝物體標(biāo)識(shí)符表示了在處理區(qū)域內(nèi)的各像素所攝影的被攝物體的被攝物體圖進(jìn)行解碼； 被攝物體像素值解碼步驟，根據(jù)所述編碼數(shù)據(jù)對(duì)按每個(gè)所述被攝物體標(biāo)識(shí)符設(shè)定有I個(gè)的被攝物體像素值進(jìn)行解碼； 預(yù)測(cè)圖像生成步驟，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像；以及圖像信號(hào)解碼步驟，根據(jù)所述編碼數(shù)據(jù)使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
7.根據(jù)權(quán)利要求6所述的圖像解碼方法，其特征在干， 在所述被攝物體數(shù)設(shè)定步驟中，根據(jù)所述編碼數(shù)據(jù)對(duì)所述被攝物體數(shù)進(jìn)行解碼并進(jìn)行設(shè)定。
8.一種圖像解碼方法，在對(duì)圖像的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行解碼，所述圖像解碼方法的特征在于，具有: 被攝物體圖解碼步驟，根據(jù)所述編碼數(shù)據(jù)，對(duì)利用被攝物體標(biāo)識(shí)符表示了在處理區(qū)域內(nèi)的各像素所攝影的被攝物體的被攝物體圖進(jìn)行解碼； 被攝物體像素值解碼步驟，根據(jù)所述編碼數(shù)據(jù)對(duì)按每個(gè)所述被攝物體標(biāo)識(shí)符設(shè)定有I個(gè)的被攝物體像素值進(jìn)行解碼； 預(yù)測(cè)圖像生成步驟，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像；以及 圖像信號(hào)解碼步驟，根據(jù)所述編碼數(shù)據(jù)使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
9.根據(jù)權(quán)利要求8所述的圖像解碼方法，其特征在干， 還包含:被攝物體數(shù)設(shè)定步驟，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)， 在所述被攝物體數(shù)設(shè)定步驟中，根據(jù)所述編碼數(shù)據(jù)對(duì)所述被攝物體數(shù)進(jìn)行解碼并進(jìn)行設(shè)定。
10.根據(jù)權(quán)利要求6或權(quán)利要求8所述的圖像解碼方法，其特征在干， 在所述被攝物體像素值解碼步驟中，僅對(duì)與所述被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值進(jìn)行解碼。
11.根據(jù)權(quán)利要求6或權(quán)利要求8所述的圖像解碼方法，其特征在干， 還包含:抖動(dòng)附加步驟，對(duì)所述預(yù)測(cè)圖像附加抖動(dòng)， 在所述圖像信號(hào)解碼步驟中，根據(jù)所述編碼數(shù)據(jù)使用被施加了所述抖動(dòng)的預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
12.一種圖像編碼裝置，在對(duì)圖像進(jìn)行傳輸或積蓄時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行編碼，所述圖像編碼裝置的特征在于，具備: 被攝物體數(shù)設(shè)定單元，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)； 被攝物體像素值設(shè)定単元，按存在于處理區(qū)域內(nèi)的每個(gè)被攝物體，將代表各被攝物體的I個(gè)像素值與識(shí)別該被攝物體的被攝物體標(biāo)識(shí)符對(duì)應(yīng)起來設(shè)定為被攝物體像素值； 被攝物體圖生成単元，根據(jù)處理區(qū)域內(nèi)的各像素的像素值和被攝物體像素值，生成被攝物體圖，所述被攝物體圖用被攝物體標(biāo)識(shí)符示出在處理區(qū)域內(nèi)的各像素對(duì)哪個(gè)被攝物體進(jìn)行了攝影； 預(yù)測(cè)圖像生成単元，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像；被攝物體圖編碼単元，對(duì)所述被攝物體圖進(jìn)行編碼； 被攝物體像素值編碼単元，對(duì)所述被攝物體像素值進(jìn)行編碼；以及 圖像信號(hào)編碼單元，使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。
13.根據(jù)權(quán)利要求12所述的圖像編碼裝置，其特征在干， 還包含:被攝物體數(shù)編碼單元，對(duì)所述被攝物體數(shù)進(jìn)行編碼。
14.根據(jù)權(quán)利要求12所述的圖像編碼裝置，其特征在干， 所述被攝物體數(shù)設(shè)定單元根據(jù)處理區(qū)域內(nèi)的像素的信息估計(jì)處理區(qū)域內(nèi)的被攝物體的數(shù)量來作為被攝物體數(shù)。
15.根據(jù)權(quán)利要求12所述的圖像編碼裝置，其特征在干， 所述被攝物體像素值編碼単元按每個(gè)所述被攝物體標(biāo)識(shí)符檢查是否在所述被攝物體圖中使用了該被攝物體標(biāo)識(shí)符，在進(jìn)行使用的情況下，將與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的所述被攝物體像素值進(jìn)行編碼，在未進(jìn)行使用的情況下，省略與該被攝物體標(biāo)識(shí)符對(duì)應(yīng)的所述被攝物體像素值的編碼。
16.根據(jù)權(quán)利要求12所述的圖像編碼裝置，其特征在干， 還包含:抖動(dòng)附加單元，對(duì)所述預(yù)測(cè)圖像附加抖動(dòng)， 所述圖像信號(hào)編碼單元使用被施加了所述抖動(dòng)的預(yù)測(cè)圖像來將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼。
17.一種圖像解碼裝置，在對(duì)圖像的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行解碼，所述圖像解碼裝置的特征在于，具備: 被攝物體數(shù)設(shè)定單元，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)；被攝物體圖解碼単元，根據(jù)所述編碼數(shù)據(jù)，對(duì)利用被攝物體標(biāo)識(shí)符表示了在處理區(qū)域內(nèi)的各像素所攝影的被攝物體的被攝物體圖進(jìn)行解碼； 被攝物體像素值解碼単元，根據(jù)所述編碼數(shù)據(jù)對(duì)按每個(gè)所述被攝物體標(biāo)識(shí)符設(shè)定有I個(gè)的被攝物體像素值進(jìn)行解碼； 預(yù)測(cè)圖像生成単元，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像；以及 圖像信號(hào)解碼單元，根據(jù)所述編碼數(shù)據(jù)使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
18.根據(jù)權(quán)利要求17所述的圖像解碼裝置，其特征在干， 所述被攝物體數(shù)設(shè)定單元根據(jù)所述編碼數(shù)據(jù)對(duì)所述被攝物體數(shù)進(jìn)行解碼并進(jìn)行設(shè)定。
19.一種圖像解碼裝置，在對(duì)圖像的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值ー邊進(jìn)行解碼，所述圖像解碼裝置的特征在于，具備: 被攝物體圖解碼単元，根據(jù)所述編碼數(shù)據(jù)，對(duì)利用被攝物體標(biāo)識(shí)符表示了在處理區(qū)域內(nèi)的各像素所攝影的被攝物體的被攝物體圖進(jìn)行解碼； 被攝物體像素值解碼単元，根據(jù)所述編碼數(shù)據(jù)對(duì)按每個(gè)所述被攝物體標(biāo)識(shí)符設(shè)定有I個(gè)的被攝物體像素值進(jìn)行解碼； 預(yù)測(cè)圖像生成単元，按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像；以及 圖像信號(hào)解碼單元，根據(jù)所述編碼數(shù)據(jù)使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
20.根據(jù)權(quán)利要求19所述的圖像解碼裝置，其特征在干， 還包含:被攝物體數(shù)設(shè)定單元，將存在于處理區(qū)域內(nèi)的被攝物體的數(shù)量設(shè)定為被攝物體數(shù)， 所述被攝物體數(shù)設(shè)定單元根據(jù)所述編碼數(shù)據(jù)對(duì)所述被攝物體數(shù)進(jìn)行解碼并進(jìn)行設(shè)定。
21.根據(jù)權(quán)利要求17或權(quán)利要求19所述的圖像解碼裝置，其特征在干， 所述被攝物體像素值解碼單元僅對(duì)與所述被攝物體圖中出現(xiàn)的被攝物體標(biāo)識(shí)符對(duì)應(yīng)的被攝物體像素值進(jìn)行解碼。
22.根據(jù)權(quán)利要求17或權(quán)利要求19所述的圖像解碼裝置，其特征在干， 還包含:抖動(dòng)附加單元，對(duì)所述預(yù)測(cè)圖像附加抖動(dòng)， 所述圖像信號(hào)解碼單元根據(jù)所述編碼數(shù)據(jù)使用被施加了所述抖動(dòng)的預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行解碼。
23.一種圖像編碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1所述的圖像編碼方法。
24.一種圖像解碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求6或8所述的圖像解碼方法。
25.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1所述的圖像編碼方法的圖像編碼程序。
26.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)執(zhí)行權(quán)利要求6或8所述的圖像解碼方法的圖像解碼程序。
全文摘要
一種圖像編碼方法，在對(duì)圖像進(jìn)行傳輸或積蓄時(shí)，將圖像幀分割成預(yù)先規(guī)定的大小的處理區(qū)域，按每個(gè)處理區(qū)域一邊預(yù)測(cè)各像素的像素值一邊進(jìn)行編碼。該方法具有按存在于處理區(qū)域內(nèi)的每個(gè)被攝物體，將代表各被攝物體的1個(gè)像素值與識(shí)別該被攝物體的被攝物體標(biāo)識(shí)符對(duì)應(yīng)起來設(shè)定為被攝物體像素值的步驟；根據(jù)處理區(qū)域內(nèi)的各像素的像素值和被攝物體像素值，生成被攝物體圖的步驟，所述被攝物體圖用被攝物體標(biāo)識(shí)符示出在處理區(qū)域內(nèi)的各像素對(duì)哪個(gè)被攝物體進(jìn)行了攝影；按照所述被攝物體圖對(duì)各像素分配所述被攝物體像素值的值，由此生成針對(duì)處理區(qū)域的預(yù)測(cè)圖像的步驟；對(duì)所述被攝物體圖進(jìn)行編碼的步驟；對(duì)所述被攝物體像素值進(jìn)行編碼的步驟；以及使用所述預(yù)測(cè)圖像將針對(duì)處理區(qū)域的圖像信號(hào)進(jìn)行預(yù)測(cè)編碼的步驟。
文檔編號(hào)H04N13/02GK103098475SQ20118004538
公開日2013年5月8日 申請(qǐng)日期2011年9月21日 優(yōu)先權(quán)日2010年9月29日
發(fā)明者志水信哉, 松浦宣彥 申請(qǐng)人:日本電信電話株式會(huì)社