圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置制造方法
【專利摘要】一種圖像編碼方法，包括：導(dǎo)出步驟（S1301），從co-located運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選；追加步驟（S1302），將候選追加到列表中；選擇步驟（S1303），從列表選擇當(dāng)前塊的運動矢量；以及編碼步驟（S1304），對當(dāng)前塊進行編碼；在導(dǎo)出步驟（S1301）中，在判定為當(dāng)前參照圖片以及co-located參照圖片分別是長期參照圖片的情況下，通過第1導(dǎo)出方式導(dǎo)出候選，在判定為當(dāng)前參照圖片以及co-located參照圖片分別是短期參照圖片的情況下，通過第2導(dǎo)出方式導(dǎo)出候選。
【專利說明】圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝
CP3
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對多個圖片中的多個塊分別進行編碼的圖像編碼方法。
【背景技術(shù)】
[0002]作為與對多個圖片中的多個塊分別進行編碼的圖像編碼方法有關(guān)的技術(shù)，有非專利文獻I中記載的技術(shù)。
[0003]現(xiàn)有技術(shù)文獻
[0004]非專利文獻
[0005]非專利文獻1:1S0/IEC 14496-10 “MPEG-4 PartlO Advanced Video Coding”
[0006]發(fā)明概要
[0007]發(fā)明要解決的問題
[0008]但是，在以往的圖像編碼方法中，有時無法得到充分高的編碼效率。

【發(fā)明內(nèi)容】

[0009]因此，本發(fā)明提供一種能夠在圖像的編碼中提高編碼效率的圖像編碼方法。
[0010]用于解決問題的手段
[0011]本發(fā)明的一個方式的圖像編碼方法是對多個圖片中的多個塊分別進行編碼的圖像編碼方法，包括:導(dǎo)出步驟，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選，該co-located塊是與包含編碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊；追加步驟，將導(dǎo)出的所述候選追加到列表中；選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及編碼步驟，使用所選擇的所述運動矢量以及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行編碼；在所述導(dǎo)出步驟中，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0012]另外，這些總括性的或具體的方式可以由系統(tǒng)、裝置、集成電路、計算機程序或計算機可讀取的CD-ROM等非暫時記錄介質(zhì)來實現(xiàn)，也可以由系統(tǒng)、裝置、方法、集成電路、計算機程序及記錄介質(zhì)的任意組合來實現(xiàn)。
[0013]發(fā)明效果
[0014]本發(fā)明的圖像編碼方法能夠在圖像的編碼中提高編碼效率。
【專利附圖】

【附圖說明】[0015]圖1是表示參考例的圖像編碼裝置的動作的流程圖。
[0016]圖2是表示參考例的圖像解碼裝置的動作的流程圖。
[0017]圖3是表示參考例的導(dǎo)出處理的詳細情況的流程圖。
[0018]圖4是用于說明參考例的co-located塊的圖。
[0019]圖5是實施方式I的圖像編碼裝置的模塊圖。
[0020]圖6是實施方式I的圖像解碼裝置的模塊圖。
[0021]圖7是表示實施方式I的圖像編碼裝置的動作的流程圖。
[0022]圖8是表示實施方式I的圖像解碼裝置的動作的流程圖。
[0023]圖9是表示實施方式I的導(dǎo)出處理的詳細情況的流程圖。
[0024]圖10是表示實施方式2的導(dǎo)出處理的詳細情況的流程圖。
[0025]圖11是用于說明實施方式2的co-located塊的圖。
[0026]圖12是表示實施方式3的導(dǎo)出處理的詳細情況的流程圖。
[0027]圖13A是實施方式4的圖像編碼裝置的模塊圖。
[0028]圖13B是表示實施方式4的圖像編碼裝置的模塊圖。
[0029]圖14A是表示實施方式4的圖像解碼裝置的動作的流程圖。
[0030]圖14B是表示實施方式4的圖像解碼裝置的動作的流程圖。
[0031]圖15A是示出表示參照圖片的分類的參數(shù)的存放位置的第I例的圖。
[0032]圖15B是示出表示參照圖片的分類的參數(shù)的存放位置的第2例的圖。
[0033]圖15C是示出表示參照圖片的分類的參數(shù)的存放位置的第3例的圖。
[0034]圖16是表示 預(yù)測模式的參數(shù)的存放位置的例子的圖。
[0035]圖17是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0036]圖18是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0037]圖19是表示電視機的結(jié)構(gòu)例的模塊圖。
[0038]圖20是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0039]圖21是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0040]圖22A是表示便攜電話的一例的圖。
[0041]圖22B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0042]圖23是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0043]圖24是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0044]圖25是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0045]圖26是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0046]圖27是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0047]圖28是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0048]圖29是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0049]圖30是表示識別影像數(shù)據(jù)的步驟的圖。
[0050]圖31是表示實現(xiàn)各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0051]圖32是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。[0052]圖33是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。
[0053]圖34是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。
[0054]圖35A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0055]圖35B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實施方式】
[0056](本發(fā)明的基礎(chǔ)知識)
[0057]本發(fā)明人對于“【背景技術(shù)】”欄中記載的圖像編碼方法，發(fā)現(xiàn)了以下的問題。另外，以下，圖像可以是由多個圖片構(gòu)成的運動圖像、由I個圖片構(gòu)成的靜止圖像、以及圖片的一部分等中的任一個。
[0058]作為近年來的圖像編碼方式，有MPEG-4AVC/H.264 及 HEVC(High Efficiency VideoCoding)。在這些圖像編碼方式中，能夠利用使用已編碼的參照圖片的幀間預(yù)測。
[0059]此外，在這些圖像編碼方式中，有時使用被稱為長期參照圖片的參照圖片。例如，將參照圖片長時間維持在DPB (Decoded Picture Buffer:解碼圖片緩存)中的情況下,可以將參照圖片作為長期參照圖片使用。 [0060]此外，在HEVC中，有被稱為合并模式的模式。在合并模式中，將根據(jù)相鄰塊的運動矢量等來預(yù)測當(dāng)前塊的運動矢量而得到的預(yù)測運動矢量作為當(dāng)前塊的運動矢量而用于當(dāng)前塊的編碼。即，在合并模式中，將預(yù)測運動矢量作為當(dāng)前塊的運動矢量。在合并模式中，預(yù)測運動矢量及當(dāng)前塊的運動矢量有時被稱為合并矢量。
[0061]進而，在HEVC中，能夠利用時間預(yù)測運動矢量。時間預(yù)測運動矢量從已編碼的co-located圖片內(nèi)的co-located塊的運動矢量導(dǎo)出。co-located圖片中的co-located塊的座標(biāo)對應(yīng)于編碼對象的當(dāng)前圖片中的當(dāng)前塊的座標(biāo)。
[0062]在此，有時將co-located塊的運動矢量稱為co-located運動矢量。此外，有時將co-located塊的參照圖片稱為co-located參照圖片。co-located塊使用co-located運動矢量以及co-located參照圖片被編碼。另外,co-located有時被記為collocated或相同位置。
[0063]同樣，有時將當(dāng)前塊的運動矢量稱為當(dāng)前運動矢量。此外，有時將當(dāng)前塊的參照圖片稱為當(dāng)前參照圖片。當(dāng)前塊使用當(dāng)前運動矢量及當(dāng)前參照圖片被編碼。
[0064]上述的當(dāng)前塊及co-located塊分別是預(yù)測單元(PU predict1n Unit)。預(yù)測單元是圖像的塊，被定義為預(yù)測的數(shù)據(jù)單位。在HEVC中，作為編碼的數(shù)據(jù)單位，與預(yù)測單元分別地定義編碼單元(⑶:Coding Unit)。預(yù)測單元是編碼單元內(nèi)的塊。以下記載的塊可以置換為預(yù)測單元或編碼單元。
[0065]編碼單元及預(yù)測單元的尺寸不是一定的。例如，有時I個圖片包含各種尺寸的多個編碼單元，此外，有時I個圖片包含各種尺寸的多個預(yù)測單元。
[0066]因此，在co-located圖片中有時沒有定義與當(dāng)前塊的區(qū)域準(zhǔn)確地一致的塊。因而，在HEVC中，通過預(yù)先決定的選擇方法從co-located圖片所包含的多個塊中選擇co-located 塊。
[0067]對時間預(yù)測運動矢量而言，通過按照POC (圖片序列號)距離對選擇的co-located塊的運動矢量進行縮放來生成。POC是在顯示順序上對圖片分配的序數(shù)。POC距離對應(yīng)于2個圖片間的時間距離。基于POC距離的縮放還被稱為基于POC的縮放。以下所示的式I是對co-located塊的運動矢量進行基于POC的縮放的運算式。
[0068]pmv = (tb/td) Xcolmv...(式 I)
[0069]在此,colmv是co-located塊的運動矢量。Pmv是從co-located塊的運動矢量導(dǎo)出的時間預(yù)測運動矢量。tb是帶符號的POC距離，是從當(dāng)前圖片到當(dāng)前參照圖片的差。td是帶符號的POC距離,是從co-located圖片到co-located參照圖片的差。
[0070]存在有效的時間預(yù)測運動矢量的情況下，該時間預(yù)測運動矢量被加入到當(dāng)前運動矢量的候選的帶順序的列表中。從當(dāng)前運動矢量的候選的帶順序的列表選擇用于當(dāng)前塊的編碼的運動矢量。并且，所選擇的運動矢量由編碼流中的參數(shù)表示。
[0071]圖1是表示參考例的圖像編碼裝置的動作的流程圖。特別地，圖1表示通過幀間預(yù)測對圖像進行編碼的處理。
[0072]首先，圖像編碼裝置將多個參照圖片分別分類為短期參照圖片或長期參照圖片(SlOl)0圖像編碼裝置在編碼流的頭中寫入表示多個參照圖片各自的分類的信息(S102)。
[0073]接著，圖像編碼裝置確定當(dāng)前參照圖片(S103)。接著，圖像編碼裝置導(dǎo)出當(dāng)前運動矢量(S104)。導(dǎo)出處理的詳細情況留待后述。
[0074]接著，圖像編碼裝置使用當(dāng)前參照圖片以及當(dāng)前運動矢量進行運動補償，從而生成預(yù)測塊(S105)。
[0075]接著，圖像編 碼裝置從當(dāng)前塊減去預(yù)測塊而生成殘差塊(S106)。最后，圖像編碼裝置對殘差塊進行編碼而生成包含編碼后的殘差塊的編碼流(S107)。
[0076]圖2是表示參考例的圖像解碼裝置的動作的流程圖。特別地，圖2表示通過幀間預(yù)測對圖像進行解碼的處理。
[0077]首先，圖像解碼裝置取得編碼流，并對編碼流的頭進行解析(parse)，從而取得表示多個參照圖片各自的分類的信息(S201)。此外，圖像解碼裝置通過對編碼流進行解析，取得殘差塊(S202 )。
[0078]接著，圖像解碼裝置確定當(dāng)前參照圖片(S203)。接著，圖像解碼裝置導(dǎo)出當(dāng)前運動矢量(S204)。導(dǎo)出處理的詳細情況留待后述。接著，圖像解碼裝置使用當(dāng)前參照圖片及當(dāng)前運動矢量來進行運動補償，從而生成預(yù)測塊(S205)。最后，圖像解碼裝置將殘差塊與預(yù)測塊相加而生成重構(gòu)塊(S206)。
[0079]圖3是表示圖1及圖2所示的導(dǎo)出處理的詳細情況的流程圖。以下示出圖像編碼裝置的動作。如果將編碼逆向地看做解碼，則圖像解碼裝置的動作也與圖像編碼裝置的動作同樣。
[0080]首先，圖像編碼裝置選擇co-located圖片(S301)。接著，圖像編碼裝置選擇co-located圖片內(nèi)的co-located塊(S302)。然后，圖像編碼裝置確定co-located參照圖片以及co-located運動矢量(S303)。接著，圖像編碼裝置按照進行基于POC的縮放的導(dǎo)出方式，導(dǎo)出當(dāng)前運動矢量(S304)。
[0081]圖4是用于說明圖3所示的導(dǎo)出處理中使用的co-located塊的圖。co-located塊從co-located圖片內(nèi)的多個塊中被選擇。
[0082]co-located圖片與包含當(dāng)前塊的當(dāng)前圖片不同。例如，co-located圖片是在顯示順序上處于當(dāng)前圖片的緊前或緊后的圖片。更具體而言，例如co-located圖片是在B圖片的編碼(雙預(yù)測的編碼)中使用的兩個參照圖片列表的某一個中的第一個參照圖片。
[0083]co-located圖片中包含樣本c0的第I塊是co-located塊的第一個候選，也被稱為主co-located塊。co-located圖片中包含樣本cl的第2塊是co-located塊的第二個候選，也被稱為副co-located塊。
[0084]在當(dāng)前塊的左上的樣本tl的座標(biāo)為(X，y)、當(dāng)前塊的寬度為W、當(dāng)前塊的高度為h的情況下，樣本CO的座標(biāo)為(X + w，y + h)。此外，在該情況下，樣本Cl的座標(biāo)為(X +(w/2) -1, y + (h/2) -1)。
[0085]在第I塊不可利用的情況下，將第2塊選擇為co-located塊。作為第I塊不可利用的情況，有因當(dāng)前塊為圖片的右或下端而不存在第I塊的情況或第I塊通過幀內(nèi)預(yù)測被編碼的情況等。
[0086]以下，再次參照圖3說明將時間預(yù)測運動矢量作為當(dāng)前運動矢量來導(dǎo)出的處理的更具體的例。
[0087]首先，圖像編碼裝置選擇co-located圖片(S301)。接著，圖像編碼裝置選擇co-located塊(S302)。在圖4所示的包含樣本c0的第I塊可利用的情況下，將第I塊選擇為co-located塊。在第I塊不可利用且圖4所示的包含樣本cl的第2塊可利用的情況下，將第2塊選擇為co-located塊。
[0088]在選擇出了可利用的co-located塊的情況下，圖像編碼裝置將時間預(yù)測運動矢量設(shè)定為可利用。在沒有選擇出可利用的co-located塊的情況下，圖像編碼裝置將時間預(yù)測運動矢量設(shè)定為不可利用。
[0089]在時間預(yù)測運動矢量被設(shè)定為可利用的情況下，圖像編碼裝置將co-located運動矢量確定為基準(zhǔn)運動矢量。此外，圖像編碼裝置確定co-located參照圖片(S303)。然后，圖像編碼裝置根據(jù)基準(zhǔn)運動矢量，通過式I的縮放來導(dǎo)出時間預(yù)測運動矢量(S304)。
[0090]通過以上的處理，圖像編碼裝置以及圖像解碼裝置將時間預(yù)測運動矢量作為當(dāng)前運動矢量來導(dǎo)出。
[0091]但是,根據(jù)當(dāng)前圖片、當(dāng)前參照圖片、co-located圖片以及co-located參照圖片的關(guān)系，有時難以導(dǎo)出適當(dāng)?shù)漠?dāng)前運動矢量。
[0092]例如，在當(dāng)前參照圖片為長期參照圖片的情況下，存在從當(dāng)前參照圖片到當(dāng)前圖片的時間距離較長的可能性。此外，在co-located參照圖片為長期參照圖片的情況下，存在從co-located參照圖片到co-located圖片的時間距離較長的可能性。
[0093]在這些情況下，通過基于POC的縮放，可能會生成極端大或極端小的當(dāng)前運動矢量。由此，預(yù)測精度惡化，編碼效率惡化。特別是，無法以固定的比特數(shù)適當(dāng)?shù)乇憩F(xiàn)極端大或極端小的當(dāng)前運動矢量，明顯地發(fā)生預(yù)測精度的惡化以及編碼效率的惡化。
[0094]為了解決這樣的問題，本發(fā)明的一個方式的圖像編碼方法是對多個圖片中的多個塊分別進行編碼的圖像編碼方法，包括:導(dǎo)出步驟，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選，該co-located塊是與包含編碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊；追加步驟，將導(dǎo)出的所述候選追加到列表中；選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及編碼步驟，使用所選擇的所述運動矢量以及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行編碼；在所述導(dǎo)出步驟中，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0095]由此，當(dāng)前運動矢量的候選不會變得極端大或極端小而被適當(dāng)?shù)貙?dǎo)出。因此，能夠提高預(yù)測精度，能夠提高編碼效率。
[0096]例如也可以是，在所述導(dǎo)出步驟中，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片中的一方是長期參照圖片、并判定為另一方是短期參照圖片的情況下，不從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，或者判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0097]由此，在估計預(yù)測精度低的情況下，當(dāng)前運動矢量的候選不被從co-located塊的運動矢量導(dǎo)出。因此，抑制了預(yù)測精度的惡化。
[0098]此外，例如也可以是，在所述編碼步驟中，進一步對表示所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行編碼。
[0099]由此，從編碼側(cè)向解碼側(cè)通知表示各參照圖片是長期參照圖片還是短期參照圖片的信息。因此，在編碼側(cè)和解碼側(cè)能夠得到同樣的判定結(jié)果，進行同樣的處理。 [0100]此外，例如也可以是，在所述導(dǎo)出步驟中，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片，使用從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離,判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0101]由此，基于時間距離，簡潔且適當(dāng)?shù)嘏卸ǜ鲄⒄請D片是長期參照圖片還是短期參照圖片。
[0102]此外，例如也可以是，在所述導(dǎo)出步驟中，在進行所述co-located塊的編碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0103]由此，能夠更準(zhǔn)確地判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0104]此外，例如也可以是，在所述導(dǎo)出步驟中，在進行所述當(dāng)前塊的編碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0105]由此，可以不必長期維持co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息。
[0106]此外，例如也可以是，在所述導(dǎo)出步驟中，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，將所述co-located塊的運動矢量作為所述候選導(dǎo)出，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離相對于從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離的比率，進行所述co-located塊的運動矢量的縮放，從而導(dǎo)出所述候選。
[0107]由此，在兩個參照圖片為長期參照圖片的情況下，省略縮放，降低運算量。并且，在兩個參照圖片為短期參照圖片的情況下，基于時間距離適當(dāng)?shù)貙?dǎo)出當(dāng)前運動矢量的候選。
[0108]此外，例如也可以是，在所述導(dǎo)出步驟中，進一步在判定為所述當(dāng)前塊的參照圖片是短期參照圖片、并判定為所述co-located塊的參照圖片是長期參照圖片的情況下，不從所述co-located塊導(dǎo)出所述候選,而選擇參照短期參照圖片來編碼的其他co-located塊，并通過所述第2導(dǎo)出方式從所述其他co-located塊的運動矢量導(dǎo)出所述候選。
[0109]由此，選擇用于導(dǎo)出預(yù)測精度高的候選的塊。因此，提高了預(yù)測精度。
[0110]此外，本發(fā)明的一個方式的圖像解碼方法是對多個圖片中的多個塊分別進行解碼的圖像解碼方法，包括:導(dǎo)出步驟，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選，該co-located塊是與包含解碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊；追加步驟，將導(dǎo)出的所述候選追加到列表中；選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及解碼步驟，使用所選擇的所述運動矢量以及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行解碼；在所述導(dǎo)出步驟中，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0111]由此，當(dāng)前 運動矢量的候選不會變得極端大或極端小而被適當(dāng)?shù)貙?dǎo)出。因此，能夠提高預(yù)測精度，能夠提高編碼效率。
[0112]例如也可以是，在所述導(dǎo)出步驟中，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片中的一方是長期參照圖片、并判定為另一方是短期參照圖片的情況下，不從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，或者判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0113]由此，在估計預(yù)測精度低的情況下，當(dāng)前運動矢量的候選不被從co-located塊的運動矢量導(dǎo)出。因此，抑制了預(yù)測精度的惡化。
[0114]此外，例如也可以是，在所述解碼步驟中，進一步對表示所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行解碼，在所述導(dǎo)出步驟中，使用表示所述當(dāng)前塊的參照圖片使長期參照圖片還是短期參照圖片的信息，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片，使用表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0115]由此，從編碼側(cè)向解碼側(cè)通知表示各參照圖片是長期參照圖片還是短期參照圖片的信息。因此，在編碼側(cè)和解碼側(cè)能夠得到同樣的判定結(jié)果，進行同樣的處理。[0116]此外，例如也可以是，在所述導(dǎo)出步驟中，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片，使用從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離,判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0117]由此，基于時間距離，簡潔且適當(dāng)?shù)嘏卸ǜ鲄⒄請D片是長期參照圖片還是短期參照圖片。
[0118]此外，例如也可以是，在所述導(dǎo)出步驟中，在進行所述co-located塊的解碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0119]由此，能夠更準(zhǔn)確地判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0120]此外，例如也可以是，在所述導(dǎo)出步驟中，在進行所述當(dāng)前塊的解碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0121]由此，可以不必長期維持co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息。
[0122]此外，例如也可以是，在所述導(dǎo)出步驟中，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，將所述co-located塊的運動矢量作為所述候選導(dǎo)出，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片 的情況下，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離相對于從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離的比率，進行所述co-located塊的運動矢量的縮放，從而導(dǎo)出所述候選。
[0123]由此，在兩個參照圖片為長期參照圖片的情況下，省略縮放，降低運算量。并且，在兩個參照圖片為短期參照圖片的情況下，基于時間距離適當(dāng)?shù)貙?dǎo)出當(dāng)前運動矢量的候選。
[0124]此外，例如也可以是，在所述導(dǎo)出步驟中，進一步在判定為所述當(dāng)前塊的參照圖片是短期參照圖片、并判定為所述co-located塊的參照圖片是長期參照圖片的情況下，不從所述co-located塊導(dǎo)出所述候選,而選擇參照短期參照圖片來解碼的其他co-located塊，并通過所述第2導(dǎo)出方式從所述其他co-located塊的運動矢量導(dǎo)出所述候選。
[0125]由此，選擇用于導(dǎo)出預(yù)測精度高的候選的塊。因此，提高了預(yù)測精度。
[0126]此外，本發(fā)明的一個方式的內(nèi)容供給方法按照來自外部終端的請求,從記錄有通過所述圖像編碼方法編碼的圖像數(shù)據(jù)的服務(wù)器發(fā)送所述圖像數(shù)據(jù)。
[0127]另外，這些總括性的或具體的方式可以由系統(tǒng)、裝置、集成電路、計算機程序或計算機可讀取的CD-ROM等非暫時記錄介質(zhì)來實現(xiàn)，也可以由系統(tǒng)、裝置、方法、集成電路、計算機程序及記錄介質(zhì)的任意組合來實現(xiàn)。
[0128]以下，參照附圖具體說明實施方式。另外，以下說明的實施方式都表示整體或具體的例子。以下的實施方式中所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接方式、步驟、步驟的順序等是一例，并不是要限定本發(fā)明。此外，對于以下的實施方式的構(gòu)成要素中、未記載于表示最上位概念的獨立權(quán)利要求的構(gòu)成要素，作為任意的構(gòu)成要素來說明。
[0129](實施方式I)
[0130]圖5是本實施方式的圖像編碼裝置的模塊圖。圖5所示的圖像編碼裝置500按照每個塊對圖像進行編碼，并輸出包含編碼后的圖像的編碼流。具體而言，圖像編碼裝置500具備減法部501、變換部502、量化部503、熵編碼部504、逆量化部505、逆變換部506、加法部507、塊存儲器508、圖片存儲器509、幀內(nèi)預(yù)測部510、幀間預(yù)測部511以及選擇部512。
[0131]減法部501通過從輸入至圖像編碼裝置500的圖像減去預(yù)測圖像而輸出差分圖像。變換部502通過對從減法部501輸出的差分圖像進行頻率變換而生成多個頻率系數(shù)。量化部503通過對由變換部502生成的多個頻率系數(shù)進行量化而生成多個量化系數(shù)。熵編碼部504通過對由量化部503生成的多個量化系數(shù)進行編碼而生成編碼流。
[0132]逆量化部505通過對由量化部503生成的多個量化系數(shù)進行逆量化而將多個頻率系數(shù)復(fù)原。逆變換部506通過對由逆量化部505復(fù)原的多個頻率系數(shù)進行逆頻率變換而將差分圖像復(fù)原。加法部507通過將由逆變換部506復(fù)原的差分圖像與預(yù)測圖像相加而將圖像復(fù)原(重構(gòu))。加法部507將復(fù)原后的圖像(重構(gòu)圖像)存放到塊存儲器508及圖片存儲器509 中。
[0133]塊存儲器508是用于按照每個塊存儲由加法部507復(fù)原的圖像的存儲器。此外，圖片存儲器509是用于按照每個圖片存儲由加法部507復(fù)原的圖像的存儲器。
[0134]幀內(nèi)預(yù)測部510參照塊存儲器508進行幀內(nèi)預(yù)測。即，幀內(nèi)預(yù)測部510根據(jù)圖片內(nèi)的其他像素值來預(yù)測該圖片內(nèi)的像素值。由此，幀內(nèi)預(yù)測部510生成預(yù)測圖像。此外，幀間預(yù)測部511參照圖片存儲器509進行幀間預(yù)測。即，幀間預(yù)測部511根據(jù)其他圖片內(nèi)的像素值來預(yù)測該圖片內(nèi)的像素值。由此，幀間預(yù)測部511生成預(yù)測圖像。
[0135]選擇部512選擇由幀內(nèi)預(yù)測部510生成的預(yù)測圖像以及由幀間預(yù)測部511生成的預(yù)測圖像的某一個，并將選擇的預(yù)測圖像輸出至減法部501及加法部507。
[0136]雖然在圖5中未示出，圖像編碼裝置500也可以具備解塊濾波部。并且，也可以是，解塊濾波部通過對由加法部507復(fù)原的圖像進行解塊濾波處理，除去塊邊界附近的噪聲。此外，圖像編碼裝置500也可以具備對圖像編碼裝置500中的各處理進行控制的控制部。
[0137]圖6是本實施方式的圖像解碼裝置的模塊圖。圖6所示的圖像解碼裝置600取得編碼流，按照每個塊對圖像進行解碼。具體而言，圖像解碼裝置600具備熵解碼部601、逆量化部602、逆變換部603、加法部604、塊存儲器605、圖片存儲器606、幀內(nèi)預(yù)測部607、幀間預(yù)測部608及選擇部609。
[0138]熵解碼部601對編碼流中包含的編碼后的多個量化系數(shù)進行解碼。逆量化部602通過對由熵解碼部601解碼的多個量化系數(shù)進行逆量化而將多個頻率系數(shù)復(fù)原。逆變換部603通過對由逆量化部602復(fù)原的多個頻率系數(shù)進行逆頻率變換而將差分圖像復(fù)原。
[0139]加法部604通過將由逆變換部603復(fù)原的差分圖像與預(yù)測圖像相加而將圖像復(fù)原(重構(gòu))。加法部604輸出復(fù)原后的圖像(重構(gòu)圖像)。此外，加法部604將復(fù)原后的圖像存放在塊存儲器605及圖片存儲器606中。
[0140]塊存儲器605是用于按照每個塊存儲由加法部604復(fù)原的圖像的存儲器。此外，圖片存儲器606是用于按照每個圖像存儲由加法部604復(fù)原的圖像的存儲器。
[0141]幀內(nèi)預(yù)測部607參照塊存儲器605進行幀內(nèi)預(yù)測。即，幀內(nèi)預(yù)測部607根據(jù)圖片內(nèi)的其他像素值來預(yù)測該圖片內(nèi)的像素值。由此，幀內(nèi)預(yù)測部607生成預(yù)測圖像。此外，幀間預(yù)測部608參照圖片存儲器606進行幀間預(yù)測。即，幀間預(yù)測部608根據(jù)其他圖片內(nèi)的像素值來預(yù)測圖片內(nèi)的像素值。由此，幀間預(yù)測部608生成預(yù)測圖像。[0142]選擇部609選擇由幀內(nèi)預(yù)測部607生成的預(yù)測圖像以及由幀間預(yù)測部608生成的預(yù)測圖像的某一個，并將選擇的預(yù)測圖像輸出至加法部604。
[0143]雖然在圖6中未示出，圖像解碼裝置600也可以具備解塊濾波部。并且，也可以是，解塊濾波部通過對由加法部604復(fù)原的圖像進行解塊濾波處理，除去塊邊界附近的噪聲。此外，圖像解碼裝置600也可以具備對圖像解碼裝置600中的各處理進行控制的控制部。
[0144]上述編碼處理及解碼處理按照每個編碼單元進行。變換處理、量化處理、逆變換處理及逆量化處理按照編碼單元內(nèi)的每個變換單元(TU:Transform Unit)進行。預(yù)測處理按照編碼單元內(nèi)的每個預(yù)測單元進行。
[0145]圖7是表不圖5所不的圖像編碼裝置500的動作的流程圖。特別是，圖7表不通過幀間預(yù)測對圖像進行編碼的處理。
[0146]首先，幀間預(yù)測部511將多個參照圖片分別分類為短期參照圖片或長期參照圖片
(5701)。
[0147]長期參照圖片是適于長時間利用的參照圖片。此外，長期參照圖片被定義為用于比短期參照圖片更長地利用的參照圖片。因此，長期參照圖片被長時間維持在圖片存儲器509中的可能性較高。此外，長期參照圖片由不依賴于當(dāng)前圖片的絕對POC指定。另一方面，短期參照圖片由來自當(dāng)前圖片的相對POC指定。
[0148]接著，熵編碼部504在編碼流的頭中寫入表示多個參照圖片各自的分類的信息
(5702)。即，熵編碼部50 4寫入表示多個參照圖片分別是長期參照圖片還是短期參照圖片的信息。
[0149]接著，幀間預(yù)測部511確定編碼對象(預(yù)測對象)的當(dāng)前塊的參照圖片(S703)。幀間預(yù)測部511也可以將與當(dāng)前塊相鄰的塊的參照圖片確定為當(dāng)前參照圖片。或者，幀間預(yù)測部511也可以利用預(yù)先決定的參照索引來確定當(dāng)前參照圖片。接著，幀間預(yù)測部511導(dǎo)出當(dāng)前運動矢量(S704)。導(dǎo)出處理的詳細情況留待后述。
[0150]接著，幀間預(yù)測部511使用當(dāng)前參照圖片以及當(dāng)前運動矢量進行運動補償，從而生成預(yù)測塊(705)。接著，減法部501從當(dāng)前塊(原圖像)減去預(yù)測塊而生成殘差塊(S706)。最后，熵編碼部504對殘差塊進行編碼而生成包含殘差塊的編碼流(S707)。
[0151]圖8是表示圖6所示的圖像解碼裝置600的動作的流程圖。特別是，圖8表示通過幀間預(yù)測對圖像進行解碼的處理。
[0152]首先，熵解碼部601取得編碼流并對編碼流的頭進行解析(parse)，從而取得表示多個參照圖片各自的分類的信息(S801)。即，熵解碼部601取得表示多個參照圖片分別是長期參照圖片還是短期參照圖片的信息。此外，熵解碼部601通過對編碼流進行解析，取得殘差塊(S802)。
[0153]接著，幀間預(yù)測部608確定當(dāng)前參照圖片(S803)。幀間預(yù)測部608也可以將與當(dāng)前塊相鄰的塊的參照圖片確定為當(dāng)前參照圖片?；蛘撸瑤g預(yù)測部608也可以利用預(yù)先決定的參照索引來確定當(dāng)前參照圖片。
[0154]接著，幀間預(yù)測部608導(dǎo)出當(dāng)前運動矢量(804)。導(dǎo)出處理的詳細情況留待后述。接著，幀間預(yù)測部608使用當(dāng)前參照圖片及當(dāng)前運動矢量進行運動補償，從而生成預(yù)測塊(S805)。最后，加法部604將殘差塊與預(yù)測塊相加而生成重構(gòu)塊(S806)。
[0155]圖9是表示圖7及圖8所示的導(dǎo)出處理的詳細情況的流程圖。以下主要示出圖5的幀間預(yù)測部511的動作。如果將編碼逆向地看做解碼，則圖6的幀間預(yù)測部608的動作也與圖5的幀間預(yù)測部511的動作相同。
[0156]首先,幀間預(yù)測部511從可利用的多個參照圖片中選擇co-located圖片(S901)。可利用的多個參照圖片是已編碼的圖片，并且是維持在圖片存儲器509中的圖片。
[0157]接著，幀間預(yù)測部511選擇co-located圖片內(nèi)的co-located塊(S902)。然后,中貞間預(yù)測部511確定co-located參照圖片以及co-located運動矢量(S903)。
[0158]接著，幀間預(yù)測部511判定當(dāng)前參照圖片以及co-located參照圖片的某一個是否為長期參照圖片(S904)。并且，在判定為當(dāng)前參照圖片以及co-located參照圖片的某一個為長期參照圖片的情況下(S904:是)，幀間預(yù)測部511按照第I導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S905)。
[0159]第I導(dǎo)出方式是使用co-located運動矢量的方式。更具體而言，第I導(dǎo)出方式是不進行基于POC的縮放而直接將co-located運動矢量作為當(dāng)前運動矢量導(dǎo)出的方式。第I導(dǎo)出方式也可以是通過以預(yù)先決定的一定比率對co-located運動矢量進行縮放而導(dǎo)出當(dāng)前運動矢量的方式。
[0160]在判定為當(dāng)前參照圖片以及co-located參照圖片都不是長期參照圖片的情況下(S904:否)，幀間預(yù)測部511按照第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S906)。即，在判定為當(dāng)前參照圖片以及co-located參照圖片的雙方為短期參照圖片的情況下，幀間預(yù)測部511按照第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量。
[0161]第2導(dǎo)出方式是使用當(dāng)前參照圖片、co-located參照圖片以及co-located運動矢量的方式。更具體 而言，第2導(dǎo)出方式是通過對co-located運動矢量進行基于POC的縮放(式I)來導(dǎo)出當(dāng)前運動矢量的方式。
[0162]以下，再次參照圖9說明導(dǎo)出當(dāng)前運動矢量的處理的更具體的例。前面說明的導(dǎo)出處理可以如下變更。
[0163]首先，幀間預(yù)測部511選擇co-located圖片(S901)。更具體而言，在切片頭參數(shù)slice — type為B且切片頭參數(shù)collocated — from— 10 — flag為O的情況下,將圖片RefPicListl [0]選擇為co-located圖片。圖片RefPicListl [0]是帶順序的參照圖片列表RefPicListl中的第一個參照圖片。
[0164]在切片頭參數(shù)slice — type不是B的情況下或切片頭參數(shù)collocated — from—10 — flag不是O的情況下,將圖片RefPicListO [0]選擇為co-located圖片。圖片RefPicListO [0]是帶順序的參照圖片列表RefPicListO中的第一個參照圖片。
[0165]接著,幀間預(yù)測部511選擇co-located塊(S902)。在圖4所示的包含樣本c0的第I塊可利用的情況下，將第I塊選擇為co-located塊。在第I塊不可利用且圖4所示的包含樣本Cl的第2塊可利用的情況下，將第2塊選擇為co-located塊。
[0166]在選擇出了可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為可利用。在沒有選擇出可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為不可利用。
[0167]在時間預(yù)測運動矢量設(shè)定為可利用的情況下，幀間預(yù)測部511將co-located運動矢量確定為基準(zhǔn)運動矢量。此外，幀間預(yù)測部511確定co-located參照圖片(S903)。在co-located塊有多個運動矢量的情況下，即在co-located塊使用多個運動矢量被編碼的情況下，幀間預(yù)測部511按照規(guī)定的優(yōu)先順序來選擇基準(zhǔn)運動矢量。
[0168]例如也可以是，在當(dāng)前參照圖片為短期參照圖片的情況下，幀間預(yù)測部511將多個運動矢量中的示出短期參照圖片內(nèi)的位置的運動矢量優(yōu)先選擇為基準(zhǔn)運動矢量。
[0169]也就是說，幀間預(yù)測部511在存在示出短期參照圖片內(nèi)的位置的運動矢量的情況下，將該運動矢量選擇為基準(zhǔn)運動矢量。并且，幀間預(yù)測部511在不存在示出短期參照圖片內(nèi)的位置的運動矢量的情況下，將示出長期參照圖片內(nèi)的位置的運動矢量選擇為基準(zhǔn)運動矢量。
[0170]然后，在當(dāng)前參照圖片以及co-located參照圖片的某一個為長期參照圖片的情況下(S904:是)，幀間預(yù)測部511將基準(zhǔn)運動矢量作為時間預(yù)測運動矢量來導(dǎo)出(S905)。
[0171]另一方面，在兩個參照圖片都不是長期參照圖片的情況下(S904:否)，幀間預(yù)測部511通過基于POC的縮放從基準(zhǔn)運動矢量導(dǎo)出時間預(yù)測運動矢量(S906)。
[0172]如上所述，時間預(yù)測運動矢量被設(shè)定為可利用或不可利用。幀間預(yù)測部511將設(shè)定為可利用的時間預(yù)測運動矢量加入到當(dāng)前運動矢量的候選的帶順序的列表中。帶順序的列表不限于時間預(yù)測運動矢量，還將各種運動矢量作為候選來保持
[0173]幀間預(yù)測部511從帶順序的列表選擇I個當(dāng)前運動矢量。這時，幀間預(yù)測部511從帶順序的列表選 擇當(dāng)前塊的預(yù)測精度最高的運動矢量、或能夠?qū)?dāng)前塊以最高的編碼效率編碼的運動矢量。與被選擇的運動矢量對應(yīng)的索引被寫入編碼流。
[0174]通過以上的處理，當(dāng)前運動矢量不會變得極端大或變得極端小而被適當(dāng)?shù)貜腸o-located運動矢量導(dǎo)出。因此，提高了預(yù)測精度，提高了編碼效率。
[0175]另外，各參照圖片是長期參照圖片還是短期參照圖片也可以根據(jù)時間而變更。例如，短期參照圖片可以之后變更為長期參照圖片。相反，長期參照圖片也可以之后變更為短期參照圖片。
[0176]此外，幀間預(yù)測部511也可以在進行co-located塊的編碼的期間，判定co-located參照圖片是長期參照圖片還是短期參照圖片。并且，圖像編碼裝置500也可以具有追加的存儲器，該追加的存儲器用于從進行co-located塊的編碼到進行當(dāng)前塊的編碼為止保持判定結(jié)果。
[0177]在該情況下，更準(zhǔn)確地判定co-located參照圖片是長期參照圖片還是短期參照圖片。
[0178]或者，幀間預(yù)測部511也可以在進行當(dāng)前塊的編碼的期間，判定co-located參照圖片是長期參照圖片還是短期參照圖片。
[0179]在該情況下，可以不必長時間維持co-located參照圖片是長期參照圖片還是短期參照圖片的信息。
[0180]此外，幀間預(yù)測部511也可以使用從當(dāng)前參照圖片到當(dāng)前圖片的時間距離來判定當(dāng)前參照圖片是長期參照圖片還是短期參照圖片。
[0181]例如，在從當(dāng)前參照圖片到當(dāng)前圖片的時間距離大于規(guī)定的閾值的情況下，幀間預(yù)測部511判定為當(dāng)前參照圖片是長期參照圖片。并且，在時間距離為規(guī)定的閾值以下的情況下，幀間預(yù)測部511判定為當(dāng)前參照圖片是短期參照圖片。
[0182]同樣，幀間預(yù)測部511也可以使用從co-located參照圖片到co-located圖片的時間距離來判定co-located參照圖片是長期參照圖片還是短期參照圖片。[0183]例如,在從co-located參照圖片到co-located圖片的時間距離大于規(guī)定的閾值的情況下，幀間預(yù)測部511判定為co-located參照圖片是長期參照圖片。并且，在時間距離為規(guī)定的閾值以下的情況下，幀間預(yù)測部511判定為co-located參照圖片是短期參照圖片。
[0184]并且，圖像解碼裝置600的幀間預(yù)測部608也可以與圖像編碼裝置500的幀間預(yù)測部511同樣，基于時間距離來判定各參照圖片是長期參照圖片還是短期參照圖片。在該情況下，表示各參照圖片是長期參照圖片還是短期參照圖片的信息也可以不被編碼。
[0185]對于本實施方式中示出的其他處理，也能夠通過由圖像解碼裝置600的各構(gòu)成要素進行與圖像編碼裝置500中對應(yīng)的構(gòu)成要素同樣的處理，將以高編碼效率編碼的圖像適當(dāng)?shù)亟獯a。
[0186]此外，以上所示的動作也可以在其他實施方式中應(yīng)用。本實施方式所示的構(gòu)成及動作可以編入其他實施方式，其他實施方式所示的構(gòu)成及動作也可以編入本實施方式。
[0187](實施方式2)
[0188]本實施方式的圖像編碼裝置及圖像解碼裝置的構(gòu)成與實施方式I相同。因此，使用圖5的圖像編碼裝置500的構(gòu)成及圖6的圖像解碼裝置600的構(gòu)成來說明本實施方式的這些動作。
[0189]此外，本實施方式的圖像編碼裝置500與實施方式I同樣，進行圖7所示的動作。此外，本實施方式的圖像解碼裝置600與實施方式I同樣，進行圖8所示的動作。在本實施方式中，當(dāng)前運動矢量的導(dǎo)出處理與實施方式I不同。以下詳細說明。
[0190]圖10是表示本實施方式的導(dǎo)出處理的詳細情況的流程圖。本實施方式的幀間預(yù)測部511取代圖9所示的動作而進行圖10所示的動作。以下主要示出圖5的幀間預(yù)測部511的動作。如果將編碼逆向地看做解碼，則圖6的幀間預(yù)測部608的動作也與圖5的幀間預(yù)測部511的動作相同。
[0191]首先，幀間預(yù)測部511從可利用的多個參照圖片中選擇co-located圖片(S1001)。接著，幀間預(yù)測部511選擇co-located圖片內(nèi)的co-located塊(S1002)。然后，幀間預(yù)測部511確定co-located參照圖片以及co-located運動矢量(S1003)。
[0192]接著，幀間預(yù)測部511判定當(dāng)前參照圖片是否為長期參照圖片(S1004)。然后，在判定為當(dāng)前參照圖片是長期參照圖片的情況下(S1004:是)，幀間預(yù)測部511按照與實施方式I相同的第I導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S1005)。
[0193]在判定為當(dāng)前參照圖片不是長期參照圖片的情況下(S1004:否)，幀間預(yù)測部511判定co-located參照圖片是否為長期參照圖片(S1006)。
[0194]并且，在判定為co-located參照圖片不是長期參照圖片情況下(S1006:否)，幀間預(yù)測部511按照與實施方式I相同的第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S1007)。即，在判定為當(dāng)前參照圖片以及co-located參照圖片的雙方為短期參照圖片的情況下，幀間預(yù)測部511按照第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量。
[0195]在判定為co-located參照圖片是長期參照圖片的情況下(S1006:是)，幀間預(yù)測部511選擇co-located圖片內(nèi)的其他co-located塊(S1008)。圖10的例中，將參照短期參照圖片來編碼的塊選擇為其他co-located塊。
[0196]然后，幀間預(yù)測部511確定與其他co-located塊對應(yīng)的co-located參照圖片和co-located運動矢量(S1009)。接著，幀間預(yù)測部511按照使用基于POC的縮放的第2導(dǎo)出方式，導(dǎo)出當(dāng)前運動矢量(S1010)。
[0197]即，在當(dāng)前塊的參照圖片為短期參照圖片、co-located塊的參照圖片為長期參照圖片的情況下，幀間預(yù)測部511不從該co-located塊的運動矢量導(dǎo)出當(dāng)前運動矢量。在該情況下，幀間預(yù)測部511選擇參照短期參照圖片來編碼的其他co-located塊，并從所選擇的其他co-located塊的運動矢量導(dǎo)出當(dāng)前運動矢量。
[0198]例如，在當(dāng)前塊的參照圖片為短期參照圖片、co-located塊的參照圖片為長期參照圖片的情況下，幀間預(yù)測部511搜索參照短期參照圖片來編碼的塊。并且，幀間預(yù)測部511將參照短期參照圖片來編碼的塊選擇為其他co-located塊。
[0199]作為其他例，在當(dāng)前塊的參照圖片為短期參照圖片、co-located塊的參照圖片為長期參照圖片的情況下，首先，幀間預(yù)測部511搜索參照短期參照圖片來編碼的塊。
[0200]并且，在存在參照短期參照圖片來編碼的塊的情況下，幀間預(yù)測部511將該塊選擇為其他co-located塊。在不存在參照短期參照圖片來編碼的塊的情況下，接著，幀間預(yù)測部511搜索參照長期參照圖片來編碼的塊。并且，將參照長期參照圖片來編碼的塊選擇為其他co-located塊。
[0201]此外，例如，首先，幀間預(yù)測部511將圖4的第I塊選擇為co-located塊。并且，在當(dāng)前參照圖片為短期參照圖片、co-located參照圖片為長期參照圖片的情況下，接著，幀間預(yù)測部511將圖4的第2塊新選擇為co-located塊。
[0202]上述的例中 ，也可以是，僅在圖4的第2塊的參照圖片為短期參照圖片的情況下，幀間預(yù)測部511將第2塊選擇為co-located塊。進而，選擇為co-located塊的塊不限于圖4的第2塊,也可以將其他塊選擇為co-located塊。
[0203]圖11是用于說明本實施方式的co-located塊的圖。圖11中在co-located圖片內(nèi)示出了樣本c0、cl、c2以及c3。圖11的樣本CO以及cl與圖4的樣本c0以及cl等同。不僅是包含樣本Cl的第2塊，還可以將包含樣本c2的第3塊或包含樣本c3的第4塊選擇為其他co-located塊。
[0204]樣本c2的座標(biāo)為(X + w~l, y + h-Ι)。樣本c3的座標(biāo)為(x + I, y + I)。
[0205]幀間預(yù)測部511按照第I塊、第2塊、第3塊以及第4塊的順序判定這些塊是否可利用。并且，幀間預(yù)測部511將可利用的塊決定為最終的co-located塊。作為塊不可利用的例，有不存在塊的情況或塊通過幀內(nèi)預(yù)測被編碼的情況等。
[0206]幀間預(yù)測部511在當(dāng)前參照圖片為短期參照圖片的情況下，判定為不可利用參照長期參照圖片來編碼的塊。
[0207]上述說明中，說明了 co-located塊的選擇方法的例，但co-located塊的選擇方法不限于上述說明的例。也可以將包含樣本CO、Cl、c2或c3以外的樣本的塊選擇為co-located塊。此外，這些塊的優(yōu)先順序不限于本實施方式中示出的例。
[0208]以下，再次參照圖10說明導(dǎo)出當(dāng)前運動矢量的處理的更具體的例。前面說明的導(dǎo)出處理可以如下變更。
[0209]首先，幀間預(yù)測部511與實施方式I同樣選擇co-located圖片(S1001)。并且，幀間預(yù)測部511將包含圖11所示的樣本CO的第I塊選擇為co-located塊，并確定co-located 參照圖片(S1002 以及 S1003)。[0210]接著，幀間預(yù)測部511判定co-located塊是否可利用。這時，在當(dāng)前參照圖片為短期參照圖片、且co-located參照圖片為長期參照圖片的情況下，幀間預(yù)測部511判定為co-located 塊不可利用(S1004 以及 S1006)。
[0211]在co-located塊不可利用的情況下，幀間預(yù)測部511搜索并選擇可利用的其他co-located塊(S1008)。具體而言，幀間預(yù)測部511從包含圖11的樣本cl的第2塊、包含樣本c2的第3塊、以及包含樣本c3的第4塊中，選擇參照短期參照圖片來編碼的塊。并且，幀間預(yù)測部511確定co-located塊的參照圖片(S1009)。
[0212]在選擇出了可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為可利用。在沒有選擇出可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為不可利用。
[0213]在時間預(yù)測運動矢量設(shè)定為可利用的情況下，幀間預(yù)測部511將co-located運動矢量確定為基準(zhǔn)運動矢量(S1003以及S1009)。在co-located塊具有多個運動矢量的情況下，即，co-located塊使用多個運動矢量被編碼的情況下，幀間預(yù)測部511與實施方式I同樣按照規(guī)定的優(yōu)先順序來選擇基準(zhǔn)運動矢量。
[0214]并且，在當(dāng)前參照圖片以及co-located參照圖片的某一個為長期參照圖片的情況下(S1004:是)，幀間預(yù)測部511將基準(zhǔn)運動矢量作為時間預(yù)測運動矢量來導(dǎo)出(S1005)。
[0215]另一方面，在當(dāng)前參照圖片以及co-located參照圖片都不是長期參照圖片的情況下(S1004:否)，幀間預(yù)測部511通過基于POC的縮放從基準(zhǔn)運動矢量導(dǎo)出時間預(yù)測運動矢量(S1007 以及 S1010)。
[0216]在時間預(yù)測運動矢量設(shè)定為不可利用的情況下，幀間預(yù)測部511不導(dǎo)出時間預(yù)測
運動矢量。
[0217]與實施方式I同樣，幀間預(yù)測部511將設(shè)定為可利用的時間預(yù)測運動矢量作為當(dāng)前運動矢量的候選而追加到列表中。并且，幀間預(yù)測部511從列表選擇當(dāng)前運動矢量。
[0218]如以上所述，本實施方式中，在當(dāng)前塊的參照圖片為短期參照圖片、且co-located塊的參照圖片為長期參照圖片的情況下，不從該co-located塊的運動矢量導(dǎo)出當(dāng)前運動矢量。
[0219]在當(dāng)前參照圖片以及co-located參照圖片中的一方為長期參照圖片、另一方為短期參照圖片的情況下，很難導(dǎo)出預(yù)測精度高的當(dāng)前運動矢量。因此，本實施方式的圖像編碼裝置500以及圖像解碼裝置600通過上述的動作抑制預(yù)測精度的惡化。
[0220](實施方式3)
[0221]本實施方式的圖像編碼裝置及圖像解碼裝置的構(gòu)成與實施方式I相同。因此，使用圖5的圖像編碼裝置500的構(gòu)成及圖6的圖像解碼裝置600的構(gòu)成，說明本實施方式的這些動作。
[0222]此外，本實施方式的圖像編碼裝置500與實施方式I同樣，進行圖7所示的動作。此外，本實施方式的圖像解碼裝置600與實施方式I同樣，進行圖8所示的動作。在本實施方式中，當(dāng)前運動矢量的導(dǎo)出處理與實施方式I不同。以下詳細說明。
[0223]圖12是表示本實施方式的導(dǎo)出處理的詳細情況的流程圖。本實施方式的幀間預(yù)測部511取代圖9所示的動作而進行圖12所示的動作。以下主要示出圖5的幀間預(yù)測部511的動作。如果將編碼逆向地看作解碼，則圖6的幀間預(yù)測部608的動作也與圖5的幀間預(yù)測部511的動作相同。
[0224]首先，幀間預(yù)測部511從可利用的多個參照圖片選擇co-located圖片(S1201)。接著，幀間預(yù)測部511選擇co-located圖片內(nèi)的co-located塊(S1202)。并且,幀間預(yù)測部511確定co-located參照圖片以及co-located運動矢量(S1203)。
[0225]接著，幀間預(yù)測部511判定當(dāng)前參照圖片是否為長期參照圖片(S1204)。并且，在判定為當(dāng)前參照圖片是長期參照圖片的情況下(S1204:是)，幀間預(yù)測部511按照與實施方式I相同的第I導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S1205)。
[0226]在判定為當(dāng)前參照圖片不是長期參照圖片的情況下(S1204:否)，幀間預(yù)測部511判定co-located參照圖片是否為長期參照圖片(S1206)。
[0227]并且，在判定為co-located參照圖片不是長期參照圖片的情況下(S1206:否)，幀間預(yù)測部511按照與實施方式I相同的第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量(S1207)。即，在判定為當(dāng)前參照圖片以及co-located參照圖片雙方為短期參照圖片的情況下，幀間預(yù)測部511按照第2導(dǎo)出方式導(dǎo)出當(dāng)前運動矢量。
[0228]在判定為co-located參照圖片是長期參照圖片的情況下(S1206:是)，幀間預(yù)測部511選擇其他co-located圖片(S1208)。然后,幀間預(yù)測部511選擇其他co-located圖片內(nèi)的其他co-located塊(S1209)。圖12的例中，將參照短期參照圖片來編碼的塊選擇為其他 co-located 塊。 [0229]然后，幀間預(yù)測部511確定與其他co-located塊對應(yīng)的co-located參照圖片和co-located運動矢量(S1210)。接著，幀間預(yù)測部511按照使用基于POC的縮放的第2導(dǎo)出方式，導(dǎo)出當(dāng)前運動矢量(S1211)。
[0230]即，在當(dāng)前塊的參照圖片為短期參照圖片、co-located塊的參照圖片為長期參照圖片的情況下，幀間預(yù)測部511不從該co-located塊導(dǎo)出當(dāng)前運動矢量。
[0231]在該情況下，幀間預(yù)測部511選擇其他co-located圖片。并且，幀間預(yù)測部511從所選擇的其他co-located圖片，選擇參照短期參照圖片來編碼的其他co-located塊。中貞間預(yù)測部511從所選擇的其他co-located塊的運動矢量導(dǎo)當(dāng)前運動矢量。
[0232]例如，在當(dāng)前參照圖片為短期參照圖片、co-located參照圖片為長期參照圖片的情況下，幀間預(yù)測部511搜索包含參照短期參照圖片來編碼的塊的圖片。并且，幀間預(yù)測部511將包含參照短期參照圖片來編碼的塊的圖片選擇為其他co-located圖片。
[0233]作為其他例，在當(dāng)前參照圖片為短期參照圖片、co-located參照圖片為長期參照圖片的情況下，首先，幀間預(yù)測部511搜索包含參照短期參照圖片來編碼的塊的圖片。
[0234]并且，在存在包含參照短期參照圖片來編碼的塊的圖片的情況下，幀間預(yù)測部511將該圖片選擇為其他co-located圖片。
[0235]在不存在包含參照短期參照圖片來編碼的塊的圖片的情況下，接著，幀間預(yù)測部511搜索包含參照長期參照圖片來編碼的塊的圖片。并且，幀間預(yù)測部511將包含參照長期參照圖片來編碼的塊的圖片選擇為其他co-located圖片。
[0236]此外，例如在圖片RefPicListO [0]為co-located圖片的情況下，圖片RefPicListl [0]為其他 co-located 圖片。在圖片 RefPicListl [0]為 co-located 圖片的情況下，圖片RefPicListO [0]為其他co-located圖片。
[0237]即，B圖片的編碼(雙預(yù)測的編碼)中使用的兩個參照圖片列表中的一方的參照圖片列表的第一個圖片為co-located圖片，另一方的參照圖片列表的第一個圖片為其他co-located 圖片。
[0238]以下，再次參照圖12說明導(dǎo)出當(dāng)前運動矢量的處理的更具體的例。前面說明的導(dǎo)出處理可以如下變更
[0239]首先，幀間預(yù)測部511將圖片RefPicListO [O]以及圖片RefPicListl [O]中的一方選擇為co-located圖片(S1201)。并且,幀間預(yù)測部511從所選擇的co-located圖片，將包含圖11所示的樣本c0的第I塊選擇為co-located塊,確定co-located參照圖片(S1202 以及 S1203)。
[0240]接著,幀間預(yù)測部511判定co-located塊是否可利用。這時,在當(dāng)前參照圖片為短期參照圖片、且co-located參照圖片為長期參照圖片的情況下，幀間預(yù)測部511判定為co-located 塊不可利用(S1204 以及 S1206)。
[0241]在co-located塊不可利用的情況下,幀間預(yù)測部511新選擇可利用的co-located塊。例如，幀間預(yù)測部511將包含圖11的樣本Cl的第2塊選擇為co-located塊。并且，中貞間預(yù)測部511確定co-located參照圖片。
[0242]在沒有選擇出可利用的co-located塊的情況下，幀間預(yù)測部511選擇其他co-located圖片。這時,幀間預(yù)測部511將圖片RefPicListO [0]以及圖片RefPicListl[0]中的另一方選擇為co-located圖片(S1208)。
[0243]并且，幀間預(yù)測部511從所選擇的co-located圖片，將包含圖11所示的樣本c0的第I塊選擇為co-located塊,確定co-located參照圖片(S1209以及S1210)。 [0244]接著,幀間預(yù)測部511判定co-located塊是否可利用。這時,與前面的判定同樣，在當(dāng)前參照圖片為短期參照圖片、且co-located參照圖片為長期參照圖片的情況下，幀間預(yù)測部511判定為co-located塊不可利用。
[0245]在co-located塊不可利用的情況下,幀間預(yù)測部511新選擇可利用的co-located塊(S1209)。具體而言，幀間預(yù)測部511將包含圖11的樣本Cl的第2塊選擇為co-located塊。并且，中貞間預(yù)測部511確定co-located參照圖片(S1210)。
[0246]在最終選擇出了可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為可利用。在沒有選擇出可利用的co-located塊的情況下，幀間預(yù)測部511將時間預(yù)測運動矢量設(shè)定為不可利用。
[0247]在時間預(yù)測運動矢量設(shè)定為可利用的情況下，幀間預(yù)測部511將co-located塊的運動矢量確定為基準(zhǔn)運動矢量(S1203以及S1210)。在co-located塊具有多個運動矢量的情況下，即co-located塊使用多個運動矢量被編碼的情況下，幀間預(yù)測部511與實施方式I同樣按照規(guī)定的優(yōu)先順序，選擇基準(zhǔn)運動矢量。
[0248]并且，在當(dāng)前參照圖片以及co-located參照圖片的某一個為長期參照圖片的情況下(S1204:是)，幀間預(yù)測部511將基準(zhǔn)運動矢量作為時間預(yù)測運動矢量來導(dǎo)出(S1205)。
[0249]另一方面，在當(dāng)前參照圖片以及co-located參照圖片都不是長期參照圖片的情況下(S1204:否)，幀間預(yù)測部511通過基于POC的縮放從基準(zhǔn)運動矢量導(dǎo)出時間預(yù)測運動矢量(S1207 以及 S1211)。
[0250]在時間預(yù)測運動矢量設(shè)定為不可利用的情況下，幀間預(yù)測部511不導(dǎo)出時間預(yù)測
運動矢量。[0251]與實施方式I同樣，幀間預(yù)測部511將設(shè)定為可利用的時間預(yù)測運動矢量作為當(dāng)前運動矢量的候選而追加到列表中。并且，幀間預(yù)測部511從列表選擇當(dāng)前運動矢量。
[0252]如以上所述，本實施方式的圖像編碼裝置500以及圖像解碼裝置600從多個圖片選擇適于當(dāng)前運動矢量的導(dǎo)出的塊，并從所選擇的塊的運動矢量導(dǎo)出當(dāng)前運動矢量。由此，提高了編碼效率。
[0253](實施方式4)
[0254]本實施方式確認(rèn)性地表示實施方式I~3中包含的特征性構(gòu)成及特征性順序。
[0255]圖13A是本實施方式的圖像編碼裝置的模塊圖。圖13A所示的圖像編碼裝置1300對多個圖片中的多個塊分別進行編碼。此外，圖像編碼裝置1300具備導(dǎo)出部1301、追加部1302、選擇部1303及編碼部1304。
[0256]例如，導(dǎo)出部1301、追加部1302及選擇部1303對應(yīng)于圖5的幀間預(yù)測部511等。編碼部1304對應(yīng)于圖5的熵編碼部504等。
[0257]圖13B是表示圖13A所示的圖像編碼裝置1300的動作的流程圖。
[0258]導(dǎo)出部1301從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選(S1301)。co-located塊是與包含編碼對象的當(dāng)前塊的圖片不同的圖片所包含的塊。
[0259]在候選的導(dǎo)出中，導(dǎo)出部1301判定當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片。此外，導(dǎo)出部1301判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0260]在此，在判定為當(dāng)前塊的參照圖片及co-located塊的參照圖片分別是長期參照圖片的情況下，導(dǎo)出部1301通過第I導(dǎo)出方式從co-located塊的運動矢量導(dǎo)出候選。第I導(dǎo)出方式是不進行基于時間距離的縮放的導(dǎo)出方式。
[0261]另一方面，在判定為當(dāng)前塊的參照圖片及co-located塊的參照圖片分別是短期參照圖片的情況下，導(dǎo)出部1301通過第2導(dǎo)出方式從co-located塊的運動矢量導(dǎo)出候選。第2導(dǎo)出方式是進行基于時間距離的縮放的導(dǎo)出方式。
[0262]追加部1302將導(dǎo)出的候選追加到列表中(S1302)。選擇部1303從追加了候選的列表選擇當(dāng)前塊的運動矢量(S1303)。
[0263]編碼部1304使用所選擇的運動矢量及當(dāng)前塊的參照圖片對當(dāng)前塊進行編碼(S1304)。
[0264]圖14A是本實施方式的圖像解碼裝置的模塊圖。圖14A所示的圖像解碼裝置1400對多個圖片中的多個塊分別進行解碼。此外，圖像解碼裝置1400具備導(dǎo)出部1401、追加部1402、選擇部1403及解碼部1404。
[0265]例如，導(dǎo)出部1401、追加部1402及選擇部1403對應(yīng)于圖6的幀間預(yù)測部608等。解碼部1404對應(yīng)于圖6的熵解碼部601等。
[0266]圖14B是表示圖14A所示的圖像解碼裝置1400的動作的流程圖。
[0267]導(dǎo)出部1401從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選(S1401)。co-located塊是與包含解碼對象的當(dāng)前塊的圖片不同的圖片所包含的塊。
[0268]在候選的導(dǎo)出中，導(dǎo)出部1401判定當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片。此外，導(dǎo)出部1401判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。[0269]在此，在判定為當(dāng)前塊的參照圖片及co-located塊的參照圖片分別是長期參照圖片的情況下，導(dǎo)出部1401通過第I導(dǎo)出方式導(dǎo)出co-located塊的運動矢量。第I導(dǎo)出方式是不進行基于時間距離的縮放的導(dǎo)出方式。
[0270]另一方面，在判定為當(dāng)前塊的參照圖片及co-located塊的參照圖片分別是短期參照圖片的情況下，導(dǎo)出部1401通過第2導(dǎo)出方式從co-located塊的運動矢量導(dǎo)出候選。第2導(dǎo)出方式是進行基于時間距離的縮放的導(dǎo)出方式。
[0271]追加部1402將導(dǎo)出的候選追加到列表中(S1402)。選擇部1403從追加了候選的列表選擇當(dāng)前塊的運動矢量(S1403)。
[0272]解碼部1404使用所選擇的運動矢量及當(dāng)前塊的參照圖片對當(dāng)前塊進行解碼(S1404)。
[0273]通過以上的處理，當(dāng)前運動矢量的候選不會變得極端大或變得極端小而被從co-located塊的運動矢量適當(dāng)?shù)貙?dǎo)出。因此，能夠提高預(yù)測精度，能夠提高編碼效率。
[0274]另外，導(dǎo)出部1301及1401在判定為當(dāng)前塊的參照圖片及co-located塊的參照圖片中的一方是長期參照圖片、并判定為另一方是短期參照圖片的情況下，也可以不從co-located塊的運動矢量導(dǎo)出候選。
[0275]在該情況下，導(dǎo)出部1301及1401也可以進一步選擇參照短期參照圖片來編碼或解碼的其他co-located塊,通過第2導(dǎo)出方式從其他co-located塊導(dǎo)出候選。或者,在該情況下，導(dǎo)出部1301及1401也可以通過其他導(dǎo)出方式導(dǎo)出候選?；蛘撸谠撉闆r下，導(dǎo)出部1301及1401也可以最終不導(dǎo)出與時間預(yù)測運動矢量對應(yīng)的候選。
[0276]此外，導(dǎo)出部1301及1401也可以使用從當(dāng)前塊的參照圖片到包含當(dāng)前塊的圖片的時間距離來判定當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片。
[0277]此外，導(dǎo)出部1301及1401也可以使用從co-located塊的參照圖片到包含co-located塊的圖片的時間距離來判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0278]此外，導(dǎo)出部1301及1401也可以在進行co-located塊的編碼或解碼的期間，判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0279]此外，導(dǎo)出部1301及1401也可以在進行當(dāng)前塊的編碼或解碼的期間，判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0280]此外，第I導(dǎo)出方式也可以是將co-located塊的運動矢量作為候選而導(dǎo)出的方式。第2導(dǎo)出方式也可以是使用從當(dāng)前塊的參照圖片到包含當(dāng)前塊的圖片的時間距離相對于從co-located塊的參照圖片到包含co-located塊的圖片的時間距離的比率來進行co-located塊的運動矢量的縮放、從而導(dǎo)出候選的方式。
[0281]此外，編碼部1304也可以進一步對表示當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行編碼。
[0282]此外，解碼部1404也可以進一步對表示當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行解碼。
[0283]此外，導(dǎo)出部1401也可以使用解碼后的信息來判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片。此外，導(dǎo)出部1401也可以使用解碼后的信息來判定co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
[0284]此外，表示參照圖片的分類的信息也可以作為參數(shù)而存放在編碼流中的如下所示的位置。
[0285]圖15A是示出表示參照圖片的分類的參數(shù)的存放位置的第I例的圖。如圖15A所示，表示參照圖片的分類的參數(shù)可以存放在序列頭中。序列頭也被稱為序列參數(shù)組。
[0286]圖15B是示出表示參照圖片的分類的參數(shù)的存放位置的第2例圖。如圖15B所示，表示參照圖片的分類的參數(shù)可以存放在圖片頭中。圖片頭也被稱為圖片參數(shù)組。
[0287]圖15C是示出表示參照圖片的分類的參數(shù)的存放位置的第2例圖。如圖15C所示，表示參照圖片的分類的參數(shù)可以存放在切片頭中。
[0288]此外，表示預(yù)測模式(幀間預(yù)測或幀內(nèi)預(yù)測)的信息也可以作為參數(shù)存放在編碼流中的如下所示的位置。
[0289]圖16是示出表示預(yù)測模式的參數(shù)的存放位置的例子的圖。如圖16所示，該參數(shù)可以存放在CU頭(編碼單元頭)中。該參數(shù)表示編碼單元內(nèi)的預(yù)測單元是通過幀間預(yù)測被編碼的、還是通過幀內(nèi)預(yù)測被編碼的。在co-located塊是否可利用的判定中可以使用該參數(shù)。
[0290]此外，在上述各實施方式中，各構(gòu)成要素可以由專用的硬件構(gòu)成，或通過執(zhí)行適于各構(gòu)成要素的軟件程 序來實現(xiàn)。各構(gòu)成要素可以通過由CPU或處理器等程序執(zhí)行部讀出并執(zhí)行記錄在硬盤或半導(dǎo)體存儲器等記錄介質(zhì)中的軟件程序來實現(xiàn)。在此，實現(xiàn)上述各實施方式的圖像編碼裝置等的軟件是如下的程序。
[0291]即，該程序使計算機執(zhí)行圖像編碼方法，該圖像編碼方法是對多個圖片中的多個塊分別進行編碼的圖像編碼方法，包括:導(dǎo)出步驟，根據(jù)co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選，該co-located塊是與包含編碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊；追加步驟，將導(dǎo)出的所述候選追加到列表中；選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及編碼步驟，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行編碼；在所述導(dǎo)出步驟中，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0292]此外，該程序使計算機執(zhí)行圖像解碼方法，該圖像解碼方法是對多個圖片中的多個塊分別進行解碼的圖像解碼方法，包括:導(dǎo)出步驟，根據(jù)co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選，該co-located塊是與包含解碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊；追加步驟，將導(dǎo)出的所述候選追加到列表中；選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及解碼步驟，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行解碼；在所述導(dǎo)出步驟中，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
[0293]此外，各構(gòu)成要素也可以是電路。這些電路可以整體構(gòu)成I個電路，也可以分別構(gòu)成不同的電路。此外，各構(gòu)成要素可以由通用的處理器實現(xiàn)，也可以由專用的處理器實現(xiàn)。
[0294]以上基于實施方式說明了一個或多個方式的圖像編碼裝置，但是本發(fā)明不限于該實施方式。只要不脫離本發(fā)明的主旨，對本實施方式施以本領(lǐng)域技術(shù)人員能夠想到的各種變形而得到的發(fā)明、以及將不同的實施方式中的構(gòu)成要素組合而構(gòu)建的方式也包含在一個或多個方式的范圍內(nèi)。
[0295]例如，圖像編碼解碼裝置也可以具備圖像編碼裝置及圖像解碼裝置。此外，也可以由其他處理部執(zhí)行由特定的處理部執(zhí)行的處理。此外，執(zhí)行處理的順序可以變更，也可以并行執(zhí)行多個處理。
[0296](實施方式5)
[0297]通過將用來實現(xiàn)上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵毩⒌挠嬎銠C系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲器等，只要 是能夠記錄程序的介質(zhì)就可以。
[0298]進而，這里說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當(dāng)變更。
[0299]圖17是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0300]該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話網(wǎng) exl04、及基站 exl07 ~exllO 連接著計算機 exlll、PDA (Personal Digital Assistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設(shè)備。
[0301]但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖17那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl07~exllO將各設(shè)備直接連接在電話網(wǎng)exl04上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。
[0302]照相機exll3是能夠進行數(shù)字?jǐn)z像機等的運動圖像攝影的設(shè)備，照相機exll6是能夠進行數(shù)字照相機等的靜止圖像攝影、運動圖像攝影的設(shè)備。此外，便攜電話exll4是GSM (Global System for Mobile Communicat1ns)方式、CDMA (Code Divis1n MultipleAccess)方式、W-CDMA (ffideband-Code Divis1n Multiple Access)方式、或 LTE (LongTerm Evolut1n)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS (PersonalHandyphone System)等，是哪種都可以。
[0303]在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機exl 13等經(jīng)由基站exl09、電話網(wǎng)exl04連接在流媒體服務(wù)器exl03上，能夠進行現(xiàn)場轉(zhuǎn)播等。在現(xiàn)場轉(zhuǎn)播中，對用戶使用照相機exll3攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機eXlll、PDAeX112、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。
[0304]另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機exll3進行，也可以由進行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器exl03進行，也可以相互分擔(dān)進行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進行，也可以由流媒體服務(wù)器exl03進行，也可以相互分擔(dān)進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數(shù)據(jù)經(jīng)由計算機exlll向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務(wù)器exl03的哪個進行都可以，也可以相互分擔(dān)進行。
[0305]此外，這些編碼解碼處理一般在計算機exlll或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將運動圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(zhì)(⑶-ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數(shù)據(jù)發(fā)送。此時的運動圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。
[0306]此外，也可以是，流媒體服務(wù)器exl03是多個服務(wù)器或多個計算機，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。
[0307]如以上這樣， 在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人廣播。
[0308]另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖18所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的運動圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。
[0309]此外，也可以是，在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機頂盒ex217內(nèi)安裝運動圖像解碼裝置，將其用電視機的監(jiān)視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內(nèi)裝入運
動圖像解碼裝置。
[0310]圖19是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿縠x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。
[0311]此外，電視機eX300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲元件電氣地進行信息的記錄的結(jié)構(gòu)。電視機ex300的各部經(jīng)由同步總線相互連接。
[0312]首先，對電視機ex300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進而，電視機ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進而，在圖示以外，也可以是，在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。
[0313]此外，電視機ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進行編碼處理。另外，這里，將電視機ex300作為能夠進行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。
[0314]此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔(dān)進行。
[0315]作為一例，將從光盤進行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖20中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406 —邊控制盤馬達ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進行激光斑的追蹤處理。系統(tǒng)控制部ex407進行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。
[0316]以上，假設(shè)光頭ex401照射激光斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結(jié)構(gòu)。 [0317]在圖21中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。
[0318]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現(xiàn)的構(gòu)造的光盤。
[0319]此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的車載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)運動圖像。另外，車載導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖19所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結(jié)構(gòu)。[0320]圖22A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。
[0321 ] 進而，使用圖22B對便攜電話exl 14的結(jié)構(gòu)例進行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。
[0322]電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態(tài)。
[0323]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音 的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。
[0324]進而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350o
[0325]在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。
[0326]復(fù)用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。
[0327]在數(shù)據(jù)通信模式時接收到鏈接到主頁等的運動圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應(yīng)的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。
[0328]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。
[0329]這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
[0330]此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進行各種變形或修正。
[0331](實施方式6)
[0332]也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據(jù)MPEG-2、MPEG4-AVC、VC-1等不同的標(biāo)準(zhǔn)的運動圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換，來生成影像數(shù)據(jù)。
[0333]這里，在生成分別依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應(yīng)于各個標(biāo)準(zhǔn)的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)，所以產(chǎn)生不能選擇適當(dāng)?shù)慕獯a方法的問題。
[0334]為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG-2傳輸流形式的數(shù)字流。
[0335]圖23是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖23所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等標(biāo)準(zhǔn)的運動圖像編碼方法或裝置編碼。音頻流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性 PCM 等的方式編碼。
[0336]包含在復(fù)用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0337]圖24是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到I條流中而構(gòu)成。
[0338]圖25更詳細地表示在PES包序列中怎樣保存視頻流。圖25的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖25的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentat1n Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentat1n Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)?
[0339]圖26表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD-ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header,構(gòu)成192字節(jié)的源包，寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復(fù)用數(shù)據(jù)中，源包如圖26下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN (源包號)。
[0340]此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT(Program Associat1 n Table)、PMT (Program Map Table)、PCR (Program Clock Reference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉(zhuǎn)送至解碼器的ATS對應(yīng)的STC時間的信息。
[0341]圖27是詳細地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。
[0342]在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。
[0343]復(fù)用數(shù)據(jù)信息文件如圖28所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對一地對應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。
[0344]復(fù)用數(shù)據(jù)信息如圖28所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設(shè)定為對復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。
[0345]流屬性信息如圖29所示，按每個PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應(yīng)于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
[0346]在本實施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[0347]此外，在圖30中表示本實施方式的運動圖像解碼方法的步驟。在步驟exSlOO中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，在 步驟exS103中，通過依據(jù)以往的標(biāo)準(zhǔn)的運動圖像解碼方法進行解碼。
[0348]這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。
[0349](實施方式7)
[0350]在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖31中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。
[0351]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風(fēng)exll7及照相機exll3等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中?；诳刂撇縠x501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)胤譃槎啻蔚龋蛐盘柼幚聿縠x507發(fā)送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。
[0352]另外，在上述中，設(shè)存儲器ex511為LSIex500的外部的結(jié)構(gòu)進行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0353]此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等,但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如,也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。
[0354]另外，這里設(shè)為LSI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0355]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
[0356]進而，如果因半導(dǎo)體技術(shù)的進步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。
[0357](實施方式8)
[0358]在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設(shè)得高，則發(fā)生消耗電力變高的問題。
[0359]為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)、并根據(jù)標(biāo)準(zhǔn)切換驅(qū)動頻率的結(jié)構(gòu)。圖32表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設(shè)定得高。并且，對執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設(shè)定得低。并且，對依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802指示將影像數(shù)據(jù)解碼。
[0360]更具體地講，驅(qū)動頻率切換部ex803由圖31的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802對應(yīng)于圖31的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式6中記載的識別信息。關(guān)于識別信息，并不限定于在實施方式6中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖34所示的將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動頻率建立對應(yīng)的查找表進行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。
[0361]圖33表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復(fù)用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得高的信號。并且，在驅(qū)動頻率控制部ex512中設(shè)定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。
[0362]進而，通過與驅(qū)動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節(jié)電效果。例如，在將驅(qū)動頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設(shè)定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。
[0363]此外，驅(qū)動頻率的設(shè)定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設(shè)定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4-AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進行驅(qū)動頻率的設(shè)定。
[0364]進而，驅(qū)動頻率的設(shè)定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，將停止時間設(shè)定得短。
[0365]這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標(biāo)準(zhǔn)來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。[0366](實施方式9)
[0367]在電視機、便攜電話等上述的設(shè)備、系統(tǒng)中，有時被輸入依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應(yīng)于多個標(biāo)準(zhǔn)。但是，如果單獨使用對應(yīng)于各個標(biāo)準(zhǔn)的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。
[0368]為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的解碼處理部一部分共用的結(jié)構(gòu)。圖35A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據(jù)MPEG4-AVC標(biāo)準(zhǔn)的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通?？梢钥紤]如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用對應(yīng)于MPEG4-AVC標(biāo)準(zhǔn)的解碼處理部ex902，關(guān)于不對應(yīng)于MPEG4-AVC標(biāo)準(zhǔn)的本發(fā)明的一個方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。特別是，本發(fā)明在幀間預(yù)測方面具有特征，因此可以考慮例如對于幀間預(yù)測使用專用的解碼處理部ex901，對于除此之外的熵解碼、解塊/濾波、逆量化中的某一個或者全部的處理，共用解碼處理部。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關(guān)于MPEG4-AVC標(biāo)準(zhǔn)所特有的處理內(nèi)容，使用專用的解碼處理部。
[0369]此外,用圖35B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exlOOl、和與其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部ex1002、和與在本發(fā)明的一個方式的運動圖像解碼方法和其他的以往標(biāo)準(zhǔn)的運動圖像解碼方法中共通的處理內(nèi)容對應(yīng)的共用的解碼處理部ex1003的 結(jié)構(gòu)。這里,專用的解碼處理部ex1001、ex1002并不一定是為本發(fā)明的一個方式、或者其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIeX500安裝本實施方式的結(jié)構(gòu)。
[0370]這樣，對于在本發(fā)明的一個方式的運動圖像解碼方法和以往的標(biāo)準(zhǔn)的運動圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
[0371]工業(yè)實用性
[0372]本發(fā)明例如能夠應(yīng)用于電視接收機、數(shù)字視頻記錄機、車輛導(dǎo)航儀、便攜電話、數(shù)字?jǐn)z像機、或數(shù)字?jǐn)z影機等。
[0373]附圖標(biāo)記說明
[0374]500、1300圖像編碼裝置
[0375]501減法部
[0376]502變換部
[0377]503量化部
[0378]504熵編碼部
[0379]505、602 逆量化部
[0380]506、603 逆變換部
[0381]507、604 加法部
[0382]508、605 塊存儲器[0383]509、606圖片存儲器
[0384]510,607幀內(nèi)預(yù)測部
[0385]511,608幀間預(yù)測部
[0386]512、609、1303、1403 選擇部
[0387]600、1400圖像解碼裝置
[0388]601熵解碼部
[0389]1301U401 導(dǎo)出部
[0390]1302、1402 追加部
[0391]1304 編碼部
[0392]1404 解碼部
【權(quán)利要求】
1.一種圖像編碼方法，對多個圖片中的多個塊分別進行編碼，包括: 導(dǎo)出步驟，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選,該co_located塊是與包含編碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊； 追加步驟，將導(dǎo)出的所述候選追加到列表中； 選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及 編碼步驟，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行編碼； 在所述導(dǎo)出步驟中， 判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
2.如權(quán)利要求1所述的圖像編碼方法， 在所述導(dǎo)出步驟中， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片中的一方是長期參照圖片、并判定為另一方是短期參照圖片的情況下，不從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，或者判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，從所述co-located塊的運動矢量導(dǎo)出所述候選。
3.如權(quán)利要求1或2所述的圖像編碼方法， 在所述編碼步驟中，進一步對表示所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行編碼。
4.如權(quán)利要求1~3中任一項所述的圖像編碼方法， 在所述導(dǎo)出步驟中， 使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片， 使用從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
5.如權(quán)利要求1~4中任一項所述的圖像編碼方法， 在所述導(dǎo)出步驟中，在進行所述co-located塊的編碼的期間,判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
6.如權(quán)利要求1~4中任一項所述的圖像編碼方法， 在所述導(dǎo)出步驟中，在進行所述當(dāng)前塊的編碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
7.如權(quán)利要求1~6中任一項所述的圖像編碼方法， 在所述導(dǎo)出步驟中， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，將所述co-located塊的運動矢量作為所述候選導(dǎo)出， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離相對于從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離的比率,進行所述co-located塊的運動矢量的縮放,從而導(dǎo)出所述候選。
8.如權(quán)利要求1~7中任一項所述的圖像編碼方法， 在所述導(dǎo)出步驟中，進一步在判定為所述當(dāng)前塊的參照圖片是短期參照圖片、并判定為所述co-located塊的參照圖片是長期參照圖片的情況下,不從所述co-located塊導(dǎo)出所述候選，而選擇參照短期參照圖片來編碼的其他co-located塊，并通過所述第2導(dǎo)出方式從所述其他co-located塊的運動矢量導(dǎo)出所述候選。
9.一種圖像解碼方法，對多個圖片中的多個塊分別進行解碼，包括: 導(dǎo)出步驟，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選,該co-located塊是與包含解碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊； 追加步驟，將導(dǎo)出的所述候選追加到列表中； 選擇步驟，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及 解碼步驟，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行解碼； 在所述導(dǎo)出步驟中， 判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
10.如權(quán)利要求9所述的圖像解碼方法， 在所述導(dǎo)出步驟中， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片中的一方是長期參照圖片、并判定為另一方是短期參照圖片的情況下，不從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，或者判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，從所述co-located塊的運動矢量導(dǎo)出所述候選。
11.權(quán)利要求9或10所述的圖像解碼方法，在所述解碼步驟中，進一步對表示所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息、以及表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息進行解碼， 在所述導(dǎo)出步驟中， 使用表示所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片的信息，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片， 使用表示所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片的信息，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
12.權(quán)利要求9或10所述的圖像解碼方法， 在所述導(dǎo)出步驟中， 使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離，判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片， 使用從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
13.如權(quán)利要求9~12中任一項所述的圖像解碼方法， 在所述導(dǎo)出步驟中 ，在進行所述co-located塊的解碼的期間,判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
14.如權(quán)利要求9~12中任一項所述的圖像解碼方法， 在所述導(dǎo)出步驟中，在進行所述當(dāng)前塊的解碼的期間，判定所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片。
15.如權(quán)利要求9~14中任一項所述的圖像解碼方法， 在所述導(dǎo)出步驟中， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，將所述co-located塊的運動矢量作為所述候選導(dǎo)出， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，使用從所述當(dāng)前塊的參照圖片到包含所述當(dāng)前塊的圖片的時間距離相對于從所述co-located塊的參照圖片到包含所述co-located塊的圖片的時間距離的比率,進行所述co-located塊的運動矢量的縮放,從而導(dǎo)出所述候選。
16.如權(quán)利要求9~15中任一項所述的圖像解碼方法， 在所述導(dǎo)出步驟中，進一步在判定為所述當(dāng)前塊的參照圖片是短期參照圖片、并判定為所述co-located塊的參照圖片是長期參照圖片的情況下,不從所述co-located塊導(dǎo)出所述候選，而選擇參照短期參照圖片來解碼的其他co-located塊，并通過所述第2導(dǎo)出方式從所述其他co-located塊的運動矢量導(dǎo)出所述候選。
17.一種圖像編碼裝置，對多個圖片中的多個塊分別進行編碼，具備: 導(dǎo)出部，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選,該co-located塊是與包含編碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊； 追加部，將導(dǎo)出的所述候選追加到列表中； 選擇部，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及 編碼部，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行編碼； 所述導(dǎo)出部， 判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
18.一種圖像解碼裝置，對多個圖片中的多個塊分別進行解碼，具備: 導(dǎo)出部，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選,該co-located塊是與包含解碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊； 追加部，將導(dǎo)出的所述候選追加到列表中； 選擇部，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及 解碼部，使用所選 擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行解碼； 所述導(dǎo)出部， 判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
19.一種圖像編碼解碼裝置，具備: 權(quán)利要求17所述的圖像編碼裝置；以及 圖像解碼裝置，對多個圖片中的多個塊分別進行解碼； 所述圖像解碼裝置具備: 導(dǎo)出部，從co-located塊的運動矢量導(dǎo)出當(dāng)前塊的運動矢量的候選,該co-located塊是與包含解碼對象的所述當(dāng)前塊的圖片不同的圖片所包含的塊； 追加部，將導(dǎo)出的所述候選追加到列表中； 選擇部，從追加了所述候選的所述列表選擇所述當(dāng)前塊的運動矢量；以及 解碼部，使用所選擇的所述運動矢量及所述當(dāng)前塊的參照圖片對所述當(dāng)前塊進行解碼； 所述導(dǎo)出部， 判定所述當(dāng)前塊的參照圖片是長期參照圖片還是短期參照圖片、以及所述co-located塊的參照圖片是長期參照圖片還是短期參照圖片，在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是長期參照圖片的情況下，通過不進行基于時間距離的縮放的第I導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選， 在判定為所述當(dāng)前塊的參照圖片及所述co-located塊的參照圖片分別是短期參照圖片的情況下，通過進行基于時間距離的縮放的第2導(dǎo)出方式從所述co-located塊的運動矢量導(dǎo)出所述候選。
20.一種內(nèi)容供給方法， 根據(jù)來自外部終端的請求，從記錄有通過權(quán)利要求1所述的圖像編碼方法而編碼的圖像數(shù)據(jù)的服務(wù) 器發(fā)送所述圖像數(shù)據(jù)。
【文檔編號】H04N19/52GK104041042SQ201280020125
【公開日】2014年9月10日 申請日期:2012年10月18日 優(yōu)先權(quán)日:2011年10月28日
【發(fā)明者】袁明亮, 林宗順, 乃蘇孟德, 孫海威, 西孝啟, 笹井壽郎, 柴原陽司, 谷川京子, 杉尾敏康, 寺田健吾, 松延徹 申請人:松下電器產(chǎn)業(yè)株式會社