圖像使用即可，例如，圖1lB所示的圖像B1也可以將圖像為參照?qǐng)D像來(lái)使用。
[0175]此外，上述的編碼構(gòu)造的限制值(層級(jí)數(shù)、B圖片連續(xù)數(shù)以及顯示延遲圖片數(shù))始終是最大值，根據(jù)情況也可以使用比限制值小的值。例如，圖10中在幀速率為30fps的情況下，示出了層級(jí)數(shù)為3、B圖片連續(xù)數(shù)為3[2]、顯示延遲圖片數(shù)為2[2]的如圖1lB那樣的編碼構(gòu)造，但層級(jí)數(shù)只要在3以下就可以，B圖片連續(xù)數(shù)以及顯示延遲圖片數(shù)只要是與3以下的層級(jí)數(shù)對(duì)應(yīng)的值就可以。例如可以是，層級(jí)數(shù)為2，B圖片連續(xù)數(shù)為2[1]，顯示延遲圖片數(shù)為2[2]。該情況下，例如，圖1lA所示的編碼構(gòu)造被使用。該情況下，圖8所示的步驟S121的編碼構(gòu)造編碼中，表示所使用的編碼構(gòu)造的信息被編碼。
[0176]此外，上述說(shuō)明中，對(duì)sps — max — num — reorder — pics設(shè)定顯示延遲圖片數(shù)，但sps — max — num — reorder — pics也可以是表示順序被變更的圖片的數(shù)量的變量。例如，圖9C所示的例子中，輸入圖像8、輸入圖像4以及輸入圖像2以成為比輸入順序(顯示順序)的位置靠前的方式被重新排列并被編碼。該情況下，順序被變更的圖片數(shù)為3，該值3可以被設(shè)定于sps _ _ max — num — reorder — pics0
[0177]此外，上述說(shuō)明中，連續(xù)數(shù)參數(shù)被設(shè)定于sps —max — latency — increase —plusl，將 sps—max—num—reorder—pics+sps—max — latency— increase—plusl —I 的值(SpsMaxLatencyPictures)作為 B 圖片連續(xù)數(shù)來(lái)處理，但 SpsMaxLatencyPictures也可以表示在圖片解碼完成后在從該圖片被保存在緩存中到能夠顯示之間被解碼的圖片的數(shù)量即圖片解碼次數(shù)的最大值。例如，圖12B的圖像P4的情況下，圖像P 4的解碼完成后，在圖像B2、圖像匕以及圖像B 3這3張圖像被解碼后，圖像為能夠顯示的狀態(tài)。此夕卜，圖像B2、圖像B3以及圖像P4依次被顯示。該最大的圖片解碼次數(shù)即3可以被設(shè)定于SpsMaxLatencyPictures ο
[0178]此外，本實(shí)施方式中對(duì)各層級(jí)設(shè)定sps — max — num — reorder — pics、以及sps—max — latency — increase — plusl，它們被編碼，但不限于此。例如可以是，在不使用時(shí)間可分級(jí)性的系統(tǒng)的情況下，僅最深的層級(jí)(Temporalld最大的層級(jí))的sps — max —num — reorder — pics、以及 sps — max — latency — increase — plusl 的值被設(shè)定，它們被編碼。
[0179]此外，上述說(shuō)明中，幀速率為24fps、30fps、60fps以及120fps這4個(gè)種類，但也可以使用這以外的幀速率。此外，幀速率也可以是29.97fps等包含小數(shù)的數(shù)值。
[0180]進(jìn)而，本實(shí)施方式中的處理也可以用軟件實(shí)現(xiàn)。并且，可以將該軟件通過(guò)下載等進(jìn)行分發(fā)。此外，該也可以將該軟件記錄到⑶一 ROM等記錄介質(zhì)中來(lái)傳播。另外，這也適用于本說(shuō)明書中的其他實(shí)施方式。
[0181](實(shí)施方式2)
[0182]本實(shí)施方式中，對(duì)與實(shí)施方式I說(shuō)明的圖像編碼裝置對(duì)應(yīng)的圖像解碼裝置進(jìn)行說(shuō)明。
[0183]<整體結(jié)構(gòu)>
[0184]圖13是表示本實(shí)施方式的圖像解碼裝置200的結(jié)構(gòu)的模塊圖。
[0185]圖13所示的圖像解碼裝置200通過(guò)將編碼序列251解碼而生成輸出圖像263。編碼序列251是例如由實(shí)施方式I的圖像編碼裝置100生成的編碼序列155。該圖像解碼裝置200具備可變長(zhǎng)解碼部201、逆變換量化部202、加法部203、幀存儲(chǔ)器204、幀內(nèi)預(yù)測(cè)塊生成部205、幀間預(yù)測(cè)塊生成部206、限制值解碼部208、圖像重新排列部209、以及編碼構(gòu)造確認(rèn)部210。
[0186]〈動(dòng)作(整體)>
[0187]接著，參照?qǐng)D14，對(duì)本實(shí)施方式的圖像解碼處理進(jìn)行說(shuō)明。
[0188]首先，可變長(zhǎng)解碼部201從編碼序列251將編碼構(gòu)造限制值257解碼。該編碼構(gòu)造限制值257包含sps — _ max — sub — layers — minusl、sps — max — num — reorder —pics、以及sps — max — latency — increase — plusl。另外，這些信息的含義與實(shí)施方式I同樣。接著，限制值解碼部208通過(guò)對(duì)sps — max — sub — layers — minusl加I而取得層級(jí)數(shù)，通過(guò)sps _ _ max — num — reorder — pics+sps — max — latency — increase—plusl — I的算式取得B圖片連續(xù)數(shù)，通過(guò)sps — max — num — reorder — pics取得顯示延遲圖片數(shù)(S201)。此外，限制值解碼部208根據(jù)與從外部輸入的HighestTId252的值對(duì)應(yīng)的 Temporalld 的層級(jí)的 sps — max — num — reorder — pics、以及 sps — max —latency— increase — plusl，取得編碼構(gòu)造262 (層級(jí)數(shù)、顯示延遲圖片數(shù)以及B圖片連續(xù)數(shù))，將取得的編碼構(gòu)造262向圖像重新排列部209以及編碼構(gòu)造確認(rèn)部210輸出。這里，HighestTId252表示被解碼的最大層級(jí)的Temporalld。
[0189]接著，編碼構(gòu)造確認(rèn)部210確認(rèn)編碼構(gòu)造262的各值是否依照了運(yùn)用規(guī)定(S202)。具體而言，編碼構(gòu)造確認(rèn)部210利用從外部輸入的送出延遲時(shí)間限制值253、和通過(guò)將編碼序列251進(jìn)行可變長(zhǎng)解碼而得到的幀速率256，通過(guò)下述(式7)?(式9)算出各限制值，判定編碼構(gòu)造是否是算出的限制值以下。
[0190]層級(jí)數(shù)=int (1g2 (送出延遲時(shí)間限制值[s] X幀速率[fps]))+l
[0191]..?(式7)
[0192]顯示延遲圖片數(shù)[TId] = int (1g2 (送出延遲時(shí)間限制值[s] X幀速率[fps]+2(n-TId)))..?(式8)
[0193]B圖片連續(xù)數(shù)[TId] = int (送出延遲時(shí)間限制值[s] X幀速率[fps]+2(n_TId)—I)..?(式 9)
[0194]編碼構(gòu)造確認(rèn)部210在編碼構(gòu)造比限制值大的情況下(S203，是)，將這一情況進(jìn)行報(bào)錯(cuò)顯示(S204)，結(jié)束解碼處理。
[0195]接著，可變長(zhǎng)解碼部201從編碼序列251將表示預(yù)測(cè)模式的預(yù)測(cè)信息255解碼(S205)。預(yù)測(cè)模式是幀內(nèi)預(yù)測(cè)的情況下(S206，是)，幀內(nèi)預(yù)測(cè)塊生成部205通過(guò)幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)塊261(S207)。另一方面，預(yù)測(cè)模式是幀間預(yù)測(cè)的情況下(S206，否)，幀間預(yù)測(cè)塊生成部206通過(guò)幀間預(yù)測(cè)生成預(yù)測(cè)塊261 (S208)。
[0196]接著，可變長(zhǎng)解碼部201從編碼序列251將變換系數(shù)254解碼(S209)。接著，逆變換量化部202通過(guò)對(duì)變換系數(shù)254進(jìn)行逆量化及逆頻率變換而將差分塊258復(fù)原(S210)。接著，加法部203通過(guò)將差分塊258和預(yù)測(cè)塊261相加而生成解碼塊259 (S211)。該解碼塊259被保存于幀存儲(chǔ)器204，在幀內(nèi)預(yù)測(cè)塊生成部205及幀間預(yù)測(cè)塊生成部206的預(yù)測(cè)塊生成處理中被使用。
[0197]并且，圖像解碼裝置200將處理轉(zhuǎn)移到下個(gè)編碼塊(S212)，重復(fù)步驟S205?S212，直到圖片內(nèi)的全部編碼塊的處理完成(S213)。
[0198]另外，步驟S205?S212的處理僅對(duì)具有從外部輸入的HighestTId252以下的Temporalld的圖片實(shí)施。
[0199]接著，圖像重新排列部209按照從外部輸入的HighestTId252的層級(jí)的編碼構(gòu)造262將解碼圖片重新排列，將重新排列后的解碼圖片作為輸出圖像263輸出(S214)。
[0200]并且，圖像解碼裝置200重復(fù)步驟S205?S214，直到全部圖片的處理完成(S215)。
[0201]< 效果 >
[0202]以上，本實(shí)施方式的圖像解碼裝置200能夠?qū)νㄟ^(guò)有效率的編碼而生成的編碼序列進(jìn)行解碼。此外，圖像解碼裝置200能夠檢查編碼構(gòu)造是否依據(jù)了運(yùn)用規(guī)定，在未依據(jù)的情況下將解碼處理停止，進(jìn)行報(bào)錯(cuò)顯示。
[0203]另外，在上述說(shuō)明中，圖像解碼裝置200按照從外部輸入的HighestTId252，使得僅將HighestTId252以下的層級(jí)的圖片解碼，但不限于此。圖像解碼裝置200也可以始終將全部層級(jí)的圖片解碼。此外，圖像解碼裝置200也可以利用作為HighestTId252而預(yù)先確定的固定值，始終僅將由HighestTId252表示的預(yù)先確定的層級(jí)以下的圖片解碼。
[0204]此外，上述說(shuō)明中，圖像解碼裝置200檢查編碼構(gòu)造262是否依據(jù)了運(yùn)用規(guī)定，但該功能不是必須的，也可以不確認(rèn)編碼構(gòu)造262。
[0205]此外，上述說(shuō)明中，圖像解碼裝置200利用從外部輸入的送出延遲時(shí)間限制值253，但作為送出延遲時(shí)間限制值253，也可以使用預(yù)先確定的固定值。
[0206]其他與實(shí)施方式I相同故省略。
[0207]另外，對(duì)于各流程的順序，與編碼側(cè)同樣而不限于上述。
[0208]以上，如在實(shí)施方式I及實(shí)施方式2中說(shuō)明的那樣，實(shí)施方式I的圖像編碼裝置100是通過(guò)將輸入圖像153進(jìn)行層級(jí)編碼而生成編碼序列155 (比特流)的圖像編碼裝置，進(jìn)行圖15所示的處理。
[0209]首先，圖像編碼裝置100決定層級(jí)數(shù)161，以使得層級(jí)編碼中的層級(jí)數(shù)161成為根據(jù)幀速率而預(yù)先決定的最大層級(jí)數(shù)以下(S301)。這里，最大層級(jí)數(shù)是圖10所示的層級(jí)數(shù)，例如，幀速率為24fps的情況下是2，幀速率為30fps的情況下是3，幀速率為60fps的情況下是4，幀速率為120fps的情況下是5。換言之，幀速率為60fps以上的情況下，最大層級(jí)數(shù)是4以上。此外，幀速率為60fps以下的情況下，最大層級(jí)數(shù)是4以下。此外，幀速率大于30fps的情況下，最大層級(jí)數(shù)大于3。
[0210]另外，圖像編碼裝置100還決定輸入圖像153的圖片類型，以使得顯示延遲圖片數(shù)164成為根據(jù)幀速率而預(yù)先決定的最大圖片數(shù)以下。這里，顯示延遲圖片數(shù)164是指，在圖像解碼裝置將由圖像編碼裝置100生成的編碼序列155進(jìn)行解碼時(shí)，從該圖像解碼裝置開始圖像的解碼起到進(jìn)行輸出(顯示)為止的圖片的數(shù)量。此外，圖片類型是指I圖片、P圖片或B圖片。這里，最大圖片數(shù)是圖10所示的顯示延遲圖片數(shù)，例如，幀速率為24fps的情況下是1，幀速率為30fps的情況下是2，幀速率為60fps的情況下是3，幀速率為120fps的情況下是4。換言之，幀速率為60fps以上的情況下，最大圖片數(shù)是3以上。此外，幀速率為60fps以下的情況下，最大圖片數(shù)是3以下。此外，幀速率大于30fps的情況下，最大圖片數(shù)大于2。
[0211]此外，圖像編碼裝置100還決定輸入圖像153的圖片類型，以使得連續(xù)的B圖片的數(shù)量即B圖片連續(xù)數(shù)162成為根據(jù)幀速率而預(yù)先決定的最大連續(xù)數(shù)以下。這里，最大連續(xù)數(shù)是圖10所不的顯不延遲圖片數(shù)，例如，幀速率為24fps的情況下是2，幀速率為30fps的情況下是3，幀速率為60fps的情況下是7，幀速率為120fps的情況下是15。換言之，幀速率為60fps以上的情況下，最大連續(xù)數(shù)是7以上。此外，幀速率為60fps以下的情況下，最大連續(xù)數(shù)是7以下。此外，幀速率大于30fps的情況下，最大連續(xù)數(shù)大于3。
[0212]此外，圖像編碼裝置100如圖10所示，可以根據(jù)幀速率而決定最大層級(jí)數(shù)、最大圖片數(shù)以及B圖片連續(xù)數(shù)。S卩，可以是，幀速率越高，圖像編碼裝置100將最大層級(jí)數(shù)、最大圖片數(shù)以及B圖片連續(xù)數(shù)越多地設(shè)定。
[0213]此外，如上述那樣，層級(jí)數(shù)161、顯示延遲圖片數(shù)164以及B圖片連續(xù)數(shù)162利用幀速率151以及送出延遲時(shí)間限制值152，通過(guò)上述(式I)、(式3)以及(式4)被算出。即，最大圖片數(shù)、從輸入圖像153被輸入到圖像編碼裝置100開始到編碼序列155被輸出為止的時(shí)間即編碼器送出延遲(送出延遲時(shí)間)、以及幀速率滿足以下的關(guān)系。
[0214]最大圖片數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))
[0215]此外，最大連續(xù)數(shù)、編碼器送出延遲、以及幀速率滿足以下的關(guān)系。
[0216]最大連續(xù)數(shù)=int (編碼器送出延遲[s] X幀速率[fps] — I)
[0217]最大層級(jí)數(shù)、編碼器送出延遲、以及幀速率滿足以下的關(guān)系。
[0218]最大層級(jí)數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))+l
[0219]此外，各層級(jí)的最大圖片數(shù)[i]、編碼器送出延遲、以及幀速率滿足以下的關(guān)系。
[0220]最大圖片數(shù)[i] = int (1g2 (編碼器送出延遲[s]X幀速率[fps]/2(^))
[0221]各層級(jí)的最大連續(xù)數(shù)[i]、編碼器送出延遲、以及幀速率滿足以下的關(guān)系。
[0222]最大連續(xù)數(shù)[i] = int (編碼器送出延遲[s] X幀速率[fps]/2(η_υ — I)
[0223]這里，i是最大層級(jí)數(shù)以下的整數(shù)，表示層級(jí)。η表示(最大層級(jí)數(shù)一 I)。
[0224]接著，圖像編碼裝置100以所決定的層級(jí)數(shù)161以及圖片類型，將輸入圖像153進(jìn)行層級(jí)編碼從而生成編碼序列155(S302)。此外，圖像編碼裝置100將表示所決定的層級(jí)數(shù)161、顯示延遲圖片數(shù)164以及B圖片連續(xù)數(shù)162的第I信息(sps —max — sub — layers—minusl)、第 2 信息(sps — max — num — reorder — pics)以及第 3 信息(sps — max —latency—increase — plusl)編碼。
[0225]此外，實(shí)施方式2的圖像解碼裝置200是通過(guò)對(duì)將圖像進(jìn)行層級(jí)編碼而得到的編碼序列251 (比特流)進(jìn)行解碼而生成輸出圖像263的圖像解碼裝置，進(jìn)行圖16所示的處理。
[0226]首先，圖像解碼裝置200從編碼序列251將圖像解碼(S401)。
[0227]接著，圖像解碼裝置200從編碼序列251，將表示層級(jí)編碼中的層級(jí)數(shù)的第I信息(sps—max — sub — layers—minusl)解碼(S402)。例如，該層級(jí)數(shù)是根據(jù)編碼序列251的幀速率而預(yù)先決定的最大層級(jí)數(shù)以下。
[0228]進(jìn)而，圖像解碼裝置200將表示顯示延遲圖片數(shù)的第2信息(sps —max —num —reorder — pics)從編碼序列251解碼。此外，圖像解碼裝置200進(jìn)一步將表示B圖片連續(xù)數(shù)的第 3 信息(sps—max — latency — increase — plusl)從編碼序列 251 解碼。
[0229]接著，圖像解碼裝置200利用第I信息所表示的層級(jí)數(shù)、第2信息所表示的顯示延遲圖片數(shù)、以及第3信息所表示的B圖片連續(xù)數(shù)，將被解碼后的圖像重新排列并輸出(S403)ο
[0230]另外，層級(jí)數(shù)的最大值即最大層級(jí)數(shù)、顯示延遲圖片數(shù)的最大值即最大圖片數(shù)以及B圖片連續(xù)數(shù)的最大值即最大連續(xù)數(shù)的具體例以及限制與圖像編碼裝置100的情況是同樣的。此外，最大層級(jí)數(shù)、最大圖片數(shù)及最大連續(xù)數(shù)與幀速率及編碼器送出延遲之間的關(guān)系也與圖像編碼裝置100的情況是同樣的。
[0231]以上，對(duì)實(shí)施方式的圖像解碼裝置以及圖像編碼裝置進(jìn)行了說(shuō)明，但本發(fā)明不限于該實(shí)施方式。
[0232]此外，上述實(shí)施方式的圖像解碼裝置或圖像編碼裝置中包含的各處理部典型地被實(shí)現(xiàn)為作為集成電路的LSI ο它們可以單獨(dú)地被I芯片化，也可以以包含一部分或全部的方式被I芯片化。
[0233]此外，集成電路化不限于LSI，也可以用專用電路或通用處理器實(shí)現(xiàn)。也可以利用在LSI制造后可編程的FPGA (Field Programmable Gate Array，現(xiàn)場(chǎng)可編程門陣列)、或者可重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
[0234]在上述各實(shí)施方式中，各構(gòu)成要素可以由專用的硬件構(gòu)成，或者也可以通過(guò)執(zhí)行適合于各構(gòu)成要素的軟件程序來(lái)實(shí)現(xiàn)。各構(gòu)成要素也可以通過(guò)由CPU或處理器等程序執(zhí)行部將在硬盤或半導(dǎo)體存儲(chǔ)器等記錄介質(zhì)中記錄的軟件程序讀出并執(zhí)行來(lái)實(shí)現(xiàn)。
[0235]換言之，圖像解碼裝置以及圖像編碼裝置具備處理電路(processing circuitry)以及與該處理電路電連接的(能夠從該處理