圖像編碼方法、圖像解碼方法、圖像編碼裝置以及圖像解碼裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及將圖像編碼的圖像編碼方法、或者將圖像解碼的圖像解碼方法。
【背景技術】
[0002]作為有關將圖像(包括運動圖像)編碼的圖像編碼方法以及將圖像解碼的圖像解碼方法的技術，有在非專利文獻I中記載的技術。此外，作為有關編碼及解碼的運用規(guī)定，有在非專利文獻2中記載的規(guī)定。
[0003]現(xiàn)有技術文獻
[0004]非專利文獻
[0005]非專利文獻1:Joint Collaborative Team on Video Coding (JCT — VC) of ITU —T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting:Geneva，CH，14 — 23 Jan.2013JCTVC — L1003 — v34.doc, High Efficiency Video Coding (HEVC) text specificat1ndraft 10 (for FDIS&Last Call)
[0006]http://phenix.1t — sudparis.eu/jct/doc — end — user/documents/12 —Geneva/wglI/JCTVC — L1003 — v34.zip
[0007]非專利文獻2:—般社団法人電波産業(yè)會標準規(guī)格ARIB STD 一 B322.8版2 —STD - B32v2 _ 8.pdf，r夕夕少放送C朽汀映像符號化、音聲符號化及U多重化方式
[0008]http://www.arib.0r.jp/english/html/overview/doc/2 — STD — B32v2 —8.pdf

【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的課題
[0010]但是，在現(xiàn)有技術的圖像編碼方法或圖像解碼方法中，有非效率性的處理被使用的情況。
[0011]因此，本發(fā)明的目的在于，提供將圖像有效率地編碼的圖像編碼方法、或者將圖像有效率地解碼的圖像解碼方法。
[0012]用于解決課題的手段
[0013]為了達成上述目的，本發(fā)明的一個方式的圖像編碼方法，是將圖像進行層級編碼的圖像編碼方法，包括以下步驟:層級數(shù)決定步驟，決定層級數(shù)，以使得上述層級編碼中的上述層級數(shù)成為根據(jù)幀速率決定的最大層級數(shù)以下；以及編碼步驟，以決定的上述層級數(shù)，將上述圖像進行層級編碼，從而生成比特流。
[0014]此外，本發(fā)明的一個方式的圖像解碼方法，是對通過將圖像進行層級編碼而得到的比特流進行解碼的圖像解碼方法，包括以下步驟:圖像解碼步驟，從上述比特流將上述圖像解碼；信息解碼步驟，從上述比特流將表示上述層級編碼中的層級數(shù)的第I信息解碼；以及重新排列步驟，利用上述第I信息所表示的上述層級數(shù)，將被解碼后的上述圖像重新排列并輸出；上述層級數(shù)為根據(jù)上述比特流的幀速率而預先決定的最大層級數(shù)以下。
[0015]另外，這些全局性或具體性的方式可以由系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD - ROM等記錄介質(zhì)來實現(xiàn)，也可以由系統(tǒng)、方法、集成電路、計算機程序以及記錄介質(zhì)的任意組合來實現(xiàn)。
[0016]發(fā)明效果
[0017]本發(fā)明能夠提供能夠?qū)D像有效率地編碼的圖像編碼方法或能夠?qū)D像有效率地解碼的圖像解碼方法。
【附圖說明】
[0018]圖1是表示編碼構(gòu)造的一例的圖。
[0019]圖2是表示顯示延遲圖片數(shù)的圖。
[0020]圖3是實施方式I的圖像編碼裝置的模塊圖。
[0021]圖4是實施方式I的圖像編碼處理的流程圖。
[0022]圖5是實施方式I的限制值設定部的模塊圖。
[0023]圖6是實施方式I的限制值設定處理的流程圖。
[0024]圖7是實施方式I的編碼部的模塊圖。
[0025]圖8是實施方式I的編碼處理的流程圖。
[0026]圖9A是表示實施方式I的送出延遲圖片數(shù)的圖。
[0027]圖9B是表示實施方式I的送出延遲圖片數(shù)的圖。
[0028]圖9C是表示實施方式I的送出延遲圖片數(shù)的圖。
[0029]圖9D是表示實施方式I的送出延遲圖片數(shù)的圖。
[0030]圖10是表示實施方式I的編碼構(gòu)造限制值的一例的圖。
[0031]圖1lA是表示實施方式I的編碼構(gòu)造的圖。
[0032]圖1lB是表示實施方式I的編碼構(gòu)造的圖。
[0033]圖1lC是表示實施方式I的編碼構(gòu)造的圖。
[0034]圖1lD是表示實施方式I的編碼構(gòu)造的圖。
[0035]圖12A是表示實施方式I的顯示延遲圖片數(shù)的圖。
[0036]圖12B是表示實施方式I的顯示延遲圖片數(shù)的圖。
[0037]圖12C是表示實施方式I的顯示延遲圖片數(shù)的圖。
[0038]圖12D是表示實施方式I的顯示延遲圖片數(shù)的圖。
[0039]圖13是實施方式2的圖像解碼裝置的模塊圖。
[0040]圖14是實施方式2的圖像解碼處理的流程圖。
[0041]圖15是實施方式I的圖像編碼方法的流程圖。
[0042]圖16是實施方式2的圖像解碼方法的流程圖。
[0043]圖17是實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0044]圖18是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0045]圖19是表示電視機的結(jié)構(gòu)例的模塊圖。
[0046]圖20是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0047]圖21是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0048]圖22A是表示便攜電話的一例的圖。
[0049]圖22B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0050]圖23是表示復用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0051]圖24是示意地表示各流在復用數(shù)據(jù)中怎樣被復用的圖。
[0052]圖25是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0053]圖26是表示復用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0054]圖27是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0055]圖28是表示復用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0056]圖29是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0057]圖30是表示識別影像數(shù)據(jù)的步驟的圖。
[0058]圖31是表示實現(xiàn)各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0059]圖32是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。
[0060]圖33是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。
[0061]圖34是表示將影像數(shù)據(jù)的標準與驅(qū)動頻率建立了對應的查找表的一例的圖。
[0062]圖35A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0063]圖35B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實施方式】
[0064](成為本發(fā)明的基礎的見解)
[0065]本發(fā)明人發(fā)現(xiàn)，關于在“【背景技術】”欄中記載的、將圖像編碼的圖像編碼裝置或者將圖像解碼的圖像解碼裝置，會產(chǎn)生以下的問題。
[0066]近年來，數(shù)字影像設備的技術進步顯著，從數(shù)字攝像機或電視調(diào)諧器輸出的影像信號(按時間序列依次排列的多個圖片)被壓縮編碼、得到的編碼信號被記錄到DVD或硬盤等存儲介質(zhì)中的機會增大。
[0067]作為圖像編碼規(guī)格，有H.264/AVC(MPEG 一 4AVC)。此外，作為下一代的標準規(guī)格，正在研宄HEVC(High Efficiency Video Coding，高效視頻編碼)規(guī)格(非專利文獻I)。此夕卜，還對將圖像編碼規(guī)格怎樣進行運用的規(guī)定進行研宄(非專利文獻2)。
[0068]根據(jù)當前的運用規(guī)定(非專利文獻2)，如圖1所示那樣，編碼構(gòu)造被限制到3層級，由此如圖2所示那樣，最大的顯示延遲圖片數(shù)被限制為2張。圖1所示的TemporalId是編碼構(gòu)造的層級的識別符。TemporalId越大則表示是越深的層級。
[0069]I個四角的塊表示圖片，塊內(nèi)的Ix表示I圖片(畫面內(nèi)預測圖片)，PX表示P圖片(前方參照預測圖片)，Bx表示B圖片(雙向參照預測圖片)。IxAVBj^ ,表示顯示次序，表示對圖片進行顯示的順序。
[0070]圖片間的箭頭表示參照關系。例如，圖片B1將圖片Itl、圖片B2以及圖片？4用作參照圖像而生成預測圖像。此外，將具有比自身的Temporal Id大的Temporal Id的圖片用作參照圖像是被禁止的。由此，圖片解碼順序如圖2所示那樣是TemporalId從小到大的順序，是圖片Ιο、圖片Ρ4、圖片Β2、圖片B1'圖片83的順序。
[0071]此外，通過規(guī)定層級，能夠使編碼序列具有時間可分級性(scalability)。
[0072]例如，在希望從60fps(frame per second)的編碼序列取得30fps的影像的情況下，圖像解碼裝置僅將圖1的TemporalIdO以及TemporalIdl的圖片解碼。由此，圖像解碼裝置能夠得到30fps的圖像。并且，解碼圖像需要依次以沒有空閑的方式輸出，所以圖像解碼裝置在圖片民的解碼后從圖片I ^起依次輸出圖片。因此，顯示延遲圖片數(shù)成為2張。若將其換算為時間，則原始的幀速率為30fps的情況下的顯示延遲時間為2/30秒，幀速率為60fps的情況下的顯示延遲時間為2/60秒。
[0073]通過利用時間可分級性高的構(gòu)造，在頻帶混雜的情況下、或者處理能力低的圖像解碼裝置進行解碼處理的情況下，圖像解碼裝置能夠僅將TemporalId小的層級的圖片解碼，對得到的圖像進行顯示。這樣，通用性提高。但是，若允許深的層級構(gòu)造，則具有顯示延遲增大的課題。
[0074]但是，即使如上述那樣預先規(guī)定顯示延遲圖片數(shù)，顯示延遲時間也根據(jù)幀速率而不同。在比標準的幀速率(例如30fps)低的幀速率(例如24fps)的情況下，顯示延遲時間為2/24秒，與30fps的2/30秒相比延遲時間變長。
[0075]本發(fā)明的一個方式的圖像編碼方法，是將圖像進行層級編碼的圖像編碼方法，包括以下步驟:層級數(shù)決定步驟，決定層級數(shù)，以使得上述層級編碼中的上述層級數(shù)成為根據(jù)幀速率決定的最大層級數(shù)以下；以及編碼步驟，以決定的上述層級數(shù)，將上述圖像進行層級編碼，從而生成比特流。
[0076]由此，該圖像編碼方法能夠抑制顯示延遲時間的增加，并且使層級數(shù)增加。因此，該圖像編碼方法能夠?qū)D像有效率地編碼。
[0077]例如，上述幀速率為60fps以下的情況下，上述最大層級數(shù)可以為4以下。
[0078]例如，上述幀速率為120fps的情況下，上述最大層級數(shù)可以為5。
[0079]例如，上述圖像編碼方法可以還包括圖片類型決定步驟，該圖片類型決定步驟中，決定圖像的圖片類型，以使得在圖像解碼裝置中，從將上述圖像解碼開始到將其輸出為止的圖片的數(shù)量即顯示延遲圖片數(shù)成為根據(jù)上述幀速率決定的最大圖片數(shù)以下；在上述編碼步驟中，以所決定的圖片類型將上述圖像編碼。
[0080]例如，上述圖片類型決定步驟中，可以決定上述圖像的上述圖片類型，以使得連續(xù)的B圖片的數(shù)量即B圖片連續(xù)數(shù)成為根據(jù)上述幀速率決定的最大連續(xù)數(shù)以下。
[0081]例如，可以是，上述最大圖片數(shù)、從向圖像編碼裝置輸入上述圖像開始到上述比特流被輸出為止的時間即編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0082]最大圖片數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))，
[0083]上述最大連續(xù)數(shù)、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0084]最大連續(xù)數(shù)=int (編碼器送出延遲[s] X幀速率[fps] — 1)，
[0085]上述最大層級數(shù)、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0086]最大層級數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))+l。
[0087]例如，可以是，各層級的最大圖片數(shù)[i]、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0088]最大圖片數(shù)[i] = int (1g2 (編碼器送出延遲[s]X幀速率[fps]/2(ιΗ)))，
[0089]各層級的最大連續(xù)數(shù)[i]、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0090]最大連續(xù)數(shù)[i] = int (編碼器送出延遲[s] X幀速率Βρ8]/2(η_υ— I)，
[0091]i是上述最大層級數(shù)以下的整數(shù)，表示層級，η表示(上述最大層級數(shù)一 I)。
[0092]此外，本發(fā)明的一個方式的圖像解碼方法，對將圖像進行層級編碼而得到的比特流進行解碼，包括以下步驟:圖像解碼步驟，從上述比特流將上述圖像解碼；信息解碼步驟，從上述比特流將表示上述層級編碼中的層級數(shù)的第I信息解碼；以及重新排列步驟，利用上述第I信息所表示的上述層級數(shù)，將被解碼后的上述圖像重新排列并輸出；上述層級數(shù)為根據(jù)上述比特流的幀速率而預先決定的最大層級數(shù)以下。
[0093]由此，該圖像解碼方法能夠?qū)⑼ㄟ^有效率地被編碼而得到的比特流進行解碼。
[0094]例如，在上述幀速率為60fps以下的情況下，上述最大層級數(shù)可以為4以下。
[0095]例如，在上述幀速率為120fps的情況下，上述最大層級數(shù)可以為5。
[0096]例如，上述信息解碼步驟中，可以還將第2信息從上述比特流進行解碼，該第2信息表示在圖像解碼裝置中從將圖像解碼開始到將其輸出為止的圖片的數(shù)量即顯示延遲圖片數(shù)；上述重新排列步驟中，利用上述第I信息所表示的上述層級數(shù)和上述第2信息所表示的上述顯示延遲圖片數(shù)，將被解碼后的上述圖像重新排列并輸出。
[0097]例如，上述信息解碼步驟中，可以還將第3信息從上述比特流進行解碼，該第3信息表示連續(xù)的B圖片的數(shù)量即B圖片連續(xù)數(shù)；上述重新排列步驟中，利用上述第I信息所表示的上述層級數(shù)、上述第2信息所表示的上述顯示延遲圖片數(shù)、以及上述第3信息所表示的B圖片連續(xù)數(shù)，將被解碼后的上述圖像重新排列并輸出。
[0098]例如，可以是，上述最大圖片數(shù)、從向圖像編碼裝置輸入上述圖像開始到上述比特流被輸出為止的時間即編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0099]最大圖片數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))，
[0100]上述最大連續(xù)數(shù)、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0101]最大連續(xù)數(shù)=int (編碼器送出延遲[s] X幀速率[fps] — 1)，
[0102]上述最大層級數(shù)、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0103]最大層級數(shù)=int (1g2 (編碼器送出延遲[s] X幀速率[fps]))+l。
[0104]例如，可以是，各層級的最大圖片數(shù)[i]、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0105]最大圖片數(shù)[i] = int (1g2 (編碼器送出延遲[s]X幀速率[fps]/2(1^))，
[0106]各層級的最大連續(xù)數(shù)[i]、上述編碼器送出延遲、以及上述幀速率滿足以下的關系，
[0107]最大連續(xù)數(shù)[i] = int (編碼器送出延遲[s]X幀速率[fps]/^)— 1)，
[0108]i是上述最大層級數(shù)以下的整數(shù)，表示層級，η表示(上述最大層級數(shù)一 I)。
[0109]此外，本發(fā)明的一個方式的圖像編碼裝置，是將圖像編碼的圖像編碼裝置，具備處理電路和能夠從上述處理電路來訪問的存儲裝置，上述處理電路利用上述存儲裝置，執(zhí)行上述圖像編碼方法。
[0110]由此，該圖像編碼裝置能夠抑制顯示延遲時間的增加，并且使層級數(shù)增加。因而，該圖像編碼裝置能夠?qū)D像有效率地編碼。
[0111]此外，本發(fā)明的一個方式的圖像解碼裝置，是對通過將圖像編碼而得到的比特流進行解碼的圖像解碼裝置，具備處理電路和能夠從上述處理電路來訪問的存儲裝置，上述處理電路利用上述存儲裝置，執(zhí)行上述圖像解碼方法。
[0112]由此，該圖像解碼裝置能夠?qū)⑼ㄟ^有效率地被編碼而得到的比特流進行解碼。
[0113]另外，這些全局性或具體性的方式可以由系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD - ROM等記錄介質(zhì)來實現(xiàn)，也可以由系統(tǒng)、方法、集成電路、計算