圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、以及圖像編解碼裝置制造方法
【專利摘要】一種圖像編碼方法，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼，包括：第一標(biāo)志生成步驟(S221)，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志生成步驟(S222)，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及比特流生成步驟(S223)，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
【專利說明】圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、以及圖像編解碼裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、以及圖像編解碼裝置。

【背景技術(shù)】
[0002]為了壓縮聲音數(shù)據(jù)及運(yùn)動(dòng)圖像數(shù)據(jù)，開發(fā)了多個(gè)聲音編碼標(biāo)準(zhǔn)及運(yùn)動(dòng)圖像編碼標(biāo)準(zhǔn)。對(duì)于運(yùn)動(dòng)圖像編碼標(biāo)準(zhǔn)的例子，可以舉出稱為H.26x的ITU - T標(biāo)準(zhǔn)以及稱為MPEG —X的IS0/IEC標(biāo)準(zhǔn)(例如，參考非專利文獻(xiàn)I)。最新的運(yùn)動(dòng)圖像編碼標(biāo)準(zhǔn)是，稱為H.264/MPEG — 4AVC 的標(biāo)準(zhǔn)。并且，近幾年，研究了稱為 HEVC(High Efficiency Video Coding)的下一代的編碼標(biāo)準(zhǔn)(例如，參考非專利文獻(xiàn)2)。
[0003](現(xiàn)有技術(shù)文獻(xiàn))
[0004](非專利文獻(xiàn))
[0005]非專利文獻(xiàn)1:1S0/IEC 14496 — 10“MPEG — 4 PartlO Advanced Video Coding”
[0006]非專利文獻(xiàn)2:Joint Collaborative Team on Video Coding(JCT — VC)ofITU — T SG16 WP3 and IS0/IEC JTCl/SC29/WG118th Meeting:San Jose, CA, USA,—I — 10 February, 2012, JCTVC — H1003, “High Efficiency Video Coding (HEVC) textspecificat1n draft6，，，http://phenix.1nt — evry.fr/jet/doc_end_user/documents/8_San% 20Jose/wgll/JCTVC — H1003 — v22.zip
[0007]對(duì)于這樣的圖像編碼方法及圖像解碼方法，需要處理量的減少。


【發(fā)明內(nèi)容】

[0008]于是，本發(fā)明的目的在于，提供能夠減少處理量的圖像編碼方法或圖像解碼方法。
[0009]為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施方案之一涉及的圖像編碼方法，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼，所述圖像編碼方法包括:第一標(biāo)志生成步驟，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志生成步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及比特流生成步驟，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
[0010]而且，它們的整體或具體的形態(tài)，可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的CD - ROM等的記錄介質(zhì)實(shí)現(xiàn)，也可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及記錄介質(zhì)的任意的組合實(shí)現(xiàn)。
[0011]本發(fā)明，能夠提供能夠減少處理量的圖像編碼方法或圖像解碼方法。

【專利附圖】

【附圖說明】
[0012]圖1是示出實(shí)施例1涉及的VUI的語法的一個(gè)例子的圖。
[0013]圖2是示出實(shí)施例1涉及的Picture Timing SEI的語法的一個(gè)例子的圖。
[0014]圖3是示出實(shí)施例1涉及的VUI的語法的一個(gè)例子的圖。
[0015]圖4是示出實(shí)施例1涉及的Buffering per1d SEI的語法的一個(gè)例子的圖。
[0016]圖5是示出實(shí)施例1涉及的Picture Timing SEI的語法的一個(gè)例子的圖。
[0017]圖6A是實(shí)施例1涉及的圖像解碼方法的流程圖。
[0018]圖6B是實(shí)施例1涉及的圖像編碼方法的流程圖。
[0019]圖7A是實(shí)施例1涉及的圖像解碼裝置的方框圖。
[0020]圖7B是實(shí)施例1涉及的圖像解碼裝置具備的提取時(shí)刻決定部的方框圖。
[0021]圖8A是實(shí)施例1涉及的圖像編碼裝置的方框圖。
[0022]圖8B是實(shí)施例1涉及的圖像編碼裝置具備的提取時(shí)刻決定部的方框圖。
[0023]圖9是示出實(shí)施例1涉及的Decoding Unit CPB delay SEI的語法的一個(gè)例子的圖。
[0024]圖10是示出實(shí)施例1涉及的編碼比特流的結(jié)構(gòu)例的圖。
[0025]圖11是示出實(shí)施例1涉及的編碼比特流的結(jié)構(gòu)例的圖。
[0026]圖12是示出實(shí)施例1涉及的描述符的一個(gè)例子的圖。
[0027]圖13是實(shí)施例1涉及的圖像解碼裝置(STD)的方框圖。
[0028]圖14A是示出實(shí)施例1涉及的以訪問單元單位進(jìn)行提取時(shí)的緩沖器占有量的一個(gè)例子的圖。
[0029]圖14B是示出實(shí)施例1涉及的以解碼單元單位進(jìn)行提取時(shí)的緩沖器占有量的一個(gè)例子的圖。
[0030]圖15是實(shí)施例1涉及的圖像解碼方法的流程圖。
[0031]圖16是實(shí)施例1涉及的圖像編碼方法的流程圖。
[0032]圖17是實(shí)施例1涉及的編碼部的方框圖。
[0033]圖18是實(shí)施例1涉及的解碼部的方框圖。
[0034]圖19是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)的整體結(jié)構(gòu)圖。
[0035]圖20是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0036]圖21是示出電視機(jī)的結(jié)構(gòu)例的方框圖。
[0037]圖22是示出對(duì)作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再生/記錄部的結(jié)構(gòu)例的方框圖。
[0038]圖23是示出作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0039]圖24A是示出表示移動(dòng)電話的一個(gè)例子的圖。
[0040]圖24B是示出移動(dòng)電話的結(jié)構(gòu)例的方框圖。
[0041]圖25是示出多路復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0042]圖26是示出在多路復(fù)用數(shù)據(jù)中各個(gè)流如何被多路復(fù)用的模式圖。
[0043]圖27是更詳細(xì)示出PES數(shù)據(jù)包列中如何存儲(chǔ)視頻流的圖。
[0044]圖28是示出多路復(fù)用數(shù)據(jù)的TS數(shù)據(jù)包和源數(shù)據(jù)包的構(gòu)造的圖。
[0045]圖29是示出PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0046]圖30是示出多路復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0047]圖31是示出流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0048]圖32是示出識(shí)別影像數(shù)據(jù)的步驟的圖。
[0049]圖33是示出實(shí)現(xiàn)各個(gè)實(shí)施例的運(yùn)動(dòng)圖像編碼方法及運(yùn)動(dòng)圖像解碼方法的集成電路的結(jié)構(gòu)例的方框圖。
[0050]圖34是示出切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。
[0051]圖35是示出識(shí)別影像數(shù)據(jù)，切換驅(qū)動(dòng)頻率的步驟的圖。
[0052]圖36是示出影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率對(duì)應(yīng)起來的查找表的一個(gè)例子的圖。
[0053]圖37A是示出共享信號(hào)處理部的模塊的結(jié)構(gòu)的一個(gè)例子的圖。
[0054]圖37B是示出共享信號(hào)處理部的模塊的結(jié)構(gòu)的其他的一個(gè)例子的圖。

【具體實(shí)施方式】
[0055](成為本發(fā)明的基礎(chǔ)的知識(shí))
[0056]本發(fā)明人，在以往的技術(shù)中，發(fā)現(xiàn)會(huì)產(chǎn)生以下的問題。
[0057]以下，說明本發(fā)明的比較例涉及的圖像解碼裝置。
[0058]視頻的訪問單元(Access Unit:例如，相當(dāng)于圖片)，被分割為多個(gè)解碼單元(Decoding Unit)。并且,按每個(gè)解碼單元,設(shè)定作為圖像解碼裝置,從CPB (Coded PictureBuffer)提取該解碼單元的編碼數(shù)據(jù)的時(shí)刻的提取時(shí)刻。據(jù)此，圖像解碼裝置，解碼單元的編碼數(shù)據(jù)齊全后，能夠立即依次對(duì)該編碼數(shù)據(jù)進(jìn)行解碼。據(jù)此，圖像解碼裝置，不需要等待訪問單元的全數(shù)據(jù)的接收完成，因此，能夠減少延遲時(shí)間。
[0059]用于決定該每個(gè)解碼單元的從CPB的提取時(shí)刻的參數(shù)的全部，被描述在例如Picture Timing SEI中。據(jù)此，圖像解碼裝置，為了獲得解碼單元的提取時(shí)刻，需要每次分析訪問單元內(nèi)的Picture Timing SEI。因此，本發(fā)明人發(fā)現(xiàn)了存在圖像解碼裝置的負(fù)載增大的問題。
[0060]并且，對(duì)于將解碼單元的提取時(shí)刻的信息從圖像編碼裝置傳遞到圖像解碼裝置的方法，可以考慮將多個(gè)解碼單元各自的提取時(shí)刻的信息包含在編碼比特流中的方法。然而，會(huì)有在多個(gè)解碼單元間需要使用分別不同的提取時(shí)刻的間隔的情況，也會(huì)有可以是相同的間隔的情況。本發(fā)明人發(fā)現(xiàn)了，在利用相同的間隔的情況下，如上所述，若將多個(gè)解碼單元各自的提取時(shí)刻的信息包含在編碼比特流中，則冗余的信息被包含在編碼比特流中。
[0061]本發(fā)明的實(shí)施方案之一涉及的圖像編碼方法，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼，所述圖像編碼方法包括:第一標(biāo)志生成步驟，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志生成步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及比特流生成步驟，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
[0062]據(jù)此，該圖像編碼方法能夠，使圖像解碼裝置從緩沖器讀出單元單位的編碼數(shù)據(jù)的時(shí)間間隔成為一定。據(jù)此，例如，能夠減少圖像解碼裝置的處理量。
[0063]例如，也可以是，在所述比特流生成步驟中，將所述第二標(biāo)志包含在圖片組的控制信息中，該圖片組的控制信息是所述編碼比特流中包含的、按包含一個(gè)以上的圖片的每個(gè)圖片組設(shè)定的信息。
[0064]例如，也可以是，所述圖像編碼方法還包括固定間隔信息生成步驟，在所述固定間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，生成示出該間隔的固定間隔信息，在所述比特流生成步驟中，將所述固定間隔信息包含在一個(gè)圖片單位的控制信息中，該一個(gè)圖片單位的控制信息是所述編碼比特流中包含的、按每一個(gè)圖片單位設(shè)定的信息。
[0065]例如，也可以是，所述固定間隔信息包含，一個(gè)圖片中包含的所述多個(gè)單元的數(shù)量、以及圖片的時(shí)間間隔。
[0066]例如，也可以是，所述圖像編碼方法還包括可變間隔信息生成步驟，在所述可變間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元生成示出所述間隔的可變間隔信息，在所述比特流生成步驟中，將所述可變間隔信息包含在所述一個(gè)圖片單位的控制信息中。
[0067]例如，也可以是，所述圖像編碼方法還包括可變間隔信息生成步驟，在所述可變間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元生成示出所述間隔的可變間隔信息，在所述比特流生成步驟中，將所述可變間隔信息包含在一個(gè)單元單位的控制信息中，該一個(gè)單元單位的控制信息是所述編碼比特流中包含的、按每一個(gè)單元單位設(shè)定的信息。
[0068]例如，也可以是，所述編碼比特流包含傳輸流和描述符，在所述比特流生成步驟中，將所述第二標(biāo)志包含在所述描述符中。
[0069]并且，本發(fā)明的實(shí)施方案之一涉及的圖像解碼方法，按圖片中包含的一個(gè)以上的每個(gè)單元，對(duì)編碼數(shù)據(jù)進(jìn)行解碼，所述圖像解碼方法包括:第一標(biāo)志獲得步驟，從包含所述編碼數(shù)據(jù)的編碼比特流獲得第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定從用于存儲(chǔ)所述編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志獲得步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，從所述編碼比特流獲得第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；讀出步驟，根據(jù)所述第二標(biāo)志，按每個(gè)所述單元以一定的間隔、或任意的間隔從所述緩沖器讀出編碼數(shù)據(jù)；以及解碼步驟，對(duì)讀出的所述編碼數(shù)據(jù)進(jìn)行解碼。
[0070]據(jù)此，該圖像解碼方法，能夠減少處理量。
[0071]例如，也可以是，在所述第二標(biāo)志獲得步驟中，從圖片組的控制信息獲得所述第二標(biāo)志，該圖片組的控制信息是所述編碼比特流中包含的、按包含一個(gè)以上的圖片的每個(gè)圖片組設(shè)定的信息。
[0072]例如，也可以是，所述圖像解碼方法還包括固定間隔信息獲得步驟，在所述固定間隔信息獲得步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，將示出該間隔的固定間隔信息，從所述編碼比特流中包含的、按每一個(gè)圖片單位設(shè)定的一個(gè)圖片單位的控制信息獲得，在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，按每個(gè)所述單元，以所述固定間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
[0073]例如，也可以是，所述固定間隔信息示出，一個(gè)圖片中包含的所述多個(gè)單元的數(shù)量、以及圖片的時(shí)間間隔，在所述讀出步驟中，利用所述多個(gè)單元的數(shù)量和所述圖片的時(shí)間間隔，計(jì)算所述間隔，按每個(gè)所述單元，以計(jì)算出的間隔從所述緩沖器讀出編碼數(shù)據(jù)。
[0074]例如，也可以是，所述圖像解碼方法還包括固定間隔信息獲得步驟，在所述固定間隔信息獲得步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，從所述一個(gè)圖片單位的控制信息獲得可變間隔信息，所述可變間隔信息示出所述多個(gè)單元的每一個(gè)單元的所述間隔，在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元，以所述可變間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
[0075]例如，也可以是，所述圖像解碼方法還包括可變間隔信息獲得步驟步驟，在所述可變間隔信息獲得步驟步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，從一個(gè)單元單位的控制信息獲得可變間隔信息，該一個(gè)單元單位的控制信息是所述編碼比特流中包含的、按每一個(gè)單元單位設(shè)定的信息，所述可變間隔信息示出所述多個(gè)單元的每一個(gè)單元的所述間隔，在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元，以所述可變間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
[0076]例如，也可以是，所述編碼比特流包含傳輸流和描述符，在所述第二標(biāo)志獲得步驟中，從所述描述符獲得所述第二標(biāo)志。
[0077]并且，本發(fā)明的實(shí)施方案之一涉及的圖像編碼裝置，具備控制電路、以及與所述控制電路電連接的存儲(chǔ)裝置，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼，所述控制電路執(zhí)行以下的步驟:第一標(biāo)志生成步驟，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志生成步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及比特流生成步驟，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
[0078]據(jù)此，該圖像編碼裝置能夠，使圖像解碼裝置從緩沖器讀出單元單位的編碼數(shù)據(jù)的時(shí)間間隔成為一定。據(jù)此，例如，能夠減少圖像解碼裝置的處理量。
[0079]并且，本發(fā)明的實(shí)施方案之一涉及的圖像解碼裝置，具備控制電路、以及與所述控制電路電連接的存儲(chǔ)裝置，按圖片中包含的一個(gè)以上的每個(gè)單元，對(duì)編碼數(shù)據(jù)進(jìn)行解碼，所述控制電路執(zhí)行以下的步驟:第一標(biāo)志獲得步驟，從包含所述編碼數(shù)據(jù)的編碼比特流獲得第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定從用于存儲(chǔ)所述編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻；第二標(biāo)志獲得步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，從所述編碼比特流獲得第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；讀出步驟，根據(jù)所述第二標(biāo)志，按每個(gè)所述單元以一定的間隔、或任意的間隔從所述緩沖器讀出編碼數(shù)據(jù)；以及解碼步驟，對(duì)讀出的所述編碼數(shù)據(jù)進(jìn)行解碼。
[0080]據(jù)此，該圖像解碼裝置能夠減少處理量。
[0081]并且，本發(fā)明的實(shí)施方案之一涉及的圖像編解碼裝置具備所述圖像編碼裝置和所述圖像解碼裝置。
[0082]而且，它們的整體或具體的形態(tài)，可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的CD - ROM等的記錄介質(zhì)實(shí)現(xiàn)，也可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及記錄介質(zhì)的任意的組合實(shí)現(xiàn)。
[0083]以下，對(duì)于實(shí)施例，參照附圖進(jìn)行具體說明。
[0084]而且，以下說明的實(shí)施例，都示出本發(fā)明的一個(gè)具體例子。以下的實(shí)施例所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接形態(tài)、步驟、步驟的順序等，是一個(gè)例子，而不是限定本發(fā)明的宗旨。并且，對(duì)于以下的實(shí)施例的構(gòu)成要素中的、示出最上位概念的獨(dú)立權(quán)利要求中沒有記載的構(gòu)成要素，作為任意的構(gòu)成要素來說明。
[0085](實(shí)施例1)
[0086]本實(shí)施例涉及的圖像編碼裝置及圖像解碼裝置，利用在訪問單元的解碼單元間從CPB的提取時(shí)刻的間隔為(I) 一定的模式(間隔固定模式)、和(2)任意的模式(間隔可變模式)的兩個(gè)模式。并且，圖像編碼裝置，將作為信息的發(fā)送對(duì)方的圖像解碼裝置，設(shè)想為虛擬參考解碼器，按每個(gè)模式切換提取時(shí)刻信息的生成和發(fā)送方法。
[0087]作為一個(gè)例子，圖像編碼裝置及圖像解碼裝置，基本上利用間隔固定模式。并且，圖像編碼裝置及圖像解碼裝置，對(duì)在訪問單元內(nèi)每個(gè)區(qū)域的代碼量非常變動(dòng)的影像利用間隔可變模式。
[0088]并且，圖像編碼裝置，在間隔固定模式中也可以，不是訪問單元單位，而是以SPS(Sequence Parameter Set)等的比訪問單元單位上層的單位(例如多個(gè)圖片單位)包含示出提取時(shí)刻的間隔的信息。據(jù)此，圖像解碼裝置，不需要進(jìn)行以訪問單元單位的解析。
[0089]圖像解碼裝置，解析SPS (更具體而言，SPS內(nèi)的VUI (Video UsabilityInformat1n:視頻可用信息))等的比訪問單元單位上層的單位，從而判定模式是間隔固定模式及間隔可變模式的哪一方，按照判定的模式切換提取時(shí)刻信息的獲得方法。
[0090]并且，在僅與間隔固定模式對(duì)應(yīng)的圖像解碼裝置中也可以，在判定為是間隔可變模式時(shí)，不進(jìn)行以解碼單元單位的解碼開始，而以訪問單元單位開始解碼。
[0091]編碼流，一般而言，以MPEG —2 TS (Transport Stream)、MP4、或 RTP (Real — timeTransport Protocol)等而多路復(fù)用并傳輸。因此，圖像編碼裝置也可以，以多路復(fù)用層，傳輸所述模式的識(shí)別信息、以及間隔固定模式的提取時(shí)刻的間隔等的、以序列單位(多個(gè)圖片單位)固定的信息。
[0092]以下，說明本實(shí)施例涉及的第一語法例。
[0093]圖1是示出SPS中包含的VUI的語法例的圖。圖2是示出按每個(gè)訪問單元附加的Picture timing SEI的語法例的圖。
[0094]在訪問單元內(nèi)的解碼單元中，作為示出從CPB的提取時(shí)刻的間隔是間隔固定模式、以及間隔可變模式的哪一方的信息的間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag)，被存儲(chǔ)在VUI。并且，圖像解碼裝置，在間隔固定模式時(shí)，利用VUI內(nèi)的參數(shù)決定提取時(shí)刻的間隔，在間隔可變模式時(shí)，利用Picture timing SEI中包含的參數(shù)決定提取時(shí)刻的間隔。
[0095]例如，在間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag)的值為O 的情況下，在訪問單元內(nèi)的解碼單元間，從CPB的提取時(shí)刻的間隔為一定(間隔固定模式)。并且，提取時(shí)刻的間隔，由VUI內(nèi)的后續(xù)語法定義。
[0096]另一方面，在間隔可變標(biāo)志的值為I的情況下，在訪問單元內(nèi)的解碼單元間，從CPB的提取時(shí)刻的間隔是任意的(間隔可變模式)。并且，提取時(shí)刻的間隔，由按每個(gè)訪問單元附加的Picture timing SEI中包含的信息定義。
[0097]并且,VUI中包含的解碼單位標(biāo)志(sub_pic_cpb_flag)示出，解碼處理(從CPB的編碼數(shù)據(jù)的提取)的設(shè)定是以訪問單元(圖片)單位、或解碼單元單位的哪一方進(jìn)行。在解碼單位標(biāo)志的值為O的情況下，示出訪問單元單位，在解碼單位標(biāo)志的值為I的情況下，示出解碼單元單位。
[0098]而且，其他的語法的定義，例如，與非專利文獻(xiàn)2同樣。
[0099]在解碼單位標(biāo)志(sub_pic_cpb_flag)和間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag)都是 I 的情況下，在 Picture timing SEI 內(nèi)存在 num_decoding_units_minusl 及 cpb_removal_delay。訪問單兀內(nèi)的角軍石馬單兀數(shù)是，num_decoding_units_minusl+1。cpb_removal_delay,規(guī)定每個(gè)解碼單元的從CPB的提取時(shí)刻。
[0100]在其他的情況下，在Picturetiming SEI 內(nèi)不存在num_decoding_units_minusl,其值被視為O。
[0101]并且,在解碼單位標(biāo)志(sub_pic_cpb_flag)的值為O的情況下，以訪問單元單位進(jìn)行從CPB的提取,根據(jù)cpb_removal_delay決定提取時(shí)刻。
[0102]并且，在解碼單位標(biāo)志的值為是1、且間隔可變標(biāo)志的值為O的情況下(Sub_pic_cpb_flag = l&&variable_sub_pic_removal_per1d_flag = 0),以角軍石馬單兀單位進(jìn)行從CPB的提取，根據(jù)VUI內(nèi)的參數(shù)決定提取時(shí)刻。
[0103]以下，說明本實(shí)施例涉及的第二語法例。
[0104]圖3是示出SPS中包含的VUI的語法例的圖。圖4是示出SPS中包含的Bufferingper1d SEI的語法例的圖。圖5是示出按每個(gè)訪問單元附加的Picture timing SEI的語法例的圖。
[0105]在該語法例中，作為示出訪問單元的解碼單元間的提取時(shí)刻的間隔是間隔固定模式、或間隔可變模式的哪一方的信息的間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag),被存儲(chǔ)在 Buffering per1d SEI。在此，Buffering per1d SEI,與 VUI 同樣例如被包含在SPS中。換而言之，以多個(gè)圖片單位生成Buffering per1d SEI。
[0106]并且，圖像解碼裝置，在間隔固定模式時(shí)，利用VUI內(nèi)的參數(shù)決定提取時(shí)刻的間隔，在間隔可變模式時(shí)，利用Picture timing SEI內(nèi)的參數(shù)決定提取時(shí)刻的間隔。
[0107]也就是說，圖像編碼裝置，將間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag),定義在 Buffering per1d SEI。
[0108]而且，在解碼單位標(biāo)志(Sub_piC_Cpb_flag)的值為I的情況下，圖像編碼裝置也可以，將 VUI 內(nèi)的 hrd_parameters O 中定義的 removal_time_offset,存儲(chǔ)到 Bufferingper1d SEI。
[0109]并且，圖像編碼裝置也可以，將用于決定間隔固定模式的解碼單元的從CPB的提取時(shí)刻的參數(shù)(num_ctbs_in_subpicture_minusl 及 picture_interval),存儲(chǔ)到Buffering per1d SEI。
[0110]接著，說明本實(shí)施例涉及的由圖像解碼裝置的圖像解碼方法的流程。
[0111]圖6A是本實(shí)施例涉及的圖像解碼方法的流程圖。
[0112]首先，圖像解碼裝置，根據(jù)VUI中包含的解碼單位標(biāo)志(sub_pic_cpb_flag)的值，決定從CPB的編碼數(shù)據(jù)的提取是訪問單元單位還是解碼單元單位(S101)。
[0113]在從CPB的提取是解碼單元單位的情況下(S102的“是”)，圖像解碼裝置，根據(jù)VUI中包含的間隔可變標(biāo)志(variable_sub_pic_removal_per1d_flag)的值，決定模式是間隔固定模式及間隔可變模式的哪一方(S103)。
[0114]在間隔固定模式的情況下(S104的“是”)，圖像解碼裝置，根據(jù)VUI中包含的參數(shù)(num_ctbs_in_subpicture_minusl 及 picture_interval),決定解碼單兀的提取時(shí)刻(S105)。
[0115]另一方面，在間隔可變模式的情況下(S104的“否”)，圖像解碼裝置，根據(jù)Picturetiming SEI中包含的參數(shù)(cpb_removal_delay),決定解碼單元的提取時(shí)刻(S106)。
[0116]并且，在從CPB的提取是訪問單元單位的情況下(S102的“否”)，圖像解碼裝置，根據(jù)Picture timing SEI中包含的參數(shù),決定訪問單元的提取時(shí)刻(S107)。
[0117]接著，說明本實(shí)施例涉及的由圖像編碼裝置的圖像編碼方法的流程。
[0118]圖6B是本實(shí)施例涉及的圖像編碼方法的流程圖。
[0119]首先，圖像編碼裝置，決定從CPB的編碼數(shù)據(jù)的提取是訪問單元單位還是解碼單元單位。并且，圖像編碼裝置，將示出決定結(jié)果的解碼單位標(biāo)志(Sub_piC_Cpb_flag)存儲(chǔ)到 VUI(S201)。
[0120]在從CPB的提取是解碼單元單位的情況下(S202的“是”)，圖像編碼裝置，決定模式是間隔固定模式及間隔可變模式的哪一方，將示出決定結(jié)果的間隔可變標(biāo)志(variablysub_pic_removal_per1d_f lag)存儲(chǔ)到 VUI (S203)。
[0121]在間隔固定模式的情況下(S204的“是”)，圖像編碼裝置，決定解碼單元的提取時(shí)亥1J，將不出決定結(jié)果的參數(shù)(num_ctbs_in_subpicture_minus2 及 picture_interval)存儲(chǔ)到 VUI (S205)。
[0122]另一方面，在間隔可變模式的情況下(S204的“否”)，圖像編碼裝置，將用于決定解碼單元的提取時(shí)刻的參數(shù)(cpb_removal_delay)存儲(chǔ)到Picture timing SEI (S206)。
[0123]并且，在從CPB的提取是訪問單元單位的情況下(S202的“否”)，圖像編碼裝置，將用于決定訪問單元的提取時(shí)刻的參數(shù)存儲(chǔ)到Picture timing SEI (S207)。
[0124]而且，圖像編碼裝置，例如，根據(jù)來自外部的指示，進(jìn)行從CPB的編碼數(shù)據(jù)的提取單位(訪問單元單位或解碼單元單位)的選擇、間隔固定模式或間隔可變模式的選擇、解碼單元的提取時(shí)刻的決定、以及訪問單元的提取時(shí)刻的決定。而且，圖像編碼裝置也可以，按照來自外部的信息及輸入圖像的特性等，進(jìn)行這樣的選擇或決定。
[0125]在此，在利用間隔固定模式的情況下，圖像編碼裝置，調(diào)整編碼處理，以使各個(gè)解碼單元的數(shù)據(jù)量成為某范圍內(nèi)。據(jù)此，能夠減少因某解碼單元的數(shù)據(jù)大而引起的圖像解碼裝置的解碼處理的延遲。也就是說，間隔固定模式是，在需要實(shí)時(shí)性的情況下有用的。另一方面，在間隔可變模式中，圖像編碼裝置能夠，根據(jù)需要適應(yīng)性地變更解碼單元的數(shù)據(jù)量。據(jù)此，例如，為了確保某種程度的畫質(zhì)，能夠向需要大的數(shù)據(jù)的解碼單元，分配大的數(shù)據(jù)。也就是說，間隔可變模式是，在對(duì)優(yōu)先畫質(zhì)的情況下有用的。
[0126]接著，說明本實(shí)施例涉及的圖像解碼裝置的結(jié)構(gòu)。
[0127]圖7A是本實(shí)施例涉及的圖像解碼裝置的方框圖。如圖7A示出，圖像解碼裝置300具備，CPB301、提取時(shí)刻決定部302、解碼部303、以及DPB304。
[0128]CPB301是，用于暫時(shí)存儲(chǔ)編碼流的緩沖器(存儲(chǔ)器)。
[0129]提取時(shí)刻決定部302，決定以訪問單元單位的從CPB301的提取時(shí)刻、以及以解碼單元單位的從CPB301的提取時(shí)刻。
[0130]解碼部303，在提取時(shí)刻決定部302所決定的提取時(shí)刻，將訪問單元單位、或解碼單元單位的編碼數(shù)據(jù)從CPB301獲得，對(duì)獲得的編碼數(shù)據(jù)進(jìn)行解碼，將解碼后的解碼數(shù)據(jù)存儲(chǔ)到 DPB304。
[0131]DPB304是，用于暫時(shí)存儲(chǔ)解碼數(shù)據(jù)的緩沖器(存儲(chǔ)器)。
[0132]圖7B是提取時(shí)刻決定部302的方框圖。如圖7B示出，提取時(shí)刻決定部302具備，提取單位判定部311、訪問單元提取時(shí)刻決定部312、模式判定部313、解碼單元提取時(shí)刻決定部314、以及提取時(shí)刻通知部315。
[0133]提取單位判定部311，判定從CPB301的編碼數(shù)據(jù)的提取是訪問單元單位、以及解碼單元單位的哪一方。
[0134]訪問單元提取時(shí)刻決定部312，在編碼數(shù)據(jù)的提取是訪問單元單位的情況下，決定訪問單元的從CPB301的提取時(shí)刻。
[0135]模式判定部313，在編碼數(shù)據(jù)的提取是解碼單元單位的情況下，判定模式是間隔固定模式及間隔可變模式的哪一方。
[0136]解碼單元提取時(shí)刻決定部314，利用模式判定部313的判定結(jié)果，決定構(gòu)成訪問單元的多個(gè)解碼單元各自的從CPB301的提取時(shí)刻。
[0137]提取時(shí)刻通知部315，將訪問單元提取時(shí)刻決定部312所決定的訪問單元的提取時(shí)刻、或解碼單元提取時(shí)刻決定部314所決定的解碼單元的提取時(shí)刻通知給解碼部303。
[0138]圖8A是本實(shí)施例涉及的圖像編碼裝置的方框圖。如圖8A示出，圖像編碼裝置400具備，提取時(shí)刻決定部402、以及編碼部403。
[0139]提取時(shí)刻決定部402，決定圖像解碼裝置中的、以訪問單元單位的從CPB的提取時(shí)亥IJ、以及以解碼單元單位的從CPB的提取時(shí)刻。
[0140]編碼部403，對(duì)輸入圖像進(jìn)行編碼。并且，編碼部403，對(duì)示出提取時(shí)刻決定部402的決定結(jié)果的信息進(jìn)行編碼。并且，編碼部403，生成包含編碼后的輸入圖像及編碼后的信息的編碼比特流。
[0141]圖8B是提取時(shí)刻決定部402的方框圖。如圖8B示出，提取時(shí)刻決定部402具備，提取單位決定部411、訪問單元提取時(shí)刻決定部412、模式?jīng)Q定部413、以及解碼單元提取時(shí)刻決定部414。
[0142]提取單位決定部411，決定圖像解碼裝置中的、從CPB的編碼數(shù)據(jù)的提取是訪問單元單位、以及解碼單元單位的哪一方。
[0143]訪問單元提取時(shí)刻決定部412，在編碼數(shù)據(jù)的提取是訪問單元單位的情況下，決定訪問單元的從CPB的提取時(shí)刻。
[0144]模式?jīng)Q定部413，在編碼數(shù)據(jù)的提取是解碼單元單位的情況下，決定模式是間隔固定模式及間隔可變模式的哪一方。
[0145]解碼單元提取時(shí)刻決定部414，利用模式?jīng)Q定部413的決定結(jié)果，決定構(gòu)成訪問單元的多個(gè)解碼單元各自的編碼數(shù)據(jù)的從CPB的提取時(shí)刻。
[0146]所述各個(gè)處理部所決定的結(jié)果，由編碼部403編碼。
[0147]接著，說明示出解碼單元單位的CPB提取時(shí)刻的SEI。
[0148]在間隔可變模式的情況下，在所述說明中，圖像編碼裝置，Picture Timing SEI中存儲(chǔ)構(gòu)成訪問單元的每個(gè)解碼單元的CPB提取時(shí)刻。
[0149]然而，根據(jù)本結(jié)構(gòu)，代碼量按每個(gè)解碼單元變動(dòng)，因此，圖像編碼裝置，不能決定各個(gè)解碼單元的CPB提取時(shí)刻，直到訪問單元內(nèi)的所有的解碼單元的編碼結(jié)束為止。因而，圖像編碼裝置，不能決定Picture Timing SEI的數(shù)據(jù)，直到訪問單元內(nèi)的最后解碼單元的編碼完成為止。并且,Picture Timing SEI,在訪問單元內(nèi)的開頭的解碼單元中被傳輸。其結(jié)果為，圖像編碼裝置，在各個(gè)解碼單元的編碼完成后，不能立即依次發(fā)送解碼單元。在此，特別是，在實(shí)時(shí)地傳輸內(nèi)容時(shí)導(dǎo)致發(fā)送側(cè)的延遲的增加。
[0150]于是，定義存儲(chǔ)各個(gè)解碼單元的CPB提取時(shí)刻的SEI。圖像編碼裝置，在各個(gè)解碼單元內(nèi)附加該SEI，從而在解碼單元的編碼完成后，能夠立即發(fā)送解碼單元的數(shù)據(jù)。
[0151]圖9是示出作為存儲(chǔ)解碼單元單位的CPB提取時(shí)刻的SEI的Decoding Unit CPBDelay SEI的語法例的圖。
[0152]本SEI是，在從CPB的提取工作是解碼單元單位、且間隔可變模式的情況下有效的。并且，本SEI示出，包含本SEI和片數(shù)據(jù)(存儲(chǔ)在VCL NAL Unit中)的解碼單元的CPB提取時(shí)刻。
[0153]具體而言，本SEI 包含，du_cpb_removal_delay。du_cpb_removal_delay 不出，解碼單元的CPB提取時(shí)刻。
[0154]并且，在使用Decoding Unit CPB delay SEI 的情況下，Picture Timing SEI 不出，訪問單元單位的CPB提取時(shí)刻和DPB提取時(shí)刻。也就是說，解碼單元單位的CPB提取時(shí)刻由 Decoding Unit CPB delay SEI 管理。
[0155]圖10及圖11是示出訪問單元的結(jié)構(gòu)例的圖。
[0156]如圖10示出，各個(gè)解碼單元包含,Decoding Unit CPB delay SEI和片數(shù)據(jù)。并且，開頭的解碼單兀還包含，Access Unit Delimiter、和 Picture Timing SEI。Access UnitDelimiter示出，訪問單元的開始。
[0157]而且,如圖11示出，與Access Unit Delimiter同樣,也可以導(dǎo)入示出解碼單元的開始的NAL單元(Decoding Unit Delimiter)。并且,對(duì)于訪問單元內(nèi)的開頭的解碼單元，也可以由Access Unit Delimiter不出開始位置。
[0158]以下，說明本實(shí)施例涉及的圖像編碼方法及圖像解碼方法的變形例。
[0159]在圖1及圖2示出的例子中，圖像編碼裝置，在間隔固定模式時(shí)，在VUI內(nèi)存儲(chǔ)了示出每個(gè)解碼單元的CPB提取時(shí)刻的間隔的信息，但也可以是，在VUI內(nèi)不存儲(chǔ)示出提取時(shí)刻的間隔的信息，而根據(jù)預(yù)先規(guī)定的固定的間隔，在Picture Timing SEI內(nèi)，設(shè)定CPB提取時(shí)刻的信息。此時(shí)，在同一序列內(nèi)，解碼單元間的CPB提取時(shí)刻為一定，因此，PictureTiming SEI內(nèi)的CPB提取時(shí)刻的信息也為一定。因此，在間隔固定模式時(shí)，圖像解碼裝置，解析序列的開頭訪問單元中的CPB提取時(shí)刻的信息，在以后的訪問單元中能夠利用開頭訪問單元中獲得的CPB提取時(shí)刻的信息。
[0160]并且,在圖10及圖11的例子中，由Decoding Unit Delimiter示出解碼單元的邊界，但是，在構(gòu)成解碼單元的片數(shù)據(jù)的NAL單元為固定數(shù)的情況下，可以不利用DecodingUnit Delimiter。在此情況下，圖像解碼裝置也可以，根據(jù)片數(shù)據(jù)的NAL單元判定解碼單元的邊界。例如，圖像編碼裝置，在解碼單元中包含的片數(shù)據(jù)的NAL單元為I個(gè)的情況下，設(shè)定為訪問單元的開頭解碼單元從Access Unit Delimiter開始，設(shè)定為第二以后的解碼單元，分別從第二以后的片數(shù)據(jù)的NAL單元開始。據(jù)此，圖像解碼裝置，能夠判定解碼單元的邊界。
[0161]接著，說明向MPEG - 2 TS的數(shù)據(jù)包多路復(fù)用方法。
[0162]對(duì)于示出編碼數(shù)據(jù)的從CPB的提取單位是訪問單元單位、或解碼單元單位的哪一方的信息，會(huì)影響到解碼及顯示等的系統(tǒng)工作，因此，優(yōu)選的是，在解碼之前通過與編碼流不同的手段來能夠通知。并且，在提取單位是解碼單元單位的情況下，示出間隔固定模式和間隔可變模式的判別的信息也同樣。
[0163]例如，通過利用描述符，能夠?qū)⑦@樣的信息作為程序信息的一部分從圖像編碼裝置傳輸?shù)綀D像解碼裝置。而且，除了利用描述符的方法以外，還可以在對(duì)提取單元單位利用訪問單位時(shí)、和在利用解碼單元單位時(shí)，利用不同的stream_id或program_id,從而從圖像編碼裝置向圖像解碼裝置通知提取單位。
[0164]圖12示出該描述符的一個(gè)例子。圖12示出的sub_pic_cpb_removal_flag是,示出編碼數(shù)據(jù)的從CPB的提取單位是訪問單元單位、還是解碼單元單位的標(biāo)志。在該標(biāo)志的值為I的情況下，提取單位是解碼單元單位，在標(biāo)志的值為O的情況下，提取單位是訪問單元單位。
[0165]variabIe_sub_pic_removal_per1d_flag 是，示出解碼單元的從 CPB 的提取間隔是固定模式、或間隔可變模式的哪一方的標(biāo)志。在該標(biāo)志的值為I的情況下，模式是間隔可變模式，在標(biāo)志的值為O的情況下，模式是間隔固定模式。
[0166]sub_pic_removal_per1d 是,僅在間隔固定模式時(shí)有效的。該 sub_pic_removal_per1d，示出連續(xù)的解碼單元的從CPB的提取時(shí)刻的差分(解碼單元間的提取時(shí)刻的間隔)。
[0167]而且，圖像編碼裝置也可以，不將直接示出提取時(shí)刻的差分的信息發(fā)送給圖像解碼裝置，而將以解碼順序連續(xù)的訪問單元間的解碼時(shí)刻的間隔、以及構(gòu)成訪問單元的解碼單元的數(shù)量發(fā)送給圖像解碼裝置。在此情況下，圖像解碼裝置能夠，利用這樣的信息，通過計(jì)算獲得差分。
[0168]并且，圖像編碼裝置也可以，將CPB提取時(shí)刻的差分，不是包含在描述符中，而是包含在由PES數(shù)據(jù)包傳輸?shù)木幋a數(shù)據(jù)(SPS，或Picture Timing SEI等)中。在此情況下，圖像解碼裝置，從SPS或Picture Timing SEI等獲得CPB提取時(shí)刻的差分。
[0169]并且，圖像編碼裝置也可以，將示出構(gòu)成訪問單元的解碼單元的數(shù)量是否為固定的信息發(fā)送給圖像解碼裝置。進(jìn)而，圖像編碼裝置也可以，在構(gòu)成訪問單元的解碼單元的數(shù)量為固定的情況下，將示出構(gòu)成訪問單元的解碼單元的數(shù)量的信息發(fā)送給圖像解碼裝置。據(jù)此，圖像解碼裝置，能夠識(shí)別例如訪問單元中包含的最后的解碼單元。
[0170]并且，若幀率為固定，圖像解碼裝置，幀的解碼時(shí)刻的間隔，除以解碼單元的數(shù)量，從而能夠決定各個(gè)解碼單元的CPB提取時(shí)刻。據(jù)此，圖像解碼裝置，在從PES數(shù)據(jù)包的頭部獲得訪問單元的解碼時(shí)刻的階段，能夠決定該訪問單元的各個(gè)解碼單元的CPB提取時(shí)刻。
[0171]在此，在MPEG — 2 TS的PES數(shù)據(jù)包中，能夠附加解碼時(shí)刻(DTS decoding TimeStamp)的最小單位是訪問單元。因此，圖像解碼裝置，將解碼單元的解碼時(shí)刻，從圖12示出的描述符內(nèi)、或編碼流內(nèi)的信息獲得，并通知給解碼部。
[0172]圖13是用于通知解碼單元的解碼時(shí)刻的STD(System Target Decoder)的方框圖。
[0173]該STD500是，本實(shí)施例涉及的圖像解碼裝置的一個(gè)例子，包括TS多路信號(hào)分離器 501、TB502 (Transport Buffer) > MB503 (Multiplexing Buffer) > EB504 (Elementarystream Buffer)、解碼部505、解碼單元提取時(shí)刻決定部506、以及DPB507 (Decoded PictreBuffer)ο
[0174]按照提取單位是訪問單元或解碼單元的哪一方，切換提取單位和提取時(shí)刻的決定方法。
[0175]STD500，在以訪問單元單位工作時(shí)，根據(jù)PES數(shù)據(jù)包的DTS工作，在以解碼單元單位工作時(shí)，根據(jù)另外獲得的解碼單元的提取時(shí)刻工作。
[0176]STD500，在提取單位是解碼單元的情況下，將訪問單元的開頭的解碼單元的提取時(shí)刻作為PES數(shù)據(jù)包的DTS利用。
[0177]TS多路信號(hào)分離器501，根據(jù)PID對(duì)輸入流中包含的數(shù)據(jù)進(jìn)行濾波，從而進(jìn)行分類。具體而言，TS多路信號(hào)分離器501，將輸入流中包含的描述符等的程序信息輸出到解碼單元提取時(shí)刻決定部506。并且，TS多路信號(hào)分離器501，將包含HEVC的編碼數(shù)據(jù)的TS數(shù)據(jù)包輸出到ΤΒ502。該編碼數(shù)據(jù)，通過ΜΒ503及ΕΒ504，輸入到解碼部505及解碼單元提取時(shí)刻決定部506。
[0178]解碼單元提取時(shí)刻決定部506，根據(jù)描述符等中包含的信息判定STD500的工作單位是解碼單元單位、還是訪問單元單位。進(jìn)而，解碼單元提取時(shí)刻決定部506，在工作單位是解碼單元單位的情況下，獲得解碼單元的解碼時(shí)刻，將該解碼時(shí)刻通知給解碼部505。
[0179]具體而言，在模式是間隔固定模式、且描述符中示出解碼單元的CPB提取時(shí)刻的間隔T的情況下，解碼單元提取時(shí)刻決定部506，根據(jù)從PES數(shù)據(jù)包頭獲得的訪問單元的解碼時(shí)刻(DTS)和間隔T，決定解碼單元的解碼時(shí)刻。
[0180]另一方面，在模式是間隔可變模式的情況下，解碼單元提取時(shí)刻決定部506，通過解析Picture Timing SE1、或Decoding Unit CPB delay SEI等，決定解碼單元的解碼時(shí)刻。
[0181]并且，在STD500的工作單位是訪問單元單位的情況下，如以往那樣，STD500，根據(jù)PES數(shù)據(jù)包的DTS等，以訪問單元單位工作。
[0182]解碼部505，根據(jù)從解碼單元提取時(shí)刻決定部506通知的解碼單元的提取時(shí)刻，從EB504提取解碼單元中包含的編碼數(shù)據(jù)。
[0183]并且,解碼部505,根據(jù)Decoding Unit Delimiter、或存儲(chǔ)片數(shù)據(jù)的NAL單元的開始位置，決定解碼單元的邊界。
[0184]而且，解碼單元提取時(shí)刻決定部506也可以，檢測(cè)解碼單元的邊界，將解碼單元的數(shù)據(jù)尺寸通知給解碼部505。
[0185]在此情況下，解碼部505從EB504提取被通知的數(shù)據(jù)尺寸的數(shù)據(jù)。
[0186]DPB507，存儲(chǔ)由解碼部505生成的解碼數(shù)據(jù)。
[0187]而且，對(duì)于圖像編碼裝置的工作，除了各種信息的存儲(chǔ)目的地變更為描述符之處以外，與所述的說明同樣。
[0188]以下，說明PES數(shù)據(jù)包的DTS設(shè)定方法的變形例。
[0189]在圖像解碼裝置，將PES數(shù)據(jù)包的DTS作為開頭解碼單元的CPB提取時(shí)刻(=解碼時(shí)刻)來利用的情況下，不能確保對(duì)不與以解碼單元單位的工作對(duì)應(yīng)的接收機(jī)的兼容性。因此，圖像解碼裝置，如以往那樣，將PES數(shù)據(jù)包的DTS，作為訪問單元的解碼時(shí)刻來利用。并且，也可以是，圖像編碼裝置，在PES數(shù)據(jù)包頭的擴(kuò)展區(qū)域存儲(chǔ)解碼單元的解碼時(shí)刻信息，圖像解碼裝置，利用該解碼時(shí)刻信息。
[0190]例如，圖像編碼裝置，在所述擴(kuò)展區(qū)域，可以按照解碼順序列舉構(gòu)成訪問單元的各個(gè)解碼單元的解碼時(shí)刻，也可以存儲(chǔ)示出各個(gè)解碼單元的解碼時(shí)刻與PES數(shù)據(jù)包的DTS的差分的信息。
[0191]并且，圖像編碼裝置也可以，在間隔固定模式時(shí)，在所述擴(kuò)展區(qū)域，僅存儲(chǔ)示出訪問單元內(nèi)的開頭的解碼單元的解碼時(shí)刻的信息。
[0192]并且，圖像解碼裝置也可以，將PES數(shù)據(jù)包中包含的DTS作為訪問單元的DTS來利用，解析編碼流，從而獲得解碼單元的DTS。
[0193]并且，在提取單位是解碼單元單位的情況下，圖像編碼裝置也可以，在PES數(shù)據(jù)包中，以解碼單元單位賦予DTS。此時(shí)，解碼單元提取時(shí)刻決定部506，參考被存儲(chǔ)在PES數(shù)據(jù)包的頭部的DTS，從而能夠決定解碼單元的DTS。
[0194]以下，說明進(jìn)行以解碼單元單位的從CPB的提取時(shí)的效果。
[0195]圖14A是示出以訪問單元單位進(jìn)行提取時(shí)的EB504中的編碼數(shù)據(jù)的緩沖器占有量的轉(zhuǎn)變的圖。圖14B是示出以解碼單元單位進(jìn)行提取時(shí)的EB504中的編碼數(shù)據(jù)的緩沖器占有量的轉(zhuǎn)變的圖。
[0196]在如圖14B所示以解碼單元單位進(jìn)行提取的情況下，依次提取解碼單元的編碼數(shù)據(jù)，因此，與圖14A所示以訪問單元單位進(jìn)行提取的情況相比，EB504的緩沖器占有量減少。因此，在以解碼單元單位進(jìn)行從CPB的提取的情況下，與訪問單元單位相比，能夠減少EB504的尺寸。
[0197]而且，圖像編碼裝置也可以，將示出進(jìn)行以解碼單元單位的提取時(shí)需要的EB尺寸的信息，包含在描述符等中，來傳輸?shù)綀D像解碼裝置。據(jù)此，圖像解碼裝置能夠，根據(jù)該EB尺寸確保EB504。
[0198]以下，說明在圖像解碼裝置中，計(jì)算解碼單元的從CPB的提取時(shí)刻的間隔的方法。
[0199]圖像解碼裝置，將以解碼順序連續(xù)的兩個(gè)訪問單元的解碼時(shí)刻的間隔(pictureinterval),除以構(gòu)成訪問單元的解碼單元的個(gè)數(shù)(num_ctbs_in_subpicture_minusl)的值，作為間隔固定模式的提取時(shí)刻的間隔來利用。
[0200]例如,在訪問單元的解碼時(shí)刻的間隔是50msec,構(gòu)成訪問單元的解碼單元是5個(gè)的情況下，解碼單元的提取時(shí)刻的間隔是50/5 = 10msec。
[0201]而且，在訪問單元的幀率為固定的情況下，圖像解碼裝置能夠，根據(jù)幀率和解碼單元數(shù)決定解碼單元的提取時(shí)刻的間隔。因此，也可以是，圖像編碼裝置，在此情況下，不傳輸提取時(shí)刻的間隔，圖像解碼裝置，通過計(jì)算獲得提取時(shí)刻的間隔。
[0202]但是，在幀率為可變的情況下，不能從幀率唯一地決定提取時(shí)刻的間隔。因此，圖像編碼裝置，將示出提取時(shí)刻的間隔的信息包含在MPEG - 2TS、或編碼流內(nèi)來傳輸。
[0203]以下，說明將本實(shí)施例適用到MPEG - 2 TS以外的多路復(fù)用方式的情況。
[0204]對(duì)于多路復(fù)用方式，除了 MPEG - 2 TS以外，還有下載分發(fā)中一般利用的MP4、以及流媒體中廣泛地利用的RTP (Real — time Transport Protocol)等,也能夠?qū)⒈緦?shí)施例涉及的編碼流，適用到這樣的多路復(fù)用方式。
[0205]首先，說明對(duì)MP4適用本實(shí)施例涉及的編碼流的情況。
[0206]圖像編碼裝置，將在MPEG - 2 TS中描述在描述符中的信息，存儲(chǔ)到MP4中定義的構(gòu)造的Box內(nèi)。具體而言，圖像編碼裝置，在存儲(chǔ)對(duì)編碼數(shù)據(jù)進(jìn)行解碼時(shí)的初始化信息的Box等存儲(chǔ)所述信息。并且，在從CPB的提取是解碼單元單位的情況下，圖像編碼裝置也可以，將示出每個(gè)解碼單元的解碼時(shí)刻的信息存儲(chǔ)到Box。
[0207]并且，在MP4中利用與訪問單元對(duì)應(yīng)的稱為樣本的單位。圖像編碼裝置也可以，將用于訪問樣本中包含的解碼單元的地址信息，添加在樣本單位的地址信息中來存儲(chǔ)。
[0208]接著，說明對(duì)RTP適用本實(shí)施例涉及的編碼流的情況。
[0209]圖像編碼裝置，將在MPEG — 2 TS中描述在描述符中的信息，描述在RTP數(shù)據(jù)包的有效負(fù)載頭、或交換有關(guān)RTP通信的補(bǔ)助信息的SDP (Sess1n Descript1n Protocol)、或SIP (Sess1n Initiat1n Protocol)等中。
[0210]而且，圖像編碼裝置也可以，按照從CPB的提取單位是訪問單元單位、以及解碼單元單位的哪一方，切換數(shù)據(jù)包化的單位。例如，圖像編碼裝置，在提取單位是解碼單元單位的情況下，將一個(gè)RTP數(shù)據(jù)包作為一個(gè)解碼單元來傳輸。進(jìn)而，圖像編碼裝置，將示出數(shù)據(jù)包化的單位的信息，通過SDP等的補(bǔ)助信息通知給圖像解碼裝置。
[0211]進(jìn)而，圖像編碼裝置也可以，按照從CPB的提取單位，切換描述在RTP數(shù)據(jù)包的有效負(fù)載頭中的解碼時(shí)刻的存儲(chǔ)方法。例如，圖像編碼裝置，在提取單位是訪問單元單位的情況下，以訪問單元單位附加解碼時(shí)刻，在提取單位是解碼單元單位的情況下，以解碼單元單位附加解碼時(shí)刻。
[0212]并且，圖像編碼裝置，在提取單位是解碼單元單位、且間隔固定模式時(shí)，也可以僅示出訪問單元中包含的開頭解碼單元的解碼時(shí)刻。在此情況下，圖像解碼裝置，針對(duì)后續(xù)的解碼單元，例如，利用默認(rèn)的間隔。據(jù)此，能夠削減解碼時(shí)刻的傳輸所需要的代碼量。
[0213]如上所述，本實(shí)施例涉及的圖像解碼方法，按圖片(訪問單元)中包含的每一個(gè)以上的單元(解碼單元)，對(duì)編碼數(shù)據(jù)進(jìn)行解碼。如圖15示出，圖像解碼裝置，將示出是否以單元單位設(shè)定從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器(CPB)中讀出編碼數(shù)據(jù)的時(shí)刻的第一標(biāo)志(解碼單位標(biāo)志)，從包含編碼數(shù)據(jù)的編碼比特流獲得(S121)。
[0214]接著，圖像解碼裝置，在以單元單位設(shè)定讀出編碼數(shù)據(jù)的時(shí)刻的情況下，將示出多個(gè)單元的讀出時(shí)刻的間隔是一定還是任意的第二標(biāo)志(間隔可變標(biāo)志)，從編碼比特流獲得(SI22)。
[0215]接著，圖像解碼裝置，根據(jù)第二標(biāo)志，按每個(gè)解碼單元，以一定的間隔、或任意的間隔，從緩沖器讀出編碼數(shù)據(jù)(S124及S125)。具體而言，圖像解碼裝置，在第二標(biāo)志示出間隔為任意的情況下(S123的“是”)，以可變間隔讀出解碼單元的編碼數(shù)據(jù)(S124)。并且，圖像解碼裝置，在第二標(biāo)志示出間隔為一定的情況下(S123的“否”)，以固定間隔讀出解碼單元的編碼數(shù)據(jù)(S125)。
[0216]而且，圖像解碼裝置，對(duì)步驟S124或S125中讀出的解碼單元的編碼數(shù)據(jù)進(jìn)行解碼(S126)。
[0217]據(jù)此，圖像解碼裝置，例如，在間隔為一定的情況下，能夠根據(jù)一個(gè)固定的間隔，決定多個(gè)解碼單元的時(shí)間間隔。因此，能夠減少圖像解碼裝置的處理量。
[0218]并且，本發(fā)明的實(shí)施例涉及的圖像編碼方法，對(duì)圖片(訪問單元)中包含的一個(gè)以上的單元(解碼單元)進(jìn)行編碼。如圖16示出，圖像編碼裝置，生成示出是否以單元單位設(shè)定虛擬參考解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器(CPB)中讀出編碼數(shù)據(jù)的時(shí)刻的第一標(biāo)志(解碼單位標(biāo)志)(S221)。接著，圖像編碼裝置，生成示出讀出編碼數(shù)據(jù)的時(shí)刻的間隔是一定還是任意的第二標(biāo)志(間隔可變標(biāo)志)(S222)。接著，圖像編碼裝置，生成包含編碼數(shù)據(jù)、第一標(biāo)志及第二標(biāo)志的編碼比特流(S223)。
[0219]并且，如上所述，圖像編碼裝置，按包含一個(gè)以上的圖片的每個(gè)圖片組(圖片小組)生成第二標(biāo)志。并且，圖像編碼裝置，將第二標(biāo)志包含在編碼比特流中包含的、按每個(gè)圖片組設(shè)定的圖片組的控制信息(頭部)中。也就是說，圖像解碼裝置，從圖片組的控制信息獲得第二標(biāo)志。
[0220]在此，圖片組是，例如，多個(gè)圖片(序列)單位。并且，圖片組的控制信息是，SPS,更具體而言，是SPS中包含的VUI。而且，圖片組的控制信息也可以是，MPEG — 2 TS的描述符。
[0221]并且，圖像編碼裝置，在第二標(biāo)志示出間隔為一定(間隔固定模式)的情況下，生成示出該作為固定的間隔的固定間隔信息。在此，固定間隔信息示出，例如，一個(gè)圖片(訪問單元)中包含的多個(gè)解碼單元的數(shù)量(num_ctbs_in_subpicture_minusl)、和圖片的時(shí)間間隔(picturejnterval)。圖像解碼裝置，利用這樣的多個(gè)解碼單元的數(shù)量、和圖片的時(shí)間間隔，計(jì)算作為固定的間隔，以計(jì)算出的間隔按每個(gè)解碼單元，從緩沖器讀出編碼數(shù)據(jù)。
[0222]并且，圖像編碼裝置，與第二標(biāo)志相同，將固定間隔信息，包含在圖片組的控制信息(例如VUI)中。也就是說，圖像解碼裝置，在第二標(biāo)志示出間隔為一定(間隔固定模式)的情況下，從圖片組的控制信息獲得示出該間隔的固定間隔信息。并且，圖像解碼裝置，在第二標(biāo)志示出間隔為固定(間隔固定模式)的情況下，以固定間隔信息示出的間隔，按每個(gè)解碼單元，從緩沖器讀出編碼數(shù)據(jù)。而且，圖像編碼裝置也可以，將固定間隔信息，包含在按每一個(gè)圖片單位設(shè)定的一個(gè)圖片單位的控制信息(例如，Picture timing SEI)中。也就是說，圖像解碼裝置，在第二標(biāo)志示出間隔為一定(間隔固定模式)的情況下，從一個(gè)圖片單位的控制信息獲得示出該間隔的固定間隔信息。
[0223]并且，在第二標(biāo)志示出時(shí)間間隔為任意(間隔可變模式)的情況下，圖像編碼裝置，生成示出多個(gè)解碼單元各自的讀出時(shí)刻的間隔的可變間隔信息(Cpb_rem0Val_delay)。并且，圖像編碼裝置，將該可變間隔信息，包含在編碼比特流中包含的、按每一個(gè)圖片單位設(shè)定的的一個(gè)圖片單位的控制信息(例如，Picture timing SEI)中。也就是說，圖像解碼裝置，在第二標(biāo)志示出間隔為任意(間隔可變模式)的情況下，從一個(gè)圖片單位的控制信息獲得可變間隔信息。而且，圖像解碼裝置，以可變間隔信息示出的間隔，按每個(gè)解碼單元，從緩沖器讀出編碼數(shù)據(jù)。
[0224]而且，圖像編碼裝置也可以，將該可變間隔信息，包含在編碼比特流中包含的、以一個(gè)解碼單元單位設(shè)定的一個(gè)單元單位的控制信息(例如，Decoding Unit CPB delaySEI)中。也就是說，圖像解碼裝置也可以，從一個(gè)解碼單元單位的控制信息獲得可變間隔信肩、O
[0225]并且，也可以是，編碼比特流包含傳輸流(TS)、和描述符，圖像編碼裝置，將第二標(biāo)志包含在描述符中。也就是說，圖像解碼裝置也可以，從描述符獲得第二標(biāo)志。
[0226]以下，說明圖像編碼裝置具備的編碼部403以及圖像解碼裝置具備的解碼部303或505的基本結(jié)構(gòu)。
[0227]圖17是作為編碼部403的一個(gè)例子的編碼部100的方框圖。該編碼部100，例如，以低比特率對(duì)聲音數(shù)據(jù)及運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼。
[0228]圖17示出的編碼部100，對(duì)輸入圖像信號(hào)101進(jìn)行編碼，從而生成編碼信號(hào)191。該編碼部100具備，減法部110、變換部120、量化部130、逆量化部140、逆變換部150、加法部160、存儲(chǔ)器170、預(yù)測(cè)部180、以及熵編碼部190。
[0229]減法部110，從輸入圖像信號(hào)101減去預(yù)測(cè)信號(hào)181來生成預(yù)測(cè)誤差信號(hào)111 (變換輸入信號(hào))，將生成的預(yù)測(cè)誤差信號(hào)111輸出到變換部120。
[0230]變換部120，對(duì)預(yù)測(cè)誤差信號(hào)111進(jìn)行頻率變換，從而生成變換輸出信號(hào)121。具體而言，變換部120，將預(yù)測(cè)誤差信號(hào)111、或?qū)︻A(yù)測(cè)誤差信號(hào)111加以某種處理后的變換輸入信號(hào)，從時(shí)空域變換為頻域，從而生成減輕了相關(guān)性的變換輸出信號(hào)121。
[0231]量化部130，對(duì)變換輸出信號(hào)121進(jìn)行量化，從而生成總數(shù)據(jù)量少的量化系數(shù)131。
[0232]熵編碼部190，利用熵編碼算法，對(duì)量化系數(shù)131進(jìn)行編碼，從而生成更壓縮了冗余性的編碼信號(hào)191。
[0233]逆量化部140，對(duì)量化系數(shù)131進(jìn)行逆量化，從而生成解碼變換輸出信號(hào)141。逆變換部150，對(duì)解碼變換輸出信號(hào)141進(jìn)行逆變換，從而生成解碼變換輸入信號(hào)151。
[0234]加法部160，將解碼變換輸入信號(hào)151和預(yù)測(cè)信號(hào)181相加，從而生成解碼信號(hào)161。存儲(chǔ)器170存儲(chǔ)解碼信號(hào)161。
[0235]預(yù)測(cè)部180，根據(jù)幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)等的預(yù)測(cè)方法，從存儲(chǔ)器170獲得規(guī)定的信號(hào)，根據(jù)該預(yù)測(cè)方法，以規(guī)定的方法生成預(yù)測(cè)信號(hào)181。具體而言，預(yù)測(cè)部180，決定編碼效率成為最大的預(yù)測(cè)方法，利用決定的預(yù)測(cè)方法，生成預(yù)測(cè)信號(hào)181。并且，示出該預(yù)測(cè)方法的信息，根據(jù)需要，在熵編碼部190中被熵編碼。
[0236]在此，逆量化部140、逆變換部150、加法部160、存儲(chǔ)器170、以及預(yù)測(cè)部180也是在圖像解碼裝置中具備的結(jié)構(gòu)，解碼信號(hào)161，相當(dāng)于圖像解碼裝置中獲得的再生圖像信號(hào)(解碼信號(hào)261)。
[0237]圖18是作為解碼部303及505的一個(gè)例子的解碼部200的方框圖。圖18示出的解碼部200，對(duì)編碼信號(hào)191進(jìn)行解碼，從而生成解碼信號(hào)261。該解碼部200具備，逆量化部240、逆變換部250、加法部260、存儲(chǔ)器270、預(yù)測(cè)部280、以及熵解碼部290。
[0238]熵解碼部290，對(duì)編碼信號(hào)191進(jìn)行熵解碼，從而生成量化系數(shù)231、以及預(yù)測(cè)方法291。
[0239]逆量化部240，對(duì)量化系數(shù)231進(jìn)行逆量化，從而生成解碼變換輸出信號(hào)241。逆變換部250，對(duì)解碼變換輸出信號(hào)241進(jìn)行逆變換，從而生成解碼變換輸入信號(hào)251。
[0240]加法部260，將解碼變換輸入信號(hào)251和預(yù)測(cè)信號(hào)281相加，從而生成解碼信號(hào)261。該解碼信號(hào)261是，由解碼部200得到的再生圖像，作為解碼部200的輸出信號(hào)被輸出，并且被存儲(chǔ)到存儲(chǔ)器270。
[0241]預(yù)測(cè)部280，根據(jù)預(yù)測(cè)方法291從存儲(chǔ)器270獲得規(guī)定的信號(hào)，根據(jù)預(yù)測(cè)方法291，以規(guī)定的方法生成預(yù)測(cè)信號(hào)281。
[0242]以上，說明了實(shí)施例涉及的圖像編碼裝置以及圖像解碼裝置，不過本發(fā)明不僅限于該實(shí)施例。
[0243]此外，所述實(shí)施例涉及的圖像編碼裝置以及圖像解碼裝置包含的各個(gè)處理部典型地可以作為集成電路的LSI來實(shí)現(xiàn)。這些可以將每一個(gè)制成一個(gè)芯片，也可以將一部分或者全部制成一個(gè)芯片。
[0244]還有，集成電路化的方法不局限于LSI，也可以用專用電路或者通用處理器來實(shí)現(xiàn)。也可以利用在LSI制造之后可編程的現(xiàn)場(chǎng)可編程門陣列(FPGA: Field ProgrammableGate Array)或可動(dòng)態(tài)地重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)處理器。
[0245]在所述各個(gè)實(shí)施例，各個(gè)構(gòu)成要素可以用專用的硬件來構(gòu)成，或者通過執(zhí)行適合各個(gè)構(gòu)成要素的軟件程序來實(shí)現(xiàn)。各個(gè)構(gòu)成要素，通過CPU或處理器等的程序執(zhí)行部讀出并執(zhí)行硬盤或半導(dǎo)體存儲(chǔ)器等記錄介質(zhì)上記錄的軟件程序來實(shí)現(xiàn)
[0246]換而言之，圖像編碼裝置及圖像解碼裝置具備，控制電路(control circuitry)、以及與該控制電路電連接的(從該控制電路能夠訪問的)存儲(chǔ)裝置(storage)。控制電路，至少包含專用的硬件及程序執(zhí)行部的一方。并且，存儲(chǔ)裝置，在控制電路包含程序執(zhí)行部的情況下，存儲(chǔ)由該程序執(zhí)行部執(zhí)行的軟件程序。
[0247]加之，本發(fā)明可以是所述軟件程序，也可以是所述程序被記錄的非一時(shí)的計(jì)算機(jī)可讀取的記錄介質(zhì)。此外，所述程序能夠經(jīng)由互聯(lián)網(wǎng)等的傳輸介質(zhì)來流通。
[0248]此外，所述使用的數(shù)字都是為了具體地說明本發(fā)明的示例，本發(fā)明不被例示的數(shù)字所限制。
[0249]此外，在方框圖中的功能塊的分割只是一例，可以將多個(gè)功能塊作為一個(gè)功能塊來實(shí)現(xiàn)，或者將一個(gè)功能塊分割為多個(gè)，或者將一部分功能轉(zhuǎn)移到其他的功能塊。此外，將具有類似的功能的多個(gè)功能塊的功能，用單一的硬件或者軟件并行或者分時(shí)地處理。
[0250]此外，所述的圖像編碼方法或者圖像解碼方法中包含的步驟執(zhí)行的順序，是為了具體地說明本發(fā)明示出的例子的順序，也可以是所述以外的順序。此外，所述步驟的一部分可以與其他的步驟同時(shí)(并行)執(zhí)行。
[0251]以上，針對(duì)本發(fā)明的一個(gè)或多個(gè)方案涉及的圖像編碼裝置以及圖像解碼裝置，根據(jù)實(shí)施例來進(jìn)行了說明，不過，本發(fā)明不是被這些實(shí)施例所限制的。只要不超出本發(fā)明的宗旨，則技術(shù)者想出的各種變形例實(shí)施在各個(gè)實(shí)施例的例子，對(duì)不同實(shí)施例中的構(gòu)成要素進(jìn)行組合而構(gòu)筑的例子也都包括在本發(fā)明的一個(gè)或者多個(gè)方案的范圍中。
[0252](實(shí)施例2)
[0253]將用于實(shí)現(xiàn)所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)或運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的構(gòu)成的程序記錄到存儲(chǔ)媒體，從而所述各個(gè)實(shí)施例示出的處理，能夠在獨(dú)立的計(jì)算機(jī)系統(tǒng)簡(jiǎn)單地實(shí)施。記錄介質(zhì)可以是磁盤、光盤、磁光盤、IC卡、半導(dǎo)體存儲(chǔ)器等，只要能夠記錄程序就可以。
[0254]加之在這里說明，所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)和運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的應(yīng)用例以及使用那些的系統(tǒng)。該系統(tǒng)的特征是具有圖像編解碼裝置，該圖像編解碼裝置由利用圖像編碼方法的圖像編碼裝置以及利用圖像解碼方法的圖像解碼裝置組成。關(guān)于系統(tǒng)中的其外構(gòu)成，按照情況能夠恰當(dāng)?shù)刈兏?br> [0255]圖19是示出實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)exlOO的全體構(gòu)成圖。將通信服務(wù)的提供區(qū)域劃分為所希望的大小，在各個(gè)單元內(nèi)分別設(shè)置有作為固定無線局的基站exl06、exl07、exl08、exl09、exllO。
[0256]在該內(nèi)容提供系統(tǒng)exlOO中，計(jì)算機(jī)exlll、PDA(個(gè)人數(shù)字助理！personaldigital assistant) exll2、攝像機(jī)exll3、便攜式電話exll4、游戲機(jī)exll5等各種設(shè)備通過互聯(lián)網(wǎng)服務(wù)提供商exl02和電話網(wǎng)exl04、以及基站exl06至exllO，與互聯(lián)網(wǎng)exlOl相連接。
[0257]然而，內(nèi)容提供系統(tǒng)exlOO并非局限于圖19所示的構(gòu)成，也可以對(duì)任意的要素進(jìn)行組合后連接。并且，可以不通過作為固定無線局的基站exl06至exllO，而是各個(gè)設(shè)備直接與電話網(wǎng)exl04相連接。并且，也可以是各個(gè)設(shè)備通過近場(chǎng)無線等而彼此直接連接。
[0258]攝像機(jī)exll3是數(shù)字?jǐn)z像機(jī)等能夠拍攝運(yùn)動(dòng)圖像的設(shè)備,攝像機(jī)exll6是數(shù)字照相機(jī)等能夠拍攝靜止圖像以及運(yùn)動(dòng)圖像的設(shè)備。并且便攜式電話exll4是GSM(注冊(cè)商標(biāo))(Global System for Mobile Communicat1ns:全球移動(dòng)通訊系統(tǒng))方式、CDMA (CodeDivis1n Multiple Access:碼分多址)方式、W — CDMA (Wideband — Code Divis1nMultiple Access:寬帶碼分多址)方式、LTE(Long Term Evolut1n:長(zhǎng)期演進(jìn))方式、HSPA(High — Speed Packet Access:高速分組接入)的便攜式電話，或 PHS (PersonalHandy 一 phone System:個(gè)人手持式電話系統(tǒng))等，可以是其中任一個(gè)。
[0259]在內(nèi)容提供系統(tǒng)exlOO中，攝像機(jī)exll3等通過基站exl09、電話網(wǎng)exl04與流播放服務(wù)器exl03連接，從而進(jìn)行實(shí)況分發(fā)等。在實(shí)況分發(fā)中，針對(duì)用戶利用攝像機(jī)exll3拍攝的內(nèi)容(例如音樂實(shí)況的影像等)進(jìn)行在上述的各個(gè)實(shí)施例所說明的編碼處理(即作為本發(fā)明的圖像編碼裝置來發(fā)揮作用)，并發(fā)送到流播放服務(wù)器exl03。另外，流播放服務(wù)器exl03針對(duì)提出請(qǐng)求的客戶端，對(duì)被發(fā)送的內(nèi)容數(shù)據(jù)進(jìn)行流的分發(fā)。作為客戶端，包括可以解碼上述的被編碼處理的數(shù)據(jù)的計(jì)算機(jī)exlll、PDAexll2、攝像機(jī)exll3、便攜式電話exll4、以及游戲機(jī)exll5等。在接收了被分發(fā)的數(shù)據(jù)的各個(gè)設(shè)備，對(duì)接收的數(shù)據(jù)進(jìn)行解碼處理并再生(即作為本發(fā)明的圖像解碼裝置來發(fā)揮作用)。
[0260]并且，拍攝的數(shù)據(jù)的編碼處理可以在攝像機(jī)exll3進(jìn)行，也可以在進(jìn)行數(shù)據(jù)的發(fā)送處理的流播放服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。同樣，被分發(fā)的數(shù)據(jù)的解碼處理可以由客戶端進(jìn)行，也可以在流播放服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。并且，不僅限于攝像機(jī)exll3，由攝像機(jī)exll6拍攝的靜止圖像數(shù)據(jù)以及/或者運(yùn)動(dòng)圖像數(shù)據(jù)，也可以通過計(jì)算機(jī)exlll而發(fā)送到流播放服務(wù)器exl03。此時(shí)的編碼處理可以在攝像機(jī)exll6、計(jì)算機(jī)exlll、流播放服務(wù)器exl03的任一個(gè)中進(jìn)行，也可以相互分擔(dān)進(jìn)行。
[0261]并且，這些編碼處理以及解碼處理通常在計(jì)算機(jī)exlll以及各個(gè)設(shè)備所具有的LSI (Large Scale Integrat1n:大規(guī)模集成電路)ex500中處理。LSIex500可以由一個(gè)芯片構(gòu)成，也可以由多個(gè)芯片構(gòu)成。另外，也可以將運(yùn)動(dòng)圖像編碼用以及運(yùn)動(dòng)圖像解碼用的軟件安裝到能夠由計(jì)算機(jī)exlll等讀取的某種記錄介質(zhì)(CD — ROM、軟盤、硬盤等)中，并利用該軟件來進(jìn)行編碼處理以及解碼處理。而且，在便攜式電話exll4是附帶有相機(jī)的情況下，也可以發(fā)送由該相機(jī)獲得的運(yùn)動(dòng)圖像數(shù)據(jù)。在這種情況下的運(yùn)動(dòng)圖像數(shù)據(jù)是由便攜式電話exll4所具有的LSIex500進(jìn)行編碼處理后的數(shù)據(jù)。
[0262]并且，流播放服務(wù)器exl03是多個(gè)服務(wù)器或多個(gè)計(jì)算機(jī)，也可以是對(duì)數(shù)據(jù)進(jìn)行分散地處理、記錄、分發(fā)的裝置。
[0263]如以上所述，在內(nèi)容提供系統(tǒng)exlOO中，客戶端能夠接收并再生被編碼的數(shù)據(jù)。在這樣的內(nèi)容提供系統(tǒng)exlOO中，在客戶端能夠?qū)崟r(shí)地接收并解碼由用戶發(fā)送的信息并且能夠再生，這樣，即使是沒有特殊權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個(gè)人播放。
[0264]并且，不僅限于內(nèi)容供給系統(tǒng)exlOO的例子，如圖20所示，在數(shù)字廣播用系統(tǒng)ex200上也能夠組裝上述各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像編碼裝置(圖像編碼裝置)以及運(yùn)動(dòng)圖像解碼裝置(圖像解碼裝置)中的任一個(gè)。具體而言，在廣播電臺(tái)ex201，影像數(shù)據(jù)上多路復(fù)用了音樂數(shù)據(jù)的多路復(fù)用數(shù)據(jù)通過電波來通信或被傳輸?shù)叫l(wèi)星ex202。這個(gè)影像數(shù)據(jù)是根據(jù)所述各個(gè)實(shí)施例說明的運(yùn)動(dòng)圖像編碼方法被編碼的數(shù)據(jù)(即根據(jù)本發(fā)明的圖像編碼裝置被編碼的數(shù)據(jù))。接收了這些的廣播衛(wèi)星ex202發(fā)送用于廣播的電波，這些電波由能夠進(jìn)行衛(wèi)星廣播接收的家庭的天線ex204來接收。接收的多路復(fù)用數(shù)據(jù)由電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB)ex217等裝置進(jìn)行解碼并再生(即作為本發(fā)明的一個(gè)方案涉及的圖像解碼裝置發(fā)揮作用)。
[0265]并且,在用于讀取并解碼DVD、BD等記錄介質(zhì)ex215中所記錄的多路復(fù)用數(shù)據(jù)、或者將影像信號(hào)編碼、進(jìn)而有時(shí)與音樂信號(hào)多路復(fù)用后進(jìn)行寫入的閱讀器/記錄器ex218上，也能夠安裝上述各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像解碼裝置或運(yùn)動(dòng)圖像編碼裝置。在這種情況下，被再生的影像信號(hào)能夠被顯示在監(jiān)視器ex219，并且能夠由記錄了多路復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他的裝置或系統(tǒng)中再生影像信號(hào)。并且，也可以將運(yùn)動(dòng)圖像解碼裝置安裝到與有線電視用的電纜ex203或衛(wèi)星/地波廣播的天線ex204連接的機(jī)頂盒ex217內(nèi)，并在電視機(jī)的監(jiān)視器ex219上顯示。此時(shí)，可以不組裝到機(jī)頂盒，而將運(yùn)動(dòng)圖像解碼裝置組裝到電視機(jī)內(nèi)。
[0266]圖21示出了利用了在上述的各個(gè)實(shí)施例中說明的運(yùn)動(dòng)圖像解碼方法以及運(yùn)動(dòng)圖像編碼方法的電視機(jī)(接收機(jī))ex300。電視機(jī)ex300包括:調(diào)諧器ex301，通過接收上述廣播的天線ex204或電纜ex203等獲得或者輸出影像數(shù)據(jù)上多路復(fù)用了聲音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)；調(diào)制/解調(diào)部ex302，解調(diào)接收的多路復(fù)用數(shù)據(jù)，或者為了將多路復(fù)用數(shù)據(jù)發(fā)送到外部而進(jìn)行調(diào)制；以及多路復(fù)用/分離部ex303，對(duì)解調(diào)的多路復(fù)用數(shù)據(jù)分為影像數(shù)據(jù)和聲音數(shù)據(jù)，或者在信號(hào)處理部ex306進(jìn)行了編碼的影像數(shù)據(jù)和聲音數(shù)據(jù)進(jìn)行多路復(fù)用。
[0267]并且，電視機(jī)ex300具有信號(hào)處理部ex306和輸出部ex309，所述信號(hào)處理部ex306具有分別對(duì)聲音信號(hào)和影像信號(hào)進(jìn)行解碼或者對(duì)各個(gè)信息分別進(jìn)行編碼的聲音信號(hào)處理部ex304和影像信號(hào)處理部ex305(作為本發(fā)明的圖像編碼裝置或者圖像解碼裝置發(fā)揮作用)；所述輸出部ex309具有對(duì)被解碼的聲音信號(hào)進(jìn)行輸出的揚(yáng)聲器ex307，以及對(duì)被解碼的影像信號(hào)進(jìn)行顯示的顯示器等顯示部ex308。進(jìn)而，電視機(jī)eX300具有接口部ex317，該接口部ex317具有接受用戶的操作輸入的操作輸入部ex312等。進(jìn)而，電視機(jī)eX300具有統(tǒng)括控制各個(gè)部的控制部ex310，以及向各個(gè)部提供電力的電源電路部ex311。接口部ex317除可以具有操作輸入部ex312以外，還可以具有與閱讀器/記錄器ex218等外部設(shè)備連接的電橋ex313、用于安裝SD卡等記錄介質(zhì)ex216的插槽部ex314、用于與硬盤等外部記錄介質(zhì)連接的驅(qū)動(dòng)器ex315、以及與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。并且，記錄介質(zhì)ex216能夠通過存儲(chǔ)的非易失性/易失性的半導(dǎo)體存儲(chǔ)器元件進(jìn)行信息的電記錄。電視機(jī)ex300的各個(gè)部通過同步總線相互連接。
[0268]首先，對(duì)電視機(jī)ex300通過天線ex204等從外部獲得的多路復(fù)用數(shù)據(jù)進(jìn)行解碼并再生的構(gòu)成進(jìn)行說明。電視機(jī)ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)具有CPU等的控制部ex310的控制，將在調(diào)制/解調(diào)部ex302解調(diào)的多路復(fù)用數(shù)據(jù)，在多路復(fù)用/分離部ex303進(jìn)行分離。并且，電視機(jī)ex300將分離的聲音數(shù)據(jù)在聲音信號(hào)處理部ex304進(jìn)行解碼，利用上述的實(shí)施例中說明的解碼方法，將分離的影像數(shù)據(jù)在影像信號(hào)處理部ex305進(jìn)行解碼。解碼的聲音信號(hào)和影像信號(hào)分別從輸出部ex309被輸出到外部。在進(jìn)行輸出時(shí)，為了使聲音信號(hào)和影像信號(hào)同步再生，而可以在緩沖器ex318、ex319等暫時(shí)蓄積這些信號(hào)。并且，電視機(jī)ex300可以不從廣播等讀出多路復(fù)用數(shù)據(jù)，而是從磁性/光盤、SD卡等記錄介質(zhì)ex215、ex216中讀出多路復(fù)用數(shù)據(jù)。以下將要說明的構(gòu)成是，電視機(jī)ex300對(duì)聲音信號(hào)以及影像信號(hào)進(jìn)行編碼，并發(fā)送到外部或?qū)懭氲接涗浗橘|(zhì)等的構(gòu)成。電視機(jī)ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)控制部ex310的控制，利用在上述的實(shí)施例中說明的編碼方法，在聲音信號(hào)處理部ex304對(duì)聲音信號(hào)進(jìn)行編碼，并在影像信號(hào)處理部ex305對(duì)影像信號(hào)進(jìn)行編碼。被編碼的聲音信號(hào)和影像信號(hào)在多路復(fù)用/分離部ex303被多路復(fù)用，并被輸出到外部。在進(jìn)行多路復(fù)用時(shí)，為了使聲音信號(hào)和影像信號(hào)同步，而可以將這些信號(hào)暫時(shí)蓄積到緩沖器ex320、ex321等。另外，關(guān)于緩沖器ex318至ex321，可以如圖中所示那樣具備多個(gè)，也可以是共享一個(gè)以上的緩沖器的構(gòu)成。而且，除圖中所示以外，例如可以在調(diào)制/解調(diào)部ex302與多路復(fù)用/分離部ex303之間等，作為回避系統(tǒng)的上溢和下溢的緩沖部分，在緩沖器中蓄積數(shù)據(jù)。
[0269]并且，電視機(jī)ex300除具有獲得來自廣播以及記錄介質(zhì)等的聲音數(shù)據(jù)以及影像數(shù)據(jù)的構(gòu)成以外，還可以具有接受麥克風(fēng)以及攝像機(jī)的AV輸入的構(gòu)成，并且也可以對(duì)從這些獲得的數(shù)據(jù)進(jìn)行編碼處理。并且，在此雖然對(duì)電視機(jī)ex300能夠進(jìn)行上述的編碼處理、多路復(fù)用以及外部輸出的構(gòu)成進(jìn)行了說明，不過也可以是不進(jìn)行上述的全部的處理，而僅進(jìn)行上述的接收、解碼處理以及外部輸出的構(gòu)成。
[0270]并且，在閱讀器/記錄器ex218從記錄介質(zhì)中讀出或?qū)懭攵嗦窂?fù)用數(shù)據(jù)的情況下，上述的解碼處理或編碼處理也可以在電視機(jī)ex300以及閱讀器/記錄器ex218的某一個(gè)中進(jìn)行，也可以是電視機(jī)ex300和閱讀器/記錄器ex218彼此分擔(dān)進(jìn)行。
[0271]作為一個(gè)例子，圖22示出了從光盤進(jìn)行數(shù)據(jù)的讀取或?qū)懭氲那闆r下的信息再生/記錄部ex400的構(gòu)成。信息再生/記錄部ex400包括以下將要說明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學(xué)頭ex401將激光照射到作為光盤的記錄介質(zhì)ex215的記錄面并寫入信息，并且檢測(cè)來自記錄介質(zhì)ex215的記錄面的反射光并讀取信息。調(diào)制記錄部ex402對(duì)被內(nèi)藏于光學(xué)頭ex401的半導(dǎo)體激光進(jìn)行電驅(qū)動(dòng)，并按照記錄數(shù)據(jù)來進(jìn)行激光的調(diào)制。再生解調(diào)部ex403對(duì)由被內(nèi)藏于光學(xué)頭ex401的光電探測(cè)器對(duì)來自記錄面的反射光進(jìn)行電檢測(cè)而得到的再生信號(hào)進(jìn)行放大，對(duì)被記錄在記錄介質(zhì)ex215的信號(hào)成分進(jìn)行分離、解調(diào)，并再生必要的信息。緩沖器ex404對(duì)用于在記錄介質(zhì)ex215進(jìn)行記錄的信息以及從記錄介質(zhì)ex215再生的信息進(jìn)行暫時(shí)保持。盤式電機(jī)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406在對(duì)盤式電機(jī)ex405的旋轉(zhuǎn)驅(qū)動(dòng)進(jìn)行控制的同時(shí)，將光學(xué)頭ex401移動(dòng)到規(guī)定的代碼道，進(jìn)行激光的光點(diǎn)的追蹤處理。系統(tǒng)控制部ex407對(duì)信息再生/記錄部ex400進(jìn)行整體控制。上述的讀出以及寫入處理可以通過以下的方法來實(shí)現(xiàn)，即:系統(tǒng)控制部ex407利用被保持在緩沖器ex404的各種信息，并且按照需要在進(jìn)行新的信息的生成以及追加的同時(shí)，一邊使調(diào)制記錄部ex402、再生解調(diào)部ex403以及伺服控制部ex406協(xié)調(diào)工作，一邊通過光學(xué)頭ex401來進(jìn)行信息的記錄再生。系統(tǒng)控制部ex407例如以微處理器構(gòu)成，通過執(zhí)行讀出以及寫入的程序來執(zhí)行這些處理。
[0272]以上，以光學(xué)頭ex401照射激光光點(diǎn)為例進(jìn)行了說明，不過也可以利用近場(chǎng)光學(xué)來進(jìn)行高密度的記錄。
[0273]圖23是作為光盤的記錄介質(zhì)ex215的模式圖。在記錄介質(zhì)ex215的記錄面上，導(dǎo)槽(槽)被形成為螺旋狀，在代碼道ex230上預(yù)先被記錄有按照槽的形狀的變化示出盤上的絕對(duì)位置的地址信息。該地址信息包括用于確定記錄塊ex231的位置的信息，該記錄塊ex231是記錄數(shù)據(jù)的單位，在進(jìn)行記錄以及再生的裝置能夠通過再生代碼道ex230以及讀取地址信息，來確定記錄塊。并且，記錄介質(zhì)ex215包括:數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、以及外周區(qū)域ex234。用于記錄用戶數(shù)據(jù)的區(qū)域?yàn)閿?shù)據(jù)記錄區(qū)域ex233，被配置在數(shù)據(jù)記錄區(qū)域ex233的內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234被用于用戶數(shù)據(jù)的記錄以外的特殊用途。信息再生/記錄部ex400針對(duì)這種記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233，進(jìn)行被編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或?qū)@些數(shù)據(jù)進(jìn)行多路復(fù)用后的多路復(fù)用數(shù)據(jù)的讀寫。
[0274]以上以具有一層結(jié)構(gòu)的DVD、BD等光盤為例進(jìn)行了說明，但并非受此所限，也可以是多層結(jié)構(gòu)的能夠在表面以外進(jìn)行記錄的光盤。并且，也可以在盤的同一位置上記錄利用了各種不同波長(zhǎng)的顏色的光的信息，或者可以是從各種角度記錄不同的信息的層等的具有進(jìn)行多維的記錄/再生的構(gòu)成的光盤。
[0275]此外，在數(shù)字廣播用系統(tǒng)ex200，能夠在具有天線ex205的車輛ex210從衛(wèi)星ex202等接收數(shù)據(jù)，并在車輛ex210具有的車輛導(dǎo)航系統(tǒng)211等的顯示裝置再生運(yùn)動(dòng)圖像。另外，關(guān)于車輛導(dǎo)航系統(tǒng)ex211的構(gòu)成可以考慮成在圖21示出的構(gòu)成中添加GPS接收部，同樣也可以考慮在計(jì)算機(jī)exlll和便攜式電話exll4等上。
[0276]圖24A是示出了利用了在上述的實(shí)施例所說明的運(yùn)動(dòng)圖像編碼方法和運(yùn)動(dòng)圖像解碼方法的便攜式電話exll4的圖。便攜式電話exll4具有:天線ex350，用于在與基站exllO之間進(jìn)行電波的收發(fā)；攝像機(jī)部ex365,能夠拍攝影像和靜止圖像；顯示部ex358,是用于顯示在攝像機(jī)部ex365拍攝的影像以及由天線ex350接收的影像等被解碼后的數(shù)據(jù)的液晶顯示器等。便攜式電話exll4還具有:具有操作鍵部ex366的主體部、聲音輸出部ex357,是用于輸出聲音的揚(yáng)聲器等；聲音輸入部ex356,是用于輸入聲音的麥克風(fēng)等；存儲(chǔ)器部ex367，用于保存拍攝的影像、靜止圖像、錄音的聲音、或者接收的影像、靜止圖像、郵件等被編碼或被解碼的數(shù)據(jù)；或者同樣是保存數(shù)據(jù)的記錄介質(zhì)之間的接口的插槽部ex364。
[0277]進(jìn)一步利用圖24B對(duì)便攜式電話exll4的構(gòu)成例進(jìn)行說明。在便攜式電話exll4中，針對(duì)用于統(tǒng)括控制具有顯示部ex358以及操作鍵部ex366的主體部的各個(gè)部的主控制部ex360，電源電路部ex361、操作輸入控制部ex362、影像信號(hào)處理部ex355、攝像機(jī)接口部ex363、IXD (Liquid Crystal Display:液晶顯示器)控制部 ex359、調(diào)制 / 解調(diào)部 ex352、多路復(fù)用/分離部ex353、聲音信號(hào)處理部ex354、插槽部ex364、以及存儲(chǔ)器部ex367經(jīng)由總線ex370相互連接。
[0278]電源電路部ex361在通過用戶的操作而成為通話結(jié)束以及電源鍵成為導(dǎo)通狀態(tài)下，通過從電池組向各個(gè)部提供電力，從而啟動(dòng)便攜式電話exll4，使其成為能夠工作的狀態(tài)。
[0279]便攜式電話exll4根據(jù)由CPU、ROM以及RAM等構(gòu)成的主控制部ex360的控制，在聲音通話模式時(shí)，由聲音信號(hào)處理部ex354將在聲音輸入部ex356收集的聲音信號(hào)轉(zhuǎn)換為數(shù)字聲音信號(hào)，并在調(diào)制/解調(diào)部ex352進(jìn)行擴(kuò)頻(Spread Spectrum)處理,在發(fā)送/接收部ex351進(jìn)行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后，經(jīng)由天線ex350發(fā)送。并且，便攜式電話exll4在聲音通話模式時(shí)，對(duì)通過天線ex350接收的接收數(shù)據(jù)進(jìn)行放大并進(jìn)行頻率轉(zhuǎn)換處理以及模數(shù)轉(zhuǎn)換處理，在調(diào)制/解調(diào)部ex352進(jìn)行擴(kuò)頻處理的逆處理，在由聲音信號(hào)處理部ex354轉(zhuǎn)換為模擬聲音信號(hào)之后,將其從聲音輸出部ex356輸出。
[0280]并且，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，通過主體部的操作鍵部ex366等的操作被輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362被發(fā)送到主控制部ex360。主控制部ex360，由調(diào)制/解調(diào)部ex352對(duì)文本數(shù)據(jù)進(jìn)行擴(kuò)頻處理，在發(fā)送/接收部ex351進(jìn)行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后,經(jīng)由天線ex350發(fā)送到基站exllO。在接收電子郵件的情況下、針對(duì)接收的數(shù)據(jù)進(jìn)行與上述幾乎相反的處理，發(fā)送到顯示部ex358。
[0281]在數(shù)據(jù)通信模式時(shí)發(fā)送影像、靜止圖像、或影像和聲音的情況下，影像信號(hào)處理部ex355，將從攝像機(jī)部ex365提供的影像信號(hào)，按照所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法來進(jìn)行壓縮編碼(即，作為本發(fā)明的一個(gè)方式涉及的圖像編碼裝置來發(fā)揮作用)，并將被編碼的影像數(shù)據(jù)發(fā)送到多路復(fù)用/分離部ex353。此外，聲音信號(hào)處理部ex354，對(duì)攝像機(jī)部ex365拍攝影像、靜止圖像等中，由聲音輸入部ex356收集的聲音信號(hào)進(jìn)行編碼，并將被編碼的聲音數(shù)據(jù)發(fā)送到多路復(fù)用/分離部ex353。
[0282]多路復(fù)用/分離部ex353以規(guī)定的方式，對(duì)從影像信號(hào)處理部ex355提供來的被編碼的影像數(shù)據(jù)和從聲音信號(hào)處理部ex354提供來的被編碼的聲音數(shù)據(jù)進(jìn)行多路復(fù)用，將通過多路復(fù)用而得到的多路復(fù)用數(shù)據(jù)在調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進(jìn)行擴(kuò)頻處理，并在發(fā)送/接收部ex351進(jìn)行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后，經(jīng)由天線ex350發(fā)送。
[0283]在數(shù)據(jù)通信模式時(shí)，接收被鏈接在主頁等的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的情況下，或者接收被添加了影像及/或聲音的電子郵件的情況下，為了經(jīng)由天線ex350解碼被接收的多路復(fù)用數(shù)據(jù)，多路復(fù)用/分離部ex353，通過分割多路復(fù)用數(shù)據(jù)來分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將被編碼的影像數(shù)據(jù)提供給影像信號(hào)處理部ex355,并且將被編碼的聲音數(shù)據(jù)提供給聲音信號(hào)處理部ex354。影像信號(hào)處理部ex355根據(jù)與所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法對(duì)應(yīng)的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼來解碼影像信號(hào)(即，作為本發(fā)明的圖像解碼裝置來發(fā)揮作用)，通過IXD控制部ex359在顯示部ex358顯示例如被鏈接在主頁的運(yùn)動(dòng)圖像文件中包含的影像、靜止圖像。此外，聲音信號(hào)處理部ex354解碼聲音信號(hào)，從聲音輸出部ex357輸出聲音。
[0284]并且，上述便攜式電話exll4等終端與電視機(jī)ex300同樣，除可以考慮到是具有編碼器以及解碼器雙方的收發(fā)信型終端的形式以外，還可以考慮到是僅具有編碼器的發(fā)送終端，以及僅具有解碼器的接收終端的共三種形式。并且，上述說明了在數(shù)字廣播用系統(tǒng)ex200，接收以及發(fā)送在影像數(shù)據(jù)上多路復(fù)用了音樂數(shù)據(jù)等的多路復(fù)用數(shù)據(jù)，不過可以是除了聲音數(shù)據(jù)以外多路復(fù)用了有關(guān)影像的文字?jǐn)?shù)據(jù)等的數(shù)據(jù)，也可以是影像數(shù)據(jù)本身，而不是多路復(fù)用數(shù)據(jù)。
[0285]這樣，在上述的實(shí)施例所示的圖像編碼方法或圖像解碼方法能夠適用于上述的任一個(gè)設(shè)備以及系統(tǒng)，這樣，能夠得到在上述的實(shí)施例中說明的效果。
[0286]此外，本發(fā)明不僅限于所述的實(shí)施例，可以不脫離本發(fā)明的范圍而進(jìn)行各種變形或修改。
[0287](實(shí)施例3)
[0288]可以按照需要適宜地切換上述的各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像編碼方法或裝置與依照MPEG - 2、MPEG4 — AVC, VC 一 I等不同的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置，來生成影像數(shù)據(jù)。
[0289]在這里，在根據(jù)各自不同的標(biāo)準(zhǔn)生成了多個(gè)影像數(shù)據(jù)的情況下，需要在解碼時(shí)選擇與各自的標(biāo)準(zhǔn)對(duì)應(yīng)的解碼方法。然而，不能識(shí)別要解碼的影像數(shù)據(jù)是依據(jù)了哪個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)，所以產(chǎn)生不能選擇恰當(dāng)?shù)慕獯a方法這樣的課題。
[0290]為了解決這個(gè)課題可以是在影像數(shù)據(jù)上多路復(fù)用了聲音數(shù)據(jù)等的多路復(fù)用數(shù)據(jù)包含識(shí)別信息的構(gòu)成，該識(shí)別信息表示影像數(shù)據(jù)是依據(jù)了哪個(gè)標(biāo)準(zhǔn)。下面說明包含由上述的各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的多路復(fù)用數(shù)據(jù)的具體構(gòu)成。多路復(fù)用數(shù)據(jù)是MPEG — 2傳輸流形式的數(shù)字流。
[0291]圖25是表示多路復(fù)用數(shù)據(jù)的構(gòu)成的圖。如圖25所示多路復(fù)用數(shù)據(jù)是通過對(duì)如下流中的一個(gè)以上進(jìn)行多路復(fù)用而得到的數(shù)據(jù):視頻流，音頻流，字幕流(presentat1ngraphics:PG),交互式圖形流(interactive graphics stream)。視頻流表示電影的主影像以及副影像，音頻流(IG)表示電影的主聲音部分和與主聲音混合的副聲音，字幕流表示電影的字幕。在這里，主影像表示在畫面顯示的通常的影像，副影像是指在主影像中以小畫面顯示的影像。還有，交互式圖形流示出通過在畫面上配置圖形用戶界面元件而作成的對(duì)話畫面。視頻流，根據(jù)上述的各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像編碼方法或裝置，以及以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置被編碼。音頻流，根據(jù)杜比 AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等方式被編碼。
[0292]多路復(fù)用數(shù)據(jù)中包含的各個(gè)流由PID被識(shí)別。例如，針對(duì)用于電影的影像的視頻流分配0x1011，針對(duì)音頻流分配從Oxl 100到Oxl 11F，針對(duì)字幕流分配從0x1200到0xl21F，針對(duì)交互式圖形流分配從0x1400到0xl41F，針對(duì)用于電影的副影像的視頻流分配從OxlBOO到OxlBlF，針對(duì)用于與主聲音混合的副聲音的音頻流分配從OxlAOO到OxlAlF。
[0293]圖26是表示多路復(fù)用數(shù)據(jù)怎樣被多路復(fù)用的模式圖。首先，由多個(gè)視頻幀組成的視頻流ex235、由多個(gè)音頻幀組成的音頻流ex238，分別變換為PES數(shù)據(jù)包列ex236以及ex239，變換為TS數(shù)據(jù)包ex237以及ex240。同樣地將字幕流ex241及交互式圖形ex244的數(shù)據(jù)，分別變換為PES數(shù)據(jù)包列ex242以及ex245，進(jìn)一步變換為TS數(shù)據(jù)包ex243以及ex246。多路復(fù)用數(shù)據(jù)ex247，將這些TS數(shù)據(jù)包多路復(fù)用在I個(gè)流上而被構(gòu)成。
[0294]圖27是更加詳細(xì)地表示在PES數(shù)據(jù)包列中視頻流怎樣被存儲(chǔ)的圖。在圖27的第一段示出視頻流的視頻巾貞列。第二段示出PES數(shù)據(jù)包列。如圖27的箭頭yyl, yy2, yy3, yy4所示，作為視頻流中的多個(gè)Video Presentat1n Unit的I圖片，B圖片，P圖片，按每個(gè)圖片被分割，存儲(chǔ)到PES數(shù)據(jù)包的有效負(fù)載中。各個(gè)PES數(shù)據(jù)包擁有PES頭，PES頭中存儲(chǔ)了作為圖片的顯示時(shí)刻的PTS(Presentat1n Time 一 Stamp:顯示時(shí)間戳)、作為圖片的解碼時(shí)刻的 DTS (Decoding Time — Stamp:解碼時(shí)間戳)。
[0295]圖28示出最終被寫入到多路復(fù)用數(shù)據(jù)中的TS數(shù)據(jù)包的形式。TS數(shù)據(jù)包是具有識(shí)別流的PID等的信息的4Byte的TS頭以及存儲(chǔ)數(shù)據(jù)的184Byte的TS有效負(fù)載所構(gòu)成的188Byte定長(zhǎng)的數(shù)據(jù)包，所述PES數(shù)據(jù)包被分割被存儲(chǔ)到TS有效負(fù)載。在是BD — ROM的情況下，TS數(shù)據(jù)包被賦予4Byte的TP_Extra_Header,構(gòu)成192Byte的源數(shù)據(jù)包,被寫入到多路復(fù)用數(shù)據(jù)。在 TP_Extra_Header 上記載了 ATS(Arrival_Time_Stamp)等的信息。ATS 表示該TS數(shù)據(jù)包向解碼器的PID濾波器的傳輸開始時(shí)刻。在多路復(fù)用數(shù)據(jù)中如圖28的下段所示排列了源數(shù)據(jù)包，從多路復(fù)用數(shù)據(jù)的開頭增加的編號(hào)被稱為SPN(源數(shù)據(jù)包編號(hào))。
[0296]此外，多路復(fù)用數(shù)據(jù)中包含的TS數(shù)據(jù)包中除了影像、聲音、字幕等各個(gè)流以外，還有 PAT (Program Associat1n Table:節(jié)目關(guān)聯(lián)表)、PMT (Program Map Table:節(jié)目映射表)、PCR(Program Clock Reference:節(jié)目時(shí)鐘基準(zhǔn))等。PAT表示多路復(fù)用數(shù)據(jù)中所利用的PMT的PID是什么，PAT自身的PID登記為O。PMT具有多路復(fù)用數(shù)據(jù)中包含的影像、聲音、字幕等的各個(gè)流的PID以及與各個(gè)PID對(duì)應(yīng)的流的屬性信息，并且具有與多路復(fù)用數(shù)據(jù)有關(guān)的各種描述符。描述符具有復(fù)制控制信息等，該復(fù)制控制信息指示多路復(fù)用數(shù)據(jù)的復(fù)制許可、不許可。PCR為了使作為ATS的時(shí)間軸的ATC(Arrival Time Clock)與作為PTS、DTS的時(shí)間軸的STC(System Time Clock)同步，具有與該P(yáng)CR數(shù)據(jù)包傳輸?shù)浇獯a器的ATS對(duì)應(yīng)的STC時(shí)間的信息。
[0297]圖29是詳細(xì)地說明PMT的數(shù)據(jù)構(gòu)成的圖。PMT的開頭設(shè)置了 PMT頭，用于記載該P(yáng)MT中包含的數(shù)據(jù)的長(zhǎng)度等。在其之后設(shè)置了多個(gè)與多路復(fù)用數(shù)據(jù)有關(guān)的描述符。上述復(fù)制控制信息等作為描述符被記載。在描述符之后設(shè)置了多個(gè)與多路復(fù)用數(shù)據(jù)中包含的各個(gè)流有關(guān)的流信息。流信息，為了識(shí)別流的壓縮編解碼等，由記載了流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符所構(gòu)成。流描述符的數(shù)量與在多路復(fù)用數(shù)據(jù)中存在的流的數(shù)量相同。
[0298]在記錄介質(zhì)等記錄的情況下，上述多路復(fù)用數(shù)據(jù)與多路復(fù)用數(shù)據(jù)信息文件一起被記錄。
[0299]如圖30所示多路復(fù)用數(shù)據(jù)信息文件是多路復(fù)用數(shù)據(jù)的管理信息，與多路復(fù)用數(shù)據(jù)I對(duì)I地對(duì)應(yīng),其由多路復(fù)用數(shù)據(jù)信息、流屬性信息以及項(xiàng)映射(entry map)所構(gòu)成。
[0300]多路復(fù)用數(shù)據(jù)信息如圖30所示，由系統(tǒng)速率、再生開始時(shí)刻、再生結(jié)束時(shí)刻所構(gòu)成。系統(tǒng)速率表示多路復(fù)用數(shù)據(jù)向著后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大傳輸速率。多路復(fù)用數(shù)據(jù)中包含的ATS的間隔，被設(shè)定為是系統(tǒng)速率以下。再生開始時(shí)刻是多路復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再生結(jié)束時(shí)刻被設(shè)定為，在多路復(fù)用數(shù)據(jù)的尾端的視頻幀的PTS加上I幀的再生間隔。
[0301]流屬性信息如圖31所示，按每個(gè)PID登記包含在多路復(fù)用數(shù)據(jù)中的各個(gè)流的屬性信息。屬性信息按照每個(gè)視頻流、音頻流、字幕流、交互式圖形流，具有不同的信息。視頻流屬性信息具有如下信息:該視頻流以怎樣的壓縮編解碼被壓縮、構(gòu)成視頻流的各個(gè)圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等信息。音頻流屬性信息，具有如下信息:該音頻流以怎樣的壓縮編解碼被壓縮、該音頻流中包含的頻道數(shù)是多少、與什么語言對(duì)應(yīng)、采樣頻率是多少等信息。這些信息，用于在播放器再生之前的解碼器的初始化等。
[0302]在本實(shí)施例，利用所述多路復(fù)用數(shù)據(jù)中的PMT中包含的流類型。此外，在記錄介質(zhì)中記錄了多路復(fù)用數(shù)據(jù)的情況下，利用多路復(fù)用數(shù)據(jù)信息中包含的視頻流屬性信息。具體而言，在上述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置中，針對(duì)PMT中包含的流類型、或視頻流屬性信息，設(shè)置設(shè)定固有的信息的步驟或單元，該固有的信息表示由上述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)。根據(jù)該構(gòu)成，能夠識(shí)別由所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)與依據(jù)其他的標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[0303]此外，圖32表示在本實(shí)施例的運(yùn)動(dòng)圖像解碼方法的步驟。在步驟exSlOO，從多路復(fù)用數(shù)據(jù)中獲得PMT中包含的流類型、或者多路復(fù)用數(shù)據(jù)信息中包含的視頻流屬性信息。接著，在步驟exSlOl，判斷流類型或視頻流屬性信息是否表示是由所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置所生成的多路復(fù)用數(shù)據(jù)。而且，在判斷為流類型或視頻流屬性信息表示是由所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置所生成的數(shù)據(jù)的情況下，在步驟exS102，所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼。此外，流類型或視頻流屬性信息表示是以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標(biāo)準(zhǔn)的數(shù)據(jù)的情況下，在步驟exS103，根據(jù)所依據(jù)的以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法來進(jìn)行解碼。
[0304]這樣，通過在流類型或視頻流屬性信息設(shè)定新的固有值，從而在解碼時(shí)，能夠判斷根據(jù)所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像解碼方法或裝置是否能夠解碼。從而，即時(shí)被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多路復(fù)用數(shù)據(jù)時(shí)，也能夠選擇恰當(dāng)?shù)慕獯a方法或裝置，因此能夠不產(chǎn)生錯(cuò)誤地進(jìn)行解碼。此外，本實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置，或者運(yùn)動(dòng)圖像解碼方法或裝置，能夠用在上述的任一個(gè)設(shè)備以及系統(tǒng)。
[0305](實(shí)施例4)
[0306]上述的各個(gè)實(shí)施例所示的運(yùn)動(dòng)圖像編碼方法以及裝置、運(yùn)動(dòng)圖像解碼方法以及裝置，典型的能夠以作為集成電路的LSI來實(shí)現(xiàn)。作為一個(gè)例子，圖33示出了被制成一個(gè)芯片的LSIex500的構(gòu)成。LSIex500包括以下將要說明的要素ex501至ex509，各個(gè)要素通過總線ex510連接。電源電路部ex505在電源為打開狀態(tài)的情況下,通過向各個(gè)部提供電力，從而啟動(dòng)為能夠工作的狀態(tài)。
[0307]例如，在進(jìn)行編碼處理的情況下，LSIex500，根據(jù)具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等的控制部ex501的控制，根據(jù)AV輸入輸出ex509從麥克風(fēng)exll7和攝像機(jī)exll3等輸入AV信號(hào)。被輸入的AV信號(hào)被暫時(shí)蓄積到SDRAM等的外部的存儲(chǔ)器ex511。根據(jù)控制部ex501的控制，存儲(chǔ)的數(shù)據(jù)按照處理量和處理速度適當(dāng)?shù)胤譃槎鄠€(gè)被發(fā)送到信號(hào)處理部ex507，在信號(hào)處理部ex507被進(jìn)行聲音信號(hào)的編碼及/或影像信號(hào)的編碼。在這里，影像信號(hào)的編碼處理是所述各個(gè)實(shí)施例說明的編碼處理。在信號(hào)處理部ex507還根據(jù)情況對(duì)被編碼的聲音數(shù)據(jù)以及被編碼的影像數(shù)據(jù)進(jìn)行多路復(fù)用等處理，從流輸入輸出ex506輸出到外部。該被輸出的多路復(fù)用數(shù)據(jù)被發(fā)送到基站exl07，或者被寫入到記錄介質(zhì)ex215。并且，為了在多路復(fù)用時(shí)能夠同步進(jìn)行，而可以將數(shù)據(jù)暫時(shí)蓄積到緩沖器ex508。
[0308]另外，以上雖然對(duì)存儲(chǔ)器ex511作為L(zhǎng)SIex500的外部構(gòu)成進(jìn)行了說明，不過也可以被包括在LSIex500的內(nèi)部。緩沖器ex508也可以不限于一個(gè)，可以具備多個(gè)緩沖器。并且，LSIex500可以被制成一個(gè)芯片，也可以是多個(gè)芯片。
[0309]此外，在上述說明中，控制部ex501具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等,不過,控制部ex501的構(gòu)成,不限于這個(gè)構(gòu)成。例如,可以是信號(hào)處理部ex507還具備CPU的構(gòu)成。通過在信號(hào)處理部ex507的內(nèi)部也設(shè)置CPU，可以使處理速度提高。此外，作為其他的例子，可以是CPUex502具備信號(hào)處理部ex507、或者具備信號(hào)處理部ex507的一部分例如聲音信號(hào)處理部的構(gòu)成。在這樣的情況下，控制部ex501是具備信號(hào)處理部ex507或具有其一部分的CPUex502的構(gòu)成。
[0310]在此，雖然例示了 LSI，不過根據(jù)集成度的不同，也可以稱為1C、系統(tǒng)LS1、超級(jí)LS1、極超級(jí)LSI。
[0311]還有，集成電路化的方法不局限于LSI，也可以用專用電路或者通用處理器來實(shí)現(xiàn)。也可以利用在LSI制造之后可編程的現(xiàn)場(chǎng)可編程門陣列(FPGA: Field ProgrammableGate Array)或可動(dòng)態(tài)地重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)處理器。這樣的可編程邏輯裝置，典型的是加載或者從存儲(chǔ)器等讀入構(gòu)成軟件或者固件的程序，從而能夠執(zhí)行所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法、或運(yùn)動(dòng)圖像解碼方法。
[0312]而且，隨著半導(dǎo)體技術(shù)的進(jìn)步或派生出的其他的技術(shù)，若出現(xiàn)了能夠取代LSI的集成電路化的技術(shù)，當(dāng)然也可以利用這些技術(shù)來對(duì)功能塊進(jìn)行集成化。有可能適用生物技術(shù)等。
[0313](實(shí)施例5)
[0314]在對(duì)根據(jù)所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)進(jìn)行解碼的情況下，可以想到與對(duì)依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標(biāo)準(zhǔn)的影像數(shù)據(jù)進(jìn)行解碼的情況相比，處理量增加。因此，在LSIex500中需要設(shè)定比解碼依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)時(shí)的CPUex502的驅(qū)動(dòng)頻率高的驅(qū)動(dòng)頻率。但是驅(qū)動(dòng)頻率高，則產(chǎn)生電力消耗高這樣的課題。
[0315]為了解決這個(gè)課題，設(shè)電視ex300、LSIex500等運(yùn)動(dòng)圖像解碼裝置為如下構(gòu)成，識(shí)別影像數(shù)據(jù)依據(jù)了哪個(gè)標(biāo)準(zhǔn)，按照標(biāo)準(zhǔn)切換驅(qū)動(dòng)頻率的構(gòu)成。圖34表示在本實(shí)施例的構(gòu)成ex800o驅(qū)動(dòng)頻率切換部ex803，在影像數(shù)據(jù)是由所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像編碼方法或裝置所生成的情況下，設(shè)定高的驅(qū)動(dòng)頻率。而且，對(duì)執(zhí)行所述各個(gè)實(shí)施例表示的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801進(jìn)行指示，以解碼影像數(shù)據(jù)。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況的情況下，與影像數(shù)據(jù)由所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的情況相比，設(shè)定低的驅(qū)動(dòng)頻率。而且，指示依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802，對(duì)影像數(shù)據(jù)進(jìn)行解碼。
[0316]更具體而言，驅(qū)動(dòng)頻率切換部ex803由圖33的CPUex502與驅(qū)動(dòng)頻率控制部ex512所構(gòu)成。此外，執(zhí)行所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801，以及依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802，相當(dāng)于圖33的信號(hào)處理部ex507。CPUex502識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)。而且，根據(jù)來自CPUex502的信號(hào)，驅(qū)動(dòng)頻率控制部ex512設(shè)定驅(qū)動(dòng)頻率。此外，根據(jù)來自CPUex502的信號(hào)，信號(hào)處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。在這里，可以考慮在影像數(shù)據(jù)的識(shí)別中利用例如在實(shí)施例8記載的識(shí)別信息。有關(guān)識(shí)別信息，不僅限于在實(shí)施例8記載的信息，只要是能夠識(shí)別影像數(shù)據(jù)是依據(jù)哪個(gè)標(biāo)準(zhǔn)的信息就可以。例如，在根據(jù)識(shí)別影像數(shù)據(jù)是否用于電視，是否用于盤等的外部信號(hào)，能夠識(shí)別影像數(shù)據(jù)是依據(jù)哪個(gè)標(biāo)準(zhǔn)的情況下，可以根據(jù)這樣的外部信號(hào)進(jìn)行識(shí)別。此外，在CPUex502的驅(qū)動(dòng)頻率的選擇，可以考慮根據(jù)例如如圖36 —樣的使影像數(shù)據(jù)的標(biāo)準(zhǔn)和驅(qū)動(dòng)頻率對(duì)應(yīng)的一覽表來進(jìn)行。將一覽表預(yù)先存儲(chǔ)在緩沖器ex508和LSI的內(nèi)存儲(chǔ)器中，通過CPUex502參考這個(gè)一覽表，能夠選擇驅(qū)動(dòng)頻率。
[0317]圖35示出了實(shí)施本實(shí)施例的方法的步驟。首先，在步驟exS200中，由信號(hào)處理部ex507從多路復(fù)用數(shù)據(jù)中獲得識(shí)別信息。接著，在步驟exS201中，CPUex502根據(jù)識(shí)別信息，識(shí)別影像數(shù)據(jù)是不是由所述各個(gè)實(shí)施例示出的編碼方法或裝置所生成的數(shù)據(jù)。在影像數(shù)據(jù)是由所述各個(gè)實(shí)施例示出的編碼方法或裝置所生成的數(shù)據(jù)情況下，在步驟exS202中，將設(shè)定高的驅(qū)動(dòng)頻率的信號(hào)，由CPUex502發(fā)送到驅(qū)動(dòng)頻率控制部ex512。而且，在驅(qū)動(dòng)頻率控制部ex512設(shè)定高的驅(qū)動(dòng)頻率。另一方面，在示出了是依據(jù)以往的MPEG — 2、MPEG4 一 AVC,VC -1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，將設(shè)定低的驅(qū)動(dòng)頻率的信號(hào)，由CPUex502發(fā)送到驅(qū)動(dòng)頻率控制部ex512。而且，在驅(qū)動(dòng)頻率控制部ex512，設(shè)定與影像數(shù)據(jù)由所述各個(gè)實(shí)施例示出的編碼方法或裝置所生成的情況相比低的驅(qū)動(dòng)頻率。
[0318]加之，與驅(qū)動(dòng)頻率的切換聯(lián)動(dòng)，通過變更對(duì)LSIeX500或包含LSIeX500的裝置施加的電壓，可以提高省電效果。例如，在設(shè)定低驅(qū)動(dòng)頻率的情況下，隨之與設(shè)定高驅(qū)動(dòng)頻率的情況相比，可以考慮使對(duì)LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為低電壓。
[0319]此外，關(guān)于驅(qū)動(dòng)頻率的設(shè)定方法，只要在解碼時(shí)的處理量大的情況下，設(shè)定高的驅(qū)動(dòng)頻率，在解碼時(shí)的處理量小的情況下，設(shè)定低的驅(qū)動(dòng)頻率就可以，不限于上述的設(shè)定方法。例如對(duì)依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)進(jìn)行解碼的處理量，大于對(duì)由所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)進(jìn)行解碼的處理量的情況下，可以考慮將驅(qū)動(dòng)頻率的設(shè)定與上述的情況相反地進(jìn)行。
[0320]加之，驅(qū)動(dòng)頻率的設(shè)定方法不限于使驅(qū)動(dòng)頻率設(shè)為低的構(gòu)成。例如，可以考慮在識(shí)別信息示出是由所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，對(duì)LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為高的電壓，在示出是依據(jù)以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，對(duì)LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為低的電壓。此外，作為其他的例子，可以考慮在識(shí)別信息示出是由所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，不停止CPUex502的驅(qū)動(dòng)，在示出是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，因?yàn)樘幚碛杏嗔?，可以暫時(shí)停止CPUex502的驅(qū)動(dòng)。即使在識(shí)別信息示出是由所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，如果處理有余量，也可以考慮暫時(shí)停止CPUex502的驅(qū)動(dòng)。這個(gè)情況下，可以考慮與識(shí)別信息示出是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，停止時(shí)間設(shè)定地較短。
[0321]這樣，按照影像數(shù)據(jù)依據(jù)的標(biāo)準(zhǔn)來切換驅(qū)動(dòng)頻率，從而能夠達(dá)到省電化。此外，在利用電池驅(qū)動(dòng)LSIex500或包含LSIex500的裝置的情況下，隨著省電化還可以延長(zhǎng)電池的壽命。
[0322](實(shí)施例6)
[0323]電視和便攜式電話等上述的設(shè)備以及系統(tǒng)，有時(shí)被輸入依據(jù)不同標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)。這樣，即使在被輸入了依據(jù)不同標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下也能進(jìn)行解碼，從而LSIex500的信號(hào)處理部ex507需要與多個(gè)標(biāo)準(zhǔn)對(duì)應(yīng)。但是，與各個(gè)標(biāo)準(zhǔn)對(duì)應(yīng)的信號(hào)處理部ex507個(gè)別利用時(shí)，使LSIeX500的電路規(guī)模變大，還產(chǎn)生成本增加這樣的課題。
[0324]為了解決上述課題可以是如下的構(gòu)成，將用于執(zhí)行所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部與依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 I等的標(biāo)準(zhǔn)的解碼處理部，進(jìn)行一部分共享。圖37A的ex900示出該構(gòu)成例。例如，所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像解碼方法和依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法，在熵編碼、逆量化、解塊及濾波器、運(yùn)動(dòng)補(bǔ)償?shù)忍幚碇?，一部分處理?nèi)容是共同的。關(guān)于共同的處理內(nèi)容，可以考慮共享與MPEG4 - AVC標(biāo)準(zhǔn)對(duì)應(yīng)的解碼處理部ex902，關(guān)于與MPEG4 — AVC標(biāo)準(zhǔn)不對(duì)應(yīng)的本發(fā)明特有的其他處理內(nèi)容，使用專用的解碼處理部ex901這樣的構(gòu)成。尤其是本發(fā)明的一個(gè)方案中，熵解碼具有特征，從而可以考慮如下，例如熵解碼中利用專用的解碼處理部ex901，除此之外的逆量化、解塊濾波器、運(yùn)動(dòng)補(bǔ)償?shù)娜我粋€(gè)或全部的處理中共用解碼處理部。對(duì)于解碼處理部的共享化，關(guān)于共同的處理內(nèi)容，共享用于執(zhí)行所述各個(gè)實(shí)施例示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部，關(guān)于MPEG4 - AVC標(biāo)準(zhǔn)特有的處理內(nèi)容，使用專用的解碼處理部。
[0325]此外，圖37B的exlOOO示出了處理的部分共享化的其他例子。在這個(gè)例子的構(gòu)成是，使用與本發(fā)明特有的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部exlOOl、與其他的以往標(biāo)準(zhǔn)特有的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部exl002、與本發(fā)明的運(yùn)動(dòng)圖像解碼方法及其他的以往標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法共同的處理內(nèi)容相對(duì)應(yīng)的共用的解碼處理部exl003。在這里，專用的解碼處理部exlOOl、exl002，不一定是本發(fā)明或其他以往標(biāo)準(zhǔn)特有的處理內(nèi)容所特有的，可以是能夠執(zhí)行其他通用處理的部。此外，也可以是在LSIex500安裝本實(shí)施例的構(gòu)成。
[0326]這樣，關(guān)于本發(fā)明的一個(gè)方案涉及地運(yùn)動(dòng)圖像解碼方法與以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法共同的處理內(nèi)容，通過共享解碼處理部，可以使LSI的電路規(guī)模變小，并且能夠減少成本。
[0327]本發(fā)明能夠適用于圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。并且，本發(fā)明，能夠利用于具備圖像編碼裝置的電視機(jī)、數(shù)字錄像機(jī)、汽車導(dǎo)航、移動(dòng)電話、數(shù)字照相機(jī)、以及的數(shù)字?jǐn)z像機(jī)等的高分辨率的信息顯示設(shè)備或攝像設(shè)備。
[0328]符號(hào)說明
[0329]100、403 編碼部
[0330]101輸入圖像信號(hào)
[0331]110減法部
[0332]111預(yù)測(cè)誤差信號(hào)
[0333]120變換部
[0334]121變換輸出信號(hào)
[0335]130量化部
[0336]131、231 量化系數(shù)
[0337]140、240 逆量化部
[0338]141,241解碼變換輸出信號(hào)
[0339]150,250 逆變換部
[0340]151、251解碼變換輸入信號(hào)
[0341]160、260 加法部
[0342]161、261 解碼信號(hào)
[0343]170、270 存儲(chǔ)器
[0344]180、280 預(yù)測(cè)部
[0345]181、281 預(yù)測(cè)信號(hào)
[0346]190熵編碼部
[0347]191編碼信號(hào)
[0348]200、303、505 解碼部
[0349]290熵解碼部
[0350]291預(yù)測(cè)方法
[0351]300圖像解碼裝置
[0352]301 CPB
[0353]302、402提取時(shí)刻決定部
[0354]304、507 DPB
[0355]311提取單位判定部
[0356]312,412訪問單元提取時(shí)刻決定部
[0357]313模式判定部
[0358]314,414,506解碼單元提取時(shí)刻決定部
[0359]315提取時(shí)刻通知部
[0360]400圖像編碼裝置
[0361]411提取單位決定部
[0362]413模式?jīng)Q定部
[0363]500 STD
[0364]501 TS多路信號(hào)分離器
[0365]502 TB
[0366]503 MB
[0367]504 EB
【權(quán)利要求】
1.一種圖像編碼方法，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼，所述圖像編碼方法包括: 第一標(biāo)志生成步驟，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻； 第二標(biāo)志生成步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及 比特流生成步驟，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
2.如權(quán)利要求1所述的圖像編碼方法， 在所述比特流生成步驟中，將所述第二標(biāo)志包含在圖片組的控制信息中，該圖片組的控制信息是所述編碼比特流中包含的、按包含一個(gè)以上的圖片的每個(gè)圖片組設(shè)定的信息。
3.如權(quán)利要求2所述的圖像編碼方法， 所述圖像編碼方法還包括固定間隔信息生成步驟， 在所述固定間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，生成示出該間隔的固定間隔信息， 在所述比特流生成步驟中，將所述固定間隔信息包含在一個(gè)圖片單位的控制信息中，該一個(gè)圖片單位的控制信息是所述編碼比特流中包含的、按每一個(gè)圖片單位設(shè)定的信息。
4.如權(quán)利要求3所述的圖像編碼方法， 所述固定間隔信息包含，一個(gè)圖片中包含的所述多個(gè)單元的數(shù)量、以及圖片的時(shí)間間隔。
5.如權(quán)利要求3所述的圖像編碼方法， 所述圖像編碼方法還包括可變間隔信息生成步驟， 在所述可變間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元生成示出所述間隔的可變間隔信息， 在所述比特流生成步驟中，將所述可變間隔信息包含在所述一個(gè)圖片單位的控制信息中。
6.如權(quán)利要求2所述的圖像編碼方法， 所述圖像編碼方法還包括可變間隔信息生成步驟， 在所述可變間隔信息生成步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元生成示出所述間隔的可變間隔信息， 在所述比特流生成步驟中，將所述可變間隔信息包含在一個(gè)單元單位的控制信息中，該一個(gè)單元單位的控制信息是所述編碼比特流中包含的、按每一個(gè)單元單位設(shè)定的信息。
7.如權(quán)利要求1所述的圖像編碼方法， 所述編碼比特流包含傳輸流和描述符， 在所述比特流生成步驟中，將所述第二標(biāo)志包含在所述描述符中。
8.一種圖像解碼方法，按圖片中包含的一個(gè)以上的每個(gè)單元，對(duì)編碼數(shù)據(jù)進(jìn)行解碼，所述圖像解碼方法包括: 第一標(biāo)志獲得步驟，從包含所述編碼數(shù)據(jù)的編碼比特流獲得第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定從用于存儲(chǔ)所述編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻； 第二標(biāo)志獲得步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，從所述編碼比特流獲得第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的； 讀出步驟，根據(jù)所述第二標(biāo)志，按每個(gè)所述單元以一定的間隔、或任意的間隔從所述緩沖器讀出編碼數(shù)據(jù)；以及 解碼步驟，對(duì)讀出的所述編碼數(shù)據(jù)進(jìn)行解碼。
9.如權(quán)利要求8所述的圖像解碼方法， 在所述第二標(biāo)志獲得步驟中，從圖片組的控制信息獲得所述第二標(biāo)志，該圖片組的控制信息是所述編碼比特流中包含的、按包含一個(gè)以上的圖片的每個(gè)圖片組設(shè)定的信息。
10.如權(quán)利要求9所述的圖像解碼方法， 所述圖像解碼方法還包括固定間隔信息獲得步驟， 在所述固定間隔信息獲得步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，將示出該間隔的固定間隔信息，從所述編碼比特流中包含的、按每一個(gè)圖片單位設(shè)定的一個(gè)圖片單位的控制信息獲得， 在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為一定的情況下，按每個(gè)所述單元，以所述固定間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
11.如權(quán)利要求10所述的圖像解碼方法， 所述固定間隔信息示出，一個(gè)圖片中包含的所述多個(gè)單元的數(shù)量、以及圖片的時(shí)間間隔， 在所述讀出步驟中，利用所述多個(gè)單元的數(shù)量和所述圖片的時(shí)間間隔，計(jì)算所述間隔，按每個(gè)所述單元，以計(jì)算出的間隔從所述緩沖器讀出編碼數(shù)據(jù)。
12.如權(quán)利要求10所述的圖像解碼方法， 所述圖像解碼方法還包括固定間隔信息獲得步驟， 在所述固定間隔信息獲得步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，從所述一個(gè)圖片單位的控制信息獲得可變間隔信息，所述可變間隔信息示出所述多個(gè)單元的每一個(gè)單元的所述間隔， 在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元，以所述可變間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
13.如權(quán)利要求9所述的圖像解碼方法， 所述圖像解碼方法還包括可變間隔信息獲得步驟， 在所述可變間隔信息獲得步驟步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，從一個(gè)單元單位的控制信息獲得可變間隔信息，該一個(gè)單元單位的控制信息是所述編碼比特流中包含的、按每一個(gè)單元單位設(shè)定的信息，所述可變間隔信息示出所述多個(gè)單元的每一個(gè)單元的所述間隔， 在所述讀出步驟中，在所述第二標(biāo)志示出所述間隔為任意的情況下，按每個(gè)所述單元，以所述可變間隔信息所示的所述間隔從所述緩沖器讀出編碼數(shù)據(jù)。
14.如權(quán)利要求8所述的圖像解碼方法， 所述編碼比特流包含傳輸流和描述符， 在所述第二標(biāo)志獲得步驟中，從所述描述符獲得所述第二標(biāo)志。
15.一種圖像編碼裝置，具備控制電路、以及與所述控制電路電連接的存儲(chǔ)裝置，對(duì)圖片中包含的一個(gè)以上的單元進(jìn)行編碼， 所述控制電路執(zhí)行以下的步驟: 第一標(biāo)志生成步驟，生成第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定虛擬解碼器從用于存儲(chǔ)編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻； 第二標(biāo)志生成步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，生成第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的；以及 比特流生成步驟，生成包含所述編碼數(shù)據(jù)、所述第一標(biāo)志以及所述第二標(biāo)志的編碼比特流。
16.一種圖像解碼裝置，具備控制電路、以及與所述控制電路電連接的存儲(chǔ)裝置，按圖片中包含的一個(gè)以上的每個(gè)單元，對(duì)編碼數(shù)據(jù)進(jìn)行解碼， 所述控制電路執(zhí)行以下的步驟: 第一標(biāo)志獲得步驟，從包含所述編碼數(shù)據(jù)的編碼比特流獲得第一標(biāo)志，該第一標(biāo)志示出是否以所述單元為單位來設(shè)定從用于存儲(chǔ)所述編碼數(shù)據(jù)的緩沖器讀出所述編碼數(shù)據(jù)的時(shí)刻； 第二標(biāo)志獲得步驟，在以所述單元為單位來設(shè)定所述時(shí)刻的情況下，從所述編碼比特流獲得第二標(biāo)志，該第二標(biāo)志示出多個(gè)所述單元的讀出時(shí)刻的間隔是一定的還是任意的； 讀出步驟，根據(jù)所述第二標(biāo)志，按每個(gè)所述單元以一定的間隔、或任意的間隔從所述緩沖器讀出編碼數(shù)據(jù)；以及 解碼步驟，對(duì)讀出的所述編碼數(shù)據(jù)進(jìn)行解碼。
17.一種圖像編解碼裝置，具備: 權(quán)利要求15所述的圖像編碼裝置；以及 權(quán)利要求16所述的圖像解碼裝置。
【文檔編號(hào)】H04N19/134GK104429080SQ201380021063
【公開日】2015年3月18日 申請(qǐng)日期:2013年4月11日 優(yōu)先權(quán)日:2012年4月23日
【發(fā)明者】遠(yuǎn)間正真, 西孝啟, 柴原陽司, 笹井壽郎, 杉尾敏康, 谷川京子, 松延徹, 寺田健吾 申請(qǐng)人:松下電器（美國(guó)）知識(shí)產(chǎn)權(quán)公司