圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置制造方法
【專(zhuān)利摘要】能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像適當(dāng)?shù)亟獯a的圖像解碼方法，將比特流中包含的編碼后的圖像按照每個(gè)塊解碼，具備如下步驟：將解碼對(duì)象塊算術(shù)解碼(S101)，判定解碼對(duì)象塊是否處于切片的末端(S103)，在判定為不處于切片的末端的情況下，判定是否處于與切片不同的作為圖像的構(gòu)成單位的子單位的末端(S105)，在判定為處于子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理(S106)。
【專(zhuān)利說(shuō)明】圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運(yùn)動(dòng)圖像的編碼方法及解碼方法，特別涉及算術(shù)編碼方法及算術(shù)解碼方法等。

【背景技術(shù)】
[0002]在作為下一代圖像編碼標(biāo)準(zhǔn)的HEVC(High Efficiency Video Coding:高效視頻編碼)標(biāo)準(zhǔn)中，為了提高編碼效率而進(jìn)行了各種各樣的研宄(參照非專(zhuān)利文獻(xiàn)I)。以往，有用H.26x表示的ITU — T(國(guó)際電信聯(lián)盟電氣通信標(biāo)準(zhǔn)化部門(mén))的標(biāo)準(zhǔn)以及用MPEG — χ表示的IS0/IEC的標(biāo)準(zhǔn)。目前正在研宄最新且最先進(jìn)的圖像編碼標(biāo)準(zhǔn)作為用H.264/AVC或MPEG - 4AVC表示的標(biāo)準(zhǔn)(參照非專(zhuān)利文獻(xiàn)2)的接下去的標(biāo)準(zhǔn)。
[0003]在所研宄的HEVC標(biāo)準(zhǔn)中，作為熵編碼而使用稱(chēng)作CABAC (Context 一 basedAdaptive Binary Arithmetic Coding:基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)的算術(shù)編碼。
[0004]非專(zhuān)利文獻(xiàn)1:Joint Collaborative Team on Video Coding (JCT — VC) of ITU —T SG16WP3and ISO/IEC JTCl/SC29/WG1110th Meeting Stockholm, SE, 11 - 20July 2012，JCTVC — J1003_d7，〃High efficiency video coding (HEVC) text specificat1n draft 8
[0005]非專(zhuān)利文獻(xiàn)2:1TU —T Recommendat1n H.264 “Advanced video coding forgeneric aud1 visual services，，，2010 年 3 月


【發(fā)明內(nèi)容】

[0006]但是，在以往的圖像解碼方法及圖像編碼方法中，有用來(lái)執(zhí)行遵循這些方法的處理的結(jié)構(gòu)變復(fù)雜的問(wèn)題。
[0007]所以，本發(fā)明提供一種能夠以簡(jiǎn)單的結(jié)構(gòu)進(jìn)行圖像的解碼及編碼的圖像解碼方法及圖像編碼方法等。
[0008]有關(guān)本發(fā)明的一形態(tài)的圖像解碼方法，將比特流中包含的編碼后的圖像按照每個(gè)塊解碼，其特征在于，具備如下步驟:將解碼對(duì)象塊算術(shù)解碼；判定上述解碼對(duì)象塊是否處于切片的末端；在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；以及在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理。
[0009]另外，這些包含性或具體的形態(tài)也可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的CD - ROM等的記錄介質(zhì)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及記錄介質(zhì)的任意的組合來(lái)實(shí)現(xiàn)。
[0010]發(fā)明效果
[0011]本發(fā)明的圖像解碼方法及圖像編碼方法能夠使用來(lái)進(jìn)行圖像的解碼或編碼的結(jié)構(gòu)變簡(jiǎn)單。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0012]圖1是表示熵解碼部的結(jié)構(gòu)的框圖。
[0013]圖2是表示熵解碼部的處理動(dòng)作的流程圖。
[0014]圖3A是表示切片的語(yǔ)法的圖。
[0015]圖3B是表示切片中包含的比特序列的語(yǔ)法的圖。
[0016]圖4是表示熵編碼部的結(jié)構(gòu)的框圖。
[0017]圖5是表示熵編碼部的處理動(dòng)作的流程圖。
[0018]圖6是表示實(shí)施方式I的圖像解碼裝置的結(jié)構(gòu)的一例的框圖。
[0019]圖7是表示實(shí)施方式I的熵解碼部的結(jié)構(gòu)的一例的框圖。
[0020]圖8是表不實(shí)施方式I的摘解碼部的處理動(dòng)作的一例的流程圖。
[0021]圖9是表示實(shí)施方式I的切片的語(yǔ)法的一例的圖。
[0022]圖10是表示有關(guān)實(shí)施方式I的變形例的比特序列的語(yǔ)法的一例的圖。
[0023]圖11是表示實(shí)施方式2的圖像編碼裝置的結(jié)構(gòu)的一例的框圖。
[0024]圖12是表示實(shí)施方式2的熵編碼部的結(jié)構(gòu)的一例的框圖。
[0025]圖13是表示實(shí)施方式2的熵編碼部的處理動(dòng)作的一例的流程圖。
[0026]圖14A是表示有關(guān)本發(fā)明的一形態(tài)的圖像解碼方法的流程圖。
[0027]圖14B是表示有關(guān)本發(fā)明的一形態(tài)的圖像解碼裝置的結(jié)構(gòu)的圖。
[0028]圖15A是表示有關(guān)本發(fā)明的一形態(tài)的圖像編碼方法的流程圖。
[0029]圖15B是表示有關(guān)本發(fā)明的一形態(tài)的圖像編碼裝置的結(jié)構(gòu)的圖。
[0030]圖16是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0031]圖17是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0032]圖18是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。
[0033]圖19是表示對(duì)作為光盤(pán)的記錄介質(zhì)進(jìn)行信息的讀寫(xiě)的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0034]圖20是表示作為光盤(pán)的記錄介質(zhì)的構(gòu)造例的圖。
[0035]圖2IA是表示便攜電話(huà)的一例的圖。
[0036]圖2IB是表示便攜電話(huà)的結(jié)構(gòu)例的模塊圖。
[0037]圖22是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0038]圖23是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0039]圖24是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。
[0040]圖25是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0041]圖26是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0042]圖27是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0043]圖28是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0044]圖29是表示識(shí)別影像數(shù)據(jù)的步驟的圖。
[0045]圖30是表示實(shí)現(xiàn)各實(shí)施方式的運(yùn)動(dòng)圖像編碼方法及運(yùn)動(dòng)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0046]圖31是表示切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。
[0047]圖32是表示識(shí)別影像數(shù)據(jù)、切換驅(qū)動(dòng)頻率的步驟的圖。
[0048]圖33是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立了對(duì)應(yīng)的查找表的一例的圖。
[0049]圖34A是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0050]圖34B是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的另一例的圖。

【具體實(shí)施方式】
[0051 ](作為本發(fā)明的基礎(chǔ)的認(rèn)識(shí))
[0052]本發(fā)明的
【發(fā)明者】對(duì)于以往的圖像解碼方法及圖像編碼方法，發(fā)現(xiàn)會(huì)發(fā)生以下的問(wèn)題。
[0053]CABAC的算術(shù)編碼是輸入被稱(chēng)作上下文的概率模型的索引即ctxldx和被編碼的二進(jìn)制信號(hào)binVal，一邊將表示內(nèi)部概率狀態(tài)的信息即codlRange、codlLow、firstBitFlag及BitsOutstanding更新一邊決定輸出代碼序列的處理。
[0054]另外，對(duì)于內(nèi)部概率狀態(tài)的信息的初始值，設(shè)定codlRange = 510，codlLow = 0，firstBitFlag = 1，及 BitsOutstanding = O。
[0055]另一方面，與CABAC對(duì)應(yīng)的算術(shù)解碼是輸入作為上述概率模型的索引的ctxidx、作為關(guān)聯(lián)信息的ctxIdxTable、和表示解碼對(duì)象的代碼序列是否是被旁路解碼處理后的代碼序列的bypassFlag，一邊將作為表示內(nèi)部概率狀態(tài)的信息的codlRange及cod1ff set更新，一邊輸出解碼二進(jìn)制信號(hào)bin的處理。
[0056]如上述那樣，CABAC的處理在算術(shù)編碼及算術(shù)解碼中，分別是一邊將內(nèi)部概率狀態(tài)更新一邊進(jìn)行編碼或解碼的處理。此外，在CABAC的處理中，在將處理從中途開(kāi)始的情況下，發(fā)生對(duì)于相同的構(gòu)成單位(是構(gòu)成圖像的單位，也稱(chēng)作處理單位)的內(nèi)部概率狀態(tài)在編碼時(shí)和解碼時(shí)不一致的情況。結(jié)果，不能適當(dāng)?shù)剡M(jìn)行圖像的編碼或解碼。因此，在編碼時(shí)及解碼時(shí)進(jìn)行末端處理。
[0057]在非專(zhuān)利文獻(xiàn)I所示的方法中，在編碼時(shí)，將表示I的切片(slice)末端標(biāo)志(end_of_slice)算術(shù)編碼而嵌入到切片的末端中，進(jìn)行末端處理。并且，在解碼時(shí)，將該切片末端標(biāo)志算術(shù)解碼而進(jìn)行末端處理。由此，即使是將CABAC的處理(算術(shù)編碼或算術(shù)解碼)從中途開(kāi)始的情況，只要其開(kāi)始位置是切片的開(kāi)頭，就能夠使內(nèi)部概率狀態(tài)在編碼時(shí)和解碼時(shí)一致。
[0058]但是，在HEVC標(biāo)準(zhǔn)中，除了切片以外，還有稱(chēng)作瓦片(tile)的用于并行處理的構(gòu)成單位、或用來(lái)能夠進(jìn)行被稱(chēng)作為WPP(波前處理)的并行處理的構(gòu)成單位(以下，稱(chēng)作CTU行)，但對(duì)于這些處理單位不進(jìn)行末端處理。
[0059]圖1是表示熵解碼部的結(jié)構(gòu)的框圖。
[0060]該熵解碼部800是進(jìn)行CABAC的算術(shù)解碼的部件，具備CTU解碼部801、切片末端判定部802、子末端判定部803、字節(jié)開(kāi)頭搜索部804及末端處理部805。
[0061]圖2是表示熵解碼部800的處理動(dòng)作的流程圖。
[0062]首先，熵解碼部800的CTU解碼部801將比特流BS中包含的CTU (coding treeunit:編碼樹(shù)單元)算術(shù)解碼(步驟S801)。CTU是構(gòu)成圖片(picture)的塊(block)。接著，切片末端判定部802將切片末端標(biāo)志(end_of_slice_flag)算術(shù)解碼(步驟S802)。接著，切片末端判定部802判定該解碼后的切片末端標(biāo)志(end_of_slice_flag)是否表示O (步驟S803)。這里，如果判定為切片末端標(biāo)志不表示O (步驟S803中“否”)，則末端處理部805進(jìn)行算術(shù)解碼的末端處理(步驟S804)。另一方面，如果判定為切片末端標(biāo)志表示O (步驟S803中“是”)，則子末端判定部803判定在之前剛剛被算術(shù)解碼的CTU是否處于子單位的末端(步驟S805)。子單位是上述瓦片或CTU行。另外，CTU行是由在水平方向上排列的多個(gè)CTU構(gòu)成的構(gòu)成單位。
[0063]這里，如果判定為處于子單位的末端(步驟S805中“是”)，則字節(jié)開(kāi)頭搜索部804進(jìn)行字節(jié)開(kāi)頭搜索(步驟S806)。字節(jié)開(kāi)頭搜索是將比特流中的比特序列跳讀而搜索字節(jié)單位的開(kāi)頭的處理。另一方面，在判定為不在子單位的末端后(步驟S805中“否”)，或在進(jìn)行步驟S806的處理后，熵解碼部800對(duì)下個(gè)CTU重復(fù)執(zhí)行從步驟S801起的處理。
[0064]圖3A是表示切片的語(yǔ)法的圖。
[0065]切片包括表示被編碼的CTU的數(shù)據(jù)851 (coding_tree_unit O)和用來(lái)判定切片的末端的被算術(shù)編碼的切片末端標(biāo)志852 (end_of_slice_flag)。進(jìn)而，切片在滿(mǎn)足條件853的情況下包含預(yù)先設(shè)定的比特序列854(byte_alignment())。該條件853是由數(shù)據(jù)851表示的CTU處于子單位的末端這樣的條件。
[0066]圖3B是表示比特序列854的語(yǔ)法的圖。
[0067]比特序列854包括表示I的比特855 (bit_equal_to_one)和表示所需要的數(shù)量的O的比特856 (bit_equal_to_zero)。該比特序列854以被編碼的子單位的比特?cái)?shù)成為字節(jié)單位的整數(shù)倍的方式包含在比特流中，不是被算術(shù)編碼的，是表示O或I的代碼。在字節(jié)開(kāi)頭搜索中，將該比特序列854跳讀。
[0068]圖4是表示熵編碼部的結(jié)構(gòu)的框圖。
[0069]該熵編碼部900是進(jìn)行CABAC的算術(shù)編碼的部件，具備CTU編碼部901、切片末端編碼部902、子末端判定部903、字節(jié)對(duì)齊部904及末端處理部905。
[0070]圖5是表示熵編碼部900的處理動(dòng)作的流程圖。
[0071]首先，熵編碼部900的CTU編碼部901將編碼對(duì)象信號(hào)中包含的CTU算術(shù)編碼(步驟S901)。接著，切片末端編碼部902將切片末端標(biāo)志(end_of_slice_flag)算術(shù)編碼(步驟S902)。接著，切片末端編碼部902判定該切片末端標(biāo)志(end_of_slice_flag)是否是O (步驟S903)。這里，如果判定切片末端標(biāo)志不是O (步驟S903中“否”)，則末端處理部905進(jìn)行算術(shù)編碼的末端處理(步驟S904)。另一方面，如果判定切片末端標(biāo)志是O (步驟S903中“是”)，則子末端判定部903判定在之前剛剛被算術(shù)編碼的CTU是否處于子單位的末端(步驟 S905) ο
[0072]這里，如果判定為處于子單位的末端(步驟S905中“是”)，則字節(jié)對(duì)齊部904進(jìn)行字節(jié)對(duì)齊(步驟S906)。此外，在判定為不在子單位的末端后(步驟S905中“否”)，或在進(jìn)行步驟S906的處理后，熵編碼部900對(duì)下個(gè)CTU重復(fù)執(zhí)行從步驟S901起的處理。
[0073]在這樣的圖像解碼方法及圖像編碼方法中，在對(duì)處于子單位的末端的CTU的算術(shù)解碼或算術(shù)編碼后，不進(jìn)行末端處理。因而，在將多個(gè)子單位并行處理等時(shí)，處理是從比特流BS或編碼對(duì)象信號(hào)的中途進(jìn)行的，所以發(fā)生在編碼時(shí)和解碼時(shí)與該子單位對(duì)應(yīng)的CABAC的內(nèi)部概率狀態(tài)不同的情況。S卩，有不能適當(dāng)進(jìn)行圖像的編碼及解碼的技術(shù)問(wèn)題。
[0074]為了解決這樣的技術(shù)問(wèn)題，可以考慮不使用子單位而使切片成為更細(xì)小的單位。但是，在此情況下發(fā)生編碼效率下降的其他技術(shù)問(wèn)題。
[0075]此外，作為其他解決方法，可以考慮在對(duì)處于子單位的末端的CTU的算術(shù)解碼或算術(shù)編碼后單純進(jìn)行末端處理。但是，在此情況下，需要設(shè)置在該子單位的末端進(jìn)行末端處理的新的處理部，有結(jié)構(gòu)變復(fù)雜的問(wèn)題。
[0076]為了解決這樣的問(wèn)題，有關(guān)本發(fā)明的一形態(tài)的圖像解碼方法，將比特流中包含的編碼后的圖像按照每個(gè)塊解碼，其特征在于，具備如下步驟:將解碼對(duì)象塊算術(shù)解碼；判定上述解碼對(duì)象塊是否處于切片的末端；在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；以及在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理。
[0077]由此，即使算術(shù)解碼后的塊不處于切片的末端，只要處于子單位的末端，也進(jìn)行算術(shù)解碼的末端處理，所以能夠?qū)⒈忍亓髦邪亩鄠€(gè)子單位適當(dāng)?shù)夭⑿薪獯a。此外，通過(guò)使用切片和子單位，能夠?qū)⒁种屏司幋a效率下降的比特流適當(dāng)?shù)亟獯a。進(jìn)而，在子單位的末端，進(jìn)行包括子末端比特的算術(shù)解碼和末端處理的處理，所以在切片的末端進(jìn)行包括標(biāo)志的算術(shù)解碼和末端處理的處理的情況下，能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，不需要為了在子單位的末端進(jìn)行的處理而設(shè)置新的處理部，所以能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像解碼。
[0078]此外，也可以是，上述圖像解碼方法還具備如下步驟:在判定為上述解碼對(duì)象塊處于切片的末端的情況下，進(jìn)行算術(shù)解碼的末端處理作為第2末端處理；以及在進(jìn)行上述第I末端處理時(shí)，進(jìn)行與上述第2末端處理相同的處理。
[0079]由此，在切片的末端進(jìn)行的末端處理和在子單位的末端進(jìn)行的末端處理相同，所以能夠以更簡(jiǎn)單的結(jié)構(gòu)將圖像解碼。
[0080]此外，也可以是，上述圖像解碼方法還具備如下步驟:將表示上述解碼對(duì)象塊是否處于切片的末端的切片末端標(biāo)志算術(shù)解碼；在是否處于上述切片的末端的判定中，在算術(shù)解碼后的上述切片末端標(biāo)志表示預(yù)先設(shè)定的值的情況下，判定為上述解碼對(duì)象塊處于切片的末端；在上述子末端比特的算術(shù)解碼中，通過(guò)該算術(shù)解碼將與上述預(yù)先設(shè)定的值相同的值復(fù)原。例如，在上述子末端比特的算術(shù)解碼中，通過(guò)該算術(shù)解碼將I復(fù)原。
[0081]由此，在切片的末端進(jìn)行的末端處理和在子單位的末端進(jìn)行的末端處理在分別通過(guò)I比特的算術(shù)解碼得到相同的值的情況下被執(zhí)行，所以能夠使在子單位的末端和切片的末端執(zhí)行的處理進(jìn)一步共用。
[0082]此外，也可以是，在上述圖像解碼方法中，還在進(jìn)行上述第I末端處理后，進(jìn)行對(duì)比特序列執(zhí)行跳讀的處理，該比特序列是被寫(xiě)入在上述比特流中以使得包括上述子單位及上述子末端比特的比特長(zhǎng)度成為預(yù)先設(shè)定的N比特的倍數(shù)的比特序列，N是2以上的整數(shù)。
[0083]由此，例如進(jìn)行字節(jié)開(kāi)頭搜索，其結(jié)果是，能夠以字節(jié)單位進(jìn)行適當(dāng)?shù)慕獯a。
[0084]此外，也可以是，在上述子末端比特的算術(shù)解碼中，將上述比特序列的開(kāi)頭的比特作為上述子末端比特算術(shù)解碼。
[0085]由此，不需要在比特流中包含新的比特作為子末端比特，所以能夠?qū)⒁种屏司幋a效率下降的比特流適當(dāng)?shù)亟獯a。
[0086]此外，為了解決上述問(wèn)題，有關(guān)本發(fā)明的一形態(tài)的圖像編碼方法，通過(guò)將圖像按照每個(gè)塊編碼而生成比特流，其特征在于，具備如下步驟:將編碼對(duì)象塊算術(shù)編碼；判定上述編碼對(duì)象塊是否處于切片的末端；在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)編碼，進(jìn)行算術(shù)編碼的末端處理作為第I末端處理。
[0087]由此，即使算術(shù)編碼的塊不處于切片的末端，只要處于子單位的末端，也進(jìn)行算術(shù)編碼的末端處理，所以能夠?qū)⒈忍亓髦邪亩鄠€(gè)子單位適當(dāng)?shù)夭⑿芯幋a。此外，通過(guò)使用切片和子單位，能夠抑制編碼效率的下降。進(jìn)而，由于在子單位的末端進(jìn)行包括子末端比特的算術(shù)編碼和末端處理的處理，所以在切片的末端進(jìn)行包括標(biāo)志的算術(shù)編碼和末端處理的處理的情況下，能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，由于不需要為了在子單位的末端進(jìn)行的處理設(shè)置新的處理部，所以能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像編碼。
[0088]此外，也可以是，上述圖像編碼方法還具備如下步驟:在判定為上述編碼對(duì)象塊處于切片的末端的情況下，進(jìn)行算術(shù)編碼的末端處理作為第2末端處理；以及在進(jìn)行上述第I末端處理時(shí)，進(jìn)行與上述第2末端處理相同的處理。
[0089]由此，在切片的末端進(jìn)行的末端處理與在子單位的末端進(jìn)行的末端處理相同，所以能夠以更簡(jiǎn)單的結(jié)構(gòu)將圖像編碼。
[0090]此外，也可以是，上述圖像編碼方法還具備如下步驟:將表示上述編碼對(duì)象塊是否處于切片的末端的切片末端標(biāo)志算術(shù)編碼；在是否處于上述切片的末端的判定中，在上述切片末端標(biāo)志表示預(yù)先設(shè)定的值的情況下，判定為上述編碼對(duì)象塊處于切片的末端；在上述子末端比特的算術(shù)編碼中，將表示與上述預(yù)先設(shè)定的值相同的值的上述子末端比特算術(shù)編碼。例如，在上述子末端比特的算術(shù)編碼中，將表示I的上述子末端比特算術(shù)編碼。
[0091]由此，在切片的末端進(jìn)行的末端處理和在子單位的末端進(jìn)行的末端處理在將分別表示相同值的I比特算術(shù)編碼的情況下執(zhí)行，所以能夠使在子單位的末端和切片的末端執(zhí)行的處理進(jìn)一步共用。
[0092]此外，也可以是，在上述圖像編碼方法中，還在進(jìn)行上述第I末端處理后，將比特序列向上述比特流寫(xiě)入，以使得包括算術(shù)編碼后的上述子單位及上述子末端比特的比特長(zhǎng)度成為預(yù)先設(shè)定的N比特的倍數(shù)，N是2以上的整數(shù)。
[0093]由此，例如能夠以字節(jié)單位進(jìn)行適當(dāng)?shù)木幋a。
[0094]此外，也可以是，在上述子末端比特的算術(shù)編碼中，將上述比特序列的開(kāi)頭的比特作為上述子末端比特算術(shù)編碼。
[0095]由此，在比特流中不需要包含新的比特作為子末端比特，所以能夠抑制編碼效率的下降。
[0096]另外，這些包含性或具體的形態(tài)也可以由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的CD - ROM等的記錄介質(zhì)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及記錄介質(zhì)的任意的組合來(lái)實(shí)現(xiàn)。
[0097]以下，參照附圖對(duì)實(shí)施方式具體地說(shuō)明。
[0098]另外，以下說(shuō)明的實(shí)施方式都是表示包含性或具體的例子的。在以下的實(shí)施方式中表示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，不是限定發(fā)明范圍的意思。此外，關(guān)于以下的實(shí)施方式的構(gòu)成要素中的在表示最上位概念的獨(dú)立權(quán)利要求中沒(méi)有記載的構(gòu)成要素，設(shè)為任意的構(gòu)成要素進(jìn)行說(shuō)明。另外，在下述中，編碼(coding)有時(shí)也以encoding的意義來(lái)使用。
[0099](實(shí)施方式I)
[0100]圖6是表示本實(shí)施方式的圖像解碼裝置的結(jié)構(gòu)的一例的框圖。
[0101]本實(shí)施方式的圖像解碼裝置100將作為被壓縮編碼的圖像數(shù)據(jù)的比特流BS解碼。例如，圖像解碼裝置100將比特流BS按照每個(gè)塊解碼。即，圖像解碼裝置100通過(guò)對(duì)解碼對(duì)象塊進(jìn)行可變長(zhǎng)解碼、逆量化及逆變換等，將圖像數(shù)據(jù)復(fù)原。
[0102]如圖6所示，圖像解碼裝置100具備熵解碼部110、逆量化逆變換部120、加法器125、環(huán)路濾波器130、存儲(chǔ)器140、幀內(nèi)預(yù)測(cè)部150、運(yùn)動(dòng)補(bǔ)償部160和幀內(nèi)/幀間切換開(kāi)關(guān)170。
[0103]熵解碼部110通過(guò)將比特流BS可變長(zhǎng)解碼，按照每個(gè)塊將該塊中包含的多個(gè)量化系數(shù)復(fù)原。此外，熵解碼部110從比特流BS取得運(yùn)動(dòng)數(shù)據(jù)，將所取得的運(yùn)動(dòng)數(shù)據(jù)向運(yùn)動(dòng)補(bǔ)償部160輸出。
[0104]逆量化逆變換部120通過(guò)將由熵解碼部110復(fù)原的量化系數(shù)逆量化，將變換系數(shù)復(fù)原。并且，逆量化逆變換部120將復(fù)原后的變換系數(shù)進(jìn)行逆變換(逆頻率變換)。由此，按照比特流BS中包含的每個(gè)塊，與該塊對(duì)應(yīng)的預(yù)測(cè)誤差信號(hào)被復(fù)原。
[0105]加法器125通過(guò)將復(fù)原后的預(yù)測(cè)誤差信號(hào)與預(yù)測(cè)信號(hào)相加，生成解碼圖像。
[0106]環(huán)路濾波器130對(duì)所生成的解碼圖像進(jìn)行例如解塊濾波處理等的環(huán)路濾波處理。將環(huán)路濾波處理后的解碼圖像作為解碼信號(hào)輸出。
[0107]存儲(chǔ)器140是用來(lái)保存在運(yùn)動(dòng)補(bǔ)償中使用的參照?qǐng)D像的存儲(chǔ)器。具體而言，存儲(chǔ)器140將實(shí)施了環(huán)路濾波處理后的解碼圖像作為參照?qǐng)D像保存。
[0108]幀內(nèi)預(yù)測(cè)部150通過(guò)按照面內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)，生成預(yù)測(cè)信號(hào)(幀內(nèi)預(yù)測(cè)信號(hào))。具體而言，幀內(nèi)預(yù)測(cè)部150通過(guò)參照由加法器125生成的解碼圖像中的解碼對(duì)象塊的周?chē)膱D像，進(jìn)行對(duì)該解碼對(duì)象塊的幀內(nèi)預(yù)測(cè)。由此，幀內(nèi)預(yù)測(cè)部150生成幀內(nèi)預(yù)測(cè)信號(hào)。
[0109]運(yùn)動(dòng)補(bǔ)償部160通過(guò)基于從熵解碼部110輸出的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成對(duì)于解碼對(duì)象塊的預(yù)測(cè)信號(hào)(幀間預(yù)測(cè)信號(hào))。
[0110]幀內(nèi)/幀間切換開(kāi)關(guān)170選擇幀內(nèi)預(yù)測(cè)信號(hào)及幀間預(yù)測(cè)信號(hào)中的某個(gè)，將所選擇的信號(hào)作為預(yù)測(cè)信號(hào)向加法器125輸出。
[0111]通過(guò)以上的結(jié)構(gòu)，本實(shí)施方式的圖像解碼裝置100將壓縮編碼后的圖像數(shù)據(jù)解碼。
[0112]這里，本實(shí)施方式的圖像解碼裝置100的熵解碼部110通過(guò)將比特流BS算術(shù)解碼，將該比特流BS可變長(zhǎng)解碼。
[0113]由本實(shí)施方式的熵解碼部110進(jìn)行的算術(shù)解碼不論是并行處理還是依次處理，都能夠正確地將比特流BS適當(dāng)?shù)亟獯a。因而，在HEVC中使用子單位，在需要高速處理的情況下，本實(shí)施方式的算術(shù)解碼的安裝優(yōu)點(diǎn)非常高。
[0114]以下，對(duì)該熵解碼部110的算術(shù)解碼詳細(xì)地說(shuō)明。
[0115]圖7表示本實(shí)施方式的熵解碼部110的結(jié)構(gòu)的一例的框圖。本實(shí)施方式的熵解碼部110具備CTU解碼部111、切片末端判定部112、子末端判定部113、子末端處理部116、字節(jié)開(kāi)頭搜索部114及末端處理部115。這樣的熵解碼部110將包括量化系數(shù)等的解碼數(shù)據(jù)及切片處理末端信號(hào)從比特流BS復(fù)原。
[0116]圖8是表示本實(shí)施方式的熵解碼部110的處理動(dòng)作的一例的流程圖。
[0117]首先，CTU解碼部111從比特流BS基于規(guī)定的方法將CTU(coding_tree_unit())算術(shù)解碼(步驟S101)。這里，所謂CTU，是構(gòu)成圖片的預(yù)先設(shè)定的編碼單位，例如是16X16像素、32X32像素或64X64像素的塊。比特流BS中包含的編碼的CTU例如是包括關(guān)于對(duì)該CTU的預(yù)測(cè)圖像(預(yù)測(cè)信號(hào))的生成方法的信息、和關(guān)于對(duì)作為該預(yù)測(cè)圖像與原圖像的差分的預(yù)測(cè)誤差信號(hào)進(jìn)行變換及量化而得到的信號(hào)(量化系數(shù))的信息的信息群。
[0118]接著，切片末端判定部112將表示由步驟SlOl算術(shù)解碼后的CTU是否處于切片的末端的切片末端標(biāo)志(end_of_slice_flag)算術(shù)解碼(步驟S102)。例如，在將圖片內(nèi)按照每個(gè)CTU處理的情況下，切片是通過(guò)以按照光柵順序設(shè)置的分割點(diǎn)將圖片分割而得到的各區(qū)域(詳細(xì)參照非專(zhuān)利文獻(xiàn)I)。此外，切片末端標(biāo)志通過(guò)表示1，表示與該標(biāo)志對(duì)應(yīng)的CTU即之前剛剛被算術(shù)解碼的CTU處于切片的末端，通過(guò)表示0，表示該CTU不在切片的末端。
[0119]接著，切片末端判定部112判定切片末端標(biāo)志(end_of_slice_flag)是否表示O (步驟S103)。這里，如果判定為切片末端標(biāo)志不是O而表示1，即如果判定為CTU處于切片的末端(步驟S103中“否”)，則末端處理部115執(zhí)行算術(shù)解碼的末端處理(步驟S104)。所謂算術(shù)解碼的末端處理，是不將算術(shù)解碼的內(nèi)部概率狀態(tài)重正化(renormalizat1n)、而調(diào)整比特流指針以便能夠?qū)⒈忍亓鰾S中包含的下個(gè)解碼對(duì)象信號(hào)解碼的處理。另外，在該末端處理中，還可以將例如7比特從比特流BS讀出。此外，末端處理部115將表示CTU處于切片的末端的信號(hào)(切片處理末端信號(hào))輸出。例如，該切片處理末端信號(hào)被用于下個(gè)切片的處理的執(zhí)行的通知等。
[0120]另一方面，如果判定為切片末端標(biāo)志表示O (步驟S103中“是”)，即，在之前剛剛被算術(shù)解碼的CTU不在切片的末端的情況下，子末端判定部113判定該CTU是否處于子單位的末端(步驟S105)。
[0121]子單位例如是瓦片或CTU行等的處理單位。瓦片是能夠?qū)?huà)面內(nèi)垂直及/或水平分割的塊，I個(gè)瓦片由I個(gè)以上的CTU構(gòu)成。此外，由于能夠從各瓦片的開(kāi)頭開(kāi)始編碼/解碼，所以瓦片是能夠在并行處理中使用的構(gòu)成單位。此外，CTU行是將上述切片或圖片按照每個(gè)行(line)分割而得到的構(gòu)成單位。在從圖片的左端進(jìn)行處理的稱(chēng)作WPP(波前處理)的方法中，相對(duì)于算術(shù)編碼及算術(shù)解碼的處理對(duì)象的CTU處于右上的CTU的末端的上下文信息(概率信息)，被用作該處理對(duì)象CTU的初始概率。在這樣的WPP中，在初始概率的取得目標(biāo)的CTU的處理已結(jié)束的階段中，由于能夠開(kāi)始處理對(duì)象CTU的算術(shù)編碼或算術(shù)解碼，所以能夠?qū)⒍鄠€(gè)CTU行并行處理(關(guān)于詳細(xì)情況，也可以進(jìn)行與在非專(zhuān)利文獻(xiàn)I中記載的處理同樣的處理)。
[0122]這里，例如在子單位是瓦片的情況下，子末端判定部113在上述步驟S105中對(duì)之前剛剛被算術(shù)解碼的CTU的瓦片ID與下個(gè)CTU的瓦片ID進(jìn)行比較，判定它們是否不同。由此，判定在其之前剛剛被算術(shù)解碼的CTU是否處于瓦片的末端(參照后述的圖9)。另外，瓦片ID是用來(lái)區(qū)別CTU屬于哪個(gè)瓦片的內(nèi)部信息。具體而言，子末端判定部113在比較對(duì)象的兩個(gè)瓦片ID不同的情況下，判定為之前剛剛被算術(shù)解碼的CTU處于子單位的末端。此夕卜，在子單位是CTU行的情況下，子末端判定部113在上述步驟S105中判定之前剛剛被算術(shù)解碼的CTU的下個(gè)CTU是否處于圖片的左端。另外，在圖片被瓦片分割的情況下，判定下個(gè)CTU是否處于瓦片的左端。由此，判定在其之前剛剛被算術(shù)解碼的CTU是否處于CTU行的末端(參照后述的圖9)。具體而言，子末端判定部113在下個(gè)CTU處于圖片(或瓦片)的左端的情況下，判定在之前剛剛被算術(shù)解碼的CTU處于CTU行的末端。
[0123]在步驟S105中，如果判定為CTU處于子單位的末端(步驟S105中“是”)，則子末端處理部116將表示子單位的末端的I比特(子末端比特)算術(shù)解碼，執(zhí)行子末端處理(步驟S106)。另外，通過(guò)將子末端比特算術(shù)解碼而總是復(fù)原為I。換言之，預(yù)先將表示I的子末端比特算術(shù)編碼，以配置在處于子單位的末端的CTU之后的方式包含在比特流BS中。此夕卜，算術(shù)解碼的子末端處理是與由末端處理部115在步驟S104中進(jìn)行的算術(shù)解碼的末端處理同樣的處理。
[0124]在進(jìn)行該子末端處理后，字節(jié)開(kāi)頭搜索部114進(jìn)行搜索下個(gè)字節(jié)單位的開(kāi)頭的處理即字節(jié)開(kāi)頭搜索(步驟S107)，該處理是與圖2所示的步驟S806同樣的處理。S卩，由于以字節(jié)單位決定了開(kāi)始地點(diǎn)，所以字節(jié)開(kāi)頭搜索部114搜索下個(gè)字節(jié)單位的開(kāi)頭，使比特流指針移動(dòng)到該開(kāi)頭。另外，搜索到的字節(jié)單位的開(kāi)頭是下個(gè)子單位的開(kāi)頭。并且，在步驟S105中判定CTU不在子單位的末端后(步驟S105中“否”)，或者在進(jìn)行步驟S107的字節(jié)開(kāi)頭搜索后，熵解碼部110對(duì)下個(gè)CTU重復(fù)執(zhí)行從步驟SlOl起的處理。
[0125]圖9是表示本實(shí)施方式的切片的語(yǔ)法的一例的圖。
[0126]本實(shí)施方式的切片包括表示被編碼的CTU的數(shù)據(jù)181 (coding_tree_unit O)和用來(lái)判定切片的末端的被算術(shù)編碼的切片末端標(biāo)志182(end_of_slice_flag)。進(jìn)而，切片在滿(mǎn)足條件183的情況下，包括被算術(shù)編碼的上述子末端比特184(end_of_sub_stream_one_bit)和預(yù)先設(shè)定的比特序列185(byte_alignment())。
[0127]在本實(shí)施方式的切片中，數(shù)據(jù)181、切片末端標(biāo)志182、條件183及比特序列185分別與圖3A所示的切片中的數(shù)據(jù)851、切片末端標(biāo)志852、條件853及比特序列854同樣地構(gòu)成。并且，本實(shí)施方式的切片與圖3A所示的切片不同，包含被算術(shù)編碼的子末端比特184(end_of_sub_stream_one_bit)。
[0128]條件183是由數(shù)據(jù)181表示的CTU處于子單位的末端的條件。具體而言，條件183是該CTU不在切片的末端且該CTU處于瓦片的末端這樣的第I條件、或該CTU不在切片的末端且該CTU處于CTU行的末端這樣的第2條件。
[0129]更具體地講，第I條件是切片末端標(biāo)志(end_of_slice_flag)表示O、并且tiles_enabled_flag 是真、TileID[χ]與 TileID[x — I]不同的條件。在 tiles_enabled_flag 是真的情況下，該tiles_enabled_flag表示子單位是瓦片。TileID[x]表示由數(shù)據(jù)181表示的CTU的下個(gè)CTU的瓦片ID，TileIDtx 一 I]表示由數(shù)據(jù)181表示的CTU的瓦片ID。
[0130]第2 條件是切片末端標(biāo)志(end_of_slice_flag)表示 O、并且 entropy_coding_sync_enabled_flag是真、由數(shù)據(jù)181表示的CTU的下個(gè)CTU處于圖片的左端的條件。在entropy_coding_sync_enabled_flag 是真的情況下，該 entropy_coding_sync_enabled_flag表示子單位是CTU行。在下個(gè)CTU處于圖片的左端的情況下，將由數(shù)據(jù)181表示的CTU的下個(gè)CTU的地址除以圖片的橫寬的余數(shù)是O。另外，由條件183表示的CTB (Ctb)以與CTU同樣的意義來(lái)使用。
[0131]摘解碼部110將數(shù)據(jù)181 (coding_tree_unit O)和切片末端標(biāo)志182(end_of_slice_flag)算術(shù)解碼。并且，熵解碼部110判定是否滿(mǎn)足條件183，當(dāng)判定為滿(mǎn)足時(shí)，通過(guò)將子末端比特184(end_of_sub_stream_one_bit)算術(shù)解碼，取得(復(fù)原)值“I”。并且，熵解碼部110以取得該值“I”為觸發(fā)事件，進(jìn)行算術(shù)解碼的子末端處理，進(jìn)行作為將比特序列185跳讀的處理的字節(jié)開(kāi)頭搜索。另外，在算術(shù)解碼的子末端比特184(end_of_sub_stream_one_bit)總表示“I”、不滿(mǎn)足條件183的情況下，該子末端比特184不包含在切片中。
[0132]這樣，在本實(shí)施方式中，在之前剛剛被算術(shù)解碼的CTU處于子單位的末端的情況下，進(jìn)行與在之前剛剛被算術(shù)解碼的CTU處于切片的末端的情況下所進(jìn)行的末端處理相同的處理一一即子末端處理。因而，圖像解碼裝置100能夠從通過(guò)步驟S107的處理搜索出的下個(gè)字節(jié)單位的開(kāi)頭、即從比特流BS的中途開(kāi)始CTU的算術(shù)解碼。結(jié)果，圖像解碼裝置100能夠?qū)⒈忍亓鰾S中包含的多個(gè)構(gòu)成單位依次解碼，并且還能夠?qū)⑦@些多個(gè)構(gòu)成單位并行地解碼。這些多個(gè)構(gòu)成單位既可以是多個(gè)切片，也可以是多個(gè)子單位。
[0133]這樣，在本實(shí)施方式中，由于能夠并行地執(zhí)行對(duì)于多個(gè)子單位的算術(shù)解碼，所以例如在將高分辨率的運(yùn)動(dòng)圖像實(shí)時(shí)再現(xiàn)等情況下需要高速處理的情況下是有用的。此外，在本實(shí)施方式中，通過(guò)在子單位的末端正確地將算術(shù)解碼的內(nèi)部概率狀態(tài)復(fù)位等，進(jìn)行末端處理，所以即使是并行地執(zhí)行對(duì)于多個(gè)子單位的算術(shù)解碼的情況，在編碼時(shí)和解碼時(shí)內(nèi)部概率狀態(tài)也不會(huì)不同，能夠?qū)⒈忍亓鰾S正確地解碼。
[0134]此外，在本實(shí)施方式中，在CTU處于切片的末端的情況下，不進(jìn)行子末端比特的算術(shù)解碼和子末端處理。因而，在CTU處于切片的末端的情況下，不需要將作為冗余代碼的子末端比特包含在比特流BS中，所以能夠?qū)δ茉谝种凭幋a效率的劣化的同時(shí)實(shí)現(xiàn)并行處理的比特流BS適當(dāng)?shù)亟獯a。
[0135]進(jìn)而，在本實(shí)施方式中，在子單位的末端，進(jìn)行包括子末端比特的算術(shù)解碼和末端處理的處理，所以能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，由于不需要為了在子單位的末端進(jìn)行的處理而設(shè)置新的處理部，所以能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像解碼。換言之，進(jìn)行在切片的末端所進(jìn)行的處理一一也就是以通過(guò)將I比特算術(shù)解碼而將值“I”復(fù)原為觸發(fā)事件所進(jìn)行算術(shù)解碼的末端處理的結(jié)構(gòu)，不僅是在切片的末端，在子單位的末端也能夠使用。由此，能夠?qū)⒃摻Y(jié)構(gòu)重復(fù)使用，所以能夠使將圖像解碼的結(jié)構(gòu)變簡(jiǎn)單。具體而言，子末端處理部116能夠利用由切片末端判定部112和末端處理部115實(shí)現(xiàn)的功能。
[0136](變形例)
[0137]在上述實(shí)施方式I中，將子末端比特184算術(shù)解碼，將包含表示值“I”的開(kāi)頭的比特的比特序列185跳讀，但在本變形例中，將其開(kāi)頭的比特作為子末端比特184算術(shù)解碼。即，在本變形例中，將圖9所示的子末端比特184省略，代之而使用上述比特序列185的開(kāi)頭的比特作為子末端比特。如果是這樣的本變形例，也能夠起到與上述實(shí)施方式I同樣的效果。
[0138]圖10是表示有關(guān)本變形例的比特序列185的語(yǔ)法的一例的圖。
[0139]有關(guān)本變形例的比特序列185包括通過(guò)算術(shù)解碼將值“I”復(fù)原的比特185a、和不會(huì)被算術(shù)解碼的表示所需要的數(shù)量的O的比特185b。即，有關(guān)本變形例的比特序列185的開(kāi)頭的比特185a不是表示上述實(shí)施方式I那樣的值“I”的比特，是通過(guò)將值“I”算術(shù)編碼得到的比特。
[0140]另外，在圖10的Descriptor(描述符)中表示的f (I)表示對(duì)比特流中包含的與該f(l)建立了對(duì)應(yīng)的數(shù)據(jù)(比特)不使用算術(shù)編碼或算術(shù)解碼。即，f(l)表示將比特流中包含的數(shù)據(jù)(比特)的值本身識(shí)別為該數(shù)據(jù)的本來(lái)的值。例如，在比特流中包含的比特表示“O”的情況下，作為該比特的本來(lái)的值而識(shí)別“O”，在比特流中包含的比特表示“ I ”的情況下，作為該比特的本來(lái)的值而識(shí)別“I”。另一方面，ae(v)表示對(duì)比特流中包含的與該ae(v)建立了對(duì)應(yīng)的數(shù)據(jù)(比特)使用算術(shù)編碼或算術(shù)解碼。更具體地講，ae (V)表示對(duì)比特流中包含的數(shù)據(jù)(比特)進(jìn)行基于上述概率信息或表示內(nèi)部概率狀態(tài)的信息的算術(shù)編碼或算術(shù)解碼。
[0141]在這樣的本變形例中，能夠起到與上述實(shí)施方式I同樣的效果，并且能夠使要編碼及解碼的數(shù)據(jù)按照每個(gè)子單位減少I(mǎi)比特，能夠提高編碼效率。
[0142]另外，在上述實(shí)施方式I及其變形例中，在通過(guò)將I比特(子末端比特)解碼而將值“ I”復(fù)原時(shí)，進(jìn)行算術(shù)解碼的子末端處理，但在將其他值復(fù)原時(shí)也可以進(jìn)行子末端處理。例如，其他值也可以是“0”，只要預(yù)先決定就可以。此外，也可以代替子末端比特而將表示CTU是否處于子單位的末端的標(biāo)志(例如end_of_sub_stream_flag)算術(shù)解碼。即，摘解碼部110在切片末端標(biāo)志(end_of_slice_flag)表示O的情況下，將子末端標(biāo)志(end_of_sub_stream_flag)算術(shù)解碼。并且，摘解碼部110如果判定該子末端標(biāo)志表示1，則進(jìn)行與在切片末端標(biāo)志表示I的情況下進(jìn)行的末端處理同樣的算術(shù)解碼的末端處理，并進(jìn)行字節(jié)開(kāi)頭搜索(byte_alignment())。此外，摘解碼部110如果判定該子末端標(biāo)志表示0，則繼續(xù)將下個(gè)CTU算術(shù)解碼的處理。通過(guò)這樣使用子末端標(biāo)志，也能夠起到與上述實(shí)施方式I及其變形例同樣的效果。
[0143]另外，在上述實(shí)施方式I及其變形例中，在之前剛剛被算術(shù)解碼的CTU處于子單位的末端的情況下，進(jìn)行算術(shù)解碼的子末端處理。換言之，在上述實(shí)施方式I及其變形例中，在之前剛剛被算術(shù)解碼的CTU的下個(gè)被算術(shù)解碼的CTU處于子單位的開(kāi)頭的情況下，進(jìn)行算術(shù)解碼的子末端處理。此外，在上述實(shí)施方式I及其變形例中，在之前剛剛被算術(shù)解碼的CTU處于切片的末端的情況下，進(jìn)行算術(shù)解碼的末端處理，在該CTU不在切片的末端而處于子單位的末端的情況下，進(jìn)行作為與算術(shù)解碼的末端處理相同的處理的子末端處理。因而，能夠防止算術(shù)解碼的末端處理被重復(fù)進(jìn)行，而進(jìn)行適當(dāng)?shù)乃阈g(shù)解碼。
[0144](實(shí)施方式2)
[0145]圖11是表示本實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)的一例的框圖。
[0146]本實(shí)施方式的圖像編碼裝置200是生成由實(shí)施方式I的圖像解碼裝置100解碼的比特流BS的裝置，具備減法器205、變換量化部210、熵編碼部220、逆量化逆變換部230、加法器235、環(huán)路濾波器240、存儲(chǔ)器250、幀內(nèi)預(yù)測(cè)部260、運(yùn)動(dòng)檢測(cè)部270、運(yùn)動(dòng)補(bǔ)償部280和幀內(nèi)/幀間切換開(kāi)關(guān)290。
[0147]減法器205計(jì)算表示構(gòu)成圖像數(shù)據(jù)的塊的輸入信號(hào)與預(yù)測(cè)信號(hào)的差分，即預(yù)測(cè)誤差信號(hào)。變換量化部210通過(guò)對(duì)空間域的預(yù)測(cè)誤差信號(hào)進(jìn)行變換(頻率變換)，生成頻率域的變換系數(shù)。例如，變換量化部210通過(guò)對(duì)預(yù)測(cè)誤差信號(hào)進(jìn)行DCT (Discrete CosineTransform:離散余弦變換)變換，生成變換系數(shù)。進(jìn)而，變換量化部210通過(guò)將變換系數(shù)量化而生成量化系數(shù)。
[0148]熵編碼部220通過(guò)將量化系數(shù)可變長(zhǎng)編碼，生成比特流BS。此外，熵編碼部220將由運(yùn)動(dòng)檢測(cè)部270檢測(cè)到的運(yùn)動(dòng)數(shù)據(jù)(例如運(yùn)動(dòng)矢量)可變長(zhǎng)編碼，包含在比特流BS中而輸出。
[0149]逆量化逆變換部230通過(guò)將量化系數(shù)逆量化，將變換系數(shù)復(fù)原。進(jìn)而，逆量化逆變換部230通過(guò)將復(fù)原后的變換系數(shù)逆變換，將預(yù)測(cè)誤差信號(hào)復(fù)原。另外，復(fù)原后的預(yù)測(cè)誤差信號(hào)因量化而丟失了信息，所以與減法器205生成的預(yù)測(cè)誤差信號(hào)不一致。即，復(fù)原后的預(yù)測(cè)誤差信號(hào)包含有量化誤差。
[0150]加法器235通過(guò)將復(fù)原后的預(yù)測(cè)誤差信號(hào)與預(yù)測(cè)信號(hào)相加，生成本地解碼圖像。環(huán)路濾波器240對(duì)所生成的本地解碼圖像進(jìn)行解塊濾波處理等的環(huán)路濾波處理。
[0151]存儲(chǔ)器250是用來(lái)保存在運(yùn)動(dòng)補(bǔ)償中使用的參照?qǐng)D像的存儲(chǔ)器。具體而言，存儲(chǔ)器250將被實(shí)施了環(huán)路濾波處理的本地解碼圖像作為參照?qǐng)D像保存。
[0152]幀內(nèi)預(yù)測(cè)部260通過(guò)按照面內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)，生成預(yù)測(cè)信號(hào)(幀內(nèi)預(yù)測(cè)信號(hào))。具體而言，幀內(nèi)預(yù)測(cè)部260通過(guò)參照由加法器235生成的本地解碼圖像中的編碼對(duì)象塊(輸入信號(hào))的周?chē)膱D像，進(jìn)行對(duì)于該編碼對(duì)象塊的幀內(nèi)預(yù)測(cè)。由此，幀內(nèi)預(yù)測(cè)部260生成幀內(nèi)預(yù)測(cè)信號(hào)。
[0153]運(yùn)動(dòng)檢測(cè)部270檢測(cè)表示輸入信號(hào)與保存在存儲(chǔ)器250中的參照?qǐng)D像之間的運(yùn)動(dòng)的運(yùn)動(dòng)數(shù)據(jù)(例如運(yùn)動(dòng)矢量)。運(yùn)動(dòng)補(bǔ)償部280通過(guò)基于檢測(cè)到的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成對(duì)于編碼對(duì)象塊的預(yù)測(cè)信號(hào)(幀間預(yù)測(cè)信號(hào))。
[0154]幀內(nèi)/幀間切換開(kāi)關(guān)290選擇幀內(nèi)預(yù)測(cè)信號(hào)及幀間預(yù)測(cè)信號(hào)中的某個(gè)，將所選擇的信號(hào)作為預(yù)測(cè)信號(hào)向減法器205及加法器235輸出。
[0155]通過(guò)以上的結(jié)構(gòu)，本實(shí)施方式的圖像編碼裝置200將圖像數(shù)據(jù)編碼。
[0156]這里，本實(shí)施方式的圖像編碼裝置200的熵編碼部220通過(guò)將包含量化系數(shù)及運(yùn)動(dòng)數(shù)據(jù)的編碼對(duì)象信號(hào)、即包含各CTU的編碼對(duì)象信號(hào)算術(shù)編碼，將該編碼對(duì)象信號(hào)可變長(zhǎng)編碼。
[0157]本實(shí)施方式的熵編碼部220所進(jìn)行的算術(shù)編碼不論是并行處理還是依次處理，都能夠生成能正確地解碼的比特流BS。因而，在HEVC中使用子單位而需要高速處理的情況下，本實(shí)施方式的算術(shù)編碼的安裝優(yōu)點(diǎn)非常高。
[0158]以下，對(duì)該熵編碼部220的算術(shù)編碼詳細(xì)地說(shuō)明。另外，該算術(shù)編碼是與在實(shí)施方式I中說(shuō)明的算術(shù)解碼對(duì)應(yīng)的算術(shù)編碼。
[0159]圖12是表示本實(shí)施方式的熵編碼部220的結(jié)構(gòu)的一例的框圖。本實(shí)施方式的熵編碼部220具備CTU編碼部221、切片末端編碼部222、子末端判定部223、子末端處理部226、字節(jié)對(duì)齊部224及末端處理部225。這樣的熵編碼部220將編碼對(duì)象信號(hào)算術(shù)編碼而輸出比特流BS。此外，熵編碼部220根據(jù)需要而輸出將用來(lái)通知對(duì)于切片的處理結(jié)束的切片處理末端號(hào)。
[0160]圖13是表示本實(shí)施方式的熵編碼部220的處理動(dòng)作的一例的流程圖。
[0161]首先，CTU編碼部221將編碼對(duì)象信號(hào)中包含的CTU(coding_tree_unit())基于規(guī)定的方法算術(shù)編碼(步驟S201)。此外，CTU編碼部221將這樣算術(shù)編碼的CTU插入到比特流BS中并輸出。或者，CTU編碼部221向例如圖像編碼裝置200內(nèi)的存儲(chǔ)器保存該算術(shù)編碼后的CTU。
[0162]接著，切片末端編碼部222將表示在步驟S201中被算術(shù)編碼的CTU是否處于切片的末端的上述切片末端標(biāo)志(end_of_slice_flag)算術(shù)編碼(步驟S202)。接著，切片末端編碼部222判定切片末端標(biāo)志(end_of_slice_flag)是否表示O (步驟S203)。這里，如果判定切片末端標(biāo)志不是O而表示1，即如果判定CTU處于切片的末端(S203中“否”)，則末端處理部225執(zhí)行算術(shù)編碼的末端處理(步驟S204)。所謂算術(shù)編碼的末端處理，與通常的算術(shù)編碼不同，是為了將算術(shù)編碼的內(nèi)部概率狀態(tài)復(fù)位而執(zhí)行的處理。即，在算術(shù)編碼中，在作為編碼對(duì)象的二進(jìn)制信號(hào)的編碼時(shí)，有在將內(nèi)部概率狀態(tài)更新后不輸出比特序列的情況。所以，算術(shù)編碼的末端處理是因保持不輸出比特序列的原狀會(huì)丟失信息而執(zhí)行的處理，具體而言，包括非專(zhuān)利文獻(xiàn)I的Encoder Flush的處理。通過(guò)這樣的算術(shù)編碼的末端處理，將內(nèi)部概率狀態(tài)向比特流BS寫(xiě)出，生成能夠正確地解碼的比特流BS。此外，末端處理部225輸出表不CTU處于切片的末端的信號(hào)(切片處理末端信號(hào))。例如，該切片處理末端信號(hào)被用在下個(gè)切片的處理的執(zhí)行的通知等中。
[0163]另一方面，如果判定切片末端標(biāo)志表示O (步驟S203中“是”)，即在之前剛剛被算術(shù)編碼的CTU不在切片的末端的情況下，子末端判定部223判定該CTU是否處于子單位的末端(步驟S205)。子單位是上述瓦片或CTU行，子末端判定部223用與實(shí)施方式I同樣的方法判定是否處于子單位的末端。
[0164]如果判定CTU處于子單位的末端(步驟S205中“是”)，則子末端處理部226將表示子單位的末端的I比特(子末端比特)算術(shù)編碼，執(zhí)行子末端處理(步驟S206)。另外，此時(shí)總將表示I的子末端比特算術(shù)編碼。即，預(yù)先將表示I的子末端比特算術(shù)編碼，以配置在處于子單位的末端的CTU之后的方式包含到比特流BS中。此外，算術(shù)編碼的子末端處理是與由末端處理部225在步驟S204中進(jìn)行的算術(shù)編碼的末端處理同樣的處理。
[0165]在進(jìn)行該子末端處理后，字節(jié)對(duì)齊部224進(jìn)行作為將N比特(N是O以上的整數(shù))向比特流BS寫(xiě)入的處理的字節(jié)對(duì)齊，以使編碼后的子單位的比特?cái)?shù)成為字節(jié)單位的整數(shù)倍(步驟S207)。即，字節(jié)對(duì)齊部224將N比特寫(xiě)入以使接下去算術(shù)編碼的CTU的開(kāi)頭為字節(jié)單位的開(kāi)頭，使比特流指針移動(dòng)到其開(kāi)頭。
[0166]此外，在判定為不在子單位的末端后(步驟S205中“否”)，或在進(jìn)行步驟S207的處理后，熵編碼部220對(duì)下個(gè)CTU重復(fù)執(zhí)行從步驟S201起的處理。
[0167]另外，本實(shí)施方式的熵編碼部220按照?qǐng)D9所示的語(yǔ)法將切片算術(shù)編碼。
[0168]S卩，熵編碼部220將算術(shù)編碼后的CTU，生成數(shù)據(jù)181 (coding_tree_unit O)和算術(shù)編碼的切片末端標(biāo)志182 (end_of_slice_flag)而包含在比特流BS中。并且，商編碼部220判定是否滿(mǎn)足條件183，當(dāng)判定為滿(mǎn)足時(shí)，將表示值“I”的子末端比特184(end_of_sub_stream_one_bit)算術(shù)編碼而包含在比特流BS中。并且，摘編碼部220以該子末端比特184的算術(shù)編碼為觸發(fā)事件，進(jìn)行算術(shù)編碼的子末端處理，進(jìn)行作為將比特序列185寫(xiě)入的處理的字節(jié)對(duì)齊。另外，在不滿(mǎn)足條件183的情況下，熵編碼部220不將子末端比特184算術(shù)編碼，也不進(jìn)行字節(jié)對(duì)齊。結(jié)果，在不滿(mǎn)足條件183的情況下，算術(shù)編碼后的子末端比特184和比特序列185都不包含在切片中。
[0169]這樣，在本實(shí)施方式中，在之前剛剛被算術(shù)編碼的CTU處于子單位的末端的情況下，進(jìn)行作為與之前剛剛被算術(shù)編碼的CTU處于切片的末端的情況下所進(jìn)行的末端處理相同的處理的子末端處理。因而，圖像編碼裝置200可以從通過(guò)步驟S207的處理寫(xiě)入的比特序列的后端，即從編碼對(duì)象信號(hào)的中途開(kāi)始CTU的算術(shù)編碼。結(jié)果，圖像編碼裝置200能夠?qū)⒕幋a輸入信號(hào)中包含的多個(gè)構(gòu)成單位依次編碼，并將這些多個(gè)構(gòu)成單位并行地編碼。這些多個(gè)構(gòu)成單位既可以是多個(gè)切片，也可以是多個(gè)子單位。
[0170]這樣，在本實(shí)施方式中，由于能夠并行地執(zhí)行對(duì)于多個(gè)子單位的算術(shù)編碼，所以例如在將高分辨率的運(yùn)動(dòng)圖像實(shí)時(shí)錄像等情況下需要高速處理的情況下是有用的。此外，在本實(shí)施方式中，在子單位的末端，通過(guò)正確地將算術(shù)編碼的內(nèi)部概率狀態(tài)復(fù)位等進(jìn)行末端處理，所以即使是并行地執(zhí)行了對(duì)于多個(gè)子單位的算術(shù)編碼的情況，在編碼時(shí)和解碼時(shí)內(nèi)部概率狀態(tài)也不會(huì)不同，能夠正確地生成比特流BS。
[0171]此外，在本實(shí)施方式中，在CTU處于切片的末端的情況下，不進(jìn)行子末端比特的算術(shù)編碼和子末端處理。因而，在CTU處于切片的末端的情況下，由于不需要將作為冗余代碼的子末端比特包含在比特流BS中，所以能夠在抑制編碼效率的劣化的同時(shí)執(zhí)行并行處理。
[0172]進(jìn)而，在本實(shí)施方式中，在子單位的末端中，由于進(jìn)行包括子末端比特的算術(shù)編碼和末端處理的處理，所以能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，不需要為了在子單位的末端進(jìn)行的處理而設(shè)置新的處理部，所以能夠以簡(jiǎn)的結(jié)構(gòu)將圖像解碼。換言之，能夠?qū)⒃谇衅哪┒怂M(jìn)行的處理一一即通過(guò)將I比特算術(shù)編碼而將值“I”復(fù)原為觸發(fā)事件而進(jìn)行算術(shù)編碼的末端處理的結(jié)構(gòu)，不僅在切片的末端使用、在子單位的末端也使用。由此，能夠?qū)⒃摻Y(jié)構(gòu)重復(fù)使用，所以能夠使將圖像編碼的結(jié)構(gòu)變簡(jiǎn)單。具體而言，子末端處理部226能夠利用基于切片末端編碼部222和末端處理部225的功能。
[0173](變形例)
[0174]在上述實(shí)施方式2中，將子末端比特184算術(shù)編碼，將包含表示值“I”的開(kāi)頭的比特的比特序列185跳讀，但在本變形例中，將該開(kāi)頭的比特作為子末端比特184算術(shù)編碼。即，在本變形例中，將圖9所示的子末端比特184省略，代之而使用上述比特序列185的開(kāi)頭的比特185a(參照?qǐng)D10)作為子末端比特。即使是這樣的本變形例，也能夠起到與上述實(shí)施方式2同樣的效果。另外，本變形例是與有關(guān)實(shí)施方式I的變形例的圖像解碼方法對(duì)應(yīng)的圖像編碼方法。
[0175]如圖10所示，有關(guān)本變形例的熵編碼部220將包括通過(guò)將表示值“I”的比特算術(shù)編碼而生成的比特185a、和不會(huì)被算術(shù)編碼的表示所需要的數(shù)量的O的比特185b的比特序列185向比特流BS寫(xiě)入。即，有關(guān)本變形例的比特序列185的開(kāi)頭的比特185a不是上述實(shí)施方式I那樣的表示值“I”的比特，是通過(guò)將值“I”進(jìn)行算術(shù)編碼而得到的比特。
[0176]在這樣的本變形例中，能夠起到與上述實(shí)施方式I同樣的效果，并且能夠僅使應(yīng)編碼及解碼的數(shù)據(jù)按照每個(gè)子單位減少I(mǎi)比特，能夠提高編碼效率。
[0177]另外，在上述實(shí)施方式I及其變形例中，在將表示值“I”的I比特(子末端比特)編碼時(shí)進(jìn)行算術(shù)編碼的子末端處理，但也可以在將表示其他值的比特算術(shù)編碼時(shí)進(jìn)行子末端處理。例如，其他值也可以是“0”，只要預(yù)先決定就可以。此外，也可以代替子末端比特而將表示CTU是否處于子單位的末端的標(biāo)志(例如end_of_sub_stream_flag)算術(shù)編碼。即，摘編碼部220在切片末端標(biāo)志(end_of_slice_flag)表示O的情況下，將子末端標(biāo)志(end_of_sub_stream_flag)算術(shù)編碼。并且，摘編碼部220如果判定該子末端標(biāo)志表示1，則進(jìn)行與在切片末端標(biāo)志表示I的情況下所進(jìn)行的末端處理同樣的算術(shù)編碼的末端處理，并且進(jìn)行字節(jié)對(duì)齊(byte_alignment O)。此外，摘編碼部220如果判定該子末端標(biāo)志表示0，則繼續(xù)將下個(gè)CTU算術(shù)編碼的處理。通過(guò)這樣使用子末端標(biāo)志，也能夠起到與上述實(shí)施方式2及其變形例同樣的效果。
[0178]另外，在上述實(shí)施方式2及其變形例中，在之前剛剛被算術(shù)編碼的CTU處于子單位的末端的情況下，進(jìn)行算術(shù)編碼的子末端處理。換言之，在上述實(shí)施方式2及其變形例中，在之前剛剛被算術(shù)編碼的CTU之后被算術(shù)編碼的CTU處于子單位的開(kāi)頭的情況下，進(jìn)行算術(shù)編碼的子末端處理。此外，在上述實(shí)施方式2及其變形例中，在之前剛剛被算術(shù)編碼的CTU處于切片的末端的情況下，進(jìn)行算術(shù)解碼的末端處理，在該CTU不在切片的末端而處于子單位的末端的情況下，進(jìn)行作為與算術(shù)編碼的末端處理相同的處理的子末端處理。因而，能夠防止算術(shù)編碼的末端處理被重復(fù)進(jìn)行而進(jìn)行適當(dāng)?shù)乃阈g(shù)編碼。
[0179]以上，基于各實(shí)施方式及變形例對(duì)有關(guān)本發(fā)明的一個(gè)或多個(gè)形態(tài)的圖像編碼裝置及圖像解碼裝置進(jìn)行了說(shuō)明，但本發(fā)明并不限定于該實(shí)施方式。只要不脫離本發(fā)明的主旨，對(duì)本實(shí)施方式實(shí)施了本領(lǐng)域的技術(shù)人員想到的各種變形的形態(tài)、或?qū)⒉煌瑢?shí)施方式的構(gòu)成要素組合而構(gòu)建的形態(tài)也包含在本發(fā)明的一個(gè)或多個(gè)形態(tài)的范圍內(nèi)。
[0180]圖14A是表示有關(guān)本發(fā)明的一形態(tài)的圖像解碼方法的流程圖。
[0181]有關(guān)該一形態(tài)的圖像解碼方法，是將比特流中包含的編碼的圖像按照每個(gè)塊解碼的圖像解碼方法，將解碼對(duì)象塊算術(shù)解碼(Sll);判定上述解碼對(duì)象塊是否處于切片的末端(S12);在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端(S13);在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理S14)。
[0182]圖14B是表示有關(guān)本發(fā)明的一形態(tài)的圖像解碼裝置的結(jié)構(gòu)的圖。
[0183]有關(guān)該一形態(tài)的圖像解碼裝置10，是將比特流中包含的編碼的圖像按照每個(gè)塊解碼的圖像解碼裝置，具備:塊解碼部11，將解碼對(duì)象塊算術(shù)解碼；切片末端判定部12，判定上述解碼對(duì)象塊是否處于切片的末端；子末端判定部13，在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；末端處理部14，在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理。
[0184]由此，即使算術(shù)解碼后的塊(CTU)不處于切片的末端，只要處于子單位(瓦片或CTU行等)的末端，也進(jìn)行算術(shù)解碼的末端處理，所以能夠?qū)⒈忍亓髦邪亩鄠€(gè)子單位適當(dāng)?shù)夭⑿薪獯a。此外，通過(guò)使用切片和子單位，能夠?qū)⒁种屏司幋a效率下降的比特流適當(dāng)?shù)亟獯a。進(jìn)而，由于在子單位的末端進(jìn)行包括子末端比特的算術(shù)解碼和末端處理的處理，所以在切片的末端進(jìn)行包括標(biāo)志的算術(shù)解碼和末端處理的處理的情況下，能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，不需要為了在子單位的末端進(jìn)行的處理設(shè)置新的處理部，所以能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像解碼。
[0185]圖15A是表示有關(guān)本發(fā)明的一形態(tài)的圖像編碼方法的流程圖。
[0186]有關(guān)該一形態(tài)的圖像編碼方法，是通過(guò)將圖像按照每個(gè)塊編碼而生成比特流的圖像編碼方法，將編碼對(duì)象塊算術(shù)編碼(S21);判定上述編碼對(duì)象塊是否處于切片的末端(S22);在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端(S23);在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)編碼，進(jìn)行算術(shù)編碼的末端處理作為第I末端處理(S24)。
[0187]圖15B是表示有關(guān)本發(fā)明的一形態(tài)的圖像編碼裝置的結(jié)構(gòu)的圖。
[0188]有關(guān)該一形態(tài)的圖像編碼裝置20，是通過(guò)將圖像按照每個(gè)塊編碼而生成比特流的圖像編碼裝置，具備:塊編碼部21，將編碼對(duì)象塊算術(shù)編碼；切片末端判定部22，判定上述編碼對(duì)象塊是否處于切片的末端；子末端判定部23，在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；末端處理部24，在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)編碼，進(jìn)行算術(shù)編碼的末端處理作為第I末端處理。
[0189]由此，即使算術(shù)編碼后的塊(CTU)不處于切片的末端，只要處于子單位(瓦片或CTU行等)的末端，也進(jìn)行算術(shù)編碼的末端處理，所以能夠?qū)⒈忍亓髦邪亩鄠€(gè)子單位適當(dāng)?shù)夭⑿芯幋a。此外，通過(guò)使用切片和子單位，能夠抑制編碼效率的下降。進(jìn)而，由于在子單位的末端進(jìn)行包括子末端比特的算術(shù)編碼和末端處理的處理，所以在切片的末端進(jìn)行包括標(biāo)志的算術(shù)編碼和末端處理的處理的情況下，能夠使在子單位的末端和切片的末端執(zhí)行的處理共用。即，由于不需要為了在子單位的末端進(jìn)行的處理設(shè)置新的處理部，所以能夠以簡(jiǎn)單的結(jié)構(gòu)將圖像編碼。
[0190]另外，在上述各實(shí)施方式中，各構(gòu)成要素也可以由專(zhuān)用的硬件構(gòu)成、或通過(guò)執(zhí)行與各構(gòu)成要素適合的軟件程序來(lái)實(shí)現(xiàn)。各構(gòu)成要素也可以通過(guò)CPU或處理器等的程序執(zhí)行部將記錄在硬盤(pán)或半導(dǎo)體存儲(chǔ)器等的記錄介質(zhì)中的軟件程序讀出并執(zhí)行來(lái)實(shí)現(xiàn)。換言之，圖像編碼裝置及圖像解碼裝置具備處理電路和電連接在該處理電路上的(能夠從該控制電路訪(fǎng)問(wèn)的)存儲(chǔ)裝置(Storage)。處理電路包括專(zhuān)用的硬件及程序執(zhí)行部的至少一方。此夕卜，存儲(chǔ)裝置在處理電路包括程序執(zhí)行部的情況下，存儲(chǔ)由該程序執(zhí)行部執(zhí)行的軟件程序。這里，實(shí)現(xiàn)上述各實(shí)施方式的圖像解碼裝置及圖像編碼裝置等的軟件是使計(jì)算機(jī)執(zhí)行在圖14A所示的圖像解碼方法或圖15A所示的圖像編碼方法中包含的各步驟的程序。
[0191]此外，在上述各實(shí)施方式及它們的變形例中沒(méi)有明述的也可以與在非專(zhuān)利文獻(xiàn)I所記載者是同樣的。
[0192](實(shí)施方式3)
[0193]通過(guò)將用來(lái)實(shí)現(xiàn)上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)或運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲(chǔ)介質(zhì)中，能夠?qū)⑸鲜龈鲗?shí)施方式所示的處理在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單地實(shí)施。存儲(chǔ)介質(zhì)是磁盤(pán)、光盤(pán)、光磁盤(pán)、IC卡、半導(dǎo)體存儲(chǔ)器等，只要是能夠記錄程序的介質(zhì)就可以。
[0194]進(jìn)而，這里說(shuō)明在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)及運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當(dāng)變更。
[0195]圖16是表示實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無(wú)線(xiàn)站的基站exl06、exl07、exl08、exl09、exllO。
[0196]該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話(huà)網(wǎng) exl04、及基站 exl07 ?exllO 連接著計(jì)算機(jī) exl 11、PDA (Personal Digital Assistant)exll2、照相機(jī)exll3、便攜電話(huà)exll4、游戲機(jī)exll5等的各設(shè)備。
[0197]但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖16那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無(wú)線(xiàn)站的基站exl07?exllO將各設(shè)備直接連接在電話(huà)網(wǎng)exl04上。此外，也可以將各設(shè)備經(jīng)由近距離無(wú)線(xiàn)等直接相互連接。
[0198]照相機(jī)ex113是能夠進(jìn)行數(shù)字?jǐn)z像機(jī)等的運(yùn)動(dòng)圖像攝影的設(shè)備，照相機(jī)exll6是能夠進(jìn)行數(shù)字照相機(jī)等的靜止圖像攝影、運(yùn)動(dòng)圖像攝影的設(shè)備。此外，便攜電話(huà)exll4是GSM (Global System for Mobile Communicat1ns)方式、CDMA (Code Divis1n MultipleAccess)方式、W — CDMA (Wideband — Code Divis1n Multiple Access)方式、或 LTE (LongTerm Evolut1n)方式、HSPA(High Speed Packet Access)的便攜電話(huà)機(jī)、或PHS(PersonalHandyphone System)等，是哪種都可以。
[0199]在內(nèi)容供給系統(tǒng)exlOO中，通過(guò)將照相機(jī)exll3等經(jīng)由基站exl09、電話(huà)網(wǎng)exl04連接在流媒體服務(wù)器exl03上，能夠進(jìn)行現(xiàn)場(chǎng)轉(zhuǎn)播等。在現(xiàn)場(chǎng)轉(zhuǎn)播中，對(duì)用戶(hù)使用照相機(jī)exll3攝影的內(nèi)容(例如音樂(lè)會(huì)現(xiàn)場(chǎng)的影像等)如在上述各實(shí)施方式中說(shuō)明那樣進(jìn)行編碼處理(g卩，作為本發(fā)明的一個(gè)方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來(lái)的內(nèi)容數(shù)據(jù)對(duì)有請(qǐng)求的客戶(hù)端進(jìn)行流分發(fā)。作為客戶(hù)端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計(jì)算機(jī)eXlll、PDAeX112、照相機(jī)exll3、便攜電話(huà)exll4、游戲機(jī)exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)。
[0200]另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機(jī)exll3進(jìn)行，也可以由進(jìn)行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶(hù)端進(jìn)行，也可以由流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。此外，并不限于照相機(jī)exll3，也可以將由照相機(jī)exll6攝影的靜止圖像及/或運(yùn)動(dòng)圖像數(shù)據(jù)經(jīng)由計(jì)算機(jī)exl 11向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機(jī)exl 16、計(jì)算機(jī)exl 11、流媒體服務(wù)器exl03的哪個(gè)進(jìn)行都可以，也可以相互分擔(dān)進(jìn)行。
[0201]此外，這些編碼解碼處理一般在計(jì)算機(jī)exlll或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個(gè)芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將運(yùn)動(dòng)圖像編碼解碼用的軟件裝入到能夠由計(jì)算機(jī)exlll等讀取的某些記錄介質(zhì)(⑶一 ROM、軟盤(pán)、硬盤(pán)等)中、使用該軟件進(jìn)行編碼解碼處理。進(jìn)而，在便攜電話(huà)exll4是帶有照相機(jī)的情況下，也可以將由該照相機(jī)取得的運(yùn)動(dòng)圖像數(shù)據(jù)發(fā)送。此時(shí)的運(yùn)動(dòng)圖像數(shù)據(jù)是由便攜電話(huà)exll4具有的LSIex500編碼處理的數(shù)據(jù)。
[0202]此外，也可以是，流媒體服務(wù)器exl03是多個(gè)服務(wù)器或多個(gè)計(jì)算機(jī)，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。
[0203]如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶(hù)端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶(hù)端能夠?qū)⒂脩?hù)發(fā)送的信息實(shí)時(shí)地接收、解碼、再現(xiàn)，即使是沒(méi)有特別的權(quán)利或設(shè)備的用戶(hù)也能夠?qū)崿F(xiàn)個(gè)人廣播。
[0204]另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖17所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述各實(shí)施方式的至少運(yùn)動(dòng)圖像編碼裝置(圖像編碼裝置)或運(yùn)動(dòng)圖像解碼裝置(圖像解碼裝置)的某個(gè)。具體而言，在廣播站ex201中，將對(duì)影像數(shù)據(jù)復(fù)用了音樂(lè)數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過(guò)上述各實(shí)施方式中說(shuō)明的運(yùn)動(dòng)圖像編碼方法編碼后的數(shù)據(jù)(即，通過(guò)本發(fā)明的一個(gè)方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM(jìn)行衛(wèi)星廣播接收的家庭的天線(xiàn)ex204接收該電波，通過(guò)電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB)ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(S卩，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)。
[0205]此外，也可以是，在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂(lè)信號(hào)復(fù)用而寫(xiě)入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實(shí)施方式所示的運(yùn)動(dòng)圖像解碼裝置或運(yùn)動(dòng)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號(hào)顯示在監(jiān)視器ex219上，通過(guò)記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號(hào)。此外，也可以是，在連接在有線(xiàn)電視用的線(xiàn)纜ex203或衛(wèi)星/地面波廣播的天線(xiàn)ex204上的機(jī)頂盒ex217內(nèi)安裝運(yùn)動(dòng)圖像解碼裝置，將其用電視機(jī)的監(jiān)視器ex219顯示。此時(shí)，也可以不是在機(jī)頂盒、而在電視機(jī)內(nèi)裝入運(yùn)動(dòng)圖像解碼裝置。
[0206]圖18是表示使用在上述各實(shí)施方式中說(shuō)明的運(yùn)動(dòng)圖像解碼方法及運(yùn)動(dòng)圖像編碼方法的電視機(jī)(接收機(jī))ex300的圖。電視機(jī)ex300具備經(jīng)由接收上述廣播的天線(xiàn)ex204或線(xiàn)纜ex203等取得或者輸出對(duì)影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘?hào)處理部ex306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。
[0207]此外，電視機(jī)ex300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號(hào)處理部ex304和影像信號(hào)處理部ex305 (即，作為本發(fā)明的一個(gè)方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號(hào)處理部ex306 ;具有將解碼后的聲音信號(hào)輸出的揚(yáng)聲器ex307及顯示解碼后的影像信號(hào)的顯示器等的顯示部ex308的輸出部ex309。進(jìn)而，電視機(jī)ex300具備具有受理用戶(hù)操作的輸入的操作輸入部ex312等的接口部ex317。進(jìn)而，電視機(jī)ex300具有合并控制各部的控制部ex310、對(duì)各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來(lái)能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來(lái)與硬盤(pán)等的外部記錄介質(zhì)連接的驅(qū)動(dòng)器ex315、與電話(huà)網(wǎng)連接的調(diào)制解調(diào)器ex316等。另夕卜，記錄介質(zhì)ex216是能夠通過(guò)收存的非易失性/易失性的半導(dǎo)體存儲(chǔ)元件電氣地進(jìn)行信息的記錄的結(jié)構(gòu)。電視機(jī)ex300的各部經(jīng)由同步總線(xiàn)相互連接。
[0208]首先，對(duì)電視機(jī)eX300將通過(guò)天線(xiàn)ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進(jìn)行說(shuō)明。電視機(jī)ex300接受來(lái)自遙控器ex220等的用戶(hù)操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進(jìn)而，電視機(jī)ex300將分離的聲音數(shù)據(jù)用聲音信號(hào)處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號(hào)處理部ex305使用在上述各實(shí)施方式中說(shuō)明的解碼方法解碼。將解碼后的聲音信號(hào)、影像信號(hào)分別從輸出部ex309朝向外部輸出。在輸出時(shí)，可以暫時(shí)將這些信號(hào)儲(chǔ)存到緩沖器ex318、ex319等中，以使聲音信號(hào)和影像信號(hào)同步再現(xiàn)。此外，電視機(jī)ex300也可以不是從廣播等、而從磁/光盤(pán)、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對(duì)電視機(jī)ex300將聲音信號(hào)或影像信號(hào)編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進(jìn)行說(shuō)明。電視機(jī)ex300接受來(lái)自遙控器ex220等的用戶(hù)操作，基于控制部ex310的控制，由聲音信號(hào)處理部ex304將聲音信號(hào)編碼，由影像信號(hào)處理部ex305將影像信號(hào)使用在上述各實(shí)施方式中說(shuō)明的編碼方法編碼。將編碼后的聲音信號(hào)、影像信號(hào)用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時(shí)，可以暫時(shí)將這些信號(hào)儲(chǔ)存到緩沖器ex320、ex321等中，以使聲音信號(hào)和影像信號(hào)同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個(gè)，也可以是共用一個(gè)以上的緩沖器的結(jié)構(gòu)。進(jìn)而，在圖示以外，也可以是，在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲(chǔ)存數(shù)據(jù)。
[0209]此外，電視機(jī)ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機(jī)的AV輸入的結(jié)構(gòu)，對(duì)從它們中取得的數(shù)據(jù)進(jìn)行編碼處理。另夕卜，這里，將電視機(jī)ex300作為能夠進(jìn)行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進(jìn)行了說(shuō)明，但也可以是，不能進(jìn)行這些處理，而是僅能夠進(jìn)行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。
[0210]此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機(jī)ex300、讀取器/記錄器ex218的哪個(gè)進(jìn)行都可以，也可以是電視機(jī)ex300和讀取器/記錄器ex218相互分擔(dān)進(jìn)行。
[0211]作為一例，將從光盤(pán)進(jìn)行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖19中。信息再現(xiàn)/記錄部ex400具備以下說(shuō)明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對(duì)作為光盤(pán)的記錄介質(zhì)ex215的記錄面照射激光斑而寫(xiě)入信息，檢測(cè)來(lái)自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動(dòng)內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進(jìn)行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測(cè)器電氣地檢測(cè)到來(lái)自記錄面的反射光而得到的再現(xiàn)信號(hào)放大，將記錄在記錄介質(zhì)ex215中的信號(hào)成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來(lái)記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時(shí)保持。盤(pán)馬達(dá)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406 —邊控制盤(pán)馬達(dá)ex405的旋轉(zhuǎn)驅(qū)動(dòng)一邊使光頭ex401移動(dòng)到規(guī)定的信息軌道，進(jìn)行激光斑的追蹤處理。系統(tǒng)控制部ex407進(jìn)行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫(xiě)入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進(jìn)行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動(dòng)作、一邊通過(guò)光頭ex401進(jìn)行信息的記錄再現(xiàn)來(lái)實(shí)現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過(guò)執(zhí)行讀出寫(xiě)入的程序來(lái)執(zhí)行它們的處理。
[0212]以上，假設(shè)光頭ex401照射激光斑而進(jìn)行了說(shuō)明，但也可以是使用近場(chǎng)光進(jìn)行高密度的記錄的結(jié)構(gòu)。
[0213]在圖20中表示作為光盤(pán)的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過(guò)溝的形狀的變化而記錄有表示盤(pán)上的絕對(duì)位置的地址信息。該地址信息包括用來(lái)確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過(guò)在進(jìn)行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶(hù)數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠?jī)?nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶(hù)數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對(duì)這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進(jìn)行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫(xiě)。
[0214]以上，舉I層的DVD、BD等的光盤(pán)為例進(jìn)行了說(shuō)明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤(pán)。此外，也可以是在盤(pán)的相同的地方使用不同波長(zhǎng)的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進(jìn)行多維的記錄/再現(xiàn)的構(gòu)造的光盤(pán)。
[0215]此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線(xiàn)ex205的車(chē)ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車(chē)ex210具有的車(chē)載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)運(yùn)動(dòng)圖像。另夕卜，車(chē)載導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖18所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計(jì)算機(jī)exlll及便攜電話(huà)exll4等中也可以考慮同樣的結(jié)構(gòu)。
[0216]圖21A是表不使用在上述實(shí)施方式中說(shuō)明的運(yùn)動(dòng)圖像解碼方法和運(yùn)動(dòng)圖像編碼方法的便攜電話(huà)exll4的圖。便攜電話(huà)exll4具有由用來(lái)在與基站exllO之間收發(fā)電波的天線(xiàn)ex350、能夠拍攝影像、靜止圖像的照相機(jī)部ex365、顯示將由照相機(jī)部ex365攝影的影像、由天線(xiàn)ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話(huà)ex114還具有包含操作鍵部ex366的主體部、用來(lái)進(jìn)行聲音輸出的揚(yáng)聲器等的聲音輸出部ex357、用來(lái)進(jìn)行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲(chǔ)器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。
[0217]進(jìn)而，使用圖21B對(duì)便攜電話(huà)exll4的結(jié)構(gòu)例進(jìn)行說(shuō)明。便攜電話(huà)exll4對(duì)于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號(hào)處理部ex355、照相機(jī)接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調(diào)制/角軍調(diào)部ex352、復(fù)用/分離部ex353、聲音信號(hào)處理部ex354、插槽部ex364、存儲(chǔ)器部ex367經(jīng)由總線(xiàn)ex370相互連接。
[0218]電源電路部ex361如果通過(guò)用戶(hù)的操作使通話(huà)結(jié)束及電源鍵成為開(kāi)啟狀態(tài)，則通過(guò)從電池組對(duì)各部供給電力，便攜電話(huà)exll4起動(dòng)為能夠動(dòng)作的狀態(tài)。
[0219]便攜電話(huà)exll4基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語(yǔ)音通話(huà)模式時(shí)，將由聲音輸入部ex356集音的聲音信號(hào)通過(guò)聲音信號(hào)處理部ex354變換為數(shù)字聲音信號(hào)，將其用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線(xiàn)ex350發(fā)送。此外，便攜電話(huà)exll4在語(yǔ)音通話(huà)模式時(shí)，將由天線(xiàn)ex350接收到的接收數(shù)據(jù)放大并實(shí)施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進(jìn)行波譜逆擴(kuò)散處理，通過(guò)聲音信號(hào)處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。
[0220]進(jìn)而，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，將通過(guò)主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線(xiàn)ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對(duì)接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex3580
[0221]在數(shù)據(jù)通信模式時(shí)，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號(hào)處理部ex355將從照相機(jī)部ex365供給的影像信號(hào)通過(guò)上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法進(jìn)行壓縮編碼(即，作為本發(fā)明的一個(gè)方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號(hào)處理部ex354對(duì)通過(guò)照相機(jī)部ex365拍攝影像、靜止圖像等的過(guò)程中用聲音輸入部ex356集音的聲音信號(hào)進(jìn)行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。
[0222]復(fù)用/分離部ex353通過(guò)規(guī)定的方式，對(duì)從影像信號(hào)處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號(hào)處理部ex354供給的編碼后的聲音數(shù)據(jù)進(jìn)行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線(xiàn)ex350發(fā)送。
[0223]在數(shù)據(jù)通信模式時(shí)接收到鏈接到主頁(yè)等的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對(duì)經(jīng)由天線(xiàn)ex350接收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用/分離部ex353通過(guò)將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線(xiàn)ex370將編碼后的影像數(shù)據(jù)向影像信號(hào)處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號(hào)處理部ex354供給。影像信號(hào)處理部ex355通過(guò)與上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法相對(duì)應(yīng)的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼，由此對(duì)影像信號(hào)進(jìn)行解碼(即，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由LCD控制部ex359從顯示部ex358顯示例如鏈接到主頁(yè)的運(yùn)動(dòng)圖像文件中包含的影像、靜止圖像。另外，聲音信號(hào)處理部ex354對(duì)聲音信號(hào)進(jìn)行解碼，從聲音輸出部ex357輸出聲音。
[0224]此外，上述便攜電話(huà)exll4等的終端與電視機(jī)ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂(lè)數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進(jìn)行了說(shuō)明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。
[0225]這樣，將在上述各實(shí)施方式中表示的運(yùn)動(dòng)圖像編碼方法或運(yùn)動(dòng)圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過(guò)這樣，能夠得到在上述各實(shí)施方式中說(shuō)明的效果。
[0226]此外，本發(fā)明并不限定于這樣的上述實(shí)施方式，能夠不脫離本發(fā)明的范圍而進(jìn)行各種變形或修正。
[0227](實(shí)施方式4)
[0228]也可以通過(guò)將在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、與依據(jù)MPEG - 2、MPEG4 — AVC,VC 一 I等不同的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換，來(lái)生成影像數(shù)據(jù)。
[0229]這里，在生成分別依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下，在解碼時(shí)，需要選擇對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的解碼方法。但是，由于不能識(shí)別要解碼的影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)，所以產(chǎn)生不能選擇適當(dāng)?shù)慕獯a方法的問(wèn)題。
[0230]為了解決該問(wèn)題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的識(shí)別信息的結(jié)構(gòu)。以下，說(shuō)明包括通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG - 2傳輸流形式的數(shù)字流。
[0231]圖22是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖22所示，復(fù)用數(shù)據(jù)通過(guò)將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個(gè)以上進(jìn)行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫(huà)面上的通常的影像，所謂副影像，是在主影像中用較小的畫(huà)面顯示的影像。此外，交互圖形流表示通過(guò)在畫(huà)面上配置GUI部件而制作的對(duì)話(huà)畫(huà)面。視頻流通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 I等標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置編碼。音頻流由杜比AC - 3, Dolby Digital Plus、MLP、DTS、DTS — HD、或線(xiàn)性 PCM 等的方式編碼。
[0232]包含在復(fù)用數(shù)據(jù)中的各流通過(guò)PID被識(shí)別。例如，對(duì)在電影的影像中使用的視頻流分配0x1011，對(duì)音頻流分配0x1100到Oxl 11F，對(duì)演示圖形分配0x1200到0xl21F，對(duì)交互圖形流分配0x1400到0xl41F，對(duì)在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對(duì)與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0233]圖23是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個(gè)視頻幀構(gòu)成的視頻流ex235、由多個(gè)音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為T(mén)S包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為T(mén)S包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過(guò)將這些TS包復(fù)用到I條流中而構(gòu)成。
[0234]圖24更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖24的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖24的箭頭yyl、yy2、yy3、yy4所示，視頻流中的多個(gè)作為Video Presentat1n Unit的I圖片、B圖片、P圖片按每個(gè)圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時(shí)刻的PTS(Presentat1n Time-Stamp)及作為圖片的解碼時(shí)刻的 DTS(Decoding Time-Stamp) ο
[0235]圖25表示最終寫(xiě)入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識(shí)別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長(zhǎng)度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對(duì)于TS包賦予4字節(jié)的TP_Extra_Header，構(gòu)成192字節(jié)的源包，寫(xiě)入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開(kāi)始時(shí)刻。在復(fù)用數(shù)據(jù)中，源包如圖25下段所示排列，從復(fù)用數(shù)據(jù)的開(kāi)頭起遞增的號(hào)碼被稱(chēng)作SPN (源包號(hào))。
[0236]此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有 PAT (Program Associat1n Table)、PMT (Program Map Table)、PCR (Pr。gram ClockReference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為Oo PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對(duì)應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時(shí)間軸的ATC(Arrival Time Clock)與作為PTS及DTS的時(shí)間軸的STC(System Time Clock)的同步，擁有與該P(yáng)CR包被轉(zhuǎn)送至解碼器的ATS對(duì)應(yīng)的STC時(shí)間的信息。
[0237]圖26是詳細(xì)地說(shuō)明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開(kāi)頭，配置有記述了包含在該P(yáng)MT中的數(shù)據(jù)的長(zhǎng)度等的PMT頭。在其后面，配置有多個(gè)關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個(gè)關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來(lái)識(shí)別流的壓縮編解碼器的流類(lèi)型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。
[0238]在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。
[0239]復(fù)用數(shù)據(jù)信息文件如圖27所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對(duì)一地對(duì)應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。
[0240]復(fù)用數(shù)據(jù)信息如圖27所示，由系統(tǒng)速率、再現(xiàn)開(kāi)始時(shí)刻、再現(xiàn)結(jié)束時(shí)刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開(kāi)始時(shí)刻是復(fù)用數(shù)據(jù)的開(kāi)頭的視頻幀的PTS，再現(xiàn)結(jié)束時(shí)刻設(shè)定為對(duì)復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。
[0241]流屬性信息如圖28所示，按每個(gè)PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個(gè)圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對(duì)應(yīng)于哪種語(yǔ)言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
[0242]在本實(shí)施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類(lèi)型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實(shí)施方式示出的運(yùn)動(dòng)圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對(duì)包含在PMT中的流類(lèi)型、或視頻流屬性信息，設(shè)定表示是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過(guò)該結(jié)構(gòu)，能夠識(shí)別通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[0243]此外，在圖29中表示本實(shí)施方式的運(yùn)動(dòng)圖像解碼方法的步驟。在步驟exSlOO中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類(lèi)型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類(lèi)型、或視頻流屬性信息是否表示是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類(lèi)型、或視頻流屬性信息是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼。此外，在流類(lèi)型、或視頻流屬性信息表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，在步驟exS103中，通過(guò)依據(jù)以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼。
[0244]這樣，通過(guò)在流類(lèi)型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時(shí)能夠判斷是否能夠通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯(cuò)誤地進(jìn)行解碼。此外，將在本實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、或者運(yùn)動(dòng)圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。
[0245](實(shí)施方式5)
[0246]在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法及裝置、運(yùn)動(dòng)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實(shí)現(xiàn)。作為一例，在圖30中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500 具備以下說(shuō)明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線(xiàn)ex510連接。電源電路部ex505通過(guò)在電源是開(kāi)啟狀態(tài)的情況下對(duì)各部供給電力，起動(dòng)為能夠動(dòng)作的狀態(tài)。
[0247]例如在進(jìn)行編碼處理的情況下，LSIex500基于具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等的控制部ex501的控制，通過(guò)AV I/0ex509從麥克風(fēng)exl 17及照相機(jī)exl 13等輸入AV信號(hào)。被輸入的AV信號(hào)暫時(shí)儲(chǔ)存在SDRAM等的外部的存儲(chǔ)器ex511中?；诳刂撇縠x501的控制，將儲(chǔ)存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)胤譃槎啻蔚?，向信?hào)處理部ex507發(fā)送，在信號(hào)處理部ex507中進(jìn)行聲音信號(hào)的編碼及/或影像信號(hào)的編碼。這里，影像信號(hào)的編碼處理是在上述各實(shí)施方式中說(shuō)明的編碼處理。在信號(hào)處理部ex507中，還根據(jù)情況而進(jìn)行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時(shí)，可以暫時(shí)將數(shù)據(jù)儲(chǔ)存到緩沖器ex508中以使其同步。
[0248]另外，在上述中，設(shè)存儲(chǔ)器ex511為L(zhǎng)SIex500的外部的結(jié)構(gòu)進(jìn)行了說(shuō)明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個(gè)，也可以具備多個(gè)緩沖器。此外，LSIex500既可以形成I個(gè)芯片，也可以形成多個(gè)芯片。
[0249]此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等，但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如，也可以是信號(hào)處理部ex507還具備CPU的結(jié)構(gòu)。通過(guò)在信號(hào)處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進(jìn)一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號(hào)處理部ex507、或作為信號(hào)處理部ex507的一部分的例如聲音信號(hào)處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號(hào)處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。
[0250]另外，這里設(shè)為L(zhǎng)SI，但根據(jù)集成度的差異，也有稱(chēng)作1C、系統(tǒng)LS1、超級(jí)(super)LS1、特級(jí)(ultra)LSI的情況。
[0251]此外，集成電路化的方法并不限定于LSI，也可以由專(zhuān)用電路或通用處理器實(shí)現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA(Field Programmable Gate Array:現(xiàn)場(chǎng)可編程門(mén)陣列)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。這樣的可編程邏輯設(shè)備典型地通過(guò)裝載或者從存儲(chǔ)器等中讀出構(gòu)成軟件或者固件的程序，從而能夠?qū)崿F(xiàn)上述各個(gè)實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法或者運(yùn)動(dòng)圖像解碼方法。
[0252]進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進(jìn)行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。
[0253](實(shí)施方式6)
[0254]在將通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比處理量會(huì)增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼時(shí)的CPUex502的驅(qū)動(dòng)頻率更高的驅(qū)動(dòng)頻率。但是，如果將驅(qū)動(dòng)頻率設(shè)得高，則發(fā)生消耗電力變高的問(wèn)題。
[0255]為了解決該問(wèn)題，電視機(jī)ex300、LSIex500等的運(yùn)動(dòng)圖像解碼裝置采用識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)、并根據(jù)標(biāo)準(zhǔn)切換驅(qū)動(dòng)頻率的結(jié)構(gòu)。圖31表示本實(shí)施方式的結(jié)構(gòu)ex800。驅(qū)動(dòng)頻率切換部ex803在影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的情況下，將驅(qū)動(dòng)頻率設(shè)定得高。并且，對(duì)執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動(dòng)頻率設(shè)定得低。并且，對(duì)依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802指示將影像數(shù)據(jù)解碼。
[0256]更具體地講，驅(qū)動(dòng)頻率切換部ex803由圖30的CPUex502和驅(qū)動(dòng)頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802對(duì)應(yīng)于圖30的信號(hào)處理部ex507。CPUex502識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)。并且，基于來(lái)自CPUex502的信號(hào)，驅(qū)動(dòng)頻率控制部ex512設(shè)定驅(qū)動(dòng)頻率。此外，基于來(lái)自CPUex502的信號(hào)，信號(hào)處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識(shí)別中使用例如在實(shí)施方式4中記載的識(shí)別信息。關(guān)于識(shí)別信息，并不限定于在實(shí)施方式4中記載的信息，只要是能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的信息就可以。例如，在基于識(shí)別影像數(shù)據(jù)利用于電視機(jī)還是利用于盤(pán)等的外部信號(hào)，來(lái)能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的情況下，也可以基于這樣的外部信號(hào)進(jìn)行識(shí)別。此外，CPUex502的驅(qū)動(dòng)頻率的選擇例如可以考慮如圖33所示的將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立對(duì)應(yīng)的查找表進(jìn)行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲(chǔ)器中，CPUex502通過(guò)參照該查找表，能夠選擇驅(qū)動(dòng)頻率。
[0257]圖32表示實(shí)施本實(shí)施方式的方法的步驟。首先，在步驟exS200中，在信號(hào)處理部ex507中，從復(fù)用數(shù)據(jù)中取得識(shí)別信息。接著，在步驟exS201中，在CPUex502中，基于識(shí)別信息識(shí)別影像數(shù)據(jù)是否是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動(dòng)頻率控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得高的信號(hào)。并且，在驅(qū)動(dòng)頻率控制部ex512中設(shè)定為高的驅(qū)動(dòng)頻率。另一方面，在表示是依據(jù)以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動(dòng)頻率控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得低的信號(hào)。并且，在驅(qū)動(dòng)頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動(dòng)頻率。
[0258]進(jìn)而，通過(guò)與驅(qū)動(dòng)頻率的切換連動(dòng)而變更對(duì)LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進(jìn)一步提高節(jié)電效果。例如，在將驅(qū)動(dòng)頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動(dòng)頻率設(shè)定得高的情況相比，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。
[0259]此外，驅(qū)動(dòng)頻率的設(shè)定方法只要是在解碼時(shí)的處理量大的情況下將驅(qū)動(dòng)頻率設(shè)定得高、在解碼時(shí)的處理量小的情況下將驅(qū)動(dòng)頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼的處理量大于將通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進(jìn)行驅(qū)動(dòng)頻率的設(shè)定。
[0260]進(jìn)而，驅(qū)動(dòng)頻率的設(shè)定方法并不限定于使驅(qū)動(dòng)頻率低的結(jié)構(gòu)。例如，也可以考慮在識(shí)別信息是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識(shí)別信息表示是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動(dòng)停止，在表示是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動(dòng)暫停。也可以考慮在識(shí)別信息表示是通過(guò)在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動(dòng)暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，將停止時(shí)間設(shè)定得短。
[0261]這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標(biāo)準(zhǔn)來(lái)切換驅(qū)動(dòng)頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來(lái)驅(qū)動(dòng)LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長(zhǎng)電池的壽命。
[0262](實(shí)施方式7)
[0263]在電視機(jī)、便攜電話(huà)等上述的設(shè)備、系統(tǒng)中，有時(shí)被輸入依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號(hào)處理部ex507需要對(duì)應(yīng)于多個(gè)標(biāo)準(zhǔn)。但是，如果單獨(dú)使用對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的信號(hào)處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問(wèn)題。
[0264]為了解決該問(wèn)題，采用將用來(lái)執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的解碼處理部一部分共用的結(jié)構(gòu)。圖34A的ex900表示該結(jié)構(gòu)例。例如，在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法和依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運(yùn)動(dòng)補(bǔ)償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通。可以考慮如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用對(duì)應(yīng)于MPEG4 - AVC標(biāo)準(zhǔn)的解碼處理部ex902，關(guān)于不對(duì)應(yīng)于MPEG4 — AVC標(biāo)準(zhǔn)的本發(fā)明的一個(gè)方式所特有的其他的處理內(nèi)容，使用專(zhuān)用的解碼處理部ex901。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用用來(lái)執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部，關(guān)于MPEG4 — AVC標(biāo)準(zhǔn)所特有的處理內(nèi)容，使用專(zhuān)用的解碼處理部。
[0265]此外，用圖34B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個(gè)方式所特有的處理內(nèi)容對(duì)應(yīng)的專(zhuān)用的解碼處理部exlOOl、和與其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容對(duì)應(yīng)的專(zhuān)用的解碼處理部exl002、和與在本發(fā)明的一個(gè)方式的運(yùn)動(dòng)圖像解碼方法和其他的以往標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法中共通的處理內(nèi)容對(duì)應(yīng)的共用的解碼處理部exl003的結(jié)構(gòu)。這里，專(zhuān)用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個(gè)方式、或者其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIex500安裝本實(shí)施方式的結(jié)構(gòu)。
[0266]這樣，對(duì)于在本發(fā)明的一個(gè)方式的運(yùn)動(dòng)圖像解碼方法和以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
[0267]產(chǎn)業(yè)上的可利用性
[0268]有關(guān)本發(fā)明的一形態(tài)的圖像編碼方法及圖像解碼方法例如可以在電視接收機(jī)、數(shù)字視頻記錄機(jī)、汽車(chē)導(dǎo)航儀、便攜電話(huà)、數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)等中使用。
[0269]標(biāo)號(hào)說(shuō)明
[0270]10、100圖像解碼裝置
[0271]11塊解碼部
[0272]12、22、112切片末端判定部
[0273]13、23、113、223 子末端判定部
[0274]14、24末端處理部
[0275]20、200圖像編碼裝置
[0276]21塊編碼部
[0277]110熵解碼部
[0278]111 CTU 解碼部
[0279]114字節(jié)開(kāi)頭搜索部
[0280]115,225末端處理部
[0281]116,226子末端處理部
[0282]120,230逆量化逆變換部
[0283]125、235 加法器
[0284]130、240環(huán)路濾波器
[0285]140、250 存儲(chǔ)器
[0286]150、260幀內(nèi)預(yù)測(cè)部
[0287]160、280運(yùn)動(dòng)補(bǔ)償部
[0288]170、290幀內(nèi)/幀間切換開(kāi)關(guān)
[0289]205減法器
[0290]210變換量化部
[0291]220熵編碼部
[0292]221 CTU 編碼部
[0293]222切片末端編碼部
[0294]270運(yùn)動(dòng)檢測(cè)部
【權(quán)利要求】
1.一種圖像解碼方法，將比特流中包含的編碼后的圖像按照每個(gè)塊解碼，其特征在于，具備如下步驟: 將解碼對(duì)象塊算術(shù)解碼； 判定上述解碼對(duì)象塊是否處于切片的末端； 在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；以及 在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理。
2.如權(quán)利要求1所述的圖像解碼方法，其特征在于， 上述圖像解碼方法還具備如下步驟: 在判定為上述解碼對(duì)象塊處于切片的末端的情況下，進(jìn)行算術(shù)解碼的末端處理作為第2末端處理；以及 在進(jìn)行上述第I末端處理時(shí)，進(jìn)行與上述第2末端處理相同的處理。
3.如權(quán)利要求2所述的圖像解碼方法，其特征在于， 上述圖像解碼方法還具備如下步驟: 將表示上述解碼對(duì)象塊是否處于切片的末端的切片末端標(biāo)志算術(shù)解碼； 在是否處于上述切片的末端的判定中， 在算術(shù)解碼后的上述切片末端標(biāo)志表示預(yù)先設(shè)定的值的情況下，判定為上述解碼對(duì)象塊處于切片的末端； 在上述子末端比特的算術(shù)解碼中，通過(guò)該算術(shù)解碼將與上述預(yù)先設(shè)定的值相同的值復(fù)原。
4.如權(quán)利要求1?3中任一項(xiàng)所述的圖像解碼方法，其特征在于， 在上述子末端比特的算術(shù)解碼中，通過(guò)該算術(shù)解碼將I復(fù)原。
5.如權(quán)利要求1?4中任一項(xiàng)所述的圖像解碼方法，其特征在于， 在上述圖像解碼方法中，還在進(jìn)行上述第I末端處理后，進(jìn)行對(duì)比特序列執(zhí)行跳讀的處理，該比特序列是被寫(xiě)入在上述比特流中以使得包括上述子單位及上述子末端比特的比特長(zhǎng)度成為預(yù)先設(shè)定的N比特的倍數(shù)的比特序列，N是2以上的整數(shù)。
6.如權(quán)利要求5所述的圖像解碼方法，其特征在于， 在上述子末端比特的算術(shù)解碼中，將上述比特序列的開(kāi)頭的比特作為上述子末端比特算術(shù)解碼。
7.一種圖像編碼方法，通過(guò)將圖像按照每個(gè)塊編碼而生成比特流，其特征在于，具備如下步驟: 將編碼對(duì)象塊算術(shù)編碼； 判定上述編碼對(duì)象塊是否處于切片的末端； 在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端； 在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)編碼，進(jìn)行算術(shù)編碼的末端處理作為第I末端處理。
8.如權(quán)利要求7所述的圖像編碼方法，其特征在于， 上述圖像編碼方法還具備如下步驟: 在判定為上述編碼對(duì)象塊處于切片的末端的情況下，進(jìn)行算術(shù)編碼的末端處理作為第2末端處理；以及 在進(jìn)行上述第I末端處理時(shí)，進(jìn)行與上述第2末端處理相同的處理。
9.如權(quán)利要求8所述的圖像編碼方法，其特征在于， 上述圖像編碼方法還具備如下步驟: 將表示上述編碼對(duì)象塊是否處于切片的末端的切片末端標(biāo)志算術(shù)編碼； 在是否處于上述切片的末端的判定中， 在上述切片末端標(biāo)志表示預(yù)先設(shè)定的值的情況下，判定為上述編碼對(duì)象塊處于切片的末端； 在上述子末端比特的算術(shù)編碼中，將表示與上述預(yù)先設(shè)定的值相同的值的上述子末端比特算術(shù)編碼。
10.如權(quán)利要求7?9中任一項(xiàng)所述的圖像編碼方法，其特征在于， 在上述子末端比特的算術(shù)編碼中，將表示I的上述子末端比特算術(shù)編碼。
11.如權(quán)利要求7?10中任一項(xiàng)所述的圖像編碼方法，其特征在于， 在上述圖像編碼方法中，還在進(jìn)行上述第I末端處理后，將比特序列向上述比特流寫(xiě)入，以使得包括算術(shù)編碼后的上述子單位及上述子末端比特的比特長(zhǎng)度成為預(yù)先設(shè)定的N比特的倍數(shù)，N是2以上的整數(shù)。
12.如權(quán)利要求11所述的圖像編碼方法，其特征在于， 在上述子末端比特的算術(shù)編碼中，將上述比特序列的開(kāi)頭的比特作為上述子末端比特算術(shù)編碼。
13.一種圖像解碼裝置，具備處理電路和能夠從上述處理電路訪(fǎng)問(wèn)的存儲(chǔ)裝置，將比特流中包含的編碼后的圖像按照每個(gè)塊解碼，其特征在于， 上述處理電路使用上述存儲(chǔ)裝置進(jìn)行如下處理: 將解碼對(duì)象塊算術(shù)解碼； 判定上述解碼對(duì)象塊是否處于切片的末端； 在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端；以及 在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)解碼，進(jìn)行算術(shù)解碼的末端處理作為第I末端處理。
14.一種圖像編碼裝置，具備處理電路和能夠從上述處理電路訪(fǎng)問(wèn)的存儲(chǔ)裝置，通過(guò)將圖像按照每個(gè)塊編碼而生成比特流，其特征在于， 上述處理電路使用上述存儲(chǔ)裝置進(jìn)行如下處理: 將編碼對(duì)象塊算術(shù)編碼； 判定上述編碼對(duì)象塊是否處于切片的末端； 在判定為不處于上述切片的末端的情況下，判定是否處于與切片不同的作為上述圖像的構(gòu)成單位的子單位的末端； 在判定為處于上述子單位的末端的情況下，將子末端比特算術(shù)編碼，進(jìn)行算術(shù)編碼的末端處理作為第I末端處理。
15.一種圖像編碼解碼裝置，其特征在于，具備:權(quán)利要求13所 述的圖像解碼裝置；以及權(quán)利要求14所述的圖像編碼裝置。
【文檔編號(hào)】H04N19/13GK104509116SQ201380038696
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2013年8月7日 優(yōu)先權(quán)日:2012年8月9日
【發(fā)明者】笹井壽郎, 西孝啟, 柴原陽(yáng)司, 谷川京子, 杉尾敏康, 松延徹, 寺田健吾 申請(qǐng)人:松下電器（美國(guó)）知識(shí)產(chǎn)權(quán)公司