圖像處理設(shè)備和圖像處理方法
【專利摘要】為了更有效使用圖像編碼方法中的代碼號碼表，從而對多個流進行編碼，提供一種圖像處理設(shè)備，包括：代碼號碼表，用于保存在熵編碼中使用的代碼號碼和語法要素的索引值對；第一轉(zhuǎn)換部，用于通過參考代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值；以及第二轉(zhuǎn)換部，用于通過參考代碼號碼表，將與兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
【專利說明】圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002]作為H.264/AVC之后的下一代圖像代碼化方案，正在實行HEVC (高效視頻代碼化)的標(biāo)準化。在HEVC中，各種組成技術(shù)從AVC (先進視頻代碼化)方面得到改進。在投稿文章JCTVC-A119中，例如，提議將與AVC的熵代碼化的CABAC(基于上下文的自適應(yīng)二進制算術(shù)代碼化)和CAVLC(基于上下文的自適應(yīng)VLC)不同的技術(shù)作為熵代碼化技術(shù)(參見以下非專利文獻I)。
[0003]與CAVLC相比，CABAC需要對算術(shù)代碼化的復(fù)雜操作，同時其代碼化效率高。因此，在H.264/AVC的基線輪廓中，不是使用CABAC，而是使用CAVLC。與之不同，在JCTVC-A119提議的熵代碼化技術(shù)中，通過類似CAVLC的VLC (可變長度代碼化)，可以提供與CABAC相近的性能，并且因此，期望在包括像移動電話那樣的移動裝置的低操作能力的裝置中使用它。
[0004]在JCTVC-Al 19提議的熵代碼化技術(shù)中，編碼器和解碼器存儲代碼號碼表，代碼號碼表保存與每個碼字相關(guān)聯(lián)的代碼號碼以及語法要素的索引值的對。然后，在編碼或解碼時如果出現(xiàn)某些索引值，就在代碼號碼表中交換已經(jīng)出現(xiàn)的索引值與緊接在上方的索引值(也就是代碼號碼小I的索引值)。通過重復(fù)這種交換，將具有較高頻率的索引值與較小的代碼號碼相關(guān)聯(lián)。結(jié)果，實現(xiàn)代碼量的壓縮，這是熵代碼化的優(yōu)點。
[0005]順便提及，可分級視頻代碼化(SVC)是未來圖像編碼方案的其中一種重要技術(shù)。可分級視頻代碼化是按照層次將傳輸粗糙圖像信號的層以及傳輸精細圖像信號的層編碼的技術(shù)。在可分級視頻代碼化中分級的典型屬性主要包括以下三種:
[0006]空間可分級性:將空間分辨率或圖像尺寸分級；
[0007]時間可分級性:將幀率分級；
[0008]SNR (信噪比)可分級性:將SN比分級；
[0009]此外，雖然在標(biāo)準中尚未采用，但是也討論了比特深度可分級性以及色度格式可分級性。
[0010]在可分級視頻代碼化中編碼的多個層一般反映通用場景。針對通用場景將多個流編碼的事實不僅應(yīng)用于可分級視頻代碼化，也應(yīng)用于多視圖代碼化(用于立體圖像和隔行代碼化)。
[0011]引用列表
[0012]非專利文獻
[0013]非專利文獻I:KemaI Ugur, et al.，“Description of video coding technologyproposal by Tandberg, Nokia, Ericsson，，(JCTVC-A119, April2010)

【發(fā)明內(nèi)容】

[0014]技術(shù)問題[0015]但是，在諸如可分級視頻代碼化、多視圖代碼化以及隔行代碼化的圖像代碼化方案中，編碼器和解碼器不利地消耗大量資源來將多個編碼流編碼和解碼。例如，如果在可分級視頻代碼化中應(yīng)當(dāng)為每個層保存上述代碼號碼表，那么代碼號碼表需要大量存儲器資源，此外，將負載應(yīng)用于處理器的交換處理的數(shù)量增加。
[0016]因此，希望提供一種能夠在其中將多個流編碼的圖像代碼化方案中有效利用代碼號碼表的機制。
[0017]問題的解決方案
[0018]根據(jù)本公開，提供一種圖像處理設(shè)備，包括:代碼號碼表，用于保存在熵代碼化中使用的代碼號碼以及語法要素的索引值對；第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值；以及第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
[0019]上述圖像處理裝置通?？梢詫崿F(xiàn)為將圖像解碼的圖像解碼裝置。
[0020]根據(jù)本公開，提供一種圖像處理方法，包括:通過參考代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼以及語法要素的索引值對；以及通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
[0021]根據(jù)本公開，提供一種圖像處理設(shè)備，包括:代碼號碼表，用于保存在熵代碼化中使用的代碼號碼以及語法要素的索引值對；第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼；以及第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
[0022]上述圖像處理裝置通?？梢詫崿F(xiàn)為將圖像編碼的圖像編碼裝置。
[0023]根據(jù)本公開，提供一種圖像處理方法，包括:通過參考代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；以及通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
[0024]本發(fā)明的有益效果
[0025]根據(jù)本公開的技術(shù)，在其中將多個流編碼的圖像代碼化方案中可以有效地使用代碼號碼表。
【專利附圖】

【附圖說明】
[0026]圖1是示出可分級視頻代碼化的示意圖。
[0027]圖2是示出根據(jù)實施例的圖像編碼裝置的示意性配置的方框圖。
[0028]圖3是示出根據(jù)實施例的圖像編碼裝置的示意性配置的方框圖。
[0029]圖4是示出圖2所示第一圖片編碼部和第二圖片編碼部的配置的示例的方框圖。[0030]圖5是示出圖4所示無損編碼部的詳細配置的示例的方框圖。
[0031]圖6是示出代碼號碼表的示例的示意圖。
[0032]圖7是示出VLC表的示例的示意圖。
[0033]圖8是示出代碼號碼表的交換的示意圖。
[0034]圖9是示出可將通用代碼號碼表用于它們的語法要素的示例的示意圖。
[0035]圖10是示出可將通用代碼號碼表用于它們的語法要素的另一示例的示意圖。
[0036]圖11是示出在根據(jù)實施例代碼化時的處理的流程的示例的流程圖。
[0037]圖12是示出圖3所示第一圖片解碼部和第二圖片解碼部的配置的示例的方框圖。
[0038]圖13是示出圖12所示無損解碼部的詳細配置的示例的方框圖。
[0039]圖14是示出在根據(jù)實施例解碼時的處理的流程的示例的流程圖。
[0040]圖15是示出將根據(jù)實施例的編碼處理應(yīng)用于多視圖代碼化的示意圖。
[0041]圖16是示出將根據(jù)實施例的解碼處理應(yīng)用于多視圖代碼化的示意圖。
[0042]圖17是示出電視機的示意性配置的示例的方框圖。
[0043]圖18是示出移動電話的示意性配置的示例的方框圖。
[0044]圖19是示出記錄/再現(xiàn)裝置的示意性配置的示例的方框圖。
[0045]圖20是示出圖像捕捉裝置的示意性配置的示例的方框圖。
【具體實施方式】
[0046]下面參照附圖詳細描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示功能和結(jié)構(gòu)基本上相同的元件，并省略重復(fù)描述。
[0047]按照以下順序進行描述。
[0048]1.概述
[0049]2.根據(jù)實施例的編碼部的配置示例
[0050]3.根據(jù)實施例的、在編碼時的處理的流程
[0051]4.根據(jù)實施例的解碼部的配置示例
[0052]5.根據(jù)實施例的、在解碼時的處理的流程
[0053]6.對各種圖像代碼化方案的應(yīng)用
[0054]7.應(yīng)用示例
[0055]8.總結(jié)
[0056]〈1.概述〉
[0057]在本部分，通過以對可分級視頻代碼化的應(yīng)用作為示例，提供根據(jù)實施例的圖像編碼裝置和圖像解碼裝置的概述。這里所述裝置的配置也可應(yīng)用于多視圖代碼化以及隔行代碼化。
[0058]在可分級視頻代碼化中，將分別包含一系列圖像的多個層編碼?；緦邮鞘紫缺痪幋a的層，以表示最粗糙的圖像?；緦拥木幋a流可以被單獨解碼，而不需要將其他層的編碼流解碼。除了基本層之外的層是稱為增強層的層，表示更精細的圖像。通過利用基本層的編碼流中包含的信息，將增強層的解碼流編碼。因此，為了再現(xiàn)增強層的圖像，將基本層和增強層兩者的編碼流都解碼。在可分級視頻代碼化中處理的層的數(shù)量可以是等于大于2的任何數(shù)量。在將3個以上的層編碼時，最低層是基本層，其余層是增強層。對于更高增強層的編碼流，可將較低增強層和基本層的編碼流中包含的信息用于編碼和解碼。在本說明書中，關(guān)于具有依存關(guān)系的至少兩個層，被依存?zhèn)鹊膶臃Q為下層，依存?zhèn)鹊膶臃Q為上層。
[0059]圖1示出受到可分級視頻代碼化的三個層L1、L2、L3。層LI是基本層，而層L2、L3是增強層。這里，在各種類型的可分級性中，取空間可分級性作為示例。層L2相對于層LI的空間分辨率之比為2:1。層L3相對于層LI的空間分辨率之比為4:1。層LI的塊BI是基本層的圖片內(nèi)的預(yù)測單元。層L2的塊B2是采取與塊BI通用的場景的增強層的圖片內(nèi)的預(yù)測單元。塊B2對應(yīng)于層LI的塊BI。層L3的塊B3是采取與塊B1、B2通用的場景的更高增強層的圖片內(nèi)的預(yù)測單元。塊B3對應(yīng)于層LI的塊BI以及層L2的塊B2。
[0060]在這種層結(jié)構(gòu)中，某些層的圖像的空間相關(guān)性和時間相關(guān)性通常類似于與通用場景相對應(yīng)的其他層的空間相關(guān)性和時間相關(guān)性。例如，如果塊BI與層LI某方向上的相鄰塊具有強相關(guān)性，那么很可能，塊B2與層L2的該相同方向上的相鄰塊具有強相關(guān)性，并且塊B3與層L3的該相同方向上的相鄰塊具有強相關(guān)性。因此，取決于圖像的空間相關(guān)性的關(guān)于幀內(nèi)預(yù)測的參數(shù)值以及取決于圖像(其參數(shù)值出現(xiàn)得更頻繁)的時間相關(guān)性的關(guān)于幀間預(yù)測的參數(shù)值的出現(xiàn)趨勢在層之間在某些程度上是相似的。因此，當(dāng)這些參數(shù)被熵編碼時，期望具有較高出現(xiàn)頻率的參數(shù)值可以被適當(dāng)?shù)赜成涞捷^短的碼字，即使將代碼號碼表形成為在層之間通用?；谶@種理念，在下述實施例中，通過引入通用代碼號碼表來實現(xiàn)其中將多個流編碼的圖像代碼化方案中資源的有效使用。
[0061 ] 在以下描述中，與某些層的塊相對應(yīng)的其他層的塊例如意味著具有與某些層的塊內(nèi)預(yù)定位置(例如左上角)中的像素相對應(yīng)的像素的其他層的塊?；谶@種定義，例如，即使出現(xiàn)將下層的多個塊集成的上層的塊，也可以唯一地確定與上層的塊相對應(yīng)的下層的塊。
[0062]圖2是示出根據(jù)支持可分級視頻代碼化的實施例的圖像編碼裝置10的示意性配置的方框圖。參照圖2，圖像編碼裝置10包括第一圖片編碼部la、第二圖片編碼部lb、通用存儲器2和復(fù)用部3。
[0063]第一圖片編碼部Ia將基本層圖像編碼，以產(chǎn)生基本層的編碼流。第二圖片編碼部Ib將增強層圖像編碼，以產(chǎn)生增強層的編碼流。通用存儲器2存儲層之間通用的信息。復(fù)用部3將通過第一圖片編碼部Ia產(chǎn)生的基本層的編碼流與通過第二圖片編碼部Ib產(chǎn)生的一個或多個增強層的編碼流復(fù)用，以產(chǎn)生多層復(fù)用流。
[0064]圖3是示出根據(jù)支持可分級視頻代碼化的實施例的圖像解碼裝置60的示意性配置的方框圖。參照圖3，圖像解碼裝置60包括解復(fù)用部5、第一圖片解碼部6a、第二圖片解碼部6b以及通用存儲器7。
[0065]解復(fù)用部5將多層復(fù)用流解復(fù)用為基本層的編碼流以及一個或多個增強層的解碼流。第一圖片解碼部6a將基本層的編碼流解碼為基本層圖像。第二圖片解碼部6b將增強層的編碼流解碼為增強層圖像。通用存儲器7存儲層之間通用的信息。
[0066]在圖2所示的圖像編碼裝置10中，將基本層編碼的第一圖片編碼部Ia的配置以及將增強層編碼的第二圖片編碼部Ib的配置彼此相似。第一圖片編碼部Ia和第二圖片編碼部Ib參照通用存儲器2中存儲的、將預(yù)定類型的參數(shù)編碼的通用代碼號碼表。對于每個層，不重復(fù)交換通用代碼號碼表的條目。在下一部分，將詳細描述第一圖片編碼部Ia和第二圖片編碼部Ib的配置。[0067]與圖3所述圖像解碼裝置60相似，將基本層解碼的第一圖片解碼部6a的配置以及將增強層解碼的第二圖片解碼部6b的配置彼此相似。第一圖片解碼部6a和第二圖片解碼部6b參照通用存儲器7中存儲的、將預(yù)定類型的參數(shù)編碼的通用代碼號碼表。對于每個層，不重復(fù)交換通用代碼號碼表的條目。在下一部分，將詳細描述第一圖片解碼部6a和第二圖片解碼部6b的配置。
[0068]〈2.根據(jù)實施例的編碼部的配置示例〉
[0069][2-1.整體配置示例]
[0070]圖4是示出圖2所示的第一圖片編碼部Ia和第二圖片編碼部Ib的配置的示例的方框圖。參照圖4，第一圖片編碼部Ia包括排序緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、反量化部21、反正交變換部22、加法部23、去塊濾波器24、幀存儲器25、選擇器26、27、運動估計部30以及幀內(nèi)預(yù)測部40。第二圖片編碼部Ib包括無損編碼部16b代替無損編碼部16a。
[0071]排序緩沖器12將一系列圖像數(shù)據(jù)中包括的圖像排序。在根據(jù)編碼處理將符合GOP(圖片組)結(jié)構(gòu)的圖像排序以后，排序緩沖器12將已經(jīng)排序的圖像數(shù)據(jù)輸出到減法部
13、運動估計部30以及幀內(nèi)預(yù)測部40。
[0072]從排序緩沖器12輸入的圖像數(shù)據(jù)以及由運動估計部30或幀內(nèi)預(yù)測部40輸入的預(yù)測圖像數(shù)據(jù)被提供到減法部13。減法部13計算預(yù)測誤差數(shù)據(jù)(其為從排序緩沖器12輸入的圖像數(shù)據(jù)與預(yù)測圖像數(shù)據(jù)之差)，并將所計算的預(yù)測誤差數(shù)據(jù)輸出到正交變換部14。
[0073]正交變換部14對于從減法部13輸入的預(yù)測誤差數(shù)據(jù)進行正交變換。要通過正交變換部14進行的正交變換例如可以是離散余弦變換(DCT)或者Karhunen-Loeve變換。正交變換部14將通過正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出到量化部15。
[0074]從正交變換部14輸入的變換系數(shù)數(shù)據(jù)以及來自后述速率控制部18的速率控制信號被提供給量化部15。量化部15將變換系數(shù)數(shù)據(jù)量化，并將已經(jīng)量化的變換系數(shù)數(shù)據(jù)(下面稱為量化數(shù)據(jù))輸出到無損編碼部16a或16b以及反量化部21。此外，量化部15基于來自速率控制部18的速率控制信號切換量化參數(shù)(量化級別)，從而改變量化數(shù)據(jù)的比特率。
[0075]無損編碼部16a通過對從量化部15輸入的量化數(shù)據(jù)進行無損編碼處理，產(chǎn)生基本層的編碼流。此外，無損編碼部16a將從選擇器27輸入的關(guān)于幀內(nèi)預(yù)測的信息或者關(guān)于幀間預(yù)測的信息編碼，并將編碼參數(shù)復(fù)用為編碼流的頭部區(qū)域。然后，無損編碼部16a將產(chǎn)生的編碼流輸出到累積緩沖器17。
[0076]類似地，無損編碼部16b通過對于從量化部15輸入的量化數(shù)據(jù)進行無損編碼處理，產(chǎn)生增強層的編碼流。此外，無損編碼部16b將從選擇器27輸入的關(guān)于幀內(nèi)預(yù)測的信息或者關(guān)于幀間預(yù)測的信息編碼，并將編碼參數(shù)復(fù)用為編碼流的頭部區(qū)域。然后，無損編碼部16b將產(chǎn)生的編碼流輸出到累積緩沖器17。
[0077]累積緩沖器17利用諸如半導(dǎo)體存儲器這樣的存儲介質(zhì)，臨時累積從無損編碼部16a或16b輸入的編碼流。然后，累積緩沖器17按照根據(jù)傳輸路徑的波段的速率，將累積的編碼流輸出到傳輸部(未示出)(例如，通信接口或者到外設(shè)的接口)。
[0078]速率控制部18監(jiān)測累積緩沖器17的自由空間。然后，速率控制部18根據(jù)累積緩沖器17的自由空間，產(chǎn)生速率控制信號，并將產(chǎn)生的速率控制信號輸出到量化部15。例如，當(dāng)累積緩沖器17中沒有很多自由空間時，速率控制部18產(chǎn)生用于降低量化數(shù)據(jù)的比特率的速率控制信號。此外，例如當(dāng)累積緩沖器17中的自由空間足夠大時，速率控制部18產(chǎn)生用于增加量化數(shù)據(jù)的比特率的速率控制信號。
[0079]反量化部21對于從量化部15輸入的量化數(shù)據(jù)進行反量化處理。然后，反量化部21將通過反量化處理獲取的變換系數(shù)數(shù)據(jù)輸出到反正交變換部22。
[0080]反正交變換部22對于從反量化部21輸入的變換系數(shù)數(shù)據(jù)進行反正交變換，從而恢復(fù)預(yù)測誤差數(shù)據(jù)。然后，反正交變換部22將恢復(fù)的預(yù)測誤差數(shù)據(jù)輸出到加法部23。
[0081]加法部23將從反正交變換部22輸入的恢復(fù)的預(yù)測誤差數(shù)據(jù)與從運動估計部30或者幀內(nèi)預(yù)測部40輸入的預(yù)測圖像數(shù)據(jù)相加，從而產(chǎn)生解碼圖像數(shù)據(jù)。然后，加法部23將產(chǎn)生的解碼圖像數(shù)據(jù)輸出到去塊濾波器24和幀存儲器25。
[0082]去塊濾波器24進行濾波處理，以減少將圖像編碼時出現(xiàn)的塊失真。去塊濾波器24將從加法部23輸入的解碼圖像數(shù)據(jù)濾波，以消除塊失真，并將濾波以后的解碼圖像數(shù)據(jù)輸出到幀存儲器25。
[0083]幀存儲器25利用存儲介質(zhì)存儲從加法部23輸入的解碼圖像數(shù)據(jù)以及從去塊濾波器24輸入的濾波以后的解碼圖像數(shù)據(jù)。
[0084]選擇器26從幀存儲器25讀取要用于幀間預(yù)測的濾波以后的解碼圖像數(shù)據(jù)，并將已經(jīng)讀取的解碼圖像數(shù)據(jù)提供給運動估計部30，作為參考圖像數(shù)據(jù)。此外，選擇器26從幀存儲器25讀取要用于幀內(nèi)預(yù)測的濾波之前的解碼圖像數(shù)據(jù)，并將已經(jīng)讀取的解碼圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測部40，作為參考圖像數(shù)據(jù)。
[0085]在幀間預(yù)測模式中，選擇器27將從運動估計部30輸出的、作為幀間預(yù)測結(jié)果的預(yù)測圖像數(shù)據(jù)輸出到減法部13，并將關(guān)于幀間預(yù)測的信息輸出到無損編碼部16a或16b。在幀內(nèi)預(yù)測模式中，選擇器27將從幀內(nèi)預(yù)測部40輸出的、作為幀內(nèi)預(yù)測結(jié)果的預(yù)測圖像數(shù)據(jù)輸出到減法部13，并將關(guān)于幀內(nèi)預(yù)測的信息輸出到無損編碼部16a或16b。選擇器27根據(jù)從運動估計部30以及幀內(nèi)預(yù)測部40輸出的代價函數(shù)值的大小，切換幀間預(yù)測模式和幀內(nèi)預(yù)測模式。
[0086]運動估計部30基于要編碼并從排序緩沖器12輸入的圖像數(shù)據(jù)(原始圖像數(shù)據(jù))以及經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)，進行幀間預(yù)測處理(幀間預(yù)測處理)。例如，運動估計部30利用預(yù)定的代價函數(shù)評估每個預(yù)測模式中的預(yù)測結(jié)果。接著，運動估計部30選擇其中代價函數(shù)值取最小值的預(yù)測模式(也就是其中壓縮率最高的預(yù)測模式)作為最佳預(yù)測模式。此外，運動估計部30根據(jù)最佳預(yù)測模式產(chǎn)生預(yù)測圖像數(shù)據(jù)。然后，運動估計部30將指示選擇的最佳預(yù)測模式的預(yù)測模式信息、包括運動矢量信息和參考像素信息的關(guān)于幀間預(yù)測的信息、代價函數(shù)值以及預(yù)測圖像數(shù)據(jù)輸出到選擇器27。
[0087]幀內(nèi)預(yù)測部40基于從排序緩沖器12輸入的原始圖像數(shù)據(jù)以及作為參考圖像數(shù)據(jù)從幀存儲器25提供的解碼圖像數(shù)據(jù)，在預(yù)測單元中進行幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部40通過利用預(yù)定的代價函數(shù)，評估每個預(yù)測模式中的預(yù)測結(jié)果。接著，幀內(nèi)預(yù)測部40選擇其中代價函數(shù)值取最小值的預(yù)測模式(也就是其中壓縮率最高的預(yù)測模式)作為最佳預(yù)測模式。幀內(nèi)預(yù)測部40根據(jù)最佳預(yù)測模式產(chǎn)生預(yù)測圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部40將包括表示選擇的最佳預(yù)測模式的預(yù)測模式信息的幀間預(yù)測的信息、代價函數(shù)值以及預(yù)測圖像數(shù)據(jù)輸出到選擇器27。[0088]第一圖片編碼部Ia對于基本層的一系列圖像數(shù)據(jù)進行這里所述的一系列編碼處理。第二圖片編碼部Ib對于增強層的一系列圖像數(shù)據(jù)進行這里所述的一系列編碼處理。如同下面要進一步描述的，在預(yù)測單元中同步進行用于基本層的編碼處理以及用于增強層的編碼處理。當(dāng)出現(xiàn)多個增強層時，可以在預(yù)測單元中同步進行用于基本層的編碼處理以及用于多個增強層的編碼處理。
[0089][2-2.無損編碼部的配置示例]
[0090]圖5是示出圖4所示無損編碼部16a、16b的詳細配置的示例的方框圖。參照圖5,無損編碼部16a包括索引值獲取部110a、轉(zhuǎn)換部112a和交換部114a。無損編碼部16b包括索引值獲取部110b、轉(zhuǎn)換部112b和交換部114b。
[0091]轉(zhuǎn)換部112a參考通用存儲器2中存儲的代碼號碼表104以及VLC(可變長度代碼)表106。轉(zhuǎn)換部112b參考代碼號碼表104以及VLC表106。轉(zhuǎn)換部112a也可以參考層專用代碼號碼表104a。轉(zhuǎn)換部112b也可以參考層專用代碼號碼表104b。
[0092]圖6是示出代碼號碼表的示例的示意圖。代碼號碼表104有兩個數(shù)據(jù)項，即代碼號碼(CodeNum)和語法要素(SyntaxElement)。代碼號碼是與熵代碼化中使用的每個碼字相關(guān)聯(lián)的號碼。例如，代碼號碼可以是從O到碼字的候選的數(shù)量(減I)的整數(shù)。代碼號碼表104的語法要素的值是與每個語法要素相對應(yīng)的索引值。語法要素的索引值也稱為表索引。
[0093]通過參考上 述代碼號碼表104，在例如將圖像編碼時，針對每個語法要素獲取與出現(xiàn)的索引值相對應(yīng)的代碼號碼。在圖3的示例中，代碼號碼表104包含(0，4)、(I, 5)、(2，2)、(3，I)、(4，7)，…作為代碼號碼與語法要素的索引值的對。因此，如果出現(xiàn)的索引值例如為“4”，則獲取代碼號碼“O”。如果出現(xiàn)的索引值例如為“5”，則獲取代碼號碼“I”。在將圖像解碼時，針對每個語法要素獲取與出現(xiàn)的代碼號碼相對應(yīng)的索引值。例如，如果出現(xiàn)的代碼號碼為“0”，則獲取索引值“4”。如果出現(xiàn)的代碼號碼為“1，則獲取索引值“5”。
[0094]通常，針對每種類型的語法要素提供不同的代碼號碼表。在本實施例中，使得預(yù)定類型的語法要素的代碼號碼表在層之間通用，以構(gòu)成單獨的代碼號碼表104。預(yù)定類型可包括用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息?？梢允沟糜糜谄渌愋偷恼Z法要素的代碼號碼表在層之間通用。為了方便起見，圖5示出一個通用代碼號碼表104，但是實際上，可以有多個通用代碼號碼表104。用于其他類型的語法要素的代碼號碼表被提供用于每個層，并構(gòu)成專用于每個層的代碼號碼表104a和代碼號碼表104b。
[0095]圖7是示出VLC表的示例的示意圖。VLC表106有兩個數(shù)據(jù)項，即代碼號碼(CodeNum)和碼字(CodeWord)。碼字是通過與代碼號碼相關(guān)聯(lián)來定義的可變長度比特串。在VLC表106中，通常較短的比特串與較小的代碼號碼相關(guān)聯(lián)。通過參考上述VLC表106，在例如將圖像編碼時，從VLC表106獲取與對應(yīng)于出現(xiàn)的索引值的代碼號碼相關(guān)聯(lián)的碼字，并將獲取的碼字輸出，作為編碼流的一部分。在將圖像解碼時，從VLC表106獲取與編碼流中包含的碼字相關(guān)聯(lián)的代碼號碼，并將獲取的碼字用于參考代碼號碼表104。
[0096]例如在H.264/AVC和HEVC中，事先提供具有不同碼字圖案的多個VLC表。然后，根據(jù)索引值出現(xiàn)概率的分布，切換在編碼/解碼時要使用的VLC表。但是，VLC表中碼字圖案的差異與本實施例的特征不相關(guān)，因此這里省略對VLC表的切換的詳細描述。[0097]利用上述一組表格，無損編碼部16a將圖像數(shù)據(jù)和基本層的參數(shù)轉(zhuǎn)換為用于每個語法要素的碼字。
[0098]更具體而言，索引值獲取部IlOa首先識別輸入事件，并獲取與識別的事件相對應(yīng)的每個語法要素的索引值(這種處理也稱為“列舉”)。用于某些語法要素的輸入數(shù)據(jù)已經(jīng)采取索引值的形式，因此省略“列舉”。
[0099]轉(zhuǎn)換部112a通過參考代碼號碼表104或者104a，將每個獲取的索引值轉(zhuǎn)換為代碼號碼。如果語法要素的類型包含在預(yù)定類型中，則參考通用代碼號碼表104。另一方面，如果語法要素的類型不包含在預(yù)定類型中，則參考專用代碼號碼表104。此外轉(zhuǎn)換部112a通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字。然后，轉(zhuǎn)換部112a連續(xù)輸出獲取的碼字，作為編碼流的一部分。
[0100]交換部114a根據(jù)轉(zhuǎn)換部112a的輸入中出現(xiàn)的索引值，交換代碼號碼表104、104a的條目，以使得每個代碼號碼表的內(nèi)容服從索引值的出現(xiàn)頻率的變化。因此，可將較短的碼字適當(dāng)?shù)赜糜诰哂休^高出現(xiàn)頻率的索引值。更具體而言，在代碼號碼表中交換出現(xiàn)的索引值與緊接在上方的索引值(也就是說，代碼號碼小I的索引值)。
[0101]圖8是示出投稿文章JCTVC-A119中所述代碼號碼表的交換的示意圖。參照圖8,示出通過交換連續(xù)更新的代碼號碼表104-1至104-3。首先，最早出現(xiàn)的索引值(index_l)為“I”。在代碼號碼表104-1中，索引值對應(yīng)于代碼號碼“3”。因此，分別交換與代碼號碼“3”以及它上方的代碼號碼“2”相對應(yīng)的索引值“I”和“2”。接著出現(xiàn)的索引值(index_2)也為“I”。在代碼號碼表104-2中，索引值對應(yīng)于代碼號碼“2”。因此，分別交換與代碼號碼“2”以及它上方的代碼號碼“I”相對應(yīng)的索引值“5”和“I”。結(jié)果，在代碼號碼表104-3中，索引值“ I”對應(yīng)于代碼號碼“ I”，這相比于之前的狀態(tài)更小。
[0102]如同無損編碼部16a，無損編碼部16b通過利用一組上述表格，將圖像數(shù)據(jù)和增強層的參數(shù)轉(zhuǎn)換為用于每個語法要素的碼字。
[0103]更具體而言，索引值獲取部IlOb首先識別輸入事件，并獲取與識別的事件相對應(yīng)的每個語法要素的索引值。用于某些語法要素的輸入數(shù)據(jù)已經(jīng)采取索引值的形式，因此省略“列舉”。
[0104]轉(zhuǎn)換部112b通過參考代碼號碼表104或104b，將每個獲取的索引值轉(zhuǎn)換為代碼號碼。如果語法要素的類型包含在預(yù)定類型中，則參考通用代碼號碼表104。另一方面，如果語法要素的類型不包含在預(yù)定類型中，則參考專用代碼號碼表104b。此外，轉(zhuǎn)換部112b通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字。然后，轉(zhuǎn)換部12b連續(xù)輸出獲取的碼字，作為編碼流的一部分。
[0105]交換部114b根據(jù)轉(zhuǎn)換部112b的輸入中出現(xiàn)的索引值，交換層專用代碼號碼表104b的條目。交換部114b不交換通用代碼號碼表104條目。通用代碼號碼表104的條目通過無損編碼部16a的交換部Ila來交換。在將基本層的索引值轉(zhuǎn)換為代碼號碼并將增強層的索引值轉(zhuǎn)換為代碼號碼以后，通用代碼號碼表104的條目可以交換一次，用于預(yù)定類型的每個語法要素。
[0106]圖9是示出可將通用代碼號碼表用于它們的語法要素的示例的示意圖。在圖9的左側(cè)示出下層的預(yù)測單元Ba以及與預(yù)測單元Ba相鄰的相鄰塊Nau, N\。預(yù)測單元Ba被假定為幀內(nèi)預(yù)測塊的預(yù)測單元。將用于幀內(nèi)預(yù)測的預(yù)測模式Ma設(shè)置給預(yù)測單元Ba。在圖9的右側(cè)示出上層的預(yù)測單元Bb以及與預(yù)測單元Bb相鄰的相鄰塊Nbu, NbLO預(yù)測單元Bb被假定為幀內(nèi)預(yù)測塊的預(yù)測單元。將用于幀內(nèi)預(yù)測的預(yù)測模式Mb設(shè)置給預(yù)測單元Bb。例如，在空間可分級性、SNR可分級性以及比特深度可分級性中，圖像的空間相關(guān)性在層之間相似。因此，預(yù)測模式Ma和預(yù)測模式Mb的預(yù)測方向很可能彼此相同。這意味著用于幀內(nèi)預(yù)測的預(yù)測模式信息的索引值的出現(xiàn)趨勢在層之間相似。因此，關(guān)于用于幀內(nèi)預(yù)測的預(yù)測模式信息，采用圖5所示的通用代碼號碼表104是有用的。
[0107]圖10是示出可將通用代碼號碼表用于它們的語法要素的另一示例的示意圖。在圖10的左側(cè)示出下層的預(yù)測單元Ba以及多個參考圖像候選Ra1, Ra2。預(yù)測單元Ba被假定為幀間預(yù)測塊的預(yù)測單元。將用于幀間預(yù)測的預(yù)測模式Ma設(shè)置給預(yù)測單元Ba。參考圖像指示符Ia指示參考圖像候選Ra2。在圖10的右側(cè)示出上層的預(yù)測單元Bb以及多個參考圖像候選Rb1, Rb20預(yù)測單元Bb被假定為幀間預(yù)測塊的預(yù)測單元。將用于幀間預(yù)測的預(yù)測模式Mb設(shè)置給預(yù)測單元Bb。參考圖像指示符Ib指示參考圖像候選Rb2。例如，在空間可分級性、SNR可分級性以及比特深度可分級性中，圖像的時間相關(guān)性在層之間相似。因此，預(yù)測模式Ma和Mb很可能彼此相同，并且參考圖像指示符Ia和Ib也很可能彼此相同。這意味著用于幀間預(yù)測的預(yù)測模式信息的索引值的出現(xiàn)趨勢以及參考圖像信息在層之間相似。因此，關(guān)于這種類型的語法要素，采用圖5所示的通用代碼號碼表104是有用的。
[0108]通過采用上述的通用代碼號碼表104，可以節(jié)省存儲表格所需的存儲器資源，而不會在實質(zhì)上降低代碼化效率。
[0109]<3.根據(jù)實施例在編碼時的處理流程〉
[0110]圖11是示出根據(jù)本實施例在代碼化時的處理流程的示例的流程圖。圖11所示處理在基本層與增強層的相互對應(yīng)的預(yù)測單元中進行。對于每個語法要素進行步驟SlOO至S180的處理。
[0111]參照圖11，首先根據(jù)要處理的語法要素是否為預(yù)定類型的語法要素來切換處理(步驟Sioo)。例如，如果要處理的語法要素是用于幀內(nèi)預(yù)測的預(yù)測模式信息，用于幀間預(yù)測的預(yù)測模式信息或參考圖像信息，則處理進行到步驟S145。否則，處理進行到步驟S105。
[0112]步驟S105至S140中的處理是參考層專用代碼號碼表時的處理。
[0113]首先，索引值獲取部IlOa獲取要處理的語法要素的基本層的索引值(步驟S105)。接著，轉(zhuǎn)換部112a通過參考層專用代碼號碼表104a，將索引值獲取部IIOa獲取的索引值轉(zhuǎn)換為代碼號碼(步驟S110)。接著，轉(zhuǎn)換部112a通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字(步驟S115)。接著，交換部114a在層專用代碼號碼表104a中交換與出現(xiàn)的索引值相對應(yīng)的條目(步驟S120)。
[0114]此外，索引值獲取部IlOb獲取要處理的語法要素的增強層的索引值(步驟S125)。接著，轉(zhuǎn)換部112b通過參考層專用代碼號碼表104b，將索引值獲取部IlOb獲取的索引值轉(zhuǎn)換為代碼號碼(步驟S130)。接著，轉(zhuǎn)換部112b通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字(步驟S135)。接著，交換部114b在層專用代碼號碼表104b中交換與出現(xiàn)的索引值相對應(yīng)的條目(步驟S120)。
[0115]步驟S145至S175中的處理是參考通用代碼號碼表時的處理。
[0116]首先，索引值獲取部IlOa獲取要處理的語法要素的基本層的索引值(步驟S145)。接著，轉(zhuǎn)換部112a通過參考通用代碼號碼表104，將索引值獲取部IlOa獲取的索引值轉(zhuǎn)換為代碼號碼(步驟S150)。接著，轉(zhuǎn)換部112a通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字(步驟 S155)。
[0117]此外，索引值獲取部IlOb獲取要處理的語法要素的增強層的索引值(步驟S160)。接著，轉(zhuǎn)換部112b通過參考通用代碼號碼表104，將索引值獲取部IlOb獲取的索引值轉(zhuǎn)換為代碼號碼(步驟S165)。接著，轉(zhuǎn)換部112b通過參考VLC表106，將代碼號碼轉(zhuǎn)換為碼字(步驟 S170)。
[0118]然后，交換部114a在通用代碼號碼表104內(nèi)交換與轉(zhuǎn)換部112a的輸入中出現(xiàn)的索引值相對應(yīng)的條目。
[0119]在完成用于要處理的語法要素的這些處理以后，如果尚未處理的任何語法要素留在預(yù)測單元中，則處理返回步驟SlOO (步驟S180)。另一方面，如果沒有尚未處理的語法要素留下，則確定是否有任何剩余的預(yù)測單元(步驟S190)。如果有仍然剩余的預(yù)測單元，則處理返回步驟S100，為下一個預(yù)測單元重復(fù)上述處理。如果沒有剩余的預(yù)測單元，則圖11中的流程圖終止。
[0120]<4.根據(jù)實施例的解碼部的配置示例〉
[0121][4-1.整體配置示例]
[0122]圖12是示出圖3所示第一圖片解碼部6a和第二圖片解碼部6b的配置示例的方框圖。參照圖12，第一圖片解碼部6a包括累積緩沖器61、無損解碼部62a、反量化部63、反正交變換部64、加法部65、去塊濾波器66、排序緩沖器67、D/A (數(shù)模)轉(zhuǎn)換部68、幀存儲器69、選擇器70和71運動補償部80以及幀內(nèi)預(yù)測部90。第二圖片解碼部6b包括無損解碼部62b代替無損解碼部62a。
[0123]累積緩沖器61利用存儲介質(zhì)，臨時累積經(jīng)由傳輸路徑輸入的編碼流。
[0124]無損解碼部62a根據(jù)編碼時使用的代碼化方案，將從累積緩沖器61輸入的基本層的編碼流解碼。此外，無損解碼部62a將在編碼流的頭部區(qū)域中復(fù)用的信息解碼。通過無損解碼部62a解碼的信息例如可包含上述關(guān)于幀間預(yù)測的信息以及關(guān)于幀內(nèi)預(yù)測的信息。無損解碼部62a將關(guān)于幀間預(yù)測的信息輸出到運動補償部80。此外，無損解碼部62a將關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部90。
[0125]類似地，無損解碼部62b根據(jù)編碼時使用的代碼化方案，將從累積緩沖器61輸入的增強層的編碼流解碼。此外，無損解碼部62b將在編碼流的頭部區(qū)域中復(fù)用的信息解碼。通過無損解碼部62b解碼的信息例如可包含上述關(guān)于幀間預(yù)測的信息以及關(guān)于幀內(nèi)預(yù)測的信息。無損解碼部62b將關(guān)于幀間預(yù)測的信息輸出到運動補償部80。此外，無損解碼部62b將關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部90。
[0126]反量化部63將已經(jīng)通過無損解碼部62a或62b解碼的量化數(shù)據(jù)反量化。反正交變換部64根據(jù)編碼時使用的正交變換方法，通過對于從反量化部63輸入的變換系數(shù)數(shù)據(jù)進行反正交變換，產(chǎn)生預(yù)測誤差數(shù)據(jù)。然后，反正交變換部64將產(chǎn)生的預(yù)測誤差數(shù)據(jù)輸出到加法部65。
[0127]加法部65將從反正交變換部64輸入的預(yù)測誤差數(shù)據(jù)以及從選擇器71輸入的預(yù)測圖像數(shù)據(jù)相加，從而產(chǎn)生解碼圖像數(shù)據(jù)。然后，加法部65將產(chǎn)生的解碼圖像數(shù)據(jù)輸出到去塊濾波器66以及幀存儲器69。
[0128]去塊濾波器66通過對從加法部65輸入的解碼圖像數(shù)據(jù)進行濾波，消除塊失真，并將濾波以后的解碼圖像數(shù)據(jù)輸出到排序緩沖器67以及幀存儲器69。
[0129]排序緩沖器67通過將從去塊濾波器66輸入的圖像排序，來以時間順序產(chǎn)生一系列圖像數(shù)據(jù)。然后，排序緩沖器67將產(chǎn)生的圖像數(shù)據(jù)輸出到D/A轉(zhuǎn)換部68。
[0130]D/A轉(zhuǎn)換部68將從排序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換為模擬格式的圖像信號。然后，D/A轉(zhuǎn)換部68例如通過將模擬圖像信號輸出到連接圖像解碼裝置60的顯示器(未示出)，使得圖像被顯示。
[0131]幀存儲器69利用存儲介質(zhì)，存儲從加法部65輸入的濾波之前的解碼圖像數(shù)據(jù)以及從去塊濾波器66輸入的濾波以后的解碼圖像數(shù)據(jù)。
[0132]選擇器70根據(jù)通過無損解碼部62a或62b獲取的模式信息，對于圖像中的每個塊，在運動補償部80與幀內(nèi)預(yù)測部90之間切換來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如，在指定幀間預(yù)測模式的情況下，選擇器70將從幀存儲器69提供的濾波以后的解碼圖像數(shù)據(jù)輸出到運動補償部80，作為參考圖像數(shù)據(jù)。此外，在指定幀內(nèi)預(yù)測模式的情況下，選擇器70將從幀存儲器69提供的濾波之前的解碼圖像數(shù)據(jù)輸出到幀內(nèi)預(yù)測部90，作為參考圖像數(shù)據(jù)。
[0133]選擇器71根據(jù)通過無損解碼部62a或62b獲取的模式信息，在運動補償部80與幀內(nèi)預(yù)測部90之間切換要提供給加法部65的預(yù)測圖像數(shù)據(jù)的輸出源。例如，在指定幀間預(yù)測模式的情況下，選擇器71將從運動補償部80輸出的預(yù)測圖像數(shù)據(jù)提供給加法部65。此外，在指定幀內(nèi)預(yù)測模式的情況下，選擇器71將從幀內(nèi)預(yù)測部90輸出的預(yù)測圖像數(shù)據(jù)提供給加法部65。
[0134]運動補償部80基于從無損解碼部62a或62b輸入的關(guān)于幀間預(yù)測的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，進行運動補償處理，并產(chǎn)生預(yù)測圖像數(shù)據(jù)。然后，運動補償部80將產(chǎn)生的預(yù)測圖像數(shù)據(jù)輸出到選擇器71。
[0135]幀內(nèi)預(yù)測部90基于從無損解碼部62a或62b輸入的關(guān)于幀內(nèi)預(yù)測的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，進行幀內(nèi)預(yù)測處理，并產(chǎn)生預(yù)測圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部90將產(chǎn)生的預(yù)測圖像數(shù)據(jù)輸出到選擇器71。
[0136]第一圖片解碼部6a對于基本層的一系列圖像數(shù)據(jù)進行這里所述的一系列解碼處理。第二圖片解碼部6b對于增強層的一系列圖像數(shù)據(jù)進行這里所述的一系列解碼處理。如同下面進一步描述的，在預(yù)測單元中同步進行用于基本層的解碼處理以及用于增強層的解碼處理。當(dāng)有多個增強層時，可以在預(yù)測單元中同步進行用于基本層的解碼處理以及用于多個增強層的解碼處理。
[0137][4-2.無損解碼部的配置示例]
[0138]圖13是示出圖12所示無損解碼部62a、62b的詳細配置的示例的方框圖。參照圖13，無損解碼部62a包括轉(zhuǎn)換部170a、索引值解釋部172a以及交換部174a。無損解碼部62b包括轉(zhuǎn)換部170b、索引值解釋部172b以及交換部174b。
[0139]轉(zhuǎn)換部170a參考通用存儲器7中存儲的代碼號碼表164以及反VLC表166。此夕卜，轉(zhuǎn)換部170b參考代碼號碼表164以及反VLC表166。轉(zhuǎn)換部170a也可以參考層專用代碼號碼表164a。轉(zhuǎn)換部170b也可以參考層專用代碼號碼表164b。
[0140]利用上述一組表格，無損解碼部62a將基本層的編碼流的碼字轉(zhuǎn)換為圖像數(shù)據(jù)以及用于每個語法要素的參數(shù)。[0141]更具體而言，轉(zhuǎn)換部170a通過參考反VLC表166，將從編碼流獲取的碼字轉(zhuǎn)換為代碼號碼。此外，轉(zhuǎn)換部170a通過參考代碼號碼表164或164a，將獲取的代碼號碼轉(zhuǎn)換為索引值。如果語法要素的類型包含在預(yù)定類型中，則參考通用代碼號碼表164。另一方面，如果語法要素的類型不包含在預(yù)定類型中，則參考層專用代碼號碼表164a。
[0142]索引值解釋部172a逐個語法要素地解釋從轉(zhuǎn)換部170a輸入的索引值，并輸出表示對應(yīng)事件的數(shù)據(jù)(這種處理也稱為“反列舉”)。“反列舉”對于某些語法要素可以省略，因此將輸入的索引值直接輸出。
[0143]交換部174a根據(jù)在從轉(zhuǎn)換部170a的輸出中出現(xiàn)的索引值，交換代碼號碼表164、164a的條目。
[0144]如同無損解碼部62a，無損解碼部62b通過利用上述一組表格，將增強層的編碼流的碼字轉(zhuǎn)換為圖像數(shù)據(jù)以及用于每個語法要素的參數(shù)。
[0145]更具體而言，轉(zhuǎn)換部170b首先通過參考反VLC表166，將從編碼流獲取的碼字轉(zhuǎn)換為代碼號碼。此外，轉(zhuǎn)換部170b通過參考代碼號碼表164或164a，將獲取的代碼號碼轉(zhuǎn)換為索引值。如果語法要素的類型包含在預(yù)定類型中，則參考通用代碼號碼表164。另一方面，如果語法要素的類型不包含在預(yù)定類型中，則參考層專用代碼號碼表164b。
[0146]索引值解釋部172b逐個語法要素地解釋從轉(zhuǎn)換部170b輸入的索引值，并輸出表示對應(yīng)事件的數(shù)據(jù)?！胺戳信e”對于某些語法要素可以省略，因此將輸入的索引值直接輸出。
[0147]交換部174b根據(jù)在從轉(zhuǎn)換部170b的輸出中出現(xiàn)的索引值，交換層專用代碼號碼表164b的條目。交換部174b不交換通用代碼號碼表164的條目。通用代碼號碼表164的條目通過無損解碼部62a的交換部174a來交換。在將基本層的代碼號碼轉(zhuǎn)換為索引值并將增強層的代碼號碼轉(zhuǎn)換為索引值以后，通用代碼號碼表164的條目可以交換一次，用于預(yù)定類型的每個語法要素。
[0148]〈5.根據(jù)實施例的解碼時的處理流程〉
[0149]圖14是示出根據(jù)實施例的解碼時的處理流程的示例的流程圖。圖14所示處理在基本層與增強層的相互對應(yīng)的預(yù)測單元中進行。對于每個語法要素進行步驟S200至S280的處理。
[0150]參照圖14，首先根據(jù)要處理的語法要素是否為預(yù)定類型的語法要素來切換處理(步驟S200)。例如，如果要處理的語法要素是用于幀內(nèi)預(yù)測的預(yù)測模式信息，用于幀間預(yù)測的預(yù)測模式信息或參考圖像信息，則處理進行到步驟S245。否則，處理進行到步驟S205。
[0151]步驟S205到S240中的處理是參考層專用代碼號碼表時的處理。
[0152]首先，轉(zhuǎn)換部170a通過參考VLC表166，將基本層的碼字轉(zhuǎn)換為代碼號碼(步驟S205)。接著，轉(zhuǎn)換部170a通過參考層專用代碼號碼表164a，將代碼號碼轉(zhuǎn)換為索引值(步驟S210)。接著，索引值解釋部172a解釋從轉(zhuǎn)換部170a輸入的索引值并輸出表示對應(yīng)事件的數(shù)據(jù)(步驟S215)。接著，交換部174a在層專用代碼號碼表164a中交換與出現(xiàn)的索引值相對應(yīng)的條目(步驟S220)。
[0153]此外，轉(zhuǎn)換部170b通過參考VLC表166，將增強層的碼字轉(zhuǎn)換為代碼號碼(步驟S225)。接著，轉(zhuǎn)換部170b通過參考層專用代碼號碼表164b，將代碼號碼轉(zhuǎn)換為索引值(步驟S230)。接著，索引值解釋部172b解釋從轉(zhuǎn)換部170b輸入的索引值并輸出表示對應(yīng)事件的數(shù)據(jù)(步驟S235)。接著，交換部174b在層專用代碼號碼表164b中交換與出現(xiàn)的索引值相對應(yīng)的條目(步驟S240)。
[0154]步驟S245到S275中的處理是參考通用代碼號碼表時的處理。
[0155]首先，轉(zhuǎn)換部170a通過參考VLC表166，將基本層的碼字轉(zhuǎn)換為代碼號碼(步驟S245)。接著，轉(zhuǎn)換部170a通過參考通用代碼號碼表164，將代碼號碼轉(zhuǎn)換為索引值(步驟S250)。接著，索引值解釋部172a解釋從轉(zhuǎn)換部170a輸入的索引值并輸出表示對應(yīng)事件的數(shù)據(jù)(步驟S255)。
[0156]此外，轉(zhuǎn)換部170b通過參考VLC表166，將增強層的碼字轉(zhuǎn)換為代碼號碼(步驟S260)。接著，轉(zhuǎn)換部170b通過參考通用代碼號碼表164，將代碼號碼轉(zhuǎn)換為索引值(步驟S265)。接著，索引值解釋部172b解釋從轉(zhuǎn)換部170b輸入的索引值并輸出表示對應(yīng)事件的數(shù)據(jù)(步驟S270)。
[0157]然后，交換部174a在通用代碼號碼表164中交換與轉(zhuǎn)換部170a的輸出中出現(xiàn)的索引值相對應(yīng)的條目(步驟S275)。
[0158]在完成用于要處理的語法要素的這些處理以后，如果尚未處理的任何語法要素保留在預(yù)測單元中，則處理返回步驟S200(步驟S280)。另一方面，如果沒有尚未處理的語法要素保留，則確定是否有任何保留的預(yù)測單元(步驟S290)。如果有仍然保留的預(yù)測單元，則處理返回步驟S200，為下一個預(yù)測單元重復(fù)上述處理。如果沒有保留的預(yù)測單元，則圖14中的流程圖終止。
[0159]<6.對各種圖像代碼化方案的應(yīng)用>
[0160]如上所述，根據(jù)本公開的技術(shù)不僅可應(yīng)用于可分級視頻代碼化，例如也可應(yīng)用于多視圖代碼化和隔行代碼化。本部分將描述其中將根據(jù)本公開的技術(shù)應(yīng)用于多視圖代碼化的示例。
[0161]多視圖代碼化是將所謂的立體圖像編碼和解碼的圖像代碼化方案。在多視圖代碼化中，產(chǎn)生與三維顯示的圖像的右眼視圖以及左眼視圖相對應(yīng)的兩個編碼流。將這兩個視圖的其中一個選擇為基本視圖，將另一個選擇為非基本視圖。在將多視圖圖像數(shù)據(jù)編碼時，通過基于基本視圖的圖片的代碼化參數(shù)將非基本視圖的圖片編碼，可以壓縮作為整體的編碼流的數(shù)據(jù)尺寸。
[0162]圖15是示出將根據(jù)實施例的上述圖像編碼處理應(yīng)用于多視圖代碼化的示意圖。參照圖15，示出多視圖編碼裝置810的配置作為示例。多視圖編碼裝置810包括第一圖片編碼部la、第二圖片編碼部lb、通用存儲器2以及復(fù)用部3。這里采用將左眼視圖作為基本視圖來處理的示例。
[0163]第一圖片編碼部Ia將左眼視圖的圖像編碼，以產(chǎn)生基本視圖的編碼流。第二圖片編碼部Ib將右眼視圖的圖像編碼，以產(chǎn)生非基本視圖的編碼流。通用存儲器2存儲在視圖之間通用的信息。復(fù)用部3將通過第一圖片編碼部Ia產(chǎn)生的基本視圖的編碼流以及通過第二圖片編碼部Ib產(chǎn)生的非基本視圖的編碼流復(fù)用，以產(chǎn)生多視圖復(fù)用流。
[0164]圖16是示出將根據(jù)實施例的上述圖像解碼處理應(yīng)用于多視圖代碼化的示意圖。參照圖16,示出多視圖解碼裝置860的配置作為示例。多視圖解碼裝置860包括解復(fù)用部
5、第一圖片解碼部6a、第二圖片解碼部6b以及通用存儲器7。
[0165]解復(fù)用部5將多視圖復(fù)用流解復(fù)用為基本視圖的編碼流以及非基本視圖的編碼流。第一圖片解碼部6a將基本視圖的編碼流解碼為左眼視圖的圖像。第二圖片解碼部6b將非基本視圖的編碼流解碼為右眼視圖的圖像。通用存儲器7存儲在視圖之間通用的信
肩、O
[0166]將根據(jù)本公開的技術(shù)應(yīng)用于隔行代碼化時，第一圖片編碼部Ia將構(gòu)成一個幀的兩個字段的其中一個編碼，以產(chǎn)生第一編碼流，并且第一圖片解碼部6a將第一編碼流解碼。第二圖片編碼部Ib將其他字段編碼，以產(chǎn)生第二編碼流，并且第二圖片解碼部6a將第二編碼流解碼。
[0167]<7.示例性應(yīng)用>
[0168]根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60可以應(yīng)用于各種電子設(shè)施，例如用于衛(wèi)星廣播和電纜廣播(例如有線電視)的發(fā)射器和接收器、經(jīng)由蜂窩通信在互聯(lián)網(wǎng)上的分布、向終端的分布等等，將圖像記錄在諸如光盤、磁盤或閃存中的記錄裝置，從這些存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置等等。下面描述四個示例應(yīng)用。
[0169][7-1.第一不例應(yīng)用]
[0170]圖17是示出應(yīng)用上述實施例的電視裝置的示意性配置的示例的示意圖。電視裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示器906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911以及總線 912。
[0171]調(diào)諧器902從通過天線901接收的廣播信號中提取期望頻道的信號，并將提取的信號解調(diào)。然后調(diào)諧器902將通過解調(diào)獲得的編碼比特流輸出到解復(fù)用器903。也就是說，調(diào)諧器902在電視裝置900中具有傳輸器件的作用，用于接收其中圖像被編碼的編碼流。
[0172]解復(fù)用器903將從編碼比特流將要觀看的節(jié)目中的視頻流和音頻流分離，并將每個分離的流輸出到解碼器904。此外，解復(fù)用器903從編碼比特流提取諸如EPG(電子節(jié)目指南)這樣的輔助數(shù)據(jù)，并將提取的數(shù)據(jù)提供給控制單元910。這里，解復(fù)用器903在編碼比特流被加擾時，可以將其解擾。
[0173]解碼器904將從解復(fù)用器903輸入的視頻流和音頻流解碼。然后，解碼器904將通過解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出到視頻信號處理單元905。此，解碼器904將通過解碼處理產(chǎn)生的音頻數(shù)據(jù)輸出到音頻信號處理單元907。
[0174]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并在顯示器906上顯示視頻。視頻信號處理單元905也可以在顯示器906上顯示通過網(wǎng)絡(luò)提供的應(yīng)用屏幕。此夕卜，視頻信號處理單元905可以根據(jù)設(shè)置，對視頻數(shù)據(jù)進行諸如降噪這樣的附加處理。此夕卜，視頻信號處理單元905可以產(chǎn)生⑶I (圖形用戶接口)的圖像，例如菜單、按鈕或光標(biāo)，并將產(chǎn)生的圖像疊加在輸出圖像上。
[0175]顯示器906由視頻信號處理單元905提供的驅(qū)動信號驅(qū)動，并在顯示裝置(例如液晶顯示器、等離子體顯示器或OELD (有機電致發(fā)光顯示器))的視頻屏幕上顯示視頻或圖像。
[0176]音頻信號處理單元907對于從解碼器904輸入的音頻數(shù)據(jù)進行諸如D/A轉(zhuǎn)換和放大這樣的再現(xiàn)處理，并從揚聲器908輸出音頻。音頻信號處理單元907也可以對音頻數(shù)據(jù)進行諸如降噪這樣的附加處理。
[0177]外部接口 909是將電視裝置900與外設(shè)或網(wǎng)絡(luò)相連接的接口。例如，解碼器904可將通過外部接口 909接收的視頻流或音頻流解碼。這意味著外部接口 909在電視裝置900中也具有傳輸器件的作用，用于接收其中圖像被編碼的編碼流。
[0178]控制單元910包括諸如CPU這樣的處理器以及諸如RAM和ROM這樣的存儲器。存儲器存儲通過CPU執(zhí)行的程序，程序數(shù)據(jù)、EPG數(shù)據(jù)以及通過網(wǎng)絡(luò)獲取的數(shù)據(jù)。存儲器中存儲的程序例如在電視裝置900啟動時通過CPU讀取并執(zhí)行。通過執(zhí)行程序，CPU例如根據(jù)從用戶接口 911輸入的操作信號，控制電視裝置900的操作。
[0179]用戶接口 911連接到控制單元910。用戶接口 911例如包括用戶操作電視裝置900的按鈕和開關(guān)以及接收遠程控制信號的接收部。用戶接口 911通過這些組件檢測用戶操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出到控制單元910。
[0180]總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909以及控制單元910相互連接。
[0181 ] 在按照上述方式配置的電視裝置900中的解碼器904具有根據(jù)所述實施例的圖像解碼裝置60的功能。因此，對于通過電視裝置900的圖像的可分級視頻解碼，可以更有效地使用代碼號碼表。
[0182][7-2.第二應(yīng)用示例]
[0183]圖18是示出應(yīng)用上述實施例的移動電話的示意性配置的示例的示意圖。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風(fēng)925、相機單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932以及總線933。
[0184]天線921連接到通信單元922。揚聲器924和麥克風(fēng)925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933將通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930以及控制單元931相互連接。
[0185]移動電話920進行諸如傳輸/接收音頻信號、傳輸/接收電子郵件或圖像數(shù)據(jù)、將圖像成像、或者在各種操作模式(包括音頻呼叫模式、數(shù)據(jù)通信模式、拍攝模式以及視頻電話模式)下記錄數(shù)據(jù)的操作。
[0186]在音頻呼叫模式中，通過麥克風(fēng)925產(chǎn)生的模擬音頻信號被提供給音頻編解碼器923。然后音頻編解碼器923將模擬音頻信號轉(zhuǎn)換為音頻數(shù)據(jù)，對經(jīng)過轉(zhuǎn)換的音頻數(shù)據(jù)進行A/D轉(zhuǎn)換，并壓縮數(shù)據(jù)。之后，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出到通信單元922。通信單元922將音頻數(shù)據(jù)編碼和調(diào)制，以產(chǎn)生傳輸信號。然后，通信單元922將產(chǎn)生的傳輸信號通過天線921傳輸給基站(未示出)。此外，通信單元922將通過天線921接收的無線電信號放大，轉(zhuǎn)換信號的頻率，并獲取接收信號。之后，通信單元922對接收信號進行解調(diào)和解碼，以產(chǎn)生音頻數(shù)據(jù)，并將產(chǎn)生的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923展開音頻數(shù)據(jù)，對數(shù)據(jù)進行D/A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號。然后，音頻編解碼器923通過將產(chǎn)生的音頻信號提供給揚聲器924來輸出音頻。
[0187]在數(shù)據(jù)通信模式中，例如，控制單元931根據(jù)通過操作單元932的用戶操作，產(chǎn)生構(gòu)成電子郵件的字符數(shù)據(jù)。此外，控制單元931在顯示器930上顯示字符。此外，控制單元931通過操作單元932，根據(jù)來自用戶的傳輸指令，產(chǎn)生電子郵件數(shù)據(jù)，并將產(chǎn)生的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922將電子郵件數(shù)據(jù)編碼和調(diào)制，以產(chǎn)生傳輸信號。然后，通信單元922通過天線921，將產(chǎn)生的傳輸信號傳輸給基站(未示出)。此外，通信單元922將通過天線921接收的無線電信號放大，轉(zhuǎn)換信號的頻率，并獲取接收信號。之后，通信單元22將接收信號解調(diào)和解碼?；謴?fù)電子郵件數(shù)據(jù)，并將恢復(fù)的電子郵件數(shù)據(jù)輸出到控制單元931?？刂茊卧?31在顯示器930上顯示電子郵件的內(nèi)容，以及將電子郵件存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0188]記錄/再現(xiàn)單元929包括可讀寫的任意存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置的存儲介質(zhì)，例如RAM或閃存，也可以是外部安裝的存儲介質(zhì)，例如硬盤、磁盤、磁光盤、光盤、USB(未分配空間位圖)存儲器，或存儲卡。
[0189]在拍攝模式中，例如，相機單元926給物體成像，產(chǎn)生圖像數(shù)據(jù)，并將產(chǎn)生的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927對于從相機單元926輸入的圖像數(shù)據(jù)進行編碼，并將編碼流存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0190]在視頻電話模式中，例如，解復(fù)用單元928將通過圖像處理單元927編碼的視頻流以及從音頻編解碼器923輸入的音頻流復(fù)用，并將復(fù)用流輸出到通信單元922。通信單元922將該流編碼并調(diào)制，以產(chǎn)生傳輸信號。隨后通信單元922通過天線921將產(chǎn)生的傳輸信號傳輸給基站(未示出)。此外，通信單元922將通過天線921接收的無線電信號放大，轉(zhuǎn)換信號的頻率，并獲取接收信號。傳輸信號和接收信號可包括編碼比特流。然后，通信單元922將接收信號解調(diào)和解碼，以恢復(fù)流，并將恢復(fù)的流輸出到解復(fù)用單元928。解復(fù)用單元928將來自輸入流的視頻流和音頻流分離，并將視頻流和音頻流分別輸出到圖像處理單元927和音頻編解碼器923。圖像處理單元927將視頻流解碼，以產(chǎn)生視頻數(shù)據(jù)。然后視頻數(shù)據(jù)被提供給顯示器930，顯示器930顯示一系列圖像。音頻編解碼器923展開音頻流，并對其進行D/A轉(zhuǎn)換，以產(chǎn)生模擬音頻信號。然后音頻編解碼器923將產(chǎn)生的音頻信號提供給揚聲器924,以輸出音頻。
[0191]按照上述方式配置的移動電話920中的圖像處理單元927具有根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60的功能。因此，對于通過移動電話920的可分級視頻代碼化和圖像的解碼，可以更有效地使用代碼號碼表。
[0192][7-3.第三應(yīng)用示例]
[0193]圖19是示出應(yīng)用上述實施例的記錄/再現(xiàn)裝置的示意性配置的示例的示意圖。記錄/再現(xiàn)裝置940例如將接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并將數(shù)據(jù)記錄在記錄介質(zhì)中。記錄/再現(xiàn)裝置940例如也可以將從其他裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并將數(shù)據(jù)記錄在記錄介質(zhì)中。響應(yīng)于用戶指令，例如，記錄/再現(xiàn)裝置940在監(jiān)視器和揚聲器中再現(xiàn)記錄介質(zhì)中記錄的數(shù)據(jù)。此時記錄/再現(xiàn)裝置940將音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。
[0194]記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動器)944、盤驅(qū)動器945、選擇器946、解碼器947、OSD (屏幕上顯示)948、控制單元949以及用戶接口 950。
[0195]調(diào)諧器941從通過天線(未示出)接收的廣播信號中提取期望頻道的信號，并將提取的信號解調(diào)。然后調(diào)諧器941將通過解調(diào)獲得的編碼比特流輸出到選擇器946。也就是說，調(diào)諧器941在記錄/再現(xiàn)裝置940中具有傳輸器件的作用。
[0196]外部接口 942是將記錄/再現(xiàn)裝置940與外設(shè)或網(wǎng)絡(luò)連接的接口。外部接口 942例如可以是IEEE1394接口、網(wǎng)絡(luò)接口、USB接口或者閃存接口。通過外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)例如被輸入編碼器943。也就是說，外部接口 942在記錄/再現(xiàn)裝置940中具有傳輸器件的作用。
[0197]當(dāng)從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時，編碼器943將視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。之后編碼器943將編碼比特流輸出到選擇器946。
[0198]HDD944將其中將例如視頻和音頻的內(nèi)容數(shù)據(jù)壓縮的編碼比特流、各種程序以及其他數(shù)據(jù)記錄在內(nèi)部硬盤中。HDD944在再現(xiàn)視頻和音頻時從硬盤讀取這些數(shù)據(jù)。
[0199]盤驅(qū)動器945將數(shù)據(jù)記錄在記錄介質(zhì)中以及從記錄介質(zhì)讀取數(shù)據(jù)，其中記錄介質(zhì)安裝于磁盤驅(qū)動器。安裝于盤驅(qū)動器945的記錄介質(zhì)例如可以是DVD盤(例如DVD-Video，DVD-RAM, DVD-R, DVD-Rff, DVD+R,或者 DVD+RW)或者藍光盤(注冊商標(biāo))。
[0200]選擇器946在記錄視頻和音頻時，選擇從調(diào)諧器941或者編碼器943輸入的編碼比特流，并將選擇的編碼比特流輸出到HDD944或者盤驅(qū)動器945。另一方面，在再現(xiàn)視頻和音頻時，選擇器946將從HDD944或者盤驅(qū)動器945輸入的編碼比特流輸出到解碼器947。
[0201]解碼器947將編碼比特流解碼，以產(chǎn)生視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后解碼器947將產(chǎn)生的視頻數(shù)據(jù)輸出到0SD948，將產(chǎn)生的音頻數(shù)據(jù)輸出到外部揚聲器。
[0202]0SD948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。0SD948也可將⑶I (例如菜單、按鈕或光標(biāo))的圖像疊加在顯示的視頻上。
[0203]控制單元949包括處理器(例如CPU)和存儲器(例如RAM和ROM)。存儲器存儲通過CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如在記錄/再現(xiàn)裝置940啟動時通過CPU讀取存儲器中存儲的程序并執(zhí)行。通過執(zhí)行程序，CPU例如根據(jù)從用戶接口 950輸入的操作信號，控制記錄/再現(xiàn)裝置940的操作。
[0204]用戶接口 950連接到控制單元949。用戶接口 950例如包括讓用戶操作記錄/再現(xiàn)裝置940的按鈕和開關(guān)以及接收遠程控制信號的接收部。用戶接口 950通過這些組件檢測用戶操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出到控制單元949。
[0205]按照上述方式配置的記錄/再現(xiàn)裝置940中的編碼器943具有根據(jù)上述實施例的圖像編碼裝置10的功能。另一方面，解碼器947具有根據(jù)上述實施例的圖像解碼裝置60的功能。因此，對于通過記錄/再現(xiàn)裝置940的可分級視頻代碼化和圖像的解碼，可以更有效地使用代碼號碼表。
[0206][7-4.第四應(yīng)用示例]
[0207]圖20示出應(yīng)用上述實施例的圖像捕獲裝置的示意性配置的示例。成像裝置960給物體拍照，產(chǎn)生圖像，將圖像數(shù)據(jù)編碼，并將數(shù)據(jù)記錄在記錄介質(zhì)中。
[0208]成像裝置960包括光學(xué)塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD969、控制單元970、用戶接口 971以及總線972。
[0209]光學(xué)塊961連接到成像單元962。成像單元962連接到信號處理單元963。顯示器965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972將圖像處理單元964、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD969以及控制單元970相互連接。
[0210]光學(xué)塊961包括聚焦透鏡和光圈機構(gòu)。光學(xué)塊961在成像單元962的成像表面上形成物體的光學(xué)圖像。成像單元962包括圖像傳感器(例如CCD (電荷耦合裝置)或者CMOS(互補金屬氧化物半導(dǎo)體))并進行光電轉(zhuǎn)換，以將成像表面上形成的光學(xué)圖像轉(zhuǎn)換為圖像信號，作為電子信號。隨后，成像單元962將圖像信號輸出到信號處理單元963。
[0211]信號處理單元963對于從成像單元962輸入的圖像信號進行各種相機信號處理，例如拐點校正、伽瑪校正以及顏色校正。信號處理單元963將已經(jīng)進行了相機信號處理的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0212]圖像處理單元964將從信號處理單元963輸入的圖像數(shù)據(jù)編碼，并產(chǎn)生編碼數(shù)據(jù)。然后圖像處理單元964將產(chǎn)生的編碼數(shù)據(jù)輸出到外部接口 966或者介質(zhì)驅(qū)動器968。此外，圖像處理單元964將從外部接口 966或者介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)解碼，以產(chǎn)生圖像數(shù)據(jù)。然后圖像處理單元964將產(chǎn)生的圖像數(shù)據(jù)輸出到顯示器965。此外，圖像處理單元964可將從信號處理單元963輸入的圖像數(shù)據(jù)輸出到顯示器965，以顯示圖像。此外，圖像處理單元964可將從0SD969獲取的顯示數(shù)據(jù)疊加于顯示器965輸出的圖像上。
[0213]0SD969產(chǎn)生⑶1(例如菜單、按鈕或光標(biāo))的圖像，并將產(chǎn)生的圖像輸出到圖像處理單元964。
[0214]外部接口 966例如被配置為USB輸入/輸出終端。外部接口 966例如在打印圖像時將成像裝置960與打印機相連接。此外，在需要時將驅(qū)動器連接到外部接口 966。例如將諸如磁盤或光盤這樣的可移動介質(zhì)安裝于驅(qū)動器，因此可將從移動介質(zhì)讀取的程序安裝于成像裝置960。外部接口 966也可以配置為連接到網(wǎng)絡(luò)(例如LAN或互聯(lián)網(wǎng))的網(wǎng)絡(luò)接口。也就是說，外部接口 966在成像裝置960中具有傳輸器件的作用。
[0215]安裝于介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是可讀寫的任意移動介質(zhì)，例如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。此外，記錄介質(zhì)可以固定安裝于介質(zhì)驅(qū)動器968，因此，例如構(gòu)造非運輸性的存儲單元，例如內(nèi)置的硬盤驅(qū)動器或者SSD(固態(tài)驅(qū)動器)。
[0216]控制單元970包括處理器(例如CPU)和存儲器(例如RAM和ROM)。存儲器存儲通過CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如在成像裝置960啟動時通過CPU讀取存儲器中存儲的程序并執(zhí)行。通過執(zhí)行程序，CPU例如根據(jù)從用戶接口 971輸入的操作信號，控制成像裝置960的操作。
[0217]用戶接口 971連接到控制單元970。用戶接口 971例如包括讓用戶操作成像裝置960的按鈕和開關(guān)。用戶接口 971通過這些組件檢測用戶操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出到控制單元970。
[0218]按照上述方式配置的成像裝置960中的圖像處理單元964具有根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60的功能。因此，對于通過成像裝置960的可分級視頻代碼化和圖像的解碼，可以更有效地使用代碼號碼表。
[0219]<8.結(jié)論〉
[0220]至此，利用圖1至圖20描述了根據(jù)實施例的圖像編碼裝置10和圖像解碼裝置60。根據(jù)本實施例，在將多個流編碼的圖像代碼化方案中產(chǎn)生多個編碼流時，引入產(chǎn)生多個編碼流時共同參考的代碼號碼表。因此，可以節(jié)省存儲代碼號碼表所需的存儲器資源。
[0221]此外，根據(jù)本實施例，在通用代碼號碼表中，對于沿著多個流展開的每個語法要素，只出現(xiàn)一次交換。由此減少了代碼號碼表的交換次數(shù)，并且因此降低了處理器的負載。因此，可以更有效地使用編碼器和解碼器的資源。
[0222]此外，根據(jù)本實施例，在預(yù)測單元中同步進行將通用代碼號碼表用于多個編碼流的轉(zhuǎn)換處理和交換處理。因此，可以參考通用代碼號碼表，不而需要對于幀內(nèi)預(yù)測或幀間預(yù)測，為每個編碼流保持關(guān)于語法要素的代碼號碼表的示例。
[0223]此外，根據(jù)本實施例，對于包含用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息的至少其中一個的語法要素，引入通用代碼號碼表。在某種程度上這些類型的語法要素的索引值的出現(xiàn)趨勢類似于圖像的空間相關(guān)性和時間相關(guān)性在圖片之間相似的情況。因此，在這種情況下，即使引入通用代碼號碼表，也可以沿著多個圖片保持索引值與碼字之間的適當(dāng)映射(具有較高出現(xiàn)頻率的索引值與較短碼字的映射)。
[0224]這里主要描述了將諸如有關(guān)于幀內(nèi)預(yù)測的信息以及有關(guān)于幀間預(yù)測的信息的各種信息片段復(fù)用到編碼流的頭部并從編碼側(cè)傳輸?shù)浇獯a側(cè)的示例。但是傳輸這些信息片段的方法不限于此示例。例如，這些信息片段也可以作為與編碼比特流相關(guān)聯(lián)的單獨數(shù)據(jù)來傳輸或記錄，不需要復(fù)用到編碼比特流。這里，術(shù)語“關(guān)聯(lián)”意味著在解碼時允許比特流中包括的圖像(可以是圖像的一部分，例如片或塊)以及與當(dāng)前圖像相對應(yīng)的信息建立鏈接。也就是說，在來自圖像的不同傳輸路徑上可以傳輸信息。也可以根據(jù)圖像(或者比特流)將信息記錄在不同的記錄介質(zhì)上(或者相同記錄介質(zhì)的不同記錄區(qū)域上)。此外，通過諸如多個幀、一個幀或者幀中的一部分的任意單位，可將信息與圖像(或者比特流)相關(guān)聯(lián)。
[0225]上面參照附圖描述了本公開的優(yōu)選實施例，但是本公開不限于上述示例。本領(lǐng)域技術(shù)人員可以在所附權(quán)利要求書的范圍內(nèi)找到各自改型和變型，并且應(yīng)當(dāng)理解，它們自然落入本公開的技術(shù)范圍之內(nèi)。
[0226]此外，本技術(shù)可以配置如下。
[0227](I) 一種圖像處理設(shè)備，包括:
[0228]代碼號碼表，用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；
[0229]第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值；以及
[0230]第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
[0231](2)根據(jù)(I)的圖像處理設(shè)備，還包括:交換部，用于根據(jù)出現(xiàn)的索引值交換所述代碼號碼表的條目。
[0232](3)根據(jù)(2)的圖像處理設(shè)備，其中在預(yù)測單元中同步進行所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理、所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理以及所述交換部的交換處理。
[0233](4)根據(jù)(3)的圖像處理設(shè)備，其中在所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理和所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理之后，進行所述交換部的交換處理一次。
[0234](5)根據(jù)(3)或(4)的圖像處理設(shè)備，其中所述語法要素包含用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息至少其中之一。
[0235](6)根據(jù)⑴至(5)任一項的圖像處理設(shè)備，
[0236]其中，所述第一圖片對應(yīng)于要被可分級視頻代碼化的圖像的第一層，以及
[0237]其中，所述第二圖片對應(yīng)于比所述第一層高的第二層。
[0238](7)根據(jù)(6)的圖像處理設(shè)備，其中所述第一層與所述第二層在空間分辨率、信噪比或比特深度方面相互不同。
[0239](8)根據(jù)⑴至(5)任一項的圖像處理設(shè)備，
[0240]其中，所述第一圖片對應(yīng)于三維顯示的圖像的右眼視圖和左眼視圖之一，以及
[0241]其中，所述第二圖片對應(yīng)于所述圖像的右眼視圖和左眼視圖中的另外一個。
[0242](9)根據(jù)⑴至(5)任一項的圖像處理設(shè)備，
[0243]其中，所述第一圖片對應(yīng)于要被隔行編碼的圖像的第一字段，以及
[0244]其中，所述第二圖片對應(yīng)于所述圖像的第二字段。
[0245](10) —種圖像處理方法，包括:
[0246]通過參考代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；以及
[0247]通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
[0248](11) 一種圖像處理設(shè)備，包括:
[0249]代碼號碼表，用于保存在熵代碼化中使用的代碼號碼以及語法要素的索引值對；
[0250]第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼；以及
[0251]第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
[0252](12)根據(jù)(11)的圖像處理設(shè)備，還包括:交換部，用于根據(jù)出現(xiàn)的索引值交換所述代碼號碼表的條目。
[0253](13)根據(jù)(12)的圖像處理設(shè)備，其中在每個預(yù)測單元中同步進行所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理、所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理以及所述交換部的交換處理。
[0254](14)根據(jù)(13)的圖像處理設(shè)備，其中在所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理和所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理之后，進行所述交換部的交換處理一次。
[0255](15)根據(jù)(13)或(14)的圖像處理設(shè)備，其中所述語法要素包含用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息至少其中之一。
[0256](16)根據(jù)(11)至(15)任一項的圖像處理設(shè)備，
[0257]其中，所述第一圖片對應(yīng)于要被可分級視頻代碼化的圖像的第一層，以及
[0258]其中，所述第二圖片對應(yīng)于比所述第一層高的第二層。
[0259](17)根據(jù)(16)的圖像處理設(shè)備，其中所述第一層與所述第二層在空間分辨率、信噪比或比特深度方面相互不同。
[0260](18)根據(jù)(11)至(15)任一項的圖像處理設(shè)備，
[0261]其中，所述第一圖片對應(yīng)于三維顯示的圖像的右眼視圖和左眼視圖之一，以及
[0262]其中，所述第二圖片對應(yīng)于所述圖像的右眼視圖和左眼視圖中的另外一個。
[0263](19)根據(jù)(11)至(15)任一項的圖像處理設(shè)備，
[0264]其中，所述第一圖片對應(yīng)于要被隔行編碼的圖像的第一字段，以及
[0265]其中，所述第二圖片對應(yīng)于所述圖像的第二字段。
[0266](20) —種圖像處理方法，包括:[0267]通過參考代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；以及
[0268]通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
[0269]附圖標(biāo)記列表
[0270]10，810圖像編碼裝置(圖像處理設(shè)備)
[0271]104 代碼號碼表
[0272]112a 第一轉(zhuǎn)換部
[0273]112b 第二轉(zhuǎn)換部
[0274]114a 交換部
[0275]60,860圖像解碼裝置(圖像處理設(shè)備)
[0276]164 代碼號碼表
[0277]170a 第一轉(zhuǎn)換部
[0278]170b 第二轉(zhuǎn)換部
[0279]174a 交換部
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 代碼號碼表，用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對； 第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值；以及第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括:交換部，用于根據(jù)出現(xiàn)的索引值交換所述代碼號碼表的條目。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中在預(yù)測單元中同步進行所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理、所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理以及所述交換部的交換處理。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中在所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理和所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理之后，進行所述交換部的交換處理一次。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述語法要素包含用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息至少其中之一。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于要被可分級視頻代碼化的圖像的第一層，以及 其中，所述第二圖片對 應(yīng)于比所述第一層高的第二層。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中所述第一層與所述第二層在空間分辨率、信噪比或比特深度方面相互不同。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于三維顯示的圖像的右眼視圖和左眼視圖之一，以及 其中，所述第二圖片對應(yīng)于所述圖像的右眼視圖和左眼視圖中的另外一個。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于要被隔行編碼的圖像的第一字段，以及 其中，所述第二圖片對應(yīng)于所述圖像的第二字段。
10.一種圖像處理方法，包括: 通過參考代碼號碼表，將與對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第一代碼號碼轉(zhuǎn)換為第一索引值，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；以及 通過參考所述代碼號碼表，將與所述兩個或更多個圖片中的第二圖片的編碼流中所包含的碼字相關(guān)聯(lián)的第二代碼號碼轉(zhuǎn)換為第二索引值。
11.一種圖像處理設(shè)備，包括: 代碼號碼表，用于保存在熵代碼化中使用的代碼號碼以及語法要素的索引值對； 第一轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼；以及 第二轉(zhuǎn)換部，用于通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，還包括:交換部，用于根據(jù)出現(xiàn)的索引值交換所述代碼號碼表的條目。
13.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中在預(yù)測單元中同步進行所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理、所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理以及所述交換部的交換處理。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中在所述第一轉(zhuǎn)換部的轉(zhuǎn)換處理和所述第二轉(zhuǎn)換部的轉(zhuǎn)換處理之后，進行所述交換部的交換處理一次。
15.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中所述語法要素包含用于幀內(nèi)預(yù)測的預(yù)測模式信息、用于幀間預(yù)測的預(yù)測模式信息以及參考圖像信息至少其中之一。
16.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于要被可分級視頻代碼化的圖像的第一層，以及 其中，所述第二圖片對應(yīng)于比所述第一層高的第二層。
17.根據(jù)權(quán)利要求16所述的圖像處理設(shè)備，其中所述第一層與所述第二層在空間分辨率、信噪比或比特深度方面相互不同。
18.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于三維顯示的圖像的右眼視圖和左眼視圖之一，以及 其中，所述第二圖片對應(yīng)于所述圖像的右眼視圖和左眼視圖中的另外一個。
19.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備， 其中，所述第一圖片對應(yīng)于要被隔行編碼的圖像的第一字段，以及 其中，所述第二圖片對應(yīng)于所述圖像的第二字段。
20.—種圖像處理方法，包括: 通過參考代碼號碼表，將針對對應(yīng)于通用場景的兩個或更多個圖片中的第一圖片要被編碼的第一索引值轉(zhuǎn)換為第一代碼號碼，所述代碼號碼表用于保存在熵代碼化中使用的代碼號碼和語法要素的索引值對；以及 通過參考所述代碼號碼表，將針對所述兩個或更多個圖片中的第二圖片要被編碼的第二索引值轉(zhuǎn)換為第二代碼號碼。
【文檔編號】H04N19/423GK103975591SQ201280060352
【公開日】2014年8月6日 申請日期:2012年10月18日 優(yōu)先權(quán)日:2011年12月14日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司