技術(shù)領(lǐng)域

本公開涉及圖像解碼裝置和方法，更具體地，涉及能夠更準(zhǔn)確地識別解碼所需的性能的圖像解碼裝置和方法。

背景技術(shù)：

近年來，為了進(jìn)一步提高M(jìn)PEG-4Part10(高級視頻編碼，以下稱為“AVC”)的編碼效率，作為國際通訊聯(lián)合會的通訊標(biāo)準(zhǔn)化部門(ITU-T)和國際標(biāo)準(zhǔn)化組織/國際電工委員會(ISO/IEC)的聯(lián)合標(biāo)準(zhǔn)化組織的聯(lián)合協(xié)作團(tuán)隊-視頻編碼(JCTVC)已進(jìn)行被稱為高效視頻編碼(HEVC)的編碼方案的標(biāo)準(zhǔn)化(例如，參見非專利文獻(xiàn)1)。

在HEVC中，通過使用碼片結(jié)構(gòu)的應(yīng)用可以僅對需要解碼的區(qū)域進(jìn)行解碼。為了指示碼片區(qū)域可被獨立解碼的事實，由運動約束碼片集合SEI支持HEVC的第二和以后的版本(包括MV-HEVC、SHVC、Range Ext.等)。

引用文獻(xiàn)列表

專利文獻(xiàn)

非專利文獻(xiàn)

[非專利文獻(xiàn)1]Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call)”,JCTVC-L1003_v34,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting:Geneva,CH,14-23Jan.2013

技術(shù)實現(xiàn)要素：

技術(shù)問題

然而，作為關(guān)于用作確定解碼器是否能夠?qū)α鹘獯a的基準(zhǔn)的等級的信息和緩沖器容量，僅限定了完整流的值或?qū)訂卧闹怠?/p>

因此，即使在僅對完整圖像的一部分解碼的應(yīng)用中，通過假設(shè)在對完整畫面解碼時的負(fù)荷來執(zhí)行是否可以解碼的確定。因此，存在需要不必要地高等級解碼器的問題。此外，存在據(jù)此要遞送的應(yīng)用不必要地受到限制的問題。

考慮以上提及的問題作出了本公開并且本公開可以更準(zhǔn)確地識別解碼所需的性能。

對問題的解決方案

本技術(shù)的一個方面是一種圖像解碼裝置，其包括：獲取單元，被配置成獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；控制單元，被配置成基于獲取單元獲取的解碼負(fù)荷定義信息來控制獲取單元獲取的編碼數(shù)據(jù)的解碼；以及解碼單元，被配置成在控制單元的控制下對獲取單元獲取的編碼數(shù)據(jù)進(jìn)行解碼。

部分區(qū)域可以被獨立解碼。

解碼負(fù)荷定義信息可以包括用于根據(jù)指示部分區(qū)域的解碼處理的負(fù)荷的量值的等級來定義解碼處理的負(fù)荷的量值的信息。

解碼負(fù)荷定義信息可以包括用于根據(jù)指示部分區(qū)域的尺寸的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

解碼負(fù)荷定義信息可以包括用于根據(jù)指示部分區(qū)域在豎直方向上的長度的信息和指示部分區(qū)域在水平方向上的長度的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

解碼負(fù)荷定義信息可以包括在能夠被獨立解碼的部分區(qū)域的補充增強信息(SEI)中。

圖像數(shù)據(jù)可以包括多個層，并且多個層的解碼負(fù)荷定義信息可以包括在SEI中。

解碼負(fù)荷定義信息可以包括指示用作基準(zhǔn)的部分區(qū)域的尺寸的信息以及指示部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

部分區(qū)域可以是碼片。

部分區(qū)域可以是多個碼片的集合。

解碼負(fù)荷定義信息可以包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的解碼處理的負(fù)荷的最大量值的信息。

解碼負(fù)荷定義信息可以包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的共同的負(fù)荷的量值的信息。

當(dāng)圖片中包括的多個部分區(qū)域具有L形時，可以定義包括L形的矩形區(qū)域的負(fù)荷的量值。

獲取單元可以進(jìn)一步獲取指示解碼負(fù)荷定義信息是否被設(shè)定的信息，并且當(dāng)所獲取的信息指示解碼負(fù)荷定義信息被設(shè)定時，獲取解碼負(fù)荷定義信息。

本技術(shù)的一個方面是一種圖像解碼方法，其包括：獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；基于所獲取的解碼負(fù)荷定義信息來控制所獲取的編碼數(shù)據(jù)的解碼；以及根據(jù)控制對所獲取的編碼數(shù)據(jù)進(jìn)行解碼。

在根據(jù)本技術(shù)的方面中，獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；基于所獲取的解碼負(fù)荷定義信息來控制所獲取的編碼數(shù)據(jù)的解碼；以及根據(jù)控制對所獲取的編碼數(shù)據(jù)進(jìn)行解碼。

本技術(shù)的一個方面是一種圖像編碼裝置，其包括：編碼單元，被配置成對圖像編碼；以及設(shè)定單元，被配置成設(shè)定指示圖像的部分區(qū)域的尺寸的信息和指示部分區(qū)域的解碼處理的負(fù)荷的等級。

本技術(shù)的一個方面是一種圖像編碼方法，其包括：對圖像編碼；以及設(shè)定指示圖像的部分區(qū)域的尺寸的信息和指示部分區(qū)域的解碼處理的負(fù)荷的等級。

本發(fā)明的有利效果

根據(jù)本公開，可以對圖像編碼和解碼。特別地，可以更準(zhǔn)確地識別解碼所需的性能。

附圖說明

圖1是描述編碼單元的示例性配置的示圖。

圖2是圖示分層圖像編碼方案的示例的視圖。

圖3是用于描述空間可分級編碼的示例的示圖。

圖4是用于描述時間可分級編碼的示例的示圖。

圖5是用于描述信噪比的可分級編碼的示例的示圖。

圖6是描述執(zhí)行部分顯示的示例性應(yīng)用的示圖。

圖7是描述執(zhí)行部分顯示的另一示例性應(yīng)用的示圖。

圖8是描述被應(yīng)用本技術(shù)的定義解碼負(fù)荷的示例性方法的示圖。

圖9是圖示MCTS SEL的擴展示例的示圖。

圖10是描述MCTS SEL的概況的示圖。

圖11是描述MCTS SEL的概況的示圖。

圖12是描述MCTS SEL的概況的示圖。

圖13是描述MCTS SEL的概況的示圖。

圖14是描述MCTS SEL的概況的示圖。

圖15是描述MCTS SEL的概況的示圖。

圖16是描述MCTS SEL的概況的示圖。

圖17是描述MCTS SEL的概況的示圖。

圖18是圖示關(guān)于每個ROI的語法的示例性傳送的示圖。

圖19是圖示MCTS SEL的擴展示例的示圖。

圖20是圖示MCTS SEL的示例性語法的示圖。

圖21是圖示MCTS SEL的擴展示例的示圖。

圖22是描述參數(shù)映射的狀態(tài)的示圖。

圖23是描述語法元素的示圖。

圖24是圖示MCTS SEL的擴展示例的示圖。

圖25是描述參數(shù)映射的狀態(tài)的示圖。

圖26是描述語法元素的示圖。

圖27是圖示圖像編碼裝置的主要配置示例的框圖。

圖28是圖示基層圖像編碼單元的主要配置示例的框圖。

圖29是圖示增強層圖像編碼單元的主要配置示例的框圖。

圖30是圖示報頭信息生成單元的主要配置示例的框圖。

圖31是描述圖像編碼處理的示例性流程的流程圖。

圖32是描述基層編碼處理的示例性流程的流程圖。

圖33是描述增強層編碼處理的示例性流程的流程圖。

圖34是描述報頭信息生成處理的示例性流程的流程圖。

圖35是圖示圖像解碼裝置的主要配置示例的框圖。

圖36是圖示基層圖像解碼單元的主要配置示例的框圖。

圖37是圖示增強層圖像解碼單元的主要配置示例的框圖。

圖38是圖示報頭信息分析單元的示例性配置的框圖。

圖39是用于描述圖像解碼處理的示例性流程的流程圖。

圖40是用于描述報頭信息分析處理的示例性流程的流程圖。

圖41是描述基層解碼處理的示例性流程的流程圖。

圖42是用于增強層解碼處理的示例性流程的流程圖。

圖43是圖示多視圖圖像編碼方案的示例的示圖。

圖44是圖示被應(yīng)用本技術(shù)的多視圖圖像編碼裝置的主要配置示例的示圖。

圖45是圖示被應(yīng)用本技術(shù)的多視圖圖像解碼裝置的主要配置示例的示圖。

圖46是圖示計算機的主要配置示例的框圖。

圖47是圖示電視裝置的示意性配置的示例的框圖。

圖48是圖示移動電話的示意性配置的示例的框圖。

圖49是圖示記錄和再現(xiàn)裝置的示例性示意性配置的框圖。

圖50是圖示成像裝置的示例性示意性配置的框圖。

圖51是圖示使用可分級編碼的示例的框圖。

圖52是圖示使用可分級編碼的另一示例的框圖。

圖53是圖示使用可分級編碼的另一示例的框圖。

圖54是圖示視頻設(shè)備的示意性配置的示例的框圖。

圖55是圖示視頻處理器的示意性配置的示例的框圖。

圖56是圖示視頻處理器的示意性配置的另一示例的框圖。

具體實施方式

在下文中將描述用于實現(xiàn)本公開的方面(以下稱為“實施例”)。描述將以如下順序進(jìn)行。

1.第一實施例(部分圖像的解碼負(fù)荷定義)

2.第二實施例(圖像編碼裝置)

3.第三實施例(圖像解碼裝置)

4.第四實施例(多視圖圖像編碼裝置和多視圖圖像解碼裝置)

5.第五實施例(計算機)

6.第六實施例(應(yīng)用示例)

7.第七實施例(可分級編碼的應(yīng)用示例)

8.第八實施例(設(shè)備、單元、模塊和處理器)

<1.第一實施例>

<標(biāo)準(zhǔn)化圖像編碼的流程>

近年來，如下裝置激增，其中以數(shù)字方式處置圖像信息，并且在該情況下，為了高效率地傳送和積累信息，使用圖像信息特定冗余，并且采用編碼方案對圖像進(jìn)行壓縮編碼，其中使用諸如離散余弦變換的正交變換和運動補償用于補償。作為編碼方案，例示了移動圖片專家組(MPEG)。

具體地，MPEG-2(ISO/IEC 13818-2)是被定義為通用圖像編碼方案的標(biāo)準(zhǔn)，并且通常支持隔行掃描圖像和逐行掃描圖像二者以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像二者。例如，MPEG-2當(dāng)前被廣泛地用于范圍廣泛的應(yīng)用，包括專業(yè)應(yīng)用和消費者應(yīng)用。當(dāng)使用MPEG2壓縮方案時，例如，具有720×480個像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像可以被分配4至8Mbps的碼量(位率)。此外，當(dāng)使用MPEG2壓縮方案時，例如，具有1920×1088個像素的高分辨率的隔行掃描圖像可以被分配18至22Mbps的碼量(位率)。因此，可以實現(xiàn)高壓縮率和良好的圖像質(zhì)量。

MPEG-2主要被設(shè)計用于適于廣播的高圖像質(zhì)量編碼，但是不對應(yīng)于比MPEG-1低的碼量(位率)，即更高壓縮率的編碼方案。隨著移動終端的普及，設(shè)想對于該編碼方案的需要將在未來增加。因此，MPEG-4編碼方案已被標(biāo)準(zhǔn)化。圖像編碼方案的標(biāo)準(zhǔn)在1998年12月被批準(zhǔn)作為國際標(biāo)準(zhǔn)ISO/IEC14496-2。

另外，近年來，出于用于電視會議的圖像編碼的最初目的，稱為H.26L(ITU-T(國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組織)Q6/16VCEG(視頻編碼專家組))的標(biāo)準(zhǔn)已被標(biāo)準(zhǔn)化。與諸如MPEG-2和MPEG-4的相關(guān)技術(shù)的編碼方案相比，已知H.26L請求更大的壓縮量用于編碼和解碼，但是具有更高的編碼效率。此外，目前，作為MPEG4行動的一部分，基于H.26L，H.26L中不支持的功能也被并入以實現(xiàn)更高的編碼效率的標(biāo)準(zhǔn)化正在進(jìn)行，作為增強壓縮視頻編碼的聯(lián)合模型。

作為標(biāo)準(zhǔn)化進(jìn)度表，H.264和MPEG-4Part 10(高級視頻編碼，以下稱為“AVC”)在2003年3月變?yōu)閲H標(biāo)準(zhǔn)。

此外，作為H.264/AVC的擴展，在2005年2月完成了保真度范圍擴展(FRExt)的標(biāo)準(zhǔn)化，其包括諸如RGB、4:2:2或4:4:4的專業(yè)使用所需的編碼工具以及在MPEG-2中定義的8×8DCT或量化矩陣。因此，當(dāng)使用H.264/AVC時，該編碼方案還能夠適當(dāng)?shù)乇硎倦娪爸邪ǖ挠捌肼暎⑶矣糜趶V泛的應(yīng)用，諸如藍(lán)光盤(注冊商標(biāo))。

然而，近年來，對更高壓縮率編碼的需要正在增加，包括約4000×2000個像素的圖像的壓縮，這是高清晰度圖像的像素數(shù)目的四倍，或者在諸如互聯(lián)網(wǎng)的具有有限的傳送容量的環(huán)境中遞送高清晰度圖像。因此，在前面描述的ITU-T下的VCEG中，繼續(xù)進(jìn)行關(guān)于提高編碼效率的研究。

因此，當(dāng)前，為了較之AVC進(jìn)一步提高編碼效率，作為ITU-T和國際標(biāo)準(zhǔn)化組織/國際電工委員會(ISO/IEC)的聯(lián)合標(biāo)準(zhǔn)化組織的視頻編碼聯(lián)合合作小組(JCTVC)進(jìn)行被稱為高效視頻編碼(HEVC)的編碼格式的標(biāo)準(zhǔn)化(例如，參見非專利文獻(xiàn)1)。作為HEVC的標(biāo)準(zhǔn)，在2013年1月發(fā)布了作為規(guī)范草案的委員會草案(例如，參見非專利文獻(xiàn)1)

<編碼方案>

在下文中，將通過高效率視頻編碼(HEVC)方案的圖像編碼和解碼的應(yīng)用示例來描述本技術(shù)。

<編碼單位>

在高級視頻編碼(AVC)方案中，定義了宏塊和子宏塊的分層結(jié)構(gòu)。然而，16×16個像素的宏塊對于在下一代編碼方案，即超高清晰度(UHD，4000×2000個像素)中提供的大圖像幀而言不是最優(yōu)的。

另一方面，在HEVC方案中，如圖1中所示，編碼單位(CU)被定義。

CU也被稱為樹形編碼塊(CTB)，并且與AVC方案中的宏塊相似地用作圖片單位的圖像的部分區(qū)域。后者被固定為16×16個像素的尺寸。另一方面，前者沒有固定尺寸，而是在各個序列中在圖像壓縮信息中指定。

例如，在要輸出的編碼數(shù)據(jù)中包括的序列參數(shù)集合(SPS)中定義CU的最大尺寸(最大編碼單位(LCU))和最小尺寸(最小編碼單位(SCU))。

在每個LCU中，在等于或大于SCU的尺寸的范圍內(nèi)，當(dāng)設(shè)定分割標(biāo)志(split-flag)＝1時，該單位可以被分成具有更小尺寸的CU。在圖1的示例中，LCU的尺寸是128，并且最大等級深度是5。當(dāng)分割標(biāo)志被設(shè)定為“1”時，2N×2N尺寸的CU被分成具有N×N尺寸的CU的低一級的等級。

此外，CU被分成預(yù)測單位(PU)，預(yù)測單位是用作幀內(nèi)預(yù)測或幀間預(yù)測的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)，并且CU被分成變換單位(TU)，變換單位是用作正交變換的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)。當(dāng)前，在HEVC方案中，除了4×4和8×8之外，可以使用16×16和32×32的正交變換。

如上述HEVC方案中的那樣，在其中定義CU并且以CU為單位執(zhí)行各種處理的編碼方案中，AVC方案中的宏塊可以被視為對應(yīng)于LCU，并且塊(子塊)可以被視為對應(yīng)于CU。此外，AVC方案中的運動補償塊可以被視為對應(yīng)于PU。然而，由于CU具有分層結(jié)構(gòu)，因此最頂層的LCU的尺寸通常被設(shè)定為大于AVC方案的宏塊，例如128×128個像素。

因此，在下文中，LCU可以包括AVC方案中的宏塊，并且CU可以包括AVC方案中的塊(子塊)。就是說，以下描述中使用的“塊”指的是圖片中的任意部分區(qū)域，并且其尺寸、形狀和特性等不受限制。換言之，“塊”包括任意區(qū)域(處理單位)，例如TU、PU、SCU、CU、LCU、子塊、宏塊或切片。毋庸贅言，還包括其他部分區(qū)域(處理單位)。在有必要限制尺寸、處理單位等時，將作適當(dāng)?shù)孛枋觥?/p>

此外，在本說明書中，樹形編碼單位(CTU)是包括當(dāng)在LCU(CU的最大數(shù)目)的樹形編碼塊(CTB)中執(zhí)行處理時的參數(shù)以及其LCU基(等級)的單位。此外，CTU的編碼單位(CU)是包括當(dāng)在編碼塊(CB)中執(zhí)行處理時的參數(shù)以及其CU基(等級)的單位。

<模式選擇>

同時，在AVC和HEVC編碼方案中，為了實現(xiàn)更高編碼效率，重要的是選擇適當(dāng)?shù)念A(yù)測模式。

作為該選擇方案的示例，可以例示在稱為聯(lián)合模型(JM)的H.264/MPEG-4AVC的參照軟件中實現(xiàn)的方法(在http://iphome.hhi.de/suehring/tml/index.htm中公開)。

在如后面將描述的，在JM中，可以選擇確定兩個模式的方法，即高復(fù)雜度模式和低復(fù)雜度模式。在這兩個模式中，計算關(guān)于每個預(yù)測模式Mode的成本函數(shù)值，并且選擇值最小的預(yù)測模式作為關(guān)于塊或宏塊的最優(yōu)模式。

高復(fù)雜度模式中的成本函數(shù)被表示為下式(1)：

[數(shù)學(xué)式1]

Cost(Mode∈Ω)＝D+λ*R…(1)

這里，Ω指示用于對塊或宏塊編碼的候選模式的全體集合，并且D指示當(dāng)在預(yù)測模式中執(zhí)行編碼時在解碼圖像和輸入圖像之間的差能量。λ指示作為量化參數(shù)的函數(shù)提供的拉格朗日(Lagrange)未確定乘數(shù)。R指示在模式中執(zhí)行編碼時包括正交變換系數(shù)的總編碼量。

就是說，當(dāng)在高復(fù)雜度模式中執(zhí)行編碼時，有必要在所有候選模式中執(zhí)行一次臨時編碼處理以便計算參數(shù)D和R。因此需要較高的計算量。

低復(fù)雜度模式中的成本函數(shù)被表示為下式(2)：

[數(shù)學(xué)式2]

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit···(2)

這里，不同于高復(fù)雜度模式，D指示預(yù)測圖像與輸入圖像之間的差能量。QP2Quant(QP)是作為量化參數(shù)QP的函數(shù)而提供的。HeaderBit指示在不具有正交變換系數(shù)的運動向量或模式中屬于報頭的信息的碼量。

就是說，在低復(fù)雜度模式中，有必要在各個候選模式中執(zhí)行預(yù)測處理，但是對于解碼圖像不是必需的。因此不必執(zhí)行編碼處理。出于該原因，較之高復(fù)雜度模式，可以實現(xiàn)較低的計算量。

<分層編碼>

順便提及，上述諸如MPEG-2和AVC的圖像編碼方案具有可分級功能?？煞旨壘幋a(分層編碼)指的是將圖像分成多個層(分層)并且針對每個層執(zhí)行編碼的方案。圖2是圖示分層圖像編碼方案的示例的示圖。

如圖2中所示，在圖像的分層中，使用具有可分級功能的預(yù)定參數(shù)作為基準(zhǔn)，將一個圖像分成多個層。換言之，分層圖像(分級圖像)包括預(yù)定參數(shù)值彼此不同的多個層的圖像。分層圖像的多個層包括基層和非基層(還被稱為“增強層”)，在基層中僅使用其自身層的圖像而不使用另一層的圖像來執(zhí)行編碼和解碼，而在非基層上使用另一層的圖像來執(zhí)行編碼和解碼。非基層可以使用基層的圖像，或者使用另一非基層的圖像。

通常，非基層包括其自身的圖像和另一層的圖像之間的差圖像的數(shù)據(jù)(差數(shù)據(jù))使得降低冗余。例如，當(dāng)一個圖像被分成兩個層，即基層和非基層(還被稱為“增強層”)時，僅使用基層的數(shù)據(jù)可以獲得質(zhì)量比原始圖像低的圖像。因此，在將基層的數(shù)據(jù)與增強層的數(shù)據(jù)合成時，可以獲得原始圖像(即高質(zhì)量圖像)。

當(dāng)圖像以該方式被分層時，可以根據(jù)情況獲得多種質(zhì)量級別的圖像。例如，在諸如移動電話的具有低處理能力的終端中，僅傳送基層的圖像壓縮信息，并且播放具有低空間和時間分辨率或具有低圖像質(zhì)量的移動圖像，并且在諸如電視或個人計算機的具有高處理能力的終端中，除了基層之外，傳送增強層的圖像壓縮信息，并且播放具有高空間和時間分辨率或高圖像質(zhì)量的移動圖像，使得根據(jù)終端或網(wǎng)絡(luò)的能力，在不執(zhí)行代碼轉(zhuǎn)換處理并且可以從服務(wù)器傳送圖像壓縮信息。

<可分級參數(shù)>

在該分層圖像編碼和分層圖像解碼(可分級編碼和可分級解碼)中，具有可分級功能的參數(shù)是任意的。例如，如圖3中所示的空間分辨率可以用作其參數(shù)(空間可分級性)。在空間可分級性中，每個層的圖像分辨率不同。就是說，如圖3中所示，每個圖片被分成兩個層，即空間分辨率低于原始圖像的基層以及與基層圖像合成并且可以獲得原始圖像(原始空間分辨率)的增強層。毋庸贅言，等級數(shù)目僅是示例，并且圖像可以被分層成任意數(shù)目的等級。

此外，作為實現(xiàn)可分級性質(zhì)的參數(shù)，如圖4中所示，還可以應(yīng)用另一示例，例如時間分辨率(時間可分級性)。在時間可分級性中，每個層的幀速率不同。換言之，在該情況下，如圖4中所示，圖像被分成具有不同的幀速率的層，并且在將具有高幀速率的層添加到具有低幀速率的層時，可以獲得具有較高幀速率的移動圖像，并且當(dāng)所有層被添加時，可以獲得原始移動圖像(原始幀速率)。等級數(shù)目僅是示例，并且圖像可以分層成任意數(shù)目的等級。

此外，作為實現(xiàn)該可分級性質(zhì)的參數(shù)，如圖5中所示，在另一示例中，可以應(yīng)用例如信噪比(SNR)(SNR可分級性)。在SNR可分級性中，每個層的SNR不同。就是說，在該情況下，如圖5中所示，每個圖片被分層成兩個層，即SNR低于原始圖像的基層和可以與基層的圖像合成以獲得原始圖像(原始SNR)的增強層。就是說，在基層圖像壓縮信息中，傳送關(guān)于低PSNR的圖像的信息，并且將增強層圖像壓縮信息添加到關(guān)于低PSNR的圖像的信息。因此，可以重構(gòu)高PSNR圖像。毋庸贅言，等級數(shù)目僅是示例，并且圖像可以分層成任意數(shù)目的層。

毋庸贅言，實現(xiàn)該可分級性質(zhì)的參數(shù)可以是除了上述示例以外的參數(shù)。例如，在位深度可分級性中，基層是8位圖像，將增強層添加到基層，因而獲得10位圖像。

此外，在色度可分級性中，基層是4:2:0格式的分量圖像，將增強層添加到基層，因而獲得4:2:2格式的分量圖像。

<碼片結(jié)構(gòu)和層的定義>

在HEVC中，可以通過使用碼片結(jié)構(gòu)的應(yīng)用僅對需要解碼的區(qū)域進(jìn)行解碼。為了指示碼片區(qū)域能夠被獨立解碼的事實，HEVC的第二版和之后的版本(包括MV-HEVC、SHVC、Range Ext.等)由運動約束碼片集合SEI支持。

<應(yīng)用示例>

將描述被應(yīng)用本技術(shù)的應(yīng)用示例。

在被配置成將圖像從服務(wù)器遞送到終端的系統(tǒng)中，例如，如圖6中所例示的，存在如下應(yīng)用，其中單個畫面被分成多個畫面并且在切換顯示區(qū)域的同時執(zhí)行遞送。此外，例如，如圖7中所例示的，存在如下應(yīng)用，其中選擇要顯示(遞送)的部分區(qū)域以便選擇圖像的高寬比或分辨率。

在圖6的應(yīng)用中，在圖像的編碼和解碼中使用碼片作為單位從完整圖像分割部分圖像，并且將其遞送到終端。分割的部分圖像在完整圖像中的位置可以由例如終端的用戶指定。因此，在該終端中，可以顯示完整圖像的期望位置的部分圖像。例如，在諸如體育廣播的服務(wù)中，在從服務(wù)器等提供并且通過捕獲完整比賽地點、完整場地等的圖像獲得的寬角度圖像中，集中于用戶的期望部分(例如，喜愛的運動員、教練、球門前、替補席和觀眾席)，部分圖像可以被分割和下載(或流式傳輸)，并且顯示在終端上。就是說，終端用戶可以集中于完整圖像的期望部分。

在圖7的應(yīng)用中，通過簡單地選擇碼片，可以將顯示圖像的分辨率設(shè)定為HD或影院尺寸。

然而，作為關(guān)于用作確定解碼器是否能夠?qū)α鹘獯a的基準(zhǔn)的等級以及緩沖器容量的信息，僅定義整個流的值或者層單位的值。

因此，即使在僅對完整圖像的一部分解碼的應(yīng)用中，也要假設(shè)在對完整畫面解碼時的負(fù)荷來執(zhí)行是否可以解碼的確定。因此，存在需要不必要地高等級解碼器的問題。此外，存在因此要遞送的應(yīng)用不必要地受到限制的問題。

因此，設(shè)定用于定義圖像數(shù)據(jù)的圖像的能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，并且傳送解碼負(fù)荷定義信息。例如，從編碼側(cè)向解碼側(cè)連同圖像數(shù)據(jù)的編碼數(shù)據(jù)一起傳送解碼負(fù)荷定義信息。

通過這種方式，解碼器可以根據(jù)解碼負(fù)荷定義信息識別對部分區(qū)域解碼所需的性能，并且確定是否可以解碼。就是說，可以更準(zhǔn)確地識別解碼所需的性能。因此，可以為圖像數(shù)據(jù)選擇具有適當(dāng)性能的解碼器。因此，可以抑制出現(xiàn)應(yīng)用相對于圖像數(shù)據(jù)的解碼負(fù)荷具有不必要地高等級的解碼器的情況。此外，可以抑制因此要遞送的應(yīng)用不必要地受到限制的情況。

<解碼負(fù)荷定義信息的設(shè)定>

例如根據(jù)圖8定義解碼負(fù)荷定義信息。例如，如圖8的A中例示的，可以針對單個層的能夠被獨立解碼的部分區(qū)域設(shè)定用于定義部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息。在圖8的A的示例中，等級4.0被設(shè)定為對單個層的完整圖像解碼，并且等級2.0被設(shè)定為對圖像的能夠被獨立解碼的碼片(部分區(qū)域)。

此外，例如，如圖8的B中所例示的，可以針對包括多個層的圖像的每個層的能夠被獨立解碼的部分區(qū)域設(shè)定解碼負(fù)荷定義信息。在圖8的B的示例中，設(shè)定用于對所有層的圖像解碼的等級5.0，并且設(shè)定用于對基層(層0)的完整圖像解碼的等級4.0。此外，設(shè)定用于對基層(層0)的圖像的能夠被獨立解碼的碼片(部分區(qū)域)解碼的等級2.0。此外，設(shè)定用于對僅參考增強層(層1)的圖像的基層(0)的圖像的能夠被獨立解碼的碼片的碼片進(jìn)行解碼(即，對要被參考的基層(層0)的碼片以及參考其的增強層(層1)的碼片解碼)的等級4.0。

此外，例如，如圖8的C中所例示的，可以針對僅參考能夠被獨立解碼的部分區(qū)域的層的完整圖像和被參考的部分區(qū)域設(shè)定解碼負(fù)荷定義信息。就是說，參考能夠被獨立解碼的碼片(部分區(qū)域)的一側(cè)可以是完整圖像而非部分區(qū)域。在圖8的C的示例中，基本上設(shè)定與圖8的B的示例相同的等級。然而，在圖8的B的示例中，設(shè)定用于對僅參考增強層(層1)的圖像中的基層(0)的圖像的能夠被獨立解碼的碼片的碼片進(jìn)行解碼的等級。然而，替選地，在圖8的C的示例中，設(shè)定用于對僅參考基層(0)的圖像的能夠被獨立解碼的碼片的增強層(層1)的完整圖像進(jìn)行解碼(即，對要被參考的基層(層0)的碼片以及參考其的增強層(層1)的完整圖像解碼)的等級4.0。

再者，在該情況下，為了識別增強層(層1)的完整圖像參考的部分區(qū)域(碼片)(其位置)，用作參考源的基層(層0)的碼片的位置信息可以與用作參考源的增強層(層1)的完整圖像相關(guān)聯(lián)(映射)。在圖8的C的示例中，基層(層0)的碼片中的相同位置的坐標(biāo)映射到增強層(層1)的完整圖像的左上角的坐標(biāo)。

<等級定義的參數(shù)>

注意，等級定義的參數(shù)包括最大像素數(shù)目(MaxLumaPs)、最大緩沖器容量(MaxCPB Size)、圖像每秒的最大像素數(shù)目(MaxLumaSr)、圖像的最大位率(MaxBR)等。

<解碼負(fù)荷定義信息>

通過擴展例如運動約束碼片集合補充增強信息(MCTS SEI)來執(zhí)行對解碼所需的負(fù)荷的量值的定義。

例如，如圖9的所描述的語法A中的那樣，在MCTS SEI中，作為用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，可以設(shè)定指示部分區(qū)域的解碼處理的負(fù)荷的量值的等級(mcts_level_idc[i])。這里，“i”表示集合(還被稱為“碼片集合”)，其是由單個碼片或多個碼片組成的部分區(qū)域。就是說，在圖9的A的示例中，針對每個集合設(shè)定解碼所需的等級信息(mcts_level_idc)的值。在該情況下，語義可以是例如圖9的B中所描述的那樣。

在MCTS SEI中，針對每個矩形集合設(shè)定能夠被獨立解碼的部分區(qū)域。例如，當(dāng)圖10的A的左上陰影部分是能夠被獨立解碼的部分區(qū)域時，在MCTS SEI中針對每個集合設(shè)定部分區(qū)域，如圖10的B中所示的那樣。再者，如圖10的C中所例示的，集合中包括的碼片可以與另一集合交疊。部分區(qū)域的像素數(shù)目可以根據(jù)每個集合的像素數(shù)目來計算，例如圖10的D中所例示的那樣。

此外，例如，如圖11的所描述的語法A中的那樣，在MCTS SEI中，作為用于定義多個層的能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，可以設(shè)定指示每個層的部分區(qū)域的解碼處理的負(fù)荷的量值的等級(mcts_level_idc[i][j])。這里，“i”表示集合，并且“j”表示層。就是說，在圖11的A的示例中，針對每個集合以及針對每個層設(shè)定解碼所需的等級信息(mcts_level_idc)的值。在該情況下，語義可以是例如圖11的B中所描述的那樣。

此外，例如，如圖12的所描述的語法A中的那樣，在MCTS SEI中，作為用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，可以設(shè)定指示部分區(qū)域的尺寸的信息(maxLumaP S_in_set[i])。這里，“i”表示集合。就是說，在圖12的A的示例中，針對每個集合設(shè)定指示集合(部分區(qū)域)的尺寸的信息(maxLumaP S_in_set)的值。在該情況下，語義可以是例如圖12的B中所描述的那樣。

此外，例如，如圖13的所描述的語法A中的那樣，在MCTS SEI中，作為用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，可以設(shè)定指示部分區(qū)域的豎直方向上的長度的信息(mcts_height_in_luma_samples[i])和指示部分區(qū)域的水平方向上的長度的信息(mcts_width_in_luma_samples[i])。這里“i”表示集合。就是說，在圖13的A的示例中，針對每個集合設(shè)定指示集合(部分區(qū)域)的豎直方向上的長度的信息(mcts_height_in_luma_samples)的值和指示集合(部分區(qū)域)的水平方向上的長度的信息(mcts_width_in_luma_samples)。在該情況下，語義可以是例如圖13的B中所描述的那樣。

此外，例如，如圖14的所描述的語法A中的那樣，在MCTS SEI中，作為用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，可以設(shè)定被配置成對部分區(qū)域解碼的虛擬參考解碼器的參數(shù)(mcts_hrd_parameters())。

在該情況下，例如，如圖15的所描述的語法A中的那樣，作為虛擬參考解碼器的參數(shù)(mcts_hrd_parameters())，可以設(shè)定最大輸入位率(mcts_bit_rate_value_minus1)和緩沖器容量(mcts_cpb_size_value_minus1)。在該情況下，語義可以是例如圖15的B中所描述的那樣。

此外，例如，如圖16的A中所示，除了上述MCTS SEI的擴展之外，在序列參數(shù)集合(SPS)中，可以設(shè)定指示是否設(shè)定上述解碼負(fù)荷定義信息的信息(mcts_present_flag)。在該情況下，語義可以是例如圖16的B中所描述的那樣。

此外，例如，如圖17的A中所示，在序列參數(shù)集合(SPS)中，不同于指示是否設(shè)定上述解碼負(fù)荷定義信息的信息，可以設(shè)定與在MCTS SEI中設(shè)定的解碼負(fù)荷定義信息相同的解碼負(fù)荷定義信息。在該情況下，語義可以是例如圖17的B中所描述的那樣。

再者，在序列參數(shù)集合(SPS)中設(shè)定的信息可以在視頻參數(shù)集合(VPS)而非序列參數(shù)集合(SPS)中設(shè)定。

毋庸贅言，設(shè)定解碼負(fù)荷定義信息的方法是任意的，并且不限于上述示例。此外，上述多種方法可以組合。此外，上述方法可以與其他方法組合。

如上文所述，當(dāng)設(shè)定用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息時，可以基于解碼負(fù)荷定義信息更準(zhǔn)確地識別解碼所需的性能。此外，在將解碼負(fù)荷定義信息傳送到解碼側(cè)時，甚至可以在解碼側(cè)更準(zhǔn)確地識別解碼所需的性能。

<針對DASH的調(diào)整>

例如，在如圖6中所示的DASH(動態(tài)自適應(yīng)流式傳輸)的使用情況下，優(yōu)選的是移動并再現(xiàn)特定數(shù)目的碼片區(qū)域。然而，當(dāng)待再現(xiàn)的所有部分圖像(碼片組合)被登記為碼片集合(tile_set)，并且設(shè)定其解碼負(fù)荷定義信息時，在碼片集合數(shù)目大時可能增加信息量。

例如，如圖18中例示的，當(dāng)再現(xiàn)(顯示)2×2個碼片的部分圖像(碼片集合)時，如果(當(dāng)完整圖像中的要顯示的部分改變時)部分圖像的位置移動，則在其移動期間顯示(再現(xiàn))所有部分圖像(碼片集合)。如圖右側(cè)的等式中所示，這種部分圖像的數(shù)目可能變得極大。因此，當(dāng)針對所有這種部分圖像設(shè)定解碼負(fù)荷定義信息時，信息量可能不切實際地增加。此外，該情況下的每個碼片集合的解碼負(fù)荷信息的冗余可能變得極高。就是說，不需要的信息量可能增加。

這里，例如，擴展MCTS SEI，并且作為解碼負(fù)荷信息，設(shè)定指示用作基準(zhǔn)的部分圖像的尺寸的信息以及指示部分圖像的解碼處理的負(fù)荷的量值的等級。就是說，可以根據(jù)部分圖像的尺寸估計解碼處理的負(fù)荷的量值的信息存儲在MCTS SEI中。

因此，例如，當(dāng)參考該信息時(當(dāng)要解碼的區(qū)域的尺寸與用作其基準(zhǔn)的部分圖像的尺寸比較時)，可以更準(zhǔn)確地識別區(qū)域的解碼處理的負(fù)荷的量值。

這里，用作基準(zhǔn)的部分圖像的尺寸可以由任何信息來指示，并且可以例如以通過均勻劃分完整圖像而獲得的碼片為單位被指示。此外，用作其基準(zhǔn)的尺寸的數(shù)目可以是任意的，但是優(yōu)選的是，尺寸的數(shù)目是多個以便更準(zhǔn)確地識別解碼處理的負(fù)荷的量值。此外，解碼處理的負(fù)荷的量值可以由任何信息指示，并且可以由例如等級信息(等級)來指示。

順便提及，在現(xiàn)有的ROI中，假設(shè)應(yīng)用可以指定任何位置，或者換言之，定義一些區(qū)域(ROI)是絕對必要的。

然而，諸如DASH的碼片式流式傳輸?shù)膽?yīng)用具有分割并顯示用戶選擇的區(qū)域的概念(還包括切換到具有不同分辨率的流)。就是說，由于用戶可以任意確定要選擇的區(qū)域，因此假設(shè)所有碼片是能夠被獨立解碼的碼片并且被進(jìn)一步均勻劃分，并且假設(shè)根據(jù)要再現(xiàn)的裝置的能力(等級)而不同的要選擇的碼片數(shù)目對應(yīng)于最常見服務(wù)的操作。

因此，關(guān)于現(xiàn)有的ROI的應(yīng)用的假設(shè)以及關(guān)于DASH的碼片式流式傳輸?shù)膽?yīng)用的假設(shè)具有略微不同的方向。

因此，引入應(yīng)用模式，使得可以定義通過應(yīng)用解碼的區(qū)域(碼片)單位的等級，同時在一個SEI中滿足這兩個假設(shè)，并且可以針對每個模式改變要定義的信息用于擴展。

例如，針對每個應(yīng)用定義模式的概念以按照需要改變要定義的信息。例如，設(shè)定DASH模式。因此，定義DASH模式＝＝“所有碼片的均勻劃分和獨立”。就是說，在DASH模式中，假設(shè)畫面被均勻地分成碼片(uniform_spacing_flag＝1@PPS)。此外，假設(shè)各個碼片能夠被獨立解碼。

因此，在DASH模式中，描述(定義)每次要解碼的碼片的數(shù)目以及與之對應(yīng)的等級信息。例如，在圖19中，作為每次要解碼的碼片的數(shù)目，設(shè)定三種情況4、12和30。針對三種情況中的每種情況設(shè)定等級信息(解碼負(fù)荷信息)。

通過這種方式，可以針對以上描述的兩個應(yīng)用更適當(dāng)?shù)卦O(shè)定解碼負(fù)荷信息。

圖20圖示了該情況下的MCTS SEI的擴展示例(示例性語法)。在圖20的示例中，在從頂部起的第2行中設(shè)定應(yīng)用的模式(mcts_mode)。因此，如從頂部起的第4行中描述的，當(dāng)模式是關(guān)于現(xiàn)有ROI的應(yīng)用的模式(關(guān)于當(dāng)前ROI應(yīng)用的模式)時(mcts_mode＝＝0)，與上述示例相似，針對每個能夠被獨立解碼的部分圖像設(shè)定解碼負(fù)荷信息。例如，在從頂部起的第13行中設(shè)定解碼所需的等級信息(mcts_level_idc[i])。

此外，當(dāng)應(yīng)用的模式是DASH模式(關(guān)于DASH應(yīng)用的模式)時(mcts_mode＝＝1)，設(shè)定每次要解碼的區(qū)域的碼片數(shù)目和與之對應(yīng)的等級信息。例如，在從頂部起的第17行中，設(shè)定區(qū)域的識別信息(mcts_id[i])。在下一行中，設(shè)定指示識別信息指示的區(qū)域中包括的碼片數(shù)目的信息(num_of_tiles_minus1[i])。此外，在下一行中，設(shè)定對該區(qū)域解碼所需的等級信息(mcts_level_idc[i])。

這里，“i”表示集合。就是說，在圖20的示例中，針對每個集合設(shè)定解碼所需的等級信息(mcts_level_idc)的值、識別信息(mcts_id)的值、以及指示識別信息指示的區(qū)域中包括的碼片數(shù)目的信息(num_of_tiles_minus1)的值。

當(dāng)如上文所述設(shè)定解碼負(fù)荷信息時，可以基于解碼負(fù)荷信息根據(jù)要解碼的區(qū)域的尺寸(碼片數(shù)目)更準(zhǔn)確地識別解碼所需的性能。此外，當(dāng)解碼負(fù)荷定義信息被傳送到解碼側(cè)時，即使在解碼側(cè)也可以根據(jù)要解碼的區(qū)域的尺寸(碼片的數(shù)目)更準(zhǔn)確地識別解碼所需的性能。

<設(shè)定解碼負(fù)荷定義信息的其他示例1>

上文描述了矩形碼片。在該情況下，例如，當(dāng)假設(shè)MCTS(能夠被獨立解碼的碼片組(部分區(qū)域))具有“L”形狀時，有必要定義兩個集合，即將指示字母“L”的豎直線部分的豎直方向定義為縱向的碼片集合，以及將指示字母“L”的水平線部分的水平方向定義為橫向的碼片集合。

此外，上文已描述了，作為解碼負(fù)荷定義信息，針對每個矩形集合設(shè)定指示部分區(qū)域的解碼處理的負(fù)荷的量值的信息(mcts_level_idc[i])的值。就是說，在該情況下，在L形部分區(qū)域中，需要設(shè)定指示解碼所需的等級的兩條信息(mcts_level_idc[i])。毋庸贅言，可以處置對集合解碼所需的等級以這種方式不同的情況。然而，當(dāng)對集合解碼所需的等級相同時，變得冗余并且編碼效率可能降低。

因此，可以針對能夠被獨立解碼的部分區(qū)域而非針對每個集合設(shè)定一個等級。能夠被獨立解碼的集合可以是能夠被獨立解碼的部分區(qū)域。就是說，可以針對多個能夠被獨立解碼的部分區(qū)域定義共同等級。圖21的A中描述了該情況下的示例性語法。此外，在圖21的B中描述了該情況下的語義的示例。

在圖21的A的示例中，在從頂部起的第3行中，設(shè)定指示所有碼片是否形成能夠被獨立解碼的集合的信息(each_tile_one_tile_set_flag)。在從頂部起的第4行中，在SEI消息中的運動約束碼片集合中設(shè)定指示是否包括指示解碼所需的等級的信息(mcts_level_idc)的信息(mcts_level_idc_present_flag)。

因此，在從頂部起的第5行中，當(dāng)確定所有碼片不形成唯一能夠被解碼的集合時(！each_tile_one_tile_set_flag)，在從頂部起的第7行至第16行的循環(huán)中，針對每個集合執(zhí)行設(shè)定，并且在從頂部而非循環(huán)起的第18行中設(shè)定解碼所需的等級(mcts_level_idc)。

就是說，如圖22中例示的，當(dāng)所有碼片能夠被獨立解碼時，被分配第“0”個識別信息(mcts_id[0])的集合和被分配第“1”個識別信息(mcts_id[1])的集合彼此相鄰，并且對集合解碼所需的等級相同，沒有對每個集合設(shè)定等級信息(mcts_level_idc[i])，而是可以設(shè)定對于這兩個集合共同的等級信息(mcts_level_idc)。

通過這種方式，可以針對多個能夠被獨立解碼的部分區(qū)域(例如，需要由多個集合表示的部分區(qū)域)設(shè)定僅一條(共同的)等級信息。因此，可以減少冗余并且提高編碼效率。

再者，在非專利文獻(xiàn)1中描述的HEVC中，假設(shè)以完整圖像(圖片)單位定義等級，并且還以完整圖像(圖片)單位執(zhí)行等級的參數(shù)定義。因此，當(dāng)以上文所述的部分區(qū)域單位定義等級時，還執(zhí)行關(guān)于該部分區(qū)域的等級的參數(shù)定義，并且可以將該定義分配給(執(zhí)行參數(shù)映射)完整圖像(圖片)單位的等級的定義。

例如，當(dāng)能夠被獨立解碼的部分區(qū)域具有矩形形狀時，定義關(guān)于部分區(qū)域的等級的參數(shù)。完整圖像(圖片)單位的等級的定義可以被該定義替換。此外，例如，當(dāng)能夠被獨立解碼的部分區(qū)域具有“L”形狀時，設(shè)定包括L形部分區(qū)域的矩形，定義關(guān)于該矩形區(qū)域的等級的參數(shù)，并且完整圖像(圖片)單位的等級的定義可以被該定義替換。

例如，在圖22中，當(dāng)能夠被獨立解碼的部分區(qū)域包括識別信息(mcts_id[0])的集合和識別信息(mcts_id[1])的集合時，設(shè)定包括這兩個集合的矩形區(qū)域，并且將其分配給圖片(等級的參數(shù)定義單位)。就是說，該矩形區(qū)域在水平方向上的尺寸W被估計為pic_width_in_luma_samples，該矩形區(qū)域在豎直方向上的尺寸H被估計為pic_height_in_luma_samples，該矩形區(qū)域的尺寸W×H被估計為PicSizeInSamplesY，并且可以定義關(guān)于該矩形區(qū)域的等級的參數(shù)。

通過這種方式，針對矩形區(qū)域定義的參數(shù)的值可以映射到以圖片單位定義的參數(shù)。因此，當(dāng)執(zhí)行這種參數(shù)映射時，可以對能夠被獨立解碼的部分區(qū)域采用更適當(dāng)?shù)亩x。

順便提及，當(dāng)所有碼片能夠被獨立解碼時，可以根據(jù)部分區(qū)域的尺寸設(shè)定對該部分區(qū)域解碼所需的等級(mcts_level_idc[i])。在該情況下，部分區(qū)域的尺寸可以由該部分區(qū)域的豎直方向上的碼片的數(shù)目(行的數(shù)目)和水平方向上的碼片的數(shù)目(列的數(shù)目)表示。這里“i”表示部分區(qū)域的尺寸和等級之間的對應(yīng)關(guān)系的數(shù)目。

在圖21的A的示例中，在從頂部起的第20行至28行的循環(huán)中，部分區(qū)域的尺寸和等級被關(guān)聯(lián)。在該循環(huán)中，設(shè)定(從頂部起的第24行)指示部分區(qū)域在豎直方向上的碼片的數(shù)目的信息(num_mc_tile_columns_minus1[i])，并且設(shè)定(從頂部起的第25行)指示部分區(qū)域在水平方向上的碼片的數(shù)目的信息(num_mc_tile_rows_minus1[i])。

例如，在圖23中，在其中設(shè)定識別信息(mcts_level_id[0])的第“0”個對應(yīng)關(guān)系中，2×2個碼片的部分區(qū)域與等級(meta_level_idc[0])相關(guān)聯(lián)。就是說，在該對應(yīng)關(guān)系中，指示部分區(qū)域在豎直方向上的碼片的數(shù)目的信息(num_mc_tile_columns_minus1[0])的值被設(shè)定為“1”，并且指示部分區(qū)域在水平方向上的碼片的數(shù)目的信息(num_mc_tile_rows_minus1[0])被設(shè)定為“1”。當(dāng)這些信息被設(shè)定時，除了與等級(meta_level_idc[0])對應(yīng)的部分區(qū)域的碼片的數(shù)目是4的事實之外，還示出了部分區(qū)域的形狀(兩個豎直碼片×兩個水平碼片的矩形)。

例如，在圖23中，在其中設(shè)定識別信息(mcts_level_id[1])的第“1”個對應(yīng)關(guān)系中，4×4個碼片的部分區(qū)域與等級(meta_level_idc[1])相關(guān)聯(lián)。就是說，在該對應(yīng)關(guān)系中，指示部分區(qū)域在豎直方向上的碼片的數(shù)目的信息(num_mc_tile_columns_minus1[1])的值被設(shè)定為“3”，并且指示部分區(qū)域在水平方向上的碼片的數(shù)目的信息(num_mc_tile_rows_minus1[1])被設(shè)定為“3”。當(dāng)這些信息被設(shè)定時，除了與等級(meta_level_idc[1])對應(yīng)的部分區(qū)域的碼片的數(shù)目是16的事實之外，還示出了部分區(qū)域的形狀(四個豎直碼片×四個水平碼片的矩形)。

通過這種方式，可以增加用于使部分區(qū)域與等級相關(guān)聯(lián)的信息的便利。例如，被配置成獲取并顯示其部分圖像的終端基于該信息確定該部分區(qū)域在水平方向上是否是長的。當(dāng)該部分區(qū)域在水平方向上長時，可以更容易地調(diào)整顯示圖像的高寬比，諸如通過在頂部和底部插入黑色帶進(jìn)行顯示。

<設(shè)定解碼負(fù)荷定義信息的其他示例2>

當(dāng)所有碼片能夠被獨立解碼時，可以設(shè)定圖片中的碼片單位的等級的最大值(max_level_idc)。就是說，一個碼片被設(shè)定為一個集合，可以設(shè)定關(guān)于每個集合的等級集合的圖片中的最大值。在圖24的A中描述了該情況下的示例性語法。此外，在圖24的B中描述了該情況下的語義的示例。

在圖24的A的示例中，在從頂部起的第21行中，設(shè)定圖片中的等級的最大值(max_level_idc)。如圖26中所例示的，該等級是針對由一個碼片組成的集合設(shè)定的等級。例如，在圖26中，針對總共包括6個豎直集合(6個碼片)×10個水平集合(10個碼片)的60個集合(60個碼片)中的每個集合設(shè)定的等級的最大值被設(shè)定為max_level_idc。

通過應(yīng)用確定從完整圖像分割的碼片的數(shù)目。盡管沒有完整定義與每個等級對應(yīng)的碼片的數(shù)目，但是應(yīng)用可以基于等級的最大值(max_level_idc)充分準(zhǔn)確地確定能夠被分割的碼片的數(shù)目(可以執(zhí)行諸如解碼的處理)。

就是說，不同于完整地定義與每個等級對應(yīng)的碼片的數(shù)目，當(dāng)在圖片中僅設(shè)定針對由一個碼片組成的每個集合(即針對每個碼片)設(shè)定的等級的最大值(max_level_idc)時，應(yīng)用可以基于設(shè)定控制被分割的碼片的數(shù)目，使得諸如解碼的處理不會失敗。

因此，通過這種方式，較之完整地定義對應(yīng)于每個等級的碼片的數(shù)目的情況，可以簡化所有碼片的語法并且可以降低處理的負(fù)荷。此外，較之完整地定義對應(yīng)于每個等級的碼片的數(shù)目的情況，可以減少要傳送的信息量并且可以提高編碼效率。

再者，如圖24的A中所例示的，在從頂部起的第17行中，設(shè)定關(guān)于每個部分區(qū)域的等級(mcts_level_idc[i])。就是說，如圖25的A中所例示的，當(dāng)存在兩個能夠被獨立解碼的集合，即被分配識別信息(mcts_id[0])的集合和被分配識別信息(mcts_id[1])的集合時，可以設(shè)定每個集合的等級(mcts_level_idc[i])。

在該情況下，針對每個集合設(shè)定包括該集合的矩形區(qū)域，并且可以將其分配給每個圖片(定義等級的參數(shù)的單位)。例如，在圖25的A中，設(shè)定包括識別信息(mcts_id[0])的集合的矩形區(qū)域，該矩形區(qū)域在水平方向上的尺寸W被估計為pic_width_in_luma_samples，該矩形區(qū)域在豎直方向上的尺寸H被估計為pic_height_in_luma_samples，該矩形區(qū)域的尺寸W×H被估計為PicSizeInSamplesY，并且可以定義關(guān)于矩形區(qū)域的等級的參數(shù)。相似地，設(shè)定包括識別信息(mcts_id[1])的集合的矩形區(qū)域，該矩形區(qū)域在水平方向上的尺寸W被估計為pic_width_in_luma_samples，該矩形區(qū)域在豎直方向上的尺寸H被估計為pic_height_in_luma_samples，該矩形區(qū)域的尺寸W×H被估計為PicSizeInSamplesY，并且可以定義關(guān)于矩形區(qū)域的等級的參數(shù)。

通過這種方式，針對每個矩形區(qū)域定義的參數(shù)的值可以映射到以圖片單位定義的參數(shù)。因此，當(dāng)執(zhí)行這種參數(shù)映射時，可以對能夠被獨立解碼的部分區(qū)域采用更適當(dāng)?shù)亩x。

再者，當(dāng)能夠被獨立解碼的部分區(qū)域由多個矩形區(qū)域形成時，可以設(shè)定包括所有這些矩形區(qū)域的矩形。例如，在圖25的B中，識別信息(mcts_id[0])的集合包括兩個矩形區(qū)域，設(shè)定包括所有集合的矩形區(qū)域，該矩形區(qū)域在水平方向上的尺寸W被估計為pic_width_in_luma_samples，該矩形區(qū)域在豎直方向上的尺寸H被估計為pic_height_in_luma_samples，該矩形區(qū)域的尺寸W×H被估計為PicSizeInSamplesY，并且可以定義關(guān)于矩形區(qū)域的等級的參數(shù)。

通過這種方式，即使當(dāng)能夠被獨立解碼的部分區(qū)域由多個矩形區(qū)域形成時，針對矩形區(qū)域定義的參數(shù)的值仍可以映射到以圖片單位定義的參數(shù)。因此，當(dāng)執(zhí)行這種參數(shù)映射時，即使在能夠被獨立解碼的部分區(qū)域由多個矩形區(qū)域形成時，仍可以采用部分區(qū)域的更適當(dāng)?shù)亩x。

<2.第二實施例>

<圖像編碼裝置>

接下來，將描述被配置成實現(xiàn)上文所述的本技術(shù)的裝置及其方法。圖27是圖示作為被應(yīng)用本技術(shù)的圖像處理裝置的一個方面的圖像編碼裝置的示圖。圖27中所示的圖像編碼裝置100是被配置成執(zhí)行分層圖像編碼(可分級編碼)的裝置。如圖27中所示，圖像編碼裝置100包括基層圖像編碼單元101、增強層圖像編碼單元102、復(fù)用單元103和控制單元104。

基層圖像編碼單元101對基層圖像編碼，并且生成基層圖像編碼流。增強層圖像編碼單元102對增強層圖像編碼，并且生成增強層圖像編碼流。復(fù)用單元103對在基層圖像編碼單元101中生成的基層圖像編碼流和在增強層圖像編碼單元102中生成的增強層圖像編碼流進(jìn)行復(fù)用，并且生成分層圖像編碼流。復(fù)用單元103將所生成的分層圖像編碼流傳送到解碼側(cè)。

控制單元104執(zhí)行與所有圖像數(shù)據(jù)相關(guān)的設(shè)定，基于設(shè)定控制基層圖像編碼單元101和增強層圖像編碼單元102，并且因而控制每個層的編碼。此外，控制單元104使用設(shè)定生成視頻參數(shù)集合(VPS)，將參數(shù)提供給復(fù)用單元103，并且將參數(shù)傳送到解碼側(cè)。在該情況下，視頻參數(shù)集合可以包括在分層圖像編碼流中傳送或者可以作為與分層圖像編碼流分離的數(shù)據(jù)傳送。

此外，當(dāng)在視頻參數(shù)集合(VPS)中設(shè)定解碼負(fù)荷定義信息或者指示是否設(shè)定解碼負(fù)荷定義信息的信息時，控制單元104從基層圖像編碼單元101和增強層圖像編碼單元102收集解碼負(fù)荷定義信息等，并且基于該信息在視頻參數(shù)集合(VPS)中設(shè)定解碼負(fù)荷定義信息或者指示是否設(shè)定解碼負(fù)荷定義信息的信息。

此外，基層圖像編碼單元101和增強層圖像編碼單元102可以彼此交換解碼負(fù)荷相關(guān)信息，其是關(guān)于解碼處理的負(fù)荷的量值的信息。例如，如圖11中所例示的，當(dāng)設(shè)定多個層的解碼負(fù)荷定義信息時，層的編碼單位收集其他層的解碼負(fù)荷相關(guān)信息。

<基層圖像編碼單元>

圖28是圖示圖27的基層圖像編碼單元101的主要配置示例的框圖。如圖28中所示，基層圖像編碼單元101包括A/D轉(zhuǎn)換單元111、畫面重排緩沖器112、計算單元113、正交變換單元114、量化單元115、可逆編碼單元116、積累緩沖器117、逆量化單元118和逆正交變換單元119。此外，基層圖像編碼單元101包括計算單元120、環(huán)路濾波器121、幀存儲器122、選擇單元123、幀內(nèi)預(yù)測單元124、幀間預(yù)測單元125、預(yù)測圖像選擇單元126和速率控制單元127。

A/D轉(zhuǎn)換單元111對輸入圖像數(shù)據(jù)(基層圖像信息)執(zhí)行A/D轉(zhuǎn)換，并且提供經(jīng)轉(zhuǎn)換的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))以存儲在畫面重排緩沖器112中。畫面重排緩沖器112根據(jù)圖片組(GOP)將按顯示順序存儲的幀的圖像根據(jù)用于編碼的幀順序進(jìn)行重排，并且將幀順序被重排的圖像提供給計算單元113。此外，畫面重排緩沖器112將幀順序被重排的圖像提供給幀內(nèi)預(yù)測單元124和幀間預(yù)測單元125。

計算單元113從讀取自畫面重排緩沖器112的圖像中減去經(jīng)由預(yù)測圖像選擇單元126從幀內(nèi)預(yù)測單元124或幀間預(yù)測單元125提供的預(yù)測圖像，并且向正交變換單元114輸出其差信息。例如，在被執(zhí)行幀內(nèi)編碼的圖像中，計算單元113從讀取自畫面重排緩沖器112的圖像中減去從幀內(nèi)預(yù)測單元124提供的預(yù)測圖像。此外，例如，在被執(zhí)行幀間編碼的圖像中，計算單元113從讀取自畫面重排緩沖器112的圖像中減去從幀間預(yù)測單元125提供的預(yù)測圖像。

正交變換單元114對從計算單元113提供的差信息執(zhí)行諸如離散余弦變換或Karhunen-Loève變換的正交變換。正交變換單元114將其變換系數(shù)提供給量化單元115。

量化單元115對從正交變換單元114提供的變換系數(shù)進(jìn)行量化。量化單元115基于與從速率控制單元127提供的編碼量的目標(biāo)值相關(guān)的信息設(shè)定量化參數(shù)，并且執(zhí)行其量化。量化單元115將經(jīng)量化的變換系數(shù)提供給可逆編碼單元16。

可逆編碼單元116根據(jù)任意編碼方案對在量化單元115中量化的變換系數(shù)進(jìn)行編碼。由于系數(shù)數(shù)據(jù)在速率控制單元127的控制下被量化，因此編碼量變?yōu)樗俾士刂茊卧?27設(shè)定的目標(biāo)值(或接近目標(biāo)值)。

此外，可逆編碼單元116從幀內(nèi)預(yù)測單元124獲取指示幀內(nèi)預(yù)測模式的信息，并且從幀間預(yù)測單元125獲取指示幀間預(yù)測模式的信息或者差運動向量信息。此外，可逆編碼單元116適當(dāng)?shù)厣苫鶎拥木W(wǎng)絡(luò)抽象層(NAL)單位，包括序列參數(shù)集合(SPS)、圖片參數(shù)集合(PPS)等。

可逆編碼單元116使用任意編碼方案對各種信息編碼，并且將該信息設(shè)定(復(fù)用)為編碼數(shù)據(jù)(還被稱為“編碼流”)的一部分?？赡婢幋a單元116向積累緩沖器117提供通過編碼獲得的編碼數(shù)據(jù)并且積累。

可逆編碼單元116的編碼方案的示例包括可變長度編碼和算術(shù)編碼?？勺冮L度編碼的示例包括在H.264方案或者AVC方案中定義的上下文自適應(yīng)可變長度編碼(CAVLC)。算術(shù)編碼的示例包括上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。

積累緩沖器117臨時保存從可逆編碼單元116提供的編碼流(基層編碼流)。積累緩沖器17在預(yù)定定時將所保存的基層編碼流輸出到復(fù)用單元103。就是說，積累緩沖器117還用作被配置成傳送基層編碼流的傳送單元。

此外，在量化單元115中量化的變換系數(shù)也被提供給逆量化單元118。逆量化單元118使用與量化單元115的量化對應(yīng)的方法對經(jīng)量化的變換系數(shù)進(jìn)行逆量化。逆量化單元118將獲得的變換系數(shù)提供給逆正交變換單元119。

逆正交變換單元119使用與正交變換單元114的正交變換處理對應(yīng)的方法，對從逆量化單元118提供的變換系數(shù)執(zhí)行逆正交變換。經(jīng)歷逆正交變換的輸出(恢復(fù)的差信息)被提供給計算單元120。

計算單元120使通過預(yù)測圖像選擇單元126來自幀內(nèi)預(yù)測單元124或幀間預(yù)測單元125的預(yù)測圖像與用作從逆正交變換單元119提供的逆正交變換結(jié)果的恢復(fù)的差信息相加，并且獲得局部解碼的圖像(解碼圖像)。該解碼圖像被提供給環(huán)路濾波器121或幀存儲器122。

環(huán)路濾波器121包括解塊濾波器、自適應(yīng)環(huán)路濾波器等，并且對從計算單元120提供的重構(gòu)圖像執(zhí)行適當(dāng)?shù)臑V波處理。例如，環(huán)路濾波器121對重構(gòu)圖像執(zhí)行解塊濾波處理，并且因而去除重構(gòu)圖像的塊失真。此外，例如，環(huán)路濾波器121使用Wiener濾波器對解塊濾波處理結(jié)果(已被去除塊失真的重構(gòu)圖像)執(zhí)行環(huán)路濾波處理來提高圖像質(zhì)量。環(huán)路濾波器121將濾波處理結(jié)果(以下稱為“解碼圖像”)提供給幀存儲器122。

再者，環(huán)路濾波器121可以進(jìn)一步對重構(gòu)圖像執(zhí)行任何其他的濾波處理。此外，環(huán)路濾波器121可以按照需要將關(guān)于濾波系數(shù)等的在濾波處理中使用的信息提供給可逆編碼單元116，并且對信息編碼。

幀存儲器122存儲所提供的解碼圖像，并且在預(yù)定定時將存儲的解碼圖像提供給選擇單元123作為基準(zhǔn)圖像。

更具體地，幀存儲器122存儲從計算單元120提供的重構(gòu)圖像和從環(huán)路濾波器121提供的解碼圖像。幀存儲器122在預(yù)定定時或者基于來自諸如幀內(nèi)預(yù)測單元124的外部的請求經(jīng)由選擇單元123將所存儲的重構(gòu)圖像提供給幀內(nèi)預(yù)測單元124。此外，幀存儲器122在預(yù)定定時或者基于來自諸如幀間預(yù)測單元125的外部的請求經(jīng)由選擇單元123將所存儲的解碼圖像提供給幀間預(yù)測單元125。

選擇單元123選擇從幀存儲器122提供的基準(zhǔn)圖像的提供目標(biāo)。例如，在幀內(nèi)預(yù)測中，選擇單元123將從幀存儲器122提供的基準(zhǔn)圖像(當(dāng)前圖片中的像素值或者基層解碼圖像)提供給幀內(nèi)預(yù)測單元124。此外，例如，在幀間預(yù)測中，選擇單元123將從幀存儲器122提供的基準(zhǔn)圖像(除了增強層或基層解碼圖像的當(dāng)前圖片以外的解碼圖像)提供給幀間預(yù)測單元125。

幀內(nèi)預(yù)測單元124對作為處理對象的幀的圖像的當(dāng)前圖片執(zhí)行預(yù)測處理，并且生成預(yù)測圖像。幀內(nèi)預(yù)測單元124針對每個預(yù)定塊(使用塊作為處理單位)執(zhí)行預(yù)測處理。就是說，幀內(nèi)預(yù)測單元124生成作為當(dāng)前圖片的處理對象的當(dāng)前塊的預(yù)測圖像。在該情況下，幀內(nèi)預(yù)測單元124使用經(jīng)由選擇單元123從幀存儲器122提供的作為基準(zhǔn)圖像的重構(gòu)圖像來執(zhí)行預(yù)測處理(畫面內(nèi)預(yù)測(還被稱為“幀內(nèi)預(yù)測”))。就是說，幀內(nèi)預(yù)測單元124使用重構(gòu)圖像中包括的當(dāng)前塊周圍的像素值來生成預(yù)測圖像。用于幀內(nèi)預(yù)測的周圍像素值是當(dāng)前圖片中已被處理的像素的像素值。在幀內(nèi)預(yù)測中(即在生成預(yù)測圖像的方法中)，預(yù)先準(zhǔn)備多種方法(還被稱為“幀內(nèi)預(yù)測模式”)作為候選。幀內(nèi)預(yù)測單元124在預(yù)先準(zhǔn)備的多個幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測。

幀內(nèi)預(yù)測單元124在用作候選的所有幀內(nèi)預(yù)測模式下生成預(yù)測圖像，使用從畫面重排緩沖器112提供的輸入圖像來評估每個預(yù)測圖像的成本函數(shù)值，并且選擇最優(yōu)模式。在選擇了最優(yōu)幀內(nèi)預(yù)測模式時，幀內(nèi)預(yù)測單元124將以最優(yōu)模式生成的預(yù)測圖像提供給預(yù)測圖像選擇單元126。

此外，如上文所述，幀內(nèi)預(yù)測單元124適當(dāng)?shù)貙⒅甘舅捎玫膸瑑?nèi)預(yù)測模式等的幀內(nèi)預(yù)測模式信息提供給可逆編碼單元116，并且對其編碼。

幀間預(yù)測單元125對當(dāng)前圖片執(zhí)行預(yù)測處理，并且生成預(yù)測圖像。幀間預(yù)測單元125針對每個預(yù)定塊(使用塊作為處理單位)執(zhí)行預(yù)測處理。就是說，幀間預(yù)測單元125生成用作當(dāng)前圖片的處理對象的當(dāng)前塊的預(yù)測圖像。在該情況下，幀間預(yù)測單元125使用從畫面重排緩沖器112提供的輸入圖像的圖像數(shù)據(jù)以及從幀存儲器122提供的作為基準(zhǔn)圖像的解碼圖像的圖像數(shù)據(jù)來執(zhí)行預(yù)測處理。解碼圖像是在當(dāng)前圖片之前被處理的幀的圖像(不同于當(dāng)前圖片的圖片)。就是說，幀間預(yù)測單元125執(zhí)行使用另一圖片的圖像生成預(yù)測圖像的預(yù)測處理(畫面間預(yù)測(還被稱為“幀間預(yù)測”))。

幀間預(yù)測通過運動預(yù)測和運動補償來執(zhí)行。更具體地，幀間預(yù)測單元125使用輸入圖像和基準(zhǔn)圖像，對當(dāng)前塊執(zhí)行運動預(yù)測，并且檢測運動向量。因此，幀間預(yù)測單元125使用基準(zhǔn)圖像，根據(jù)檢測到的運動向量執(zhí)行運動補償處理，并且生成當(dāng)前塊的預(yù)測圖像(幀間預(yù)測圖像信息)。在幀間預(yù)測中(即在生成預(yù)測圖像的方法中)，預(yù)先準(zhǔn)備多種方法(還被稱為“幀間預(yù)測模式”)作為候選。幀間預(yù)測單元125在預(yù)先準(zhǔn)備的多個幀間預(yù)測模式下執(zhí)行這種幀間預(yù)測。

幀間預(yù)測單元125在用作候選的所有幀間預(yù)測模式下生成預(yù)測圖像。幀間預(yù)測單元125使用從畫面重排緩沖器112提供的輸入圖像以及所生成的差運動向量的信息，評估每個預(yù)測圖像的成本函數(shù)值，并且選擇最優(yōu)模式。在選擇了最優(yōu)幀間預(yù)測模式時，幀間預(yù)測單元125將以最優(yōu)模式生成的預(yù)測圖像提供給預(yù)測圖像選擇單元126。

當(dāng)指示所采用的幀間預(yù)測模式的信息或者編碼數(shù)據(jù)被解碼時，幀間預(yù)測單元125將在幀間預(yù)測模式下執(zhí)行處理所需的信息等提供給可逆編碼單元126，并且對其編碼。例如，作為必要的信息，例示了所生成的差運動向量的信息或者指示預(yù)測運動向量的索引的標(biāo)志，作為預(yù)測運動向量信息。

預(yù)測圖像選擇單元126選擇要被提供給計算單元113或計算單元120的預(yù)測圖像的提供源。例如，在幀內(nèi)編碼中，預(yù)測圖像選擇單元126選擇幀內(nèi)預(yù)測單元124作為預(yù)測圖像的提供源，并且將從幀內(nèi)預(yù)測單元124提供的預(yù)測圖像提供給計算單元113或計算單元120。此外，例如，在幀間編碼中，預(yù)測圖像選擇單元126選擇幀間預(yù)測單元125作為預(yù)測圖像的提供源，并且將從幀間預(yù)測單元125提供的預(yù)測圖像提供給計算單元113或計算單元120。

速率控制單元127基于在積累緩沖器117中積累的編碼數(shù)據(jù)的編碼量來控制量化單元115的量化操作的速率，使得不會發(fā)生上溢或下溢。

此外，幀存儲器122將所存儲的基層的解碼圖像提供給增強層圖像編碼單元102。

此外，如圖28中所示，基層圖像編碼單元101進(jìn)一步包括報頭信息生成單元128。

報頭信息生成單元128生成報頭信息，諸如序列參數(shù)集合(SPS)或MCTS SEI。在該情況下，如第一實施例中所述，報頭信息生成單元128執(zhí)行設(shè)定用于定義能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息的處理。例如，報頭信息生成單元128可以從可逆編碼單元116獲取基層的解碼負(fù)荷相關(guān)信息，并且基于解碼負(fù)荷相關(guān)信息生成基層的能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。此外，報頭信息生成單元128可以從增強層圖像編碼單元102獲取例如增強層的解碼負(fù)荷相關(guān)信息，并且基于解碼負(fù)荷相關(guān)信息生成增強層的能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。

此外，報頭信息生成單元128可以將解碼負(fù)荷定義信息等提供給控制單元104，并且使得能夠在視頻參數(shù)集合中執(zhí)行關(guān)于解碼負(fù)荷定義信息的設(shè)定。

<增強層圖像編碼單元>

圖29是圖示圖27的增強層圖像編碼單元102的主要配置示例的框圖。如圖29中所示，增強層圖像編碼單元102具有與圖28的基層圖像編碼單元101基本上相同的配置。

就是說，如圖29所示，增強層圖像編碼單元102包括A/D轉(zhuǎn)換單元131、畫面重排緩沖器132、計算單元133、正交變換單元134、量化單元135、可逆編碼單元136、積累緩沖器137、逆量化單元138和逆正交變換單元139。此外，增強層圖像編碼單元102包括計算單元140、環(huán)路濾波器141、幀存儲器142、選擇單元143、幀內(nèi)預(yù)測單元144、幀間預(yù)測單元145、預(yù)測圖像選擇單元146和速率控制單元147。

A/D轉(zhuǎn)換單元131至速率控制單元147與圖28的A/D轉(zhuǎn)換單元111至速率控制單元127對應(yīng)。然而，增強層圖像編碼單元102的各個單元除了基層之外還執(zhí)行對增強層圖像信息編碼的處理。因此，當(dāng)描述A/D轉(zhuǎn)換單元131至速率控制單元147的處理時，可以應(yīng)用以上對圖28的A/D轉(zhuǎn)換單元111至速率控制單元127的描述。然而，在該情況下，需要處理的數(shù)據(jù)需要是增強層的數(shù)據(jù)而非基層的數(shù)據(jù)。此外，有必要適當(dāng)?shù)貙?shù)據(jù)的輸入源和輸出目標(biāo)的處理單元替換為A/D轉(zhuǎn)換單元131至速率控制單元147中的相應(yīng)的處理單元并且將其讀取。

增強層圖像編碼單元102進(jìn)一步包括報頭信息生成單元148。

報頭信息生成單元148與圖28的報頭信息生成單元128對應(yīng)并且執(zhí)行與報頭信息生成單元128相同的處理。然而，報頭信息生成單元148執(zhí)行增強層而非基層的處理。

替選地，當(dāng)在基層的報頭信息生成單元128中還創(chuàng)建增強層的解碼負(fù)荷定義信息時，可以省略增強層的報頭信息生成單元148。

<報頭信息生成單元>

圖30是圖示圖28的報頭信息生成單元128的功能塊的示例性配置的示圖。在報頭信息生成單元128中，例如，當(dāng)使用RAM執(zhí)行CPU從ROM等讀取的程序時，執(zhí)行上述處理并且因此實現(xiàn)圖30中所示的各種功能塊。

如圖30中所示，報頭信息生成單元128包括解碼負(fù)荷相關(guān)信息獲取單元151、MCTS SEI生成單元152和SPS生成單元153。

解碼負(fù)荷相關(guān)信息獲取單元151獲取關(guān)于解碼處理的負(fù)荷的信息，其用于生成能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。只要其用于生成解碼負(fù)荷定義信息，可以使用關(guān)于解碼處理的負(fù)荷的信息的任何內(nèi)容。

如第一實施例中所述，MCTS SEI生成單元152生成包括能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息的MCTS SEI。就是說，MCTS SEI生成單元152在MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。解碼負(fù)荷定義信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。再者，當(dāng)以部分區(qū)域單位定義等級時，如第一實施例中描述的，MCTS SEI生成單元152還定義關(guān)于部分區(qū)域的等級的參數(shù)。定義可以被分配給(執(zhí)行參數(shù)映射)完整圖像(圖片)單位的等級的定義。

如第一實施例中描述的，SPS生成單元153生成包括能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息或者指示在MCTS SEI中是否設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息的信息(還被共同稱為“關(guān)于解碼負(fù)荷的定義的信息”)的序列參數(shù)集合(SPS)。就是說，SPS生成單元153在序列參數(shù)集合(SPS)中設(shè)定能夠被獨立解碼的部分區(qū)域的關(guān)于解碼負(fù)荷的定義的信息。關(guān)于解碼負(fù)荷的定義的信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。

再者，如第一實施例中所述的，僅在MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，并且可以不在序列參數(shù)集合(SPS)中設(shè)定該信息。在該情況下，SPS生成單元153可被省略。

<圖像編碼處理的流程>

接下來，將描述上述圖像編碼裝置100執(zhí)行的處理的流程。首先，將參照圖31的流程圖描述圖像編碼處理的示例性流程。

當(dāng)圖像編碼處理開始時，在步驟S101中，圖像編碼裝置100的控制單元104執(zhí)行完整可分級編碼的設(shè)定。

在步驟S102中，控制單元104根據(jù)在步驟S101中執(zhí)行的設(shè)定控制從基層圖像編碼單元101到復(fù)用單元103的各個單元。

在步驟S103中，控制單元104通過應(yīng)用在步驟S101中執(zhí)行的設(shè)定來生成視頻參數(shù)集合(VPS)。

在步驟S104中，基層圖像編碼單元101對基層的圖像數(shù)據(jù)編碼。

在步驟S105中，增強層圖像編碼單元102對增強層的圖像數(shù)據(jù)編碼。

在步驟S106中，復(fù)用單元103對在步驟S104中生成的基層圖像編碼流和在步驟S105中生成的增強層圖像編碼流(即各層的位流)進(jìn)行復(fù)用，并且生成一個系統(tǒng)的分層圖像編碼流。再者，復(fù)用單元103按照需要在分層圖像編碼流中包括在步驟S103中生成的視頻參數(shù)集合(VPS)。復(fù)用單元103輸出分層圖像編碼流并且將該流傳送到解碼側(cè)。

當(dāng)步驟S106的處理結(jié)束時，圖像編碼裝置100結(jié)束圖像編碼處理。通過該圖像編碼處理對一個圖片進(jìn)行處理。因此，圖像編碼裝置100對分層移動圖像數(shù)據(jù)的每個圖片重復(fù)地執(zhí)行該圖像編碼處理。然而，不一定針對每個圖片執(zhí)行處理，例如，適當(dāng)?shù)厥÷圆襟ES101至S103的處理。

<基層編碼處理的流程>

接下來，將參照圖32的流程圖描述在圖31的步驟S104中由基層圖像編碼單元101執(zhí)行的基層編碼處理的示例性流程。

當(dāng)基層編碼處理開始時，在步驟S121中，基層圖像編碼單元101的A/D轉(zhuǎn)換單元111對輸入移動圖像的幀(圖片)的圖像執(zhí)行A/D轉(zhuǎn)換。

在步驟S122中，畫面重排緩沖器112存儲在步驟S121中被執(zhí)行A/D轉(zhuǎn)換的圖像，并且從圖片的顯示順序根據(jù)編碼順序執(zhí)行重排。

在步驟S123中，幀內(nèi)預(yù)測單元124在幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。

在步驟S124中，幀間預(yù)測單元125在幀間預(yù)測模式中執(zhí)行幀間預(yù)測處理，其中執(zhí)行運動預(yù)測或運動補償。

在步驟S125中，預(yù)測圖像選擇單元126基于成本函數(shù)值等選擇預(yù)測圖像。就是說，預(yù)測圖像選擇單元126選擇步驟S123的幀內(nèi)預(yù)測生成的預(yù)測圖像和步驟S124的幀間預(yù)測生成的預(yù)測圖像中的任何預(yù)測圖像。

在步驟S126中，計算單元113計算在步驟S122的處理中重排幀順序的輸入圖像和在步驟S125的處理中選擇的預(yù)測圖像之間的差。就是說，計算單元113生成輸入圖像和預(yù)測圖像之間的差圖像的圖像數(shù)據(jù)。以這種方式獲得的差圖像的圖像數(shù)據(jù)的數(shù)據(jù)量小于原始圖像數(shù)據(jù)的數(shù)據(jù)量。因此，與圖像被直接編碼的情況相比，可以壓縮數(shù)據(jù)量。

在步驟S127中，正交變換單元114對在步驟S126的處理中生成的差圖像的圖像數(shù)據(jù)執(zhí)行正交變換。

在步驟S128中，量化單元115使用速率控制單元127計算的量化參數(shù)并且對在步驟S127的處理中獲得的正交變換系數(shù)進(jìn)行量化。

在步驟S129中，逆量化單元118使用與量化單元115的特性對應(yīng)的特性，對在步驟S128的處理中生成并量化的系數(shù)(還被稱為“量化系數(shù)”)進(jìn)行逆量化。

在步驟S130中，逆正交變換單元119對在步驟S129的處理中獲得的正交變換系數(shù)執(zhí)行逆正交變換。

在步驟S131中，計算單元120使在步驟S125的處理中選擇的預(yù)測圖像與在步驟S130的處理中恢復(fù)的差圖像相加，并且因而生成重構(gòu)圖像的圖像數(shù)據(jù)。

在步驟S132中，環(huán)路濾波器121對在步驟S131的處理中生成的重構(gòu)圖像的圖像數(shù)據(jù)執(zhí)行環(huán)路濾波處理。結(jié)果，去除了重構(gòu)圖像的塊失真等。

在步驟S133中，幀存儲器122存儲諸如在步驟S132的處理中獲得的解碼圖像(基層解碼圖像)或者在步驟S131的處理中獲得的重構(gòu)圖像的數(shù)據(jù)。

在步驟S134中，可逆編碼單元116對在步驟S128的處理中獲得并量化的參數(shù)進(jìn)行編碼。就是說，對與差圖像對應(yīng)的數(shù)據(jù)執(zhí)行諸如可變長度編碼或算術(shù)編碼的可逆編碼。

此外，在該情況下，可逆編碼單元116對與在步驟S125的處理中選擇的預(yù)測圖像的預(yù)測模式相關(guān)的信息進(jìn)行編碼，并且將編碼信息添加到通過編碼而獲得的編碼數(shù)據(jù)。就是說，可逆編碼單元116還對從幀內(nèi)預(yù)測單元124提供的最優(yōu)幀內(nèi)預(yù)測模式信息或者與從幀間預(yù)測單元125提供的最優(yōu)幀間預(yù)測模式對應(yīng)的信息進(jìn)行編碼，并且將結(jié)果添加到編碼數(shù)據(jù)。

在步驟S135中，報頭信息生成單元128生成各種空單位等的報頭信息。所生成的報頭信息被提供給可逆編碼單元116并且添加到編碼數(shù)據(jù)。

在步驟S136中，積累緩沖器117對在步驟S134的處理中獲得的編碼數(shù)據(jù)(基層圖像編碼流)進(jìn)行累積。積累緩沖器117中積累的基層圖像編碼流被適當(dāng)?shù)刈x取，提供給復(fù)用單元103，與增強層圖像編碼流復(fù)用，并且隨后經(jīng)由傳送路徑或記錄介質(zhì)被傳送到解碼側(cè)。

在步驟S137中，速率控制單元127基于在步驟S136的處理中在積累緩沖器117中累積的編碼數(shù)據(jù)的編碼量(生成的碼量)來控制量化單元115的量化操作的速率，使得不會發(fā)生上溢或下溢。此外，速率控制單元127將與量化參數(shù)相關(guān)的信息提供給量化單元115

當(dāng)步驟S137的處理結(jié)束時，基層編碼處理結(jié)束，并且處理返回圖31。

<增強層編碼處理的流程>

接下來，將參照圖33的流程圖描述在圖31的步驟S105中由增強層圖像編碼單元102執(zhí)行的增強層編碼處理的示例性流程。

增強層編碼處理的各個處理(步驟S141至S157)對應(yīng)于基層編碼處理的各個處理(步驟S121至S137)，并且基本上通過與這些處理相同的方式被執(zhí)行。盡管在基層上執(zhí)行基層編碼處理的處理，但是在增強層上執(zhí)行增強層編碼處理的各個處理(步驟S141至S157)。

此外，當(dāng)僅在基層中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息時，在步驟S155中可以省略解碼負(fù)荷定義信息的設(shè)定。

當(dāng)步驟S157的處理結(jié)束時，增強層編碼處理結(jié)束，并且處理返回圖31。

<報頭生成處理的流程>

接下來，將參照圖34的流程圖描述在圖32的步驟S135中執(zhí)行的報頭生成處理的示例性流程。

當(dāng)報頭生成處理開始時，在步驟S161中，報頭信息生成單元128生成各種報頭信息，例如，序列參數(shù)集合(SPS)、SEI、圖片參數(shù)集合(PPS)和切片報頭(SliceHeader)。

在步驟S162中，解碼負(fù)荷相關(guān)信息獲取單元151獲取生成能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息所需的解碼負(fù)荷定義信息，其是關(guān)于部分區(qū)域的解碼處理的負(fù)荷的信息。此外，在設(shè)定了增強層的解碼負(fù)荷定義信息時，還從增強層獲取解碼負(fù)荷相關(guān)信息。只要用于生成解碼負(fù)荷定義信息，則可以使用解碼負(fù)荷相關(guān)信息的任何內(nèi)容。

在步驟S163中，MCTS SEI生成單元152在步驟S161中生成的能夠被獨立解碼的部分區(qū)域的MCTS SEI中設(shè)定部分區(qū)域的解碼負(fù)荷定義信息。例如，MCTS SEI生成單元152如在第一實施例中參照圖9至26的語法描述的那樣設(shè)定解碼負(fù)荷定義信息。

例如，如圖10中所示，當(dāng)能夠被獨立解碼的部分區(qū)域包括多個集合(多個碼片)時，MCTS SEI生成單元152使用每個碼片的解碼負(fù)荷相關(guān)信息，并且設(shè)定關(guān)于每個集合的解碼負(fù)荷相關(guān)信息。此外，MCTS SEI生成單元152可以使用每個碼片的解碼負(fù)荷相關(guān)信息并且設(shè)定整個部分區(qū)域的解碼負(fù)荷定義信息。

再者，當(dāng)存在多個能夠被獨立解碼的部分區(qū)域時，MCTS SEI生成單元152可以設(shè)定每個部分區(qū)域的解碼負(fù)荷定義信息。解碼負(fù)荷定義信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。

在步驟S164中，SPS生成單元153設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，或者指示在步驟S161中生成的序列參數(shù)集合(SPS)中的MCTS SEI中是否設(shè)定部分區(qū)域的解碼負(fù)荷定義信息的信息(還被稱為“關(guān)于解碼負(fù)荷的定義的信息”)。關(guān)于解碼負(fù)荷的定義的信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。

當(dāng)步驟S164的處理結(jié)束時，報頭信息生成處理結(jié)束并且處理返回圖32。

再者，如第一實施例中描述的，僅在MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，并且該信息不能在序列參數(shù)集合(SPS)中被設(shè)定。在該情況下，可以省略步驟S164的處理。

此外，在步驟S163中，當(dāng)以部分區(qū)域單位定義等級時，如第一實施例中描述的，MCTS SEI生成單元152還定義部分區(qū)域的等級的參數(shù)。該定義可以被分配給完整圖像(圖片)單位的等級的定義(執(zhí)行參數(shù)映射)。

如上文所述的報頭信息被提供給可逆編碼單元116并且包括在編碼數(shù)據(jù)中。

當(dāng)以該方式執(zhí)行各個處理時，圖像編碼裝置100可以更準(zhǔn)確地識別解碼所需的性能。

再者，當(dāng)在增強層中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息時，可以如參照圖34的流程圖描述的那樣執(zhí)行報頭信息生成單元148。另一方面，當(dāng)沒有設(shè)定解碼負(fù)荷定義信息時，可以僅執(zhí)行圖34的步驟S161的處理。

<3.第三實施例>

<圖像解碼裝置>

接下來，將描述對如上文所述編碼的編碼數(shù)據(jù)的解碼。圖35是圖示作為被應(yīng)用本技術(shù)的圖像處理裝置的一個方面的、與圖像編碼裝置100對應(yīng)的圖像解碼裝置的主要配置示例的框圖。圖35中所示的圖像解碼裝置200使用與編碼方法對應(yīng)的解碼方法對圖像編碼裝置100生成的編碼數(shù)據(jù)進(jìn)行解碼(就是說，對被分級編碼的編碼數(shù)據(jù)進(jìn)行分級解碼)。如圖35中所示，圖像解碼裝置200包括解復(fù)用單元201、基層圖像解碼單元202、增強層圖像解碼單元203和控制單元204。

解復(fù)用單元201接收其中從編碼側(cè)傳送的基層圖像編碼流和增強層圖像編碼流被復(fù)用的分層圖像編碼流，對接收到的流解復(fù)用，并且提取基層圖像編碼流和增強層圖像編碼流?；鶎訄D像解碼單元202對解復(fù)用單元201提取的基層圖像編碼流解碼，并且獲得基層圖像。增強層圖像解碼單元203對解復(fù)用單元201提取的增強層圖像編碼流解碼，并且獲得增強層圖像。

控制單元204分析從解復(fù)用單元201提供的視頻參數(shù)集合(VPS)，并且基于該信息控制基層圖像解碼單元202和增強層圖像解碼單元203(控制每個層的編碼)。

此外，控制單元204從基層圖像解碼單元202和增強層圖像解碼單元203獲取報頭信息的解碼負(fù)荷定義信息的分析結(jié)果，并且根據(jù)分析結(jié)果控制圖像解碼裝置200的各個處理單元的操作。

<基層圖像解碼單元>

圖36是圖示圖35的基層圖像解碼單元202的主要配置示例的框圖。如圖36中所示，基層圖像解碼單元202包括積累緩沖器211、可逆解碼單元212、逆量化單元213、逆正交變換單元214、計算單元215、環(huán)路濾波器216、畫面重排緩沖器217和D/A轉(zhuǎn)換單元218。此外，基層圖像解碼單元202包括幀存儲器219、選擇單元220、幀內(nèi)預(yù)測單元221、幀間預(yù)測單元222和選擇單元223。

積累緩沖器211還用作被配置成接收所傳送的編碼數(shù)據(jù)(從解復(fù)用單元201提供的基層圖像編碼流)的接收單元。積累緩沖器211接收并積累所傳送的編碼數(shù)據(jù)，并且在預(yù)定定時將編碼數(shù)據(jù)提供給可逆解碼單元212。諸如預(yù)測模式信息的解碼所需的信息被添加到編碼數(shù)據(jù)。

可逆解碼單元212使用與編碼方案對應(yīng)的解碼方案對從積累緩沖器211提供并且由可逆編碼單元106編碼的信息進(jìn)行解碼?？赡娼獯a單元212將通過解碼獲得的差圖像的量化系數(shù)數(shù)據(jù)提供給逆量化單元213。

此外，可逆解碼單元212確定選擇幀內(nèi)預(yù)測模式還是選擇幀間預(yù)測模式作為最優(yōu)預(yù)測模式，并且將關(guān)于最優(yōu)預(yù)測模式的信息提供給在幀內(nèi)預(yù)測單元221和幀間預(yù)測單元222之間被確定要選擇的模式。就是說，例如，在編碼側(cè)選擇幀內(nèi)預(yù)測模式作為最優(yōu)預(yù)測模式時，關(guān)于最優(yōu)預(yù)測模式(幀內(nèi)預(yù)測模式信息)的信息被提供給幀內(nèi)預(yù)測單元221。此外，例如，在編碼側(cè)選擇幀間預(yù)測模式作為最優(yōu)預(yù)測模式時，關(guān)于最優(yōu)預(yù)測模式(幀間預(yù)測模式信息)的信息被提供給幀間預(yù)測單元222。

此外，可逆解碼單元212從編碼數(shù)據(jù)提取例如量化矩陣或量化參數(shù)的逆量化所需的信息，并且將該信息提供給逆量化單元213。

逆量化單元213使用與量化單元115的量化方案對應(yīng)的方案，對通過可逆解碼單元212的解碼獲得的量化系數(shù)數(shù)據(jù)執(zhí)行逆量化。再者，逆量化單元213是與逆量化單元118相同的處理單元。逆量化單元213將獲得的系數(shù)數(shù)據(jù)(正交變換系數(shù))提供給逆正交變換單元214。

逆正交變換單元214按照需要使用與正交變換單元114的正交變換方案對應(yīng)的方案，對從逆量化單元213提供的正交變換系數(shù)執(zhí)行逆正交變換。再者，逆正交變換單元214是與逆正交變換單元119相同的處理單元。

根據(jù)逆正交變換處理，恢復(fù)差圖像的圖像數(shù)據(jù)?；謴?fù)的差圖像的圖像數(shù)據(jù)對應(yīng)于在編碼側(cè)執(zhí)行正交變換之前的差圖像的圖像數(shù)據(jù)。在下文中，通過逆正交變換單元214的逆正交變換處理獲得的恢復(fù)的差圖像的圖像數(shù)據(jù)還被稱為“解碼殘差數(shù)據(jù)”。逆正交變換單元214將解碼殘差數(shù)據(jù)提供給計算單元215。此外，來自幀內(nèi)預(yù)測單元221或幀間預(yù)測單元222的預(yù)測圖像的圖像數(shù)據(jù)經(jīng)由預(yù)測圖像選擇單元223被提供給計算單元215。

計算單元215使用解碼殘差數(shù)據(jù)和預(yù)測圖像的圖像數(shù)據(jù)，并且獲得其中差圖像和預(yù)測圖像相加的重構(gòu)圖像的圖像數(shù)據(jù)。重構(gòu)圖像對應(yīng)于計算單元113減去預(yù)測圖像之前的輸入圖像。計算單元215將重構(gòu)圖像提供給環(huán)路濾波器216。

環(huán)路濾波器216對所提供的重構(gòu)圖像適當(dāng)?shù)貓?zhí)行環(huán)路濾波處理，包括解塊濾波處理或自適應(yīng)環(huán)路濾波處理，并且生成解碼圖像。例如，環(huán)路濾波器216對重構(gòu)圖像執(zhí)行解塊濾波處理并且從而去除塊失真。此外，例如，環(huán)路濾波器216使用Wiener濾波器對解塊濾波處理結(jié)果(被去除塊失真的重構(gòu)圖像)執(zhí)行環(huán)路濾波處理來提高圖像質(zhì)量。

再者，環(huán)路濾波器216執(zhí)行的濾波處理的類型是任意的，并且可以執(zhí)行除了上述濾波處理之外的處理。此外，環(huán)路濾波器216可以使用從圖像編碼裝置提供的濾波系數(shù)來執(zhí)行濾波處理。此外，環(huán)路濾波器216可以省略該濾波處理并且可以在不執(zhí)行濾波處理的情況下輸出輸入數(shù)據(jù)。

環(huán)路濾波器216將作為濾波處理結(jié)果的解碼圖像(或重構(gòu)圖像)提供給畫面重排緩沖器217和幀存儲器219。

畫面重排緩沖器217對解碼圖像執(zhí)行幀順序的重排。就是說，畫面重排緩沖器217根據(jù)原始顯示順序?qū)Ξ嬅嬷嘏啪彌_器112重排成編碼順序的各幀的圖像進(jìn)行重排。就是說，畫面重排緩沖器217按該順序存儲以編碼順序提供的各幀的解碼圖像的圖像數(shù)據(jù)，讀取以編碼順序存儲的各幀的解碼圖像的圖像數(shù)據(jù)，并且將結(jié)果提供給D/A轉(zhuǎn)換單元218。D/A轉(zhuǎn)換單元218對從畫面重排緩沖器217提供的各幀的解碼圖像(數(shù)字?jǐn)?shù)據(jù))執(zhí)行D/A轉(zhuǎn)換，并且輸出并且在顯示器(未示出)上顯示模擬數(shù)據(jù)。

幀存儲器219存儲所提供的解碼圖像，并且在預(yù)定定時或基于來自諸如幀內(nèi)預(yù)測單元221或幀間預(yù)測單元222的外部的請求，經(jīng)由選擇單元220將所存儲的解碼圖像提供給幀內(nèi)預(yù)測單元221或幀間預(yù)測單元222作為基準(zhǔn)圖像。

幀內(nèi)預(yù)測模式信息等被適當(dāng)?shù)貜目赡娼獯a單元212提供給幀內(nèi)預(yù)測單元221。幀內(nèi)預(yù)測單元221在幀內(nèi)預(yù)測單元124中使用的幀內(nèi)預(yù)測模式(最優(yōu)幀內(nèi)預(yù)測模式)下執(zhí)行幀內(nèi)預(yù)測，并且生成預(yù)測圖像。在該情況下，幀內(nèi)預(yù)測單元221使用經(jīng)由選擇單元220從幀存儲器219提供的重構(gòu)圖像的圖像數(shù)據(jù)來執(zhí)行幀內(nèi)預(yù)測。就是說，幀內(nèi)預(yù)測單元221使用重構(gòu)圖像作為基準(zhǔn)圖像(周圍像素)。幀內(nèi)預(yù)測單元221將所生成的預(yù)測圖像提供給預(yù)測圖像選擇單元223。

最優(yōu)預(yù)測模式信息、運動信息等被適當(dāng)?shù)貜目赡娼獯a單元212提供給幀間預(yù)測單元222。幀間預(yù)測單元222在從可逆解碼單元212獲取的最優(yōu)預(yù)測模式信息指示的幀間預(yù)測模式(最優(yōu)幀間預(yù)測模式)下使用從幀存儲器219獲取的解碼圖像(基準(zhǔn)圖像)來執(zhí)行幀間預(yù)測。

預(yù)測圖像選擇單元223將從幀內(nèi)預(yù)測單元221提供的預(yù)測圖像或者從幀間預(yù)測單元222提供的預(yù)測圖像提供給計算單元215。因此，在計算單元215中，來自逆正交變換單元214的預(yù)測圖像和解碼殘差數(shù)據(jù)(差圖像信息)被添加以獲得重構(gòu)圖像。

此外，幀存儲器219將所存儲的基層的解碼圖像提供給增強層圖像解碼單元203。

基層圖像解碼單元202進(jìn)一步包括報頭信息分析單元224。報頭信息分析單元224獲取可逆解碼單元212從編碼流提取的報頭信息，并且分析該信息。例如，報頭信息分析單元224分析報頭信息中包括的解碼負(fù)荷定義信息。報頭信息分析單元224將指示分析結(jié)果的信息提供給控制單元204。

<增強層圖像解碼單元>

圖37是圖示圖35的增強層圖像解碼單元203的主要配置示例的框圖。如圖37中所示，增強層圖像解碼單元203包括與圖36的基層圖像解碼單元202基本上相同的配置。

就是說，如圖37中所示，增強層圖像解碼單元203包括積累緩沖器231、可逆解碼單元232、逆量化單元233、逆正交變換單元234、計算單元235、環(huán)路濾波器236、畫面重排緩沖器237和D/A轉(zhuǎn)換單元238。此外，增強層圖像解碼單元203包括幀存儲器239、選擇單元240、幀內(nèi)預(yù)測單元241、幀間預(yù)測單元242和預(yù)測圖像選擇單元243。

積累緩沖器231至預(yù)測圖像選擇單元243與圖36的積累緩沖器211至預(yù)測圖像選擇單元223對應(yīng)，并且執(zhí)行相同的處理。然而，增強層圖像解碼單元203的各個單元除了基層之外還執(zhí)行對增強層圖像信息解碼的處理。因此，在描述積累緩沖器231至預(yù)測圖像選擇單元243的處理時，可以應(yīng)用上文對圖36的積累緩沖器211至預(yù)測圖像選擇單元223的描述。然而，在該情況下，待處理數(shù)據(jù)需要是增強層的數(shù)據(jù)而非基層的數(shù)據(jù)。此外，有必要適當(dāng)?shù)貙?shù)據(jù)的輸入源和輸出目標(biāo)的處理單元替換為增強層圖像解碼單元203的相應(yīng)處理單元并且將其讀取。

再者，幀存儲器239獲取從基層圖像解碼單元202提供的基層解碼圖像并且將該圖像存儲為例如長期基準(zhǔn)幀?；鶎咏獯a圖像被用作例如幀內(nèi)預(yù)測單元241或幀間預(yù)測單元242的預(yù)測處理中的層間預(yù)測的基準(zhǔn)圖像。

增強層圖像解碼單元203還包括報頭信息分析單元244。

可逆解碼單元232從增強層圖像編碼流獲取諸如序列參數(shù)集合(SPS)或MCTS SEI的報頭信息。能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息可能包括在報頭信息中。可逆解碼單元232將報頭信息提供給報頭信息分析單元244。

報頭信息分析單元244對所提供的報頭信息中包括的能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息進(jìn)行分析，并且將分析結(jié)果提供給控制單元204。

再者，當(dāng)僅在基層中設(shè)定解碼負(fù)荷定義信息時，可以省略增強層的報頭信息分析單元244。

<報頭信息分析單元>

圖38是圖示圖36的報頭信息分析單元244的功能塊的示例性配置的示圖。在報頭信息分析單元224中，例如，當(dāng)使用RAM執(zhí)行CPU從ROM等讀取的程序時，執(zhí)行上述處理并且因此實現(xiàn)圖38中所示的各種功能塊。

如圖38中所示，報頭信息分析單元224包括報頭信息獲取單元251、SPS分析單元252、MCTS SEI分析單元253、等級指定單元254和提供單元255。

報頭信息獲取單元251獲取從可逆解碼單元212提供的各條報頭信息。SPS分析單元252分析報頭信息獲取單元251作為報頭信息獲取的序列參數(shù)集合(SPS)。如第一實施例中所述，在序列參數(shù)集合(SPS)中包括關(guān)于能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷的定義的信息。關(guān)于解碼負(fù)荷的定義的信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。

MCTS SEI分析單元253分析報頭信息獲取單元251作為報頭信息獲取的MCTS SEI。如第一實施例中所述，MCTS SEI包括能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。解碼負(fù)荷定義信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。

等級指定單元254基于SPS分析單元252的分析結(jié)果和MCTS SEI指定對能夠被獨立解碼的部分區(qū)域解碼所需的等級。提供單元255將等級指定單元254指定的等級或者與該等級對應(yīng)的關(guān)于解碼處理的負(fù)荷的信息提供給控制單元104。

再者，如第一實施例中所述，當(dāng)在包括部分區(qū)域的預(yù)定區(qū)域中定義的參數(shù)映射到完整圖像(圖片)單位的等級的定義時，在指定等級或者解釋等級時，等級指定單元254或提供單元255可以采用映射參數(shù)。

再者，如第一實施例中所述，僅在MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，并且可以不在序列參數(shù)集合(SPS)中設(shè)定該信息。在該情況下，SPS分析單元252可被省略。

<圖像解碼處理的流程>

接下來，將描述圖像解碼裝置200執(zhí)行的處理的流程。首先，將參照圖39的流程圖描述圖像解碼處理的示例性流程。

當(dāng)圖像解碼處理開始時，在步驟S201中，圖像解碼裝置200的解復(fù)用單元201針對每個層對從編碼側(cè)傳送的分層圖像編碼流執(zhí)行解復(fù)用。

在步驟S202中，可逆解碼單元212從在步驟S201的處理中提取的基層圖像編碼流提取包括解碼負(fù)荷定義信息的報頭信息。

替選地，例如，當(dāng)解碼負(fù)荷定義信息也包括在增強層中時，可逆解碼單元232相似地執(zhí)行處理，并且提取增強層的報頭信息。

在步驟S203中，報頭信息分析單元224分析在步驟S202中提取的報頭信息，并且從解碼負(fù)荷定義信息指定解碼所需的等級。

在步驟S204中，控制單元204基于步驟S203的分析結(jié)果確定編碼流是否能夠被解碼。當(dāng)確定編碼流能夠被解碼時，處理前往步驟S205。

在步驟S205中，基層圖像解碼單元202對基層圖像編碼流解碼。在步驟S206中，增強層圖像解碼單元203對增強層圖像編碼流解碼。

當(dāng)步驟S206的處理結(jié)束時，圖像解碼處理結(jié)束。

另一方面，在步驟S204中，當(dāng)確定編碼流不能被解碼時，處理前往步驟S207。在該情況下，在步驟S207中，控制單元204執(zhí)行錯誤處理，其是當(dāng)不能執(zhí)行正常解碼時的預(yù)定處理。

錯誤處理可以是任何處理。例如，可以強制終止(包括掛起或暫停)解碼，或者可以向用戶提供諸如圖像或音頻的警報。此外，例如，可以獲取具有較低等級的另一編碼流并且可以重新開始解碼。此外，例如，可以允許出現(xiàn)解碼圖像中的順序錯亂并且可以強制對編碼流解碼。

當(dāng)步驟S207的處理結(jié)束時，圖像解碼處理結(jié)束。

<報頭信息分析處理的流程>

接下來，將參照圖40的流程圖描述在圖39的步驟S203中執(zhí)行的報頭信息分析處理的示例性流程。

當(dāng)報頭信息分析處理開始時，在步驟S211中SPS分析單元252確定是否參考序列參數(shù)集合(SPS)。當(dāng)在作為報頭信息獲取的序列參數(shù)集合(SPS)中包括關(guān)于能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷的定義的信息并且確定參考序列參數(shù)集合(SPS)時，處理前往步驟S212。

在步驟S212中，SPS分析單元252分析序列參數(shù)集合(SPS)中包括的關(guān)于能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷的定義的信息。關(guān)于解碼負(fù)荷的定義的信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。當(dāng)分析結(jié)束時，處理前往步驟S213。另一方面，在步驟S211中，當(dāng)在序列參數(shù)集合(SPS)中不包括關(guān)于能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷的定義的信息并且確定不參考序列參數(shù)集合(SPS)時，處理前往步驟S213。

在步驟S213中，MCTS SEI分析單元253確定是否參考MCTS SEI。當(dāng)在作為報頭信息獲取的MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息并且確定參考MCTS SEI時，處理前往步驟S214。

在步驟S214中，MCTS SEI分析單元253分析MCTS SEI中包括的能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息。解碼負(fù)荷定義信息的內(nèi)容是任意的。例如，在第一實施例中，參照圖9至26描述的多條信息中的任何一條或更多條信息可以包括在解碼負(fù)荷定義信息中。當(dāng)分析結(jié)束時，處理前往步驟S215。另一方面，在步驟S213中，當(dāng)在MCTS SEI中沒有設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息并且確定沒有參考MCTS SEI時，處理前往步驟S215。

在步驟S215中，等級指定單元254基于步驟S212和S214的分析結(jié)果指定解碼所需的等級。

在步驟S216中，提供單元255向控制單元104提供指示在步驟S215中指定的解碼所需的等級的信息。

當(dāng)步驟S216的處理結(jié)束時，報頭信息分析處理結(jié)束并且處理返回圖39。

再者，如第一實施例中所述，當(dāng)在包括部分區(qū)域的預(yù)定區(qū)域中定義的參數(shù)映射到完整圖像(圖片)單位的等級的定義時，在步驟S215或步驟S216的處理中等級指定單元254或提供單元255可以采用映射參數(shù)。

再者，如第一實施例中所述，僅在MCTS SEI中設(shè)定能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，并且可以不在序列參數(shù)集合(SPS)中設(shè)定該信息。在該情況下，步驟S211和步驟S212的處理可被省略。

<基層解碼處理的流程>

當(dāng)基于上文所述的解碼負(fù)荷定義信息根據(jù)是否可以解碼的確定結(jié)果確定可以解碼時，在圖39的步驟S205中執(zhí)行基層解碼處理。將參照圖41的流程圖描述基層解碼處理的示例性流程。

當(dāng)基層解碼處理開始時，在步驟S221中，基層圖像解碼單元202的積累緩沖器211積累所傳送的基層編碼流。在步驟S222中，可逆解碼單元212對從積累緩沖器211提供的基層編碼流進(jìn)行解碼。就是說，對被可逆編碼單元116編碼的諸如I切片、P切片和B切片的圖像數(shù)據(jù)進(jìn)行解碼。在該情況下，除了諸如報頭信息的位流中包括的圖像數(shù)據(jù)之外，還對各種信息解碼。

在步驟S223中，逆量化單元213對在步驟S222的處理中獲得的經(jīng)量化的系數(shù)進(jìn)行逆量化。

在步驟S224中，逆正交變換器214對在步驟S223中被逆量化的系數(shù)執(zhí)行逆正交變換。

在步驟S225中，幀內(nèi)預(yù)測單元221和幀間預(yù)測單元222執(zhí)行預(yù)測處理，并且生成預(yù)測圖像。就是說，在執(zhí)行編碼時應(yīng)用的在可逆解碼單元212中確定的預(yù)測模式下執(zhí)行預(yù)測處理。更具體地，例如，如果在執(zhí)行編碼時應(yīng)用幀內(nèi)預(yù)測，則幀內(nèi)預(yù)測單元221在執(zhí)行編碼時設(shè)定為最優(yōu)的幀內(nèi)預(yù)測模式下生成預(yù)測圖像。此外，例如，如果在執(zhí)行編碼時應(yīng)用幀間預(yù)測，則幀間預(yù)測單元222在執(zhí)行編碼時設(shè)定為最優(yōu)的幀間預(yù)測模式下生成預(yù)測圖像。

在步驟S226中，計算單元215使通過步驟S225中的逆正交變換獲得的差圖像與在步驟S226中生成的預(yù)測圖像相加。因此，獲得了重構(gòu)圖像的圖像數(shù)據(jù)。

在步驟S227中，環(huán)路濾波器216對在步驟S227的處理中獲得的重構(gòu)圖像的圖像數(shù)據(jù)適當(dāng)?shù)貓?zhí)行環(huán)路濾波處理，包括解塊濾波處理或自適應(yīng)環(huán)路濾波處理。

在步驟S228中，畫面重排緩沖器217重排被執(zhí)行步驟S227中的濾波處理的重構(gòu)圖像的各幀。就是說，在執(zhí)行編碼時被重排的幀的順序被重排為原始顯示順序。

在步驟S229中，D/A轉(zhuǎn)換單元218對幀順序在步驟S228中被重排的圖像執(zhí)行D/A轉(zhuǎn)換。圖像被輸出至顯示器(未示出)，并且顯示該圖像。

在步驟S230中，幀存儲器219存儲諸如在步驟S227的處理中獲得的解碼圖像或者在步驟S226的處理中獲得的重構(gòu)圖像的數(shù)據(jù)。

當(dāng)步驟S230的處理結(jié)束時，基層解碼處理結(jié)束，并且處理返回圖39。

<增強層解碼處理的流程>

與基層解碼處理相似，當(dāng)基于上文所述的解碼負(fù)荷定義信息根據(jù)是否可以解碼的確定結(jié)果確定可以解碼時，在圖39的步驟S206中執(zhí)行增強層解碼處理。將參照圖42的流程圖描述增強層解碼處理的示例性流程。

增強層解碼處理的各個處理(步驟S241至S250)對應(yīng)于圖41的基層解碼處理的各個處理(步驟S221至S230)，并且基本上以與這些處理相同的方式執(zhí)行。在基層上執(zhí)行基層解碼處理的各個處理(步驟S221至S230)的同時，在增強層上執(zhí)行增強層解碼處理的各個處理(步驟S241至S250)。

當(dāng)步驟S250的處理結(jié)束時，增強層解碼處理結(jié)束，并且處理返回圖39。

當(dāng)以這種方式執(zhí)行各個處理時，如果圖像解碼裝置200使用能夠被獨立解碼的部分區(qū)域的解碼負(fù)荷定義信息，則可以更準(zhǔn)確地識別解碼所需的性能。

本技術(shù)的應(yīng)用范圍包括針對能夠?qū)Σ糠謭D像編碼和解碼的所有圖像編碼裝置和圖像解碼裝置。

此外，本技術(shù)可以應(yīng)用于通過衛(wèi)星廣播、有線電視、互聯(lián)網(wǎng)或諸如移動電話的網(wǎng)絡(luò)介質(zhì)接收與例如MPEG或H.264相似的通過運動補償和諸如離散余弦變換的正交變換壓縮的圖像信息(位流)的圖像編碼裝置和圖像解碼裝置。此外，本技術(shù)可以應(yīng)用于在諸如光盤、磁盤和閃速存儲器的存儲介質(zhì)上執(zhí)行處理的圖像編碼裝置和圖像解碼裝置。

<4.第四實施例>

<對多視圖圖像編碼和多視圖圖像解碼的應(yīng)用>

上述系列處理可以應(yīng)用于多視圖圖像編碼和多視圖圖像解碼。圖43圖示了多視圖圖像編碼方案的示例。

如圖43中所示，多視圖圖像包括具有多個視圖的圖像。多視圖圖像的多個視圖包括僅使用其自身視圖的圖像而不使用其他視圖的信息執(zhí)行編碼/解碼的基視圖以及其中使用其他視圖的信息執(zhí)行編碼/解碼的非基視圖。在非基視圖的編碼/解碼中，可以使用基視圖的信息，并且可以使用其他非基視圖的信息。

就是說，多視圖圖像編碼和解碼中的視圖之間的參考關(guān)系與分層圖像編碼和解碼中的層之間的參考關(guān)系相似。因此，在圖43中的多視圖圖像的編碼和解碼中，可以應(yīng)用上述方法。通過這種方式，與多視圖圖像相似，可以更準(zhǔn)確地識別解碼所需的性能。

<多視圖圖像編碼設(shè)備>

圖44是圖示執(zhí)行上述多視圖圖像編碼的多視圖圖像編碼裝置的示圖。如圖44中所示，多視圖圖像編碼裝置600具有編碼單元601、編碼單元602和復(fù)用單元603。

編碼單元601對基視圖圖像編碼以生成基視圖圖像編碼流。編碼單元602對非基視圖圖像編碼以生成非基視圖圖像編碼流。復(fù)用單元603復(fù)用編碼單元601生成的基視圖圖像編碼流和編碼單元602生成的非基視圖圖像編碼流，以生成多視圖圖像編碼流。

基層圖像編碼單元101可被應(yīng)用為多視圖圖像編碼裝置600的編碼單元601，并且增強層圖像編碼單元102可被應(yīng)用為編碼單元602。通過這種方式，可以更準(zhǔn)確地識別解碼所需的性能。

<多視圖圖像解碼裝置>

圖45是圖示執(zhí)行上述多視圖圖像解碼的多視圖圖像解碼裝置的示圖。如圖45中所示，多視圖圖像解碼裝置610具有解復(fù)用單元611、解碼單元612和解碼單元613。

解復(fù)用單元611對通過復(fù)用基視圖圖像編碼流和非基視圖圖像編碼流而獲得的多視圖圖像編碼流進(jìn)行解復(fù)用，以提取基視圖圖像編碼流和非基視圖圖像編碼流。解碼單元612對解復(fù)用單元611提取的基視圖圖像編碼流進(jìn)行解碼以獲得基視圖圖像。解碼單元613對解復(fù)用單元611提取的非基視圖圖像編碼流進(jìn)行解碼以獲得非基視圖圖像。

基層圖像解碼單元202可被應(yīng)用為多視圖圖像解碼裝置610的解碼單元612，并且增強層圖像解碼單元203可被應(yīng)用為解碼單元613。通過這種方式，可以更準(zhǔn)確地識別解碼所需的性能。

<5.第五實施例>

<計算機>

上述系列處理可以通過硬件執(zhí)行并且還可以通過軟件執(zhí)行。當(dāng)要通過軟件執(zhí)行該系列處理時，軟件的程序被安裝到計算機中。這里，計算機包括嵌入到專用硬件中的計算機，以及例如能夠通過安裝各種程序來執(zhí)行各種功能的通用個人計算機。

圖46是圖示根據(jù)程序執(zhí)行上述系列處理的計算機的硬件配置示例的框圖。

在圖46中所示的計算機800中，中央處理單元(CPU)801、只讀存儲器(ROM)802和隨機存取存儲器(RAM)803經(jīng)由總線804相互連接。

總線804還連接到輸入和輸出接口810。輸入和輸出接口810連接到輸入單元811、輸出單元812、存儲單元513、通信單元514和驅(qū)動器815。

輸入單元811通過例如鍵盤、鼠標(biāo)、麥克風(fēng)、觸摸面板或者輸入終端形成。輸出單元812通過例如顯示器、揚聲器或者輸出終端形成。存儲單元813通過例如硬盤、RAM盤或非易失性存儲器形成。通信單元814通過例如網(wǎng)絡(luò)接口形成。驅(qū)動器815驅(qū)動諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器的可移動介質(zhì)821。

在具有上文所述配置的計算機中，例如，CPU 801通過經(jīng)由輸入和輸出接口810以及總線804將存儲單元813中存儲的程序加載到RAM 803并且執(zhí)行程序，來執(zhí)行上述處理。RAM 803還適當(dāng)?shù)卮鎯PU 801執(zhí)行各種處理所需的數(shù)據(jù)。

例如，計算機(CPU 801)執(zhí)行的程序可以記錄在諸如套裝介質(zhì)的要應(yīng)用的可移動介質(zhì)821中。此外，通過將可移動介質(zhì)821安裝在驅(qū)動器815上，可以經(jīng)由輸入和輸出接口810將程序安裝到存儲單元813中。

程序還可以通過諸如局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字廣播的有線或無線傳送介質(zhì)來提供。在該情況下，還可以通過通信單元814接收程序并且將其安裝在存儲單元813中。

此外，程序也可以預(yù)先安裝在ROM 802或存儲單元813中。

計算機執(zhí)行的程序可以是按照本說明書中描述的順序按時間進(jìn)行處理的程序，或者可以是例如并行地或者在被調(diào)用時的必要定時進(jìn)行處理的程序。

在本說明書中，描述記錄在記錄介質(zhì)上的程序的步驟不僅可以包括按照描述的順序按時間序列執(zhí)行的處理，而且可以包括并非按時間序列而是并行地或者單獨地執(zhí)行的處理。

在本說明書中，系統(tǒng)指的是多個構(gòu)成元件(裝置、模塊(部件)等)的集合，并且所有構(gòu)成元件可以包括在同一殼體中或者可以不包括在同一殼體中。因此，容納在分立殼體中并且經(jīng)由網(wǎng)絡(luò)連接的多個裝置和其中多個模塊容納在單個殼體中的單個裝置均是系統(tǒng)。

以上描述為單個裝置(或處理單元)的配置可以被劃分和配置為多個裝置(或處理單元)。相反，以上描述為多個裝置(或處理單元)的配置可以集中并且配置為單個裝置(或處理單元)。當(dāng)然，除了上述配置之外的配置可以被添加到各裝置(或處理單元)的配置。此外，只要在整體系統(tǒng)中配置或操作基本上相同，則特定裝置(或處理單元)的配置的一部分可以包括在其他裝置(或其他處理單元)的配置中。

上文參照附圖描述了本公開的優(yōu)選實施例，然而本公開顯然不限于以上示例。本領(lǐng)域技術(shù)人員在所附權(quán)利要求的范圍內(nèi)可以找到各種變更和修改，并且應(yīng)理解，它們在本質(zhì)上也落在本公開的技術(shù)范圍內(nèi)。

例如，在本技術(shù)中，可以實現(xiàn)云計算的配置，其中經(jīng)由網(wǎng)絡(luò)通過多個裝置聯(lián)合地共享和處理單個功能。

上述流程圖中描述的每個步驟可以由單個裝置執(zhí)行或者也可以通過多個裝置共享并執(zhí)行。

當(dāng)在單個步驟中包括多個處理時，該單個步驟中包括的多個處理可以由單個裝置執(zhí)行或者也可以通過多個裝置共享并執(zhí)行。

根據(jù)上述實施例的圖像編碼裝置和圖像解碼裝置可應(yīng)用于各種電子裝置，諸如衛(wèi)星廣播、諸如有線電視的有線廣播或者互聯(lián)網(wǎng)的遞送以及通過蜂窩通信針對終端的遞送中的傳送器和接收器，將圖像記錄在諸如光盤、磁盤或者閃速存儲器的介質(zhì)中的記錄裝置，或者從存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置。下文將描述四個應(yīng)用。

<6.第六實施例>

<第一應(yīng)用示例：電視接收器>

圖47是圖示被應(yīng)用上述實施例的電視裝置的示意性配置的示例的框圖。電視裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口(I/F)單元909、控制單元910、用戶接口(I/F)單元911以及總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號中提取期望頻道的信號，并且對所提取的信號進(jìn)行解調(diào)。調(diào)諧器902隨后將通過解調(diào)獲得的經(jīng)編碼的位流輸出至解復(fù)用器903。就是說，調(diào)諧器902用作電視裝置900中的被配置成接收編碼圖像的編碼流的傳送單元。

解復(fù)用器903從編碼位流解復(fù)用觀看對象節(jié)目的視頻流和音頻流，并且將解復(fù)用的各個流輸出至解碼器904。解復(fù)用器903還從編碼位流中提取諸如電子節(jié)目指南(EPG)的輔助數(shù)據(jù)，并且將所提取的數(shù)據(jù)提供給控制單元910。此外，當(dāng)編碼位流被加擾時，解復(fù)用器903可以執(zhí)行解擾。

解碼器904對從解復(fù)用器903輸入的視頻流和音頻流進(jìn)行解碼。解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號處理單元905。解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出至音頻信號處理單元907。

視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并且使視頻顯示在顯示單元906上。此外，視頻信號處理單元905可以使經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用畫面顯示在顯示單元906上。此外，視頻信號處理單元905可以根據(jù)設(shè)定對視頻數(shù)據(jù)執(zhí)行例如去噪的附加處理。此外，視頻信號處理單元905可以生成例如菜單、按鍵或光標(biāo)的圖形用戶接口(GUI)的圖像，并且將所生成的圖像疊加在輸出圖像上。

顯示單元906由從視頻信號處理單元905提供的驅(qū)動信號進(jìn)行驅(qū)動，并且將視頻或圖像顯示在顯示裝置(例如，液晶顯示器、等離子體顯示器或有機致電發(fā)光顯示器(OELD)(有機EL顯示器))的視頻平面上。

音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的再現(xiàn)處理，并且使音頻從揚聲器908輸出。此外，音頻信號處理單元907可以對音頻數(shù)據(jù)執(zhí)行諸如去噪的附加處理。

外部接口單元909是將電視裝置900與外部裝置或網(wǎng)絡(luò)連接的接口。例如，解碼器904可以對經(jīng)由外部接口單元909接收的視頻流或音頻流進(jìn)行解碼。就是說，在電視裝置900中，外部接口單元909用作接收編碼圖像的編碼流的傳送單元。

控制單元910包括諸如CPU的處理器和諸如隨機存取存儲器(RAM)和只讀存儲器(ROM)的存儲器。存儲器存儲CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)等。例如，在電視裝置900啟動時，CPU讀取并執(zhí)行存儲在存儲器中的程序。CPU通過執(zhí)行程序來根據(jù)例如從用戶接口單元911輸入的操作信號來控制電視裝置900的操作。

用戶接口單元911連接至控制單元910。用戶接口單元911包括例如用于用戶操作電視裝置900的按鍵和開關(guān)以及遙控信號的接收單元。用戶接口單元911檢測用戶經(jīng)由這種部件的操作，生成操作信號，并且將所生成的操作信號輸出至控制單元910。

總線912使調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口單元909以及控制單元910彼此連接。

在以該方式配置的電視裝置900中，解碼器904具有根據(jù)上述實施例的圖像解碼裝置200的功能。因此，在電視裝置900中可以更準(zhǔn)確地識別對圖像解碼所需的性能。

<第二應(yīng)用示例：移動電話>

圖48圖示了被應(yīng)用上述實施例的移動電話的示例性示意性配置。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風(fēng)925、相機單元926、圖像處理單元927、解復(fù)用單元928、記錄和再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932以及總線933。

天線921被連接至通信單元922。揚聲器924和麥克風(fēng)925被連接至音頻編解碼器923。操作單元932被連接至控制單元931?？偩€933使通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、解復(fù)用單元928、記錄和再現(xiàn)單元929、顯示單元930和控制單元931彼此連接。

移動電話920在諸如音頻呼叫模式、數(shù)據(jù)通信模式、拍攝模式以及視頻電話模式的各種操作模式中執(zhí)行諸如傳送和接收音頻信號，傳送和接收電子郵件或圖像數(shù)據(jù)，圖像捕獲以及記錄數(shù)據(jù)的操作。

在音頻呼叫模式中，通過麥克風(fēng)925生成的模擬音頻信號被提供給音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉(zhuǎn)換為音頻數(shù)據(jù)，并且對使經(jīng)轉(zhuǎn)換的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換和壓縮。隨后，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出至通信單元922。通信單元922對音頻數(shù)據(jù)進(jìn)行編碼和調(diào)制，并且生成傳送信號。因此，通信單元922將所生成的傳送信號經(jīng)由天線921傳送至基站(未示出)。此外，通信單元922對經(jīng)由天線921接收的無線信號進(jìn)行放大，對其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收信號。因此，通信單元922對接收信號進(jìn)行解調(diào)和解碼以生成音頻數(shù)據(jù)，并且將所生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923對音頻數(shù)據(jù)進(jìn)行擴展，對其執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號。因此，音頻編解碼器923將所生成的音頻信號提供給揚聲器924以輸出聲音。

此外，在數(shù)據(jù)通信模式中，例如，控制單元931根據(jù)用戶經(jīng)由操作單元932進(jìn)行的操作生成電子郵件的文本數(shù)據(jù)。此外，控制單元931使顯示單元930顯示文本。此外，控制單元931根據(jù)經(jīng)由操作單元932的用戶的傳送指令生成電子郵件數(shù)據(jù)，并且將所生成的電子郵件數(shù)據(jù)輸出至通信單元922。通信單元922對電子郵件數(shù)據(jù)進(jìn)行編碼和調(diào)制，并且生成傳送信號。因此，通信單元922將所生成的傳送信號經(jīng)由天線921傳送至基站(未示出)。此外，通信單元922對經(jīng)由天線921接收的無線信號進(jìn)行放大，對其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收信號。因此，通信單元922對接收信號進(jìn)行解調(diào)和解碼，恢復(fù)電子郵件數(shù)據(jù)，并且將恢復(fù)的電子郵件數(shù)據(jù)輸出至控制單元931?？刂茊卧?31使顯示單元930顯示電子郵件的內(nèi)容，將電子郵件數(shù)據(jù)提供給記錄和再現(xiàn)單元929，并且使數(shù)據(jù)寫入在存儲介質(zhì)中。

記錄和再現(xiàn)單元929包括任意的可讀和可寫存儲介質(zhì)。例如，存儲介質(zhì)可以是諸如RAM或閃速存儲器的內(nèi)建存儲介質(zhì)，或者是諸如硬盤、磁盤、磁光盤、光盤、通用串行總線(USB)存儲器和存儲卡的外部安裝類型的存儲介質(zhì)。

此外，在拍攝模式中，例如，相機單元926捕獲物體的圖像，生成圖像數(shù)據(jù)，并且將生成的圖像數(shù)據(jù)輸出至圖像處理單元927。圖像處理單元927對從相機單元926輸入的圖像數(shù)據(jù)進(jìn)行編碼，將編碼流提供給記錄和再現(xiàn)單元929，并且使流寫入在存儲介質(zhì)中。

此外，在圖像顯示模式中，記錄和再現(xiàn)單元929讀取存儲介質(zhì)中記錄的編碼流并且將讀取的流輸出到圖像處理單元927。圖像處理單元927對從記錄和再現(xiàn)單元929輸入的編碼流解碼，將圖像數(shù)據(jù)提供給顯示單元930并且使圖像被顯示。

此外，在電視電話模式中，例如，解復(fù)用單元928對圖像處理單元927編碼的視頻流以及從音頻編解碼器923輸入的音頻流進(jìn)行復(fù)用，并且將經(jīng)復(fù)用的流輸出至通信單元922。通信單元922對該流進(jìn)行編碼和調(diào)制，并且生成傳送信號。因此，通信單元922將所生成的傳送信號經(jīng)由天線921傳送至基站(未示出)。此外，通信單元922對經(jīng)由天線921接收到的無線信號進(jìn)行放大，對其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收信號。這些傳送信號和接收信號可以包括編碼位流。因此，通信單元922對接收信號進(jìn)行解調(diào)和解碼，恢復(fù)該流，并且將恢復(fù)的流輸出至解復(fù)用單元928。解復(fù)用單元928從輸入的流分離視頻流和音頻流，并且將視頻流輸出至圖像處理單元927并將音頻流輸出至音頻編解碼器923。圖像處理單元927對視頻流進(jìn)行解碼，并且生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，并且在顯示單元930上顯示圖像序列。音頻編解碼器923對音頻流進(jìn)行擴展，對其執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號。因此，音頻編解碼器923將所生成的音頻信號提供給揚聲器924，并且使音頻輸出。

在以該方式配置的移動電話920中，圖像處理單元927具有根據(jù)上述實施例的圖像編碼裝置100或圖像解碼裝置200的功能。因此，在移動電話920中可以更準(zhǔn)確地識別解碼所需的性能。

<第三應(yīng)用示例：記錄和再現(xiàn)裝置>

圖49圖示了被應(yīng)用上述實施例的記錄和再現(xiàn)裝置的示例性示意性配置。記錄和再現(xiàn)裝置940對例如接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并且將結(jié)果記錄在記錄介質(zhì)中。此外，記錄和再現(xiàn)裝置940可以對從例如另一裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并且將結(jié)果記錄在記錄介質(zhì)中。此外，例如，根據(jù)用戶的指令，記錄和再現(xiàn)裝置940通過監(jiān)視器和揚聲器再現(xiàn)記錄在記錄介質(zhì)中的數(shù)據(jù)。在該情況下，記錄和再現(xiàn)裝置940對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。

記錄和再現(xiàn)裝置940包括調(diào)諧器941、外部接口(I/F)單元942、編碼器943、硬盤驅(qū)動器(HDD)944、盤驅(qū)動器945、選擇器946、解碼器947、同屏顯示(OSD)948、控制單元949以及用戶接口(I/F)單元950。

調(diào)諧器941從經(jīng)由天線(未示出)接收到的廣播信號中提取期望頻道的信號，并對所提取的信號進(jìn)行解調(diào)。因此，調(diào)諧器941將通過解調(diào)獲得的編碼位流輸出至選擇器946。就是說，調(diào)諧器941用作記錄和再現(xiàn)裝置940中的傳送單元。

外部接口單元942是將記錄和再現(xiàn)裝置940與外部裝置或網(wǎng)絡(luò)連接的接口。例如，外部接口單元942可以是電氣與電子工程師學(xué)會(IEEE)1394接口、網(wǎng)絡(luò)接口、USB接口或者閃速存儲器接口。例如，經(jīng)由外部接口單元942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入至編碼器943。就是說，外部接口單元942用作記錄和再現(xiàn)裝置940中的傳送單元。

在從外部接口單元942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。因此，編碼器943將編碼位流輸出至選擇器946。

HDD 944將其中諸如視頻和聲音的內(nèi)容數(shù)據(jù)被壓縮的編碼位流、各種程序以及其他數(shù)據(jù)記錄在內(nèi)部硬盤中。當(dāng)再現(xiàn)視頻或聲音時，HDD 944還從硬盤讀取該數(shù)據(jù)。

盤驅(qū)動器945將數(shù)據(jù)記錄在所安裝的記錄介質(zhì)中并且在其中讀出數(shù)據(jù)。安裝在盤驅(qū)動器945中的記錄介質(zhì)可以是例如數(shù)字多用途盤(DVD)盤(諸如DVD-視頻(DVD-Video)、DVD-隨機存取存儲器(DVD-RAM)、DVD-可記錄(DVD-R)、DVD-可重寫(DVD-RW)、DVD+可記錄(DVD+R)和DVD+可重寫(DVD+RW))或者Blu-ray(注冊商標(biāo))盤。

當(dāng)記錄視頻和音頻時，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼位流，并且將所選擇的編碼位流輸出至HDD 944或盤驅(qū)動器945。此外，當(dāng)再現(xiàn)視頻和音頻時，選擇器946將從HDD 944或盤驅(qū)動器945輸入的編碼位流輸出至解碼器947。

解碼器947對編碼位流進(jìn)行解碼，并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。因此，解碼器904將所生成的視頻數(shù)據(jù)輸出至OSD 948。此外，解碼器904將所生成的音頻數(shù)據(jù)輸出至外部揚聲器。

OSD 948對從解碼器947輸入的視頻數(shù)據(jù)進(jìn)行再現(xiàn)，并且顯示視頻。此外，OSD 948可以將例如菜單、按鍵或光標(biāo)的GUI的圖像疊加在要顯示的視頻上。

控制單元949包括諸如CPU的處理器以及諸如RAM和ROM的存儲器。存儲器存儲CPU執(zhí)行的程序、程序數(shù)據(jù)等。例如，當(dāng)記錄和再現(xiàn)裝置940激活時，存儲在存儲器中的程序被CPU讀出并執(zhí)行。CPU通過執(zhí)行程序根據(jù)例如從用戶接口單元950輸入的操作信號來控制記錄和再現(xiàn)裝置940的操作。

用戶接口單元950連接至控制單元949。例如，用戶接口單元950包括用于用戶操作記錄和再現(xiàn)裝置940的按鍵和開關(guān)，以及遙控信號的接收單元。用戶接口單元950檢測用戶經(jīng)由這種部件進(jìn)行的操作，生成操作信號，并且將所生成的操作信號輸出至控制單元949。

在以該方式配置的記錄和再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實施例的圖像編碼裝置100的功能。此外，解碼器947具有根據(jù)上述實施例的圖像解碼裝置200的功能。因此，在記錄和再現(xiàn)裝置940中，可以更準(zhǔn)確地識別對圖像解碼所需的性能。

<第四應(yīng)用示例：成像裝置>

圖50圖示了被應(yīng)用上述實施例的成像裝置的示例性示意性配置。成像裝置960生成捕獲的物體的圖像，對圖像數(shù)據(jù)進(jìn)行編碼，并且將編碼數(shù)據(jù)記錄在記錄介質(zhì)中。

成像裝置960包括光學(xué)模塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口(I/F)單元966、存儲器單元967、介質(zhì)驅(qū)動器968、OSD 969、控制單元970、用戶接口(I/F)單元971以及總線972。

光學(xué)模塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示單元965連接至圖像處理單元964。用戶接口單元971連接至控制單元970?？偩€972使圖像處理單元964、外部接口單元966、存儲器單元967、介質(zhì)驅(qū)動器968、OSD 969以及控制單元970彼此連接。

光學(xué)模塊961包括聚焦透鏡和光圈機構(gòu)。光學(xué)模塊961在成像單元962的成像平面上形成物體的光學(xué)圖像。成像單元962包括諸如電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器，并且通過光電轉(zhuǎn)換將在成像平面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號的圖像信號。因此，成像單元962將圖像信號輸出至信號處理單元963。

信號處理單元963對從成像單元962輸入的圖像信號執(zhí)行各種相機信號處理，諸如拐點校正、伽馬校正以及顏色校正。信號處理單元963將相機信號處理之后的圖像數(shù)據(jù)輸出至圖像處理單元964。

圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進(jìn)行編碼，并且生成編碼數(shù)據(jù)。因此，圖像處理單元964將所生成的編碼數(shù)據(jù)輸出至外部接口單元966或介質(zhì)驅(qū)動器968。此外，圖像處理單元964對從外部接口單元966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)進(jìn)行解碼，并且生成圖像數(shù)據(jù)。因此，圖像處理單元964將所生成的圖像數(shù)據(jù)輸出至顯示單元965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出并且使圖像顯示在顯示單元965上。此外，圖像處理單元964可以將輸出至顯示單元965的圖像疊加在從OSD 969獲取的顯示數(shù)據(jù)上。

OSD 969生成例如菜單、按鍵或光標(biāo)的GUI的圖像并且將所生成的圖像輸出至圖像處理單元964。

外部接口單元966被配置為例如USB輸入和輸出端子。例如，當(dāng)打印圖像時，外部接口單元966將成像裝置960與打印機連接。此外，在必要時，驅(qū)動器連接至外部接口單元966。例如磁盤或光盤的可移動介質(zhì)安裝在驅(qū)動器中，并且從可移動介質(zhì)讀取的程序可以安裝在成像裝置960中。此外，外部接口單元966可以被配置成連接至諸如LAN或互聯(lián)網(wǎng)的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。就是說，外部接口單元966用作成像裝置960中的傳送單元。

安裝在介質(zhì)驅(qū)動器968中的記錄介質(zhì)可以是任何可讀和可寫的可移動介質(zhì)，例如磁盤、磁光盤、光盤或者半導(dǎo)體存儲器。此外，記錄介質(zhì)可以固定地安裝在介質(zhì)驅(qū)動器968中，并且可以配置例如內(nèi)建硬盤驅(qū)動器或固態(tài)驅(qū)動器(SSD)的非便攜式存儲單元。

控制單元970包括諸如CPU的處理器以及諸如RAM和ROM的存儲器。存儲器存儲CPU執(zhí)行的程序、程序數(shù)據(jù)等。例如，在成像裝置960激活時，CPU讀出并執(zhí)行存儲在存儲器中的程序。CPU通過執(zhí)行程序根據(jù)例如從用戶接口單元971輸入的操作信號來控制成像裝置960的操作。

用戶接口單元971與控制單元970連接。用戶接口單元971包括例如，用于用戶操作成像裝置960的按鍵和開關(guān)等。用戶接口單元971檢測用戶經(jīng)由這種部件進(jìn)行的操作，生成操作信號，并且將所生成的操作信號輸出至控制單元970。

在以該方式配置的成像裝置960中，圖像處理單元964具有根據(jù)上述實施例的圖像編碼裝置100和圖像解碼裝置200的功能。因此，在成像裝置960中，可以更準(zhǔn)確地識別解碼所需的性能。

<7.第七實施例>

<可分級編碼的應(yīng)用示例：第一系統(tǒng)>

接下來，將描述被執(zhí)行可分級編碼(分層(圖像)編碼)的可分級編碼數(shù)據(jù)的詳細(xì)使用示例。例如，如圖51中所例示的，可分級編碼用于選擇要傳送的數(shù)據(jù)。

在圖51中所示的數(shù)據(jù)傳送系統(tǒng)1000中，遞送服務(wù)器1002讀取可分級編碼數(shù)據(jù)存儲單元1001中存儲的可分級編碼數(shù)據(jù)，并且將該數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)1003遞送到諸如個人計算機1004、AV設(shè)備1005、平板裝置1006或移動電話1007的終端裝置。

在該情況下，遞送服務(wù)器1002根據(jù)終端裝置的能力、通信環(huán)境等選擇并傳送具有適當(dāng)質(zhì)量的編碼數(shù)據(jù)。即使在遞送服務(wù)器1002不必要地傳送高質(zhì)量數(shù)據(jù)時，不僅在終端裝置中可能不能獲得高圖像質(zhì)量的圖像，而且可能引起延遲或上溢。此外，存在不必要地占用通信頻帶，并且終端裝置上的負(fù)荷不必要地增加的問題。另一方面，即使在遞送服務(wù)器1002不必要地傳送了低質(zhì)量數(shù)據(jù)時，存在在終端裝置中不能獲得具有充分圖像質(zhì)量的圖像的問題。因此，遞送服務(wù)器1002根據(jù)終端裝置的能力、通信環(huán)境等適當(dāng)?shù)刈x取并傳送可分級編碼數(shù)據(jù)存儲單元1001中存儲的可分級編碼數(shù)據(jù)，作為具有適當(dāng)質(zhì)量的編碼數(shù)據(jù)。

例如，可分級編碼數(shù)據(jù)存儲單元1001存儲被執(zhí)行可分級編碼的可分級編碼數(shù)據(jù)(BL+EL)1011?？煞旨壘幋a數(shù)據(jù)(BL+EL)1011是包括基層和增強層兩者的編碼數(shù)據(jù)，并且是能夠通過執(zhí)行解碼從其獲得基層圖像和增強層圖像的數(shù)據(jù)。

遞送服務(wù)器1002根據(jù)配置成傳送數(shù)據(jù)的終端裝置的能力、通信環(huán)境等來選擇適當(dāng)?shù)膶?，并且讀取該層的數(shù)據(jù)。例如，對于具有高處理能力的個人計算機1004或平板裝置1006，遞送服務(wù)器1002從可分級編碼數(shù)據(jù)存儲單元1001讀取高質(zhì)量的可分級編碼數(shù)據(jù)(BL+EL)1011，并且不變地傳送該數(shù)據(jù)。另一方面，例如，對于具有低處理能力的AV設(shè)備1005或移動電話1007，遞送服務(wù)器1002從可分級編碼數(shù)據(jù)(BL+EL)1011中提取基層數(shù)據(jù)，并且傳送該數(shù)據(jù)作為可分級編碼數(shù)據(jù)(BL)1012，其是具有與可分級編碼數(shù)據(jù)(BL+EL)1011相同的內(nèi)容，但是具有比可分級編碼數(shù)據(jù)(BL+EL)1011低的質(zhì)量的數(shù)據(jù)。

當(dāng)使用這種可分級編碼數(shù)據(jù)時，由于可以容易地調(diào)整數(shù)據(jù)量，因此可以抑制延遲或上溢的發(fā)生，并且可以抑制終端裝置或通信介質(zhì)上的負(fù)荷的不必要的增加。此外，由于減少了層之間的冗余，因此較之每個層的編碼數(shù)據(jù)被設(shè)定為分立數(shù)據(jù)的情況，可以減少可分級編碼數(shù)據(jù)(BL+EL)1011中的數(shù)據(jù)量。因此，可以更高效地使用可分級編碼數(shù)據(jù)存儲單元1001的存儲區(qū)域。

再者，與個人計算機1004到移動電話1007相似，由于可以將各種裝置應(yīng)用于終端裝置，因此終端裝置的硬件性能根據(jù)裝置而不同。此外，由于存在由終端裝置執(zhí)行的各種應(yīng)用，因此其軟件能力不同。此外，作為用作通信介質(zhì)的網(wǎng)絡(luò)1003，可以應(yīng)用包括有線網(wǎng)絡(luò)通信和無線通信二者或者之一的任何通信通道網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)或局域網(wǎng)(LAN)，并且其數(shù)據(jù)傳送能力不同。此外，能力會根據(jù)其他通信等而變化。

因此，在開始數(shù)據(jù)傳送之前，遞送服務(wù)器1002可以執(zhí)行與用作數(shù)據(jù)傳送目標(biāo)的終端裝置的通信，并且獲得諸如終端裝置的硬件性能或者由終端裝置執(zhí)行的應(yīng)用(軟件)的性能的、關(guān)于終端裝置能力的信息，以及關(guān)于諸如網(wǎng)絡(luò)1003的可用帶寬的通信環(huán)境的信息。因此，遞送服務(wù)器1002可以基于這里獲得的信息選擇適當(dāng)?shù)膶印?/p>

再者，層的提取可以在終端裝置中執(zhí)行。例如，個人計算機1004可以對所傳送的可分級編碼數(shù)據(jù)(BL+EL)1011進(jìn)行解碼，顯示基層圖像或者顯示增強層圖像。此外，例如，在從所傳送的可分級編碼數(shù)據(jù)(BL+EL)1011中提取基層的可分級編碼數(shù)據(jù)(BL)1012之后，個人計算機1004可以存儲所提取的基層的可分級編碼數(shù)據(jù)(BL)1012，將其傳送到另一裝置，對其解碼，并且顯示基層圖像。

毋庸贅言，可分級編碼數(shù)據(jù)存儲單元1001、遞送服務(wù)器1002、網(wǎng)絡(luò)1003和終端裝置的數(shù)目是任意的。此外，盡管上文描述了遞送服務(wù)器1002將數(shù)據(jù)傳送到終端裝置的示例，但是使用示例不限于此。數(shù)據(jù)傳送系統(tǒng)1000可應(yīng)用于任何系統(tǒng)，只要在將可分級編碼的編碼數(shù)據(jù)傳送到終端裝置時，該系統(tǒng)根據(jù)終端裝置的能力、通信環(huán)境等選擇并傳送適當(dāng)?shù)膶蛹纯伞?/p>

因此，與上文參照圖1至42描述的對分層編碼和分層解碼的應(yīng)用相似，在將本技術(shù)應(yīng)用于圖51中的數(shù)據(jù)傳送系統(tǒng)1000時，可以獲得與參照圖1至42描述的效果相同的效果。

<可分級編碼的應(yīng)用示例：第二系統(tǒng)>

此外，可分級編碼用于例如如圖52中所例示的經(jīng)由多個通信介質(zhì)的傳送。

在圖52中所示的數(shù)據(jù)傳送系統(tǒng)1100中，廣播站1101通過地面廣播1111傳送基層的可分級編碼數(shù)據(jù)(BL)1121。此外，廣播站1101經(jīng)由有線通信網(wǎng)絡(luò)和無線通信網(wǎng)絡(luò)二者或者之一形成的任何網(wǎng)絡(luò)1112傳送增強層的可分級編碼數(shù)據(jù)(EL)1122(例如，數(shù)據(jù)被分組并傳送)。

終端裝置1102包括接收從廣播站1101廣播的地面廣播1111的功能，并且接收經(jīng)由地面廣播1111傳送的基層的可分級編碼數(shù)據(jù)(BL)1121。此外，終端裝置1102進(jìn)一步包括經(jīng)由網(wǎng)絡(luò)1112執(zhí)行通信的通信功能，并且接收經(jīng)由網(wǎng)絡(luò)1112傳送的增強層的可分級編碼數(shù)據(jù)(EL)1122。

例如根據(jù)用戶的指令，終端裝置1102對經(jīng)由地面廣播1111獲取的基層的可分級編碼數(shù)據(jù)(BL)1121進(jìn)行解碼，獲得并存儲基層圖像，并且將結(jié)果傳送到其他裝置。

此外，例如根據(jù)用戶的指令，終端裝置1102將經(jīng)由地面廣播1111獲取的基層的可分級編碼數(shù)據(jù)(BL)1121與經(jīng)由網(wǎng)絡(luò)1112獲取的增強層的可分級編碼數(shù)據(jù)(EL)1122合成，獲得可分級編碼數(shù)據(jù)(BL+EL)，對該數(shù)據(jù)解碼，獲得并存儲增強層圖像，并且將結(jié)果傳送到其他裝置。

如上文所述，例如，可分級編碼數(shù)據(jù)可以經(jīng)由對于每個層不同的通信介質(zhì)來傳送。因此，可以分散負(fù)荷，并且抑制延遲或上溢的發(fā)生。

此外，根據(jù)環(huán)境，可以針對每個層選擇用于傳送的通信介質(zhì)。例如，數(shù)據(jù)量相對大的基層的可分級編碼數(shù)據(jù)(BL)1121可以經(jīng)由具有寬帶寬的通信介質(zhì)傳送，并且數(shù)據(jù)量相對小的增強層可分級編碼數(shù)據(jù)(EL)1122可以經(jīng)由具有窄帶寬的通信介質(zhì)傳送。此外，例如，傳送增強層的可分級編碼數(shù)據(jù)(EL)1122的通信介質(zhì)可以根據(jù)網(wǎng)絡(luò)1112的可用帶寬切換到網(wǎng)絡(luò)1112或者地面廣播1111。當(dāng)然，這對于任何層的數(shù)據(jù)是相似的。

以這種方式進(jìn)行控制，可以進(jìn)一步抑制數(shù)據(jù)傳送的負(fù)荷增加。

當(dāng)然，層的數(shù)目是任意的，并且用于傳送的通信介質(zhì)的數(shù)目也是任意的。此外，用作數(shù)據(jù)遞送目標(biāo)的終端裝置1102的數(shù)目也是任意的。此外，盡管上文描述了從廣播站1101廣播的示例，但是使用示例不限于此。數(shù)據(jù)傳送系統(tǒng)1100可應(yīng)用于任何系統(tǒng)，只要該系統(tǒng)使用層作為單位將可分級編碼的編碼數(shù)據(jù)分成多條數(shù)據(jù)，并且經(jīng)由多條線路傳送該數(shù)據(jù)即可。

因此，與上文參照圖1至42描述的對分層編碼和分層解碼的應(yīng)用相似，在將本技術(shù)應(yīng)用于上述圖52中的數(shù)據(jù)傳送系統(tǒng)1100時，可以獲得與參照圖1至42描述的效果相同的效果。

<可分級編碼的應(yīng)用示例：第三系統(tǒng)>

此外，例如，如圖53中例示的，可分級編碼用于存儲編碼數(shù)據(jù)。

在圖53中所示的成像系統(tǒng)1200中，成像裝置1201對通過捕獲物體1211的圖像而獲得的圖像數(shù)據(jù)進(jìn)行可分級編碼，并且將結(jié)果作為可分級編碼數(shù)據(jù)(BL+EL)1221提供給可分級編碼數(shù)據(jù)存儲裝置1202。

可分級編碼數(shù)據(jù)存儲裝置1202根據(jù)環(huán)境按照質(zhì)量存儲從成像裝置1201提供的可分級編碼數(shù)據(jù)(BL+EL)1221。例如，在正常時間，可分級編碼數(shù)據(jù)存儲裝置1202從可分級編碼數(shù)據(jù)(BL+EL)1221提取基層數(shù)據(jù)，并且將其存儲為具有低質(zhì)量的小數(shù)據(jù)量的基層可分級編碼數(shù)據(jù)(BL)1222。另一方面，例如，在顯著時間，可分級編碼數(shù)據(jù)存儲裝置1202直接存儲具有高質(zhì)量的大數(shù)據(jù)量的可分級編碼數(shù)據(jù)(BL+EL)1221。

通過這種方式，由于可分級編碼數(shù)據(jù)存儲裝置1202可以僅在必要情況下保存高圖像質(zhì)量的圖像，因此可以抑制數(shù)據(jù)量的增加，并且可以抑制由于圖像質(zhì)量劣化引起的圖像值的減少，同時可以提高存儲區(qū)域的使用效率。

例如，成像裝置1201是監(jiān)控相機。當(dāng)在捕獲圖像中不存在監(jiān)控對象(例如，侵犯者)時(在正常時間)，由于捕獲圖像的內(nèi)容不太可能是重要的，因此優(yōu)先減少數(shù)據(jù)量，并且以低質(zhì)量存儲圖像數(shù)據(jù)(可分級編碼數(shù)據(jù))。另一方面，當(dāng)在捕獲圖像中呈現(xiàn)作為物體1211的監(jiān)控對象時(在顯著時間)，由于捕獲圖像的內(nèi)容很可能是重要的，因此圖像質(zhì)量優(yōu)先，并且以高質(zhì)量存儲圖像數(shù)據(jù)(可分級編碼數(shù)據(jù))。

再者，可分級編碼數(shù)據(jù)存儲裝置1202可以通過例如分析圖像來確定正常時間和顯著時間。替選地，成像裝置1201可以進(jìn)行確定并且將確定結(jié)果傳送到可分級編碼數(shù)據(jù)存儲裝置1202。

再者，用于確定正常時間和顯著時間的基準(zhǔn)是任意的，并且用作確定基準(zhǔn)的圖像的內(nèi)容是任意的。當(dāng)然，除了圖像的內(nèi)容以外的條件可以被設(shè)定為確定基準(zhǔn)。例如，可以根據(jù)所記錄的音頻的幅度、波形等切換確定基準(zhǔn)，按照預(yù)定的時間間隔切換確定基準(zhǔn)，或者根據(jù)諸如用戶的指令的來自外部的指令來切換確定基準(zhǔn)。

此外，盡管上文描述了切換正常時間和顯著時間這兩個狀態(tài)的示例，但是狀態(tài)的數(shù)目是任意的。例如，可以在三個或更多個狀態(tài)，諸如正常時間、略微顯著時間、顯著時間和強烈顯著時間中執(zhí)行切換。然而，所切換的狀態(tài)的最大數(shù)目取決于可分級編碼數(shù)據(jù)的層的數(shù)目。

此外，成像裝置1201可以根據(jù)狀態(tài)確定可分級編碼的層的數(shù)目。例如，在正常時間，成像裝置1201可以生成具有低質(zhì)量的小數(shù)據(jù)量的基層可分級編碼數(shù)據(jù)(BL)1222，并且將所生成的數(shù)據(jù)提供給可分級編碼數(shù)據(jù)存儲裝置1202。此外，例如，在顯著時間，成像裝置1201可以生成具有高質(zhì)量的大數(shù)據(jù)量的基層可分級編碼數(shù)據(jù)(BL+EL)1221，并且將所生成的數(shù)據(jù)提供給可分級編碼數(shù)據(jù)存儲裝置1202。

盡管上文例示監(jiān)控相機，但是成像系統(tǒng)1200的應(yīng)用是任意的并且不限于監(jiān)控相機。

因此，與上文參照圖1至42描述的對分層編碼和分層解碼的應(yīng)用相似，在將本技術(shù)應(yīng)用于圖53中的成像系統(tǒng)1200時，可以獲得與參照圖1至42描述的效果相同的效果。

再者，本技術(shù)可以應(yīng)用于例如諸如MPEG DASH的HTTP流式傳輸，籍其按片段單位從具有不同分辨率的之前準(zhǔn)備的多條編碼數(shù)據(jù)中選擇適當(dāng)?shù)臄?shù)據(jù)并且使用該數(shù)據(jù)。就是說，關(guān)于編碼或解碼的信息可以在多條編碼數(shù)據(jù)之間共享。

<8.第八實施例>

<其他示例>

盡管上文描述了被應(yīng)用本技術(shù)的裝置、系統(tǒng)等的示例，但是本技術(shù)不限于以上示例并且可以實現(xiàn)為安裝在裝置或構(gòu)成系統(tǒng)的裝置中的任何配置，例如具有系統(tǒng)大規(guī)模集成(LSI)的形式的處理器、使用多個處理器等的模塊、使用多個模塊的單元、向單元進(jìn)一步添加其他功能而獲得的設(shè)備(即裝置的部分配置)等。

<視頻設(shè)備>

將參照圖54描述其中本技術(shù)被實現(xiàn)為設(shè)備的示例。圖54圖示了被應(yīng)用本技術(shù)的視頻設(shè)備的示意性配置的示例。

近年來，電子設(shè)備的功能逐漸變得多功能化，當(dāng)在開發(fā)和制造階段中準(zhǔn)備每個設(shè)備的一些配置用于銷售、供應(yīng)等時，不僅存在該設(shè)備被配置成具有一個功能的情況，而且還存在具有相關(guān)功能的多個配置被組合并且實現(xiàn)為具有多個功能的一個設(shè)備的許多情況。

如上文所述，通過將具有圖像編碼和圖像解碼(可以具有這兩個功能二者或之一)的功能的裝置與具有與前述功能相關(guān)的其他功能的裝置組合，圖54中所示的視頻設(shè)備1300被配置成多功能化。

如圖54中所示，視頻設(shè)備1300具有包括視頻模塊1311、外部存儲器1312、功率管理模塊1313、前端模塊1314等的模塊組，以及具有諸如連接1321、相機1322、傳感器1323等的相關(guān)功能的裝置。

模塊是其中集成若干個相關(guān)部分功能以提供聚合功能的部件形式。具體物理配置是任意的；然而，其被視為其中例如均具有各個功能的多個處理、諸如電阻器和電容器的電子電路元件以及其他裝置布置在電路板上的集成。此外，還考慮通過將模塊與另一模塊、處理器等組合來實現(xiàn)新的模塊。

在圖54的示例中，視頻模塊1311是具有與圖像處理相關(guān)的功能的配置的組合，并且具有應(yīng)用處理器、視頻處理器、寬帶調(diào)制解調(diào)器1333和射頻(RF)模塊1334。

處理器是使用芯片上系統(tǒng)(SoC)與具有預(yù)定功能的配置集成的半導(dǎo)體芯片，并且還被稱為例如系統(tǒng)大規(guī)模集成(LSI)等。具有預(yù)定功能的配置可以是邏輯電路(硬件配置)，可以是CPU、ROM、RAM、使用這些元件執(zhí)行的程序(軟件配置)，或者可以是這兩種配置的組合。例如，處理器可以具有邏輯電路、CPU、ROM、RAM等，并且可以通過邏輯電路(硬件配置)實現(xiàn)一些功能，或者可以通過CPU執(zhí)行的程序(軟件配置)實現(xiàn)其他功能。

圖54的應(yīng)用處理器1331是執(zhí)行與圖像處理相關(guān)的應(yīng)用的處理器。應(yīng)用處理器1331執(zhí)行的應(yīng)用可以不僅執(zhí)行算術(shù)處理，而且還可以在需要時控制例如視頻處理器1332的視頻模塊1311內(nèi)部和外部的配置以便實現(xiàn)預(yù)定功能。

視頻處理器1332是具有與圖像編碼和/或圖像解碼相關(guān)的功能的處理器。

寬帶調(diào)制解調(diào)器1333是執(zhí)行與經(jīng)由諸如互聯(lián)網(wǎng)或公共電話線路網(wǎng)絡(luò)的寬帶線路執(zhí)行的有線和/或無線寬帶通信相關(guān)的處理的處理器(或調(diào)制解調(diào)器)。例如，寬帶調(diào)制解調(diào)器1333對要傳送的數(shù)據(jù)(數(shù)字信號)執(zhí)行數(shù)字調(diào)制并且將數(shù)據(jù)轉(zhuǎn)換成模擬信號，或者對接收到的模擬信號執(zhí)行解調(diào)并且將模擬信號轉(zhuǎn)換成數(shù)據(jù)(數(shù)字信號)。例如，寬帶調(diào)制解調(diào)器1333可以對諸如視頻處理器1332處理的圖像數(shù)據(jù)、包括編碼圖像數(shù)據(jù)的流、應(yīng)用程序或設(shè)定數(shù)據(jù)的任意信息執(zhí)行數(shù)字調(diào)制和解調(diào)。

RF模塊1334是對通過天線傳送和接收的RF信號執(zhí)行頻率變換處理、調(diào)制/解調(diào)處理、放大處理、濾波處理等的模塊。例如，RF模塊1334對寬帶調(diào)制解調(diào)器1333生成的基帶信號執(zhí)行例如頻率變換，并且生成RF信號。此外，例如，RF模塊1334對通過前端模塊1314接收到的RF信號執(zhí)行例如頻率變換，并且生成基帶信號。

此外，如圖54中的虛線1341所示，應(yīng)用處理器1331和視頻處理器1332可以集成到單個處理器。

外部存儲器1312是安裝在視頻模塊1311外部的模塊并且具有視頻模塊1311使用的存儲裝置。外部存儲器1312的存儲裝置可以通過任何物理配置實現(xiàn)，但是通常用于存儲大容量數(shù)據(jù)，諸如以幀為單位的圖像數(shù)據(jù)，并且因此期望使用諸如動態(tài)隨機存取存儲器(DRAM)的相對廉價的大容量半導(dǎo)體存儲器來實現(xiàn)外部存儲器1312的存儲裝置。

功率管理模塊1313管理和控制針對視頻模塊1311的電力供給(視頻模塊1311內(nèi)部的每個構(gòu)成元件)。

前端模塊1314是向RF模塊1334提供前端功能(用作天線側(cè)的傳送和接收端的電路)的模塊。如圖54中所示，前端模塊1314具有例如天線單元2351、濾波器1352和放大單元1353

天線單元1351配置有傳送和接收無線電信號的天線及其外圍。天線單元1351傳送作為無線電信號的從放大單元1353提供的信號，并且將接收到的無線電信號作為電信號(RF信號)提供給濾波器1352。濾波器1352對通過天線單元1351接收到的RF信號執(zhí)行濾波處理等，并且將經(jīng)處理的RF信號提供給RF模塊1334。放大單元1353對從RF模塊1334提供的RF信號進(jìn)行放大，并且將該信號提供給天線單元1351。

連接1321是具有與外部的連接相關(guān)的功能的模塊。連接1321的物理配置是任意的。例如，連接1321包括具有除了寬帶調(diào)制解調(diào)器1333對應(yīng)的通信標(biāo)準(zhǔn)、外部輸入和輸出端子等的通信功能以外的通信功能的配置。

例如，連接1321可以具有基于諸如Bluetooth(注冊商標(biāo))、IEEE802.11(例如，無線保真(Wi-Fi)(注冊商標(biāo)))、近場通信(NFC)或者紅外數(shù)據(jù)關(guān)聯(lián)(IrDA)的無線通信標(biāo)準(zhǔn)的通信功能，基于該標(biāo)準(zhǔn)傳送和接收信號的天線等。此外，例如，連接1321可以包括具有基于諸如通用串行總線(USB)或高清晰度多媒體接口(HDMI)(注冊商標(biāo))的有線通信標(biāo)準(zhǔn)的通信功能的模塊或者基于該標(biāo)準(zhǔn)的端子。此外，例如，連接1321可以具有模擬輸入和輸出端子等的其他數(shù)據(jù)(信號)傳送功能。

注意，連接1321可以被設(shè)定為包括用作數(shù)據(jù)(信號)的傳送目標(biāo)的裝置。例如，連接1321可以被設(shè)定為具有驅(qū)動器(不僅包括可移動介質(zhì)的驅(qū)動器，而且包括硬盤、固態(tài)驅(qū)動器(SSD)、網(wǎng)絡(luò)附接存儲(NAS)等的驅(qū)動器)，其針對諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器的記錄介質(zhì)讀取和寫入數(shù)據(jù)。此外，連接1321可以被設(shè)定為具有圖像或音頻輸出裝置(監(jiān)視器、揚聲器等)。

相機1322是具有拍攝物體并且獲得物體的圖像數(shù)據(jù)的功能的模塊。例如，通過相機1322拍攝獲得的圖像數(shù)據(jù)被提供給視頻處理器1332并且被其編碼。

傳感器1323是具有任意傳感器功能的模塊，例如聲音傳感器、超聲傳感器、光傳感器、亮度傳感器、紅外傳感器、圖像傳感器、旋轉(zhuǎn)傳感器、角度傳感器、角速度傳感器、速度傳感器、加速度傳感器、傾斜傳感器、磁識別傳感器、振動傳感器、溫度傳感器等。例如，傳感器1323檢測到的數(shù)據(jù)被提供給應(yīng)用處理器1331并且由應(yīng)用等處理。

以上描述為模塊的配置可以被實現(xiàn)為處理器，或者相反，描述為處理器的配置可以被實現(xiàn)為模塊。

在具有以上配置的視頻設(shè)備1300中，本技術(shù)可以應(yīng)用于后面將描述的視頻處理器1332。因此，視頻設(shè)備1300可以被實現(xiàn)為被應(yīng)用本技術(shù)的設(shè)備。

<視頻處理器的示例性配置>

圖55圖示了被應(yīng)用本技術(shù)的視頻處理器1332(圖54)的示意性配置的示例。

在圖55的示例中，視頻處理器1332具有接收視頻信號和音頻信號的輸入并且使用預(yù)定方案對輸入編碼的功能，以及對編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)解碼并且再現(xiàn)和輸出視頻信號和音頻信號的功能。

如圖55中所示，視頻處理器1332具有視頻輸入處理單元1401、第一圖像放大和縮小單元1402、第二圖像放大和縮小單元1403、視頻輸出處理單元1404、幀存儲器1405和存儲器控制單元1406。此外，視頻處理器1332具有編碼/解碼引擎1407、視頻元素流(ES)緩沖器1408A和1408B以及音頻ES緩沖器1409A和1409B。此外，視頻處理器1332具有音頻編碼器1410、音頻解碼器1411、復(fù)用器(MUX)1412、解復(fù)用器(DMUX)1413和流緩沖器1414。

視頻輸入處理單元1401獲取從例如連接1321(圖54)輸入的視頻信號，并且將視頻信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。第一圖像放大和縮小單元1402對圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、圖像放大或縮小處理等。第二圖像放大和縮小單元1403根據(jù)通過視頻輸出處理單元1404輸出數(shù)據(jù)的目標(biāo)格式對圖像數(shù)據(jù)執(zhí)行圖像放大或縮小處理，或者通過與第一圖像放大和縮小單元1402相同的方式執(zhí)行格式轉(zhuǎn)換、圖像放大或縮小處理等。視頻輸出處理單元1404對圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、轉(zhuǎn)換成模擬信號等，并且將數(shù)據(jù)作為再現(xiàn)視頻信號輸出到例如連接1321。

幀存儲器1405是由視頻輸入處理單元1401、第一圖像放大和縮小單元1402、第二圖像放大和縮小單元1403、視頻輸出處理單元1404和編碼/解碼引擎1407共享的圖像數(shù)據(jù)存儲器。幀存儲器1405被實現(xiàn)為例如DRAM等的半導(dǎo)體存儲器。

存儲器控制單元1406從編碼/解碼引擎1407接收同步信號，并且根據(jù)寫入在訪問管理表格1406A中的關(guān)于幀存儲器1405的訪問進(jìn)度表來控制對幀存儲器1405的寫入和讀取訪問。訪問管理表格1406A根據(jù)編碼/解碼引擎1407、第一圖像放大和縮小單元1402、第二圖像放大和縮小單元1403等執(zhí)行的處理通過存儲器控制單元1406進(jìn)行更新。

編碼/解碼引擎1407執(zhí)行圖像數(shù)據(jù)的編碼處理以及作為通過對圖像數(shù)據(jù)編碼獲得的數(shù)據(jù)的視頻流的解碼處理。例如，編碼/解碼引擎1407對從幀存儲器1405讀取的圖像數(shù)據(jù)編碼，并且將該數(shù)據(jù)作為視頻流依次寫入視頻ES緩沖器1408A。此外，例如，編碼/解碼引擎1407從視頻ES緩沖器1408B依次讀取視頻流，并且依次將該數(shù)據(jù)作為圖像數(shù)據(jù)寫入幀存儲器1405。對于這種編碼和解碼，編碼/解碼引擎1407使用幀存儲器1405作為工作區(qū)域。此外，例如在對每個宏塊的處理開始的定時，編碼/解碼引擎1407將同步信號輸出到存儲器控制單元1406。

視頻ES緩沖器1408A緩沖編碼/解碼引擎1407生成的視頻流，并且將該流提供給復(fù)用器(MUX)1412。視頻ES緩沖器1408B緩沖從解復(fù)用器(DMUX)1413提供的視頻流，并且將該流提供給編碼/解碼引擎1407。

音頻ES緩沖器1409A緩沖音頻編碼器1410生成的音頻流，并且將該流提供給復(fù)用器(MUX)1412。音頻ES緩沖器1409B緩沖從解復(fù)用器(DMUX)1413提供的音頻流，并且將該流提供給音頻解碼器1411。

例如，音頻編碼器1410對從例如連接1321等輸入的音頻信號進(jìn)行數(shù)字轉(zhuǎn)換，并且按照例如MPEG音頻方案、AudioCode編號3(AC3)方案等的預(yù)定方案對該信號編碼。音頻編碼器1410依次將作為通過對音頻信號編碼獲得的數(shù)據(jù)的音頻流寫入音頻ES緩沖器1409A。音頻解碼器1411對從音頻ES緩沖器1409A提供的音頻流解碼，執(zhí)行例如對模擬信號的轉(zhuǎn)換，并且將該信號作為再現(xiàn)的音頻信號提供給例如連接1321等。

復(fù)用器(MUX)1412復(fù)用視頻流和音頻流。該復(fù)用的方法(即，通過復(fù)用生成的位流的格式)是任意的。此外，在復(fù)用期間，復(fù)用器(MUX)1412還可以將預(yù)定報頭信息等添加到位流。換言之，復(fù)用器(MUX)1412可以通過復(fù)用對流格式進(jìn)行轉(zhuǎn)換。例如，復(fù)用器(MUX)1412對視頻流和音頻流進(jìn)行復(fù)用以使其轉(zhuǎn)換成作為具有輸送格式的位流的輸送流。此外，例如，復(fù)用器(MUX)1412對視頻流和音頻流進(jìn)行復(fù)用以使其轉(zhuǎn)換成具有用于記錄的文件格式的數(shù)據(jù)(文件數(shù)據(jù))。

解復(fù)用器(DMUX)1413使用與復(fù)用器(MUX)1412執(zhí)行的復(fù)用對應(yīng)的方法對通過對視頻流和音頻流進(jìn)行復(fù)用而獲得的位流解復(fù)用。換言之，解復(fù)用器(DMUX)1413從讀取自流緩沖器1414的位流中提取視頻流和音頻流(分離視頻流和音頻流)。解復(fù)用器(DMUX)1413可以通過解復(fù)用執(zhí)行流格式的轉(zhuǎn)換(復(fù)用器(MUX)1412執(zhí)行的轉(zhuǎn)換的逆轉(zhuǎn)換)。例如，解復(fù)用器(DMUX)1413可以通過流緩沖器1414獲取從例如連接1321、寬帶調(diào)制解調(diào)器1333等提供的輸送流，并且通過解復(fù)用將輸送流轉(zhuǎn)換成視頻流和音頻流。此外，例如，解復(fù)用器(DMUX)1413可以通過流緩沖器1414獲取通過例如連接1321從各種記錄介質(zhì)讀取的文件數(shù)據(jù)，并且通過解復(fù)用將文件數(shù)據(jù)轉(zhuǎn)換成視頻流和音頻流。

流緩沖器1414對位流進(jìn)行緩沖。例如，流緩沖器1414緩沖從復(fù)用器(MUX)1412提供的輸送流，并且在預(yù)定定時或者基于外部請求等將該流提供給例如連接1321、寬帶調(diào)制解調(diào)器1333等。

此外，例如，流緩沖器1414緩沖從復(fù)用器(MUX)1412提供的文件數(shù)據(jù)，并且在預(yù)定定時或者基于外部請求等將文件數(shù)據(jù)提供給例如連接1321等，以使文件數(shù)據(jù)被記錄在各種記錄介質(zhì)中的任何記錄介質(zhì)中。

此外，流緩沖器1414緩沖通過例如連接1321或?qū)拵д{(diào)制解調(diào)器1333等獲取的輸送流，并且在預(yù)定定時或者基于外部請求等將輸送流提供給解復(fù)用器(DMUX)1413。

此外，流緩沖器1414緩沖通過例如連接1321等中從各種記錄介質(zhì)中的任何記錄介質(zhì)讀取的文件數(shù)據(jù)，并且在預(yù)定定時或者基于外部請求等將文件數(shù)據(jù)提供給解復(fù)用器(DMUX)1413。

接下來，將描述具有該配置的視頻處理器1332的操作的示例。例如，從連接1321等輸入到視頻處理器1332的視頻信號在視頻輸入處理單元1401中根據(jù)諸如4:2:2Y/Cb/Cr格式的預(yù)定格式被轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并且被依次寫入在幀存儲器1405中。該數(shù)字圖像數(shù)據(jù)被第一圖像放大和縮小單元1402或第二圖像放大和縮小單元1403讀取，經(jīng)歷諸如4:2:0Y/Cb/Cr格式的預(yù)定格式的格式轉(zhuǎn)換處理以及放大或縮小處理，并且隨后被再次寫入幀存儲器1405。該圖像數(shù)據(jù)被編碼/解碼引擎1407編碼，并且作為視頻流被寫入視頻ES緩沖器1408A。

此外，從連接1321輸入到視頻處理器1332的音頻信號被音頻編碼器1410編碼，并且作為音頻流被寫入音頻ES緩沖器1409A。

視頻ES緩沖器1408A的視頻流和音頻ES緩沖器1409A的音頻流被復(fù)用器(MUX)1412讀取并且被復(fù)用，以被轉(zhuǎn)換成輸送流、文件數(shù)據(jù)等。復(fù)用器(MUX)1412生成的輸送流在流緩沖器1414中緩沖，并且隨后通過例如連接1321、寬帶調(diào)制解調(diào)器1333等輸出到外部網(wǎng)絡(luò)。此外，復(fù)用器(MUX)1412生成的文件數(shù)據(jù)在流緩沖器1414中緩沖，并且輸出到例如連接1321(圖29)以記錄在各種記錄介質(zhì)中的任何記錄介質(zhì)中。

此外，通過例如連接1321、寬帶調(diào)制解調(diào)器1333等從外部網(wǎng)絡(luò)輸入到視頻處理器1332的輸送流在流緩沖器1414中緩沖，并且隨后被解復(fù)用器(DMUX)1413解復(fù)用。此外，例如通過連接1321從各種記錄介質(zhì)中的任何記錄介質(zhì)讀取并且輸入到視頻處理器1332的文件數(shù)據(jù)在流緩沖器1414中緩沖，并且隨后被解復(fù)用器(DMUX)1413解復(fù)用。換言之，輸入到視頻處理器1332的輸送流或文件數(shù)據(jù)通過解復(fù)用器(DMUX)1413被解復(fù)用為視頻流和音頻流。

音頻流通過音頻ES緩沖器1409B被提供給音頻解碼器1411以被解碼，并且音頻信號被再現(xiàn)。此外，視頻流被寫入視頻ES緩沖器1408B，隨后被編碼/解碼引擎1407依次讀取以被解碼，并且寫入在幀存儲器1405中。解碼的圖像數(shù)據(jù)經(jīng)歷第二圖像放大和縮小單元1403執(zhí)行的放大和縮小處理，并且被寫入幀存儲器1405。隨后，解碼的圖像數(shù)據(jù)被視頻輸出處理單元1404讀取，經(jīng)歷諸如4:2:2Y/Cb/Cr格式的預(yù)定格式的格式轉(zhuǎn)換，并且被進(jìn)一步轉(zhuǎn)換成模擬信號，并且視頻信號被再現(xiàn)以被輸出。

當(dāng)本技術(shù)應(yīng)用于以該方式配置的視頻處理器1332時，可以將根據(jù)每個上述實施例的本技術(shù)應(yīng)用于編碼/解碼引擎1407。就是說，例如，編碼/解碼引擎1407可以具有根據(jù)上述實施例的圖像編碼裝置100和圖像解碼裝置的功能。通過這種方式，視頻處理器1332可以獲得與上文參照圖1至42描述的效果相同的效果。

此外，在編碼/解碼引擎1407中，本技術(shù)(即，根據(jù)每個上述實施例的圖像編碼裝置和圖像解碼裝置的功能)可以通過諸如邏輯電路的硬件和諸如嵌入程序的軟件中的任一者或二者實現(xiàn)。

<視頻處理器的配置的其他示例>

圖56圖示了被應(yīng)用本技術(shù)的視頻處理器1332的示意性配置的另一示例。在圖56的示例的情況下，視頻處理器1332具有根據(jù)預(yù)定方案對視頻數(shù)據(jù)編碼和解碼的功能。

更具體地，如圖56中所示，視頻處理器1332包括控制單元1511、顯示接口1512、顯示引擎1513、圖像處理引擎1514和內(nèi)部存儲器1515。視頻處理器1332包括編解碼器引擎1516、存儲器接口1517、復(fù)用和解復(fù)用單元(MUX/DMUX)1518、網(wǎng)絡(luò)接口1519和視頻接口1520。

控制單元1511控制視頻處理器1332中的諸如顯示接口1512、顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516的每個處理單元的操作。

如圖56中所示，控制單元1511包括主CPU 1531、子CPU 1532和系統(tǒng)控制器1533。主CPU 1531執(zhí)行用于控制視頻處理器1332中的每個處理單元的操作的程序等。主CPU 1531根據(jù)程序等生成控制信號，并且將控制信號提供給每個處理單元(就是說，控制每個處理單元的操作)。子CPU 1532用作主CPU 1531的補充角色。例如，子CPU 1532執(zhí)行主CPU 1531執(zhí)行的程序的子處理或子例程等。系統(tǒng)控制器1533控制主CPU 1531和子CPU 1532的操作，例如，指定由主CPU 1531和子CPU 1532執(zhí)行的程序。

顯示接口1512在控制單元1511的控制下將圖像數(shù)據(jù)輸出到例如連接1321。例如，顯示接口1512將數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號，并且將作為再現(xiàn)視頻信號的圖像數(shù)據(jù)或者數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)輸出到連接1321的監(jiān)視裝置等。

顯示引擎1513在控制單元1511的控制下對圖像數(shù)據(jù)執(zhí)行諸如格式轉(zhuǎn)換、尺寸轉(zhuǎn)換和色域轉(zhuǎn)換的各種轉(zhuǎn)換處理以匹配顯示圖像的監(jiān)視裝置的硬件規(guī)格等。

圖像處理引擎1514在控制單元1511的控制下對圖像數(shù)據(jù)執(zhí)行諸如濾波處理的預(yù)定圖像處理以例如用提高圖像質(zhì)量。

內(nèi)部存儲器1515是被顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516共享的存儲器并且設(shè)置在視頻處理器1332內(nèi)部。例如，內(nèi)部存儲器1515用于在顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516之間傳送和接收數(shù)據(jù)。例如，內(nèi)部存儲器1515存儲從顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)，并且按照需要(例如，根據(jù)請求)將數(shù)據(jù)提供給顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516。內(nèi)部存儲器1515可以由任何存儲裝置實現(xiàn)，但是在許多情況下內(nèi)部存儲器1515通常用于諸如以塊為單位的圖像數(shù)據(jù)或參數(shù)的小容量數(shù)據(jù)的存儲。因此，優(yōu)選地通過例如，諸如靜態(tài)隨機存取存儲器(SRAM)的半導(dǎo)體存儲器實現(xiàn)內(nèi)部存儲器1515，半導(dǎo)體存儲器容量相對小(例如，較之外部存儲器1312)并且響應(yīng)速度快。

編解碼器引擎1516執(zhí)行與圖像數(shù)據(jù)的編碼或解碼相關(guān)的處理?？梢允褂镁幗獯a器引擎1516對應(yīng)的任何編碼和解碼方案，并且方案的數(shù)目可以是單個或多個。例如，編解碼器引擎1516可以包括多個編碼和解碼方案的編解碼器功能，并且可以使用從中選擇的編解碼器功能對圖像數(shù)據(jù)編碼并且對編碼數(shù)據(jù)解碼。

在圖56中所示的示例中，作為與編解碼器相關(guān)的處理的功能塊，編解碼器引擎1516包括例如MPEG-2視頻1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可分級)1544、HEVC/H.265(多視圖)1545并且包括MPEG-DASH 1551。

MPEG-2視頻1541是根據(jù)MPEG-2方案對圖像數(shù)據(jù)編碼或解碼的功能塊。AVC/H.2641542是根據(jù)AVC方案對圖像數(shù)據(jù)編碼或解碼的功能塊。HEVC/H.2651543是根據(jù)HEVC方案對圖像數(shù)據(jù)編碼或解碼的功能塊。HEVC/H.265(可分級)1544是根據(jù)HEVC方案對圖像數(shù)據(jù)執(zhí)行可分級編碼或可分級解碼的功能塊。HEVC/H.265(多視圖)1545是根據(jù)HEVC方案對圖像數(shù)據(jù)執(zhí)行多視圖編碼或多視圖解碼的功能塊。

MPEG-DASH 1551是使用通過HTTP的MPEG動態(tài)自適應(yīng)流式傳輸(MPEG-DASH)來傳送和接收圖像數(shù)據(jù)的功能塊。MPEG-DASH是使用超文本傳輸協(xié)議(HTTP)流式傳輸視頻的技術(shù)，并且具有以片段為單位從先前準(zhǔn)備的分辨率不同的多條編碼數(shù)據(jù)中選擇適當(dāng)?shù)臄?shù)據(jù)并且傳送該數(shù)據(jù)的特性。MPEG-DASH 1551生成符合標(biāo)準(zhǔn)的流，控制流的傳送等，并且使用上文所述的用于對圖像數(shù)據(jù)編碼和解碼的MPEG-2視頻1541至HEVC/H.265(多視圖)1545。

存儲器接口1517是用于外部存儲器1312的接口。從圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)通過存儲器接口1517被提供給外部存儲器1312。此外，從外部存儲器1312讀取的數(shù)據(jù)通過存儲器接口1517被提供給視頻處理器1332(圖像處理引擎1514或編解碼器引擎1516)。

復(fù)用和解復(fù)用單元(MUX/DMUX)1518對諸如圖像數(shù)據(jù)、視頻信號和編碼數(shù)據(jù)的位流的與圖像相關(guān)的各種類型的數(shù)據(jù)進(jìn)行復(fù)用或解復(fù)用?？梢允褂萌魏螐?fù)用和解復(fù)用方法。例如，在復(fù)用時，復(fù)用和解復(fù)用單元(MUX/DMUX)1518可以將多條數(shù)據(jù)組合成一條數(shù)據(jù)，還可以將預(yù)定的報頭信息等添加到數(shù)據(jù)。在解復(fù)用時，復(fù)用和解復(fù)用單元(MUX/DMUX)1518將一條數(shù)據(jù)分成多條數(shù)據(jù)，還可以將預(yù)定的報頭信息添加到劃分的每條數(shù)據(jù)。就是說，復(fù)用和解復(fù)用單元(MUX/DMUX)1518可以通過復(fù)用和解復(fù)用轉(zhuǎn)換數(shù)據(jù)格式。例如，復(fù)用和解復(fù)用單元(MUX/DMUX)1518可以通過對位流進(jìn)行復(fù)用來將數(shù)據(jù)轉(zhuǎn)換成作為具有傳輸格式的位流的輸送流或者具有用于記錄的文件格式的數(shù)據(jù)(文件數(shù)據(jù))。當(dāng)然，還可以通過解復(fù)用執(zhí)行逆轉(zhuǎn)換。

網(wǎng)絡(luò)接口1519是例如用于寬帶調(diào)制解調(diào)器1333、連接1321等的接口。視頻接口1520是例如用于連接1321、相機1322等的接口。

接下來，將描述視頻處理器1332的操作的示例。例如，當(dāng)通過連接1321、寬帶調(diào)制解調(diào)器1333等從外部網(wǎng)絡(luò)接收輸送流時，輸送流通過網(wǎng)絡(luò)接口1519被提供給復(fù)用和解復(fù)用單元(MUX/DMUX)1518以被解復(fù)用，并且隨后由編解碼器引擎1516解碼。例如，通過編解碼器引擎1516的解碼獲得的圖像數(shù)據(jù)經(jīng)歷由例如圖像處理引擎1514執(zhí)行的預(yù)定圖像處理，經(jīng)歷由顯示引擎1513執(zhí)行的預(yù)定轉(zhuǎn)換，并且通過顯示接口1512提供給例如連接1321，并且隨后將圖像顯示在監(jiān)視器上。例如，通過編解碼器引擎1516的解碼獲得的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被復(fù)用和解復(fù)用單元(MUX/DMUX)1518復(fù)用以被轉(zhuǎn)換成文件數(shù)據(jù)，并且通過視頻接口1520輸出到例如連接1321，并且被記錄在各種記錄介質(zhì)中。

此外，例如，經(jīng)由連接1321等從記錄介質(zhì)(未示出)讀取并且通過對圖像數(shù)據(jù)編碼獲得的編碼數(shù)據(jù)的文件數(shù)據(jù)通過視頻接口1520被提供給復(fù)用和解復(fù)用單元(MUX/DMUX)1518以被解復(fù)用，并且隨后由編解碼器引擎1516解碼。通過編解碼器引擎1516的解碼獲得的圖像數(shù)據(jù)經(jīng)歷圖像處理引擎1514執(zhí)行的預(yù)定圖像處理，經(jīng)歷顯示引擎1513執(zhí)行的預(yù)定轉(zhuǎn)換，并且通過顯示接口1512被提供給例如連接1321，并且隨后將圖像顯示在監(jiān)視器上。例如，通過編解碼器引擎1516的解碼獲得的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被復(fù)用和解復(fù)用單元(MUX/DMUX)1518復(fù)用以被轉(zhuǎn)換成輸送流，通過網(wǎng)絡(luò)接口1519被提供給例如連接1321或?qū)拵д{(diào)制解調(diào)器1333，并且被傳送到另一裝置(未示出)。

例如使用內(nèi)部存儲器1515或外部存儲器1516執(zhí)行視頻處理器1332中的處理單元之間的圖像數(shù)據(jù)或其他數(shù)據(jù)的傳送和接收。功率管理模塊1313控制例如對控制單元1511的電力供給。

當(dāng)本技術(shù)應(yīng)用于以該方式配置的視頻處理器1332時，可以將根據(jù)每個上述實施例的本技術(shù)應(yīng)用于編解碼器引擎1516。就是說，例如，編解碼器引擎1516可以具有實現(xiàn)根據(jù)上述實施例的圖像編碼裝置100和圖像解碼裝置的功能塊。通過這種方式，視頻處理器1332可以獲得與上文參照圖1至42描述的效果相同的效果。

此外，在編解碼器引擎1516中，本技術(shù)(即，根據(jù)每個上述實施例的圖像編碼裝置或圖像解碼裝置的功能)可以通過諸如邏輯電路的硬件和諸如嵌入程序的軟件中的任一者或二者實現(xiàn)。

已例示了視頻處理器1332的兩個配置，但是視頻處理器1332的配置是任意的并且可以是除了上述兩個配置之外的配置。視頻處理器1332可以配置為單個半導(dǎo)體芯片或者可以配置為多個半導(dǎo)體芯片。例如，可以使用其中堆疊多個半導(dǎo)體的三維層疊LSI。視頻處理器1332可以由多個LSI實現(xiàn)。

<對裝置的應(yīng)用示例>

視頻設(shè)備1300可以嵌入到處理圖像數(shù)據(jù)的各種裝置中。例如，視頻設(shè)備1300可以嵌入到電視裝置900(圖47)、移動電話920(圖48)、再現(xiàn)和記錄裝置940(圖49)、成像裝置960(圖50)等中。通過嵌入視頻設(shè)備1300，這些裝置可以獲得與上文參照圖1至42描述的優(yōu)點相同的優(yōu)點。

此外，視頻設(shè)備1300還可以嵌入到例如，諸如圖51的數(shù)據(jù)傳送系統(tǒng)1000中的個人計算機1004、AV設(shè)備1005、平板裝置1006和移動電話1007，圖52的數(shù)據(jù)傳送系統(tǒng)1100中的廣播站1101或終端裝置1102，以及圖53的成像系統(tǒng)1200中的成像裝置1201或可分級編碼數(shù)據(jù)存儲裝置1202的終端裝置中。當(dāng)嵌入視頻設(shè)備1300時，這些裝置可以獲得與上文參照圖1至42描述的效果相同的效果。

上述視頻設(shè)備1300的每個配置的一部分也可以實現(xiàn)為被應(yīng)用本技術(shù)的配置，只要配置的該部分包括視頻處理器1332即可。例如，僅視頻處理器1332可被實現(xiàn)為被應(yīng)用本技術(shù)的視頻處理器。此外，如上文所述，由虛線1341指示的視頻模塊1331或處理器可以被實現(xiàn)為被應(yīng)用本技術(shù)的處理器、模塊等。此外，例如，視頻模塊1311、外部存儲器1312、功率管理模塊1313和前端模塊1314可以組合以被實現(xiàn)為被應(yīng)用本技術(shù)的視頻單元1361。不論采用什么配置，可以獲得與上文參照圖1至42描述的優(yōu)點相同的優(yōu)點。

就是說，如視頻設(shè)備1300的情況中的那樣，任何配置可以嵌入到處理圖像數(shù)據(jù)的各種裝置中，只要該配置包括視頻處理器1332即可。例如，視頻處理器1332、由虛線1341指示的處理器、視頻模塊1311或者視頻單元1361可以被嵌入到電視裝置900(圖47)，移動電話920(圖48)，再現(xiàn)和記錄裝置940(圖49)，成像裝置960(圖50)，諸如圖51的數(shù)據(jù)傳送系統(tǒng)1000中的個人計算機1004、AV設(shè)備1005、平板裝置1006或移動電話1007，圖52的數(shù)據(jù)傳送系統(tǒng)1100中的廣播站1101或終端裝置1102，圖53的成像系統(tǒng)1200中的成像裝置1201或可分級編碼數(shù)據(jù)存儲裝置1202的終端裝置中。通過嵌入被應(yīng)用本技術(shù)的配置，與視頻設(shè)備1300相似，這些裝置可以獲得與上文參照圖1至42描述的優(yōu)點相同的優(yōu)點。

在本說明書中，描述了其中各種信息在編碼流中被復(fù)用并且從編碼側(cè)傳送到解碼側(cè)的示例。然而，傳送信息的方法不限于這些示例。例如，信息可以被傳送或記錄作為與編碼位流相關(guān)聯(lián)的分立的數(shù)據(jù)，而不再編碼位流中被復(fù)用。這里，術(shù)語“關(guān)聯(lián)”意味著位流中包括的圖像(可以是圖像的一部分，諸如切片或塊)以及與該圖像對應(yīng)的信息可以在解碼時被鏈接。就是說，信息可以沿不同于圖像(或位流)的傳送路徑被傳送。信息可以被記錄在與圖像(或位流)不同的記錄介質(zhì)(或同一記錄介質(zhì)的不同記錄區(qū)域)中。此外，信息和圖像(或位流)可以例如按任何單位相互關(guān)聯(lián)，諸如多個幀、單個幀或者幀的一部分。

此外，本技術(shù)還可以如下配置。

(1)一種圖像編碼裝置，包括：

編碼單元，被配置成對圖像數(shù)據(jù)編碼；

解碼負(fù)荷定義信息設(shè)定單元，被配置成設(shè)定解碼負(fù)荷定義信息，其用于定義所述圖像數(shù)據(jù)的圖像的能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值；以及

傳送單元，被配置成傳送由所述編碼單元生成的所述圖像數(shù)據(jù)的編碼數(shù)據(jù)以及所述解碼負(fù)荷定義信息設(shè)定單元設(shè)定的解碼負(fù)荷定義信息。

(2)根據(jù)(1)以及(3)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(3)根據(jù)(1)、(2)以及(4)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示部分區(qū)域的尺寸的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(4)根據(jù)(1)至(3)以及(5)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示部分區(qū)域的豎直方向上的長度的信息以及指示部分區(qū)域的水平方向上的長度的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(5)根據(jù)(1)至(4)以及(6)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示被配置成對部分區(qū)域解碼的虛擬基準(zhǔn)解碼器的最大輸入位率和緩沖器容量的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(6)根據(jù)(1)至(5)以及(7)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示多個部分區(qū)域中共同的解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(7)根據(jù)(1)至(6)以及(8)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于定義與指示解碼處理的負(fù)荷的量值的每個等級對應(yīng)的部分區(qū)域的豎直方向上的尺寸和水平方向上的尺寸的信息。

(8)根據(jù)(1)至(7)以及(9)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于定義指示圖像中的解碼處理的負(fù)荷的量值的等級的最大值的信息。

(9)根據(jù)(1)至(8)以及(10)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息，以及

其中所述解碼負(fù)荷定義信息設(shè)定單元定義關(guān)于包括所述部分區(qū)域的預(yù)定區(qū)域的等級的參數(shù)并且將其分配給圖像單位的定義。

(10)根據(jù)(1)至(9)以及(11)至(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息設(shè)定單元在能夠被獨立解碼的部分區(qū)域的補充增強信息(SEI)中設(shè)定關(guān)于每個部分區(qū)域的解碼負(fù)荷定義信息。

(11)根據(jù)(1)至(10)以及(12)和(13)中任一項所述的圖像編碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述解碼負(fù)荷定義信息設(shè)定單元在所述SEI中設(shè)定所述多個層的解碼負(fù)荷定義信息。

(12)根據(jù)(1)至(11)以及(13)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息設(shè)定單元進(jìn)一步設(shè)定指示在所述SEI中是否設(shè)定解碼負(fù)荷定義信息的信息或者與在序列參數(shù)集合(SPS)中的SEI中設(shè)定的解碼負(fù)荷定義信息相同的解碼負(fù)荷定義信息。

(13)根據(jù)(1)至(12)中任一項所述的圖像編碼裝置，

其中所述解碼負(fù)荷定義信息包括指示用作基準(zhǔn)的部分區(qū)域的尺寸的信息，以及指示部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

(14)一種圖像編碼方法，包括：

對圖像數(shù)據(jù)編碼；

設(shè)定解碼負(fù)荷定義信息，其用于定義所述圖像數(shù)據(jù)的圖像的能夠被獨立解碼的部分區(qū)域的解碼處理的負(fù)荷的量值；以及

傳送所生成的圖像數(shù)據(jù)的編碼數(shù)據(jù)以及所設(shè)定的解碼負(fù)荷定義信息。

(15)一種圖像解碼裝置，包括：

獲取單元，被配置成獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和解碼負(fù)荷定義信息，所述解碼負(fù)荷定義信息用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值，所述部分區(qū)域能夠被獨立解碼；

分析單元，被配置成分析所述獲取單元獲取的解碼負(fù)荷定義信息；

控制單元，被配置成基于所述分析單元的解碼負(fù)荷定義信息的分析結(jié)果來控制所述獲取單元獲取的編碼數(shù)據(jù)的解碼；以及

解碼單元，被配置成在所述控制單元的控制下對所述獲取單元獲取的編碼數(shù)據(jù)解碼。

(16)根據(jù)(15)以及(17)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(17)根據(jù)(15)、(16)以及(18)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示部分區(qū)域的尺寸的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(18)根據(jù)(15)至(17)以及(19)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示部分區(qū)域的豎直方向上的長度的信息以及指示部分區(qū)域的水平方向上的長度的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(19)根據(jù)(15)至(18)以及(20)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示被配置成對部分區(qū)域解碼的虛擬基準(zhǔn)解碼器的最大輸入位率和緩沖器容量的信息來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(20)根據(jù)(15)至(19)以及(21)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示多個部分區(qū)域中共同的解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(21)根據(jù)(15)至(20)以及(22)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于定義與指示解碼處理的負(fù)荷的量值的每個等級對應(yīng)的部分區(qū)域的豎直方向上的尺寸和水平方向上的尺寸的信息。

(22)根據(jù)(15)至(21)以及(23)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于定義指示圖像中的解碼處理的負(fù)荷的量值的等級的最大值的信息。

(23)根據(jù)(15)至(22)以及(24)至(27)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義部分區(qū)域的解碼處理的負(fù)荷的量值的信息，以及

其中所述控制單元使用針對包括所述部分區(qū)域的預(yù)定區(qū)域定義并且分配給圖像單位的定義的等級的參數(shù)來控制所述編碼數(shù)據(jù)的解碼。

(24)根據(jù)(15)至(23)以及(25)至(27)中任一項所述的圖像解碼裝置，

其中所述分析單元分析能夠被獨立解碼的部分區(qū)域的補充增強信息(SEI)中的針對每個部分區(qū)域設(shè)定的解碼負(fù)荷定義信息。

(25)根據(jù)(15)至(24)以及(26)和(27)中任一項所述的圖像解碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述分析單元分析在所述SEI中設(shè)定的所述多個層的解碼負(fù)荷定義信息。

(26)根據(jù)(15)至(25)中任一項所述的圖像解碼裝置，

其中所述分析單元進(jìn)一步分析指示在所述SEI中是否設(shè)定解碼負(fù)荷定義信息的信息或者與在序列參數(shù)集合(SPS)中設(shè)定的SEI中設(shè)定的解碼負(fù)荷定義信息相同的解碼負(fù)荷定義信息。

(27)根據(jù)(15)至(26)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括指示用作基準(zhǔn)的部分區(qū)域的尺寸的信息，以及指示部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

(28)一種圖像解碼方法，包括：

獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和解碼負(fù)荷定義信息，所述解碼負(fù)荷定義信息用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值；

基于所獲取的解碼負(fù)荷定義信息來控制所獲取的編碼數(shù)據(jù)的解碼；以及

根據(jù)控制對所獲取的編碼數(shù)據(jù)解碼。

(31)一種圖像解碼裝置，包括：

獲取單元，被配置成獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；

控制單元，被配置成基于所述獲取單元獲取的所述解碼負(fù)荷定義信息來控制所述獲取單元獲取的編碼數(shù)據(jù)的解碼；以及

解碼單元，被配置成在所述控制單元的控制下對所述獲取單元獲取的編碼數(shù)據(jù)進(jìn)行解碼。

(32)根據(jù)(31)所述的圖像解碼裝置，

其中所述部分區(qū)域能夠被獨立解碼。

(33)根據(jù)(31)或(32)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級來定義解碼處理的負(fù)荷的量值的信息。

(34)根據(jù)(31)至(33)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域的尺寸的信息來定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(35)根據(jù)(31)至(34)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域在豎直方向上的長度的信息和指示所述部分區(qū)域在水平方向上的長度的信息來定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(36)根據(jù)(31)至(35)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括在能夠被獨立解碼的部分區(qū)域的補充增強信息SEI中。

(37)根據(jù)(31)至(36)中任一項所述的圖像解碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述多個層的解碼負(fù)荷定義信息包括在所述SEI中。

(38)根據(jù)(31)至(37)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括指示用作基準(zhǔn)的所述部分區(qū)域的尺寸的信息以及指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

(39)根據(jù)(31)至(38)中任一項所述的圖像解碼裝置，

其中所述部分區(qū)域是碼片。

(40)根據(jù)(31)至(39)中任一項所述的圖像解碼裝置，

其中所述部分區(qū)域是多個碼片的集合。

(41)根據(jù)(31)至(40)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的解碼處理的負(fù)荷的最大量值的信息。

(42)根據(jù)(31)至(41)中任一項所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的共同的負(fù)荷的量值的信息。

(43)根據(jù)(31)至(42)中任一項所述的圖像解碼裝置，

其中，當(dāng)所述圖片中包括的多個部分區(qū)域具有L形時，定義包括所述L形的矩形區(qū)域的負(fù)荷的量值。

(44)根據(jù)(31)至(43)中任一項所述的圖像解碼裝置，

其中所述獲取單元進(jìn)一步獲取指示所述解碼負(fù)荷定義信息是否被設(shè)定的信息，并且當(dāng)所獲取的信息指示所述解碼負(fù)荷定義信息被設(shè)定時，獲取所述解碼負(fù)荷定義信息。

(45)一種圖像解碼方法，包括：

獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；

基于所獲取的解碼負(fù)荷定義信息來控制所獲取的編碼數(shù)據(jù)的解碼；以及

根據(jù)所述控制對所獲取的編碼數(shù)據(jù)進(jìn)行解碼。

此外，本技術(shù)還可以如下配置。

(1)一種圖像解碼裝置，包括：

獲取單元，被配置成獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；

控制單元，被配置成基于所述獲取單元獲取的所述解碼負(fù)荷定義信息來控制所述獲取單元獲取的編碼數(shù)據(jù)的解碼；以及

解碼單元，被配置成在所述控制單元的控制下對所述獲取單元獲取的編碼數(shù)據(jù)進(jìn)行解碼。

(2)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域能夠被獨立解碼。

(3)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級來定義解碼處理的負(fù)荷的量值的信息。

(4)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域的尺寸的信息來定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(5)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示所述部分區(qū)域在豎直方向上的長度的信息和指示所述部分區(qū)域在水平方向上的長度的信息來定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(6)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括在能夠被獨立解碼的部分區(qū)域的補充增強信息SEI中。

(7)根據(jù)(6)所述的圖像解碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述多個層的解碼負(fù)荷定義信息包括在所述SEI中。

(8)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括指示用作基準(zhǔn)的所述部分區(qū)域的尺寸的信息以及指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

(9)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域是碼片。

(10)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域是多個碼片的集合。

(11)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的解碼處理的負(fù)荷的最大量值的信息。

(12)根據(jù)(1)所述的圖像解碼裝置，

其中所述解碼負(fù)荷定義信息包括用于根據(jù)指示解碼處理的負(fù)荷的量值的等級來定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的共同的負(fù)荷的量值的信息。

(13)根據(jù)(12)所述的圖像解碼裝置，

其中，當(dāng)所述圖片中包括的多個部分區(qū)域具有L形時，定義包括所述L形的矩形區(qū)域的負(fù)荷的量值。

(14)根據(jù)(1)所述的圖像解碼裝置，

其中所述獲取單元進(jìn)一步獲取指示所述解碼負(fù)荷定義信息是否被設(shè)定的信息，并且當(dāng)所獲取的信息指示所述解碼負(fù)荷定義信息被設(shè)定時，獲取所述解碼負(fù)荷定義信息。

(15)一種圖像解碼方法，包括：

獲取圖像數(shù)據(jù)的編碼數(shù)據(jù)和用于定義所述圖像數(shù)據(jù)的圖像的部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息；

基于所獲取的解碼負(fù)荷定義信息來控制所獲取的編碼數(shù)據(jù)的解碼；以及

根據(jù)所述控制對所獲取的編碼數(shù)據(jù)進(jìn)行解碼。

此外，本技術(shù)還可以如下配置。

(1)一種圖像解碼裝置，包括：

控制單元，被配置成基于指示用作圖像的基準(zhǔn)的部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級來控制其中圖像被編碼的編碼數(shù)據(jù)的解碼；以及

解碼單元，被配置成在所述控制單元的控制下對所述編碼數(shù)據(jù)進(jìn)行解碼。

(2)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域能夠被獨立解碼。

(3)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元根據(jù)指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級，使用用于定義解碼處理的負(fù)荷的量值的信息來控制對所述編碼數(shù)據(jù)的解碼。

(4)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元根據(jù)指示所述部分區(qū)域的尺寸的信息，使用用于定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息來控制對所述編碼數(shù)據(jù)的解碼。

(5)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元根據(jù)指示所述部分區(qū)域在豎直方向上的長度的信息和指示所述部分區(qū)域在水平方向上的長度的信息，使用用于定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息來控制對所述編碼數(shù)據(jù)的解碼。

(6)根據(jù)(1)所述的圖像解碼裝置，進(jìn)一步包括：

獲取單元，被配置成獲取指示所述部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級，作為指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息，

其中所述控制單元使用所述獲取單元獲取的所述解碼負(fù)荷定義信息來控制所述編碼數(shù)據(jù)的解碼。

(7)根據(jù)(6)所述的圖像解碼裝置，

其中所述獲取單元獲取所述解碼負(fù)荷定義信息作為所述編碼數(shù)據(jù)的輔助信息。

(8)根據(jù)(7)所述的圖像解碼裝置，

其中所述獲取單元獲取所述解碼負(fù)荷定義信息作為能夠被獨立解碼的部分區(qū)域的補充增強信息SEI。

(9)根據(jù)(8)所述的圖像解碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述獲取單元獲取所述多個層的解碼負(fù)荷定義信息作為所述SEI。

(10)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域是碼塊。

(11)根據(jù)(1)所述的圖像解碼裝置，

其中所述部分區(qū)域是多個碼塊的集合。

(12)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元根據(jù)指示解碼處理的負(fù)荷的量值的等級，使用用于定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的解碼處理的負(fù)荷的最大量值的信息來控制所述編碼數(shù)據(jù)的解碼。

(13)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元根據(jù)指示解碼處理的負(fù)荷的量值的等級，使用用于定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的共同的負(fù)荷的量值的信息來控制所述編碼數(shù)據(jù)的解碼。

(14)根據(jù)(13)所述的圖像解碼裝置，

其中，當(dāng)所述圖片中包括的多個部分區(qū)域具有L形時，所述控制單元使用用于定義包括所述L形的矩形區(qū)域的負(fù)荷的量值的信息來控制所述編碼數(shù)據(jù)的解碼。

(15)根據(jù)(1)所述的圖像解碼裝置，

其中所述控制單元使用指示所述解碼負(fù)荷定義信息是否被設(shè)定的信息來控制所述編碼數(shù)據(jù)的解碼。

(16)一種圖像解碼方法，包括：

基于指示用作圖像的基準(zhǔn)的部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級來控制其中圖像被編碼的編碼數(shù)據(jù)的解碼；以及

根據(jù)所述控制對所述編碼數(shù)據(jù)進(jìn)行解碼。

(17)一種圖像編碼裝置，包括：

編碼單元，被配置成對圖像編碼；以及

設(shè)定單元，被配置成設(shè)定指示用作圖像的基準(zhǔn)的部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

(18)根據(jù)(17)所述的圖像編碼裝置，

其中所述部分區(qū)域能夠被獨立解碼。

(19)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元根據(jù)指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級來生成用于定義解碼處理的負(fù)荷的量值的信息。

(20)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元根據(jù)指示所述部分區(qū)域的尺寸的信息來生成用于定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(21)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元根據(jù)指示所述部分區(qū)域在豎直方向上的長度的信息和指示所述部分區(qū)域在水平方向上的長度的信息來生成用于定義所述部分區(qū)域的解碼處理的負(fù)荷的量值的信息。

(22)根據(jù)(17)所述的圖像編碼裝置，進(jìn)一步包括：

傳送單元，被配置成傳送指示所述部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級，作為指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的解碼負(fù)荷定義信息。

(23)根據(jù)(22)所述的圖像編碼裝置，

其中所述傳送單元傳送所述解碼負(fù)荷定義信息作為其中所述編碼單元獲得的圖像被編碼的編碼數(shù)據(jù)的輔助信息。

(24)根據(jù)(23)所述的圖像編碼裝置，

其中所述傳送單元傳送所述解碼負(fù)荷定義信息作為能夠被獨立解碼的部分區(qū)域的補充增強信息SEI。

(25)根據(jù)(24)所述的圖像編碼裝置，

其中所述圖像數(shù)據(jù)包括多個層，以及

其中所述傳送單元傳送所述多個層的解碼負(fù)荷定義信息作為所述SEI。

(26)根據(jù)(17)所述的圖像編碼裝置，

其中所述部分區(qū)域是碼塊。

(27)根據(jù)(17)所述的圖像編碼裝置，

其中所述部分區(qū)域是多個碼塊的集合。

(28)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元根據(jù)指示解碼處理的負(fù)荷的量值的等級來生成用于定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的解碼處理的負(fù)荷的最大量值的信息。

(29)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元根據(jù)指示解碼處理的負(fù)荷的量值的等級來生成用于定義所述圖像數(shù)據(jù)的圖片中包括的多個部分區(qū)域中的共同的負(fù)荷的量值的信息。

(30)根據(jù)(29)所述的圖像編碼裝置，

其中，當(dāng)所述圖片中包括的多個部分區(qū)域具有L形時，所述設(shè)定單元生成用于定義包括所述L形的矩形區(qū)域的負(fù)荷的量值的信息。

(31)根據(jù)(17)所述的圖像編碼裝置，

其中所述設(shè)定單元生成指示所述解碼負(fù)荷定義信息是否被設(shè)定的信息

(32)一種圖像編碼方法，包括：

對圖像編碼；以及

設(shè)定指示用作圖像的基準(zhǔn)的部分區(qū)域的尺寸的信息和指示所述部分區(qū)域的解碼處理的負(fù)荷的量值的等級。

附圖標(biāo)記列表

100 圖像編碼裝置

101 基層圖像編碼單元

102 增強層圖像編碼單元

103 復(fù)用單元

104 控制單元

128 報頭信息生成單元

148 報頭信息生成單元

151 解碼負(fù)荷相關(guān)信息獲取單元

152 MCTS SEI生成單元

153 SPS生成單元

200 圖像解碼裝置

201 解復(fù)用單元

202 基層圖像解碼單元

203 增強層圖像解碼單元

204 控制單元

224 報頭信息分析單元

244 報頭信息分析單元

251 報頭信息獲取單元

252 SPS分析單元

253 MCTS SEI分析單元

254 等級指定單元

255 提供單元