解碼裝置和解碼方法以及編碼裝置和編碼方法
【專利摘要】本技術(shù)涉及解碼裝置、解碼方法、編碼裝置和編碼方法，從而當(dāng)包裝圖像的編碼流要被解碼并顯示時(shí)，可以可靠地顯示構(gòu)成包裝圖像的圖像。解碼單元對編碼數(shù)據(jù)進(jìn)行解碼以生成包裝圖像，編碼數(shù)據(jù)是通過對其中多個(gè)圖像被包裝的包裝圖像進(jìn)行編碼而獲得的。顯示控制單元基于在包裝圖像顯示期間優(yōu)先使用的包裝SEI來確定構(gòu)成包裝圖像的圖像。該技術(shù)可以應(yīng)用于例如解碼裝置。
【專利說明】解碼裝置和解碼方法以及編碼裝置和編碼方法

【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及解碼裝置和解碼方法以及編碼裝置和編碼方法，并且具體地涉及如下的解碼裝置和解碼方法以及編碼裝置和編碼方法，當(dāng)其中包裝多個(gè)圖像的包裝圖像的編碼流被解碼并顯示時(shí)，使得構(gòu)成包裝圖像的各圖像能夠被可靠地顯示。

【背景技術(shù)】
[0002]在傳統(tǒng)的高級視頻(AVC)標(biāo)準(zhǔn)中，為了指示要編碼的圖像是其中多個(gè)圖像被包裝在一幀圖像中的包裝圖像，使用了幀包裝布置補(bǔ)充增強(qiáng)信息(SEI)。然而，在AVC標(biāo)準(zhǔn)中，作為與編碼相關(guān)的附加信息的SEI是提供情報(bào)的信息。因此是否使用SEI執(zhí)行處理取決于解碼裝置。
[0003]例如，當(dāng)通過將兩個(gè)圖像中的一個(gè)布置在左半部分并且將另一個(gè)布置在右半部分來執(zhí)行包裝的并排系統(tǒng)所包裝的3D (三維)顯示包裝圖像的編碼流被解碼時(shí)，使用SEI的2D (二維)顯示解碼裝置基于幀包裝布置SEI對3D顯示包裝圖像的畫面進(jìn)行劃分。隨后解碼裝置通過顯示布置在畫面的左半部分的左眼圖像或右眼圖像來執(zhí)行2D顯示。
[0004]此外，使用SEI的3D顯示解碼裝置基于幀包裝布置SEI對3D顯示包裝圖像的畫面進(jìn)行劃分。解碼裝置隨后通過將布置在畫面的左半部分的圖像顯示為左眼圖像或右眼圖像來執(zhí)行3D顯示，并且顯示布置在畫面的右半部分的圖像作為另一圖像。
[0005]然而，不使用SEI的2D顯示解碼裝置不能確定編碼圖像是否是包裝圖像，并且按原樣顯示3D顯示包裝圖像。結(jié)果，顯示如下2D圖像，其中左眼圖像或右眼圖像中的一個(gè)布置在畫面的左半部分上，并且另一圖像布置在畫面的右半部分上。
[0006]因此，在不使用SEI的2D顯示解碼裝置中，為了僅顯示構(gòu)成包裝圖像的左眼圖像或右眼圖像中的一個(gè)，已提出了一種使用裁切的技術(shù)。
[0007]在該技術(shù)中，例如，指示是否針對包裝圖像執(zhí)行裁切的幀裁切標(biāo)志(frame_cropping_flag)以及包括作為裁切位置的左眼圖像的位置的裁切信息被包括在序列參數(shù)集合(SPS)等中，并且被傳送到解碼裝置。
[0008]在該情況下，2D顯示解碼裝置基于裁切信息從包裝圖像裁切并顯示左眼圖像，從而執(zhí)行2D顯示，而與是否使用SEI無關(guān)。
[0009]然而，裁切信息包括在SPS中，并且SPS是標(biāo)準(zhǔn)上的強(qiáng)制信息。因此，甚至使用SEI的3D顯示解碼裝置需要基于裁切信息從包裝圖像裁切左眼圖像。結(jié)果，甚至使用SEI的3D顯示解碼裝置僅顯示左眼圖像，并且不能執(zhí)行3D顯示。
[0010]因此，使用SEI的3D圖像解碼裝置已被開發(fā)。3D解碼裝置在根據(jù)幀包裝布置SEI已認(rèn)識(shí)到要編碼的圖像是包裝圖像時(shí)忽略裁切信息并且基于幀包裝布置SEI裁切構(gòu)成包裝圖像的圖像。該解碼裝置可以通過將裁切圖像分別顯示為左眼圖像和右眼圖像來執(zhí)行3D顯不O
[0011]然而，忽略SPS中包括的裁切信息的處理是違反標(biāo)準(zhǔn)的處理，并且因此不能確保3D顯示。
[0012]同時(shí)，當(dāng)前，為了從H.264/AVC進(jìn)一步提高編碼效率，稱為高效視頻編碼(HEVC)的編碼系統(tǒng)的標(biāo)準(zhǔn)化正在被作為ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化實(shí)體的聯(lián)合協(xié)作團(tuán)隊(duì)-視頻編碼(JCTVC)推進(jìn)。對于HEVC標(biāo)準(zhǔn)，作為首個(gè)草案規(guī)范的委員會(huì)草案已于2012年2月發(fā)布(例如，參見非專利文獻(xiàn)I)。
[0013]引用文獻(xiàn)列表
[0014]非專利文獻(xiàn)
[0015]非專利文獻(xiàn)1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, 〃High efficiency video coding (HEVC) text specificat1ndraft 6"，JCTVC-H1003 ver.20，2012.2.17


【發(fā)明內(nèi)容】

[0016]本發(fā)明要解決的問題
[0017]如上文所述，在傳統(tǒng)標(biāo)準(zhǔn)下，使用SEI的2D顯示解碼裝置和不使用SEI的2D顯示解碼裝置在不違反標(biāo)準(zhǔn)的情況下使用3D顯示包裝圖像來執(zhí)行2D顯示，并且使用SEI的3D顯示解碼裝置不能使用3D顯示包裝圖像來執(zhí)行3D顯示。就是說，在傳統(tǒng)下，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，解碼裝置不能可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0018]考慮到前述內(nèi)容實(shí)現(xiàn)了本技術(shù)，并且本技術(shù)使得當(dāng)在解碼并顯示包裝圖像的編碼流時(shí)能夠可靠地顯示構(gòu)成包裝圖像的圖像。
[0019]對問題的解決方案
[0020]根據(jù)本技術(shù)的第一方面的一種解碼裝置包括:解碼單元，被配置成對編碼數(shù)據(jù)進(jìn)行解碼，編碼數(shù)據(jù)是其中多個(gè)圖像被包裝的編碼的包裝圖像，并且解碼單元被配置成生成包裝圖像；以及控制單元，被配置成基于與包裝相關(guān)的包裝信息來識(shí)別構(gòu)成解碼單元生成的包裝圖像的每個(gè)圖像，當(dāng)顯示包裝圖像時(shí)優(yōu)先使用包裝信息。
[0021]根據(jù)本技術(shù)的第一方面的解碼方法與根據(jù)本技術(shù)的第一方面的解碼裝置對應(yīng)。
[0022]在本技術(shù)的第一方面中，基于與包裝相關(guān)的包裝信息識(shí)別構(gòu)成包裝圖像的圖像，當(dāng)通過對其中多個(gè)圖像被包裝的包裝圖像進(jìn)行編碼而獲得的編碼數(shù)據(jù)被解碼并且生成包裝圖像時(shí)，優(yōu)先使用包裝信息，并且顯示包裝圖像。
[0023]根據(jù)本技術(shù)的第二方面的一種編碼裝置包括:編碼單元，被配置成對其中包裝多個(gè)圖像的包裝圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)；設(shè)定單元，被配置成設(shè)定與包裝相關(guān)的包裝信息，當(dāng)顯示包裝圖像時(shí)優(yōu)先使用包裝信息；以及傳送單元，被配置成傳送編碼單元生成的編碼數(shù)據(jù)以及設(shè)定單元設(shè)定的包裝信息。
[0024]根據(jù)本技術(shù)的第二方面的編碼方法與根據(jù)本技術(shù)的第二方面的編碼裝置對應(yīng)。
[0025]在本技術(shù)的第二方面中，設(shè)定與包裝相關(guān)的包裝信息，當(dāng)其中多個(gè)圖像被包裝的包裝圖像被編碼并且生成編碼數(shù)據(jù)時(shí)優(yōu)先使用包裝信息，并且顯示包裝圖像，并且傳送編碼數(shù)據(jù)和包裝信息。
[0026]注意，第一方面的解碼裝置和第二方面的編碼裝置可以通過計(jì)算機(jī)執(zhí)行程序來實(shí)現(xiàn)。
[0027]此外，為了實(shí)現(xiàn)第一方面的解碼裝置和第二方面的編碼裝置，可以通過經(jīng)由傳送介質(zhì)進(jìn)行傳送或者記錄在記錄介質(zhì)上來提供計(jì)算機(jī)執(zhí)行的程序。
[0028]此外，第一方面的解碼裝置和第二方面的編碼裝置可以是獨(dú)立的裝置，或者可以是構(gòu)成單個(gè)裝置的內(nèi)部模塊。
[0029]本發(fā)明的效果
[0030]根據(jù)本技術(shù)的第一方面，當(dāng)解碼和顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的圖像。
[0031]根據(jù)本技術(shù)的第二方面，可以生成包裝圖像的編碼流，使得當(dāng)解碼和顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的圖像。

【專利附圖】

【附圖說明】
[0032]圖1是圖示被應(yīng)用本技術(shù)的編碼裝置的第一實(shí)施例的配置示例的框圖。
[0033]圖2是圖示圖1的編碼單元的配置示例的框圖。
[0034]圖3是圖示VUI的語法的示例的示圖。
[0035]圖4是圖示幀包裝SEI的語法的示例的示圖。
[0036]圖5是描述圖4的模式信息的示圖。
[0037]圖6是描述圖4的類型信息的示圖。
[0038]圖7是描述圖4的位置信息的示圖。
[0039]圖8是圖示裁切區(qū)域的位置的示圖。
[0040]圖9是圖示位置信息的語法的另一示例的示圖。
[0041]圖10是描述圖9的位置信息的示例的示圖。
[0042]圖11是圖示位置信息的語法的又一示例的示圖。
[0043]圖12是描述圖11的位置信息的示例的示圖。
[0044]圖13是圖示幀包裝SEI的語法的另一示例的示圖。
[0045]圖14是圖示SPS的語法的一部分的示例的示圖。
[0046]圖15是描述圖1的編碼裝置的生成處理的流程圖。
[0047]圖16是描述圖15的步驟SI的編碼處理的細(xì)節(jié)的流程圖。
[0048]圖17是描述圖15的編碼處理的細(xì)節(jié)的流程圖。
[0049]圖18是圖示被應(yīng)用本技術(shù)的解碼裝置的第一實(shí)施例的配置示例的框圖。
[0050]圖19是圖示圖18的解碼單元的配置示例的框圖。
[0051]圖20是描述圖18的解碼裝置的顯示處理的流程圖。
[0052]圖21是描述圖20的解碼處理的細(xì)節(jié)的流程圖。
[0053]圖22是圖示被應(yīng)用本技術(shù)的編碼裝置的第二實(shí)施例的配置示例的框圖。
[0054]圖23是圖示圖22的編碼單元的配置示例的框圖。
[0055]圖24是圖示2D兼容幀包裝SEI的語法的示例的示圖。
[0056]圖25A和25B是描述2D兼容幀包裝SEI的改變原因的示圖。
[0057]圖26是描述圖24的位置信息的示圖。
[0058]圖27是描述圖22的編碼裝置的生成處理的流程圖。
[0059]圖28是描述圖27的編碼處理的細(xì)節(jié)的流程圖。
[0060]圖29是描述圖27的編碼處理的細(xì)節(jié)的流程圖。
[0061]圖30是圖示被應(yīng)用本技術(shù)的解碼裝置的第二實(shí)施例的配置示例的框圖。
[0062]圖31是圖示圖30的解碼單元的配置示例的框圖。
[0063]圖32是描述2D兼容幀包裝SEI的應(yīng)用時(shí)段的示圖。
[0064]圖33是描述2D兼容幀包裝SEI中可描述的信息的示圖。
[0065]圖34是描述圖30的解碼裝置的顯示處理的流程圖。
[0066]圖35是描述圖34的解碼處理的細(xì)節(jié)的流程圖。
[0067]圖36是圖示計(jì)算機(jī)的硬件的配置示例的框圖。
[0068]圖37是被應(yīng)用本技術(shù)的電視裝置的示意性配置示例的示圖。
[0069]圖38是被應(yīng)用本技術(shù)的移動(dòng)電話裝置的示意性配置示例的示圖。
[0070]圖39是被應(yīng)用本技術(shù)的記錄再現(xiàn)裝置的示意性配置示例的示圖。
[0071]圖40是被應(yīng)用本技術(shù)的成像裝置的示意性配置示例的示圖。

【具體實(shí)施方式】
[0072]<第一實(shí)施例>
[0073](編碼裝置的第一實(shí)施例的配置示例)
[0074]圖1是圖示被應(yīng)用本技術(shù)的編碼裝置的第一實(shí)施例的配置示例的框圖。
[0075]圖1的編碼裝置I由編碼單元2、設(shè)定單元3和傳送單元4構(gòu)成，并且對HEVC系統(tǒng)中的諸如包裝圖像的圖像進(jìn)行編碼。
[0076]具體地，以幀為單位的諸如包裝圖像的圖像作為輸入信號被輸入到編碼裝置I的編碼單元2。編碼單元2在HEVC系統(tǒng)中對輸入信號編碼，并且將作為編碼結(jié)果獲得的編碼數(shù)據(jù)提供給設(shè)定單元3。
[0077]設(shè)定單元3設(shè)定SPS、圖片參數(shù)集合(PPS)、指示與每個(gè)序列的編碼數(shù)據(jù)對應(yīng)的圖像特性(可用性)的視頻可用性信息(VUI)、SEI等。設(shè)定單元3從設(shè)定的SPS、PPS、VUI和SEI以及從編碼單元2提供的編碼數(shù)據(jù)生成編碼流。設(shè)定單元3將編碼流提供給傳送單元4。
[0078]傳送單元4將從設(shè)定單元3提供的編碼流傳送到下文描述的解碼裝置。
[0079](編碼單元的配置示例)
[0080]圖2是圖示圖1的編碼單元2的配置示例的框圖。
[0081]圖2的編碼單元2由Α/D轉(zhuǎn)換單元11、畫面重排緩沖器12、計(jì)算單元13、正交變換單元14、量化單元15、無損編碼單元16、積累緩沖器17、逆量化單元18、逆正交變換單元
19、加法單元20、解塊濾波器21、幀存儲(chǔ)器22、開關(guān)23、幀內(nèi)預(yù)測單元24、運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25、預(yù)測圖像選擇單元26以及速率控制單元27構(gòu)成。
[0082]具體地，編碼單元2的Α/D轉(zhuǎn)換單元11對作為輸入信號輸入的、以幀為單位的圖像應(yīng)用Α/D轉(zhuǎn)換，將經(jīng)轉(zhuǎn)換的圖像輸出到畫面重排緩沖器12并且將圖像存儲(chǔ)在畫面重排緩沖器12中。畫面重排緩沖器12根據(jù)圖片組(GOP)結(jié)構(gòu)將以幀為單位按顯示順序存儲(chǔ)的圖像重排為用于編碼的順序，并且將經(jīng)重排的圖像輸出到計(jì)算單元13、幀內(nèi)預(yù)測單元24和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25。
[0083]計(jì)算單元13通過計(jì)算從預(yù)測圖像選擇單元26提供的預(yù)測圖像和從畫面重排緩沖器12輸出的要編碼的圖像之間的差來執(zhí)行編碼。具體地，計(jì)算單元13通過從畫面重排緩沖器12輸出的要編碼的圖像中減去從預(yù)測圖像選擇單元26提供的預(yù)測圖像來執(zhí)行編碼。計(jì)算單元13將作為編碼結(jié)果的圖像輸出到正交變換單元14作為殘差信息。注意，當(dāng)未從預(yù)測圖像選擇單元26提供預(yù)測圖像時(shí)，計(jì)算單元13將從畫面重排緩沖器12讀取的圖像原樣輸出到正交變換單元14作為殘差信息。
[0084]正交變換單元14對來自計(jì)算單元13的殘差信息應(yīng)用正交變換，并且將作為正交變換的結(jié)果而獲得的系數(shù)提供給量化單元15。
[0085]量化單元15對從正交變換單元14提供的系數(shù)進(jìn)行量化。經(jīng)量化的系數(shù)被輸入到無損編碼單元16。
[0086]無損編碼單元16從幀內(nèi)預(yù)測單元24獲取指示最優(yōu)幀內(nèi)預(yù)測模式的信息(以下稱為幀內(nèi)預(yù)測模式信息)。此外，無損編碼單元16從運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25獲取指示最優(yōu)幀間預(yù)測模式的信息(以下稱為幀間預(yù)測模式信息)、運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息坐寸ο
[0087]無損編碼單元16針對從量化單元15提供的經(jīng)量化的系數(shù)執(zhí)行無損編碼，諸如可變長度編碼(例如，上下文自適應(yīng)可變長度編碼(CAVLC))或算術(shù)編碼(例如，上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC))。
[0088]此外，無損編碼單元16針對幀內(nèi)預(yù)測模式信息、幀間預(yù)測模式信息、運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息等執(zhí)行無損編碼，作為與編碼相關(guān)的編碼信息。無損編碼單元16將經(jīng)無損編碼的編碼信息和系數(shù)提供給積累緩沖器17作為編碼數(shù)據(jù)，并且在其中存儲(chǔ)編碼數(shù)據(jù)。注意，經(jīng)無損編碼的編碼信息可以用作經(jīng)無損編碼的系數(shù)的報(bào)頭信息。
[0089]積累緩沖器17臨時(shí)存儲(chǔ)從無損編碼單元16提供的編碼數(shù)據(jù)。此外，積累緩沖器17將所存儲(chǔ)的編碼數(shù)據(jù)提供給圖1的設(shè)定單元3。
[0090]此外，從量化單元15輸出的經(jīng)量化的系數(shù)也被輸入到逆量化單元18、被逆量化，并且隨后被提供給逆正交變換單元19。
[0091]逆正交變換單元19對從逆量化單元18提供的系數(shù)應(yīng)用逆正交變換，并且將作為逆正交變換的結(jié)果而獲得的殘差信息提供給加法單元20。
[0092]加法單元20使作為從逆正交變換單元19提供的要解碼的圖像的殘差信息與從預(yù)測圖像選擇單元26提供的預(yù)測圖像相加以獲得局部解碼圖像。注意，當(dāng)未從預(yù)測圖像選擇單元26提供預(yù)測圖像時(shí)，加法單元20采用從逆正交變換單元19提供的殘差信息作為局部解碼圖像。加法單元20將局部解碼圖像提供給解塊濾波器21，并且將局部解碼圖像提供給幀存儲(chǔ)器22并且在其中積累圖像。
[0093]解塊濾波器21通過對從加法單元20提供的局部解碼圖像進(jìn)行濾波來去除塊失真。解塊濾波器21將作為濾波的結(jié)果而獲得的圖像提供給幀存儲(chǔ)器22，并且在其中積累圖像。在幀存儲(chǔ)器22中積累的圖像通過開關(guān)23被輸出到幀內(nèi)預(yù)測單元24或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25作為參考圖像。
[0094]幀內(nèi)預(yù)測單元24使用沒有在解塊濾波器21中進(jìn)行濾波并且通過開關(guān)23從幀存儲(chǔ)器22讀取的參考圖像，以碼塊和碼片為單位在所有幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。
[0095]此外，幀內(nèi)預(yù)測單元24基于從畫面重排緩沖器12讀取的圖像和作為幀內(nèi)預(yù)測處理的結(jié)果而生成的預(yù)測圖像，計(jì)算所有候選幀內(nèi)預(yù)測模式的成本函數(shù)值(下文將描述細(xì)節(jié))。幀內(nèi)預(yù)測單元24隨后將具有最小成本函數(shù)值的幀內(nèi)預(yù)測模式確定為最優(yōu)幀內(nèi)預(yù)測模式。
[0096]幀內(nèi)預(yù)測單元24將在最優(yōu)幀內(nèi)預(yù)測模式中生成的預(yù)測圖像和相應(yīng)的成本函數(shù)值提供給預(yù)測圖像選擇單元26。當(dāng)被預(yù)測圖像選擇單元26通知在最優(yōu)幀內(nèi)預(yù)測模式中生成的預(yù)測圖像的選擇時(shí)，幀內(nèi)預(yù)測單元24將幀內(nèi)預(yù)測模式信息提供給無損編碼單元16。
[0097]注意，成本函數(shù)值也被稱為速率失真(RD)成本，并且基于例如在聯(lián)合模型(JM)中定義的高復(fù)雜度模式或低復(fù)雜度模式的技術(shù)來計(jì)算，JM是H.264/AVC系統(tǒng)中的參考軟件。
[0098]具體地，當(dāng)采用高復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)時(shí)，在所有候選預(yù)測模式中臨時(shí)執(zhí)行直到無損編碼的處理，并且針對每個(gè)預(yù)測模式(Mode)計(jì)算由下式(I)表示的成本函數(shù)(CostO)值。
[0099]Cost (Mode) = D+ λ.R...(I)
[0100]D是原始圖像和解碼圖像之間的差(失真)，R是包含直到正交變換的系數(shù)的所生成的碼量，并且λ是作為量化參數(shù)QP的函數(shù)給出的拉格朗日乘數(shù)。
[0101]同時(shí)，當(dāng)采用低復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)時(shí)，針對所有候選預(yù)測模式執(zhí)行解碼圖像的生成以及諸如指示預(yù)測模式的信息的報(bào)頭位的計(jì)算，并且針對所有預(yù)測模式計(jì)算由下式(2)表示的成本函數(shù)。
[0102]Cost(Mode) = D+QPtoQuant(QP).Header_Bit...(2)
[0103]在式(2)中，D是原始圖像和解碼圖像之間的差(失真)，Header_Bit是關(guān)于預(yù)測模式的報(bào)頭位，并且QPtoQuant是作為量化參數(shù)QP的函數(shù)給出的函數(shù)。
[0104]在低復(fù)雜度模式中，針對所有預(yù)測模式僅生成解碼圖像是足夠的，并且不必執(zhí)行無損編碼。因此，需要較小的計(jì)算量。
[0105]運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25以碼塊和碼片為單位在所有候選幀間預(yù)測模式中執(zhí)行運(yùn)動(dòng)預(yù)測/補(bǔ)償處理。具體地，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像以及通過開關(guān)23從幀存儲(chǔ)器22讀取的經(jīng)濾波的參考圖像以碼塊和碼片為單位檢測所有候選幀間預(yù)測模式的運(yùn)動(dòng)向量。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25隨后基于運(yùn)動(dòng)向量以碼塊和碼片為單位對參考圖像應(yīng)用補(bǔ)償處理，并且生成預(yù)測圖像。
[0106]此時(shí)，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像和預(yù)測圖像計(jì)算所有候選幀間預(yù)測模式的成本函數(shù)值，并且將具有最小成本函數(shù)值的幀間預(yù)測模式確定為最優(yōu)幀間預(yù)測模式。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25隨后將最優(yōu)幀間預(yù)測模式的成本函數(shù)值和相應(yīng)的預(yù)測圖像提供給預(yù)測圖像選擇單元26。此外，當(dāng)被預(yù)測圖像選擇單元26通知在最優(yōu)幀間預(yù)測模式中生成的預(yù)測圖像的選擇時(shí)，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25將幀間預(yù)測模式信息、相應(yīng)的運(yùn)動(dòng)向量、識(shí)別參考圖像的信息等輸出到無損編碼單元16。
[0107]預(yù)測圖像選擇單元26基于從幀內(nèi)預(yù)測單元24和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25提供的成本函數(shù)值將具有較小的相應(yīng)的成本函數(shù)值的最優(yōu)幀內(nèi)預(yù)測模式或最優(yōu)幀間預(yù)測模式確定為最優(yōu)預(yù)測模式。預(yù)測圖像選擇單元26隨后將最優(yōu)預(yù)測模式的預(yù)測圖像提供給計(jì)算單元13和加法單元20。此外，預(yù)測圖像選擇單元26向幀內(nèi)預(yù)測單元24或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25通知最優(yōu)預(yù)測模式的預(yù)測圖像的選擇。
[0108]速率控制單元27基于在積累緩沖器17中積累的編碼數(shù)據(jù)來控制量化單元15的量化操作的速率，使得不會(huì)引起上溢或下溢。
[0109](VUI的語法的示例)
[0110]圖3是圖示圖1的設(shè)定單元3設(shè)定的VUI的語法的示例的示圖。
[0111]如圖3的第6行中所示，VUI包括作為指示幀包裝SEI的存在/不存在的存在/不存在信息的巾貞包裝標(biāo)志(frame_packing_arrangement_flag),巾貞包裝SEI是與包裝相關(guān)的包裝信息的SEI。當(dāng)指示存在幀包裝SEI時(shí)，幀包裝標(biāo)志是I，而當(dāng)指示不存在幀包裝SEI時(shí)，巾貞包裝標(biāo)志是O。
[0112](幀包裝SEI的語法的示例)
[0113]圖4是圖示圖1的設(shè)定單元3設(shè)定的幀包裝SEI的語法的示例的示圖。
[0114]如圖4的第2行中所示,巾貞包裝SEI (frame_packing_arrangement)包括作為優(yōu)先級信息的裁切忽略標(biāo)志(frame_cropping_override_flag),其指示當(dāng)顯示包裝圖像時(shí)是否優(yōu)先使用幀包裝SEI。當(dāng)指示在顯示包裝圖像時(shí)優(yōu)先使用幀包裝SEI時(shí)，裁切忽略標(biāo)志是1，而當(dāng)在顯示包裝圖像時(shí)不優(yōu)先使用幀包裝SEI時(shí)，裁切忽略標(biāo)志是O。
[0115]注意，在第一實(shí)施例中，裁切忽略標(biāo)志總是I。因此，可以這樣說，幀包裝標(biāo)志自身是指示在顯示包裝圖像時(shí)是否優(yōu)先使用幀包裝SEI的信息(包裝優(yōu)先級信息)。
[0116]此外，如圖4的第3行中所示，幀包裝SEI包括指示包裝圖像的包裝模式的模式信息(frame_packing_arrangement_id)。下文將參照圖5描述該模式信息的細(xì)節(jié)。
[0117]此外，如圖4的第6行中所示，幀包裝SEI包括指示構(gòu)成包裝圖像的圖像的特性的類型信息(content_interpretat1n_type)。下文將參照圖6描述該類型信息的細(xì)節(jié)。
[0118]此外，如圖4的第7行中所示，幀包裝SEI包括指示構(gòu)成包裝圖像的圖像的數(shù)目的圖像數(shù)目信息(num_of_picture_minusl)。此外,如圖4的第8至14行中所示,巾貞包裝SEI包括指示構(gòu)成包裝圖像的圖像在包裝圖像中的位置的位置信息。
[0119]在圖4的示例中，位置信息是針對構(gòu)成包裝圖像的每個(gè)圖像進(jìn)行描述的信息，包括指示圖像的左端位置的左端信息(picture_left_offset)、指示圖像的右端位置的右端信息(picture_right_offset)、指示圖像的上端位置的上端信息(picture_top_offset)、指示圖像的下端位置的下端信息(picture_bottom_offset)和圖像的圖片ID。
[0120]下文將參照圖7描述左端信息、右端信息、上端信息和下端信息的細(xì)節(jié)。圖片ID是對于構(gòu)成包裝圖像的每個(gè)圖像唯一的ID。
[0121](模式信息的描述)
[0122]圖5是描述圖4的模式信息的示圖。
[0123]如圖5中所示，當(dāng)包裝模式是其中在并排系統(tǒng)中執(zhí)行包裝的并排模式時(shí)，模式信息(frame_packing_arrangement_id)是O。此外，當(dāng)包裝模式是其中通過將兩個(gè)圖像中的一個(gè)布置在上半部分，并且將另一個(gè)布置在下半部分來執(zhí)行包裝的頂?shù)啄Ｊ綍r(shí)，模式信息是I。此外，當(dāng)包裝模式既不是并排模式也不是頂?shù)啄Ｊ綍r(shí)，模式信息是2。
[0124]這里，包裝模式是并排模式、頂?shù)啄Ｊ胶推渌Ｊ?。然而，包裝模式不限于此。例如，作為包裝模式，可以存在包裝三個(gè)或更多個(gè)圖像的模式。此外，模式信息可以包括在SEI中而非幀包裝SEI中，或者可以包括在另一網(wǎng)絡(luò)抽象層(NAL)單元中，諸如VUI。
[0125](類型信息的描述)
[0126]圖6是描述圖4的類型信息的示圖。
[0127]如圖6中所示，當(dāng)類型信息(content_interpretat1n_type)指示不存在圖像之間的特殊關(guān)系作為構(gòu)成包裝圖像的圖像的特性時(shí)，類型信息是O。此外，當(dāng)類型信息指示具有圖片ID O的圖像是3D圖像的左眼圖像并且具有圖片ID I的圖像是3D圖像的右眼圖像作為構(gòu)成包裝圖像的圖像的特性時(shí)，類型信息是I。
[0128]此外，當(dāng)類型信息指示具有圖片ID O的圖像是3D圖像的右眼圖像并且具有圖片ID I的圖像是3D圖像的左眼圖像作為構(gòu)成包裝圖像的圖像的特性時(shí)，類型信息是I。
[0129](位置信息的描述)
[0130]圖7是描述圖4的位置信息的示圖。
[0131]左端信息(picture_left_offset)是通過從左端到包裝圖像的左端的像素?cái)?shù)目表示構(gòu)成包裝圖像的圖像的左端位置的信息。右端信息(picture_right_offset)、上端信息(picture_top_offset)和下端信息(picture_bottom_offset)與左端信息相似。
[0132]如圖7中所示，當(dāng)在并排系統(tǒng)中包裝的包裝圖像的左半圖像的圖片ID是0，而右半圖像的圖片ID是I時(shí)，并且當(dāng)以像素為單位的包裝圖像的左上位置是(0，0)時(shí)，以像素為單位的具有圖片ID O的圖像的左上位置是(0，0)。此外，以像素為單位的具有圖片ID O的圖像的右上、左下和右下位置分別是(寬度/2，0)、(0，高度)、(寬度/2，高度)，其中水平方向上的包裝圖像的像素?cái)?shù)目是寬度(width)，并且豎直方向上的包裝圖像的像素?cái)?shù)目是高度(height) ο
[0133]因此,包括O作為圖片ID的位置信息的左端信息、右端信息、上端信息和下端信息分別是O ( = 0_0)、覽度/2(=覽度-覽度/2)、0( = 0_0)、0(=聞度-聞度)。
[0134]同時(shí)，以像素為單位的具有圖片ID I的圖像的左上、右上、左下和右下位置分別是(寬度/2，0)、(寬度，O)、(寬度/2，高度)和(寬度，高度)。因此，包括I作為圖片ID的位置信息的左端信息、右端信息、上端信息和下端信息是寬度/2(=寬度/2-0)、0(=寬度_覽度)、0 ( = 0_0)和O (=聞度_聞度)。
[0135]注意，當(dāng)亮度分量和色差分量的像素?cái)?shù)目不同時(shí)，由左端信息、右端信息、上端信息和下端信息指示的像素?cái)?shù)目是具有較小的像素?cái)?shù)目的分量的像素?cái)?shù)目。因此，例如，當(dāng)包裝圖像是YUV420或YUV422時(shí)，由左端信息、右端信息、上端信息和下端信息指示的像素?cái)?shù)目是色差分量的像素?cái)?shù)目。此外，當(dāng)包裝圖像是YUV444時(shí)，由左端信息、右端信息、上端信息和下端信息指示的像素?cái)?shù)目是與色差分量和亮度分量相同的像素?cái)?shù)目。此外，當(dāng)包裝圖像是YUV400時(shí)，由左端信息、右端信息、上端信息和下端信息指示的像素?cái)?shù)目是亮度分量的像素?cái)?shù)目。
[0136]因此，在下文描述的解碼裝置中，當(dāng)基于左端信息、右端信息、上端信息和下端信息對構(gòu)成包裝圖像的期望圖像進(jìn)行裁切時(shí)，裁切區(qū)域的位置如圖8中所示。
[0137]就是說，如圖8中所示，當(dāng)以像素為單位的包裝圖像的左上位置是(0，0)時(shí)，以像素為單位的包裝圖像上的裁切區(qū)域的左上位置是(CropUnitX*picture_left_offset,CropUnitY*picture_top_off set),并且以像素為單位的包裝圖像上的右下位置是(ffidth-CropUnitX*picture_right_offset+1, CropUnitY氺picture_bottom_offset+l)。
[0138]這里，CropUnitX和CropUnitY是基于由SPS中包括的要解碼的圖像的格式信息指示的YUV400、YUV420、YUV422和YUV444等來確定的值。具體地，當(dāng)格式信息指示YUV400或YUV444時(shí)，CropUnitX和CropUnitY兩者均為I。當(dāng)格式信息指示YUV420時(shí)，CropUnitX和CropUnitY兩者均為2。當(dāng)格式信息指示YUV422時(shí)，CropUnitX是2而CropUnitY是I。
[0139](位置信息的另一示例)
[0140]圖9是圖示圖4的幀包裝SEI中包括的位置信息的語法的另一示例的示圖。
[0141]在圖9的示例中，位置信息是以碼塊為單位指示構(gòu)成包裝圖像的圖像在包裝圖像上的位置的信息，碼塊是HEVC標(biāo)準(zhǔn)中的并行編碼處理單位。具體地，圖9的位置信息是指示對于每個(gè)行在行方向(水平方向)上與碼塊對應(yīng)的圖像的圖片ID的信息。
[0142]例如，如圖10中所示，當(dāng)包裝圖像被分成四個(gè)碼塊，使得兩個(gè)碼塊均布置在水平方向和豎直方向上，并且包裝圖像是并排系統(tǒng)中的包裝圖像時(shí)，位置信息如下。
[0143]即，按光柵掃描順序向每個(gè)碼塊給出作為針對SPS或PPS設(shè)定的碼塊的唯一 ID的碼塊ID。因此，被給出O作為碼塊ID的碼塊是左上碼塊。因此，與具有碼塊ID O的碼塊對應(yīng)的圖像的圖片ID是包裝圖像的左半圖像的圖片ID(在圖10的示例中是O)。此外，被給出I作為碼塊ID的碼塊是右上碼塊。因此，與具有碼塊ID I的碼塊對應(yīng)的圖片ID是包裝圖像的右半圖像的圖片ID(在圖10的示例中是I)。
[0144]此外，被給出2作為碼塊ID的碼塊是左下碼塊。因此，與具有碼塊ID 2的碼塊對應(yīng)的圖像的圖片ID是包裝圖像的左半圖像的圖片ID(在圖10的示例中是O)。此外，被給出3作為碼塊ID的碼塊是右下碼塊。因此，與具有碼塊ID 3的碼塊對應(yīng)的圖片ID是包裝圖像的右半圖像的圖片ID(在圖10的示例中是I)。
[0145]因此，位置信息是指示包裝圖像的左半圖像的圖片ID作為與具有碼塊ID O和2的碼塊對應(yīng)的圖像的圖片ID，并且指示包裝圖像的右半圖像的圖片ID作為與具有碼塊IDI和3的碼塊對應(yīng)的圖像的圖片ID的信息。
[0146](位置信息的又一示例)
[0147]圖11是圖示圖4的幀包裝SEI中包括的位置信息的語法的又一示例的示圖。
[0148]在圖11的示例中，位置信息是以碼片為單位指示構(gòu)成包裝圖像的圖像在包裝圖像上的位置的信息。具體地，圖11的位置信息是指示關(guān)于每個(gè)碼片的碼片的圖像的圖片ID的信息。
[0149]例如，如圖12中所示，當(dāng)包裝圖像被分成四個(gè)碼片，并且包裝圖像是在頂?shù)紫到y(tǒng)中包裝的圖像時(shí)，位置信息如下。
[0150]就是說，從頂部起的第一和第二碼片的圖像的圖片ID是包裝圖像的上半圖像的圖片ID (在圖12的示例中是O)。此外，從頂部起的第三和第四碼片的圖像的圖片ID是包裝圖像的下半圖像的圖片ID(在圖12的示例中是I)。
[0151]因此，位置信息是指示包裝圖像的上半圖像的圖片ID作為從頂部起第一和第二碼片的圖像的圖片ID，并且指示包裝圖像的下半圖像的圖片ID作為從頂部起第三和第四碼片的圖像的圖片ID的信息。
[0152](幀包裝SEI的語法的另一示例)
[0153]圖13是圖示由圖1的設(shè)定單元3設(shè)定的幀包裝SEI的語法的另一示例的示圖。
[0154]在圖13的示例中，幀包裝SEI是如下獲得的幀包裝SEI，第2行中的裁切忽略標(biāo)志(frame_cropping_override_f lag)被加到 AVC 標(biāo)準(zhǔn)中的巾貞包裝 SEI (frame_packing_arrangement)。
[0155](SPS的語法的示例)
[0156]圖14是圖示由圖1的設(shè)定單元3設(shè)定的SPS的語法的一部分的示例的示圖。
[0157]如圖14的第13至18行中所示，指示在顯示相應(yīng)的圖像時(shí)裁切的裁切區(qū)域的裁切信息可以包括在SPS中。裁切信息是指示裁切區(qū)域的左端位置的裁切左端信息(pic_crop_left_offset)、指示右端位置的裁切右端信息(pic_crop_right_offset)、指示上端位置的裁切上端信息(pic_crop_top_offset)和指示下端位置的裁切下端信息(pic_crop_bottom_offset)。
[0158](編碼裝置的處理的描述)
[0159]圖15是描述圖1的編碼裝置I的生成處理的流程圖。
[0160]在圖15的步驟SI中，編碼裝置I的編碼單元2執(zhí)行在HEVC系統(tǒng)中對諸如作為輸入信號從外部輸入的以幀為單位的包裝圖像的圖像進(jìn)行編碼的編碼處理。下文將參照圖16和17描述編碼處理的細(xì)節(jié)。
[0161]在步驟S2中，設(shè)定單元3設(shè)定包括裁切信息的SPS。在步驟S3中，設(shè)定單元3設(shè)定PPS。在步驟S4中，設(shè)定單元3基于用戶對輸入單元(未示出)的操作等確定要編碼的圖像是否是包裝圖像。
[0162]當(dāng)在步驟S4中確定要編碼的圖像是包裝圖像時(shí)，在步驟S5中，設(shè)定單元3設(shè)定包括I作為幀包裝標(biāo)志的VUI。在步驟S6中，設(shè)定單元3設(shè)定諸如幀包裝SEI的SEI，并且使處理前進(jìn)到步驟S8。
[0163]同時(shí)，當(dāng)在步驟S4中確定要編碼的圖像不是包裝圖像時(shí)，在步驟S7中，設(shè)定單元3設(shè)定包括O作為幀包裝標(biāo)志的VUI。此外，設(shè)定單元3在必要時(shí)設(shè)定幀包裝SEI以外的SEI，并且使處理前進(jìn)到步驟S8。
[0164]在步驟S8中，設(shè)定單元3從所設(shè)定的SPS、PPS、VUI和SEI以及從編碼單元2提供的編碼數(shù)據(jù)生成編碼流。設(shè)定單元3將編碼流提供給傳送單元4。
[0165]在步驟S9中，傳送單元4將從設(shè)定單元3提供的編碼流傳送到下文描述的解碼裝置，并且終止處理。
[0166]圖16和17是描述圖15的步驟SI的編碼處理的細(xì)節(jié)的流程圖。
[0167]在圖16的步驟Sll中，編碼單元2的Α/D轉(zhuǎn)換單元11對作為輸入信號輸入的以幀為單位的圖像應(yīng)用Α/D轉(zhuǎn)換，并且將經(jīng)轉(zhuǎn)換的圖像輸出到畫面重排緩沖器12并且存儲(chǔ)在其中。
[0168]在步驟S12中，畫面重排緩沖器12根據(jù)GOP結(jié)構(gòu)將按顯示順序存儲(chǔ)的幀的圖像重排為用于編碼的順序。畫面重排緩沖器12以幀為單位將經(jīng)重排的圖像提供給計(jì)算單元13、幀內(nèi)預(yù)測單元24和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25。注意，下文的步驟S13至S28的處理以編碼單位(CU)來執(zhí)行。
[0169]在步驟S13中，幀內(nèi)預(yù)測單元24執(zhí)行所有候選幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理。此夕卜，幀內(nèi)預(yù)測單元24基于從畫面重排緩沖器12讀取的圖像和作為幀內(nèi)預(yù)測處理的結(jié)果而生成的預(yù)測圖像，計(jì)算所有候選幀內(nèi)預(yù)測模式的成本函數(shù)值。幀內(nèi)預(yù)測單元24隨后將具有最小成本函數(shù)值的幀內(nèi)預(yù)測模式確定為最優(yōu)幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元24將在最優(yōu)幀內(nèi)預(yù)測模式中生成的預(yù)測圖像和相應(yīng)的成本函數(shù)值提供給預(yù)測圖像選擇單元26。
[0170]此外，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25執(zhí)行所有候選幀間預(yù)測模式的運(yùn)動(dòng)預(yù)測/補(bǔ)償處理。此外，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像和預(yù)測圖像計(jì)算所有候選幀間預(yù)測模式的成本函數(shù)值，并且將具有最小成本函數(shù)值的幀間預(yù)測模式確定為最優(yōu)幀間預(yù)測模式。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25隨后將最優(yōu)幀間預(yù)測模式的成本函數(shù)值和相應(yīng)的預(yù)測圖像提供給預(yù)測圖像選擇單元26。[0171 ] 在步驟S14中，預(yù)測圖像選擇單元26基于通過步驟S13的處理從幀內(nèi)預(yù)測單元24和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25提供的成本函數(shù)值將具有較小的成本函數(shù)值的最優(yōu)幀內(nèi)預(yù)測模式或最優(yōu)幀間預(yù)測模式確定為最優(yōu)預(yù)測模式。預(yù)測圖像選擇單元26隨后將最優(yōu)預(yù)測模式的預(yù)測圖像提供給計(jì)算單元13和加法單元20。
[0172]在步驟S15中，預(yù)測圖像選擇單元26確定最優(yōu)預(yù)測模式是否是最優(yōu)幀間預(yù)測模式。當(dāng)在步驟S15中確定最優(yōu)預(yù)測模式是最優(yōu)幀間預(yù)測模式時(shí)，預(yù)測圖像選擇單元26向運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25通知在最優(yōu)幀間預(yù)測模式中生成的預(yù)測圖像的選擇。據(jù)此，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25將幀間預(yù)測模式信息、相應(yīng)的運(yùn)動(dòng)向量和用于識(shí)別參考圖像的信息輸出到無損編碼單元16。
[0173]隨后，在步驟S16中，無損編碼單元16對作為編碼信息從運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25提供的幀間預(yù)測模式信息、運(yùn)動(dòng)向量和用于識(shí)別參考圖像的信息應(yīng)用無損編碼。處理隨后前往步驟S18。
[0174]同時(shí)，當(dāng)在步驟S15中確定最優(yōu)預(yù)測模式不是最優(yōu)幀間預(yù)測模式，即最優(yōu)預(yù)測模式是最優(yōu)幀內(nèi)預(yù)測模式時(shí)，預(yù)測圖像選擇單元26向幀內(nèi)預(yù)測單元24通知在最優(yōu)幀內(nèi)預(yù)測模式中生成的預(yù)測圖像的選擇。據(jù)此，幀內(nèi)預(yù)測單元24將幀內(nèi)預(yù)測模式信息提供給無損編碼單元16。
[0175]隨后，在步驟S17中，無損編碼單元16對作為編碼信息從幀內(nèi)預(yù)測單元24提供的幀內(nèi)預(yù)測模式信息應(yīng)用無損編碼。處理隨后前往步驟S18。
[0176]在步驟S18中，計(jì)算單元13通過從畫面重排緩沖器12提供的圖像中減去從預(yù)測圖像選擇單元26提供的預(yù)測圖像來執(zhí)行編碼。計(jì)算單元13將作為編碼結(jié)果而獲得的圖像輸出到正交變換單元14作為殘差信息。
[0177]在步驟S19中，正交變換單元14對來自計(jì)算單元13的殘差信息應(yīng)用正交變換，并且將作為正交變換的結(jié)果而獲得的系數(shù)提供給量化單元15。
[0178]在步驟S20中，量化單元15對從正交變換單元14提供的系數(shù)進(jìn)行量化。經(jīng)量化的系數(shù)被輸入到無損編碼單元16和逆量化單元18。
[0179]在步驟S21中，無損編碼單元16針對從量化單元15提供的經(jīng)量化的系數(shù)應(yīng)用無損編碼。無損編碼單元16隨后從在步驟S16和S17的處理中的經(jīng)無損編碼的編碼信息和經(jīng)無損編碼的系數(shù)生成編碼數(shù)據(jù)。
[0180]在圖17的步驟S22中，無損編碼單元16將編碼數(shù)據(jù)提供給積累緩沖器17并且在其中積累編碼數(shù)據(jù)。
[0181]在步驟S23中，積累緩沖器17將積累的編碼數(shù)據(jù)輸出到圖1的設(shè)定單元3。
[0182]在步驟S24中，逆量化單元18對從量化單元15提供的經(jīng)量化的系數(shù)進(jìn)行逆量化。
[0183]在步驟S25中，逆正交變換單元19對從逆量化單元18提供的系數(shù)應(yīng)用逆正交變換，并且將作為逆正交變換的結(jié)果而獲得的殘差信息提供給加法單元20。
[0184]在步驟S26中，加法單元20使從逆正交變換單元19提供的殘差信息與從預(yù)測圖像選擇單元26提供的預(yù)測圖像相加，并且獲得局部解碼圖像。加法單元20將所獲得的圖像提供給解塊濾波器21和幀存儲(chǔ)器22。
[0185]在步驟S27中，解塊濾波器21通過對從加法單元20提供的局部解碼圖像進(jìn)行濾波來去除塊失真，并且將圖像提供給幀存儲(chǔ)器22。
[0186]在步驟S28中，幀存儲(chǔ)器22積累濾波之前和之后的圖像。具體地，幀存儲(chǔ)器22積累從加法單元20提供的圖像以及從解塊濾波器21提供的圖像。在幀存儲(chǔ)器22中積累的圖像通過開關(guān)23被輸出到幀內(nèi)預(yù)測單元24或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25作為參考圖像。隨后處理返回圖15的步驟SI，并且前往步驟S2。
[0187]注意，為了簡化描述，在圖16和17的編碼處理中，總是執(zhí)行幀內(nèi)預(yù)測處理和運(yùn)動(dòng)預(yù)測/補(bǔ)償處理。然而，事實(shí)上，根據(jù)圖片類型等可以僅執(zhí)行它們中的一個(gè)。
[0188]如上文所述，編碼裝置I設(shè)定幀包裝SEI和幀包裝標(biāo)志，并且連同編碼數(shù)據(jù)一起傳送包裝圖像。因此，當(dāng)幀包裝標(biāo)志是1，即裁切忽略標(biāo)志是I時(shí)，解碼并顯示包裝圖像的編碼流的解碼裝置可以優(yōu)先使用幀包裝SEI并且顯示構(gòu)成包裝圖像的期望圖像。因此，可以這樣說，編碼裝置I可以生成包裝圖像的編碼流以便在解碼并顯示包裝圖像的編碼流時(shí)可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0189](解碼裝置的第一實(shí)施例的配置示例)
[0190]圖18是圖示被應(yīng)用本技術(shù)的解碼裝置的第一實(shí)施例的配置示例的框圖，該解碼裝置對從圖1的編碼裝置I傳送的編碼流進(jìn)行解碼。
[0191]圖18的解碼裝置50由接收單元51、提取單元52、解碼單元53、控制單元54、顯示控制單元55和顯示單元56構(gòu)成。
[0192]解碼裝置50的接收單元51接收從圖1的編碼裝置I傳送的編碼流，并且將編碼流提供給提取單元52。提取單元52從接收單元51提供的編碼流中提取SPS、PPS、VU1、SE1、編碼數(shù)據(jù)等。提取單元52將編碼數(shù)據(jù)提供給解碼單元53。此外，提取單元52還按照需要將SPS、PPS、VU1、SEI等提供給解碼單元53和控制單元54。
[0193]解碼單元53按照需要引用從提取單元52提供的SPS、PPS、VU1、SEI等，并且在HEVC系統(tǒng)中對從提取單元52提供的編碼數(shù)據(jù)進(jìn)行解碼。解碼單元53將作為解碼的結(jié)果而獲得的諸如包裝圖像的圖像提供給控制單元54作為輸出信號。
[0194]控制單元54按照需要基于從提取單元52提供的SPS、PPS、VU1、SEI等識(shí)別構(gòu)成從解碼單元53提供的包裝圖像的圖像作為輸出信號?？刂茊卧?4隨后將作為輸出信號的包裝圖像以及識(shí)別構(gòu)成包裝圖像的圖像的信息提供給顯示控制單元55。控制單元54隨后將并非包裝圖像的作為輸出信號的圖像以及SPS中包括的裁切信息提供給顯示控制單元55。
[0195]顯示控制單元55基于從控制單元54提供的識(shí)別構(gòu)成包裝圖像的圖像的信息以及從顯示單元56通知的顯示方法，執(zhí)行作為輸出信號從控制單元54提供的包裝圖像的裁切、放大、縮小等，并且生成顯示圖像。此外，顯示控制單元55基于從控制單元54提供的裁切信息，執(zhí)行作為輸出信號從控制單元54提供的非包裝圖像的裁切、放大、縮小等，并且生成顯示圖像。顯示控制單元55將所生成的顯示圖像提供給顯示單元56，并且在其中顯示圖像。
[0196]顯示單元56顯示從顯示控制單元55提供的顯示圖像。此外，顯示單元56向顯示控制單元55通知預(yù)先設(shè)定的顯示方法或者由預(yù)先設(shè)定的顯示方法的用戶指定的顯示方法。
[0197](解碼單元的配置示例)
[0198]圖19是圖示圖18的解碼單元53的配置示例的框圖。
[0199]圖19的解碼單元53由積累緩沖器101、無損解碼單元102、逆量化單元103、逆正交變換單元104、加法單元105、解塊濾波器106、畫面重排緩沖器107、D/A轉(zhuǎn)換單元108、幀存儲(chǔ)器109、開關(guān)110、幀內(nèi)預(yù)測單元111、運(yùn)動(dòng)補(bǔ)償單元112和開關(guān)113構(gòu)成。
[0200]解碼單元53的積累緩沖器101從圖18的提取單元52接收編碼數(shù)據(jù)并且積累編碼數(shù)據(jù)。積累緩沖器101將積累的編碼數(shù)據(jù)提供給無損解碼單元102。
[0201]無損解碼單元102對來自積累緩沖器101的編碼數(shù)據(jù)應(yīng)用無損解碼，諸如可變長度解碼和算術(shù)解碼，以獲得經(jīng)量化的系數(shù)和編碼信息。無損解碼單元102將經(jīng)量化的系數(shù)提供給逆量化單元103。此外，無損解碼單元102將作為編碼信息的幀內(nèi)預(yù)測模式信息等提供給幀內(nèi)預(yù)測單元111，并且將運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息、幀間預(yù)測模式信息等提供給運(yùn)動(dòng)補(bǔ)償單元112。此外，無損解碼單元102將作為編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息提供給開關(guān)113。
[0202]逆量化單元103、逆正交變換單元104、加法單元105、解塊濾波器106、幀存儲(chǔ)器109、開關(guān)110、幀內(nèi)預(yù)測單元111和運(yùn)動(dòng)補(bǔ)償單元112分別執(zhí)行與圖2的逆量化單元18、逆正交變換單元19、加法單元20、解塊濾波器21、幀存儲(chǔ)器22、開關(guān)23、幀內(nèi)預(yù)測單元24和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25相似的處理，從而對圖像解碼。
[0203]具體地，逆量化單元103對來自無損解碼單元102的經(jīng)量化的系數(shù)進(jìn)行逆量化，并且將作為逆量化的結(jié)果而獲得的系數(shù)提供給逆正交變換單元104。
[0204]逆正交變換單元104對來自逆量化單元103的系數(shù)應(yīng)用逆正交變換，并且將作為逆正交變換的結(jié)果而獲得的殘差信息提供給加法單元105。
[0205]加法單元105通過使作為從逆正交變換單元104提供的要解碼的圖像的殘差信息與從開關(guān)113提供的預(yù)測圖像相加來執(zhí)行解碼。加法單元105將作為解碼的結(jié)果而獲得的圖像提供給解塊濾波器106，并且提供給幀存儲(chǔ)器109。注意，當(dāng)未從開關(guān)113提供預(yù)測圖像時(shí)，加法單元105將作為從逆正交變換單元104提供的殘差信息的圖像提供給解塊濾波器106當(dāng)作作為解碼的結(jié)果而獲得的圖像，并且提供給幀存儲(chǔ)器109并在其中積累圖像。
[0206]解塊濾波器106通過對從加法單元105提供的圖像進(jìn)行濾波來去除塊失真。解塊濾波器106將作為濾波的結(jié)果而獲得的圖像提供給幀存儲(chǔ)器109并且在其中積累圖像，并且將圖像提供給畫面重排緩沖器107。通過開關(guān)110讀取在幀存儲(chǔ)器109中積累的圖像作為參考圖像，并且將其提供給運(yùn)動(dòng)補(bǔ)償單元112或幀內(nèi)預(yù)測單元111。
[0207]畫面重排緩沖器107以幀為單位存儲(chǔ)從解塊濾波器106提供的圖像。畫面重排緩沖器107將以幀為單位按照編碼順序存儲(chǔ)的圖像重排為原始顯示順序，并且將圖像提供給D/Α轉(zhuǎn)換單元108。
[0208]D/Α轉(zhuǎn)換單元108對從畫面重排緩沖器107提供的以幀為單位的圖像應(yīng)用D/Α轉(zhuǎn)換，并且將圖像輸出到圖18的控制單元54作為輸出信號。
[0209]幀內(nèi)預(yù)測單元111使用通過開關(guān)110從幀存儲(chǔ)器109讀取的沒有在解塊濾波器106中濾波的參考圖像，以碼塊和碼片為單位在從無損解碼單元102提供的幀內(nèi)預(yù)測模式信息指示的幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。幀內(nèi)預(yù)測單元111將作為幀內(nèi)預(yù)測處理的結(jié)果而生成的預(yù)測圖像提供給開關(guān)113。
[0210]運(yùn)動(dòng)補(bǔ)償單元112以碼塊和碼片為單位，基于從無損解碼單元102提供的用于識(shí)別參考圖像的信息，通過開關(guān)110從幀存儲(chǔ)器109讀取在解塊濾波器106中濾波的參考圖像。運(yùn)動(dòng)補(bǔ)償單元112使用運(yùn)動(dòng)向量和參考圖像在幀間預(yù)測模式信息指示的最優(yōu)幀間預(yù)測模式中執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元112將作為運(yùn)動(dòng)補(bǔ)償處理的結(jié)果而生成的預(yù)測圖像提供給開關(guān)113。
[0211]當(dāng)從無損解碼單元102提供幀內(nèi)預(yù)測模式信息時(shí)，開關(guān)113將從幀內(nèi)預(yù)測單元111提供的預(yù)測模式提供給加法單元105。同時(shí)，當(dāng)從無損解碼單元102提供幀間預(yù)測模式信息時(shí)，開關(guān)113將從運(yùn)動(dòng)補(bǔ)償單元112提供的預(yù)測模式提供給加法單元105。
[0212](解碼裝置的處理的描述)
[0213]圖20是描述圖18的解碼裝置50的顯示處理的流程圖。
[0214]在圖20的步驟S50中，解碼裝置50的接收單元51接收從圖1的編碼裝置I傳送的編碼流，并且將編碼流提供給提取單元52。
[0215]在步驟S51中，提取單元52從接收單元51提供的編碼流中提取SPS、PPS、VU1、SE1、編碼數(shù)據(jù)等。提取單元52將編碼數(shù)據(jù)提供給解碼單元53。此外，提取單元52還按照需要將SPS、PPS、VU1、SEI等提供給解碼單元53和控制單元54。
[0216]在步驟S52中，解碼單元53按照需要引用從提取單元52提供的SPS、PPS、VU1、SE1、編碼數(shù)據(jù)等，并且對從提取單元52提供的編碼數(shù)據(jù)應(yīng)用在HEVC系統(tǒng)中執(zhí)行解碼的解碼處理。將參照下文描述的圖21描述解碼處理的細(xì)節(jié)。
[0217]在步驟S53中，控制單元54確定從提取單元52提供的VUI中包括的幀包裝標(biāo)志是否是I。當(dāng)在步驟S53中確定幀包裝標(biāo)志是I時(shí)，控制單元54確定從解碼單元53提供的輸出信號是包裝圖像。
[0218]隨后，在步驟S54中，控制單元54確定從提取單元52提供的幀包裝SEI中包括的裁切忽略標(biāo)志是否是I。當(dāng)在步驟S54中確定裁切忽略標(biāo)志是I時(shí)，在步驟S55中，控制單元54基于幀包裝SEI中包括的類型信息和位置信息識(shí)別構(gòu)成包裝圖像的圖像?？刂茊卧?4隨后將識(shí)別構(gòu)成包裝圖像的圖像的信息和輸出信號提供給顯示控制單元55。
[0219]在步驟S56中，顯示控制單元55獲取從顯示單元56通知的顯示方法。在步驟S57中，顯示控制單元55基于顯示方法和識(shí)別構(gòu)成包裝圖像的圖像的信息，裁切構(gòu)成包裝圖像的圖像中的期望圖像并且按照需要執(zhí)行放大、縮小等，并且獲得顯示圖像。
[0220]例如，當(dāng)輸出信號是3D顯示包裝圖像時(shí)，控制單元54基于幀包裝SEI中包括的類型信息、位置信息等識(shí)別構(gòu)成包裝圖像的左眼圖像和右眼圖像。當(dāng)顯示方法是2D顯示時(shí)，顯示控制單元55例如從包裝圖像裁切左眼圖像，并且采用該圖像作為顯示圖像。同時(shí)，當(dāng)顯示方法是3D顯示時(shí)，顯示控制單元55從包裝圖像裁切左眼圖像和右眼圖像，并且采用這些圖像作為顯示圖像。處理隨后前往步驟S59。
[0221]同時(shí)，當(dāng)在步驟S53中確定幀包裝標(biāo)志不是I時(shí)，或者當(dāng)在步驟S54中確定裁切忽略標(biāo)志不是I時(shí)，控制單元54確定輸出信號不是包裝圖像?？刂茊卧?4隨后將輸出信號和SPS中包括的裁切信息提供給顯示控制單元55。在步驟S58中，顯示控制單元55基于裁切信息對圖像進(jìn)行裁切作為輸出信號，按照需要執(zhí)行放大、縮小等，并且采用該圖像作為顯示圖像。處理隨后前往步驟S59。
[0222]在步驟S59中，顯示控制單元55通過將所生成的顯示圖像提供給顯示單元56在顯示單元56中對顯示圖像進(jìn)行顯示。
[0223]圖21是描述圖20的步驟S52的解碼處理的細(xì)節(jié)的流程圖。
[0224]在圖21的步驟SlOl中，解碼單元53的積累緩沖器101從圖18的提取單元52以幀為單位接收編碼數(shù)據(jù)，并且積累編碼數(shù)據(jù)。積累緩沖器101將積累的編碼數(shù)據(jù)提供給無損解碼單元102。注意，從步驟S102至SllO的處理以⑶為單位執(zhí)行。
[0225]在步驟S102中，無損解碼單元102對來自積累緩沖器101的編碼數(shù)據(jù)應(yīng)用無損解碼，并且獲得經(jīng)量化的系數(shù)和編碼信息。無損解碼單元102將經(jīng)量化的系數(shù)提供給逆量化單元103。此外，無損解碼單元102將作為編碼信息的幀內(nèi)預(yù)測模式信息等提供給幀內(nèi)預(yù)測單元111，并且將運(yùn)動(dòng)向量、幀間預(yù)測模式信息、用于識(shí)別參考圖像的信息等提供給運(yùn)動(dòng)補(bǔ)償單元112。此外，無損解碼單元102將作為編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息提供給開關(guān)113。
[0226]在步驟S103中，逆量化單元103對來自無損解碼單元102的經(jīng)量化的系數(shù)進(jìn)行逆量化，并且將作為逆量化的結(jié)果而獲得的系數(shù)提供給逆正交變換單元104。
[0227]在步驟S104中，運(yùn)動(dòng)補(bǔ)償單元112確定是否已從無損解碼單元102提供幀間預(yù)測模式信息。當(dāng)在步驟S104中確定已提供幀間預(yù)測模式信息時(shí)，處理前往步驟S105。
[0228]在步驟S105中，運(yùn)動(dòng)補(bǔ)償單元112基于從無損解碼單元102提供的運(yùn)動(dòng)向量、幀間預(yù)測模式信息和用于識(shí)別參考圖像的信息，讀取在解塊濾波器106中濾波的參考圖像，并且執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元112將作為運(yùn)動(dòng)補(bǔ)償處理的結(jié)果而生成的預(yù)測圖像通過開關(guān)113提供給加法單元105，并且使處理前往步驟S107。
[0229]同時(shí)，當(dāng)在步驟S104中確定未提供幀間預(yù)測模式信息時(shí)，就是說，當(dāng)幀內(nèi)預(yù)測模式信息已被提供給幀內(nèi)預(yù)測單元111時(shí)，處理前往步驟S106。
[0230]在步驟S106中，幀內(nèi)預(yù)測單元111使用通過開關(guān)110從幀存儲(chǔ)器109讀取的沒有在解塊濾波器106中濾波的參考圖像，在幀內(nèi)預(yù)測模式信息指示的幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。幀內(nèi)預(yù)測單元111將作為幀內(nèi)預(yù)測處理的結(jié)果而生成的預(yù)測圖像通過開關(guān)113提供給加法單元105，并且使處理前往步驟S107。
[0231 ] 在步驟S107中，逆正交變換單元104對來自逆量化單元103的系數(shù)應(yīng)用逆正交變換，并且將作為逆正交變換的結(jié)果而獲得的殘差信息提供給加法單元105。
[0232]在步驟S108中，加法單元105使從逆正交變換單元104提供的殘差信息與從開關(guān)113提供的預(yù)測圖像相加。加法單元105將作為加法的結(jié)果而獲得的圖像提供給解塊濾波器106，并且提供給幀存儲(chǔ)器109。
[0233]在步驟S109中，解塊濾波器106對從加法單元105提供的圖像進(jìn)行濾波以去除塊失真。解塊濾波器106將經(jīng)濾波的圖像提供給幀存儲(chǔ)器109。
[0234]在步驟SllO中，幀存儲(chǔ)器109積累從加法單元105提供的濾波之前的圖像，以及從解塊濾波器106提供的濾波之后的圖像。在幀存儲(chǔ)器109中積累的圖像通過開關(guān)110被提供給運(yùn)動(dòng)補(bǔ)償單元112或幀內(nèi)預(yù)測單元111作為參考圖像。
[0235]在步驟Slll中，畫面重排緩沖器107以幀為單位存儲(chǔ)從解塊濾波器106提供的圖像，將按照編碼順序存儲(chǔ)的圖像重排為原始顯示順序，并且將圖像提供給D/Α轉(zhuǎn)換單元108。
[0236]在步驟SI 12中，D/Α轉(zhuǎn)換單元108對從畫面重排緩沖器107提供的以幀為單位的圖像應(yīng)用D/Α轉(zhuǎn)換，并且將圖像提供給圖18的控制單元54作為輸出信號。隨后處理返回圖20的步驟S52，并且前往步驟S53。
[0237]如上文所述，解碼裝置50對編碼數(shù)據(jù)解碼以生成包裝圖像，并且當(dāng)幀包裝標(biāo)志是I時(shí)，即當(dāng)裁切忽略標(biāo)志是I時(shí)，基于幀包裝SEI識(shí)別構(gòu)成包裝圖像的圖像。因此，在解碼并顯示包裝圖像的編碼流時(shí)，解碼裝置50可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0238]此外，解碼裝置50可以識(shí)別構(gòu)成包裝圖像的圖像。因此，解碼裝置50側(cè)可以根據(jù)顯示方法等確定要顯示的期望圖像。
[0239]注意，在幀包裝SEI中可以不包括裁切忽略標(biāo)志。在該情況下，當(dāng)幀包裝標(biāo)志是I時(shí)，解碼裝置忽略裁切信息，并且基于幀包裝SEI識(shí)別構(gòu)成包裝圖像的圖像。
[0240]此外，當(dāng)幀包裝標(biāo)志是I時(shí)，不使用SEI的解碼裝置基于裁切信息執(zhí)行裁切。注意，當(dāng)幀包裝標(biāo)志是I時(shí)，不使用SEI的解碼裝置可以引用幀包裝SEI。在該情況下，沒有必要在SPS中包括裁切信息。
[0241]幀包裝標(biāo)志可以包括在另一 NAL單元中，諸如SPS，而非VUI。此外，構(gòu)成包裝圖像的圖像的數(shù)目可以是3或更多。例如，包裝圖像可以是電視會(huì)議系統(tǒng)中的會(huì)議參與者的圖像的包裝圖像。
[0242]此外，當(dāng)幀包裝SEI中包括的位置信息是圖9和11中所示的位置信息時(shí)，可以不設(shè)定圖像數(shù)目信息。
[0243]<第二實(shí)施例>
[0244](編碼裝置的第二實(shí)施例的配置示例)
[0245]圖22是圖示被應(yīng)用本技術(shù)的編碼裝置的第二實(shí)施例的配置示例的框圖。
[0246]圖22中所示的配置中的與圖1的配置相同的配置由相同的附圖標(biāo)記表示。適當(dāng)?shù)厥÷粤酥丿B描述部分的描述。
[0247]圖22的編碼裝置120的配置與圖1的配置的不同之處在于，提供編碼單元121代替編碼單元2，并且提供設(shè)定單元122代替設(shè)定單元3。編碼裝置120生成包裝圖像的編碼流，使得包裝圖像的編碼流包括2D兼容幀包裝SEI，其是用于包括與2D圖像的編碼流的兼容性的幀包裝SEI。
[0248]該2D兼容幀包裝SEI是在解碼裝置中顯示包裝圖像時(shí)在裁切信息之前應(yīng)用的SEI，并且是指示要忽略裁切信息的SEI。就是說，2D兼容幀包裝SEI是在顯示包裝圖像時(shí)較之裁切信息優(yōu)先使用的SEI。
[0249]諸如以幀為單位的包裝圖像的圖像等被輸入到編碼裝置120的編碼單元121作為輸入信號。編碼單元121在HEVC系統(tǒng)中對輸入信號編碼，并且將作為編碼的結(jié)果而獲得的編碼數(shù)據(jù)提供給設(shè)定單元122。注意，盡管下文將描述細(xì)節(jié)，但是編碼單元2和編碼單元121具有應(yīng)用于局部解碼圖像的不同的濾波類型。
[0250]設(shè)定單元122設(shè)定SEI，諸如圖14中所示的SPS、PPS,2D兼容幀包裝SEI等。設(shè)定單元122從SPS、PPS、SEI等以及從編碼單元121提供的編碼數(shù)據(jù)生成編碼流。設(shè)定單元122將編碼流提供給傳送單元4。
[0251](編碼單元的配置示例)
[0252]圖23是圖示圖22的編碼單元121的配置示例的框圖。
[0253]圖23中所示的配置中的與圖2的配置相同的配置由相同的附圖標(biāo)記表示。適當(dāng)?shù)厥÷粤酥丿B描述部分的描述。
[0254]圖23的編碼單元121的配置與圖2的配置的不同之處在于，新提供了自適應(yīng)偏移濾波器141和自適應(yīng)環(huán)路濾波器142，并且提供無損編碼單元143代替無損編碼單元16。
[0255]編碼單元121不僅利用解塊濾波器21將濾波(以下稱為自適應(yīng)解塊濾波處理)應(yīng)用于局部解碼圖像，而且還利用自適應(yīng)偏移濾波器141和自適應(yīng)環(huán)路濾波器142將濾波應(yīng)用于局部解碼圖像。
[0256]具體地，自適應(yīng)偏移濾波器141將主要去除振鈴效應(yīng)的自適應(yīng)偏移濾波(樣本自適應(yīng)偏移(SAO))處理應(yīng)用于解塊濾波器21的自適應(yīng)解塊濾波處理之后的圖像。
[0257]具體地，自適應(yīng)偏移濾波器141確定關(guān)于作為最大的編碼單位的每個(gè)最大編碼單位(IXU)的自適應(yīng)偏移濾波處理的類型，并且獲得用于自適應(yīng)偏移濾波處理的偏移。自適應(yīng)偏移濾波器141使用所獲得的偏移將所確定的類型的自適應(yīng)偏移濾波處理應(yīng)用于自適應(yīng)解塊濾波處理之后的圖像。自適應(yīng)偏移濾波器141隨后將自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器142。
[0258]此外，自適應(yīng)偏移濾波器141包括存儲(chǔ)偏移的緩沖器。自適應(yīng)偏移濾波器141針對每個(gè)LCU確定自適應(yīng)解塊濾波處理中使用的偏移是否已存儲(chǔ)在緩沖器中。
[0259]當(dāng)確定自適應(yīng)解塊濾波處理中使用的偏移已存儲(chǔ)在緩沖器中時(shí)，自適應(yīng)偏移濾波器141將指示偏移已被存儲(chǔ)在緩沖器中的存儲(chǔ)標(biāo)志設(shè)定為指示偏移已被存儲(chǔ)在緩沖器中的值(這里是I)。
[0260]隨后自適應(yīng)偏移濾波器141針對每個(gè)LCU將設(shè)定為I的存儲(chǔ)標(biāo)志、指示偏移在緩沖器中的存儲(chǔ)位置的索引、以及指示所應(yīng)用的自適應(yīng)偏移濾波處理的類型的類型信息提供給無損編碼單元143。
[0261]同時(shí)，當(dāng)自適應(yīng)解塊濾波處理中使用的偏移未存儲(chǔ)在緩沖器中時(shí)，自適應(yīng)偏移濾波器141按照順序?qū)⑵拼鎯?chǔ)在緩沖器中。此外，自適應(yīng)偏移濾波器141將存儲(chǔ)標(biāo)志設(shè)定為指示偏移未被存儲(chǔ)在緩沖器中的值(這里是O)。隨后自適應(yīng)偏移濾波器141針對每個(gè)LCU將設(shè)定為O的存儲(chǔ)標(biāo)志、偏移、類型信息提供給無損編碼單元143。
[0262]例如，自適應(yīng)環(huán)路濾波器142針對每個(gè)IXU將自適應(yīng)環(huán)路濾波(ALF)處理應(yīng)用于從自適應(yīng)偏移濾波器141提供的經(jīng)自適應(yīng)偏移濾波處理之后的圖像。作為自適應(yīng)環(huán)路濾波處理，使用利用二維維納(Wiener)濾波器的處理。顯然，可以使用維納濾波器以外的濾波器。
[0263]具體地，針對每個(gè)IXU，自適應(yīng)環(huán)路濾波器142計(jì)算在自適應(yīng)環(huán)路濾波處理中使用的濾波器系數(shù)，使得作為從畫面重排緩沖器12輸出的圖像的原始圖像和自適應(yīng)環(huán)路濾波處理之后的圖像之間的殘差最小。隨后自適應(yīng)環(huán)路濾波器142針對每個(gè)IXU使用所計(jì)算的濾波器系數(shù)將自適應(yīng)環(huán)路濾波處理應(yīng)用于自適應(yīng)偏移濾波處理之后的圖像。
[0264]自適應(yīng)環(huán)路濾波器142將自適應(yīng)環(huán)路濾波處理之后的圖像提供給幀存儲(chǔ)器22。此夕卜，自適應(yīng)環(huán)路濾波器142將濾波器系數(shù)提供給無損編碼單元143。
[0265]注意，這里，針對每個(gè)IXU執(zhí)行自適應(yīng)環(huán)路濾波處理。然而，自適應(yīng)環(huán)路濾波處理的處理單位不限于LCU。注意，通過使自適應(yīng)偏移濾波器141和自適應(yīng)環(huán)路濾波器142的處理單位均勻，可以高效地執(zhí)行處理。
[0266]與圖2的無損編碼單元16相似，無損編碼單元143從幀內(nèi)預(yù)測單元24獲取幀內(nèi)預(yù)測模式信息，并且從運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25獲取幀間預(yù)測模式信息、運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息等。此外，無損編碼單元143從自適應(yīng)偏移濾波器141獲取存儲(chǔ)標(biāo)志、索引或偏移以及類型信息，作為偏移濾波器信息，并且從自適應(yīng)環(huán)路濾波器142獲取濾波器系數(shù)。
[0267]與無損編碼單元16相似，無損編碼單元143對從量化單元15提供的經(jīng)量化的系數(shù)應(yīng)用無損編碼。此外，無損編碼單元143針對幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息、運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息、偏移濾波器信息和濾波器系數(shù)應(yīng)用無損編碼，作為編碼信息。無損編碼單元16將經(jīng)無損編碼的編碼信息和系數(shù)提供給積累緩沖器17作為編碼數(shù)據(jù)，并且在其中積累數(shù)據(jù)。注意，經(jīng)無損編碼的編碼信息可以用作經(jīng)無損編碼的系數(shù)的報(bào)頭信息。
[0268](2D兼容幀包裝SEI的語法的示例)
[0269]圖24是圖示圖22的設(shè)定單元122設(shè)定的2D兼容幀包裝SEI的示例的示圖。
[0270]圖24的第2至4行的描述對應(yīng)于AVC標(biāo)準(zhǔn)中的幀包裝SEI，即圖13的幀包裝SEI中的圖13的第3至5行的描述，其中沒有第2行的描述。
[0271]此外，圖24的第5行的2Dcomp_FPA_type對應(yīng)于AVC標(biāo)準(zhǔn)中的幀包裝SEI中的frame_packing_arrangement_type (圖13的第6行)。注意，如下文所述，可描述為2Dcomp_FPA_type的模式信息是可描述為frame_packing_arrangement_type的模式信息的一部分。
[0272]圖24的第6至11行的描述對應(yīng)于AVC標(biāo)準(zhǔn)中的幀包裝SEI中的圖13的第8、第9和第13至20行的描述。在圖24的第12至15行中描述了位置信息。
[0273]在圖24的示例中，位置信息由針對構(gòu)成包裝圖像的每個(gè)圖像描述的圖像的上端信息(top_posit1n_frame)、圖像的左端信息(left_posit1n_frame)、圖像的下端信息(bottom_posit1n_frame)和圖像的右端信息(right_posit1n_frame)構(gòu)成。
[0274]圖24的第17至21行的描述對應(yīng)于圖13的第21至25行。
[0275]如上文所述，圖24的2D兼容幀包裝SEI與AVC系統(tǒng)中的幀包裝SEI的不同之處在于，frame_packing_arrangement_type 變?yōu)?2Dcomp_FPA_type, quincunx_sampling_flag (圖 13 的第 7 行)、field_pictures_flag (field_view_flag)(圖 13 的第 11 行)和current_frame_is_frameO_flag(圖 13 的第 12 行)未被描述。
[0276](2D兼容幀包裝SEI的改變原因的描述)
[0277]圖25A和25B是描述2D兼容幀包裝SEI相對于AVC系統(tǒng)中的幀包裝SEI的改變原因的示圖。
[0278]注意，圖25A和25B中的標(biāo)有十字的方形表不左眼圖像的像素，并且標(biāo)有圓形的方形表示右眼圖像的像素。此外，在圖25A和25B的示例中，包裝圖像和顯示圖像由12X8個(gè)像素構(gòu)成。
[0279]這里，作為AVC系統(tǒng)中的模式信息，除了并排模式、頂?shù)啄Ｊ街?，存在棋盤模式、交錯(cuò)模式、幀順序模式。
[0280]棋盤模式是用于通過在行方向上和列方向上交替排列左眼像素和右眼像素在棋盤系統(tǒng)中執(zhí)行包裝的模式。交錯(cuò)模式是用于通過隔行或隔列排列左眼像素和右眼像素在交錯(cuò)系統(tǒng)中執(zhí)行包裝的模式。幀順序模式是用于通過以時(shí)分方式交替包裝左眼圖像和右眼圖像在幀順序系統(tǒng)中執(zhí)行包裝的模式。
[0281]如圖25A中所示，當(dāng)包裝模式是并排模式時(shí)，解碼裝置可以通過裁切位于包裝圖像的左半部分的左眼圖像將左眼圖像顯示為2D顯示圖像，并且使圖像具有高分辨率(放大)。
[0282]此外，盡管省略了說明，但是當(dāng)包裝模式是頂?shù)啄Ｊ綍r(shí)，與并排模式相似，解碼裝置可以通過裁切和實(shí)現(xiàn)高分辨率來顯示2D顯示圖像。
[0283]然而，如圖25B中所示，當(dāng)包裝模式是棋盤模式時(shí)，解碼裝置不能通過裁切和實(shí)現(xiàn)高分辨率來顯示2D顯示圖像。此外，盡管省略了說明，但是當(dāng)包裝模式是交錯(cuò)模式或幀順序模式時(shí)，與棋盤模式相似，解碼裝置不能通過裁切和實(shí)現(xiàn)高分辨率來顯示2D顯示圖像。
[0284]因此，編碼裝置120僅處理在頂?shù)啄Ｊ交虿⑴拍Ｊ街邪b的包裝圖像，并且解碼裝置通過裁切和實(shí)現(xiàn)高分辨率來顯示2D顯示圖像。因此，模式信息是指示并排模式或頂?shù)啄Ｊ降男畔ⅰ?br> [0285]此外，包裝模式是頂?shù)啄Ｊ交虿⑴拍Ｊ?，作為關(guān)于棋盤模式的描述的quincunxsampling_flag未包括在2D兼容幀包裝SEI中。相似地，作為關(guān)于交錯(cuò)模式的描述的field_pictures_f lag (field_view_f lag)以及作為關(guān)于巾貞順序的描述的 current_frame_is_frameO_flag未包括在2D兼容幀包裝SEI中。
[0286](位置信息的描述)
[0287]圖26是描述圖24的位置信息的示圖。
[0288]在圖26的示例中，通過并排系統(tǒng)對包裝圖像150進(jìn)行包裝。包裝圖像150的左半圖像151的圖片ID是0，并且右半圖像152的圖片ID是I。
[0289]在該情況下，如圖26中所示，圖像151的上端信息(top_posit1n_frame [O])、左端信息(left_posit1n_frame[0])、下端信息(bottom_posit1n_frame[O])和右端信息(right_posit1n_frame[O])被描述為位置信息。
[0290]此夕卜，圖像152的上端信息(top_posit1n_frame[l])、左端信息(left_posit1n_frame[I])、下端信息(bottom_posit1n_frame[I])和右端信息(right_posit1n_frame[l])被描述為位置信息。
[0291]這里，上端信息(top_posit1n_frame)是通過從其上端到包裝圖像150的上端的像素?cái)?shù)目表示構(gòu)成包裝圖像150的圖像151(152)的上端位置的信息。左端信息(left_posit1n_frame)、下端信息(bottom_posit1n_frame)和右端信息(right_posit1n_frame)與上端信息相似。
[0292]注意，與第一實(shí)施例相似，當(dāng)亮度分量和色差分量的像素?cái)?shù)目不同時(shí)，由左端信息、右端信息、上端信息和下端信息指示的像素?cái)?shù)目是具有較小的圖像數(shù)目的分量的像素?cái)?shù)目。
[0293]可以基于該位置信息識(shí)別包裝圖像150的圖像151和152。包裝圖像150的尺寸是IXU的整數(shù)倍。然而，構(gòu)成包裝圖像150的圖像151 (152)的尺寸不一定是IXU的整數(shù)倍。因此，如圖26中所示，在包裝圖像150中存在除了構(gòu)成包裝圖像150的圖像151和152以外的空白區(qū)域153。
[0294]注意，與圖9相似，位置信息可以是以碼塊為單位指示圖像151(152)在包裝圖像150上的位置的信息，或者與圖11相似，可以是以碼片為單位指示位置的信息。
[0295]此外，這里，位置信息由圖像151(152)的上端信息、左端信息、下端信息和右端信息構(gòu)成。然而，位置信息不限于以上示例，只要信息指示圖像151(152)在包裝圖像150上的位置即可。
[0296]例如，當(dāng)圖像151(152)的水平方向上的像素?cái)?shù)目和豎直方向上的像素?cái)?shù)目相同時(shí)，位置信息可以由圖像151(152)的上端信息和左端信息構(gòu)成，并且水平方向上的像素?cái)?shù)目和豎直方向上的像素?cái)?shù)目對于圖像151(152)而言是共同的。
[0297]在該情況下，構(gòu)成位置信息的信息數(shù)目變?yōu)?，并且需要數(shù)目較少的信息。相反，當(dāng)位置信息由圖像151(152)的上端信息、左端信息、下端信息和右端信息構(gòu)成時(shí)，構(gòu)成位置信息的信息數(shù)目變?yōu)?。
[0298]此外，構(gòu)成包裝圖像150的圖像151和152的所有位置信息可以不包括在2D兼容幀包裝SEI中。例如，與圖像151和152的SPS中包括的裁切信息指示的裁切區(qū)域?qū)?yīng)的圖像151(152)以外的圖像152(151)的上端信息、左端信息、下端信息和右端信息可以被包括作為位置信息。在該情況下，解碼裝置基于裁切信息識(shí)別與位置信息對應(yīng)的圖像152(151)以外的圖像151 (152)。此外，在該情況下，構(gòu)成位置信息的信息數(shù)目變?yōu)?，并且因此需要數(shù)目較少的信息。
[0299]此外，當(dāng)圖像151(152)的水平方向上的像素?cái)?shù)目和豎直方向上的像素?cái)?shù)目相同時(shí)，與圖像151和152的裁切信息指示的裁切區(qū)域?qū)?yīng)的圖像151(152)以外的圖像152 (151)的上端信息和左端信息可以被包括作為位置信息。在該情況下，解碼裝置基于裁切信息識(shí)別與位置信息對應(yīng)的圖像152(151)以外的圖像151(152)。解碼裝置隨后基于圖像151(152)的水平方向上的像素?cái)?shù)目和豎直方向上的像素?cái)?shù)目、上端信息和下端信息來識(shí)別與位置信息對應(yīng)的圖像152(151)。在該情況下，構(gòu)成位置信息的信息數(shù)目變?yōu)?，并且因此需要數(shù)目較少的信息。
[0300](編碼裝置的處理的描述)
[0301]圖27是描述圖22的編碼裝置120的生成處理的流程圖。
[0302]在圖27的步驟S131中，編碼裝置120的編碼單元121執(zhí)行在HEVC系統(tǒng)中對諸如作為輸入信號從外部輸入的包裝圖像的圖像進(jìn)行編碼的編碼處理。下文將參照圖28和29描述編碼處理的細(xì)節(jié)。
[0303]在步驟S132中，設(shè)定單元122設(shè)定包括裁切信息的SPS (圖14)。在步驟S133中，設(shè)定單元122設(shè)定PPS。在步驟S134中，設(shè)定單元122基于用戶對輸入單元(未示出)的操作等確定要編碼的圖像是否是包裝圖像。
[0304]當(dāng)在步驟S134中確定要編碼的圖像是包裝圖像時(shí)，在步驟S135中，設(shè)定單元122設(shè)定SEI等，諸如圖24的2D兼容幀包裝SEI，并且使處理前進(jìn)到步驟S136。
[0305]同時(shí)，當(dāng)在步驟S134中確定要編碼的圖像不是包裝圖像時(shí)，設(shè)定單元122按照需要設(shè)定2D兼容幀包裝SEI以外的SEI，并且使處理前進(jìn)到步驟S136。
[0306]在步驟S136中，設(shè)定單元122從所設(shè)定的SPS、PPS和SEI以及從編碼單元121提供的編碼數(shù)據(jù)生成編碼流。設(shè)定單元122將編碼流提供給傳送單元4。
[0307]在步驟S137中，傳送單元4將從設(shè)定單元122提供的編碼流傳送到下文描述的解碼裝置，并且終止處理。
[0308]圖28和29是描述圖27的步驟S131的編碼處理的細(xì)節(jié)的流程圖。
[0309]圖28的步驟S151至S155的處理與圖16的步驟Sll至S15的處理相似，并且因此省略了描述。
[0310]當(dāng)在步驟S155中確定最優(yōu)預(yù)測模式是最優(yōu)幀間預(yù)測模式時(shí)，預(yù)測圖像選擇單元26向運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25通知在最優(yōu)幀間預(yù)測模式中生成的預(yù)測圖像的選擇。
[0311]隨后，在步驟S156中，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25將幀間預(yù)測模式信息、相應(yīng)的運(yùn)動(dòng)向量和用于識(shí)別參考圖像的信息提供給無損編碼單元143。處理隨后前往步驟S158。
[0312]同時(shí)，當(dāng)在步驟S155中確定最優(yōu)預(yù)測模式不是最優(yōu)幀間預(yù)測模式時(shí)，即當(dāng)最優(yōu)預(yù)測模式是最優(yōu)幀內(nèi)預(yù)測模式時(shí)，預(yù)測圖像選擇單元26向幀內(nèi)預(yù)測單元24通知在最優(yōu)幀內(nèi)預(yù)測模式中生成的預(yù)測圖像的選擇。
[0313]隨后，在步驟S157中，幀內(nèi)預(yù)測單元24將幀內(nèi)預(yù)測模式信息提供給無損編碼單元143。處理隨后前往步驟S158。
[0314]步驟S158至S163的處理與圖16的步驟S18至S20以及圖17的步驟S24至S26的處理相似，并且因此省略了描述。
[0315]在步驟S164中，解塊濾波器21對從加法單元20提供的局部解碼圖像應(yīng)用解塊濾波處理。解塊濾波器21將作為解塊濾波處理的結(jié)果而獲得的圖像提供給自適應(yīng)偏移濾波器 141。
[0316]在步驟S165中，自適應(yīng)偏移濾波器141針對每個(gè)IXU將自適應(yīng)偏移濾波處理應(yīng)用于從解塊濾波器21提供的圖像。自適應(yīng)偏移濾波器141將作為自適應(yīng)偏移濾波處理的結(jié)果而獲得的圖像提供給自適應(yīng)環(huán)路濾波器142。此外，自適應(yīng)偏移濾波器141針對每個(gè)IXU將存儲(chǔ)標(biāo)志、索引或偏移以及類型信息提供給無損編碼單元143作為偏移濾波器信息。
[0317]在步驟S166中，自適應(yīng)環(huán)路濾波器142針對每個(gè)IXU將自適應(yīng)環(huán)路濾波處理應(yīng)用于從自適應(yīng)偏移濾波器141提供的圖像。自適應(yīng)環(huán)路濾波器142將作為自適應(yīng)環(huán)路濾波處理的結(jié)果而獲得的圖像提供給幀存儲(chǔ)器22。此外，自適應(yīng)環(huán)路濾波器142將在自適應(yīng)環(huán)路濾波處理中使用的濾波器系數(shù)提供給無損編碼單元143。
[0318]在步驟S167中，幀存儲(chǔ)器22積累濾波之前和之后的圖像。具體地，幀存儲(chǔ)器22積累從加法單元20提供的圖像以及從自適應(yīng)環(huán)路濾波器142提供的圖像。在幀存儲(chǔ)器22中積累的圖像通過開關(guān)23被輸出到幀內(nèi)預(yù)測單元24或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元25作為參考圖像。
[0319]在步驟S168中，無損編碼單元143對幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息、運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息、偏移濾波器信息和濾波器系數(shù)應(yīng)用無損編碼，作為編碼信息。
[0320]在步驟S169中，無損編碼單元143將無損編碼應(yīng)用于從量化單元15提供的經(jīng)量化的系數(shù)。無損編碼單元143隨后從在步驟S168的處理中的經(jīng)無損編碼的編碼信息和經(jīng)無損編碼的系數(shù)生成編碼數(shù)據(jù)。
[0321]步驟S170和S171的處理與圖17的步驟S22和S23的處理相似，并且因此省略了描述。在步驟S171的處理之后，處理返回圖27的步驟S131，并且前往步驟S132。
[0322]如上文所述，編碼裝置120設(shè)定2D兼容幀包裝SEI，其在裁切信息之前被應(yīng)用并且指示要忽略裁切信息，并且編碼裝置120連同作為編碼包裝圖像的編碼數(shù)據(jù)一起傳送2D兼容幀包裝SEI。
[0323]因此，解碼并顯示包裝圖像的編碼流的解碼裝置在編碼流包括2D兼容幀包裝SEI時(shí)優(yōu)先使用2D兼容幀包裝SEI并且識(shí)別構(gòu)成包裝圖像的圖像。因此，解碼裝置可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0324]因此，可以這樣說，編碼裝置120可以生成包裝圖像的編碼流，以便在解碼并顯示包裝圖像的編碼流時(shí)可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0325](解碼裝置的第二實(shí)施例的配置示例)
[0326]圖30是圖示被應(yīng)用本技術(shù)的解碼裝置的第二實(shí)施例的配置示例的框圖，該解碼裝置對從圖22的編碼裝置120傳送的編碼流解碼。
[0327]圖30中所示的配置中的與圖18的配置相同的配置由相同的附圖標(biāo)記表示。適當(dāng)?shù)厥÷粤酥丿B描述部分的描述。
[0328]圖30的解碼裝置160的配置與圖18的配置的不同之處在于提供解碼單元161、控制單元162和顯示控制單元163代替解碼單元53、控制單元54和顯示控制單元55。當(dāng)編碼流包括2D兼容幀包裝SEI時(shí)，解碼裝置160優(yōu)先使用2D兼容幀包裝SEI來生成顯示圖像。
[0329]具體地，解碼裝置160的解碼單元161按照需要引用從提取單元52提供的SPS、PPS、SEI等，并且在HEVC系統(tǒng)中對從提取單元52提供的編碼數(shù)據(jù)進(jìn)行解碼。解碼單元161將作為解碼的結(jié)果而獲得的諸如包裝圖像的圖像提供給控制單元162作為輸出信號。注意，盡管下文將描述細(xì)節(jié)，但是解碼單元53和解碼單元161具有應(yīng)用于局部解碼圖像的不同類型的濾波。
[0330]當(dāng)從提取單元52提供2D兼容幀包裝SEI時(shí)，即當(dāng)輸出信號是包裝圖像時(shí)，控制單元162基于2D兼容幀包裝SEI中包括的位置信息來識(shí)別構(gòu)成包裝圖像的圖像?？刂茊卧?62隨后忽略裁切信息，并且將作為輸出信號的包裝圖像以及用于識(shí)別構(gòu)成包裝圖像的圖像的信息提供給顯示控制單元163。
[0331]同時(shí)，當(dāng)未從提取單元52提供2D兼容幀包裝SEI時(shí)，即當(dāng)輸出信號是并非包裝圖像的圖像時(shí)，控制單元162將作為輸出信號的并非包裝圖像的圖像以及SPS中包括的裁切信息提供給顯示控制單元163。
[0332]顯示控制單元163裁切包裝圖像，使得包裝圖像具有高分辨率(放大)等，包裝圖像是從控制單元162作為輸出信號提供的，并且顯示控制單元163基于從控制單元162提供的識(shí)別構(gòu)成包裝圖像的圖像的信息以及從顯示單元56通知的顯示方法來生成顯示圖像。此外，顯示控制單元163裁切非包裝圖像，使得非包裝圖像具有高分辨率(放大)等，非包裝圖像是從控制單元162作為輸出信號提供的，并且顯示控制單元163基于從控制單元162提供的裁切信息生成顯示圖像。顯示控制單元163將所生成的顯示圖像提供給顯示單元56，并且在其中顯示圖像。
[0333](解碼單元的配置示例)
[0334]圖31是圖示圖30的解碼單元161的配置示例的框圖。
[0335]圖31中所示的配置中的與圖19的配置相同的配置由相同的附圖標(biāo)記表示。適當(dāng)?shù)厥÷粤酥丿B描述部分的描述。
[0336]圖31的解碼單元161的配置與圖19的配置的不同之處在于提供無損解碼單元181代替無損解碼單元102，并且新提供自適應(yīng)偏移濾波器182和自適應(yīng)環(huán)路濾波器183。解碼單元161不僅應(yīng)用自適應(yīng)解塊濾波處理，而且還通過自適應(yīng)偏移濾波器182和自適應(yīng)環(huán)路濾波器183將濾波應(yīng)用于局部解碼圖像。
[0337]具體地，與圖19的無損解碼單元102相似，無損解碼單元181對來自積累緩沖器101的編碼數(shù)據(jù)應(yīng)用無損解碼，諸如可變長度解碼和算術(shù)解碼，以獲得經(jīng)量化的系數(shù)和編碼信息。與無損解碼單元102相似，無損解碼單元181將經(jīng)量化的系數(shù)提供給逆量化單元103。
[0338]此外，與無損解碼單元102相似，無損解碼單元181將作為編碼信息的幀內(nèi)預(yù)測模式信息等提供給幀內(nèi)預(yù)測單元111。與無損解碼單元102相似，無損解碼單元181將運(yùn)動(dòng)向量、用于識(shí)別參考圖像的信息、幀間預(yù)測模式信息等作為編碼信息提供給運(yùn)動(dòng)補(bǔ)償單元112。
[0339]此外，與無損解碼單元102相似，無損解碼單元181將作為編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息提供給開關(guān)113。無損解碼單元181將作為編碼信息的偏移濾波器信息提供給自適應(yīng)偏移濾波器182，并且將濾波器系數(shù)提供給自適應(yīng)環(huán)路濾波器183。
[0340]自適應(yīng)偏移濾波器182包括緩沖器，其中按照順序存儲(chǔ)從無損解碼單元181提供的偏移。此外，自適應(yīng)偏移濾波器182針對每個(gè)LCU基于從無損解碼單元181提供的偏移濾波器信息將自適應(yīng)偏移濾波處理應(yīng)用于解塊濾波器106的自適應(yīng)解塊濾波處理之后的圖像。
[0341]具體地，當(dāng)偏移濾波器信息中包括的存儲(chǔ)標(biāo)志是O時(shí)，自適應(yīng)偏移濾波器182使用偏移濾波器信息中包括的偏移以LCU為單位將類型信息指示的類型的自適應(yīng)偏移濾波處理應(yīng)用于解塊濾波處理之后的圖像。
[0342]同時(shí)，當(dāng)偏移濾波器信息中包括的存儲(chǔ)標(biāo)志是I時(shí)，自適應(yīng)偏移濾波器182以IXU為單位針對解塊濾波處理之后的圖像讀取偏移濾波器信息中包括的索引指示的位置中存儲(chǔ)的偏移。隨后自適應(yīng)偏移濾波器182使用所讀取的偏移執(zhí)行類型信息指示的類型的自適應(yīng)偏移濾波處理。自適應(yīng)偏移濾波器182將自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器183。
[0343]自適應(yīng)環(huán)路濾波器183針對每個(gè)LCU使用從無損解碼單元181提供的濾波器系數(shù)將自適應(yīng)環(huán)路濾波處理應(yīng)用于從自適應(yīng)偏移濾波器182提供的圖像。自適應(yīng)環(huán)路濾波器183將作為自適應(yīng)偏移濾波處理的結(jié)果而獲得的圖像提供給幀存儲(chǔ)器109和畫面重排緩沖器 107。
[0344](2D兼容幀包裝SEI的應(yīng)用時(shí)段的描述)
[0345]圖32是描述2D兼容幀包裝SEI的應(yīng)用時(shí)段的示圖。
[0346]如圖32中所示，解碼裝置160首先確定接收到的編碼流中是否包括2D兼容幀包裝SEI。當(dāng)包括2D兼容幀包裝SEI時(shí)，解碼裝置160應(yīng)用2D兼容幀包裝SEI，并且忽略裁切信息。
[0347]如上文所述，2D兼容幀包裝SEI在裁切信息之前應(yīng)用，并且指示忽略裁切信息。因此，當(dāng)編碼流中包括2D兼容幀包裝SEI時(shí)，解碼裝置160僅應(yīng)用2D兼容幀包裝SEI。
[0348]同時(shí)，當(dāng)編碼流中不包括2D兼容幀包裝SEI時(shí)，解碼裝置160應(yīng)用SPS中包括的裁切信息。
[0349]相反，傳統(tǒng)AVC系統(tǒng)中的幀包裝SEI在裁切信息之后應(yīng)用，并且不是指示忽略裁切信息的SEI。因此，當(dāng)傳統(tǒng)AVC系統(tǒng)中的幀包裝SEI包括在編碼流中時(shí)，在應(yīng)用裁切信息之后應(yīng)用幀包裝SEI。
[0350]因此，當(dāng)裁切信息指示左眼圖像或右眼圖像中的任一個(gè)的區(qū)域作為裁切區(qū)域時(shí)，使用SEI的3D顯示解碼裝置不能顯示其他圖像。
[0351]此外，當(dāng)傳統(tǒng)AVC系統(tǒng)中的幀包裝SEI包括在編碼流中時(shí)，使用SEI的3D顯示解碼裝置能夠通過忽略裁切信息基于幀包裝SEI顯示3D圖像。然而，傳統(tǒng)AVC系統(tǒng)中的幀包裝SEI不是指示忽略裁切信息的SEI。因此，忽略作為關(guān)于標(biāo)準(zhǔn)的強(qiáng)制信息的SPS中包括的裁切信息違反標(biāo)準(zhǔn)。
[0352](2D兼容幀包裝SEI中可描述的信息的描述)
[0353]圖33是描述2D兼容幀包裝SEI中可描述的信息的示圖。
[0354]在圖33的示例中，包裝圖像通過并排系統(tǒng)進(jìn)行包裝，包裝圖像的左半圖像是構(gòu)成3D圖像的左眼圖像(左視圖)，并且右半圖像是右眼圖像(右視圖)。
[0355]在該情況下，2D兼容幀包裝SEI在裁切信息之前應(yīng)用，并且因此構(gòu)成包裝圖像的左眼圖像和右眼圖像可以被描述。
[0356]相反,傳統(tǒng)AVC系統(tǒng)中的巾貞包裝SEI在裁切信息之后應(yīng)用。因此，當(dāng)裁切信息指示左眼圖像或右眼圖像中的任一個(gè)的區(qū)域(圖33的示例中的左眼圖像)時(shí)，僅一個(gè)圖像(圖33的示例中的左眼圖像)可以被描述。
[0357](解碼裝置的處理的描述)
[0358]圖34是描述圖30的解碼裝置160的顯示處理的流程圖。
[0359]圖34的步驟S190和S191的處理與圖20的步驟S50和S51的處理相似，并且因此省略了描述。
[0360]在步驟S192中，解碼單元161按照需要引用從提取單元52提供的SPS、PPS、SEI等，并且對從提取單元52提供的編碼數(shù)據(jù)應(yīng)用在HEVC系統(tǒng)中執(zhí)行解碼的解碼處理。將參照下文描述的圖35描述解碼處理的細(xì)節(jié)。
[0361]在步驟S193中，控制單元162確定在編碼流中是否包括2D兼容幀包裝SEI，即是否已從提取單元52提供2D兼容幀包裝SEI。當(dāng)在步驟S193中確定包括2D兼容幀包裝SEI時(shí)，控制單元162確定從解碼單元161提供的輸出信號是包裝圖像。
[0362]隨后，在步驟S194中，控制單元162基于2D兼容幀包裝SEI中包括的位置信息等識(shí)別構(gòu)成包裝圖像的圖像。控制單元162隨后將識(shí)別構(gòu)成包裝圖像的圖像的信息以及輸出信號提供給顯示控制單元163。
[0363]在步驟S195中，顯示控制單元163獲取從顯示單元56通知的顯示方法。在步驟S196中，顯示控制單元163基于顯示方法和識(shí)別構(gòu)成包裝圖像的圖像的信息裁切構(gòu)成包裝圖像的圖像中的期望圖像。
[0364]例如，當(dāng)輸出信號是3D顯示包裝圖像時(shí)，控制單元162基于2D兼容幀包裝SEI中包括的位置信息等識(shí)別構(gòu)成包裝圖像的左眼圖像和右眼圖像。當(dāng)顯示方法是2D顯示時(shí)，顯示控制單元163例如從包裝圖像裁切左眼圖像。同時(shí)，當(dāng)顯示方法是3D顯示時(shí)，顯示控制單元163從包裝圖像裁切左眼圖像和右眼圖像。處理隨后前往步驟S198。
[0365]同時(shí)，當(dāng)在步驟S193中確定不包括2D兼容幀包裝SEI時(shí)，控制單元162確定輸出信號不是包裝圖像。控制單元162隨后將從提取單元52提供的SPS中包括的裁切信息和輸出信號提供給顯示控制單元163。
[0366]隨后，在步驟S197中，顯示控制單元163基于從控制單元162提供的裁切信息裁切圖像作為輸出信號，并且處理前往步驟S198。
[0367]在步驟S198中，顯示控制單元163使在步驟S196或S197中裁切的圖像具有高分辨率(放大)，并且采用該圖像作為顯示圖像。在步驟S199中，顯示控制單元163通過將顯示圖像提供給顯示單元56在顯示單元56中顯示圖像，并且終止處理。
[0368]圖35是描述圖34的步驟S192的解碼處理的細(xì)節(jié)的流程圖。
[0369]圖35的步驟S211至S218的處理與圖21的步驟SlOl至S108的處理相似，并且因此省略了描述。
[0370]在步驟S219中，解塊濾波器106對從加法單元105提供的圖像應(yīng)用解塊濾波處理以去除塊失真。解塊濾波器106將作為解塊濾波處理的結(jié)果而獲得的圖像提供給自適應(yīng)偏移濾波器182。
[0371]在步驟S220中，自適應(yīng)偏移濾波器182針對每個(gè)IXU基于從無損解碼單元181提供的偏移濾波器信息將自適應(yīng)偏移濾波處理應(yīng)用于解塊濾波器106的解塊濾波處理之后的圖像。自適應(yīng)偏移濾波器182將自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器 183。
[0372]在步驟S221中，自適應(yīng)環(huán)路濾波器183針對每個(gè)IXU使用從無損解碼單元181提供的濾波器系數(shù)將自適應(yīng)環(huán)路濾波處理應(yīng)用于從自適應(yīng)偏移濾波器182提供的圖像。自適應(yīng)環(huán)路濾波器183將作為自適應(yīng)偏移濾波處理的結(jié)果而獲得的圖像提供給幀存儲(chǔ)器109和畫面重排緩沖器107。
[0373]步驟S222至S224的處理與圖21的步驟SllO至SI 12的處理相似，并且因此省略了描述。
[0374]如上文所述，解碼裝置160對編碼數(shù)據(jù)進(jìn)行解碼以生成包裝圖像，并且當(dāng)2D兼容幀包裝SEI包括在編碼流中時(shí)，解碼裝置160應(yīng)用2D兼容幀包裝SEI，并且忽略裁切信息。具體地，解碼裝置基于2D兼容幀包裝SEI識(shí)別構(gòu)成包裝圖像的圖像。因此，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，解碼裝置160可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0375]此外，解碼裝置160可以識(shí)別構(gòu)成包裝圖像的圖像，并且因此解碼裝置160側(cè)可以根據(jù)顯示方法等確定要顯示的期望圖像。
[0376]注意，不使用SEI的解碼裝置基于裁切信息執(zhí)行裁切。因此，當(dāng)裁切信息指示構(gòu)成包裝圖像的左眼圖像或右眼圖像中的任一個(gè)的區(qū)域作為裁切區(qū)域時(shí)，不使用SEI的解碼裝置可以顯示一個(gè)圖像作為2D圖像。
[0377]此外，在第二實(shí)施例中，新設(shè)定2D兼容幀包裝SEI。然而，傳統(tǒng)AVC系統(tǒng)中的幀包裝SEI可以被擴(kuò)展以具有2D兼容幀包裝SEI的功能。
[0378]在該情況下，傳統(tǒng)AVC系統(tǒng)中的巾貞包裝SEI的frame_packing_arrangement_extens1n_flag被用作指示是否應(yīng)用裁切信息的標(biāo)志。隨后，當(dāng)frame_packing_arrangement_extens1n_flag 指示未應(yīng)用裁切信息時(shí)，用于設(shè)定 quincunx_sampling_flag、field_pictures_flag (field_view_flag)和 cur;rent_f;rame_is_f;rameO_flag 禁用的信息以及位置信息在擴(kuò)展幀包裝SEI中被描述。
[0379]使用SEI的解碼裝置在應(yīng)用裁切信息之前讀取擴(kuò)展幀包裝SEI。當(dāng)frame_packing_arrangement_extens1n_flag指示未應(yīng)用裁切信息時(shí)，使用SEI的解碼裝置基于擴(kuò)展巾貞包裝SEI的位置信息識(shí)別圖像，并且忽略裁切信息。同時(shí)，當(dāng)frame_packing_arrangement_extens1n_flag指示應(yīng)用裁切信息時(shí),使用SEI的解碼裝置基于裁切信息執(zhí)行裁切。
[0380]如上文所述，使用SEI 的解碼裝置基于 frame_packing_arrangement_extens1n_flag,較之裁切信息優(yōu)先使用擴(kuò)展巾貞包裝SEI來識(shí)別圖像，以及基于裁切信息執(zhí)行裁切而不優(yōu)先使用擴(kuò)展巾貞包裝SEI。因此，可以這樣說，frame_packing_arrangement_extens1n_flag是指示在顯示包裝圖像時(shí)是否優(yōu)先使用擴(kuò)展幀包裝SEI的信息(包裝優(yōu)先級信息)。
[0381]〈第三實(shí)施例〉
[0382](被應(yīng)用本技術(shù)的計(jì)算機(jī))
[0383]上述系列處理可以通過硬件或軟件來執(zhí)行。當(dāng)通過軟件執(zhí)行上述系列處理時(shí)，將構(gòu)成軟件的程序安裝在計(jì)算機(jī)中。這里，計(jì)算機(jī)包括并入到專用硬件中的計(jì)算機(jī)，或者可以通過安裝各種程序來執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)等。
[0384]圖36是圖示通過程序執(zhí)行系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。
[0385]在計(jì)算機(jī)中，中央處理單元(CPU) 201、只讀存儲(chǔ)器(ROM) 202和隨機(jī)存取存儲(chǔ)器(RAM) 203通過總線204相互連接。
[0386]總線204還連接到輸入/輸出接口 205。輸入/輸出接口 205連接到輸入單元206、輸出單元207、存儲(chǔ)單元208、通信單元209和驅(qū)動(dòng)器210。
[0387]輸入單元206包括鍵盤、鼠標(biāo)、麥克風(fēng)等。輸出單元207包括顯示器、揚(yáng)聲器等。存儲(chǔ)單元208包括硬盤、非易失性存儲(chǔ)器等。通信單元209包括網(wǎng)絡(luò)接口等。驅(qū)動(dòng)器210驅(qū)動(dòng)諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的可移動(dòng)介質(zhì)211。
[0388]在如上所述配置的計(jì)算機(jī)中，執(zhí)行上述系列處理，使得CPU 201例如將存儲(chǔ)單元208中存儲(chǔ)的程序通過輸入/輸出接口 205和總線204加載到RAM 203中，并且執(zhí)行程序。
[0389]計(jì)算機(jī)(CPU 201)執(zhí)行的程序可以記錄在作為套裝介質(zhì)的可移除介質(zhì)211上，并且可以被提供。此外，可以通過諸如局域網(wǎng)、互聯(lián)網(wǎng)和數(shù)字衛(wèi)星廣播的有線或無線傳輸介質(zhì)來提供程序。
[0390]在計(jì)算機(jī)中，可以通過將可移除介質(zhì)211附接到驅(qū)動(dòng)器210通過輸入/輸出接口205將程序安裝到存儲(chǔ)單元208。此外，程序可以由通信單元209通過有線或無線傳輸介質(zhì)接收，并且安裝到存儲(chǔ)單元208。替選地，程序可以預(yù)先安裝到ROM 202或存儲(chǔ)單元208。
[0391]注意，計(jì)算機(jī)執(zhí)行的程序可以是根據(jù)本說明書中描述的順序按時(shí)間序列執(zhí)行處理的程序，或者是并行地或者在諸如執(zhí)行讀出時(shí)的必要定時(shí)執(zhí)行處理的程序。
[0392]〈第四實(shí)施例〉
[0393](電視裝置的配置示例)
[0394]圖37是被應(yīng)用本技術(shù)的電視裝置的示意性配置的示圖。電視裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚(yáng)聲器908和外部接口(I/F)單元909。此外，電視裝置900包括控制單元910、用戶接口單元911等。
[0395]調(diào)諧器902從天線901接收的廣播信號中選擇期望的頻道并執(zhí)行解調(diào)，并且將獲得的編碼位流輸出至解復(fù)用器903。
[0396]解復(fù)用器903從編碼位流提取作為要觀看的對象的電視節(jié)目，并且將提取的分組的數(shù)據(jù)輸出至解碼器904。此外，解復(fù)用器903將諸如電子節(jié)目指南(EPG)的數(shù)據(jù)分組提供給控制單元910。注意，當(dāng)執(zhí)行加擾時(shí)，解復(fù)用器903執(zhí)行加擾的釋放，等等。
[0397]解碼器904執(zhí)行分組的解碼處理，并且將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號處理單元905，并且將音頻數(shù)據(jù)輸出至音頻信號處理單元907。
[0398]視頻信號處理單元905根據(jù)針對視頻數(shù)據(jù)的用戶設(shè)定應(yīng)用噪聲去除或視頻處理。視頻信號處理單元905基于通過網(wǎng)絡(luò)提供的應(yīng)用生成顯示在顯示單元906中的電視節(jié)目的視頻數(shù)據(jù)，或者圖像數(shù)據(jù)。此外，視頻信號處理單元905生成用于顯示諸如項(xiàng)目的選擇的菜單畫面的視頻數(shù)據(jù)，并且將該視頻數(shù)據(jù)疊加在電視節(jié)目的視頻數(shù)據(jù)上。視頻信號處理單元905基于所生成的視頻數(shù)據(jù)生成驅(qū)動(dòng)信號以驅(qū)動(dòng)顯示單元906。
[0399]顯示單元906基于來自視頻信號處理單元905的驅(qū)動(dòng)信號驅(qū)動(dòng)顯示裝置(例如，液晶顯示元件等)以顯示電視節(jié)目的視頻。
[0400]音頻信號處理單元907對音頻數(shù)據(jù)應(yīng)用諸如噪聲去除的預(yù)定處理，對預(yù)定處理之后的音頻數(shù)據(jù)應(yīng)用D/A轉(zhuǎn)換處理和放大處理，并且將音頻數(shù)據(jù)提供給揚(yáng)聲器908以輸出音頻輸出。
[0401]外部接口單元909是用于連接到外部裝置或網(wǎng)絡(luò)的接口，并且執(zhí)行諸如視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)的傳送/接收。
[0402]用戶接口單元911連接至控制單元910。用戶接口單元911由操作開關(guān)、遙控信號接收單元等構(gòu)成，并且根據(jù)用戶操作將操作信號提供給控制單元910。
[0403]控制單元910由中央處理單元(CPU)、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)CPU執(zhí)行的程序以及CPU執(zhí)行處理所需的各種類型的數(shù)據(jù)、EPG數(shù)據(jù)、通過網(wǎng)絡(luò)獲取的數(shù)據(jù)等。在預(yù)定定時(shí)，諸如在電視裝置900啟動(dòng)時(shí)，CPU讀出存儲(chǔ)器中存儲(chǔ)的程序并且執(zhí)行該程序。CPU控制各單元，使得電視裝置900通過執(zhí)行程序根據(jù)用戶操作執(zhí)行操作。
[0404]注意，總線912設(shè)置在電視裝置900中，用于將控制單元910與調(diào)諧器902、解復(fù)用器903、視頻信號處理單元905、音頻信號處理單元907、外部接口單元909等連接。
[0405]在這樣配置的電視裝置中，解碼器904設(shè)置有本申請的解碼裝置(解碼方法)。因此，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0406]<第五實(shí)施例>
[0407](移動(dòng)電話裝置的配置示例)
[0408]圖38是被應(yīng)用本技術(shù)的移動(dòng)電話裝置的示意性配置的示圖。移動(dòng)電話裝置920包括通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、復(fù)用/解復(fù)用單元928、記錄再現(xiàn)單元929、顯示單元930和控制單元931。這些單元通過總線933相互連接。
[0409]此外，天線921連接至通信單元922，并且揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923。此外，操作單元932被連接至控制單元931。
[0410]移動(dòng)電話裝置920在諸如音頻呼叫模式和數(shù)據(jù)通信模式的各種模式中執(zhí)行各種操作，諸如傳送/接收音頻信號，傳送/接收電子郵件或圖像數(shù)據(jù)，拍攝圖像以及記錄數(shù)據(jù)。
[0411]在音頻呼叫模式中，在麥克風(fēng)925中生成的音頻信號在音頻編解碼器923中被轉(zhuǎn)換成音頻數(shù)據(jù)并且被應(yīng)用數(shù)據(jù)壓縮，并且被提供給通信單元922。通信單元922對音頻數(shù)據(jù)應(yīng)用調(diào)制處理和頻率轉(zhuǎn)換處理以生成傳輸信號。此外，通信單元922將傳輸信號提供給天線921以將該信號傳送至基站(未示出)。此外，通信單元922對在天線921處接收的接收信號應(yīng)用放大、頻率轉(zhuǎn)換處理和調(diào)制處理，并且將獲得的音頻數(shù)據(jù)提供給音頻編解碼器923。音頻編解碼器923執(zhí)行音頻數(shù)據(jù)的數(shù)據(jù)解壓縮并且將其轉(zhuǎn)換成模擬音頻信號，并且將模擬音頻信號提供給揚(yáng)聲器924。
[0412]此外，當(dāng)在數(shù)據(jù)通信模式中傳送電子郵件時(shí)，控制單元931接收通過操作單元932的操作輸入的字符數(shù)據(jù)，并且將輸入的字符顯示在顯示單元930上。此外，控制單元931基于操作單元932中的用戶指令等生成郵件數(shù)據(jù)，并且將郵件數(shù)據(jù)提供給通信單元922。通信單元922執(zhí)行郵件數(shù)據(jù)的調(diào)制處理和頻率轉(zhuǎn)換處理，并且將所獲得的傳輸信號通過天線921傳送。此外，通信單元922對通過天線921接收的接收信號執(zhí)行放大、頻率轉(zhuǎn)換處理和解調(diào)處理，并且重建郵件數(shù)據(jù)。通信單元922將郵件數(shù)據(jù)提供給顯示單元930，并且顯示郵件數(shù)據(jù)的內(nèi)容。
[0413]注意，移動(dòng)電話裝置920可以允許記錄再現(xiàn)單元929將接收到的郵件數(shù)據(jù)存儲(chǔ)在存儲(chǔ)介質(zhì)中。該存儲(chǔ)介質(zhì)是任何可重寫的存儲(chǔ)介質(zhì)。例如，該存儲(chǔ)介質(zhì)是可移除介質(zhì)，諸如半導(dǎo)體存儲(chǔ)器，諸如RAM，或者內(nèi)建型閃速存儲(chǔ)器、硬盤、磁盤、磁光盤、光盤、USB存儲(chǔ)器或存儲(chǔ)卡。
[0414]當(dāng)在數(shù)據(jù)通信模式中傳送圖像數(shù)據(jù)時(shí)，在相機(jī)單元926中生成的圖像數(shù)據(jù)被提供給圖像處理單元927。圖像處理單元927執(zhí)行圖像數(shù)據(jù)的編碼處理以生成編碼數(shù)據(jù)。
[0415]復(fù)用/解復(fù)用單元928在預(yù)定系統(tǒng)中對在圖像處理單元927中生成的編碼數(shù)據(jù)以及從音頻編解碼器923提供的音頻數(shù)據(jù)進(jìn)行復(fù)用，并且將數(shù)據(jù)提供給通信單元922。通信單元922執(zhí)行復(fù)用數(shù)據(jù)的調(diào)制處理、頻率轉(zhuǎn)換處理等，并且將所獲得的傳輸信號通過天線921傳送。此外，通信單元922執(zhí)行通過天線921接收的接收信號的放大、頻率轉(zhuǎn)換處理、解調(diào)處理等，并且重建復(fù)用數(shù)據(jù)。復(fù)用數(shù)據(jù)被提供給復(fù)用/解復(fù)用單元928。復(fù)用/解復(fù)用單元928執(zhí)行復(fù)用數(shù)據(jù)的分離，并且將編碼數(shù)據(jù)提供給圖像處理單元927并將音頻數(shù)據(jù)提供給音頻編解碼器923。圖像處理單元927執(zhí)行編碼數(shù)據(jù)的解碼處理以生成圖像數(shù)據(jù)。圖像處理單元927將圖像數(shù)據(jù)提供給顯示單元930，并且顯示接收到的圖像。音頻編解碼器923將音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號，并且將模擬音頻信號提供給揚(yáng)聲器924以輸出接收到的音頻。
[0416]在這樣配置的移動(dòng)電話裝置中，圖像處理單元927設(shè)置有編碼裝置和解碼裝置(編碼方法和解碼方法)的功能。因此，可以生成包裝圖像的編碼流，使得當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。此外，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0417]〈第六實(shí)施例〉
[0418](記錄再現(xiàn)裝置的配置示例)
[0419]圖39是被應(yīng)用本技術(shù)的記錄再現(xiàn)裝置的示意性配置的示圖。記錄再現(xiàn)裝置940將接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上，并且在根據(jù)用戶指令的定時(shí)向用戶提供記錄的數(shù)據(jù)。此外，記錄再現(xiàn)裝置940可以從例如另一裝置獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并且將數(shù)據(jù)記錄在記錄介質(zhì)上。此外，記錄再現(xiàn)裝置940通過解碼并輸出記錄介質(zhì)上記錄的音頻數(shù)據(jù)和視頻數(shù)據(jù)使得監(jiān)控裝置等能夠執(zhí)行圖像顯示和音頻數(shù)據(jù)。
[0420]記錄再現(xiàn)裝置940包括調(diào)諧器941、外部接口單元942、編碼器943、硬盤驅(qū)動(dòng)器(HDD)單元944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、同屏顯示(OSD)單元948、控制單元949以及用戶接口單元950。
[0421]調(diào)諧器941從通過天線(未示出)接收到的廣播信號中選擇期望的頻道。調(diào)諧器941將通過對期望頻道的接收信號解調(diào)而獲得的編碼位流輸出至選擇器946。
[0422]外部接口單元942由IEEE 1394接口、網(wǎng)絡(luò)接口單元、USB接口、閃速存儲(chǔ)器接口中的至少之一構(gòu)成。外部接口 942是用于與外部裝置、網(wǎng)絡(luò)、存儲(chǔ)卡等連接的接口，并且執(zhí)行諸如要記錄的視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)的傳送/接收。
[0423]當(dāng)從外部接口單元942提供的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時(shí)，編碼器943在預(yù)定系統(tǒng)中對這些數(shù)據(jù)進(jìn)行編碼，并且將編碼位流輸出至選擇器946。
[0424]HDD單元944將諸如視頻或音頻的數(shù)據(jù)、各種程序和其他數(shù)據(jù)記錄在內(nèi)建硬盤中，并且在再現(xiàn)時(shí)從硬盤讀出該數(shù)據(jù)。
[0425]盤驅(qū)動(dòng)器945執(zhí)行所安裝的光盤上的信號的記錄和再現(xiàn)。該光盤是例如DVD盤(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+Rff 等)或 Blu-ray (注冊商標(biāo))盤等。
[0426]在記錄視頻和音頻時(shí)，選擇器946從調(diào)諧器941或編碼器943選擇編碼位流，并且將編碼位流提供給HDD單元944或盤驅(qū)動(dòng)器945。此外，在再現(xiàn)視頻和音頻時(shí)，選擇器946將從HDD單元944或盤驅(qū)動(dòng)器945輸出的編碼位流提供給解碼器947。
[0427]解碼器947執(zhí)行編碼位流的解碼處理。解碼器947將通過解碼處理生成的視頻數(shù)據(jù)提供給OSD單元948。此外，解碼器947輸出通過解碼處理生成的音頻數(shù)據(jù)。
[0428]OSD單元948生成用于顯示諸如項(xiàng)目的選擇的菜單畫面的視頻數(shù)據(jù)，將該視頻數(shù)據(jù)疊加在從解碼器947輸出的視頻數(shù)據(jù)上，并且輸出疊加的數(shù)據(jù)。
[0429]用戶接口單元950連接至控制單元949。用戶接口單元950由操作開關(guān)、遙控信號接收單元等構(gòu)成，并且根據(jù)用戶操作將操作信號提供給控制單元949。
[0430]控制單元949由CPU、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)CPU執(zhí)行的程序以及CPU執(zhí)行處理所需的各種類型的數(shù)據(jù)。在預(yù)定定時(shí)，諸如在記錄再現(xiàn)裝置940啟動(dòng)時(shí)，CPU讀出存儲(chǔ)器中存儲(chǔ)的程序并且執(zhí)行該程序。CPU控制各單元，使得記錄再現(xiàn)裝置940通過執(zhí)行程序根據(jù)用戶操作執(zhí)行操作。
[0431]在這樣配置的記錄再現(xiàn)裝置中，解碼器947設(shè)置有本申請的解碼裝置(解碼方法)。因此，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0432]<第七實(shí)施例>
[0433](成像裝置的配置示例)
[0434]圖40是被應(yīng)用本技術(shù)的成像裝置的示意性配置的示圖。成像裝置960對對象成像，將對象的圖像顯示在顯示單元中，并且將圖像記錄在記錄介質(zhì)上作為圖像數(shù)據(jù)。
[0435]成像裝置960包括光學(xué)模塊961、成像單元962、相機(jī)信號處理單元963、圖像數(shù)據(jù)處理單元964、顯示單元965、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、0SD單元969和控制單元970。此外，用戶接口單元971連接到控制單元970。此外，圖像數(shù)據(jù)處理單元964、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、0SD單元969、控制單元970等通過總線972連接。
[0436]光學(xué)模塊961由聚焦透鏡、光圈機(jī)構(gòu)等構(gòu)成。光學(xué)模塊961在成像單元962的成像表面上對物體的光學(xué)圖像聚焦。成像單元962由電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器構(gòu)成，并且根據(jù)光學(xué)圖像通過光電轉(zhuǎn)換生成電信號，并且將該電信號提供給相機(jī)信號處理單元963。
[0437]相機(jī)信號處理單元963對從成像單元962提供的電信號應(yīng)用各種類型的相機(jī)信號處理，諸如拐點(diǎn)校正、伽馬校正以及顏色校正。相機(jī)信號處理單元963將相機(jī)信號處理之后的圖像數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。
[0438]圖像數(shù)據(jù)處理單元964執(zhí)行從相機(jī)信號處理單元963提供的圖像數(shù)據(jù)的編碼處理。圖像數(shù)據(jù)處理單元964將通過編碼處理生成的編碼數(shù)據(jù)提供給外部接口單元966和介質(zhì)驅(qū)動(dòng)器968。此外，圖像數(shù)據(jù)處理單元964執(zhí)行從外部接口單元966或介質(zhì)驅(qū)動(dòng)器968提供的編碼數(shù)據(jù)的解碼處理。圖像數(shù)據(jù)處理單元964將通過解碼處理生成的圖像數(shù)據(jù)提供給顯示單元965。此外，圖像數(shù)據(jù)處理單元964將從相機(jī)信號處理單元963提供的圖像數(shù)據(jù)提供給顯示單元965，并且將從OSD單元969獲取的顯示數(shù)據(jù)疊加在圖像數(shù)據(jù)上并將經(jīng)疊加的數(shù)據(jù)提供給顯示單元965。
[0439]OSD單元969生成由符號、字符和圖表構(gòu)成的顯示數(shù)據(jù)、菜單畫面和圖標(biāo)，并且將顯示數(shù)據(jù)輸出至圖像數(shù)據(jù)處理單元964。
[0440]外部接口單元966由例如USB輸入/輸出端子構(gòu)成，并且在打印圖像時(shí)與打印機(jī)連接。此外，驅(qū)動(dòng)器按照需要連接至外部接口單元966，并且適當(dāng)?shù)匕惭b諸如磁盤或光盤的可移除介質(zhì)，并且按照需要安裝從其讀取的計(jì)算機(jī)程序。此外，外部接口單元966包括連接至諸如LAN或互聯(lián)網(wǎng)的預(yù)定網(wǎng)絡(luò)的網(wǎng)絡(luò)接口?？刂茊卧?70可以例如根據(jù)來自用戶接口單元971的指令從存儲(chǔ)器單元967讀出編碼數(shù)據(jù)，并且將來自外部接口單元966的編碼數(shù)據(jù)通過網(wǎng)絡(luò)提供給另一裝置。此外，控制單元970可以通過外部接口單元966獲取通過網(wǎng)絡(luò)從另一裝置提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并且將該數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。
[0441]作為由介質(zhì)驅(qū)動(dòng)器968驅(qū)動(dòng)的記錄介質(zhì)，例如使用任何可讀/可寫的可移除介質(zhì)，諸如磁盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。此外，記錄介質(zhì)可以采用任何類型的可移除介質(zhì)，并且可以是帶裝置、盤或存儲(chǔ)卡。顯然，可以采用非接觸IC等。
[0442]此外，介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)被集成，并且可以由非便攜存儲(chǔ)介質(zhì)構(gòu)成，諸如內(nèi)建型硬盤驅(qū)動(dòng)器或固態(tài)驅(qū)動(dòng)器(SSD)。
[0443]控制單元970由CPU、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)CPU執(zhí)行的程序、CPU執(zhí)行處理所需的各種類型的數(shù)據(jù)等。在預(yù)定定時(shí)，諸如在成像裝置960啟動(dòng)時(shí)，CPU讀出存儲(chǔ)器中存儲(chǔ)的程序并且執(zhí)行該程序。CPU控制各單元，使得成像裝置960通過執(zhí)行程序根據(jù)用戶操作執(zhí)行操作。
[0444]在這樣配置的成像裝置中，圖像數(shù)據(jù)處理單元964設(shè)置有本申請的編碼裝置和解碼裝置(編碼方法和解碼方法)。因此，可以生成包裝圖像的編碼流，使得當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。此外，當(dāng)解碼并顯示包裝圖像的編碼流時(shí)，可以可靠地顯示構(gòu)成包裝圖像的期望圖像。
[0445]注意，本技術(shù)的實(shí)施例不限于上述實(shí)施例，并且在不偏離本技術(shù)的精神的情況下可以進(jìn)行各種改變。
[0446]例如，圖18的顯示控制單元55和顯示單元56可以設(shè)置在解碼裝置50外部。
[0447]此外，本技術(shù)具有云計(jì)算的配置，其中一個(gè)功能通過網(wǎng)絡(luò)由多個(gè)裝置共享并且協(xié)作地處理。
[0448]此外，流程圖中描述的步驟可以由多個(gè)裝置共享并執(zhí)行，而非由單個(gè)裝置執(zhí)行。
[0449]此外，當(dāng)在一個(gè)步驟中包括多個(gè)處理時(shí)，一個(gè)步驟中包括的所述多個(gè)處理可以由多個(gè)裝置共享并執(zhí)行，而非由單個(gè)裝置執(zhí)行。
[0450]此外，本技術(shù)可以采用以下配置。
[0451](I) 一種解碼裝置，包括:
[0452]解碼單元，被配置成對編碼數(shù)據(jù)進(jìn)行解碼，所述編碼數(shù)據(jù)是其中多個(gè)圖像被包裝的編碼的包裝圖像，并且所述解碼單元被配置成生成所述包裝圖像；以及
[0453]控制單元，被配置成基于與包裝相關(guān)的包裝信息來識(shí)別構(gòu)成所述解碼單元生成的所述包裝圖像的每個(gè)圖像，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息。
[0454](2)根據(jù)⑴所述的解碼裝置，進(jìn)一步包括:
[0455]接收單元，被配置成接收作為補(bǔ)充增強(qiáng)信息SEI的所述包裝信息。
[0456](3)根據(jù)⑴所述的解碼裝置，進(jìn)一步包括:
[0457]接收單元，被配置成接收與所述包裝圖像的一部分相關(guān)的圖像信息。
[0458](4)根據(jù)(3)所述的解碼裝置，其中所述圖像信息包括指示所述包裝圖像的一部分的位置的位置信息。
[0459](5)根據(jù)(4)所述的解碼裝置，其中當(dāng)顯示所述包裝圖像時(shí)，相對于所述圖像信息優(yōu)先使用所述包裝信息。
[0460](6)根據(jù)⑴至(5)中任一項(xiàng)所述的解碼裝置，其中所述包裝信息包括指示構(gòu)成所述包裝圖像的各圖像在所述包裝圖像中的位置的位置信息。
[0461](7)根據(jù)⑴至(6)中任一項(xiàng)所述的解碼裝置，其中所述包裝信息包括包裝模式。
[0462](8)根據(jù)(I)至(7)中任一項(xiàng)所述的解碼裝置，其中所述控制單元將所識(shí)別的圖像顯示在被配置成顯示圖像的顯示單元中。
[0463](9)根據(jù)(I)至(8)中任一項(xiàng)所述的解碼裝置，其中所述解碼單元按編碼單位CU對所述編碼數(shù)據(jù)進(jìn)行解碼。
[0464](10) —種解碼方法，包括步驟:
[0465]通過解碼裝置，
[0466]對編碼數(shù)據(jù)進(jìn)行解碼，所述編碼數(shù)據(jù)是其中多個(gè)圖像被包裝的編碼的包裝圖像，并且生成所述包裝圖像；以及
[0467]通過基于與包裝相關(guān)的包裝信息識(shí)別構(gòu)成通過解碼處理生成的所述包裝圖像的每個(gè)圖像來執(zhí)行控制，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息。
[0468](11) 一種編碼裝置，包括:
[0469]編碼單元，被配置成對其中包裝多個(gè)圖像的包裝圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)；
[0470]設(shè)定單元，被配置成設(shè)定與包裝相關(guān)的包裝信息，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息；以及
[0471]傳送單元，被配置成傳送所述編碼單元生成的所述編碼數(shù)據(jù)以及所述設(shè)定單元設(shè)定的所述包裝信息。
[0472](12)根據(jù)(11)所述的編碼裝置，其中所述傳送單元傳送作為補(bǔ)充增強(qiáng)信息SEI的所述包裝信息。
[0473](13)根據(jù)(11)或(12)所述的編碼裝置，其中所述傳送單元傳送與所述包裝圖像的一部分相關(guān)的圖像信息。
[0474](14)根據(jù)(13)所述的編碼裝置，其中所述圖像信息包括指示所述包裝圖像的一部分的位置的位置信息。
[0475](15)根據(jù)(14)所述的編碼裝置，其中當(dāng)顯示所述包裝圖像時(shí)，相對于所述圖像信息優(yōu)先使用所述包裝信息。
[0476](16)根據(jù)(11)至(15)中任一項(xiàng)所述的編碼裝置，其中所述包裝信息包括指示構(gòu)成所述包裝圖像的各圖像在所述包裝圖像中的位置的位置信息。
[0477](17)根據(jù)(11)至(16)中任一項(xiàng)所述的編碼裝置，其中所述包裝信息包括包裝模式。
[0478](18)根據(jù)(11)至(17)中任一項(xiàng)所述的編碼裝置，其中所述編碼單元按編碼單位⑶對所述包裝圖像進(jìn)行編碼。
[0479](19) 一種編碼方法，包括步驟:
[0480]通過編碼裝置，
[0481]對其中包裝多個(gè)圖像的包裝圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)；
[0482]設(shè)定與包裝相關(guān)的包裝信息，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息；以及傳送通過編碼處理生成的所述編碼數(shù)據(jù)以及通過設(shè)定處理設(shè)定的所述包裝信息。
[0483]附圖標(biāo)記列表
[0484]I編碼裝置
[0485]2編碼單元
[0486]3設(shè)定單元
[0487]4傳送單元
[0488]50解碼裝置
[0489]51接收單元
[0490]53解碼單元
[0491]54控制單元
[0492]55顯示控制單元
[0493]56顯示單元
[0494]120編碼裝置
[0495]121編碼單元
[0496]122設(shè)定單元
[0497]160解碼裝置
[0498]161解碼單元
[0499]162控制單元
[0500]163顯示控制單元
【權(quán)利要求】
1.一種解碼裝置，包括: 解碼單元，被配置成對編碼數(shù)據(jù)進(jìn)行解碼，所述編碼數(shù)據(jù)是其中多個(gè)圖像被包裝的編碼的包裝圖像，并且所述解碼單元被配置成生成所述包裝圖像；以及 控制單元，被配置成基于與包裝相關(guān)的包裝信息來識(shí)別構(gòu)成所述解碼單元生成的所述包裝圖像的每個(gè)圖像，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息。
2.根據(jù)權(quán)利要求1所述的解碼裝置，進(jìn)一步包括: 接收單元，被配置成接收作為補(bǔ)充增強(qiáng)信息SEI的所述包裝信息。
3.根據(jù)權(quán)利要求1所述的解碼裝置，進(jìn)一步包括: 接收單元，被配置成接收與所述包裝圖像的一部分相關(guān)的圖像信息。
4.根據(jù)權(quán)利要求3所述的解碼裝置，其中所述圖像信息包括指示所述包裝圖像的一部分的位置的位置信息。
5.根據(jù)權(quán)利要求4所述的解碼裝置，其中當(dāng)顯示所述包裝圖像時(shí)，相對于所述圖像信息優(yōu)先使用所述包裝信息。
6.根據(jù)權(quán)利要求1所述的解碼裝置，其中所述包裝信息包括指示構(gòu)成所述包裝圖像的各圖像在所述包裝圖像中的位置的位置信息。
7.根據(jù)權(quán)利要求1所述的解碼裝置，其中所述包裝信息包括包裝模式。
8.根據(jù)權(quán)利要求1所述的解碼裝置，其中所述控制單元將所識(shí)別的圖像顯示在被配置成顯示圖像的顯示單元中。
9.根據(jù)權(quán)利要求1所述的解碼裝置，其中所述解碼單元按編碼單位CU對所述編碼數(shù)據(jù)進(jìn)行解碼。
10.一種解碼方法，包括步驟: 通過解碼裝置， 對編碼數(shù)據(jù)進(jìn)行解碼，所述編碼數(shù)據(jù)是其中多個(gè)圖像被包裝的編碼的包裝圖像，并且生成所述包裝圖像；以及 通過基于與包裝相關(guān)的包裝信息識(shí)別構(gòu)成通過解碼處理生成的所述包裝圖像的每個(gè)圖像來執(zhí)行控制，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息。
11.一種編碼裝置，包括: 編碼單元，被配置成對其中包裝多個(gè)圖像的包裝圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)； 設(shè)定單元，被配置成設(shè)定與包裝相關(guān)的包裝信息，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息；以及 傳送單元，被配置成傳送所述編碼單元生成的所述編碼數(shù)據(jù)以及所述設(shè)定單元設(shè)定的所述包裝信息。
12.根據(jù)權(quán)利要求11所述的編碼裝置，其中所述傳送單元傳送作為補(bǔ)充增強(qiáng)信息SEI的所述包裝信息。
13.根據(jù)權(quán)利要求11所述的編碼裝置，其中所述傳送單元傳送與所述包裝圖像的一部分相關(guān)的圖像信息。
14.根據(jù)權(quán)利要求13所述的編碼裝置，其中所述圖像信息包括指示所述包裝圖像的一部分的位置的位置信息。
15.根據(jù)權(quán)利要求14所述的編碼裝置，其中當(dāng)顯示所述包裝圖像時(shí)，相對于所述圖像信息優(yōu)先使用所述包裝信息。
16.根據(jù)權(quán)利要求11所述的編碼裝置，其中所述包裝信息包括指示構(gòu)成所述包裝圖像的各圖像在所述包裝圖像中的位置的位置信息。
17.根據(jù)權(quán)利要求11所述的編碼裝置，其中所述包裝信息包括包裝模式。
18.根據(jù)權(quán)利要求11所述的編碼裝置，其中所述編碼單元按編碼單位CU對所述包裝圖像進(jìn)行編碼。
19.一種編碼方法，包括步驟: 通過編碼裝置， 對其中包裝多個(gè)圖像的包裝圖像進(jìn)行編碼，并且生成編碼數(shù)據(jù)； 設(shè)定與包裝相關(guān)的包裝信息，當(dāng)顯示所述包裝圖像時(shí)優(yōu)先使用所述包裝信息；以及 傳送通過編碼處理生成的所述編碼數(shù)據(jù)以及通過設(shè)定處理設(shè)定的所述包裝信息。
【文檔編號】H04N19/597GK104247433SQ201380018043
【公開日】2014年12月24日 申請日期:2013年3月27日 優(yōu)先權(quán)日:2012年4月6日
【發(fā)明者】櫻井裕音, 中神央二, 高橋良知, 鈴木輝彥 申請人:索尼公司