圖像處理設(shè)備和圖像處理方法
【專利摘要】本技術(shù)涉及一種能夠抑制編碼效率降低的圖像處理設(shè)備和方法。圖像處理設(shè)備包括：預(yù)測矢量生成單元，預(yù)測矢量生成單元在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前視差矢量與預(yù)測矢量生成單元生成的預(yù)測矢量之間的差值矢量。本公開內(nèi)容可以應(yīng)用于圖像處理設(shè)備。
【專利說明】圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及一種圖像處理設(shè)備和圖像處理方法。具體而言，本公開內(nèi)容涉及一種能夠提高編碼效率的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002]近年來，如下設(shè)備已經(jīng)在廣播站中的信息分發(fā)和普通家庭中的信息接收二者中變得普遍:該設(shè)備將圖像信息作為數(shù)字?jǐn)?shù)據(jù)來處理、在這樣的情況下目的在于以高效率發(fā)送和存儲信息、并且符合用于通過利用圖像信息特有的冗余度、使用正交變換、比如離散余弦變換并且使用運(yùn)動補(bǔ)償來壓縮圖像信息的方案、比如MPEG (運(yùn)動圖象專家組)。
[0003]具體而言，MPEG2 (國際標(biāo)準(zhǔn)化組織和國際電工委員會(IS0/IEC) 13818-2)被定義為通用圖像編碼方案并且在用于專業(yè)使用和消費(fèi)者使用的廣泛應(yīng)用中當(dāng)前廣泛用作為用于隔行掃描圖像和順序掃描圖像以及標(biāo)準(zhǔn)和高清晰度圖像的標(biāo)準(zhǔn)。例如通過運(yùn)用MPEG2壓縮方案，為具有720X480個像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像分配4至8Mbps的編碼速率(比特率)，并且為具有1920X 1088個像素的高分辨率的隔行掃描圖像分配18至22Mbps的編碼速率(比特率)。作為結(jié)果，可以實(shí)現(xiàn)高壓縮比和良好圖像質(zhì)量。
[0004]MPEG2已經(jīng)主要既定用于適合于廣播的高圖像質(zhì)量編碼、但是未與用于實(shí)現(xiàn)比MPEGl的編碼速率(比特率)更低的編碼速率(比特率)(更高壓縮比)的編碼方案兼容。隨著移動終端的普及，預(yù)計(jì)對于這樣的編碼方案的需求在將來增加。為了回應(yīng)這一點(diǎn)，已經(jīng)確認(rèn)MPEG4編碼方案的標(biāo)準(zhǔn)化。關(guān)于圖像編碼方案，在1998年12月確認(rèn)其規(guī)范為國際標(biāo)準(zhǔn)IS0/IEC14496-2。
[0005]此外，近年來，原先出于用于電視會議的視頻編碼的目的，稱為H.26L (ITU-T (國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)Q6/16VCEG (視頻編碼專家組))的標(biāo)準(zhǔn)的規(guī)范的標(biāo)準(zhǔn)化已有進(jìn)步。已知H.26L實(shí)現(xiàn)更高編碼效率，但是它需要比常規(guī)編碼方案、比如MPEG2和MPEG4更大量的用于編碼和解碼的計(jì)算。另外，目前作為MPEG4的活動的部分，進(jìn)行用于向H.26L中并入H.26L不支持的功能的標(biāo)準(zhǔn)化作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型以實(shí)現(xiàn)高編碼效率。
[0006]標(biāo)準(zhǔn)化時(shí)間表表明，它在2003年3月變成名義為H.264和MPEG-4部分10 (下文稱為AVC的高級視頻編碼)的國際標(biāo)準(zhǔn)。
[0007]然而將宏塊的尺寸設(shè)置成16X16個像素對于將變成下一代編碼方案的對象的、命名為UHD (超高清晰度；4000X2000個像素)的大圖像幀并非最優(yōu)。
[0008]因此，作為ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化組織的JCTVC(聯(lián)合協(xié)作團(tuán)隊(duì)-視頻編碼)目前已經(jīng)開發(fā)稱為HEVC (高效率視頻編碼)的編碼系統(tǒng)的標(biāo)準(zhǔn)化，用于與AVC比較進(jìn)一步提高編碼效率(例如見非專利文獻(xiàn)I)。
[0009]在HEVC編碼方案中，定義編碼單位(⑶)為與AVC方案中的宏塊相同的處理單位。不同于AVC方案的宏塊,CU的尺寸未被固定成16X 16個像素、但是在相應(yīng)序列中的圖像壓縮信息中被指明。
[0010]然而為了改進(jìn)使用在AVC方案中定義的中值預(yù)測對運(yùn)動矢量的編碼，已經(jīng)考慮一種允許使用“時(shí)間預(yù)測符”和“時(shí)空預(yù)測符”以及“空間預(yù)測符”作為用于預(yù)測運(yùn)動矢量的候選的方法(例如見非專利文獻(xiàn)2)。
[0011]另外，提出一種其中發(fā)送merge_flag和merge_left_flag的稱為運(yùn)動分區(qū)合并的方法，作為用于運(yùn)動信息的編碼方案之一(例如見非專利文獻(xiàn)3)。
[0012]引用列表
[0013]非專利文獻(xiàn)
[0014]Non-Patent Documentl: Thomas Wiegandj Woo-Jin Hanj BenjaminBross，Jens-Rainer Ohm, Gary J.Sullivan，"Working Draftlof High-Efficiency VideoCoding"，JCTVC-C403，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG113rd Meeting:Guangzhou, CNj 7-150ctober, 2010
[0015]Non-Patent Document2: Joel Jung，Guillaume Laroche, "Competition-BasedScheme for Motion Vector Selection and Coding, "VCEG-AC06，ITU-Telecommunications Standardization Sector STUDY GR0UP16Question6, Video Coding ExpertsGroup (VCEG)29th Meeting:Klagenfurt, Austria, 17_18July，2006
[0016]Non-Patent Document 3: Martin Winkenj Sebastian Bosse，BenjaminBross，Philipp Hellej Tobias Hinzj Heiner Kirchhofferj Haricharan Lakshmanj DetlevMarpej Simon Oudinj Matthias PreissjHeiko Schwarz, Mischa SiekmannjKarstenSuehringj and Thomas Wiegandj"Description of video coding technology proposed byFraunhofer HHIj"JCTVC-A116，April，2010

【發(fā)明內(nèi)容】

[0017]本發(fā)明要解決的問題
[0018]然而這些技術(shù)舉例說明僅在相同視圖中的處理并且不能在多視圖編碼的情況下執(zhí)行視圖間矢量預(yù)測。因此，編碼效率可能減少。
[0019]本公開內(nèi)容是鑒于這些情形而產(chǎn)生的并且以抑制編碼效率減少為目標(biāo)。
[0020]對問題的解決方案
[0021]根據(jù)本公開內(nèi)容的一個方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括:預(yù)測矢量生成單元，預(yù)測矢量生成單元在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前視差矢量與預(yù)測矢量生成單元生成的預(yù)測矢量之間的差值矢量。
[0022]預(yù)測矢量生成單元可以使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的視差矢量，生成當(dāng)前視差矢量的預(yù)測矢量。
[0023]預(yù)測矢量生成單元可以在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性相同時(shí)，設(shè)置共同定位的塊為可用。
[0024]矢量的特性是矢量的類型，并且預(yù)測矢量生成單元可以在當(dāng)前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時(shí)，設(shè)置共同定位的塊為可用。
[0025]預(yù)測運(yùn)動矢量生成單元可以使用指示畫面的輸出順序的畫面順序計(jì)數(shù)P0C，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。[0026]預(yù)測運(yùn)動矢量生成單元可以使用當(dāng)前畫面的POC、從當(dāng)前畫面參考的當(dāng)前參考畫面的P0C、共同定位的畫面的POC和從共同定位的畫面參考的共同定位的參考畫面的P0C，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。
[0027]預(yù)測運(yùn)動矢量生成單元可以在當(dāng)前畫面的POC與從當(dāng)前畫面參考的當(dāng)前參考畫面的POC相同并且共同定位的畫面的POC與從共同定位的畫面參考的共同定位的參考畫面的POC相同時(shí)，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。
[0028]預(yù)測矢量生成單元可以在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性不同時(shí)，設(shè)置共同定位的塊為不可用。
[0029]矢量的特性是參考畫面的類型，并且預(yù)測矢量生成單元可以在當(dāng)前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用。
[0030]矢量的特性是參考畫面的類型，并且預(yù)測矢量生成單元可以在當(dāng)前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時(shí)，略過搜索參考索引的搜索處理。
[0031]預(yù)測矢量生成單元可以使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考塊的視差矢量，生成當(dāng)前視差矢量的預(yù)測矢量。
[0032]預(yù)測矢量生成單元可以基于在當(dāng)前畫面與在生成預(yù)測運(yùn)動矢量時(shí)參考的參考畫面之間的位置關(guān)系縮放參考視差矢量，以生成當(dāng)前視差矢量的預(yù)測矢量。
[0033]預(yù)測矢量生成單元可以在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成當(dāng)前運(yùn)動矢量的預(yù)測矢量，并且差值矢量生成單元可以生成當(dāng)前運(yùn)動矢量與預(yù)測矢量生成單元生成的預(yù)測矢量之間的差值矢量。
[0034]預(yù)測矢量生成單元可以使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考塊的運(yùn)動矢量，生成當(dāng)前運(yùn)動矢量的預(yù)測矢量。
[0035]預(yù)測矢量生成單元可以使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的畫面中包括的參考塊的運(yùn)動矢量，生成當(dāng)前運(yùn)動矢量的預(yù)測矢量。
[0036]預(yù)測矢量生成單元可以基于當(dāng)前畫面與在生成預(yù)測運(yùn)動矢量時(shí)參考的參考畫面之間的位置關(guān)系來縮放參考運(yùn)動矢量，以生成當(dāng)前運(yùn)動矢量的預(yù)測矢量。
[0037]預(yù)測矢量生成單元可以在移位與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面的像素的位置的狀態(tài)中，使用與位于當(dāng)前塊相同的位置的塊的矢量來生成預(yù)測矢量。
[0038]預(yù)測矢量生成單元可以根據(jù)當(dāng)前塊的鄰近區(qū)域的視差矢量，設(shè)置圖像的移位量。
[0039]預(yù)測矢量生成單元可以使用其中在Y方向上的視差矢量的值不是零的鄰近塊的在X方向上的視差矢量，作為移位量。
[0040]預(yù)測矢量生成單元可以使用根據(jù)其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量計(jì)算的值，作為移位量。
[0041]預(yù)測矢量生成單元可以使用其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量的平均值或者中值，作為圖像的移位量。
[0042]預(yù)測矢量生成單元可以根據(jù)全局視差矢量設(shè)置圖像的移位量。
[0043]另外，根據(jù)本公開內(nèi)容的一個方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行:在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；并且生成當(dāng)前視差矢量與所生成的預(yù)測矢量之間的差值矢量。
[0044]根據(jù)本公開內(nèi)容的另一方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括:預(yù)測矢量生成單元，預(yù)測矢量生成單元在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；以及算術(shù)單元，算術(shù)單元執(zhí)行將預(yù)測矢量生成單元生成的預(yù)測矢量和當(dāng)前視差矢量與預(yù)測矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。
[0045]另外，根據(jù)本公開內(nèi)容的一個方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行:在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；并且執(zhí)行將所生成的預(yù)測矢量和當(dāng)前視差矢量與預(yù)測矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。
[0046]根據(jù)本公開內(nèi)容的又一方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括:預(yù)測矢量生成單元，預(yù)測矢量生成單元在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成當(dāng)前運(yùn)動矢量的預(yù)測矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前運(yùn)動矢量與預(yù)測矢量生成單元生成的預(yù)測矢量之間的差值矢量。
[0047]另外，根據(jù)本公開內(nèi)容的一個方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行:在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成當(dāng)前運(yùn)動矢量的預(yù)測矢量；并且生成當(dāng)前運(yùn)動矢量與所生成的預(yù)測矢量之間的差值矢量。
[0048]在本公開內(nèi)容的一個方面中，在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；并且生成當(dāng)前視差矢量與生成的預(yù)測矢量之間的差值矢量。
[0049]根據(jù)本公開內(nèi)容的另一方面，在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測矢量；并且執(zhí)行將生成的預(yù)測矢量和當(dāng)前視差矢量與預(yù)測矢量之間的差值矢量相加以重建當(dāng)前視差矢量的運(yùn)算。
[0050]根據(jù)本公開內(nèi)容的又一方面，在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用；使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成當(dāng)前運(yùn)動矢量的預(yù)測矢量；并且生成當(dāng)前運(yùn)動矢量與生成的預(yù)測矢量之間的差值矢量。
[0051]發(fā)明的效果
[0052]根據(jù)本公開內(nèi)容，有可能處理圖像。具體而言，有可能抑制編碼效率降低?！緦＠綀D】

【附圖說明】
[0053]圖1是用于描述預(yù)測單位類型的示例的圖。
[0054]圖2是用于描述用于合并模式時(shí)間相關(guān)性區(qū)域中的參考圖像索引確定的鄰近區(qū)域的示例的圖。
[0055]圖3是用于描述合并模式時(shí)間相關(guān)性區(qū)域中的參考圖像索引確定條件的示例的圖。
[0056]圖4是用于描述時(shí)間相關(guān)性區(qū)域確定方法的示例的圖。
[0057]圖5是用于描述方法的示例的圖，該方法確定包括時(shí)間相關(guān)性區(qū)域的圖像。
[0058]圖6是用于描述在當(dāng)前區(qū)域與時(shí)間相關(guān)性區(qū)域之間的位置關(guān)系的示例的圖。
[0059]圖7是圖示時(shí)間相關(guān)性區(qū)域的運(yùn)動矢量的縮放的示例的圖。
[0060]圖8是圖示3視圖圖像的參考關(guān)系的示例的圖。
[0061]圖9是用于描述在關(guān)于當(dāng)前區(qū)域預(yù)測視差矢量時(shí)分配參考圖像的示例的圖。
[0062]圖10是用于描述在關(guān)于當(dāng)前區(qū)域預(yù)測運(yùn)動矢量時(shí)分配參考圖像的示例的圖。
[0063]圖11是圖示圖像編碼設(shè)備的主要配置示例的框圖。
[0064]圖12是圖示運(yùn)動視差預(yù)測/補(bǔ)償單元的主要配置示例的框圖。
[0065]圖13是圖示時(shí)間視差相關(guān)性預(yù)測矢量生成單元的主要配置示例的框圖。
[0066]圖14是用于描述方案選擇的示例的圖。
[0067]圖15是用于描述確定共同定位的矢量的可用性的方式的圖。
[0068]圖16是用于描述其中共同定位的矢量可用的示例的圖。
[0069]圖17是圖示序列參數(shù)集的語法的示例的圖。
[0070]圖18是圖示切片首部的語法的示例的圖。
[0071]圖19圖示預(yù)測單位的語法的示例的圖。
[0072]圖20是用于描述編碼處理的流程的示例的流程圖。
[0073]圖21是用于描述幀間運(yùn)動預(yù)測處理的流程圖的示例的流程圖。
[0074]圖22是用于描述合并模式處理的流程的示例的流程圖。
[0075]圖23是用于描述視差運(yùn)動矢量預(yù)測處理的流程的示例的流程圖。
[0076]圖24是用于描述時(shí)間視差相關(guān)性預(yù)測處理的流程的示例的流程圖。
[0077]圖25是用于描述時(shí)間視差相關(guān)性預(yù)測處理的流程的示例的、從圖22繼續(xù)的流程圖。
[0078]圖26是用于描述時(shí)間視差相關(guān)性預(yù)測處理的流程的示例的、從圖23繼續(xù)的流程圖。
[0079]圖27是用于描述時(shí)間視差相關(guān)性預(yù)測處理的流程的示例的、從圖24繼續(xù)的流程圖。
[0080]圖28是用于描述方案I處理的流程的示例的流程圖。
[0081]圖29是用于描述方案3處理的流程的示例的流程圖。
[0082]圖30是用于描述方案4-2處理的流程的示例的流程圖。
[0083]圖31是圖示示例解碼設(shè)備的主要配置示例的框圖。
[0084]圖32是圖示運(yùn)動視差補(bǔ)償單元的主要配置示例的框圖。[0085]圖33是用于描述解碼處理的流程的示例的流程圖。
[0086]圖34是用于描述預(yù)測處理的流程的示例的流程圖。
[0087]圖35是用于描述運(yùn)動視差補(bǔ)償處理的流程的示例的流程圖。
[0088]圖36是用于描述運(yùn)動視差矢量生成處理的流程的示例的流程圖。
[0089]圖37是圖示圖像編碼設(shè)備的另一配置示例的框圖。
[0090]圖38是圖示運(yùn)動預(yù)測/補(bǔ)償單元的主要配置示例的框圖。
[0091]圖39是圖示矢量預(yù)測單元的主要配置示例的框圖。
[0092]圖40是圖示基于不同畫面的預(yù)測矢量生成單元的主要配置示例的框圖。
[0093]圖41是用于描述運(yùn)動預(yù)測/補(bǔ)償處理的流程的示例的流程圖。
[0094]圖42是用于描述矢量預(yù)測處理的流程的示例的流程圖。
[0095]圖43是用于描述預(yù)測矢量生成處理的流程的示例的流程圖。
[0096]圖44是用于描述基于不同畫面的預(yù)測矢量生成處理的流程的示例的流程圖。
[0097]圖45是用于描述移位量確定處理的流程的示例的流程圖。
[0098]圖46是圖示當(dāng)前塊和鄰近塊的布置的示例的圖。
[0099]圖47是圖示圖像解碼設(shè)備的另一配置示例的框圖。
[0100]圖48是圖示運(yùn)動補(bǔ)償單元的主要配置示例的框圖。
[0101]圖49是圖示矢量解碼單元的主要配置示例的框圖。
[0102]圖50是圖示基于不同畫面的預(yù)測矢量生成單元的主要配置示例的框圖。
[0103]圖51是用于描述運(yùn)動補(bǔ)償處理的流程的示例的流程圖。
[0104]圖52是用于描述矢量解碼處理的流程的示例的流程圖。
[0105]圖53是用于描述預(yù)測矢量生成處理的流程的示例的流程圖。
[0106]圖54是用于描述基于不同畫面的預(yù)測矢量生成處理的流程的示例的流程圖。
[0107]圖55是用于描述移位量確定處理的流程的示例的流程圖。
[0108]圖56是圖示生成預(yù)測矢量的方式的示例的圖。
[0109]圖57是用于描述視差和深度的圖。
[0110]圖58是用于描述預(yù)測矢量生成方法的示例的圖。
[0111]圖59是用于描述預(yù)測矢量生成處理的流程的示例的流程圖。
[0112]圖60是用于描述基于不同畫面的預(yù)測矢量生成處理的流程的示例的流程圖。
[0113]圖61是用于描述基于不同畫面的預(yù)測矢量生成處理的流程的示例的、從圖60繼續(xù)的流程圖。
[0114]圖62是用于描述用于固定背景應(yīng)用的參考圖像的方面的示例的圖。
[0115]圖63是用于描述用于立體應(yīng)用的參考圖像的方面的示例的圖。
[0116]圖64是用于比較參考圖像類型和矢量特性的示例的圖。
[0117]圖65是用于描述鄰近塊的示例的圖。
[0118]圖66是用于描述處理時(shí)間相關(guān)性塊和鄰近塊的示例的圖。
[0119]圖67是用于描述PU運(yùn)動(視差)矢量和參考索引生成處理的流程的示例的流程圖。
[0120]圖68是用于描述合并(略過)模式處理的流程的示例的流程圖。
[0121]圖69是用于描述根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的流程圖。
[0122]圖70是用于描述處理的流程的示例的流程圖，該處理確定存在用于時(shí)間相關(guān)性塊的運(yùn)動(視差)矢量的縮放處理和存在候選。
[0123]圖71是用于描述AMVP模式處理的流程的示例的流程圖。
[0124]圖72是用于描述根據(jù)空間鄰近塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的流程圖。
[0125]圖73是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的流程圖。
[0126]圖74是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的、從圖73繼續(xù)的流程圖。
[0127]圖75是用于描述處理的流程的示例的流程圖，該處理確定存在用于鄰近塊的運(yùn)動(視差)矢量的縮放處理和存在候選。
[0128]圖76是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的流程圖。
[0129]圖77是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的、從圖76繼續(xù)的流程圖。
[0130]圖78是用于描述PU運(yùn)動(視差)矢量和參考索引生成處理的流程的示例的流程圖。
[0131]圖79是用于描述合并(略過)模式處理的流程的示例的流程圖。
[0132]圖80是用于描述根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(視差)矢量的處理的流程的示例的流程圖。
[0133]圖81是用于描述AMVP模式處理的流程的示例的流程圖。
[0134]圖82是用于描述處理鄰近塊的示例的圖。
[0135]圖83是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的另一示例的流程圖。
[0136]圖84是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的另一示例的、從圖83繼續(xù)的流程圖。
[0137]圖85是用于描述處理的流程圖的示例的流程圖，該處理確定存在用于鄰近塊的候選運(yùn)動(視差)矢量。
[0138]圖86是用于描述處理的流程的另一示例的流程圖，該處理用于確定存在用于鄰近塊的運(yùn)動(視差)矢量的縮放處理和存在候選。
[0139]圖87是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的另一示例的流程圖。
[0140]圖88是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的另一示例的、從圖87繼續(xù)的流程圖。
[0141]圖89是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的另一示例的、從圖88繼續(xù)的流程圖。
[0142]圖90是用于描述處理時(shí)間相關(guān)性塊和鄰近塊的又一示例的圖。
[0143]圖91是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的又一示例的流程圖。
[0144]圖92是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的又一示例的、從圖91繼續(xù)的流程圖。
[0145]圖93是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的又一示例的流程圖。
[0146]圖94是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(視差)矢量的處理的流程的又一示例的、從圖93繼續(xù)的流程圖。
[0147]圖95是圖示個人計(jì)算機(jī)的主要配置示例的框圖。
[0148]圖96是圖示電視裝置的示意配置的示例的框圖。
[0149]圖97是圖示移動電話的示意配置的示例的框圖。
[0150]圖98是圖示記錄/再現(xiàn)裝置的示意配置的示例的框圖。
[0151]圖99是圖示成像裝置的示意配置的示例的框圖。
【具體實(shí)施方式】
[0152]下文將描述用于實(shí)現(xiàn)本公開內(nèi)容的方式(下文稱為實(shí)施例)。將按照以下順序給出描述:
[0153]1.第一實(shí)施例(圖像編碼設(shè)備)
[0154]2.第二實(shí)施例(圖像解碼設(shè)備)
[0155]3.第三實(shí)施例(圖像編碼設(shè)備)
[0156]4.第四實(shí)施例(圖像解碼設(shè)備)
[0157]5.第五實(shí)施例(圖像編碼設(shè)備和圖像解碼設(shè)備)
[0158]6.第六實(shí)施例(圖像編碼設(shè)備和圖像解碼設(shè)備)
[0159]7.第七實(shí)施例(計(jì)算機(jī))
[0160]8.第八實(shí)施例(應(yīng)用示例)
[0161][1.第一實(shí)施例]
[0162][運(yùn)動預(yù)測]
[0163]在圖像編碼、比如AVC (高級視頻編碼)或者HEVC (高效率視頻編碼)中，執(zhí)行使用在時(shí)間方向上(在幀之間)的相關(guān)性的運(yùn)動預(yù)測。
[0164]AVC定義分層塊、比如宏塊或者子宏塊為這樣的預(yù)測處理的處理單位，并且HEVC定義編碼單位(CU)。
[0165]也稱為編碼樹塊(CTB)的⑶是與在AVC中的宏塊發(fā)揮相同作用的、基于畫面的圖像的部分區(qū)域。將宏塊的尺寸固定成16 X 16個像素，而CU的尺寸未被固定、但是在相應(yīng)序列中的圖像壓縮信息中被指明。
[0166]例如在輸出編碼數(shù)據(jù)中包括的序列參數(shù)集(SPS)中定義CU的最大尺寸(LCU:最大編碼單位)和最小尺寸(SCU:最小編碼單位)。
[0167]可以通過設(shè)置split_flag=l將每個IXU拆分成更小尺寸的⑶，該尺寸不小于SCU的尺寸。在split_flag的值為“I”時(shí)，將具有2NX2N的尺寸的⑶拆分成具有NXN的下一層尺寸的⑶。
[0168]另外，將⑶拆分成預(yù)測單位(PU)，這些PU是用作為幀內(nèi)或者幀間預(yù)測的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。另外，將⑶拆分成變換單位(TU)，這些變換單位是用作為正交變換的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。當(dāng)前，HEVC除了 4X4和8X8正交變換之外還可以使用16X16和32X32正交變換。
[0169]在其中如在HEVC中那樣定義⑶并且以⑶為單位執(zhí)行各種處理的編碼方案中，可以認(rèn)為在AVC中的宏塊對應(yīng)于IXU。然而⑶具有層結(jié)構(gòu)，一般將在最上層上的IXU的尺寸設(shè)置成例如比AVC的宏塊的尺寸更大的128X 128個像素。
[0170]在以下描述中，“區(qū)域”包括以上描述的所有各種類型的區(qū)域(例如宏塊、子宏塊、IXU、⑶、S⑶、PU、TU等)(并且可以是區(qū)域中的任何區(qū)域)?！皡^(qū)域”可以自然地包括除了以上描述的單位之外的單位，并且適當(dāng)排除根據(jù)描述內(nèi)容而不可用的單位。
[0171]圖1圖示預(yù)測單位(PU)的配置示例，這些I3U是用于⑶的預(yù)測處理單位，這些⑶是編碼處理單位。如圖1中所示，可以對于一個CU形成四個類型的PU。圖1中所示四個大方形指示CU，并且在大方形以內(nèi)的矩形或者方形指示PU。編號指示每個的索引、但是未指示圖像的內(nèi)容。
[0172]如圖1中所示，在左上角上的示例中，⑶包括一個I3U (2NX2N)。也就是說，在這一情況下，⑶等效于PU。另外，在右上角上的示例中，⑶被豎直拆分成兩個區(qū)域并且包括兩個水平長PU (2NXN)。另外，在左下角上的示例中，⑶被水平劃分成兩個區(qū)域并且包括兩個豎直長PU (NX2N)。另外，在右下角上的示例中，⑶被豎直和水平拆分成兩個區(qū)域(共計(jì)四個區(qū)域)并且包括四個方形PU (NXN)。根據(jù)圖像的內(nèi)容(預(yù)測結(jié)果的成本函數(shù)值)確定在這些圖案之中的待使用的圖案。
[0173]非專利文獻(xiàn)3提出一種作為運(yùn)動信息編碼方案的稱為運(yùn)動分區(qū)合并的方法(合并模式)。在這一方法中，發(fā)送兩個標(biāo)志、也就是MergeFlag和MergeLeftFlag作為合并信息，該合并信息是關(guān)于合并模式的信息。MergeFlag=I指示作為處理目標(biāo)的當(dāng)前區(qū)域(也稱為目標(biāo)區(qū)域)X的運(yùn)動信息與當(dāng)前區(qū)域相鄰的上鄰近區(qū)域T或者與當(dāng)前區(qū)域相鄰的左鄰近區(qū)域L的運(yùn)動信息相同。在這一,清況下，在合并信息中包括并且發(fā)送MergeLeftFlag JergeFlag=O指示當(dāng)前區(qū)域X的運(yùn)動信息不同于鄰近區(qū)域T和鄰近區(qū)域L中的任一鄰近區(qū)域的運(yùn)動信息。在這一情況下，發(fā)送當(dāng)前區(qū)域X的運(yùn)動信息。
[0174]在當(dāng)前區(qū)域X的運(yùn)動信息與鄰近區(qū)域L的運(yùn)動信息相同時(shí)，滿足MergeFlag=I和MergeLeftFlag=I。在當(dāng)前區(qū)域X的運(yùn)動信息與鄰近區(qū)域T的運(yùn)動信息相同時(shí)，滿足MergeFlag=I 和 MergeLeftFlag=O。
[0175]在這樣的合并模式中，時(shí)間鄰近區(qū)域(時(shí)間相關(guān)性區(qū)域)以及空間鄰近區(qū)域L和T視為用作將與當(dāng)前區(qū)域X合并的候選區(qū)域。
[0176]如圖2中所示，基于與作為待處理的目標(biāo)的當(dāng)前區(qū)域(當(dāng)前塊)相鄰的左鄰近區(qū)域A、上鄰近區(qū)域B、右上鄰近區(qū)域C的參考圖像索引，如在圖3中所示表中那樣確定參考圖像索引。
[0177]在圖3中所示表中，從左側(cè)起的第二至第四列分別指示鄰近區(qū)域A至C的參考圖像索引的狀態(tài)。從左側(cè)起的第一列是確定的參考圖像索引?！皒”、“y”和“z”指示可選自然數(shù)，并且“-1 ”指示不能參考鄰近區(qū)域。
[0178]在鄰近區(qū)域A至C之中有可以參考的僅一個區(qū)域時(shí)，使用該塊的參考圖像索引。另夕卜，在鄰近區(qū)域A至C之中有可以參考的兩個區(qū)域時(shí)，使用最小參考圖像索引。另外，在不能參考所有鄰近區(qū)域A至C時(shí)，將參考圖像索引設(shè)置成O。
[0179]如圖4中所示確定在時(shí)間上位于作為處理目標(biāo)的當(dāng)前區(qū)域周圍的時(shí)間相關(guān)性區(qū)域。在圖4中，左區(qū)域指示作為待處理的目標(biāo)的當(dāng)前畫面(CurrPic)(也稱為目標(biāo)畫面)的部分區(qū)域，并且在區(qū)域之中的左上矩形是當(dāng)前區(qū)域(CurrPU)。另外，圖4中的右區(qū)域指示在時(shí)間上位于當(dāng)前畫面周圍的時(shí)間相關(guān)性畫面(colPic)的部分區(qū)域。在這一時(shí)間相關(guān)性畫面中，包括在與當(dāng)前區(qū)域的右下像素相同的位置的像素的區(qū)域是時(shí)間相關(guān)性區(qū)域(colPU)。在這一區(qū)域不可參考時(shí)，設(shè)置包括在與解碼區(qū)域的中心像素相同的位置的像素的區(qū)域作為時(shí)間相關(guān)性區(qū)域(colPU)。
[0180]另外，如圖5中所示確定時(shí)間相關(guān)性畫面。例如在當(dāng)前畫面是B畫面并且collocated_from_10_flag是“I”時(shí),列表LI的參考圖像索引“O”指示的畫面用作時(shí)間相關(guān)性畫面。另外，在當(dāng)前畫面是P畫面或者B畫面并且collocated_from_10_flag是“O”時(shí)，列表LO的參考圖像索引“O”指示的畫面用作時(shí)間相關(guān)性畫面。
[0181]另外，根據(jù)在當(dāng)前畫面與時(shí)間相關(guān)性畫面之間的位置關(guān)系如圖6中所示設(shè)置跳躍標(biāo)志。例如，如在圖6的上側(cè)上所示，在參考圖像中的時(shí)間相關(guān)性畫面的時(shí)間位置跳過當(dāng)前畫面(當(dāng)前畫面存在于時(shí)間相關(guān)性畫面與參考圖像之間)，將跳躍標(biāo)志設(shè)置成“ I”。
[0182]另外，在參考圖像中的時(shí)間相關(guān)性畫面的時(shí)間位置未跳過當(dāng)前畫面(當(dāng)前畫面未存在于時(shí)間相關(guān)性畫面與參考圖像之間)，將跳躍標(biāo)志設(shè)置成“O”。在跳躍標(biāo)志是“I”時(shí)，由于當(dāng)前區(qū)域變成在時(shí)間相關(guān)性區(qū)域與時(shí)間相關(guān)性區(qū)域的參考圖像之間的內(nèi)插，所以預(yù)測矢量的可靠性高。
[0183]另外，雖然在生成預(yù)測矢量pmv時(shí)使用時(shí)間相關(guān)性區(qū)域的運(yùn)動矢量mvCol，但是在這一情況下，與圖7中所示示例相似地縮放時(shí)間相關(guān)性區(qū)域的運(yùn)動矢量。也就是說，基于在當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的時(shí)間距離A和在時(shí)間相關(guān)性區(qū)域與時(shí)間相關(guān)性區(qū)域的參考圖像之間的時(shí)間距離B，如在以下表達(dá)式(I)和(2)中那樣執(zhí)行縮放。
[0184]如果A 和 B 相同，貝U pmv=mvCol...(I)
[0185]如果A 和 B 不相同，則 pmv=mvCol X (A/B)...(2)
[0186]然而在多視圖圖像的情況下，圖像包括多個視圖，并且也執(zhí)行使用在視圖之間(在視差方向上)的相關(guān)性的視差預(yù)測。圖8圖示3視圖圖像的參考關(guān)系的示例。
[0187]圖8中所示3視圖圖像包括三個視圖0、1和2的圖像。在圖8中，POC指示時(shí)間的索引。另外，PicNum指示解碼順序的索引。
[0188]視圖O稱為基本視圖并且使用時(shí)間預(yù)測來編碼，該時(shí)間預(yù)測使用時(shí)間相關(guān)性來執(zhí)行預(yù)測。視圖1稱為非基本視圖并且使用時(shí)間預(yù)測和視差預(yù)測來編碼。在視差預(yù)測中，可以參考編碼視圖O和視圖2。視圖2稱為非基本視圖并且使用時(shí)間預(yù)測和視差預(yù)測來編碼。在視差預(yù)測中，可以參考編碼視圖O。
[0189]然而如以上描述的那樣，常規(guī)預(yù)測矢量僅涉及運(yùn)動矢量，并且不考慮在跨越視圖的視差預(yù)測中生成的視差矢量的編碼(預(yù)測)，該視差矢量指示在視圖之間相同或者最相似的部分圖像之間的位置關(guān)系。視差矢量是與時(shí)間預(yù)測的運(yùn)動矢量對應(yīng)的信息并且用于時(shí)間預(yù)測，該時(shí)間預(yù)測使用相同時(shí)間的不同視圖的不同圖像來生成當(dāng)前區(qū)域的預(yù)測圖像。因此，不可能適當(dāng)預(yù)測視差矢量，并且編碼效率可能減少。
[0190]因此，在本技術(shù)中，如以下描述的那樣，執(zhí)行多視圖圖像的視差矢量和運(yùn)動矢量(運(yùn)動視差矢量)的預(yù)測。
[0191]例如與圖9中所示示例相似地執(zhí)行當(dāng)前區(qū)域的視差矢量(也稱為當(dāng)前視差矢量)的預(yù)測。在這一示例中，向列表I的參考圖像索引O分配相同視圖(view_id=l)的參考圖像，并且向參考圖像索引I分配不同視圖(view_id=2)的參考圖像。
[0192]在列表I的參考圖像索引O (RefPicList [O])用于時(shí)間相關(guān)性畫面時(shí)，在參考相同時(shí)間的不同視圖的視差矢量期間運(yùn)用在時(shí)間相關(guān)性畫面中包括的時(shí)間相關(guān)性區(qū)域(colPicB)的矢量作為預(yù)測矢量。
[0193]另外，在列表I的參考圖像索引I (RefPicList[l])用于視圖相關(guān)性畫面時(shí)，在參考相同時(shí)間的不同視圖的視差矢量期間運(yùn)用在視圖相關(guān)性畫面中包括的視圖相關(guān)性區(qū)域(colPicA)的矢量作為預(yù)測矢量。
[0194]也就是說，在本技術(shù)中，為了預(yù)測當(dāng)前視差矢量，使用所有參考圖像索引作為用于相關(guān)性畫面的候選。另外，與當(dāng)前區(qū)域的矢量相似地確定每個相關(guān)性區(qū)域的矢量是否為視
差矢量。
[0195]另外，與圖10中所示示例相似地執(zhí)行當(dāng)前區(qū)域的運(yùn)動矢量(也稱為當(dāng)前運(yùn)動矢量)的預(yù)測。在這一示例中，向列表I的參考圖像索引O分配相同視圖(view_id=l)的參考圖像，并且向參考圖像索引I分配不同視圖(view_id=2)的參考圖像。
[0196]在列表I的參考圖像索引O (RefPicList [O])用于時(shí)間相關(guān)性畫面時(shí)，在參考相同視圖的不同時(shí)間的運(yùn)動矢量期間運(yùn)用在時(shí)間相關(guān)性畫面中包括的時(shí)間相關(guān)性區(qū)域(colPicB)的矢量作為預(yù)測矢量。
[0197]另外，在列表I的參考圖像索引I (RefPicList[l])用于視圖相關(guān)性畫面時(shí)，在參考相同視圖的不同時(shí)間的運(yùn)動矢量期間運(yùn)用在視圖相關(guān)性畫面中包括的視圖相關(guān)性區(qū)域(colPicA)的矢量作為預(yù)測矢量。
[0198]也就是說，在本技術(shù)中，為了預(yù)測當(dāng)前運(yùn)動矢量，使用所有參考圖像索引作為用于相關(guān)性畫面的候選。另外，與當(dāng)前區(qū)域的矢量相似地確定每個相關(guān)性區(qū)域的矢量是否為運(yùn)
動矢量。
[0199]另外，執(zhí)行在視差矢量用作預(yù)測矢量時(shí)的縮放處理如下。也就是說，基于在當(dāng)前區(qū)域與其參考圖像之間的視圖間距離和在相關(guān)性區(qū)域與其參考圖像之間的視圖間距離縮放預(yù)測矢量。
[0200]在常規(guī)技術(shù)中，由于僅預(yù)測運(yùn)動矢量，所以僅使用時(shí)間距離。然而在多視圖圖像的情況下，有必要預(yù)測視差矢量，因此本技術(shù)也使用視圖間距離。因而有可能提高編碼效率。
[0201][圖像編碼設(shè)備]
[0202]圖11是圖示作為圖像處理設(shè)備的圖像編碼設(shè)備的主要配置示例的框圖。
[0203]圖11中所示圖像編碼設(shè)備100與編碼方案、比如AVC或者HEVC相似地使用預(yù)測處理對圖像數(shù)據(jù)編碼。然而圖像編碼設(shè)備100對包括多個視圖圖像的多視圖圖像編碼。在以下描述中，將描述如下情況，在該情況下處理包括三個視圖圖像的3視圖圖像作為多視圖圖像的示例。然而實(shí)際上，圖像編碼設(shè)備100可以對包括可選數(shù)目的視圖點(diǎn)(視圖)的多視圖圖像編碼。
[0204]如圖11中所示，圖像編碼設(shè)備100包括A/D轉(zhuǎn)換器101、屏幕重新排列緩沖器102、算術(shù)單元103、正交變化單元104、量化單元105、無損編碼單元106和累積緩沖器107。另夕卜，圖像編碼設(shè)備100包括逆量化單元108、逆正交變化單元109、算術(shù)單元110、循環(huán)濾波器
111、解碼畫面緩沖器112、選擇器113、幀內(nèi)預(yù)測單元114、運(yùn)動視差預(yù)測/補(bǔ)償單元115、預(yù)測圖像選擇器116和解碼多視圖畫面緩沖器121。
[0205]A/D轉(zhuǎn)換器101對輸入圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換并且向屏幕重新排列緩沖器102供應(yīng)轉(zhuǎn)換的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))，該屏幕重新排列緩沖器102存儲圖像數(shù)據(jù)。屏幕重新排列緩沖器102根據(jù)GOP (畫面組)重新排列按照存儲的順序排列的圖像的幀、從而按照用于編碼以獲得如下圖像的順序重新排列巾貞、并且將圖像與圖像的視圖1D和POC —起供應(yīng)到算術(shù)單元103，在該圖像中重新排列幀順序。
[0206]屏幕重新排列緩沖器102將其中重新排列幀順序的圖像與圖像的視圖1D和POC一起供應(yīng)到幀內(nèi)預(yù)測單元114和運(yùn)動視差預(yù)測/壓縮單元115。視圖1D是用于標(biāo)識視圖點(diǎn)的信息，并且POC是用于標(biāo)識時(shí)間的信息。
[0207]算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去經(jīng)由預(yù)測圖像選擇器116從幀內(nèi)預(yù)測單元114或者運(yùn)動視差預(yù)測/壓縮單元115供應(yīng)的預(yù)測圖像，以獲得其差值信息并且向正交變化單元104輸出差值信息。
[0208]例如在受到幀內(nèi)編碼的圖像的情況下，算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去從幀內(nèi)預(yù)測單元114供應(yīng)的預(yù)測圖像。另外，例如在受到幀間編碼的圖像的情況下，算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去從運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)的預(yù)測圖像。
[0209]正交變換單元104關(guān)于從算術(shù)單元103供應(yīng)的差值信息執(zhí)行正交變換、比如離散余弦變換或者Karhunen-Loeve變換。正交變換方法是可選的。正交變換單元104向量化單元105供應(yīng)變換系數(shù)。
[0210]量化單元105量化從正交變換單元104供應(yīng)的變換系數(shù)。量化單元104基于關(guān)于目標(biāo)編碼速率的信息設(shè)置量化參數(shù)并且執(zhí)行量化。量化方法是可選的。量化單元105向無損編碼單元106供應(yīng)量化的變換系數(shù)。
[0211 ] 無損編碼單元106根據(jù)可選編碼方案對量化單元105量化的變換系數(shù)編碼。另外，無損編碼單元106從幀內(nèi)預(yù)測單元114獲取包括指示幀內(nèi)預(yù)測模式的信息等的幀內(nèi)預(yù)測信息、并且從運(yùn)動視差預(yù)測/補(bǔ)償單元115獲取包括指示幀間預(yù)測模式的信息、運(yùn)動視差矢量信息等的幀間預(yù)測信息。另外，無損編碼單元106獲取在循環(huán)濾波器111中使用的濾波器系數(shù)等。
[0212]無損編碼單元106根據(jù)可選編碼方案對這些各種類型的信息編碼并且并入(復(fù)用)信息作為編碼數(shù)據(jù)的首部信息的部分。無損編碼單元106向累積緩沖器107供應(yīng)通過編碼而獲得的編碼數(shù)據(jù)，該累積緩沖器107累積編碼數(shù)據(jù)。
[0213]無損編碼單元106的編碼方案的示例包括可變長度編碼和算術(shù)編碼?？勺冮L度編碼的示例包括在H.264/AVC方案中定義的上下文自適應(yīng)可變長度編碼(CAVLC)。算術(shù)編碼的示例包括上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。
[0214]累積緩沖器107暫時(shí)存儲從無損編碼單元106供應(yīng)的編碼數(shù)據(jù)。累積緩沖器107在后續(xù)級、例如在預(yù)定定時(shí)向記錄設(shè)備(記錄介質(zhì))(未圖示)、傳輸線等輸出其中存儲的編碼數(shù)據(jù)為比特流。也就是說，向解碼側(cè)供應(yīng)各種編碼信息項(xiàng)。
[0215]另外，也向逆量化單元108供應(yīng)在量化單元105中量化的變換系數(shù)。逆量化單元108根據(jù)與量化單元105的量化的對應(yīng)的方法對量化的變換系數(shù)執(zhí)行逆量化。逆量化方法是可選的，只要該方法對應(yīng)于量化單元105的量化處理。逆量化單元108向逆正交變換單元109供應(yīng)獲得的變換系數(shù)。
[0216]逆正交變換單元109根據(jù)與正交變換單元104的正交變換處理對應(yīng)的方法，對從逆量化單元108供應(yīng)的變換系數(shù)執(zhí)行逆正交變換。逆正交變換方法是可選的，只要該方法對應(yīng)于正交變換單元104的正交變換處理。向算術(shù)單元110供應(yīng)通過逆正交變換而獲得的輸出(局部重建差值信息)。
[0217]算術(shù)單元110將經(jīng)由預(yù)測圖像選擇器116從幀內(nèi)預(yù)測單元114或者運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)的預(yù)測圖像與從逆正交變換單元109供應(yīng)的逆正交變換結(jié)果、也就是局部重建差值信息相加，以獲得局部重建圖像(下文稱為重建圖像)。向循環(huán)濾波器111或者解碼畫面緩沖器112供應(yīng)重建圖像。
[0218]循環(huán)濾波器111包括去塊化濾波器、自適應(yīng)循環(huán)濾波器等，并且關(guān)于從算術(shù)單元110供應(yīng)的解碼圖像適當(dāng)執(zhí)行濾波器處理。例如循環(huán)濾波器111通過對解碼圖像執(zhí)行去塊化濾波處理，去除解碼圖像的塊失真。另外，例如循環(huán)濾波器111通過使用維納濾波器對去塊化濾波結(jié)果(其中去除塊失真的解碼圖像)執(zhí)行循環(huán)濾波處理來提高圖像質(zhì)量。
[0219]循環(huán)濾波器111可以對解碼圖像執(zhí)行可選濾波處理。另外，循環(huán)濾波器111按照需要向無損編碼單元106供應(yīng)信息、比如用于濾波處理的濾波器系數(shù)，從而對信息編碼。
[0220]循環(huán)濾波器111向解碼畫面緩沖器112供應(yīng)濾波結(jié)果(下文稱為解碼圖像)。
[0221]解碼畫面緩沖器112存儲從算術(shù)單元110供應(yīng)的重建圖像和從循環(huán)濾波器111供應(yīng)的解碼圖像。另外，解碼畫面緩沖器112存儲圖像的視圖1D和P0C。
[0222]解碼畫面緩沖器112在預(yù)定定時(shí)或者基于來自外部單元、比如幀內(nèi)預(yù)測單元114的請求，經(jīng)由選擇器113向幀內(nèi)預(yù)測單元114供應(yīng)其中存儲的重建圖像(以及圖像的視圖1D和P0C)。另外，解碼畫面緩沖器112在預(yù)定定時(shí)或者基于來自外部單元、比如運(yùn)動視差預(yù)測/補(bǔ)償單元115的請求，經(jīng)由選擇器113向運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)其中存儲的解碼圖像(以及圖像的視圖1D和P0C)。
[0223]選擇器113指示從解碼畫面緩沖器112輸出的圖像的供應(yīng)目的地。例如在幀內(nèi)預(yù)測的情況下，選擇器113從解碼畫面緩沖器112讀取未濾波的圖像(重建圖像)，并且向幀內(nèi)預(yù)測單元114供應(yīng)圖像作為鄰近像素。
[0224]另外，例如在幀間預(yù)測的情況下，選擇器113從解碼畫面緩沖器112讀取濾波圖像(解碼圖像)，并且向運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)圖像作為參考圖像。
[0225]在從解碼畫面緩沖器112獲取位于處理目標(biāo)區(qū)域周圍的鄰近區(qū)域的圖像(鄰近圖像)時(shí)，幀內(nèi)預(yù)測單元114執(zhí)行幀內(nèi)預(yù)測(場內(nèi)預(yù)測)，該幀內(nèi)預(yù)測(場內(nèi)預(yù)測)基本上使用預(yù)測單位(PU)作為處理單位、使用鄰近圖像的像素值來生成預(yù)測圖像。幀內(nèi)預(yù)測單元114在預(yù)先準(zhǔn)備的多個模式(幀內(nèi)預(yù)測模式)中執(zhí)行幀內(nèi)預(yù)測。
[0226]幀內(nèi)預(yù)測單元114在所有候選幀內(nèi)預(yù)測模式中生成預(yù)測圖像、使用從屏幕重新排列緩沖器102供應(yīng)的輸入圖像來評估相應(yīng)預(yù)測圖像的成本函數(shù)值并且選擇最優(yōu)模式。在選擇最優(yōu)幀內(nèi)預(yù)測模式時(shí)，幀內(nèi)預(yù)測單元114向預(yù)測圖像選擇器116供應(yīng)在最優(yōu)模式中生成的預(yù)測圖像。
[0227]另外，幀內(nèi)預(yù)測單元114向無損編碼單元106適當(dāng)供應(yīng)包括關(guān)于幀內(nèi)預(yù)測的信息、比如最優(yōu)幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測信息，該無損編碼單元對幀內(nèi)預(yù)測信息編碼。
[0228]運(yùn)動視差預(yù)測/補(bǔ)償單元115基本上使用作為處理單位、使用從屏幕重新排列緩沖器102供應(yīng)的輸入圖像和從解碼畫面緩沖器112供應(yīng)的參考圖像來執(zhí)行運(yùn)動預(yù)測和視差預(yù)測(幀間預(yù)測)、根據(jù)檢測的運(yùn)動視差矢量執(zhí)行補(bǔ)償處理并且生成預(yù)測圖像(幀間預(yù)測圖像信息)。運(yùn)動視差預(yù)測/補(bǔ)償單元115在預(yù)先準(zhǔn)備的多個模式(幀間預(yù)測模式)中執(zhí)行這樣的幀間預(yù)測(幀間預(yù)測)。
[0229]運(yùn)動視差預(yù)測/補(bǔ)償單元115在所有候選幀間預(yù)測模式中生成預(yù)測圖像、評估相應(yīng)預(yù)測圖像的成本函數(shù)值并且選擇最優(yōu)模式。在選擇最優(yōu)幀間預(yù)測模式時(shí)，運(yùn)動視差預(yù)測/補(bǔ)償單元115向預(yù)測圖像選擇器116供應(yīng)在最優(yōu)模式中生成的預(yù)測圖像。
[0230]另外，運(yùn)動視差預(yù)測/補(bǔ)償單元115向無損編碼單元106供應(yīng)包括關(guān)于幀間預(yù)測的信息、比如最優(yōu)幀間預(yù)測模式的幀間預(yù)測信息，該無損編碼單元對幀間預(yù)測信息編碼。
[0231]預(yù)測圖像選擇器116選擇向算術(shù)單元103和算術(shù)單元110供應(yīng)的預(yù)測圖像的供應(yīng)源。例如在幀內(nèi)編碼的情況下，預(yù)測圖像選擇器116選擇幀內(nèi)預(yù)測單元114作為預(yù)測圖像的供應(yīng)源，并且向算術(shù)單元103和算術(shù)單元110供應(yīng)從幀內(nèi)預(yù)測單元114供應(yīng)的預(yù)測圖像。另外，例如在幀間編碼的情況下，預(yù)測圖像選擇器116選擇運(yùn)動視差預(yù)測/補(bǔ)償單元115作為預(yù)測圖像的供應(yīng)源，并且向算術(shù)單元103和算術(shù)單元110供應(yīng)從運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)的預(yù)測圖像。
[0232]雖然解碼畫面緩沖器112僅存儲處理目標(biāo)視圖的圖像(以及圖像的視圖1D和P0C)，但是解碼多視圖畫面緩沖器121也存儲相應(yīng)視圖點(diǎn)(視圖)的圖像(以及圖像的視圖1D和P0C)。也就是說，解碼多視圖畫面緩沖器121獲取向解碼畫面緩沖器112供應(yīng)的解碼圖像(以及圖像的視圖1D和P0C)，并且與解碼畫面緩沖器112—起存儲解碼圖像(以及圖像的視圖1D和POC)。
[0233]雖然解碼畫面緩沖器112在處理目標(biāo)視圖改變時(shí)擦除解碼圖像，但是解碼多視圖畫面緩沖器121按原樣存儲解碼圖像。此外，解碼多視圖畫面緩沖器121根據(jù)解碼畫面緩沖器112的請求等，向解碼畫面緩沖器112供應(yīng)存儲的解碼圖像(以及圖像的視圖1D和P0C)為“非處理目標(biāo)視圖的解碼圖像”。解碼畫面緩沖器112經(jīng)由選擇器113向運(yùn)動視差預(yù)測/補(bǔ)償單元115供應(yīng)從解碼多視圖畫面緩沖器121讀取的“非處理目標(biāo)視圖的解碼圖像”(以及圖像的視圖1D和P0C)。
[0234][運(yùn)動視差預(yù)測/補(bǔ)償單元]
[0235]圖12是圖示圖11的運(yùn)動視差預(yù)測/補(bǔ)償單元的主要配置示例的框圖。
[0236]如圖12中所示，運(yùn)動視差預(yù)測/補(bǔ)償單元115包括運(yùn)動視差矢量搜索單元131、預(yù)測圖像生成單元132、編碼信息累積緩沖器133和選擇器134。另外，運(yùn)動視差預(yù)測/補(bǔ)償單元115包括空間相關(guān)性預(yù)測矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測矢量生成單元136、選擇器137、編碼成本計(jì)算單元138和模式確定單元139。
[0237]運(yùn)動視差矢量搜索單元131從解碼畫面緩沖器112獲取解碼圖像像素值，并且從屏幕重新排列緩沖器102獲取原始圖像像素值。運(yùn)動視差矢量搜索單元131使用這些值來確定作為處理目標(biāo)的當(dāng)前區(qū)域的參考圖像索引、在時(shí)間方向和視差方向上執(zhí)行運(yùn)動搜索、并且生成當(dāng)前運(yùn)動矢量和當(dāng)前視差矢量。
[0238]在以下描述中，在不必區(qū)分指示在時(shí)間方向上(也就是說，在幀(畫面)之間)的運(yùn)動的運(yùn)動矢量和指示在視差方向上(也就是說，在視圖之間)的運(yùn)動的視差矢量或者指示兩個矢量時(shí)，矢量將稱為運(yùn)動視差矢量。當(dāng)前區(qū)域的運(yùn)動視差矢量也稱為當(dāng)前運(yùn)動視差矢量。
[0239]運(yùn)動視差矢量搜索單元131向預(yù)測圖像生成單元132和編碼成本計(jì)算單元138供應(yīng)參考圖像索引和運(yùn)動視差矢量。
[0240]預(yù)測圖像生成單元131從運(yùn)動視差矢量搜索單元131獲取參考圖像索引和運(yùn)動視差矢量，并且從解碼畫面緩沖器112獲取解碼圖像像素值。預(yù)測圖像生成單元132使用這些值來生成當(dāng)前區(qū)域的預(yù)測圖像。預(yù)測圖像生成單元132向編碼成本函數(shù)計(jì)算單元138供應(yīng)預(yù)測圖像像素值。
[0241]編碼信息累積緩沖器133存儲指示在模式確定單元139作為最優(yōu)模式而選擇的模式的模式信息、以及模式的參考模式索引和運(yùn)動視差矢量。編碼信息累積緩沖器133在預(yù)定定時(shí)或者根據(jù)來自外部單元的請求向選擇器134供應(yīng)存儲的信息。
[0242]選擇器134向空間相關(guān)性預(yù)測矢量生成單元135或者時(shí)間視差相關(guān)性預(yù)測矢量生成單元136供應(yīng)從編碼信息累積緩沖器133供應(yīng)的模式信息、參考圖像索引和運(yùn)動視差矢量。
[0243]空間相關(guān)性預(yù)測矢量生成單元135和時(shí)間視差相關(guān)性預(yù)測矢量生成單元136生成作為處理目標(biāo)的當(dāng)前區(qū)域的運(yùn)動矢量(當(dāng)前運(yùn)動矢量)的預(yù)測值(預(yù)測矢量)。
[0244]空間相關(guān)性預(yù)測矢量生成單元135使用空間相關(guān)性來生成預(yù)測矢量(空間相關(guān)性預(yù)測矢量)。更具體而言，空間相關(guān)性預(yù)測矢量生成單元135經(jīng)由選擇器134從編碼信息累積緩沖器133獲取:關(guān)于與當(dāng)前區(qū)域相同的幀(當(dāng)前幀(也稱為目標(biāo)幀))的在空間上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(空間鄰近區(qū)域)的運(yùn)動信息的信息(模式信息、參考圖像索引、運(yùn)動視差矢量等)。
[0245]例如空間相關(guān)性預(yù)測矢量生成單元135使用多個空間鄰近區(qū)域的運(yùn)動矢量(空間鄰近運(yùn)動矢量)來執(zhí)行中值運(yùn)算，以生成空間相關(guān)性預(yù)測矢量?？臻g相關(guān)性預(yù)測矢量生成單元135向選擇器137供應(yīng)生成的空間相關(guān)性預(yù)測矢量。
[0246]時(shí)間視差相關(guān)性預(yù)測矢量生成單元136使用時(shí)間相關(guān)性或者視差相關(guān)性來生成預(yù)測矢量(時(shí)間視差相關(guān)性預(yù)測矢量(時(shí)間相關(guān)性預(yù)測矢量或者視差相關(guān)性預(yù)測矢量))。更具體而言，例如時(shí)間視差相關(guān)性預(yù)測矢量生成單元136經(jīng)由選擇器134從編碼信息累積緩沖器133獲取:關(guān)于在時(shí)間上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(時(shí)間鄰近區(qū)域)的運(yùn)動信息的信息。時(shí)間鄰近區(qū)域指示與當(dāng)前區(qū)域相同的視圖(當(dāng)前視圖(也稱為目標(biāo)視圖))的位于與當(dāng)前幀不同的幀(畫面)的當(dāng)前區(qū)域?qū)?yīng)的位置的區(qū)域(或者其包圍區(qū)域)。
[0247]另外，例如時(shí)間視差相關(guān)性預(yù)測矢量生成單元136經(jīng)由選擇器134從編碼信息累積緩沖器133獲取:關(guān)于在視差上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(視差鄰近區(qū)域)的運(yùn)動信息的信息。視差鄰近區(qū)域指示與當(dāng)前區(qū)域的視圖(當(dāng)前視圖)不同的視圖的位于與當(dāng)前幀相同的時(shí)間的幀(畫面)的當(dāng)前區(qū)域?qū)?yīng)的位置的區(qū)域(或者其包圍區(qū)域)。
[0248]例如時(shí)間視差相關(guān)性預(yù)測矢量生成單元136使用多個時(shí)間鄰近區(qū)域的運(yùn)動矢量(時(shí)間鄰近運(yùn)動矢量)來執(zhí)行中值運(yùn)算，以生成時(shí)間相關(guān)性預(yù)測矢量。另外，例如時(shí)間視差相關(guān)性預(yù)測矢量生成單元136使用多個視差鄰近區(qū)域的運(yùn)動矢量(視差鄰近運(yùn)動矢量)來執(zhí)行中值運(yùn)算，以生成視差相關(guān)性預(yù)測矢量。
[0249]時(shí)間視差相關(guān)性預(yù)測矢量生成單元136向選擇器137供應(yīng)以這一方式生成的時(shí)間視差相關(guān)性預(yù)測矢量。
[0250]空間相關(guān)性預(yù)測矢量生成單元135和時(shí)間視差相關(guān)性預(yù)測矢量生成單元136分別在每個幀間預(yù)測模式中生成預(yù)測矢量。
[0251]選擇器137向編碼成本函數(shù)計(jì)算單元138供應(yīng):從空間相關(guān)性預(yù)測矢量生成單元135供應(yīng)的空間相關(guān)性預(yù)測矢量和從時(shí)間視差相關(guān)性預(yù)測矢量生成單元136供應(yīng)的時(shí)間視差相關(guān)性預(yù)測矢量。
[0252]編碼成本計(jì)算單元138使用從預(yù)測圖像生成單元132供應(yīng)的預(yù)測圖像像素值和從屏幕重新排列緩沖器102供應(yīng)的原始圖像像素值，在每個幀間預(yù)測模式中計(jì)算預(yù)測圖像與原始圖像之間的差值(例如差值圖像)。另外，編碼成本計(jì)算單元138使用差值圖像像素值，在每個幀間預(yù)測模式中計(jì)算成本函數(shù)值(也稱為編碼成本值)。
[0253]另外，編碼成本計(jì)算單元138在從選擇器137供應(yīng)的空間相關(guān)性預(yù)測矢量和時(shí)間視差相關(guān)性預(yù)測矢量之中，選擇與從運(yùn)動視差矢量搜索單元131供應(yīng)的當(dāng)前區(qū)域的運(yùn)動視差矢量更接近的預(yù)測矢量作為當(dāng)前區(qū)域的預(yù)測矢量。另外，編碼成本計(jì)算單元138生成差值運(yùn)動視差矢量，該差值運(yùn)動視差矢量是預(yù)測矢量與當(dāng)前區(qū)域的運(yùn)動視差矢量之間的差值。編碼成本計(jì)算單元138在每個幀間預(yù)測模式中生成差值運(yùn)動視差矢量。
[0254]編碼成本計(jì)算單元138向模式確定單元139供應(yīng)每個幀間預(yù)測模式的編碼成本值、預(yù)測圖像像素值和包括差值運(yùn)動視差矢量的差值運(yùn)動視差信息、以及包括預(yù)測矢量和參考圖像索引的預(yù)測信息。
[0255]模式確定單元139選擇其中最小化編碼成本值的幀間預(yù)測模式作為最優(yōu)模式。模式確定單元139向預(yù)測圖像選擇器116供應(yīng)作為最優(yōu)模式而選擇的幀間預(yù)測模式的預(yù)測圖
像像素值。
[0256]在預(yù)測圖像選擇器116選擇幀間預(yù)測時(shí)，模式確定單元139向無損編碼單元106供應(yīng)關(guān)于作為最優(yōu)模式而選擇的幀間預(yù)測模式的信息的模式信息、在幀間預(yù)測模式中的差值運(yùn)動視差信息和預(yù)測信息，其中無損編碼單元106對信息編碼。對這些信息項(xiàng)編碼并且向解碼側(cè)發(fā)送這些信息項(xiàng)。
[0257]另外，模式確定單元139向編碼信息累積緩沖器133供應(yīng)在作為最優(yōu)模式而選擇的幀間預(yù)測模式中的模式信息、差值模式視差信息和預(yù)測信息，其中編碼信息累積緩沖器133存儲信息。這些信息項(xiàng)在用于比當(dāng)前區(qū)域更晚處理的另一區(qū)域的處理中用作關(guān)于鄰近區(qū)域的信息。
[0258][時(shí)間視差相關(guān)性預(yù)測矢量生成單元]
[0259]圖13是圖示時(shí)間視差相關(guān)性預(yù)測矢量生成單元136的主要配置示例的框圖。
[0260]如圖13中所示，時(shí)間視差相關(guān)性預(yù)測矢量生成單元136包括當(dāng)前區(qū)域處理器(目標(biāo)區(qū)域處理器)151、相關(guān)性區(qū)域處理器152、LI預(yù)測處理器153、L0預(yù)測處理器154、方案I處理器155、方案2處理器156、方案3處理器157、方案4處理器158和預(yù)測矢量生成單元159。
[0261]當(dāng)前區(qū)域處理器151執(zhí)行獲取關(guān)于當(dāng)前區(qū)域的信息的處理。當(dāng)前區(qū)域處理器151向范圍從相關(guān)性區(qū)域處理器152到LO預(yù)測處理器154的相應(yīng)單元供應(yīng)關(guān)于當(dāng)前區(qū)域的獲取的信息。相關(guān)性區(qū)域處理器152執(zhí)行獲取關(guān)于相關(guān)性區(qū)域的信息的處理。
[0262]相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的相關(guān)性而參考的區(qū)域。例如時(shí)間相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的時(shí)間相關(guān)性而參考的區(qū)域，并且是具有用于生成時(shí)間相關(guān)性預(yù)測矢量的運(yùn)動矢量的時(shí)間鄰近區(qū)域。另外，視差相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的視差相關(guān)性而參考的區(qū)域，并且是具有用于生成視差相關(guān)性預(yù)測矢量的運(yùn)動矢量的視差鄰近區(qū)域。相關(guān)性區(qū)域包括這些區(qū)域。
[0263]相關(guān)性區(qū)域處理器152向LI預(yù)測處理器153和LO預(yù)測處理器154供應(yīng)關(guān)于相關(guān)性區(qū)域的信息。
[0264]LI預(yù)測處理器153在LI方向上執(zhí)行預(yù)測處理。LI預(yù)測處理器153從屏幕重新排列緩沖器102和解碼畫面緩沖器112獲取必需信息。另外，LI預(yù)測處理器153獲取從當(dāng)前區(qū)域處理器151和相關(guān)性區(qū)域處理器152供應(yīng)的信息。LI預(yù)測處理器153使用這些信息項(xiàng)在LI方向上執(zhí)行預(yù)測處理。
[0265]準(zhǔn)備方案I至4的四種方法預(yù)備作為預(yù)測處理。LI預(yù)測處理器選擇方法中的任一方法，并且向在方案I處理器155至方案4處理器158之中選擇的與該方法對應(yīng)的處理器提供信息。
[0266]LO預(yù)測處理器154與LI預(yù)測處理器153相似地在LO方向上執(zhí)行預(yù)測處理。
[0267]方案I是如下方案，在該方案中，向列表I的參考圖像索引I分配的與當(dāng)前視圖不同的視圖的與當(dāng)前幀相同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是視差矢量時(shí)，運(yùn)用視差矢量(參考視差矢量)作為預(yù)測矢量。方案I處理器155執(zhí)行用于根據(jù)這樣的方案生成預(yù)測矢量的處理。方案I處理器155向預(yù)測矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。
[0268]方案2是如下方案，在該方案中，向列表I的參考圖像索引O分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是視差矢量時(shí)，運(yùn)用視差矢量(參考視差矢量)作為預(yù)測矢量。方案2處理器156執(zhí)行用于根據(jù)這樣的方案生成預(yù)測矢量的處理。方案2處理器156向預(yù)測矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。
[0269]方案3是如下方案，在該方案中，向列表I的參考圖像索引I分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是運(yùn)動矢量時(shí)，運(yùn)用運(yùn)動矢量(參考視差矢量)作為預(yù)測矢量。方案3處理器157執(zhí)行用于根據(jù)這樣的方案生成預(yù)測矢量的處理。方案3處理器157向預(yù)測矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。
[0270]方案4是如下方案，在該方案中，向列表I的參考圖像索引O分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是運(yùn)動矢量時(shí)，運(yùn)用運(yùn)動矢量(參考視差矢量)作為預(yù)測矢量。方案4處理器158執(zhí)行用于根據(jù)這樣的方案生成預(yù)測矢量的處理。方案4處理器158向預(yù)測矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。
[0271]預(yù)測矢量生成單元159使用從方案I處理器155至方案4處理器158供應(yīng)的信息以及從解碼畫面緩沖器112獲取的參考圖像的視圖信息、時(shí)間信息等，生成時(shí)間視差相關(guān)性預(yù)測矢量。在這一情況下，預(yù)測矢量生成單元159使用從方案I處理器155至方案4處理器158供應(yīng)的信息來執(zhí)行縮放處理。在這一情況下，預(yù)測矢量生成單元159對于運(yùn)動相關(guān)性預(yù)測矢量在時(shí)間方向上執(zhí)行縮放，并且對于視差相關(guān)性預(yù)測矢量在視差方向上執(zhí)行縮放。預(yù)測矢量生成單元159經(jīng)由選擇器137向編碼成本計(jì)算單元138供應(yīng)生成的時(shí)間視差相關(guān)性預(yù)測矢量。
[0272]通過這樣做，時(shí)間視差相關(guān)性預(yù)測矢量生成單元136可以生成視差相關(guān)性預(yù)測矢量以及運(yùn)動相關(guān)性預(yù)測矢量。因此，運(yùn)動視差預(yù)測/補(bǔ)償單元115即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以生成具有高預(yù)測準(zhǔn)確度的預(yù)測矢量。因而圖像編碼設(shè)備100可以抑制編碼效率降低。
[0273][方案選擇示例]
[0274]圖14圖示其中選擇每個方案的示例。如圖14中所示，選擇如下區(qū)域作為相關(guān)性區(qū)域，該區(qū)域與參考圖像的位置關(guān)系(參考圖像在時(shí)間方向上或者在視差預(yù)測中存在)與當(dāng)前區(qū)域(目標(biāo)區(qū)域)相同。也就是說，當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的位置關(guān)系和相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的位置關(guān)系相同。另外，基于當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的位置關(guān)系和當(dāng)前區(qū)域與相關(guān)性區(qū)域之間的位置關(guān)系確定方案。
[0275]在圖14的表中，從底部起的第一至第四行指示相應(yīng)圖像的位置關(guān)系的示例，并且A至E指示每行的視圖1D或者POC的值的示例。也就是說，這里重要的不是值為多少、而是圖像的視圖1D或者PIC是否與其它圖像的視圖1D或者POC相同。
[0276]在從底部起的第四行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有不同參考圖像和視圖1D、但是具有相同P0C。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是視差矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有不同視圖1D并且具有相同P0C。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的時(shí)間的、不同幀的視圖的圖像。因此，如在圖14的表中所示選擇方案I。方案I在如下區(qū)域中有效，在該區(qū)域中，在視圖點(diǎn)之間的視差變化恒定。
[0277]在從底部起的第三行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有不同參考圖像和視圖1D、但是具有相同P0C。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是視差矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖1D并且具有不同P0C。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的視圖的、不同時(shí)間的幀的圖像。因此如在圖14的表中所示選擇方案2。方案2在時(shí)間運(yùn)動改變小時(shí)有效。
[0278]在從底部起的第二行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有相同參考圖像和視圖1D、但是具有不同P0C。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是運(yùn)動矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有不同視圖1D并且具有相同P0C。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的時(shí)間的、不同幀的視圖的圖像。如在圖14的表中所示選擇方案3。方案3在視圖點(diǎn)之間的視差數(shù)量改變小時(shí)有效。
[0279]在從底部起的第一行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有相同參考圖像和視圖1D、但是具有不同P0C。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是運(yùn)動矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖1D和不同P0C。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的視圖的、不同時(shí)間的幀的圖像。因此，如在圖14的表中所示選擇方案4。
[0280]也就是說，例如在3D圖像的左和右圖像中的任一圖像(例如左眼圖像)是基本視圖而另一圖像(例如右眼圖像)是依賴視圖、并且依賴視圖中、當(dāng)前區(qū)域的矢量(編碼矢量)的特性與相同視圖的不同時(shí)間的幀的相關(guān)性區(qū)域(共同定位的區(qū)域)的矢量(共同定位的矢量)的特性相同時(shí)，設(shè)置共同定位的塊為可用。換而言之，在依賴視圖中，在編碼矢量和共同定位的矢量的特性不相同時(shí)，設(shè)置共同定位的塊為不可用。自然地，這同樣可以應(yīng)用于基本視圖。
[0281]例如圖13的LI預(yù)測處理器153和LO預(yù)測處理器154執(zhí)行這樣的設(shè)置。
[0282]例如可以通過如圖15中所示比較當(dāng)前區(qū)域和共同定位的塊的POC與相應(yīng)參考圖像的P0C，確定編碼矢量和共同定位的矢量的特性是否相同。例如圖13的LI預(yù)測處理器153和LO預(yù)測處理器154執(zhí)行這樣的比較。
[0283]例如在當(dāng)前區(qū)域的POC (CurrPOC)和當(dāng)前區(qū)域的參考圖像的POC (CurrRefPOC)不相同、并且共同定位的塊的POC (ColPOC)和共同定位的塊的參考圖像的POC (ColRefPOC)不相同((CurrPOC! =CurrRefPOC) &&(ColPOC!=ColRefPOC))時(shí)，LI 預(yù)測處理器 153 和 LO 預(yù)測處理器154確定編碼矢量和共同定位的塊二者是運(yùn)動矢量(圖16的A)。
[0284]另外，例如在當(dāng)前區(qū)域的POC (CurrPOC)和當(dāng)前區(qū)域的參考圖像的POC(CurrRefPOC)相同并且共同定位的塊的POC (ColPOC)和共同定位的塊的參考圖像的POC(ColRefPOC)相同((CurrP0C=CurrRefP0C)&&(ColPOC=ColRefPOC))時(shí)，LI 預(yù)測處理器 153和LO預(yù)測處理器154確定編碼矢量和共同定位的塊二者是視差矢量(視圖間矢量)(圖16的B)。 [0285]LI預(yù)測處理器153和LO預(yù)測處理器154基于確定結(jié)果，如在圖15的下側(cè)上在表中所示設(shè)置共同定位的矢量的可用性。
[0286]例如在確定編碼矢量和共同定位的塊為運(yùn)動矢量或者視差矢量(視圖間矢量)時(shí)，設(shè)置共同定位的矢量為可用(圖16的A或者圖16的B)。
[0287]反言之，在確定編碼矢量和共同定位的塊之一為運(yùn)動矢量而另一個為視差矢量(視圖間矢量)時(shí)，設(shè)置共同定位的矢量為不可用。
[0288][語法]
[0289]圖17圖示這一情況的序列參數(shù)集的語法的示例。如在從圖17的底部起的第十行至第三行上所示，在序列參數(shù)集中包括信息、比如視圖總數(shù)、用于標(biāo)識視圖的ID、在列表LO中的視差預(yù)測數(shù)目、在列表O中的視差預(yù)測中參考的視圖的ID、在列表LI中的視差預(yù)測數(shù)目和在列表LI中的視差預(yù)測中參考的視圖的ID。這些信息項(xiàng)是多視圖圖像所必需的信息。換而言之，可以應(yīng)用本技術(shù)而未向序列參數(shù)集添加新語法。
[0290]圖18圖示這一情況的切片首部的語法的示例。如在從圖18的底部起的第八行上所示，在切片首部中包括用于標(biāo)識視圖的ID。這一信息是多視圖圖像所必需的信息。換而言之，可以應(yīng)用本技術(shù)而未向切片首部添加新語法。
[0291]圖19圖示這一情況的預(yù)測單位的語法的示例。如圖19中所示，可以應(yīng)用本技術(shù)而未向預(yù)測單位添加新語法。然而由于應(yīng)用本技術(shù)與常規(guī)技術(shù)比較增加候選相關(guān)性區(qū)域數(shù)目，所以有必要擴(kuò)展語法的類型或者改變用于合并模式ID和預(yù)測矢量ID的處理的內(nèi)容。
[0292][編碼處理的流程]
[0293]接著將描述具有這樣的配置的圖像編碼設(shè)備100執(zhí)行的相應(yīng)處理的流程。首先將參照圖20的流程圖描述編碼處理的流程的示例。
[0294]在步驟SlOl中，A/D轉(zhuǎn)換器101對輸入圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S102中，屏幕重新排列緩沖器102存儲A/D轉(zhuǎn)換的圖像并且重新排列相應(yīng)畫面，從而按照編碼順序重新排列按照顯示順序排列的畫面。
[0295]在步驟S103中，幀內(nèi)預(yù)測單元114執(zhí)行幀內(nèi)預(yù)測處理。在步驟S104中，運(yùn)動視差預(yù)測/補(bǔ)償單元115執(zhí)行幀間預(yù)測處理。在步驟S105中，預(yù)測圖像選擇器116選擇通過幀內(nèi)預(yù)測而生成的預(yù)測圖像和通過幀間預(yù)測而生成的預(yù)測圖像中的任一預(yù)測圖像。
[0296]在步驟S106中，算術(shù)單元103計(jì)算通過步驟102的處理重新排列的圖像與通過步驟S105的處理選擇的預(yù)測圖像之間的差值(生成差值圖像)。生成的差值圖像具有比原始圖像更小的數(shù)據(jù)量。因此與在原樣對圖像編碼時(shí)比較有可能壓縮數(shù)據(jù)量。
[0297]在步驟S107中，正交變化單元104對通過步驟S106的處理生成的差值圖像執(zhí)行正交變換。具體而言，執(zhí)行正交變換、比如離散余弦變換或者Karhunen-Loeve變換，并且輸出正交變換系數(shù)。在步驟S108中，量化單元105量化通過步驟S107的處理獲得的正交變換系數(shù)。
[0298]用以下方式對通過步驟108的處理量化的差值圖像局部解碼。也就是說，在步驟S109中，逆量化單元108根據(jù)與量化單元105的特性對應(yīng)的特性，對通過步驟S108的處理生成的量化正交變換系數(shù)(也稱為量化系數(shù))執(zhí)行逆量化。在步驟SllO中，逆正交變換單元109根據(jù)與正交變換單元104的特性對應(yīng)的特性，對通過步驟S109的處理獲得的正交變換系數(shù)執(zhí)行逆正交變換。以這一方式，重建差值圖像。
[0299]在步驟Slll中，算術(shù)單元110將在步驟S105中選擇的預(yù)測圖像與在步驟SllO中生成的差值圖像相加，以生成局部解碼圖像(重建圖像)。在步驟S112中，循環(huán)濾波器111關(guān)于通過步驟Slll的處理獲得的重建圖像適當(dāng)執(zhí)行包括去塊化濾波處理或者自適應(yīng)循環(huán)濾波處理的循環(huán)濾波處理。
[0300]在步驟SI 13中，解碼畫面緩沖器112和解碼多視圖畫面緩沖器121存儲通過步驟S112的處理生成的解碼圖像和通過步驟Slll的處理生成的重建圖像。
[0301]在步驟SI 14中，無損編碼單元106對通過步驟S108的處理量化的正交變換系數(shù)編碼。也就是說，關(guān)于差值圖像執(zhí)行無損編碼、比如可變長度編碼或者算術(shù)編碼。無損編碼單元106對關(guān)于預(yù)測的信息、關(guān)于量化的信息、關(guān)于濾波處理的信息等編碼并且向比特流添加編碼息。
[0302]在步驟S115中，累積緩沖器107累積通過步驟S114的處理獲得的比特流。適當(dāng)讀取并且經(jīng)由傳輸線或者記錄介質(zhì)向解碼側(cè)發(fā)送在累積緩沖器107中累積的編碼數(shù)據(jù)。
[0303]在步驟SI 16中，量化單元105基于通過步驟SI 15的處理在累積緩沖器107中累積的編碼數(shù)據(jù)的編碼速率(出現(xiàn)編碼速率)，控制量化操作的速率，從而不上溢或者下溢出現(xiàn)。
[0304]在步驟S116的處理結(jié)束時(shí)，編碼處理結(jié)束。
[0305][幀間運(yùn)動預(yù)測處理的流程]
[0306]接著將參照圖21的流程圖描述在圖20的步驟S104中執(zhí)行的幀間運(yùn)動預(yù)測處理的流程的示例。
[0307]在步驟S131中，運(yùn)動視差矢量搜索單元131關(guān)于處理目標(biāo)的幀間預(yù)測模式執(zhí)行運(yùn)動搜索，以生成作為處理目標(biāo)的當(dāng)前區(qū)域的運(yùn)動視差矢量(運(yùn)動矢量或者視差矢量)。在步驟S132中，預(yù)測圖像生成單元132使用在步驟S131中生成的運(yùn)動視差矢量來執(zhí)行補(bǔ)償處理，以生成預(yù)測圖像。在步驟S133中，編碼成本計(jì)算單元138生成在步驟S132中生成的預(yù)測圖像與原始圖像(輸入圖像)之間的差值圖像。
[0308]在步驟S134中，編碼成本計(jì)算單元138使用空間相關(guān)性預(yù)測矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測矢量生成單元136等來執(zhí)行合并模式處理。[0309]在步驟S135中，編碼成本計(jì)算單元138比較在步驟S131中生成的當(dāng)前區(qū)域的運(yùn)動視差矢量和通過步驟S134的處理生成的當(dāng)前區(qū)域的預(yù)測矢量，以確定合并模式是否將應(yīng)用于當(dāng)前區(qū)域。
[0310]在確定二者不相同并且將不應(yīng)用合并模式時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S136的處理，并且使用空間相關(guān)性預(yù)測矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測矢量生成單元136等來執(zhí)行視差運(yùn)動矢量預(yù)測處理。在步驟S136的處理結(jié)束時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S137的處理。
[0311]另外，在步驟S135中，在確定當(dāng)前區(qū)域的運(yùn)動視差矢量和預(yù)測矢量相同并且合并模式將應(yīng)用于當(dāng)前區(qū)域時(shí)，編碼成本計(jì)算單元138略過步驟S136的處理并且繼續(xù)步驟S137。
[0312]在步驟S137中，編碼成本計(jì)算單元138確定是否已經(jīng)在所有幀間預(yù)測模式中執(zhí)行以上處理。在確定未處理的幀間預(yù)測模式存在時(shí)，流程返回到步驟S131，并且執(zhí)行控制，從而關(guān)于未處理的幀間預(yù)測模式反復(fù)地執(zhí)行后續(xù)處理。也就是說，在相應(yīng)幀間預(yù)測模式中執(zhí)行步驟S131至S137的處理。
[0313]在步驟S137中確定已經(jīng)在所有幀間預(yù)測模式中執(zhí)行處理時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S138的處理。在步驟S138中，編碼成本計(jì)算單元138計(jì)算每個幀間預(yù)測模式的成本函數(shù)值。
[0314]在步驟S139中，模式確定單元139確定其中在步驟S138中計(jì)算的成本函數(shù)值(編碼成本值)最小的幀間預(yù)測模式為最優(yōu)模式(最優(yōu)幀間預(yù)測模式)。
[0315]在步驟S140中，預(yù)測圖像生成單元132在最優(yōu)幀間預(yù)測模式中生成預(yù)測圖像。向預(yù)測圖像選擇器116供應(yīng)預(yù)測圖像。
[0316]在步驟S141中，編碼信息累積緩沖器133在圖20的步驟S105中選擇幀間預(yù)測時(shí)，存儲最優(yōu)幀間預(yù)測模式的模式信息和運(yùn)動信息(運(yùn)動視差矢量、參考圖像索引等)。在選擇幀內(nèi)預(yù)測模式時(shí)，存儲零矢量作為運(yùn)動視差矢量。在圖20的步驟S105中選擇幀間預(yù)測時(shí)，向無損編碼單元106供應(yīng)這些信息項(xiàng)，并且無損編碼單元106對這些信息項(xiàng)編碼，并且向解碼側(cè)發(fā)送編碼信息。
[0317]在步驟S141的處理結(jié)束時(shí)，編碼信息累積緩沖器133結(jié)束幀間運(yùn)動預(yù)測處理，并且流程繼續(xù)圖20的流程圖。
[0318][合并模式處理的流程]
[0319]接著將參照圖22的流程圖描述在圖21的步驟S134中執(zhí)行的合并模式處理的流程的示例。
[0320]在合并模式處理開始時(shí)，在步驟S161中，空間相關(guān)性預(yù)測矢量生成單元135執(zhí)行空間相關(guān)性預(yù)測處理，該空間相關(guān)性預(yù)測處理使用與空間鄰近區(qū)域的相關(guān)性來生成空間相關(guān)性預(yù)測矢量。在步驟S162中，時(shí)間視差相關(guān)性預(yù)測矢量生成單元136執(zhí)行時(shí)間相關(guān)性預(yù)測處理，該時(shí)間相關(guān)性預(yù)測處理使用與空間鄰近區(qū)域或者視差鄰近區(qū)域的相關(guān)性來生成時(shí)間視差相關(guān)性預(yù)測矢量。
[0321]在步驟S163中，編碼成本計(jì)算單元138從在步驟S161中生成的空間相關(guān)性預(yù)測矢量和在步驟S162中生成的時(shí)間視差預(yù)測矢量去除重疊矢量。
[0322]在步驟S164中，編碼成本計(jì)算單元138確定矢量是否存在。在確定存在至少一個空間相關(guān)性預(yù)測矢量或者時(shí)間視差相關(guān)性預(yù)測矢量時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S165的處理。
[0323]在步驟S165中，編碼成本計(jì)算單元138確定多個矢量是否存在。在確定多個矢量存在時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S166的處理以獲取合并索引。在確定多個矢量不存在時(shí)，編碼成本計(jì)算單元138略過步驟S166的處理。
[0324]在與當(dāng)前區(qū)域的運(yùn)動矢量相同的空間相關(guān)性預(yù)測矢量或者時(shí)間視差相關(guān)性預(yù)測矢量存在時(shí)，編碼成本計(jì)算單元138在步驟S167中獲取相同矢量作為預(yù)測矢量并且在步驟S168中獲取參考圖像索引。
[0325]在步驟S168的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束合并模式處理，并且流程返回到圖21的流程圖。
[0326]另外，在步驟S164中確定空間相關(guān)性預(yù)測矢量和時(shí)間視差相關(guān)性預(yù)測矢量均不存在時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟S169的處理。
[0327]在步驟S169中，編碼成本計(jì)算單元138向預(yù)測矢量指派初始值(例如零矢量)。另夕卜，在步驟S170中，編碼成本計(jì)算單元138向參考圖像索引指派初始值(例如O)。
[0328]在步驟S170的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束合并模式處理，并且流程返回到圖21的流程圖。
[0329][視差運(yùn)動矢量預(yù)測處理的流程]
[0330]接著將參照圖23的流程圖描述在圖21的步驟S136中執(zhí)行的視差運(yùn)動矢量預(yù)測處理的流程的示例。
[0331]在視差運(yùn)動矢量預(yù)測處理開始時(shí)，在步驟S191中，空間相關(guān)性預(yù)測矢量生成單元135執(zhí)行空間相關(guān)性預(yù)測處理，以生成空間相關(guān)性預(yù)測矢量。在步驟S192中，時(shí)間視差相關(guān)性預(yù)測矢量生成單元136執(zhí)行時(shí)間視差相關(guān)性預(yù)測處理，以生成時(shí)間視差相關(guān)性預(yù)測矢量。
[0332]在步驟S193中，編碼成本計(jì)算單元138從在步驟S191中生成的空間相關(guān)性預(yù)測矢量和在步驟S192中生成的時(shí)間視差預(yù)測矢量去除重疊矢量。
[0333]編碼成本計(jì)算單元138選擇在剩余矢量之中的與當(dāng)前區(qū)域的運(yùn)動矢量最接近的矢量、在步驟S194中創(chuàng)建指示矢量的預(yù)測矢量索引并且在步驟S195中使用該矢量作為預(yù)測矢量。在步驟S195的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束視差運(yùn)動矢量預(yù)測處理，并且流程返回到圖21的流程圖。
[0334][時(shí)間視差相關(guān)性預(yù)測處理的流程圖]
[0335]接著將參照圖24至27的流程圖描述在圖22的步驟S162或者圖23的步驟S192中執(zhí)行的時(shí)間視差相關(guān)性預(yù)測處理的流程的示例。
[0336]在時(shí)間視差相關(guān)性預(yù)測處理開始時(shí)，當(dāng)前區(qū)域處理器151在圖24的步驟S211中獲取當(dāng)前區(qū)域的視圖1D和P0C。在步驟S212中，當(dāng)前區(qū)域處理器151確定當(dāng)前區(qū)域的參考索引。在步驟S213中，當(dāng)前區(qū)域處理器151獲取參考圖像的視圖1D和P0C。
[0337]在步驟S214中，相關(guān)性區(qū)域處理器152按照列表I的參考圖像索引的升序選擇相關(guān)性圖像。在步驟S215中，相關(guān)性區(qū)域處理器152確定是否已經(jīng)搜索所有參考圖像索引。在確定已經(jīng)搜索所有參考圖像索引時(shí)，時(shí)間視差相關(guān)性預(yù)測處理結(jié)束，并且流程返回到圖22或者圖23的流程圖。[0338]另外，在步驟S215中確定未處理的參考圖像索引存在時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)步驟S216的處理。在步驟S216中，相關(guān)性區(qū)域處理器152確定相關(guān)性區(qū)域，并且流程繼續(xù)圖25的流程圖。
[0339]在圖25的步驟S221中，相關(guān)性區(qū)域處理器152確定相關(guān)性區(qū)域是否為幀內(nèi)預(yù)測區(qū)域或者未參考另一區(qū)域的區(qū)域。在確定相關(guān)性區(qū)域是幀內(nèi)預(yù)測區(qū)域或者未參考另一區(qū)域的區(qū)域時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)圖26的流程圖。
[0340]另外，在圖25的步驟S221中確定相關(guān)性區(qū)域是幀間預(yù)測區(qū)域和未參考另一區(qū)域的區(qū)域時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)步驟S222的處理。
[0341]在步驟S222中，LI預(yù)測處理器153獲取相關(guān)性區(qū)域的視圖1D和P0C。在步驟S223中，LI預(yù)測處理器153獲取相關(guān)性區(qū)域的LI預(yù)測參考圖像的視圖1D和P0C。
[0342]在步驟S224中，LI預(yù)測處理器153確定當(dāng)前區(qū)域和相關(guān)性區(qū)域是否具有相同視圖1D。在二者相同時(shí)，相關(guān)性區(qū)域是共同定位的塊。在確定當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖1D時(shí)，LI預(yù)測處理器153繼續(xù)步驟S225的處理以執(zhí)行方案4_2處理，從而根據(jù)方案4或者2生成預(yù)測矢量。在步驟S225的處理結(jié)束時(shí)，流程繼續(xù)圖26的流程圖。
[0343]另外，在圖25的步驟S224中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同視圖1D時(shí)，LI預(yù)測處理器153繼續(xù)步驟S226的處理。
[0344]在步驟S226中，LI預(yù)測處理器153確定當(dāng)前區(qū)域和相關(guān)性區(qū)域是否具有相同POC0在確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同POC時(shí)，LI預(yù)測處理器153繼續(xù)圖26的流程圖。
[0345]然而，在圖25的步驟S226中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同POC時(shí)，LI預(yù)測處理器153繼續(xù)步驟S227的處理。
[0346]在步驟S227中，LI預(yù)測處理器153確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像是否具有相同P0C。在確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像具有相同POC時(shí)，LI預(yù)測處理器153繼續(xù)步驟S228的處理以執(zhí)行方案I處理，從而根據(jù)方案I生成預(yù)測矢量。在步驟S228的處理結(jié)束時(shí)，LI預(yù)測處理器153繼續(xù)圖26的流程圖。
[0347]另外，在圖25的步驟S227中確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像無相同POC時(shí)，LI預(yù)測處理器153繼續(xù)步驟S229的處理以執(zhí)行方案3處理，從而根據(jù)方案3生成預(yù)測矢量。在步驟S229的處理結(jié)束時(shí)，LI預(yù)測處理器153繼續(xù)圖26的流程圖。
[0348]在圖26中，LO預(yù)測處理器154關(guān)于相關(guān)性區(qū)域的LO預(yù)測執(zhí)行與圖25的LI預(yù)測相同的處理。也就是說，LO預(yù)測處理器154執(zhí)行與圖25的步驟S222至S229的處理相同的步驟S231至S238的處理。
[0349]然而在圖26的情況下，相關(guān)性區(qū)域的參考圖像是LO預(yù)測參考圖像。另外，在步驟S234、S237或者S238的處理結(jié)束時(shí)，或者在步驟S235中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同POC時(shí)，LO預(yù)測處理器154繼續(xù)圖27的流程圖。
[0350]在圖27的步驟S241中，預(yù)測矢量生成單元159確定至少一個預(yù)測矢量候選是否存在。在確定無預(yù)測矢量候選存在時(shí)，預(yù)測矢量生成單元159返回到圖24的步驟S214的處理。
[0351]另外，在圖27的步驟S241中確定至少一個預(yù)測矢量候選存在時(shí)，預(yù)測矢量生成單元159繼續(xù)步驟S242的處理。在步驟S242中，預(yù)測矢量生成單元159確定是否僅LI的跳躍標(biāo)志是I或者是否LO或者LI的跳躍標(biāo)志相同，并且參考LI。[0352]在確定僅LI的跳躍標(biāo)志是I或者LO和LI的跳躍標(biāo)志相同、并且參考LI時(shí)，預(yù)測矢量生成單元159繼續(xù)步驟S243的處理。
[0353]在步驟S243中，預(yù)測矢量生成單元159獲取LI參考矢量。在步驟S2444中，預(yù)測矢量生成單元159獲取LI參考的參考圖像索引，并且流程繼續(xù)步驟S247。
[0354]另外，在步驟S242中確定LI的跳躍標(biāo)志不是I或者LO的跳躍標(biāo)志是O、以及LO和LI的跳躍標(biāo)志不相同或者未參考LI時(shí)，預(yù)測矢量生成單元159繼續(xù)步驟S245的處理。
[0355]在步驟S245中，預(yù)測矢量生成單元159獲取LO參考矢量。在步驟S246中，預(yù)測矢量生成單元159獲取LO參考的參考圖像索引，并且流程繼續(xù)步驟S247。
[0356]在步驟S247中，預(yù)測矢量生成單元159使用獲取的LI參考矢量或者LO參考矢量作為預(yù)測矢量。在這一情況下，預(yù)測矢量生成單元159使用與在當(dāng)前區(qū)域或者相關(guān)性區(qū)域中的參考圖像的距離來縮放矢量，并且使用縮放結(jié)果作為預(yù)測矢量。
[0357]在步驟S247的處理結(jié)束時(shí)，預(yù)測矢量生成單元159返回到圖24的流程圖以結(jié)束時(shí)間視差相關(guān)性預(yù)測處理，并且流程返回到圖22或者圖23的流程圖。
[0358][方案I處理的流程]
[0359]接著將參照圖28的流程圖描述在圖25或者圖26中執(zhí)行的方案I處理的流程的示例。
[0360]在方案I處理開始時(shí)，在步驟S261中，方案I處理器155確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的POC是否相同。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的POC不相同時(shí)，方案I處理器155結(jié)束方案I處理，并且流程返回到圖25或者圖26的流程圖。
[0361]另外，在步驟S261中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像相同時(shí)，方案I處理器155繼續(xù)步驟S262的處理。
[0362]在步驟S262中，方案_1處理器155確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC是否相同。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC不相同時(shí)，方案-1處理器155結(jié)束方案I處理，并且流程返回到圖25或者圖26的流程圖。
[0363]另外，在步驟S262中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC相同時(shí)，方案-1處理器155繼續(xù)步驟S263的處理。
[0364]在步驟S263中，方案_1處理器155計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離I。在步驟S264中，方案-1處理器155計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟S265中，方案I處理器155確定參考圖像的跳躍標(biāo)志，并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。
[0365][方案3處理的流程]
[0366]接著將參照圖29的流程圖描述在圖25或者圖26中執(zhí)行的方案3處理的流程的示例。
[0367]在方案3處理開始時(shí)，在步驟S271中，方案3處理器157確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D是否相同。在當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D不相同時(shí)，方案3處理器157結(jié)束方案3處理，并且流程返回到圖25或者圖26的流程圖。
[0368]另外，在步驟S271中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D相同時(shí)，方案3處理器157繼續(xù)步驟S272的處理。[0369]在步驟S272中，方案3處理器157確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖1D是否相同。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖1D不相同時(shí),方案3處理器157結(jié)束方案3處理，并且流程返回到圖25或者圖26的流程圖。
[0370]另外，在步驟S272中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖1D相同時(shí)，方案3處理器157繼續(xù)步驟S273的處理。
[0371]在步驟S273中，方案3處理器157計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離I。在步驟S274中，方案3處理器157計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟S275中，方案3處理器157確定參考圖像的跳躍標(biāo)志，并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。
[0372][方案4-2處理的流程]
[0373]接著將參照圖30的流程圖描述在圖25或者圖26中執(zhí)行的方案4_2處理的流程的示例。
[0374]在方案4-2處理開始時(shí)，在步驟S281中，LI預(yù)測處理器153或者LO預(yù)測處理器154確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D是否相同。在二者相同時(shí)，編碼矢量是運(yùn)動矢量。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D相同時(shí)，流程繼續(xù)步驟S282。
[0375]在步驟S282中，LI預(yù)測處理器153或者LO預(yù)測處理器154確定相關(guān)性區(qū)域(共同定位的塊)和相關(guān)性區(qū)域的參考圖像的視圖1D是否相同。在二者不相同時(shí)，共同定位的矢量是視差矢量。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖1D不相同時(shí)，LI預(yù)測處理器153或者LO預(yù)測處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。
[0376]也就是說，在這一情況下，由于編碼矢量是運(yùn)動矢量并且共同定位的矢量是視差矢量，所以編碼矢量的特性與共同定位的矢量的特性不相同。因此，設(shè)置共同定位的塊不可用，并且方案4-2處理結(jié)束。
[0377]另外，在步驟S282中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖1D相同時(shí)，LI預(yù)測處理器153或者LO預(yù)測處理器154繼續(xù)步驟S283的處理。在二者相同時(shí)，共同定位的矢量是運(yùn)動矢量。也就是說，在這一情況下，編碼矢量和共同定位的矢量二者是運(yùn)動矢量，并且兩個矢量的特性相同。因此，在這一情況下，設(shè)置共同定位的矢量為可用。
[0378]在步驟S283中，方案4處理器158計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離I。在步驟S284中，方案4處理器158計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟S285中，方案4處理器158確定參考圖像的跳躍標(biāo)志，并且流程反饋到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。
[0379]另外，在步驟S281中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖1D不相同時(shí)，LI預(yù)測處理器153或者LO預(yù)測處理器154繼續(xù)步驟S286的處理。
[0380]在步驟S286中，預(yù)測處理器153或者LO預(yù)測處理器154確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的POC是否相同。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的POC不相同時(shí)，預(yù)測處理器153或者LO預(yù)測處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。[0381]另外，在步驟S286中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的POC相同時(shí)，預(yù)測處理器153或者LO預(yù)測處理器154繼續(xù)步驟S287的處理。在二者相同時(shí)，編碼矢量是視差矢量。
[0382]在步驟S287中，預(yù)測處理器153或者LO預(yù)測處理器154確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC是否相同。在二者不相同時(shí)，共同定位的矢量是運(yùn)動矢量。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC不相同時(shí)，預(yù)測處理器153或者LO預(yù)測處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。
[0383]也就是說，在這一情況下，由于編碼矢量是視差矢量并且共同定位的矢量是運(yùn)動矢量時(shí)，編碼矢量的特性與共同定位的矢量的特性不相同。因此，設(shè)置共同定位的塊為不可用，并且方案4-2處理結(jié)束。
[0384]另外，在步驟S287中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的POC相同時(shí)，LI預(yù)測處理器153或者LO預(yù)測處理器154返回到步驟S283的處理。在二者相同時(shí)，共同定位的矢量是視差矢量。也就是說，在這一情況下，編碼矢量和共同定位的矢量是視差矢量，并且兩個矢量的特性相同。因此，在這一情況下，設(shè)置共同定位的矢量為可用。
[0385]在這一情況下，方案2處理器156與方案4處理器158相似地執(zhí)行步驟S283至S285的處理。在步驟S285的處理結(jié)束時(shí)，方案2處理器156結(jié)束方案4_2處理，并且流程返回到圖25或者圖26的流程圖。
[0386]通過以這一方式執(zhí)行相應(yīng)處理，時(shí)間視差相關(guān)性預(yù)測矢量生成單元136可以生成視差相關(guān)性預(yù)測矢量以及運(yùn)動相關(guān)性預(yù)測矢量。因此，運(yùn)動視差預(yù)測/補(bǔ)償單元115即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以生成具有高預(yù)測準(zhǔn)確度的預(yù)測矢量。由于這一點(diǎn)，圖像編碼設(shè)備100可以抑制編碼效率降低。
[0387][2.第二實(shí)施例]
[0388][圖像解碼設(shè)備]
[0389]圖31是圖示作為圖像處理設(shè)備的圖像解碼設(shè)備的主要配置示例的框圖。圖31中所示圖像解碼設(shè)備300是與圖11的圖像編碼設(shè)備100對應(yīng)的設(shè)備。也就是說，圖像解碼設(shè)備300根據(jù)與圖像編碼設(shè)備100的編碼方法對應(yīng)的解碼方法，對通過圖像編碼設(shè)備100對多視圖圖像編碼而生成的編碼數(shù)據(jù)(比特流)解碼以獲得解碼多視圖圖像。
[0390]如圖31中所示，圖像解碼設(shè)備300包括累積緩沖器301、無損解碼單元302、逆量化單元303、逆正交變換單元304、算術(shù)單元305、循環(huán)濾波器306、屏幕重新排列緩沖器307和D/A轉(zhuǎn)換器308。另外，圖像解碼設(shè)備300包括解碼畫面緩沖器309、選擇器310、幀間預(yù)測單元311、運(yùn)動視差補(bǔ)償單元312和選擇器313。
[0391]另外，圖像解碼設(shè)備300包括解碼多視圖畫面緩沖器321。
[0392]累積緩沖器301累積向它發(fā)送的編碼數(shù)據(jù)并且在預(yù)定定時(shí)向無損解碼單元302供應(yīng)編碼數(shù)據(jù)。無損解碼單元302根據(jù)與無損編碼單元106的編碼方案對應(yīng)的方案，對從累積緩沖器301供應(yīng)的由圖11的無損編碼單元106編碼的信息解碼。無損解碼單元302向逆量化單元303供應(yīng)通過解碼而獲得的差值圖像的量化系數(shù)數(shù)據(jù)。
[0393]另外，無損解碼單元302參考通過對編碼數(shù)據(jù)解碼而獲得的關(guān)于最優(yōu)預(yù)測模式的信息，以確定是否選擇幀內(nèi)預(yù)測模式或者幀間預(yù)測模式作為最優(yōu)預(yù)測模式。無損解碼單元302基于確定結(jié)果，向幀內(nèi)預(yù)測單元311或者運(yùn)動視差補(bǔ)償單元312供應(yīng)關(guān)于最優(yōu)預(yù)測模式的信息。也就是說，例如在圖像編碼設(shè)備100選擇幀內(nèi)預(yù)測模式作為最優(yōu)預(yù)測模式時(shí)，向幀內(nèi)預(yù)測單元311供應(yīng)幀內(nèi)預(yù)測信息，該幀內(nèi)預(yù)測信息是關(guān)于最優(yōu)預(yù)測模式的信息等。另夕卜，例如在圖像編碼設(shè)備100選擇幀間預(yù)測模式作為最優(yōu)預(yù)測模式時(shí)，向運(yùn)動視差補(bǔ)償單元312供應(yīng)幀間預(yù)測信息，該幀間預(yù)測信息是關(guān)于最優(yōu)預(yù)測模式的信息等。
[0394]逆量化單元303根據(jù)與圖11的量化單元105的量化方案對應(yīng)的方案，對通過無損解碼單元302的解碼而獲得的量化系數(shù)數(shù)據(jù)執(zhí)行逆量化，并且向逆正交變換單元304供應(yīng)獲得的系數(shù)數(shù)據(jù)。逆正交變換單元304根據(jù)與圖11的正交變換單元104的正交變換方案對應(yīng)的方案，對從逆量化單元303供應(yīng)的系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。逆正交變換單元304通過逆正交變換處理獲得與在圖像編碼設(shè)備100中受到正交變換之前的差值圖像對應(yīng)的差值圖像。
[0395]向算術(shù)單元305供應(yīng)通過逆正交變換而獲得的差值圖像。另外，經(jīng)由選擇器313向算術(shù)單元305供應(yīng)來自幀內(nèi)預(yù)測單元311或者運(yùn)動視差補(bǔ)償單元312的預(yù)測圖像。
[0396]算術(shù)單元305將差值圖像與預(yù)測圖像相加，以獲得與圖像編碼設(shè)備100的算術(shù)單元103減去預(yù)測圖像之前的圖像對應(yīng)的重建圖像。算術(shù)單元305向循環(huán)濾波器306供應(yīng)重建圖像。
[0397]循環(huán)濾波器306關(guān)于供應(yīng)的重建圖像執(zhí)行包括去塊化濾波處理、自適應(yīng)循環(huán)濾波等的循環(huán)濾波處理以生成解碼圖像。例如循環(huán)濾波器306通過對重建圖像執(zhí)行去塊化濾波處理來去除塊失真。另外，例如循環(huán)濾波器306通過關(guān)于去塊化濾波處理結(jié)果(其中去除塊失真的重建圖像)使用維納濾波器執(zhí)行循環(huán)濾波處理來提高圖像質(zhì)量。
[0398]循環(huán)濾波器306執(zhí)行的濾波處理的類型是可選的，并且可以執(zhí)行除了以上描述的處理之外的濾波處理。另外，循環(huán)濾波器306可以使用從圖11的圖像編碼設(shè)備100供應(yīng)的濾波器系數(shù)來執(zhí)行濾波處理。
[0399]循環(huán)濾波器306向屏幕重新排列緩沖器307和解碼畫面緩沖器309供應(yīng)作為濾波處理結(jié)果的解碼圖像?？梢允÷匝h(huán)濾波器306的濾波處理。即，可以在解碼畫面緩沖器309中存儲算術(shù)單元305的輸出而未受到濾波處理。例如幀內(nèi)預(yù)測單元311使用在這一圖像中包括的像素的像素值作為鄰近像素的像素值。
[0400]屏幕重新排列緩沖器307重新排列供應(yīng)的解碼圖像。也就是說，按照原始顯示順序重新排列圖11的屏幕重新排列緩沖器102對于編碼順序而重新排列的幀順序。D/A轉(zhuǎn)換器308對從屏幕重新排列緩沖器307供應(yīng)的解碼圖像執(zhí)行D/A轉(zhuǎn)換、向顯示器(未示出)輸出轉(zhuǎn)換的圖像并且顯示圖像。
[0401]解碼畫面緩沖器309存儲供應(yīng)的重建圖像(以及圖像的視圖1D和P0C)和解碼圖像(以及圖像的視圖1D和P0C)。另外，解碼畫面緩沖器309在預(yù)定定時(shí)或者基于外部單元、比如幀內(nèi)預(yù)測單元311或者運(yùn)動視差補(bǔ)償單元312的請求，經(jīng)由選擇器310向幀內(nèi)預(yù)測單元311和運(yùn)動視差補(bǔ)償單元312供應(yīng)存儲的重建圖像(以及圖像的視圖1D和P0C)和解碼圖像(以及圖像的視圖1D和P0C)。
[0402]幀內(nèi)預(yù)測單元311執(zhí)行與圖11的幀內(nèi)預(yù)測單元114基本上相同的處理。然而幀內(nèi)預(yù)測單元311僅關(guān)于如下區(qū)域執(zhí)行幀內(nèi)預(yù)測，在編碼期間在該區(qū)域中通過幀內(nèi)預(yù)測來生成預(yù)測圖像。
[0403]運(yùn)動視差補(bǔ)償單元312基于從無損解碼單元302供應(yīng)的幀間預(yù)測信息，執(zhí)行運(yùn)動視差補(bǔ)償以生成預(yù)測圖像。運(yùn)動視差補(bǔ)償單元312基于從無損解碼單元302供應(yīng)的幀間預(yù)測信息，僅關(guān)于如下區(qū)域執(zhí)行運(yùn)動視差補(bǔ)償，在編碼期間在該區(qū)域中執(zhí)行幀間預(yù)測。
[0404]運(yùn)動視差補(bǔ)償單元312對于預(yù)測處理單位的每個區(qū)域，經(jīng)由選擇器313向算術(shù)單元305供應(yīng)生成的預(yù)測圖像。
[0405]選擇器313向算術(shù)單元305供應(yīng)從幀內(nèi)預(yù)測單元311供應(yīng)的預(yù)測圖像或者從運(yùn)動視差補(bǔ)償單元312供應(yīng)的預(yù)測圖像。
[0406]雖然解碼畫面緩沖器309僅存儲處理目標(biāo)視圖的圖像(以及圖像的視圖1D和P0C)，但是解碼多視圖畫面緩沖器321也存儲相應(yīng)視圖點(diǎn)(視圖)的圖像(以及圖像的視圖1D和P0C)。也就是說，解碼多視圖畫面緩沖器321獲取向解碼畫面緩沖器309供應(yīng)的解碼圖像(以及圖像的視圖1D和P0C)，并且與解碼畫面緩沖器309—起存儲解碼圖像(以及圖像的視圖1D和POC)。
[0407]雖然解碼畫面緩沖器309在處理目標(biāo)視圖改變時(shí)擦除解碼圖像，但是解碼多視圖畫面緩沖器321原樣存儲解碼圖像。另外，解碼多視圖畫面緩沖器321根據(jù)解碼畫面緩沖器309的請求等，向解碼畫面緩沖器309供應(yīng)存儲的解碼圖像(以及圖像的視圖1D和P0C)作為“非處理目標(biāo)視圖的解碼圖像”。解碼畫面緩沖器309經(jīng)由選擇器310，向運(yùn)動視差補(bǔ)償單元312供應(yīng)從解碼多視圖畫面緩沖器321讀取的“非處理目標(biāo)視圖的解碼圖像(以及圖像的視圖1D和P0C) ”。
[0408][運(yùn)動視差補(bǔ)償單元]
[0409]圖32是圖示運(yùn)動視差補(bǔ)償單元312的主要配置示例的框圖。
[0410]如圖32中所示，運(yùn)動視差補(bǔ)償單元312包括編碼信息累積緩沖器331、空間相關(guān)性預(yù)測矢量生成單元332、時(shí)間視差相關(guān)性預(yù)測矢量生成單元333、選擇器334、算術(shù)單元335和預(yù)測圖像生成單元336。
[0411]編碼信息累積緩沖器331獲取在無損解碼單元302中獲得的模式信息、差值運(yùn)動視差信息和預(yù)測信息。另外，編碼信息累積緩沖器331存儲在預(yù)測圖像生成單元336中使用的解碼運(yùn)動視差矢量。運(yùn)動視差矢量在用于另一區(qū)域的處理中用作鄰近區(qū)域的運(yùn)動視差矢量。
[0412]編碼信息累積緩沖器331向與在預(yù)測信息中指明的預(yù)測矢量的類型(空間相關(guān)性預(yù)測矢量或者時(shí)間視差相關(guān)性預(yù)測矢量)對應(yīng)的、空間相關(guān)性預(yù)測矢量生成單元332和時(shí)間視差相關(guān)性預(yù)測矢量生成單元333之一供應(yīng)鄰近區(qū)域的模式信息或者解碼運(yùn)動視差矢量。
[0413]另外，編碼信息累積緩沖器331向算術(shù)單元335供應(yīng)在差值運(yùn)動視差信息中包括的差值運(yùn)動視差矢量。另外，編碼信息累積緩沖器331向預(yù)測圖像生成單元336供應(yīng)在預(yù)測信息中包括的參考圖像索引。
[0414]空間相關(guān)性預(yù)測矢量生成單元332基于從編碼信息累積緩沖器331供應(yīng)的信息生成空間相關(guān)性預(yù)測矢量。生成方法與空間相關(guān)性預(yù)測矢量生成單元135的生成方法相同。然而由于預(yù)先確定最優(yōu)幀間預(yù)測模式，所以空間相關(guān)性預(yù)測矢量生成單元332可以僅在該模式中生成空間相關(guān)性預(yù)測矢量。空間相關(guān)性預(yù)測矢量生成單元332經(jīng)由選擇器334向算術(shù)單元335供應(yīng)生成的空間相關(guān)性預(yù)測矢量。
[0415]時(shí)間視差相關(guān)性預(yù)測矢量生成單元333基于從編碼信息累積緩沖器331供應(yīng)的信息等、從無損解碼單元302供應(yīng)的當(dāng)前區(qū)域的視圖1D和POC等的信息、以及從解碼畫面緩沖器309供應(yīng)的參考圖像的視圖1D和POC等的信息，生成時(shí)間視差相關(guān)性預(yù)測矢量。生成方法與時(shí)間視差相關(guān)性預(yù)測矢量生成單元136的生成方法相同。然而由于預(yù)先確定最優(yōu)幀間預(yù)測模式，所以時(shí)間視差相關(guān)性預(yù)測矢量生成單元333可以僅在該模式中生成時(shí)間視差相關(guān)性預(yù)測矢量。時(shí)間視差相關(guān)性預(yù)測矢量生成單元333經(jīng)由選擇器334，向算術(shù)單元335供應(yīng)生成的時(shí)間視差相關(guān)性預(yù)測矢量。
[0416]在從空間相關(guān)性預(yù)測矢量生成單元332供應(yīng)空間相關(guān)性預(yù)測矢量時(shí)，選擇器334向算術(shù)單元335供應(yīng)矢量。另外，從時(shí)間視差相關(guān)性預(yù)測矢量生成單元333供應(yīng)時(shí)間視差相關(guān)性預(yù)測矢量，選擇器334向算術(shù)單元335供應(yīng)該矢量。
[0417]算術(shù)單元335將從編碼信息累積緩沖器331供應(yīng)的差值運(yùn)動視差矢量與從選擇器334供應(yīng)的空間相關(guān)性預(yù)測矢量或者時(shí)間視差相關(guān)性預(yù)測矢量相加，以重建當(dāng)前區(qū)域的運(yùn)動視差矢量。算術(shù)單元335向預(yù)測圖像生成單元336供應(yīng)當(dāng)前區(qū)域的重建運(yùn)動視差矢量。
[0418]預(yù)測圖像生成單元336使用從算術(shù)單元335供應(yīng)的當(dāng)前區(qū)域的重建運(yùn)動視差矢量、從編碼信息累積緩沖器331供應(yīng)的參考圖像索引、從解碼畫面緩沖器309供應(yīng)的鄰近圖像的像素值來生成預(yù)測圖像，這些鄰近圖像是鄰近區(qū)域的圖像。預(yù)測圖像生成單元336向選擇器313供應(yīng)生成的預(yù)測圖像像素值。
[0419]通過這樣做，時(shí)間視差相關(guān)性預(yù)測矢量生成單元333可以與時(shí)間視差相關(guān)性預(yù)測矢量生成單元136相似地生成視差相關(guān)性預(yù)測矢量以及運(yùn)動相關(guān)性預(yù)測矢量。因此，運(yùn)動視差補(bǔ)償單元312即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以重建視差相關(guān)性預(yù)測矢量。也就是說，圖像解碼設(shè)備300可以提高編碼效率，因?yàn)閳D像解碼設(shè)備300可以對圖像編碼設(shè)備100生成的編碼數(shù)據(jù)正確解碼。
[0420][解碼處理的流程]
[0421]接著將描述具有這樣的配置的圖像解碼設(shè)備300執(zhí)行的相應(yīng)處理的流程。首先將參照圖33的流程圖描述解碼處理的流程。
[0422]在解碼處理開始時(shí)，在步驟S301中，累積緩沖器301累積向它發(fā)送的比特流。在步驟S302中，無損解碼單元302對從累積緩沖器301供應(yīng)的比特流(編碼差值圖像信息)解碼。在這一情況下，也解碼除了在比特流中包括的差值圖像信息之外的各種類型的信息、t匕如幀內(nèi)預(yù)測信息或者幀間預(yù)測信息。
[0423]在步驟S303中，逆量化單元303對通過步驟S302的處理獲得的量化正交變換系數(shù)執(zhí)行逆量化。在步驟S304中，逆正交變換單元304對已經(jīng)在步驟S303中受到逆量化的正交變換系數(shù)執(zhí)行逆正交變換。
[0424]在步驟S305中，幀內(nèi)預(yù)測單元311或者運(yùn)動視差補(bǔ)償單元312使用供應(yīng)的信息來執(zhí)行預(yù)測處理。在步驟S306中，算術(shù)單元305將在步驟S305中生成的預(yù)測圖像與在步驟S304中通過逆正交變換而獲得的差值圖像信息相加。以這一方式，生成重建圖像。
[0425]在步驟S307中，循環(huán)濾波器306關(guān)于在步驟S306中獲得的重建圖像，適當(dāng)執(zhí)行包括去塊化濾波處理、自適應(yīng)循環(huán)濾波處理等的循環(huán)濾波處理。
[0426]在步驟S308中，屏幕重新排列緩沖器307重新排列在步驟S307中通過濾波處理生成的解碼圖像。也就是說，按照原始顯示順序重新排列圖像編碼設(shè)備100的屏幕重新排列緩沖器102對于編碼而重新排列的幀順序。
[0427]在步驟S309中，D/A轉(zhuǎn)換器308對其中重新排列幀順序的解碼圖像執(zhí)行D/A轉(zhuǎn)換。向顯示器(未圖示)輸出并且顯示解碼圖像。
[0428]在步驟S310中，解碼畫面緩沖器309存儲在步驟S307中通過濾波處理獲得的解碼圖像。這一解碼圖像在幀間預(yù)測處理中用作參考圖像。
[0429]在步驟S310的處理結(jié)束時(shí)，解碼處理結(jié)束。
[0430][預(yù)測處理的流程]
[0431]接著將參照圖34的流程圖描述在圖33的步驟S305中執(zhí)行的預(yù)測處理的流程的示例。
[0432]在預(yù)測處理開始時(shí)，在步驟S331中，無損解碼單元302確定處理目標(biāo)的當(dāng)前區(qū)域是否已經(jīng)在編碼期間受到幀內(nèi)預(yù)測。在確定當(dāng)前區(qū)域已經(jīng)受到幀內(nèi)預(yù)測時(shí)，無損解碼單元302繼續(xù)步驟S332的處理。
[0433]在這一情況下，幀內(nèi)預(yù)測單元311在步驟S332中從無損解碼單元302獲取幀內(nèi)預(yù)測模式信息，并且在步驟S333中通過幀內(nèi)預(yù)測來生成預(yù)測圖像。在生成預(yù)測圖像時(shí)，幀內(nèi)預(yù)測單元311結(jié)束預(yù)測處理，并且流程返回到圖33的流程圖。
[0434]另外，在步驟S331中確定當(dāng)前區(qū)域是已經(jīng)受到幀間預(yù)測的區(qū)域時(shí)，無損解碼單元302繼續(xù)步驟S334的處理。在步驟S334中，運(yùn)動視差補(bǔ)償單元312執(zhí)行運(yùn)動視差補(bǔ)償處理。在運(yùn)動視差補(bǔ)償處理結(jié)束時(shí)，運(yùn)動視差補(bǔ)償單元312結(jié)束預(yù)測處理，并且流程返回到圖33的流程圖。
[0435][運(yùn)動視差補(bǔ)償處理的流程]
[0436]接著將參照圖35的流程圖描述在圖34的步驟S334中執(zhí)行的運(yùn)動視差補(bǔ)償處理的流程的示例。
[0437]在運(yùn)動視差補(bǔ)償處理開始時(shí)，在步驟S351中，編碼信息累積緩沖器331存儲在步驟S351中解碼的模式信息、運(yùn)動視差信息和預(yù)測信息。
[0438]在步驟S352中，空間相關(guān)性預(yù)測矢量生成單元332、時(shí)間視差相關(guān)性預(yù)測矢量生成單元333、選擇器334和算術(shù)單元335執(zhí)行運(yùn)動視差矢量生成處理，以重建當(dāng)前區(qū)域的運(yùn)動視差矢量。
[0439]在重建運(yùn)動視差矢量時(shí)，在步驟S353中，預(yù)測圖像生成單元336使用運(yùn)動視差矢量來生成預(yù)測圖像。
[0440]在生成預(yù)測圖像時(shí)，預(yù)測圖像生成單元336結(jié)束運(yùn)動視差補(bǔ)償處理，并且流程返回到圖34的流程圖。
[0441][運(yùn)動視差矢量生成處理的流程]
[0442]接著將參照圖36的流程圖描述在圖35的步驟S352中執(zhí)行的運(yùn)動視差矢量生成處理的流程的示例。
[0443]在運(yùn)動視差矢量生成處理開始時(shí)，在步驟S371中，編碼信息累積緩沖器331根據(jù)預(yù)測信息確定這一模式是否為略過模式。在確定這一模式是略過模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟S372的處理。在步驟S372中，空間相關(guān)性預(yù)測矢量生成單元332到算術(shù)單元335執(zhí)行合并模式處理，以在合并模式中重建運(yùn)動視差矢量。在合并模式處理中，執(zhí)行與參照圖22的流程圖描述的處理相同的處理。在合并模式處理結(jié)束時(shí)，算術(shù)單元335結(jié)束運(yùn)動視差矢量生成處理，并且流程返回到圖35的流程圖。
[0444]另外，在圖36的步驟S371中確定它不是略過模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟S373的處理。在步驟S373中，編碼信息累積緩沖器331根據(jù)預(yù)測信息確定這一模式是否為合并模式。在確定這一模式是合并模式時(shí)，編碼信息累積緩沖器331返回到步驟S372的處理，以執(zhí)行合并模式處理。
[0445]另外，在步驟S373中確定這一模式不是合并模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟S374的處理。
[0446]在步驟S374中，編碼信息累積緩沖器331獲取參考圖像的索引。在步驟S375中，編碼信息累積緩沖器331獲取差值運(yùn)動視差矢量。
[0447]在步驟S376中，空間相關(guān)性預(yù)測矢量生成單元332或者時(shí)間視差相關(guān)性預(yù)測矢量生成單元333執(zhí)行視差運(yùn)動矢量預(yù)測處理。以與參照圖23的流程圖描述的方式相同的方式，執(zhí)行這一視差運(yùn)動矢量預(yù)測處理。然而在這一情況下，由于預(yù)先確定預(yù)測方法，所以執(zhí)行空間相關(guān)性預(yù)測處理和時(shí)間視差相關(guān)性預(yù)測處理中的任一相關(guān)性預(yù)測處理(預(yù)測信息指明的相關(guān)性預(yù)測處理)。
[0448]在步驟S377中，算術(shù)單元335將在步驟S376中重建的預(yù)測矢量與差值運(yùn)動視差矢量相加，以重建運(yùn)動視差矢量。
[0449]在步驟S377的處理結(jié)束時(shí)，算術(shù)單元335結(jié)束運(yùn)動視差矢量生成處理，并且流程返回到圖35的流程圖。
[0450]通過以上述方式執(zhí)行相應(yīng)處理，時(shí)間視差相關(guān)性預(yù)測矢量生成單元333可以與時(shí)間視差相關(guān)性預(yù)測矢量生成單元136相似地生成視差相關(guān)性預(yù)測矢量以及運(yùn)動相關(guān)性預(yù)測矢量。因此，運(yùn)動視差補(bǔ)償單元312即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以重建視差相關(guān)性預(yù)測矢量。也就是說，圖像解碼設(shè)備300可以提高編碼效率，因?yàn)閳D像解碼設(shè)備300可以對圖像編碼設(shè)備100生成的編碼數(shù)據(jù)正確解碼。
[0451][3.第三實(shí)施例]
[0452][要點(diǎn)]
[0453]在多視圖圖像的情況下，在視圖之間偏移圖像的位置，從而視差出現(xiàn)。因此，在選擇在視圖方向上的塊時(shí)，即使選擇(參考)在相同位置的塊，預(yù)測圖像的預(yù)測準(zhǔn)確度仍然可能降低，并且存在不可能創(chuàng)建適當(dāng)預(yù)測矢量的可能性。
[0454]因此，在選擇在視圖方向上的塊以便生成預(yù)測矢量時(shí)，選擇在移位的位置的塊。也就是說，在移位與當(dāng)前區(qū)域相同的時(shí)間的圖像的位置的狀態(tài)中，使用位于與當(dāng)前區(qū)域相同的位置的這樣的區(qū)域的矢量來生成預(yù)測矢量。
[0455]根據(jù)鄰近塊的視差矢量按照預(yù)定順序計(jì)算移位量。通過在編碼側(cè)設(shè)備和解碼側(cè)設(shè)備二者中使用相同順序，可以在編碼側(cè)和解碼側(cè)二者中執(zhí)行相同預(yù)測。
[0456]可以顯式地指明用于計(jì)算移位量的鄰近塊，并且可以從編碼側(cè)向解碼側(cè)發(fā)送其信息。另外，可以從編碼側(cè)向解碼側(cè)發(fā)送關(guān)于移位量計(jì)算方法的信息。
[0457]通過這樣做，圖像編碼設(shè)備和圖像解碼設(shè)備可以根據(jù)在視圖之間對準(zhǔn)的塊生成預(yù)測矢量。因此有可能提高預(yù)測圖像的預(yù)測準(zhǔn)確度并且提高編碼效率。
[0458]以下將具體描述這一點(diǎn)。
[0459][圖像編碼設(shè)備]
[0460]圖37是圖示本技術(shù)應(yīng)用于的圖像編碼設(shè)備的另一配置示例的框圖。
[0461]圖37中所示圖像編碼設(shè)備400是與以上描述的圖像編碼設(shè)備100基本上相同的設(shè)備。然而圖像編碼設(shè)備400根據(jù)在視圖之間對準(zhǔn)的塊生成預(yù)測矢量。
[0462]如圖37中所示，圖像編碼設(shè)備400包括運(yùn)動預(yù)測/補(bǔ)償單元415和基本視圖編碼器 421。
[0463]運(yùn)動預(yù)測/補(bǔ)償單元412使用從解碼畫面緩沖器112獲取的解碼圖像和從基本視圖編碼器421獲取的基本視圖的運(yùn)動信息，生成參考在視圖方向上的塊的預(yù)測矢量。
[0464]基本視圖編碼器421對基本視圖編碼。基本視圖編碼器421向解碼畫面緩沖器112供應(yīng)基本視圖的解碼圖像，該解碼畫面緩沖器存儲解碼圖像。解碼畫面緩沖器112也存儲從循環(huán)濾波器111供應(yīng)的非基本視圖的解碼圖像。
[0465]基本視圖編碼器421向運(yùn)動預(yù)測/補(bǔ)償單元412供應(yīng)基本視圖的運(yùn)動信息。
[0466][運(yùn)動預(yù)測/補(bǔ)償單元]
[0467]圖38是圖示圖37的運(yùn)動預(yù)測/補(bǔ)償單元412的主要配置示例的框圖。
[0468]如圖38中所示，運(yùn)動預(yù)測/補(bǔ)償單元412包括幀間模式生成單元431、參考索引確定單元432、矢量預(yù)測單元433、矢量預(yù)測單元434和模式確定單元435。在相應(yīng)處理單元之間交換圖38中所示信息。
[0469]在幀間預(yù)測模式的情況下，矢量預(yù)測單元433生成預(yù)測矢量以生成其預(yù)測圖像。在略過模式、合并模式等的情況下，矢量預(yù)測單元434生成預(yù)測矢量以生成其預(yù)測圖像。向模式確定單元435供應(yīng)在這些矢量預(yù)測單元中生成的預(yù)測矢量和預(yù)測圖像。
[0470]模式確定單元435基于這些信息項(xiàng)確定模式，并且向無損編碼單元106供應(yīng)指示選擇的模式和模式的預(yù)測矢量的信息。另外，向預(yù)測圖像選擇器116供應(yīng)選擇的模式的預(yù)測圖像。
[0471][矢量預(yù)測單元]
[0472]圖39是圖示矢量預(yù)測單元433的主要配置示例的框圖。
[0473]如圖39中所示,矢量預(yù)測單元433包括運(yùn)動/視差矢量搜索單元451、預(yù)測圖像生成單元452、矢量成本計(jì)算單元453、矢量確定單元454、矢量信息累積緩沖器455、基于鄰近塊的預(yù)測矢量生成單元456、基于不同畫面的預(yù)測矢量生成單元457和選擇器458。在相應(yīng)處理單元之間交換圖39中所示信息。
[0474]基于不同畫面的預(yù)測矢量生成單元457生成參考不同畫面的預(yù)測矢量。也就是說，基于不同畫面的預(yù)測矢量生成單元457參考在時(shí)間方向和視圖方向上的不同畫面以生成預(yù)測矢量。在生成參考在視圖方向上的不同畫面的預(yù)測矢量時(shí)，基于不同畫面的預(yù)測矢量生成單元457從基本視圖編碼器421獲取基本視圖的運(yùn)動信息，并且使用運(yùn)動信息來生成預(yù)測矢量。
[0475]經(jīng)由選擇器458向矢量成本計(jì)算單元453供應(yīng)基于不同畫面的預(yù)測矢量生成單元457生成的預(yù)測矢量，并且計(jì)算用于模式確定的成本函數(shù)值。
[0476][基于不同畫面的預(yù)測矢量生成單元]
[0477]圖40是圖示基于不同畫面的預(yù)測矢量生成單元457的主要配置示例的框圖。
[0478]如圖40中所示,基于不同畫面的預(yù)測矢量生成單元457包括視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內(nèi)參考矢量生成單元473。
[0479]視差矢量確定單元471根據(jù)鄰近塊的視差矢量計(jì)算參考圖像的移位量。移位量計(jì)算方法是可選的。例如可以選擇并且可以使用鄰近塊的視差矢量中的任一視差矢量作為移位量。另外，例如鄰近塊的視差矢量的平均值或者中值可以用作移位量。
[0480]視差矢量確定單元471向視圖間參考矢量生成單元472供應(yīng)以這一方式獲得的移位量作為視差矢量。
[0481]視圖間參考矢量生成單元472生成參考在視圖方向上的不同畫面的預(yù)測矢量。
[0482]視圖間參考矢量生成單元472使用由視差矢量確定單元471選擇的視差矢量(移位量)、從基本視圖編碼器421供應(yīng)的基本視圖的運(yùn)動矢量(也包括非基本視圖的情況下的視差矢量)、和從矢量信息累積緩沖器455讀取的信息、比如參考圖像索引或者視圖間相同時(shí)間的運(yùn)動/視差矢量，通過考慮視差矢量來生成預(yù)測矢量。
[0483]也就是說，視圖間參考矢量生成單元472使用由視差矢量確定單元471計(jì)算的移位量，對準(zhǔn)(移位)參考的視圖的圖像。另外，視圖間參考矢量生成單元472根據(jù)對準(zhǔn)的塊生成預(yù)測矢量。
[0484]視圖間參考矢量生成單元472經(jīng)由選擇器458 (在圖40中未圖示)向矢量成本計(jì)算單元453供應(yīng)生成的預(yù)測矢量。
[0485]視圖內(nèi)參考矢量生成單元473生成參考在時(shí)間方向上的不同畫面的預(yù)測矢量。
[0486]通過這樣做，視圖間參考矢量生成單元472可以創(chuàng)建具有高預(yù)測準(zhǔn)確度的適當(dāng)預(yù)測矢量。以這一方式，圖像編碼設(shè)備400可以提高編碼效率。
[0487][運(yùn)動預(yù)測/補(bǔ)償處理的流程]
[0488]將參照圖41的流程圖描述運(yùn)動預(yù)測/補(bǔ)償處理的流程的示例。
[0489]在運(yùn)動預(yù)測/補(bǔ)償處理開始時(shí)，在步驟S401中，幀間模式生成單元431選擇幀間預(yù)測模式、略過模式、合并模式等中的任何模式，并且生成幀間模式，該幀間模式是指明選擇的模式的信息。
[0490]在步驟S402中，幀間模式生成單元431確定生成的幀間模式是幀間預(yù)測模式。
[0491]在幀間模式是幀間預(yù)測模式時(shí)，幀間模式生成單元431在步驟S403中確定參考圖像，并且矢量預(yù)測單元433在步驟S404中執(zhí)行矢量預(yù)測處理。
[0492]另外，在幀間模式不是幀間預(yù)測模式時(shí)，在步驟S404中，矢量預(yù)測單元434執(zhí)行矢量預(yù)測處理。
[0493]在步驟S405中，模式確定單元435基于在步驟S404中確定的預(yù)測矢量等確定模式。在步驟S401的處理中使用這一模式。
[0494]在步驟S405中，無損編碼單元106對在步驟S405中確定的模式的信息編碼。
[0495][矢量預(yù)測處理的流程]
[0496]將參照圖42的流程圖描述矢量預(yù)測單元433在圖41的步驟S404中執(zhí)行的矢量預(yù)測處理的流程的示例。
[0497]在矢量預(yù)測處理開始時(shí)，運(yùn)動/視差矢量搜索單元451在步驟S421中搜索矢量。
[0498]在步驟S422中，預(yù)測圖像生成單元452生成預(yù)測圖像。
[0499]在步驟S423中，矢量成本計(jì)算單元453生成殘差圖像。
[0500]在步驟S424中，基于鄰近塊的預(yù)測矢量生成單元456和基于不同畫面的預(yù)測矢量生成單元457根據(jù)編碼矢量生成預(yù)測矢量。
[0501]在步驟S425中，矢量成本計(jì)算單元453計(jì)算矢量的殘差。
[0502]在步驟S426中，矢量確定單元454確定具有最小成本的預(yù)測矢量。在步驟S424的處理上反應(yīng)這一處理結(jié)果。
[0503]在步驟S427中，矢量信息累積緩沖器455累積矢量信息，并且流程返回到圖41的流程圖。
[0504][預(yù)測矢量生成處理的流程]
[0505]接著將參照圖43的流程圖描述在圖42的步驟S424中執(zhí)行的預(yù)測矢量生成處理的流程的示例。
[0506]在預(yù)測矢量生成處理開始時(shí)，在步驟S441中，選擇器458確定將參考哪個塊。
[0507]在確定將參考畫面的鄰近塊時(shí)，在步驟S442中，基于鄰近塊的預(yù)測矢量生成單元456將鄰近塊的編碼矢量設(shè)置成預(yù)測矢量，并且流程返回到圖42的流程圖。
[0508]另外，在步驟S441中確定將參考不同畫面的塊時(shí)，選擇器458繼續(xù)步驟S443的處理以確定畫面將被參考的視圖。
[0509]在確定將參考不同視圖的畫面時(shí)，在步驟S444中，基于不同畫面的預(yù)測矢量生成單元457根據(jù)在視圖方向上擴(kuò)展的編碼、共同定位的塊生成視圖方向的預(yù)測矢量，并且流程返回到圖42的流程圖。
[0510]另外，在步驟S443中確定將參考相同視圖的畫面時(shí)，在步驟S445中，基于不同畫面的預(yù)測矢量生成單元457根據(jù)編碼、共同定位的塊生成時(shí)間方向的預(yù)測矢量，并且流程返回到圖42的流程圖。
[0511][基于不同畫面的預(yù)測矢量生成處理的流程]
[0512]接著將參照圖44的流程圖描述在圖43的步驟S444中執(zhí)行的基于不同畫面的預(yù)測矢量生成處理的流程的示例。
[0513]在基于不同畫面的預(yù)測矢量生成處理開始時(shí)，在步驟S461中，視差矢量確定單元471根據(jù)鄰近塊的視差矢量確定移位矢量。
[0514]在步驟S462中，視圖間參考矢量生成單元472選擇在移位的位置的共同定位的塊。
[0515]在步驟S463中，視圖間參考矢量生成單元472根據(jù)共同定位的塊生成預(yù)測矢量，并且流程返回到圖43的流程圖。
[0516][移位量確定處理的流程]
[0517]接著將參照圖45的流程圖描述在圖44的步驟S461中執(zhí)行的移位量確定處理的流程的示例。
[0518]在步驟S481中，視差矢量確定單元471確定是否有多個塊，在這些塊中，鄰近塊的視差矢量的Y方向矢量的值不是零。
[0519]鄰近塊是位于處理目標(biāo)的當(dāng)前塊(當(dāng)前塊)附近(包括“相鄰”)的塊。例如，如圖46中所示，在當(dāng)前塊(Curr )的左側(cè)相鄰的塊(左)、在當(dāng)前塊以上相鄰的塊(上)和與當(dāng)前塊的右上角相鄰的塊(右上)用作鄰近塊。自然地，可以在鄰近塊中包括除了這些塊之外的塊，并且這些塊中的部分或者所有塊可以未用作鄰近塊。
[0520]鄰近塊的位置可以對于所有塊相同并且可以從塊到塊不同。例如在與屏幕末端相鄰的塊或者切片邊界用作當(dāng)前塊時(shí)，可以設(shè)置鄰近塊的部分為不可用。
[0521]在步驟S481中確定無其中Y方向矢量的值為非零的多個塊時(shí)，視差矢量確定單元471繼續(xù)步驟S482的處理，以使用目標(biāo)在X方向上的視差矢量作為移位量，并且流程返回到圖44的流程圖。
[0522]另外，在步驟S481中確定有其中Y方向矢量的值不為零的多個塊時(shí)，視差矢量確定單元471繼續(xù)步驟S483的處理，以設(shè)置目標(biāo)在X方向上的視差矢量的平均值作為移位量，并且流程返回到圖44的流程圖。
[0523]通過以上述方式執(zhí)行處理，運(yùn)動預(yù)測/補(bǔ)償單元415可以創(chuàng)建具有高預(yù)測準(zhǔn)確度的適當(dāng)預(yù)測矢量。以這一方式，圖像編碼設(shè)備400可以提高編碼效率。
[0524][4.第四實(shí)施例]
[0525][圖像解碼設(shè)備]
[0526]圖47是圖示本技術(shù)應(yīng)用于的圖像解碼設(shè)備的另一配置示例的框圖。
[0527]圖47中所示圖像解碼設(shè)備500與以上描述的圖像解碼設(shè)備300基本上相同。然而圖像解碼設(shè)備500與圖像編碼設(shè)備400相似地根據(jù)在視圖之間對準(zhǔn)的塊生成預(yù)測矢量。
[0528]如圖47中所示，圖像解碼設(shè)備500包括運(yùn)動補(bǔ)償單元512和基本視圖解碼器521。
[0529]運(yùn)動補(bǔ)償單元512使用從解碼畫面緩沖器309獲取的解碼圖像和從基本視圖解碼器521獲取的基本視圖的運(yùn)動信息，生成參考在視圖方向上的塊的預(yù)測矢量。
[0530]基本視圖解碼器521對基本視圖編碼?；疽晥D解碼器521向解碼畫面緩沖器309供應(yīng)基本視圖的解碼圖像，該解碼畫面緩沖器存儲解碼圖像。解碼畫面緩沖器309也存儲從循環(huán)濾波器306供應(yīng)的非基本視圖的解碼圖像。
[0531]基本視圖解碼器521向運(yùn)動補(bǔ)償單元512供應(yīng)基本視圖的運(yùn)動信息。
[0532][運(yùn)動補(bǔ)償單元]
[0533]圖48是圖示圖47的運(yùn)動補(bǔ)償單元512的主要配置示例的框圖。
[0534]如圖48中所示，運(yùn)動補(bǔ)償單元512包括模式確定單元531、參考索引確定單元532、矢量解碼單元533和矢量解碼單元534。在相應(yīng)處理單元之間交換圖48中所示信息。
[0535]在幀間預(yù)測模式的情況下，矢量解碼單元533對從圖像編碼設(shè)備400發(fā)送的殘差矢量解碼以生成預(yù)測矢量。另外，矢量解碼單元533使用預(yù)測矢量來生成預(yù)測圖像。向預(yù)測圖像選擇器313供應(yīng)預(yù)測圖像。
[0536]在略過模式或者合并模式的情況下，矢量解碼單元534對從圖像編碼設(shè)備400發(fā)送的殘差矢量解碼以生成預(yù)測矢量。另外，矢量解碼單元534使用預(yù)測矢量來生成預(yù)測圖像。向預(yù)測圖像選擇器313供應(yīng)預(yù)測圖像。
[0537][矢量解碼單元]
[0538]圖49是圖示矢量解碼單元533的主要配置示例的框圖。
[0539]如圖49中所示，矢量解碼單元533包括選擇器551、基于鄰近塊的預(yù)測矢量生成單元552、基于不同畫面的預(yù)測矢量生成單元553、選擇器554、算術(shù)單元555、預(yù)測圖像生成單元556和矢量信息累積緩沖器557。在相應(yīng)處理單元之間交換圖49中所示信息。
[0540]選擇器551根據(jù)幀間模式，向基于鄰近塊的預(yù)測矢量生成單元552 (在略過模式、合并模式等的情況下)或者向基于不同畫面的預(yù)測矢量生成單元553 (在幀間預(yù)測模式的情況下)供應(yīng)從無損解碼單元302供應(yīng)的矢量索引。
[0541]被供應(yīng)矢量索引的基于鄰近塊的預(yù)測矢量生成單元552使用從矢量信息累積緩沖器557獲取的矢量信息，根據(jù)在當(dāng)前畫面中的鄰近塊生成預(yù)測矢量。
[0542]被供應(yīng)矢量索引的基于不同畫面的預(yù)測矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息，根據(jù)在當(dāng)前視圖中的不同畫面生成預(yù)測矢量。另外，基于不同畫面的預(yù)測矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息或者從基本視圖解碼器521供應(yīng)的基本視圖的運(yùn)動矢量，根據(jù)不同視圖的不同畫面生成預(yù)測矢量。
[0543]基于不同畫面的預(yù)測矢量生成單元553是與基于不同畫面的預(yù)測矢量生成單元457的視差矢量確定單元471相同的處理單元，并且根據(jù)相同方法生成預(yù)測矢量。
[0544]選擇器554向算術(shù)單元555供應(yīng):基于鄰近塊的預(yù)測矢量生成單元552生成的預(yù)測矢量或者基于不同畫面的預(yù)測矢量生成單元553生成的預(yù)測矢量。
[0545]算術(shù)單元555將從無損解碼單元302供應(yīng)的運(yùn)動/視差矢量的差值(殘差矢量)與預(yù)測矢量相加，以生成當(dāng)前區(qū)域的運(yùn)動/視差矢量。算術(shù)單元555向預(yù)測圖像生成單元556供應(yīng)運(yùn)動/視差矢量。另外，算術(shù)單元555向矢量信息累積緩沖器557供應(yīng)運(yùn)動/視差矢量，該矢量信息累積緩沖器存儲運(yùn)動/視差矢量。
[0546]預(yù)測圖像生成單元556使用從算術(shù)單元555供應(yīng)的當(dāng)前區(qū)域的運(yùn)動/視差矢量、從無損解碼單元302供應(yīng)的參考圖像索引和從解碼畫面緩沖器309供應(yīng)的解碼圖像像素值，生成預(yù)測圖像。預(yù)測圖像生成單元556向預(yù)測圖像選擇器313供應(yīng)生成的預(yù)測圖像像素值。
[0547][基于不同畫面的預(yù)測矢量生成單元]
[0548]圖50是圖示基于不同畫面的預(yù)測矢量生成單元553的主要配置示例的框圖。
[0549]如圖50中所示,基于不同畫面的預(yù)測矢量生成單元553包括視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內(nèi)參考矢量生成單元573。
[0550]視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內(nèi)參考矢量生成單元573是分別與基于不同畫面的預(yù)測矢量生成單元457的視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內(nèi)參考矢量生成單元473相同的處理單元并且執(zhí)行相同處理。
[0551]也就是說，視差矢量確定單元571根據(jù)與視差矢量確定單元471相同的方法計(jì)算參考目標(biāo)的視圖的圖像的移位量，并且移位圖像。
[0552]因此，基于不同畫面的預(yù)測矢量生成單元553可以對殘差矢量正確解碼，以生成與基于不同畫面的預(yù)測矢量生成單元457生成的預(yù)測矢量相同的具有高預(yù)測準(zhǔn)確度的適當(dāng)預(yù)測矢量。也就是說，矢量解碼單元533可以生成與矢量預(yù)測單元433生成的預(yù)測圖像相同的預(yù)測圖像。因此，圖像解碼設(shè)備500可以提高編碼效率，因?yàn)閳D像解碼設(shè)備500可以對圖像編碼設(shè)備400生成的編碼數(shù)據(jù)正確解碼。
[0553]未限制視差矢量確定單元571的移位量計(jì)算方法，只要它與視差矢量確定單元471相同，但是該方法是可選的。例如可以選擇鄰近塊的視差矢量中的任何視差矢量，并且選擇的視差矢量可以用作移位量。另外，鄰近塊的視差矢量的平均值或者中值可以用作移位量。
[0554][運(yùn)動補(bǔ)償處理的流程]
[0555]將參照圖51的流程圖描述運(yùn)動補(bǔ)償處理的流程的示例。
[0556]在運(yùn)動預(yù)測/補(bǔ)償處理開始時(shí)，模式確定單元531在步驟S501中對幀間模式解碼，并且在步驟S502中確定幀間模式是否為幀間預(yù)測模式。
[0557]在幀間模式是幀間預(yù)測模式時(shí)，矢量解碼單元533在步驟S503中確定參考圖像，并且在步驟S504中執(zhí)行矢量解碼處理以對殘差矢量解碼以生成預(yù)測圖像。[0558]另外，在幀間模式不是幀間預(yù)測模式時(shí)，矢量解碼單元534在步驟S504中執(zhí)行矢量解碼處理以對殘差矢量解碼以生成預(yù)測圖像。
[0559][矢量解碼處理的流程]
[0560]將參照圖52的流程圖描述矢量解碼單元533在圖51的步驟S504中執(zhí)行的矢量解碼處理的流程的示例。
[0561]在矢量解碼處理開始時(shí)，在步驟S521中，無損解碼單元302對殘差矢量(差值矢量)解碼。
[0562]在步驟S522中，無損解碼單元302對參考圖像索引解碼。
[0563]在步驟S523中，無損解碼單元302對矢量索引解碼。
[0564]在步驟S524中，基于鄰近塊的預(yù)測矢量生成單元552和基于不同畫面的預(yù)測矢量生成單元553根據(jù)編碼矢量生成預(yù)測矢量。算術(shù)單元555將預(yù)測矢量與殘差矢量相加，以生成當(dāng)前區(qū)域的運(yùn)動/視差矢量。
[0565]在步驟S525中，預(yù)測圖像生成單元556使用在步驟S524中生成的運(yùn)動/視差矢量來生成預(yù)測圖像。
[0566]在步驟S526中，矢量信息累積緩沖器455累積矢量信息，并且流程返回到圖51的流程圖。
[0567][預(yù)測矢量生成處理的流程]
[0568]接著將參照圖53的流程圖描述在圖52的步驟S524中執(zhí)行的預(yù)測矢量生成處理的流程的示例。
[0569]在預(yù)測矢量生成處理開始時(shí)，在步驟S541中，選擇器554確定將參考的塊。
[0570]在確定將參考當(dāng)前畫面的鄰近塊時(shí)，在步驟S542中，基于鄰近塊的預(yù)測矢量生成單元552使用鄰近塊的編碼矢量作為預(yù)測矢量，并且流程返回到圖52的流程圖。
[0571]另外，在步驟S541中確定將參考不同畫面的塊時(shí)，選擇器554繼續(xù)步驟S543的處理以確定畫面將被參考的視圖。
[0572]在確定將參考不同視圖的畫面時(shí)，在步驟S544中，基于不同畫面的預(yù)測矢量生成單元553根據(jù)在視圖方向上擴(kuò)展的編碼、共同定位的塊生成視圖方向的預(yù)測矢量，并且流程返回到圖52的流程圖。
[0573]另外，在步驟S543中確定將參考相同視圖的畫面時(shí)，在步驟S545中，基于不同畫面的預(yù)測矢量生成單元553根據(jù)編碼、共同定位的塊生成時(shí)間方向的預(yù)測矢量，并且流程返回到圖52的流程圖。
[0574][基于不同畫面的預(yù)測矢量生成處理的流程]
[0575]接著將參照圖54的流程圖描述在圖53的步驟S544中執(zhí)行的基于不同畫面的預(yù)測矢量生成處理的流程的示例。
[0576]在基于不同畫面的預(yù)測矢量生成處理開始時(shí)，在步驟S561中，視差矢量確定單元571根據(jù)鄰近塊的視差矢量確定移位量。
[0577]在步驟S562中，視圖間參考矢量生成單元572選擇在移位的位置的共同定位的塊。
[0578]在步驟S563中，視圖間參考矢量生成單元572根據(jù)共同定位的塊生成預(yù)測矢量，并且流程返回到圖53的流程圖。[0579]也就是說，在與圖44的流程圖相同的流程中執(zhí)行處理。
[0580][移位量確定處理的流程]
[0581]接著將參照圖55的流程圖描述在圖54的步驟S561中執(zhí)行的移位量確定處理的流程的示例。
[0582]在步驟S581中，視差矢量確定單元571確定是否有多個塊，在這些塊中，鄰近塊的視差矢量的Y方向矢量的值為非零。
[0583]在步驟S581中確定無其中Y方向矢量的值為非零的多個塊時(shí)，視差矢量確定單元571繼續(xù)步驟S582的處理以使用目標(biāo)在X方向上的視差矢量作為移位量，并且流程返回到圖54的流程圖。
[0584]另外，在步驟S581中確定有其中Y方向矢量的值為非零的多個塊時(shí)，視差矢量確定單元571繼續(xù)步驟S583的處理以使用目標(biāo)在X方向上的視差矢量的平均值作為移位量，并且流程返回到圖54的流程圖。
[0585]也就是說在與圖45的流程圖相同的流程中執(zhí)行處理。這對于鄰近塊同樣成立。
[0586]通過以上述方式執(zhí)行處理，運(yùn)動補(bǔ)償單元512可以創(chuàng)建具有高預(yù)測準(zhǔn)確度的適當(dāng)預(yù)測矢量。以這一方式，圖像解碼設(shè)備500可以提高編碼效率。
[0587]如以上描述的那樣，可以從圖像編碼設(shè)備400向圖像解碼設(shè)備500發(fā)送信息、比如用于計(jì)算移位量的鄰近塊和移位量計(jì)算方法。
[0588][5.第五實(shí)施例]
[0589][預(yù)測矢量]
[0590]如在第三和第四實(shí)施例中描述的那樣，可以在選擇視圖方向的塊時(shí)選擇在移位的位置的塊，以便生成預(yù)測矢量。
[0591]可以使用共同定位的塊的矢量(共同定位的塊)或者全局視差矢量來生成用于預(yù)測矢量的候選，該共同定位的塊是與當(dāng)前區(qū)域相同的視圖的、屬于不同時(shí)間的畫面的、在相同位置的塊。
[0592]例如，如圖56中所示，3D圖像的右和左圖像中的任一圖像(例如左眼圖像)用作基本視圖，并且另一圖像(例如右眼圖像)用作依賴視圖。
[0593]在預(yù)測依賴視圖的當(dāng)前畫面601的當(dāng)前區(qū)域611的矢量(編碼矢量)621時(shí)，可以例如使用與當(dāng)前區(qū)域相同的視圖的、如下共同定位的畫面602的、在與當(dāng)前區(qū)域相同的位置的共同定位的塊612的運(yùn)動矢量(共同定位的矢量)622或者全局視差矢量(未圖示)來獲得預(yù)測矢量，該共同定位的畫面是不同時(shí)間的畫面。
[0594]例如在如下位置的塊613的矢量623可以用作編碼矢量(MV) 621的預(yù)測矢量(PMV)，該位置是從與當(dāng)前畫面601相同的時(shí)間的基本視圖的畫面603的當(dāng)前區(qū)域11相同的位置通過共同定位的塊622或者全局視差矢量(矢量631)移位的。另外，共同定位的塊622或者全局視差矢量可以用作編碼矢量(MV) 621的預(yù)測矢量。
[0595]通過在編碼側(cè)設(shè)備和解碼側(cè)設(shè)備二者中使用相同順序，可以在編碼側(cè)和解碼側(cè)二者中執(zhí)行相同預(yù)測。
[0596]可以顯式地指明指示將使用共同定位的塊和全局視差矢量之一的信息、關(guān)于共同定位的塊或者全局視差矢量的信息等，并且可以從編碼側(cè)向解碼側(cè)發(fā)送其信息。另外，可以從編碼側(cè)向解碼側(cè)發(fā)送關(guān)于移位量計(jì)算方法的信息。[0597]通過這樣做，圖像編碼設(shè)備和圖像解碼設(shè)備可以根據(jù)在視圖之間相似地對準(zhǔn)的塊生成預(yù)測矢量。因此，有可能提高預(yù)測圖像的預(yù)測準(zhǔn)確度并且提高編碼效率。
[0598][全局視差矢量]
[0599]接著將描述全局視差矢量。全局視差矢量是(對于每個預(yù)定單位、如比如畫面、切片、LCU或者CU)全局的有代表性的視差矢量。例如對于每個畫面生成的全局視差矢量指示在視圖之間的視差量。生成全局視差矢量的方法是可選的。
[0600]在以下引用中公開全局視差矢量的具體示例:Junghak Nam, Hyomin Choi, SunmiYoo,Woong Lim,Donggyu Sim,〃3D_HEVC_CE3result on KffU's advanced motionand disparity prediction method based on global disparity, "INTERNATIONALORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATIONISO/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11MPEG2011/M23620, February2012, San Jose, CA。
[0601]圖57是用于描述視差和深度的圖。
[0602]如圖57中所示，在對象M的彩色圖像由設(shè)置于位置Cl的相機(jī)cl和設(shè)置于位置C2的相繼c2捕獲時(shí)，深度Z由以下表達(dá)式(I)定義，該深度是在對象M在深度方向上與相機(jī)Cl (相機(jī)c2)的距離。
[0603]Z=(L/d) Xf... (I)
[0604]“L”是在位置Cl與C2之間在水平方向上的距離(下文稱為相機(jī)間距離)。另外，“d”是通過從對象M在相機(jī)Cl捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離uI減去對象M在相機(jī)c2捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離u2而獲得的值(也就是視差(差距))。另外，“f”是相機(jī)Cl的焦距，并且在表達(dá)式(I)中，假設(shè)相機(jī)Cl和c2的焦距相同。
[0605]也就是說，視差d由以下表達(dá)式(2)定義。
[0606][數(shù)學(xué)公式1]
D=F/Z.L[0607]...(2)
[0608]如表達(dá)式(I)或者(2)中所示，可以唯一轉(zhuǎn)換視差d和深度Z。因此，在本說明書中，指示相機(jī)Cl和c2捕獲的2視圖彩色圖像的視差d的圖像以及指示深度Z的圖像將共同稱為深度圖像(視差圖像)。
[0609]深度圖像(視差圖像)可以是指示視差d或者深度Z的圖像?？梢赃\(yùn)用視差d的正規(guī)化值、深度Z的倒數(shù)1/Z的正規(guī)化值等、而不是視差d或者深度Z本身作為深度圖像(視差圖像)的像素值。
[0610]可以通過以下表達(dá)式(3)獲得深度Z。
[0611][數(shù)學(xué)公式2]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 預(yù)測矢量生成單元，所述預(yù)測矢量生成單元在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成所述當(dāng)前視差矢量的預(yù)測矢量；以及 差值矢量生成單元，所述差值矢量生成單元生成所述當(dāng)前視差矢量與所述預(yù)測矢量生成單元生成的所述預(yù)測矢量之間的差值矢量。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的視差矢量，生成所述當(dāng)前視差矢量的預(yù)測矢量。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性相同時(shí)，設(shè)置共同定位的塊為可用。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中: 所述矢量的特性是矢量的類型，并且 所述預(yù)測矢量生成單元在當(dāng)前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時(shí)，設(shè)置共同定位的塊為可用。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)動矢量生成單元使用指示畫面的輸出順序的畫面順序計(jì)數(shù)POC，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)動矢量生成單元使用當(dāng)前畫面的POC、從當(dāng)前畫面參考的當(dāng)前參考畫面的POC、共同定位的畫面的POC和從共同定位的畫面參考的共同定位的參考畫面的POC，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)動矢量生成單元在當(dāng)前畫面的POC與從當(dāng)前畫面參考的當(dāng)前參考畫面的POC相同、并且共同定位的畫面的POC與從共同定位的畫面參考的共同定位的參考畫面的POC相同時(shí)，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。
8.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性不同時(shí)，設(shè)置共同定位的塊為不可用。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中: 所述矢量的特性是參考畫面的類型，并且 所述預(yù)測矢量生成單元在當(dāng)前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用。
10.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中: 所述矢量的特性是參考畫面的類型，并且 所述預(yù)測矢量生成單元在當(dāng)前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時(shí)，略過搜索參考索引的搜索處理。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中:所述預(yù)測矢量生成單元使用在與所述當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考塊的視差矢量，生成所述當(dāng)前視差矢量的預(yù)測矢量。
12.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元基于在當(dāng)前畫面與在生成預(yù)測運(yùn)動矢量時(shí)參考的參考畫面之間的位置關(guān)系縮放所述參考視差矢量，以生成所述當(dāng)前視差矢量的預(yù)測矢量。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量，并且 所述差值矢量生成單元生成所述當(dāng)前運(yùn)動矢量與所述預(yù)測矢量生成單元生成的所述預(yù)測矢量之間的差值矢量。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用在與所述當(dāng)前視圖不同的視圖的所述當(dāng)前畫面相同的時(shí)間的畫面中包括的參考塊的運(yùn)動矢量，生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量。
15.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用在 與所述當(dāng)前視圖相同的視圖的所述當(dāng)前畫面不同的時(shí)間的畫面中包括的參考塊的運(yùn)動矢量，生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量。
16.根據(jù)權(quán)利要求15所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元基于當(dāng)前畫面與在生成預(yù)測運(yùn)動矢量時(shí)參考的參考畫面之間的位置關(guān)系來縮放所述參考運(yùn)動矢量，以生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量。
17.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元在移位與所述當(dāng)前視圖不同的視圖的所述當(dāng)前畫面相同的時(shí)間的畫面的像素的位置的狀態(tài)中，使用與位于所述當(dāng)前塊相同的位置的塊的矢量來生成所述預(yù)測矢量。
18.根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元根據(jù)所述當(dāng)前塊的鄰近區(qū)域的視差矢量，設(shè)置所述圖像的移位量。
19.根據(jù)權(quán)利要求18所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用其中在Y方向上的視差矢量的值不是零的所述鄰近塊的在X方向上的視差矢量，作為所述移位量。
20.根據(jù)權(quán)利要求18所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用根據(jù)其中在Y方向上的視差矢量的值不是零的多個所述鄰近塊的在X方向上的視差矢量計(jì)算的值，作為所述移位量。
21.根據(jù)權(quán)利要求20所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元使用其中在Y方向上的視差矢量的值不是零的多個所述鄰近塊的在X方向上的視差矢量的平均值或者中值，作為所述圖像的移位量。
22.根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其中: 所述預(yù)測矢量生成單元根據(jù)全局視差矢量設(shè)置所述圖像的移位量。
23.一種圖像處理設(shè)備的圖像處理方法，用于允許所述圖像處理設(shè)備執(zhí)行:在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成所述當(dāng)前視差矢量的預(yù)測矢量；并且 生成所述當(dāng)前視差矢量與所生成的預(yù)測矢量之間的差值矢量。
24.—種圖像處理設(shè)備，包括: 預(yù)測矢量生成單元，所述預(yù)測矢量生成單元在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成所述當(dāng)前視差矢量的預(yù)測矢量；以及 算術(shù)單元，所述算術(shù)單元執(zhí)行將所述預(yù)測矢量生成單元生成的所述預(yù)測矢量和所述當(dāng)前視差矢量與所述預(yù)測矢量之間的差值矢量相加的運(yùn)算，以重建所述當(dāng)前視差矢量。
25.一種圖像處理設(shè)備的圖像處理方法，用于允許所述圖像處理設(shè)備執(zhí)行: 在對在使用在視差方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考視差矢量來生成所述當(dāng)前視差矢量的預(yù)測矢量；并且 執(zhí)行將所生成的預(yù)測矢量和所述當(dāng)前視差矢量與所述預(yù)測矢量之間的差值矢量相加的運(yùn)算，以重建所述當(dāng)前視差矢量。
26.一種圖像處理設(shè)備，包括: 預(yù)測矢量生成單元，所述預(yù)測矢量生成單元在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的 共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量；以及 差值矢量生成單元，所述差值矢量生成單元生成所述當(dāng)前運(yùn)動矢量與所述預(yù)測矢量生成單元生成的所述預(yù)測矢量之間的差值矢量。
27.一種圖像處理設(shè)備的圖像處理方法，用于允許所述圖像處理設(shè)備執(zhí)行: 在對在使用在時(shí)間方向上的相關(guān)性的預(yù)測中使用的當(dāng)前塊的當(dāng)前運(yùn)動矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測運(yùn)動矢量時(shí)參考的參考運(yùn)動矢量來生成所述當(dāng)前運(yùn)動矢量的預(yù)測矢量；并且 生成所述當(dāng)前運(yùn)動矢量與所生成的預(yù)測矢量之間的差值矢量。
【文檔編號】H04N19/513GK103636217SQ201280030904
【公開日】2014年3月12日 申請日期:2012年6月28日 優(yōu)先權(quán)日:2011年6月30日
【發(fā)明者】高橋良知, 服部忍 申請人:索尼公司