用于解碼多視圖視頻的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻編譯技術(shù)，并且更加具體地，涉及3D視頻圖像編譯技術(shù)。
【背景技術(shù)】
[0002]近年來，對高分辨率和高質(zhì)量視頻的需要已經(jīng)在各種應(yīng)用領(lǐng)域中增長。然而，視頻數(shù)據(jù)的分辨率和質(zhì)量變得越來越高，視頻數(shù)據(jù)的量變得越來越大。
[0003]因此，當使用諸如現(xiàn)有的有線或者無線寬帶線傳輸數(shù)據(jù)或者視頻數(shù)據(jù)被存儲在現(xiàn)有的存儲介質(zhì)中時，傳輸成本及其存儲成本增加。高效率的視頻壓縮技術(shù)能夠被使用以有效地傳輸、存儲和再生高分辨率和高質(zhì)量的視頻數(shù)據(jù)。
[0004]另一方面，通過處理高分辨率/大容量視頻的能力的實現(xiàn)，使用3D視頻的數(shù)字廣播服務(wù)已經(jīng)作為下一代廣播服務(wù)引起注意。3D視頻能夠使用多視圖信道提供真實感和沉浸感。
[0005]3D視頻能夠在諸如自由視點視頻(FVV)、自由視點TV(FTV)、3DTV、監(jiān)視以及家庭娛樂的各種領(lǐng)域中使用。
[0006]不同于單個視圖視頻，使用多視圖的3D視頻在具有相同的圖片順序計數(shù)POC的視圖之間具有高的相關(guān)性。因為以多個鄰近的相機拍攝相同的場景，即，除視差和微小的照度差值之外，多個視圖、多視圖視頻具有幾乎相同的信息，并且因此不同的視圖在其間具有高的相關(guān)性。
[0007]因此，在不同的視圖之間的相關(guān)性能夠被考慮用于編碼/解碼多視圖視頻，并且能夠獲得對于編碼和/或解碼當前視圖的需求的信息。例如，能夠參考在不同的視圖中的塊來預(yù)測或者解碼在當前的視圖中要解碼的塊。

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]本發(fā)明提供一種用于基于另一視圖的圖片重構(gòu)當前視圖的信息的方法和設(shè)備。
[0010]本發(fā)明提供一種用于將紋理視圖的運動信息繼承到用于深度視圖中的當前塊的運動信息的方法和設(shè)備。
[0011]本發(fā)明提供一種通過子塊單位導(dǎo)出紋理視圖的運動信息并且使用被導(dǎo)出的運動信息作為用于深度視圖中的當前塊的運動信息的方法和設(shè)備。
[0012]本發(fā)明提供一種通過預(yù)測塊單元或者通過子預(yù)測塊單元導(dǎo)出紋理視圖的運動信息以導(dǎo)出當前塊的預(yù)測采樣的方法和設(shè)備。
[0013]技術(shù)方案
[0014]在一個方面中，一種視頻解碼設(shè)備，該視頻解碼設(shè)備解碼多視圖視頻，包括:熵解碼單元，該熵解碼單元熵解碼比特流以輸出用于解碼深度圖片中的當前塊所要求的視頻信息；存儲器，該存儲器存儲當解碼當前塊時參考的圖片；以及預(yù)測單元，該預(yù)測單元通過使用相同的視圖中的紋理圖片的運動信息作為用于當前塊的運動信息導(dǎo)出用于當前塊的預(yù)測采樣，其中預(yù)測單元決定是否通過子塊單元導(dǎo)出紋理圖片的運動信息并且基于決定導(dǎo)出用于當前塊的運動信息。
[0015]在另一方面中，一種解碼多視圖視頻的視頻解碼方法，包括:熵解碼比特流以導(dǎo)出用于解碼深度圖片中的當前塊所要求的視頻信息;基于視頻信息決定是否通過子塊單元從紋理圖片導(dǎo)出用于當前塊的運動信息；根據(jù)決定從紋理圖片導(dǎo)出用于當前塊的運動信息；以及通過使用運動向量導(dǎo)出用于當前塊的預(yù)測采樣。
[0016]有益效果
[0017]根據(jù)本發(fā)明，視圖的運動信息被繼承到用于深度視圖中的當前塊的運動信息以有效地編譯深度視圖。
[0018]根據(jù)本發(fā)明，通過子塊單元導(dǎo)出紋理視圖的運動信息以被用作用于深度視圖中的當前塊的運動信息。
[0019]根據(jù)本發(fā)明，通過預(yù)測塊的單元或者通過子預(yù)測塊單元導(dǎo)出紋理視圖的運動信息以被用作用于深度視圖中的當前塊的運動信息。
【附圖說明】
[0020]圖1是示意性地描述3D視頻的編碼和解碼過程的圖。
[0021 ]圖2是示意性地描述視頻編碼設(shè)備的配置的圖。
[0022]圖3是示意性地描述視頻解碼設(shè)備的配置的圖。
[0023]圖4是示意性地描述視視圖間編譯的圖。
[0024]圖5示意性地描述使用深度圖的多視圖編譯方法。
[0025]圖6是示意性地描述DV-MCP塊的圖。
[0026]圖7是示意性地描述當前塊的鄰近塊的一個示例的圖。
[0027]圖8是示意性地描述用于從紋理圖片推導(dǎo)信息的圖。
[0028]圖9是示意性地描述用于通過MVI推導(dǎo)紋理圖片的運動向量的過程的圖。
[0029]圖10是示意性地描述用于通過以子塊為單位應(yīng)用MVI推導(dǎo)運動向量的方法的圖。
[0030]圖11是描述根據(jù)本發(fā)明的解碼設(shè)備的操作的流程圖。
【具體實施方式】
[0031]如在此處使用的，術(shù)語“像素”或者“圖像元素”意指組成單個圖像的最小單元。術(shù)語“采樣”可以用作表示特定的像素的值的術(shù)語。在這一點上，采樣可以指示照度分量的像素值和/或色度分量的像素值。
[0032]如在此處使用的，術(shù)語“單元”意指用于圖像處理和/或在圖像中特定的位置的基本單元。單元與諸如“±夬”、“區(qū)域”等等的術(shù)語可以互換地使用。通常地，MXN塊指的是以M列和N行排列的采樣或者變換系數(shù)的集合。
[0033]在下文中，將參考附圖詳細地描述本發(fā)明的實施例。
[0034]圖1是示意性地描述3D視頻的編碼和解碼過程的圖。
[0035]參考圖1，3D視頻編碼器編碼視頻圖片和深度圖和相機參數(shù)以作為比特流輸出。
[0036]可以通過相對于對應(yīng)視頻圖片(紋理圖片)的像素在相機和主題之間的距離信息(深度信息)組成深度圖。例如，深度圖可以是通過根據(jù)比特深度標準化深度信息獲得的圖片。在這種情況下，可以通過在沒有色度表達的情況下記錄的深度信息構(gòu)成深度圖。
[0037]通常，因為距主題的距離和視差相互成反比例，所以可以通過使用相機參數(shù)從深度圖的深度信息中推導(dǎo)指示在視圖之間的相關(guān)性的視差信息。
[0038]包括深度圖和相機信息以及常規(guī)的彩色圖片，S卩，視頻圖片(紋理圖片)的比特流可以通過網(wǎng)絡(luò)或者存儲介質(zhì)被發(fā)送給解碼器。
[0039]解碼器接收比特流以重建視頻。當3D視頻解碼器用作解碼器時，3D視頻解碼器可以從比特流解碼視頻圖片，和深度圖和相機參數(shù)?？梢曰诮?jīng)解碼的視頻圖片、深度圖和相機參數(shù)合成對于多視圖顯示所要求的視圖。在這種情況下，當使用的顯示器是立體顯示器時，可以通過使用在重建的多視圖當中的兩個圖片顯示3D圖片。
[0040]當使用立體視頻解碼器時，立體視頻解碼器可以從比特流中重建兩個圖片以在兩個眼睛入射。立體顯示器可以通過使用視圖差異或者在左眼入射的左圖片和在右眼入射的右圖片之間的視差顯示3D圖片。當多視圖顯示器與立體視頻解碼器一起使用時，可以通過基于兩個經(jīng)重建的圖片產(chǎn)生其它的視圖顯示多視圖。
[0041]當使用2D解碼器時，2D圖片被重建以通過2D顯示器輸出該圖片。2D顯示器被使用，但是當3D視頻解碼器或者立體視頻解碼器用作解碼器時，重建的圖片中的一個可以通過2D顯示器輸出。
[0042]在圖1的配置中，視圖合成可以通過解碼器或者顯示器來執(zhí)行。此外，解碼器和顯示器可以是一個設(shè)備或者分開的設(shè)備。
[0043 ] 在圖1中，為了容易描述，描述3D視頻解碼器、立體視頻解碼器，和2D視頻解碼器是分開的解碼器，但是一個解碼設(shè)備可以執(zhí)行所有的3D視頻解碼、立體視頻解碼和2D視頻解碼。此外，3D視頻解碼設(shè)備可以執(zhí)行3D視頻解碼，立體視頻解碼裝置可以執(zhí)行立體視頻解碼，并且2D視頻解碼裝置可以執(zhí)行2D視頻解碼。此外，多視圖顯示器可以輸出2D視頻或者立體視頻。
[0044]圖2是示意地描述視頻編碼設(shè)備的配置的圖。參考圖2，視頻編碼設(shè)備200包括圖片分割單元205、預(yù)測單元210、減法單元215、變換單元220、量化單元225、重排單元230、熵編碼單元235、去量化單元240、反變換單元245、加法單元250、濾波單元255和存儲器260。
[0045]圖片分割單元205可以將輸入圖片分離為至少一個處理單元塊。在這種情況下，處理單元塊可以是編譯單元塊、預(yù)測單元塊，或者變換單元塊?？梢愿鶕?jù)四樹結(jié)構(gòu)從最大編譯單元塊分離作為編譯的單元塊的編譯單元塊。作為從編譯單元塊分割的塊的預(yù)測單元塊可以是采樣預(yù)測的單元塊。在這種情況下，該預(yù)測單元塊可以被劃分為子塊。作為編譯單元塊的變換單元塊可以根據(jù)四樹結(jié)構(gòu)分離，并且可以是推導(dǎo)變換系數(shù)的單元塊，或者從變換系數(shù)推導(dǎo)殘留信號的單元塊。
[0046]如在此處所使用的，為了說明的方便起見，編譯單元塊被稱為編譯塊或者編譯單元(CU)。預(yù)測單元塊被稱為預(yù)測塊或者預(yù)測單元(PU)。變換單元塊被稱為變換塊或者變換單元(TU)。
[0047]預(yù)測塊或者預(yù)測單元可以意指塊狀的特定區(qū)域或者一批預(yù)測采樣。此外，變換塊或者變換單元可以意指塊狀的特定區(qū)域或者一批變換系數(shù)或者殘留采樣。
[0048]預(yù)測單元210可以執(zhí)行用于處理目標塊(在下文中，被稱為當前塊)的預(yù)測，并且產(chǎn)生包括用于當前塊的預(yù)測采樣的預(yù)測塊。由預(yù)測單元210執(zhí)行的預(yù)測的單元可以是編譯塊、變換塊或者預(yù)測塊。
[0049]該預(yù)測單元210可以決定是否內(nèi)部預(yù)測適用于當前塊，或者是否中間預(yù)測適用于當前塊。
[0050]在內(nèi)部預(yù)測的情況下，預(yù)測單元210可以基于在當前塊屬于的圖片(在下文中，當前圖片)中的鄰近塊像素推導(dǎo)用于當前塊的預(yù)測采樣。在這種情況下，預(yù)測單元210可以(i)基于當前塊的鄰近參考采樣的平均值或者插補推導(dǎo)預(yù)測采樣，或者(ii)相對于在當前塊的鄰近塊當中的預(yù)測目標像素基于存在于特定方向的參考采樣推導(dǎo)預(yù)測采樣。為了容易描述，(i)的情形稱為非定向模式，并且(ii)的情形稱為定向模式。該預(yù)測單元210可以通過使用適用于鄰近塊的預(yù)測模式?jīng)Q定適用于當前塊的