專利名稱：編碼多視角視頻的方法和裝置的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的裝置和方法涉及編碼多視角視頻序列，并且特別地，涉及利用相關(guān)于所述多視角視頻的最少數(shù)量的信息來編碼由多視角攝像機(jī)拍攝的多視角視頻。
背景技術(shù)：
真實(shí)性是實(shí)現(xiàn)高質(zhì)量信息和電信服務(wù)的重要因素。該真實(shí)性可以利用基于三維(3D)圖像的視頻通信來獲得。3D成像系統(tǒng)在教育、娛樂、醫(yī)學(xué)外科、視頻會(huì)議等方面具有許多潛在的應(yīng)用。為了給許多觀眾提供更加逼真和準(zhǔn)確的遠(yuǎn)程景象信息，可以在稍微不同的視點(diǎn)安放三臺(tái)或更多的攝像機(jī)以產(chǎn)生多視角序列。
反映當(dāng)前對(duì)3D圖像的興趣，許多研究組已經(jīng)開發(fā)了3D-圖像處理和顯示系統(tǒng)。在歐洲，3DTV的研究是通過幾個(gè)項(xiàng)目啟動(dòng)的，如DISTIMA項(xiàng)目，其目標(biāo)是開發(fā)一種用于獲取、編碼、傳輸以及顯示數(shù)字立體圖像序列的系統(tǒng)。這些項(xiàng)目導(dǎo)致了另一項(xiàng)目，PANORAMA，其目標(biāo)是增強(qiáng)3D遠(yuǎn)程呈現(xiàn)(telepresence)通信的視覺信息。那些項(xiàng)目還導(dǎo)致了另一項(xiàng)目，ATTEST，其中研究了用于3D-內(nèi)容獲取、3D-壓縮和傳輸、以及3D-顯示系統(tǒng)的多種技術(shù)。在ATTEST項(xiàng)目中，應(yīng)用了移動(dòng)圖像專家組2(MPEG-2)和數(shù)字視頻廣播(DVB)標(biāo)準(zhǔn)以利用時(shí)間可縮放性(scalability)來傳輸3D內(nèi)容。在時(shí)間縮放(temporal scaling)中，對(duì)傳輸2D內(nèi)容使用了基層并且對(duì)傳輸3D內(nèi)容使用了高級(jí)層。
MPEG-2標(biāo)準(zhǔn)在1996年被修改以用于定義多視角配置(MVP)。所述MVP定義了對(duì)多攝像機(jī)序列的時(shí)間可縮放性模式的使用以及在MPEG-2語法中的獲取攝像機(jī)參數(shù)。
代表多視角視頻信號(hào)的基層流能夠以減少的幀頻被編碼，而增強(qiáng)層流，其能夠用于在其間插入附加幀，當(dāng)兩個(gè)流都可用時(shí)，所述增強(qiáng)層流能夠被定義為允許以完全的幀頻進(jìn)行再現(xiàn)。用于編碼所述增強(qiáng)層的一種非常有效的方法是基于基層幀或者最近重新構(gòu)建的增強(qiáng)層幀來在增強(qiáng)層幀中的每個(gè)宏模塊上確定執(zhí)行運(yùn)動(dòng)-補(bǔ)償評(píng)估的最佳方法。
利用時(shí)間可縮放性語法對(duì)這種多視角視頻信號(hào)進(jìn)行立體的和多視角通道編碼的處理是直接的。為此，來自特定攝像機(jī)視角的幀(通常左眼幀)被定義為基層，而來自其它攝像機(jī)視角的幀被定義為增強(qiáng)層。所述基層表示同時(shí)的單視場(chǎng)(monoscopic)序列。對(duì)于所述增強(qiáng)層，雖然視差-補(bǔ)償評(píng)估可能在閉塞區(qū)域內(nèi)失效，但仍然可以利用運(yùn)動(dòng)-補(bǔ)償評(píng)估在相同通道內(nèi)保持重新構(gòu)建的圖像的質(zhì)量。由于MPEG-2MVP主要是為立體序列定義的，其不支持多視角序列并且固有地難以擴(kuò)展到多視角序列。
圖1是MPEG-2MVP相關(guān)技術(shù)的編碼器和解碼器的框圖。由MPEG-2提供的可縮放性用于利用圖像處理裝置同時(shí)解碼具有不同分辨率或格式的圖像。在由MPEG-2支持的縮放中，時(shí)間縮放被用于通過增加幀頻來改進(jìn)視覺質(zhì)量。所述MVP考慮時(shí)間可縮放性應(yīng)用于立體序列。
圖1所示例的編碼器和解碼器是具有時(shí)間可縮放性的立體視頻編碼器和解碼器。將立體視頻中的左圖像輸入到基礎(chǔ)視角編碼器，而將右圖像輸入到時(shí)間輔助視角編碼器。
時(shí)間輔助視角編碼器提供時(shí)間可縮放性，并且是在所述基層的圖像之間的交織圖像的層間編碼器。
當(dāng)左圖像被獨(dú)立地編碼和解碼時(shí)，可以獲得二維(2D)的視頻。當(dāng)左圖像和右圖像被同時(shí)編碼和解碼，可以獲得立體視頻。為了傳輸或存儲(chǔ)視頻，需要用系統(tǒng)多路復(fù)用器和系統(tǒng)多路分解器來聯(lián)合或分離所述兩個(gè)圖像的序列。
圖2是使用MPEG-2MVP的相關(guān)技術(shù)的立體視頻編碼器和解碼器的框圖。
基層圖像通過運(yùn)動(dòng)補(bǔ)償和離散余弦變換(DCT)被編碼。所述被編碼的圖像通過逆處理被解碼。時(shí)間輔助視角編碼器起到時(shí)間層間編碼器的作用，其基于所述基層的被解碼圖像執(zhí)行預(yù)測(cè)。
換句話說，視差補(bǔ)償評(píng)估可以被執(zhí)行兩次或者視差評(píng)估和運(yùn)動(dòng)補(bǔ)償評(píng)估各被執(zhí)行一次。如基層的編碼器和解碼器，所述時(shí)間輔助視角編碼器包括視差和運(yùn)動(dòng)補(bǔ)償DCT編碼器和解碼器。
進(jìn)一步地，在運(yùn)動(dòng)評(píng)估/補(bǔ)償編碼處理需要運(yùn)動(dòng)評(píng)估器和補(bǔ)償器時(shí)，視差補(bǔ)償編碼處理需要視差評(píng)估器和補(bǔ)償器。除了基于塊的運(yùn)動(dòng)/視差評(píng)估和補(bǔ)償以外，所述編碼處理而包括對(duì)重新構(gòu)建的圖像和原始圖像之間的差執(zhí)行DCT、量化DCT系數(shù)以及變量長(zhǎng)度編碼。另一方面，解碼處理包括變量長(zhǎng)度解碼、逆量化以及逆DCT。
對(duì)于執(zhí)行雙向運(yùn)動(dòng)評(píng)估，MPEG-2編碼是很有效的壓縮方法。由于所述MPEG-2編碼提供高效時(shí)間可縮放性，雙向(B)圖像可以用于編碼右圖像序列。從而，可以產(chǎn)生高壓縮的右序列。
圖3示例了基于視差的預(yù)測(cè)編碼，其中對(duì)雙向評(píng)估使用兩次視差評(píng)估。
使用非可縮放的MPEG-2編碼器編碼左圖像，并且基于解碼的左圖像使用MPEG-2時(shí)間輔助視角編碼器來編碼右圖像。
換句話說，利用兩個(gè)參考圖像，如，兩個(gè)左圖像，來預(yù)測(cè)右圖像并編碼為B畫面(picture)。這樣，兩個(gè)參考圖像之一是與右圖像同時(shí)顯示的等時(shí)線的(isochronal)左圖像，而另一個(gè)是接著所述等時(shí)線的左圖像的左圖像。
和所述運(yùn)動(dòng)評(píng)估/補(bǔ)償一樣，所述兩個(gè)預(yù)測(cè)具有三種預(yù)測(cè)模式向前模式、向后模式和內(nèi)插模式。所述向前模式基于所述等時(shí)線的左圖像表示視差評(píng)估、以及所述向后模式基于緊接著所述等時(shí)線的左圖像的左圖像來表示視差評(píng)估。這樣，利用兩個(gè)左圖像的視差向量來預(yù)測(cè)右圖像。這種評(píng)估方法被稱為預(yù)測(cè)編碼，只考慮視差向量。因此，編碼器為右圖像的每個(gè)幀評(píng)估兩個(gè)視差向量，而解碼器利用所述兩個(gè)視差向量解碼來自所述左圖像的右圖像。
圖4圖解說明了利用用于雙向評(píng)估的視差向量和運(yùn)動(dòng)向量的預(yù)測(cè)編碼。在圖4所示的預(yù)測(cè)編碼中，使用了通過圖3的所述雙向評(píng)估所獲得的B畫面。然而，在所述雙向評(píng)估中視差評(píng)估和運(yùn)動(dòng)評(píng)估各被使用一次。即，使用了等時(shí)線的左圖像的視差評(píng)估和使用在前的右圖像的運(yùn)動(dòng)評(píng)估。
進(jìn)一步地，所述雙向評(píng)估還包括三種評(píng)估模式，即，向前模式、向后模式以及內(nèi)插模式，與圖3的基于視差的預(yù)測(cè)編碼相同。所述向前模式基于被解碼的右圖像表示運(yùn)動(dòng)評(píng)估，而所述向后模式基于被解碼的左圖像表示視差評(píng)估。
如上面描述，由于MPEG-2MVP不考慮多視角視頻編碼器，它不適合于編碼多視角視頻。因此，需要一個(gè)多視角視頻編碼器來為人們同時(shí)提供多視角視頻，所述多視角視頻具有立體感和真實(shí)性。

發(fā)明內(nèi)容
本發(fā)明提供一種方法和裝置，用于有效地編碼真實(shí)的多視角視頻并同時(shí)為人們提供被編碼的多視角視頻。
本發(fā)明還提供了一種方法和裝置，利用預(yù)測(cè)結(jié)構(gòu)來編碼多視角視頻，所述預(yù)測(cè)結(jié)構(gòu)使用關(guān)于所述多視角視頻的最少數(shù)量的信息。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種編碼多視角視頻的方法，該方法包括評(píng)估在參考幀和與所述參考幀的視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；利用所述參考幀和所述視差向量產(chǎn)生補(bǔ)償幀，其中所述補(bǔ)償幀是鄰近幀的補(bǔ)償版本；確定所述鄰近幀和所述補(bǔ)償幀之間的相關(guān)性；以及利用所述相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
所述相關(guān)性指示所述鄰近幀和所述補(bǔ)償幀之間的相似性，而所述確定所述相關(guān)性包括計(jì)算失真度Di(Vi，cVi)，其與相應(yīng)于所述鄰近幀和所述補(bǔ)償幀之間相關(guān)性的值成反比，其中Vi指示從參考視點(diǎn)開始的第i個(gè)視點(diǎn)處獲得的幀，cVi指示利用所述參考幀和所述參考幀與所述Vi幀之間的視差向量進(jìn)行補(bǔ)償?shù)膸?，而i是等于或大于0的整數(shù)。
所述失真度Di(Vi，cVi)利用用于所述鄰近幀和所述補(bǔ)償幀的峰值信噪比(PSNR)函數(shù)、絕對(duì)差平均數(shù)(MAD)函數(shù)、絕對(duì)差總和(SAD)函數(shù)以及平均平方誤差(MSE)函數(shù)中的至少一個(gè)而被計(jì)算。
所述確定預(yù)測(cè)結(jié)構(gòu)可以包括比較失真度Di(Vi，cVi)和一個(gè)預(yù)定閾值；當(dāng)失真度Di(Vi，cVi)變得比所述預(yù)定閾值大時(shí)，確定整數(shù)i的值；以及確定其中B幀的數(shù)目與所述整數(shù)i的值成比例的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
所述預(yù)測(cè)結(jié)構(gòu)用于在水平方向上在多個(gè)視點(diǎn)的幀之間執(zhí)行視差評(píng)估，以及隨著時(shí)間的過去在垂直方向上在幀之間執(zhí)行運(yùn)動(dòng)評(píng)估，并且可以水平地或者垂直地進(jìn)行縮放。
確定所述預(yù)測(cè)結(jié)構(gòu)包括確定包含(i-1)個(gè)B幀的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
所述預(yù)測(cè)結(jié)構(gòu)可以在預(yù)定間隔根據(jù)所述相關(guān)性重新配置。
所述方法可以進(jìn)一步包括利用所述預(yù)測(cè)結(jié)構(gòu)編碼所述多視角視頻。
根據(jù)本發(fā)明的另一方面，提供了一種用于編碼多視角視頻的裝置，所述裝置包括預(yù)測(cè)器，用于估計(jì)在參考幀和與所述參考幀視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；補(bǔ)償器，利用所述參考幀和所述視差向量產(chǎn)生補(bǔ)償幀，其中所述補(bǔ)償幀是鄰近幀的補(bǔ)償版本；相關(guān)性確定器，用于在所述鄰近幀和所述補(bǔ)償幀之間確定相關(guān)性；以及預(yù)測(cè)結(jié)構(gòu)確定器，利用所確定的相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
根據(jù)本發(fā)明的另一方面，提供計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有程序，用于執(zhí)行編碼多視角視頻的方法。


通過參考圖詳細(xì)地描述示例實(shí)施例，將使得本發(fā)明的上述以及其它方面變得更加顯而易見，其中圖1是運(yùn)動(dòng)圖像專家組MPEG-2MVP相關(guān)技術(shù)的編碼器和解碼器的框圖；圖2是利用MPEG-2MVP的相關(guān)技術(shù)的立體視頻編碼器和解碼器的框圖；圖3說明了基于視差的預(yù)測(cè)編碼，其中對(duì)雙向評(píng)估使用兩次視差評(píng)估；圖4說明了為雙向評(píng)估使用視差向量和運(yùn)動(dòng)向量的預(yù)測(cè)編碼；圖5是根據(jù)本發(fā)明的示例實(shí)施例來編碼多視角視頻的裝置的框圖；圖6說明了根據(jù)本發(fā)明示例實(shí)施例的多視角視頻的單元編碼結(jié)構(gòu)；圖7A到圖7F說明了根據(jù)本發(fā)明示例實(shí)施例的用在多視角視頻編碼中的B畫面和P1畫面的三種類型；圖8A和8B說明了根據(jù)本發(fā)明示例實(shí)施例的一種確定鄰近幀之間的相關(guān)性的結(jié)構(gòu)；圖9A到9C說明了根據(jù)本發(fā)明示例實(shí)施例的初始幀的預(yù)測(cè)結(jié)構(gòu)；圖10說明了根據(jù)本發(fā)明示例實(shí)施例的編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)；圖11說明了根據(jù)本發(fā)明另一個(gè)示例實(shí)施例的編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)；圖12說明了根據(jù)本發(fā)明另一個(gè)示例實(shí)施例的編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)；圖13是說明了根據(jù)本發(fā)明示例實(shí)施例的編碼多視角視頻方法的流程圖；以及圖14是根據(jù)本發(fā)明示例實(shí)施例的編碼多視角視頻的裝置的框圖。
具體實(shí)施例方式
本發(fā)明將參考附圖進(jìn)行更完全的描述，其中示出了本發(fā)明的示例實(shí)施例。然而，本發(fā)明可以體現(xiàn)為多種不同的形式并且不能解釋為限制于此處闡述的示例實(shí)施例；而是，提供這些示例實(shí)施例將使該公開徹底和完整，并且將為本領(lǐng)域的技術(shù)人員充分傳遞本發(fā)明的概念。
圖5是根據(jù)本發(fā)明示例實(shí)施例的用于編碼多視角視頻的裝置的框圖。
參考圖5，所述裝置包括多視角圖像緩沖器510、預(yù)測(cè)單元520、視差/運(yùn)動(dòng)補(bǔ)償單元530、殘留圖像編碼單元540以及熵(entropy)-編碼單元550。
所述裝置可以從多個(gè)攝像機(jī)系統(tǒng)或通過另一方法接收多視角視頻源。將所述接收到的多視角視頻存儲(chǔ)在所述多視角圖像緩沖器510中。所述多視角圖像緩沖器510提供多視角視頻給所述預(yù)測(cè)單元520和所述殘留圖像編碼單元540。
所述預(yù)測(cè)單元520包括視差評(píng)估單元522和運(yùn)動(dòng)評(píng)估單元524。所述預(yù)測(cè)單元520對(duì)所述多視角視頻執(zhí)行運(yùn)動(dòng)評(píng)估和視差評(píng)估。預(yù)測(cè)單元520評(píng)估由圖6到12中箭頭所指示的方向上的視差向量和運(yùn)動(dòng)向量，并且將所述預(yù)測(cè)的視差向量和運(yùn)動(dòng)向量提供給所述視差/運(yùn)動(dòng)補(bǔ)償單元530。
如圖6到12中多視角視頻編碼結(jié)構(gòu)所示，所述預(yù)測(cè)單元520可以通過有效地利用多視角視差向量和運(yùn)動(dòng)向量來為執(zhí)行運(yùn)動(dòng)評(píng)估和視差評(píng)估設(shè)置方向，所述運(yùn)動(dòng)向量在所述多視角視頻源基于時(shí)間軸被擴(kuò)展時(shí)產(chǎn)生。換句話說，MPEG-2編碼結(jié)構(gòu)可以基于視角(view)軸被擴(kuò)展以使用所述多視角視頻的空間的/時(shí)間的相關(guān)性。
所述視差/運(yùn)動(dòng)補(bǔ)償單元530利用由視差評(píng)估單元522和運(yùn)動(dòng)評(píng)估單元524預(yù)測(cè)的所述運(yùn)動(dòng)向量和視差向量來執(zhí)行視差補(bǔ)償和運(yùn)動(dòng)補(bǔ)償。所述視差/運(yùn)動(dòng)補(bǔ)償單元530利用所述被預(yù)測(cè)的運(yùn)動(dòng)向量和視差向量來重構(gòu)圖像，并且將所述重構(gòu)的圖像提供給殘留圖像編碼單元540。
為了提供更好的視覺質(zhì)量和立體感，所述殘留圖像編碼單元540對(duì)通過從多視角圖像緩沖器510提供的原始圖像上減去由視差/運(yùn)動(dòng)補(bǔ)償單元530補(bǔ)償并重構(gòu)的圖像所得到的殘留圖像進(jìn)行編碼，并且將所述編碼的殘留圖像提供給熵-編碼單元550。
所述熵-編碼單元550從所述預(yù)測(cè)單元520接收所述預(yù)測(cè)的視差向量和運(yùn)動(dòng)向量，以及從所述殘留圖像編碼單元540接收所述編碼的殘留圖像，并且為所述多視角視頻源產(chǎn)生位流。
圖6說明了根據(jù)本發(fā)明示例實(shí)施例的多視角視頻的單元編碼結(jié)構(gòu)。圖6所示的核心-預(yù)測(cè)結(jié)構(gòu)或單元-預(yù)測(cè)結(jié)構(gòu)基于具有三個(gè)視角的假設(shè)。方框指示多視角視頻中的圖像幀。水平箭頭指示根據(jù)視角或攝影機(jī)位置的幀的序列，而垂直箭頭指示根據(jù)時(shí)間的幀的序列。I畫面指示“幀內(nèi)畫面(intra picture)”，其等同于MPEG-2/4或H.264中的I幀。P和B畫面分別指示“預(yù)測(cè)畫面”和“雙向預(yù)測(cè)畫面”，類似于MPEG-2.4或H.264中的P和B幀。
所述P和B畫面通過所述多視角視頻編碼中的運(yùn)動(dòng)評(píng)估和視差評(píng)估進(jìn)行預(yù)測(cè)。在圖6中，畫面-幀之間的箭頭指示預(yù)測(cè)方向。水平箭頭指示視差評(píng)估，而垂直箭頭指示運(yùn)動(dòng)評(píng)估。根據(jù)本發(fā)明示例實(shí)施例，存在三種類型的B畫面，下面將參考圖7進(jìn)行描述。
圖7A到7F說明了根據(jù)本發(fā)明示例實(shí)施例的用于多視角視頻編碼中的三種類型的B畫面和P1畫面。
根據(jù)本發(fā)明示例實(shí)施例，存在三種類型的B畫面B，B1和B2畫面。在圖7中，所述B，B1和B2畫面表示利用兩個(gè)或多個(gè)水平或垂直鄰近幀所預(yù)測(cè)的畫面-幀。
B畫面是利用如圖7A所示的兩個(gè)水平鄰近幀或者利用如圖7B所示的兩個(gè)垂直鄰近幀進(jìn)行預(yù)測(cè)的。利用如圖7C所示的水平鄰近幀和垂直鄰近幀進(jìn)行預(yù)測(cè)的畫面是雙向預(yù)測(cè)幀。然而，所述幀在本公開中被定義為P1畫面。
B1畫面是利用如圖7D所示的兩個(gè)水平鄰近幀和一個(gè)垂直鄰近幀或者利用如圖7E所示的水平鄰近幀和兩個(gè)垂直鄰近幀進(jìn)行預(yù)測(cè)的。B2畫面是利用如圖7F所示的四個(gè)水平或垂直鄰近幀進(jìn)行預(yù)測(cè)的。
現(xiàn)在參考圖6來描述根據(jù)本發(fā)明示例實(shí)施例的指示多視角視頻的預(yù)測(cè)序列的單元編碼結(jié)構(gòu)。參考圖6，基本預(yù)測(cè)序列是I->P->B(或P1)->B1->B2。
首先，幀內(nèi)-預(yù)測(cè)(intra-predict)I幀601。P幀603通過引用I幀601進(jìn)行預(yù)測(cè)，以及P幀610通過引用I幀601進(jìn)行預(yù)測(cè)。
B幀602利用I幀601和P幀603通過水平地執(zhí)行雙向預(yù)測(cè)來進(jìn)行預(yù)測(cè)。B幀604和B幀607利用I幀601和P幀610通過垂直地執(zhí)行雙向預(yù)測(cè)來進(jìn)行預(yù)測(cè)。P1幀612通過水平地引用P幀610以及垂直地引用P幀603來執(zhí)行預(yù)測(cè)。
然后，預(yù)測(cè)B1幀。特別地，B1幀606通過水平地引用B幀604以及垂直地引用P幀603和P1幀612進(jìn)行預(yù)測(cè)。B1幀609通過水平地引用B幀607以及垂直地引用P1幀612進(jìn)行預(yù)測(cè)。B1幀611通過水平地引用P幀610和P1幀612以及垂直地引用B幀602進(jìn)行預(yù)測(cè)。
最后，預(yù)測(cè)B2幀。特別地，B2幀605通過水平地引用B幀604和B1幀606以及垂直地引用B幀602和B1幀611進(jìn)行預(yù)測(cè)。此外，B2幀608通過水平地引用B幀607和B1幀609以及垂直地引用B幀602和B1幀611進(jìn)行預(yù)測(cè)。
如上面參考圖6和圖7A到7F所述，根據(jù)本發(fā)明示例實(shí)施例，不僅參考B幀而且還參考B1和B2幀來執(zhí)行雙向預(yù)測(cè)。由于B類幀的數(shù)量可以增加，因此用于編碼多視角圖像所需的信息數(shù)量可以減少。
圖8A和8B說明了根據(jù)本發(fā)明示例實(shí)施例的確定鄰近幀之間相關(guān)性的結(jié)構(gòu)。圖8A中所示的V1到Vn指示了由多視角攝像機(jī)拍攝和輸出的幀。在圖8A和8B中，輸出V0幀的攝像機(jī)被指定為基礎(chǔ)攝像機(jī)。然而，其它攝像機(jī)也可以被指定為基礎(chǔ)攝像機(jī)。利用從一基礎(chǔ)攝像機(jī)和n個(gè)鄰近攝像機(jī)輸出的幀來執(zhí)行空間預(yù)測(cè)，即，視差預(yù)測(cè)。
圖8B所示的圖像cV1到cVn指示補(bǔ)償?shù)膱D像幀。所述補(bǔ)償?shù)膱D像幀可以利用如圖8A中所示被評(píng)估的視差向量和由基礎(chǔ)攝像機(jī)輸出的V0幀來產(chǎn)生。
例如，利用基于塊的視差評(píng)估方法來預(yù)測(cè)V0幀和V2幀之間的視差向量。利用預(yù)測(cè)的視差向量和V0幀來對(duì)cV2幀進(jìn)行補(bǔ)償。當(dāng)V0幀和V2幀的圖像具有大的匹配部分時(shí)，所述補(bǔ)償?shù)腸V2幀和源V2幀相似。這樣，可以利用V0幀和V2幀之間的視差向量對(duì)多視角圖像進(jìn)行完美地編碼。
然而，當(dāng)V0幀和V3幀的圖像具有匹配部分時(shí)，在V0幀和V3幀之間的視差向量被預(yù)測(cè)，并且利用所述V0幀和所述被預(yù)測(cè)的視差向量對(duì)cV3幀進(jìn)行預(yù)測(cè)。這樣，原始V3幀和cV3幀極大地不同。
如上面所述，鄰近幀之間的相似性影響預(yù)測(cè)結(jié)構(gòu)。因此，應(yīng)當(dāng)確定鄰近幀之間的相似性。當(dāng)原始鄰近幀和補(bǔ)償?shù)泥徑鼛嗨茣r(shí)，可能在原始鄰近幀和利用視差向量補(bǔ)償?shù)泥徑鼛g存在相關(guān)性。根據(jù)本發(fā)明示例實(shí)施例，鄰近幀之間的相似性可以根據(jù)原始幀和補(bǔ)償?shù)泥徑鼛g的相關(guān)性進(jìn)行確定。
更特別地，當(dāng)假設(shè)了V0幀被指定為從基礎(chǔ)攝像機(jī)輸出的參考幀時(shí)，可以通過計(jì)算補(bǔ)償?shù)腸Vi幀和原始Vi幀之間的相關(guān)性或計(jì)算失真度來確定包含在V0幀和Vi幀中的圖像是否相似，其中所述失真度與相應(yīng)于所述相關(guān)性的值成反比。
所述失真度指示了原始圖像和補(bǔ)償?shù)膱D像之間的差，其被定義為Di(Vi，cVi)，其中，i是大于0的整數(shù)。所述Vi幀是由從基礎(chǔ)攝像機(jī)開始的第i個(gè)攝像機(jī)拍攝或輸出的，而所述cVi幀是在Vi幀被補(bǔ)償之后，利用由基礎(chǔ)攝像機(jī)拍攝的V0幀和所述V0幀與所述Vi幀之間的視差向量所獲得的補(bǔ)償幀。
根據(jù)本發(fā)明示例實(shí)施例，諸如峰值信噪比(PSNR)、絕對(duì)差平均數(shù)(MAD)、絕對(duì)差總和(SAD)或者平均平方誤差(MSE)之類的函數(shù)可以被用于計(jì)算失真度Di(Vi，cVi)。例如，當(dāng)使用SAD時(shí)，可以通過相加由第i個(gè)攝像機(jī)輸出的Vi幀中的子塊(或宏塊)的實(shí)際象素值和所述補(bǔ)償?shù)腸Vi幀中子塊(或宏塊)的象素值之間差的所有絕對(duì)值來獲得失真度。
圖9A到9C說明了根據(jù)本發(fā)明示例實(shí)施例的初始幀的預(yù)測(cè)結(jié)構(gòu)。
參考圖9A到9C，當(dāng)確定了初始預(yù)測(cè)結(jié)構(gòu)或者利用I幀執(zhí)行預(yù)測(cè)時(shí)，確定所述預(yù)測(cè)結(jié)構(gòu)。例如，在所述預(yù)測(cè)結(jié)構(gòu)中，I幀和P幀之間的B幀數(shù)量與t1時(shí)的I幀和P幀之間的相似性成比例。此外，本發(fā)明的示例實(shí)施例建議了根據(jù)由基礎(chǔ)攝像機(jī)輸出的參考幀和由鄰近攝像機(jī)輸出的鄰近幀之間的相關(guān)性，可以按預(yù)定間隔重新配置的圖像結(jié)構(gòu)。
根據(jù)本發(fā)明，當(dāng)失真度Di(Vi，cVi)開始變得大于預(yù)定閾值時(shí)，確定整數(shù)i的值。此外，確定其中B幀的數(shù)量與整數(shù)i值成比例的預(yù)測(cè)結(jié)構(gòu)，以作為多視角視頻編碼的預(yù)測(cè)結(jié)構(gòu)。所述閾值可以通過實(shí)驗(yàn)的方式確定?；蛘?，所述閾值可以根據(jù)用于計(jì)算失真度Di(Vi，cVi)的函數(shù)而改變。
根據(jù)本發(fā)明示例實(shí)施例，當(dāng)預(yù)測(cè)從所述I幀開始時(shí)，如果失真度Di(Vi，cVi)小于預(yù)定的閾值，則可以利用包含(i-1)個(gè)B幀的預(yù)測(cè)結(jié)構(gòu)編碼多視角視頻。
參考圖8A到9C，當(dāng)V1幀和重構(gòu)的cV1幀之間的失真度D1(V1，cV1)大于預(yù)定的閾值時(shí)，V1幀和重構(gòu)的cV1幀之間的相關(guān)性是低的。因此，圖9A中所示的不包含B畫面的type-A預(yù)測(cè)結(jié)構(gòu)可以用于預(yù)測(cè)。
所述type-A預(yù)測(cè)結(jié)構(gòu)不使用B畫面而僅僅使用I和P畫面。當(dāng)鄰近幀之間的相關(guān)性低時(shí)，可以使用所述type-A預(yù)測(cè)結(jié)構(gòu)。換句話說，利用I或P畫面901進(jìn)行P畫面902的預(yù)測(cè)，以及利用所述P畫面902進(jìn)行P畫面903的預(yù)測(cè)。
當(dāng)失真度D1(V1，cV1)小于預(yù)定的閾值，但是V0幀和V2幀的圖像具有很小的匹配部分時(shí)，所述失真度D2(V2，cV2)可以大于預(yù)定的閾值。這樣，圖9B所示的type-B預(yù)測(cè)結(jié)構(gòu)包含I或P畫面911和P畫面913之間的一個(gè)B畫面，其可以用于預(yù)測(cè)。當(dāng)使用圖9B所示的type-B預(yù)測(cè)結(jié)構(gòu)時(shí)，可以利用相比于在使用如圖9A中所示的沒有B畫面的P圖像-A預(yù)測(cè)結(jié)構(gòu)時(shí)更少的信息來對(duì)多視角視頻進(jìn)行更加有效的壓縮-編碼。分別相比于當(dāng)圖9A和9C的type-A預(yù)測(cè)結(jié)構(gòu)和type-C預(yù)測(cè)結(jié)構(gòu)被使用時(shí)的相關(guān)性，當(dāng)鄰近幀之間的相關(guān)性為中間(intermediate)時(shí)可以使用所述type-B預(yù)測(cè)結(jié)構(gòu)。
當(dāng)所述失真度D2(V2，cV2)小于預(yù)定閾值但失真度D3(V3，cV3)大于預(yù)定閾值時(shí)，如果鄰近幀之間的相關(guān)性大于圖9A和9B的type-A和tye-B預(yù)測(cè)結(jié)構(gòu)中的相關(guān)性，則可以使用type-C預(yù)測(cè)結(jié)構(gòu)，其中所述鄰近幀是在I畫面和P畫面之間，或者是P畫面之間的鄰近幀。參考圖9C，所述type-C預(yù)測(cè)結(jié)構(gòu)包括在I或P畫面921和P畫面924之間的作為雙向預(yù)測(cè)結(jié)果產(chǎn)生的兩個(gè)B畫面922和923，其中B畫面922和923引用I或P畫面921和P畫面924。如上面所述，當(dāng)圖9C的包含兩個(gè)B畫面的type-C預(yù)測(cè)結(jié)構(gòu)被用于預(yù)測(cè)時(shí)，相比于當(dāng)圖9A的type-A預(yù)測(cè)結(jié)構(gòu)或圖9B的type-B預(yù)測(cè)結(jié)構(gòu)被使用時(shí)，使用更少的信息來對(duì)多視角視頻進(jìn)行更加有效的壓縮-編碼。
在該公開中，作為例子描述了不包含B幀的type-A預(yù)測(cè)結(jié)構(gòu)、規(guī)則地包含一個(gè)B幀的type-B預(yù)測(cè)結(jié)構(gòu)以及包含兩個(gè)B幀的type-C預(yù)測(cè)結(jié)構(gòu)。然而，圖9A到9C所示的所述type-A到type-C預(yù)測(cè)結(jié)構(gòu)可以根據(jù)攝像機(jī)的數(shù)量(即，視點(diǎn)的數(shù)量)進(jìn)行縮放(scaled)。換句話說，當(dāng)原始幀和被補(bǔ)償、被重構(gòu)的幀之間存在高相關(guān)性時(shí)，可以使用包含更多數(shù)量的B畫面的預(yù)測(cè)結(jié)構(gòu)。因此，雖然沒有示出，但是被B畫面引用的圖像之間的B畫面的數(shù)量可以增加到三個(gè)或更多。此外，本發(fā)明還描述了假設(shè)在V1視點(diǎn)的I幀是參考幀的情況。然而，P幀可以是參考幀。
圖10示例了根據(jù)本發(fā)明示例實(shí)施例的用于編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
參考圖10，確定了利用I幀，即，在時(shí)間t1，執(zhí)行預(yù)測(cè)的預(yù)測(cè)結(jié)構(gòu)。在圖10中，上面描述的所述失真度D1(V1，cV1)大于預(yù)定的閾值。因此，預(yù)測(cè)從圖9A中所示的type-A預(yù)測(cè)結(jié)構(gòu)開始。根據(jù)在時(shí)間t1的type-A預(yù)測(cè)結(jié)構(gòu)確定在時(shí)間t2和t3的預(yù)測(cè)結(jié)構(gòu)。
在時(shí)間t4，多視角視頻的失真度Di被計(jì)算用來確定預(yù)測(cè)結(jié)構(gòu)。參考圖10，由于在時(shí)間t4的失真度D1(V1，cV1)大于預(yù)定的閾值，所以使用相似于TYPE-A預(yù)測(cè)結(jié)構(gòu)的type-A1預(yù)測(cè)結(jié)構(gòu)來進(jìn)行預(yù)測(cè)。所述type-A1預(yù)測(cè)結(jié)構(gòu)包括P和P1幀。所述type-A1預(yù)測(cè)結(jié)構(gòu)除了預(yù)測(cè)從type-A1預(yù)測(cè)結(jié)構(gòu)中的P幀開始之外，相似于type-A預(yù)測(cè)結(jié)構(gòu)。在時(shí)間t5和t6的預(yù)測(cè)結(jié)構(gòu)根據(jù)在時(shí)間t4的type-A1預(yù)測(cè)結(jié)構(gòu)來確定。
在時(shí)間t7，多視角視頻的Di被再次計(jì)算來確定預(yù)測(cè)結(jié)構(gòu)。由于在時(shí)間t7的失真度D1(V1，cV1)也大于所述預(yù)定的閾值，所以相似于type-A預(yù)測(cè)結(jié)構(gòu)的type-A1預(yù)測(cè)結(jié)構(gòu)被用于預(yù)測(cè)。如圖10所示，可以利用type-A和type-A1預(yù)測(cè)結(jié)構(gòu)來預(yù)測(cè)多視角視頻。
圖11說明了根據(jù)本發(fā)明另一示例實(shí)施例的用于編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
參考圖11，上面描述的失真度D1(V1，cV1)小于預(yù)定的閾值但失真度D2(V2，cV2)大于預(yù)定的閾值。因此，預(yù)測(cè)從圖9B所示的type-B預(yù)測(cè)結(jié)構(gòu)開始。根據(jù)在時(shí)間t1的type-B預(yù)測(cè)結(jié)構(gòu)確定在時(shí)間t2和t3的預(yù)測(cè)結(jié)構(gòu)。
在時(shí)間t4，多視角視頻的Di被計(jì)算以確定預(yù)測(cè)結(jié)構(gòu)。參考圖11，由于在時(shí)間t4的失真度D1(V1，cV1)小于預(yù)定的閾值但在時(shí)間t4的失真度D2(V2，cV2)大于預(yù)定的閾值，所以相似于type-B預(yù)測(cè)結(jié)構(gòu)的type-B1預(yù)測(cè)結(jié)構(gòu)被用于預(yù)測(cè)。type-B1預(yù)測(cè)結(jié)構(gòu)除了預(yù)測(cè)從type-B1預(yù)測(cè)結(jié)構(gòu)中的P幀開始之外，相似于type-B預(yù)測(cè)結(jié)構(gòu)。type-B1預(yù)測(cè)結(jié)構(gòu)包括順序排列的P、B1、P1、B1和P1幀。根據(jù)在時(shí)間t4的type-B1預(yù)測(cè)結(jié)構(gòu)確定在時(shí)間t5和t6的預(yù)測(cè)結(jié)構(gòu)。
在時(shí)間t7，多視角視頻Di被再次計(jì)算以確定預(yù)測(cè)結(jié)構(gòu)。如圖11所示，可以利用type-B和type-B1預(yù)測(cè)結(jié)構(gòu)預(yù)測(cè)多視角視頻。
圖12說明了根據(jù)本發(fā)明另一示例實(shí)施例的用于編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
參考圖12，確定了在時(shí)間t1的預(yù)測(cè)結(jié)構(gòu)。在圖12中，由于失真度D1(V1，cV1)大于預(yù)定的閾值，因此預(yù)測(cè)從type-A預(yù)測(cè)結(jié)構(gòu)開始。根據(jù)在時(shí)間t1的type-A預(yù)測(cè)結(jié)構(gòu)確定在時(shí)間t2和t3的預(yù)測(cè)結(jié)構(gòu)。
在時(shí)間t4，多視角視頻的Di被計(jì)算以確定預(yù)測(cè)結(jié)構(gòu)。參考圖12，由于在時(shí)間t4的失真度D1(V1，cV1)小于預(yù)定的閾值但在時(shí)間t4的失真度D2(V2，cV2)大于預(yù)定的閾值，所以type-B1預(yù)測(cè)結(jié)構(gòu)被用于預(yù)測(cè)。根據(jù)在時(shí)間t4的type-B1預(yù)測(cè)結(jié)構(gòu)來確定在時(shí)間t5和t6的預(yù)測(cè)結(jié)構(gòu)。
在時(shí)間t7，多視角視頻Di被再次計(jì)算以確定預(yù)測(cè)結(jié)構(gòu)。如圖12所示，可以順序使用type-A、type-B1和type-A1預(yù)測(cè)結(jié)構(gòu)預(yù)測(cè)多視角視頻。換句話說，當(dāng)根據(jù)多視角視頻的特性改變預(yù)測(cè)結(jié)構(gòu)時(shí)可以進(jìn)行多視角視頻的預(yù)測(cè)。詳細(xì)地，如圖10到12所示，預(yù)測(cè)結(jié)構(gòu)可以應(yīng)用于圖像組的所有組(GOGOP)，并且可以在初始端重新配置，其中預(yù)測(cè)從所述初始端的I幀開始。即使當(dāng)預(yù)測(cè)從P幀開始時(shí)，預(yù)測(cè)結(jié)構(gòu)也可以重新配置為當(dāng)預(yù)測(cè)從I幀開始時(shí)所使用的預(yù)測(cè)結(jié)構(gòu)的修改后的版本。因此，根據(jù)本發(fā)明的用于多視角視頻編碼的預(yù)測(cè)結(jié)構(gòu)可以按預(yù)定間隔根據(jù)幀之間的相關(guān)性進(jìn)行重新配置。
圖13是說明根據(jù)本發(fā)明示例實(shí)施例的編碼多視角視頻方法的流程圖。
參考圖13，對(duì)在參考幀和與所述參考幀的視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量進(jìn)行預(yù)測(cè)(操作S1310)。利用所述參考幀和所述預(yù)測(cè)的視差向量產(chǎn)生鄰近幀的補(bǔ)償版本(操作S1320)。
確定鄰近幀和補(bǔ)償幀之間的相關(guān)性(操作S1330)。所述鄰近幀和補(bǔ)償幀之間的相關(guān)性可以通過計(jì)算失真度Di(Vi，cVi)來確定，所述失真度Di(Vi，cVi)與相應(yīng)于鄰近幀和補(bǔ)償幀之間相關(guān)性的值成反比。這樣，Vi指示從參考視點(diǎn)開始的第i個(gè)視點(diǎn)處獲得的幀，cVi指示利用參考幀和所述參考幀與Vi幀之間的視差向量進(jìn)行補(bǔ)償?shù)膸?，而i是等于或大于0的整數(shù)。
如上面所述，用于原始鄰近幀和所述鄰近幀的補(bǔ)償版本的PSNR、MAD、SAD和MSE函數(shù)中至少一個(gè)可以用于計(jì)算失真度Di(Vi，cVi)。
基于確定的相關(guān)性來確定根據(jù)本發(fā)明示例實(shí)施例的用于編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)(操作S1340)。所述確定預(yù)測(cè)結(jié)構(gòu)包括將失真度Di(Vi，cVi)和預(yù)定的閾值進(jìn)行比較；當(dāng)失真度Di(Vi，cVi)開始變得大于預(yù)定的閾值時(shí)確定整數(shù)i的值；以及確定其中B幀的數(shù)量與整數(shù)i的值成比例的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
如參考圖6到9C所描述的，根據(jù)本發(fā)明示例實(shí)施例的用于編碼多視角視頻的預(yù)測(cè)結(jié)構(gòu)可以用于執(zhí)行水平方向多個(gè)視點(diǎn)的幀之間的視差評(píng)估以及用于執(zhí)行垂直方向上隨著時(shí)間的過去的幀之間的運(yùn)動(dòng)評(píng)估，并且可以進(jìn)行水平或垂直縮放。
當(dāng)預(yù)測(cè)從I幀開始時(shí)，可以確定包含(i-1)個(gè)B幀的預(yù)測(cè)結(jié)構(gòu)作為多視角視頻編碼的預(yù)測(cè)結(jié)構(gòu)。所述多視角視頻編碼的預(yù)測(cè)結(jié)構(gòu)可以根據(jù)參考幀和預(yù)定間隔的鄰近幀之間的相關(guān)性進(jìn)行重新配置?？梢岳盟霰淮_定的、可重新配置的預(yù)測(cè)結(jié)構(gòu)對(duì)多視角視頻進(jìn)行編碼。
圖14是根據(jù)本發(fā)明示例實(shí)施例的用于編碼多視角視頻的裝置的框圖。所述裝置包括預(yù)測(cè)器1410、補(bǔ)償器1420、相關(guān)性確定器1430以及預(yù)測(cè)結(jié)構(gòu)確定器1440。
從多視角視頻緩沖器(未示出)輸出的多視角視頻源被輸入到預(yù)測(cè)器1410和補(bǔ)償器1420。所述預(yù)測(cè)器1410評(píng)估參考幀和不同視點(diǎn)上的每個(gè)鄰近幀之間的視差向量，并且將所述預(yù)測(cè)的視差向量傳輸?shù)窖a(bǔ)償器1420。所述補(bǔ)償器1420利用參考幀和預(yù)測(cè)的視差向量產(chǎn)生鄰近幀的補(bǔ)償版本(version)。
所述相關(guān)性確定器1430確定鄰近幀和補(bǔ)償幀之間的相關(guān)性。如上所述，可以通過計(jì)算失真度Di(Vi，cVi)來確定鄰近幀和補(bǔ)償幀之間的相關(guān)性，其中所述失真度Di(Vi，cVi)與相應(yīng)于鄰近幀和補(bǔ)償幀之間相關(guān)性的值成反比。
所述預(yù)測(cè)結(jié)構(gòu)確定器1440基于所述確定的相關(guān)性根據(jù)本發(fā)明的示例實(shí)施例來為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
利用所確定的預(yù)測(cè)結(jié)構(gòu)的編碼多視角視頻的裝置的配置可以與圖5所示的裝置的配置相同。
如上所述，本發(fā)明提供了一種方法和裝置，用于有效地編碼多視角視頻以同時(shí)地為人們提供真實(shí)的多視角視頻。
本發(fā)明還提供了一種方法和裝置，利用預(yù)測(cè)結(jié)構(gòu)編碼多視角視頻，所述預(yù)測(cè)結(jié)構(gòu)根據(jù)鄰近幀和鄰近幀的補(bǔ)償版本之間的相關(guān)性來確定并且使用關(guān)于所述多視角視頻的最少數(shù)量的信息。
本發(fā)明還可實(shí)現(xiàn)為在計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。用于實(shí)現(xiàn)本發(fā)明的代碼和代碼段可以由本發(fā)明所屬的領(lǐng)域的編程人員容易地進(jìn)行分析。所述計(jì)算機(jī)可讀記錄介質(zhì)是可以存儲(chǔ)數(shù)據(jù)的任意數(shù)據(jù)存儲(chǔ)裝置，所述存儲(chǔ)數(shù)據(jù)隨后可以被計(jì)算機(jī)系統(tǒng)讀取。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROMs、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)裝置以及載波(例如通過因特網(wǎng)的數(shù)據(jù)傳輸)。所述計(jì)算機(jī)可讀記錄介質(zhì)還可分布于網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)，因此計(jì)算機(jī)可讀代碼以分布的方式被存儲(chǔ)和執(zhí)行。
雖然本發(fā)明已經(jīng)參考示例實(shí)施例進(jìn)行了特定示出和說明，本領(lǐng)域普通技術(shù)人員可以理解，可以在不偏離如后面的權(quán)利要求所定義的本發(fā)明的精神和范圍來進(jìn)行形式和細(xì)節(jié)上的多種改變。
權(quán)利要求
1.一種編碼多視角視頻的方法，該方法包括評(píng)估在參考幀和與所述參考幀的視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；利用所述參考幀和所述視差向量產(chǎn)生補(bǔ)償幀，其中，所述補(bǔ)償幀是鄰近幀的補(bǔ)償版本；確定所述鄰近幀和所述補(bǔ)償幀之間的相關(guān)性；以及利用所述相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
2.根據(jù)權(quán)利要求1的方法，其中，所述相關(guān)性指示所述鄰近幀和所述補(bǔ)償幀之間的相似性，而確定所述相關(guān)性包括計(jì)算失真度Di(Vi，cVi)，其與相應(yīng)于所述鄰近幀和所述補(bǔ)償幀之間相關(guān)性的值成反比，其中，Vi指示從參考視點(diǎn)開始的第i個(gè)視點(diǎn)處獲得的幀，cVi指示利用所述參考幀和所述參考幀與所述Vi幀之間的視差向量進(jìn)行補(bǔ)償?shù)膸?，而i是等于或大于0的整數(shù)。
3.根據(jù)權(quán)利要求2的方法，其中，所述失真度Di(Vi，cVi)利用用于所述鄰近幀和所述補(bǔ)償幀的峰值信噪比函數(shù)、絕對(duì)差平均數(shù)函數(shù)、絕對(duì)差總和函數(shù)以及平均平方誤差函數(shù)中的至少一個(gè)而被計(jì)算。
4.根據(jù)權(quán)利要求2的方法，其中，確定所述預(yù)測(cè)結(jié)構(gòu)包括比較失真度Di(Vi，cVi)和閾值；當(dāng)失真度Di(Vi，cVi)變得比所述閾值大時(shí)，確定整數(shù)i的值；以及確定其中B幀的數(shù)目與所述整數(shù)i的值成比例的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
5.根據(jù)權(quán)利要求1的方法，其中，所述預(yù)測(cè)結(jié)構(gòu)用于在水平方向上、在多個(gè)視點(diǎn)的幀之間執(zhí)行視差評(píng)估，以及隨著時(shí)間的過去在垂直方向上、在幀之間執(zhí)行運(yùn)動(dòng)評(píng)估，并且可以水平地或者垂直地進(jìn)行縮放。
6.根據(jù)權(quán)利要求4的方法，其中，確定所述預(yù)測(cè)結(jié)構(gòu)包括確定包含(i-1)個(gè)B幀的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
7.根據(jù)權(quán)利要求1的方法，其中，所述預(yù)測(cè)結(jié)構(gòu)可以根據(jù)所述相關(guān)性、按間隔進(jìn)行重新配置。
8.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括利用所述預(yù)測(cè)結(jié)構(gòu)編碼所述多視角視頻。
9.一種用于編碼多視角視頻的裝置，所述裝置包括預(yù)測(cè)器，用于估計(jì)在參考幀和與所述參考幀視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；補(bǔ)償器，利用所述參考幀和所述視差向量產(chǎn)生補(bǔ)償幀，其中，所述補(bǔ)償幀是鄰近幀的補(bǔ)償版本；相關(guān)性確定器，用于在所述鄰近幀和所述補(bǔ)償幀之間確定相關(guān)性；以及預(yù)測(cè)結(jié)構(gòu)確定器，利用所述相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
10.根據(jù)權(quán)利要求9的裝置，其中，所述相關(guān)性指示所述鄰近幀和所述補(bǔ)償幀之間的相似性，并且所述相關(guān)性確定器計(jì)算失真度Di(Vi，cVi)以確定所述相關(guān)性，所述失真度與相應(yīng)于所述鄰近幀和所述補(bǔ)償幀之間相關(guān)性的值成反比，其中Vi指示從參考視點(diǎn)開始的第i個(gè)視點(diǎn)處獲得的幀，cVi指示利用所述參考幀和所述參考幀與所述Vi幀之間的視差向量進(jìn)行補(bǔ)償?shù)膸鴌是等于或大于0的整數(shù)。
11.根據(jù)權(quán)利要求10的裝置，其中，所述相關(guān)性確定單元利用用于所述鄰近幀和所述補(bǔ)償幀的峰值信噪比(PSNR)函數(shù)、絕對(duì)差平均數(shù)(MAD)函數(shù)、絕對(duì)差總和(SAD)函數(shù)以及平均平方誤差(MSE)函數(shù)中的至少一個(gè)來計(jì)算所述失真度Di(Vi，cVi)。
12.根據(jù)權(quán)利要求10的裝置，其中，所述預(yù)測(cè)結(jié)構(gòu)確定器比較所述失真度Di(Vi，cVi)和預(yù)定的閾值，當(dāng)所述失真度Di(Vi，cVi)變得比所述閾值大時(shí)，確定所述整數(shù)i的值，以及確定其中B幀的數(shù)目與所述整數(shù)i的值成比例的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
13.根據(jù)權(quán)利要求9的裝置，其中，所述預(yù)測(cè)結(jié)構(gòu)用于在水平方向上、在多個(gè)視點(diǎn)的幀之間執(zhí)行視差評(píng)估以及隨著時(shí)間的過去在垂直方向上、在幀之間執(zhí)行運(yùn)動(dòng)評(píng)估，并且可以水平地或者垂直地進(jìn)行縮放。
14.根據(jù)權(quán)利要求12的裝置，其中，所述預(yù)測(cè)結(jié)構(gòu)確定器確定包含(i-1)個(gè)B幀的預(yù)測(cè)結(jié)構(gòu)，以作為編碼所述多視角視頻的預(yù)測(cè)結(jié)構(gòu)。
15.根據(jù)權(quán)利要求9的裝置，其中，所述預(yù)測(cè)結(jié)構(gòu)可以根據(jù)所述相關(guān)性、按間隔進(jìn)行重新配置。
16.根據(jù)權(quán)利要求9的裝置，進(jìn)一步包括編碼單元，其利用所述預(yù)測(cè)結(jié)構(gòu)來編碼所述多視角視頻。
17.一種計(jì)算機(jī)可讀記錄介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，所述程序執(zhí)行一種方法，該方法包括評(píng)估在參考幀和與所述參考幀視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；利用所述參考幀和所述視差向量產(chǎn)生補(bǔ)償幀，其中，所述補(bǔ)償幀是鄰近幀的補(bǔ)償版本；確定所述鄰近幀和所述補(bǔ)償幀之間的相關(guān)性；以及利用所述相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。
18.一種編碼圖像的方法，該方法包括評(píng)估在第一圖像和與所述第一圖像視點(diǎn)不同的視點(diǎn)的第二圖像之間的視差向量；利用所述第一圖像和所述視差向量產(chǎn)生第三圖像；確定所述第二圖像和所述第三圖像之間的相關(guān)性；以及利用所述相關(guān)性為編碼所述第一和第二圖像確定預(yù)測(cè)結(jié)構(gòu)。
19.一種編碼圖像的裝置，該裝置包括預(yù)測(cè)器，用于在第一圖像和與所述第一圖像視點(diǎn)不同的視點(diǎn)的第二圖像之間評(píng)估視差向量；產(chǎn)生器，利用所述第一圖像和視差向量產(chǎn)生第三圖像；相關(guān)性確定器，用于在所第二圖像和第三圖像之間確定相關(guān)性；以及預(yù)測(cè)結(jié)構(gòu)確定器，利用所述相關(guān)性為編碼所述第一和第二圖像確定預(yù)測(cè)結(jié)構(gòu)。
全文摘要
提供一種方法和裝置，其利用最少數(shù)量的信息來編碼多視角視頻，所述信息相關(guān)于所述多視角視頻。所述方法包括估計(jì)在參考幀和與所述參考幀視點(diǎn)不同的視點(diǎn)的每個(gè)鄰近幀之間的視差向量；利用所述參考幀和所述視差向量來產(chǎn)生所述鄰近幀的補(bǔ)償版本；確定所述鄰近幀和所述補(bǔ)償幀之間的相關(guān)性；以及利用所述確定的相關(guān)性為編碼所述多視角視頻確定預(yù)測(cè)結(jié)構(gòu)。當(dāng)利用所述方法和裝置時(shí)，利用預(yù)測(cè)結(jié)構(gòu)可以高效地編碼多視角視頻，所述預(yù)測(cè)結(jié)構(gòu)使用關(guān)于所述多視角視頻的最少數(shù)量的信息。
文檔編號(hào)H04N7/32GK1984335SQ200610064719
公開日2007年6月20日 申請(qǐng)日期2006年11月6日 優(yōu)先權(quán)日2005年11月5日
發(fā)明者河泰鉉 申請(qǐng)人:三星電子株式會(huì)社