專利名稱：3d視頻中深度過渡的有效編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種編碼視頻數(shù)據(jù)信號的方法，該方法包括提供圖像中的像素的顏色信息，提供具有像素的深度信息的深度圖(depth map)，提供融合像素的過渡信息，在所述融合像素中前景對象和背景對象的顏色被融合，并生成包括表示顏色信息、深度信息和過渡信息的編碼數(shù)據(jù)的視頻數(shù)據(jù)信號。本發(fā)明進一步涉及解碼視頻數(shù)據(jù)信號的方法、用于編碼或解碼的編碼器、解碼器和計算機程序產(chǎn)品、視頻數(shù)據(jù)信號和數(shù)字?jǐn)?shù)據(jù)載體。
背景技術(shù)：
在新興的三維(3D)視頻技術(shù)中，存在用于將第三維編碼進視頻數(shù)據(jù)信號的多種方法。呈現(xiàn)3D視頻的流行方法是使用一個或多個ニ維(2D)圖像加上提供第三維信息的深度表示。該方法也允許以不同于2D圖像的視點和視角來生成包括在3D圖像數(shù)據(jù)中的2D圖像。這種方法提供了許多優(yōu)點，包括允許以相對低的復(fù)雜度來生成3D視圖并提供了有效的數(shù)據(jù)表示，因此降低了例如3D視頻信號的存儲和通信資源需求。當(dāng)以不同的視點生成圖像吋，不同對象的不同深度導(dǎo)致對象邊界的變化 (shifting)而不是所應(yīng)當(dāng)完成的，生成新的邊界。對象邊界的變化可能導(dǎo)致不希望的降低圖像質(zhì)量的效果。例如，當(dāng)來自離焦的前景對象的光反射與焦點對準(zhǔn)的背景對象混合吋， 可能出現(xiàn)看起來不真實的邊界。通常使用在視頻數(shù)據(jù)信號的單獨層中傳輸?shù)摩翀D(alpha map)來解決該問題。該α圖包括為每個像素指示其是否是前景像素、背景像素或混合像素的α值，其中在混合像素中，顏色部分地由前景對象決定且部分地由背景對象決定。該α值反映了混合率。因此這些混合像素也被稱為“不確定”像素。該顏色的混合也稱為融合(blending)。 為了編碼的目的，可以從手動分配或估計的現(xiàn)有數(shù)據(jù)中檢索α值。典型地，α估計算法使用來自前景和背景的空間鄰近的樣本來為“不確定”區(qū)域中所有像素估計α的值。為便利該估計過程，首先產(chǎn)生所謂的三元圖(trimap)，為每個像素指示其是否是前景、背景或不確定的。多個空間鄰近的樣本取自鄰近的前景和背景，以便估計前景值、背景值和不確定區(qū)域中的像素的α值。當(dāng)生成新視圖時，變化了的前景像素值與新背景相融合。典型地，α圖包括相對大的區(qū)域，對于前景像素使用值“1”或?qū)Ρ尘跋袼厥褂弥?“0”。在這些區(qū)域之間，α值進行從“0”到“ 1”的快速過渡，或反之亦然。例如對于前景對象離焦的對象過渡和對于諸如頭發(fā)的非常細小的對象，就是這種情況，其中使用透明用作用于處理這些對象的機制是方便的。諸如窗等較大區(qū)域上的真正的透明在自然的視頻中不是非常經(jīng)常發(fā)生的。α圖中的空間地快速的改變使它們壓縮時相當(dāng)?shù)托Р⒃黾恿艘曨l數(shù)據(jù)信號的傳輸成本。發(fā)明目的
本發(fā)明的目的是提供如在開頭段落中描述的編碼視頻數(shù)據(jù)信號的方法，該方法降低了傳輸成本，同時在新呈現(xiàn)的視圖中保留了平滑的對象過渡。

發(fā)明內(nèi)容
根據(jù)本方面的第一方面，該目的通過提供編碼視頻數(shù)據(jù)信號的方法來達到，該方法包括提供圖像中的像素的顏色信息，提供具有像素的深度信息的深度圖，提供表示圖像中過渡區(qū)域的寬度的過渡信息，過渡區(qū)域包括深度過渡和其中前景對象和背景對象的顏色被融合的融合像素，生成包括表示顏色信息、深度圖和過渡信息的編碼數(shù)據(jù)的視頻數(shù)據(jù)信號。不必提供過渡區(qū)域中所有像素的α值，根據(jù)本發(fā)明的方法僅要求關(guān)于深度過渡周圍的過渡區(qū)域的寬度的某些信息。如以下將被闡述的，可以以許多不同的形式來提供關(guān)于過渡區(qū)域的寬度的信息。提供關(guān)于過渡區(qū)域的寬度的信息的主要優(yōu)點在于其使得不必提供每個“不確定”像素的準(zhǔn)確的α值。當(dāng)已知過渡區(qū)域的寬度吋，通過創(chuàng)建深度過渡的位置周圍的像素帶來確定不確定像素。給定不確定像素的位置，可以用不同的方法來產(chǎn)生α 值。首先，可以使用“不確定”像素與深度過渡的距離以及該像素自身的深度(局部前景或局部背景)以產(chǎn)生各個像素的α值。例如，在不確定像素上線性地從局部背景中的0 變化為局部前景上的1的地方可以使用α線性函數(shù)。另外，非線性輪廓(profile)當(dāng)然是可能的。単獨具有α值，能夠通過將融合的顏色與像素扭曲于其上的背景相混合來滿足新視圖的粗糙的(近似的)呈現(xiàn)。盡管不準(zhǔn)確，視覺上這是ー種處理模糊區(qū)域的可接受方式。其次，可以使用已知的α估計技術(shù)來生成α，其中或者按像素估計兩個未知數(shù)， 即前景值和α (假設(shè)在數(shù)據(jù)流中已經(jīng)有背景圖);或者，估計三個未知數(shù)，即前景值、背景值和a。因此當(dāng)確定α值時，優(yōu)選地考慮形成深度過渡的前景和/或背景對象的深度值。 該深度值是已經(jīng)可以從深度圖中獲得的。根據(jù)本發(fā)明的方法使得能夠從非常少量的數(shù)據(jù)得出通常的α值。因此降低了傳輸成本而對于圖像質(zhì)量不具有有害的效果。在該創(chuàng)新性方法的實施例中，過渡信息包括寬度圖。該寬度圖定義了被包括在特定深度過渡中的像素的數(shù)目。這種圖僅需要ー個整數(shù)值以定義過渡區(qū)域的寬度。與其中對于每個像素包括α值的現(xiàn)有技術(shù)中使用的α圖相比，該方法使用了少得多的數(shù)據(jù)用于提供相似的信息。實際的情況例如是在標(biāo)準(zhǔn)的YUV 4 :2:0視頻的U通道和或V通道中提供與寬度相關(guān)的數(shù)據(jù)，其中諸如深度的其他信息或“傳統(tǒng)的” α通道被編碼在Y通道中。通過將寬度分配給數(shù)據(jù)塊，寬度圖中所使用的數(shù)據(jù)量可以進一歩降低，因此有效地縮減了寬度圖的規(guī)模。只要深度過渡之間的距離遠大于塊的大小，通過將最近塊的寬度值分配給給定的深度過渡，高分辨率原物的重建是可能的。在實際的情況中，這將意味著U 和/或V通道的DC值將用于存儲寬度數(shù)據(jù)，因為DC值典型地不易于壓縮。在可替換的實施例中，對于每個像素，ニ元圖指示其是否是在過渡區(qū)域內(nèi)。之后可以通過對過渡區(qū)域中的像素的數(shù)目進行計數(shù)而容易地確定過渡區(qū)域的寬度，且對于過渡區(qū)域中的每個像素可以使用過渡區(qū)域的寬度和像素的位置來確定α值。該ニ元圖與已知的 α圖類似，但對于每個像素其僅使用“ 1”或“0”來代替8位的α值。盡管具有ニ元圖的該實施例與具有寬度圖的先前實施例相比對于更多像素使用非零值，數(shù)據(jù)總量仍然是低的并甚至可以比先前實施例中還要低。
通過縮減ニ元圖的規(guī)模，用于ニ元圖的數(shù)據(jù)量甚至可以進一歩降低。那么較低分辨率的ニ元圖可以用作過渡區(qū)域的略粗糙估計。對于過渡區(qū)域中的像素，進行α值的估計。然而，縮減了規(guī)模的ニ元圖優(yōu)選地用于在確定α值之前重建原始的較高分辨率ニ元圖。另ー個實施例并不使用寬度圖，而使用查找表。查找表可以包括對于不同的過渡深度的寬度參數(shù)。過渡區(qū)域的寬度強烈地依賴于深度過渡和圖像中焦平面之間的距離。靠近焦平面，過渡是鋭利的且過渡區(qū)域的寬度是小的。進ー步遠離焦平面，過渡區(qū)域更寬。過渡深度可以例如定義為導(dǎo)致過渡深度的前景或背景對象的深度。過渡深度也可以定義在前景和背景對象的深度值之間的某處。當(dāng)為前景和背景對象的深度值的特定對提供寬度參數(shù)吋，可以獲取最佳的結(jié)果。然后將過渡深度定義為導(dǎo)致深度過渡的兩個對象的深度值的組
I=I O在另ー個實施例中，不僅是寬度，α圖重建(固定曲線、局部估計)的方法也可以規(guī)定在查找表中。如之前所述，存在生成α數(shù)據(jù)的多個方法。優(yōu)選的方法依賴于這樣的內(nèi)容 (例如，頭發(fā)周圍相對于其他對象周圍)，該內(nèi)容可以通過使具有三個值的圖來編碼重建的方法以及不確定區(qū)域的位置來信號表示，而不是ニ元圖或?qū)⑦@些數(shù)據(jù)與寬度數(shù)據(jù)合井。典型地，可以用少于8位來表示寬度數(shù)據(jù)，留出幾位來指示α重建方法。這樣，可以使用例如整除(DIV運算)來提取寬度，然而可以使用取模運算符(MOD)來獲取α重建方法。應(yīng)當(dāng)注意，過渡信息可以包含深度過渡的深度和用于捕獲視頻數(shù)據(jù)的攝影機設(shè)置的某些參數(shù)。發(fā)明人已經(jīng)認(rèn)識到，過渡區(qū)域的寬度可以根據(jù)例如過渡深度和攝影機鏡頭的焦距和數(shù)值孔徑確定。根據(jù)本發(fā)明的又一方面，提供了ー種解碼視頻數(shù)據(jù)信號的方法，該視頻數(shù)據(jù)信號包括表示圖像中像素的顏色信息的編碼數(shù)據(jù)、具有像素的深度信息的深度圖以及代表包括深度過渡和其中前景對象和背景對象的顏色相融合的融合像素的過渡區(qū)域的寬度的過渡信息。解碼的方法包括接收視頻數(shù)據(jù)信號，確定過渡區(qū)域的寬度，確定融合像素的α值以及基于α值和顏色信息確定融合像素的顏色。基于過渡信息來確定過渡區(qū)域的寬度。基于過渡區(qū)域的寬度來確定α值，融合像素的α值依賴于到深度過渡的距離。在該解碼方法中，根據(jù)與視頻數(shù)據(jù)信號一起編碼的過渡信息來生成α值。在優(yōu)選的解碼方法中，α值還依賴于導(dǎo)致深度過渡的前景對象和/或背景對象的深度?？紤]用于捕獲視頻數(shù)據(jù)的攝影機設(shè)置的參數(shù)可以提高所計算的α值和獲得的像素顏色的準(zhǔn)確度。本發(fā)明的這些和其他方面根據(jù)以下描述的實施例將是清楚明白的，并且將參照所述實施例進行闡述。


在附圖中
圖1示出了根據(jù)本發(fā)明的用于編碼視頻數(shù)據(jù)的系統(tǒng)的框圖， 圖2和3示例了過渡區(qū)域中的顏色的混合， 圖4示出了根據(jù)本發(fā)明的編碼方法的流程圖， 圖5示出了可以存儲在表中的過渡信息的圖示， 圖6示出了根據(jù)本發(fā)明的寬度圖的實例，圖7a和7b示出了依照當(dāng)前的發(fā)明生成的具有過渡信息的ニ元圖的實例， 圖8示出了根據(jù)本發(fā)明的用于解碼視頻數(shù)據(jù)的系統(tǒng)的框圖，以及圖9示出了根據(jù)本發(fā)明的解碼方法的流程圖。
具體實施例方式圖1示出了根據(jù)本發(fā)明的用于編碼視頻數(shù)據(jù)的系統(tǒng)的框圖。該系統(tǒng)包括兩個數(shù)字視頻攝影機11、12和編碼器10。第一攝影機11和第二攝影機12記錄相同的場景100，但是從稍有不同的位置并因此也是從稍有不同的角度進行記錄。來自兩個視頻攝影機11、12 的記錄器數(shù)字視頻信號被發(fā)送至編碼器10。該編碼器可以例如是專用編碼盒、計算機中的視頻卡或要由通用微處理器執(zhí)行的軟件實現(xiàn)的函數(shù)的一部分。可替換地，視頻攝影機11、12 是模擬視頻攝影機，并且在將模擬視頻信號提供為編碼器10的輸入之前，將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號。如果視頻攝影機耦合至編碼器10，可以在記錄場景100期間進行編碼。先記錄場景100并然后將所記錄的視頻數(shù)據(jù)提供給編碼器10也是可能的。應(yīng)當(dāng)注意， 根據(jù)本發(fā)明的方法涉及編碼視頻數(shù)據(jù)信號的特別方式且不限于獲得視頻數(shù)據(jù)的特定方式。 例如，將深度信息添加至僅由ー個視頻攝影機獲得的視頻數(shù)據(jù)也是可能的。編碼器10或者直接或者間接地從視頻攝影機11，12接收數(shù)字視頻數(shù)據(jù)，并將兩個數(shù)字視頻信號合成為ー個3D視頻信號15。應(yīng)當(dāng)注意，可以將兩個視頻攝影機11、12合成為 ー個3D視頻攝影機。也可能使用兩個以上視頻攝影機從甚至更多的視點來捕獲場景100。以下，將使用單個圖像來解釋根據(jù)本發(fā)明的編碼和解碼方法以及與現(xiàn)有技術(shù)方法的差別。3D視頻信號可以被看做許多這種圖像的序列。應(yīng)當(dāng)注意，編碼器10和解碼器所使用的一部分信息可以由多個圖像共享。對于特定圖像或場景(連續(xù)的圖像之集)，某些參數(shù)可能是特定的。其他的參數(shù)對于整個視頻可能是有用的。本領(lǐng)域技術(shù)人員將認(rèn)識到對于視頻中的不同圖像使用相同參數(shù)的可能性。在現(xiàn)有技術(shù)的編碼器中，生成的3D視頻信號可以包括具有圖像中像素的顏色信息51的2D圖像層、具有像素深度信息的深度圖52以及具有α值的α圖53，該α值指示前景顏色和背景顏色應(yīng)當(dāng)怎樣在深度過渡和靠近深度過渡處混合。上述的格式示例在圖 2中，其中圖像被示意性地描繪為ー個具有多個像素的2D圖像線51?？梢栽谶吔缣幱^察到從前景值F ( 220)至背景值B ( 20)的逐漸過渡。過渡區(qū)域的寬度是U。這些區(qū)域被虛線封裝。由Z指示的相關(guān)聯(lián)的深度圖52示出在圖像線51的下方。過渡區(qū)域?qū)⑾嗤纳疃戎担琙b，作為前景對象。這是任意的選擇，因為沒有很好地定義從前景至背景對象的確切過渡。該附圖中的第三張圖描繪了 α通道53。在α通道53中，低值(此處接近0)指示對相應(yīng)像素的主導(dǎo)貢獻來自于背景像素，而高值(此處接近1)指示主導(dǎo)貢獻來自于前景像素。在該過渡區(qū)域之外沒有定義α值。現(xiàn)有技術(shù)α圖53包括在圖像51的每個過渡區(qū)域中的每個像素的α值。在圖3中更詳細地示例了使用攝影機捕獲圖像所固有的模糊效應(yīng)。在位置Ci的像素接收多個加權(quán)的貢獻，即，來自周圍背景像素的ー個加權(quán)總和，其中權(quán)重反映在背景高斯分布M左側(cè)的被標(biāo)記的部分B，以及來自靠近前景像素的ー個加權(quán)總和中，該前景像素的權(quán)重反映在前景高斯分布陽右側(cè)被標(biāo)記的部分A中。高斯分布曲線的形狀依賴于攝影機設(shè)定(例如焦距、數(shù)值孔徑)以及對象至攝影機的距離，也被稱為深度。在捕獲場景期間所使用的孔徑和焦點的設(shè)定將確定高斯分布的形狀，且因此確定高斯分布曲線的寬度。效果是在深度過渡附近存在融合像素。重要的是要注意，根據(jù)編碼的圖像數(shù)據(jù)是不可能模擬攝影機模糊過程(blurring process)的，因為圖像已經(jīng)模糊了。只有我們具有到處鋭利的計算機圖形圖像，這才是可能的。之后我們能在該過程期間模擬攝影機光學(xué)的效果。然而，可以通過選擇過渡區(qū)域的合適寬度來說明模糊過程，并使用或者線性或者非線性的函數(shù)使α在過渡區(qū)域中從0至1逐漸改變。圖4示出了根據(jù)本發(fā)明的示范性編碼方法的框圖。該編碼方法可以由圖1的系統(tǒng)的編碼器10來執(zhí)行。該編碼方法使用來自攝影機11，12的被記錄的數(shù)字視頻數(shù)據(jù)并提供根據(jù)本發(fā)明的視頻數(shù)據(jù)信號15。在基底圖像提供步驟21中，提供場景的至少第一圖像以用于包括在視頻數(shù)據(jù)信號15中。該基底圖像可以是來自兩個攝影機11、12之一的標(biāo)準(zhǔn)2D視頻數(shù)據(jù)。編碼器10也可以使用兩個基底圖像；一個來自于第一攝影機11而ー個來自于第 ニ攝影機12。根據(jù)該基底圖像，可以得出被記錄的視頻的每幀中所有像素的顏色值。基底圖像代表某時刻如同從特定視點所看見的場景?？梢园@示來自不同的視點的同一圖像的附加圖像。在3D啟用步驟22中，使用來自攝影機11、12的進入視頻數(shù)據(jù)來將深度信息添加至基底圖像。該添加的信息使得解碼器能夠生成來自不同視點的同一場景的被呈現(xiàn)圖像。 編碼器使用已知的、優(yōu)選地標(biāo)準(zhǔn)的用于從被記錄的規(guī)則視頻數(shù)據(jù)得出深度信息的方法。應(yīng)當(dāng)注意，也可以對來自外部源并已經(jīng)包括深度信息的3D視頻數(shù)據(jù)執(zhí)行根據(jù)本發(fā)明的編碼方法。在過渡信息生成步驟23中，編碼器10生成代表圖像中過渡區(qū)域?qū)挾鹊男畔??？梢匀缫陨弦呀?jīng)描述的和以下將參考圖5至7描述的許多不同的形式提供該過渡信息。在信號生成步驟M中，先前步驟21、22、23中提供的信息用于生成根據(jù)本發(fā)明的視頻數(shù)據(jù)信號15。該視頻數(shù)據(jù)信號15至少代表2D圖像、深度信息和過渡信息。此外，視頻數(shù)據(jù)信號15可以包括用于使得解碼器能夠根據(jù)具有高準(zhǔn)確度的過渡信息得出α值的參數(shù)。這種參數(shù)可以包括描述捕獲視頻數(shù)據(jù)時的攝影機設(shè)置的參數(shù)，諸如攝影機位置，照明條件或所使用的攝影機11、12的數(shù)值孔徑和焦距。圖5示出了可以存儲在表中的過渡信息的圖示。根據(jù)本發(fā)明，可以提供ー個表，在其中可以找到針對不同的過渡深度(Z)的寬度參數(shù)56、57 (U (ZF))。根據(jù)這種表，解碼器 10可以找到相應(yīng)深度Z處的前景對象的邊界處的過渡區(qū)域?qū)挾萓(ZF)。焦點對準(zhǔn)的(f)前景對象的邊界處的過渡區(qū)域?qū)⑹钦?。因此，對?yīng)于這種對象的深度的寬度參數(shù)57小于其他深度處的寬度參數(shù)56。離焦越多，過渡區(qū)域越寬。替代或除了前景對象的深度之外，該表也可以使用背景對象的深度?？商鎿Q地，該表包括對于圖像中相互重疊的前景和背景對象的特定深度值對的寬度參數(shù)。寬度參數(shù)U (ZF)56、57使得解碼器能夠確定圖像中過渡區(qū)域的寬度。寬度參數(shù)U (ZF) 56、57例如可以是具有來自兩個對象的顏色貢獻的像素數(shù)目。圖6示出了根據(jù)本發(fā)明的寬度圖60的一部分的實例。寬度圖60的大部分是空的。 該寬度圖60在與圖像中深度過渡相對應(yīng)的位置處包括具有寬度參數(shù)的線62。過渡區(qū)域可以根據(jù)寬度參數(shù)來確定，并可以由虛線61來指示。在根據(jù)現(xiàn)有技術(shù)的α圖中，過渡區(qū)域中的所有像素必須具有α值。在寬度圖62中，僅有指示深度過渡的線62上的像素具有非零值。解碼器根據(jù)該ー個值得出過渡區(qū)域的寬度63，并將其用于生成過渡區(qū)域中其他像素的 α值。在圖6示出的示范性情況中，深度過渡在過渡區(qū)域的中心?？商鎿Q地，深度過渡可以在過渡區(qū)域的邊界處，并且寬度參數(shù)指示屬于過渡區(qū)域的深度過渡的左/右/上/下側(cè)處的像素數(shù)目。在又一實施例中，深度過渡可以默認(rèn)地在過渡區(qū)域和前景對象之間的邊界處或在過渡區(qū)域和背景對象的邊界處。通過將寬度分配給數(shù)據(jù)塊，可以進一歩降低在寬度圖中使用的數(shù)據(jù)量，因此有效地縮減寬度圖的規(guī)摸。只要深度過渡之間的距離遠大于塊的大小，通過將最近塊的寬度值分配給給定的深度過渡，高分辨率原物的重建是可能的。在實際情況中，標(biāo)準(zhǔn)YUV 4:2:0視頻中的U和/或V通道的DC值被用于存儲寬度數(shù)據(jù)，因為DC值典型地不易于壓縮。圖7a和7b示出了依照當(dāng)前的發(fā)明生成的具有過渡信息的ニ元圖70、71的實例。 圖7b中的ニ元圖71是圖7a的ニ元圖的縮減了規(guī)模的版本。圖7a的高分辨率ニ元圖70包括對于過渡區(qū)域72中的每個像素的“ 1”和對于不在過渡區(qū)域72中的每個像素的“ 0”。解碼器可以通過對連續(xù)的“ 1”的數(shù)目進行計數(shù)而得出過渡區(qū)域72的寬度。使用該寬度可以計算α值。該ニ元圖70包括與現(xiàn)有技術(shù)α圖相等的數(shù)據(jù)量。然而，寬度圖70每個像素僅使用単獨一位，而α圖使用例如8位值用于編碼α值。因此根據(jù)本發(fā)明的寬度圖70減少了傳輸成本。在縮減了規(guī)模的ニ元圖71中，圖像被分為例如10乘10像素的段74。對于每個段 74，僅需要一位以指示該段是否包括深度過渡。解碼器可以將整個段74看做過渡區(qū)域，但這將導(dǎo)致不那么準(zhǔn)確的α估計以及較低質(zhì)量的圖像。然而，如同從圖7b中的虛線75能夠看出的，低分辨率ニ元圖71提供了足夠的信息以準(zhǔn)確地重建過渡區(qū)域。在該重建后，解碼器可以如同使用圖7a的高分辨率ニ元圖70時ー樣來確定具有相似精度的α值。圖8示出了根據(jù)本發(fā)明的用于解碼視頻數(shù)據(jù)的系統(tǒng)的框圖。該系統(tǒng)包括用于接收視頻數(shù)據(jù)信號15并將該視頻數(shù)據(jù)信號15轉(zhuǎn)換成適于由顯示器31顯示的顯示信號的解碼器30。該視頻數(shù)據(jù)信號15可以作為廣播信號的一部分例如借助于纜線或衛(wèi)星傳輸?shù)竭_解碼器30。視頻數(shù)據(jù)信號15也可以根據(jù)請求來提供，例如借助于互聯(lián)網(wǎng)或借助于視頻點播服務(wù)。可替換地，視頻數(shù)據(jù)信號15提供在數(shù)字?jǐn)?shù)據(jù)載體上，諸如DVD或藍光光盤。顯示器31能夠提供被捕獲并由圖1的系統(tǒng)的編碼器10編碼的場景100的3D呈現(xiàn)。顯示器31可以包括解碼器30或可以耦合至解碼器30。例如，解碼器30可以是3D視頻接收器的一部分，該3D視頻接收器要被耦合至ー個或多個普通電視機或計算機顯示器。 優(yōu)選地，顯示器是能夠?qū)⒉煌囊晥D提供給觀察者的不同眼睛的專用3D顯示器31。圖9示出了解碼方法的流程圖，其可以由圖8的解碼器30來執(zhí)行。在視頻數(shù)據(jù)接收步驟41中，由編碼器10編碼的視頻數(shù)據(jù)信號15在解碼器30的輸入處被接收。接收到的視頻數(shù)據(jù)信號15包括表示如上所述的圖像、深度信息和過渡信息的編碼數(shù)據(jù)。過渡信息可以例如以表或?qū)挾葓D的形式提供。編碼數(shù)據(jù)可以包括附加信息，諸如攝影機設(shè)置參數(shù)。在寬度確定步驟42中，使用過渡信息來確定圖像中過渡區(qū)域的寬度。在α確定步驟43中，使用所確定的寬度來計算過渡區(qū)域中像素的α值。解碼器可以不僅僅使用寬度信息和深度信息。例如，導(dǎo)致深度過渡的對象的深度信息和攝影機設(shè)置參數(shù)可以有助于確定α值。在像素融合步驟44中，將α值和圖像的顏色信息進行組合以確定過渡區(qū)域中所有像素的顏色值。具體地參考編碼視頻數(shù)據(jù)信號的方法、解碼數(shù)據(jù)信號的方法、編碼器設(shè)備和解碼器設(shè)備描述了根據(jù)本發(fā)明的方法、編碼器和解碼器設(shè)備。然而本發(fā)明也可以在發(fā)送視頻數(shù)據(jù)信號的方法、包括了編碼方法的所有步驟以及發(fā)送編碼的視頻信號的其他步驟的方法中應(yīng)用。相反地，本發(fā)明可以應(yīng)用在接收視頻數(shù)據(jù)信號的方法、包括了解碼方法的所有步驟以及接收編碼的視頻信號的其他步驟的方法中。視頻數(shù)據(jù)信號可以在有線或無線信道上發(fā)送和/或接收，例如視頻數(shù)據(jù)信號可以在IEEE1394鏈路、IP鏈路上進行傳輸。同樣地，視頻數(shù)據(jù)信號可以在家用網(wǎng)絡(luò)中的無線鏈路(諸如無線IEEE802. 11鏈路或UWB鏈路)上發(fā)送。本發(fā)明也可以體現(xiàn)在用于視頻數(shù)據(jù)信號的發(fā)射器和/或接收器中。依照本發(fā)明的發(fā)射器包括根據(jù)本發(fā)明的編碼器設(shè)備并進ー步包括用于發(fā)送編碼的視頻數(shù)據(jù)信號的傳輸裝置。優(yōu)選地，編碼器的輸出起發(fā)送裝置的作用。相反地，依照本發(fā)明的接收器包括解碼器設(shè)備并進ー步包括用于接收編碼的視頻數(shù)據(jù)信號的接收器裝置；其處理在有線或無線通道上到達的數(shù)據(jù)。優(yōu)選地，解碼器的輸入起接收器裝置的作用。如以上所示，發(fā)送和接收裝置的特性依賴于用于交換數(shù)據(jù)的通道的類型?？商鎿Q地，替代在通道上發(fā)送和/或接收編碼的視頻數(shù)據(jù)信號，編碼的視頻數(shù)據(jù)信號也可以被存儲和/或從存儲介質(zhì)取回。在這種實施例中，相應(yīng)的方法包括將視頻數(shù)據(jù)信號存儲在存儲介質(zhì)或存儲設(shè)備上和/或從該存儲介質(zhì)或存儲設(shè)備取回視頻數(shù)據(jù)信號的附加步驟。存儲介質(zhì)或存儲設(shè)備可以是光學(xué)存儲介質(zhì)，諸如⑶、⑶-R、⑶-RW、DVD、DVD+R、 DVD-R、DVD+RW、DVD-RW、或藍光光盤。同樣地，編碼的視頻數(shù)據(jù)信號可以存儲在HDD或固態(tài)存儲介質(zhì)上。存儲和/或取回設(shè)備可以進而是更大的設(shè)備(諸如個人計算機、個人錄像機或藍光播放器)的一部分。當(dāng)本發(fā)明包含在用于存儲視頻數(shù)據(jù)信號和/或取回視頻數(shù)據(jù)信號的設(shè)備中吋，用于提供視頻數(shù)據(jù)信號的輸出優(yōu)選地還包含用于存儲視頻數(shù)據(jù)信號的裝置。相反地，用于接收視頻數(shù)據(jù)信號的輸入在此情況下優(yōu)選地包括用于取回視頻數(shù)據(jù)信號的裝置。本領(lǐng)域技術(shù)人員將清楚，相應(yīng)的裝置隨著所包含的存儲介質(zhì)和存儲設(shè)備而改變。依照本發(fā)明的解碼器和編碼器包括用于處理的裝置，例如在解碼器的情況下，解碼器包括用于確定過渡區(qū)域的寬度的裝置、用于確定α值的裝置和用于確定顏色的裝置。 本領(lǐng)域技術(shù)人員將清楚，這種處理裝置可以在多種處理平臺上實現(xiàn)。這些平臺可以由諸如專用集成電路或FPGA的專用硬件構(gòu)成。然而這樣的處理也可以在軟件中實現(xiàn)，該軟件用于在諸如例如PC環(huán)境中的通用處理器或視頻信號處理器的通用處理平臺上執(zhí)行。也設(shè)想了混合的硬件軟件解決方案。盡管對于根據(jù)本發(fā)明的解碼器中的裝置進行了示例，但是對于根據(jù)本發(fā)明的編碼器中的裝置也同樣適用。參考透明度值和透明度圖描述了本發(fā)明。然而本領(lǐng)域技術(shù)人員將清楚，本發(fā)明對于不透明度值和不透明度圖進行應(yīng)用具有同樣的效果。透明度和不透明度在這一點上是本質(zhì)上互補的；鑒于一個定義了物體透明的程度，另ー個定義了物體不透明的程度。將要理解的是，本發(fā)明還延伸到適于實施本發(fā)明的計算機程序，特別是在載體上或者載體中的計算機程序。程序可以以源代碼、目標(biāo)代碼、源和目標(biāo)代碼中間的代碼(例如，部分編譯的形式)的形式，或者以適于在實現(xiàn)根據(jù)本發(fā)明的方法中使用的任何其他形式。還要理解的是，這種程序可以具有許多不同的架構(gòu)設(shè)計。例如，實現(xiàn)根據(jù)本發(fā)明的方法或者系統(tǒng)的功能的程序代碼可以被細分為ー個或者多個子例程。在這些子例程中分配功能的許多不同的方法對于本領(lǐng)域技術(shù)人員是清楚明白的。子例程可以一起存儲在一個可執(zhí)行文件中，以形成獨立的程序。這種可執(zhí)行文件可以包括計算機可執(zhí)行指令，例如，處理器指令和 /或編譯器指令(例如，Java解釋器指令)?？商娲?，一個或者多個或者全部的子例程可以存儲在至少ー個外部庫文件中，并且例如在運行時靜態(tài)地或者動態(tài)地與主程序相鏈接。主程序含有對至少一個子程序的至少ー個調(diào)用。同吋，子例程可以包括彼此的功能調(diào)用。與計算機程序產(chǎn)品相關(guān)的實施例包括與所提到的方法中至少ー個的處理步驟中每一個相對應(yīng)的計算機可執(zhí)行指令。這些指令可以細分為子例程，和/或存儲在可以靜態(tài)或者動態(tài)地鏈接的一個或者多個文件中。與計算機程序產(chǎn)品相關(guān)的另一個實施例包括與所提到的系統(tǒng)和/或產(chǎn)品中至少ー個的裝置中的每ー個相對應(yīng)的計算機可執(zhí)行指令。這些指令可以細分為子例程，和/或存儲在可以靜態(tài)或者動態(tài)地鏈接的一個或者多個文件中。計算機程序的載體可以是能夠攜帶程序的任何實體或者設(shè)備。例如，載體可以包括存儲介質(zhì)，例如，ROM (例如，CD ROM或者半導(dǎo)體ROM)或者磁性記錄介質(zhì)(例如，軟盤或者硬盤)。此外，載體可以是可傳送的載體，例如，電或者光信號，其可以經(jīng)由電纜或光纜或者通過無線電或其他方式來傳送。當(dāng)程序體現(xiàn)在這個信號中時，載體可以由這種線纜或者其它設(shè)備或裝置來構(gòu)成?？商娲兀d體可以是在其中嵌入程序的集成電路，集成電路適于執(zhí)行相關(guān)方法或者在執(zhí)行相關(guān)方法時使用。應(yīng)注意的是，上述實施例說明而不是限制本發(fā)明，并且本領(lǐng)域技術(shù)人員將能夠設(shè)計許多可替代實施例，而不脫離所附權(quán)利要求的范圍。在權(quán)利要求中，括號之間的任何附圖標(biāo)記將不被解釋為限制權(quán)利要求。使用動詞“包括”和其詞性變化并不排除存在不同于權(quán)利要求中所陳述那些的元件或者步驟。元件之前的冠詞“一”或“ー個”不排除存在多個這種元件。本發(fā)明通過可以借助于包括許多獨立元件的硬件以及借助于合適地編程的計算機來實現(xiàn)。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝置中的幾個可以由一個或者相同項的硬件來體現(xiàn)。在相互不同的從屬權(quán)利要求中敘述某些措施的純粹事實不表示這些措施的結(jié)合不能使用以受益。
1權(quán)利要求
1.ー種編碼視頻數(shù)據(jù)信號(15)的方法，該方法包括提供圖像中像素的顏色信息(51)，提供具有像素的深度信息(52)的深度圖，提供表示圖像中過渡區(qū)域(61，72)的寬度(63，73)的過渡信息(56，57，60，70，71 )，該過渡區(qū)域(61，72)包括深度過渡(62)和其中前景對象和背景對象的顏色被融合的融合像素，生成(24 )包括表示顏色信息(51)、深度圖(52 )和過渡信息(56，57，60，70，71)的編碼數(shù)據(jù)的視頻數(shù)據(jù)信號(15)。
2.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中過渡信息包括對于深度過渡(62)將相應(yīng)寬度定義為融合像素數(shù)目的寬度圖(60)。
3.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中過渡信息包括指示圖像中的每個像素是否在過渡區(qū)域(72)中的ニ元圖(70，71)。
4.如權(quán)利要求3所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中二元圖(71)具有比該圖像低的分辨率。
5.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中過渡信息(56，57)包括具有對于不同過渡深度的寬度參數(shù)(56，75)的表。
6.如權(quán)利要求5所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中過渡深度被定義為深度過渡處的前景對象的深度。
7.如權(quán)利要求5所述的編碼視頻數(shù)據(jù)信號(15)的方法，其中過渡深度被定義為深度過渡處前景對象和背景對象的深度的組合。
8.ー種解碼視頻數(shù)據(jù)信號(15)的方法，該視頻數(shù)據(jù)信號(15)包括表示圖像中像素的顏色信息(51)的編碼數(shù)據(jù)、具有像素的深度信息(52)的深度圖、以及代表包括深度過渡(62)和其中前景對象和背景對象的顏色被融合的融合像素的過渡區(qū)域(61，72)的寬度 (63，73)的過渡信息(56，57，60，70，71)，該方法包括接收視頻數(shù)據(jù)信號(41)，基于過渡信息(56，57，60，70，71)，確定過渡區(qū)域(61，72)的寬度(63，73)，基于過渡區(qū)域的寬度，確定融合像素的α值(53)，融合像素的α值(53)依賴于到深度過渡(62)的距離，基于α值(53)和顏色信息(51)確定融合像素的顏色。
9.如權(quán)利要求8所述的解碼視頻數(shù)據(jù)信號(15)的方法，其中α值(53)的確定進一歩基于深度過渡(62)的深度(52)。
10.一種用于編碼視頻數(shù)據(jù)信號(15)的編碼器，該編碼器包括用于提供圖像中像素的顏色信息(51)、具有像素的深度信息(52)的深度圖、以及代表包括深度過渡(62)和其中前景對象和背景對象的顏色被融合的融合像素的過渡區(qū)域(61， 72)的寬度(63，73)的過渡信息(56，57，60，70，71)的裝置，用于生成(24)包括表示顏色信息(51)、深度信息(52)和過渡信息的編碼數(shù)據(jù)的視頻數(shù)據(jù)信號(15)的裝置，以及用于提供視頻數(shù)據(jù)信號(15)的輸出。
11.一種用于解碼視頻數(shù)據(jù)信號(15)的解碼器，該解碼器包括用于接收視頻數(shù)據(jù)信號(15)的輸入，該視頻數(shù)據(jù)信號(15)包括表示圖像中像素的顏色信息(51)的編碼數(shù)據(jù)、具有像素的深度信息(52)的深度圖、以及代表包括深度過渡(62) 和其中前景對象和背景對象的顏色被融合的融合像素的過渡區(qū)域(61，72)的寬度(63，73) 的過渡信息(56，57，60，70，71 )，用于基于過渡信息(56，57，60，70，71)，確定過渡區(qū)域(61，72)的寬度(63，73)的裝置，用于基于過渡區(qū)域(61，72)的寬度(63，73)，確定融合像素的α值(53)的裝置，所述融合像素的α值(53)依賴于到深度過渡(62)的距離，以及用于基于α值(53)和顏色信息(51)確定融合像素的顏色的裝置。
12.一種用于編碼視頻數(shù)據(jù)信號的計算機程序產(chǎn)品，可操作該程序以導(dǎo)致處理器執(zhí)行如權(quán)利要求1所述的方法。
13.一種用于解碼視頻數(shù)據(jù)信號的計算機程序產(chǎn)品，可操作該程序以導(dǎo)致處理器執(zhí)行如權(quán)利要求8所述的方法。
14.ー種視頻數(shù)據(jù)信號(15)，包括表示圖像中像素的顏色信息(51)的編碼數(shù)據(jù)、具有像素的深度信息(52)的深度圖、以及代表包括深度過渡(62)和其中前景對象和背景對象的顏色被融合的融合像素的過渡區(qū)域(61，72)的寬度(63，73)的過渡信息(56，57，60，70， 71)。
15.一種在其上編碼了如權(quán)利要求14所述的視頻數(shù)據(jù)信號(15)的數(shù)字?jǐn)?shù)據(jù)載體。
全文摘要
提供了一種編碼視頻數(shù)據(jù)信號(15)的方法以及一種用于解碼的方法。該編碼方法包括提供圖像中像素的顏色信息(51)，提供具有像素的深度信息(52)的深度圖，提供表示圖像中過渡區(qū)域(61，72)的寬度(63，73)的過渡信息(56，57，60，70，71)，該過渡區(qū)域(61，72)包括深度過渡(62)和其中前景對象和背景對象的顏色被融合的融合像素，以及生成(24)包括表示顏色信息(51)、深度圖(52)和過渡信息(56，57，60，70，71)的編碼數(shù)據(jù)的視頻數(shù)據(jù)信號(15)。解碼包括使用過渡信息(56，57，60，70，71)以確定過渡區(qū)域(61，72)的寬度(63，73)并確定過渡區(qū)域(61，72)內(nèi)部的像素的α值(53)。所確定的α值(53)用于確定前景對象和背景對象的過渡處的融合像素的顏色。
文檔編號H04M13/00GK102598646SQ201080051413
公開日2012年7月18日 申請日期2010年11月8日 優(yōu)先權(quán)日2009年11月13日
發(fā)明者C.瓦雷坎普, R.B.M.克萊恩岡內(nèi)維克, W.H.A.布魯斯 申請人:皇家飛利浦電子股份有限公司