專利名稱：組合3d視頻與輔助數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提供三維(3D)視頻數(shù)據(jù)以便傳送到3D目的設(shè)備的方法，所述方法包括確定表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明最接近用戶的視頻數(shù)據(jù)的深度的接近值。本發(fā)明還涉及一種3D來源設(shè)備、一種3D目的設(shè)備、一種信號、一種記錄載體以及一種計算機(jī)程序產(chǎn)品。本發(fā)明涉及在3D顯示設(shè)備上與諸如字幕、徽標(biāo)之類的輔助數(shù)據(jù)或者其他3D圖像數(shù)據(jù)相組合地呈現(xiàn)3D視頻數(shù)據(jù)的領(lǐng)域。
背景技術(shù)：
用于生成2D視頻數(shù)據(jù)的設(shè)備是已知的，比如視頻服務(wù)器、廣播設(shè)備或著作設(shè)備。 當(dāng)前，用于提供三維(3D)圖像數(shù)據(jù)的3D增強(qiáng)設(shè)備正被提出。類似地，用于呈現(xiàn)顯示3D視頻數(shù)據(jù)的目的設(shè)備也正被提出，比如用于光盤(例如藍(lán)光盤；BD)的播放器或者呈現(xiàn)所接收到的數(shù)字視頻信號的機(jī)頂盒。所述目的設(shè)備將被耦合到例如電視機(jī)或監(jiān)視器之類的顯示設(shè)備。通過適當(dāng)?shù)慕涌趶膩碓丛O(shè)備傳送視頻數(shù)據(jù)，優(yōu)選地是例如HDMI之類的高速數(shù)字接口。 還可以把3D顯示器與目的設(shè)備集成在一起，例如具有接收部分和3D顯示器的電視(TV)。對于諸如3D電影或TV廣播之類的3D內(nèi)容，可以與圖像數(shù)據(jù)相組合地顯示附加的輔助數(shù)據(jù)，比如字幕、徽標(biāo)、比賽比分、用于財經(jīng)新聞或者其他聲明或新聞的滾動文本區(qū) (ticker tape)。文獻(xiàn)W02008/115222描述了一種用于將文本與三維內(nèi)容相組合的系統(tǒng)。所述系統(tǒng)將文本插入與在3D內(nèi)容中的最接近深度值相同的水平處。3D內(nèi)容的一個實(shí)例是二維圖像和相關(guān)聯(lián)的深度圖。在該例中，調(diào)節(jié)所插入的文本的深度值，以便匹配給定深度圖的最接近深度值。3D內(nèi)容的另一個實(shí)例是多個二維圖像和各個相關(guān)聯(lián)的深度圖。在該情況中，連續(xù)地調(diào)節(jié)所插入的文本的深度值，以便匹配給定深度圖的最接近深度值。3D內(nèi)容的另一個實(shí)例是具有右眼視圖和左眼視圖的立體內(nèi)容。在該情況中，偏移左眼視圖和右眼視圖的其中之一內(nèi)的文本，以便匹配立體圖像中的最接近視差值。3D內(nèi)容的另一個實(shí)例是具有多個右眼視圖和左眼視圖的立體內(nèi)容。在該情況中，連續(xù)地偏移各個左眼視圖或右眼視圖中的文本，以便匹配各個立體圖像中的最接近深度值。其結(jié)果是，所述系統(tǒng)產(chǎn)生與3D內(nèi)容相組合的文本，其中在由觀看者觀看時，所述文本不會阻擋3D內(nèi)容中的3D效果并且不會產(chǎn)生視覺疲勞。

發(fā)明內(nèi)容
文獻(xiàn)W02008/115222描述了將在圖像數(shù)據(jù)的最靠近部分的前方顯示輔助圖形數(shù)據(jù)。當(dāng)需要在處理資源有限的目的設(shè)備中將輔助數(shù)據(jù)與3D視頻數(shù)據(jù)相組合時會出現(xiàn)問題。 從3D視頻流中導(dǎo)出最接近深度值需要處理深度信息。特別對于例如包括左、右視圖的多視圖3D視頻流來說，檢測最接近深度或者與之對應(yīng)的視差值需要相當(dāng)多的處理。
本發(fā)明的一個目的是提供一種用于以更加方便的方式組合輔助數(shù)據(jù)與3D視頻內(nèi)容的系統(tǒng)。為了所述目的，根據(jù)本發(fā)明的第一方面，如在開頭段落中所描述的方法包括 -生成包括3D視頻數(shù)據(jù)的3D視頻信號；以及
-將深度元數(shù)據(jù)包括在3D視頻信號中， 以便允許3D目的設(shè)備 -獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及
-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。為了所述目的，根據(jù)本發(fā)明的第二方面，用于提供三維(3D)視頻信號以便傳送到 3D目的設(shè)備的3D來源設(shè)備包括用于執(zhí)行以下步驟的處理裝置
-確定表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值；
-生成包括3D視頻數(shù)據(jù)的3D視頻信號；以及 -將深度元數(shù)據(jù)包括在3D視頻信號中， 以便允許3D目的設(shè)備 -獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及
-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。為了所述目的，根據(jù)本發(fā)明的另一方面，用于接收三維(3D)視頻信號的3D目的設(shè)備包括用于接收3D視頻信號的接收裝置，所述3D視頻信號包括3D視頻數(shù)據(jù)和表明出現(xiàn)在 3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，所述3D目的設(shè)備還包括用于執(zhí)行以下步驟的處理裝置
-從3D視頻信號獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及
-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。為了所述目的，根據(jù)本發(fā)明的另一方面，用于向3D目的設(shè)備傳送3D視頻數(shù)據(jù)的三維(3D)視頻信號包括3D視頻數(shù)據(jù)和表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，以便允許3D目的設(shè)備
-獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及
-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。所述措施的效果在于，在來源處確定出現(xiàn)在3D視頻數(shù)據(jù)中的深度值，例如從左/ 右3D格式下的左、右視圖計算視差值，或者從2D+深度流處理深度數(shù)據(jù)，或者從任何其他3D 圖像格式導(dǎo)出這樣的深度值。隨后將深度元數(shù)據(jù)包括在3D視頻信號中。有利的是，在目的設(shè)備處，可以把任何輔助數(shù)據(jù)與3D視頻數(shù)據(jù)相組合，并且基于深度元數(shù)據(jù)在深度方向上對其進(jìn)行定位，從而避免由所述最接近視頻數(shù)據(jù)遮蔽輔助數(shù)據(jù)以及/或者避免輔助數(shù)據(jù)的邊界處的干擾效應(yīng)。應(yīng)當(dāng)提到的是，當(dāng)輔助數(shù)據(jù)被定位成比更靠近的對象更遠(yuǎn)但是仍將被顯示時就將會發(fā)生這種干擾效應(yīng)。具體來說，輔助數(shù)據(jù)不需要在來源設(shè)備處可用，而是在目的設(shè)備處被動態(tài)地提供，所述目的設(shè)備通過把輔助數(shù)據(jù)定位在適當(dāng)?shù)纳疃榷山M合的3D 視頻信號，其中不需要很多處理資源來導(dǎo)出深度元數(shù)據(jù)。本發(fā)明還基于以下認(rèn)識?，F(xiàn)有技術(shù)文獻(xiàn)描述了在3D視頻來源系統(tǒng)處將文本定位在圖像中的最接近元素之前的深度。但是輔助數(shù)據(jù)在來源處可能不可用。在目的設(shè)備處基于現(xiàn)有技術(shù)定位輔助數(shù)據(jù)將需要大量處理。此外，為了示出諸如菜單之類的動態(tài)輔助數(shù)據(jù)或者游戲人物之類的所生成的輔助圖形對象，可以基于深度元數(shù)據(jù)選擇3D視頻數(shù)據(jù)的一個適當(dāng)部分，例如其接近值與觀看者不靠近的一個時間段。這樣的定位確實(shí)會把文本或?qū)ο髱У經(jīng)]有那么靠近觀看者的地方。最后，所述系統(tǒng)允許3D視頻的著作者設(shè)定深度元數(shù)據(jù)，并且影響在呈現(xiàn)設(shè)備處添加的任何輔助數(shù)據(jù)的定位。在一個實(shí)施例中，深度元數(shù)據(jù)包括表明出現(xiàn)在3D視頻數(shù)據(jù)中的與用戶最遠(yuǎn)離的深度的遠(yuǎn)離值，以便允許3D目的設(shè)備將輔助深度設(shè)定成與接近值相比更加遠(yuǎn)離用戶，并且在離開用戶的方向上對3D視頻數(shù)據(jù)施加偏移，以便將所述最接近視頻數(shù)據(jù)偏移到與輔助深度相比更加遠(yuǎn)離用戶的深度，所述偏移基于遠(yuǎn)離值而被最大化。其效果是通過向后(離開觀看者)偏移輸入三維視頻信號來適配三維視頻信號，這是借助于根據(jù)遠(yuǎn)離值的深度方向上的偏移而實(shí)現(xiàn)的。因此就空出一定的深度范圍，以便在深度方向上把輔助數(shù)據(jù)定位在經(jīng)過偏移的三維視頻的前方。在一個實(shí)施例中，所述接近值是視差值。其效果是目的設(shè)備知曉最接近視頻數(shù)據(jù)的視差值，并且可以利用所述視差值容易地將輔助數(shù)據(jù)定位在視頻之前。在目的設(shè)備的一個實(shí)施例中，當(dāng)輔助數(shù)據(jù)是二維(2D)數(shù)據(jù)并且接近值是視差值時，所述處理裝置被設(shè)置成生成至少左輔助圖像和右輔助圖像，這是通過對2D輔助數(shù)據(jù)施加基于視差值的至少一個水平偏移而實(shí)現(xiàn)的。其可以有利地被直接使用來通過偏移左視圖生成右視圖，或者把所述視圖向左、右偏移視差的50%來生成左、右視圖。在一個實(shí)施例中，3D視頻信號包括被設(shè)置成根據(jù)預(yù)定義標(biāo)準(zhǔn)傳送解碼信息的已編碼視頻數(shù)據(jù)流，并且所述將深度元數(shù)據(jù)包括在3D視頻信號中包括將深度元數(shù)據(jù)包括在以下各項(xiàng)的至少其中之一內(nèi)
-用戶數(shù)據(jù)消息； -信令基本流信息(SEI)消息； -進(jìn)入點(diǎn)表； -基于XML的描述。其效果是通過擴(kuò)展根據(jù)所述預(yù)定義標(biāo)準(zhǔn)的控制消息或參數(shù)來包括附加的深度元數(shù)據(jù)。有利的是，所述增強(qiáng)的已編碼視頻流與已有的預(yù)定義標(biāo)準(zhǔn)兼容，同時仍然有效地傳送深度元數(shù)據(jù)。在所附權(quán)利要求書中給出了根據(jù)本發(fā)明的方法、3D設(shè)備和信號的其他優(yōu)選實(shí)施例，其公開內(nèi)容被通過引用合并在此。附圖簡述參照下面描述通過舉例的方式描述的實(shí)施例并且參照附圖，本發(fā)明的上述和其他方面將變得顯而易見并且將對其進(jìn)行進(jìn)一步闡述，其中

圖1示出了幾個一般概念以及定義視差的參數(shù)； 圖2A示出了三維輸入信號的視差直方圖； 圖2B示出了三維輸入信號和三維疊加的另一個視差直方圖； 圖3示出了根據(jù)本發(fā)明的立體輸入對的右視像的適配； 圖4示出了根據(jù)本發(fā)明的一種方法； 圖5A示出了根據(jù)本發(fā)明的一種系統(tǒng)； 圖5B示出了根據(jù)本發(fā)明的另一種系統(tǒng)； 圖6示出了用于顯示3D圖像數(shù)據(jù)的一種系統(tǒng)； 圖7示出了私有用戶數(shù)據(jù)SEI消息中的視差/深度元數(shù)據(jù)； 圖8示出了對應(yīng)于3D視頻信號中的深度元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)； 圖9示出了對應(yīng)于記錄載體上的3D視頻信號的深度元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)； 圖IOa示出了攜帶深度元數(shù)據(jù)的元數(shù)據(jù)字段的格式；以及圖IOb示出了攜帶視差數(shù)據(jù)的元數(shù)據(jù)字段的格式。在附圖中，對應(yīng)于已被描述過的元件的元件具有相同的附圖標(biāo)記。實(shí)施例的詳細(xì)描述
應(yīng)當(dāng)提到的是，本發(fā)明可以被用于具有一定深度范圍的任何類型的3D顯示。假設(shè)用于 3D顯示的視頻數(shù)據(jù)可以作為電子(其通常為數(shù)字的)數(shù)據(jù)而獲得。本發(fā)明涉及這樣的圖像數(shù)據(jù)，并且在數(shù)字域內(nèi)操縱所述圖像數(shù)據(jù)。有許多不同方式可對3D圖像進(jìn)行格式化及傳送，其被稱作3D視頻格式。一些格式是基于使用2D通道來同時載送立體信息。舉例來說，可以交織或者可以并排以及上下放置左、右視圖。這些方法犧牲分辨率來載送立體信息。另一種選項(xiàng)是犧牲顏色，這種方法被稱作補(bǔ)色立體。補(bǔ)色立體使用光譜多路復(fù)用，其是基于以互補(bǔ)色顯示兩個單獨(dú)的疊加圖像。 通過使用具有有色濾光器的眼鏡，每一只眼只看到與該眼前方的濾光器具有相同顏色的圖像。從而例如右眼只看到紅色圖像，并且左眼只看到綠色圖像。一種不同的3D格式是基于使用2D圖像和附加的深度圖像的兩個視圖，所述附加的深度圖像即所謂的深度圖，其傳達(dá)關(guān)于各個對象在2D圖像中的深度的信息。被稱作圖像+深度的格式的不同之處在于，其是2D圖像與所謂的“深度”或視差圖的組合。所述視差圖是一個灰度圖像，其中一個像素的灰度值表明相應(yīng)的像素在相關(guān)聯(lián)的2D圖像中的視差(或者在深度圖的情況下是深度)的數(shù)量。顯示設(shè)備取得2D圖像作為輸入并且使用視差、深度或平行視差圖來計算附加的視圖。這可以通過多種方式來實(shí)現(xiàn)，在最簡單的形式下是根據(jù)與像素相關(guān)聯(lián)的視差值將所述像素向左或向右偏移。Christoph i^ehn的標(biāo)題為 “Depth image based rendering, compression and transmission for a new approach on 3D TV”的文章給出了關(guān)于所述技術(shù)的非常好的概述(參見http://iphome.hhi.de/ fehn/Publications/fehn_EI2004. pdf)。圖1示出了幾個一般概念以及定義視差的參數(shù)。圖1示出了位于雙向箭頭E邊緣處的兩個視點(diǎn)，二者分開目距E。在觀看距離Z處放置由點(diǎn)線代表的屏幕S，其被用于顯示三維信息。這樣的屏幕在實(shí)踐中例如可以是交替地為佩戴適當(dāng)眼鏡的觀看者的眼睛提供用于對應(yīng)視點(diǎn)的適當(dāng)圖像信息的時間或光譜的順序顯示。屏幕S在這里被放置在零視差處，W 表示屏幕的寬度。N (接近)表示屏幕S前方的最大感知深度。同樣地，F(xiàn) (遠(yuǎn)離)表示屏幕 S后方的最大感知深度。線dN表示位于屏幕S前方N處的對象的感知視差，視差值dN在這里是負(fù)的，其也被稱作交叉視差并且可被表示為下式
dN=N E/(Z-N) [1]。線dF表示位于屏幕S后方F處的對象的感知視差，視差值dF在這里是正的，其也被稱作無交叉視差并且可以被表示為下式
dF=F E/ (Z+F) [2]。在實(shí)踐中，最大視差應(yīng)當(dāng)?shù)陀谀烤郋，以便允許舒適的觀看。在實(shí)踐中，最大視差優(yōu)選地被設(shè)定到低于平均目距E的值，以便允許人們當(dāng)中的目距變化。應(yīng)當(dāng)提到的是，最大正屏幕平行視差(即對應(yīng)于最大正視差的像素數(shù))取決于屏幕寬度W和屏幕S的分辨率。圖2A示出了三維輸入信號的視差直方圖205。直方圖205是根據(jù)輸入的三維信號確定的，也就是基于三維輸入信號的整個空間區(qū)域確定的。或者，可以對于三維輸入信號的整個空間區(qū)域的代表性樣本編輯視差直方圖。在圖2A中，沿著d軸的最接近視差值是點(diǎn)C，其具有負(fù)視差。最遠(yuǎn)離視差值是沿著d軸的點(diǎn)B，其具有正視差。基于直方圖205，用在根據(jù)本發(fā)明的方法中的遠(yuǎn)離視差估計對應(yīng)于點(diǎn)B。直方圖205表明，在視差范圍內(nèi)有凈空215可用于將輸入三維的視差范圍偏移離開觀看者，即將直方圖向右移動?？紤]其中需要在對應(yīng)視圖中的特定空間區(qū)段內(nèi)放置疊加的情況。圖2A還示出了相關(guān)空間區(qū)段中的輸入三維信號的視差直方圖。所述空間區(qū)段的三維輸入信號的直方圖由粗?jǐn)嗑€205’表示。基于直方圖205’，表明該空間區(qū)段的最小視差值的接近視差估計對應(yīng)于點(diǎn)A。應(yīng)當(dāng)提到的是，由于該特定空間區(qū)段不包括更小(即負(fù)值更大)的視差值，因此在所述空間區(qū)段內(nèi)已經(jīng)有大量凈空210用于放置疊加。應(yīng)當(dāng)提到的是，用于放置疊加的空間區(qū)段通常是由輪廓線定義的方塊或節(jié)段，因此明顯不同于被用來如前所述地確定整個視圖的視差估計的樣本點(diǎn)。雖然在所述空間區(qū)段內(nèi)已經(jīng)有了大量凈空以用來放置疊加，但是仍然有可能通過將輸入三維視頻信號的視差范圍偏移離開觀看者達(dá)視差偏移DS來產(chǎn)生甚至更多的凈空， 其中DS<E-B。雖然不是嚴(yán)格必要的，但是明智的是保留如圖2B中由余量215’表示的一定余量(E-B)-DS以用于容許各種用戶之間的不同目距。其結(jié)果是，本發(fā)明在視差范圍內(nèi)提供了用于放置疊加的附加增益。直方圖220表示所述疊加的視差直方圖，由于所述疊加被完全放置在該空間區(qū)段內(nèi)，因此該直方圖也是整個圖像上的疊加的直方圖。作為所述視差偏移的結(jié)果，現(xiàn)在有可能將諸如字幕之類的疊加信息放置在零視差平面處或其附近，從而改進(jìn)了疊加觀看的舒適度。如前所述，可以基于與輸入三維視頻信號一起提供的視差直方圖信息確定遠(yuǎn)離和接近視差估計。或者，可以利用本領(lǐng)域技術(shù)人員已知的算法從輸入三維視頻信號導(dǎo)出遠(yuǎn)離和接近視差估計。這樣的算法的一個實(shí)例在Konrad等人的“Dense disparity estimation from feature correspondences，， (IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst. ,2000 年 1 月 23-28 日，San Jose, CA, USA)中給出。圖3示出了本發(fā)明所提出的偏移視差的處理。左側(cè)示出了來自立體輸入視頻信號的圖像對LVl和RV1。所述圖像在圖像LVl和RVl中分別示出了置于零視差處的灰色方塊 310和310’以及置于所述方塊前方的負(fù)視差處的白色圓盤305和305’。從灰色方塊310和310’的邊緣處的垂直細(xì)虛線可以看出，所述矩形具有零視差， 這是因?yàn)槠浔环胖迷谧?、右圖像中的相同位置處。圓盤305和305，具有負(fù)的屏幕平行視差，即在右圖像RVl中，圓盤305，比圓盤 305在左圖像LVl中的位置靠左。作為結(jié)果，其在顯示器前方被顯現(xiàn)。為了把場景向后偏移，我們把RVl向右偏移以獲得RV1，。比較RV1，與LVl我們現(xiàn)在看到，圓盤305’具有零視差，并且所述矩形具有正視差。為了把經(jīng)過偏移的圖像適配于立體顯示，在右側(cè)裁剪經(jīng)過偏移的圖像RV1’并且在左側(cè)擴(kuò)展相等的數(shù)量，從而得到RV1’’。LVl和RV1’’又可以被一起顯現(xiàn)為新的立體對，其中所述場景與原始LVl-RVl對相比已被向后偏移。其結(jié)果是，LVl-RVl'‘對與LVl-RVl對相比具有更多凈空以用于放置疊加。應(yīng)當(dāng)提到的是，雖然在前面的實(shí)例中僅僅偏移了其中一個視圖，但是也有可能把左圖像LVl和右圖像RVl偏移相反的同等數(shù)量，其中組合的數(shù)量對應(yīng)于RV1’的偏移。其結(jié)果是，全部兩個經(jīng)過偏移的圖像都將被擴(kuò)展，但是擴(kuò)展區(qū)段是在圖3中裁剪及擴(kuò)展的尺寸的一半。其結(jié)果是，從所述擴(kuò)展得到的偽像可以被更加均勻地散布。當(dāng)偏移多視圖(例如三個視圖)內(nèi)容時，有可能保留中心圖像并且分別偏移及擴(kuò)展左、右圖像。本領(lǐng)域技術(shù)人員將清楚，前面的偏移視差范圍的方式可以隨后被擴(kuò)展到進(jìn)一步的多視像以及擴(kuò)展到任何適當(dāng)數(shù)量的圖像偏移，從而在其間得到相同的相對偏移數(shù)量。在適配輸入三維視頻信號時有幾種選項(xiàng)可用，例如第一選項(xiàng)是僅僅使用裁剪?？紤]一個立體視頻信號，在該情況中有可能把視頻信號中的左、右圖像裁剪相同的數(shù)量。如果圖像的寬高比不是問題，則經(jīng)過裁剪的視圖不需要擴(kuò)展而可以被原樣使用。這樣做的優(yōu)點(diǎn)在于不需要擴(kuò)展，因此不會引入擴(kuò)展偽像。第二選項(xiàng)是按照前面所描述的那樣使用裁剪和擴(kuò)展。考慮立體視頻信號，在該情況中有可能把視頻信號中的左、右圖像裁剪相等的數(shù)量并且隨后擴(kuò)展對應(yīng)的視圖，正如圖3中所給出的那樣。使用擴(kuò)展的優(yōu)點(diǎn)在于可以保留輸入三維視頻信號的寬高比。應(yīng)當(dāng)提到的是，前面的選項(xiàng)列表并不是窮舉性的。圖4給出了根據(jù)本發(fā)明的用于處理包括多個視圖的輸入三維視頻信號的方法400 的流程圖。所述方法包括用于確定405遠(yuǎn)離視差估計和接近視差估計的步驟，其中遠(yuǎn)離視差估計表明輸入三維視頻信號的最大視差值，接近視差估計表明對應(yīng)于輸入三維視頻信號內(nèi)的一個空間區(qū)段的最小視差值。如前所述，對應(yīng)的視差估計可以是基于元數(shù)據(jù)，或者替代地可以是基于輸入三維視頻信號的圖像內(nèi)容而確定的。所述方法還包括以下步驟通過借助于根據(jù)遠(yuǎn)離視差估計的視差偏移向后偏移輸入三維視頻信號來適配410三維視頻信號，以及基于接近視差估計和視差偏移在經(jīng)過偏移的三維視頻信號的所述空間區(qū)段內(nèi)生成415疊加。優(yōu)選地，所述方法還包括在經(jīng)過偏移的三維視頻信號上疊加420所述疊加的步
馬聚ο如前所述，適配輸入三維視頻信號的步驟可以包括用于裁剪425以及利用填充像素擴(kuò)展430對應(yīng)的視圖的步驟，以便獲得經(jīng)過更改的視差范圍。在立體信號的情況下，對一個或者優(yōu)選的是全部兩個視圖進(jìn)行裁剪并且隨后進(jìn)行擴(kuò)展。對于N視圖的多視像(其中N是偶數(shù))，對N-I或者優(yōu)選的是N個視圖進(jìn)行裁剪及擴(kuò)展，正如前面所描述的那樣。圖5A給出了根據(jù)本發(fā)明的用于處理包括多個視圖的輸入三維視頻信號的系統(tǒng) 500。系統(tǒng)500包括用于確定遠(yuǎn)離視差估計和接近視差估計的視差確定器505，其中遠(yuǎn)離視差估計表明輸入三維視頻信號的最大視差值，接近視差估計表明輸入三維視頻信號內(nèi)的空間區(qū)段的最小視差值。如前所述，視差確定器505可以被實(shí)施為視差估計器。所述系統(tǒng)還包括視差偏移器510，其被設(shè)置成用于通過借助于根據(jù)遠(yuǎn)離視差估計的視差偏移向后偏移三維視頻信號來適配所述三維視頻信號。所述系統(tǒng)500還包括疊加發(fā)生器515，其被設(shè)置成基于接近視差估計和視差偏移在經(jīng)過偏移的三維視頻信號的疊加安全區(qū)域內(nèi)生成疊加。優(yōu)選地，系統(tǒng)500還包括視頻混合器520，其被設(shè)置成在經(jīng)過偏移的三維視頻信號上疊加所述疊加。如圖5A中所示的系統(tǒng)500可以被實(shí)施在個人計算機(jī)或者其他計算平臺上以用于對內(nèi)容進(jìn)行離線處理。或者，其可以被例如實(shí)施在能夠進(jìn)行藍(lán)光盤重放的設(shè)備中或者被實(shí)施在機(jī)頂盒或3D電視中。圖5B示出了根據(jù)本發(fā)明的另一種系統(tǒng)500，其中所述系統(tǒng)被分割在分析設(shè)備502 和合成設(shè)備503中，這兩個設(shè)備組合實(shí)施在如圖5A給出的系統(tǒng)500中發(fā)現(xiàn)的功能。應(yīng)當(dāng)提到的是，例如可以通過使用如前所述的對于輸入三維視頻信號的粗粒度視差分析來確定遠(yuǎn)離和接近視差估計，或者可以通過使用提供在輸入三維視頻信號中的元數(shù)據(jù)來確定。在一個實(shí)施例中，對于每一幀或者每一組幀將字幕的深度和/或平行視差作為元數(shù)據(jù)與視頻一起提供。電影的制作者或者后期制作人員可以通過著作工具來產(chǎn)生這些元數(shù)據(jù)。字幕的深度和/或平行視差被用來將字幕定位在背景視頻前方的相應(yīng)深度或平行視差處。現(xiàn)在將詳細(xì)闡述在3D視頻信號中提供深度元數(shù)據(jù)。應(yīng)當(dāng)提到的是，深度元數(shù)據(jù)是描述3D視頻信號中的深度信息的屬性的任何數(shù)據(jù)。對于這里所描述的系統(tǒng)，至少將接近值包括在深度元數(shù)據(jù)中，其表明最接近用戶的視頻數(shù)據(jù)的深度，即在3D顯示器上正確顯示時的3D視頻中最靠近觀看者的元素。前面描述的接近視差估計和字幕的所述深度和/或平行視差就是接近值的實(shí)例。圖6示出了一種用于顯示三維(3D)圖像數(shù)據(jù)的系統(tǒng)，比如視頻、圖形或其他視覺信息。3D來源設(shè)備40將3D視頻信號41傳送到目的設(shè)備50，所述目的設(shè)備耦合到3D顯示設(shè)備60以用于傳送3D顯示信號56。3D目的設(shè)備具有用于接收3D視頻信號的輸入單元 51。舉例來說，所述設(shè)備可以包括光盤單元58，其耦合到輸入單元以便從例如DVD或藍(lán)光盤之類的光學(xué)記錄載體M獲取3D視頻信息?；蛘撸鲈O(shè)備可以包括網(wǎng)絡(luò)接口單元59，其用于耦合到例如因特網(wǎng)或廣播網(wǎng)的網(wǎng)絡(luò)45，這樣的目的設(shè)備通常被稱作機(jī)頂盒?？梢詮睦鐏碓丛O(shè)備40的遠(yuǎn)程媒體服務(wù)器獲取3D視頻信號。所述目的設(shè)備還可以是衛(wèi)星接收器或媒體播放器。3D來源設(shè)備具有處理單元42，其用于確定表明出現(xiàn)在3D視頻數(shù)據(jù)30中的深度的深度元數(shù)據(jù)。3D視頻數(shù)據(jù)可以從存儲裝置、從3D攝影機(jī)等處獲得。深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，即在3D顯示器上正確顯示時的3D視頻中的與觀看者最靠近的元素。前面已經(jīng)對于多視圖數(shù)據(jù)討論了確定諸如視差值之類的深度元數(shù)據(jù)以及接近值的實(shí)例(例如表明輸入三維視頻信號內(nèi)的空間區(qū)段的最小視差值的接近視差估計 (A))。所述處理單元生成包括3D視頻數(shù)據(jù)的3D視頻信號，并且將深度元數(shù)據(jù)包括在3D視頻信號中。3D來源設(shè)備可以是服務(wù)器、廣播設(shè)備、記錄設(shè)備或者用于制造藍(lán)光盤之類的記錄載體的著作和/或制作系統(tǒng)。藍(lán)光盤支持用于內(nèi)容創(chuàng)作者的交互式平臺。其支持兩層圖形疊加以及兩個可編程環(huán)境集合以供著作者從中選擇。對于3D立體視頻存在許多格式。 主要的格式有立體和圖像加深度格式。其中又有許多可能的方式來可對內(nèi)容進(jìn)行格式化， 以便適于與新的和已有的3D顯示器和分發(fā)格式一起使用。這對于如何擴(kuò)展藍(lán)光盤標(biāo)準(zhǔn)中的圖形系統(tǒng)以使其適于與特定3D視頻格式相組合方面也有影響?？梢詮乃{(lán)光盤聯(lián)盟的網(wǎng)站上的一篇關(guān)于視聽?wèi)?yīng)用格式的文章中獲得關(guān)于藍(lán)光盤格式的更多信息。http://WWW. blu-raydisc. com/Assets/Downloadablefile/2b—bdrom—audiovisualapplication_0305_ U955-15269.pdf。因此，可以包括輔助數(shù)據(jù)以便在各個呈現(xiàn)階段添加。所述制作處理還包括以下步驟導(dǎo)出具體實(shí)現(xiàn)包括深度元數(shù)據(jù)的3D視頻信號的軌道中的標(biāo)記的物理模式，以及隨后對記錄載體的材料進(jìn)行整形以便在至少一個存儲層上提供所述標(biāo)記軌道。3D目的設(shè)備具有處理單元52，其耦合到輸入單元51以用于處理3D信息，從而生成將通過輸出接口單元55被傳送到顯示設(shè)備的3D顯示信號56，所述顯示信號例如是根據(jù) HDMI + 示}H白勺H示號，參見可以在 http://hdmi. org/manufacturer/specification. aspx 處獲得的“High Definition Multimedia Interface； Specification Version 1. 3a of Nov 10 2006”。處理單元52被設(shè)置成用于生成包括在3D顯示信號56中的圖像數(shù)據(jù)以供顯示在顯示設(shè)備60上。所述目的設(shè)備具有輔助處理單元53以用于提供將在3D顯示器上與3D視頻數(shù)據(jù)相組合的輔助數(shù)據(jù)。輔助數(shù)據(jù)可以是將在目的設(shè)備中與3D視頻內(nèi)容本地組合的任何附加的圖形圖像數(shù)據(jù)，比如字幕、廣播設(shè)備的徽標(biāo)、菜單或系統(tǒng)消息、錯誤代碼、新聞快訊、滾動文本區(qū)、諸如評論之類的另一個3D流等等。在下面的文字中，通常將把字幕用作表明每一種類型的輔助數(shù)據(jù)。3D顯示設(shè)備60用于顯示3D圖像數(shù)據(jù)。所述設(shè)備具有輸入接口單元61，其用于接收從目的設(shè)備50傳送來的包括3D視頻數(shù)據(jù)和輔助數(shù)據(jù)的3D顯示信號56。所傳送的3D視頻數(shù)據(jù)在處理單元62中被處理，以便在例如雙IXD或雙凸透鏡式IXD之類的3D顯示器63 上顯示。顯示設(shè)備60可以是任何類型的立體顯示器，其也被稱作3D顯示器，并且具有由箭頭64所示的顯示深度范圍。或者，在顯示設(shè)備的一個實(shí)施例中執(zhí)行用于提供及定位輔助數(shù)據(jù)的處理。通過顯示信號56傳送3D視頻數(shù)據(jù)以及可選的輔助數(shù)據(jù)。還可以在顯示設(shè)備中本地生成例如菜單之類的輔助數(shù)據(jù)。處理單元62現(xiàn)在執(zhí)行在3D顯示器上將輔助數(shù)據(jù)與3D視頻數(shù)據(jù)相組合的功能。處理裝置62可以被設(shè)置成用于目的設(shè)備中的處理裝置52、53的如下所述的相應(yīng)功能。在另一個實(shí)施例中，目的設(shè)備和顯示設(shè)備被集成在單個設(shè)備中，其中單個處理裝置集合執(zhí)行所述功能。圖6還示出了作為3D視頻信號的載體的記錄載體M。所述記錄載體呈圓盤狀并且具有軌道和中心孔。所述軌道由一系列物理可檢測的標(biāo)記構(gòu)成，其根據(jù)螺旋或同心圓圈的模式而被設(shè)置，構(gòu)成信息層上的基本上平行的軌道。所述記錄載體可以是光學(xué)可讀的，其被稱作光盤，例如CD、DVD、BD (藍(lán)光盤)。通過沿著軌道的光學(xué)可檢測標(biāo)記在信息層上表示信息，所述標(biāo)記比如是坑和平臺。所述軌道結(jié)構(gòu)還包括位置信息，例如報頭和地址，其用于表示通常被稱作信息塊的信息單元的位置。記錄載體M攜帶以預(yù)定義的記錄格式(例如 DVD或BD格式)表示視頻之類的數(shù)字已編碼(例如根據(jù)MPEG2或MPEG4編碼系統(tǒng)被編碼)圖像數(shù)據(jù)的信息。目的設(shè)備中的處理裝置52、53被設(shè)置成用于執(zhí)行下面的功能。3D視頻信號由接收裝置51、58、59接收。3D視頻信號包括3D視頻數(shù)據(jù)和表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，正如前面所描述的那樣。處理裝置52、53被設(shè)置成用于從3D視頻信號獲取深度元數(shù)據(jù)、提供輔助數(shù)據(jù)以及根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)，從而避免由所述最接近視頻數(shù)據(jù)遮蔽輔助數(shù)據(jù)。將3D圖形疊加在3D視頻上的一個問題是關(guān)于在重放設(shè)備中不知道背景中的立體 3D視頻的Z范圍的情況下如何在3D空間內(nèi)定位圖形疊加。對于立體格式的立體3D視頻通常就是這種情況。能夠解決這一問題的方式高度依賴于所使用的3D視頻的格式以及如何將組合的視頻與圖形發(fā)送到3D顯示設(shè)備。使用元數(shù)據(jù)來合成3D圖像可以是基于包括幾何結(jié)構(gòu)、照明等等的完整3D模型，以便允許正確地合成立體圖像。這種方法提供了一種在后期制作階段、在著作環(huán)境中合成3D 圖像的機(jī)制。但是完全3D模型的問題在于其需要大量數(shù)據(jù)，這是因?yàn)閷τ趫D像中的每一個像素都提供3D信息。當(dāng)應(yīng)對必須在消費(fèi)設(shè)備(比如藍(lán)光盤播放器或機(jī)頂盒)中被合成在立體視頻上的實(shí)時生成的立體圖像時，這樣的方法不太可行。現(xiàn)在提出給作為動態(tài)輔助數(shù)據(jù)的背景的3D視頻數(shù)據(jù)提供深度元數(shù)據(jù)，從而例如可以把實(shí)時生成的圖形合成到該視頻背景上。在一個實(shí)施例中，對于每一幀或者畫面組(G0P)，將深度元數(shù)據(jù)添加到3D視頻信號中。該深度元數(shù)據(jù)可以包括單個字節(jié)的數(shù)據(jù)，其值表明立體視頻背景的左、右視圖之間的最接近視差?；蛘?，該深度元數(shù)據(jù)值可以表明任何圖形疊加的視差，從而如果播放器合成實(shí)時生成的圖形，其應(yīng)當(dāng)將所述圖形定位在如元數(shù)據(jù)中所表明的視差處。所提出的深度元數(shù)據(jù)可以包括每幀或每GOP —個字節(jié)。如果為每一幀添加一個字節(jié)，則對于一部兩小時的立體電影，這需要173KB的數(shù)據(jù)，這是合理的。每畫面組的使用將把其減小到(對于1秒鐘的Gop長度)72KB的數(shù)據(jù)。由于尺寸有限，因此可以把深度元數(shù)據(jù)擴(kuò)展成包括另外的與3D有關(guān)的字段。將要解決的另一個問題是如何把深度元數(shù)據(jù)包括在分發(fā)格式中，從而可以按照兼容的方式包括深度元數(shù)據(jù)，并且其允許播放器實(shí)際能夠?qū)⑵溆糜趯?shí)時合成?，F(xiàn)在將描述包括元數(shù)據(jù)的幾種方式。
目的設(shè)備將裝備有所謂的“Ζ”合成器，其可以將立體圖形疊加在立體視頻上。舉例來說，“Ζ”合成器被包括在處理單元52中。“Ζ”合成器解釋深度元數(shù)據(jù)并且從中確定3D 空間內(nèi)的輔助數(shù)據(jù)在視頻之上的定位。在一個實(shí)施例中，“Ζ”合成器是如在現(xiàn)有技術(shù)中提到的基于完全3D模型的“Ζ”合成器的簡化版本。所述版本不需要視頻和圖形的完全幾何模型，而是僅僅使用表明立體視頻的深度或視差范圍的一個字節(jié)，并且將其用于輔助數(shù)據(jù)的疊加。關(guān)于存儲元數(shù)據(jù)，在一個實(shí)施例中，根據(jù)MPEG4之類的預(yù)定義的標(biāo)準(zhǔn)傳輸格式將視頻背景的深度元數(shù)據(jù)包括在用戶數(shù)據(jù)消息中，例如H. 264已編碼流的信令基本流信息(SEI)消息。所述方法的優(yōu)點(diǎn)在于其與依賴于H. 264/AVC編解碼標(biāo)準(zhǔn)(例如參見ITU-T H. 264和IS0/IEC MPEG-4 AVC,即IS0/IEC 14496-10標(biāo)準(zhǔn))的所有系統(tǒng)兼容。新的編碼器 /解碼器可以實(shí)施新的SEI消息，而已有的編碼器/解碼器將簡單地將其忽略。圖7示出了私有用戶數(shù)據(jù)SEI消息中的深度元數(shù)據(jù)。示意性地示出了 3D視頻流71。所述流中的一個元素是用以向解碼器表明流參數(shù)的信令，即所謂的信令基本流信息 (SEI)消息72。更具體來說，深度元數(shù)據(jù)73可以被存儲在用戶數(shù)據(jù)容器中。所述深度元數(shù)據(jù)可以包括深度值、視差值或者深度信息的任何其他表示。圖8示出了 3D視頻信號中的深度元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。該圖中示出的表定義了視頻流中的對應(yīng)的控制數(shù)據(jù)分組的句法，特別是G0P_StrUCtUre_map ()。所述數(shù)據(jù)結(jié)構(gòu)定義了深度元數(shù)據(jù)81的各個字段，即定義遠(yuǎn)離值的Vide0_max_diSparity和定義接近值的Video_ mirudisparity ；針對定義視差值還參見圖1。應(yīng)當(dāng)提到的是，視頻最小視差(Vide0_min_ disparity)字段表示3D空間內(nèi)朝向觀看者的最接近對象，并且可以被用來確定將在何處疊加諸如字幕之類的任何圖形，視頻最大視差(Vide0_max_diSparity)則表示視頻中最遠(yuǎn)離觀看者的對象的視差。應(yīng)當(dāng)提到的是，公共領(lǐng)域內(nèi)的一些文獻(xiàn)將最大視差值定義為代表最接近的對象；對于這樣的定義，視差值的符號應(yīng)當(dāng)被反轉(zhuǎn)。不管所述定義如何，在屏幕深度處的視差是零。圖9示出了記錄載體上的3D視頻信號中的深度元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。對于藍(lán)光盤之類的記錄載體上的視頻數(shù)據(jù)，可以提供進(jìn)入點(diǎn)圖，其表明允許在進(jìn)入點(diǎn)處開始呈現(xiàn)視頻的各個進(jìn)入點(diǎn)?？梢酝ㄟ^添加深度元數(shù)據(jù)來擴(kuò)展進(jìn)入點(diǎn)圖數(shù)據(jù)結(jié)構(gòu)，所述深度元數(shù)據(jù)定義在進(jìn)入點(diǎn)處開始的3D視頻數(shù)據(jù)片段的深度值，并且例如直到下一個進(jìn)入點(diǎn)之前都有效。特別對于藍(lán)光盤標(biāo)準(zhǔn)，所述元數(shù)據(jù)被存儲在如圖中所示的EP圖中。所述EP圖包括表，該表保持對于流中的所有有效解碼訪問點(diǎn)(即可以在該處開始解碼的點(diǎn))的進(jìn)入。或者，所述元數(shù)據(jù)被提供為基于XML的描述，該描述在MPEG-2傳輸流的數(shù)據(jù)輪轉(zhuǎn)中被傳輸。同樣也在該MPEG傳輸流中發(fā)送的交互式TV應(yīng)用可以利用該基于XML的描述來確定如何將立體圖形合成到視頻上?；蛘?，可以作為針對播放列表的擴(kuò)展來提供元數(shù)據(jù)。在另一項(xiàng)改進(jìn)中，所述元數(shù)據(jù)被擴(kuò)展成包括最小和最大視差范圍。這將允許疊加多個平面的視頻和圖形。在意在疊加諸如字幕之類的文本的另一項(xiàng)改進(jìn)中，重放設(shè)備把深度元數(shù)據(jù)的視差范圍的最大值存儲在專用寄存器中。其隨后使用最接近值來確定將要疊加字幕的深度(或視差)。被保持在該寄存器中的值只隨著時間逐漸改變。這就確保字幕不會一直改變深度， 因?yàn)檫@樣可能會導(dǎo)致觀眾的眼睛疲勞。
深度元數(shù)據(jù)的另一項(xiàng)擴(kuò)展是在視頻幀中定義幾個區(qū)段，并且特別為該區(qū)段指定深度元數(shù)據(jù)值。在一個實(shí)施例中，如下執(zhí)行選擇區(qū)段。將顯示區(qū)域細(xì)分成多個區(qū)段。對于每一個區(qū)段執(zhí)行檢測深度元數(shù)據(jù)。舉例來說，將幀區(qū)域分成2個或更多區(qū)段(例如水平條帶)， 并且對于每一個區(qū)段將最小和最大深度添加到流中。這樣就為圖形疊加給出自由度，因?yàn)楝F(xiàn)在還可以根據(jù)區(qū)段來定位所述圖形疊加。區(qū)段深度元數(shù)據(jù)可以是基于對多個區(qū)段的深度值的空間過濾，所述空間過濾是根據(jù)取決于區(qū)段的空間過濾器功能進(jìn)行的。在一個實(shí)例中，顯示區(qū)域被分成各個貼片。在每一個貼片中單獨(dú)計算最大深度。在該例中，輔助數(shù)據(jù)可以處于特定深度，即使不同區(qū)段中的另一個對象的深度與觀看者靠近得多也是如此。這樣還允許將字幕合成在例如不同于彈出菜單的區(qū)域和視差上。所述“Z”合成器和所存儲的數(shù)據(jù)量被擴(kuò)展以容許應(yīng)對各個區(qū)段。在用于存儲元數(shù)據(jù)的一個替換實(shí)施例中，每GOP的SEI消息包含各個輸出平面的視差或偏置值列表以及視差或偏置方向指標(biāo)。所述視差或偏置值表示立體輸出的左、右輸出平面之間的像素偏移，并且所述方向指標(biāo)表明所述像素偏移是向左還是向右。像素偏移是當(dāng)左輸出平面中的位置X處的相應(yīng)像素在右輸出平面中被偏移到x+η或x-n。該偏置值列表可以被用于各種目的。一般來說，這樣的偏置值被用于在立體視頻背景上疊加2D單視形。在這種情況下，偏置值η被用來偏移2D圖像中的像素從而產(chǎn)生第二圖像，以便疊加在立體視頻背景的第二視圖(“R”)上，而所述2D圖像則被疊加在立體視頻背景的第一視圖(“L”)上。發(fā)明人認(rèn)識到，這樣的具有方向指標(biāo)的偏置值列表還可以被用來表示視頻背景的最大和/或最小視差。舉例來說，其平面偏置方向表明在第二(“R”)平面中向像素左側(cè)偏移的平面偏置值=x表明Vide0_max_diSparity，并且其平面偏置方向指標(biāo)表明在第二 (“R”)平面中向像素右側(cè)偏移的平面偏置值=y表明videojnirudisparity。因此提出在所述表中包括附加的信令，其列出重放設(shè)備在呈現(xiàn)期間能夠從中選擇的可播放流。所述附加信令表明列表中所嵌入的哪些偏置值(其被嵌入在相關(guān)的流的SEI消息中)應(yīng)當(dāng)被用來以信號在輸出上表明立體圖像的最大和/或最小視差。圖11示出了這樣的信令的一個實(shí)例。 圖11
—其唣字段.JΓ1
—其他字g n—
for (primary....vicieo. stream^ id"0; primary.....video jitrearn^ id< η umberof—primary—video jaream ___entrics[ pi Jd J; primary video stream, id 十+t {
_MVC _ Dependent^vicw…video^ stream—CTtryQ }___
_— lift字段 1.......... ‘_—
“%他字段..η
_video 國謹(jǐn)！ disparity—offset .sequence..id S υ ηιφ
_video 國indisparity—offset.一seqiienceid__H iiimsbf

I
I
‘其他字段 J—
“其吔字段
15
使用深度元數(shù)據(jù)的系統(tǒng)需要創(chuàng)建元數(shù)據(jù)并分發(fā)所述數(shù)據(jù)，而且最后需要一個所謂的“Z”合成器來讀取元數(shù)據(jù)以及將輔助數(shù)據(jù)合成在3D視頻之上，例如將立體圖形合成在立體視頻之上。視差估計器和元數(shù)據(jù)編碼器確定視頻內(nèi)容中的一幀的最小和/或最大視差， 并且在分發(fā)通道中對其進(jìn)行編碼。對于藍(lán)光盤來說，其可以直接在已編碼流中處于EP圖或 SEI消息中，正如前面所描述的那樣。EP圖通常在特技播放期間被使用，其允許播放器快速跳躍到流中的正確位置以便開始解碼下一幀。我們用深度元數(shù)據(jù)來擴(kuò)展該表。圖9示出了該表的簡化版本，其中利用攜帶與訪問點(diǎn)相關(guān)聯(lián)的任何元數(shù)據(jù)的元數(shù)據(jù)字段對其進(jìn)行了擴(kuò)展。圖IOa示出了攜帶深度元數(shù)據(jù)的元數(shù)據(jù)字段的格式。其中有兩個字段92，其中一個包含訪問點(diǎn)的最大深度范圍值，另一個是被用來攜帶偏置的可選字段。對于正確的疊加來說，圖形的深度應(yīng)當(dāng)比d印th_max值更接近。圖IOb示出了攜帶視差數(shù)據(jù)的元數(shù)據(jù)字段的格式。視差數(shù)據(jù)93是深度元數(shù)據(jù)的一種替換版本，其提供最小和最大視差范圍或值，這允許疊加多個平面的視頻。應(yīng)用本發(fā)明的系統(tǒng)需要有用來創(chuàng)建元數(shù)據(jù)、用來分發(fā)所述數(shù)據(jù)的裝置，并且在目的地處需要有所謂的“Z” 合成器來讀取元數(shù)據(jù)并且將立體圖形合成在立體視頻之上。目的設(shè)備處的視頻數(shù)據(jù)處理如下。為了進(jìn)行解碼，“Z”合成器確定將要在該處疊加圖形的幀。其隨后讀取該幀的“深度”或視差元數(shù)據(jù)，或者如果該數(shù)據(jù)不可用的話，其使用與最接近I幀(或進(jìn)入點(diǎn))相關(guān)聯(lián)的值。在下一步驟中，其確定左、右圖形圖像之間的視差是否大于(即具有更大負(fù)值)或等于視頻背景圖像的視差。如果立體圖形的視差大于或等于在視頻元數(shù)據(jù)中所表明的值，則Z合成器就把左、右圖形圖像合成到左、右視頻幀上。如果所述視差更小，則輔助數(shù)據(jù)更加遠(yuǎn)離，并且“Z”合成器通過執(zhí)行線性偏移來調(diào)節(jié)立體圖形圖像的視差，以便將圖形的視差與深度元數(shù)據(jù)中表明的值相匹配。或者，當(dāng)僅有單個圖形可用時，“Z”合成器將所述圖形合成在左視頻幀上并且將所述圖形合成在右視頻幀上但是水平向右偏移。偏移的數(shù)量取決于“深度”或視差元數(shù)據(jù)的值。應(yīng)當(dāng)提到的是，獲得所期望的平行視差所需的偏移取決于一些參數(shù)，比如觀眾到顯示器的觀看距離。當(dāng)作為像素數(shù)計算偏移時，必須知道觀眾的顯示器的寬度和分辨率。這些參數(shù)也可以作為一個選項(xiàng)被包括到“深度”元數(shù)據(jù)中。在一個實(shí)施例中使用標(biāo)準(zhǔn)化或參考設(shè)置，其中例如顯示器具有1米的寬度并且觀眾坐在與顯示器相距4米處。在實(shí)際的實(shí)施例中，字幕被疊加在3D內(nèi)容上。主要內(nèi)容作為立體(左/右)圖像存在；字幕也作為圖像存在。該實(shí)施例也可以根據(jù)適當(dāng)?shù)拿枋龀尸F(xiàn)字幕。該實(shí)施例使用以下步驟
-對于3D視頻的對應(yīng)時段，從與3D視頻信號一起傳送的元數(shù)據(jù)中獲取視差。在感興趣的區(qū)段和/或時段內(nèi)，從元數(shù)據(jù)獲取最接近視差?？梢詫ψ钚∫暡盍斜響?yīng)用過濾以便確定經(jīng)過過濾后的視差。-將輔助數(shù)據(jù)定位在經(jīng)過過濾的視差處，例如利用等于經(jīng)過過濾的視差的左、右之間的像素位移將字幕混合在左、右圖像之上。-如果字幕是預(yù)先呈現(xiàn)的，則使用常規(guī)的α混合。如果字幕以文本格式存在，則利用子像素精度對其進(jìn)行呈現(xiàn)。-可以應(yīng)用較小偏置(通常是一個像素)以便生成最前方對象與字幕之間的較小深度范圍。應(yīng)當(dāng)提到的是，前面的方法允許通過選擇其中沒有大于輔助深度值的深度值出現(xiàn)的一個區(qū)段的圖像數(shù)據(jù)來選擇目標(biāo)區(qū)段。此外，所述選擇可以包括選擇時間段來顯示輔助數(shù)據(jù)，從而使得在該目標(biāo)區(qū)段內(nèi)，沒有出現(xiàn)大于輔助深度值的深度值。舉例來說，可以對字幕的呈現(xiàn)進(jìn)行延遲或偏移，以便允許位于更前方的對象消失。在一個實(shí)施例中，確定深度模式包括檢測多個視頻內(nèi)容幀中的深度值，并且根據(jù)時間過濾器函數(shù)對深度值進(jìn)行時間過濾。舉例來說，可以考慮其中將要顯示字幕本身的時間段或者略微更長的時段，以避免出現(xiàn)與字幕過于鄰近或者處于其更前方的對象。顯示字幕的時段通常在顯示信號中被表明。具體來說，確定深度模式可以包括基于檢測到多個視頻內(nèi)容幀中的鏡頭邊界來為所述時間過濾器函數(shù)設(shè)定時間窗口。這可以如下實(shí)現(xiàn)。從左圖像或右圖像計算鏡頭邊界。通過利用圖像的顏色直方圖檢測到圖像內(nèi)容的較大改變來找到鏡頭的起始圖像。根據(jù)前面檢測到的鏡頭剪切，對于所述鏡頭檢測到最小視差列表。隨后對于每一個鏡頭利用適當(dāng)?shù)臅r間窗口函數(shù)(其實(shí)例見后)對最小視差列表進(jìn)行過濾。窗口函數(shù)是在某一選擇的區(qū)間之外被零值化的函數(shù)。舉例來說，在所述區(qū)間內(nèi)部恒定并且在別處為零的函數(shù)被稱作矩形窗口，其描述了其圖形表示的形狀。將圖像信號(數(shù)據(jù))乘以所述窗口函數(shù)，并且在所述區(qū)間之外也將乘積零值化。通過對每一個鏡頭進(jìn)行單獨(dú)過濾確保只有來自該鏡頭內(nèi)的值被使用。因此，如果感興趣區(qū)段內(nèi)的最前方對象的視差發(fā)生跳躍，則輔助圖形數(shù)據(jù)的深度值也被允許在鏡頭剪切處跳躍，但是不允許在鏡頭內(nèi)跳躍。作為一種替換方案，可以對鏡頭之間的深度放置進(jìn)行過濾，從而允許鏡頭邊界處的平滑的過渡。為了選擇窗口函數(shù)，該實(shí)施例使用Harm窗口函數(shù)，但是例如矩形窗口函數(shù)之類的
其他窗口函數(shù)同樣適用。Harm函數(shù)是以奧地利氣象學(xué)家Julius von Harm命名的，其是由
下式給出的離散概率質(zhì)量函數(shù)
權(quán)利要求
1.一種提供三維(3D)視頻信號以便傳送到3D目的設(shè)備的方法， 所述方法包括-確定表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值；-生成包括3D視頻數(shù)據(jù)的3D視頻信號；以及 -將深度元數(shù)據(jù)包括在3D視頻信號中， 以便允許3D目的設(shè)備 -獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其中，所述深度元數(shù)據(jù)包括表明出現(xiàn)在3D視頻數(shù)據(jù)中的與用戶最遠(yuǎn)離的深度的遠(yuǎn)離值，以便允許3D目的設(shè)備-將輔助深度設(shè)定成與接近值相比更加遠(yuǎn)離用戶；以及-在離開用戶的方向上對3D視頻數(shù)據(jù)施加偏移，以便將所述最接近視頻數(shù)據(jù)偏移到與輔助深度相比更加遠(yuǎn)離用戶的深度，所述偏移基于遠(yuǎn)離值而被最大化。
3.如權(quán)利要求2所述的方法，其中，所述偏移是基于3D視頻數(shù)據(jù)中的多個視圖當(dāng)中的相鄰視圖之間的預(yù)定最大視差值的視差偏移，所述預(yù)定最大視差值取決于以下各項(xiàng)的至少其中之一-所選目距值； -安全余量(M)； -用戶定義的最大視差值。
4.如權(quán)利要求1所述的方法，其中，所述接近值是視差值。
5.如權(quán)利要求1所述的方法，其中，3D視頻信號包括被設(shè)置成根據(jù)預(yù)定義標(biāo)準(zhǔn)傳送解碼信息的已編碼視頻數(shù)據(jù)流，并且所述將深度元數(shù)據(jù)包括在3D視頻信號中的做法包括將深度元數(shù)據(jù)包括在以下各項(xiàng)的至少其中之一內(nèi)-用戶數(shù)據(jù)消息； -信令基本流信息(SEI)消息； -進(jìn)入點(diǎn)表； -基于XML的描述。
6.如權(quán)利要求1所述的方法，其中，所述深度元數(shù)據(jù)包括表明出現(xiàn)在3D視頻數(shù)據(jù)的某時段內(nèi)的深度的數(shù)據(jù)，所述時段為畫面組、鏡頭和鏡頭組的其中之一。
7.如權(quán)利要求1所述的方法，其中，所述深度元數(shù)據(jù)包括表明出現(xiàn)在3D視頻數(shù)據(jù)的至少一個空間區(qū)段內(nèi)的深度的數(shù)據(jù)。
8.如權(quán)利要求1所述的方法，其中，所述方法包括制造記錄載體的步驟，所述記錄載體配備有代表3D視頻信號的標(biāo)記的軌道。
9.一種用于提供三維(3D)視頻信號(41)以便傳送到3D目的設(shè)備(50)的3D來源設(shè)備(40)，所述來源設(shè)備包括用于執(zhí)行以下步驟的處理裝置(42)-確定表明出現(xiàn)在3D視頻數(shù)據(jù)(30)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值；-生成包括3D視頻數(shù)據(jù)的3D視頻信號；以及 -將深度元數(shù)據(jù)包括在3D視頻信號中， 以便允許3D目的設(shè)備 -獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。
10.一種用于接收三維(3D)視頻信號的3D目的設(shè)備(50)，所述設(shè)備包括用于接收3D視頻信號的接收裝置(51，58，59 )，所述3D視頻信號包括3D視頻數(shù)據(jù)和表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，以及用于執(zhí)行以下步驟的處理裝置(52，53) -從3D視頻信號獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。
11.如權(quán)利要求10所述的目的設(shè)備，其中，所述接收裝置包括用于讀取記錄載體以便接收3D視頻信號的裝置(58)。
12.如權(quán)利要求10所述的目的設(shè)備，其中，所述設(shè)備包括用于與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)的3D顯示裝置(63)。
13.如權(quán)利要求10所述的目的設(shè)備，其中，所述深度元數(shù)據(jù)包括表明出現(xiàn)在3D視頻數(shù)據(jù)中的與用戶最遠(yuǎn)離的深度的遠(yuǎn)離值，并且所述處理裝置(52，53)被設(shè)置成-將輔助深度設(shè)定成與接近值相比更加遠(yuǎn)離用戶；-在離開用戶的方向上對3D視頻數(shù)據(jù)施加偏移，以便將所述最接近視頻數(shù)據(jù)偏移到與輔助深度相比更加遠(yuǎn)離用戶的深度，所述偏移基于遠(yuǎn)離值而被最大化。
14.如權(quán)利要求13所述的設(shè)備，其中，所述處理裝置(52，53)被設(shè)置成 -檢測到遠(yuǎn)離值不允許用于容納輔助深度的偏移；-通過將3D視頻數(shù)據(jù)縮減到2D視頻并且對2D視頻施加基于根據(jù)接近值的視差值的水平偏移，生成至少左視圖和右視圖。
15.如權(quán)利要求10所述的設(shè)備，其中，所述輔助數(shù)據(jù)是二維(2D)數(shù)據(jù)，接近值是視差值，并且處理裝置(52，53)被設(shè)置成通過對2D輔助數(shù)據(jù)施加基于視差值的至少一個水平偏移而生成至少左輔助圖像和右輔助圖像。
16.一種用于向3D目的設(shè)備傳送3D視頻數(shù)據(jù)的三維(3D)視頻信號，該3D視頻信號包括3D視頻數(shù)據(jù)和表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值，以便允許3D目的設(shè)備-獲取深度元數(shù)據(jù)； -提供輔助數(shù)據(jù)；以及-根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度，以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)。
17.一種包括如權(quán)利要求16所述的三維(3D)視頻信號的記錄載體(54)。
18.一種用于提供三維(3D)視頻信號以便傳送到3D目的設(shè)備的計算機(jī)程序產(chǎn)品，所述程序操作使得處理器執(zhí)行如權(quán)利要求1到8當(dāng)中的任一項(xiàng)所述的方法的各個步驟。
全文摘要
提供了一種三維(3D)視頻信號(41)以便傳送到3D目的設(shè)備(50)。確定表明出現(xiàn)在3D視頻數(shù)據(jù)中的深度的深度元數(shù)據(jù)，所述深度元數(shù)據(jù)包括表明與用戶最接近的視頻數(shù)據(jù)的深度的接近值。包括3D視頻數(shù)據(jù)的3D視頻信號現(xiàn)在還包括深度元數(shù)據(jù)。使得3D目的設(shè)備(50)能夠獲取深度元數(shù)據(jù)、提供輔助數(shù)據(jù)以及根據(jù)所獲取的元數(shù)據(jù)將輔助數(shù)據(jù)定位在輔助深度以便與3D視頻數(shù)據(jù)相組合地顯示輔助數(shù)據(jù)，從而避免由所述最接近視頻數(shù)據(jù)遮蔽輔助數(shù)據(jù)以及/或者避免輔助數(shù)據(jù)的邊界處的干擾效應(yīng)。
文檔編號H04N13/00GK102474638SQ201080033593
公開日2012年5月23日 申請日期2010年7月20日 優(yōu)先權(quán)日2009年7月27日
發(fā)明者D. R. J. 博利奧 D., W. T. 范德海登 G., C. 塔爾斯特拉 J., J. M. 庫爾弗斯 M., S. 牛頓 P., H. A. 布魯爾斯 W., 德哈恩 W. 申請人:皇家飛利浦電子股份有限公司