系統(tǒng)，
圖5示出視頻數(shù)據(jù)和濾波器位置數(shù)據(jù)的示例，
圖6示出濾波器位置數(shù)據(jù)的示例，以及圖7示出濾波器選擇指示符的示例。
[0034]附圖純粹是示意性的并且未按照比例繪制。在附圖中，與已經(jīng)描述的元件對應(yīng)的元件可以具有相同參考標(biāo)號。
【具體實施方式】
[0035]本發(fā)明涉及在源側(cè)提供如下文進(jìn)一步描述的深度濾波數(shù)據(jù)并且將深度濾波數(shù)據(jù)傳遞到目標(biāo)側(cè)以用于通過在目標(biāo)處處理深度數(shù)據(jù)來增強3D效果。這樣的傳遞可以以各種方式執(zhí)行。例如，深度濾波數(shù)據(jù)可以包括在3D視頻信號自身中。而且，深度濾波數(shù)據(jù)可以作為單獨的信號但是使用相同傳遞介質(zhì)進(jìn)行傳遞。而且，深度濾波數(shù)據(jù)可以單獨傳遞，例如經(jīng)由互聯(lián)網(wǎng)，而主3D視頻數(shù)據(jù)以其它方式傳遞，例如經(jīng)由廣播或BD的3D版本。這樣的單獨傳遞使得能夠改進(jìn)觀看者已經(jīng)擁有的現(xiàn)有3D材料或者單獨地或在不同時間傳遞給觀看者的3D材料的3D質(zhì)量。從源向目標(biāo)傳遞視頻數(shù)據(jù)和深度濾波數(shù)據(jù)的任何方式可以被稱為傳遞視頻信號，并且視頻信號可以包含3D視頻分量中的一個或多個或者可以包括用于單獨傳遞相應(yīng)分量的不同信號。
[0036]根據(jù)所謂的3D視頻格式，存在其中可以格式化和傳遞用于3D視頻的視頻信號的許多不同方式。一些格式基于使用2D信道來同樣承載立體信息。在3D視頻信號中，圖像由二維像素陣列中的圖像值表示。例如，左和右視圖可以交錯或者可以在幀中并排或上下(在彼此的上面和下面)放置。而且，可以傳遞深度圖，并且可能地還有3D數(shù)據(jù)，比如遮擋或透明數(shù)據(jù)。在此文本中，視差圖也被視為深度圖的類型。深度圖同樣在對應(yīng)于圖像的二維陣列中具有深度值，盡管深度圖可以具有不同的分辨率。可以根據(jù)本身已知的壓縮方法壓縮3D視頻數(shù)據(jù)，例如MPEG。諸如互聯(lián)網(wǎng)或藍(lán)光盤(BD)之類的任何3D視頻系統(tǒng)可以從所提出的增強獲益。而且，在比如藍(lán)光播放器的3D源與比如3D顯示器或電視機的目標(biāo)設(shè)備(例如基于HDMI)之間傳遞的3D視頻信號可以得到增強。
[0037]3D顯示器可以是相對小的單元(例如移動電話)、要求快門眼鏡的大立體顯示器(STD)、任何立體顯示器(STD)、考慮到可變基線的高級STD、基于頭部追蹤將L和R視圖瞄準(zhǔn)到觀看者眼睛的主動式STD、或者自動立體多視圖顯示器(ASD)等。
[0038]通常，傳輸3D視頻需要多于一個視圖(相機信號)及其對應(yīng)深度的壓縮和傳輸，例如在 MPEG 文檔 N12036，2011 年 3 月，日內(nèi)瓦，瑞士 “Call for Proposals on 3D VideoCoding Technology ”中所討論的那樣。解碼器中的自動轉(zhuǎn)換(從立體自動得到深度)本身是已知的，例如從MPEG文檔M22668，2011年11月，日內(nèi)瓦，瑞士 “Descript1n of 3D VideoCoding Technology Proposal by Disney Research Zurich and Fraunhofer HHI，，得知。對于所述不同類型的顯示器，例如對于ASD和用于可變基線的高級STD，需要基于3D信號中的深度數(shù)據(jù)扭曲視圖。然而，基于各種類型的深度數(shù)據(jù)扭曲的視圖的質(zhì)量可能是受限制的。
[0039]視頻信號可以例如是針對3D增強的TV廣播信號，諸如使用HD幀兼容的標(biāo)準(zhǔn)立體傳輸、多視圖編碼(MVC)或幀兼容全分辨率(例如由DoIby實驗室有限公司提出的FCFR)。通過構(gòu)建在幀兼容基層上，Dolby開發(fā)了增強層以重創(chuàng)建全分辨率3D圖像。已經(jīng)向MPEG提出該技術(shù)以用于標(biāo)準(zhǔn)化并且其僅要求比特率方面的~10%的增加。傳統(tǒng)3D視頻信號通過如下文所闡述的深度濾波數(shù)據(jù)得到增強。
[0040]圖1示出用于處理3D視頻數(shù)據(jù)和顯示3D視頻數(shù)據(jù)的系統(tǒng)。被稱為視頻源設(shè)備40的第一視頻設(shè)備提供和傳遞視頻信號41到另外的圖像處理設(shè)備，其被稱為3D視頻目標(biāo)設(shè)備50，其耦合到3D顯示設(shè)備60以用于傳遞3D顯示信號56。
[0041]圖1還示出作為增強的視頻信號的載體的記錄載體54。記錄載體是盤形的并且具有軌道和中心孔。由物理可檢測標(biāo)記的圖案構(gòu)成的軌道依照匝的螺旋或同心圖案布置，這構(gòu)成一個或多個信息層上的基本上平行的軌道。記錄載體可以是光學(xué)可讀的，被稱為光盤，例如DVD或BD (藍(lán)光盤)。信息通過沿著軌道的可光學(xué)檢測標(biāo)記(例如凹陷或凸起)體現(xiàn)在信息層上。軌道結(jié)構(gòu)還包括位置信息，例如標(biāo)頭和地址，以用于指示通常被稱為信息塊的信息單元的位置。記錄載體54承載以比如DVD或BD格式的預(yù)定義的記錄格式表示例如根據(jù)MPEG2或MPEG4編碼系統(tǒng)編碼的數(shù)字編碼3D圖像數(shù)據(jù)(比如視頻)的信息。
[0042]源設(shè)備具有用于處理經(jīng)由輸入單元47接收的3D視頻數(shù)據(jù)的源深度處理器42。輸入3D視頻數(shù)據(jù)43可以從存儲系統(tǒng)、記錄工作室、從3D相機等可得到。源系統(tǒng)可以處理被提供用于3D圖像數(shù)據(jù)的深度圖，所述深度圖可以原始存在于系統(tǒng)的輸入處，或者可以由如下文所描述的高質(zhì)量處理系統(tǒng)例如從立體(L+R)視頻信號中的左/右?guī)驈?D視頻自動生成，并且可能被進(jìn)一步處理或修正以提供精確表示對應(yīng)于隨附2D圖像數(shù)據(jù)或左/右?guī)纳疃戎档脑瓷疃葓D。
[0043]源深度處理器42生成包括視頻數(shù)據(jù)的視頻信號41。視頻信號可以具有表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息。源設(shè)備可以被布置用于經(jīng)由輸出單元46并且向3D目標(biāo)視頻設(shè)備傳遞視頻信號，或者用于提供視頻信號以供例如經(jīng)由記錄載體進(jìn)行分發(fā)。視頻信號是基于例如通過編碼和根據(jù)預(yù)定義的格式來格式化3D視頻數(shù)據(jù)而處理輸入視頻數(shù)據(jù)43。
[0044]源設(shè)備可以具有用于基于第一和第二視頻信息生成所生成的深度圖的源立體到深度轉(zhuǎn)換器48。用于生成深度圖的立體到深度轉(zhuǎn)換器在操作中接收立體3D信號，其同樣被稱為左右視頻信號，具有表示要針對觀看者的相應(yīng)眼睛顯示以用于生成3D效果的左視圖和右視圖的左幀L和右?guī)琑的時間序列。單元通過左視圖和右視圖的視差估計來產(chǎn)生所生成的深度圖，并且還可以基于左視圖和/或右視圖提供2D圖像。視差估計可以基于被用來比較L和R幀的運動估計算法，或者基于從圖像數(shù)據(jù)得到的相應(yīng)特征等。對象的L和R視圖之間的大差異取決于差異的方向而被轉(zhuǎn)換成顯示屏前面或后面的深度值。生成器單元的輸出是所生成的深度圖。
[0045]所生成的深度圖和/或高質(zhì)量源深度圖可以被用來確定目標(biāo)側(cè)所要求的深度濾波數(shù)據(jù)。如現(xiàn)在所討論的，根據(jù)各個可選實施例，源深度處理器42被布置用于提供深度濾波數(shù)據(jù)。
[0046]可以基于檢測在視頻的哪一區(qū)域中檢測到深度誤差、何時將在目標(biāo)側(cè)提供深度數(shù)據(jù)來生成深度濾波數(shù)據(jù)。另外，例如當(dāng)源深度圖與目標(biāo)側(cè)處的所生成的深度圖之間的差異超出預(yù)定閾值時，預(yù)期的誤差被確定為干擾觀看者。例如，預(yù)定深度差異可以構(gòu)成所述閾值。還可以使閾值取決于影響深度誤差的可見性的另外的圖像屬性，例如局部圖像強度或?qū)Ρ榷取⒒蛘呒y理。還可以通過按照如下檢測目標(biāo)深度圖的質(zhì)量水平來確定閾值。目標(biāo)深度圖被用來扭曲具有對應(yīng)于給定不同視圖的取向的視圖。例如，R’視圖基于原始L圖像數(shù)據(jù)和所生成的深度圖。隨后，計算R’視圖和原始R視圖之間的差異，例如通過眾所周知的PSNR函數(shù)(峰值信噪比)。PSNR是信號的最大可能功率與影響其表示的逼真度的惡化噪聲的功率之間的比值。因為許多信號具有非常寬的動態(tài)范圍，所以通常以對數(shù)分貝尺度為單位表述PSNR?，F(xiàn)在PSNR可以被用作所生成的深度圖的質(zhì)量的度量。該情形中的信號是原始數(shù)據(jù)R，并且噪聲是通過基于所生成的深度圖扭曲R’而引入的誤差。另外，還可以基于另外的可見性準(zhǔn)則，或者通過基于所生成的深度圖創(chuàng)作或?qū)忛喗Y(jié)果并且控制3D視頻的哪些段和/或時段需要通過深度濾波數(shù)據(jù)擴增的編輯器來評判閾值。
[0047]深度濾波數(shù)據(jù)表示用于增強目標(biāo)側(cè)的深度數(shù)據(jù)的深度處理條件。例如，視頻數(shù)據(jù)中的對象的邊緣不得不與對應(yīng)深度差異對準(zhǔn)。然而，當(dāng)應(yīng)用來自L/R視頻的深度圖生成時，可以預(yù)期到一些邊緣未對準(zhǔn)。然后，選擇深度濾波器數(shù)據(jù)，尤其是合適的對準(zhǔn)濾波器，其特別地改進(jìn)對準(zhǔn)，并且包含所述邊緣的區(qū)域被編碼在對應(yīng)的濾波器位置數(shù)據(jù)中。深度濾波數(shù)據(jù)可以包括各種參數(shù)。
[0048]可選地，深度濾波數(shù)據(jù)包括濾波器類型。濾波器類型可以例如是以下中的一個 -在N個幀之上的時間中值濾波器； -在M X N個像素之上的空間中值、最大值或最小值濾波器；
-在M X N個像素之上的高斯模糊；
-在一維內(nèi)核之上的高斯模糊；
-用于限閾于至少一個固定值的閾值濾波器；
-雙邊網(wǎng)格濾波器和用于雙邊網(wǎng)格濾波器的對象掩模；
-用于濾波器區(qū)域的增益或偏移。
[0049]當(dāng)被應(yīng)用到目標(biāo)深度圖時，偏移相對于顯示器的平面向后或向前有效地移動對象。發(fā)信號通知偏移使得源側(cè)能夠?qū)V波器區(qū)域中的對象移動到任何深度位置，例如靠近3D顯示平面。當(dāng)被應(yīng)用到目標(biāo)深度圖時，增益遠(yuǎn)離或朝向3D顯示器的平面有效地移動濾波器區(qū)域中的所有對象。例如，目標(biāo)深度圖可以被定義成具有用于顯示平面處的深度的零值，并且增益可以作為乘法被應(yīng)用到值。發(fā)信號通知增益使得源側(cè)能夠控制重要對象相對于3D顯示平面的移動。當(dāng)顯示3D圖像時，增益確定濾波器區(qū)域中的最近和最遠(yuǎn)元素之間的差異。在上文中，可以通過MxN像素(M，N為整數(shù))的矩形區(qū)域來確定濾波器區(qū)域。就本身而言，各種濾波器類型在圖像處理領(lǐng)域中是眾所周知的。
[0050]可選地，深度濾波數(shù)據(jù)包括濾波器選擇指示符，其指示可以在目標(biāo)處被濾出的問題類型，或者在視頻的特定區(qū)域中出現(xiàn)的特定有害效果。通過指示這樣的效果或問題，濾波器選擇指示符使得目標(biāo)側(cè)能夠激活適當(dāng)?shù)臑V波器操作以補償有害效果。濾波器選擇指示符可以例如為
-指示濾波器區(qū)域中的運動量的時間不穩(wěn)定性指示符；
-指示深度與亮度和/或色度之間的對準(zhǔn)量的對準(zhǔn)指示符；
-指示濾波器區(qū)域中的背景視頻前面的至少一個圖形對象的圖形對象指示符。
[0051]就本身而言，要被選擇成對抗(counter)眾所周知的深度相關(guān)有害效果的各種濾波器在圖像處理領(lǐng)域中是眾所周知的。
[0052]可選地，深度濾波數(shù)據(jù)可以包括以下中的一個或多個 -濾波器系數(shù)；
-濾波器強度；
-濾波器區(qū)域中的視頻的參數(shù)；
-區(qū)域中的圖形對象的參數(shù)。
[0053]就本身而言，各種濾波器參數(shù)在圖像處理領(lǐng)域中是眾所周知的。濾波器或者濾波器位置區(qū)域中的對象和元素的參數(shù)本身是已知的，例如指示濾波器位置區(qū)域中具有藍(lán)顏色的像素處于最大深度處(例如藍(lán)天)，或者實況視頻前面的圖形對象(菜單、字幕)的顏色。
[0054