Evaluat1n of Dense Two-FrameStereo Correspondence Algorithms，微軟研宄院，2001年11月”中進(jìn)一步描述的那樣。
[0098]如果立體估計(jì)方法基于3D遞歸搜索(基于周圍塊)，則圖形位置元數(shù)據(jù)可以通過基于視差候選是否跨越圖形邊界來調(diào)節(jié)處罰而并入。
[0099]時(shí)間一致性還可以通過適當(dāng)?shù)臑V波來改進(jìn)，例如具有指數(shù)衰減的雙邊網(wǎng)格。在該情形中，可以通過以下方式改進(jìn)后處理:
?單獨(dú)處理圖形和視頻， ?僅針對非圖形部分填充和讀取雙邊網(wǎng)格，
?針對圖形部分使用(平面或B樣條)表面建模，
?針對每一個(gè)網(wǎng)格箱基于該箱是否為圖形對象的一部分來單獨(dú)地調(diào)節(jié)衰減(時(shí)間平滑)因子。
[0100]總的來說，深度濾波數(shù)據(jù)使得再現(xiàn)過程能夠從深度數(shù)據(jù)獲得更好的結(jié)果以用于實(shí)際3D顯示器，同時(shí)調(diào)節(jié)仍由源側(cè)控制。深度濾波數(shù)據(jù)可以包括與處理3D顯示器中的深度數(shù)據(jù)有關(guān)的濾波器參數(shù)或深度特性，以及指示其中要應(yīng)用濾波器的圖像中的位置的濾波器位置數(shù)據(jù)。
[0101]要指出的是，當(dāng)前發(fā)明可以用于任何類型的3D圖像數(shù)據(jù)，或者是靜止的圖片或者是移動(dòng)的視頻。假定3D圖像數(shù)據(jù)作為電子、數(shù)字編碼的數(shù)據(jù)可用。當(dāng)前發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域中操縱圖像數(shù)據(jù)。
[0102]本發(fā)明可以通過使用可編程部件實(shí)現(xiàn)在硬件和/或軟件中。用于實(shí)現(xiàn)本發(fā)明的方法具有對應(yīng)于針對如參照圖1-4描述的系統(tǒng)所定義的功能的步驟。
[0103]將領(lǐng)會(huì)到的是，以上描述為了清楚起見已經(jīng)參照不同功能單元和處理器描述了本發(fā)明的實(shí)施例。然而，將顯而易見的是，可以使用不同功能單元或處理器之間的功能性的任何適合分布而不偏離本發(fā)明。例如，被說明為由單獨(dú)的單元、處理器或控制器執(zhí)行的功能性可以由相同的處理器或控制器來執(zhí)行。因而，對特定功能單元的引用僅被視為對用于提供所描述的功能性的合適裝置的引用而非指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以包括硬件、軟件、固件或這些的任何組合的任何合適形式實(shí)現(xiàn)。
[0104]要指出的是，在本文檔中，詞語“包括”不排除除所列舉的那些之外的其它元件或步驟的存在，并且元件之前的詞語“一”或“一個(gè)”不排除多個(gè)這樣的元件的存在，任何參考標(biāo)號(hào)不限制權(quán)利要求的范圍，本發(fā)明可以借助于硬件和軟件二者來實(shí)現(xiàn)，并且若干“裝置”或“單元”可以由硬件或軟件的相同項(xiàng)表示，并且處理器可以履行一個(gè)或多個(gè)單元的功能，可能地與硬件元件協(xié)作。另外，本發(fā)明并不限于所述實(shí)施例，并且本發(fā)明在于以上所描述的或在相互不同的從屬權(quán)利要求中記載的每一個(gè)新穎特征或特征的組合。
【主權(quán)項(xiàng)】
1.用于提供表示用于傳遞到三維[3D]視頻目標(biāo)設(shè)備(50)的視頻的視頻信號(hào)(41)的視頻源設(shè)備(40 )，源設(shè)備包括 -用于生成視頻信號(hào)并且用于將視頻信號(hào)傳遞到目標(biāo)設(shè)備的輸出單元(46)， 目標(biāo)設(shè)備包括 -用于接收視頻信號(hào)的接收器(51，58，59)， -用于提供目標(biāo)深度數(shù)據(jù)的目標(biāo)深度處理器(52)， 其中源設(shè)備包括 -用于提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)的源深度處理器(42 )，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件，并且輸出單元被布置用于將深度濾波數(shù)據(jù)傳遞到目標(biāo)設(shè)備，并且目標(biāo)深度處理器(52 )被布置用于 -取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。
2.如權(quán)利要求1中要求保護(hù)的視頻源設(shè)備，其中源深度處理器(42)被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個(gè)的濾波器類型 -在N個(gè)幀之上的時(shí)間中值濾波器； -在M X N個(gè)像素之上的空間中值、最大值或最小值濾波器； -在M X N個(gè)像素之上的高斯模糊； -在一維內(nèi)核之上的高斯模糊； -用于限閾于至少一個(gè)固定值的閾值濾波器； -雙邊網(wǎng)格濾波器和用于雙邊網(wǎng)格濾波器的對象掩模； -增益或偏移濾波器。
3.如權(quán)利要求1中要求保護(hù)的視頻源設(shè)備，其中源深度處理器(42)被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個(gè)的濾波器選擇指示符 -指示濾波器區(qū)域中的運(yùn)動(dòng)量的時(shí)間不穩(wěn)定性指示符； -指示深度與亮度和/或色度之間的對準(zhǔn)量的對準(zhǔn)指示符； -指示濾波器區(qū)域中的背景視頻前面的至少一個(gè)圖形對象的圖形指示符。
4.如權(quán)利要求2或3中要求保護(hù)的視頻源設(shè)備，其中源深度處理器(42)被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個(gè)的濾波器參數(shù)數(shù)據(jù) -濾波器系數(shù)； -濾波器強(qiáng)度； -濾波器區(qū)域中的視頻的參數(shù)； -區(qū)域中的圖形對象的參數(shù)。
5.如權(quán)利要求1中要求保護(hù)的視頻源設(shè)備，其中源深度處理器(42)被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個(gè)的濾波器位置數(shù)據(jù) -指示坐標(biāo)和/或?qū)挾群透叨鹊木匦螀^(qū)域； -具有預(yù)定形狀類型的二維形狀，形狀類型包括方形、圓形、橢圓形中的至少一個(gè)，由至少中心和半徑指示二維形狀的位置； -一維形狀，由至少一個(gè)點(diǎn)的坐標(biāo)、長度、包括水平、垂直或角度中的一個(gè)的方向中的至少一個(gè)指示一維形狀的位置； -指示濾波器區(qū)域與周圍視頻之間的轉(zhuǎn)變的邊界區(qū)域類型； -標(biāo)識(shí)相應(yīng)濾波器區(qū)域的區(qū)域索引； -用于雙邊深度濾波器的幾何區(qū)域； -與濾波器區(qū)域相關(guān)聯(lián)以標(biāo)識(shí)對象的對象索引參數(shù)。
6.如權(quán)利要求1中要求保護(hù)的視頻源設(shè)備，其中源深度處理器(42)被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個(gè)的濾波器活動(dòng)指示符 -指示開始濾波器處理的視頻幀的開始指示符； -指示停止濾波器處理的視頻幀的停止指示符； -指示應(yīng)用濾波器處理的時(shí)間段的時(shí)段指示符； -指示在對應(yīng)于索引的濾波器區(qū)域中應(yīng)用濾波器處理的活動(dòng)索引。
7.如權(quán)利要求1中要求保護(hù)的視頻源設(shè)備，其中輸出單元(46)被布置用于生成作為視頻信號(hào)的以下中的至少一個(gè) -用于對接到3D顯示設(shè)備的顯示信號(hào)； -用于經(jīng)由廣播網(wǎng)絡(luò)或互聯(lián)網(wǎng)傳遞的傳遞信號(hào)； -由記錄載體上的光學(xué)可讀標(biāo)記表示的記錄載體信號(hào)。
8.用于處理表示從視頻源設(shè)備(40)接收的視頻的視頻信號(hào)(41)的三維[3D]視頻目標(biāo)設(shè)備(50)， 源設(shè)備包括 -用于生成視頻信號(hào)并且用于將視頻信號(hào)傳遞到3D目標(biāo)設(shè)備的輸出單元(46)， 目標(biāo)設(shè)備包括 -用于接收視頻信號(hào)的接收器(51，58，59)， -用于提供目標(biāo)深度數(shù)據(jù)的目標(biāo)深度處理器(52)， 其中3D源設(shè)備包括 -用于提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)的源深度處理器(42 )，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件，并且輸出單元被布置用于將深度濾波數(shù)據(jù)傳遞到目標(biāo)設(shè)備，并且目標(biāo)深度處理器(52 )被布置用于 -取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。
9.如權(quán)利要求8中要求保護(hù)的3D視頻目標(biāo)設(shè)備，其中目標(biāo)深度處理器(52)包括用于提供目標(biāo)深度數(shù)據(jù)的以下中的至少一個(gè) -用于從2D視頻信號(hào)生成3D視頻數(shù)據(jù)的2D到3D轉(zhuǎn)換器(53); -用于從包括表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息的視頻信號(hào)生成深度圖的深度圖生成器(401); -用于扭曲多個(gè)視圖以用于自動(dòng)立體3D顯示器的視圖扭曲器(402)。
10.如權(quán)利要求8中要求保護(hù)的3D視頻目標(biāo)設(shè)備，其中設(shè)備包括以下中的至少一個(gè) -用于讀取記錄載體以用于接收視頻信號(hào)的讀取單元(58)， -用于顯示3D視頻數(shù)據(jù)的3D顯示器(63)。
11.提供表示用于傳遞到三維[3D]視頻目標(biāo)設(shè)備(50)的視頻的視頻信號(hào)(41)的方法，目標(biāo)設(shè)備包括 -用于接收視頻信號(hào)的接收器(51，58，59)， -用于提供目標(biāo)深度數(shù)據(jù)的目標(biāo)深度處理器(52)， 所述方法包括 -生成視頻信號(hào)并且將視頻信號(hào)傳遞到目標(biāo)設(shè)備， -提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件， -以及將深度濾波數(shù)據(jù)傳遞到目標(biāo)設(shè)備，并且其中目標(biāo)深度處理器(52 )被布置用于 -取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。
12.處理表示從視頻源設(shè)備(40)接收的視頻的視頻信號(hào)(41)的方法，源設(shè)備包括 -用于生成視頻信號(hào)的輸出單元(46)， -用于提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)的源深度處理器(42 )，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件，并且輸出單元被布置用于將深度濾波數(shù)據(jù)傳遞到目標(biāo)設(shè)備，并且所述方法包括-接收視頻信號(hào)， -提供目標(biāo)深度數(shù)據(jù)， -取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。
13.表示用于傳遞到三維[3D]視頻目標(biāo)設(shè)備(50)的視頻的視頻信號(hào)，目標(biāo)設(shè)備包括 -用于接收視頻信號(hào)的接收器(51，58，59)， -用于提供目標(biāo)深度數(shù)據(jù)的目標(biāo)深度處理器(52)， 視頻信號(hào)包括 -包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件， 并且其中目標(biāo)深度處理器(52)被布置用于 -取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。
14.包括如權(quán)利要求13中要求保護(hù)的三維[3D]視頻信號(hào)的記錄載體(54)。
15.用于處理視頻信號(hào)的計(jì)算機(jī)程序產(chǎn)品，所述程序操作成使處理器執(zhí)行如權(quán)利要求11或12中要求保護(hù)的方法的相應(yīng)步驟。
【專利摘要】3D視頻系統(tǒng)從視頻源設(shè)備（40）向目標(biāo)設(shè)備（50）傳遞視頻數(shù)據(jù)。目標(biāo)設(shè)備具有用于提供目標(biāo)深度數(shù)據(jù)的目標(biāo)深度處理器（52）。源設(shè)備提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標(biāo)深度數(shù)據(jù)的處理?xiàng)l件。目標(biāo)深度處理器（52）被布置用于取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標(biāo)深度數(shù)據(jù)。深度濾波數(shù)據(jù)使得再現(xiàn)過程能夠改進(jìn)深度數(shù)據(jù)的質(zhì)量。
【IPC分類】H04N13-00
【公開號(hào)】CN104641632
【申請?zhí)枴緾N201380049038
【發(fā)明人】W.H.A.布魯斯, P.L.E.范德瓦勒, P.S.紐頓, B.克魯恩
【申請人】皇家飛利浦有限公司
【公開日】2015年5月20日
【申請日】2013年7月12日
【公告號(hào)】EP2875636A1, US20150181195, WO2014013405A1