用于深度濾波的元數(shù)據(jù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于提供表示用于傳遞到三維[3D]視頻目標設(shè)備的視頻的視頻信號的視頻源設(shè)備。源設(shè)備具有用于生成視頻信號并且用于將視頻信號傳遞到目標設(shè)備的輸出單元。目標設(shè)備具有用于接收視頻信號的接收器和用于提供目標深度數(shù)據(jù)的目標深度處理器。
[0002]本發(fā)明還涉及3D視頻目標設(shè)備、提供和處理3D視頻信號的方法、視頻信號以及處理視頻信號的方法。
[0003]本發(fā)明涉及在例如廣播器、互聯(lián)網(wǎng)網(wǎng)站服務(wù)器、創(chuàng)作(authoring)系統(tǒng)、藍光盤的制造商等的源設(shè)備處生成和傳遞視頻信號到要求用于再現(xiàn)3D視頻的深度數(shù)據(jù)的3D目標設(shè)備(例如藍光盤播放器、3D電視機、3D顯示器、移動計算設(shè)備等)的領(lǐng)域。
【背景技術(shù)】
[0004]文檔 “Real-time free-viewpoint viewer from multiview video plus depthrepresentat1n coded by H.264/AVC MVC extens1n, Shinya Shimizu, Hideaki Kimata和 Yoshimitsu Ohtani, NTT Cyber Space 實驗室，NTT 公司，3DTV-C0N，IEEE 2009”描述了除MPEG編碼的視頻傳遞信號之外的3D視頻技術(shù)，特別是用于包括以視頻格式的深度圖的多視圖編碼(MVC)擴展。用于包括(多個)深度圖視頻編碼的MVC擴展允許構(gòu)造表示具有相關(guān)多個補充視圖(即深度圖視圖)的多個視圖的比特流。根據(jù)該文檔，深度圖可以添加到具有表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息的3D視頻數(shù)據(jù)流。解碼器側(cè)的深度圖使得能夠生成除左和右視圖之外的另外視圖，以例如用于自動立體顯示器。
[0005]另外，為了提供諸如深度圖之類的目標深度數(shù)據(jù)，3D視頻目標設(shè)備可以具有用于從2D視頻信號生成3D視頻數(shù)據(jù)的2D到3D轉(zhuǎn)換器，或者用于從包括左眼視圖和右眼視圖的視頻信號生成深度圖的深度圖生成器。

【發(fā)明內(nèi)容】

[0006]從上文看起來可以通過在傳輸之前包括深度圖或其它深度數(shù)據(jù)，或者通過在目標處生成深度數(shù)據(jù)來為視頻材料提供深度數(shù)據(jù)。然而，傳遞附加深度數(shù)據(jù)要求數(shù)據(jù)傳輸容量，并且在目標處生成的深度數(shù)據(jù)可能具有低質(zhì)量。
[0007]本發(fā)明的目的是在目標側(cè)提供具有足夠質(zhì)量的深度數(shù)據(jù)而不與視頻數(shù)據(jù)一起傳輸這樣的深度數(shù)據(jù)。
[0008]為此目的，根據(jù)本發(fā)明的第一方面，如在開頭段落中描述的源設(shè)備包括用于提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)的源深度處理器，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標深度數(shù)據(jù)的處理條件，并且輸出單元被布置用于將深度濾波數(shù)據(jù)傳遞到目標設(shè)備。
[0009]為此目的，在目標設(shè)備中，目標深度處理器被布置用于取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標深度數(shù)據(jù)。
[0010]為此目的，提供表示用于傳遞到3D視頻目標設(shè)備的視頻的視頻信號的方法包括 -生成視頻信號并且將視頻信號傳遞到目標設(shè)備，
-提供包括濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標深度數(shù)據(jù)的處理條件，
-以及將深度濾波數(shù)據(jù)傳遞到目標設(shè)備。
[0011]為此目的，處理表示從視頻源設(shè)備接收的視頻的視頻信號的方法包括 -接收視頻信號，
-提供目標深度數(shù)據(jù)，
-取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標深度數(shù)據(jù)。
[0012]為此目的，表示用于傳遞到3D視頻目標設(shè)備的視頻的視頻信號包括包含濾波器位置數(shù)據(jù)的深度濾波數(shù)據(jù)，深度濾波數(shù)據(jù)表示用于處理由濾波器位置數(shù)據(jù)指示的視頻的濾波器區(qū)域中的目標深度數(shù)據(jù)的處理條件。
[0013]措施具有以下效果:使得目標設(shè)備能夠接收深度濾波數(shù)據(jù)并且取決于深度濾波數(shù)據(jù)處理由濾波器位置數(shù)據(jù)指示的視頻的區(qū)域中的目標深度數(shù)據(jù)。因此，通過在圖像的特定區(qū)域中局部執(zhí)行特定濾波器操作來獲得目標深度數(shù)據(jù)的改進版本。
[0014]特別地，例如通過廣播器或創(chuàng)作者在源側(cè)控制特定濾波器操作和特定區(qū)域二者。在源側(cè)，高質(zhì)量深度數(shù)據(jù)和/或?qū)嵸|(zhì)上不受限制的處理(例如離線)資源是可用的。然而，由于傳輸信道是受限制的，因此并不是在源處可用的所有數(shù)據(jù)都可以被傳遞到目標側(cè)。替代于傳輸深度數(shù)據(jù)的完整集合，必須在目標側(cè)本地提供深度數(shù)據(jù)(例如，從2D視頻創(chuàng)建，從L/R立體視頻重構(gòu)或者基于低分辨率或不完整版本的深度圖進行補充)。源側(cè)意識到其中在目標側(cè)傳統(tǒng)地提供深度數(shù)據(jù)將失敗和/或其中可能出現(xiàn)干擾偽像的問題區(qū)域。有利地，通過傳遞包括特定位置和特定濾波器或問題的深度濾波數(shù)據(jù)，源側(cè)可以在創(chuàng)建深度數(shù)據(jù)的過程中有效地輔助目標側(cè)，例如生成目標深度圖以用于扭曲要顯示在3D顯示器上的多個視圖。因而，當可用時并且在可用的地方，應(yīng)用深度濾波數(shù)據(jù)以增強目標深度數(shù)據(jù)。
[0015]有效地，在源的控制之下為目標設(shè)備提供附加的深度處理數(shù)據(jù)，例如濾波器參數(shù)或指令，所述數(shù)據(jù)使得源能夠控制和增強目標深度數(shù)據(jù)的處理。有利地，在其中大量處理資源可用的源處生成深度濾波數(shù)據(jù)，并且使得能夠?qū)崿F(xiàn)離線生成。目標側(cè)處(即消費者側(cè)處)的處理要求降低，并且3D效果增強，因為深度數(shù)據(jù)被優(yōu)化。
[0016]可選地，源深度處理器被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個的濾波器類型
-在N個幀之上的時間中值濾波器；
-在M X N個像素之上的空間中值、最大值或最小值濾波器；
-在M X N個像素之上的高斯模糊；
-在一維內(nèi)核之上的高斯模糊；
-用于限閾于至少一個固定值的閾值濾波器；
-雙邊網(wǎng)格濾波器和用于雙邊網(wǎng)格濾波器的對象掩模；
-用于濾波器區(qū)域的增益或偏移。
[0017]有利地，在目標側(cè)選擇提供特定區(qū)域中的最優(yōu)改進的特定濾波器類型，并且將其傳遞到要被應(yīng)用的目標側(cè)。
[0018]可選地，源深度處理器被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個的濾波器選擇指示符
-指示濾波器區(qū)域中的運動量的時間不穩(wěn)定性指示符；
-指示深度與亮度和/或色度之間的對準量的對準指示符；
-指示濾波器區(qū)域中的背景視頻前面的至少一個圖形對象的圖形對象指示符。
[0019]有利地，濾波器選擇指示符指示在視頻的特定區(qū)域中出現(xiàn)的特定有害效果或問題，并且使得目標側(cè)能夠激活適當濾波器操作以補償有害效果。
[0020]可選地，源深度處理器被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個的濾波器參數(shù)數(shù)據(jù)
-濾波器系數(shù)；
-濾波器強度；
-濾波器區(qū)域中的視頻的參數(shù)；
-區(qū)域中的圖形對象的參數(shù)。
[0021 ] 有利地，傳遞要在目標側(cè)應(yīng)用的濾波器參數(shù)數(shù)據(jù)是在優(yōu)化濾波器操作中輔助目標側(cè)的非常簡潔的方式，其要求相對非常小的數(shù)據(jù)傳輸容量。
[0022]可選地，源深度處理器被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個的濾波器位置數(shù)據(jù)
-指示坐標和/或?qū)挾群透叨鹊木匦螀^(qū)域；
-具有預(yù)定形狀類型的二維形狀，形狀類型包括方形、圓形、橢圓形中的至少一個，由至少中心和半徑指示二維形狀的位置；
-一維形狀，由至少一個點的坐標、長度、包括水平、垂直或角度中的一個的方向中的至少一個指示一維形狀的位置；
-指示濾波器區(qū)域與周圍視頻之間的轉(zhuǎn)變的邊界區(qū)域類型；
-標識相應(yīng)濾波器區(qū)域的區(qū)域索引；
-用于雙邊深度濾波器的幾何區(qū)域；
-與濾波器區(qū)域相關(guān)聯(lián)以標識對象的對象索引參數(shù)。
[0023]有利地，其中要執(zhí)行濾波器操作的特定區(qū)域通過少數(shù)目的幾何參數(shù)來描述，這要求相對非常小的數(shù)據(jù)傳輸容量。
[0024]可選地，源深度處理器被布置用于在深度濾波數(shù)據(jù)中提供包括以下中的至少一個的濾波器活動指示符
-指示開始濾波器處理的視頻幀的開始指示符；
-指示停止濾波器處理的視頻幀的停止指示符；
-指示應(yīng)用濾波器處理的時間段的時段指示符；
-指示在對應(yīng)于索引的濾波器區(qū)域中應(yīng)用濾波器處理的活動索引。
[0025]有利地，使得源側(cè)能夠控制要執(zhí)行濾波器操作的時間段，而不針對每一個視頻幀重復(fù)數(shù)據(jù)。
[0026]可選地，輸出單元被布置用于生成作為視頻信號的以下中的至少一個 -用于對接到3D顯示設(shè)備的顯示信號； -用于經(jīng)由廣播網(wǎng)絡(luò)或互聯(lián)網(wǎng)傳遞的傳遞信號；
-由記錄載體上的光學可讀標記表示的記錄載體信號。
[0027]有利地，通過包括深度濾波數(shù)據(jù)特征增強視頻傳遞鏈(從原始創(chuàng)作直至最終在觀看者前面的3D顯示器上再現(xiàn))中的不同實際源設(shè)備。
[0028]可選地，目標深度處理器包括用于提供目標深度數(shù)據(jù)的以下中的至少一個 -用于從2D視頻信號生成3D視頻數(shù)據(jù)的2D到3D轉(zhuǎn)換器；
-用于從包括表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息的視頻信號生成深度圖的深度圖生成器；
-用于扭曲多個視圖以用于自動立體3D顯示器的視圖扭曲器。
[0029]另外，目標設(shè)備可以包括以下中的至少一個
-用于讀取記錄載體以用于接收視頻信號的讀取單元(58)，
-用于顯示3D視頻數(shù)據(jù)的3D顯示器(63)。
[0030]有利地，通過包括深度濾波數(shù)據(jù)特征增強視頻傳遞鏈中的不同實際目標設(shè)備。
[0031]另外，可以通過包括以上參照源設(shè)備描述的各種選項來增強目標設(shè)備、提供視頻信號的方法、視頻信號本身、處理視頻信號的方法以及對應(yīng)的計算機程序產(chǎn)品。
[0032]在所附權(quán)利要求中給出根據(jù)本發(fā)明的設(shè)備和方法的另外的優(yōu)選實施例，其公開內(nèi)容通過引用并入本文。
【附圖說明】
[0033]本發(fā)明的這些和其它方面將從在以下描述中通過示例的方式并且參照附圖描述的實施例變得顯而易見，并且參照所述實施例進行進一步闡述，在附圖中
圖1示出用于處理3D視頻數(shù)據(jù)和顯示3D視頻數(shù)據(jù)的系統(tǒng)，
圖2示出使用深度濾波數(shù)據(jù)的3D解碼器，
圖3示出提供深度濾波數(shù)據(jù)的3D編碼器，
圖4示出具有自動立體顯示設(shè)備并且扭曲多個視圖的