一種獲取非關(guān)鍵幀深度圖像的方法以及2d視頻立體化方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，特別涉及一種獲取非關(guān)鍵幀深度圖像的方法以及2D 視頻立體化方法。
【背景技術(shù)】
[0002] 近年來，隨著3D立體（Stereoscopic 3D，S3D)視頻媒體技術(shù)的飛速發(fā)展，S3D視 頻功能帶給消費(fèi)者更加生動逼真的3D視覺效應(yīng)，且成為如今高端電視的一個賣點(diǎn)。不幸的 是，根據(jù)最近的一項(xiàng)調(diào)查研宄表明，由于S3D視頻資源的匱乏，消費(fèi)者在觀看3DTV中使用 S3D視頻功能不到總觀看電視時間的1 %。因此，為了彌補(bǔ)S3D視頻資源的不足，需要通過 使用3D立體攝像機(jī)拍攝獲得3D內(nèi)容。
[0003] 將2D視頻資源轉(zhuǎn)換為3D立體格式，就是對2D視頻立體化過程，即通過從2D視頻 中估計(jì)深度圖像，并通過基于深度圖像繪制技術(shù)生成3D立體視頻的技術(shù)。2007年Varekamp 和 Barenbrug 在 European conference on visual media production (IETCVMP)上名為 "Improved depth propagation for 2Dto3D video conversion using key-frames" 的論 文中提出了一種全新的半自動深度圖像估計(jì)方法。該方法第一步利用雙邊濾波法從關(guān)鍵幀 深度圖來估計(jì)出下一幀非關(guān)鍵的初始深度圖像。第二步，修正非關(guān)鍵幀初始深度圖像錯誤， 即：利用關(guān)鍵幀與非關(guān)鍵幀間產(chǎn)生的運(yùn)動估計(jì)向量來用于基于塊的深度圖像運(yùn)動補(bǔ)償，從 而提尚初始株度圖像的準(zhǔn)確性。
[0004] 在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題：
[0005] 深度圖像的準(zhǔn)確性高度依賴運(yùn)動估計(jì)向量，運(yùn)動估計(jì)的誤差大大降低了深度圖像 傳播的準(zhǔn)確性，從而導(dǎo)致根據(jù)該深度圖像轉(zhuǎn)換為3D視頻后視頻的圖像質(zhì)量下降。

【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)的問題：
[0007] 第一方面，本發(fā)明提供了一種獲取非關(guān)鍵幀深度圖像的方法，所述獲取非關(guān)鍵幀 深度圖像的方法，包括：
[0008] 獲取2D視頻，從所述2D視頻中提取關(guān)鍵幀和非關(guān)鍵幀，確定所述非關(guān)鍵幀相對于 所述關(guān)鍵幀的運(yùn)動向量；
[0009] 從所述2D視頻中提取所述關(guān)鍵幀的深度圖像，結(jié)合所述運(yùn)動向量，確定所述非關(guān) 鍵幀的初始深度圖像；
[0010] 在所述初始深度圖像中，構(gòu)建檢測窗口，通過所述檢測窗口對所述初始深度圖像 進(jìn)行平滑濾波處理，結(jié)合測地距離數(shù)據(jù)對所述初始深度圖像進(jìn)行優(yōu)化，得到所述非關(guān)鍵幀 的優(yōu)化深度圖像。
[0011] 可選的，所述獲取2D視頻，從所述2D視頻中提取關(guān)鍵幀和非關(guān)鍵幀，確定所述非 關(guān)鍵幀相對于所述關(guān)鍵幀的運(yùn)動向量，包括：
[0012] 獲取2D視頻，將所述2D視頻中的第一幀以及相對于所述第一幀符合預(yù)設(shè)間隔的 幀作為關(guān)鍵幀，所述2D視頻中的剩余幀均為非關(guān)鍵幀；
[0013] 將所述關(guān)鍵幀I(t)和下一時刻的非關(guān)鍵幀I (t+1)中按預(yù)設(shè)的塊大小進(jìn)行矩形塊分 割處理；
[0014] 獲取所述關(guān)鍵幀Iw中每一個所述矩形塊B (k)與所述非關(guān)鍵幀I (t+1)中第一個矩形 塊B1的絕對誤差和SAD，將所述關(guān)鍵幀I (t)中具有最小所述絕對誤差和SAD對應(yīng)的矩形塊 Bw作為所述第一個矩形塊B :的匹配矩形塊；
[0015] 獲取所述非關(guān)鍵幀I(t+1)中所述第一個矩形塊B i與所述關(guān)鍵幀I (t)中所述匹配矩 形塊Bw的之間的運(yùn)動向量（V1K);
[0016] 依次類推，獲取所述非關(guān)鍵幀I(t+1)中每一個矩形塊B (k)在所述關(guān)鍵幀I (t)中的匹 配矩形塊B(m)，從而獲取所述非關(guān)鍵幀I(t+1)中每一個矩形塊B (k)與所述匹配矩形塊B (m)的 運(yùn)動向量(viA_),vp)，其中，所述t、m、n、keN，N為自然數(shù)。
[0017] 可選的，所述從所述2D視頻中提取所述關(guān)鍵幀的深度圖像，結(jié)合所述運(yùn)動向量， 確定所述非關(guān)鍵幀的初始深度圖像，包括：
[0018] 繪制所述關(guān)鍵幀I(t)的深度圖像；
[0019] 基于所述關(guān)鍵幀I(t)的深度圖像，結(jié)合所述運(yùn)動向量（vp，vp)，通過公式⑴獲 取所述非關(guān)鍵幀I(t+1)的初始深度圖像
[0020] D(t+1) (x, y) = Drt (x+vx, y+vy), (I)
[0021] 其中，Dt+1表示在所述非關(guān)鍵幀I (t+1)的初始深度圖像中元素（x，y)的深度值，D' t 表示在所述關(guān)鍵幀I(t)的深度圖像中元素（x，y)的深度值。
[0022] 可選的，所述在所述初始深度圖像中，構(gòu)建檢測窗口，通過所述檢測窗口對所述初 始深度圖像進(jìn)行平滑濾波處理，結(jié)合測地距離數(shù)據(jù)對所述初始深度圖像進(jìn)行優(yōu)化，得到優(yōu) 化深度圖像，包括：
[0023] 在所述初始深度圖像中，構(gòu)建預(yù)設(shè)區(qū)域，通過公式（2)獲取所述預(yù)設(shè)區(qū)域中任意 兩個像素之間的第一距離dx
[0025] 其中，X和\是所述檢測窗口中的兩個相鄰像素，D(X)和D(Xi)分別是所述兩個 相鄰像素X和X i的深度值；
[0026] 以所述初始深度圖像中的像素為中心像素（x，y)構(gòu)建濾波檢測窗口，通過公式 (3)獲取所述濾波檢測窗口中每個像素與所述中心像素（x，y)的測地距離4，
[0028] 其中，p表示為連接像素X和y的其中一條路徑，該路徑用連續(xù)的像素唯一的表示
素X和y的所有路徑，X和n分別是空間距離和深度差異的權(quán)值參數(shù)，取值分別是〇. 5和 0. 5,所述公式（3)以所述公式（2)為基礎(chǔ)構(gòu)建；
[0029] 基于所述測地距離，確定基于測地距離的窗口濾波函數(shù)，基于所述窗口濾波函數(shù)， 確定顏色差異窗口濾波函數(shù)、深度差異窗口濾波函數(shù)夕2_A//C7:、測地距離窗口濾 波函數(shù)，2_Arf7<^，進(jìn)而構(gòu)建窗口濾波函數(shù)w (i，j)，如公式（4)
[0031]其中，Ad表示深度差異，Al表示顏色空間差異，Ad'表示測地距離差異，〇p 〇 2、〇 3取值均為0. 125 ;
[0032]根據(jù)所述窗口濾波函數(shù)w (i，j)，對所述初始深度圖像進(jìn)行平滑濾波處理，得到所 述非關(guān)鍵幀I(t+1)的優(yōu)化深度圖像。
[0033] 可選的，所述根據(jù)所述窗口濾波函數(shù)w(i，j)，對所述初始深度圖像進(jìn)行平滑濾波 處理，得到所述非關(guān)鍵幀I (t+1)的優(yōu)化深度圖像，包括：
[0034] 結(jié)合所述窗口濾波函數(shù)w(i，j)獲取所述濾波檢測窗口中除所述中心像素外每個 像素相對于所述中心像素的第二距離；
[0035] 將所述濾波檢測窗口中除所述中心像素外每個像素的深度值，結(jié)合所述第一距 離，通過公式（5)獲取所述初始深度圖像中每個像素的更新深度值
[0037] 將所述初始深度圖中每個像素的深度值替換為所述更新深度值，得到所述非關(guān)鍵 幀I(t+1)的優(yōu)化深度圖像。
[0038] 第二方面，還提供一種基于第一方面所述的獲取非關(guān)鍵幀深度圖像進(jìn)行2D視頻 立體化方法，所述基于進(jìn)行2D視頻立體化的方法，包括：
[0039] 獲取2D視頻，從所述2D視頻中提取關(guān)鍵幀和非關(guān)鍵幀，確定所述非關(guān)鍵幀相對于 所述關(guān)鍵幀的運(yùn)動向量；
[0040] 從所述2D視頻中提取所述關(guān)鍵幀的深度圖像，結(jié)合所述運(yùn)動向量，確定所述非關(guān) 鍵幀的初始深度圖像；
[0041] 在所述初始深度圖像中，構(gòu)建檢測窗口，通過所述檢測窗口對所述初始深度圖像 進(jìn)行平滑濾波，結(jié)合測地距離數(shù)據(jù)對所述初始深度圖像進(jìn)行優(yōu)化，得到所述非關(guān)鍵幀的優(yōu) 化深度圖像；
[0042] 根據(jù)所述優(yōu)化深度圖像，構(gòu)建虛擬視圖，進(jìn)而根據(jù)所述虛擬視圖，得到與所述2D 視頻對應(yīng)的3D視頻。
[0043] 可選的，所述根據(jù)所述優(yōu)化深度圖像，構(gòu)建虛擬圖像，進(jìn)而根據(jù)所述虛擬圖像，得 到與所述2D視頻對應(yīng)的3D視頻，包括：
[0044] 獲取所述關(guān)鍵幀I(t)的深度圖像中某一像素X的深度值d i (X)與所述像素X在所 述優(yōu)化深度圖像中的深度值d2(x)，根據(jù)所述深度值Cl 1(X)和所述深度值d2(X)通過公式（6) 確定所述像素X在所述關(guān)鍵幀I(t)中的左眼視點(diǎn)L i (X)和所述像素x在所述非關(guān)鍵幀I(t+1) 中的左眼視點(diǎn)L2(X)
[0046] 其中，f表示估計(jì)的拍攝輸入視頻的攝像機(jī)的焦距，f = 50, t表示人的兩只眼睛 的間距，t = 6 ;
[0047] 根據(jù)所述左眼視點(diǎn)L1 (X)和所述L2 (X)確定左眼視圖Lz，令所述2D視頻為右眼視 圖，將所述左眼視圖LJP所述右眼視圖Iy合并，得到左右格式的3D視圖{L z，Iy}，其中，z、 y e N，N為自然數(shù)。
[0048] 本發(fā)明提供的技術(shù)方案帶來的有益效果是：
[0049] 本實(shí)施例提供一種獲取非關(guān)鍵幀深度圖像的方法，以及基于上述非關(guān)鍵深度圖像 將2D視頻立體化的方法，通過獲取2D視頻中非關(guān)鍵幀相對于關(guān)鍵幀的運(yùn)動向量，便于根據(jù) 關(guān)鍵幀的深度圖像獲取非關(guān)鍵幀的初始深度圖像，進(jìn)而代入測地距離對該初始深度圖像進(jìn) 行平滑濾波處理，最終得到處理后的優(yōu)化深度圖像。相對于現(xiàn)有技術(shù)，可以提高現(xiàn)有技術(shù)中 獲取到的深度圖像中過于依賴運(yùn)動估計(jì)向量，導(dǎo)致運(yùn)動向量具有較大誤差時令深度圖像準(zhǔn) 確性下降的缺陷，同時提高2D視頻立體化的質(zhì)量。
【附圖說明】
[0050] 為了更清楚地說明本發(fā)明的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖 作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普 通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0051] 圖1是本發(fā)明提供的一種獲取非關(guān)鍵幀深度圖像的方法的流程示意圖；
[0052] 圖2是本發(fā)明提供的一種獲取非關(guān)鍵幀深度圖像的方法中測地距離示意圖；
[0053] 圖3是本發(fā)明提供的一種獲取非關(guān)鍵幀深度圖像的方法中的第二距離示意圖；
[0054] 圖4是本發(fā)明提供的一種2D視頻的立體化方法的流程示意圖；
[0055] 圖5(a)是本發(fā)明提供的一種獲取非關(guān)鍵幀深度圖像的方法中Interview視頻的 關(guān)鍵幀；
[0056] 圖5 (b)是本發(fā)明提供的一種獲取非關(guān)鍵幀深度圖像的方法中Interview視頻的 非關(guān)鍵幀；
[0057] 圖5(c)是本發(fā)明提供的一種