專利名稱：基于雙向跟蹤和特征點(diǎn)修正的平面視頻轉(zhuǎn)立體視頻的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，是一種將普通平面視頻轉(zhuǎn)為立體視頻的技術(shù)。
背景技術(shù)：
通過(guò)對(duì)人類生理立體視覺(jué)要素的研究發(fā)現(xiàn)，人類左右眼看同一場(chǎng)景時(shí)因存在"視差" 而產(chǎn)生立體感，所謂"視差"即三維空間中同一物體在左右眼成像時(shí)會(huì)有水平方向上的位 移。傳統(tǒng)的視頻序列都是單路的平面視頻序列，而立體視頻序列則包含了多路(兩路或兩 路以上)平面視頻序列，各路平面視頻序列同一時(shí)刻的視圖之間帶有"視差"信息，能夠 為觀看者提供對(duì)應(yīng)的左眼視圖序列和右眼視圖序列，這也是觀看立體視頻時(shí)可以產(chǎn)生如臨 其境的立體感的原因。
一直以來(lái)，真實(shí)感立體視頻以其場(chǎng)景的真實(shí)感，很強(qiáng)的視覺(jué)沖擊力，受到大眾的喜愛(ài)， 也被電視、電影、廣告等行業(yè)所重視。早期的立體顯示方式，需要一定的輔助工具(如偏 振眼鏡等)，從而限制了立體視頻的應(yīng)用范圍。隨著立體顯示技術(shù)的發(fā)展，現(xiàn)有裸眼立體 顯示技術(shù)(如裸眼自由式多視點(diǎn)顯示技術(shù)、裸眼雙目立體顯示技術(shù))己經(jīng)逐漸成熟，可以 實(shí)現(xiàn)無(wú)需佩戴特殊的輔助工具的立體視頻直接呈現(xiàn)。目前，裸眼立體顯示技術(shù)的成熟和立 體視頻應(yīng)用的逐漸普及，對(duì)相應(yīng)的立體視頻內(nèi)容生成技術(shù)提出了很高的要求。
立體視頻的內(nèi)容生成技術(shù)是相關(guān)計(jì)算機(jī)多媒體領(lǐng)域內(nèi)的重要難題之一。多路立體視頻 片源的的獲取主要有兩種途徑
1) 多路立體^集設(shè)備設(shè)計(jì)立體攝像機(jī)(即多路攝像機(jī))， 一方面可以直接獲取裸眼 自由式立體顯示設(shè)備所需的多路視頻信息，另一方面也可以利用現(xiàn)有計(jì)算機(jī)算法，從多路 視頻中獲取場(chǎng)景和對(duì)象的三維信息，如深度信息、場(chǎng)景對(duì)象模型等，并通過(guò)這些三維信息， 渲染出對(duì)應(yīng)的立體視頻?；诙嗦妨Ⅲw采集設(shè)備的技術(shù)方案優(yōu)勢(shì)在于獲取多路立體視頻或 者三維信息的直接性和便利性，而且還有豐富的計(jì)算機(jī)算法和成熟的研究成果來(lái)支持。但 多路立體采集設(shè)備復(fù)雜，成本高，同時(shí)對(duì)于各個(gè)攝像機(jī)之間的標(biāo)定、校準(zhǔn)和同步都大大限 制了該技術(shù)方案在現(xiàn)階段廣泛應(yīng)用的可能性。
2) 平面視頻轉(zhuǎn)立體視頻技術(shù)通過(guò)用戶交互或者計(jì)算機(jī)算法的處理，提取傳統(tǒng)平面 視頻序列中場(chǎng)景和對(duì)象的深度信息，基于這樣的深度信息可以很容易渲染得到立體視頻所 需的多路視頻數(shù)據(jù)。該技術(shù)方案特點(diǎn)在于無(wú)需特殊硬件設(shè)備，硬件成本低；同時(shí)，將現(xiàn)有 龐大的平面媒體資源換為立體視頻的商業(yè)價(jià)值較高。因此，平面視頻轉(zhuǎn)換為立體視頻技術(shù) 越來(lái)越受到重視。平面視頻轉(zhuǎn)立體視頻技術(shù)的關(guān)鍵在于從平面視頻序列中提取深度信息， 而現(xiàn)階段主要采取用戶手動(dòng)勾勒視頻幀前景對(duì)象輪廓，并賦予深度信息的方式，保證轉(zhuǎn)換的精度，但轉(zhuǎn)換工作量較大，轉(zhuǎn)換周期長(zhǎng)，商業(yè)成本高。另外還有利用計(jì)算機(jī)算法輔助， 如勾勒視頻序列關(guān)鍵幀的前景對(duì)象輪廓，賦予深度信息，并通過(guò)跟蹤算法完成其他非關(guān)鍵 幀的自動(dòng)轉(zhuǎn)換，可以提高人工轉(zhuǎn)換的效率，但是效果受到了算法魯棒性的影響，根據(jù)距離 較短，自動(dòng)轉(zhuǎn)換的精度也不高。
本發(fā)明中所涉及的成熟算法-
O視頻子序列劃分和鏡頭檢測(cè)技術(shù)
鏡頭檢測(cè)算法是基于內(nèi)容的視頻檢索技術(shù)的一部分，其特點(diǎn)在于能夠方便地利用計(jì)算 機(jī)對(duì)視頻數(shù)據(jù)進(jìn)行處理以產(chǎn)生適當(dāng)?shù)恼瑥亩尤娴乇硎?、處理、組織和獲取視頻 數(shù)據(jù)。視頻中的一個(gè)鏡頭是指用同一攝像機(jī)進(jìn)行連續(xù)不間斷拍攝、表示時(shí)間和空間上的一 個(gè)連續(xù)動(dòng)作的幀序列；從內(nèi)容的上下文語(yǔ)義上講，鏡頭是視頻序列內(nèi)容的基本單元，而鏡 頭邊緣檢測(cè)則是對(duì)應(yīng)的功能算法，通過(guò)對(duì)視頻幀特定的圖像信息進(jìn)行分析(如亮度變化、 直方圖分布、運(yùn)動(dòng)估計(jì)、邊緣圖等)，利用視頻序列鏡頭邊緣若干幀特定信息的突變，來(lái) 檢測(cè)視頻子序列，完成視頻子序列劃分和關(guān)鍵幀提取。
2) KLT算法廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，主要步驟包括
特征點(diǎn)選取對(duì)于圖像中/VXyV(w通常為奇數(shù))的像素塊，當(dāng)像素塊中所有像素之間 灰度改變大于適應(yīng)的范圍時(shí)，則選取像素塊中心的像素點(diǎn)作為特征點(diǎn)；
特征點(diǎn)跟蹤特征點(diǎn)選取后，KLT算法通過(guò)最小化像素塊灰度值的SSD (像素塊中所 有像素點(diǎn)對(duì)應(yīng)的灰度值差的平方和)，自動(dòng)在后續(xù)幀里對(duì)特征點(diǎn)的位置變化進(jìn)行跟蹤。
3) Canny邊緣求取算法
Carmy算法是一種邊緣檢測(cè)算法，能夠檢測(cè)到圖像中局部區(qū)域中像素亮度變化顯著的 部分。Canny算法首先通過(guò)高斯濾波器平滑原圖，然后用一階偏導(dǎo)的優(yōu)先差分來(lái)計(jì)算梯度 的幅值和方向，并使用梯度幅值進(jìn)行非極大值抑制；最后利用雙閾值算法檢測(cè)和連接邊緣。
4) B樣條插值算法
利用離散點(diǎn)進(jìn)行插值，擬合得到光滑曲線的軌跡，并且，離散點(diǎn)位于最終所擬合的光 滑曲線上。
5) 基于深度圖的立體渲染算法(DIBR)和立體視頻生成
在不同的觀察位置(觀察視角)成像的視圖中，三維空間中的點(diǎn)與攝像機(jī)中心的距離 (景深信息)，表現(xiàn)為平面視圖中成像點(diǎn)坐標(biāo)的位移(即"視差")；而該"視差"信息和 景深(即深度值)成反比關(guān)系。DIBR渲染算法基于一個(gè)觀察位置上所得的平面視圖中每個(gè) 像素所對(duì)應(yīng)的深度信息，計(jì)算該像素點(diǎn)的"視差"值，并進(jìn)行相應(yīng)的坐標(biāo)位移；對(duì)該視圖 中每一個(gè)像素進(jìn)行移動(dòng)后，便生成了該觀察視角相鄰位置上成像虛擬平面視圖；而利用這 些帶有"視差"信息的多路視圖，便能合成多路立體顯示設(shè)備所需要的立體視圖。

發(fā)明內(nèi)容
本發(fā)明的目的是為了改進(jìn)傳統(tǒng)平面視頻轉(zhuǎn)立體視頻技術(shù)的不足，提出一種基于雙向跟蹤和特征點(diǎn)修正的改進(jìn)KLT算法來(lái)實(shí)現(xiàn)平面視頻到立體視頻的轉(zhuǎn)換方法，本方法能夠較好地
解決跟蹤精度隨跟蹤距離增大時(shí)的衰減問(wèn)題，最大限度地避免跟蹤誤差擴(kuò)散，從而能夠基
于關(guān)鍵幀，自動(dòng)獲取高精度的視頻序列深度圖；采用高精度的雙向特征點(diǎn)跟蹤能夠支持更 長(zhǎng)的自動(dòng)跟蹤距離，從而大大降低了人機(jī)交互的工作量，很好地實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻。 本發(fā)明提出的基于雙向跟蹤和特征點(diǎn)修正的改進(jìn)KLT算法來(lái)實(shí)現(xiàn)平面視頻到立體視 頻的轉(zhuǎn)換方法，具體步驟為
1) 利用鏡頭檢測(cè)技術(shù)，對(duì)要處理的平面視頻序列，計(jì)算機(jī)自動(dòng)按照相鄰幀內(nèi)容的上 下文關(guān)系，將整個(gè)平面視頻序列劃分成W個(gè)內(nèi)容相關(guān)的子序列&、 &、 ...、 同時(shí)，用
戶通過(guò)計(jì)算機(jī)屏幕指定每個(gè)子序列中任意一幀作為關(guān)鍵幀《/、 &.....^，其余作為非關(guān)
鍵幀，其中下標(biāo)AA為正整數(shù)；
2) 選定一個(gè)平面視頻子序列&，對(duì)該子序列中的關(guān)鍵幀&進(jìn)行前景物體分割，并提 取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)、，其中下標(biāo)""為正整數(shù)，且0</￡^， 0<n￡L， ￡表示關(guān) 鍵幀&輪廓特征點(diǎn)的數(shù)目；
3) 參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn)；
4) 計(jì)算機(jī)自動(dòng)利用鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則，對(duì)每一非關(guān)鍵幀上的相鄰輪廓 特征點(diǎn)進(jìn)行分析，去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)；
5) 對(duì)于非關(guān)鍵幀上輪廓特征點(diǎn)稀疏的區(qū)域，計(jì)算機(jī)自動(dòng)利用KLT算法新增輪廓特征 點(diǎn)，并將新增輪廓特征點(diǎn)補(bǔ)充到原來(lái)的輪廓特征點(diǎn)集合中；
6) 計(jì)算機(jī)自動(dòng)將非關(guān)鍵幀輪廓特征點(diǎn)集合中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前 景物體的輪廓上，得到該視頻子序列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合；
7) 計(jì)算機(jī)自動(dòng)基于輪廓特征點(diǎn)集合恢復(fù)每一個(gè)非關(guān)鍵幀前景物體輪廓；
8) 根據(jù)關(guān)鍵幀前景物體的深度值，得到該視頻子序列的深度圖序列；
9) 對(duì)每一個(gè)視頻子序列按照步驟2) ~8)所述方法，獲取對(duì)應(yīng)的深度圖序列；所有深 度圖序列組成原平面視頻序列的深度圖序列；
10) 計(jì)算機(jī)自動(dòng)將原平面視頻序列的每一幀圖像作為參考視圖，根據(jù)對(duì)應(yīng)的深度圖， 利用DIBR算法得到相應(yīng)多個(gè)視角的視圖；根據(jù)特定立體顯示設(shè)備的要求，將同一時(shí)刻的 多個(gè)視角視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
11) 所有時(shí)刻的立體視頻幀組成原平面視頻序列對(duì)應(yīng)的立體視頻序列。 本發(fā)明的特點(diǎn)在于
1)本發(fā)明首先通過(guò)人機(jī)交互操作分割關(guān)鍵幀前景物體，并提取關(guān)鍵幀的精確深度然后計(jì)算機(jī)基于該關(guān)鍵幀中前景物體的輪廓特征點(diǎn)，對(duì)其他非關(guān)鍵幀進(jìn)行雙向跟蹤，調(diào)整
邊緣特征點(diǎn)的位置，恢復(fù)前景物體邊緣，進(jìn)而得到非關(guān)鍵幀的深度圖；最后計(jì)算機(jī)基于 DIBR算法，將平面視頻序列及其對(duì)應(yīng)的深度圖序列渲染生成多路立體視頻內(nèi)容；本方法 能夠在保證平面視頻向立體視頻轉(zhuǎn)換效果的同時(shí)，提高傳統(tǒng)平面視頻轉(zhuǎn)立體視頻方法的自 動(dòng)化程度；2)本發(fā)明中使用的關(guān)鍵幀輪廓特征點(diǎn)雙向跟蹤技術(shù)，能夠較好地解決基于一般KLT
算法完成平面視頻轉(zhuǎn)立體視頻方法中跟蹤精度隨跟蹤距離增大時(shí)的衰減問(wèn)題；而邊緣特征
點(diǎn)修正技術(shù)能夠最大限度地避免跟蹤誤差擴(kuò)散，從而保證更長(zhǎng)的自動(dòng)跟蹤距離，提高轉(zhuǎn)換 效率。


1) 圖1為本發(fā)明方法的總體流程框圖。
2) 圖2為1個(gè)關(guān)鍵幀和4個(gè)非關(guān)鍵幀組成的平面視頻子序列；
3) 圖3為關(guān)鍵幀處理過(guò)程，其中圖3 (a)為關(guān)鍵幀原始圖像，圖3 (b)為關(guān)鍵幀深 度圖，包括分割完的前景物體和背景，圖3 (c)為關(guān)鍵幀前景物體輪廓特征點(diǎn)示意4) 圖4為非關(guān)鍵幀處理過(guò)程，其中圖4 (a)為非關(guān)鍵幀輪廓特征點(diǎn)雙向跟蹤初始結(jié) 果，圖4 (b)為運(yùn)用鄰近輪廓特征點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則之后的輪廓特征點(diǎn)分布圖，圖4 (c) 為進(jìn)行輪廓特征點(diǎn)補(bǔ)充后的結(jié)果，圖4 (d)為非關(guān)鍵幀的邊緣點(diǎn)分布圖，圖4 (e)為進(jìn)行 輪廓特征點(diǎn)位置調(diào)整后的結(jié)果；
5) 圖5為非關(guān)鍵幀深度圖生成過(guò)程，圖5 (a)為B樣條插值后的非關(guān)鍵幀前景物體 初始輪廓，圖5 (b)非關(guān)鍵幀對(duì)應(yīng)的邊緣點(diǎn)分布圖，圖5 (c)為輪廓點(diǎn)位置調(diào)整后的邊緣 結(jié)果；
6) 圖6為原平面視頻子序列及其對(duì)應(yīng)的深度圖序列。
具體實(shí)施例方式
本發(fā)明提出一種基于雙向跟蹤和特征點(diǎn)修正的平面視頻轉(zhuǎn)立體視頻方法結(jié)合附圖及
實(shí)施例詳細(xì)說(shuō)明如下
本發(fā)明的方法流程如圖1所示，包括以下步驟
1) 利用鏡頭檢測(cè)技術(shù)，對(duì)要處理的平面視頻序列，計(jì)算機(jī)自動(dòng)按照相鄰幀內(nèi)容的上
下文關(guān)系，將整個(gè)平面視頻序列劃分成iV個(gè)內(nèi)容相關(guān)的子序列&、 &.....同時(shí)，用
戶通過(guò)計(jì)算機(jī)屏幕指定每個(gè)子序列中任意一幀作為關(guān)鍵幀&、 &.....4，其余作為非關(guān)
鍵幀，其中下標(biāo)iV為正整數(shù)；
2) 選定一個(gè)平面視頻子序列&，對(duì)該子序列中的關(guān)鍵幀&進(jìn)行前景物體分割，并提 取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn);c。，其中下標(biāo)""為正整數(shù)，且0</￡/^， 0<n5l， Z表示關(guān) 鍵幀&輪廓特征點(diǎn)的數(shù)目
21)對(duì)關(guān)鍵幀&進(jìn)行前景物體分割用戶通過(guò)計(jì)算機(jī)屏幕基于圖像編輯軟件工具，手
動(dòng)勾勒關(guān)鍵幀&的前景物體A、 02、 ...、 CW對(duì)應(yīng)的邊緣輪廓C/、 c2.....cw，完成關(guān)
鍵幀前景物體的分割；勾勒方法具體實(shí)現(xiàn)為用戶通過(guò)計(jì)算機(jī)屏幕沿著關(guān)鍵幀中待分割的 前景物體的輪廓每隔一段距離取一個(gè)點(diǎn)，所有點(diǎn)依次連接得到該物體的閉合輪廓曲線，由 此完成了對(duì)該前景物體的分割；輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域，其中下標(biāo)M為正整數(shù)；
22) 生成關(guān)鍵幀深度圖根據(jù)關(guān)鍵幀前景物體O,的特點(diǎn)，用戶通過(guò)計(jì)算機(jī)屏幕以輸入 數(shù)值的方式，指定邊緣輪廓q所圍區(qū)域內(nèi)每個(gè)像素的深度值，像素的深度值以一整數(shù)表示， 該像素的空間位置離攝像機(jī)的距離，取值范圍為大于0，小于等于255，其中深度值0，表 示空間位置在距離攝像機(jī)無(wú)限遠(yuǎn)處，而深度值255則表示距離攝像機(jī)最近的空間位置；同 時(shí)，指定背景區(qū)域像素的深度值為0，得到關(guān)鍵幀的深度23) 提取關(guān)鍵幀的輪廓特征點(diǎn)在關(guān)鍵幀中所有的前景物體邊緣輪廓上，計(jì)算機(jī)自動(dòng) 利用KLT算法提取其輪廓特征點(diǎn)x"，獲得代表關(guān)鍵幀中該前景物體的輪廓特征點(diǎn)集合
3) 參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn)-
31) 設(shè)視頻子序列中第f幀為關(guān)鍵幀(其中f為整數(shù)，表示幀序號(hào))，參考關(guān)鍵幀前景 物體的輪廓特征點(diǎn)，對(duì)該子序列中的相鄰非關(guān)鍵幀，按照幀號(hào)為M、 r-2、...的順序，計(jì)算 機(jī)自動(dòng)利用KLT算法進(jìn)行后向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合^ }中的每一個(gè)輪廓特征 點(diǎn)x"在相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)x"，并將其坐標(biāo)作為該輪廓特征點(diǎn)在本非關(guān)鍵幀 中的初始位置；
32) 參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，對(duì)相鄰非關(guān)鍵幀，按照幀號(hào)為什l、 /+2、... 的順序，計(jì)算機(jī)自動(dòng)利用KLT算法進(jìn)行前向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合(xj中的每 一個(gè)輪廓特征點(diǎn)1 在每一相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)《，并將其坐標(biāo)作為該輪廓特 征點(diǎn)在本非關(guān)鍵幀中的初始位置；
33) 每一個(gè)非關(guān)鍵幀中所有的邊緣特征點(diǎn)組成該幀前景物體邊緣特征點(diǎn)集合fx;4或
4) 計(jì)算機(jī)自動(dòng)利用鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則，對(duì)每一非關(guān)鍵幀上的相鄰輪廓
特征點(diǎn)進(jìn)行分析，去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)
41) 計(jì)算非關(guān)鍵幀上的輪廓特征點(diǎn)xl與相鄰幀中對(duì)應(yīng)的參考輪廓特征點(diǎn)x 在圖像平面 中的歐氏距離A;
42) 分別計(jì)算^的鄰近輪廓特征點(diǎn)x^、 x _2、 &+1、 、+2與對(duì)應(yīng)參考輪廓特征點(diǎn)的歐
氏足巨禺A-2、 A-7、 A+7、 ""+2;
43) 將所述各輪廓特征點(diǎn)之間的歐氏距離代入運(yùn)動(dòng)一致性準(zhǔn)則函數(shù)中
K - "1 * (《-l +- "2 * K一2 +《2)' 其中^衡量輪廓特征點(diǎn)、的鄰近輪廓特征點(diǎn)運(yùn)動(dòng)一致性，^表示鄰近特征點(diǎn)JC?！猵 、+1對(duì)
非關(guān)鍵幀、的影響權(quán)重，^表示鄰近特征點(diǎn)、—2、 ；c""對(duì)非關(guān)鍵幀、的影響權(quán)重，并竭足
權(quán)重和為1，即2^+2 2=1;
44) 對(duì)每一非關(guān)鍵幀上輪廓特征點(diǎn)集合{、}中所有的輪廓特征點(diǎn)進(jìn)行步驟41) 43) 的計(jì)算；分析每一個(gè)輪廓特征點(diǎn)的鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性，如果A"大于設(shè)定的閾值 77 (閾值范圍設(shè)定在{~}序列標(biāo)準(zhǔn)差的1~3倍)，則認(rèn)為對(duì)應(yīng)的輪廓特征點(diǎn)不符合運(yùn)動(dòng)一致性準(zhǔn)則，置為無(wú)效，并從該幀的輪廓特征點(diǎn)集合中去除；
5) 對(duì)于非關(guān)鍵幀上輪廓特征點(diǎn)稀疏的區(qū)域，計(jì)算機(jī)自動(dòng)利用KLT算法新增輪廓特征 點(diǎn)，并將新增輪廓特征點(diǎn)補(bǔ)充到原來(lái)的輪廓特征點(diǎn)集合中
51 )計(jì)算機(jī)自動(dòng)依次計(jì)算非關(guān)鍵幀中每一個(gè)輪廓特征點(diǎn)、與該幀內(nèi)其相鄰輪廓特^E點(diǎn) 《+1之間的歐氏距離"；
52) 如果所述歐氏距離￡ 大于設(shè)定閾值"，則認(rèn)為輪廓特征點(diǎn)、與、+,之間的區(qū)域需 要增加輪廓特征點(diǎn)(閾值為正整數(shù)，由用戶根據(jù)視頻內(nèi)容特點(diǎn)預(yù)先給定，通常根據(jù)視 頻子序列中前景對(duì)象的邊緣輪廓復(fù)雜度來(lái)指定，復(fù)雜的邊緣輪廓對(duì)應(yīng)較小的閾值77，反之 則指定較大的閾值")；
53) 計(jì)算機(jī)自動(dòng)利用KLT算法在該區(qū)域新增輪廓特征點(diǎn)，然后將新增輪廓特征點(diǎn)加入
到該非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合^;4中；
6) 計(jì)算機(jī)自動(dòng)將非關(guān)鍵幀輪廓特征點(diǎn)集合中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前 景物體的輪廓上，得到該視頻子序列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合
61) 利用Canny邊緣求取算法，得到非關(guān)鍵幀的邊緣點(diǎn)分布62) 對(duì)非關(guān)鍵幀上的每一個(gè)輪廓特征點(diǎn)x",通過(guò)水平掃描，找到該幀對(duì)應(yīng)邊緣點(diǎn)分布 圖中最鄰近的邊緣點(diǎn)，然后將該輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)邊緣點(diǎn)上；
63) 將調(diào)整后的輪廓特征點(diǎn)集合^"作為參考，跟蹤對(duì)應(yīng)視頻子序列中其他賴鄰非關(guān) 鍵幀的輪廓特征點(diǎn)；
7) 計(jì)算機(jī)自動(dòng)基于輪廓特征點(diǎn)集合恢復(fù)每一個(gè)非關(guān)鍵幀前景物體輪廓
71) 利用B樣條插值算法，得到每一非關(guān)鍵幀中各個(gè)輪廓特征點(diǎn)之間的輪廓點(diǎn)；
72) 利用步驟62)中所述方法，將步驟71)中所述輪廓點(diǎn)位置調(diào)整到對(duì)應(yīng)非關(guān)鍵幀 邊緣點(diǎn)上；
73) 連接非關(guān)鍵幀上位置調(diào)整后的輪廓點(diǎn)，得到非關(guān)鍵幀中前景物體的輪廓曲線，非 關(guān)鍵幀中輪廓曲線以內(nèi)的區(qū)域?yàn)榍熬拔矬w，輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域；
8) 根據(jù)關(guān)鍵幀前景物體的深度值，得到該視頻子序列的深度圖序列 根據(jù)關(guān)鍵幀前景物體的深度值，計(jì)算機(jī)自動(dòng)對(duì)步驟73)中所得到的非關(guān)鍵幀對(duì)應(yīng)前景
物體賦予相同的深度值，對(duì)背景區(qū)域賦予深度值為0;同時(shí)，用戶通過(guò)計(jì)算機(jī)屏幕根據(jù)視 頻序列前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀前景物體的深度值進(jìn)行細(xì)調(diào)，得到非關(guān)鍵幀的深 度圖；關(guān)鍵幀和所有非關(guān)鍵幀的深度圖構(gòu)成該視頻子序列的深度圖序列；
9) 對(duì)每一個(gè)視頻子序列按照步驟2) ~8)所述方法，獲取對(duì)應(yīng)的深度圖序列；所有深
度圖序列組成原平面視頻序列的深度圖序列；
10) 計(jì)算機(jī)自動(dòng)將原平面視頻序列的每一幀圖像作為參考視圖，根據(jù)對(duì)應(yīng)的深度圖， 利用DIBR算法得到相應(yīng)多個(gè)視角的視圖；根據(jù)特定立體顯示設(shè)備的要求，將同一時(shí)刻的 多個(gè)視角視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
11 )所有時(shí)刻的立體視頻幀組成原平面視頻序列對(duì)應(yīng)的立體視頻序列。本發(fā)明中提出的基于關(guān)鍵幀雙向跟蹤和特征點(diǎn)修正的平面視頻轉(zhuǎn)立體視頻的方法，其 實(shí)施例，結(jié)合附圖，說(shuō)明如下
本實(shí)例的硬件平臺(tái)為1臺(tái)普通臺(tái)式機(jī)。
1) 利用鏡頭檢測(cè)技術(shù)，對(duì)要處理的平面視頻序列，計(jì)算機(jī)自動(dòng)按照相鄰幀內(nèi)容的上
下文關(guān)系，將整個(gè)平面視頻序列劃分成W個(gè)內(nèi)容相關(guān)的子序列&、 &.....5V;同時(shí)，用
戶通過(guò)計(jì)算機(jī)屏幕指定每個(gè)子序列中任意一幀作為關(guān)鍵幀&、《2、 ...、 其余作為非關(guān) 鍵幀，其中下標(biāo)JV為正整數(shù)；如圖2所示一個(gè)視頻子序列包括5個(gè)視頻幀，指定其中用黑 線框出的第三幀作為關(guān)鍵幀，其余4幀為非關(guān)鍵幀；
2) 選定一個(gè)平面視頻子序列&，對(duì)該子序列中的關(guān)鍵幀&進(jìn)行前景物體分割，并提
取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)、，其中下標(biāo)/,"為正整數(shù)，且0</^, o<n￡L， i:表示關(guān)
鍵幀&輪廓特征點(diǎn)的數(shù)目；在本實(shí)施例中，選定圖2所示平面視頻子序列，對(duì)第三幀(關(guān)
鍵幀)進(jìn)行前景物體分割，并提取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)
21) 對(duì)關(guān)鍵幀&進(jìn)行前景物體分割用戶通過(guò)計(jì)算機(jī)屏幕基于圖像編輯軟件工具，手
動(dòng)勾勒關(guān)鍵幀《,的前景物體6>/、 02、 ...、 6W對(duì)應(yīng)的邊緣輪廓C/、 C2.....CM，完成關(guān)
鍵幀前景物體的分割；勾勒方法具體實(shí)現(xiàn)為用戶通過(guò)計(jì)算機(jī)屏幕沿著關(guān)鍵幀中待分割的 前景物體《如圖3 (a))的輪廓每隔一段距離取一個(gè)點(diǎn)，所有點(diǎn)依次連接得到該物體的閉 合輪廓曲線，由此完成了對(duì)該前景物體的分割；輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域；在 本實(shí)施例中，用戶按照所述方法對(duì)關(guān)鍵幀分割的結(jié)果如圖3 (b)所示，圖中對(duì)應(yīng)的前景物 體為白色區(qū)域，背景為黑色區(qū)域；
22) 生成關(guān)鍵幀深度圖根據(jù)關(guān)鍵幀前景物體O,的特點(diǎn)，用戶通過(guò)計(jì)算機(jī)屏幕以輸入 數(shù)值的方式，指定邊緣輪廓q所圍區(qū)域內(nèi)每個(gè)像素的深度值，像素的深度值以一整數(shù)表示， 該像素的空間位置離攝像機(jī)的距離，取值范圍為大于0，小于等于255，其中深度值0，表 示空間位置在距離攝像機(jī)無(wú)限遠(yuǎn)處，而深度值255則表示距離攝像機(jī)最近的空間位置；同 時(shí)，指定背景區(qū)域像素的深度值為0，得到關(guān)鍵幀的深度圖；如圖3 (b)所示，背景深度 值賦為0，前景物體深度值賦為200;
23) 提取關(guān)鍵幀的輪廓特征點(diǎn)在關(guān)鍵幀中所有的前景物體邊緣輪廓上，計(jì)算機(jī)自動(dòng)
利用KLT算法提取其輪廓特征點(diǎn)x。，獲得代表關(guān)鍵幀中該前景物體的輪廓特征點(diǎn)集合 {x };如圖3 (c)中在前景物體邊緣上用黑點(diǎn)表示；
3) 參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn) 31)設(shè)視頻子序列中第Z幀為關(guān)鍵幀(其中/為整數(shù)，表示幀序號(hào))，參考關(guān)鍵幀前景
物體的輪廓特征點(diǎn)，對(duì)該子序列中的相鄰非關(guān)鍵幀，按照幀號(hào)為M、 ~2、...的順序，計(jì)算 機(jī)自動(dòng)利用KLT算法進(jìn)行后向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合^J中的每一個(gè)輪廓特征 點(diǎn)、在相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)、，并將其坐標(biāo)作為該輪廓特征點(diǎn)在本非關(guān)鍵幀 中的初始位置；32)參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，對(duì)相鄰非關(guān)鍵幀，按照幀號(hào)為&1、 &2、... 的順序，計(jì)算機(jī)自動(dòng)利用KLT算法進(jìn)行前向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合(xj中的每 一個(gè)輪廓*寺征點(diǎn)&在每一相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)《，并將其坐標(biāo)作為該輪廓特 征點(diǎn)在本非關(guān)鍵幀中的初始位置；
33)每一個(gè)非關(guān)鍵幀中所有的邊緣特征點(diǎn)組成該幀前景物體邊緣特征點(diǎn)集合^;4或
在圖4 (a)中用黑色點(diǎn)標(biāo)出非關(guān)鍵幀輪廓特征點(diǎn)跟蹤初始結(jié)果； 4)計(jì)算機(jī)自動(dòng)利用鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則，對(duì)每一非關(guān)鍵幀上的相鄰輪廓 特征點(diǎn)進(jìn)行分析，去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)
41) 計(jì)算非關(guān)鍵幀上的輪廓特征點(diǎn)、與相鄰幀中對(duì)應(yīng)的參考輪廓特征點(diǎn)&在圖像平面
中的歐氏距離4;
42) 分別計(jì)算&的鄰近輪廓特征點(diǎn) —,、、—2、 &+1、 、+2與對(duì)應(yīng)參考輪廓特征點(diǎn)的歐
其中A/衡量輪廓特征點(diǎn)、的鄰近輪廓特征點(diǎn)運(yùn)動(dòng)一致性，q表示鄰近特征點(diǎn);v,、 、+1對(duì) 非關(guān)鍵幀、的影響權(quán)重，％表示鄰近特征點(diǎn)、_2、 &+2對(duì)非關(guān)鍵幀、的影響權(quán)重，并滿足 權(quán)重和為1，即2^+2w2=l;在本實(shí)施例中，取《1=1/3、 《2^1/6，表示較近的相鄰幀 對(duì)運(yùn)動(dòng)一致性影響權(quán)重大，且^和^總權(quán)重為1;
44)對(duì)每一非關(guān)鍵幀上輪廓特征點(diǎn)集合^;4中所有的輪廓特征點(diǎn)進(jìn)行步驟41) 43) 的計(jì)算；分析每一個(gè)輪廓特征點(diǎn)的鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性，如果\大于設(shè)定的閾值 77閾值范圍設(shè)定在fAj序列標(biāo)準(zhǔn)差的1~3倍，則認(rèn)為對(duì)應(yīng)的輪廓特征點(diǎn)不符合運(yùn)動(dòng)一致 性準(zhǔn)則，置為無(wú)效，并從該幀的輪廓特征點(diǎn)集合中去除；本實(shí)施例中，給定閾值n為(Aj 序列標(biāo)準(zhǔn)差的2倍；特征點(diǎn)篩選后的輪廓特征點(diǎn)分布的結(jié)果如圖4 (b)所示；'
5) 對(duì)于非關(guān)鍵幀上輪廓特征點(diǎn)稀疏的區(qū)域，計(jì)算機(jī)自動(dòng)利用KLT算法新增輪廓特征 點(diǎn)，并將新增輪廓特征點(diǎn)補(bǔ)充到原來(lái)的輪廓特征點(diǎn)集合中
51) 計(jì)算機(jī)自動(dòng)依次計(jì)算非關(guān)鍵幀中每一個(gè)輪廓特征點(diǎn);c"與該幀內(nèi)其相鄰輪廓特征點(diǎn) x^之間的歐氏距離Z);
52) 如果所述歐氏距離Z)大于設(shè)定閾值T2，則認(rèn)為輪廓特征點(diǎn)、與^+,之間的區(qū)域需 要增加輪廓特征點(diǎn)(閾值"由用戶根據(jù)視頻內(nèi)容特點(diǎn)預(yù)先給定，通常根據(jù)視頻子序列中 前景對(duì)象的邊緣輪廓復(fù)雜度來(lái)指定，復(fù)雜的邊緣輪廓對(duì)應(yīng)較小的閾值77，反之則指定較大 的閾值77);本實(shí)施例中，前景物體邊緣輪廓較為簡(jiǎn)單，指定閾值"為20;
53) 計(jì)算機(jī)自動(dòng)利用KLT算法在該區(qū)域新增輪廓特征點(diǎn)，然后將新增輪廓特征點(diǎn)加入
到該非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合^ }中；輪廓特征點(diǎn)補(bǔ)充后的結(jié)果如圖4 (C)所示；
6) 計(jì)算機(jī)自動(dòng)將非關(guān)鍵幀輪廓特征點(diǎn)集合中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前
景物體的輪廓上，得到該視頻子序列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合61)利用Canny邊緣求取算法，得到非關(guān)鍵幀的邊緣點(diǎn)分布圖，如圖4 (d)所示； 62)對(duì)非關(guān)鍵幀上的每一個(gè)輪廓特征點(diǎn)、，通過(guò)水平掃描，找到該幀對(duì)應(yīng)邊緣點(diǎn)分布圖中 最鄰近的邊緣點(diǎn)，然后將該輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)邊緣點(diǎn)上，輪廓特征點(diǎn)位置調(diào)整 后的結(jié)果，如圖4 (e)所示；
63)將調(diào)整后的輪廓特征點(diǎn)集合{&}作為參考，跟蹤對(duì)應(yīng)視頻子序列中其他相鄰非關(guān) 鍵幀的輪廓特征點(diǎn)；
7) 計(jì)算機(jī)自動(dòng)基于輪廓特征點(diǎn)集合恢復(fù)每一個(gè)非關(guān)鍵幀前景物體輪廓
71) 利用B樣條插值算法，得到每一非關(guān)鍵幀中各個(gè)輪廓特征點(diǎn)之間的輪廓點(diǎn)，如圖 5 (a)所示；
72) 利用步驟62)中所述方法，結(jié)合非關(guān)鍵幀邊緣點(diǎn)分布圖(如圖5 (b)所示)，將 步驟71)中所述輪廓點(diǎn)位置調(diào)整到對(duì)應(yīng)非關(guān)鍵幀邊緣點(diǎn)上；
73) 連接非關(guān)鍵幀上位置調(diào)整后的輪廓點(diǎn)，得到非關(guān)鍵幀中前景物體的輪廓曲線，非 關(guān)鍵幀中輪廓曲線以內(nèi)的區(qū)域?yàn)榍熬拔矬w，輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域，如圖5
(c)所示；
8) 根據(jù)關(guān)鍵幀前景物體的深度值，得到該視頻子序列的深度圖序列
根據(jù)關(guān)鍵幀前景物體的深度值，計(jì)算機(jī)自動(dòng)對(duì)步驟73)中所得到的非關(guān)鍵幀對(duì)應(yīng)前景
物體賦予相同的深度值，對(duì)背景區(qū)域賦予深度值為0;同時(shí)，用戶通過(guò)計(jì)算機(jī)屏幕根據(jù)視
頻序列前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀前景物體的深度值進(jìn)行細(xì)調(diào)，得到非關(guān)鍵幀的深
度圖；關(guān)鍵幀和所有非關(guān)鍵幀的深度圖構(gòu)成該視頻子序列的深度圖序列；本實(shí)施例的包括 1個(gè)視頻幀關(guān)鍵幀和4個(gè)非關(guān)鍵幀的視頻子序列及對(duì)應(yīng)的深度圖序列如圖6所示；
9) 對(duì)每一個(gè)視頻子序列按照步驟2) ~8)所述方法，獲取對(duì)應(yīng)的深度圖序列；所有深 度圖序列組成原平面視頻序列的深度圖序列；
10) 計(jì)算機(jī)自動(dòng)將原平面視頻序列的每一幀圖像作為參考視圖，根據(jù)對(duì)應(yīng)的深度圖， 利用DIBR算法得到相應(yīng)多個(gè)視角的視圖；根據(jù)特定立體顯示設(shè)備的要求，將同一時(shí)刻的 多個(gè)視角視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
11) 所有時(shí)刻的立體視頻幀組成原平面視頻序列對(duì)應(yīng)的立體視頻序列。
權(quán)利要求
1. 一種基于雙向跟蹤和特征點(diǎn)修正的改進(jìn)KLT算法來(lái)實(shí)現(xiàn)平面視頻到立體視頻的轉(zhuǎn)換方法，具體步驟為1)利用鏡頭檢測(cè)技術(shù)，對(duì)要處理的平面視頻序列，計(jì)算機(jī)自動(dòng)按照相鄰幀內(nèi)容的上下文關(guān)系，將整個(gè)平面視頻序列劃分成N個(gè)內(nèi)容相關(guān)的子序列S1、S2、…、SN；同時(shí)，用戶通過(guò)計(jì)算機(jī)屏幕指定每個(gè)子序列中任意一幀作為關(guān)鍵幀K1、K2、…、KN，其余作為非關(guān)鍵幀，其中下標(biāo)N為正整數(shù)；2)選定一個(gè)平面視頻子序列Si，對(duì)該子序列中的關(guān)鍵幀Ki進(jìn)行前景物體分割，并提取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)xn，其中下標(biāo)i，n為正整數(shù)，且0＜i≤N，0＜n≤L，L表示關(guān)鍵幀Ki輪廓特征點(diǎn)的數(shù)目；3)參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn)；4)計(jì)算機(jī)自動(dòng)利用鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則，對(duì)每一非關(guān)鍵幀上的相鄰輪廓特征點(diǎn)進(jìn)行分析，去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)；5)對(duì)于非關(guān)鍵幀上輪廓特征點(diǎn)稀疏的區(qū)域，計(jì)算機(jī)自動(dòng)利用KLT算法新增輪廓特征點(diǎn)，并將新增輪廓特征點(diǎn)補(bǔ)充到原來(lái)的輪廓特征點(diǎn)集合中；6)計(jì)算機(jī)自動(dòng)將非關(guān)鍵幀輪廓特征點(diǎn)集合中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前景物體的輪廓上，得到該視頻子序列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合；7)計(jì)算機(jī)自動(dòng)基于輪廓特征點(diǎn)集合恢復(fù)每一個(gè)非關(guān)鍵幀前景物體輪廓；8)根據(jù)關(guān)鍵幀前景物體的深度值，得到該視頻子序列的深度圖序列；9)對(duì)每一個(gè)視頻子序列按照步驟2)～8)所述方法，獲取對(duì)應(yīng)的深度圖序列；所有深度圖序列組成原平面視頻序列的深度圖序列；10)計(jì)算機(jī)自動(dòng)將原平面視頻序列的每一幀圖像作為參考視圖，根據(jù)對(duì)應(yīng)的深度圖，利用DIBR算法得到相應(yīng)多個(gè)視角的視圖；根據(jù)特定立體顯示設(shè)備的要求，將同一時(shí)刻的多個(gè)視角視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；11)所有時(shí)刻的立體視頻幀組成原平面視頻序列對(duì)應(yīng)的立體視頻序列。
2、 如權(quán)利要求l所述方法，其特征在于，所述步驟2)選定一個(gè)平面視頻子序列&， 對(duì)該子序列中的關(guān)鍵幀&進(jìn)行前景物體分割，并提取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)，具體包 括21)對(duì)關(guān)鍵幀&進(jìn)行前景物體分割用戶通過(guò)計(jì)算機(jī)屏幕基于圖像編輯軟件工具，手動(dòng)勾勒關(guān)鍵幀&的前景物體0/、 02.....CW對(duì)應(yīng)的邊緣輪廓C;、 C2.....CM，完成關(guān)鍵幀前景物體的分割；勾勒方法具體實(shí)現(xiàn)為用戶通過(guò)計(jì)算機(jī)屏幕沿著關(guān)鍵幀中待分割的 前景物體的輪廓每隔一段距離取一個(gè)點(diǎn)，所有點(diǎn)依次連接得到該物體的閉合輪廓曲線，由 此完成了對(duì)該前景物體的分割；輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域，其中下標(biāo)M為正整數(shù)；22) 生成關(guān)鍵幀深度圖根據(jù)關(guān)鍵幀前景物體O,的特點(diǎn)，用戶通過(guò)計(jì)算機(jī)屏幕以輸入 數(shù)值的方式，指定邊緣輪廓Cy所圍區(qū)域內(nèi)每個(gè)像素的深度值，像素的深度值以一整數(shù)表示， 該像素的空間位置離攝像機(jī)的距離，取值范圍為大于0，小于等于255，其中深度值0，表 示空間位置在距離攝像機(jī)無(wú)限遠(yuǎn)處，而深度值255則表示距離攝像機(jī)最近的空間位置；同 時(shí)，指定背景區(qū)域像素的深度值為0，得到關(guān)鍵幀的深度圖；23) 提取關(guān)鍵幀的輪廓特征點(diǎn)在關(guān)鍵幀中所有的前景物體邊緣輪廓上，計(jì)算機(jī)自動(dòng)利用KLT算法提取其輪廓特征點(diǎn)&，獲得代表關(guān)鍵幀中該前景物體的輪廓特征點(diǎn)集合 W。
3、 如權(quán)利要求l所述方法，其特征在于，所述步驟3)參考關(guān)鍵幀前景物體的輪廓特征點(diǎn)，進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn)，具體包括31) 設(shè)視頻子序列中第f幀為關(guān)鍵幀，其中f為整數(shù)，表示幀序號(hào)，參考關(guān)鍵幀前景 物體的輪廓特征點(diǎn)，對(duì)該子序列中的相鄰非關(guān)鍵幀，按照幀號(hào)為f-l、 ,-2、...的順序，計(jì)算 機(jī)自動(dòng)利用KLT算法進(jìn)行后向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合(xj中的每一個(gè)輪廓特征 點(diǎn)、在相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)x"，并將其坐標(biāo)作為該輪廓特征點(diǎn)在本非關(guān)鍵幀 中的初始位置；32) 參考關(guān)鍵幀前景物體的輪豫特征點(diǎn)，對(duì)相鄰非關(guān)鍵幀，按照幀號(hào)為什l、什2、... 的順序，計(jì)算機(jī)自動(dòng)利用KLT算法進(jìn)行前向跟蹤，得到關(guān)鍵幀輪廓特征點(diǎn)集合{、}中的每一個(gè)輪廓特征點(diǎn)jc。在每一相鄰非關(guān)鍵幀中對(duì)應(yīng)的輪廓特征點(diǎn)《，并將其坐標(biāo)作為該輪廓特征點(diǎn)在本非關(guān)鍵幀中的初始位置；33) 每一個(gè)非關(guān)鍵幀中所有的邊緣特征點(diǎn)組成該幀前景物體邊緣特征點(diǎn)集合jx3或W。
4、 如權(quán)利要求l所述方法，其特征在于，所述步驟4)計(jì)算機(jī)自動(dòng)利用鄰近邊緣特征 點(diǎn)運(yùn)動(dòng)一致性準(zhǔn)則，對(duì)每一非關(guān)鍵幀上的相鄰輪廓特征點(diǎn)進(jìn)行分析，去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)，具體包括41) 計(jì)算非關(guān)鍵幀上的輪廓特征點(diǎn)、與相鄰幀中對(duì)應(yīng)的參考輪廓特征點(diǎn)x"在圖像平面 中的歐氏距離4;42) 分別計(jì)算、的鄰近輪廓特征點(diǎn)x^、 jc _2、 、+1、 x"+2與對(duì)應(yīng)參考輪廓特征點(diǎn)的歐氏足巨罔<4-2、 4;管/、 4i十/、 ^"+2;43) 將所述各輪廓特征點(diǎn)之間的歐氏距離代入運(yùn)動(dòng)一致性準(zhǔn)則函數(shù)中K < (d + d ) - 2 * (《-2 +《+2 )，其中A 衡量輪廓特征點(diǎn)jc 的鄰近輪廓特征點(diǎn)運(yùn)動(dòng)一致性，q表示鄰近特征點(diǎn);c"一 、 ；c +1對(duì) 非關(guān)鍵幀、的影響權(quán)重，《2表示鄰近特征點(diǎn)、_2、 、+2對(duì)非關(guān)鍵幀、的影響權(quán)重，并滿足 權(quán)重和為1，即2^+2^2=1;44) 對(duì)每一非關(guān)鍵幀上輪廓特征點(diǎn)集合^ }中所有的輪廓特征點(diǎn)進(jìn)行步驟41) 43)的計(jì)算；分析每一個(gè)輪廓特征點(diǎn)的鄰近邊緣特征點(diǎn)運(yùn)動(dòng)一致性，如果A"大于設(shè)定的闊值 77，則認(rèn)為對(duì)應(yīng)的輪廓特征點(diǎn)不符合運(yùn)動(dòng)一致性準(zhǔn)則，置為無(wú)效，并從該幀的輪廓特征點(diǎn) 集合中去除。
5、如權(quán)利要求l所述方法，其特征在于，所述步驟5)對(duì)于非關(guān)鍵幀上輪廓特征點(diǎn)稀 疏的區(qū)域，計(jì)算機(jī)自動(dòng)利用KLT算法新增輪廓特征點(diǎn)，并將新增輪廓特征點(diǎn)補(bǔ)充到原來(lái)的 輪廓特征點(diǎn)集合中51) 計(jì)算機(jī)自動(dòng)依次計(jì)算非關(guān)鍵幀中每一個(gè)輪廓特征點(diǎn)x二與該幀內(nèi)其相鄰輪廓特征點(diǎn) x^之間的歐氏距離Z);52) 如果所述歐氏距離D大于設(shè)定閾值T7，則認(rèn)為輪廓特征點(diǎn)、與、+1之間的區(qū)域需 要增加輪廓特征點(diǎn)(閾值"為正整數(shù)，由用戶根據(jù)視頻內(nèi)容特點(diǎn)預(yù)先給定，通常根據(jù)視 頻子序列中前景對(duì)象的邊緣輪廓復(fù)雜度來(lái)指定，復(fù)雜的邊緣輪廓對(duì)應(yīng)較小的閾值"，反之則指定較大的閾值")；53) 計(jì)算機(jī)自動(dòng)利用KLT算法在該區(qū)域新增輪廓特征點(diǎn)，然后將新增輪廓特征點(diǎn)加入到該非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合^;j中。
6、 如權(quán)利要求l所述方法，其特征在于，所述步驟6)計(jì)算機(jī)自動(dòng)將非關(guān)鍵幀輪廓特 征點(diǎn)集合^ }中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前景物體的輪廓上，得到該視頻子序 列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合，具體包括61) 利用Canny邊緣求取算法，得到非關(guān)鍵幀的邊緣點(diǎn)分布圖；62) 對(duì)非關(guān)鍵幀上的每一個(gè)輪廓特征點(diǎn)x二，通過(guò)水平掃描，找到該幀對(duì)應(yīng)邊緣點(diǎn)分布 圖中最鄰近的邊緣點(diǎn)，然后將該輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)邊緣點(diǎn)上；63) 將調(diào)整后的輪廓特征點(diǎn)集合{、}作為參考，跟蹤對(duì)應(yīng)視頻子序列中其他相鄰非關(guān) 鍵幀的輪廓特征點(diǎn)。
7、 如權(quán)利要求l所述方法，其特征在于，所述步驟7)計(jì)算機(jī)自動(dòng)基于輪廓特征點(diǎn)集 合恢復(fù)非關(guān)鍵幀前景物體輪廓，具體包括71) 利用B樣條插值算法，得到每一非關(guān)鍵幀中各個(gè)輪廓特征點(diǎn)之間的輪廓點(diǎn)；72) 利用步驟62)中所述方法，將步驟71)中所述輪廓點(diǎn)位置調(diào)整到對(duì)應(yīng)非關(guān)鍵幀 邊緣點(diǎn)上；73) 連接非關(guān)鍵幀上位置調(diào)整后的輪廓點(diǎn)，得到非關(guān)鍵幀中前景物體的輪廓曲線，非 關(guān)鍵幀中輪廓曲線以內(nèi)的區(qū)域?yàn)榍熬拔矬w，輪廓曲線以外的所有區(qū)域?yàn)楸尘皡^(qū)域。
8、 如權(quán)利要求1所述方法，其特征在于，所述步驟8)根據(jù)關(guān)鍵幀前景物體的深度值， 得到該視頻子序列的深度圖序列，具體包括；根據(jù)關(guān)鍵幀前景物體的深度值，計(jì)算機(jī)自動(dòng) 對(duì)步驟73)中所得到的非關(guān)鍵幀對(duì)應(yīng)前景物體賦予相同的深度值，對(duì)背景區(qū)域賦予深度值 為0;同時(shí)，用戶通過(guò)計(jì)算機(jī)屏幕根據(jù)視頻序列前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀前景物 體的深度值進(jìn)行細(xì)調(diào)，得到非關(guān)鍵幀的深度圖；關(guān)鍵幀和所有非關(guān)鍵幀的深度圖構(gòu)成該視 頻子序列的深度圖序列。
全文摘要
本發(fā)明涉及基于雙向跟蹤和特征點(diǎn)修正的平面視頻轉(zhuǎn)立體視頻的方法，屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域。該方法包括將整個(gè)平面視頻序列劃分成內(nèi)容相關(guān)的子序列；指定一幀作為關(guān)鍵幀；對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取對(duì)應(yīng)的深度圖及輪廓特征點(diǎn)；進(jìn)行雙向跟蹤得到非關(guān)鍵幀的輪廓特征點(diǎn)；去除不滿足運(yùn)動(dòng)一致性準(zhǔn)則的輪廓特征點(diǎn)；將非關(guān)鍵幀輪廓特征點(diǎn)集合中每一個(gè)輪廓特征點(diǎn)的位置調(diào)整到對(duì)應(yīng)前景物體的輪廓上，得到該視頻子序列每一非關(guān)鍵幀對(duì)應(yīng)的輪廓特征點(diǎn)集合，并恢復(fù)非關(guān)鍵幀前景物體輪廓，進(jìn)而得到原平面視頻序列的深度圖序列；最后得到原平面視頻序列對(duì)應(yīng)的立體視頻序列。本發(fā)明基于關(guān)鍵幀，獲取高精度視頻序列深度圖，很好地實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻。
文檔編號(hào)G06T7/00GK101287142SQ20081011177
公開日2008年10月15日 申請(qǐng)日期2008年5月16日 優(yōu)先權(quán)日2008年5月16日
發(fā)明者尤志翔, 戴瓊海, 航 邵 申請(qǐng)人:清華大學(xué)