專利名稱：一種通過(guò)分析深度進(jìn)行視頻場(chǎng)景分層的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻場(chǎng)景分層技術(shù)領(lǐng)域，具體的說(shuō)是基于深度信息對(duì)手持相機(jī)拍攝視 頻進(jìn)行場(chǎng)景分層，從而獲取視頻中不同深度層下各個(gè)物體的掩碼序列，用于視頻場(chǎng)景理解 和基于內(nèi)容的視頻壓縮等領(lǐng)域。
背景技術(shù)：
視頻場(chǎng)景分層的目的是從視頻中分解出不同的場(chǎng)景層，具有重要的理論意義和應(yīng) 用價(jià)值。在理論意義上，分解出視頻層有助于基于視頻的場(chǎng)景理解，或構(gòu)建2. 5維場(chǎng)景模 型，或?qū)崿F(xiàn)基于內(nèi)容的視頻壓縮，或完成新視頻的合成制作；在應(yīng)用價(jià)值上，視頻場(chǎng)景分層 功能是視頻編輯軟件的理論基礎(chǔ)，從視頻中抽取的前景物體可組建出對(duì)象庫(kù)，方便各種虛 實(shí)混合項(xiàng)目的應(yīng)用等。視頻場(chǎng)景分層是對(duì)每個(gè)視頻幀進(jìn)行0-1標(biāo)注或者多標(biāo)注的問(wèn)題。相比于圖像分 割而言，視頻場(chǎng)景分層要滿足時(shí)空一致性，視頻的時(shí)空信息包括光流場(chǎng)和深度圖，光流場(chǎng)記 錄了視頻幀中像素的運(yùn)動(dòng)向量，深度圖記錄了視頻幀中像素的深度值，在多視圖幾何理論 下，深度值就等同于視頻幀間像素的匹配關(guān)系。在本發(fā)明前，文獻(xiàn)1-S. Khan and Μ. Shah, Object Based Segmentation of Video Using Color，Motion and Spatial Information， Proceedings of Computer Vision and Pattern Recognition，2001 提出一禾中基于光流 場(chǎng)對(duì)視頻進(jìn)行場(chǎng)景分層的方法，首先提取視頻幀的光流場(chǎng)，然后對(duì)起始幀進(jìn)行分層，最后， 最大化一個(gè)融合光流信息、顏色信息的貝葉斯模型得到模型參數(shù)，從而實(shí)現(xiàn)后續(xù)幀的分層， 但該方法存在很多噪聲點(diǎn)，特別是遮擋邊緣處，主要原因是遮擋處的光流信息不穩(wěn)定。文 獻(xiàn) 2-J. Xiao and Μ. Shah, Motion Layer Extraction in the Presence of Occlusion using Graph Cut， Proceeding of Computer Vision and Pattern Recognition，2004 提 出了一種利用種子點(diǎn)擴(kuò)散對(duì)視頻進(jìn)行場(chǎng)景分層的方法，該方法假設(shè)場(chǎng)景是有多個(gè)平面空間 組成的，首先，在兩個(gè)視頻幀間找一些種子點(diǎn)區(qū)域，其次，這些種子點(diǎn)區(qū)域通過(guò)層次集和圖 割算法不斷地?cái)U(kuò)展和求解，然后，根據(jù)運(yùn)動(dòng)相似性融合成幾個(gè)初始層，最后，由一個(gè)馬爾科 夫模型獲取魯棒的運(yùn)動(dòng)層，由于該方法僅用到了運(yùn)動(dòng)深度信息，沒(méi)有考慮顏色紋理信息，因 此分解的場(chǎng)景層不精細(xì)，不能實(shí)現(xiàn)同一深度層上不同物體的分層。文獻(xiàn)3-N. ApostolofT and A. Fitzgibbon,Automatic Video Segmentation using Spatiotemporal T-junction, Proceeding of British Machine Vision Conference，2007 提出了一種基于時(shí)空 T-結(jié)點(diǎn) 的視頻場(chǎng)景分層方法，該方法將視頻看成一個(gè)帶有時(shí)間軸的三維空間X-Y-T，其中的T為時(shí) 間軸，X，Y分別為視頻幀的縱橫軸，用監(jiān)督學(xué)習(xí)法在X-T切片中找T-結(jié)點(diǎn)，即遮擋邊緣點(diǎn)， 然后根據(jù)遮擋邊緣點(diǎn)分離前景和背景層，該方法也不能分離同一深度層上的不同物體，并 且難以實(shí)現(xiàn)復(fù)雜邊緣的分層，例如樹(shù)杈。類似的，文獻(xiàn)4-A. N. Stein, Τ. S. Stepletion and Μ. Hebert, Towards Unsupervised Whole-Object Segmentation-Combining Automatic Matting with Boundary Detection, Proceeding of Computer Vision and Pattern Recognition，2008提出一種基于遮擋邊緣的多前景物體的分層，首先實(shí)現(xiàn)視頻幀中遮擋邊
4緣的檢測(cè)，然后在每段遮擋邊緣兩側(cè)用摳圖技術(shù)分離前景和背景，并在序列圖中構(gòu)建出一 個(gè)對(duì)稱相似矩陣，分解該矩陣的主特征完成了前景物體的抽取，由于該方法也基于遮擋邊 緣實(shí)現(xiàn)的前景物體的提取，因此也難以完成分離同一深度層上的不同物體，此外，該方法局 限于短基線視頻下的場(chǎng)景分層。文獻(xiàn)5-P. Bhat，et al.，Piecewise Image Registration in the Presence of Multiple Large Motion,， Proceeding of Computer Vision and Pattern Recognition, 2006實(shí)現(xiàn)了寬基線的視頻場(chǎng)景分層，該方法假設(shè)場(chǎng)景模型都是平面 物體，首先提取圖像中的稀疏特征點(diǎn)，根據(jù)對(duì)極點(diǎn)完成局部空間聚類，進(jìn)而獲取平面運(yùn)動(dòng)模 型，然后用一個(gè)多標(biāo)識(shí)的馬爾科夫模型優(yōu)化標(biāo)注每個(gè)像素，但該方法分層出的場(chǎng)景模型的 邊緣區(qū)域不精細(xì)。此外，中國(guó)專禾Ij “基于H.264壓縮域運(yùn)動(dòng)對(duì)象實(shí)時(shí)分割方法”，申請(qǐng)?zhí)枮?200610116363，該專利從H. 264視頻提取出的基于4X4塊均勻采樣的運(yùn)動(dòng)矢量場(chǎng)，將該矢 量場(chǎng)作為運(yùn)動(dòng)向量，然后采用快速的統(tǒng)計(jì)區(qū)域生長(zhǎng)算法按照運(yùn)動(dòng)相似性將其分層成多個(gè)區(qū) 域，該方法同樣僅僅用運(yùn)動(dòng)信息進(jìn)行分層，難于實(shí)現(xiàn)同一運(yùn)動(dòng)場(chǎng)下多物體的分層。美國(guó)專利 "Automatic Video Image Segmentation”，申請(qǐng)?zhí)枮閁S 2010/0046830 Al，該專利首先在用 戶交互下分層出關(guān)鍵幀中的前景物體，然后將分層結(jié)果傳遞給后續(xù)幀中，該方法可以魯棒 的完成視頻中前景物體的提取，但要對(duì)整個(gè)視頻進(jìn)行分層，用戶需要在初始幀中手動(dòng)分離 開(kāi)各個(gè)場(chǎng)景層，因此操縱復(fù)雜，另外，由于該技術(shù)通過(guò)跟蹤邊緣完成后續(xù)幀中前景分層，因 此難于實(shí)現(xiàn)受遮擋背景層的分層。

發(fā)明內(nèi)容
本發(fā)明為了克服現(xiàn)有技術(shù)的不足，提出一種通過(guò)分析深度進(jìn)行視頻場(chǎng)景分層的方 法。該方法同時(shí)考慮了場(chǎng)景點(diǎn)的深度信息和顏色信息，可全自動(dòng)的實(shí)現(xiàn)手持相機(jī)拍攝視頻 場(chǎng)景分層的目的，提高場(chǎng)景分層的精度。另外，相比于固定采樣的、以像素點(diǎn)為計(jì)算單元的 方法，該方法自適應(yīng)的選取關(guān)鍵幀，并且以過(guò)分割塊為計(jì)算單元來(lái)分割關(guān)鍵幀，因此提高了
計(jì)算效率。為了取得上述技術(shù)效果，本發(fā)明所采用的技術(shù)方案是基于視頻幀的深度信息和過(guò) 分割塊對(duì)視頻圖像進(jìn)行分層。深度信息代表了場(chǎng)景點(diǎn)距離采集相機(jī)的遠(yuǎn)近，從多視圖幾何 理論下，從深度信息可直接獲取同一場(chǎng)景點(diǎn)在多視圖中的投影點(diǎn)，即建立了多視圖間的匹 配關(guān)系。過(guò)分割塊是圖像中局部小范圍像素的聚類塊，相比于圖像/視頻的分割塊，過(guò)分割 塊僅包括少量同樣顏色的像素點(diǎn)并且沒(méi)有語(yǔ)義信息，塊內(nèi)像素往往都屬于同一場(chǎng)景層。本 發(fā)明具體包含的步驟如下(1)對(duì)視頻幀進(jìn)行自適應(yīng)采樣，抽取視頻幀中的關(guān)鍵幀；(2)對(duì)關(guān)鍵幀進(jìn)行過(guò)分割并獲取關(guān)鍵幀的深度圖，以過(guò)分割塊為結(jié)點(diǎn)構(gòu)建關(guān)鍵幀 內(nèi)的無(wú)向帶權(quán)圖；(3)建立相鄰關(guān)鍵幀間的結(jié)點(diǎn)匹配權(quán)圖；(4)依次對(duì)關(guān)鍵幀中的過(guò)分割塊進(jìn)行合并，并將合并結(jié)果傳遞給鄰居關(guān)鍵幀，實(shí)現(xiàn) 關(guān)鍵幀的同步分層；(5)獲取原始視頻幀的深度信息，將關(guān)鍵幀的分層結(jié)果傳遞給中間幀并優(yōu)化分層結(jié)果。
本發(fā)明的原理是由于手持相機(jī)拍攝視頻具有很大靈活性，視頻幀間往往有很高 的冗余度，因此，首先從原始視頻幀中采樣出一組關(guān)鍵幀，先對(duì)關(guān)鍵幀進(jìn)行分層，再將關(guān)鍵 幀分層結(jié)果傳遞給中間幀。在關(guān)鍵幀分層過(guò)程中，本發(fā)明以過(guò)分割塊為計(jì)算單元來(lái)提高計(jì) 算效率，將關(guān)鍵幀分層問(wèn)題抽象成一個(gè)以過(guò)分割塊為結(jié)點(diǎn)的帶權(quán)無(wú)向圖結(jié)點(diǎn)聚類過(guò)程，結(jié) 合了顏色紋理信息、深度信息和聚類塊大小來(lái)定義邊權(quán)值；在結(jié)點(diǎn)聚類過(guò)程中，本發(fā)明采用 一種時(shí)空空間上的快速貪婪的聚類法，優(yōu)先聚類權(quán)值最大的邊連接的結(jié)點(diǎn)，由于相鄰關(guān)鍵 幀間的過(guò)分割塊具有配準(zhǔn)關(guān)系，本發(fā)明建立了幀間匹配權(quán)圖，保證每次的聚類結(jié)果都會(huì)傳 遞給左右關(guān)鍵幀，從而實(shí)現(xiàn)關(guān)鍵幀結(jié)點(diǎn)的同步聚類；在中間幀分層過(guò)程中，由于中間幀分層 結(jié)果僅跟左右關(guān)鍵幀分層結(jié)果相關(guān)，因此，用關(guān)鍵幀將原始視頻幀切成片段來(lái)獨(dú)立計(jì)算，先 根據(jù)深度信息將關(guān)鍵幀分層結(jié)果傳遞給中間幀，考慮到存在一些被錯(cuò)誤分層或者未被分層 的像素點(diǎn)，最后通過(guò)一個(gè)全局目標(biāo)優(yōu)化函數(shù)來(lái)優(yōu)化分層結(jié)果。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于相比于固定采樣的方法，本方法自適應(yīng)的采 樣出關(guān)鍵幀，提高了整體視頻場(chǎng)景分層的效率和魯棒性；相比于以像素為計(jì)算單元的方法， 本方法充分利用了過(guò)分割塊來(lái)分層關(guān)鍵幀，提高了分層效率；在關(guān)鍵幀分層過(guò)程中，本方法 用過(guò)分割塊聚合局部小像素點(diǎn)，同時(shí)考慮了深度信息和顏色信息，相比于基于單一運(yùn)動(dòng)信 息的分層方法，提高了場(chǎng)景分層的精度。


圖1為本發(fā)明分析深度進(jìn)行視頻場(chǎng)景分層的方法的主要流程圖；圖2為本發(fā)明在關(guān)鍵幀分層步驟的過(guò)程流程圖；圖3兩個(gè)關(guān)鍵幀的無(wú)向帶權(quán)圖和幀間結(jié)點(diǎn)匹配權(quán)圖的構(gòu)建示意圖，其中，圖3A，3B 分別為左，右關(guān)鍵幀和其上的過(guò)分割塊，圖3C為以過(guò)分割塊為結(jié)點(diǎn)構(gòu)建的幀內(nèi)無(wú)向帶權(quán)圖 和幀間匹配權(quán)圖；圖4為從一組原始視頻幀中采樣的關(guān)鍵幀序列；圖5為該關(guān)鍵幀序列對(duì)應(yīng)的過(guò)分割結(jié)果；圖6為該關(guān)鍵幀序列對(duì)應(yīng)的深度圖結(jié)果；圖7為在5個(gè)不同閾值下對(duì)一幅關(guān)鍵幀做過(guò)分割塊聚類的結(jié)果；圖8A，8B，8C為提取的三個(gè)不同場(chǎng)景層的視頻序列。具體實(shí)施方法結(jié)合附圖1-8，具體闡述本發(fā)明的實(shí)施方法。定義視頻幀序列為/ = {、:./ }，"本發(fā) 明的視頻場(chǎng)景分層方法如圖1所示，其步驟如下(1)抽取關(guān)鍵幀對(duì)視頻幀進(jìn)行自適應(yīng)采樣，抽取視頻幀序列7中的關(guān)鍵幀，組成 關(guān)鍵幀序列釕{份。。首先，提取視頻幀序列/ = {/。.../ }中每幀的SIFT特征點(diǎn)；其次，對(duì)兩兩個(gè)視頻幀進(jìn)行特征點(diǎn)匹配，并計(jì)算匹配權(quán)值W(i, j) = w*+ (1 — w)*exp(-)(1)
N,oa/iOCrdis其中，w為加權(quán)值，^)，1]，經(jīng)驗(yàn)值設(shè)為0.3;隊(duì)_31)是幀Ii的總特征點(diǎn)數(shù)，N(i,j)inner為幀Ii和幀Ij的總匹配點(diǎn)數(shù)；Tdis和。dis為常量，代表期望的基線長(zhǎng)度和方差； Α^0·,·/) = Σ Γ'('’1 Α(·/)-Λ⑴||2/u/,_Z)為平均的偏移量，其中的 Pk( ·)為 SIFT 特征 點(diǎn)位置；最后，令第一個(gè)視頻幀Itl為起始關(guān)鍵幀KItl，令每個(gè)關(guān)鍵幀的后續(xù)權(quán)值最大的幀為 其后續(xù)關(guān)鍵幀，即KIi+1 = maxj KKIi, j)，從而得到一組關(guān)鍵幀序列舒=丨人/…..^^；}。(2)構(gòu)建關(guān)鍵幀的無(wú)向帶權(quán)圖獲取關(guān)鍵幀的深度圖并對(duì)關(guān)鍵幀進(jìn)行過(guò)分割，以 過(guò)分割塊為結(jié)點(diǎn)構(gòu)建無(wú)向帶權(quán)圖(如圖3)。首先，用Meanshift分割法對(duì)關(guān)鍵幀(如圖4)進(jìn)行過(guò)分割(如圖5)，用多視圖立 體匹配法獲取關(guān)鍵幀的深度圖(如圖6)；其次，對(duì)每個(gè)關(guān)鍵幀，以過(guò)分割塊為結(jié)點(diǎn)單元\ e V,以相鄰結(jié)點(diǎn)為邊(Vi，Vj) e Ε, 構(gòu)造無(wú)向帶權(quán)圖G =〈V，Ε>，定義邊權(quán)值為Win (i, j) = Y !*wc (i, j) + Y 2*wd (i, j) + Y 3*wz (i，j)(2)其中，Y1,Y2, ^為加權(quán)項(xiàng)，滿足 Yi e
, Y!+γ2+γ3 = ι ；wc(i, j)為顏色差值，定義為:wc(U) = exp(min(k力.)_勸(3)Wd(i, j)為深度差值，定義為:W/，y.) = eXp(min(|A^；凡ωι，ΓΛ2 ⑷Ws (i, j)為分割塊大小值，定義為 AWkl-mii^^^^^，))(5)
Oο其中的μ。( ·)，μ d( ·)分別為平均顏色和深度均值，Tc, Td分別為顏色和深度截 斷值，。。=255，0(1為最大深度值，ys(·)為區(qū)域面積，S為圖像面積。(3)構(gòu)建關(guān)鍵幀間的結(jié)點(diǎn)匹配圖，根據(jù)深度圖將對(duì)相鄰關(guān)鍵幀進(jìn)行結(jié)點(diǎn)匹配，得到 雙向的帶權(quán)匹配圖。依次將關(guān)鍵幀序列輕^{^^..^,丨中的每個(gè)關(guān)鍵幀KIi的每個(gè)過(guò)分割塊(即無(wú)向 圖結(jié)點(diǎn))Vj e CKi投影到左右鄰域幀KIp1和KIi+1上，用{V, I V, € Vk1i i }表示所涵蓋的過(guò)分割塊 集合(這里以左鄰居幀ΚΙ"為例，對(duì)右鄰居幀KIi+1的處理亦同)，計(jì)算結(jié)點(diǎn)Vj和Vt的匹配 權(quán)值w。ut(j，t) = a*Wc(j，t) + (l-a)*Wz(j，t)(6)wc(i, j)為顏色差值，定義為:%C/，,) = eXP(min(kC/) —凡(觀,7々(7)Ws(i, j)為重疊區(qū)比，定義為=(8)其中，α為加權(quán)項(xiàng)，α e
； μ。( ·)為顏色均值，Τ。為顏色截?cái)嘀?，ο? 255 ； μ s( ·)為過(guò)分割塊區(qū)域面積，0( ·)為重疊區(qū)域面積。依照公式(6)依次對(duì)相鄰關(guān)鍵幀間的結(jié)點(diǎn)進(jìn)行匹配計(jì)算，從而建立起每?jī)蓚€(gè)相鄰 關(guān)鍵幀間的雙向帶權(quán)匹配圖。(4)關(guān)鍵幀的分層根據(jù)邊權(quán)值依次對(duì)無(wú)向帶權(quán)圖中的結(jié)點(diǎn)進(jìn)行合并，實(shí)現(xiàn)關(guān)鍵 幀的同步分層。首先，按照權(quán)值將關(guān)鍵幀序列衍= ^/『j/J的無(wú)向帶權(quán)圖中的所有邊從大到小排序得到邊序列E ；其次，依次從邊集合E中找出權(quán)值最大的邊進(jìn)行結(jié)點(diǎn)合并，直到邊集合E的邊權(quán)值 均小于閾值T，具體過(guò)程(如圖2)為(4. 1)從邊集合E中找出權(quán)值最大的邊；(4. 2)假設(shè)該邊所在關(guān)鍵幀為KIi,該邊連接的兩個(gè)結(jié)點(diǎn)為(vp，vq) e E，合并這兩 個(gè)結(jié)點(diǎn)；(4.3)找出\和、在左鄰居圖(以左鄰居幀KI^1為例，右鄰居幀亦同)中匹配結(jié) 點(diǎn)的集合，設(shè)為Pe vKi,_t(4. 4)從這兩集合中找相鄰的結(jié)點(diǎn)，選取權(quán)值win( ·)最大并且win( · ) > T的結(jié) 點(diǎn)進(jìn)行合并；(4. 5)修改幀內(nèi)帶無(wú)向權(quán)圖中的邊權(quán)值，修改幀間帶權(quán)匹配圖的邊權(quán)值，重新排序 邊權(quán)值集合E中的邊序列。(5)中間幀的分層獲取原始視頻幀的深度信息，將關(guān)鍵幀的分層結(jié)果傳遞給中 間幀并優(yōu)化分層結(jié)果根據(jù)關(guān)鍵幀序列徑={尤4.14.}將整個(gè)視頻序列/ = {/。.../ }截取成一些片段序列， 每個(gè)片段序列的前后幀分別為兩個(gè)相鄰的關(guān)鍵幀，中間幀是關(guān)鍵幀之間的幀。下面以其中 一段片段序列/ = {火/；),/5.../,，^^+,}為例對(duì)中間幀分層過(guò)程進(jìn)行闡述。首先，用雙視圖立體匹配法獲取原始視頻幀的深度信息，用 乃={//^,/)、...力,，^^+1}表示片段序列J的深度序列，因?yàn)樯疃刃畔⒂涗浟讼袼攸c(diǎn)的匹配關(guān) 系，因此，直接將兩關(guān)鍵幀的標(biāo)注結(jié)果向內(nèi)迭代傳遞到相鄰幀。然后，建立一個(gè)全局能量函數(shù)來(lái)優(yōu)化標(biāo)注結(jié)果，即E = wEd+α (1-W)ES(9)該能量函數(shù)E包括數(shù)據(jù)項(xiàng)Ed和平滑項(xiàng)Es，數(shù)據(jù)項(xiàng)Ed定義為(/(χ)) = max, III(X)-Ci(Z(X))II2Zx^maX, ||/(x)-Q(Z)H2 (10)其中的1( ·)是對(duì)像素點(diǎn)的分層標(biāo)注，1( ·)為像素點(diǎn)的顏色值，Ck(i)為第i個(gè) 標(biāo)注區(qū)域的第k個(gè)分量的顏色均值，該值由K-Means法對(duì)關(guān)鍵幀中已知分層區(qū)域的像素做 空間聚類獲取的，設(shè)定K-Means的聚類數(shù)為5，即k = L··· 5，標(biāo)注區(qū)域數(shù)L為兩關(guān)鍵幀的標(biāo) 注區(qū)域之并；Es 為平滑項(xiàng)，定義為 A(IOc)M) = “ /(X)"/(f 丨丨2 f (X)’Z⑴)(11)
(￡ + 1)
(\ 如果X = y其中的ε為控制參數(shù)，3(0定義為凡^)=()胃· Λ (·)是對(duì)像素點(diǎn) 的分層標(biāo)注，1( ·)為像素點(diǎn)的顏色值。用Graphcut求解該目標(biāo)函數(shù)完成中間幀的分層，圖8A、8B、8C分別為所提取的三 個(gè)不同場(chǎng)景層的視頻序列。
8
權(quán)利要求
一種通過(guò)分析深度進(jìn)行視頻場(chǎng)景分層的方法，其特征在于從原始視頻幀中采樣關(guān)鍵幀，先對(duì)所述關(guān)鍵幀進(jìn)行分層，再根據(jù)深度信息將所述關(guān)鍵幀的分層結(jié)果傳遞給中間幀，具體包含步驟如下(1)對(duì)視頻幀進(jìn)行自適應(yīng)采樣，抽取視頻幀中的關(guān)鍵幀；(2)對(duì)關(guān)鍵幀進(jìn)行過(guò)分割并獲取關(guān)鍵幀的深度圖，以過(guò)分割塊為結(jié)點(diǎn)構(gòu)建關(guān)鍵幀內(nèi)的無(wú)向帶權(quán)圖；(3)建立相鄰關(guān)鍵幀間的結(jié)點(diǎn)匹配權(quán)圖；(4)依次對(duì)關(guān)鍵幀中的過(guò)分割塊進(jìn)行合并，并將合并結(jié)果傳遞給鄰居關(guān)鍵幀，實(shí)現(xiàn)關(guān)鍵幀的同步分層；(5)獲取原始視頻幀的深度信息，將關(guān)鍵幀的分層結(jié)果傳遞給中間幀并優(yōu)化分層結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟(1)中的抽取關(guān)鍵幀具體為 提取每個(gè)視頻幀的特征點(diǎn)，對(duì)每?jī)蓚€(gè)視頻幀進(jìn)行特征點(diǎn)匹配并計(jì)算匹配權(quán)值，定義匹配權(quán)值為wa,j) = w-E^JbJlexp(-(W"卜) U)^d,其中，W為加權(quán)值，W e
；Ntotal(i)是幀Ii的總特征點(diǎn)數(shù)，N(i，j)inner為 幀Ii和幀Ij的總匹配點(diǎn)數(shù)；Tdis和σ dis為常量，代表期望的基線長(zhǎng)度和方差；凡力‘，力工，貼“⑴-似她/^義力為平均的偏移量，其中的^ ·)為特征點(diǎn)位 置；以第一個(gè)視頻幀為起始關(guān)鍵幀，迭代選取后續(xù)的關(guān)鍵幀，從而完成關(guān)鍵幀的采樣，其 中，對(duì)于當(dāng)前關(guān)鍵幀，其后續(xù)關(guān)鍵幀為其后續(xù)幀中具有最大匹配權(quán)值的幀。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟(2)中構(gòu)建無(wú)向帶權(quán)圖具體為 用圖像過(guò)分割法對(duì)關(guān)鍵幀進(jìn)行過(guò)分割，用多視圖立體匹配法獲取關(guān)鍵幀的深度信息； 以過(guò)分割塊為結(jié)點(diǎn)單元，在相鄰結(jié)點(diǎn)單元間搭建一條帶權(quán)的邊，從而構(gòu)建出無(wú)向帶權(quán)圖，定義邊權(quán)值為win (i, j) = Y !*wc (i, j) + Y 2*wd (i, j) + Y 3*wz (i, j)其中，Y1, Y2, ￥3為加權(quán)項(xiàng)，滿足 Yi e
, Y !+Υ2+Υ3 = 1 ；Wcα, j)為顏色差值，定義為A(U)=； Wdα, j)為深度差值，定義為A(W)=‘Ws(i, j)為分割塊大小值，定義為= (岣)，叫咁，))；其中的μ。(·)，yd(·)分別為平均顏色和深度均值，T。，Td分別為顏色和深度截?cái)嘀担?σ。為最大顏色值，最大深度值，μ3(·)為區(qū)域面積，S為圖像面積。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟(3)建立相鄰關(guān)鍵幀間的結(jié) 點(diǎn)匹配權(quán)圖具體為對(duì)于當(dāng)前關(guān)鍵幀，根據(jù)深度信息將每個(gè)過(guò)分割塊即無(wú)向圖的結(jié)點(diǎn)投影 到左右相鄰視頻幀，獲取投影區(qū)域所涵蓋的左/右?guī)羞^(guò)分割塊即左右關(guān)鍵幀無(wú)向圖的 結(jié)點(diǎn)，在該過(guò)分割塊代表的結(jié)點(diǎn)和所涵蓋過(guò)分割塊代表的結(jié)點(diǎn)間搭建一條邊，定義邊權(quán)值為
5.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟(4)中合并過(guò)分割塊具體為 按照權(quán)值將所有無(wú)向帶權(quán)圖中的邊從大到小排序，得到一個(gè)邊序列集合；依次從邊序列集合中取出最大權(quán)值的邊進(jìn)行結(jié)點(diǎn)合并，直到邊序列中的邊權(quán)值均小于 閾值T ；其中，在結(jié)點(diǎn)合并過(guò)程中，先合并所選邊的兩個(gè)結(jié)點(diǎn)，再根據(jù)幀間結(jié)點(diǎn)匹配權(quán)圖將 合并結(jié)果傳遞給左右?guī)瑢?duì)其中的相關(guān)結(jié)點(diǎn)也進(jìn)行合并，同時(shí)，修改無(wú)向帶權(quán)圖和幀間結(jié)點(diǎn) 匹配權(quán)圖的邊權(quán)值，并重新排序邊序列集合。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟(5)中分層結(jié)果的傳遞和優(yōu)化 方法為對(duì)每段關(guān)鍵幀和其中間幀組成的序列獨(dú)立進(jìn)行分層結(jié)果的傳遞和優(yōu)化，該傳遞過(guò) 程建立在像素級(jí)別上；根據(jù)深度信息即像素點(diǎn)匹配關(guān)系將兩關(guān)鍵幀的分層結(jié)果映射到中間幀上； 建立全局能量函數(shù)來(lái)優(yōu)化分層，完成中間幀的分層標(biāo)注，定義全局能量函數(shù)為
全文摘要
一種通過(guò)分析深度進(jìn)行視頻場(chǎng)景分層的方法，主要實(shí)現(xiàn)手持相機(jī)拍攝視頻中不同深度層下的物體提取，步驟為(1)對(duì)視頻幀進(jìn)行自適應(yīng)采樣，抽取視頻幀中的關(guān)鍵幀；(2)對(duì)關(guān)鍵幀進(jìn)行過(guò)分割并獲取關(guān)鍵幀的深度圖，以過(guò)分割塊為結(jié)點(diǎn)構(gòu)建關(guān)鍵幀的無(wú)向帶權(quán)圖；(3)建立相鄰關(guān)鍵幀間的結(jié)點(diǎn)匹配權(quán)圖；(4)依次對(duì)關(guān)鍵幀中的過(guò)分割塊進(jìn)行合并，并將合并結(jié)果傳遞給鄰居關(guān)鍵幀，實(shí)現(xiàn)關(guān)鍵幀的同步分層；(5)獲取原始視頻幀的深度信息，將關(guān)鍵幀的分層結(jié)果傳遞給中間幀并優(yōu)化分層結(jié)果。本方法可以有效的全自動(dòng)的實(shí)現(xiàn)手持相機(jī)拍攝視頻的場(chǎng)景分層，提高視頻場(chǎng)景分層的精度和速度。
文檔編號(hào)G06T7/00GK101951511SQ20101025740
公開(kāi)日2011年1月19日 申請(qǐng)日期2010年8月19日 優(yōu)先權(quán)日2010年8月19日
發(fā)明者吳威, 周忠, 李艷麗, 杜超, 楊抒 申請(qǐng)人:深圳市亮信科技有限公司;北京航空航天大學(xué)