專利名稱：一種視頻摳像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像以及數(shù)字視頻處理中的高效的視頻摳像處理方法。
背景技術(shù)：
視頻摳像是數(shù)字摳像的一個(gè)重要分支，是視頻編輯的一項(xiàng)重要技術(shù)，用于 提取視頻中的感興趣物體，并將提取的物體合成到新的場(chǎng)景中，得到一段具有 特殊效果的視頻。視頻摳像技術(shù)在影視制作、遠(yuǎn)程視頻會(huì)議、虛擬現(xiàn)實(shí)、增強(qiáng) 現(xiàn)實(shí)、數(shù)字家庭娛樂(lè)等方面有著廣泛的應(yīng)用，它可以將實(shí)際拍攝的景物與電腦 制作的虛擬場(chǎng)景完美的結(jié)合起來(lái)，將更加震撼的視覺(jué)沖擊效果呈現(xiàn)給觀眾。
根據(jù)處理對(duì)像的不同，數(shù)字摳像可以分為兩類，即圖像摳像和視頻摳像， 其中圖像摳像又可以看作是視頻摳像的基礎(chǔ)。根據(jù)圖像合成公式，圖像上的一
點(diǎn)c的顏色值C可以表示為前景顏色F與背景顏色值B的凸組合，艮P:
C = F+(1-"p。因而摳像問(wèn)題就可以定義為圖像合成的逆過(guò)程，即對(duì)給定圖像
上的點(diǎn)c，求c點(diǎn)的顏色值C所包含的前景顏色F，背景顏色B以及不透明度"， 通常情況下，B是不需要的，因此，求取F與"就成為摳像問(wèn)題的核心。對(duì)于單 一圖像，摳像是一個(gè)欠約束問(wèn)題，有無(wú)數(shù)組解，摳像問(wèn)題的難點(diǎn)也就在于從這 無(wú)數(shù)組解中找到最合理的解。
最早的摳像技術(shù)是藍(lán)屏摳像，它要求輸入圖像的背景顏色為固定的單一顏 色，利用圖像中背景與前景物體顏色的不同，達(dá)到準(zhǔn)確摳取前景的目的。藍(lán)屏 摳像技術(shù)簡(jiǎn)單有效，計(jì)算量小，可以達(dá)到實(shí)時(shí)處理。但是它對(duì)背景顏色的嚴(yán)格 要求，極大的限制了它的應(yīng)用范圍，使得這項(xiàng)技術(shù)到目前為止也只是在影視業(yè)中得到應(yīng)用。
由于設(shè)備與場(chǎng)地的限制，我們平時(shí)所拍攝的都是自然場(chǎng)景下的視頻，因此，
自然圖像摳像技術(shù)(natural image matting)逐漸成為當(dāng)前研究的熱點(diǎn)。目前，在 研究者們的努力下，自然圖像摳像已經(jīng)出現(xiàn)了幾種切實(shí)可行的交互式方法。其 中有代表性的有貝葉斯方法(Bayesianmatting)、泊松方法(Poissonmatting)、 魯棒性方法(Robust matting)、閉合式方法(Closed-form matting)、譜分析法 (Spectral matting)、軟分割剪刀(Soft Scissors)等。根據(jù)用戶的輸入，這些方 法又可以分為兩類，第一類需要用戶輸入一個(gè)精細(xì)的遮罩(trimap)，如貝葉斯 方法、泊松方法和魯棒性方法等都屬于這一類。遮罩是與待摳取圖像對(duì)應(yīng)的一 幅灰度圖像，它用白色表示確定的前景，黑色表示確定的背景，灰色表示未知 區(qū)域。制作一個(gè)精細(xì)的遮罩是一件費(fèi)時(shí)費(fèi)力的工作，而且需要一定的經(jīng)驗(yàn)，否 則很難一次性制作一個(gè)合適的遮罩。第二類方法僅需要用戶提供一些筆畫(huà)式輸 入(可以看作是一種稀疏的遮罩，sparsetrimap)，閉合式方法就屬于這一類，這類 方法雖然在一定程度上減小的用戶的交互量，但是增加了算法本身的復(fù)雜度， 需要較大的時(shí)間與空間開(kāi)銷，對(duì)高分辨率的圖片一般都會(huì)因?yàn)榭臻g開(kāi)銷太大而 無(wú)法完成。譜分析法和軟分割剪刀是兩種比較特殊的方法。譜分析方法是一種 完全自動(dòng)的摳像方法，是通過(guò)類比譜分析圖像分割理論而得到的一種方法。雖 然能夠達(dá)到自動(dòng)摳像的目的，但是它卻存在固有缺陷，也就是它只能摳取視覺(jué) 上與背景明顯可分的前景物體，而且需要大量的內(nèi)存開(kāi)銷。軟分割剪刀可以看 作是一種能夠?qū)崟r(shí)反映用戶交互結(jié)果的摳像方法。用戶只需要用鼠標(biāo)沿著前景 物體的邊緣勾勒出需要進(jìn)行摳像的未知區(qū)域，算法就可以實(shí)時(shí)的計(jì)算出摳像結(jié) 果，雖然這個(gè)方法可以快速方便的摳取前景物體，但是它本質(zhì)上還是一種基于 遮罩的方法，對(duì)于拓?fù)浣Y(jié)構(gòu)復(fù)雜的前景物體的摳取仍有較大難度。隨著自然圖像摳像技術(shù)研究的深入，研究者們自然而然的想到將自然圖像 摳像技術(shù)擴(kuò)展到視頻摳像領(lǐng)域。目前文獻(xiàn)中提取的視頻摳像技術(shù)主要有貝葉斯
視頻摳像技術(shù)(Bayesian video matting)、散焦視頻摳像技術(shù)(Defocus video matting)、基于攝像機(jī)陣列的自然視頻摳像(Natural video matting using camera arrays)和交互式時(shí)空一致的視頻摳圖方法(一種數(shù)字視頻處理中交互 式時(shí)空一致的視頻摳圖方法，專利公開(kāi)號(hào)CN 101098475A)。
貝葉斯視頻摳像技術(shù)是自然圖像貝葉斯摳像技術(shù)在視頻上的擴(kuò)展，其主要 思路是在輸入視頻流的關(guān)鍵幀上由用戶交互生成遮罩，然后用光流法在幀之間 進(jìn)行雙向跟蹤，將關(guān)鍵幀上的遮罩?jǐn)U散到其他幀，從而在一定程度上減少了用 戶交互制作遮罩的工作量。該方法的缺點(diǎn)在于，光流估計(jì)本身的不準(zhǔn)確影響了 生成的遮罩的準(zhǔn)確度，尤其是當(dāng)兩幀之間物體運(yùn)動(dòng)的幅度較大的時(shí)候，這種影 響更加突出。
散焦視頻摳像技術(shù)是一種采用了特殊攝像系統(tǒng)的視頻摳像技術(shù)，包括三個(gè) 擁有相同光心和不同焦距的攝像機(jī)，根據(jù)三幅同時(shí)釆集的不同焦距的圖像，可 以自動(dòng)計(jì)算出遮罩。由于攝像機(jī)同時(shí)采集了三路視頻流，所以摳像從一個(gè)欠約 束問(wèn)題變成了一個(gè)過(guò)約束問(wèn)題，最后通過(guò)梯度下降算法進(jìn)行求解。這種方法的 限制是，(1)由于采用了特殊的硬件設(shè)備，不適合普通用戶使用；(2)在攝像 時(shí)需要提供比正常攝像機(jī)更強(qiáng)的光照條件；(3)系統(tǒng)所攝取的前景與背景必須 有較大的深度差，并且前景與背景的顏色不能太相似。
基于攝像機(jī)陣列的自然視頻摳像技術(shù)是采用一個(gè)攝像機(jī)陣列采集視頻流， 由于攝像機(jī)位置的差異，導(dǎo)致同一前景物體所對(duì)應(yīng)的背景也產(chǎn)生差異，這就對(duì) 摳像問(wèn)題形成了一種額外的約束條件。統(tǒng)計(jì)各攝像機(jī)取得的圖像的顏色均值和 方差就可以計(jì)算出遮罩，并進(jìn)一步求出前景F和不透明度"。該方法的缺點(diǎn)同樣在于不能處理前景顏色和背景顏色相近的視頻。
交互式時(shí)空一致的視頻摳圖方法將視頻看作一個(gè)三維視頻時(shí)空體，用戶在 三維視頻時(shí)空體上進(jìn)行交互后，經(jīng)過(guò)擴(kuò)散計(jì)算得到遮罩，然后用迭代的方式計(jì) 算出三維視頻體上每一點(diǎn)的"值，最后通過(guò)時(shí)空一致的前景重建得到前景物體。 這種方法在一定程度上保持了摳像的視頻時(shí)空一致性，但是仍然需要較多的用 戶交互。
由上可以看出，當(dāng)前的視頻摳像技術(shù)存在的問(wèn)題主要有三個(gè)，(1)雖然有 些視頻摳像技術(shù)可以達(dá)到自動(dòng)摳像的目的，但是需要特殊的設(shè)備支持，難以推
廣使用；(2)對(duì)單攝像機(jī)拍攝的視頻進(jìn)行摳像處理時(shí)需要大量的人工交互，是 一件費(fèi)時(shí)費(fèi)力的工作；(3)在摳像過(guò)程中，視頻的時(shí)空一致性的保持問(wèn)題，也 就是說(shuō)如何使摳取的前景物體在回放時(shí)連續(xù)、穩(wěn)定、無(wú)閃爍。對(duì)于普通用戶來(lái) 說(shuō)，我們更為關(guān)注后兩點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有視頻摳像技術(shù)中人工交互量大的問(wèn)題，提供了 一種只需在視頻第一幀中進(jìn)行少量的筆畫(huà)式交互，就可以自動(dòng)對(duì)其余視頻幀進(jìn) 行摳像處理的方法。
本發(fā)明采取的技術(shù)方案是， 一種視頻摳像處理方法，包括以下步驟
步驟l，交互式硬分割及其優(yōu)化在視頻第一幀圖像上，用戶采用筆畫(huà)式交 互輔助生成一個(gè)粗略的硬分割結(jié)果，然后對(duì)此硬分割結(jié)果用加權(quán)核密度估計(jì)算 法和圖切分算法進(jìn)行優(yōu)化，便于較為準(zhǔn)確的確定前景物體的邊緣；
步驟2，遮罩自動(dòng)生成在上述優(yōu)化后的硬分割基礎(chǔ)上，采用統(tǒng)計(jì)方法自動(dòng) 生成一個(gè)遮罩；
步驟3，基于子圖像的摳像將上述生成的遮罩的未知區(qū)域分成多個(gè)小塊，每個(gè)小塊稱為一個(gè)子圖像，在每一個(gè)子圖像中分別進(jìn)行摳像操作，計(jì)算出其不
透明度"，子圖像重疊部分的不透明度取多個(gè)"值的平均值；
步驟4，前景物體跟蹤與分割當(dāng)?shù)谝粠械奈矬w被準(zhǔn)確摳取出來(lái)之后，采 用直方圖反投影與加權(quán)核密度估計(jì)準(zhǔn)確找出下一幀中的前景物體，自動(dòng)做出硬 分割并對(duì)分割結(jié)果進(jìn)行優(yōu)化，然后轉(zhuǎn)到步驟2，循環(huán)操作直到視頻結(jié)束。 本發(fā)明中所說(shuō)的交互式硬分割及其優(yōu)化，其步驟為
步驟IOI，交互式硬分割采用筆畫(huà)式交互方式，用基于區(qū)塊的圖切分方法 提取出粗略的前景目標(biāo)；
步驟102，概率圖求解概率圖表示了圖像中每一個(gè)像素屬于前景與背景的 概率，本發(fā)明采用加權(quán)核密度估計(jì)算法求解概率步驟103，圖切分方法前景分割構(gòu)造吉布斯能量函數(shù)，采用圖切分方法最 小化此能量函數(shù)，從而對(duì)圖像進(jìn)行優(yōu)化分割，得到硬分割結(jié)果。
本發(fā)明所說(shuō)的遮罩自動(dòng)生成，其步驟為
步驟201，提取硬分割邊緣^，確定候選區(qū)域首先，提取硬分割邊緣T， 然后，用半徑r。的圓形刷子沿著T刷出一個(gè)區(qū)域作為遮罩中未知區(qū)域的候選區(qū) 域，r。的大小由用戶設(shè)定，大小以覆蓋前景物體的模糊邊緣為準(zhǔn)；
步驟202，計(jì)算像素點(diǎn)到T的距離用距離變換計(jì)算候選區(qū)域中的每個(gè)像素 點(diǎn)到甲的最近距離r;
步驟203，計(jì)算像素點(diǎn)的梯度計(jì)算候選區(qū)域中每個(gè)像素點(diǎn)的梯度Av; 步驟204，統(tǒng)計(jì)刷子半徑對(duì)于W上的任一像素點(diǎn)p，在半徑為r。的圓形刷
子區(qū)域內(nèi)統(tǒng)計(jì)最近距離r的均方差vaiv，并以Av作為權(quán)重以2ha^為刷子半徑重新確未知區(qū)域，自動(dòng)生成一個(gè)合適的遮罩。 本發(fā)明所說(shuō)的基于子圖像的摳像，其步驟為
步驟301，提取子圖像對(duì)于硬分割邊緣甲上的任一像素點(diǎn)p,以該點(diǎn)為中 心，生成一個(gè)6hai;為邊長(zhǎng)的正方形，在原圖像和遮罩上將這個(gè)正方形區(qū)域所對(duì)
應(yīng)的局部圖像作為一個(gè)新的圖像和新的遮罩，稱之為子圖像和子遮罩；
步驟302，子圖像摳像對(duì)子圖像采用閉合式摳像法進(jìn)行摳像處理，確定未
知區(qū)域的不透明度，對(duì)硬分割邊緣T上的每一個(gè)點(diǎn)均采取步驟301和步驟302; 步驟303,子圖像摳像結(jié)果求平均由于T上的鄰近點(diǎn)生成的子圖像會(huì)有重
疊，對(duì)重疊部分的不透明度a值，我們采用各個(gè)子圖像重疊區(qū)域"值的平均值； 本發(fā)明所說(shuō)的前景物體跟蹤與分割，其步驟為
步驟401，顏色空間轉(zhuǎn)換將原始視頻圖像轉(zhuǎn)換到clc^3顏色空間； 步驟402，統(tǒng)計(jì)直方圖并歸一化對(duì)于前一幀中摳取出來(lái)的前景物體，統(tǒng)計(jì) 其在dc2c3空間每個(gè)通道上的直方圖，并分別記為C,， WW —c2禾Q似W —C3， 由于clc2c3是一個(gè)實(shí)數(shù)空間，所以需要對(duì)每一個(gè)通道進(jìn)行量化，本發(fā)明采用下式 歸一化直方圖
to 一 c,(力=7w'W 一 c,.(力/max( to _ c,.),1S / S萬(wàn)/iV"s ， / = 1， 2,3 其中^^fe為量化級(jí)數(shù)，max(WW —。).為第i通道直方圖的最大值； 步驟403，確定前景預(yù)測(cè)區(qū)域?qū)η耙粠瑩赶窠Y(jié)果的不透明度圖像以半徑為 d的矩形結(jié)構(gòu)進(jìn)行膨脹，由于前景目標(biāo)在相鄰兩幀的時(shí)間內(nèi)位置移動(dòng)很小，所以 只要調(diào)整^/大小，保證下一幀中的前景目標(biāo)也在這個(gè)膨脹后的區(qū)域內(nèi)，那么這個(gè) 膨脹后的區(qū)域就作為下一幀中前景目標(biāo)所在區(qū)域的預(yù)測(cè)；
步驟404，計(jì)算像素初始概率首先，對(duì)下一幀圖像預(yù)測(cè)區(qū)域內(nèi)的某個(gè)像素，
計(jì)算其&2c3值，并量化為。=(。/(:/2))*層5，z' = 1，2，3 然后，計(jì)算此像素屬于前景和背景的初始概率
<formula>formula see original document page 11</formula>
步驟405,圖像硬分割在預(yù)測(cè)區(qū)域內(nèi)對(duì)像素進(jìn)行平均抽樣，再一次利用加
權(quán)核密度估計(jì)算法求解概率圖并用圖切分算法對(duì)圖像進(jìn)行硬分割，這就完成了 摳像的一個(gè)循環(huán)過(guò)程。
本發(fā)明的優(yōu)點(diǎn)在于
(1) 現(xiàn)有的視頻摳像技術(shù)需要大量的用戶交互來(lái)制作遮罩，這一過(guò)程極其 繁瑣，費(fèi)時(shí)費(fèi)力，本發(fā)明的方法只需要用戶在視頻第一幀上進(jìn)行少量的筆畫(huà)式 交互以輔助完成硬分割過(guò)程,而遮罩的制作完全是自動(dòng)化的，極大減少了用戶 的交互量。
(2) 本發(fā)明所采用的自動(dòng)式遮罩制作方法，充分考慮了前景物體邊緣可能 存在的各種結(jié)構(gòu)，經(jīng)過(guò)統(tǒng)計(jì)得出刷子的當(dāng)前寬度，這種可變寬度的刷子可以制 作出更加合理的遮罩。
(3) 本發(fā)明的方法在摳像過(guò)程中采用了分塊圖像的閉合式摳像方法，由于
分塊圖像尺度小，可以加快摳像的速度，而且，將圖像分塊進(jìn)行處理的方法也 使得大圖像的摳像成為可能，另外，我們使用子圖像重疊區(qū)域"值的平均作為最 后的摳像結(jié)果，有利于保持摳像結(jié)果的時(shí)空一致性。
(4) 本發(fā)明所采用的直方圖反投影、加權(quán)核密度估計(jì)和圖切分相結(jié)合的前 景物體跟蹤算法與一般的跟蹤算法不同，它可以自動(dòng)對(duì)視頻下一幀中前景物體 做出精確的硬分割。正是這一技術(shù)的存在，使得本發(fā)明的方法可以自動(dòng)進(jìn)行摳 像處理?？傊?，本發(fā)明的方法較之一般視頻摳像方法可以更加快速有效的摳取視頻 前景物體，在摳像效率、摳像質(zhì)量和摳像結(jié)果的時(shí)空一致性，尤其是降低摳像 時(shí)用戶交互量上，都有了顯著性的提高。


圖1是本發(fā)明所述方法示意圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明做進(jìn)一步描述，如圖1所示， 一種視頻摳
像處理方法其步驟包括
步驟l，用戶在第一幀圖像上進(jìn)行筆畫(huà)式交互，輔助分割出前景物體，然后
用加權(quán)核密度估計(jì)和圖切分方法對(duì)硬分割結(jié)果進(jìn)行優(yōu)化；
步驟2，遮罩自動(dòng)生成在上述優(yōu)化后的硬分割基礎(chǔ)上，采用統(tǒng)計(jì)方法統(tǒng)計(jì) 硬分割邊緣附近高梯度像素的分散度，確定刷子的半徑，從而自動(dòng)生成一個(gè)合 適的遮罩；
步驟3，基于子圖像的摳像將上述生成的遮罩的未知區(qū)域分成多個(gè)小塊， 每個(gè)小塊稱為一個(gè)子圖像，在每一個(gè)子圖像中分別進(jìn)行摳像操作，計(jì)算出其不 透明度"，子圖像重疊部分的不透明度取多個(gè)"值的平均值；
步驟4，前景物體跟蹤與分割當(dāng)?shù)谝粠械奈矬w被準(zhǔn)確摳取出來(lái)之后，采 用直方圖反投影與加權(quán)核密度估計(jì)準(zhǔn)確找出下一幀中的前景物體，自動(dòng)做出硬 分割并對(duì)分割結(jié)果進(jìn)行優(yōu)化，然后轉(zhuǎn)到步驟2，循環(huán)操作直到視頻結(jié)束。
上述各個(gè)步驟的詳細(xì)說(shuō)明如下，其中，
步驟l中的交互式硬分割及其優(yōu)化，其步驟為
步驟IOI，交互式硬分割對(duì)輸入的一幀圖像，首先，用區(qū)域生長(zhǎng)法對(duì)其進(jìn)行過(guò)分割，過(guò)分割的結(jié)果是將圖像分成小的區(qū)塊，每個(gè)區(qū)塊中像素的顏色相差
不大；然后，用戶用筆畫(huà)式交互在前景物體和背景場(chǎng)景上分別畫(huà)上不同的標(biāo)識(shí); 最后，對(duì)過(guò)分割圖像用Graph Cut方法提取出粗略的前景物體；
步驟102，概率圖求解概率圖表示了圖像中每一個(gè)像素屬于前景與背景的 概率，本發(fā)明采用加權(quán)核密度估計(jì)算法求解概率圖；首先，對(duì)筆畫(huà)式交互硬分 割結(jié)果的前景像素初始化一個(gè)較大的前景概率>及(、)=0.9，和一個(gè)較小的背景 概率>化(、)=0.1，表示該區(qū)域中的像素屬于前景的概率極大，而屬于背景的概
率極小;對(duì)背景像素初始化一個(gè)較大的背景概率》6s 00 = 0.9和一個(gè)較小的前景 概率》/gh) = 0.1,表示該區(qū)域中的像素屬于背景的概率極大，而屬于前景的概率 極小。然后，對(duì)筆畫(huà)式交互硬分割結(jié)果的掩膜(mask)進(jìn)行膨脹，并將膨脹后 的區(qū)域作為采樣區(qū)域?qū)ο袼剡M(jìn)行均勻采樣，得到一組樣值，記錄采樣點(diǎn)個(gè)數(shù)為N; 最后，用加權(quán)核密度估計(jì)算法重新估算膨脹后的區(qū)域中的每個(gè)像素屬于前景與 背景的概率
(力=仏",一
,=i 產(chǎn)1
乂 。 乂
rf 、
乂/ 乂
其中K是高斯核函數(shù)，尺
1
,f 、
-exp
乂o;
步驟103，圖切分方法前景分割構(gòu)造吉布斯(Gibbs)能量函數(shù)，采用圖 切分方法最小化此能量函數(shù)，從而對(duì)圖像進(jìn)行優(yōu)化分割，得到較為準(zhǔn)確的硬分 割結(jié)果。能量函數(shù)的構(gòu)造如下￡(x)=;^(Xv)+ z ￡2(x ，Xy)
veK ("，v)e￡
'/ xv=0
》/g !/ Xv=l
A(1.0-arctan(||x —xv|)/(;r/2))，z/ x #xv 步驟2中的遮罩自動(dòng)生成，其步驟為
步驟201，提取硬分割邊緣甲，確定候選區(qū)域首先，提取硬分割邊緣vp， 然后，用半徑r。的圓形刷子沿著T刷出一個(gè)區(qū)域作為遮罩中未知區(qū)域的候選區(qū) 域，r。的大小由用戶設(shè)定，大小以覆蓋前景物體的模糊邊緣為準(zhǔn)；
步驟202,計(jì)算像素點(diǎn)到T的距離用距離變換計(jì)算候選區(qū)域中的每個(gè)像素 點(diǎn)到平的最近距離r;
步驟203，計(jì)算像素點(diǎn)的梯度計(jì)算候選區(qū)域中每個(gè)像素點(diǎn)的梯度Av;
步驟204，統(tǒng)計(jì)刷子半徑對(duì)于T上的任一像素點(diǎn)p，在半徑為r。的圓形刷 子區(qū)域內(nèi)統(tǒng)計(jì)最近距離r的均方差V叫，并以Av作為權(quán)重
，=擔(dān)/、" -；)2/1;/,
為了保證刷子刷出的未知區(qū)域可以覆蓋p點(diǎn)附近的模糊邊緣，我們以2 * vai; 為刷子半徑重新確未知區(qū)域。當(dāng)T上的所有點(diǎn)都被刷子重新刷過(guò)以后，就自動(dòng)生 成了一個(gè)合適的遮罩。
步驟3中基于子圖像的摳像，其步驟為
步驟301，提取子圖像對(duì)于硬分割邊緣T上的任一像素點(diǎn)p，以該點(diǎn)為中 心，生成一個(gè)6、ai;為邊長(zhǎng)的正方形，在原圖像和遮罩上將這個(gè)正方形區(qū)域所對(duì)
應(yīng)的局部圖像作為一個(gè)新的圖像和新的遮罩，稱之為子圖像和子遮罩；
步驟302，子圖像摳像對(duì)子圖像采用閉合式摳像法進(jìn)行摳像處理，確定未知區(qū)域的不透明度，對(duì)硬分割邊緣甲上的每一個(gè)點(diǎn)均采取步驟301和步驟302;
步驟303，子圖像摳像結(jié)果求平均由于T上的鄰近點(diǎn)生成的子圖像會(huì)有重 疊，對(duì)重疊部分的不透明度"值，我們采用各個(gè)子圖像重疊區(qū)域"值的平均值；
步驟4中的前景物體跟蹤與分割，在clc2c3空間計(jì)算前景物體的直方圖反投 影概率圖像，用加權(quán)核密度估計(jì)算法優(yōu)化此概率圖，然后用圖切分算法求出硬 分割前景物體，其步驟為
步驟401，顏色空間轉(zhuǎn)換將原始視頻圖像轉(zhuǎn)換到dc2c3顏色空間；
q = arctan (7 / max (( , 5)) c2 = arctan (G/max(i ，B)) c3 二 arctan max (/ ， G))
dc2c3是一種光照不變空間，采用這個(gè)空間進(jìn)行直方圖反投影防止了鄰近兩 幀之間的光照變化所可能引起的較大的投影誤差，保證跟蹤準(zhǔn)確度。
步驟402，統(tǒng)計(jì)直方圖并歸一化對(duì)于前一幀中摳取出來(lái)的前景物體，統(tǒng)計(jì) 其在dc2c3空間每個(gè)通道上的直方圖，并分別記為W^ — C,， WW —c2 ，QWW_c3， 由于^2c3是一個(gè)實(shí)數(shù)空間，所以需要對(duì)每一個(gè)通道進(jìn)行量化，本發(fā)明釆用下式 歸一化直方圖
一 c,. (7) = 一 。 (y')/max(/H'W 一 )，1S 7 ^ B/A^ ， / = 1， 2,3 其中萬(wàn)/^s為量化級(jí)數(shù)，max(WW _ c,)為第i通道直方圖的最大值； 步驟403，確定前景預(yù)測(cè)區(qū)域?qū)η耙粠瑩赶窠Y(jié)果的不透明度圖像以半徑為 c/的矩形結(jié)構(gòu)進(jìn)行膨脹，^的大小由用戶設(shè)定，以膨脹后的區(qū)域能夠包含下一幀 中的前景物體為準(zhǔn)，這個(gè)膨脹后的區(qū)域就作為下一幀中前景目標(biāo)所在區(qū)域的預(yù) 測(cè)。
步驟404，計(jì)算像素初始概率首先，對(duì)下一幀圖像預(yù)測(cè)區(qū)域內(nèi)的某個(gè)像素，
計(jì)算其dcM值，并量化為。=(c,./(;r/2))承5愚，/ = 1,2,3 然后，計(jì)算此像素屬于前景和背景的初始概率
& = JE(臉—A (c'))2 /3，z' = 1，2,3 V ''=i /
步驟405，圖像硬分割在預(yù)測(cè)區(qū)域內(nèi)對(duì)像素進(jìn)行平均抽樣，再一次利用加
權(quán)核密度估計(jì)算法求解概率圖并用圖切分算法對(duì)圖像進(jìn)行硬分割，這就完成了 摳像的一個(gè)循環(huán)過(guò)程。
權(quán)利要求
1.一種視頻摳像處理方法，其特征在于，包括以下步驟步驟1，交互式硬分割及其優(yōu)化在視頻第一幀圖像上，用戶采用筆畫(huà)式交互輔助生成一個(gè)粗略的硬分割結(jié)果，然后對(duì)此硬分割結(jié)果用加權(quán)核密度估計(jì)算法和圖切分算法進(jìn)行優(yōu)化，便于較為準(zhǔn)確的確定前景物體的邊緣；步驟2，遮罩自動(dòng)生成在上述優(yōu)化后的硬分割基礎(chǔ)上，采用統(tǒng)計(jì)方法自動(dòng)生成一個(gè)遮罩；步驟3，基于子圖像的摳像將上述生成的遮罩的未知區(qū)域分成多個(gè)小塊，每個(gè)小塊稱為一個(gè)子圖像，在每一個(gè)子圖像中分別進(jìn)行摳像操作，計(jì)算出其不透明度α，子圖像重疊部分的不透明度取多個(gè)α值的平均值；步驟4，前景物體跟蹤與分割當(dāng)?shù)谝粠械奈矬w被準(zhǔn)確摳取出來(lái)之后，采用直方圖反投影與加權(quán)核密度估計(jì)準(zhǔn)確找出下一幀中的前景物體，自動(dòng)做出硬分割并對(duì)分割結(jié)果進(jìn)行優(yōu)化，然后轉(zhuǎn)到步驟2，循環(huán)操作直到視頻結(jié)束。
2. 根據(jù)權(quán)利要求1所述的一種視頻摳像處理方法，其特征在于所說(shuō)的交互式 硬分割及其優(yōu)化，其步驟為步驟IOI，交互式硬分割采用筆畫(huà)式交互方式，用基于區(qū)塊的圖切分方法 提取出粗略的前景目標(biāo)；步驟102，概率圖求解概率圖表示了圖像中每一個(gè)像素屬于前景與背景的 概率，本發(fā)明采用加權(quán)核密度估計(jì)算法求解概率圖；步驟103，圖切分方法前景分割構(gòu)造吉布斯能量函數(shù)，采用圖切分方法最 小化此能量函數(shù)，從而對(duì)圖像進(jìn)行優(yōu)化分割，得到硬分割結(jié)果。
3. 根據(jù)權(quán)利要求1所述的一種視頻摳像處理方法，其特征在于所說(shuō)的遮罩自 動(dòng)生成，其步驟為步驟201，提取硬分割邊緣4S確定候選區(qū)域首先，提取硬分割邊緣甲，然后，用半徑r。的圓形刷子沿著T刷出一個(gè)區(qū)域作為遮罩中未知區(qū)域的候選區(qū) 域，r。的大小由用戶設(shè)定，大小以覆蓋前景物體的模糊邊緣為準(zhǔn)；步驟202，計(jì)算像素點(diǎn)到T的距離用距離變換計(jì)算候選區(qū)域中的每個(gè)像素 點(diǎn)到T的最近距離r;步驟203，計(jì)算像素點(diǎn)的梯度計(jì)算候選區(qū)域中每個(gè)像素點(diǎn)的梯度Av; 步驟204，統(tǒng)計(jì)刷子半徑對(duì)于^上的任一像素點(diǎn)p，在半徑為r。的圓形刷子區(qū)域內(nèi)統(tǒng)計(jì)最近距離r的均方差varr，并以Av作為權(quán)重以2hai;為刷子半徑重新確未知區(qū)域，自動(dòng)生成一個(gè)合適的遮罩。
4. 根據(jù)權(quán)利要求1所述的一種視頻摳像處理方法，其特征在于所說(shuō)的基于子 圖像的摳像，其步驟為步驟301，提取子圖像對(duì)于硬分割邊緣T上的任一像素點(diǎn)p，以該點(diǎn)為中 心，生成一個(gè)6 ai;為邊長(zhǎng)的正方形，在原圖像和遮罩上將這個(gè)正方形區(qū)域所對(duì)應(yīng)的局部圖像作為一個(gè)新的圖像和新的遮罩，稱之為子圖像和子遮罩；步驟302，子圖像摳像對(duì)子圖像采用閉合式摳像法進(jìn)行摳像處理，確定未知區(qū)域的不透明度，對(duì)硬分割邊緣*上的每一個(gè)點(diǎn)均采取步驟301和步驟302; 步驟303，子圖像摳像結(jié)果求平均由于w上的鄰近點(diǎn)生成的子圖像會(huì)有重疊，對(duì)重疊部分的不透明度"值，我們采用各個(gè)子圖像重疊區(qū)域"值的平均值；
5. 根據(jù)權(quán)利要求1所述的一種視頻摳像處理方法，其特征在于所說(shuō)的前景物 體跟蹤與分割，其步驟為步驟401，顏色空間轉(zhuǎn)換將原始視頻圖像轉(zhuǎn)換到clc2c3顏色空間； 步驟402，統(tǒng)計(jì)直方圖并歸一化對(duì)于前一幀中摳取出來(lái)的前景物體，統(tǒng)計(jì)其在clc2c3空間每個(gè)通道上的直方圖，并分別記為—c,， / 'W_c2 fn/k'W_c3， 由于&2c3是一個(gè)實(shí)數(shù)空間，所以需要對(duì)每一個(gè)通道進(jìn)行量化，本發(fā)明采用下式 歸一化直方圖<formula>formula see original document page 4</formula>其中"力Vs為量化級(jí)數(shù)，max(/z/W一c,)為第i通道直方圖的最大值； 步驟403，確定前景預(yù)測(cè)區(qū)域?qū)η耙粠瑩赶窠Y(jié)果的不透明度圖像以半徑為 rf的矩形結(jié)構(gòu)進(jìn)行膨脹，^的大小由用戶設(shè)定，以膨脹后的區(qū)域能夠包含下一幀 中的前景物體為準(zhǔn)，這個(gè)膨脹后的區(qū)域就作為下一幀中前景目標(biāo)所在區(qū)域的預(yù)步驟404，計(jì)算像素初始概率首先，對(duì)下一幀圖像預(yù)測(cè)區(qū)域內(nèi)的某個(gè)像素，計(jì)算其 值，并量化為<formula>formula see original document page 4</formula>然后，計(jì)算此像素屬于前景和背景的句始概率<formula>formula see original document page 4</formula>步驟405，圖像硬分割在預(yù)測(cè)區(qū)域內(nèi)對(duì)像素進(jìn)行平均抽樣，再一次利用加權(quán)核密度估計(jì)算法求解概率圖并用圖切分算法對(duì)圖像進(jìn)行硬分割，這就完成了 摳像的一個(gè)循環(huán)過(guò)程。
全文摘要
本發(fā)明公開(kāi)了一種視頻摳像處理方法，該方法包括了交互式硬分割及其優(yōu)化、遮罩自動(dòng)生成、基于子圖像的摳像、前景物體跟蹤與分割四個(gè)基本步驟，克服了現(xiàn)有視頻摳像技術(shù)中人工交互量大的問(wèn)題，提供了一種只需在視頻第一幀中進(jìn)行少量的筆畫(huà)式交互，就可以自動(dòng)對(duì)其余視頻幀進(jìn)行摳像處理的方法。較之一般視頻摳像方法，本發(fā)明提出的方法可以更加快速有效的摳取視頻前景物體，在摳像效率、摳像質(zhì)量和摳像結(jié)果的時(shí)空一致性，尤其是降低摳像時(shí)用戶交互量上，都有了顯著性的提高。
文檔編號(hào)H04N5/272GK101588459SQ20091008781
公開(kāi)日2009年11月25日 申請(qǐng)日期2009年6月26日 優(yōu)先權(quán)日2009年6月26日
發(fā)明者萬(wàn)艷麗, 振 唐, 苗振江 申請(qǐng)人:北京交通大學(xué)