專利名稱：基于分層-補(bǔ)洞的卡通動(dòng)畫再利用方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及一種基于分層-補(bǔ)洞的卡通動(dòng)畫再利用方法，具體是一種將輸入的 卡通動(dòng)畫序列按照其場(chǎng)景內(nèi)容分解為不同的分層，并且將各個(gè)分層上由于前后遮擋關(guān)系產(chǎn) 生的空洞填補(bǔ)，得到完整的卡通動(dòng)畫的分層表示。借助完整的卡通分層，對(duì)現(xiàn)有的卡通動(dòng)畫 進(jìn)行有效使用，創(chuàng)作出新的卡通動(dòng)畫。
背景技術(shù)：
隨著計(jì)算機(jī)軟、硬件技術(shù)的發(fā)展，形式多樣的多媒體以及娛樂活動(dòng)受到大眾越來 越多的青睞，其中卡通動(dòng)畫由于其色彩簡(jiǎn)單、形式多樣、表現(xiàn)力豐富而受到不同年齡段觀眾 的喜歡。但另一方面，卡通動(dòng)畫的制作仍相對(duì)復(fù)雜，周期漫長(zhǎng)，如何有效的利用以往創(chuàng)作的 現(xiàn)有的卡通動(dòng)畫，成為很有意義的研究問題，同時(shí)也具有廣泛的應(yīng)用前景?？ㄍ▌?dòng)畫通常由 一個(gè)隨攝像機(jī)運(yùn)動(dòng)的背景層和若干在前景中運(yùn)動(dòng)的卡通物體組成，同時(shí)，運(yùn)動(dòng)的卡通物體 可能存在位置交錯(cuò)，互相遮擋，造成某一時(shí)刻的若干幀上的卡通物體不完整。因此，對(duì)現(xiàn)有 的卡通動(dòng)畫進(jìn)行再利用的關(guān)鍵問題是如何有效的將背景層和前景層剝離開來，同時(shí)恢復(fù)完 整的背景，以及每一幀上完整的前景層上的卡通物體。得到這些完整的分層后，就可以對(duì)現(xiàn) 有的卡通動(dòng)畫進(jìn)行有效的再利用。傳統(tǒng)的卡通動(dòng)畫的處理技術(shù)通常只是根據(jù)一些經(jīng)驗(yàn)判斷，如對(duì)應(yīng)像素的顏色變化 頻率、分割區(qū)域的面積大小等，粗略的將場(chǎng)景分為前景和背景兩層，不能夠?qū)η熬皩影凑障?同的方法進(jìn)行再一步的分解，得到更加精細(xì)的分層表示，因而無法對(duì)現(xiàn)有的卡通動(dòng)畫進(jìn)行 有效的再利用。傳統(tǒng)的計(jì)算機(jī)視覺領(lǐng)域的視頻分層方法不能夠有效適用于卡通動(dòng)畫，這主要是由 于這些方法對(duì)于運(yùn)動(dòng)模型通常有嚴(yán)格的約束，如仿射變換等，而卡通動(dòng)畫多是由手繪而成， 其運(yùn)動(dòng)模型并不精確；另一方面，這些方法所依賴的技術(shù)通常是依靠穩(wěn)定的光流計(jì)算，而光 流計(jì)算對(duì)于卡通很不穩(wěn)定。因此，為了有效處理卡通動(dòng)畫，需要根據(jù)卡通動(dòng)畫本身的特點(diǎn)設(shè) 計(jì)相應(yīng)的分層算法，獲得更加準(zhǔn)確的分層。傳統(tǒng)的卡通動(dòng)畫處理方法沒有考慮背景層和前景卡通物體的補(bǔ)洞問題。通常在卡 通動(dòng)畫中，由于物體運(yùn)動(dòng)中彼此存在遮擋，因此在某些幀上必然造成卡通物體的不完整，對(duì) 再利用這些卡通物體帶來不便。因此，必需設(shè)計(jì)有效的補(bǔ)洞方法，在獲得卡通動(dòng)畫的分層 后，再精確填補(bǔ)由于遮擋造成的空洞，在每一幀上都得到卡通物體的完整表示。而傳統(tǒng)的計(jì) 算機(jī)圖形學(xué)領(lǐng)域的圖像和視頻補(bǔ)洞方法求解速度慢、對(duì)空洞大小有約束，不適合于卡通動(dòng) 畫的補(bǔ)洞，因此，為了有效利用卡通動(dòng)畫的分層，需要根據(jù)卡通本身的創(chuàng)作特點(diǎn)，尋找更為 有效和準(zhǔn)確的補(bǔ)洞方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于分層_補(bǔ)洞的卡通動(dòng)畫再利用方法，能夠在獲取 準(zhǔn)確的分層后，在每一幀上填補(bǔ)由于前后遮擋造成的背景層和前景層的空洞，從而得到各個(gè)分層的完整的表示。進(jìn)而對(duì)這些分層進(jìn)行如形狀編輯、顏色替代等，達(dá)到對(duì)現(xiàn)有卡通的有 效再利用，創(chuàng)作出新的卡通動(dòng)畫。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是1)根據(jù)輸入的卡通動(dòng)畫選取關(guān)鍵幀，用戶交互的將關(guān)鍵幀劃分為不同的區(qū)域，每 一塊區(qū)域?qū)?yīng)一個(gè)分層，不同分層通過其索引值的大小指定遮擋關(guān)系；2)利用滾雪球圖像分割方法將卡通動(dòng)畫的各幀分割成顏色相對(duì)單一的大的分塊， 以及狹長(zhǎng)的圍繞在大的分塊周圍的裝飾線，每一分層都是由大的分塊和狹長(zhǎng)的裝飾線組 成；3)基于顏色和形狀差異定義大的分塊的相似度，該相似度衡量各個(gè)分塊隸屬于每 一個(gè)分層的可能性，并通過優(yōu)化多標(biāo)簽?zāi)芰亢瘮?shù)計(jì)算分塊所屬的分層，然后將隸屬于同一 分層的分塊聚類，得到初始的卡通動(dòng)畫分層；4)在獲得基于大的分塊的分層后，依次將每一幀上的裝飾線按照其位置劃歸到每 一分層，從而得到更加精細(xì)的卡通動(dòng)畫分層；5)依次將每一幀上的背景層在同一個(gè)坐標(biāo)系下進(jìn)行變換對(duì)齊，得到卡通動(dòng)畫的背 景層的全景圖，然后利用圖像補(bǔ)洞方法填補(bǔ)全景圖上的空洞，再利用對(duì)齊變換的逆變換得 到每一幀補(bǔ)全的背景層；6)對(duì)于相鄰兩幀對(duì)應(yīng)的前景層，計(jì)算其特征匹配點(diǎn)，利用匹配點(diǎn)求解變換函數(shù)，將 前一幀完整的分層變換到下一幀，進(jìn)而填補(bǔ)下一幀上位于該分層的空洞，從而完成前景各 個(gè)分層的補(bǔ)洞；7)得到分層-補(bǔ)洞的卡通表現(xiàn)形式后，對(duì)現(xiàn)有的卡通動(dòng)畫進(jìn)行卡通動(dòng)畫處理，合 成新的卡通動(dòng)畫。其具體的執(zhí)行步驟如下步驟1 根據(jù)給定輸入的卡通動(dòng)畫，選取動(dòng)畫序列中包含卡通場(chǎng)景中的顏色以及 出現(xiàn)的物體最多的作為關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用基于簡(jiǎn)單勾畫方式的圖割圖像分割技術(shù)將該幀畫面按照 卡通場(chǎng)景內(nèi)容分解成互不相交的平面區(qū)域，不同的平面區(qū)域代表不同的分層，從而獲得關(guān) 鍵幀上的分層區(qū)域 4}，其中i是關(guān)鍵幀索引，r是分層索引，不同分層的平面區(qū)域用不同的 灰度值表示，r值的大小反映了不同幀之間的遮擋關(guān)系索引值較大的分層只有可能被索 引值小的分層遮擋；對(duì)于灰度值為c的區(qū)域，其覆蓋區(qū)域的分層索引值為c/40，關(guān)鍵幀的分層將作為 整個(gè)卡通動(dòng)畫分層的引導(dǎo)，對(duì)剩余的幀進(jìn)行相應(yīng)的分層；步驟3 采用滾雪球方法依次對(duì)卡通動(dòng)畫的每一幀進(jìn)行分割，分割后的每一幀由 顏色單一且大的分塊和狹長(zhǎng)但具有一定寬度的裝飾線組成，裝飾線圍繞在分塊的邊緣，和 分塊一起構(gòu)成不同的卡通物體；步驟4 在分塊的基礎(chǔ)上，對(duì)相鄰幀由步驟3分割得到的任意兩個(gè)分塊的相似度， 進(jìn)而通過該相似度在各幀之間傳播各個(gè)分層對(duì)應(yīng)的標(biāo)簽，完成卡通動(dòng)畫的分層，該相似度 由分塊的顏色和形狀來定義，具體來講，兩個(gè)分塊Si和S」的相似度定義為[式1]M (Si，Sj) = I I Ci-Cj I I + λ H (Si，Sj)
其中λ是權(quán)因子，控制顏色和形狀因素的權(quán)重，取值為0.4 ;C是在RGB顏色空間 的分塊的平均顏色；H是兩個(gè)分塊的形狀上下文差異；步驟5 通過相似度將關(guān)鍵幀的分層依次在各幀之間傳播，獲取卡通動(dòng)畫每一幀 的分層結(jié)果，在前一幀分層的基礎(chǔ)上，對(duì)于下一幀的分塊，根據(jù)其與前一幀各個(gè)分層上每一 分塊的相似度比較決定其屬于下一幀的哪一個(gè)分層之上，下一幀的分層通過優(yōu)化下面的能 量函數(shù)求解[式2]E(I) = YjDi(Ii)^A Σ V<M>(lpJq)
i<p,q>GN其中λ是權(quán)因子，控制分層邊界的光滑性，取值為0. 2 ；Di (Ii)是基于前一分層結(jié) 果的每一個(gè)分塊屬于各個(gè)分層的可能性，具體定義為
d1·D1(I1)^ ^n ι.
Zjy=I i<是同一分層的兩個(gè)分塊的相似度老dt}，V^，是定義相鄰 分層的光滑性，使得分層區(qū)域保持相對(duì)的緊湊完整性V<p,q>Qp Jq)= 1 + |c _c I Il^ “^I!其中C代表像素顏色，1代表像素的分層索引值，然后通過優(yōu)化上述函數(shù)，得到當(dāng) 前幀的關(guān)于每個(gè)分塊的一個(gè)標(biāo)簽，該標(biāo)簽標(biāo)明每一分塊所屬的分層，從而得到基于分塊的 分層結(jié)果，然后再將該分層結(jié)果傳遞到卡通動(dòng)畫的其余各幀；步驟6 獲得卡通動(dòng)畫每一幀上各個(gè)分塊的分層標(biāo)簽后，將裝飾線并入相應(yīng)的分 塊，首先對(duì)于每一幀的每個(gè)分塊按照其相應(yīng)的裝飾線的寬度w，向外擴(kuò)大2w的范圍，保證擴(kuò) 大后的區(qū)域可以充分包含相應(yīng)的裝飾線，然后利用圖割圖像分割技術(shù)，對(duì)擴(kuò)大后的分塊區(qū) 域再次進(jìn)行分割，對(duì)每一條裝飾線賦予分層索引，從而得到更加精細(xì)的分層表示，獲得同時(shí) 包含分塊以及裝飾線的卡通動(dòng)畫的分層結(jié)果；步驟7 對(duì)于卡通動(dòng)畫中運(yùn)動(dòng)的前景卡通物體，采用形狀上下文的方法計(jì)算物體 輪廓上的特征點(diǎn)，這些特征點(diǎn)描述了卡通物體的形狀；然后對(duì)于前后相鄰兩幀位于同一分 層上的物體的特征點(diǎn)，根據(jù)特征描述，計(jì)算最佳的特征點(diǎn)匹配作為前后兩幀該分層的對(duì)應(yīng) 映射點(diǎn)；步驟8 根據(jù)前景分層上由形狀上下文定義的特征點(diǎn)匹配，求解最佳的變換函數(shù) 將前一幀的分層變換到下一幀，得到變換后的分層形狀，為了盡可能彈性的變換卡通物體， 采用薄板樣條函數(shù)定義的如下變換[式3]T(x, y) = (f^x, y), f2(x, y))
ηf (x, y) = C0+c}x + c2y+ YjWix^ (\\(x,y)~ (Xi^yi)W)
i=l其中Ψ(Γ) =r2logr2是核函數(shù)，《和c為系數(shù)，薄板樣條系數(shù)通過求解下面的線 性方程組得到
權(quán)利要求
1.一種基于分層_補(bǔ)洞的卡通動(dòng)畫再利用方法，其特征在于包含以下步驟1)根據(jù)輸入的卡通動(dòng)畫選取關(guān)鍵幀，用戶交互的將關(guān)鍵幀劃分為不同的區(qū)域，每一塊 區(qū)域?qū)?yīng)一個(gè)分層，不同分層通過其索引值的大小指定遮擋關(guān)系；2)利用滾雪球圖像分割方法將卡通動(dòng)畫的各幀分割成顏色相對(duì)單一的大的分塊，以及 狹長(zhǎng)的圍繞在大的分塊周圍的裝飾線，每一分層都是由大的分塊和狹長(zhǎng)的裝飾線組成；3)基于顏色和形狀差異定義大的分塊的相似度，該相似度衡量各個(gè)分塊隸屬于每一個(gè) 分層的可能性，并通過優(yōu)化多標(biāo)簽?zāi)芰亢瘮?shù)計(jì)算分塊所屬的分層，然后將隸屬于同一分層 的分塊聚類，得到初始的卡通動(dòng)畫分層；4)在獲得基于大的分塊的分層后，依次將每一幀上的裝飾線按照其位置劃歸到每一分 層，從而得到更加精細(xì)的卡通動(dòng)畫分層；5)依次將每一幀上的背景層在同一個(gè)坐標(biāo)系下進(jìn)行變換對(duì)齊，得到卡通動(dòng)畫的背景層 的全景圖，然后利用圖像補(bǔ)洞方法填補(bǔ)全景圖上的空洞，再利用對(duì)齊變換的逆變換得到每 一幀補(bǔ)全的背景層；6)對(duì)于相鄰兩幀對(duì)應(yīng)的前景層，計(jì)算其特征匹配點(diǎn)，利用匹配點(diǎn)求解變換函數(shù)，將前一 幀完整的分層變換到下一幀，進(jìn)而填補(bǔ)下一幀上位于該分層的空洞，從而完成前景各個(gè)分 層的補(bǔ)洞；7)得到分層-補(bǔ)洞的卡通表現(xiàn)形式后，對(duì)現(xiàn)有的卡通動(dòng)畫進(jìn)行卡通動(dòng)畫處理，合成新 的卡通動(dòng)畫。
2.如權(quán)利要求1所述的基于分層-補(bǔ)洞的卡通動(dòng)畫再利用方法，其具體的執(zhí)行步驟如下步驟1 根據(jù)給定輸入的卡通動(dòng)畫，選取動(dòng)畫序列中包含卡通場(chǎng)景中的顏色以及出現(xiàn) 的物體最多的作為關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用基于簡(jiǎn)單勾畫方式的圖割圖像分割技術(shù)將該幀畫面按照卡通 場(chǎng)景內(nèi)容分解成互不相交的平面區(qū)域，不同的平面區(qū)域代表不同的分層，從而獲得關(guān)鍵幀 上的分層區(qū)域 4}，其中i是關(guān)鍵幀索引，r是分層索引，不同分層的平面區(qū)域用不同的灰度 值表示，r值的大小反映了不同幀之間的遮擋關(guān)系索引值較大的分層只有可能被索引值 小的分層遮擋；對(duì)于灰度值為c的區(qū)域，其覆蓋區(qū)域的分層索引值為c/40，關(guān)鍵幀的分層將作為整個(gè) 卡通動(dòng)畫分層的引導(dǎo)，對(duì)剩余的幀進(jìn)行相應(yīng)的分層；步驟3 采用滾雪球方法依次對(duì)卡通動(dòng)畫的每一幀進(jìn)行分割，分割后的每一幀由顏色 單一且大的分塊和狹長(zhǎng)但具有一定寬度的裝飾線組成，裝飾線圍繞在分塊的邊緣，和分塊 一起構(gòu)成不同的卡通物體；步驟4 在分塊的基礎(chǔ)上，對(duì)相鄰幀由步驟3分割得到的任意兩個(gè)分塊的相似度，進(jìn)而 通過該相似度在各幀之間傳播各個(gè)分層對(duì)應(yīng)的標(biāo)簽，完成卡通動(dòng)畫的分層，該相似度由分 塊的顏色和形狀來定義，具體來講，兩個(gè)分塊Si和Si的相似度定義為[式1]M(Si, Sj) = I Ci-Cj | + XH(Si; Sj)其中λ是權(quán)因子，控制顏色和形狀因素的權(quán)重，取值為0.4 ;C是在RGB顏色空間的分塊的平均顏色；H是兩個(gè)分塊的形狀上下文差異；步驟5 通過相似度將關(guān)鍵幀的分層依次在各幀之間傳播，獲取卡通動(dòng)畫每一幀的分 層結(jié)果，在前一幀分層的基礎(chǔ)上，對(duì)于下一幀的分塊，根據(jù)其與前一幀各個(gè)分層上每一分塊 的相似度比較決定其屬于下一幀的哪一個(gè)分層之上，下一幀的分層通過優(yōu)化下面的能量函 數(shù)求解 [式2]
3.根據(jù)權(quán)利要求2所述的基于分層-補(bǔ)洞的卡通動(dòng)畫再利用方法，其特征在于所述 的步驟1)若動(dòng)畫序列太長(zhǎng)，則將該動(dòng)畫分解為幾個(gè)片段，每一個(gè)片段選取選取各自場(chǎng)景中 的顏色以及出現(xiàn)的物體最多作為關(guān)鍵幀。
全文摘要
本發(fā)明提供了一種基于分層-補(bǔ)洞的卡通動(dòng)畫再利用方法。該方法參考了計(jì)算機(jī)視覺領(lǐng)域的視頻分層以及計(jì)算機(jī)圖形學(xué)領(lǐng)域的視頻補(bǔ)洞方法，將輸入的卡通動(dòng)畫序列根據(jù)顏色、形狀等定義的相似度分解為相應(yīng)的分層表示，然后將每一分層上由于遮擋造成的空洞填補(bǔ)，從而得到完整的分層表示。與傳統(tǒng)的計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域中的分層以及補(bǔ)洞方法不同，本發(fā)明提出的分層-補(bǔ)洞方法從卡通圖像本身的特點(diǎn)出發(fā)，利用其顏色、形狀的特殊性，可以比傳統(tǒng)的視覺和圖像學(xué)里面的分層及補(bǔ)洞方法更加有效。本發(fā)明通過對(duì)現(xiàn)有卡通動(dòng)畫進(jìn)行完整的分層表示，可以對(duì)其進(jìn)行顏色、形狀等編輯，合成新的卡通動(dòng)畫，從而更有效的進(jìn)行卡通動(dòng)畫的創(chuàng)作。
文檔編號(hào)G06T13/00GK102005061SQ201010556000
公開日2011年4月6日 申請(qǐng)日期2010年11月24日 優(yōu)先權(quán)日2010年11月24日
發(fā)明者張磊, 黃華 申請(qǐng)人:西安交通大學(xué)