專利名稱：一種動(dòng)畫視頻合成的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種動(dòng)畫視頻合成的方法和裝置。
背景技術(shù)：
隨著科技的進(jìn)步，動(dòng)畫視頻已經(jīng)成為人們生活中廣泛應(yīng)用的娛樂手段，人 們可以通過手機(jī)終端觀看動(dòng)畫視頻、在網(wǎng)絡(luò)中傳送動(dòng)畫一見頻給好友等等。常見
的動(dòng)畫視頻來源于用戶通過手才幾或DV (Digital Video,數(shù)碼才i/f象才幾)等拍才聶的 真實(shí)影像，包括風(fēng)景、人物、事件等等；或者用戶利用專門的制作軟件制作的 動(dòng)畫、flash等等。
在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下缺點(diǎn) 對(duì)于已經(jīng)制作完成的動(dòng)畫視頻，如果希望對(duì)其進(jìn)行局部的修改或補(bǔ)充，現(xiàn) 有技術(shù)只是一種靜態(tài)方式，例如對(duì)局部打上馬賽克等等，而很難再對(duì)其進(jìn)行動(dòng) 態(tài)的修改或補(bǔ)充，即隨著動(dòng)畫視頻的播放而不斷變化其內(nèi)容進(jìn)行修改或補(bǔ)充， 使整個(gè)動(dòng)畫^L頻更具真實(shí)感或者想象力等等。

發(fā)明內(nèi)容
為了對(duì)已經(jīng)制作完成的動(dòng)畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，本發(fā)明實(shí)施例提 供了一種動(dòng)畫視頻合成的方法和裝置。所述技術(shù)方案如下 一種動(dòng)畫纟見頻合成的方法，包^舌
根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的大小和初始位置； 從所述給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀圖像作為當(dāng)前幀圖像，
根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)
于所述當(dāng)前幀圖像的位置；
將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，并將合成后的每一幀
圖像合成動(dòng)畫視頻。
所述根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置，具體包括
獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；
根據(jù)所述運(yùn)動(dòng)偏移，得到所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置與
所述待合成圖片相對(duì)于所述前一幀圖像的位置之間的偏移量；
根據(jù)所述待合成圖片相對(duì)于所述前一幀圖像的位置和所述偏移量，獲得所
述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置。 所述方法還包括
為待合成圖片建立內(nèi)容模型和掩模模型，其中，所述內(nèi)容模型用于描述所
述待合成圖片的內(nèi)容，所述掩模模型用于描述所述待合成圖片的顯示區(qū)域；
相應(yīng)的，所述根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的大小 和初始位置，具體包括
根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的內(nèi)容模型和掩模模 型的大小和初始位置。
所述內(nèi)容模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述內(nèi)容模型的
控制點(diǎn)；所述掩模模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述掩模模 型的控制點(diǎn)；
相應(yīng)的，所述根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所 述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置，具體包括 獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；
根據(jù)所述運(yùn)動(dòng)偏移，得到所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖 像的位置與所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏 移量，并得到所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖像的位置與所述
掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏移量；
根據(jù)所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述內(nèi)容 模型的各個(gè)控制點(diǎn)的偏移量，獲得所述待合成圖片的內(nèi)容^^莫型相對(duì)于所述當(dāng)前
幀圖像的位置；
根據(jù)所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述掩模 模型的各個(gè)控制點(diǎn)的偏移量，獲得所述掩模模型相對(duì)于所述當(dāng)前幀圖像的位置。 所述將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，具體包括 根據(jù)所述內(nèi)容模型相對(duì)于所述當(dāng)前幀圖像的位置，以及所述掩模模型相對(duì)于所述當(dāng)前幀圖像的位置，確定所述內(nèi)容模型和所述掩模模型相對(duì)于所述當(dāng)前 幀圖^象的重合區(qū)i或；
將處于所述重合區(qū)域的內(nèi)容模型所描述的待合成圖片合成到所述當(dāng)前幀圖
像的重合區(qū)域。
一種動(dòng)畫視頻合成的裝置，包括
初始值確定模塊，用于根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖 片的大小和初始位置；
位置獲得模塊，用于從所述給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀 圖像作為當(dāng)前幀圖像，根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲 得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置；
合成模塊，用于將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，并將 合成后的每一幀圖像合成動(dòng)畫^L頻。
所述位置獲得模塊具體包括
第一單元，用于獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；
第二單元，用于根據(jù)所述運(yùn)動(dòng)偏移，得到所述待合成圖片相對(duì)于所述當(dāng)前 幀圖像的位置與所述待合成圖片相對(duì)于所述前一幀圖像的位置之間的偏移量；
第三單元，用于根據(jù)所述待合成圖片相對(duì)于所述前一幀圖像的位置和所述 偏移量，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置。
所述裝置還包括
模型建立模塊，用于為待合成圖片建立內(nèi)容模型和掩模模型，其中，所述 內(nèi)容模型用于描述所述待合成圖片的內(nèi)容，所述掩模模型用于描述所述待合成 圖片的顯示區(qū)域；
相應(yīng)的，所述初始值確定模塊具體用于
根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的內(nèi)容模型和掩模模 型的大小和初始位置。
所述內(nèi)容模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述內(nèi)容模型的 控制點(diǎn)；所述掩模模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述掩模模 型的控制點(diǎn)；
相應(yīng)的，所述位置獲得模塊具體包括
視頻偏移獲得單元，用于獲得所述當(dāng)前幀圖4象相對(duì)于前一幀圖像的運(yùn)動(dòng)偏
8移；
模型偏移獲得單元，用于根據(jù)所述運(yùn)動(dòng)偏移，得到所述內(nèi)容模型的各個(gè)控 制點(diǎn)相對(duì)于所述當(dāng)前幀圖像的位置與所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前 一幀圖像的位置之間的偏移量，并得到所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述 當(dāng)前幀圖像的位置與所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置 之間的偏移量；
內(nèi)容模型位置獲得單元，用于根據(jù)所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述 前一幀圖像的位置和所述內(nèi)容模型的各個(gè)控制點(diǎn)的偏移量，獲得所述待合成圖 片的內(nèi)容模型相對(duì)于所述當(dāng)前幀圖像的位置；
掩模模型位置獲得單元，用于根據(jù)所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述 前一幀圖像的位置和所述掩模模型的各個(gè)控制點(diǎn)的偏移量，獲得所述掩模模型 相對(duì)于所述當(dāng)前幀圖像的位置。
所述合成模塊具體包括
重合區(qū)域確定單元，用于根據(jù)所述內(nèi)^i型相對(duì)于所述當(dāng)前幀圖像的位置， 以及所述掩模模型相對(duì)于所述當(dāng)前幀圖像的位置，確定所述內(nèi)容模型和所述掩 模模型相對(duì)于所述當(dāng)前幀圖像的重合區(qū)域；
合成單元，用于將處于所述重合區(qū)域的內(nèi)容模型所描述的待合成圖片合成 到所述當(dāng)前幀圖像的重合區(qū)域。
本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是
通過給定的動(dòng)畫視頻的第一幀圖像確定待合成圖片的初始位置與大小，并 在將每一幀圖像作為當(dāng)前幀圖像，獲得待合成圖片相對(duì)于當(dāng)前幀圖像的位置， 并將待合成圖片合成到當(dāng)前幀圖像的相應(yīng)位置上，實(shí)現(xiàn)了對(duì)給定動(dòng)畫視頻進(jìn)行 動(dòng)態(tài)的修改或補(bǔ)充，操作方法簡單，動(dòng)畫視頻合成后的效果更佳。


圖1是本發(fā)明實(shí)施例1中提供的動(dòng)畫視頻合成的方法流程圖； 圖2是本發(fā)明實(shí)施例2中提供的動(dòng)畫視頻合成的方法流程圖； 圖3是本發(fā)明實(shí)施例2中提供的待合成圖片； 圖4是本發(fā)明實(shí)施例2中提供的待合成圖片的內(nèi)容^t型示意圖； 圖5是本發(fā)明實(shí)施例2中提供的給定的動(dòng)畫視頻圖像中的嘴巴模型；圖6是本發(fā)明實(shí)施例2中提供的待合成圖片的子掩模2的示意圖； 圖7是本發(fā)明實(shí)施例2中提供的待合成圖片的掩才莫^f莫型示意圖； 圖8 (a)至圖8 (c)是本發(fā)明實(shí)施例2中提供的嘴巴部分的效果比較圖； 圖9 (a)至圖9 (f)是本發(fā)明實(shí)施例2中提供的視頻中連續(xù)變化及點(diǎn)頭抬 頭時(shí)的嘴巴效果圖IO是本發(fā)明實(shí)施例3中提供的動(dòng)畫視頻合成的裝置結(jié)構(gòu)示意圖11是本發(fā)明實(shí)施例3中提供的動(dòng)畫視頻合成的裝置另一種結(jié)構(gòu)示意圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明 實(shí)施方式作進(jìn)一步地詳細(xì)描述。
實(shí)施例1
為了對(duì)給定的動(dòng)畫^f見頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，本發(fā)明實(shí)施例提供了 一種 動(dòng)畫視頻合成的方法，參見圖1，該方法包括
101:根據(jù)給定的動(dòng)畫祝頻的第一幀圖像，確定待合成圖片的大小和初始位
置；
102:從給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀圖像作為當(dāng)前幀圖像， 根據(jù)當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得待合成圖片相對(duì)于當(dāng)前幀 圖像的位置；
103:將待合成圖片合成到當(dāng)前幀圖像的位置上，并將合成后的每一幀圖像 合成動(dòng)畫^見頻。
本發(fā)明實(shí)施例通過給定的畫視頻的第一幀圖像確定待合成圖片的初始位置 與大小，并將每一幀圖像作為當(dāng)前幀圖像，獲得待合成圖片相對(duì)于當(dāng)前幀圖像 的位置，并將待合成圖片合成到當(dāng)前幀圖像的相應(yīng)位置上，實(shí)現(xiàn)了對(duì)給定的動(dòng) 畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，操作方法簡單，動(dòng)畫^L頻合成后效果更佳。
實(shí)施例2
為了可以對(duì)給定的動(dòng)畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，本發(fā)明實(shí)施例提供了 一種動(dòng)畫視頻合成的方法，該方法是基于2D網(wǎng)格的，即給定的動(dòng)畫視頻的每一幀圖像以及選擇的待合成圖片都是處于2D網(wǎng)格中的，通過2D網(wǎng)格確定圖片的 大小和位置。參見圖2，該方法包括
201:根據(jù)給定的動(dòng)畫視頻，選擇待合成圖片；
臉真實(shí)感的上排牙齒圖片作為待合成圖片(如圖3中的前景圖像所示)為例。
其中，待合成圖片可以是一幅或者多幅，根據(jù)給定的動(dòng)畫視頻的實(shí)際情況 而定。以本實(shí)施例給定的人的臉部動(dòng)畫視頻為例，從中性臉生成各種表情時(shí)， 待合成圖片可以增加真實(shí)感，如口腔中的舌頭、牙齒等；使臉部表情顯得更加 生動(dòng)和富有表現(xiàn)力時(shí)，待合成圖片可以是額頭上冒出的汗珠、眼睛里閃爍的淚 水等圖片；使動(dòng)畫視頻更加具有娛樂性時(shí)，待合成圖片可以是任何形狀可描述 的圖片，當(dāng)然也可以是兩個(gè)或多個(gè)圖片的組合等等。這里需要說明的是，形狀 可描述的圖片具體指的是在2D網(wǎng)格中可以用多個(gè)三角形及其頂點(diǎn)表示的圖片。 其中，2D網(wǎng)格具體可以理解為待合成圖片、給定的動(dòng)畫視頻的每一幀圖像都 是被放在2維網(wǎng)格的背景當(dāng)中的，作為背景部分的2D網(wǎng)格為待合成圖片、給定 的動(dòng)畫視頻的每一幀圖像的大小和位置的確定提供了參考。 202:為步驟201中選擇的待合成圖片建立模型；
其中，為待合成圖片建立的模型包括內(nèi)容模型和掩模模型。內(nèi)容模型具 體指的是在2D網(wǎng)格中為圖片的形狀建立網(wǎng)格模型，用于描述圖片中的內(nèi)容，掩 模模型具體指的是在2D網(wǎng)格中為圖片覆蓋的區(qū)域建立網(wǎng)格模型，用于描述圖片 的顯示區(qū)域。
本實(shí)施例以人臉的上排牙齒作為待合成圖片，因此本步驟中以為圖3所示 的牙齒建立內(nèi)^t型和掩模模型為例。
具體的，牙齒的內(nèi)容才莫型可以如圖4所示。其中，內(nèi)容才莫型由多個(gè)三角形 及其頂點(diǎn)組成，每個(gè)三角形的頂點(diǎn)都是內(nèi)容模型的控制點(diǎn)。即內(nèi)容模型主要包 括內(nèi)容模型的各個(gè)頂點(diǎn)所對(duì)應(yīng)的牙齒圖片的位置信息和內(nèi)容模型中的描述牙齒 形狀的三角形信息。由于為圖片建立內(nèi)容模型是一種成熟的技術(shù)，因此本發(fā)明 實(shí)施例不對(duì)建立內(nèi)容模型的方法及步驟予以限定。
牙齒的掩才莫模型用于標(biāo)識(shí)牙齒的內(nèi)容模型的顯示區(qū)域，其建立過程與牙齒 的內(nèi)容模型的建立過程相似，這里不做贅述。但需要說明的是，對(duì)于不同的待 合成圖片，建立的掩才莫才莫型的個(gè)數(shù)是不相同的。對(duì)于一般情況下，當(dāng)待合成圖
ii片在2D網(wǎng)格中的顯示區(qū)域的大小不需要進(jìn)行調(diào)整時(shí)，只需要對(duì)待合成圖片建立 一個(gè)掩模模型即可；對(duì)于顯示區(qū)域的大小需要調(diào)整的待合成圖片，需要建立兩 個(gè)甚至多個(gè)掩模模型。例如，在本發(fā)明實(shí)施例中，由于牙齒與嘴唇之間存在遮 擋，所以牙齒在不同的時(shí)刻所顯露出來的部分是不完全相同的，因此針對(duì)這個(gè) 實(shí)施例待合成圖片一一牙齒的顯露特殊性，需要為牙齒建立2個(gè)子掩才莫模型， 由2個(gè)子掩模疊加后的重復(fù)部分構(gòu)成牙齒的掩模模型，其中，這2個(gè)子掩模分 別是牙齒原始圖像對(duì)應(yīng)的子掩模模型maskl,與牙齒的內(nèi)^^莫型相似；上下嘴 唇之間露出口腔部分的子掩模模型mask2,如圖6的陰影部分所示。
203:根據(jù)給定的動(dòng)畫視頻中的每一幀圖像中的內(nèi)容特征，調(diào)整待合成圖片；
(1) 首先，根據(jù)第一幀圖像中的內(nèi)容特征，確定待合成圖片的內(nèi)容模型的 大小，即內(nèi)容模型的長度和寬度，以及待合成圖片的內(nèi)^f莫型的初始位置；
具體在本實(shí)施例中，確定牙齒的內(nèi)容模型的長度和寬度 根據(jù)給定的動(dòng)畫視頻中的第一幀圖像在2D網(wǎng)格中的位置和大小，確定在 2D網(wǎng)格中人臉上嘴巴模型的位置和大小，這里嘴巴模型由各個(gè)控制點(diǎn)對(duì)應(yīng)的嘴 巴模型的位置和描述嘴巴形狀的三角形信息構(gòu)成。再根據(jù)嘴巴模型的位置和大 小在2D網(wǎng)格中確定圖4所示的牙齒的內(nèi)容;f莫型中的A點(diǎn)和B點(diǎn)，然后再確定C 點(diǎn)的位置，之后再依次確定牙齒的內(nèi)容模型中的各個(gè)控制點(diǎn)在2D網(wǎng)格中的位 置。例如，假設(shè)給定的動(dòng)畫視頻中的第一幀原始圖像中，嘴巴模型的各個(gè)控制 點(diǎn)在2D網(wǎng)格中的位置可以如圖5所示，嘴巴模型中的兩個(gè)控制點(diǎn)在2D網(wǎng)格中 的坐標(biāo)分別為左嘴角1(3, 5)、右嘴角2 (11， 5); 4艮據(jù)左、右嘴角在2D網(wǎng) 格中的坐標(biāo)，按照美學(xué)的原理，將牙齒的內(nèi)^^莫型的A、 B點(diǎn)分別確定在左、右 嘴角上方的l個(gè)單位，那么A點(diǎn)的坐標(biāo)即為(3, 6), B點(diǎn)的坐標(biāo)即為(11, 6), 再根據(jù)C點(diǎn)相對(duì)于A、 B兩點(diǎn)的位置坐標(biāo)，確定C的坐標(biāo)，依次類推，得到牙 齒內(nèi)容模型的各個(gè)控制點(diǎn)在2D網(wǎng)格中的位置，從而確定了待合成圖片的內(nèi)^t 型在2D網(wǎng)格中的大小，即長度和寬度。
(2) 在給定的動(dòng)畫視頻中的每一幀圖像上，根據(jù)每一幀圖像中的內(nèi)容相對(duì) 于其在前一幀圖像上的位置的運(yùn)動(dòng)偏移，確定待合成圖片的內(nèi)容模型上各個(gè)控 制點(diǎn)的偏移量，從而計(jì)算待合成圖片的內(nèi)容^t型上的各個(gè)控制點(diǎn)的新位置；
具體在本實(shí)施例中，根據(jù)當(dāng)前幀相對(duì)于前一幀的頭部的運(yùn)動(dòng)偏移，更確切 地說是嘴巴的運(yùn)動(dòng)偏移，確定牙齒內(nèi)容模型上各個(gè)控制點(diǎn)的偏移量，從而計(jì)算牙齒內(nèi)容模型各個(gè)控制點(diǎn)在2D網(wǎng)格中的新位置；具體的說，從給定的動(dòng)畫視頻 中第二幀圖像開始的每一幀，嘴巴模型的各個(gè)控制點(diǎn)相對(duì)于其前一幀圖像中嘴 巴的相應(yīng)控制點(diǎn)的運(yùn)動(dòng)偏移，來確定牙齒內(nèi)容沖莫型中的各個(gè)控制點(diǎn)的運(yùn)動(dòng)偏移。 例如，給定的動(dòng)畫視頻的第二幀圖像中左嘴角1的偏移量為向上移動(dòng)1個(gè)單位， 右嘴角2的偏移量為向上移動(dòng)l個(gè)單位，那么，牙齒內(nèi)容^f莫型的A、 B兩點(diǎn)分別 相應(yīng)向上移動(dòng)1個(gè)單位，其他的控制點(diǎn)的偏移量也相應(yīng)地被確定，從而得到牙 齒內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于每一幀圖像上的新坐標(biāo)值。
(3)根據(jù)待合成圖片的內(nèi)容模型的各個(gè)控制點(diǎn)的新位置，完成從待合成圖 像的內(nèi)^t型的形變到待合成圖片內(nèi)容的形變的過程。
204:根據(jù)給定的動(dòng)畫視頻的每一幀圖像內(nèi)容的特點(diǎn)，調(diào)整待合成圖片的掩 模模型在2D網(wǎng)格中的位置；
(1) 首先，根據(jù)給定的動(dòng)畫視頻的第一幀圖像的內(nèi)容特征，確定待合成圖 片掩模模型的大小，即長度和寬度，以及掩模模型的初始位置；
這里，掩模模型的大小以及位置的確定與內(nèi)容模型的方法類似，在此不做 贅述。
(2) 在動(dòng)畫視頻的每一幀圖像中，根據(jù)每一幀圖像上的內(nèi)容相對(duì)于其在前 一幀圖像中的位置的運(yùn)動(dòng)偏移，確定待合成圖片的掩模模型上各個(gè)控制點(diǎn)的偏 移量，從而計(jì)算掩模模型的各個(gè)控制點(diǎn)在每一幀圖像上的新位置；
(3 )根據(jù)掩模模型的各個(gè)控制點(diǎn)的新位置完成從待合成圖片的掩模模型的 形變到圖片的顯示區(qū)域的形變的過程。具體的實(shí)施方法可以參照步驟203,這里 不做贅述。
具體到本實(shí)施例中，由于牙齒的顯露特性，待合成圖片有兩個(gè)子掩模模型 maskl和mask2;
其中，maskl的位置與牙齒的內(nèi)容模型位置的調(diào)整方式是類似的，在這里不 做贅述；mask2是上下嘴唇之間露出口腔部分的子掩模模型，mask2是與臉部模 型中嘴巴部分相對(duì)應(yīng)的，仍以圖5的嘴巴模型為例
參見圖6，圖6中的陰影部分即為mask2,需進(jìn)行單獨(dú)的提取，根據(jù)mask2 的特點(diǎn)，可以得出如下的結(jié)論在給定的動(dòng)畫視頻的每一幀圖像中，mask2上的 各個(gè)控制點(diǎn)的新位置，就是此幀圖像中的嘴巴模型的控制點(diǎn)的位置；
然后根據(jù)maskl和mask2的控制點(diǎn)的位置，分別完成兩個(gè)子掩模的形變；最后，牙齒圖片的掩模模型是maskl和mask2的重合區(qū)域，即是嘴巴模型 中最終會(huì)露出牙齒的部分，如圖7中的陰影部分所示。其中，實(shí)線與實(shí)心點(diǎn)組 成的部分表示的是嘴巴，虛線與虛線上的陰影點(diǎn)組成的部分是maskl，實(shí)線及實(shí) 線上的陰影點(diǎn)組成的部分是mask2， maskl與mask2重疊的部分是最終的牙齒掩 模。
這里需要說明的是，本發(fā)明實(shí)施例不限制步驟203和步驟204之間的先后 關(guān)系，步驟203和步驟204可以同時(shí)進(jìn)行，也可以先后進(jìn)行。
205:根據(jù)給定的動(dòng)畫視頻的每一幀圖像中調(diào)整好的待合成圖片的內(nèi)容;f莫型 與掩模模型，完成每一幀圖像的合成；
具體的，將給定的動(dòng)畫視頻的每一幀圖像分別作為當(dāng)前幀，在當(dāng)前幀圖像 中確定待合成圖片的內(nèi)容模型與掩模模型相重合的區(qū)域，并將該重合的區(qū)域所 描述的待合成圖片的內(nèi)容合成到當(dāng)前幀圖像中。即根據(jù)每一幀圖像中調(diào)整好的 待合成圖片，以及待合成圖片的顯示區(qū)域，完成與給定的動(dòng)畫視頻的合成。
在給定的動(dòng)畫視頻的當(dāng)前幀圖像上，結(jié)合牙齒圖像的掩模模型，該顯示出 牙齒的地方，就將調(diào)整好的牙齒圖片替代給定的動(dòng)畫^L頻當(dāng)前幀圖像的相應(yīng)位 置的內(nèi)容；不該顯示牙齒的地方，仍然保留給定的動(dòng)畫視頻當(dāng)前幀圖像的內(nèi)容。
最后的生成效果如圖8所示，在此比較的是某一時(shí)刻的一幀圖像。最左邊 是給定的動(dòng)畫視頻中閉合的嘴巴，中間是沒有合成牙齒圖片時(shí)張開的嘴巴，最 右邊是合成了牙齒圖片后張開的嘴巴。
連續(xù)幀圖像的效果如圖9所示，給定的動(dòng)畫視頻中的人臉從嘴巴閉合到微 微張開(a) (b) (c) (d)、小幅度向下點(diǎn)頭時(shí)張嘴(e)、以及小幅度向上抬頭張 嘴(f)的嘴巴效果圖。
這里需要說明的是，本發(fā)明實(shí)施例僅以人臉上排牙齒圖像在人臉動(dòng)畫視頻 中的合成過程為例，事實(shí)上，任何形狀可描述的圖片均可以作為待合成圖片合 成到動(dòng)畫視頻當(dāng)中，方法與本實(shí)施例提供的方法相類似，在此不做贅述。
本發(fā)明實(shí)施例提供的動(dòng)畫視頻合成的方法，通過確定待合成圖片的內(nèi)容模 型和掩模模型相對(duì)于給定的動(dòng)畫視頻每一幀圖像的大小以及位置，并確定待合 成圖片的內(nèi)^i型和掩模模型的重合區(qū)域，將給定的動(dòng)畫視頻的每一幀圖像中 相對(duì)于重合區(qū)域的圖像內(nèi)容替換為待合成圖片相對(duì)于重合區(qū)域的圖像內(nèi)容，實(shí) 現(xiàn)了對(duì)給定的動(dòng)畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，操作方法簡單，動(dòng)畫視頻合成
14后的效果更佳。 實(shí)施例3
供了一種動(dòng)畫視頻合成的裝置，參照方法實(shí)施例當(dāng)中描述的技術(shù)方案，參見圖
10,該裝置包括
初始值確定模塊1001,用于根據(jù)給定的動(dòng)畫-見頻的第一幀圖像，確定待合 成圖片的大小和初始位置；
位置獲得模塊1002,用于從給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀 圖像作為當(dāng)前幀圖像，根據(jù)當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得待 合成圖片相對(duì)于當(dāng)前幀圖像的位置；
合成模塊1003,用于將待合成圖片合成到當(dāng)前幀圖像的位置上，并將合成 后的每一幀圖像合成動(dòng)畫視頻。
其中，位置獲得^莫塊1002具體包括
第一單元，用于獲得當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；
第二單元，用于根據(jù)運(yùn)動(dòng)偏移，得到待合成圖片相對(duì)于當(dāng)前幀圖像的位置 與待合成圖片相對(duì)于前一幀圖像的位置之間的偏移量；
第三單元，用于根據(jù)待合成圖片相對(duì)于前一幀圖像的位置和偏移量，獲得 待合成圖片相對(duì)于當(dāng)前幀圖像的位置。
進(jìn)一步地，參見圖11，裝置還包括
模型建立模塊1004,用于為待合成圖片建立內(nèi)容模型和掩模模型，其中， 內(nèi)容模型用于描述待合成圖片的內(nèi)容，掩模模型用于描述待合成圖片的顯示區(qū)
域；
相應(yīng)的，初始值確定才莫塊1001具體用于
根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的內(nèi)容模型和掩模模 型的大小和初始位置。
內(nèi)容模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是內(nèi)容模型的控制點(diǎn)； 掩模模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是掩模模型的控制點(diǎn)；
相應(yīng)的，位置獲得模塊1002具體包括
視頻偏移獲得單元，用于獲得當(dāng)前幀圖傳一目對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；模型偏移獲得單元，用于根據(jù)運(yùn)動(dòng)偏移，得到內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì) 于當(dāng)前幀圖像的位置與內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于前一幀圖像的位置之間的 偏移量，并得到掩模模型的各個(gè)控制點(diǎn)相對(duì)于當(dāng)前幀圖像的位置與掩模模型的
各個(gè)控制點(diǎn)相對(duì)于前一幀圖像的位置之間的偏移量；
內(nèi)容模型位置獲得單元，用于根據(jù)內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于前一幀圖 像的位置和內(nèi)容模型的各個(gè)控制點(diǎn)的偏移量，獲得待合成圖片的內(nèi)容模型相對(duì) 于當(dāng)前幀圖像的位置；
掩模模型位置獲得單元，用于根據(jù)掩模模型的各個(gè)控制點(diǎn)相對(duì)于前一幀圖 像的位置和掩模模型的各個(gè)控制點(diǎn)的偏移量，獲得掩模模型相對(duì)于當(dāng)前幀圖像 的位置。
其中，合成模塊1003具體包括
重合區(qū)域確定單元，用于根據(jù)內(nèi)容模型相對(duì)于當(dāng)前幀圖像的位置，以及掩 模模型相對(duì)于當(dāng)前幀圖像的位置，確定內(nèi)容模型和掩模模型相對(duì)于當(dāng)前幀圖像 的重合區(qū)域；
合成單元，用于將處于重合區(qū)域的內(nèi)容模型所描述的待合成圖片合成到當(dāng) 前幀圖像的重合區(qū)域。
本發(fā)明實(shí)施例提供的動(dòng)畫視頻合成的裝置，通過給定的動(dòng)畫視頻的第一幀 圖像確定待合成圖片的初始位置與大小，并將每一幀圖像作為當(dāng)前幀圖像，獲 得待合成圖片相對(duì)于當(dāng)前幀圖像的位置，并將待合成圖片合成到當(dāng)前幀圖像的 相應(yīng)位置上，實(shí)現(xiàn)了對(duì)給定動(dòng)畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，操作方法簡單， 動(dòng)畫視頻合成后的效果更佳。
以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的 精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的 保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種動(dòng)畫視頻合成的方法，其特征在于，包括根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的大小和初始位置；從所述給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀圖像作為當(dāng)前幀圖像，根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置；將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，并將合成后的每一幀圖像合成動(dòng)畫視頻。
2、如權(quán)利要求l所述的方法，其特征在于，所述根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置，具體包括獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；才艮據(jù)所述運(yùn)動(dòng)偏移，得到所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置與所述待合成圖片相對(duì)于所述前一幀圖像的位置之間的偏移量；沖艮據(jù)所述待合成圖片相對(duì)于所述前一幀圖像的位置和所述偏移量，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置。
3、如權(quán)利要求l所述的方法，其特征在于，所述方法還包括為待合成圖片建立內(nèi)容模型和掩模模型，其中，所述內(nèi)容模型用于描述所述待合成圖片的內(nèi)容，所述掩才莫才莫型用于描述所述待合成圖片的顯示區(qū)域；相應(yīng)的，所述根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的大小和初始位置，具體包括根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的內(nèi)容模型和掩模模型的大小和初始位置。
4、如權(quán)利要求3所述的方法，其特征在于，所述內(nèi)容才莫型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述內(nèi)容^t型的控制點(diǎn)；所述掩才莫;漠型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述掩模模型的控制點(diǎn)；相應(yīng)的，所述根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置，具體包括 獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；根據(jù)所述運(yùn)動(dòng)偏移，得到所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖 像的位置與所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏 移量，并得到所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖像的位置與所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏移量；根據(jù)所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述內(nèi)容 模型的各個(gè)控制點(diǎn)的偏移量，獲得所述待合成圖片的內(nèi)容模型相對(duì)于所述當(dāng)前 幀圖像的位置；根據(jù)所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述掩模 模型的各個(gè)控制點(diǎn)的偏移量，獲得所述掩模模型相對(duì)于所述當(dāng)前幀圖像的位置。
5、 如權(quán)利要求3或4所述的方法，其特征在于，所述將所述待合成圖片合 成到所述當(dāng)前幀圖像的位置上，具體包括根據(jù)所述內(nèi)容模型相對(duì)于所述當(dāng)前幀圖像的位置，以及所述掩模模型相對(duì) 于所述當(dāng)前幀圖像的位置，確定所述內(nèi)容模型和所述掩模模型相對(duì)于所述當(dāng)前 幀圖像的重合區(qū)域；將處于所述重合區(qū)域的內(nèi)容模型所描述的待合成圖片的內(nèi)容合成到所述當(dāng) 前幀圖像的重合區(qū)域。
6、 一種動(dòng)畫視頻合成的裝置，其特征在于，包括初始值確定模塊，用于根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖 片的大小和初始位置；位置獲得模塊，用于從所述給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀 圖像作為當(dāng)前幀圖像，根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲 得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置；合成模塊，用于將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，并將 合成后的每一幀圖像合成動(dòng)畫視頻。
7、 如權(quán)利要求6所述的裝置，其特征在于，所述位置獲得模塊具體包括第 一單元，用于獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；第二單元，用于根據(jù)所述運(yùn)動(dòng)偏移，得到所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置與所述待合成圖片相對(duì)于所述前一幀圖像的位置之間的偏移量；第三單元，用于根據(jù)所述待合成圖片相對(duì)于所述前一幀圖像的位置和所述偏移量，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置。
8、 如權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括模型建立模塊，用于為待合成圖片建立內(nèi)容模型和掩模模型，其中，所述內(nèi)容模型用于描述所述待合成圖片的內(nèi)容，所述掩模模型用于描述所述待合成圖片的顯示區(qū)域；相應(yīng)的，所述初始值確定模塊具體用于根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的內(nèi)容模型和掩模模型的大小和初始位置。
9、 如權(quán)利要求8所述的裝置，其特征在于，所述內(nèi)容模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述內(nèi)容^=莫型的控制點(diǎn)；所述掩才莫模型由多個(gè)三角形組成，每個(gè)三角形的頂點(diǎn)都是所述掩模模型的控制點(diǎn)；相應(yīng)的，所述位置獲得模塊具體包括視頻偏移獲得單元，用于獲得所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移；模型偏移獲得單元，用于根據(jù)所述運(yùn)動(dòng)偏移，得到所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖像的位置與所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏移量，并得到所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述當(dāng)前幀圖像的位置與所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置之間的偏移量；內(nèi)容模型位置獲得單元，用于根據(jù)所述內(nèi)容模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述內(nèi)容模型的各個(gè)控制點(diǎn)的偏移量，獲得所述待合成圖片的內(nèi)^^莫型相對(duì)于所述當(dāng)前幀圖像的位置；掩模模型位置獲得單元，用于根據(jù)所述掩模模型的各個(gè)控制點(diǎn)相對(duì)于所述前一幀圖像的位置和所述掩模模型的各個(gè)控制點(diǎn)的偏移量，獲得所述掩模模型 相對(duì)于所述當(dāng)前幀圖像的位置。
10、如權(quán)利要求8或9所述的裝置，其特征在于，所述合成模塊具體包括 重合區(qū)域確定單元，用于根據(jù)所述內(nèi)容模型相對(duì)于所述當(dāng)前幀圖像的位置，以及所述掩模模型相對(duì)于所述當(dāng)前幀圖像的位置，確定所述內(nèi)容模型和所述掩模模型相對(duì)于所述當(dāng)前幀圖像的重合區(qū)域；合成單元，用于將處于所述重合區(qū)域的內(nèi)容模型所描述的待合成圖片合成到所述當(dāng)前幀圖像的重合區(qū)域。
全文摘要
本發(fā)明公開了一種動(dòng)畫視頻合成的方法和裝置，屬于圖像處理領(lǐng)域。方法包括根據(jù)給定的動(dòng)畫視頻的第一幀圖像，確定待合成圖片的大小和初始位置；從所述給定的動(dòng)畫視頻的第二幀圖像開始，將每一幀圖像作為當(dāng)前幀圖像，根據(jù)所述當(dāng)前幀圖像相對(duì)于前一幀圖像的運(yùn)動(dòng)偏移，獲得所述待合成圖片相對(duì)于所述當(dāng)前幀圖像的位置；將所述待合成圖片合成到所述當(dāng)前幀圖像的位置上，并將合成后的每一幀圖像合成動(dòng)畫視頻。裝置包括初始值確定模塊、位置獲得模塊和合成模塊。對(duì)給定的動(dòng)畫視頻進(jìn)行動(dòng)態(tài)的修改或補(bǔ)充，操作方法簡單。
文檔編號(hào)G06T13/00GK101510314SQ20091012916
公開日2009年8月19日 申請(qǐng)日期2009年3月27日 優(yōu)先權(quán)日2009年3月27日
發(fā)明者王建宇, 路依莎 申請(qǐng)人:騰訊科技(深圳)有限公司