視頻人臉卡通動(dòng)畫生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)，具體涉及基于人臉視頻生成卡通視頻的生成方法。
【背景技術(shù)】
[0002] 目前視頻人臉卡通動(dòng)畫生成方法主要有關(guān)鍵幀插值方法，參數(shù)控制方法，肌肉模 型方法，物理模型方法，行為驅(qū)動(dòng)方法。
[0003] 關(guān)鍵幀插值方法主要思想是先利用人臉頭部運(yùn)動(dòng)或者人臉表情變化的檢測(cè)，從大 量視頻圖像幀里獲取最具有代表性的關(guān)鍵幀，并對(duì)其進(jìn)行相關(guān)的圖像處理，將經(jīng)過處理的 關(guān)鍵幀形成人臉樣本圖像庫(kù)，在關(guān)鍵幀之間進(jìn)行插值，得到中間時(shí)刻的處理圖像，由此可以 得到處于兩種表情之間的一種新的表情圖像。該算法的適用性很局限，只能對(duì)一個(gè)人或是 一種類型的人臉模型進(jìn)行計(jì)算，而不能大范圍的創(chuàng)建各種真實(shí)的人臉模型。
[0004] 參數(shù)控制方法采用了參數(shù)化技術(shù)，客服了簡(jiǎn)單插值的一些限制，通過選取一組獨(dú) 立的參數(shù)值，經(jīng)過少量的計(jì)算參數(shù)的組合就能構(gòu)造出人臉表情。但參數(shù)化方法很容易產(chǎn)生 不自然的表情，而且需要大量的手工調(diào)節(jié)去設(shè)置參數(shù)值。
[0005] 肌肉模型方法的原理是，用多邊形來(lái)表示人臉的形狀，然后用肌肉向量通過不同 的函數(shù)改變多邊形的頂點(diǎn)位置和運(yùn)動(dòng)方向，這樣就可以改變?nèi)四槻煌瑓^(qū)域的形狀，從而實(shí) 現(xiàn)人臉的動(dòng)畫效果。在向量肌肉模型中，如何按生理學(xué)的規(guī)律正確放置肌肉向量是一項(xiàng)非 常困難的工作，不正確的肌肉向量定位，會(huì)出現(xiàn)不自然的表情動(dòng)畫，甚至出現(xiàn)不可能發(fā)生 的表情動(dòng)畫，因此需要反復(fù)實(shí)驗(yàn)來(lái)得到比較好的效果。
[0006] 基于物理模型的動(dòng)畫是將人臉視為一個(gè)可變型的彈性體，由彈性矢量單元將人臉 的皮膚層、軟組織、肌肉層和骨骼層的各個(gè)節(jié)點(diǎn)鏈接起來(lái)，將這些彈性矢量單以不同的方式 組合在一起，就形成可以發(fā)生形變的曲線和可以發(fā)生形變的曲面，然后利用物理模型的方 法模擬肌肉的的運(yùn)動(dòng)，通常是采用Newtonian運(yùn)動(dòng)方程來(lái)模擬人臉的肌肉運(yùn)動(dòng)。該方法使 人臉表情動(dòng)畫更具有真實(shí)性，但是人臉模型很復(fù)雜，計(jì)算量相當(dāng)?shù)拇?，不適用于實(shí)時(shí)處理。
[0007] 行為驅(qū)動(dòng)方法是指通過運(yùn)動(dòng)捕捉設(shè)備，獲取視頻攝像頭拍攝的人臉運(yùn)動(dòng)的數(shù)據(jù)， 然后用這些運(yùn)動(dòng)數(shù)據(jù)控制計(jì)算機(jī)生成虛擬的人臉表情運(yùn)動(dòng)。為了更好的獲取人臉表情變化 的數(shù)據(jù)，可以在待跟蹤的人臉上選取特征點(diǎn)，通過對(duì)特征點(diǎn)的跟蹤來(lái)記錄人臉的運(yùn)動(dòng)數(shù)據(jù)。 根據(jù)數(shù)據(jù)的變化對(duì)卡通圖像進(jìn)行相應(yīng)的處理形成卡通動(dòng)畫?，F(xiàn)有的光流法對(duì)特征點(diǎn)的跟蹤 準(zhǔn)確度不高，尤其當(dāng)特征點(diǎn)附近的紋理復(fù)雜時(shí)容易產(chǎn)生漂移，使人臉表情變化的數(shù)據(jù)產(chǎn)生 錯(cuò)誤，從而導(dǎo)致卡通人臉的變化與真實(shí)人臉的表情變化不一致。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是提供一種基于特征點(diǎn)定位的視頻人臉卡通化方法，此方法生成的 卡通動(dòng)畫視頻較流暢，與輸入人臉的相似性較高，表情模擬逼真，具有較高的實(shí)用價(jià)值。
[0009] 本發(fā)明的視頻人臉卡通動(dòng)畫生成方法，包括下列步驟：
[0010] 步驟1 :從輸入視頻選擇一幀正面中性表情人臉圖像作為參考幀，并截取參考幀 的人臉圖像，基于所述人臉圖像的兩眼距離對(duì)人臉圖像進(jìn)行尺寸歸一化；
[0011] 將該人臉圖像轉(zhuǎn)換為灰度圖像，獲取所述灰度圖像的特征點(diǎn)并保存特征點(diǎn)位置， 所述特征點(diǎn)包括具有標(biāo)志性的面部輪廓特征點(diǎn)、眉毛輪廓特征點(diǎn)、眼睛輪廓特征點(diǎn)、鼻子輪 廓特征點(diǎn)；根據(jù)獲取的眉毛輪廓特征點(diǎn)、眼睛輪廓特征點(diǎn)、鼻子輪廓特征點(diǎn)對(duì)所述人臉圖像 中的眉毛、眼睛、鼻子分別進(jìn)行重疊分塊，且分塊數(shù)大于或等于3;在人臉圖像塊庫(kù)中為所 有分塊尋找最佳匹配塊，各最佳匹配塊對(duì)應(yīng)在卡通圖像塊庫(kù)的卡通塊即為找到的卡通匹配 塊，將卡通匹配塊合成為完整的器官塊，得到參考幀的卡通眉毛、卡通眼睛、卡通鼻子并保 存；
[0012] 以眉毛輪廓特征點(diǎn)為中心，將灰度圖像的眉毛分成M(眉毛輪廓特征點(diǎn)個(gè)數(shù)）個(gè)矩 形塊（矩形塊的大小通常可設(shè)置為K1*K1的方塊，Kl的取值為7~11)作為初始眉毛模板；
[0013] 基于眼睛輪廓特征點(diǎn)獲取眼睛高度h，并將h分為N段，獲取各段端點(diǎn)的灰度值，并 保存各端端點(diǎn)的灰度值、位置，其中N大于或等于3，
[0014] 卡通面部輪廓直接通過勾勒面部輪廓特征點(diǎn)合成并保存；
[0015] 取得所述灰度圖像中頭發(fā)區(qū)域的掩膜，從而得到參考幀的卡通頭發(fā)部分發(fā)并保 存；
[0016] 步驟2 :查找參考幀的相似幀作為卡通動(dòng)畫的起始幀；
[0017] 步驟3 :對(duì)起始幀及其后續(xù)幀進(jìn)行人臉卡通畫生成：
[0018] 將當(dāng)前幀圖像轉(zhuǎn)換為灰度圖像；
[0019] 基于當(dāng)前幀眉毛模板獲取當(dāng)前幀的眉毛輪廓特征點(diǎn)位置，將參考幀的卡通眉毛作 為當(dāng)前幀的卡通眉毛，并按照特征點(diǎn)位置將卡通眉毛放到當(dāng)前幀圖像的相應(yīng)位置，所述當(dāng) 前幀眉毛模板為：以上一幀眉毛模板作為滑動(dòng)窗，在當(dāng)前幀的預(yù)設(shè)滑動(dòng)范圍（K2*K2的矩形 范圍，其中Κ2的取值為3~5)內(nèi)查找與滑動(dòng)窗的灰度值偏差最小的點(diǎn)，將該點(diǎn)作為新的中 心點(diǎn)，并將滑動(dòng)窗的中心點(diǎn)移至所屬新的中心點(diǎn)得到當(dāng)前幀眉毛模板，其中起始幀的上一 幀眉毛模板為M個(gè)初始眉毛模板；
[0020] 獲取當(dāng)前幀的鼻尖點(diǎn)的位置，并計(jì)算與參考幀的鼻尖點(diǎn)的位置變化值Τ，將參考幀 的卡通鼻子作為當(dāng)前幀的卡通鼻子，基于位置變化值T放到當(dāng)前幀圖像的相應(yīng)位置；
[0021] 將位置變化值T與參考幀的下眼皮特征點(diǎn)的位置相加，得到當(dāng)前幀的下眼皮特征 點(diǎn)的位置，基于參考幀的眼睛高度h和分段端點(diǎn)位置，在當(dāng)前幀查找與N個(gè)端點(diǎn)的灰度值最 接近的點(diǎn)，得到當(dāng)前幀的眼睛高度h'，基于當(dāng)前幀與參考幀的眼睛特征點(diǎn)的坐標(biāo)映射，對(duì) 參考幀的卡通眼睛進(jìn)行仿射變換處理，得到當(dāng)前幀的卡通眼睛，并放到當(dāng)前幀圖像的相應(yīng) 位置；
[0022] 將參考幀的卡通面部輪廓、卡通頭發(fā)部分作為當(dāng)前幀的卡通面部輪廓、卡通頭發(fā) 部分，基于參考幀的各特征點(diǎn)的位置與位置變化值T，將其放到當(dāng)前幀圖像的相應(yīng)位置；
[0023] 獲取當(dāng)前幀具有標(biāo)志性的嘴巴輪廓特征點(diǎn)，通過勾勒嘴巴輪廓特征點(diǎn)合成嘴巴輪 廓線，得到當(dāng)前幀的卡通嘴巴輪廓，并按照特征點(diǎn)位置將卡通嘴巴輪廓放到當(dāng)前幀圖像的 相應(yīng)位置；
[0024] 對(duì)卡通化后的圖像進(jìn)行上色，生成當(dāng)前幀的人臉卡通畫。
[0025] 綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：提供了一種視頻人臉 卡通化方法，此方法生成的卡通視頻效果較好，速度快。
【附圖說明】
[0026] 本發(fā)明將通過例子并參照附圖的方式說明，其中：
[0027] 圖1:本發(fā)明流程示意圖。
[0028] 圖2 :輸入的測(cè)試視頻的截取幀。
[0029] 圖3 :步驟二人臉卡通生成方法合成后的卡通人臉效果圖。
[0030] 圖4 :人臉輪廓原特征點(diǎn)，粗調(diào)整后的特征點(diǎn)，細(xì)調(diào)整后的特征點(diǎn)。
[0031] 圖5 :人臉上色后合成完整的卡通畫效果圖。
[0032] 圖6 :不同表情的幾幀圖像。
[0033] 圖7 :卡通化生成眉毛與變換后的眉毛。
[0034] 圖8 :卡通化生成的眼睛與變換后的眼睛。
[0035] 圖9 :嘴巴不同狀態(tài)時(shí)對(duì)應(yīng)的R-G二值圖、R-G二值圖的垂直方向投影圖、Lab二值 圖、嘴巴主要特征點(diǎn)、對(duì)應(yīng)的卡通嘴巴。
[0036] 圖10 :與視頻人臉表情對(duì)應(yīng)的卡通圖。
【具體實(shí)施方式】
[0037] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合實(shí)施方式，對(duì)