專利名稱：一種表演驅(qū)動的制作人臉動畫的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)，特別是涉及一種表演驅(qū)動的制作人臉動畫的方法和裝置。
背景技術(shù)：
數(shù)字娛樂產(chǎn)業(yè)被譽為二十一世紀最具發(fā)展?jié)摿Φ某柈a(chǎn)業(yè)，具有投資回報高、產(chǎn)業(yè)關(guān)聯(lián)度大、國際化程度高等特點。據(jù)統(tǒng)計，以電影業(yè)聞名全球的美國娛樂界中，2000年以來其數(shù)字娛樂產(chǎn)業(yè)就已經(jīng)超過了電影；日本經(jīng)濟的五分之一已經(jīng)由數(shù)字娛樂產(chǎn)業(yè)創(chuàng)造；韓國數(shù)字娛樂業(yè)產(chǎn)值年增長率高達40% ；我國提出經(jīng)過5年至10年時間，數(shù)字娛樂產(chǎn)業(yè)至少要占GDP的1 %，這意味著我國數(shù)字娛樂產(chǎn)業(yè)未來至少具有1000億元產(chǎn)值的巨大發(fā)展空間。在數(shù)字娛樂產(chǎn)業(yè)中，虛擬人可以增強用戶對環(huán)境的親切感和沉浸感，因此被廣泛應(yīng)用于如計算機動畫、網(wǎng)絡(luò)游戲、虛擬現(xiàn)實、人機交互等數(shù)字娛樂的各個領(lǐng)域。而虛擬人的關(guān)鍵技術(shù)是虛擬人的人臉表情的模擬，人臉表情是人類傳達信息和交流情感的重要手段， 但人臉的表情運動非常復(fù)雜，同時人們對臉部表情變化的細微之處十分熟悉，因此如何做出具有真實感的人臉動畫是一個極富挑戰(zhàn)性的課題。目前，人臉動畫的驅(qū)動技術(shù)主要包括基于文本的驅(qū)動、基于語音的驅(qū)動和基于表演的驅(qū)動。其中，基于表演驅(qū)動的虛擬人面部動畫，通過跟蹤視頻人臉的運動，提取運動信息來直接控制目標三維或者二維人臉模型的運動。與基于文本和語音驅(qū)動的人臉動畫相比，它顯著地提高了動畫生成的有效性，大大加快了動畫生成速度和真實感。當(dāng)前，基于表演驅(qū)動的虛擬人面部動畫的主要實現(xiàn)方法有如下幾種類型1.對臉部進行標記處理的二維動畫生成從視頻中跟蹤臉部的標記點，自動提取臉部肌肉的收縮參數(shù)，用來驅(qū)動相關(guān)肌肉以產(chǎn)生面部表情。此類方法要求在表演者的臉部關(guān)鍵位置處設(shè)置發(fā)光標記點(或化妝處理)，限制了它的應(yīng)用范圍。2.無標記的人臉二維動畫生成(1)采用局部參數(shù)化光流模型分別跟蹤剛體和非剛體臉部運動，并將這些運動信息與喜、怒、哀、樂等描述聯(lián)系起來；(2)利用邊緣和顏色信息，對人臉圖像集進行統(tǒng)計訓(xùn)練，得到了人臉外觀的參數(shù)化模型，處理個體、姿態(tài)、表情和光照條件的差異；(3)對視頻人臉外觀建立線性子空間模型，同時在子空間內(nèi)使用運動模板進行實時跟蹤。這種方法處理比較復(fù)雜，不能迅速生成人臉動畫，動畫不夠精準，也無法處理視頻人臉朝向發(fā)生較大變化時的情形。3.無標記的人臉的三維動畫生成。引入三維人臉模型，并將它與視頻人臉匹配，以獲得三維運動信息。盡管三維動畫具有表情豐富生動逼真的特點，但制作難度大，成本高， 不易實現(xiàn)。
因此，現(xiàn)有的表演驅(qū)動的人臉動畫生成技術(shù)，難以采用二維動畫達到準確逼真的效果，難以簡單迅速的生成逼真的二維人臉動畫。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種表演驅(qū)動的制作人臉動畫的方法和裝置，能夠簡單迅速的生成逼真的二維人臉動畫，解決現(xiàn)有技術(shù)難以采用二維動畫簡單迅速的達到準確逼真效果的技術(shù)問題。為了實現(xiàn)上述目的，一方面，提供了一種表演驅(qū)動的制作人臉動畫的方法，包括步驟一，對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；步驟二，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；步驟三，根據(jù)所述基準圖畫肖像，生成多個表情肖像；步驟四，持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；步驟五，根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；步驟六，將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻。優(yōu)選地，上述的方法中，在所述步驟二中，所述基準圖畫肖像為人臉正面的圖畫肖像。優(yōu)選地，上述的方法中，在所述步驟二中，通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。優(yōu)選地，上述的方法中，在所述步驟一之前，還包括設(shè)立圖畫肖像庫，存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；在所述步驟二中，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像。優(yōu)選地，上述的方法中，在所述步驟四中，根據(jù)所述外形輪廓實時參數(shù)，通過彈性匹配的方式獲得所述五官特征點實時參數(shù)。優(yōu)選地，上述的方法中，在所述步驟五中，通過對所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)進行最小距離運算，來獲得所述對應(yīng)的表情肖像。為了實現(xiàn)上述目的，本發(fā)明實施例還提供了一種表演驅(qū)動的制作人臉動畫的裝置，包括檢測跟蹤模塊，用于對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；基準圖畫肖像模塊，用于根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；表情肖像模塊，用于根據(jù)所述基準圖畫肖像，生成多個表情肖像；所述檢測跟蹤模塊，還用于持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；生成肖像模塊，用于根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；動畫視頻模塊，用于將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻。優(yōu)選地，上述的裝置中，所述基準圖畫肖像為人臉正面的圖畫肖像。優(yōu)選地，上述的裝置中，所述基準圖畫肖像模塊，通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。優(yōu)選地，上述的裝置中，還包括圖畫肖像庫，用于存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；所述基準圖畫肖像模塊，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像。本發(fā)明至少存在以下技術(shù)效果1)本發(fā)明實施例中，通過人臉檢測和外輪廓跟蹤，先確定基準圖畫肖像和多個表情肖像，然后再根據(jù)實時參數(shù)選擇對應(yīng)的表情肖像，就可以生成與視頻完全對應(yīng)的實時動畫。因為在實時動畫的生成過程中，只需要根據(jù)參數(shù)選擇已經(jīng)存在的表情肖像，因此使得動畫生成過程簡單迅速，而表情肖像都是預(yù)處理的成熟肖像，因此動畫的形象逼真。2)本發(fā)明實施例，將特征點與外輪廓線跟蹤結(jié)合，將人臉檢測與外輪廓跟蹤結(jié)合， 提高了跟蹤效率和準確度；3)本發(fā)明實施例中，肖像的發(fā)現(xiàn)采用的PCA特征提取和SVM方法；4)本發(fā)明實施例中，肖像序列的獲得采用了全局特征點之間的最小距離方法，能夠找到最為接近的表情肖像；5)本發(fā)明實施例中，采用紋理的重定向算法。在肖像建立過程中，采用紋理變形、 紋理分割、紋理梯度域編輯技術(shù)綜合實現(xiàn)，使得肖像更加逼真。6)本發(fā)明實施例中，特征點的獲得采用了改進的彈性模板匹配技術(shù)，對于特征點不全的視頻圖像，也能進行很好的處理。


圖1為本發(fā)明實施例提供的方法的步驟流程圖；圖2為本發(fā)明實施例提供的裝置的結(jié)構(gòu)圖。
具體實施例方式為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對具體實施例進行詳細描述。圖1為本發(fā)明實施例提供的方法的步驟流程圖，如圖1所示，本發(fā)明提供的表演驅(qū)動的制作人臉動畫的方法，包括步驟101，對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；
步驟102，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；步驟103，根據(jù)所述基準圖畫肖像，生成多個表情肖像；步驟104，持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；步驟105，根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；步驟106，將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻?？梢姡景l(fā)明實施例，通過人臉檢測和外輪廓跟蹤，先確定基準圖畫肖像和多個表情肖像，然后再根據(jù)實時參數(shù)選擇對應(yīng)的表情肖像，就可以生成與視頻完全對應(yīng)的實時動畫。因為在實時動畫的生成過程中，只需要根據(jù)參數(shù)選擇已經(jīng)存在的表情肖像，因此使得動畫生成過程簡單迅速，而表情肖像都是預(yù)處理的成熟肖像，因此動畫的形象逼真。在所述步驟102中，所述基準圖畫肖像為人臉正面的圖畫肖像。選擇人臉正面更有利于檢索和編輯。在所述步驟102中，可以通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。這種方式主要是針對找不到對應(yīng)的基準圖畫肖像的時候，直接根據(jù)參數(shù)繪制一幅基準圖畫肖像。當(dāng)然，很多基準圖畫肖像是預(yù)先存儲的，這樣在生成動畫的時候可以直接拿來用， 進一步增加了動畫生成的速度。具體過程包括在所述步驟101之前，設(shè)立圖畫肖像庫，存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；在所述步驟102中，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像。在所述步驟104中，根據(jù)所述外形輪廓實時參數(shù)，通過彈性匹配的方式獲得所述五官特征點實時參數(shù)。這是因為，并不是每幀視頻圖像中都可以采集到五官特征點，在人側(cè)臉或者低頭、仰面時候，有些點采集不到，但這時候可以根據(jù)外形輪廓估計頭部的形態(tài)位置，在根據(jù)形態(tài)位置估計那些采集不到的特征點，也就是彈性匹配，這樣，就可以更為準確的確定五官表情，獲得更為準確的表情肖像，增加了動畫的逼真效果。在所述步驟105中，可以通過對所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)進行最小距離運算，來獲得所述對應(yīng)的表情肖像。圖2為本發(fā)明實施例提供的裝置的結(jié)構(gòu)圖，如圖2所示，表演驅(qū)動的制作人臉動畫的裝置，包括檢測跟蹤模塊201，用于對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；基準圖畫肖像模塊202，用于根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；表情肖像模塊203，用于根據(jù)所述基準圖畫肖像，生成多個表情肖像；所述檢測跟蹤模塊201，還用于持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；生成肖像模塊204，用于根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；動畫視頻模塊205，用于將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻。其中，基準圖畫肖像選擇為人臉正面的圖畫肖像。基準圖畫肖像模塊202，可以通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。還包括圖畫肖像庫，用于存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；基準圖畫肖像模塊202，可以根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像?？梢姡景l(fā)明實施例中，因為在實時動畫的生成過程中，只需要根據(jù)參數(shù)選擇已經(jīng)存在的表情肖像，因此使得動畫生成過程簡單迅速，而表情肖像都是預(yù)處理的成熟肖像，因此動畫的形象逼真。在實際應(yīng)用中，例如遠程視頻教學(xué)，如果傳輸實際攝制的視頻流，將會占用大量的網(wǎng)絡(luò)資源，傳輸慢、效果差，如果應(yīng)用本發(fā)明實施例，在發(fā)送端將視頻流轉(zhuǎn)化為五官特征點實時參數(shù)和外形輪廓實時參數(shù)，僅傳遞這些參數(shù)，在接收端根據(jù)這些參數(shù)生成動畫，那么， 不但保留了視頻中人物的動作表情等視覺特征，而且大大降低了網(wǎng)絡(luò)負擔(dān)。相對于三維動畫，盡管三維動畫具有表情豐富生動逼真的特點，但制作難度大，在一定條件下并不需要復(fù)雜的三維人臉的虛擬合成；本發(fā)明實施例基于表演驅(qū)動的人臉動畫方法，在一定程度上也可以達到生動逼真的效果。譬如平時觀看的動畫片中經(jīng)常采用的也是二維動畫。本發(fā)明提供的表演驅(qū)動的人臉動畫表現(xiàn)技術(shù)，在動畫的表情和跟蹤方面采用了如下實現(xiàn)方式(1)人臉動畫可以采用自動生成方式和預(yù)先設(shè)計方式。a)提供肖像的自動生成技術(shù)；即從獲取的人臉圖像出發(fā)，通過圖像處理技術(shù)獲得驅(qū)動主角的肖像；建立紋理圖像的插值空間，對來自同一目標人臉相同部位的多幅紋理圖像自動混合生成中間結(jié)果；例如，對人的多種表情(喜、怒、哀、樂、狂等等)每一種預(yù)先生成圖像序列。由于采用了肖像的自動生成技術(shù)，通過多人臉的識別系統(tǒng)，實現(xiàn)多人驅(qū)動多人動畫，虛擬環(huán)境將非常豐富。b)提供肖像庫中肖像的自動發(fā)現(xiàn)技術(shù)；即建立肖像庫，對輸入人臉，建立規(guī)則，通過人臉的識別技術(shù)找到庫中與人臉最為相似的肖像；(2)采用基于彈性匹配的人臉特征點的自動檢測技術(shù)。在人臉自動檢測方面，盡可能減少不同光照、不同人物、不同姿勢等對效果的影響；通過彈性匹配，獲得人臉的特征點；在獲得第一張人臉肖像后，通過特征點的變化，驅(qū)動動畫。(3)通過實時檢測避免弱小表情識別；通常的表情識別，由于所采用的訓(xùn)練庫主要體現(xiàn)在后期的夸張表情上，對前期的如小的表情缺少處理，這種情形下通過表演驅(qū)動的動畫，在前期表現(xiàn)不夠自然流暢，通過對特征點的實時檢測，直接對檢測到的特征點的變化，直接驅(qū)動動畫，可有效避免這種表情僵硬的情況。(4)進行輪廓的實時跟蹤對人臉的器官，甚至是鼻孔，嘴角等特征點的跟蹤，由于遮擋等原因，實時跟蹤很難，為了有效地實現(xiàn)人臉檢測，建立可靠、有效、實時的面部運動重定向機制，可以對人臉的輪廓進行跟蹤，在此基礎(chǔ)上找出人臉器官的位置，以確定人臉的特征點。本發(fā)明實施例中，表演驅(qū)動的二維人臉動畫生成技術(shù)。可以分為兩個部分。一、人的表情分析對于從攝像頭視頻中獲得的圖像，先進行正面人臉(Frontal Face)的檢測，獲得表演的主角的正面人臉。1)對正面人臉的檢測和外輪廓的跟蹤，由于彈性圖中采用了兩種匹配方法獲得精確的特征點，而每次對圖像用GABOR變換(一種加窗傅立葉變換)作卷積需要消耗大量的時間，在定位人眼睛中心的基礎(chǔ)上，近似確定特征部位代表點，然后在各自的矩形區(qū)域中用彈性圖匹配的方法，找到特征點；2)對于初次獲得的正面人臉，在進行配準和確定特征點后，可用圖像處理的一些方法得到主角的肖像畫，但一般是在肖像庫庫中找到與主角相似的肖像，可采用PCA(主元分析)提取特征，用兩類SVM(support vector machine支持向量機)的方法獲得。二、人臉動畫的形成設(shè)定主角的序列肖像都保存了人臉特征點的位置坐標，這樣在通過人臉的表情系數(shù)和特征點后，通過最小距離可以近似得到主角人臉序列的表情圖像；設(shè)主角特征點坐標分別為xl，x2, ... , xn;主角肖像特征點的坐標為zil， xi2，. . . ,zin ；這里的i代表序列的第i張圖片；計算argmirii Σ」(| xj-zi j| |2))，這樣姿態(tài)就與i張圖片建立了對應(yīng)。由上可知，本發(fā)明實施例具有以下優(yōu)勢1)本發(fā)明實施例中，通過人臉檢測和外輪廓跟蹤，先確定基準圖畫肖像和多個表情肖像，然后再根據(jù)實時參數(shù)選擇對應(yīng)的表情肖像，就可以生成與視頻完全對應(yīng)的實時動畫。因為在實時動畫的生成過程中，只需要根據(jù)參數(shù)選擇已經(jīng)存在的表情肖像，因此使得動畫生成過程簡單迅速，而表情肖像都是預(yù)處理的成熟肖像，因此動畫的形象逼真。2)本發(fā)明實施例，將特征點與外輪廓線跟蹤結(jié)合，將人臉檢測與外輪廓跟蹤結(jié)合， 提高了跟蹤效率和準確度；3)本發(fā)明實施例中，肖像的發(fā)現(xiàn)采用的PCA特征提取和SVM方法；4)本發(fā)明實施例中，肖像序列的獲得采用了全局特征點之間的最小距離方法，能夠找到最為接近的表情肖像；5)本發(fā)明實施例中，采用紋理的重定向算法。在肖像建立過程中，采用紋理變形、 紋理分割、紋理梯度域編輯技術(shù)綜合實現(xiàn)，使得肖像更加逼真。6)本發(fā)明實施例中，特征點的獲得采用了改進的彈性模板匹配技術(shù)，對于特征點不全的視頻圖像，也能進行很好的處理。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。
權(quán)利要求
1.一種表演驅(qū)動的制作人臉動畫的方法，其特征在于，包括步驟一，對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；步驟二，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；步驟三，根據(jù)所述基準圖畫肖像，生成多個表情肖像；步驟四，持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；步驟五，根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；步驟六，將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟二中，所述基準圖畫肖像為人臉正面的圖畫肖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟二中，通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟一之前，還包括設(shè)立圖畫肖像庫，存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；在所述步驟二中，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟四中，根據(jù)所述外形輪廓實時參數(shù)，通過彈性匹配的方式獲得所述五官特征點實時參數(shù)。
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟五中，通過對所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)進行最小距離運算，來獲得所述對應(yīng)的表情肖像。
7.一種表演驅(qū)動的制作人臉動畫的裝置，其特征在于，包括檢測跟蹤模塊，用于對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；基準圖畫肖像模塊，用于根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；表情肖像模塊，用于根據(jù)所述基準圖畫肖像，生成多個表情肖像； 所述檢測跟蹤模塊，還用于持續(xù)對視頻流進行人臉檢測和外輪廓跟蹤，獲得當(dāng)前視頻幀中的所述目標人臉圖像對應(yīng)的五官特征點實時參數(shù)和外形輪廓實時參數(shù)；生成肖像模塊，用于根據(jù)所述五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像，作為所述當(dāng)前視頻幀的生成肖像；動畫視頻模塊，用于將所述視頻流的各視頻幀的生成肖像連續(xù)播放生成動畫視頻。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述基準圖畫肖像為人臉正面的圖畫肖像。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述基準圖畫肖像模塊，通過主元分析和支持向量機的方式獲得所述基準圖畫肖像。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括圖畫肖像庫，用于存儲多張人臉的圖畫肖像，記錄每幅圖畫肖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；所述基準圖畫肖像模塊，根據(jù)所述目標人臉圖像對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)，在所述圖畫肖像庫中進行檢索，獲得所述目標人臉圖像對應(yīng)的圖畫肖像作為所述基準圖畫肖像。
全文摘要
本發(fā)明提供一種表演驅(qū)動的制作人臉動畫的方法和裝置，方法包括對視頻流進行人臉檢測和外輪廓跟蹤，獲得目標人臉圖像及對應(yīng)的五官特征點參數(shù)和外形輪廓參數(shù)；根據(jù)五官特征點參數(shù)和外形輪廓參數(shù)，生成所述目標人臉圖像對應(yīng)的基準圖畫肖像；根據(jù)所述基準圖畫肖像，生成多個表情肖像；持續(xù)進行人臉檢測和外輪廓跟蹤，獲得五官特征點實時參數(shù)和外形輪廓實時參數(shù)；根據(jù)五官特征點實時參數(shù)和外形輪廓實時參數(shù)，從所述多個表情肖像中獲得對應(yīng)的表情肖像作為生成肖像；將各視頻幀的生成肖像連續(xù)播放生成動畫視頻。本發(fā)明能夠簡單迅速的生成逼真的二維人臉動畫，解決現(xiàn)有技術(shù)難以采用二維動畫簡單迅速的達到準確逼真效果的技術(shù)問題。
文檔編號G06T13/00GK102157007SQ20111009043
公開日2011年8月17日 申請日期2011年4月11日 優(yōu)先權(quán)日2011年4月11日
發(fā)明者崔國勤 申請人:北京中星微電子有限公司