本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，具體涉及一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成方法。

背景技術(shù)：

視頻技術(shù)即動(dòng)態(tài)圖像傳輸，在電信領(lǐng)域被稱為視頻業(yè)務(wù)或視訊業(yè)務(wù)，在計(jì)算機(jī)界常常稱為多媒體通信、流媒體（下載像流水）通信等。

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，越來(lái)越多的人通過(guò)互聯(lián)網(wǎng)進(jìn)行互動(dòng)交流。互聯(lián)網(wǎng)初始階段，人們?cè)诮涣鞯倪^(guò)程中，大多數(shù)采用的是文字互動(dòng)，即通過(guò)輸入文字進(jìn)行溝通，隨著通信技術(shù)的發(fā)展和影像合成技術(shù)的進(jìn)步，如今的人們已不再滿足于普通的文字交流，在溝通的過(guò)程中更多地會(huì)摻雜一些短視頻、動(dòng)態(tài)圖或動(dòng)畫(huà)表情等等。目前的交流過(guò)程中，人們一般只能通過(guò)現(xiàn)場(chǎng)拍攝視頻，或從聊天軟件的表情庫(kù)中找到比較合適的表情來(lái)進(jìn)行交流，不能根據(jù)實(shí)際輸入的文字實(shí)時(shí)推送與真實(shí)表情高度吻合的短視頻、動(dòng)態(tài)圖或表情圖像等多媒體信息，因而不能形成原創(chuàng)個(gè)性的合成視頻，互動(dòng)性不強(qiáng)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成方法，以解決現(xiàn)有技術(shù)中導(dǎo)致的上述缺陷。

一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成方法，包括如下步驟：

(1) 采用合作目標(biāo)方式，錄制實(shí)際人像視頻，通過(guò)典型口型采集圖像序列；

(2) 提取五官位置作為圖像之間的匹配特征，使得幀間五官位置移動(dòng)量保持在一個(gè)較小的范圍；

(3) 將人像的典型口型進(jìn)行預(yù)處理，并提取五官位置；

(4) 對(duì)嘴型進(jìn)行重構(gòu)，通過(guò)真實(shí)嘴型序列得到更多的嘴型表情，形成表情字典，存入數(shù)據(jù)庫(kù)中；

(5) 識(shí)別輸入文字的發(fā)音，查找表情字典；

(6) 將對(duì)應(yīng)的帶有不同嘴型的動(dòng)態(tài)圖片按照識(shí)別的輸入文字順序組合起來(lái)；

(7) 插值平滑視頻序列形成與文字同步的動(dòng)態(tài)視頻。

優(yōu)選的，所述步驟（1）中圖像序列的采集裝置為攝像機(jī)或攝像機(jī)組或手機(jī)攝像頭。

優(yōu)選的，所述步驟（7）中生成的動(dòng)態(tài)視頻將存入到存儲(chǔ)設(shè)備中或通過(guò)互聯(lián)網(wǎng)存入云數(shù)據(jù)庫(kù)中。

優(yōu)選的，所述步驟（7）中的動(dòng)態(tài)視頻可由動(dòng)態(tài)圖代替。

優(yōu)選的，所述步驟（4）的表情字典中的表情按照一定順序進(jìn)行排序存儲(chǔ)。

優(yōu)選的，所述順序可以是漢語(yǔ)拼音字母表順序或英文字母表順序。

本發(fā)明的優(yōu)點(diǎn)在于：本發(fā)明利用影像合成技術(shù)形成短視頻、動(dòng)態(tài)圖或表情包，通過(guò)攝像裝置對(duì)被拍攝目標(biāo)的多特征多狀態(tài)樣本采集，然后通過(guò)圖像插值、重構(gòu)形成表情字典，通過(guò)對(duì)輸入文字的識(shí)別查詢表情字典將這些圖像合成在一起，形成原創(chuàng)個(gè)性的合成視頻，該影像可由應(yīng)用者進(jìn)行網(wǎng)絡(luò)分享或存儲(chǔ)，豐富了人們交流的方式，所生成的視頻或動(dòng)態(tài)圖與真實(shí)場(chǎng)景非常吻合，貼切實(shí)際，提高了人們交流的興趣，相比傳統(tǒng)聊天軟件中的表情包，更加豐富多彩。

附圖說(shuō)明

圖1為本發(fā)明所述的一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成方法的流程框圖。

圖2為本發(fā)明所述的一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成裝置的原理框圖。

具體實(shí)施方式

為使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體實(shí)施方式，進(jìn)一步闡述本發(fā)明。

如圖1所示，一種深度寫(xiě)真影像重構(gòu)表情同步視頻生成方法，包括如下步驟：

(1) 安置攝像機(jī)或攝像機(jī)組，或調(diào)用手機(jī)攝像頭，采用合作目標(biāo)方式，錄制實(shí)際人像視頻，通過(guò)典型口型采集圖像序列；

(2) 指示被拍攝人根據(jù)拼音提示進(jìn)行表情錄制，拼音提示可以是數(shù)量較多的深度模型或數(shù)量較少的元音模型，如a o e i u 等，要求被拍攝人根據(jù)提示做出表情，并進(jìn)行圖像或圖像序列儲(chǔ)存，提取五官位置作為圖像之間的匹配特征，使得幀間五官位置移動(dòng)量保持在一個(gè)較小的范圍；

(3) 對(duì)嘴型進(jìn)行重構(gòu)，通過(guò)真實(shí)嘴型序列得到更多的嘴型表情，形成表情字典，通過(guò)人機(jī)交互輸入語(yǔ)音或文字，設(shè)定要設(shè)計(jì)的文字語(yǔ)句，存入數(shù)據(jù)庫(kù)中；

(4) 識(shí)別輸入文字的發(fā)音，查找表情字典，表情字典中的表情按照一定順序進(jìn)行排序存儲(chǔ)，所述順序可以是漢語(yǔ)拼音字母表順序或英文字母表順序；

(5) 將對(duì)應(yīng)的帶有不同嘴型的動(dòng)態(tài)圖片按照識(shí)別的輸入文字順序組合起來(lái)；

(6) 插值平滑視頻序列形成動(dòng)態(tài)視頻或動(dòng)態(tài)圖，并疊加文字信息進(jìn)行存儲(chǔ)；

(7) 將上述影音文件或動(dòng)態(tài)圖文件存儲(chǔ)到存儲(chǔ)設(shè)備中或進(jìn)行網(wǎng)絡(luò)分享。

本發(fā)明中，所述步驟（1）中圖像序列的采集裝置為攝像機(jī)或攝像機(jī)組或手機(jī)攝像頭。

本發(fā)明中，所述步驟（7）中生成的動(dòng)態(tài)視頻可存入到存儲(chǔ)設(shè)備中或通過(guò)互聯(lián)網(wǎng)存入云數(shù)據(jù)庫(kù)中。

如圖2所示，另外，利用本發(fā)明方法設(shè)計(jì)的一種動(dòng)態(tài)表情影像重構(gòu)及視頻合成系統(tǒng)，針對(duì)人像進(jìn)行合作攝影，讓人按照指示進(jìn)行口型或姿態(tài)的調(diào)整，如模擬韻母的發(fā)音，進(jìn)行圖像或圖像序列的存儲(chǔ)，軟件通過(guò)濾波技術(shù)進(jìn)行噪聲的去除以及平滑圖像，通過(guò)人機(jī)接口輸入文字，然后軟件能夠自動(dòng)的將采集的圖像或圖像序列有序組合形成影像視頻或動(dòng)態(tài)圖，得到字幕與嘴型表情同步的動(dòng)態(tài)圖。該裝置可以以軟件的形式在手機(jī)上實(shí)現(xiàn)，調(diào)用手機(jī)的攝像頭進(jìn)行圖像的采集，也可以搭建單攝像頭或多攝像頭陣列或運(yùn)動(dòng)攝像頭從空間上、通過(guò)多個(gè)成像角度獲得更多的攝影樣本。，該影像重構(gòu)系統(tǒng)可以在手機(jī)上實(shí)現(xiàn)，也可以搭建深度寫(xiě)真平臺(tái)來(lái)實(shí)現(xiàn)

基于上述，本發(fā)明利用影像合成技術(shù)形成短視頻、動(dòng)態(tài)圖或表情包，通過(guò)攝像裝置對(duì)被拍攝目標(biāo)的多特征多狀態(tài)樣本采集，然后通過(guò)圖像插值、重構(gòu)形成表情字典，通過(guò)對(duì)輸入文字的識(shí)別查詢表情字典將這些圖像合成在一起，形成原創(chuàng)個(gè)性的合成視頻，該影像可由應(yīng)用者進(jìn)行網(wǎng)絡(luò)分享或存儲(chǔ)，豐富了人們交流的方式，所生成的視頻或動(dòng)態(tài)圖與真實(shí)場(chǎng)景非常吻合，貼切實(shí)際，提高了人們交流的興趣，相比傳統(tǒng)聊天軟件中的表情包，更加豐富多彩。

由技術(shù)常識(shí)可知，本發(fā)明可以通過(guò)其它的不脫離其精神實(shí)質(zhì)或必要特征的實(shí)施方案來(lái)實(shí)現(xiàn)。因此，上述公開(kāi)的實(shí)施方案，就各方面而言，都只是舉例說(shuō)明，并不是僅有的。所有在本發(fā)明范圍內(nèi)或在等同于本發(fā)明的范圍內(nèi)的改變均被本發(fā)明包含。