專利名稱：虛擬人物視頻錄制及播放系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3D信息技術(shù)，尤其涉及一種將真實(shí)人物視頻和音頻通過3D虛擬人重現(xiàn)的信息技術(shù)。
背景技術(shù)：
虛擬主持人是指數(shù)字技術(shù)處理出來通過廣播、網(wǎng)絡(luò)等通信傳媒與受眾形成交互的仿真人形象，他們的行為設(shè)計(jì)符合主持人的行業(yè)標(biāo)準(zhǔn)，由于這類主持人是與存在于現(xiàn)實(shí)生活當(dāng)中的真實(shí)主持人相對(duì)應(yīng)的，雖然具有主持人的功能和作用，但是卻沒有真實(shí)主持人的現(xiàn)實(shí)生活體驗(yàn)，因此被人們稱之為虛擬主持人。虛擬主持人雖然可以存在于互聯(lián)網(wǎng)當(dāng)中，但是他們也是由真實(shí)人物來進(jìn)行配音或者解說以后才能成為一個(gè)完整的主持人。很多網(wǎng)絡(luò)公司或廣播公司都推出了自己的虛擬主持人。和虛擬主持人，真實(shí)主持人具有以下缺點(diǎn):
1.在拍攝外景場景時(shí)，通常會(huì)受場地的氣候、環(huán)境等因素影響，推遲拍攝時(shí)間，增加拍攝次數(shù)，加大拍攝的成本；尤其是直播類的節(jié)目更需要特別注意現(xiàn)場的各種突發(fā)狀況。2.因?yàn)闄n期的關(guān)系，很難將多個(gè)主持人或演員安排在同一時(shí)間和地點(diǎn)進(jìn)行節(jié)目錄制。3.每次錄制節(jié)目前都需要很長的時(shí)間對(duì)主持人進(jìn)行化妝造型。4.不同地域的主持人只能通過電話或分鏡頭參與節(jié)目錄制。5.主持人每次節(jié)目錄制都需要昂貴的專業(yè)設(shè)備和專業(yè)人員進(jìn)行操作。6.主持人在節(jié)目中的表情神態(tài)經(jīng)常被網(wǎng)友制作成負(fù)面圖片廣泛傳播，對(duì)人物形象造成不良影響。7.將現(xiàn)有的節(jié)目制作為其他風(fēng)格版本時(shí)將額外花費(fèi)時(shí)間和資金進(jìn)行專門的制作。8.節(jié)目是通過視頻流的方式在終端上播放，需要很大的數(shù)據(jù)流量，尤其是通過互聯(lián)網(wǎng)共享節(jié)目時(shí)，只能犧牲節(jié)目的質(zhì)量、減少視頻流量來確保視頻的流暢。但是，和教條化的虛擬主持人相比，真實(shí)的主持人通常具備自己獨(dú)特的主持風(fēng)格，包括表情、動(dòng)作和語言，更容易獲得觀眾的認(rèn)可。如何能綜合虛擬主持人和真實(shí)主持人的優(yōu)點(diǎn)，為觀眾提供既具有獨(dú)特風(fēng)格又適宜網(wǎng)絡(luò)播放的清晰的視頻節(jié)目是目前亟待解決的問題。其中一個(gè)解決方案是室內(nèi)錄制真實(shí)主持人的動(dòng)作、表情和語言，并將其轉(zhuǎn)換成虛擬主持人的動(dòng)作、表情和語言。專利號(hào)為“201210159755.7”、發(fā)明名稱為“一種三維虛擬角色的實(shí)現(xiàn)方法及其系統(tǒng)”的專利中就公開類似的一種方法。但是，這種依賴于通過觸摸屏輸入指令的方法來重現(xiàn)動(dòng)作，顯然費(fèi)時(shí)費(fèi)力且效果不佳。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)中的上述缺陷，本發(fā)明提供了一種使用簡單、效果好的虛擬人物視頻錄制及播放系統(tǒng)。本發(fā)明提供一種虛擬人物視頻錄制及播放系統(tǒng)，其特征在于:其包括: 3D虛擬人模型； 采集終端，用于采集人物的動(dòng)作的幀數(shù)據(jù)； 動(dòng)作解析模塊，用于將所述幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄； 動(dòng)作重現(xiàn)指令模塊，用于根據(jù)所述動(dòng)作記錄生成在所述3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集； 動(dòng)作驅(qū)動(dòng)模塊，用于根據(jù)所述動(dòng)作操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 顯示模塊，用于顯示所述3D虛擬人模型及其動(dòng)作。
優(yōu)選的，所述采集終端還采集人物的音頻信息，所述服務(wù)器接收到所述音頻信息后發(fā)送給所述用戶終端，所述用戶終端包括播放所述音頻信息的播放模塊。
優(yōu)選的，還包括: 表情解析模塊，用于將所述采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄； 表情重現(xiàn)指令模塊，用于根據(jù)所述表情記錄生成在所述3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集； 表情驅(qū)動(dòng)模塊，用于根據(jù)所述表情操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的表情。
優(yōu)選的，還包括服務(wù)器和通過網(wǎng)絡(luò)連接所述服務(wù)器的用戶終端，所述顯示模塊設(shè)置在所述用戶終端。
優(yōu)選的，所述采集終端包括將所述幀數(shù)據(jù)和音頻信號(hào)發(fā)送給所述服務(wù)器的上傳模塊。
優(yōu)選的，所述上傳模塊通過互聯(lián)網(wǎng)或3G網(wǎng)絡(luò)將所述幀數(shù)據(jù)和音頻信號(hào)發(fā)送給所述服務(wù)器。
優(yōu)選的，所述3D虛擬人模型為由3D建模軟件制作的3D帶骨骼的虛擬人物模型。
本發(fā)明還提供一種虛擬人物視頻錄制及播放方法，其包括以下步驟: 通過采集終端采集人物動(dòng)作的幀數(shù)據(jù)并上傳至服務(wù)器； 通過服務(wù)器的動(dòng)作解析模塊將所述采集終端采集的人物幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄； 通過服務(wù)器的動(dòng)作重現(xiàn)指令模塊根據(jù)所述動(dòng)作記錄生成在3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集； 通過用戶終端的動(dòng)作驅(qū)動(dòng)模塊根據(jù)所述動(dòng)作操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 通過用戶終端的顯示模塊在所述用戶終端顯示所述3D虛擬人模型及其動(dòng)作。
優(yōu)選的，所述方法進(jìn)一步包括:通過所述采集終端采集人物的音頻信息并上傳至所述服務(wù)器，所述服務(wù)器接收到所述音頻信息后發(fā)送給所述用戶終端，通過所述用戶終端的播放模塊播放所述音頻信息。
優(yōu)選的，所述方法進(jìn)一步包括:通過所述服務(wù)器的表情解析模塊，將所述采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄；
通過所述服務(wù)器的表情重現(xiàn)指令模塊，根據(jù)所述表情記錄生成在所述3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集；
通過所述用戶終端的表情驅(qū)動(dòng)模塊，根據(jù)所述表情操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的表情。本發(fā)明的虛擬人物視頻錄制及播放系統(tǒng)和方法通過錄制真實(shí)(主持)人的動(dòng)作、表情和語言，直接在服務(wù)器轉(zhuǎn)換成虛擬主持人的動(dòng)作、表情和語言，并通過網(wǎng)絡(luò)共享給眾多播放終端觀看，從而兼具虛擬主持人及真實(shí)主持人的優(yōu)點(diǎn)。其具有操作簡單、效率高等優(yōu)點(diǎn)，極具市場前景。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。圖1是本發(fā)明實(shí)施例的整體結(jié)構(gòu)示意圖。
具體實(shí)施例方式為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，并使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合實(shí)施例及實(shí)施例附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。如圖1所示，本發(fā)明的一種虛擬人物視頻錄制及播放系統(tǒng)的最佳實(shí)施例包括采集終端10，服務(wù)器20和用戶終端30。其中采集終端可以根據(jù)需要通過視頻、紅外線或熱感應(yīng)等方式采集人物動(dòng)作的視頻信息并錄制真實(shí)人音頻，服務(wù)器架設(shè)于互聯(lián)網(wǎng)40上，用戶終端為通過互聯(lián)網(wǎng)或3G網(wǎng)絡(luò)連接服務(wù)器20的計(jì)算機(jī)、平板電腦或智能手機(jī)等。服務(wù)器20包括:
動(dòng)作解析模塊，用于將采集終端采集的人物幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄；
動(dòng)作重現(xiàn)指令模塊，用于根據(jù)動(dòng)作記錄生成在3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集；
表情解析模塊，用于將采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄；包括例如眼睛睜開、閉合，嘴巴張開、閉合等信息；
表情重現(xiàn)指令模塊，用于根據(jù)表情記錄生成在3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集。用戶終端30包括:
動(dòng)作驅(qū)動(dòng)模塊，用于根據(jù)動(dòng)作操控指令集驅(qū)動(dòng)3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 顯示模塊，用于在用戶終端顯示3D虛擬人模型及其動(dòng)作；
表情驅(qū)動(dòng)模塊，用于根據(jù)表情操控指令集驅(qū)動(dòng)3D虛擬人模型重現(xiàn)人物的表情；
播放模塊，用于播放音頻信息。其中的3D虛擬人模型為由3D建模軟件制作的3D帶骨骼的虛擬人物模型。采集終端10包括通過互聯(lián)網(wǎng)或3G網(wǎng)絡(luò)將幀數(shù)據(jù)和音頻信號(hào)發(fā)送給服務(wù)器的上傳模塊。
當(dāng)然，動(dòng)作解析模塊、動(dòng)作重現(xiàn)指令模塊、表情解析模塊和表情重現(xiàn)指令模塊等也可以設(shè)置在采集終端中，不由服務(wù)器處理而是直接由采集終端處理；或者將動(dòng)作重現(xiàn)指令模塊、表情重現(xiàn)指令模塊等設(shè)置在用戶終端。以上幾種組合方式都可以實(shí)現(xiàn)本發(fā)明的目的。
本發(fā)明在使用時(shí)，包括以下步驟: 1)通過3DMAX、MAYA等3D建模軟件制作的3D帶骨骼的虛擬人物模型并通過APP安裝于手機(jī)等用戶終端或可執(zhí)行文件安裝于電腦等用戶終端； 2)通過采集終端采集人物的幀數(shù)據(jù)和音頻信號(hào)并上傳至服務(wù)器； 通過服務(wù)器的動(dòng)作解析模塊將采集終端采集的人物幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄； 通過服務(wù)器的動(dòng)作重現(xiàn)指令模塊根據(jù)動(dòng)作記錄生成在3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集。
3)通過服務(wù)器的表情解析模塊，將采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄； 通過服務(wù)器的表情重現(xiàn)指令模塊，根據(jù)表情記錄生成在3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集。
4)通過用戶終端的動(dòng)作驅(qū)動(dòng)模塊根據(jù)動(dòng)作操控指令集驅(qū)動(dòng)3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 5)通過用戶終端的表情驅(qū)動(dòng)模塊，根據(jù)表情操控指令集驅(qū)動(dòng)3D虛擬人模型重現(xiàn)人物的表情 6)通過用戶終端的顯示模塊在用戶終端顯示3D虛擬人模型及其動(dòng)作。
7)通過用戶終端的播放模塊同步播放音頻信息。
以上所述，僅為本發(fā)明的具體實(shí)施方式
，本發(fā)明還可以應(yīng)用在其它控制設(shè)備中，如電腦系統(tǒng)、游戲系統(tǒng)、手機(jī)系統(tǒng)等。本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求所界定的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種虛擬人物視頻錄制及播放系統(tǒng)，其特征在于:其包括: 3D虛擬人模型； 采集終端，用于采集人物的動(dòng)作的幀數(shù)據(jù)； 動(dòng)作解析模塊，用于將所述幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄； 動(dòng)作重現(xiàn)指令模塊，用于根據(jù)所述動(dòng)作記錄生成在所述3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集； 動(dòng)作驅(qū)動(dòng)模塊，用于根據(jù)所述動(dòng)作操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 顯示模塊，用于顯示所述3D虛擬人模型及其動(dòng)作。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:所述采集終端還采集人物的音頻信息，所述服務(wù)器接收到所述音頻信息后發(fā)送給所述用戶終端，所述用戶終端包括播放所述音頻信息的播放模塊。
3.根據(jù)權(quán)利要求1或2其中之一所述的系統(tǒng)，其特征在于:還包括: 表情解析模塊，用于將所述采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄； 表情重現(xiàn)指令模塊，用于根據(jù)所述表情記錄生成在所述3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集； 表情驅(qū)動(dòng)模塊，用于根據(jù)所述表情操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的表情。
4.根據(jù)權(quán)利要求1至3其中之一所述的系統(tǒng)，其特征在于:還包括服務(wù)器和通過網(wǎng)絡(luò)連接所述服務(wù)器的用戶終端，所述顯示模塊設(shè)置在所述用戶終端。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于:所述采集終端包括將所述幀數(shù)據(jù)和音頻信號(hào)發(fā)送給所述服務(wù)器的上傳模塊。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于:所述上傳模塊通過互聯(lián)網(wǎng)或3G網(wǎng)絡(luò)將所述幀數(shù)據(jù)和音頻信號(hào)發(fā)送給所述服務(wù)器。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:所述3D虛擬人模型為由3D建模軟件制作的3D帶骨骼的虛擬人物模型。
8.—種虛擬人物視頻錄制及播放方法，其特征在于:包括以下步驟: 通過采集終端采集人物動(dòng)作的幀數(shù)據(jù)并上傳至服務(wù)器； 通過服務(wù)器的動(dòng)作解析模塊將所述采集終端采集的人物幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄； 通過服務(wù)器的動(dòng)作重現(xiàn)指令模塊根據(jù)所述動(dòng)作記錄生成在3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集； 通過用戶終端的動(dòng)作驅(qū)動(dòng)模塊根據(jù)所述動(dòng)作操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作； 通過用戶終端的顯示模塊在所述用戶終端顯示所述3D虛擬人模型及其動(dòng)作。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于:所述方法進(jìn)一步包括:通過所述采集終端采集人物的音頻信息并上傳至所述服務(wù)器，所述服務(wù)器接收到所述音頻信息后發(fā)送給所述用戶終端，通過所述用戶終端的播放模塊播放所述音頻信息。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于:所述方法進(jìn)一步包括:通過所述服務(wù)器的表情解析模塊，將所述采集終端采集的人物幀數(shù)據(jù)中的人物的表情分解成由若干個(gè)由單一五官或臉部肌肉動(dòng)作組成的表情記錄； 通過所述服務(wù)器的表情重現(xiàn)指令模塊，根據(jù)所述表情記錄生成在所述3D虛擬人模型上重現(xiàn)人物的表情的表情操控指令集； 通過所述用戶終端的表情驅(qū)動(dòng)模塊，根據(jù)所述表情操控指令集驅(qū)動(dòng)所述3D虛擬人模型重現(xiàn)人物的表情 。
全文摘要
本發(fā)明的一種虛擬人物視頻錄制及播放系統(tǒng)及方法，包括用于采集終端，服務(wù)器和用戶終端，服務(wù)器包括動(dòng)作解析模塊，用于將采集終端采集的人物幀數(shù)據(jù)中的人物的肢體動(dòng)作分解成由若干個(gè)單一的肢體動(dòng)作組成的動(dòng)作記錄；動(dòng)作重現(xiàn)指令模塊，用于根據(jù)動(dòng)作記錄生成在3D虛擬人模型上重現(xiàn)人物的肢體動(dòng)作的動(dòng)作操控指令集；用戶終端包括動(dòng)作驅(qū)動(dòng)模塊，用于根據(jù)動(dòng)作操控指令集驅(qū)動(dòng)3D虛擬人模型重現(xiàn)人物的肢體動(dòng)作；顯示模塊，用于在用戶終端顯示3D虛擬人模型及其動(dòng)作。本發(fā)明的虛擬人物視頻錄制及播放系統(tǒng)通過錄制真實(shí)人的動(dòng)作、表情和語言，并轉(zhuǎn)換成虛擬主持人的動(dòng)作、表情和語言，從而兼具虛擬主持人及真實(shí)主持人的優(yōu)點(diǎn)。
文檔編號(hào)G06T17/00GK103179437SQ20131008199
公開日2013年6月26日 申請(qǐng)日期2013年3月15日 優(yōu)先權(quán)日2013年3月15日
發(fā)明者張國祥 申請(qǐng)人:蘇州跨界軟件科技有限公司