一種在視頻中實時合成動畫的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及實時視頻合成領(lǐng)域，特別是涉及一種在視頻中實時合成動畫的方法和
目.0
【背景技術(shù)】
[0002]視頻屬于一種常見的媒體格式，例如，通過攝像機(jī)采集的現(xiàn)場直播的電視節(jié)目就可以得到實時的現(xiàn)場視頻數(shù)據(jù)。在直播的過程中，為了提高直播效果或者為了增加藝術(shù)表現(xiàn)，可以在現(xiàn)場視頻數(shù)據(jù)中通過數(shù)據(jù)合成的方式，在現(xiàn)場視頻中合成出動畫效果，是一種新興的視覺傳達(dá)形式，例如強化表現(xiàn)人物表情的動畫、畫外音的藝術(shù)文字以及一些背景動畫效果等。
[0003]但是，目前應(yīng)用在電視或網(wǎng)絡(luò)視頻播放中的動畫合成主要還是依靠在視頻后期處理的過程中完成，即非直播的情況下，在已經(jīng)錄制完成的視頻數(shù)據(jù)中進(jìn)行動畫合成后，再將合成后的視頻數(shù)據(jù)通過電視或網(wǎng)絡(luò)播放。在直播的現(xiàn)場視頻數(shù)據(jù)中，由于采集視頻數(shù)據(jù)的攝像機(jī)的拍攝角度、攝像位置都無法預(yù)判，若想在直播中的現(xiàn)場視頻里合成動畫，由于無法預(yù)估視頻畫面的變化，為了保證合成效果不突兀，最多只能在視頻中合成一些持續(xù)時間很短的、2D的動畫或圖片。
[0004]可見，目前在視頻中的動畫合成效果尤其是在直播的現(xiàn)場視頻中實時合成動畫的能力基本沒有，無法有效的滿足現(xiàn)有視覺傳達(dá)的需求。

【發(fā)明內(nèi)容】

[0005]為了解決上述技術(shù)問題，本發(fā)明提供了一種在視頻中實時合成動畫的方法和裝置，實現(xiàn)了在視頻中實時合成面部動畫的功能，有效滿足了現(xiàn)有的視頻視覺傳達(dá)需求。
[0006]本發(fā)明實施例公開了如下技術(shù)方案:
[0007]—種在視頻中實時合成動畫的方法，應(yīng)用于實時采集的視頻中，采集所述視頻的固定區(qū)域中包括至少一臺攝像機(jī)，所述視頻被所述至少一臺攝像機(jī)中的主攝像機(jī)所采集；服務(wù)器建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)；所述服務(wù)器使用渲染引擎根據(jù)所述固定區(qū)域和所述3D坐標(biāo)系統(tǒng)建立虛擬區(qū)域，所述固定區(qū)域在所述3D坐標(biāo)系統(tǒng)中的位置信息與所述虛擬區(qū)域在所述3D坐標(biāo)系統(tǒng)中的位置信息具有比例關(guān)系；所述服務(wù)器使用所述渲染引擎在所述虛擬區(qū)域中設(shè)置虛擬攝像機(jī)，同步所述虛擬攝像機(jī)和所述主攝像機(jī)，使得所述虛擬攝像機(jī)的位置信息和視頻采集參數(shù)實時保持與所述主攝像機(jī)的一致；所述方法包括:
[0008]所述服務(wù)器根據(jù)確定出的用于合成動畫的目標(biāo)區(qū)域在所述3D坐標(biāo)系統(tǒng)獲取所述目標(biāo)區(qū)域的區(qū)域位置信息；
[0009]所述服務(wù)器獲取通過面部捕捉設(shè)備實時采集到的面部數(shù)據(jù)和面部坐標(biāo)，所述面部坐標(biāo)和所述3D坐標(biāo)系統(tǒng)具有對應(yīng)關(guān)系；
[0010]所述服務(wù)器根據(jù)所述區(qū)域位置信息、面部數(shù)據(jù)和面部坐標(biāo)在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成面部模型；
[0011 ] 所述服務(wù)器獲取所述主攝像機(jī)實時采集的所述視頻的視頻數(shù)據(jù)；所述服務(wù)器通過虛擬攝像機(jī)保持與所述主攝像機(jī)同步，獲取所述面部模型在所述虛擬區(qū)域中根據(jù)所述面部數(shù)據(jù)形成的面部動畫；
[0012]所述服務(wù)器將所述面部動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來，根據(jù)所述3D坐標(biāo)系統(tǒng)在所述視頻數(shù)據(jù)中實時合成所述面部動畫的動畫數(shù)據(jù)得到合成視頻數(shù)據(jù)并同時實時的輸出，以使得在播放所述合成視頻數(shù)據(jù)時，展示的合成視頻中對應(yīng)所述目標(biāo)區(qū)域的位置合成了所述面部動畫。
[0013]可選的，在所述服務(wù)器將所述骨骼動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來之前，還包括:
[0014]所述服務(wù)器獲取通過動作捕捉設(shè)備實時采集到的動作數(shù)據(jù)和動作坐標(biāo)，所述動作坐標(biāo)和所述3D坐標(biāo)系統(tǒng)具有對應(yīng)關(guān)系；
[0015]所述服務(wù)器根據(jù)所述區(qū)域位置信息、動作數(shù)據(jù)和動作坐標(biāo)，在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成骨骼模型；
[0016]所述服務(wù)器通過虛擬攝像機(jī)保持與所述主攝像機(jī)同步，獲取所述骨骼模型在所述虛擬區(qū)域中根據(jù)所述動作數(shù)據(jù)形成的骨骼動畫；
[0017]所述服務(wù)器將所述面部動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來，還包括:
[0018]所述服務(wù)器將所述骨骼動畫的動畫數(shù)據(jù)和所述面部動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來，根據(jù)所述3D坐標(biāo)系統(tǒng)在所述視頻數(shù)據(jù)中實時合成所述骨骼動畫的動畫數(shù)據(jù)和所述面部動畫的動畫數(shù)據(jù)得到合成視頻數(shù)據(jù)并同時實時的輸出，以使得在播放所述合成視頻數(shù)據(jù)時，展示的合成視頻中對應(yīng)所述目標(biāo)區(qū)域的位置合成了所述骨骼動畫和所述面部動畫。
[0019]可選的，所述動作數(shù)據(jù)中包含若干個子動作數(shù)據(jù)，所述子動作數(shù)據(jù)具有各自的節(jié)點標(biāo)識，所述節(jié)點標(biāo)識用于表示被所述動作采集設(shè)備采集動作數(shù)據(jù)的動作采集目標(biāo)的活動節(jié)點；所述服務(wù)器根據(jù)所述區(qū)域位置信息、動作數(shù)據(jù)和動作坐標(biāo)，在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成骨骼模型，包括:
[0020]所述服務(wù)器確定所述節(jié)點標(biāo)識所對應(yīng)的所述骨骼模型上的骨骼節(jié)點；
[0021]所述服務(wù)器依據(jù)所述子動作數(shù)據(jù)和相應(yīng)的動作坐標(biāo)，確定所述骨骼節(jié)點在所述骨骼模型中的位置；
[0022]所述服務(wù)器根據(jù)確定出的所述骨骼節(jié)點在所述骨骼模型中的位置，在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成所述骨骼模型。
[0023]可選的，所述服務(wù)器建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)，包括:
[0024]所述服務(wù)器通過所述固定區(qū)域中設(shè)置的多個采集設(shè)備建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器根據(jù)所述多個采集設(shè)備和分別在所述至少一臺攝像機(jī)上設(shè)置的反射器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)。
[0025]可選的，所述采集設(shè)備包括紅外線攝像頭，所述反射器包括紅外反射器。
[0026]—種在視頻中實時合成動畫的裝置，應(yīng)用于實時采集的視頻中，采集所述視頻的固定區(qū)域中包括至少一臺攝像機(jī)，所述視頻被所述至少一臺攝像機(jī)中的主攝像機(jī)所采集；服務(wù)器建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)；所述服務(wù)器使用渲染引擎根據(jù)所述固定區(qū)域和所述3D坐標(biāo)系統(tǒng)建立虛擬區(qū)域，所述固定區(qū)域在所述3D坐標(biāo)系統(tǒng)中的位置信息與所述虛擬區(qū)域在所述3D坐標(biāo)系統(tǒng)中的位置信息具有比例關(guān)系；所述服務(wù)器使用所述渲染引擎在所述虛擬區(qū)域中設(shè)置虛擬攝像機(jī)，同步所述虛擬攝像機(jī)和所述主攝像機(jī)，使得所述虛擬攝像機(jī)的位置信息和視頻采集參數(shù)實時保持與所述主攝像機(jī)的一致；所述裝置包括:
[0027]位置信息獲取單元，用于根據(jù)確定出的用于合成動畫的目標(biāo)區(qū)域在所述3D坐標(biāo)系統(tǒng)獲取所述目標(biāo)區(qū)域的區(qū)域位置信息；
[0028]面部獲取單元，用于獲取通過面部捕捉設(shè)備實時采集到的面部數(shù)據(jù)和面部坐標(biāo)，所述面部坐標(biāo)和所述3D坐標(biāo)系統(tǒng)具有對應(yīng)關(guān)系；
[0029]面部模型生成單元，用于根據(jù)所述區(qū)域位置信息、面部數(shù)據(jù)和面部坐標(biāo)在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成面部模型；
[0030]面部動畫獲取單元，用于獲取所述主攝像機(jī)實時采集的所述視頻的視頻數(shù)據(jù)；所述服務(wù)器通過虛擬攝像機(jī)保持與所述主攝像機(jī)同步，獲取所述面部模型在所述虛擬區(qū)域中根據(jù)所述面部數(shù)據(jù)形成的面部動畫；
[0031]實時合成單元，用于將所述面部動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來，根據(jù)所述3D坐標(biāo)系統(tǒng)在所述視頻數(shù)據(jù)中實時合成所述面部動畫的動畫數(shù)據(jù)得到合成視頻數(shù)據(jù)并同時實時的輸出，以使得在播放所述合成視頻數(shù)據(jù)時，展示的合成視頻中對應(yīng)所述目標(biāo)區(qū)域的位置合成了所述面部動畫。
[0032]可選的，還包括:
[0033]動作獲取單元，用于在觸發(fā)實時合成單元之前，獲取通過動作捕捉設(shè)備實時采集到的動作數(shù)據(jù)和動作坐標(biāo)，所述動作坐標(biāo)和所述3D坐標(biāo)系統(tǒng)具有對應(yīng)關(guān)系；
[0034]骨骼模型生成單元，用于根據(jù)所述區(qū)域位置信息、動作數(shù)據(jù)和動作坐標(biāo)，在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成骨骼模型；
[0035]骨骼動畫獲取單元，用于通過虛擬攝像機(jī)保持與所述主攝像機(jī)同步，獲取所述骨骼模型在所述虛擬區(qū)域中根據(jù)所述動作數(shù)據(jù)形成的骨骼動畫；
[0036]所述實時合成單元還用于將所述骨骼動畫的動畫數(shù)據(jù)和所述面部動畫的動畫數(shù)據(jù)從所述渲染引擎中提取出來，根據(jù)所述3D坐標(biāo)系統(tǒng)在所述視頻數(shù)據(jù)中實時合成所述骨骼動畫的動畫數(shù)據(jù)和所述面部動畫的動畫數(shù)據(jù)得到合成視頻數(shù)據(jù)并同時實時的輸出，以使得在播放所述合成視頻數(shù)據(jù)時，展示的合成視頻中對應(yīng)所述目標(biāo)區(qū)域的位置合成了所述骨骼動畫和所述面部動畫。
[0037]可選的，所述動作數(shù)據(jù)中包含若干個子動作數(shù)據(jù)，所述子動作數(shù)據(jù)具有各自的節(jié)點標(biāo)識，所述節(jié)點標(biāo)識用于表示被所述動作采集設(shè)備采集動作數(shù)據(jù)的動作采集目標(biāo)的活動節(jié)點；所述骨骼模型生成單元，包括:
[0038]節(jié)點確定子單元，用于確定所述節(jié)點標(biāo)識所對應(yīng)的所述骨骼模型上的骨骼節(jié)點；
[0039]位置確定子單元，用于依據(jù)所述子動作數(shù)據(jù)和相應(yīng)的動作坐標(biāo)，確定所述骨骼節(jié)點在所述骨骼模型中的位置；
[0040]生成子單元，用于根據(jù)確定出的所述骨骼節(jié)點在所述骨骼模型中的位置，在所述虛擬區(qū)域的所述目標(biāo)區(qū)域中生成所述骨骼模型。
[0041]可選的，所述服務(wù)器建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)，包括:
[0042]所述服務(wù)器通過所述固定區(qū)域中設(shè)置的多個采集設(shè)備建立所述固定區(qū)域的3D坐標(biāo)系統(tǒng)，所述服務(wù)器根據(jù)所述多個采集設(shè)備和分別在所述至少一臺攝像機(jī)上設(shè)置的反射器實時采集所述至少一臺攝像機(jī)在所述3D坐標(biāo)系統(tǒng)中的位置信息和所述主攝像頭的視頻采集參數(shù)。
[0043]可選的，所述采集設(shè)備包括紅外線攝像頭，所述反射器包括紅外反射器。
[0044]由上述技術(shù)方案可以看出，在確定好固定區(qū)域的3D坐標(biāo)系統(tǒng)、所用攝像機(jī)尤其是主攝像機(jī)的位置信息和視頻采集參數(shù)后，通過渲染引擎建立與所述固定區(qū)域?qū)?yīng)的虛擬區(qū)域，所述虛擬區(qū)域中的虛擬攝像機(jī)保持與所述固定區(qū)域中的主攝像機(jī)同步，使得通過虛擬攝像機(jī)在所述虛擬區(qū)域中所采集到的區(qū)域與所述主攝像機(jī)在所述固定區(qū)域中采集到的區(qū)域能夠時刻保持一致，以便能夠?qū)崿F(xiàn)實時的動畫合成。在根據(jù)所述3D坐標(biāo)系統(tǒng)確定出用于合成動畫的目標(biāo)區(qū)域的位置信息后，所述服務(wù)器的渲染引