本發(fā)明涉及到視頻技術(shù)領(lǐng)域，特別涉及到一種視頻通話方法和裝置。

背景技術(shù)：

隨著科技的發(fā)展，人們?cè)诰W(wǎng)絡(luò)上相互視頻通話聊天越來(lái)越方便。當(dāng)人們進(jìn)行文字聊天時(shí)，一般會(huì)在聊天窗口發(fā)送圖片來(lái)夸張表達(dá)自己的表情和動(dòng)作，這樣大大豐富了聊天的內(nèi)容，得到廣大用戶的喜愛(ài)。

為了進(jìn)一步豐富視頻通話的互動(dòng)需求，用戶還可以選擇預(yù)設(shè)的表情圖案，系統(tǒng)將用戶選擇的表情圖案疊加到該用戶對(duì)應(yīng)的視頻畫面上，并在與該用戶進(jìn)行視頻通話的其他用戶終端上顯示。例如，在用戶觸發(fā)帽子圖案時(shí)，則系統(tǒng)將會(huì)對(duì)視頻畫面進(jìn)行人臉識(shí)別，并將帽子置于人臉上方顯示，從而使得對(duì)方用戶觀看到該用戶戴帽子的視頻畫面?，F(xiàn)有技術(shù)的缺陷在于，在進(jìn)行視頻通話時(shí)，只能根據(jù)用戶的觸發(fā)指令顯示與所述觸發(fā)指令對(duì)應(yīng)的特定表情圖案，而不能根據(jù)視頻通話的場(chǎng)景如用戶的肢體動(dòng)作等自動(dòng)顯示與該場(chǎng)景相關(guān)的表情圖案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種視頻通話方法和裝置，旨在解決在進(jìn)行視頻通話時(shí)，只能根據(jù)用戶的觸發(fā)指令顯示與所述觸發(fā)指令對(duì)應(yīng)的特定表情圖案，不能根據(jù)視頻通話的場(chǎng)景如用戶的肢體動(dòng)作等自動(dòng)顯示與該場(chǎng)景相關(guān)的表情圖案的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提出視頻通話方法，所述視頻通話方法包括步驟：

獲取第一終端采集的第一視頻圖像；

對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì) 應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例還進(jìn)一步提出一種視頻通話裝置，所述視頻通話裝置包括：

獲取模塊，用于獲取第一終端采集的第一視頻圖像；

動(dòng)作識(shí)別模塊，用于對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

發(fā)送模塊，用于在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

本發(fā)明提出的視頻通話方法和裝置，通過(guò)獲取第一終端采集的第一視頻圖像，并對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。在第一終端的用戶想要向第二終端的用戶發(fā)送表情時(shí)，只需要作出與第一預(yù)設(shè)動(dòng)作匹配的動(dòng)作，即可將與第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫自動(dòng)發(fā)送至第二終端，從而能夠根據(jù)視頻通過(guò)的場(chǎng)景如用戶的肢體動(dòng)作等自動(dòng)顯示與該場(chǎng)景相關(guān)的表情圖案。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例視頻通話裝置所涉及的硬件架構(gòu)示意圖；

圖2為本發(fā)明視頻通話方法的第一實(shí)施例的流程示意圖；

圖3為本發(fā)明視頻通話方法中將第一預(yù)設(shè)動(dòng)畫和第一視頻圖像發(fā)送至第二終端步驟的第一細(xì)化流程示意圖；

圖4為本發(fā)明視頻通話方法中將第一預(yù)設(shè)動(dòng)畫和第一視頻圖像發(fā)送至第二終端步驟的第一細(xì)化流程示意圖；

圖5為本發(fā)明視頻通話方法的第二實(shí)施例的流程示意圖；

圖6為本發(fā)明視頻通話方法的第三實(shí)施例的流程示意圖；

圖7為本發(fā)明視頻通話裝置的第一實(shí)施例的功能模塊示意圖；

圖8為本發(fā)明視頻通話裝置中發(fā)送模塊的第一細(xì)化功能模塊示意圖；

圖9為本發(fā)明視頻通話裝置中發(fā)送模塊的第二細(xì)化功能模塊示意圖；

圖10為本發(fā)明視頻通話裝置的第二實(shí)施例的功能模塊示意圖；

圖11為本發(fā)明視頻通話裝置的第四實(shí)施例的功能模塊示意圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。

具體實(shí)施方式

應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例的主要解決方案是：獲取第一終端采集的第一視頻圖像；對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

由于現(xiàn)有技術(shù)中，在進(jìn)行視頻通話時(shí)，只能根據(jù)用戶的觸發(fā)指令顯示表情圖案，從而導(dǎo)致不能根據(jù)視頻通話的場(chǎng)景自動(dòng)顯示。

本發(fā)明實(shí)施例架構(gòu)一視頻通話裝置，該工具基于第一終端獲取第一視頻圖像，并對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示，從而在視頻通話過(guò)程中能夠根據(jù)動(dòng)作識(shí)別結(jié)果自動(dòng)的顯示對(duì)應(yīng)的預(yù)設(shè)動(dòng)畫表情。

其中，本實(shí)施例視頻通話裝置可以承載于服務(wù)器也可承載于終端，終端例如可以為計(jì)算機(jī)、手機(jī)或平板電腦等。本實(shí)施例以視頻通話裝置承載于服務(wù)器為例說(shuō)明。該視頻通話裝置所涉及的硬件架構(gòu)可以如圖1所示。

圖1示出了本發(fā)明實(shí)施例視頻通話裝置所涉及的硬件架構(gòu)。如圖1所示，所述視頻通話裝置所涉及的硬件包括：處理器1001，例如CPU，通信總線1002，用戶接口1003，網(wǎng)絡(luò)接口1004，存儲(chǔ)器1005，數(shù)據(jù)接口1006。其中，通信總 線1002用于實(shí)現(xiàn)該服務(wù)器中各組成部件之間的連接通信。用戶接口1003可以包括顯示屏(Display)、鍵盤(Keyboard)、鼠標(biāo)等組件，用于接收用戶輸入的信息，并將接收的信息發(fā)送至處理器1005進(jìn)行處理。顯示屏可以為L(zhǎng)CD顯示屏、LED顯示屏，也可以為觸摸屏。可選用戶接口1003還可以包括標(biāo)準(zhǔn)的有線接口、無(wú)線接口。網(wǎng)絡(luò)接口1004可選的可以包括標(biāo)準(zhǔn)的有線接口、無(wú)線接口(如WI-FI接口)。存儲(chǔ)器1005可以是高速RAM存儲(chǔ)器，也可以是穩(wěn)定的存儲(chǔ)器(non-volatile memory)，例如磁盤存儲(chǔ)器。存儲(chǔ)器1005可選的還可以是獨(dú)立于前述處理器1001的存儲(chǔ)裝置。數(shù)據(jù)接口1006可以為USB接口或可接收外部數(shù)據(jù)的通信接口，數(shù)據(jù)接口1006還包括攝像頭等用于采集視頻數(shù)據(jù)的設(shè)備。如圖1所示，作為一種計(jì)算機(jī)存儲(chǔ)介質(zhì)的存儲(chǔ)器1005中可以包括操作系統(tǒng)、網(wǎng)絡(luò)通信模塊、用戶接口模塊以及視頻通話程序。

在圖1所示的服務(wù)器所涉及的硬件中，網(wǎng)絡(luò)接口1004主要用于連接其它應(yīng)用服務(wù)器，與其它應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)通信；用戶接口1003主要用于連接客戶端，與客戶端進(jìn)行數(shù)據(jù)通信，接收客戶端輸入的信息和指令；而處理器1001可以用于調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視頻圖像數(shù)據(jù)的視頻通話處理程序，并執(zhí)行以下操作：

獲取第一終端采集的第一視頻圖像；

對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

進(jìn)一步地，在一個(gè)實(shí)施例中，處理器1001調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視頻圖像的視頻通話處理程序可以執(zhí)行以下操作：

確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

根據(jù)所述加載位置將所述第一預(yù)設(shè)動(dòng)畫與所述第一視頻圖像進(jìn)行合成處理，生成合成視頻圖像；

將所述合成視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

進(jìn)一步地，在一個(gè)實(shí)施例中，處理器1001調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視 頻圖像的視頻通話處理程序可以執(zhí)行以下操作：

確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

將所述第一預(yù)設(shè)動(dòng)畫、所述加載位置和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示；

其中，所述第二終端根據(jù)所述加載位置加載所述第一預(yù)設(shè)動(dòng)畫，并顯示加載了所述第一預(yù)設(shè)動(dòng)畫后的第一視頻圖像。

進(jìn)一步地，在一個(gè)實(shí)施例中，處理器1001調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視頻圖像的視頻通話處理程序可以執(zhí)行以下操作：

在第一終端的視頻窗口中顯示動(dòng)畫選擇窗口；

在接收到基于所述動(dòng)畫選擇窗口輸入的第一預(yù)設(shè)動(dòng)畫選擇指令時(shí)，確定與所述第一預(yù)設(shè)動(dòng)畫選擇指令對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)作提示模板；

在所述第一終端的視頻窗口中顯示所述第一預(yù)設(shè)動(dòng)作提示模板；

其中，所述第一預(yù)設(shè)動(dòng)畫選擇指令與所述第一預(yù)設(shè)動(dòng)作及所述第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)。

進(jìn)一步地，在一個(gè)實(shí)施例中，處理器1001調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視頻圖像的視頻通話處理程序可以執(zhí)行以下操作：

繼續(xù)對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

獲取所述第二終端采集的第二視頻圖像，并對(duì)所述第二視頻圖像進(jìn)行動(dòng)作識(shí)別；

在基于所述第一視頻圖像的動(dòng)作識(shí)別結(jié)果或基于所述第二視頻圖像的動(dòng)作識(shí)別結(jié)果與第二預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至所述第二終端，以供所述第二終端顯示。

進(jìn)一步地，在一個(gè)實(shí)施例中，處理器1001調(diào)用存儲(chǔ)器1005中存儲(chǔ)的視頻圖像的視頻通話處理程序可以執(zhí)行以下操作：

確定與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)作提示模板；

在所述第一終端和/或所述第二終端上顯示所述第二預(yù)設(shè)動(dòng)作提示模板。

本實(shí)施例根據(jù)上述方案，獲取第一終端采集的第一視頻圖像，對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將 與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示，從而在視頻通話過(guò)程中能夠根據(jù)動(dòng)作識(shí)別結(jié)果自動(dòng)的顯示對(duì)應(yīng)的預(yù)設(shè)動(dòng)畫表情。

基于上述硬件架構(gòu)，提出本發(fā)明視頻通話方法實(shí)施例。

如圖2所示，提出本發(fā)明一種視頻通話方法的第一實(shí)施例，所述視頻通話方法包括：

步驟S10，獲取第一終端采集的第一視頻圖像；

在本實(shí)施例中，可以通過(guò)QQ、skype或微信等聊天工具進(jìn)行視頻通話。本實(shí)施例提出的視頻通話方法可以加載于上述聊天工具軟件中實(shí)現(xiàn)，也可以作為一個(gè)獨(dú)立的軟件實(shí)現(xiàn)。

在本實(shí)施例及以下各個(gè)實(shí)施例中，以第一終端與第二終端進(jìn)行視頻通話為例進(jìn)行說(shuō)明。一般情況下，每個(gè)終端上均具有兩個(gè)顯示窗口，其中一個(gè)顯示窗口用于顯示本端接收的視頻圖像，另一個(gè)顯示窗口用于顯示對(duì)端接收的視頻圖像。

上述第一終端和第二終端可以為手機(jī)、平板、電腦等。第一終端通過(guò)其配置的攝像頭采集第一視頻圖像。第二終端通過(guò)其配置的攝像頭采集第二視頻圖像。

上述第一終端和第二終端之間可以通過(guò)藍(lán)牙，WiFi等無(wú)線連接方式進(jìn)行連接，也可以通過(guò)連接設(shè)備進(jìn)行連接，該連接設(shè)備包括路由器等；還可以通過(guò)服務(wù)器進(jìn)行視頻通話，該服務(wù)器可以是應(yīng)用程序的服務(wù)器。

步驟S20，對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在本實(shí)施例中，動(dòng)作識(shí)別可以包括對(duì)人體的姿態(tài)識(shí)別、面部表情識(shí)別和/或動(dòng)作行為識(shí)別等。其中，動(dòng)作行為識(shí)別即為人體的動(dòng)態(tài)動(dòng)作行為，如擊球動(dòng)作、揮手動(dòng)作等。

在進(jìn)行姿態(tài)識(shí)別時(shí)，可以采用以下方法：

(1)樣例索引法：也稱模板匹配法。需要預(yù)先建立模板庫(kù)，保存大量的樣例圖像特征及其對(duì)應(yīng)的姿態(tài)參數(shù)。在進(jìn)行姿態(tài)估計(jì)時(shí)，首先提取第一視頻圖像的圖像特征，然后利用某種度量計(jì)算第一視頻圖像與模板庫(kù)中樣例之間的四度，尋找與第一視頻圖像最為匹配的樣例，該樣例所對(duì)應(yīng)的姿態(tài)作為當(dāng) 前的動(dòng)作識(shí)別結(jié)果。

(2)函數(shù)映射法：直接在圖像特征和姿態(tài)之間建立映射關(guān)系，對(duì)于第一視頻圖像的圖像特征，通過(guò)映射函數(shù)計(jì)算相應(yīng)的人體姿態(tài)。例如，可以采用相關(guān)向量機(jī)建立從人體剪影特征到三維姿態(tài)參數(shù)的非線性回歸函數(shù)，將特征空間映射到參數(shù)空間，對(duì)輸入的剪影特征直接輸出相應(yīng)的關(guān)節(jié)角度。

(3)概率裝配法：

概率裝配方法的思路是從第一視頻圖像中檢測(cè)到一些身體部分(如人臉，軀干，四肢等)，然后利用身體部分之間的結(jié)構(gòu)、動(dòng)力學(xué)、時(shí)序等約束，把各個(gè)分散的身體部分通過(guò)概率模型組裝在一起，形成完整的人體姿態(tài)。

在進(jìn)行面部表情識(shí)別時(shí)，需要先進(jìn)行人臉檢測(cè)與定位，可以采用以下方式進(jìn)行人臉檢測(cè)：

(1)基于統(tǒng)計(jì)的人臉檢測(cè)：如樣本學(xué)習(xí)法，即將人臉檢測(cè)視為非人臉樣本中識(shí)別人臉樣本的模式分類問(wèn)題，提供對(duì)人臉樣本集和非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器，可以通過(guò)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。又如子空間方法，利用K-L變換進(jìn)行人臉檢測(cè)，即待檢測(cè)區(qū)域到特征臉子空間的距離作為檢測(cè)統(tǒng)計(jì)量，距離越小，表明越接近人臉?biāo)趨^(qū)域。又如模板法，通過(guò)求取測(cè)試樣本與參考模板之間的某種度量，由閾值大小定義來(lái)判斷測(cè)試樣本是否是人臉。

(2)基于知識(shí)的人臉檢測(cè)：一種是通過(guò)人臉規(guī)則進(jìn)行人臉檢測(cè)，例如灰度分布規(guī)則、輪廓規(guī)則以及運(yùn)動(dòng)規(guī)則等。另一種是通過(guò)顏色紋理信息進(jìn)行人臉檢測(cè)。還有一種是通過(guò)人臉的對(duì)稱性進(jìn)行人臉檢測(cè)。

在進(jìn)行人臉檢測(cè)后，基于人臉檢測(cè)的結(jié)果進(jìn)行面部表情提取，可以采用以下幾種方式：

(1)基于幾何特征的識(shí)別：通過(guò)對(duì)人臉表情顯著特征的位置變化進(jìn)行定位、測(cè)量，利用其大小、距離、形狀及相互比例等特征進(jìn)行表情識(shí)別。

(2)基于統(tǒng)計(jì)的識(shí)別：通過(guò)對(duì)整幅表情圖像進(jìn)行變換，獲取特征來(lái)進(jìn)行識(shí)別。例如，可以通過(guò)主元分析方法、線性判別分析方法、獨(dú)立分量分析方法、神經(jīng)網(wǎng)絡(luò)方法、核主成分分析方法、和Fisher判別分析等方法進(jìn)行表情識(shí)別。

在進(jìn)行動(dòng)作識(shí)別時(shí)，先要進(jìn)行動(dòng)作描述，可以采用以下方法：

(1)全局特征法：通過(guò)運(yùn)動(dòng)能量圖、運(yùn)動(dòng)歷史圖、光流場(chǎng)、時(shí)空體、時(shí) 空形狀等方法進(jìn)行動(dòng)作描述。

(2)局部特征法：通過(guò)提取人體運(yùn)動(dòng)圖像序列(即第一視頻圖像序列)中一些變化顯著的局部特征點(diǎn)，并對(duì)這些特征點(diǎn)的各種屬性進(jìn)行統(tǒng)計(jì)建模，形成對(duì)動(dòng)作的描述。

(3)多特征融合法：例如，分別提取運(yùn)動(dòng)序列的靜態(tài)形狀特征和動(dòng)態(tài)時(shí)空興趣點(diǎn)特征，提出一個(gè)層次模型把這兩種特征巧妙地結(jié)合在同一個(gè)識(shí)別框架下進(jìn)行識(shí)別。

在進(jìn)行動(dòng)作描述后，可以采用以下幾種方式進(jìn)行動(dòng)作識(shí)別：

(1)模板匹配：將待識(shí)別的模板與已知的模板集合相匹配，通過(guò)相似度計(jì)算，把最為匹配的已知模板對(duì)應(yīng)的類別作為識(shí)別結(jié)果。

(2)判別式模型：直接對(duì)給定特征向量時(shí)動(dòng)作類別的條件概率進(jìn)行建模。在動(dòng)作識(shí)別領(lǐng)域最常用的判別式方法有：支持向量機(jī)和條件隨機(jī)場(chǎng)。支持向量機(jī)的一般做法是：將所有待分類的特征向量映射到高維空間，然后在高維空間中通過(guò)最大化分類間隔找到能將這些向量分開(kāi)的超平面。

(3)產(chǎn)生式模型：產(chǎn)生式模型是基于概率的不確定性推理模型，通過(guò)一個(gè)聯(lián)合概率函數(shù)建立觀察特征值和動(dòng)作類別信息之間的關(guān)系。對(duì)于不同的動(dòng)作，根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到各自模型的參數(shù)。在識(shí)別時(shí)，將待識(shí)別的觀測(cè)特征輸入到預(yù)先訓(xùn)練得到的每個(gè)類別的模型中，分別計(jì)算與該模型匹配程度，取最匹配的行為類別為識(shí)別結(jié)果。

步驟S30，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)作可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，例如，可以為雙手托起的動(dòng)作、或者揮手的動(dòng)作等，具體可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。

上述第一預(yù)設(shè)動(dòng)畫可以為動(dòng)態(tài)的動(dòng)畫，也可以為靜態(tài)的圖案。

每一第一預(yù)設(shè)動(dòng)作可以對(duì)應(yīng)一個(gè)或多個(gè)第一預(yù)設(shè)動(dòng)畫。例如，雙手托起的動(dòng)作可以對(duì)應(yīng)蛋糕的動(dòng)畫，或者同時(shí)對(duì)應(yīng)食物、茶杯等圖案。在對(duì)應(yīng)多個(gè)第一預(yù)設(shè)動(dòng)畫時(shí)，可以在其中任選一個(gè)第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至第二終端。

應(yīng)當(dāng)說(shuō)明的是，在發(fā)送至第二終端顯示的同時(shí)，還可以同時(shí)在第一終端 上顯示第一預(yù)設(shè)動(dòng)畫和第一視頻圖像，以使得第一終端和第二終端顯示的畫面同步，以便雙方用戶更好的互動(dòng)。

例如，雙手托起的動(dòng)作對(duì)應(yīng)蛋糕的動(dòng)畫，在第一終端和第二終端進(jìn)行視頻通話時(shí)，第一終端對(duì)應(yīng)的用戶A想給第二終端對(duì)應(yīng)的用戶B一個(gè)驚喜，則可以將雙手托起，此時(shí)，用戶B通過(guò)第二終端可以看到用戶B雙手托起的動(dòng)作。此時(shí)，第一終端采集到的第一視頻圖像中含有用戶B雙手托起的動(dòng)作，系統(tǒng)對(duì)第一視頻圖像進(jìn)行識(shí)別，并且獲得動(dòng)作識(shí)別結(jié)果為雙手托起的動(dòng)作，因此則將與雙手托起的動(dòng)作對(duì)應(yīng)的蛋糕動(dòng)畫和第一視頻圖像一起發(fā)送至第二終端，在第二終端的屏幕上將會(huì)顯示第一視頻圖像和蛋糕動(dòng)畫，從而用戶B可以觀看到用戶A雙手托起蛋糕的畫面。

本實(shí)施例提出的視頻通話方法，通過(guò)獲取第一終端采集的第一視頻圖像，并對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。在第一終端的用戶想要向第二終端的用戶發(fā)送表情時(shí)，只需要作出與第一預(yù)設(shè)動(dòng)作匹配的動(dòng)作，即可將與第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫自動(dòng)發(fā)送至第二終端，從而能夠根據(jù)視頻通過(guò)的場(chǎng)景如用戶的肢體動(dòng)作等自動(dòng)顯示與該場(chǎng)景相關(guān)的表情圖案。

為便于方案的理解，對(duì)于上述步驟S30，以下以兩種具體方案進(jìn)行說(shuō)明，具體如下：

1)方案一，參照?qǐng)D3，所述步驟S30包括步驟：

步驟S31，確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)畫可以預(yù)設(shè)一固定的加載位置，例如，加載位置始終位于屏幕的上方或中部位置；還可以預(yù)設(shè)一與動(dòng)作識(shí)別結(jié)果對(duì)應(yīng)的加載位置，例如，動(dòng)作識(shí)別結(jié)果為一雙手托起的動(dòng)作時(shí)，可以將加載位置設(shè)置在雙手上方位置。

步驟S32，根據(jù)所述加載位置將所述第一預(yù)設(shè)動(dòng)畫與所述第一視頻圖像進(jìn)行合成處理，生成合成視頻圖像；

在本實(shí)施例中，可以按照加載位置將第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)加載至第一視頻圖像的相應(yīng)位置上。例如，將蛋糕加載至第一視頻圖像中的人體雙手上方的位置。將第一視頻圖像逐幀進(jìn)行合成處理。

步驟S33，將所述合成視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

第二終端接收到的為逐幀合成后的合成視頻圖像，第二終端將接收到的各幀合成視頻圖像一一進(jìn)行顯示即可。

本方案中，第二終端不需要進(jìn)行任何合成處理，僅需在第一終端進(jìn)行合成處理即可，且不會(huì)影響視頻傳輸速度以及第二終端的處理速度，傳輸效率較高。

2)方案二，參照?qǐng)D4，所述步驟S30包括步驟：

步驟S34，確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)畫可以預(yù)設(shè)一固定的加載位置，例如，加載位置始終位于屏幕的上方或中部位置；還可以預(yù)設(shè)一與動(dòng)作識(shí)別結(jié)果對(duì)應(yīng)的加載位置，例如，動(dòng)作識(shí)別結(jié)果為一雙手托起的動(dòng)作時(shí)，可以將加載位置設(shè)置在雙手上方位置。

步驟S35，將所述第一預(yù)設(shè)動(dòng)畫、所述加載位置和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示；

其中，所述第二終端根據(jù)所述加載位置加載所述第一預(yù)設(shè)動(dòng)畫，并顯示加載了所述第一預(yù)設(shè)動(dòng)畫后的第一視頻圖像。

在第二終端接收到第一預(yù)設(shè)動(dòng)畫、所述加載位置和所述第一視頻圖像后，可以按照加載位置將第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)加載至第一視頻圖像的相應(yīng)位置上。例如，將蛋糕加載至第一視頻圖像中的人體雙手上方的位置。將第一視頻圖像逐幀進(jìn)行合成處理，并將各幀合成視頻圖像一一進(jìn)行顯示即可。

本方案中，通過(guò)第二終端對(duì)第一預(yù)設(shè)動(dòng)畫和第一視頻圖像進(jìn)行合成處理，使得第二終端可以靈活的選擇是否進(jìn)行合成操作，例如，若第二終端的用戶不想顯示第一預(yù)設(shè)動(dòng)畫，則可關(guān)閉第一預(yù)設(shè)動(dòng)畫顯示功能，因此，本方案靈活性更高。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，基于上述視頻通話方法的第一實(shí)施例，提出本發(fā)明的第二實(shí)施例。如圖5所示，步驟S20之前，所述視頻通話方法還包括：

步驟S40，在第一終端的視頻窗口中顯示動(dòng)畫選擇窗口；

在本實(shí)施例中，可以在開(kāi)啟視頻通話后自動(dòng)且始終顯示動(dòng)畫選擇窗口，也可以根據(jù)用戶的觸發(fā)指令顯示動(dòng)畫選擇串口。例如，可以在視頻通話的界面預(yù)設(shè)一觸發(fā)控件，在通話鼠標(biāo)點(diǎn)擊該觸發(fā)控件或通過(guò)鍵盤輸入與該觸發(fā)控件對(duì)應(yīng)的快捷鍵時(shí)，則在視頻通話窗口顯示動(dòng)畫選擇窗口。

動(dòng)畫選擇窗口上可以預(yù)設(shè)有多個(gè)動(dòng)畫標(biāo)識(shí)，例如，可以預(yù)設(shè)有蛋糕標(biāo)識(shí)、食物標(biāo)識(shí)、茶杯標(biāo)識(shí)等，具體可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。

動(dòng)畫選擇窗口上還可以預(yù)設(shè)一用于輸入文字的輸入框，用戶可以在該輸入框內(nèi)輸入文字，例如，在用戶輸入蛋糕時(shí)，則系統(tǒng)自動(dòng)在本地存儲(chǔ)器中查找蛋糕的標(biāo)識(shí)，或者自動(dòng)去網(wǎng)絡(luò)中查找蛋糕的動(dòng)畫。

步驟S50，在接收到基于所述動(dòng)畫選擇窗口輸入的第一預(yù)設(shè)動(dòng)畫選擇指令時(shí)，確定與所述第一預(yù)設(shè)動(dòng)畫選擇指令對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)作提示模板；

在用戶通過(guò)鼠標(biāo)點(diǎn)擊動(dòng)畫標(biāo)識(shí)時(shí)，或者在用戶基于上述輸入框輸入對(duì)應(yīng)的文字時(shí)，即可視為接收到了第一預(yù)設(shè)動(dòng)畫選擇指令。

系統(tǒng)內(nèi)預(yù)存有第一預(yù)設(shè)動(dòng)作提示模板。例如，對(duì)于蛋糕動(dòng)畫來(lái)說(shuō)，在用戶點(diǎn)擊蛋糕標(biāo)識(shí)時(shí)，其對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)作提示模板可以為雙手托起對(duì)應(yīng)的形狀輪廓。

步驟S60，在所述第一終端的視頻窗口中顯示所述第一預(yù)設(shè)動(dòng)作提示模板；

其中，所述第一預(yù)設(shè)動(dòng)畫選擇指令與所述第一預(yù)設(shè)動(dòng)作及所述第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)。

優(yōu)選地，在顯示第一預(yù)設(shè)動(dòng)作提示模板時(shí)，還可以在第一預(yù)設(shè)動(dòng)作提示模板上方顯示動(dòng)畫標(biāo)識(shí)對(duì)應(yīng)的輪廓形狀，以便于用戶更加真實(shí)的作出相應(yīng)的動(dòng)作。

本實(shí)施例提供的視頻通話方法，通過(guò)在用戶輸入第一預(yù)設(shè)動(dòng)畫選擇指令后，才會(huì)顯示第一動(dòng)作提示模板，并進(jìn)行后續(xù)的動(dòng)作識(shí)別步驟，從而避免了用戶的誤操作。例如，在用戶A并沒(méi)有向用戶B發(fā)送蛋糕動(dòng)畫的想法時(shí)，而 此時(shí)用戶A在視頻通話的過(guò)程中不小心做了雙手托起的動(dòng)作，則系統(tǒng)在為偵測(cè)到第一預(yù)設(shè)動(dòng)畫選擇指令時(shí)，則不會(huì)自動(dòng)向用戶B發(fā)送蛋糕動(dòng)畫，從而有效地避免了誤操作。

應(yīng)當(dāng)說(shuō)明的是，步驟S40、步驟S50和步驟S60可以位于步驟S10之前、之后或同時(shí)執(zhí)行。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，并提高用戶的體驗(yàn)度，基于上述視頻通話方法的第一或第二實(shí)施例，提出本發(fā)明的第三實(shí)施例。如圖6所示，步驟S30之后，所述視頻通話方法還包括：

步驟S70，繼續(xù)對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在本實(shí)施例中，對(duì)第一視頻圖像進(jìn)行動(dòng)作識(shí)別的過(guò)程可以參照上述第一實(shí)施例中的描述，在此不再贅述。

步驟S80，獲取所述第二終端采集的第二視頻圖像，并對(duì)所述第二視頻圖像進(jìn)行動(dòng)作識(shí)別；

在第一終端與第二終端進(jìn)行視頻通話的過(guò)程中，第二終端將會(huì)向第一終端發(fā)送第二視頻圖像。第一終端接收到第二視頻圖像后，對(duì)第二視頻圖像進(jìn)行動(dòng)作識(shí)別。對(duì)第二視頻圖像進(jìn)行動(dòng)作識(shí)別的過(guò)程可以參照上述第一實(shí)施例中對(duì)第一視頻圖像進(jìn)行動(dòng)作識(shí)別的描述，在此不再贅述。

步驟S90，在基于所述第一視頻圖像的動(dòng)作識(shí)別結(jié)果或基于所述第二視頻圖像的動(dòng)作識(shí)別結(jié)果與第二預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至所述第二終端，以供所述第二終端顯示。

在本實(shí)施例中，第二預(yù)設(shè)動(dòng)作可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。例如，在第一預(yù)設(shè)動(dòng)畫為蛋糕時(shí)，第二預(yù)設(shè)動(dòng)作可以為吹蠟燭的動(dòng)作，第二預(yù)設(shè)動(dòng)畫可以為蛋糕的蠟燭逐漸熄滅的動(dòng)畫。在第一終端的用戶A或第二終端的用戶B任何一方作出吹蠟燭的動(dòng)作時(shí)，則將在第二終端顯示蛋糕的蠟燭逐漸熄滅的動(dòng)畫。

上述將第二預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至所述第二終端，以供所述第二終端顯示的具體實(shí)施方式可以參照上述將第一預(yù)設(shè)動(dòng)畫和第一視頻圖像發(fā)送至第二終端的步驟，即可參照上述方案一和方案二，在此不再贅述。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，并提高用戶的體驗(yàn)度，基于上述視頻通話方法的第三實(shí)施例，提出本發(fā)明的第四實(shí)施例。在步驟S70之前，且步驟S30之后，所述視頻通話方法還包括：

確定與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)作提示模板；

例如，第一預(yù)設(shè)動(dòng)畫為蛋糕，則第二動(dòng)作提示模板可以為一文字信息，例如“吹蛋糕”的字樣，或者為一吹蛋糕的動(dòng)畫，或者吹蛋糕的形狀輪廓等。

在所述第一終端和/或所述第二終端上顯示所述第二預(yù)設(shè)動(dòng)作提示模板。

可以在其中一個(gè)終端上顯示第二預(yù)設(shè)動(dòng)作提示模板，也可以同時(shí)在第一終端和第二終端上顯示第二預(yù)設(shè)動(dòng)作提示模板，從而在用戶看到第二預(yù)設(shè)動(dòng)作提示模板后，能夠根據(jù)第二預(yù)設(shè)動(dòng)作提示模板準(zhǔn)確的作出相應(yīng)的動(dòng)作，進(jìn)一步提高了用戶的體驗(yàn)度。

對(duì)應(yīng)地，提出本發(fā)明視頻通話裝置的較佳實(shí)施例。參考圖7，所述視頻通話裝置包括獲取模塊10、動(dòng)作識(shí)別模塊20及發(fā)送模塊30，其中：

獲取模塊10，用于獲取第一終端采集的第一視頻圖像；

在本實(shí)施例中，可以通過(guò)QQ、skype或微信等聊天工具進(jìn)行視頻通話。本實(shí)施例提出的視頻通話方法可以加載于上述聊天工具軟件中實(shí)現(xiàn)，也可以作為一個(gè)獨(dú)立的軟件實(shí)現(xiàn)。

在本實(shí)施例及以下各個(gè)實(shí)施例中，以第一終端與第二終端進(jìn)行視頻通話為例進(jìn)行說(shuō)明。一般情況下，每個(gè)終端上均具有兩個(gè)顯示窗口，其中一個(gè)顯示窗口用于顯示本端接收的視頻圖像，另一個(gè)顯示窗口用于顯示對(duì)端接收的視頻圖像。

上述第一終端和第二終端可以為手機(jī)、平板、電腦等。第一終端通過(guò)其配置的攝像頭采集第一視頻圖像。第二終端通過(guò)其配置的攝像頭采集第二視頻圖像。

上述第一終端和第二終端之間可以通過(guò)藍(lán)牙，WiFi等無(wú)線連接方式進(jìn)行連接，也可以通過(guò)連接設(shè)備進(jìn)行連接，該連接設(shè)備包括路由器等；還可以通過(guò)服務(wù)器進(jìn)行視頻通話，該服務(wù)器可以是應(yīng)用程序的服務(wù)器。

動(dòng)作識(shí)別模塊20，用于對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在本實(shí)施例中，動(dòng)作識(shí)別可以包括對(duì)人體的姿態(tài)識(shí)別、面部表情識(shí)別和/或動(dòng)作行為識(shí)別等。其中，動(dòng)作行為識(shí)別即為人體的動(dòng)態(tài)動(dòng)作行為，如擊球動(dòng)作、揮手動(dòng)作等。

在進(jìn)行姿態(tài)識(shí)別時(shí)，可以采用以下方法：

(1)樣例索引法：也稱模板匹配法。需要預(yù)先建立模板庫(kù)，保存大量的樣例圖像特征及其對(duì)應(yīng)的姿態(tài)參數(shù)。在進(jìn)行姿態(tài)估計(jì)時(shí)，首先提取第一視頻圖像的圖像特征，然后利用某種度量計(jì)算第一視頻圖像與模板庫(kù)中樣例之間的四度，尋找與第一視頻圖像最為匹配的樣例，該樣例所對(duì)應(yīng)的姿態(tài)作為當(dāng)前的動(dòng)作識(shí)別結(jié)果。

(2)函數(shù)映射法：直接在圖像特征和姿態(tài)之間建立映射關(guān)系，對(duì)于第一視頻圖像的圖像特征，通過(guò)映射函數(shù)計(jì)算相應(yīng)的人體姿態(tài)。例如，可以采用相關(guān)向量機(jī)建立從人體剪影特征到三維姿態(tài)參數(shù)的非線性回歸函數(shù)，將特征空間映射到參數(shù)空間，對(duì)輸入的剪影特征直接輸出相應(yīng)的關(guān)節(jié)角度。

(3)概率裝配法：

概率裝配方法的思路是從第一視頻圖像中檢測(cè)到一些身體部分(如人臉，軀干，四肢等)，然后利用身體部分之間的結(jié)構(gòu)、動(dòng)力學(xué)、時(shí)序等約束，把各個(gè)分散的身體部分通過(guò)概率模型組裝在一起，形成完整的人體姿態(tài)。

在進(jìn)行面部表情識(shí)別時(shí)，需要先進(jìn)行人臉檢測(cè)與定位，可以采用以下方式進(jìn)行人臉檢測(cè)：

(1)基于統(tǒng)計(jì)的人臉檢測(cè)：如樣本學(xué)習(xí)法，即將人臉檢測(cè)視為非人臉樣本中識(shí)別人臉樣本的模式分類問(wèn)題，提供對(duì)人臉樣本集和非人臉樣本集進(jìn)行學(xué)習(xí)以產(chǎn)生分類器，可以通過(guò)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。又如子空間方法，利用K-L變換進(jìn)行人臉檢測(cè)，即待檢測(cè)區(qū)域到特征臉子空間的距離作為檢測(cè)統(tǒng)計(jì)量，距離越小，表明越接近人臉?biāo)趨^(qū)域。又如模板法，通過(guò)求取測(cè)試樣本與參考模板之間的某種度量，由閾值大小定義來(lái)判斷測(cè)試樣本是否是人臉。

(2)基于知識(shí)的人臉檢測(cè)：一種是通過(guò)人臉規(guī)則進(jìn)行人臉檢測(cè)，例如灰度分布規(guī)則、輪廓規(guī)則以及運(yùn)動(dòng)規(guī)則等。另一種是通過(guò)顏色紋理信息進(jìn)行人臉檢測(cè)。還有一種是通過(guò)人臉的對(duì)稱性進(jìn)行人臉檢測(cè)。

在進(jìn)行人臉檢測(cè)后，基于人臉檢測(cè)的結(jié)果進(jìn)行面部表情提取，可以采用以下幾種方式：

(1)基于幾何特征的識(shí)別：通過(guò)對(duì)人臉表情顯著特征的位置變化進(jìn)行定位、測(cè)量，利用其大小、距離、形狀及相互比例等特征進(jìn)行表情識(shí)別。

(2)基于統(tǒng)計(jì)的識(shí)別：通過(guò)對(duì)整幅表情圖像進(jìn)行變換，獲取特征來(lái)進(jìn)行識(shí)別。例如，可以通過(guò)主元分析方法、線性判別分析方法、獨(dú)立分量分析方法、神經(jīng)網(wǎng)絡(luò)方法、核主成分分析方法、和Fisher判別分析等方法進(jìn)行表情識(shí)別。

在進(jìn)行動(dòng)作識(shí)別時(shí)，先要進(jìn)行動(dòng)作描述，可以采用以下方法：

(1)全局特征法：通過(guò)運(yùn)動(dòng)能量圖、運(yùn)動(dòng)歷史圖、光流場(chǎng)、時(shí)空體、時(shí)空形狀等方法進(jìn)行動(dòng)作描述。

(2)局部特征法：通過(guò)提取人體運(yùn)動(dòng)圖像序列(即第一視頻圖像序列)中一些變化顯著的局部特征點(diǎn)，并對(duì)這些特征點(diǎn)的各種屬性進(jìn)行統(tǒng)計(jì)建模，形成對(duì)動(dòng)作的描述。

(3)多特征融合法：例如，分別提取運(yùn)動(dòng)序列的靜態(tài)形狀特征和動(dòng)態(tài)時(shí)空興趣點(diǎn)特征，提出一個(gè)層次模型把這兩種特征巧妙地結(jié)合在同一個(gè)識(shí)別框架下進(jìn)行識(shí)別。

在進(jìn)行動(dòng)作描述后，可以采用以下幾種方式進(jìn)行動(dòng)作識(shí)別：

(1)模板匹配：將待識(shí)別的模板與已知的模板集合相匹配，通過(guò)相似度計(jì)算，把最為匹配的已知模板對(duì)應(yīng)的類別作為識(shí)別結(jié)果。

(2)判別式模型：直接對(duì)給定特征向量時(shí)動(dòng)作類別的條件概率進(jìn)行建模。在動(dòng)作識(shí)別領(lǐng)域最常用的判別式方法有：支持向量機(jī)和條件隨機(jī)場(chǎng)。支持向量機(jī)的一般做法是：將所有待分類的特征向量映射到高維空間，然后在高維空間中通過(guò)最大化分類間隔找到能將這些向量分開(kāi)的超平面。

(3)產(chǎn)生式模型：產(chǎn)生式模型是基于概率的不確定性推理模型，通過(guò)一個(gè)聯(lián)合概率函數(shù)建立觀察特征值和動(dòng)作類別信息之間的關(guān)系。對(duì)于不同的動(dòng)作，根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到各自模型的參數(shù)。在識(shí)別時(shí)，將待識(shí)別的觀測(cè)特征輸入到預(yù)先訓(xùn)練得到的每個(gè)類別的模型中，分別計(jì)算與該模型匹配程度，取最匹配的行為類別為識(shí)別結(jié)果。

發(fā)送模塊30，用于在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)作可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，例如，可以為雙手托起的動(dòng)作、或者揮手的動(dòng)作等，具體可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。

上述第一預(yù)設(shè)動(dòng)畫可以為動(dòng)態(tài)的動(dòng)畫，也可以為靜態(tài)的圖案。

每一第一預(yù)設(shè)動(dòng)作可以對(duì)應(yīng)一個(gè)或多個(gè)第一預(yù)設(shè)動(dòng)畫。例如，雙手托起的動(dòng)作可以對(duì)應(yīng)蛋糕的動(dòng)畫，或者同時(shí)對(duì)應(yīng)食物、茶杯等圖案。在對(duì)應(yīng)多個(gè)第一預(yù)設(shè)動(dòng)畫時(shí)，可以在其中任選一個(gè)第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至第二終端。

應(yīng)當(dāng)說(shuō)明的是，在發(fā)送至第二終端顯示的同時(shí)，還可以同時(shí)在第一終端上顯示第一預(yù)設(shè)動(dòng)畫和第一視頻圖像，以使得第一終端和第二終端顯示的畫面同步，以便雙方用戶更好的互動(dòng)。

例如，雙手托起的動(dòng)作對(duì)應(yīng)蛋糕的動(dòng)畫，在第一終端和第二終端進(jìn)行視頻通話時(shí)，第一終端對(duì)應(yīng)的用戶A想給第二終端對(duì)應(yīng)的用戶B一個(gè)驚喜，則可以將雙手托起，此時(shí)，用戶B通過(guò)第二終端可以看到用戶B雙手托起的動(dòng)作。此時(shí)，第一終端采集到的第一視頻圖像中含有用戶B雙手托起的動(dòng)作，系統(tǒng)對(duì)第一視頻圖像進(jìn)行識(shí)別，并且獲得動(dòng)作識(shí)別結(jié)果為雙手托起的動(dòng)作，因此則將與雙手托起的動(dòng)作對(duì)應(yīng)的蛋糕動(dòng)畫和第一視頻圖像一起發(fā)送至第二終端，在第二終端的屏幕上將會(huì)顯示第一視頻圖像和蛋糕動(dòng)畫，從而用戶B可以觀看到用戶A雙手托起蛋糕的畫面。

本實(shí)施例提出的視頻通話裝置，通過(guò)獲取第一終端采集的第一視頻圖像，并對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別，在所述動(dòng)作識(shí)別結(jié)果與第一預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。在第一終端的用戶想要向第二終端的用戶發(fā)送表情時(shí)，只需要作出與第一預(yù)設(shè)動(dòng)作匹配的動(dòng)作，即可將與第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫自動(dòng)發(fā)送至第二終端，從而能夠根據(jù)視頻通過(guò)的場(chǎng)景如用戶的肢體動(dòng)作等自動(dòng)顯示與該場(chǎng)景相關(guān)的表情圖案。

為便于方案的理解，對(duì)于上述發(fā)送模塊30，以下以兩種具體方案進(jìn)行說(shuō)明，具體如下：

1)方案一，參照?qǐng)D8，所述發(fā)送模塊30包括：

確定單元31，用于確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)畫可以預(yù)設(shè)一固定的加載位置，例如，加載位置始終位于屏幕的上方或中部位置；還可以預(yù)設(shè)一與動(dòng)作識(shí)別結(jié)果對(duì)應(yīng)的加載位置，例如，動(dòng)作識(shí)別結(jié)果為一雙手托起的動(dòng)作時(shí)，可以將加載位置設(shè)置在雙手上方位置。

合成單元32，用于根據(jù)所述加載位置將所述第一預(yù)設(shè)動(dòng)畫與所述第一視頻圖像進(jìn)行合成處理，生成合成視頻圖像；

在本實(shí)施例中，可以按照加載位置將第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)加載至第一視頻圖像的相應(yīng)位置上。例如，將蛋糕加載至第一視頻圖像中的人體雙手上方的位置。將第一視頻圖像逐幀進(jìn)行合成處理。

第一發(fā)送單元33，用于將所述合成視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示。

第二終端接收到的為逐幀合成后的合成視頻圖像，第二終端將接收到的各幀合成視頻圖像一一進(jìn)行顯示即可。

本方案中，第二終端不需要進(jìn)行任何合成處理，僅需在第一終端進(jìn)行合成處理即可，且不會(huì)影響視頻傳輸速度以及第二終端的處理速度，傳輸效率較高。

2)方案二，參照?qǐng)D9，所述發(fā)送模塊30包括：

確定單元31，用于確定與所述第一預(yù)設(shè)動(dòng)作對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)畫以及所述第一預(yù)設(shè)動(dòng)畫的加載位置；

在本實(shí)施例中，第一預(yù)設(shè)動(dòng)畫可以預(yù)設(shè)一固定的加載位置，例如，加載位置始終位于屏幕的上方或中部位置；還可以預(yù)設(shè)一與動(dòng)作識(shí)別結(jié)果對(duì)應(yīng)的加載位置，例如，動(dòng)作識(shí)別結(jié)果為一雙手托起的動(dòng)作時(shí)，可以將加載位置設(shè)置在雙手上方位置。

第二發(fā)送單元34，用于將所述第一預(yù)設(shè)動(dòng)畫、所述加載位置和所述第一視頻圖像發(fā)送至與所述第一終端進(jìn)行視頻通話的第二終端，以供所述第二終端顯示；

其中，所述第二終端根據(jù)所述加載位置加載所述第一預(yù)設(shè)動(dòng)畫，并顯示加載了所述第一預(yù)設(shè)動(dòng)畫后的第一視頻圖像。

在第二終端接收到第一預(yù)設(shè)動(dòng)畫、所述加載位置和所述第一視頻圖像后，可以按照加載位置將第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)加載至第一視頻圖像的相應(yīng)位置上。例如，將蛋糕加載至第一視頻圖像中的人體雙手上方的位置。將第一視頻圖像逐幀進(jìn)行合成處理，并將各幀合成視頻圖像一一進(jìn)行顯示即可。

本方案中，通過(guò)第二終端對(duì)第一預(yù)設(shè)動(dòng)畫和第一視頻圖像進(jìn)行合成處理，使得第二終端可以靈活的選擇是否進(jìn)行合成操作，例如，若第二終端的用戶不想顯示第一預(yù)設(shè)動(dòng)畫，則可關(guān)閉第一預(yù)設(shè)動(dòng)畫顯示功能，因此，本方案靈活性更高。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，基于上述視頻通話裝置的第一實(shí)施例，提出本發(fā)明的第二實(shí)施例。如圖10所示，所述視頻通話裝置還包括：

第一顯示模塊40，用于在第一終端的視頻窗口中顯示動(dòng)畫選擇窗口；

在本實(shí)施例中，可以在開(kāi)啟視頻通話后自動(dòng)且始終顯示動(dòng)畫選擇窗口，也可以根據(jù)用戶的觸發(fā)指令顯示動(dòng)畫選擇串口。例如，可以在視頻通話的界面預(yù)設(shè)一觸發(fā)控件，在通話鼠標(biāo)點(diǎn)擊該觸發(fā)控件或通過(guò)鍵盤輸入與該觸發(fā)控件對(duì)應(yīng)的快捷鍵時(shí)，則在視頻通話窗口顯示動(dòng)畫選擇窗口。

動(dòng)畫選擇窗口上可以預(yù)設(shè)有多個(gè)動(dòng)畫標(biāo)識(shí)，例如，可以預(yù)設(shè)有蛋糕標(biāo)識(shí)、食物標(biāo)識(shí)、茶杯標(biāo)識(shí)等，具體可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。

動(dòng)畫選擇窗口上還可以預(yù)設(shè)一用于輸入文字的輸入框，用戶可以在該輸入框內(nèi)輸入文字，例如，在用戶輸入蛋糕時(shí)，則系統(tǒng)自動(dòng)在本地存儲(chǔ)器中查找蛋糕的標(biāo)識(shí)，或者自動(dòng)去網(wǎng)絡(luò)中查找蛋糕的動(dòng)畫。

第一確定模塊50，用于在接收到基于所述動(dòng)畫選擇窗口輸入的第一預(yù)設(shè)動(dòng)畫選擇指令時(shí)，確定與所述第一預(yù)設(shè)動(dòng)畫選擇指令對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)作提示模板；

在用戶通過(guò)鼠標(biāo)點(diǎn)擊動(dòng)畫標(biāo)識(shí)時(shí)，或者在用戶基于上述輸入框輸入對(duì)應(yīng)的文字時(shí)，即可視為接收到了第一預(yù)設(shè)動(dòng)畫選擇指令。

系統(tǒng)內(nèi)預(yù)存有第一預(yù)設(shè)動(dòng)作提示模板。例如，對(duì)于蛋糕動(dòng)畫來(lái)說(shuō)，在用戶點(diǎn)擊蛋糕標(biāo)識(shí)時(shí)，其對(duì)應(yīng)的第一預(yù)設(shè)動(dòng)作提示模板可以為雙手托起對(duì)應(yīng)的形狀輪廓。

所述第一顯示模塊40還用于在所述第一終端的視頻窗口中顯示所述第一預(yù)設(shè)動(dòng)作提示模板；

其中，所述第一預(yù)設(shè)動(dòng)畫選擇指令與所述第一預(yù)設(shè)動(dòng)作及所述第一預(yù)設(shè)動(dòng)畫對(duì)應(yīng)。

優(yōu)選地，在顯示第一預(yù)設(shè)動(dòng)作提示模板時(shí)，還可以在第一預(yù)設(shè)動(dòng)作提示模板上方顯示動(dòng)畫標(biāo)識(shí)對(duì)應(yīng)的輪廓形狀，以便于用戶更加真實(shí)的作出相應(yīng)的動(dòng)作。

本實(shí)施例提供的視頻通話裝置，通過(guò)在用戶輸入第一預(yù)設(shè)動(dòng)畫選擇指令后，才會(huì)顯示第一動(dòng)作提示模板，并進(jìn)行后續(xù)的動(dòng)作識(shí)別步驟，從而避免了用戶的誤操作。例如，在用戶A并沒(méi)有向用戶B發(fā)送蛋糕動(dòng)畫的想法時(shí)，而此時(shí)用戶A在視頻通話的過(guò)程中不小心做了雙手托起的動(dòng)作，則系統(tǒng)在為偵測(cè)到第一預(yù)設(shè)動(dòng)畫選擇指令時(shí)，則不會(huì)自動(dòng)向用戶B發(fā)送蛋糕動(dòng)畫，從而有效地避免了誤操作。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，并提高用戶的體驗(yàn)度，基于上述視頻通話裝置的第一或第二實(shí)施例，提出本發(fā)明的第三實(shí)施例。

所述動(dòng)作識(shí)別模塊20還用于繼續(xù)對(duì)所述第一視頻圖像進(jìn)行動(dòng)作識(shí)別；

在本實(shí)施例中，對(duì)第一視頻圖像進(jìn)行動(dòng)作識(shí)別的過(guò)程可以參照上述視頻通話裝置的第一實(shí)施例中的描述，在此不再贅述。

所述動(dòng)作識(shí)別模塊20還用于獲取所述第二終端采集的第二視頻圖像，并對(duì)所述第二視頻圖像進(jìn)行動(dòng)作識(shí)別；

在第一終端與第二終端進(jìn)行視頻通話的過(guò)程中，第二終端將會(huì)向第一終端發(fā)送第二視頻圖像。第一終端接收到第二視頻圖像后，對(duì)第二視頻圖像進(jìn)行動(dòng)作識(shí)別。對(duì)第二視頻圖像進(jìn)行動(dòng)作識(shí)別的過(guò)程可以參照上述視頻通話裝置的第一實(shí)施例中對(duì)第一視頻圖像進(jìn)行動(dòng)作識(shí)別的描述，在此不再贅述。

所述發(fā)送模塊30還用于在基于所述第一視頻圖像的動(dòng)作識(shí)別結(jié)果或基于所述第二視頻圖像的動(dòng)作識(shí)別結(jié)果與第二預(yù)設(shè)動(dòng)作匹配時(shí)，將與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至所述第二終端，以供所述第二終端顯示。

在本實(shí)施例中，第二預(yù)設(shè)動(dòng)作可以根據(jù)實(shí)際需要進(jìn)行設(shè)置。例如，在第一預(yù)設(shè)動(dòng)畫為蛋糕時(shí)，第二預(yù)設(shè)動(dòng)作可以為吹蠟燭的動(dòng)作，第二預(yù)設(shè)動(dòng)畫可以為蛋糕的蠟燭逐漸熄滅的動(dòng)畫。在第一終端的用戶A或第二終端的用戶B任何一方作出吹蠟燭的動(dòng)作時(shí)，則將在第二終端顯示蛋糕的蠟燭逐漸熄滅的動(dòng)畫。

上述將第二預(yù)設(shè)動(dòng)畫和所述第一視頻圖像發(fā)送至所述第二終端，以供所述第二終端顯示的具體實(shí)施方式可以參照上述將第一預(yù)設(shè)動(dòng)畫和第一視頻圖像發(fā)送至第二終端的步驟，即可參照上述方案一和方案二，在此不再贅述。

進(jìn)一步地，為了進(jìn)一步提高視頻通話過(guò)程中顯示動(dòng)畫的靈活性，并提高用戶的體驗(yàn)度，基于上述視頻通話裝置的第三實(shí)施例，提出本發(fā)明的第四實(shí)施例。參照?qǐng)D11，所述視頻通話裝置還包括：

第二確定模塊60，用于確定與所述第一預(yù)設(shè)動(dòng)畫關(guān)聯(lián)的第二預(yù)設(shè)動(dòng)作提示模板；

例如，第一預(yù)設(shè)動(dòng)畫為蛋糕，則第二動(dòng)作提示模板可以為一文字信息，例如“吹蛋糕”的字樣，或者為一吹蛋糕的動(dòng)畫，或者吹蛋糕的形狀輪廓等。

第二顯示模塊70，用于在所述第一終端和/或所述第二終端上顯示所述第二預(yù)設(shè)動(dòng)作提示模板。

可以在其中一個(gè)終端上顯示第二預(yù)設(shè)動(dòng)作提示模板，也可以同時(shí)在第一終端和第二終端上顯示第二預(yù)設(shè)動(dòng)作提示模板，從而在用戶看到第二預(yù)設(shè)動(dòng)作提示模板后，能夠根據(jù)第二預(yù)設(shè)動(dòng)作提示模板準(zhǔn)確的作出相應(yīng)的動(dòng)作，進(jìn)一步提高了用戶的體驗(yàn)度。

需要說(shuō)明的是，在本文中，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者裝置不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者裝置所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過(guò)程、方法、物品或者裝置中還存在另外的相同要素。

上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。