虛擬視頻通話方法和終端的制作方法
【專利摘要】本發(fā)明提出一種虛擬視頻通話方法和終端。其中該方法包括：采集第一終端用戶的視頻圖像；對視頻圖像進(jìn)行面部識別以獲取面部表情信息；將面部表情信息發(fā)送至與第一終端建立通話連接的第二終端，面部表情信息用于使第二終端根據(jù)面部表情信息和預(yù)設(shè)在第二終端的人臉圖像模型合成視頻圖像并顯示。本發(fā)明實(shí)施例的方法，利用面部識別技術(shù)在發(fā)送端（例如，第一終端）提取面部表情信息，在接收端（例如，第二終端）根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模塊實(shí)現(xiàn)人臉圖像的合成和還原，由于傳輸?shù)拿娌勘砬閿?shù)據(jù)量非常小，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限等對視頻通話的影響。
【專利說明】虛擬視頻通話方法和終端
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信【技術(shù)領(lǐng)域】，尤其涉及一種虛擬視頻通話方法和終端。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)寬帶的快速提升以及硬件設(shè)備的發(fā)展和普及，視頻通話的市場也進(jìn)入了發(fā)展的快車道。目前，虛擬視頻通話的主要方法是在發(fā)送端采集圖像，并確定圖像中的面部區(qū)域，對面部區(qū)域內(nèi)的面部特征信息進(jìn)行提取，將提取出來的面部特征信息發(fā)送至接收端，在接收端利用面部特征信息重現(xiàn)對應(yīng)的用戶的面部表情。
[0003]目前存在的缺陷是，由于每個(gè)人的面部特征是不同的，提取的面部特征信息的數(shù)據(jù)依然非常大，并且上述方法還需根據(jù)面部特征信息重建特定對象面部模型(例如，發(fā)送端的用戶的面部模型)。因此可以看出，現(xiàn)有技術(shù)中傳送的視頻數(shù)據(jù)量非常大，消耗了大量數(shù)據(jù)流量，還可造成視頻通話不流暢，不適合帶寬有限的移動(dòng)網(wǎng)絡(luò)或者流量受限的場合，因此嚴(yán)重阻礙了視頻通話的普及和推廣。

【發(fā)明內(nèi)容】

[0004]本發(fā)明旨在至少解決上述技術(shù)問題之一。
[0005]為此，本發(fā)明的第一個(gè)目的在于提出一種虛擬視頻通話方法。該方法大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，提升了用戶體驗(yàn)。
[0006]本發(fā)明的第二個(gè)目的在于提出另一種虛擬視頻通話方法。
[0007]本發(fā)明的第三個(gè)目的在于提出一種終端。
[0008]本發(fā)明的第四個(gè)目的在于提出另一種終端。
[0009]為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例的虛擬視頻通話方法包括:采集第一終端用戶的視頻圖像；對所述視頻圖像進(jìn)行面部識別以獲取面部表情信息；將所述面部表情信息發(fā)送至與所述第一終端建立通話的第二終端，所述面部表情信息用于使所述第二終端根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
[0010]本發(fā)明實(shí)施例的虛擬視頻通話方法，利用面部識別技術(shù)在發(fā)送端(例如，第一終端)提取面部表情信息，在接收端(例如，第二終端)根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾龋蟠蠼档土艘曨l通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建第一終端用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0011]為了實(shí)現(xiàn)上述目的，本發(fā)明第二方面實(shí)施例的虛擬視頻通話方法包括:接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息；根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
[0012]本發(fā)明實(shí)施例的虛擬視頻通話方法，利用面部識別技術(shù)在發(fā)送端(例如，第一終端)提取面部表情信息，在接收端(例如，第二終端)根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建第一終端用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0013]為了實(shí)現(xiàn)上述目的，本發(fā)明第三方面實(shí)施例的終端，包括:采集模塊，用于采集用戶的視頻圖像；識別模塊，用于對所述視頻圖像進(jìn)行面部識別以獲取面部表情信息；發(fā)送模塊，用于將所述面部表情信息發(fā)送至與終端建立通話的第二終端，所述面部表情信息用于使所述第二終端根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
[0014]本發(fā)明實(shí)施例的終端，利用面部識別技術(shù)提取面部表情信息，使與終端建立通話的第二終端根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于傳輸?shù)男畔H限于面部表情信息，又由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0015]為了實(shí)現(xiàn)上述目的，本發(fā)明第四方面實(shí)施例的終端，包括:接收模塊，用于接收與終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息；合成模塊，用于根據(jù)所述面部表情信息和預(yù)設(shè)在所述終端的人臉圖像模型合成視頻圖像并顯示。
[0016]本發(fā)明實(shí)施例的終端，利用面部識別技術(shù)提取面部表情信息，與終端建立通話的第一終端根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在重建人臉圖像模型，只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，易于調(diào)整，使得終端易于調(diào)整。
[0017]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到?！緦＠綀D】

【附圖說明】
[0018]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解，其中，
[0019]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖；
[0020]圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖；
[0021]圖3是根據(jù)本發(fā)明又一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖；
[0022]圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖；
[0023]圖5是根據(jù)本發(fā)明另一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖；以及
[0024]圖6是根據(jù)本發(fā)明又一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0025]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0026]在本發(fā)明的描述中，需要理解的是，術(shù)語“第一”、“第二”等僅用于描述目的，而不能理解為指示或暗示相對重要性。在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。此外，在本發(fā)明的描述中，除非另有說明，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上。
[0027]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬【技術(shù)領(lǐng)域】的技術(shù)人員所理解。
[0028]為了解決在視頻通話時(shí)傳送的視頻數(shù)據(jù)量過大的問題，本發(fā)明提出一種虛擬視頻通話方法和終端。下面參考附圖描述根據(jù)本發(fā)明實(shí)施例的虛擬視頻通話方法和終端。
[0029]一種虛擬視頻通話方法，包括以下步驟:采集第一終端用戶的視頻圖像；對視頻圖像進(jìn)行面部識別以獲取面部表情信息；將面部表情信息發(fā)送至與第一終端建立通話的第二終端，面部表情信息用于使第二終端根據(jù)面部表情信息和預(yù)設(shè)在第二終端的人臉圖像模型合成視頻圖像并顯示。
[0030]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖。
[0031]如圖1所示，虛擬視頻通話方法包括以下步驟:
[0032]S101，采集第一終端用戶的視頻圖像。
[0033]具體地，第一終端可通過自帶或者外設(shè)的攝像頭進(jìn)行拍攝，以采集第一終端用戶的視頻圖像。[0034]S102，對視頻圖像進(jìn)行面部識別以獲取面部表情信息。
[0035]具體地，第一終端可通過現(xiàn)有的多種計(jì)算機(jī)圖像處理技術(shù)對視頻圖像進(jìn)行面部識別以獲取面部表情信息，例如遺傳算法的人臉識別、神經(jīng)網(wǎng)絡(luò)的人臉識別等。面部表情的數(shù)據(jù)量非常小。在后續(xù)的實(shí)施例中將詳細(xì)敘述面部表情的獲取過程。
[0036]S103，將面部表情信息發(fā)送至與第一終端建立通話的第二終端，面部表情信息用于使第二終端根據(jù)面部表情信息和預(yù)設(shè)在第二終端的人臉圖像模型合成視頻圖像并顯示。
[0037]其中，第一終端通過服務(wù)器向第二終端發(fā)送視頻通話請求，或者第二終端通過服務(wù)器向第一終端發(fā)送視頻通話請求。如果第二終端同意了第一終端的視頻通話請求，或者第一終端同意了第二終端的視頻通話請求，服務(wù)器即可建立第一終端和第二終端之間的視頻通話。
[0038]具體地，第一終端可將第一終端用戶的面部表情信息進(jìn)行編碼，形成數(shù)字表達(dá)，并將該面部表情信息通過服務(wù)器建立的視頻通話發(fā)送至第二終端。
[0039]在第一終端將第一終端用戶的面部表情信息發(fā)送至第二終端之后，第二終端可根據(jù)第一終端用戶的面部表情信息和預(yù)設(shè)的人臉圖像模型進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像，并顯示在第二終端的視頻通話界面中。其中，預(yù)設(shè)的人臉圖像模型可為用戶自己設(shè)定的，也可為服務(wù)器默認(rèn)設(shè)定的。此外，第二終端的用戶還可以采用自己的照片或者第一終端用戶的照片和面部表情信息進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像。
[0040]另外，視頻可以看作是一幀一幀的視頻圖像，在第一終端，獲取每幀圖像的面部表情信息，在第二終端，也是每幀圖像進(jìn)行面部表情信息的合成，由此實(shí)現(xiàn)虛擬視頻通話，其中合成過程為現(xiàn)有技術(shù)，在此不在贅述。
[0041]本發(fā)明實(shí)施例的虛擬視頻通話方法，利用面部識別技術(shù)在發(fā)送端(例如，第一終端)提取面部表情信息，在接收端(例如，第二終端)根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建第一終端用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0042]在本方面的一個(gè)實(shí)施例中，對視頻圖像進(jìn)行面部識別以獲取面部表情信息(SPS102)，包括:對視頻圖像進(jìn)行面部識別以獲得面部特征，在面部特征中提取面部表情信息。
[0043]具體地，首先，從視頻圖像中提取面部特征，面部特征可以但不限于包括人臉特征(如眼、鼻、嘴、耳等)的幾何信息，例如，眉毛的位置、嘴巴的角度、眼睛的大小等。應(yīng)當(dāng)理解，還可以通過其他方法獲取面部特征，對于未來新的人臉識別技術(shù)，本實(shí)施例的第一終端都可以使用它對視頻圖像進(jìn)行面部識別，從而獲取面部特征。之后，在面部特征中提取面部表情信息，第一終端可根據(jù)面部特征分析以獲取第一終端用戶的面部表情信息。
[0044]在本方面的一個(gè)實(shí)施例中，面部表情信息包括以下內(nèi)容中的一個(gè)或多個(gè):是否皺眉、嘴巴張開或合上、嘴角的弧度、眼睛睜開或閉上、眼睛的大小、是否有眼淚等。
[0045]另外，面部表情信息主要反映人的情緒信息，例如，通過對眉毛的位置、嘴巴的角度、眼睛的大小等進(jìn)行分析可以獲取用戶的表情是微笑、大笑、大哭、郁悶、興奮或生氣等等。同樣地，可采取現(xiàn)有的多種面部表情信息分析技術(shù)進(jìn)行分析，例如，機(jī)器學(xué)習(xí)算法等，此夕卜，未來具有相似功能的算法，本實(shí)施例的第一終端都可以使用它進(jìn)行面部特征分析以獲取面部表情信息。
[0046]第一終端可將第一終端用戶的面部表情信息進(jìn)行編碼，形成數(shù)字表達(dá)，例如，可以是簡單的幾個(gè)字符且僅占用幾個(gè)比特，如，對“大笑”可以直接發(fā)送字符“D: ”進(jìn)行編碼傳輸?shù)?，?dāng)然編碼方式可以更加豐富，在此僅為了方便理解舉例說明，并將該面部表情信息通過服務(wù)器建立的視頻通話發(fā)送至第二終端。
[0047]需要說明的是，預(yù)設(shè)的人臉圖像模型更是多樣化。在本發(fā)明的一個(gè)實(shí)施例中，預(yù)設(shè)在第二終端的人臉圖像模型包括真實(shí)人臉圖像模型和卡通人臉圖像模型。此外，還可以是第二終端中存儲(chǔ)的照片等。
[0048]為了使得視頻通話過程更加個(gè)性化，提高樂趣性，第二終端用戶可以根據(jù)自己需求選擇喜歡的卡通人臉圖像模型，在本發(fā)明的一個(gè)實(shí)施例中，虛擬視頻通話方法還包括:第二終端向第二終端的用戶提供至少一個(gè)卡通人臉圖像模型；第二終端接收第二終端的用戶選擇的卡通人臉圖像模型，并根據(jù)面部表情信息和選擇的人臉圖像模型進(jìn)行合成并顯示。具體地，在第二終端的用戶根據(jù)自己的需求為第一終端用戶選擇喜歡的卡通人臉圖像模型之后，第二終端接收第二終端的用戶選擇的卡通人臉圖像模型，并根據(jù)第一終端用戶的面部表情信息和第二終端用戶選擇的卡通人臉圖像模型進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像，并顯示在第二終端視頻通話界面中。例如，第一終端用戶的面部表情信息為嘴巴張開、嘴角的弧度很多、眼睛微瞇，此時(shí)第一終端用戶在大笑，第二終端用戶選擇的是超人的人臉圖像模型，第二終端將第一終端用戶的面部表情信息和超人的卡通圖像進(jìn)行合成以重現(xiàn)第一終端用戶的面部表情為大笑的圖像。
[0049]本發(fā)明的實(shí)施例還提出另一種虛擬視頻通話方法。
[0050]圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖。
[0051]如圖2所示，虛擬視頻通話方法包括以下步驟:
[0052]S201，接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息。
[0053]具體地，首先，第一終端通過服務(wù)器向第二終端發(fā)送視頻通話請求，或者第二終端通過服務(wù)器向第一終端發(fā)送視頻通話請求。如果第二終端同意了第一終端的視頻通話請求，或者第一終端同意了第二終端的視頻通話請求，服務(wù)器即可建立第一終端和第二終端之間的視頻通話。
[0054]其中，第一終端可通過自帶或者外設(shè)的攝像頭進(jìn)行拍攝，以采集第一終端用戶的視頻圖像，并可以根據(jù)上述任一項(xiàng)實(shí)施例所述的方法獲取面部表情信息并發(fā)送至第二終端。
[0055]S202，根據(jù)面部表情信息和預(yù)設(shè)在第二終端的人臉圖像模型合成視頻圖像并顯
/j、Ο
[0056]具體地，第二終端可根據(jù)第一終端用戶的面部表情信息和預(yù)設(shè)的人臉圖像模型進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像，并顯示在第二終端的視頻通話界面中。其中，預(yù)設(shè)的人臉圖像模型可為用戶自己設(shè)定的，也可為服務(wù)器默認(rèn)設(shè)定的。此外，第二終端的用戶還可以采用自己的照片或者第一終端用戶的照片顯示作為人臉圖像模型以重現(xiàn)第一終端用戶的面部圖像。
[0057]本發(fā)明實(shí)施例的虛擬視頻通話方法，利用面部識別技術(shù)在發(fā)送端(例如，第一終端)提取面部表情信息，在接收端(例如，第二終端)根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建第一終端用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0058]圖3是根據(jù)本發(fā)明又一個(gè)實(shí)施例的虛擬視頻通話方法的流程圖。
[0059]如圖3所示，虛擬視頻通話方法包括以下步驟:
[0060]S301，接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息。
[0061]S302，選擇真實(shí)的或卡通的人臉圖像模型，選擇的真實(shí)的或卡通的人臉圖像模型用于與面部表情信息合成視頻圖像并顯示。
[0062]具體地，為了使得視頻通話過程更加個(gè)性化，提高樂趣性，第二終端可以向用戶提供多個(gè)真實(shí)的或卡通的人臉圖像模型，例如，多個(gè)卡通人臉圖像模型、或者照片、真實(shí)人臉圖像模型等，第二終端用戶可以根據(jù)自己需求選擇自己喜歡的人臉圖像模型。例如，第一終端用戶的面部表情信息嘴巴張開、嘴角的弧度很多、眼睛微瞇，此時(shí)第一終端用戶在為大笑，第二終端用戶選擇的是超人的人臉圖像模型，第二終端將第一終端用戶的面部表情信息和超人的卡通圖像進(jìn)行合成以重現(xiàn)第一終端用戶的面部表情為大笑的圖像。
[0063]S303，根據(jù)選擇的真實(shí)的或卡通的人臉圖像模型和面部表情信息合成視頻圖像并顯不。
[0064]本發(fā)明實(shí)施例的虛擬視頻通話方法，第二終端的用戶可以選擇真實(shí)的或卡通的人臉圖像模型，并根據(jù)選擇的真實(shí)的或卡通的人臉圖像模型和面部表情信息合成視頻圖像并顯示，增加了趣味性，提升用戶體驗(yàn)。
[0065]在本發(fā)明的實(shí)施例中，為了使得重現(xiàn)的面部圖像更具有真實(shí)性，第二終端可獲取第一終端用戶的真實(shí)人臉圖像模型以進(jìn)行面部表情重現(xiàn)。具體地，第一終端可通過攝像頭拍攝的視頻圖像，并對拍攝的視頻圖像進(jìn)行分析，從而獲取真實(shí)人臉圖像模型，或者第一終端可根據(jù)用戶自己選擇的人臉圖像進(jìn)行分析以獲取真實(shí)人臉圖像模型，無需拍攝，之后發(fā)送至第二終端進(jìn)行存儲(chǔ)。
[0066]另外，第二終端還可以獲取第一終端用戶的人臉圖像，并根據(jù)人臉圖像進(jìn)行分析以獲取真實(shí)人臉圖像模型，即真實(shí)人臉圖像模型可在第二終端中生成。第二終端可根據(jù)第一終端用戶的真實(shí)人臉圖像模型和第一終端用戶的面部表情信息合成第一終端用戶的面部圖像，以重現(xiàn)在第二終端的視頻通話界面中。由此，可使得重現(xiàn)的面部圖像更具有真實(shí)性。
[0067]應(yīng)當(dāng)理解，真實(shí)人臉圖像模型可以只形成一次，發(fā)送至第二終端進(jìn)行存儲(chǔ)，在以后的數(shù)據(jù)發(fā)送過程中只發(fā)送面部表情信息即可。此外，還可以在第二終端中提供選擇按鈕，第二終端用戶可以選擇顯示重現(xiàn)第一終端用戶真實(shí)的面部圖像，還是選擇卡通人臉圖像模型重現(xiàn)面部圖像。更具體地，第二終端的用戶可根據(jù)具體的網(wǎng)絡(luò)環(huán)境和終端性能進(jìn)行選擇，例如，在移動(dòng)終端中可選擇卡通人臉圖像模型，并只發(fā)送面部表情信息實(shí)現(xiàn)視頻通話，在個(gè)人計(jì)算機(jī)中可以選擇真實(shí)人臉圖像模型，增加真實(shí)感。
[0068]本發(fā)明實(shí)施例的虛擬視頻通話方法，可根據(jù)第一終端用戶的真實(shí)人臉圖像模型和面部表情信息重現(xiàn)第一終端用戶的面部圖像，由此使得重現(xiàn)的面部圖像更具有真實(shí)性，此夕卜，真實(shí)人臉圖像模型一次傳輸可多次使用，不需要接收端在通話的過程中實(shí)時(shí)重建真實(shí)人臉圖像模型，簡化了接收端的操作過程，提升了用戶體驗(yàn)。
[0069]為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出一種終端。
[0070]—種終端，包括:采集模塊，用于采集用戶的視頻圖像；識別模塊，用于對視頻圖像進(jìn)行面部識別以獲取面部表情信息；發(fā)送模塊，用于將面部表情信息發(fā)送至與終端建立通話的第二終端，面部表情信息用于使第二終端根據(jù)面部表情信息和預(yù)設(shè)在其他終端的人臉圖像模型合成視頻圖像并顯示。
[0071]圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖。
[0072]如圖4所示，終端包括:采集模塊110、識別模塊120和發(fā)送模塊130。
[0073]具體地，采集模塊110用于采集用戶的視頻圖像。更具體地，采集模塊110可通過終端自帶或者外設(shè)的攝像頭進(jìn)行拍攝，以采集用戶的視頻圖像。
[0074]識別模塊120用于對視頻圖像進(jìn)行面部識別以獲取面部表情信息。更具體地，識別模塊120可通過現(xiàn)有的多種計(jì)算機(jī)圖像處理技術(shù)對視頻圖像進(jìn)行面部識別以獲取面部表情信息，例如遺傳算法的人臉識別、神經(jīng)網(wǎng)絡(luò)的人臉識別等。面部表情信息的數(shù)據(jù)量非常小。在后續(xù)的實(shí)施例中將詳細(xì)敘述面部表情的獲取過程。
[0075]發(fā)送模塊130用于將面部表情信息發(fā)送至與終端建立通話的第二終端，面部表情信息用于使第二終端根據(jù)面部表情信息和預(yù)設(shè)在其他終端的人臉圖像模型合成視頻圖像并顯示。
[0076]其中，終端通過服務(wù)器向第二終端發(fā)送視頻通話請求，或者第二終端通過服務(wù)器向終端發(fā)送視頻通話請求。如果第二終端同意了終端的視頻通話請求，或者終端同意了第二終端的視頻通話請求，服務(wù)器即可建立終端和第二終端之間的視頻通話。
[0077]更具體地，發(fā)送模塊130可將面部表情信息進(jìn)行編碼，形成數(shù)字表達(dá)，并將該面部表情信息通過服務(wù)器建立的視頻通話發(fā)送至第二終端。
[0078]在將面部表情信息發(fā)送至第二終端之后，第二終端可根據(jù)面部表情信息和預(yù)設(shè)的人臉圖像模型進(jìn)行合成以重現(xiàn)終端用戶的面部圖像，并顯示在第二終端的視頻通話界面中。其中，預(yù)設(shè)的人臉圖像模型可為用戶自己設(shè)定的，也可為服務(wù)器默認(rèn)設(shè)定的。此外，第二終端的用戶還可以采用自己的照片或者終端用戶的照片和面部表情信息進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像。
[0079]本發(fā)明實(shí)施例的終端，利用面部識別技術(shù)提取面部表情信息，使與終端建立通話的第二終端根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于傳輸?shù)男畔H限于面部表情信息，又由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾龋蟠蠼档土艘曨l通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在第二終端重建用戶的人臉圖像模型，第二終端只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，使得第二終端易于調(diào)整。
[0080]在本發(fā)明的一個(gè)實(shí)施例中，識別模塊120還用于對視頻圖像進(jìn)行面部識別以獲得面部特征，在面部特征中提取面部表情信息。
[0081]具體地，首先，識別模塊120從視頻圖像中提取的面部特征，面部特征可以但不限于包括人臉特征(如眼、鼻、嘴、耳等)的幾何信息，例如，眉毛的位置、嘴巴的角度、眼睛的大小等。應(yīng)當(dāng)理解，還可以通過其他方法獲取面部特征信息，對于未來新的人臉識別技術(shù)，都可以使用它對視頻圖像進(jìn)行面部識別，從而獲取面部特征信息。之后，識別模塊120在面部特征中提取面部表情信息，識別模塊120可根據(jù)面部特征信息分析以獲取用戶的面部表情信息。
[0082]在本方面的一個(gè)實(shí)施例中，面部表情信息包括以下內(nèi)容中的一個(gè)或多個(gè):是否皺眉、嘴巴張開或合上、嘴角的弧度、眼睛睜開或閉上、眼睛的大小、是否有眼淚等。
[0083]另外，面部表情信息主要反映人的情緒信息，例如，通過對眉毛的位置、嘴巴的角度、眼睛的大小等進(jìn)行分析可以獲取用戶的表情是微笑、大笑、大哭、郁悶、興奮或生氣等等。同樣地，可采取現(xiàn)有的多種面部表情信息分析技術(shù)進(jìn)行分析，例如，機(jī)器學(xué)習(xí)算法等，此夕卜，未來具有相似功能的算法，都可以使用它進(jìn)行面部特征信息分析以獲取面部表情信息。
[0084]在本方面的一個(gè)實(shí)施例中，面部表情信息包括以下內(nèi)容中的一個(gè)或多個(gè):是否皺眉、嘴巴張開或合上、嘴角的弧度、眼睛睜開或閉上、眼睛的大小、是否有眼淚等。
[0085]另外，發(fā)送模塊130可將面部表情信息進(jìn)行編碼，形成數(shù)字表達(dá)，例如，可以是簡單的幾個(gè)字符且僅占用幾個(gè)比特，如，對“大笑”可以直接發(fā)送字符“D: ”進(jìn)行編碼傳輸?shù)?，?dāng)然編碼方式可以更加豐富，在此僅為了方便理解舉例說明，并將該面部表情信息通過服務(wù)器建立的視頻通話發(fā)送至第二終端。
[0086]為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出另一種終端。
[0087]圖5是根據(jù)本發(fā)明另一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖。
[0088]如圖5所示，終端包括:接收模塊210和合成模塊220。
[0089]具體地，接收模塊210用于接收與終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息。合成模塊220用于根據(jù)面部表情信息和預(yù)設(shè)在終端的人臉圖像模型合成視頻圖像并顯示。
[0090]更具體地，合成模塊220可根據(jù)第一終端用戶的面部表情信息和預(yù)設(shè)的人臉圖像模型進(jìn)行合成以重現(xiàn)第一終端用戶的面部圖像，并顯示在終端的視頻通話界面中。其中，預(yù)設(shè)的人臉圖像模型可為用戶自己設(shè)定的，也可為默認(rèn)設(shè)定的。此外，終端的用戶還可以采用自己的照片或者第一終端用戶的照片顯示作為人臉圖像模型以重現(xiàn)第一終端用戶的面部圖像。
[0091]本發(fā)明實(shí)施例的終端，利用面部識別技術(shù)提取面部表情信息，與終端建立通話的第一終端根據(jù)發(fā)送的面部表情信息和預(yù)設(shè)人臉圖像模型實(shí)現(xiàn)人臉圖像簡單的合成和還原，由于在發(fā)送端和接收端傳輸?shù)男畔H限于面部表情信息，并由于該面部表情信息無需合成完整的人臉圖像，所包括的信息量少，編碼之后面部表情信息的數(shù)據(jù)量可僅占用幾個(gè)比特字節(jié)，因此與【背景技術(shù)】傳輸?shù)男畔⑾啾?，大大降低了視頻通話過程中傳送的數(shù)據(jù)量，節(jié)省了數(shù)據(jù)流量，從而使得視頻通話更加流暢，降低了網(wǎng)絡(luò)帶寬有限或者流量受限對視頻通話的影響，特別適合在移動(dòng)網(wǎng)絡(luò)中傳輸，提升了用戶體驗(yàn)。另外，無需在重建人臉圖像模型，只需要根據(jù)面部表情信息在預(yù)設(shè)的人臉圖像模型上顯示對應(yīng)的面部表情即可，易于調(diào)整，使得終端易于調(diào)整。
[0092]圖6是根據(jù)本發(fā)明又一個(gè)實(shí)施例的終端的結(jié)構(gòu)示意圖。
[0093]如圖6所示，在圖5所示的基礎(chǔ)上終端還包括:選擇模塊230。
[0094]具體地，選擇模塊230用于在接收模塊210接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息后，選擇真實(shí)的或卡通的人臉圖像模型，選擇的真實(shí)的或卡通的人臉圖像模型用于與面部表情信息合成視頻圖像并顯示。
[0095]更具體地，為了使得視頻通話過程更加個(gè)性化，提高樂趣性，終端可以向用戶提供多個(gè)真實(shí)的或卡通的人臉圖像模型，例如，可以是多個(gè)卡通人臉圖像模型、或者照片、真實(shí)人臉圖像模型等，用戶可以根據(jù)自己需求選擇自己喜歡的人臉圖像模型。例如，第一終端用戶的面部表情信息為大笑，終端用戶選擇的是超人的人臉圖像模型，終端將第一終端用戶的面部表情信息和超人的卡通圖像進(jìn)行合成以重現(xiàn)其他終端用戶的面部表情為大笑的圖像。
[0096]由此，用戶可以選擇真實(shí)的或卡通的人臉圖像模型，并根據(jù)選擇的真實(shí)的或卡通的人臉圖像模型和面部表情信息合成視頻圖像并顯示，增加了趣味性，提升用戶體驗(yàn)。
[0097]應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如，如果用硬件來實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn):具有用于對數(shù)據(jù)信號實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場可編程門陣列(FPGA)等。
[0098]在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。
[0099]盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解:在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
【權(quán)利要求】
1.一種虛擬視頻通話方法，其特征在于，包括:采集第一終端用戶的視頻圖像；對所述視頻圖像進(jìn)行面部識別以獲取面部表情信息；將所述面部表情信息發(fā)送至與所述第一終端建立通話的第二終端，所述面部表情信息用于使所述第二終端根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述視頻圖像進(jìn)行面部識別以獲取面部表情信息，包括:對所述視頻圖像進(jìn)行面部識別以獲得面部特征，在所述面部特征中提取所述面部表情信息。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述面部表情信息包括以下內(nèi)容中的一個(gè)或多個(gè):是否皺眉、嘴巴張開或合上、嘴角的弧度、眼睛睜開或閉上、眼睛的大小、是否有眼淚。
4.一種虛擬視頻通話方法，其特征在于，包括:接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息；根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息后，還包括:選擇真實(shí)的或卡通的人臉圖像模型，所述選擇的真實(shí)的或卡通的人臉圖像模型用于與所述面部表情信息合成視頻圖像并顯示。
6.一種終端，其特征在于，包括:采集模塊，用于采集用戶的視頻圖像；識別模塊，用于對所述視頻圖像進(jìn)行面部識別以獲取面部表情信息；發(fā)送模塊，用于將所述面部表情信息發(fā)送至與終端建立通話的第二終端，所述面部表情信息用于使所述第二終端根據(jù)所述面部表情信息和預(yù)設(shè)在所述第二終端的人臉圖像模型合成視頻圖像并顯示。
7.根據(jù)權(quán)利要求6所述的終端，其特征在于，所述識別模塊還用于對所述視頻圖像進(jìn)行面部識別以獲得面部特征，在所述面部特征中提取所述面部表情信息。
8.根據(jù)權(quán)利要求6或7所述的終端，其特征在于，所述面部表情信息包括以下內(nèi)容中的一個(gè)或多個(gè):是否皺眉、嘴巴張開或合上、嘴角的弧度、眼睛睜開或閉上、眼睛的大小、是否有眼淚。
9.一種終端，其特征在于，包括:接收模塊，用于接收與終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息；合成模塊，用于根據(jù)所述面部表情信息和預(yù)設(shè)在所述終端的人臉圖像模型合成視頻圖像并顯示。
10.根據(jù)權(quán)利要求9所述的終端，其特征在于，還包括:選擇模塊，用于在所述接收模塊接收與第二終端建立通話的第一終端發(fā)送的視頻圖像的面部表情信息后，選擇真實(shí)的或卡通的人臉圖像模型，所述選擇的真實(shí)的或卡通的人臉圖像模型用于與所述面部表情信息合成視頻圖像并顯示。
【文檔編號】H04N7/14GK103647922SQ201310714667
【公開日】2014年3月19日 申請日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】李剛 申請人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司