一種基于人臉識別的視頻通信方法及系統(tǒng)的制作方法
【專利摘要】一種基于人臉識別的視頻通信方法，其包括如下步驟：S1、預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景；S2、通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)到步驟S3；如果沒有檢測到人臉，跳轉(zhuǎn)到步驟S1；S3、對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤；對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別；并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種；S4、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上；跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。
【專利說明】
一種基于人臉識別的視頻通信方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及無線通信技術(shù)領(lǐng)域，特別涉及一種基于人臉識別的視頻通信方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著移動終端的普及、無線網(wǎng)絡(luò)技術(shù)日益成熟，現(xiàn)有的語音通話和短信交流方式已經(jīng)不能滿足人們需求，視頻語音聊天業(yè)務(wù)越來越被人們所青睞。然而，雖然無線互聯(lián)網(wǎng)蓬勃發(fā)展，用戶量與日劇增，但是移動通訊網(wǎng)絡(luò)普及程度仍然不足，移動通訊網(wǎng)絡(luò)速度較慢，費用較高，限制用戶實時視頻聊天應(yīng)用的發(fā)展，此外，移動終端的性能還不高，特別是移動終端攝像頭清晰度不高，也影響視頻聊天業(yè)務(wù)的用戶體驗。
[0003]在現(xiàn)有移動終端即時通訊軟件中，一般都實現(xiàn)了視頻或語音聊天的功能。一般的實現(xiàn)方法是，把麥克風(fēng)和攝像頭錄制語音和視頻，及進(jìn)行音視頻數(shù)據(jù)壓縮同步處理，通過網(wǎng)絡(luò)傳輸后在另一客戶端播放視頻畫面;還有一些采用虛擬攝像頭的方式對視頻圖像進(jìn)行實時轉(zhuǎn)換，通過人臉識別技術(shù)顯示成虛擬形象視頻數(shù)據(jù)，將生成的視頻數(shù)據(jù)通過網(wǎng)絡(luò)傳輸后在另一客戶端播放視頻畫面。
[0004]現(xiàn)有技術(shù)中視頻通信方法，通常僅有雙方攝像頭拍攝的實景頭像信息，即時存在能夠在頭像信息上疊加其他圖片，疊加的效果不佳，并且疊加的圖片事先固定，靈活程度不尚O

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明提出一種基于人臉識別的視頻通信方法及系統(tǒng)。
[0006]—種基于人臉識別的視頻通信方法，其包括如下步驟:
51、預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景；
52、通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，跳轉(zhuǎn)到步驟SI;
53、對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種；
54、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。
[0007]在本發(fā)明所述的基于人臉識別的視頻通信方法中，
所述步驟S2包括:
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息；
加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉； 如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，重復(fù)執(zhí)行步驟S2。
[0008]在本發(fā)明所述的基于人臉識別的視頻通信方法中，
所述步驟S3包括:
531、對檢測到的人臉進(jìn)行預(yù)處理；
532、設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組；
533、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域；
534、對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0009]在本發(fā)明所述的基于人臉識別的視頻通信方法中，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括:
預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾取⒖v向高度、彎曲角度信息的三維數(shù)據(jù)組；
將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型；
獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。
[0010]在本發(fā)明所述的基于人臉識別的視頻通信方法中，
所述步驟S4包括:
建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系；
獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景；
在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。
[0011]本發(fā)明還提供一種基于人臉識別的視頻通信系統(tǒng)，其包括如下單元:
預(yù)存分類單元，用于預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景； 人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉(zhuǎn)執(zhí)行預(yù)存分類單元；
跟蹤識別單元，用于對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種；
渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。
[0012]在本發(fā)明所述的基于人臉識別的視頻通信系統(tǒng)中， 所述人臉檢測單元包括:
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息；
加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉；
如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復(fù)執(zhí)行人臉檢測單
J L ο
[0013]在本發(fā)明所述的基于人臉識別的視頻通信系統(tǒng)中，
所述跟蹤識別單元包括:
預(yù)處理子單元，用于對檢測到的人臉進(jìn)行預(yù)處理；
跟蹤子單元，用于設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組；
區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域；
識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點;根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0014]在本發(fā)明所述的基于人臉識別的視頻通信系統(tǒng)中，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括:
預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾?、縱向高度、彎曲角度信息的三維數(shù)據(jù)組；
將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型；
獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。
[0015]在本發(fā)明所述的基于人臉識別的視頻通信系統(tǒng)中，
所述渲染單元包括:
建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系；
獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景；
在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。
[0016]實施本發(fā)明提供的基于人臉識別的視頻通信方法及系統(tǒng)與現(xiàn)有技術(shù)相比具有以下有益效果:首先預(yù)存了渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景，并且通過人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種，根據(jù)心情狀態(tài)來選擇合適的渲染動態(tài)圖像到人臉上，使得視頻聊天過程中疊加的圖片符合當(dāng)時用戶的心情狀態(tài)，提高用戶體驗;此外，對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別，使得視頻聊天過程中疊加的圖片是實時可變的，靈活性高。
【附圖說明】
[0017]
圖1是本發(fā)明實施例的基于人臉識別的視頻通信方法流程圖；
圖2是圖1中步驟S3的子流程圖；
圖3是本發(fā)明實施例的基于人臉識別的視頻通信系統(tǒng)結(jié)構(gòu)框圖；
圖4是圖3中跟蹤識別單元的結(jié)構(gòu)框圖。
【具體實施方式】
[0018]
如圖1所示，一種基于人臉識別的視頻通信方法，其包括如下步驟:
S1、預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景。
[0019]渲染動態(tài)圖片可以包括各種頭飾、耳釘、腮紅、各種風(fēng)格眼鏡、大哭的特效、頭像上黑線的特效圖片等等。應(yīng)用場景可以劃分為高興場景、憂傷場景以及中立場景。
[0020]S2、通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，跳轉(zhuǎn)到步驟SI。
[0021 ]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信方法中，
所述步驟S2包括:
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息。通過灰度化和直方圖歸一化處理，可以使得人臉特征更為突出。此外，優(yōu)選地，還可以進(jìn)行照度校正和光照校正處理，可以削弱側(cè)面光源對人臉圖像的干擾以及削弱正面光源對人臉圖像的干擾。
[0022]加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征。
[0023]通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉。Adaboost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器(強(qiáng)分類器)。
[0024]如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，重復(fù)執(zhí)行步驟S2。
[0025]S3、對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤；對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別；并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0026]通過對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤，可以實時對用戶此刻心情狀態(tài)信息進(jìn)行跟蹤。
[0027]可選地，如圖2所示，在本發(fā)明實施例所述的基于人臉識別的視頻通信方法中，
所述步驟S3包括:
S31、對檢測到的人臉進(jìn)行預(yù)處理。
[0028]S32、設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組。此外，通過設(shè)置人臉中心位置在水平方向、垂直方向、人臉尺度的變化閾值，限定了人臉跟蹤區(qū)域的范圍。
[0029]S33、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域。通過區(qū)域限制算法能夠降低跟蹤的運(yùn)算量。
[0030]S34、對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別。并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0031]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信方法中，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0032]根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括:
預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾?、縱向高度、彎曲角度信息的三維數(shù)據(jù)組。
[0033]將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型。
[0034]獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)ig息。
[0035]通過實施本實施例，建立心情狀態(tài)判斷模型，能夠?qū)崟r判斷用戶的心理狀態(tài)。進(jìn)而選擇合適的渲染動態(tài)圖像進(jìn)行疊加。比如在判斷為積極情緒時，可以疊加大笑的渲染動態(tài)圖像，將齜壓大笑的渲染動態(tài)圖像替換用戶的牙齒，使得聊天場景生動，用戶體驗度高。在判斷為消極情緒時，可以疊加黑線的渲染動態(tài)圖像，將黑線的渲染動態(tài)圖像疊加用戶的額頭上。
[0036]S4、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。
[0037]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信方法中，
所述步驟S4包括:
建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系。
[0038]獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景。可選地，一種心情狀態(tài)下可以對應(yīng)多組應(yīng)用場景下的圖片信息，并且這些對應(yīng)關(guān)系用戶可靈活設(shè)置。
[0039]在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上；跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。
[0040]如圖3所示，本發(fā)明實施例還提供一種基于人臉識別的視頻通信系統(tǒng)，其包括如下單元:
預(yù)存分類單元，用于預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景。
[0041]人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉(zhuǎn)執(zhí)行預(yù)存分類單元。
[0042]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信系統(tǒng)中，
所述人臉檢測單元包括:
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息。
[0043]加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征。
[0044]通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉。
[0045]如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復(fù)執(zhí)行人臉檢測單元。
[0046]跟蹤識別單元，用于對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點;根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、
中立情緒任一種。
[0047]可選地，如圖4所示，在本發(fā)明實施例所述的基于人臉識別的視頻通信系統(tǒng)中，
所述跟蹤識別單元包括:
預(yù)處理子單元，用于對檢測到的人臉進(jìn)行預(yù)處理。
[0048]跟蹤子單元，用于設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組。
[0049]區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域。
[0050]識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識另Ij;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0051]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信系統(tǒng)中，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0052]根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括:
預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾?、縱向高度、彎曲角度信息的三維數(shù)據(jù)組。
[0053]將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型。
[0054]獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)ig息。
[0055]渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。
[0056]可選地，在本發(fā)明實施例所述的基于人臉識別的視頻通信系統(tǒng)中，
所述渲染單元包括:
建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系。
[0057]獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景。
[0058]在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上；跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。
[0059]實施本發(fā)明提供的基于人臉識別的視頻通信方法及系統(tǒng)與現(xiàn)有技術(shù)相比具有以下有益效果:首先預(yù)存了渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景，并且通過人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種，根據(jù)心情狀態(tài)來選擇合適的渲染動態(tài)圖像到人臉上，使得視頻聊天過程中疊加的圖片符合當(dāng)時用戶的心情狀態(tài)，提高用戶體驗;此外，對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別，使得視頻聊天過程中疊加的圖片是實時可變的，靈活性高。
[0060]上述方法實施例與系統(tǒng)實施例是一一對應(yīng)的，因此，方法實施例的擴(kuò)展也可適用于上述系統(tǒng)實施例。
[0061]結(jié)合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實施。軟件模塊可以置于隨機(jī)儲存器、內(nèi)存、只讀存儲器、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、⑶-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其他形式的存儲介質(zhì)中。
[0062]可以理解的是，對于本領(lǐng)域的普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)構(gòu)思做出其它各種相應(yīng)的改變與變形，而所有這些改變與變形都應(yīng)屬于本發(fā)明權(quán)利要求的保護(hù)范圍。
【主權(quán)項】
1.一種基于人臉識別的視頻通信方法，其包括如下步驟: 51、預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景； 52、通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，跳轉(zhuǎn)到步驟SI; 53、對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種； 54、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。2.根據(jù)權(quán)利要求1所述的基于人臉識別的視頻通信方法，其特征在于， 所述步驟S2包括: 通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息； 加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉； 如果檢測到人臉，跳轉(zhuǎn)到步驟S3;如果沒有檢測到人臉，重復(fù)執(zhí)行步驟S2。3.根據(jù)權(quán)利要求2所述的基于人臉識別的視頻通信方法，其特征在于， 所述步驟S3包括: 531、對檢測到的人臉進(jìn)行預(yù)處理； 532、設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組； 533、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域； 534、對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。4.根據(jù)權(quán)利要求3所述的基于人臉識別的視頻通信方法，其特征在于，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括: 預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾?、縱向高度、彎曲角度信息的三維數(shù)據(jù)組； 將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型； 獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。5.根據(jù)權(quán)利要求4所述的基于人臉識別的視頻通信方法，其特征在于， 所述步驟S4包括: 建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系； 獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景； 在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)到步驟S2直至視頻通信結(jié)束。6.一種基于人臉識別的視頻通信系統(tǒng)，其包括如下單元: 預(yù)存分類單元，用于預(yù)存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應(yīng)用場景；人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉(zhuǎn)執(zhí)行預(yù)存分類單元； 跟蹤識別單元，用于對檢測到的用戶人臉進(jìn)行動態(tài)跟蹤；對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別;并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點；根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種； 渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應(yīng)的應(yīng)用場景，從應(yīng)用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。7.根據(jù)權(quán)利要求6所述的基于人臉識別的視頻通信系統(tǒng)，其特征在于， 所述人臉檢測單元包括: 通過攝像頭獲取視頻圖像信息，對視頻圖像信息進(jìn)行進(jìn)行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息； 加載特征訓(xùn)練文件，特征訓(xùn)練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓(xùn)練文件判斷處理后的視頻圖像信息中是否包括人臉； 如果檢測到人臉，跳轉(zhuǎn)執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復(fù)執(zhí)行人臉檢測單J L ο8.根據(jù)權(quán)利要求7所述的基于人臉識別的視頻通信系統(tǒng)，其特征在于， 所述跟蹤識別單元包括: 預(yù)處理子單元，用于對檢測到的人臉進(jìn)行預(yù)處理； 跟蹤子單元，用于設(shè)置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組； 區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域； 識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進(jìn)行目標(biāo)搜索進(jìn)行人臉識別；并通過利用自適應(yīng)增強(qiáng)分類器AdaBoost檢測人臉關(guān)鍵點;根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。9.根據(jù)權(quán)利要求8所述的基于人臉識別的視頻通信系統(tǒng)，其特征在于，所述人臉關(guān)鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根據(jù)人臉關(guān)鍵點判斷用戶此刻心情狀態(tài)包括: 預(yù)先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應(yīng)的人臉關(guān)鍵點的特征信息，特征信息為包括橫向?qū)挾?、縱向高度、彎曲角度信息的三維數(shù)據(jù)組； 將采樣的特征信息作為BP神經(jīng)網(wǎng)絡(luò)算法的輸入值，通過BP神經(jīng)網(wǎng)絡(luò)對輸入值進(jìn)行訓(xùn)練獲得心情狀態(tài)判斷模型； 獲取檢測的人臉關(guān)鍵點對應(yīng)的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。10.根據(jù)權(quán)利要求9所述的基于人臉識別的視頻通信系統(tǒng)，其特征在于， 所述渲染單元包括: 建立心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系； 獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應(yīng)用場景的映射關(guān)系選擇相應(yīng)的應(yīng)用場景； 在該應(yīng)用場景中隨機(jī)獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關(guān)鍵點上;跳轉(zhuǎn)執(zhí)行人臉檢測單元直至視頻通信結(jié)束。
【文檔編號】H04N7/14GK105847734SQ201610189755
【公開日】2016年8月10日
【申請日】2016年3月30日
【發(fā)明人】徐阿宏, 何異, 楊柳
【申請人】寧波三博電子科技有限公司