基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法
【專利摘要】本發(fā)明涉及一種基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，對圖像序列預處理，將人類表情樣本的RGB和深度序列分別分割為三維模塊；提取每個三維模塊的LBP-TOP紋理特征；以三維模塊紋理特征為編碼字典訓練樣本，并得到RGB和深度序列的編碼字典B；利用編碼字典B計算得到所有三維模塊紋理特征的RGB和深度稀疏編碼表示；利用匯聚算法將所有稀疏編碼值匯聚統(tǒng)計表示，縮小特征維數(shù)，并合并RGB和深度特征，得到最終人臉表情序列特征；利用PCA算法降維，將降維后的特征輸入CRFs實現(xiàn)樣本訓練；針對測試樣本，依次采用上述步驟處理，投影至訓練樣本PCA空間降維，最終輸入CRFs分類器實現(xiàn)表情識別。
【專利說明】基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法
【技術領域】
[0001]本發(fā)明涉及一種三維動態(tài)人臉表情識別方法，尤其是一種在RGB-D攝像頭(彩色及深度攝像頭，如Kinect)視頻拍攝條件下的人臉表情識別方法。
【背景技術】
[0002]表情是人重要的情感表達方式，因此，人臉表情識別技術是機器理解人類感情的基礎，也是人類對自身情感智能化研究的有效途徑。它不僅可以在諸如智能機器人、遠程醫(yī)療、遠程教育、智能游戲等人機互動的各種應用領域中發(fā)揮作用，還能夠為商業(yè)決策，安全監(jiān)控和輔助醫(yī)療等領域提供有效分析數(shù)據(jù)。
[0003]目前已有的人臉表情識別成果大多基于二維平面圖像研究，在我國也尚未出現(xiàn)針對動態(tài)三維臉部視頻圖像表情識別的研究成果。作為臉部肌肉在三維空間中的一種運動過程，發(fā)掘人臉在深度空間和時間上的變化特征將更有助于提高自然狀態(tài)的臉部表情識別率，推動臉部表情識別算法的實用化。RGB-D傳感器，如Kinect或Intel的Creative SENZ3D攝像頭等的普及，也為基于三維視頻圖像的人臉表情識別算法在人機互動領域的應用提供了條件。最早出現(xiàn)的針對三維視頻圖像的人臉表情識別研究來自于2008年發(fā)表在ECCV(歐洲計算機視覺會議)上L.Yin等人的一片文章“Facial expression recognition basedon 3D dynamic range model sequences”。但該算法采用2D紋理與人工標定的3D臉部特征點信息融合的特征實現(xiàn)表情識別，并沒有提出臉部三維特征的提取方法?；谧詣尤S特征提取識別人臉表情的研究成果出現(xiàn)在2011年，且此后幾年中，有約不到10篇相關研究論文在國際上發(fā)表，其中一些取得了不俗的識別精確率。但以上研究成果均以高分辨率的三維重建視頻為輸入數(shù)據(jù)，而三維重建數(shù)據(jù)的建立需要高分辨率的圖像輸入和復雜的數(shù)據(jù)計算，因此不適用于以普通RGB-D傳感器為視頻媒介的人機互動相關應用。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提出了一種直接基于RGB-D圖像序列提取4D (2D空間+深度+時間)特征的三維動態(tài)人臉表情識別方法，該方法適用于各種正常分辨率(320X240像素大小及以上)的RGB-D圖像輸入,可直接應用于各種基于RGB-D傳感器的人機互動應用。
[0005]本發(fā)明的技術方案是:一種基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其步驟是:
1、針對訓練樣本集，對圖像序列預處理，將人類表情樣本的RGB和深度序列分別分割為一定大小三維模塊，使整個序列中的臉部圖像像素位置一致；
2、提取每個三維模塊的LBP-TOP紋理特征；
3、以三維模塊紋理特征為編碼字典訓練樣本，通過字典初始化和更新流程分別得到RGB和深度序列的編碼字典B ;利用編碼字典B計算得到所有三維模塊紋理特征的RGB和深度稀疏編碼表不;
4、利用匯聚算法將所有稀疏編碼值匯聚統(tǒng)計表示，縮小特征維數(shù)，并合并RGB和深度特征，得到最終人臉表情序列特征；
5、利用PCA算法降維，將降維后的特征輸入條件隨機場模型(CRFs)實現(xiàn)樣本訓練；
6、針對測試樣本，依次采用步驟2-4處理，投影至訓練樣本PCA空間降維，最終輸入條件隨機場模型(CRFs)分類器實現(xiàn)表情識別。
[0006]對圖像序列預處理具體方法是:
首先定位每幀圖像的人眼位置，以雙眼中心點的連接線中點為各幀基準點，采用人臉檢測算法提取第一幀圖像的臉部上邊緣坐標，以第一幀圖像的基準點與臉部上邊緣坐標差值為臉部基準高度，第一幀雙眼與基準點平均距離為臉部基準寬度；此后各幀，在各幀基準點位置確定的基礎上，以基準點垂直上方基準高度處為該幀臉部上邊緣I值，基準點垂直向下兩倍基準高度處為臉部下邊緣y值；基準點水平向左兩倍基準寬度為臉部左側(cè)邊緣X值，同理水平向右兩倍基準寬度為右側(cè)邊緣X值。
[0007]提取每個三維模塊的LBP-TOP紋理特征具體方法是:
將預處理后的RGB圖像和深度圖像劃分為相同個數(shù)的nXn大小，保持當前表情序列長度Τ，則每個圖像序列可分為ηΧηΧΤ大小的三維模塊:
針對二維圖像，若給出位于CU)的像素點，為該點的像素值，則其3X3鄰域空
間中的LBP特征為:
【權(quán)利要求】
1.一種基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，其步驟是: (1)針對訓練樣本集，對圖像序列預處理，將人類表情樣本的RGB和深度序列分別分割為三維模塊，使整個序列中的臉部圖像像素位置一致； (2)提取每個三維模塊的LBP-TOP紋理特征； (3)以三維模塊紋理特征為編碼字典訓練樣本，通過字典初始化和更新流程分別得到RGB和深度序列的編碼字典B ;利用編碼字典B計算得到所有三維模塊紋理特征的RGB和深度稀疏編碼表不; (4)利用匯聚算法將所有稀疏編碼值匯聚統(tǒng)計表示，縮小特征維數(shù)，并合并RGB和深度特征，得到最終人 臉表情序列特征； (5)利用PCA算法降維，將降維后的特征輸入條件隨機場模型(CRFs)實現(xiàn)樣本訓練； (6)針對測試樣本，依次采用步驟2-4處理，投影至訓練樣本PCA空間降維，最終輸入條件隨機場模型(CRFs)分類器實現(xiàn)表情識別。
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，所述對圖像序列預處理具體方法是: 首先定位每幀圖像的人眼位置，以雙眼中心點的連接線中點為各幀基準點，采用人臉檢測算法提取第一幀圖像的臉部上邊緣坐標，以第一幀圖像的基準點與臉部上邊緣坐標差值為臉部基準高度，第一幀雙眼與基準點平均距離為臉部基準寬度；此后各幀，在各幀基準點位置確定的基礎上，以基準點垂直上方基準高度處為該幀臉部上邊緣I值，基準點垂直向下兩倍基準高度處為臉部下邊緣y值；基準點水平向左兩倍基準寬度為臉部左側(cè)邊緣X值，同理水平向右兩倍基準寬度為右側(cè)邊緣X值。
3.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，所述提取每個三維模塊的LBP-TOP紋理特征具體方法是: 將預處理后的RGB圖像和深度圖像劃分為相同個數(shù)的nXn大小，保持當前表情序列長度Τ，則每個圖像序列可分為ηΧηΧΤ大小的三維模塊: 針對二維圖像，若給出位于的像素點，為該點的像素值，則其3X3鄰域空間中的LBP特征為:

4.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，所述以三維模塊紋理特征為編碼字典訓練樣本，通過字典初始化和更新流程分別得到RGB和深度序列的編碼字典B，利用編碼字典B計算得到所有三維模塊紋理特征的RGB和深度稀疏編碼表示具體方法: 首先，以所有三維模塊4D紋理特征為特征訓練樣本集，采用k-均值聚類初始化編碼字典B，再對編碼字典B進行優(yōu)化，從全部特征訓練樣本集中隨機取部分樣本，采用循環(huán)方式進行字典優(yōu)化；設字典$ =該卜.ΛAJ,由此得到的稀疏編碼為C =..,?,...,?} , Vi指某一三維模塊紋理特征，按照如下公式計算:
5.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，所述利用匯聚算法將所有稀疏編碼值匯聚統(tǒng)計表示，縮小特征維數(shù)，并合并RGB和深度特征，得到最終人臉表情序列特征的具體方法: 將提取特征時分割得到的三維模塊分組匯聚，組成金字塔式單元，以每一個單元中的稀疏編碼最大值表示該單元特征值:圖像長軸劃分個數(shù)X圖像寬軸劃分個數(shù)X時間軸劃分個數(shù)，每個單元Q的特征值F (Q)計算公式為:
6.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)性稀疏特征學習的三維動態(tài)人臉表情識別方法，其特征在于，所述輸入條件隨機場模型(CRFs)分類器實現(xiàn)表情識別具體方法: 以每一個表情樣本的觀察特征力其類別標簽為T ,則每一個樣本特怔'力表征樣本紋理和形態(tài)特征的隨機變量，對應CRF中一個輸入節(jié)點；而每一個對應表怔表情類型的隨機變量，為輸出節(jié)點；采用線性鏈式結(jié)構(gòu)的CRFs模型為:
【文檔編號】G06K9/66GK103971137SQ201410189169
【公開日】2014年8月6日 申請日期:2014年5月7日 優(yōu)先權(quán)日:2014年5月7日
【發(fā)明者】邵潔 申請人:上海電力學院