本發(fā)明涉及表情識別領(lǐng)域，具體的涉及一種人臉自發(fā)表情的識別方法及系統(tǒng)。

背景技術(shù)：

人臉表情識別(facialexpressionrecognition)是人工智能領(lǐng)域近年來一個(gè)備受關(guān)注的研究方向，它是指利用計(jì)算機(jī)視覺技術(shù)對人臉表情信息進(jìn)行特征提取和表情分類。在人臉表情識別的研究領(lǐng)域中，主要分為兩個(gè)大類：“人為表情識別”和“自發(fā)表情識別”。人為表情(poseexpression)指的是在搜集表情數(shù)據(jù)集時(shí)，在實(shí)驗(yàn)室等特定場景中要求人做出的標(biāo)準(zhǔn)的夸張的表情，而非自發(fā)的表情；自發(fā)表情(spontaneousexpression)指的是自然表現(xiàn)的、無偽裝的表情，它是人們?nèi)粘Ｉ钪凶匀划a(chǎn)生的、復(fù)雜多變的表情。目前，國內(nèi)外對于人臉表情識別的研究大都集中于人為表情識別，并取得了較好的研究成果，而自發(fā)表情識別仍處于起步階段。

為了克服自然環(huán)境下的自發(fā)表情識別中的多噪聲干擾問題，近年來，一些研究者亦做了一些工作，利用高性能的機(jī)器學(xué)習(xí)算法，如深度學(xué)習(xí)、決策森林、svm等，來提高自發(fā)表情的識別效果。隨機(jī)森林(randomforests)有快速高效的決策能力和數(shù)據(jù)處理能力，易于實(shí)現(xiàn)，且具有一定的抗噪能力，可以對全局的人臉特征進(jìn)行識別，但是對悲傷和厭惡等區(qū)分度不高的表情具有一定的局限性。svm多依賴于精確的局部特征訓(xùn)練，對遮擋等噪聲魯棒性不高。深度學(xué)習(xí)的準(zhǔn)確率高，自動(dòng)學(xué)習(xí)特征能力強(qiáng)，但是由于多層網(wǎng)絡(luò)學(xué)習(xí)和反饋，計(jì)算時(shí)間長，多依賴于高性能計(jì)算機(jī)系統(tǒng)和大量的訓(xùn)練集。然而自然環(huán)境中，一方面多噪聲使人臉的局部精確特征難以提取，另一方面現(xiàn)有的自發(fā)表情數(shù)據(jù)集樣本數(shù)量較少，單個(gè)分類器都有各自的不足之處。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種人臉自發(fā)表情的識別方法及系統(tǒng)，可以解決自發(fā)表情中的自動(dòng)特征提取和多噪聲干擾等問題，快速精準(zhǔn)的識別各類自發(fā)表情。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種人臉自發(fā)表情的識別方法，包括以下步驟，

s1，提取圖像中人臉的顯著優(yōu)化深度卷積特征；

s2，估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；

s3，在表情先驗(yàn)條件概率模型確定的頭部姿態(tài)的先驗(yàn)條件下，基于已訓(xùn)練的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)和分類，預(yù)測圖像中人臉的自發(fā)表情的類型。

本發(fā)明的有益效果是：在本發(fā)明一種人臉自發(fā)表情的識別方法中，首先，為了消除自然環(huán)境中人臉遮擋和光照等噪聲影響，提高自發(fā)表情特征的區(qū)分力，在圖像人臉中提取顯著優(yōu)化深度特征；其次，頭部姿態(tài)運(yùn)動(dòng)是自發(fā)表情特有的特征，為了消除頭部姿態(tài)運(yùn)動(dòng)的影響，估計(jì)圖像中的頭部姿態(tài)建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；最后，基于條件深度網(wǎng)絡(luò)增強(qiáng)決策森林分類自發(fā)表情；本發(fā)明的方法可以解決自發(fā)表情中的自動(dòng)特征提取和多噪聲干擾等問題，快速精準(zhǔn)的識別各類自發(fā)表情。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步，s1具體為，

s11，從圖像中獲取人臉區(qū)域；

s12，在所述人臉區(qū)域中隨機(jī)稠密抽取多個(gè)人臉子區(qū)域；

s13，提取每一個(gè)人臉子區(qū)域中的顯著優(yōu)化深度卷積特征。

采用上述進(jìn)一步方案的有益效果是：本發(fā)明中顯著優(yōu)化深度卷積特征提取的步驟簡單。

進(jìn)一步，在s11采用基于haar特征的層級式adaboost算法從圖像中提取人臉區(qū)域。

采用上述進(jìn)一步方案的有益效果是：采用基于haar特征的層級式adaboost算法從圖像中提取人臉區(qū)域，可以提高提取精度。

進(jìn)一步，s13具體為，

s131，通過gbvs算法在每一個(gè)人臉子區(qū)域中提取視覺顯著區(qū)域，并利用relu激活函數(shù)對視覺顯著區(qū)域進(jìn)行優(yōu)化；

s132，通過深度卷積網(wǎng)絡(luò)cnn模型對優(yōu)化后的視覺顯著區(qū)域進(jìn)行顯著優(yōu)化深度卷積特征提取。

采用上述進(jìn)一步方案的有益效果是：深度卷積網(wǎng)絡(luò)cnn模型具體為卷積神經(jīng)網(wǎng)絡(luò)vgg-face的框架，vgg-face是基于百萬張人臉圖片訓(xùn)練的深度卷積網(wǎng)絡(luò)cnn網(wǎng)絡(luò)模型；通過已有的卷積神經(jīng)網(wǎng)絡(luò)vgg-face的框架，遷移學(xué)習(xí)魯棒的顯著優(yōu)化深度特征表達(dá)，通過遷移學(xué)習(xí)模型，基于vgg-face已有的cnn網(wǎng)絡(luò)參數(shù)，可以通過少量表情數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)參數(shù)提取顯著優(yōu)化深度特征。

進(jìn)一步，在s131中，利用relu激活函數(shù)對視覺顯著區(qū)域進(jìn)行優(yōu)化的模型為，

p＝relu(x-mean)

其中，p為優(yōu)化后的視覺顯著區(qū)域，x為優(yōu)化前的視覺顯著區(qū)域，mean為優(yōu)化前的視覺顯著區(qū)域的灰度均值，relu為激活函數(shù)，且

進(jìn)一步，在s132中，顯著優(yōu)化深度卷積特征的表達(dá)式為，

其中，i,j定義為視覺顯著區(qū)域的位置，tanh是hyperbolictangent函數(shù)，b是視覺顯著區(qū)域的矩陣的偏置，為視覺顯著區(qū)域通過第l層卷積層的輸出描述符，且

其中，wi,j,k為視覺顯著區(qū)域在第l層的權(quán)值，dl為第l層卷積層的卷積核長度，s定義為第l-1卷積層的特征圖的數(shù)量。

進(jìn)一步，s2具體為，在不同的頭部姿態(tài)條件下，構(gòu)造多個(gè)先驗(yàn)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林，并將不同的頭部姿態(tài)與多個(gè)先驗(yàn)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林之間建立映射關(guān)系形成表情先驗(yàn)條件概率模型。

采用上述進(jìn)一步方案的有益效果是：表情先驗(yàn)條件概率模型是將頭部姿態(tài)與條件深度網(wǎng)絡(luò)增強(qiáng)決策森林之間建立聯(lián)系，可以校正頭部姿態(tài)運(yùn)動(dòng)對表情分類的影響。

進(jìn)一步，所述表情先驗(yàn)條件概率模型具體為，

p(y|f)＝∫p(y|θ)p(θ|f)dθ

其中，θ為頭部姿態(tài)，y為自發(fā)表情的類別，f為顯著優(yōu)化深度卷積特征。

進(jìn)一步，s3具體為，

s31，在表情先驗(yàn)條件概率模型確定的頭部姿態(tài)的先驗(yàn)條件概率下，利用已訓(xùn)練的對應(yīng)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)條件深度特征表達(dá)，并對表達(dá)后的學(xué)習(xí)條件深度特征進(jìn)行強(qiáng)化；

s32，通過節(jié)點(diǎn)學(xué)習(xí)選擇強(qiáng)化后的學(xué)習(xí)條件深度特征，建立條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的分裂節(jié)點(diǎn)；

s33，通過條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的分裂節(jié)點(diǎn)學(xué)習(xí)和權(quán)重投票決策，確定自發(fā)表情的類型。

采用上述進(jìn)一步方案的有益效果是：條件深度網(wǎng)絡(luò)增強(qiáng)決策森林在有限的數(shù)據(jù)集上達(dá)到大數(shù)據(jù)集的訓(xùn)練效果，可以快速精確的實(shí)現(xiàn)自發(fā)表情識別。

基于上述一種人臉自發(fā)表情的識別方法，本發(fā)明還提供一種人臉自發(fā)表情的識別系統(tǒng)。

一種人臉自發(fā)表情的識別系統(tǒng)，包括顯著優(yōu)化深度卷積特征提取模塊、表情先驗(yàn)條件概率模型生成模塊和條件深度網(wǎng)絡(luò)增強(qiáng)決策森林預(yù)測模塊，

顯著優(yōu)化深度卷積特征提取模塊，其用于提取圖像中人臉的顯著優(yōu)化深度卷積特征；

表情先驗(yàn)條件概率模型生成模塊，其用于估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；

條件深度網(wǎng)絡(luò)增強(qiáng)決策森林預(yù)測模塊，其用于在確定的頭部姿態(tài)的先驗(yàn)條件下，基于已訓(xùn)練的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)和分類，預(yù)測圖像中人臉的自發(fā)表情的類型。

本發(fā)明的有益效果是：在本發(fā)明一種人臉自發(fā)表情的識別系統(tǒng)中，首先，為了消除自然環(huán)境中人臉遮擋和光照等噪聲影響，提高自發(fā)表情特征的區(qū)分力，通過顯著優(yōu)化深度卷積特征提取模塊在圖像人臉中提取顯著優(yōu)化深度特征；其次，頭部姿態(tài)運(yùn)動(dòng)是自發(fā)表情特有的特征，為了消除頭部姿態(tài)運(yùn)動(dòng)的影響，通過表情先驗(yàn)條件概率模型生成模塊估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；最后，基于條件深度網(wǎng)絡(luò)增強(qiáng)決策森林訓(xùn)練模塊分類自發(fā)表情；本發(fā)明的系統(tǒng)可以解決自發(fā)表情中的自動(dòng)特征提取和多噪聲干擾等問題，快速精準(zhǔn)的識別各類自發(fā)表情。

附圖說明

圖1為本發(fā)明一種人臉自發(fā)表情的識別方法的流程圖；

圖2為本發(fā)明一種人臉自發(fā)表情的識別方法中深度卷積網(wǎng)絡(luò)cnn模型；

圖3為本發(fā)明一種人臉自發(fā)表情的識別方法中與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；

圖4為本發(fā)明一種人臉自發(fā)表情的識別方法中條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的算法結(jié)構(gòu)示意圖；

圖5為本發(fā)明一種人臉自發(fā)表情的識別系統(tǒng)的結(jié)構(gòu)框圖。

具體實(shí)施方式

以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

如圖1所示，一種人臉自發(fā)表情的識別方法，包括以下步驟，

s1，提取圖像中人臉的顯著優(yōu)化深度卷積特征；

s2，估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；

s3，在表情先驗(yàn)條件概率模型確定的頭部姿態(tài)的先驗(yàn)條件下，基于條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)和分類，預(yù)測圖像中人臉的自發(fā)表情的類型。

以下為本具體實(shí)施例中對s1、s2和s3進(jìn)行進(jìn)一步的解釋說明：

s1具體包括s11-s13，

s11，從圖像中獲取人臉區(qū)域；其中采用基于haar特征的層級式adaboost算法從圖像中提取人臉區(qū)域。

s12，在所述人臉區(qū)域中隨機(jī)稠密抽取多個(gè)人臉子區(qū)域；本具體實(shí)施例在人臉區(qū)域通過隨機(jī)稠密抽取200個(gè)的人臉子區(qū)域。

s13，提取每一個(gè)人臉子區(qū)域中的顯著優(yōu)化深度卷積特征；

其中s13中提取每一個(gè)人臉子區(qū)域中的顯著優(yōu)化深度卷積特征，如圖2所示，提取的原理為，通過已有的卷積神經(jīng)網(wǎng)絡(luò)vgg-face的框架，遷移學(xué)習(xí)魯棒的顯著優(yōu)化深度特征表達(dá)。vgg-face是基于百萬張人臉圖片訓(xùn)練的深度卷積網(wǎng)絡(luò)cnn模型，包含13個(gè)卷積層，5個(gè)池化層，3個(gè)全連接層，共計(jì)21層；本發(fā)明通過遷移學(xué)習(xí)模型，基于vgg-face已有的cnn網(wǎng)絡(luò)參數(shù)，通過少量表情數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)參數(shù)，在第一層全連接層后提取顯著優(yōu)化深度特征；具體實(shí)現(xiàn)如下s31-s32：

s131，通過gbvs算法在每一個(gè)人臉子區(qū)域中提取視覺顯著區(qū)域(視覺顯著區(qū)域是指人臉子區(qū)域中具有強(qiáng)區(qū)分力和抗噪聲能力的區(qū)域)，并利用relu激活函數(shù)對視覺顯著區(qū)域進(jìn)行優(yōu)化；其中，視覺顯著性區(qū)域是指人臉子區(qū)域中具有強(qiáng)區(qū)分力和抗噪聲能力的區(qū)域。

利用relu激活函數(shù)對視覺顯著區(qū)域進(jìn)行優(yōu)化的模型為，

p＝relu(x-mean)

其中，p為優(yōu)化后的視覺顯著區(qū)域，x為優(yōu)化前的視覺顯著區(qū)域，mean為優(yōu)化前的視覺顯著區(qū)域的灰度均值，relu為激活函數(shù)，且

s132，通過深度卷積網(wǎng)絡(luò)cnn模型對優(yōu)化后的視覺顯著區(qū)域進(jìn)行顯著優(yōu)化深度卷積特征提取；參考facevgg-16網(wǎng)絡(luò)模型，包括5個(gè)卷積層和池化層，3個(gè)全連接層，一個(gè)softmax分類層，通過實(shí)驗(yàn)證明，本發(fā)明選擇第一層全連接層(fc6)作為特征提取層，可以獲得最佳的分類結(jié)果，fc6的特征維度為4096；顯著優(yōu)化深度卷積特征的表達(dá)式為(其具體為基于遷移性學(xué)習(xí)的顯著優(yōu)化深度卷積特征表達(dá)式)，

其中，i,j定義為視覺顯著區(qū)域的位置，tanh是hyperbolictangent函數(shù)(雙曲正切函數(shù))，b是視覺顯著區(qū)域的矩陣的偏置，為視覺顯著區(qū)域通過第l層卷積層的輸出描述符，且

其中，wi,j,k為視覺顯著區(qū)域在第l層的權(quán)值，dl為第l層卷積層的卷積核長度，s定義為第l-1卷積層的特征圖的數(shù)量。

s2具體為：在不同的頭部姿態(tài)條件下，構(gòu)造多個(gè)先驗(yàn)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林，并將不同的頭部姿態(tài)與多個(gè)先驗(yàn)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林之間建立映射關(guān)系形成表情先驗(yàn)條件概率模型。

具體的如圖3所示，在不同的頭部姿態(tài)條件下，構(gòu)造多個(gè)條件深度網(wǎng)絡(luò)增強(qiáng)決策森林，當(dāng)視覺顯著區(qū)域塊樣本p＝{fi,j}進(jìn)行分類測試時(shí)(fi，j是顯著優(yōu)化深度卷積特征)，根據(jù)頭部姿態(tài)估計(jì)先驗(yàn)條件概率選擇相應(yīng)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林識別表情。

所述表情先驗(yàn)條件概率模型(也可以稱為基于頭部姿態(tài)先驗(yàn)條件概率的表情分類模型)具體為，

p(y|f)＝∫p(y|θ)p(θ|f)dθ

其中，θ為頭部姿態(tài)，y為自發(fā)表情的類型，f為顯著優(yōu)化深度卷積特征。

為了獲得p(y|θ)，訓(xùn)練集可分為不同的子集，θ的參數(shù)空間可離散化為不相交的子集ω，公式p(y|f)＝∫p(y|θ)p(θ|f)dθ可轉(zhuǎn)化為：

p(y|f)＝∑i(p(y|ωi)∫p(θ|f)dθ)

其中：p(θ|f)由條件深度網(wǎng)絡(luò)增強(qiáng)決策森林多分類方法獲得，條件概率p(y|ωi)可通過基于不相交的子集ωi訓(xùn)練獲得。

s3具體為：s31，在表情先驗(yàn)條件概率模型確定的頭部姿態(tài)的先驗(yàn)條件概率下，利用已訓(xùn)練的對應(yīng)的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)

學(xué)習(xí)條件深度特征表達(dá)具體為dn(pn,y|ωi)＝σ(fn(pn,y|ωi))，其中，y是自發(fā)表情類別，σ是sigmoid函數(shù)，ωi為頭部姿態(tài)先驗(yàn)條件概率；

條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的訓(xùn)練方法為：在ck+自發(fā)表情數(shù)據(jù)集、lfw人臉數(shù)據(jù)集和bu-3dfe多姿態(tài)自發(fā)表情數(shù)據(jù)集上進(jìn)行。將三個(gè)數(shù)據(jù)集按頭部姿態(tài)的水平旋轉(zhuǎn)角度分為離散的7個(gè)表情訓(xùn)練子集，在不同的子集中基于顯著優(yōu)化深度卷積特征訓(xùn)練表情分類器，得到條件深度網(wǎng)絡(luò)增強(qiáng)決策森林。在本發(fā)明中，數(shù)據(jù)集是提前分為訓(xùn)練集和測試集的，本發(fā)明采用8-交叉驗(yàn)證的方法進(jìn)行測試，80％的數(shù)據(jù)用以訓(xùn)練，20％的數(shù)據(jù)用以測試。

s32，通過節(jié)點(diǎn)學(xué)習(xí)選擇強(qiáng)化后的學(xué)習(xí)條件深度特征，建立條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的分裂節(jié)點(diǎn)；其中，節(jié)點(diǎn)學(xué)習(xí)具體為增強(qiáng)節(jié)點(diǎn)學(xué)習(xí)函數(shù)，分裂節(jié)點(diǎn)包括左子節(jié)點(diǎn)和右子節(jié)點(diǎn)；另外，當(dāng)樹的深度達(dá)到最大或者迭代收斂后，生成決策森林的葉子節(jié)點(diǎn)，反之重復(fù)執(zhí)行s32直至深度達(dá)到最大或者迭代收斂。

s33，通過條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的分裂節(jié)點(diǎn)學(xué)習(xí)和權(quán)重投票決策，確定自發(fā)表情的類型；具體的為，從訓(xùn)練的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的根節(jié)點(diǎn)開始學(xué)習(xí)至葉子節(jié)點(diǎn)，采用權(quán)重稀疏投票算法對葉子節(jié)點(diǎn)上有效的人臉顯著子區(qū)域塊的表情概率進(jìn)行投票，獲得表情類別的概率p(y|ωi)。

下面分層介紹s31-s33，s3采用的主要算法結(jié)構(gòu)如下圖4所示：

條件cnn層：在已估計(jì)的不同頭部姿態(tài)下，對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)條件特征表達(dá){pn＝(fi,j,θi),y}({pn＝(fi,j,θi),y}為一個(gè)特征集合)。其中fi，j是顯著優(yōu)化深度卷積特征，θi為已估計(jì)的頭部姿態(tài)，y是自發(fā)表情類別。

增強(qiáng)聯(lián)合層：基于深度卷積網(wǎng)絡(luò)cnn模型中全聯(lián)接層的聯(lián)接函數(shù)，提出一個(gè)聯(lián)合強(qiáng)化函數(shù)fn，用以強(qiáng)化視覺顯著區(qū)域的學(xué)習(xí)條件特征表達(dá)pn，用強(qiáng)化后的學(xué)習(xí)特征表達(dá)作為條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的節(jié)點(diǎn)特征選擇dn，

dn(pn,y|ωi)＝σ(fn(pn,y|ωi))

其中，y是自發(fā)表情類別，σ是sigmoid函數(shù)，ωi為頭部姿態(tài)條件下的表情子森林。

節(jié)點(diǎn)學(xué)習(xí)層：條件深度網(wǎng)絡(luò)增強(qiáng)決策森林的節(jié)點(diǎn)數(shù)量即為增強(qiáng)聯(lián)合層的輸出數(shù)量。采用信息增益(ig)最大作為節(jié)點(diǎn)學(xué)習(xí)的度量函數(shù)，當(dāng)ig達(dá)到最大時(shí)則學(xué)習(xí)完成，生成節(jié)點(diǎn)；當(dāng)樹的深度達(dá)到最大或者迭代收斂后，生成子節(jié)點(diǎn)，否則繼續(xù)迭代節(jié)點(diǎn)學(xué)習(xí)；其中，l、r分別為節(jié)點(diǎn)特征分裂后的左子節(jié)點(diǎn)和右子節(jié)點(diǎn)，

決策投票層：采用權(quán)重稀疏投票算法對子節(jié)點(diǎn)πl(wèi)上有效的人臉顯著子區(qū)域塊的表情概率進(jìn)行投票，獲得表情類別的概率p(y|ωi)，其中at為森林ωi中的樹，ca為樹的權(quán)值，k為樹的棵樹。

本發(fā)明在ck+自發(fā)表情數(shù)據(jù)集、lfw人臉數(shù)據(jù)集和bu-3dfe多姿態(tài)自發(fā)表情數(shù)據(jù)集上進(jìn)行了訓(xùn)練和預(yù)測。ck+是應(yīng)用最廣的人臉表情數(shù)據(jù)集，它采集了128人的6種表情序列表情，每個(gè)表情包括593張圖片。為了增強(qiáng)數(shù)據(jù)的多樣性，本發(fā)明對ck+數(shù)據(jù)集進(jìn)行人為的遮擋、加高斯和椒鹽噪聲處理。lfw是公共的自然環(huán)境下的人臉數(shù)據(jù)集，它包括了5749人的不同表情、姿態(tài)、環(huán)境、光照等因素，為了進(jìn)行訓(xùn)練和預(yù)測，本發(fā)明對該數(shù)據(jù)庫進(jìn)行6類表情的標(biāo)注。bu-3dfe是一個(gè)公共的多姿態(tài)自發(fā)表情數(shù)據(jù)集，該數(shù)據(jù)集采集了100個(gè)人的不同表情和姿態(tài)的2d和3d圖像，包含不同的年齡，性別等。本發(fā)明采用8-交叉驗(yàn)證的方法進(jìn)行測試，80％的數(shù)據(jù)用以訓(xùn)練，20％的數(shù)據(jù)用以預(yù)測。本發(fā)明在三個(gè)數(shù)據(jù)集上的平均識別率分別為99.6％，86.8％和95.1％?？梢姡景l(fā)明提出的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林，可以在有限的數(shù)據(jù)集上，達(dá)到大數(shù)據(jù)集的訓(xùn)練效果，具有強(qiáng)的抗噪性和區(qū)分力。

基于上述一種人臉自發(fā)表情的識別方法，本發(fā)明還提供一種人臉自發(fā)表情的識別系統(tǒng)。

如圖5所示，一種人臉自發(fā)表情的識別系統(tǒng)，包括顯著優(yōu)化深度卷積特征提取模塊、表情先驗(yàn)條件概率模型生成模塊和條件深度網(wǎng)絡(luò)增強(qiáng)決策森林預(yù)測模塊，

顯著優(yōu)化深度卷積特征提取模塊，其用于提取圖像中人臉的顯著優(yōu)化深度卷積特征；

表情先驗(yàn)條件概率模型生成模塊，其用于估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；

條件深度網(wǎng)絡(luò)增強(qiáng)決策森林預(yù)測模塊，其用于在表情先驗(yàn)條件概率模型確定的頭部姿態(tài)的先驗(yàn)條件下，基于已訓(xùn)練的條件深度網(wǎng)絡(luò)增強(qiáng)決策森林對顯著優(yōu)化深度卷積特征進(jìn)行學(xué)習(xí)和分類，預(yù)測圖像中人臉的自發(fā)表情的類型。

在本發(fā)明一種人臉自發(fā)表情的識別系統(tǒng)中，首先，為了消除自然環(huán)境中人臉遮擋和光照等噪聲影響，提高自發(fā)表情特征的區(qū)分力，通過顯著優(yōu)化深度卷積特征提取模塊在圖像人臉中提取顯著優(yōu)化深度特征；其次，頭部姿態(tài)運(yùn)動(dòng)是自發(fā)表情特有的特征，為了消除頭部姿態(tài)運(yùn)動(dòng)的影響，通過表情先驗(yàn)條件概率模型生成模塊估計(jì)圖像中的頭部姿態(tài)，建立與頭部姿態(tài)相關(guān)的表情先驗(yàn)條件概率模型；最后，基于條件深度網(wǎng)絡(luò)增強(qiáng)決策森林訓(xùn)練模塊分類自發(fā)表情；本發(fā)明的系統(tǒng)可以解決自發(fā)表情中的自動(dòng)特征提取和多噪聲干擾等問題，快速精準(zhǔn)的識別各類自發(fā)表情。

以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。