本發(fā)明涉及模式識別
技術(shù)領(lǐng)域：
，特別是指一種表情識別方法及系統(tǒng)。
背景技術(shù)：
：表情是人們非語言交流的一種重要方式，包含豐富的情感信息，是情感最主要的載體，是人們理解情感的重要途徑。在人類交往中，除了通過自然語言來傳遞信息外，還可以利用很多其它形體語言如面部表情、身體動作來進行交流，但是，現(xiàn)有的面部表情識別方法存在表情識別精度低的缺陷。圖像的超完備稀疏表示是一種新興的圖像模型，能夠用盡可能簡潔的方式表示圖像，是近年來圖像識別領(lǐng)域新的研究熱點。2003年，在洛杉磯召開的純粹數(shù)學與應(yīng)用數(shù)學(PureandAppliedMathematics)會議上，將的稀疏表示方法統(tǒng)稱為“多尺度幾何分析方法”。與傳統(tǒng)的圖像識別方法相比，稀疏表示方法不僅能夠避免廣義特征值分解帶來的復(fù)雜計算與奇異問題，而且有效地提高了算法的泛化能力。稀疏表示方法是圖像識別領(lǐng)域的新方法，但是，在表情識別中的應(yīng)用尚不多見。技術(shù)實現(xiàn)要素：本發(fā)明要解決的技術(shù)問題是提供一種表情識別方法及系統(tǒng)，以解決現(xiàn)有技術(shù)所存在的面部表情識別方法表情識別精度低的問題。為解決上述技術(shù)問題，本發(fā)明實例提供一種表情識別方法，包括：獲取面部表情圖像作為訓練樣本和測試樣本，并提取所述面部表情圖像的多個面部關(guān)鍵部位；提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征；構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別。進一步地，所述提取所述面部表情圖像的多個面部關(guān)鍵部位之前，還包括：若獲取的所述面部表情圖像為彩色圖像，則對所述面部表情圖像進行灰度歸一化處理；若獲取的所述面部表情圖像包含噪聲，則去除所述面部表情圖像中的噪聲；若獲取的所述面部表情圖像受到光照影響，則對所述面部表情圖像進行光線補償、邊緣提取、熵圖像及灰度歸一化處理；若獲取的所述面部表情圖像經(jīng)過旋轉(zhuǎn)、角度變化處理，則對所述面部表情圖像進行仿射變換。進一步地，所述提取所述面部表情圖像的多個面部關(guān)鍵部位，包括：確定所述面部表情圖像的關(guān)鍵部位特征點的空間坐標，并依據(jù)所述空間坐標提取多個面部關(guān)鍵部位，其中，所述關(guān)鍵部位特征點至少包括：左右瞳孔、鼻尖、嘴角。進一步地，所述提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征包括：設(shè)定不同分辨率下的特征提取參數(shù)，采用二維Gabor小波變換分別提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征，得到所述面部表情圖像和各面部關(guān)鍵部位的多分辨率面部表情特征。進一步地，所述構(gòu)建稀疏分類器對所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行分類之前，還包括：基于空間降維的方法對提取的所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行維數(shù)約簡。進一步地，所述構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類，包括：構(gòu)建基于L1范數(shù)的稀疏分類器，通過下式定義的L1范數(shù)最小化問題求解所述稀疏分類器的稀疏系數(shù)依據(jù)Ax＝y(tǒng)其中，A表示訓練樣本特征向量，x表示訓練樣本對應(yīng)的稀疏系數(shù)，y表示測試樣本，||·||1代表L1范數(shù)；依據(jù)得到的所述稀疏分類器的稀疏系數(shù)計算測試樣本估計值與原值y之間的殘差rk(y)，其中，表示第k類訓練樣本的稀疏系數(shù)向量；確定測試樣本的類別為殘差最小的測試樣本估計值所對應(yīng)的訓練樣本的類別。進一步地，所述構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類，包括：若測試樣本為部分遮擋的面部表情圖像，所述測試樣本的線性組合可表示為：y＝Ax+ey=[AI]xe=Bw]]>構(gòu)建基于L1范數(shù)的稀疏分類器，通過下式定義的L1范數(shù)最小化問題求解所述稀疏分類器的稀疏系數(shù)依據(jù)Bw＝y(tǒng)其中，y表示測試樣本，被遮擋的部分圖像用誤差向量e表示；x表示訓練樣本；A表示訓練樣本對應(yīng)的訓練樣本特征向量；I表示單位矩陣；B表示訓練樣本及單位向量的特征向量，w表示訓練樣本對應(yīng)的稀疏系數(shù)，||·||1代表L1范數(shù)；arg表示元素，argmin表示使||w||1達到最小值時的w的取值為測試樣本估計值與原值之間的殘差ri(y)表示為：其中，y表示測試樣本原值；表示誤差的稀疏系數(shù)向量；表示第i類訓練樣本的稀疏系數(shù)向量；確定測試樣本的類別為殘差最小的測試樣本估計值所對應(yīng)的訓練樣本的類別。測試樣本測試樣本進一步地，所述對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別包括：采用Choquet模糊積分法，結(jié)合測試樣本對表情類別的隸屬度和每個稀疏分類器對訓練樣本集的正確識別率，對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別；所述Choquet模糊積分可以初步定義為：其中，hk(a)表示a屬于第k類的隸屬度，g(·)表示模糊密度，A及a表示稀疏分類器；表示函數(shù)復(fù)合運算；Sup表示上確界，即最小上界；κ表示h函數(shù)在區(qū)間[0,1]上的最小值；a＝{a1，a2，…，an}，Ai及ai表示第i個稀疏分類器，n表示稀疏分類器的數(shù)目，將hk(ai)按非降序排列，hk(a1)≤hk(a2)≤…≤hk(an)，則所述Choquet模糊積分可以定義為：∫Ahk(a)dg(·)=Σi=1n[hk(ai)-hk(ai-1)]g(Ai)]]>其中，g(Ai)和gi表示第i個稀疏分類器的模糊密度，λ是等式的根；模糊密度g1,g2,g3,g4從訓練樣本集中得到，可以表示為：[g1,g2,g3,g4]＝[w1·w2·p1,w1·(1-w2)p2,(1-w1)w2·p3,(1-w1)(1-w2)p4]其中，pi(i＝1,2,3,4)∈[0,1]表示第i個稀疏分類器對訓練樣本集的正確識別率；w1和w2∈[0,1]是兩個權(quán)重因子；隸屬度hk(a)是基于向量夾角的相似度hik：hik=yiTa‾ik||yi||·||a‾ik||]]>其中，yi表示測試樣本y在第i個稀疏分類器中的特征向量，T表示轉(zhuǎn)置，表示第i個分類器中屬于第k類的所有特征向量的平均向量，||·||表示歐氏范數(shù)。本發(fā)明實施例還提供一種表情識別系統(tǒng)，包括：獲取模塊，用于獲取面部表情圖像作為訓練樣本和測試樣本，并提取所述面部表情圖像的多個面部關(guān)鍵部位；提取模塊，用于提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征；分類模塊，用于構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；融合模塊，用于對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別。進一步地，所述系統(tǒng)還包括：降維模塊，用于基于空間降維的方法對提取的所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行維數(shù)約簡。本發(fā)明的上述技術(shù)方案的有益效果如下：上述方案中，通過結(jié)合所述面部表情圖像的全局面部表情特征及各面部關(guān)鍵部位的局部面部表情特征能夠更好的描述面部表情的細節(jié)變化特征；并利用構(gòu)建的稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；再對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別，這樣，能夠提高面部表情的識別精度，且對面部部分遮擋的表情圖像具有較好的魯棒性。附圖說明圖1為本發(fā)明實施例提供的表情識別方法的流程示意圖；圖2為本發(fā)明實施例提供的表情識別方法的詳細流程示意圖；圖3(a)為本發(fā)明實施例提供的對整體面部表情圖像進行分類的正確識別率示意圖；圖3(b)為本發(fā)明實施例提供的對眼部進行分類的正確識別率示意圖；圖3(c)為本發(fā)明實施例提供的對鼻部進行分類的正確識別率示意圖；圖3(d)為本發(fā)明實施例提供的對嘴部進行分類的正確識別率示意圖；圖4為本發(fā)明實施例提供的應(yīng)用決策級融合方法在表情識別中得到的正確識別率的比較示意圖；圖5為本發(fā)明實施例提供的表情識別系統(tǒng)的結(jié)構(gòu)示意圖一；圖6為本發(fā)明實施例提供的表情識別系統(tǒng)的結(jié)構(gòu)示意圖二。具體實施方式為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具體實施例進行詳細描述。本發(fā)明針對現(xiàn)有的面部表情識別方法表情識別精度低的問題，提供一種表情識別方法及系統(tǒng)。實施例一如圖1所示，本發(fā)明實施例提供的一種表情識別方法，包括：步驟101：獲取面部表情圖像作為訓練樣本和測試樣本，并提取所述面部表情圖像的多個面部關(guān)鍵部位；本發(fā)明實施例中，所述面部關(guān)鍵部位也可以稱為圖像塊。步驟102：提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征；步驟103：構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；步驟104：對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別。本發(fā)明實施例所述的表情識別方法，通過結(jié)合所述面部表情圖像的全局面部表情特征及各面部關(guān)鍵部位的局部面部表情特征能夠更好的描述面部表情的細節(jié)變化特征；并利用構(gòu)建的稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；再對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別，這樣，能夠提高面部表情的識別精度，且對面部部分遮擋的表情圖像具有較好的魯棒性。本發(fā)明實施例中，可以預(yù)先通過人臉檢測獲取面部表情圖像，將獲取的所述面部表情圖像作為訓練樣本和測試樣本。其中，獲取的所述面部表情圖像為二維表情圖像，獲取所述面部表情圖像后，首先針對獲取所述面部表情圖像的不同條件，對所述面部表情圖像進行不同的圖像預(yù)處理；具體的：若獲取的所述面部表情圖像為彩色圖像，則進行灰度歸一化處理，轉(zhuǎn)化成灰度圖像后進行分析；若獲取的所述面部表情圖像受到白噪聲、高斯噪聲等噪聲信號的干擾，則采用小波(包)分析、卡爾曼濾波等方法，去除噪聲影響；若獲取的所述面部表情圖像受到光照影響，則采用光線補償、邊緣提取、熵圖像、灰度歸一化等方法，減弱光照不均勻的影響；若獲取的所述面部表情圖像有旋轉(zhuǎn)、角度變化等因素影響，則采用仿射變換消除干擾；若對獲取的所述面部表情圖像的尺寸大小有特殊要求，則采用尺度歸一化方法對圖像大小進行規(guī)范。本發(fā)明實施例中，作為一可選實施例，所述提取所述面部表情圖像的多個面部關(guān)鍵部位，包括：根據(jù)獲取的所述面部表情圖像，確定所述面部表情圖像的關(guān)鍵部位特征點的空間坐標，并依據(jù)所述空間坐標提取多個面部關(guān)鍵部位，用于后續(xù)的面部特征提取，其中，所述關(guān)鍵部位特征點至少包括：左右瞳孔、鼻尖、嘴角。本發(fā)明實施例中，如圖2所示，提取的多個面部關(guān)鍵部位可以包括：眼部、鼻部、嘴部。本發(fā)明實施例中，例如，若測試樣本為面部表情圖像A，可以提取面部表情圖像A的眼部、鼻部、嘴部等面部關(guān)鍵部位，提取的該面部關(guān)鍵部位與原面部表情圖像A都可以稱為測試樣本。本發(fā)明實施例中，作為又一可選實施例，所述提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征包括：設(shè)定不同分辨率下的特征提取參數(shù)，采用二維Gabor小波變換分別提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征，得到所述面部表情圖像和各面部關(guān)鍵部位的多分辨率面部表情特征。本發(fā)明實施例中，Gabor小波變換中的參數(shù)有采樣尺度和采樣方向等，是從頻率域空間中對圖像進行的不同采樣參數(shù)下的分析，采樣參數(shù)不同對應(yīng)的圖像分辨率也有所不同，由此形成了多分辨率的圖像空間。為了更好地理解本發(fā)明，先對Gabor小波變換進行說明：Gabor小波變換因其內(nèi)核高斯(Gaussian)函數(shù)在時間和頻率域中的形式是一致的，因而Gabor函數(shù)具有研究信號不同位置局部性質(zhì)的能力，能夠在空間域和頻率域上都顯示出良好的局部性，同時抓住圖像局部區(qū)域內(nèi)多個方向的空間頻率(尺度)和局部性結(jié)構(gòu)特征。此外，Gabor函數(shù)具備良好時頻域特性和獨特的生物學背景，Gabor函數(shù)可以對脊椎動物大腦的視覺皮層的簡單細胞相應(yīng)進行近似描述。圖像在視覺皮層的表示存在空域和空頻域分量，并且可以將一幅圖像分解為局部對稱和反對稱的基函數(shù)表示，這與Gabor函數(shù)是極度吻合的。采用Gabor小波變換獲得的描述特征，對幾何形變、亮度變化及噪聲影響不敏感。本發(fā)明實施例中，可以采用二維Gabor小波變化分別提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征，其中，使用的二維Gabor濾波器可以定義為一個用高斯包絡(luò)函數(shù)約束的平面波：ψμ,v(z→)=||k→μ,v||2σ2exp(||k→μ,v||2||z→||22σ2)[exp(ik→μ,vz→)-exp(-σ22)]---(1)]]>k→μ,v=kveiφμ---(2)]]>式(1)、(2)中，是圖像像素，i代表虛部；kν＝kmax/fν，φμ＝πμ/8，fν表示頻域中的采樣步長，kmax表示最大的采樣頻率，ν表示采樣的尺度，μ表示采樣的方向；σ表示高斯窗口寬度和波長的比例關(guān)系，即高斯包絡(luò)函數(shù)所影響的震蕩數(shù)目；表示高斯窗口的寬度、振蕩部分的波長和方向。本發(fā)明實施例中，式(1)中的決定了Gabor核的震蕩部分，則為補償直流分量，用以消除核函數(shù)響應(yīng)對圖像亮度絕對值變化的依賴性，以保證不同亮度值構(gòu)成的均勻亮度區(qū)域的響應(yīng)相同。參數(shù)μ和ν決定了高斯包絡(luò)方向和尺度數(shù)，ν描述了不同的高斯窗的波長，從而控制采樣的尺度，或者說采樣頻率；選取不同的μ可以描述振蕩函數(shù)不同的振蕩方向，從而控制采樣的方向。本發(fā)明實施例中，使用的是五個尺度ν∈{0,…,4}和8個方向μ∈{0,…,7}，一共40個Gabor內(nèi)核的Gabor濾波器。根據(jù)經(jīng)驗值，二維Gabor小波參數(shù)設(shè)置為：σ＝2π,kmax＝π/2,時獲得最好的Gabor小波特征描述及識別效果。本發(fā)明實施例中，式(1)定義的Gabor濾波器對圖像的濾波過程則可以通過Gabor濾波器與圖像的卷積來實現(xiàn)：Gμ,v(z)=I(z)*ψμ,v(z→)---(3)]]>式(3)中，I(z)表示二維圖像，z＝(x,y)，x,y分別表示二維圖像的x軸坐標和y軸坐標；*代表卷積運算；Gμ,ν(z)表示經(jīng)過Gabor變換后得到的Gabor特征向量。設(shè)Gμ,ν(z)的幅值和相位分別為Aμ,ν和φμ,ν，則Gμ,ν(z)可以表示為式(4)：Gμ,v(z)=Aμ,viφμ,v---(4)]]>本發(fā)明實施例中，面部表情圖像處理屬于高維數(shù)據(jù)分析，直接對原始面部表情圖像特征進行分析計算復(fù)雜度很高。本發(fā)明實施例中，進一步地，所述構(gòu)建稀疏分類器對所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行分類之前，還包括：基于空間降維的方法對提取的所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行維數(shù)約簡。本發(fā)明實施例中，采用基于空間降維的方法對提取的所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行維數(shù)約簡，能夠在保留原始特征信息的基礎(chǔ)上降低計算復(fù)雜度。本發(fā)明實施例中，若每張表情圖像進行按行和按列的均勻采樣，得到48個采樣點，則每張面部表情圖像和面部關(guān)鍵部位經(jīng)過二維Gabor小波特征提取后，得到48×40＝1920維的特征向量，特征維數(shù)較高，具體的，可以采用基于子空間分析的方法對高維特征向量進行維數(shù)約簡，，能夠在保留原始特征信息的基礎(chǔ)上降低計算復(fù)雜度，還可以進一步提高面部表情特征在分類中的區(qū)分性。本發(fā)明實施例中，可以采用主分量分析(PrincipalComponentAnalysis，PCA)、線性判別分析(LinearDiscriminantAnalysis,LDA)、局部保留映射(localitypreservingprojections,LPP)或其他類似方法對提取的Gabor特征向量進行降維。本發(fā)明實施例中，假設(shè)每幅面部表情圖像xi由m維向量xi＝[xi,1,xi,2,…,xi,m]T表示，T表示轉(zhuǎn)置，N幅面部表情圖像組成數(shù)據(jù)矩陣X＝[x1,x2,…,xN]，則圖像數(shù)據(jù)集可由m×N的數(shù)據(jù)矩陣X表示，X稱為樣本空間。主分量分析的主要思想是尋找重建誤差最小意義下的最優(yōu)子空間。選擇樣本點分布方差大的坐標軸進行投影，降低維數(shù)而使信息量損失最少，這樣就把問題轉(zhuǎn)化為求樣本數(shù)據(jù)協(xié)方差矩陣的特征值問題。PCA是一種理論完善且在算法上可行的線性降維方法，也是最為經(jīng)典的方法之一，但是其有效性建立在假設(shè)數(shù)據(jù)嵌入在全局線性或近似線性的低維子流形上。PCA算法的主要步驟是：1)樣本空間X＝[x1,x2,…,xN]∈Rm×N中的xi進行中心化后表示為其中，表示均值向量，Rm×N表示歐式空間，具體表示m×N維特征空間；2)計算中心化后的圖像數(shù)據(jù)的協(xié)方差矩陣C：C=1NΣi=1Nx~ix~iT---(5)]]>3)計算協(xié)方差矩陣C的特征值λ(λ＝[x1,x2,…,λi,…,xm]T)和特征向量W(W＝[W1,W2,…,Wi,…,Wm]T)：CW＝λW(6)W為特征值λ所對應(yīng)的特征向量，將協(xié)方差矩陣的特征值λi按由大到小的順序進行排序，特征值λi所對應(yīng)的特征向量Wi也按同樣順序排序；4)利用將中心化后的圖像數(shù)據(jù)投影到3)中得到的特征向量W上，得到映射后的數(shù)據(jù)yi。線性判別分析的基本思想是尋找可分性最好的投影方向，可通過最大化類間離散度矩陣和類內(nèi)離散度矩陣的比值得到。LDA的最優(yōu)投影方向Wopt可通過最大化準則函數(shù)得到，即Wopt=argmax|WTSbW||WTSwW|---(7)]]>其中，arg表示元素，argmax表示使達到最大值時的W的取值，Sb表示圖像樣本的類間離散度矩陣，Sw表示圖像樣本的類內(nèi)離散度矩陣。假定樣本集中包含c個模式類，第i個模式類中包含ni幅圖像樣本，即其中，類內(nèi)離散度矩陣和類間離散度矩陣可以分別定義為：Sw=Σi=1cP(ωi)E[(xi-x‾i)(xi-x‾i)T]---(8)]]>Sb=Σi=1cP(ωi)(x‾i-x‾)(x‾i-x‾)T---(9)]]>其中，ωi表示樣本中屬于第i類的這個事件，P(ωi)表示第i類樣本的先驗概率，即樣本中屬于第i類的概率；E(·)表示數(shù)學期望；根據(jù)廣義瑞利(Rayleigh)商的極值性質(zhì)，當Sw可逆時，最優(yōu)投影方向即特征向量W的列向量，可通過下面的廣義特征方程求得SbW＝λSwW(10)局部保留映射算法的主要思想是尋找最優(yōu)投影方向，使得高維樣本空間中局部分布的樣本在投影后的特征空間中仍然保留局部分布特性。通過構(gòu)造拉普拉斯特征映射(LaplacianEigenmap)的線性近似，將樣本空間X＝[x1,x2,…,xN]∈Rm×N投影到一個低維特征空間，從而得到保留局部結(jié)構(gòu)信息的特征子空間Y＝[y1,y2,…,yN]。令f:x→y＝WTx，該線性變換(x→y)通過如下最小化目標函數(shù)得到：minΣij||yi-yj||2Sij---(11)]]>其中，yi、yj分別表示特征子空間Y中的第i個向量和第j個向量；Sij表示權(quán)值矩陣，Sij表示為：其中，xi、xj分別表示特征子空間X中的第i個向量和第j個向量；t表示權(quán)重參數(shù)，Sij表示權(quán)值矩陣中第i行第j列元素；經(jīng)推導(dǎo)最小化目標函數(shù)最終簡化為求解如下廣義特征方程的最小特征值λ所對應(yīng)的特征向量w的問題：XLXTw＝λXDXTw(13)其中，L表示近鄰圖上的拉普拉斯矩陣，L＝D-S，D為對角矩陣，S是對稱矩陣，D是對S按列求和，Dij表示矩陣D中第i行第j列元素，Sij表示矩陣S中第i行第j列元素，j表示S矩陣的第j列。經(jīng)過Gabor小波變換提取的面部表情特征，通過子空間分析方法得到投影矩陣通過線性映射規(guī)則將表情圖像特征向量投影到低維子空間中，即從而得到新的表情圖像特征向量，形成p×N維人臉表情稀疏表征空間，其中，p<m。本發(fā)明實施例中，對于待測試的面部表情圖像(測試樣本)，以m維向量yi表示，則待測的面部表情圖像向量yi可通過進行線性投影，從而得到待測表情圖像縮減后的p維特征向量。本發(fā)明實施例中，與傳統(tǒng)分類器不同，稀疏分類器(sparserepresentation-basedclassifier，SRC)不需要訓練或者說訓練極其簡單，只需要把原始圖像的特征數(shù)據(jù)簡單處理后排列成一個大的矩陣存儲就可以了。稀疏分類器的關(guān)鍵在于L1范數(shù)最小化問題，SRC的主要思想是：從訓練樣本集中選擇最具代表性的訓練樣本表征測試樣本。假設(shè)訓練樣本的特征向量A＝[a1,a2,…,an]，測試樣本y可以表示為訓練樣本的線性組合形式，即y＝x1a1+x2a2+…+xnan＝Ax，其中x＝[x1,x2,…,xn]T∈Rn是稀疏系數(shù)向量，該稀疏系數(shù)向量的多數(shù)元素均為零，非零元素很少，其中，Rn表示n維空間。判斷稀疏系數(shù)向量是否滿足稀疏性的方法是利用L0范數(shù)最小化，但是，L0范數(shù)最小化的求解問題很難，因此采用L1范數(shù)最小化的問題來求解所述稀疏分類器的稀疏系數(shù)其中，L1范數(shù)最小化的問題可定義為：其中，arg表示元素，argmin表示使||x||1達到最小值時的x的取值；A表示訓練樣本的特征向量，x表示稀疏系數(shù)向量，y表示測試樣本，||·||1表示L1范數(shù)，xi表示稀疏系數(shù)向量中的第i個系數(shù)。對于第k類訓練樣本的稀疏系數(shù)向量δk(x)，只有與測試樣本代表性最強的訓練樣本所對應(yīng)的稀疏系數(shù)xk,i才是非零的，即δk(x)＝[0,…,0,xk,1,xk,2,…,xk,nk,0,…,0]。根據(jù)求解得到的稀疏系數(shù)測試樣本可表示為不同類別訓練樣本的線性組合計算測試樣本的估計值與原值y之間的殘差rk(y)，其中，||·||2表示L2范數(shù)，并定義分類規(guī)則d(y)為：d(y)＝argminkrk(y)(15)其中，arg表示元素，argmin表示使rk(y)達到最小值時的k的取值；測試樣本y的類別即為殘差最小的樣本估計值所對應(yīng)的訓練樣本的類別。本發(fā)明實施例中，若獲取到的測試樣本為面部表情圖像A，提取的面部關(guān)鍵部位為的眼部、鼻部、嘴部，將可以將面部表情圖像A和提取的眼部圖像、鼻部圖像、嘴部圖像分別送入各自對應(yīng)的稀疏分類器，從而得到面部表情圖像A及面部表情圖像A對應(yīng)的面部關(guān)鍵部位的表情分類結(jié)果。本發(fā)明實施例中，SRC對面部部分遮擋的面部表情圖像也具有很好的處理效果。對于測試樣本為部分遮擋的面部表情圖像，可將其遮擋部分以誤差向量e表示，則測試樣本的線性組合可表示為y＝Ax+e(16)y=[AI]xe=Bw---(17)]]>其中，被遮擋的部分圖像用誤差向量e表示；x表示訓練樣本；A表示訓練樣本對應(yīng)的訓練樣本特征向量；I表示單位矩陣；稀疏系數(shù)的求解可以通過下面的L1范數(shù)最小化問題求得：其中，B表示訓練樣本及單位向量的特征向量，w表示訓練樣本對應(yīng)的稀疏系數(shù)，y表示測試樣本，||·||1代表L1范數(shù)；arg表示元素，argmin表示使||w||1達到最小值時的w的取值為測試樣本估計值與原值之間的殘差ri(y)表示為：其中，y表示測試樣本原值；表示誤差的稀疏系數(shù)向量；表示第i類訓練樣本的稀疏系數(shù)向量；測試樣本y的類別為殘差最小的樣本估計值所對應(yīng)的訓練樣本的類別即為測試樣本y的預(yù)測類別。本發(fā)明實施例中，如圖2所示，可以采用4個SRC分別對待測的3個面部關(guān)鍵部位和1個面部表情圖像進行表情分類，分別得到所述面部表情圖像和各面部關(guān)鍵部位的表情分類結(jié)果，最終的分類結(jié)果很難由某個稀疏分類器單獨判斷得出，進一步地，可以采用決策級融合方法對不同稀疏分類器的分類結(jié)果進行融合，通過設(shè)定每個稀疏分類器的權(quán)重從而判斷不同表情特征對表情分類的貢獻性，為最終面部表情圖像的分類提供更為精確的分類結(jié)果。本發(fā)明實施例中，可以采用Choquet模糊積分方法對多個稀疏分類器的分類結(jié)果進行決策級融合，Choquet模糊積分方法的基本思想是按照一定策略對單個稀疏分類器的分類結(jié)果進行加權(quán)，同時考慮多個稀疏分類器的分類結(jié)果后，最終確定待測面部表情圖像的表情分類結(jié)果。本發(fā)明實施例中，作為一可選實施例，所述對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別包括：采用Choquet模糊積分法，結(jié)合測試樣本對表情類別的隸屬度和每個稀疏分類器對訓練樣本集的正確識別率，對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別；所述Choquet模糊積分可以初步定義為：其中，hk(a)表示a屬于第k類的隸屬度，g(·)表示模糊密度，A及a表示稀疏分類器；表示函數(shù)復(fù)合運算；Sup表示上確界，即最小上界；κ表示h函數(shù)在區(qū)間[0,1]上的最小值；a＝{a1，a2，…，an}，Ai及ai表示第i個稀疏分類器，n表示稀疏分類器的數(shù)目，將hk(ai)按非降序排列，hk(a1)≤hk(a2)≤…≤hk(an)，則所述Choquet模糊積分可以定義為：∫Ahk(a)dg(·)=Σi=1n[hk(ai)-hk(ai-1)]g(Ai)]]>其中，g(Ai)和gi表示第i個稀疏分類器的模糊密度，λ是等式的根；模糊密度g1,g2,g3,g4從訓練樣本集中得到，可以表示為：[g1,g2,g3,g4]＝[w1·w2·p1,w1·(1-w2)p2,(1-w1)w2·p3,(1-w1)(1-w2)p4]其中，pi(i＝1,2,3,4)∈[0,1]表示第i個稀疏分類器對訓練樣本集的正確識別率；w1和w2∈[0,1]是兩個權(quán)重因子；隸屬度hk(a)是基于向量夾角的相似度hik：hik=yiTa‾ik||yi||·||a‾ik||]]>其中，yi表示測試樣本y在第i個稀疏分類器中的特征向量，T表示轉(zhuǎn)置，表示第i個分類器中屬于第k類的所有特征向量的平均向量，||·||表示歐氏范數(shù)。模糊密度本發(fā)明實施例中，通過利用Choquet模糊積分對四個稀疏分類器進行融合，根據(jù)融合結(jié)果確定所述面部表情圖像的表情類別，可以理解為，最終的表情分類結(jié)果是同時考慮了每個稀疏分類器對樣本的隸屬度和每個稀疏分類器的重要性(即模糊密度)。為了驗證本發(fā)明實施例提供的表情識別方法在人臉面部表情識別中的有效性，將本發(fā)明對正面面部表情圖像以及面部遮擋的表情圖像進行分析，對七類面部表情(憤怒、厭惡、高興、恐懼、悲傷、驚訝、平靜)進行識別。實驗在預(yù)定的表情庫上進行，面部表情圖像被歸一化為統(tǒng)一大小，原始圖像的背景被消除。本發(fā)明實施例給出了不同分類方法對整體面部表情圖像和關(guān)鍵部位進行分類的正確識別率比較示意圖，如圖3(a)-(d)所示，其中，Eigenfaces表示特征臉，F(xiàn)isherfaces表示Fisher臉，Laplacianfaces表示拉普拉斯臉，NMF表示非負矩陣分解(Non-negativeMatrixFactorization，NMF)，稀疏NMF對應(yīng)的曲線表示基于稀疏分類器對整體面部圖像及關(guān)鍵部位塊進行分析的識別精度曲線；以及應(yīng)用決策級融合方法對表情分類精度的提升效果示意圖，如圖4所示。驗證結(jié)果表明，本發(fā)明的方法展示了其優(yōu)越性，且對于部分遮擋的面部表情識別得到了比現(xiàn)有方法更優(yōu)越的識別結(jié)果?？梢姳景l(fā)明實施例提供的表情識別方法可有效提取面部表情特征，并通過全局特征和局部特征的融合、分類器決策融合等很好的提升識別精度和魯棒性。實施例二本發(fā)明還提供一種表情識別系統(tǒng)的具體實施方式，由于本發(fā)明提供的表情識別系統(tǒng)與前述表情識別方法的具體實施方式相對應(yīng)，該表情識別系統(tǒng)可以通過執(zhí)行上述方法具體實施方式中的流程步驟來實現(xiàn)本發(fā)明的目的，因此上述表情識別方法具體實施方式中的解釋說明，也適用于本發(fā)明提供的表情識別系統(tǒng)的具體實施方式，在本發(fā)明以下的具體實施方式中將不再贅述。參看圖5所示，本發(fā)明實施例還提供一種表情識別系統(tǒng)，包括：獲取模塊101，用于獲取面部表情圖像作為訓練樣本和測試樣本，并提取所述面部表情圖像的多個面部關(guān)鍵部位；提取模塊102，用于提取所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征；分類模塊103，用于構(gòu)建稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；融合模塊104，用于對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別。本發(fā)明實施例所述的表情識別系統(tǒng)，通過結(jié)合所述面部表情圖像的全局面部表情特征及各面部關(guān)鍵部位的局部面部表情特征能夠更好的描述面部表情的細節(jié)變化特征；并利用構(gòu)建的稀疏分類器，依據(jù)提取的所述訓練樣本和測試樣本的面部表情特征，對所述測試樣本的面部表情圖像及面部關(guān)鍵部位進行表情分類；再對所述稀疏分類器的表情分類結(jié)果進行融合，根據(jù)融合結(jié)果確定所述測試樣本的表情類別，這樣，能夠提高面部表情的識別精度，且對面部部分遮擋的表情圖像具有較好的魯棒性。在前述表情識別系統(tǒng)的具體實施方式中，進一步地，參看圖6所示，所述系統(tǒng)還包括：降維模塊105，用于基于空間降維的方法對提取的所述面部表情圖像和各面部關(guān)鍵部位的面部表情特征進行維數(shù)約簡。以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。當前第1頁1 2 3