本發(fā)明涉及信號(hào)處理及模式識(shí)別領(lǐng)域，特別是一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法。
背景技術(shù)：
：情感識(shí)別一直是模式識(shí)別領(lǐng)域的熱門話題，它有利于人們的社會(huì)溝通和活動(dòng)。在人們的生活和交往的過(guò)程中，包含各種表達(dá)內(nèi)心情感的方式，然而面部表情和語(yǔ)音是其中最直接、最容易和最具表現(xiàn)力的方式并且容易被研究者們獲取。目前針對(duì)表情或者語(yǔ)音的單模態(tài)的情感識(shí)別技術(shù)已經(jīng)相對(duì)成熟，但因其信息的單一性使得識(shí)別效果往往不夠可靠精確。所以，利用不同性質(zhì)的多模態(tài)特征的相關(guān)性以及互補(bǔ)性實(shí)現(xiàn)更加可靠穩(wěn)定的情感識(shí)別系統(tǒng)值得進(jìn)一步研究。多模態(tài)情感識(shí)別的融合方法包含特征層融合以及決策層融合。前者通過(guò)一定的方法將多種模態(tài)的特征通過(guò)一定的線性或非線性變換形成新特征；后者分別對(duì)多種模態(tài)的特征進(jìn)行訓(xùn)練，分類，得出分類結(jié)果，并在決策層通過(guò)相應(yīng)的加權(quán)模型綜合得出最終的結(jié)果。繼支持向量機(jī)出現(xiàn)后，核方法得到了廣泛的關(guān)注，相繼出現(xiàn)了核主成分分析(KPCA)、核判別分析(KDA)以及核典型相關(guān)分析(KCCA)等。盡管這些方法在包括多模態(tài)情感識(shí)別在內(nèi)的眾多領(lǐng)域得到了廣泛的應(yīng)用，但其終究是基于單個(gè)特征空間的單核方法。面對(duì)多種模態(tài)的情感特征，使用單個(gè)核函數(shù)無(wú)法解決特征空間分布不均以及特征冗余的問(wèn)題，并且，不同的核函數(shù)性質(zhì)不一樣，在運(yùn)用不同核函數(shù)時(shí)得到的效果往往差別很大，由此出現(xiàn)了多核學(xué)習(xí)，在以往的多核學(xué)習(xí)應(yīng)用中，往往是給予不同特征不一樣的核函數(shù)再加以訓(xùn)練得到核函數(shù)對(duì)應(yīng)的權(quán)值實(shí)現(xiàn)特征融合，仍舊需要考慮不同特征所需要選擇的核函數(shù)的種類以及參數(shù)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)的不足而提供一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法，從視頻中提取面部表情圖像和人們說(shuō)話的語(yǔ)音信息，提取相應(yīng)的特征，并對(duì)多種特征進(jìn)行處理，分別創(chuàng)建不同的核函數(shù)形成相應(yīng)的核矩陣，將多模態(tài)特征進(jìn)行融合，運(yùn)用多核學(xué)習(xí)結(jié)合支持向量機(jī)進(jìn)行訓(xùn)練和識(shí)別，獲得更準(zhǔn)確可靠的識(shí)別效果。本發(fā)明為解決上述技術(shù)問(wèn)題采用以下技術(shù)方案：根據(jù)本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法，包含以下步驟：步驟一、構(gòu)建一個(gè)多模態(tài)情感數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)的總樣本數(shù)為N，對(duì)于數(shù)據(jù)庫(kù)中的每一個(gè)樣本，提取其L種不同模態(tài)的情感特征；步驟二、從步驟一構(gòu)建的多模態(tài)情感數(shù)據(jù)庫(kù)中隨機(jī)選取n個(gè)樣本作為訓(xùn)練樣本，n＜N,采用M個(gè)不同種類不同參數(shù)的基礎(chǔ)核函數(shù)，對(duì)每一種模態(tài)的情感特征分別構(gòu)建M個(gè)核矩陣，每個(gè)核矩陣大小為n×n；步驟三、將不同模態(tài)特征的核矩陣進(jìn)行融合，每種模態(tài)特征均有M個(gè)核矩陣，用其各自的第m個(gè)核矩陣的元素進(jìn)行模態(tài)間加權(quán)和融合或乘法融合，得到第m個(gè)融合后的核矩陣Km第i行第j列的元素Km(xi,xj)，Km(xi,xj)即代表xi和xj兩個(gè)樣本特征的第m個(gè)模態(tài)間融合核；其中，i＝1,2,3,…,n，j＝1,2,3,…,n，m＝1,2,3,…,M；步驟四、利用步驟三中所產(chǎn)生的M個(gè)模態(tài)間融合核的線性組合構(gòu)建成一個(gè)新的核，采用該新的核代替支持向量機(jī)分類器中的單個(gè)基礎(chǔ)核；步驟五、利用多核學(xué)習(xí)算法訓(xùn)練支持向量機(jī)，得到多核的最優(yōu)融合權(quán)值、多核支持向量機(jī)的決策判別函數(shù)；步驟六、通過(guò)計(jì)算測(cè)試樣本的基礎(chǔ)核矩陣，再根據(jù)步驟三中所采用的模態(tài)間的融合方法得到測(cè)試樣本的模態(tài)間融合核，再而通過(guò)步驟五中訓(xùn)練得到的最優(yōu)融合權(quán)值計(jì)算出最終融合核，并將該最終融合核代入步驟五得到的決策判別函數(shù)中，采用一對(duì)多或一對(duì)一的多分類SVM判別方法識(shí)別情感。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟一中的情感特征為表情特征、語(yǔ)音特征和生理特征。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟二中對(duì)每一種模態(tài)的情感特征分別構(gòu)建M個(gè)核矩陣，第l種模態(tài)特征的第m個(gè)核矩陣表示為其中，vl(xi)為第i個(gè)訓(xùn)練樣本xi的第l種模態(tài)的情感特征，vl(xj)為第j個(gè)訓(xùn)練樣本xj的第l種模態(tài)的情感特征，為第i個(gè)和第j個(gè)樣本第l種模態(tài)特征利用第m個(gè)核函數(shù)計(jì)算所得的核，l＝1,2,3,…,L。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，M1+M2＝M，M1為不同參數(shù)的高斯核函數(shù)個(gè)數(shù)，M2為不同參數(shù)的多項(xiàng)式核函數(shù)個(gè)數(shù)。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟三中加權(quán)和融合的方法如下：Km(xi,xj)=ω1Km1(v1(xi),v1(xj))+ω2Km2(v2(xi),v2(xj))+...+ωLKmL(vL(xi),vL(xj))]]>其中，ω1…ωL的取值為滿足ω1+ω2+…+ωL＝1的一組自定義的數(shù)值。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟三中乘法融合的方法如下：Km(xi,xj)=Km1(v1(xi),v1(xj))×Km2(v2(xi),v2(xj))×...×KmL(vL(xi),vL(xj)).]]>作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟四中新的核K(xi,xj)具體如下：K(xi,xj)=Σm=1MβmKm(xi,xj)]]>Σm=1Mβm=1,βm>0,∀m;]]>其中，βm為第m個(gè)模態(tài)間融合核前的融合權(quán)值。作為本發(fā)明所述的一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法進(jìn)一步優(yōu)化方案，步驟五中，利用多核學(xué)習(xí)算法訓(xùn)練支持向量機(jī)，優(yōu)化問(wèn)題變?yōu)椋簃in:12Σm=1M1βm||fm||2+CΣi=1nξi]]>s.t.yi(Σm=1Mfm·xi+b)≥1-ξi,∀iξi>0,Σm=1Mβm=1,βm>0,∀m,∀i]]>其中，fm代表分類超平面，C為懲罰系數(shù)，ζi為松弛變量，b為分類超平面的偏移量，yi為樣本標(biāo)簽；通過(guò)求解上式的優(yōu)化問(wèn)題，學(xué)習(xí)訓(xùn)練過(guò)程中得到多核的最優(yōu)融合權(quán)值，最終得到多核支持向量機(jī)的決策判別函數(shù)為:f(x)=sgn(Σi=1nαiyiΣm=1MβmK(x,xi)+b);]]>其中，αi為拉格朗日乘子，K(x,xi)為根據(jù)測(cè)試樣本與第i個(gè)訓(xùn)練樣本特征數(shù)據(jù)以及步驟三中所采用的模態(tài)間的融合方法計(jì)算得到的模態(tài)間融合核。本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：(1)采用多種模態(tài)情感特征進(jìn)行情感識(shí)別；(2)采用特征層融合提高識(shí)別效果；(3)運(yùn)用多核矩陣先進(jìn)行模態(tài)間特征融合，再將其得到的多個(gè)核通過(guò)多核學(xué)習(xí)得到各核對(duì)應(yīng)的權(quán)值，線性組合之后構(gòu)建一個(gè)新的核，運(yùn)用到多分類支持向量機(jī)中進(jìn)行識(shí)別得到更好的效果。附圖說(shuō)明圖1是基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法的流程示意圖；圖2是核矩陣特征融合示意圖；圖3是表情和語(yǔ)音的雙模態(tài)情感識(shí)別流程圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)說(shuō)明：本發(fā)明是一種基于多核學(xué)習(xí)的多模態(tài)情感識(shí)別方法，以表情和語(yǔ)音的雙模態(tài)情感識(shí)別為例，具體流程圖如圖1，圖2是核矩陣特征融合示意圖，圖3是表情和語(yǔ)音的雙模態(tài)情感識(shí)別流程圖。它的實(shí)現(xiàn)有如下步驟：1.處理表情和語(yǔ)音的情感數(shù)據(jù)庫(kù)，獲取表情圖像以及語(yǔ)音信息本發(fā)明實(shí)驗(yàn)基于Enterface’05情感數(shù)據(jù)庫(kù)，選取其中信息全面的42個(gè)短視頻資料作為情感數(shù)據(jù)源，42個(gè)專業(yè)的男女演員，演員們分別表演生氣、惡心、害怕、高興、難過(guò)和驚訝六種基本情緒，并說(shuō)出相對(duì)應(yīng)的臺(tái)詞。每種情緒包含五句臺(tái)詞，也就是說(shuō)，每種情緒有五段短視頻資料。因此，總樣本個(gè)數(shù)為1260個(gè)，每類情緒樣本有210個(gè)。對(duì)這1260個(gè)短視頻資料進(jìn)行圖像和語(yǔ)音的分離，然后對(duì)視頻進(jìn)行分幀轉(zhuǎn)化為圖片，每段視頻選取其中一張圖片作為表情樣本，統(tǒng)一圖像的大小為180*144。因此，最終獲得1260個(gè)表情樣本和語(yǔ)音樣本。2.提取情感特征情感特征的好壞對(duì)后續(xù)的識(shí)別效果造成很大的影響，本發(fā)明采用的是表情和語(yǔ)音兩種表達(dá)最為明顯直接且容易被獲取的兩種模態(tài)特征作為情感特征；(2-1)提取面部表情的Gabor特征：Gabor特征具有良好的空間局部性和方向選擇性，而且對(duì)光照、姿態(tài)具有一定的魯棒性。對(duì)所有表情樣本進(jìn)行預(yù)處理轉(zhuǎn)為灰度圖之后，采用5個(gè)尺度8個(gè)方向的Gabor濾波器對(duì)所有樣本進(jìn)行紋理特征提取，提取的特征為12800維；(2-2)OpenSmile工具箱提取INTERSPEECH2013ComParE語(yǔ)音特征集，特征集中包含各種低層特征描述子和特征統(tǒng)計(jì)函數(shù)共計(jì)6373維；3.情感特征降維與選擇：由于所提取的表情和語(yǔ)音維數(shù)過(guò)大，造成冗余信息過(guò)多，影響識(shí)別的效率，所以需要對(duì)所獲得的特征進(jìn)行特征降維和選擇。(3-1)特征降維意義在于避免維數(shù)災(zāi)難，獲取本質(zhì)的特征，目前在機(jī)器學(xué)習(xí)領(lǐng)域中的四大降維方法分別為主成分分析法(PCA)、線性判別分析法(LDA)、局部線性嵌入(LLE)和拉普拉斯特征映射。本發(fā)明使用PCA對(duì)Gabor面部紋理特征進(jìn)行降維，計(jì)算表情特征矩陣的協(xié)方差矩陣，并將特征值由大到小排列，提取特征值貢獻(xiàn)率之和大于90％的前幾個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成新的特征矩陣，最終表情特征為246維；(3-2)優(yōu)化選擇語(yǔ)音特征，選取包括基頻、梅爾倒譜系數(shù)(MFCC)、幀能量、頻率微擾、振幅微擾等的算數(shù)平均值共計(jì)71維。4.產(chǎn)生多個(gè)核矩陣進(jìn)行融合(4-1)、經(jīng)過(guò)上述步驟，所構(gòu)建的雙模態(tài)情感數(shù)據(jù)庫(kù)，樣本數(shù)為N，表示為{x1,x2,x3,…,xN}，包含六種情感類別，對(duì)于每一個(gè)樣本，對(duì)已經(jīng)提取表情和語(yǔ)音兩種模態(tài)的特征，特征使用v表示，則第r個(gè)樣本的第l種模態(tài)的特征表示為vl(xr)，l＝1,2；r＝1,2,…,N；本發(fā)明采用的核函數(shù)為高斯核函數(shù)和多項(xiàng)式核函數(shù)，其表達(dá)式如下：Krbf(a1,a2)=exp(-||a1-a2||22σ2)---(1)]]>Kploy(a1,a2)＝(＜a1,a2＞+1)d(2)a1,a2表示兩個(gè)樣本數(shù)據(jù)；(4-2)、隨機(jī)選取n個(gè)樣本作為訓(xùn)練樣本，n＜N,采用M個(gè)不同種類不同參數(shù)的基礎(chǔ)核函數(shù)，例如，采用M1個(gè)不同參數(shù)的高斯核函數(shù)和M2個(gè)不同參數(shù)的多項(xiàng)式核函數(shù)，M1+M2＝M，根據(jù)經(jīng)驗(yàn)，設(shè)定高斯核參數(shù)σ＝(0.5,1,2,5,7,10,12,15,17,20)，多項(xiàng)式核參數(shù)d＝(1,2,3)，對(duì)不同模態(tài)的特征分別構(gòu)建了13個(gè)核矩陣，每個(gè)核矩陣大小為n×n，設(shè)第l種模態(tài)特征的第m個(gè)核矩陣為：其中，vl(xi)為第i個(gè)訓(xùn)練樣本xi的第l種模態(tài)的情感特征，vl(xj)為第j個(gè)訓(xùn)練樣本xj的第l種模態(tài)的情感特征，為第i個(gè)和第j個(gè)樣本第l種模態(tài)特征利用第m個(gè)核函數(shù)計(jì)算所得的核，j＝1,2,3,…,n，i＝1,2,3,…,n，m＝1,2,3,…,13；l＝1,2；(4-3)、本實(shí)驗(yàn)中采用將不同模態(tài)特征的核矩陣內(nèi)的核元素進(jìn)行加權(quán)和融合，每種模態(tài)特征均有13個(gè)核矩陣，用其各自的第m個(gè)核矩陣的元素進(jìn)行模態(tài)間融合的公式如下：Km(xi,xj)=ω1Km1(v1(xi),v1(xj))+ω2Km2(v2(xi),v2(xj))ω1+ω2=1m=1,2,3...,13---(4)]]>這里，Km(xi,xj)即為第m個(gè)特征融合后的核矩陣第i行第j列的元素，首先固定一組ω1,ω2的值，將其設(shè)置為0.1-0.9范圍內(nèi)的數(shù)值，根據(jù)最終的識(shí)別結(jié)果可進(jìn)行調(diào)整；(4-4)、利用所產(chǎn)生的M個(gè)模態(tài)間融合核的線性組合構(gòu)建成一個(gè)新的核，即：K(xi,xj)=Σm=1MβmKm(xi,xj)Σm=1Mβm=1,βm>0,∀m---(5)]]>5.利用多核學(xué)習(xí)改善支持向量機(jī)訓(xùn)練與識(shí)別產(chǎn)生的多核支持向量機(jī)的優(yōu)化問(wèn)題變?yōu)椋簃in:12Σm=1M1βm||fm||2+CΣi=1nξis.t.yi(Σm=1Mfm·xi+b)≥1-ξi,∀iξi>0,Σm=1Mβm=1,βm>0,∀m,∀i---(6)]]>其中，fm代表分類超平面，C為懲罰系數(shù)，ζi為松弛變量，b為分類超平面的偏移量，yi為樣本標(biāo)簽；使用拉格朗日乘子法和wolf對(duì)偶對(duì)(6)式的優(yōu)化問(wèn)題進(jìn)行轉(zhuǎn)換，形成相應(yīng)的對(duì)偶問(wèn)題，即：max:Σi=1Nαi-12Σi=1NΣj=1NαiαjyiyjΣm=1MβmKm(xi,xj)s.t.Σi=1Nyiαi=0,C≥αi≥0,∀i---(7)]]>其中，αi，αj為拉格朗日乘子；首先，固定求解相應(yīng)的K(xi,xj)，從而(7)式得優(yōu)化問(wèn)題變?yōu)榭梢允褂肧MO算法求解的QP問(wèn)題，得到αi,αj的最優(yōu)解；因此，根據(jù)其強(qiáng)對(duì)偶條件，目標(biāo)函數(shù)變?yōu)椋篔*(β)=Σi=1Nαi*-12Σi=1NΣj=1Nαi*αj*yiyjΣm=1MβmKm(xi,xj)---(8)]]>αi*,αj*即分別為αi,αj的最優(yōu)解；計(jì)算J*(β)對(duì)βm偏導(dǎo)數(shù)求得可行的梯度下降方向不斷更新βm，上式得最大值的最優(yōu)解等同于原目標(biāo)函數(shù)最小值的最優(yōu)解。因此，最終的多核支持向量機(jī)的決策函數(shù)變?yōu)?f(x)=sgn(Σi=1nαiyiΣm=1MβmK(x,xi)+b)---(9)]]>通過(guò)計(jì)算測(cè)試樣本的基礎(chǔ)核，再根據(jù)求得的最優(yōu)融合權(quán)值計(jì)算得到融合核代入判別函數(shù)中，采用一對(duì)多或一對(duì)一的多分類SVM判別方法識(shí)別生氣、反感、害怕、高興、悲傷和驚訝等基本情感。6.識(shí)別結(jié)果本發(fā)明隨機(jī)選取每類樣本的百分之八十作為訓(xùn)練樣本，即每類訓(xùn)練樣本有168張，剩余42張作為測(cè)試樣本,得到的識(shí)別率如下，表1是不同識(shí)別方法的識(shí)別率對(duì)比：表1從表1可以看出，較單模態(tài)情感識(shí)別，表情和語(yǔ)音的雙模態(tài)情感識(shí)別的識(shí)別效果有一定的提升；采用多核的SVM相較于SVM更是提高了近七個(gè)百分點(diǎn)；然而本發(fā)明在前者的基礎(chǔ)上使用多核矩陣的特征層融合方法，又將結(jié)果提升了近兩個(gè)百分點(diǎn)，比起單模態(tài)的情感識(shí)別，具有十分明顯優(yōu)勢(shì)。本發(fā)明中，每類測(cè)試樣本為42張，識(shí)別結(jié)果的混沌矩陣如表2所示：表2生氣惡心害怕高興難過(guò)驚訝生氣3531111惡心3362100害怕3134130高興0103812難過(guò)0010401驚訝1021236由表2得出識(shí)別率分別為：生氣83.33％，惡心85.71％，害怕80.95％，高興90.48％，難過(guò)95.23％以及驚訝85.71％。本發(fā)明方案所公開的技術(shù)手段不僅限于上述實(shí)施方式所公開的技術(shù)手段，還包括由以上技術(shù)特征任意組合所組成的技術(shù)方案。應(yīng)當(dāng)指出，對(duì)于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)1 2 3