本發(fā)明涉及機(jī)器學(xué)習(xí)和模式識別
技術(shù)領(lǐng)域：
，尤其涉及一種基于光流和FisherVector編碼的微表情識別方法。
背景技術(shù)：
：人類的面部表情研究起源于19世紀(jì)。最近，國外學(xué)者Ekman和Erika進(jìn)行了面部測繪行為的研究，驗(yàn)證了微表情(microexpression)可提供更全面的隱蔽情感信息。與宏觀表情不同，微表情是一種持續(xù)時(shí)間段、強(qiáng)度小的快速表情。雖然持續(xù)時(shí)間短，但是微表情更能揭露人內(nèi)心的真實(shí)情感，為判斷人的內(nèi)在精神狀態(tài)提供可靠的依據(jù)，因此其在司法系統(tǒng)、臨床診斷等方面有著重要應(yīng)用。在國外，微表情的研究起步較早，不僅提出、定義了微表情，而且已將微表情的研究成果應(yīng)用于司法機(jī)關(guān)診斷案情、商業(yè)談判、心理咨詢等領(lǐng)域。在國內(nèi)，微表情的研究起步較晚。傅小蘭教授主持的2011－2013年國家自然科學(xué)基金面上項(xiàng)目“面向自動(dòng)謊言識別的微表情表達(dá)研究”，推動(dòng)了國內(nèi)對于微表情研究的發(fā)展。然而，現(xiàn)有的微表情識別方法存在魯棒性差、容易受噪聲干擾、識別率低等問題。鑒于此，亟需一種新的微表情識別方法，以降低局部噪聲的影響，提高微表情特征的魯棒性和微表情識別的識別率。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于提出一種新的微表情識別方法，以能更加充分地表示微表情特征，降低了局部噪聲的影響，提高了微表情特征的魯棒性，進(jìn)而提高了微表情識別的識別率。本發(fā)明提供了一種基于光流和FisherVector編碼的微表情識別方法，包括：步驟S1、對測試樣本中的微表情圖像序列進(jìn)行HOF特征提取，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}；步驟S2、對第一特征數(shù)據(jù)X進(jìn)行FisherVector編碼，獲取第二特征數(shù)據(jù)F；步驟S3、基于預(yù)先訓(xùn)練得到的分類器對第二特征數(shù)據(jù)F進(jìn)行識別。優(yōu)選的，步驟S1包括：S11、計(jì)算微表情圖像序列中相鄰兩幀圖像之間的光流；S12、進(jìn)行光流對齊；S13、將微表情圖像序列劃分成R個(gè)時(shí)空子塊，并且對每個(gè)時(shí)空子塊的光流方向進(jìn)行加權(quán)統(tǒng)計(jì)，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}，其中，為第r個(gè)時(shí)空子塊的光流方向加權(quán)直方圖向量。優(yōu)選的，步驟S2包括：S21、利用高斯混合模型逼近第一特征數(shù)據(jù)X的分布；式中，pk(xr|λ)是第k個(gè)高斯分布的概率密度函數(shù)，p(xr|λ)是第一特征數(shù)據(jù)X中的向量xr的分布；S22、根據(jù)EM算法估計(jì)高斯混合模型中的參數(shù)λ，λ＝{wk,μk,Σk,k＝1,2,...,K}；其中，wk為第k個(gè)高斯分布的組合系數(shù)，且wk≥0，∑wk＝1，μk為第k個(gè)高斯分布的均值向量，Σk為第k個(gè)高斯分布的協(xié)方差矩陣，且Σk滿足：S23、根據(jù)估計(jì)的參數(shù)λ計(jì)算第一特征數(shù)據(jù)的FisherVector編碼向量獲取第二特征數(shù)據(jù)F；式中，γr(k)為向量xr由第k個(gè)高斯分布生成的概率，且γr(k)滿足：優(yōu)選的，在步驟S11之前，步驟S1還包括：S10、對微表情圖像序列進(jìn)行結(jié)構(gòu)紋理分解，保留圖像的紋理分量。優(yōu)選的，在步驟S10中，根據(jù)以下公式對微表情圖像序列進(jìn)行結(jié)構(gòu)紋理分解，式中，表示待處理的灰度圖像，表示圖像的紋理部分，表示待處理的圖像的結(jié)構(gòu)部分，Ω表示整幅圖像的像素所在位置坐標(biāo)的集合，θ為調(diào)節(jié)系數(shù)。優(yōu)選的，所述進(jìn)行光流對齊包括：根據(jù)如下公式計(jì)算x方向上光流分量的補(bǔ)償量以及y方向上光流分量的補(bǔ)償量式中，Φ(A)表示矩陣A中等于0的元素的個(gè)數(shù)，I表示全一矩陣；根據(jù)如下公式計(jì)算矯正后的光流分量矩陣；式中，為矯正后x方向上的光流分量矩陣，為矯正后y方向上的光流分量矩陣，Ut為矯正前x方向上的光流分量矩陣，Vt為矯正前y方向上的光流分量矩陣。優(yōu)選的，所述進(jìn)行光流對齊包括：根據(jù)如下公式計(jì)算x方向上光流分量的補(bǔ)償量以及y方向上光流分量的補(bǔ)償量式中，表示光流分量矩陣Ut中元素大小的統(tǒng)計(jì)直方圖、表示光流分量直方圖Vt中元素大小的統(tǒng)計(jì)直方圖，u、v表示統(tǒng)計(jì)直方圖中各組取值范圍的中值；根據(jù)如下公式計(jì)算矯正后的光流分量矩陣；式中，為矯正后x方向上的光流分量矩陣，為矯正后y方向上的光流分量矩陣，Ut為矯正前x方向上的光流分量矩陣，Vt為矯正前y方向上的光流分量矩陣。優(yōu)選的，所述分類器的訓(xùn)練過程包括如下步驟：對訓(xùn)練樣本中的微表情圖像序列進(jìn)行HOF特征提取，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}；對第一特征數(shù)據(jù)X進(jìn)行FisherVector編碼，獲取第二特征數(shù)據(jù)F；基于第二特征數(shù)據(jù)F訓(xùn)練分類器。優(yōu)選的，所述分類器為徑向基函數(shù)支持向量機(jī)。從以上技術(shù)方案可以看出，本發(fā)明通過使用光流特征描述微表情的微弱運(yùn)動(dòng)，并使用FisherVector對光流特征進(jìn)行編碼，進(jìn)一步提取了期望信息和方差信息，因此能更加充分地表示微表情特征，降低了局部噪聲的影響，提高了微表情特征的魯棒性，進(jìn)而提高了微表情識別的識別率。附圖說明通過以下參照附圖而提供的具體實(shí)施方式部分，本發(fā)明的特征和優(yōu)點(diǎn)將變得更加容易理解，在附圖中：圖1是本發(fā)明實(shí)施例的微表情識別方法的流程示意圖；圖2是圖1所示流程中步驟S1的一種實(shí)現(xiàn)方法的流程示意圖；圖3是對原始圖片進(jìn)行結(jié)構(gòu)紋理分解的示意圖；圖4是從圖片紋理部分提取光流特征的示意圖；圖5是對光流方向進(jìn)行加權(quán)統(tǒng)計(jì)的流程示意圖；圖6是圖1所示流程中步驟S2的一種實(shí)現(xiàn)方法的流程示意圖。具體實(shí)施方式下面參照附圖對本發(fā)明的示例性實(shí)施方式進(jìn)行詳細(xì)描述。對示例性實(shí)施方式的描述僅僅是出于示范目的，而絕不是對本發(fā)明及其應(yīng)用或用法的限制。為了克服現(xiàn)有微表情識別方法存在的魯棒性差、容易受噪聲干擾、識別率低等問題，本發(fā)明的發(fā)明人提出了一種新的微表情識別方法。下面結(jié)合附圖和具體實(shí)施例對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。圖1示出了本發(fā)明實(shí)施例中的微表情識別方法的流程圖。從圖1可見，該方法主要包括以下步驟：步驟S1、對測試樣本中的微表情圖像序列進(jìn)行光流方向加權(quán)直方圖(HOF)特征提取，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}。圖2示出了步驟S1的一種實(shí)現(xiàn)方法。如圖2所示，步驟S1具體包括步驟S11、S12、S13。在步驟S11中，計(jì)算微表情圖像序列中相鄰兩幀圖像之間的光流。在具體實(shí)施時(shí)，考慮到微表情圖像序列中不同幀之間的光照變化會(huì)影響到光流計(jì)算的精確性，因此，為了減小光流計(jì)算誤差，在進(jìn)行步驟S11之前，還可進(jìn)行圖3所示的圖像處理步驟：S10、對微表情圖像序列進(jìn)行結(jié)構(gòu)紋理分解，保留圖像的紋理分量。具體實(shí)施時(shí)，可根據(jù)以下公式對微表情圖像序列進(jìn)行結(jié)構(gòu)紋理分解：式中，表示待處理的灰度圖像，即待處理的微表情圖像序列；表示圖像的紋理部分，表示待處理的圖像的結(jié)構(gòu)部分，Ω表示整幅圖像的像素所在位置坐標(biāo)的集合，θ為調(diào)節(jié)系數(shù)。在獲取了微表情圖像序列的紋理部分之后，可基于紋理部分計(jì)算光流。光流，是指兩幀圖像上像素點(diǎn)移動(dòng)的速度。其具體計(jì)算過程如下：在紋理圖像中，假設(shè)t時(shí)刻(x,y)位置處的像素點(diǎn)灰度值為IT，在t+dt時(shí)刻該像素點(diǎn)運(yùn)動(dòng)到(x+dx,y+dy)位置處，由灰度恒常約束條件可知：IT(x,y,t)＝IT(x+dx,y+dy,t+dt)公式2將上式右邊進(jìn)行泰勒展開，可得，由于τ是高階無窮小，因此可得，進(jìn)而得到，其中，是在x方向上的光流分量，為在y方向上的光流分量。在具體計(jì)算光流分量時(shí)，可基于公式5、以及增加的假設(shè)條件進(jìn)行求解。比如，可采用圖4所示的RLOF方法計(jì)算光流。關(guān)于RLOF方法的詳細(xì)介紹，可參考現(xiàn)有文獻(xiàn)Robustlocalopticalflowforfeaturetracking[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(9):1377-1387.這樣，即可求解微表情圖像序列在x方向上的光流分量矩陣Ut、以及在y方向上的光流分量矩陣Vt。在步驟S12中，進(jìn)行光流對齊。考慮到頭部姿態(tài)變化引起的光流偏差，在步驟S11之后，還需對所述光流偏差進(jìn)行補(bǔ)償，具體包括：首先，根據(jù)如下公式計(jì)算x方向上光流分量的補(bǔ)償量以及y方向上光流分量的補(bǔ)償量式中，Φ(A)表示矩陣A中等于0的元素的個(gè)數(shù)，I表示全一矩陣。然后，根據(jù)如下公式計(jì)算矯正后的光流分量矩陣；式中，為矯正后x方向上的光流分量矩陣，為矯正后y方向上的光流分量矩陣，Ut為矯正前x方向上的光流分量矩陣，Vt為矯正前y方向上的光流分量矩陣。在另一個(gè)實(shí)施例中，為了簡化計(jì)算，還可根據(jù)如下公式計(jì)算x方向上光流分量的補(bǔ)償量以及y方向上光流分量的補(bǔ)償量式中，表示光流分量矩陣Ut中元素大小的統(tǒng)計(jì)直方圖、表示光流分量直方圖Vt中元素大小的統(tǒng)計(jì)直方圖。該統(tǒng)計(jì)直方圖中各組的頻數(shù)表示落在該組取值范圍的元素對應(yīng)像素點(diǎn)的個(gè)數(shù)，u、v表示統(tǒng)計(jì)直方圖中各組取值范圍的中值。在根據(jù)公式10、11得到以后，可根據(jù)公式8、9計(jì)算矯正后x方向、以及y方向的光流分量矩陣。在步驟S13中，將微表情圖像序列劃分成R個(gè)時(shí)空子塊，并且對每個(gè)時(shí)空子塊的光流方向進(jìn)行加權(quán)統(tǒng)計(jì)，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}，其中，為第r個(gè)時(shí)空子塊的光流方向加權(quán)直方圖向量。在具體實(shí)施時(shí)，一個(gè)時(shí)空尺寸為M×N×T的微表情圖像序列可被等分成R個(gè)時(shí)空子塊，R＝m×n×num-T。其中，m表示對M劃分的塊數(shù)，n表示對N劃分的塊數(shù)，num_T表示對T劃分的塊數(shù)，每個(gè)時(shí)空子塊的尺寸滿足并且，可用(bi,bj,bk)表示每個(gè)時(shí)空子塊所處的時(shí)空坐標(biāo)，bi∈{1,2,...m}，bj∈{1,2,...n}，bk∈{1,2,...num_T}。在將劃分出R個(gè)時(shí)空子塊之后，對每個(gè)時(shí)空子塊的光流方向進(jìn)行加權(quán)統(tǒng)計(jì)。在具體實(shí)施時(shí)，對每個(gè)時(shí)空子塊的光流方向進(jìn)行加權(quán)統(tǒng)計(jì)具體包括：統(tǒng)計(jì)時(shí)空子塊上所有像素點(diǎn)的光流向量在已劃分的圓周范圍內(nèi)的各個(gè)角度區(qū)間內(nèi)的分布數(shù)目，并將每個(gè)角度區(qū)間內(nèi)的像素點(diǎn)的光流向量幅值進(jìn)行累加，獲取以累加幅值表示的光流直方圖向量。然后，對所有時(shí)空子塊的光流直方圖向量進(jìn)行歸一化，以獲取第一特征數(shù)據(jù)。下面結(jié)合圖5對獲取光流直方圖向量的流程進(jìn)行詳細(xì)說明。如圖5所示，假設(shè)一個(gè)時(shí)空子塊包含9個(gè)像素點(diǎn)，9個(gè)像素點(diǎn)分別用編號①至⑨表示。并且，編號①至⑨對應(yīng)的光流向量的大小分別是0.72、0.63、0.74、0.70、1.11、0.57、0.34、0.42、1.20。首先，統(tǒng)計(jì)這9個(gè)像素點(diǎn)的光流向量在已劃分好的8個(gè)角度區(qū)間的數(shù)目。其中，編號為0、1、6、7的角度區(qū)間的像素?cái)?shù)目均為0；編號為2的角度區(qū)間存在兩個(gè)像素點(diǎn)，即②、③；編號為3的角度區(qū)間存在1個(gè)像素點(diǎn)，即①；編號為4的角度區(qū)間存在3個(gè)像素點(diǎn)，即④、⑤、⑦；編號為5的角度區(qū)間存在三個(gè)像素點(diǎn)，即⑥⑧⑨。然后，對8個(gè)角度區(qū)間的累加幅值進(jìn)行統(tǒng)計(jì)，即可得到該時(shí)空子塊對應(yīng)的加權(quán)直方圖向量(0,0,1.37,0.72,2.15,2.19,0,0)。步驟S2、對第一特征數(shù)據(jù)X進(jìn)行FisherVector編碼，獲取第二特征數(shù)據(jù)F。圖6為步驟S2的一種實(shí)現(xiàn)方法的流程示意圖。如圖6所示，步驟S2主要包括步驟S21、S22、S23。在步驟S21中，利用高斯混合模型逼近第一特征數(shù)據(jù)X的分布。該步驟具體包括：假設(shè)第一特征數(shù)據(jù)X中的R個(gè)向量是獨(dú)立同分布的，其概率密度函數(shù)為p(X|λ)，則有：對公式12兩邊取對數(shù)，則有：用高斯混合模型(即K個(gè)高斯分布的線性組合)逼近p(xr|λ)，則有式中，pk(xr|λ)是第k個(gè)高斯分布的概率密度函數(shù)，p(xr|λ)是第一特征數(shù)據(jù)X中的向量xr的分布。在步驟S22中，根據(jù)最大期望算法(EM)估計(jì)高斯混合模型中的參數(shù)λ，λ＝{wk,μk,Σk,k＝1,2,...,K}。其中，wk為第k個(gè)高斯分布的組合系數(shù)，且wk≥0，∑wk＝1，μk為第k個(gè)高斯分布的均值向量，Σk為第k個(gè)高斯分布的協(xié)方差矩陣，且Σk滿足：在步驟S23中，根據(jù)估計(jì)的參數(shù)λ計(jì)算第一特征數(shù)據(jù)的FisherVector編碼向量獲取第二特征數(shù)據(jù)F。該步驟具體包括：分別計(jì)算L(X|λ)對均值和協(xié)方差的梯度，可得：計(jì)算梯度歸一化系數(shù)，即利用公式18、19中的歸一化系數(shù)對進(jìn)行歸一化，上述公式16至19所表示的計(jì)算過程可統(tǒng)一表示成如下向量表達(dá)式：式中，γr(k)為向量xr由第k個(gè)高斯分布生成的概率，且γr(k)滿足：通過以上步驟，即可獲取第二特征數(shù)據(jù)F，步驟S3、基于預(yù)先訓(xùn)練得到的分類器對第二特征數(shù)據(jù)F進(jìn)行識別。其中，所述分類器的訓(xùn)練過程包括如下步驟：對訓(xùn)練樣本中的微表情圖像序列進(jìn)行HOF特征提取，獲取第一特征數(shù)據(jù)X＝{x1,…xr,…xR|xr∈RD}；對第一特征數(shù)據(jù)X進(jìn)行FisherVector編碼，獲取第二特征數(shù)據(jù)F；基于第二特征數(shù)據(jù)F訓(xùn)練分類器。在具體實(shí)施時(shí)，所述分類器可選用徑向基函數(shù)支持向量機(jī)。在本發(fā)明實(shí)施例中，通過采用光流描述微表情圖像序列中的細(xì)微運(yùn)動(dòng)并通過FisherVector編碼對微表情圖像序列的局部光流特征進(jìn)行編碼，形成對微表情序列緊湊的特征表示，更能表征微表情運(yùn)動(dòng)的本質(zhì)，提高微表情識別率。進(jìn)一步的，通過對微表情圖像系列進(jìn)行結(jié)構(gòu)紋理分解、以及光流對齊，降低了光照和頭部抖動(dòng)對光流的影響，增強(qiáng)了微表情特征對噪聲的魯棒性。為了進(jìn)一步體現(xiàn)本發(fā)明的技術(shù)效果，下面給出一個(gè)具體的實(shí)驗(yàn)過程。在該實(shí)驗(yàn)中，可采用CASMEⅡ數(shù)據(jù)庫中的微表情圖像序列進(jìn)行實(shí)驗(yàn)。在具體實(shí)驗(yàn)時(shí)，采用留一人驗(yàn)證法進(jìn)行交叉驗(yàn)證，設(shè)m＝n＝10，num-T＝3，K＝20，并且為降低計(jì)算復(fù)雜度每次實(shí)驗(yàn)從所有訓(xùn)練樣本中的第一特征數(shù)據(jù)中隨機(jī)選取50000個(gè)光流直方圖向量用于估計(jì)高斯混合模型的參數(shù)，分類器選用徑向基函數(shù)支持向量機(jī)。并且，進(jìn)行了五次實(shí)驗(yàn)求取識別率的平均值。表1示出了這五次實(shí)驗(yàn)的識別率以及平均識別率。表1為了證明本技術(shù)方案的技術(shù)效果，在實(shí)驗(yàn)中我們與其他微表情識別方法進(jìn)行了對比。表2示出了本發(fā)明實(shí)施例中的方法與其他微表情識別方法的對比結(jié)果。表2方法本文方法FDMLBP-TOPDTSA識別率(％)47.2942.0236.5032.45從表2可見，與現(xiàn)有的FDM方法、LBP-TOP方法、DTSA方法相比，本發(fā)明實(shí)施例的方法的識別率提高了5％～15％。雖然參照示例性實(shí)施方式對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不局限于文中詳細(xì)描述和示出的具體實(shí)施方式，在不偏離權(quán)利要求書所限定的范圍的情況下，本領(lǐng)域技術(shù)人員可以對所述示例性實(shí)施方式做出各種改變。當(dāng)前第1頁1 2 3