一種基于多尺度采樣的微表情自動識別方法
【專利摘要】本發(fā)明提供了一種基于多尺度采樣的微表情自動識別方法，包括微表情圖像序列預(yù)處理、微表情特征提取和微表情識別。本發(fā)明為減小人臉自然位移和無效區(qū)域?qū)ξ⒈砬樽R別的影響，本發(fā)明采用了一種人臉自動對齊和面部區(qū)域有效分塊的方法，提高了識別結(jié)果的魯棒性；針對已有特征描述子的不足，本發(fā)明提出了一種新穎的微表情特征描述算子CPTOP，CPTOP算子具有和LBP?TOP算子等數(shù)量的采樣點數(shù)，但使用了多尺度采樣的策略，在同等時間復(fù)雜度和空間復(fù)雜度下獲得了更好的描述信息。
【專利說明】
一種基于多尺度采樣的微表情自動識別方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種基于多尺度采樣的微表情自動識別方法，屬于機器學(xué)習(xí)和模式識 別的技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 人類的面部表情研究起源于19世紀(jì)達(dá)爾文[1]，最近，Ekman和Erika[2]進行了面 部測繪行為的研究，驗證了微表情(micro expression)可提供更全面的隱蔽情感的泄露。 微表情是一種快速表情，雖然持續(xù)時間短，但是能揭露人內(nèi)心的真實情感，從而為判斷人內(nèi) 在的精神狀態(tài)提供了可靠的依據(jù)[3]，因此在司法系統(tǒng)、臨床診斷等方面具有重要的應(yīng)用。 國外針對微表情的研究起步較早，提出并且定義了微表情，在協(xié)助司法機關(guān)診斷案情、商業(yè) 談判、心理咨詢等領(lǐng)域多有建樹，開始得到一些應(yīng)用。傅小蘭教授主持的2011 - 2013年國家 自然科學(xué)基金面上項目"面向自動謊言識別的微表情表達(dá)研究"推動了國內(nèi)對于微表情研 究的發(fā)展。與宏觀表情不同，微表情最大的特點是持續(xù)時間短、強度小，所以僅憑人眼識別 微表情是一個巨大的挑戰(zhàn)。利用計算機視覺實現(xiàn)微表情自動識別是必然的趨勢，但準(zhǔn)確識 別的前提是找到有效的特征描述方式。盡管研究人員在人臉識別、宏觀表情識別中提出了 一些優(yōu)秀的特征描述符，并且取得了不錯的效果，但針對微表情的時空特性和計算復(fù)雜度， 直接將上述描述符拓展到微表情識別中是不可行的。
[0003]為此，針對微表情自動識別面臨的諸多挑戰(zhàn)，本專利提供了一種基于多尺度采樣 的微表情自動識別方法。
[0004] [1]Darwin C. The expression of the emotions in man and animals[M] .University of Chicago Press,1965。
[0005] [2]Ekman P,and Erika L R. What the face reveals : basic and applied studies of spontaneous expression using the facial action coding system(FACS) [M].OxfordUniversity Press,1997〇
[0006] [3]賁晛燁，楊明強，張鵬，等.微表情自動識別綜述[J].計算機輔助設(shè)計與圖形學(xué) 學(xué)報，2014,26(9): 1385-1395。

【發(fā)明內(nèi)容】

[0007] 針對現(xiàn)有技術(shù)的不足，本專利提供了一種基于多尺度采樣的微表情自動識別方 法。為減小人臉自然位移和無效區(qū)域?qū)ξ⒈砬樽R別的影響，本發(fā)明采用了一種人臉自動對 齊和面部區(qū)域有效分塊的方法，提高了識別結(jié)果的魯棒性;針對已有特征描述子的不足，本 發(fā)明提出了一種新穎的微表情特征描述算子CPT0P，CPT0P算子具有和LBP-T0P算子等數(shù)量 的采樣點數(shù)，但使用了多尺度采樣的策略，在同等時間復(fù)雜度和空間復(fù)雜度下獲得了更好 的描述信息。
[0008] 本發(fā)明的技術(shù)方案如下：
[0009] -種基于多尺度采樣的微表情自動識別方法，包括微表情圖像序列預(yù)處理、微表 情特征提取和微表情識別；
[0010] 所述微表情圖像序列預(yù)處理，依次包括人臉特征點檢測、人臉對齊和面部分塊;所 述面部分塊是指對微表情圖像首幀根據(jù)特征點進行分塊，形成子塊；
[0011] 所述微表情特征提取包括，在每個子塊，使用CPT0P算子在灰度化的表情序列XY、 XT和YT三個平面上提取直方圖特征向量，然后級聯(lián)成一個高維的特征向量作為CPT0P的特 征向量;將上述各子塊的高維特征向量級聯(lián)成更高維的特征向量，作為微表情的描述； [00 12] 微表情識別:通過支持向量機(Support Vector Machine，SVM)構(gòu)建多個二元分類 器實現(xiàn)多分類，通過上述已知類別的高維特征向量有監(jiān)督地訓(xùn)練支持向量機參數(shù)，實現(xiàn)對 未知類別微表情的分類。
[0013]根據(jù)本發(fā)明優(yōu)選的，在所述微表情圖像序列預(yù)處理中，所述人臉特征點檢測是指 對單個表情序列，使用人臉特征點檢測方法檢測到每一幀的所有特征點，使用其中不易受 到微表情動作影響的特征點；所述人臉對齊是指將后續(xù)幀對齊到首幀;所述面部分塊是指 是指根據(jù)首幀的特征點，將面部劃分成互不重疊的多個子塊。
[0014] 根據(jù)本發(fā)明優(yōu)選的，所述人臉特征點檢測是利用Discriminative Response Map F i 11 i n g (D RMF)方法檢測到微表情圖像的特征點：
[0015]選擇一段微表情序列每幀圖像中受微表情影響最小的3個非共線的特征點 ei?_xl，.p = 1，…，p，j = 1，2，3，P為幀數(shù)，4(1，】)為點坐標(biāo)的X分量，％(2，1)為點坐標(biāo)的y分 量，利用

[0017] 計算后續(xù)幀ρ = 2，···Ρ對齊到首幀的變換矩陣
[0018] 根據(jù)本發(fā)明優(yōu)選的，所述人臉對齊是指根據(jù)微表情序列兩幀圖像之間對應(yīng)點的坐 標(biāo)計算出仿射變換矩陣，由該仿射變換矩陣將其中一幀圖像對齊到另一幀圖像：
[0019] ΓΡ(χ' ,y,) = IP(x,y) ⑵
[0020] IP(x，y)為原圖像像素點的取值，I'P(x'，y'）為對齊圖像像素點的取值，其中
[0022] 首幀圖像與后續(xù)幀對齊的圖像組成新的微表情序列，后續(xù)操作均在此序列上進 行。
[0023] 根據(jù)本發(fā)明優(yōu)選的，所述CPT0P算子，是將微表情圖像序列劃分為XY、XT和YT三個 正交平面，在各正交平面中使用紋理描述算子產(chǎn)生統(tǒng)計直方圖，形成微表情特征的表示。所 述CPT0P算子在各正交平面中的采樣模式如圖5，CPT0P在每個平面的采樣點數(shù)目同LBP(8個 采樣點）一致，但是在每個采樣方向上選擇位于不同半徑的兩個采樣點，因此擴大了采樣的 尺度，使得不同尺度的信息能夠有效地融合。
[0024]本發(fā)明的優(yōu)勢在于：
[0025] 1、本發(fā)明提供的一種基于多尺度采樣的微表情自動識別方法利用穩(wěn)定的特征點 對表情序列進行對齊，增強了微表情特征對面部自然抖動的魯棒性。
[0026] 2、本發(fā)明提供的一種基于多尺度采樣的微表情自動識別方法采用了一種新穎的 面部分塊方式，增強了微表情特征對噪聲的魯棒性。
[0027] 3、本發(fā)明提供的一種基于多尺度采樣的微表情自動識別方法采用了一種新穎的 紋理特征描述算子，使用了多尺度采樣的策略，在同等時間復(fù)雜度和空間復(fù)雜度下獲得了 更好的描述信息，增強了微表情特征的描述能力，提高了識別率。
【附圖說明】
[0028]圖1本發(fā)明的整體流程圖；
[0029] 圖2 (a)定位出的人臉特征點；
[0030] 圖2(b)用于圖像對齊的特征點；
[0031]圖3面部分塊；
[0032]圖4微表情圖像序列XY、XT和YT三個正交平面；
[0033] 圖5 CPT0P三維視圖；
[0034] 圖6(a)是在ΧΥ平面半徑為RXYin、RXYex兩個圓形鄰域的四個方向（0
_.)上 分別采樣圖；
[0035] 圖6(b)是在XT平面半徑為RXTin、RXTex兩個圓形鄰域的四個方向<

-}上分別采樣圖；
[0036] 圖6(c)是在YT平面半徑為RYTin、RYTex兩個圓形鄰域的四個方向（
}上分別采樣圖。
【具體實施方式】
[0037] 下面結(jié)合附圖和實施例對本發(fā)明進行詳細(xì)的描述，但不限于此。
[0038] 如圖1-5所示。
[0039] 實施例、
[0040] -種基于多尺度采樣的微表情自動識別方法，如圖1所示，包括微表情圖像序列預(yù) 處理、微表情特征提取和微表情識別；
[0041] 所述微表情圖像序列預(yù)處理，依次包括人臉特征點檢測、人臉對齊和面部分塊;所 述面部分塊是指對微表情圖像首幀根據(jù)特征點進行分塊，形成子塊；
[0042] 所述微表情特征提取包括，在每個子塊，使用CPT0P(Cross Patterns on three orthogonal planes)算子在灰度化的表情序列XY、XT和YT三個平面上提取直方圖特征向 量，然后級聯(lián)成一個高維的特征向量作為CPT0P的特征向量;將上述各子塊的高維特征向量 級聯(lián)成更高維的特征向量，作為微表情的描述；
[0043] 微表情識別:通過支持向量機(Support Vector Machine，SVM)構(gòu)建多個二元分類 器實現(xiàn)多分類，通過上述已知類別的高維特征向量有監(jiān)督地訓(xùn)練支持向量機參數(shù)，實現(xiàn)對 未知類別微表情的分類。
[0044] 在所述微表情圖像序列預(yù)處理中，所述人臉特征點檢測是指對單個表情序列，使 用人臉特征點檢測方法檢測到每一幀的所有特征點，使用其中不易受到微表情動作影響的 特征點;所述人臉對齊是指將后續(xù)幀對齊到首幀;所述面部分塊是指是指根據(jù)首幀的特征 點，將面部劃分成互不重疊的多個子塊。
[0045] 所述人臉特征點檢測是利用Discriminative Response Map Fitting(DRMF)方法 檢測到微表情圖像的66個特征點，如圖2所示：
[0046] 選擇一段微表情序列每幀圖像中受微表情影響最小的3個非共線的特征點 ￡^#1,1) = 1，"_，？，」=1，2,3，？為幀數(shù)，％(1，1)為點坐標(biāo)的1分量，^(2，1)為點坐標(biāo)的3^分 量，利用
[0048] 計算后續(xù)幀ρ = 2，···Ρ對齊到首幀的變換矩陣
[0049] 所述人臉對齊是指根據(jù)微表情序列兩幀圖像之間對應(yīng)點的坐標(biāo)計算出仿射變換 矩陣，由該仿射變換矩陣將其中一幀圖像對齊到另一幀圖像：
[0050] ΓΡ(χ' ,y，) = IP(x,y) (2)
[0051] IP(x，y)為原圖像像素點的取值，I'P(x'，y'）為對齊圖像像素點的取值，其中
[0053]首幀圖像與后續(xù)幀對齊的圖像組成新的微表情序列，后續(xù)操作均在此序列上進 行。
[0054] 所述面部分塊，是參考Facial Action Coding System(FACS)對面部動作單元的 描述，并依據(jù)人臉特征點坐標(biāo)將人臉劃分出獨立的、包含有效微表情信息的11個子塊，如圖 3〇
[0055]所述CPT0P算子，是將微表情圖像序列劃分為XY、XT和YT三個正交平面，在各正交 平面中使用紋理描述算子產(chǎn)生統(tǒng)計直方圖，形成微表情特征的表示。所述CPT0P算子在各正 交平面中的采樣模式如圖5，CPT0P在每個平面的采樣點數(shù)目同LBP(8個采樣點）一致，但是 在每個采樣方向上選擇位于不同半徑的兩個采樣點，因此擴大了采樣的尺度，使得不同尺 度的信息能夠有效地融合。
[0056] CPT0P算子在各正交平面中的采樣模式如圖5，CPT0P在每個平面的采樣點數(shù)目同 LBP(8個采樣點）一致，但是在每個采樣方向上選擇位于不同半徑的兩個采樣點，因此擴大 了采樣的尺度，使得不同尺度的信息能夠有效地融合。
[0057] 對于微表情圖像序列中任一像素點0,在XY平面半徑為RXYin、RXYex兩個圓形鄰域 的四個方向（〇，f π，^)上分別采樣，如圖6(a)，采用如下編碼方式，I是對應(yīng)點的灰度值； ^ A
[0060] 在XT平面半徑為RXTin、RXTex兩個圓形鄰域的四個方向(|，^，￥，#)上分 4 4 4 4 別采樣，如圖6(b)，采用如下編碼方式；
jr ^)7Γ ι ΤΤ
[0062] 在ΥΤ平面半徑為RYTin、RYTex兩個圓形鄰域的四個方向(ι，ι，$,1)上分別 采樣，如圖6(c)，采用如下編碼方式；
[0064]在各平面分別產(chǎn)生CPXY、CPXT和CPYT的統(tǒng)計直方圖，然后三者級聯(lián)形成較高維的向 量，作為CPT0P的特征向量。
[0065]所述微表情特征的表示，是在上述各子塊序列中分別提取CPT0P特征向量，然后級 聯(lián)成高維的特征向量，作為對微表情的描述。
[0066]所述多分類是利用LIBSVM工具箱實現(xiàn)，假設(shè)有m類微表情，那么總共生成m(m-l)/2 個二元分類器，即m(m-l)/2個判別函數(shù)，每一個二元分類器都是通過兩類數(shù)據(jù)訓(xùn)練得到的。 待識別微表情樣本送入到已經(jīng)訓(xùn)練好的分類器，就可以進行判別分類。
[0067]上述雖然結(jié)合附圖對本發(fā)明的【具體實施方式】進行了描述，但并非對本發(fā)明保護范 圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不 需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。
[0068]為了驗證所提出方法的有效性，我們在CASMEII微表情庫上進行實驗，CASMEII包 含了在可控實驗條件下，從大量樣本中篩選出來的246個自發(fā)微表情樣本。為避免太多的參 數(shù)組合，我們令〇?1'(^的內(nèi)外圓采樣半徑的差值為2，1?1111 = 1^1111;1^?-1'(^1? = 1^ = RXYin，RT = RXTin，實驗從兩個方面說明了CPT0P的性能。分類器使用線性支持向量機 (Support Vector Machine，SVM)，其分類性能主要受到懲罰系數(shù)C的影響。以下實驗都采用 10-fold交叉驗證。
[0069] 1)固定SVM參數(shù)
[0070] CPT0P的不同半徑組合代表了不同的采樣尺度，在固定分類器參數(shù)情況下，對 CPT0P的不同半徑組合進行了實驗。
[0071]表1 C=1情況下，不同尺度CPT0P特征提取能力對比（％ )
[0073] 從表1可以發(fā)現(xiàn)CPT0P在不同尺度上的特征提取能力是不同的，但都優(yōu)于同尺度的 LBP-T0P算子，說明CPT0P在不同半徑尺度下優(yōu)秀的特征描述能力。
[0074] 2)固定CPT0P參數(shù)
[0075] 由于SVM的分類性能受到懲罰系數(shù)C的影響，在不同懲罰系數(shù)下比較微表情識別率 能說明特征描述符的普適性。我們?nèi) = 2-^2^23…213,215,對RXYin = 3、RXTin(=RYTin) =2的情況進行實驗。
[0076] 表2相同尺度特征對不同參數(shù)SVM的適應(yīng)能力對比（％ )
[0078] 從表2中可以看出，CPT0P的正確識別率會隨著SVM的性能改變而發(fā)生變化，但是一 直保持著對LBP-T0P的優(yōu)勢，說明CPT0P對分類器的普適能力更強。
【主權(quán)項】
1. 一種基于多尺度采樣的微表情自動識別方法，其特征在于，該方法包括微表情圖像 序列預(yù)處理、微表情特征提取和微表情識別； 所述微表情圖像序列預(yù)處理，依次包括人臉特征點檢測、人臉對齊和面部分塊;所述面 部分塊是指對微表情圖像首帖根據(jù)特征點進行分塊，形成子塊； 所述微表情特征提取包括，在每個子塊，使用CPTOP算子在灰度化的表情序列ΧΥ、ΧΤ和 ΥΤΞ個平面上提取直方圖特征向量，然后級聯(lián)成一個高維的特征向量作為CPTOP的特征向 量;將上述各子塊的高維特征向量級聯(lián)成更高維的特征向量，作為微表情的描述； 微表情識別：通過支持向量機構(gòu)建多個二元分類器實現(xiàn)多分類，通過上述已知類別的 高維特征向量有監(jiān)督地訓(xùn)練支持向量機參數(shù)，實現(xiàn)對未知類別微表情的分類。2. 根據(jù)權(quán)利要求1所述的一種基于多尺度采樣的微表情自動識別方法，其特征在于，在 所述微表情圖像序列預(yù)處理中，所述人臉特征點檢測是指對單個表情序列，使用人臉特征 點檢測方法檢測到每一帖的所有特征點，使用其中不易受到微表情動作影響的特征點；所 述人臉對齊是指將后續(xù)帖對齊到首帖;所述面部分塊是指是指根據(jù)首帖的特征點，將面部 劃分成互不重疊的多個子塊。3. 根據(jù)權(quán)利要求2所述的一種基于多尺度采樣的微表情自動識別方法，其特征在于，所 述人臉特征點檢測是利用Discriminative Response Map Fitting(DRMF)方法檢測到微表 情圖像的特征點： 選擇一段微表情序列每帖圖像中受微表情影響最小的3個非共線的特征點4 = l，L，P，j = l，2,3，P為帖數(shù)，為點坐標(biāo)的X分量，與，口山為點坐標(biāo)的y分量，利用(1) 計算后續(xù)帖P = 2，L P對齊到首帖的變換矩聞4. 根據(jù)權(quán)利要求3所述的一種基于多尺度采樣的微表情自動識別方法，其特征在于，所 述人臉對齊是指根據(jù)微表情序列兩帖圖像之間對應(yīng)點的坐標(biāo)計算出仿射變換矩陣，由該仿 射變換矩陣將其中一帖圖像對齊到另一帖圖像： I 'p(x' ,y') = ip(x,y) (2) Ip(x，y)為原圖像像素點的取值，I'p(x'，y'）為對齊圖像像素點的取值，其中(3) 首帖圖像與后續(xù)帖對齊的圖像組成新的微表情序列，后續(xù)操作均在此序列上進行。5. 根據(jù)權(quán)利要求4所述的一種基于多尺度采樣的微表情自動識別方法，其特征在于，所 述CPT0P算子，是將微表情圖像序列劃分為ΧΥ、ΧΤ和ΥΤΞ個正交平面，在各正交平面中使用 紋理描述算子產(chǎn)生統(tǒng)計直方圖，形成微表情特征的表示。
【文檔編號】G06K9/00GK106096537SQ201610402404
【公開日】2016年11月9日
【申請日】2016年6月6日
【發(fā)明人】賁晛燁, 李傳燁, 楊明強, 龐建華, 馮云聰, 任億
【申請人】山東大學(xué)