一種基于視頻的動態(tài)微表情識別方法
【專利摘要】本發(fā)明提供一種基于視頻的動態(tài)微表情識別方法，屬于動態(tài)識別技術領域。本發(fā)明包括以下步驟：視頻序列預處理；計算預處理后視頻序列的一定數(shù)量的幀，用插值法定點插值到指定長度視頻并進行精確對齊；將指定長度視頻分成視頻塊，得到視頻子集；提取視頻子集的動態(tài)特征，計算視頻子集權重和視頻子集特征權重；根據(jù)計算結果對視頻序列進行分類和識別。本發(fā)明的有益效果為：有效的突出帶有較多表情信息的人臉區(qū)域所提取出的微表情特征，削弱帶有較少表情信息的人臉區(qū)域所提取出的微表情特征。減少光照不均、噪聲、物體遮擋等因素影響，增加系統(tǒng)的魯棒性。
【專利說明】
一種基于視頻的動態(tài)微表情識別方法
技術領域
[0001] 本發(fā)明涉及一種動態(tài)識別技術領域，尤其涉及一種基于視頻的動態(tài)微表情識別方 法。
【背景技術】
[0002] 微表情的最大特征是持續(xù)的時間很短、強度弱并且是無意識發(fā)生的無法控制的復 雜表情。目前，其通用的持續(xù)時間的上限是1/5秒。這些稍縱即逝的人臉表情，由于持續(xù)時間 短、強度低，使得其通常容易被肉眼所疏忽。為了更好的對微表情進行實時分析并揭露人們 真實的情感，我們迫切需求一個自動微表情識別系統(tǒng)。
[0003] 在心理學領域中，關于微表情的研究報告中指出人類不擅長對微表情進行識別。 微表情因為其持續(xù)時間短、強度弱幾乎不能夠被人類所感知。為了解決這個問題，Ekman研 制出了微表情訓練工具(Micro Expression Training Tool,METT)，但是其識別率也僅為 40 %。即使METT被提出后，F(xiàn)rank等曾公開發(fā)表過人類要想檢測到現(xiàn)實中的微表情是一件十 分困難的事情。由于微表情識別還不完備，研究者不得不逐一分析視頻中的每一幀圖像，而 這一過程無疑是時間和精力的巨大浪費。
[0004] 將計算機科學和心理學領域進行交叉研究可以很好的滿足微表情識別的需求。幾 組獨立的計算機科學家們已經(jīng)開始著手進行這一方向的研究。目前存在的微表情識自動識 別方法有應變模式和機器學習這兩類方法。在應變模式方法中，Shreve等將人臉分割成嘴 巴、臉頰、前額和眼睛等子區(qū)域，并且將人臉圖像的區(qū)域分割結合光流法計算每一個子區(qū)域 的人臉應變情況。對每一個子區(qū)域中計算得到的應變模式進行分析，從而對視頻中的微表 情進行檢測。
[0005] 在機器學習方法中，Pfister等提出了用時間插值模型和多核學習的結構來進行 無意識微表情識別框架。其使用時間插值來解決視頻過短的問題，用時空局部紋理描述子 來處理動態(tài)特征，用支持向量機SVM(Support Vector Machine)、多核學習 MKL(Multiple Kernel learning)和隨機森林RF(Random Forests)來解決分類問題。但是，時空局部紋理 描述子是提取表情序列XY，XT和YT方向的完全局部二值模式，該算子不能夠真正意義上提 取視頻中幀間的動態(tài)信息。同時，由于其將人臉每個部分的貢獻率視為相同，忽略了在表達 情感時，人臉不同區(qū)域所攜帶的信息量是不相同的，其中，眼睛、眉毛、嘴角等區(qū)域攜帶較多 的表情信息，而臉頰、額頭等區(qū)域攜帶較少的信息。
[0006] Pol ikovsky等使用了三維梯度直方圖描述子來表示運動信息從而進行微表情識 另lj。Ruiz-Hernandez等提出對局部二階高斯重新參量化后進行LBP(Local Binary Patterns,局部二值模式)編碼，產(chǎn)生更加魯棒和可靠的直方圖來對微表情進行描述。
[0007] 同時，在專利文獻CN104933416A--基于光流場的微表情序列特征提取方法也涉 及到微表情識別，但是該方法存在如下缺點：
[0008] (1)抽取相鄰幀之間的稠密光流場進行視頻的動態(tài)信息描述過程中，算法耗時長；
[0009] (2)在將光流場分割成為一系列時空塊，在每個時空塊中抽取主方向，用其表征該 分塊后總絕大多數(shù)點的運動模式的過程中，會忽略人臉局部點細微的微表情變化；
[0010] (3)容易受到光照不均、噪聲、物體遮擋等因素的影響，精度不高同時計算量很大；
[0011] (4)此方法雖然將人臉進行分塊處理，但卻將每一塊人臉在傳遞微表情的時攜帶 的信息量視作相同的，使得攜帶少量甚至是不攜帶相關信息的面部區(qū)域對最終的識別結果 造成影響。

【發(fā)明內(nèi)容】

[0012]為解決現(xiàn)有技術中的問題，本發(fā)明提供一種基于視頻的動態(tài)微表情識別方法。 [0013]本發(fā)明包括以下步驟：
[0014] 步驟一:視頻序列預處理；
[0015] 步驟二:計算預處理后視頻序列的一定數(shù)量的幀，用插值法定點插值到指定長度 視頻并進彳T精確對齊；
[0016] 步驟三:將指定長度視頻分成視頻塊，得到視頻子集心，Y2，…，Ym，其中，M為視頻塊 的個數(shù)；
[0017] 步驟四：提取視頻子集的動態(tài)特征，計算視頻子集權重信息；
[0018] 步驟五:根據(jù)計算結果對視頻序列進行分類和識別。
[0019] 本發(fā)明通過插值法完成視頻序列時間上的歸一化，使得視頻序列便于分析，識別 性能得到一定程度的提高。
[0020] 本發(fā)明作進一步改進，在步驟一中，預處理方法包括彩色圖像灰度化、直方圖均衡 化、使用仿射變換進行配準、尺寸歸一化等。
[0021] 本發(fā)明作進一步改進，在步驟二中，計算預處理后視頻序列的微表情起始幀、微表 情峰值幀、微表情結束幀三幀。通過將微表情視頻序列通過指定微表情起始幀、微表情峰值 幀、微表情結束幀三幀微表情幀，通過插值算法將其插值成為一個定長微表情視頻序列，識 別效果更好。
[0022] 本發(fā)明作進一步改進，步驟二用3D梯度投影法計算。
[0023] 本發(fā)明作進一步改進，步驟四的具體實現(xiàn)方法包括如下步驟：
[0024] (1)提取每個視頻子集中所有視頻子塊的動態(tài)運動信息；
[0025] (2)分別計算視頻子集中視頻子塊的特征向量每維的權重；
[0026] (3)對視頻子塊進行特征描述:將步驟(1)中提取的所有視頻子集中每個視頻子塊 的動態(tài)運動信息與步驟(2)中計算的特征向量每維的權重相乘并進行累加得到視頻子集中 每個視頻子塊的最終動態(tài)信息描述子；
[0027] (4)計算視頻子塊權重向量W，W= [ ，…，c0m]t，其中，M為視頻塊的個數(shù)，《 i 表示在使用動態(tài)特征描述子對視頻子塊的特征進行描述時，第i個視頻子塊對于不同微表 情類別的區(qū)分能力。
[0028]本發(fā)明將動態(tài)微表情視頻序列提取的運動特征與分塊權重法、特征權重法結合起 來，生成了加權的動態(tài)特征提取方法，加權的動態(tài)特征提取方法根據(jù)每個特征對識別效果 的貢獻率不同，賦予不同的權重，可以剔除噪聲的影響，削弱光照不均等因素的影響，增加 算法的魯棒性，使得識別的效果有明顯的提高。同時，加權的動態(tài)特征提取方法對視頻序列 進行分塊，使得特征匹配的位置更加準確。此外，本發(fā)明通過提取視頻序列的運動信息，在 一定程度加深對微表情動態(tài)模式的理解。
[0029] 本發(fā)明作進一步改進，步驟(1)的實現(xiàn)方法包括梯度法和光流法。
[0030] 本發(fā)明作進一步改進，在步驟（1)中，采用時空梯度描述子H0G3D對所有視頻子集 提取H0G3D特征。
[0031] 本發(fā)明作進一步改進，在步驟(4)中，采用了能夠強化局部特征貢獻的權重方法計 算視頻子塊權重。比如，采用KNN的變型方法計算每個視頻子集的權重co :，能夠有效能夠強 化局部特征的貢獻。
[0032] 本發(fā)明作進一步改進，在步驟五中，所述識別和分類方法為：
[0033] A1:將預處理后的定長視頻序列劃分成訓練集和測試集，對測試集中劃分出的所 有測試視頻子塊和訓練集中劃分出的所有的訓練視頻子塊進行描述，并計算每個測試視頻 子塊到所有訓練視頻對應的子塊之間的距離；
[0034] A2:對于測試集中的每一個測試視頻所劃分出的視頻塊，用加權模糊分類法進行 模糊分類；
[0035] A3:計算出每個視頻塊對于所有訓練視頻的對應視頻子塊的隸屬度，得到視頻子 塊的分類結果；
[0036] A4:對各個視頻塊得到的分類結果進行融合，得到每一個視頻塊的帶有權重的分 塊隸屬度和帶有權重的總隸屬度；
[0037] A5:利用最大隸屬度原則，對人臉圖像的動態(tài)微表情進行分類。
[0038] 與現(xiàn)有技術相比，本發(fā)明的有益效果是：（1)有效的在視頻總的微表情特征中突出 帶有較多表情信息的人臉區(qū)域所提取出的微表情特征，同時削弱帶有較少表情信息的人臉 區(qū)域所提取出的微表情特征。（2)將微表情序列通過指定微表情起始幀、微表情峰值幀、微 表情結束幀三幀微表情幀，通過插值算法將其插值成為一個定長微表情視頻序列。使得微 表情序列在時間上進行了歸一化，方便之后的對視頻序列進行特征描述。由于指定了微表 情起始幀、微表情峰值幀、微表情結束幀三幀微表情幀使得插值后的圖像更不容易發(fā)生插 值錯誤。同時，插值之后進行一次精細對齊，消除幀間插值所引入的誤差。（3)將動態(tài)微表情 序列提取的運動特征與分塊權重法、特征權重法結合起來，生成了加權的動態(tài)特征提取方 法。加權的動態(tài)特征提取方法根據(jù)每個特征對識別效果的貢獻率不同，賦予不同的權重，可 以剔除噪聲的影響，削弱光照不均等因素的影響，增加算法的魯棒性，使得識別的效果有明 顯的提高。（4)加權的動態(tài)特征提取方法對視頻序列進行分塊，使得特征匹配的位置更加準 確。（5)采用加權的模糊分類法對視頻子集進行模糊分類，計算隸屬度，對每個子集的隸屬 度進行累加，依據(jù)隸屬度最大原則，得到最終的分類結果，可以有效地降低樣本的誤識率， 增加測試樣本的魯棒性。（6)利用連續(xù)的人臉微表情視頻序列可以進行動態(tài)的微表情識別， 在一定程度加深對微表情動態(tài)模式的理解。
【附圖說明】
[0039]圖1為本發(fā)明方法流程圖；
[0040]圖2為本發(fā)明一實施例流程圖；
[0041 ]圖3為本發(fā)明對視頻序列進行分類和識別一實施例方法流程圖。
【具體實施方式】
[0042] 下面結合附圖和實施例對本發(fā)明做進一步詳細說明。
[0043] 總體來說，本發(fā)明是一種利用加權的動態(tài)特征提取算法提取微表情序列的運動信 息并利用加權模糊集理論進行分類的人臉微表情識別方法。
[0044] 如圖1所示，作為本發(fā)明的一種實施例，具體包括以下步驟：
[0045] 步驟一:視頻序列預處理；
[0046]步驟二：計算預處理后的視頻序列的微表情起始幀、微表情峰值幀、微表情結束 幀;根據(jù)微表情起始幀、微表情峰值幀、微表情結束幀定點插值到指定長度視頻并進行精確 對齊;當然，此步驟中也可以選取其他的幀，然后采用插值法插值到指定長度視頻。
[0047]步驟三:將指定長度視頻分成視頻塊，得到視頻子集h，Y2，…，Ym，其中，M為視頻塊 的個數(shù)；
[0048] 步驟四：提取視頻子集的動態(tài)特征，計算視頻子集的權重信息；
[0049] 步驟五:根據(jù)計算結果對視頻序列進行分類和識別。
[0050] 如圖2所示，在實際的應用過程中，需要對已有的視頻序列進行預處理。作為本發(fā) 明的一個實施例，本方法直接使用CASMEII數(shù)據(jù)庫中的Cropped. zip文件夾中的視頻幀進行 處理的。我們將CASMEII數(shù)據(jù)庫中微表情分成四類（happiness，surprise，disgust， repression)，每類中含有9個實驗對象不重復出現(xiàn)的微表情視屏序列。使用的開發(fā)平臺是 matlab2015a〇
[0051]步驟一，對給定的已對齊了的連續(xù)人臉微表情視頻序列進行預處理，用 mat 1 ab2015a自帶函數(shù)進行彩色圖像灰度化、直方圖均衡化，在初步預處理的視頻幀間使用 仿射變換進行配準，最后再進行尺寸歸一化。
[0052]步驟二，對于預處理后的連續(xù)的人臉微表情視頻序列，用3D梯度投影法計算該視 頻序列的微表情起始幀Onset，微表情峰值幀Apex和微表情結束幀Offset。
[0053]步驟三，采用計算出的微表情起始幀Onset，微表情峰值幀Apex和微表情結束幀 Offset作為參考幀，計算每兩幀之間的光流場得到兩幀圖像間每個像素對應的運動模式。 隨后，取前后兩幀對應像素進行線性插值，并進行運動補償，由此得到統(tǒng)一幀數(shù)的人臉序 列，本例采用插值到5幀人臉序列。當然，根據(jù)需要，也可以插值到其他數(shù)量的幀數(shù)，在得到 的5幀人臉序列上，我們采用了信息熵法來進行精細化對齊，消除在視頻幀間插值中引入的 誤差。
[0054]步驟四，視頻分塊:在得到的5幀人臉序列上，按照人臉的比例特征，將人臉等比例 分為上、中、下三塊分別對應為人臉的眼睛、鼻子、嘴巴三個部分，這樣便得到了三個視頻 塊。將帶有分類標號的所有的視頻子塊按照眼睛、鼻子、嘴巴部分重新歸類，形成三個新的 視頻子集Yi(i = l，2,3)。
[0055] 步驟四的具體實現(xiàn)方法包括以下步驟：
[0056] (1)提取每個視頻子集中所有視頻子塊的動態(tài)運動信息。此處本發(fā)明采用梯度法， 比如A1 exanderKliis.er.提出的時空梯度描述子H0G3D (3D_Gradi ent s)對所有視頻子集進行 H0G3D特征提取。在形成的三個視頻子集中，分別計算每個子集中每個視頻子塊兩兩相鄰的 幀之間的視頻圖像在x，y，t方向上的梯度信息，并將其在20面柏拉圖體軸上進行投影，并將 相差180的軸上的數(shù)值進行合并，該信息直接反映了相鄰圖像的每個像素的運動情況。最后 將形成的HOG3D特征拉成一個列向量Ai,j=[di,j,i di,j,2…di,j,r]T，將同一個視頻子集提 取出的N個HOG3D特征列向量排布成特征矩陣…，M, N]。當然，本例除了采用 HOG3D特征描述外，還可以采用其他視頻動態(tài)描述子，如光流法或時間空間局部紋理描述子 等。
[0057] H0G3D的計算步驟如下:計算視頻序列中兩兩相鄰的幀之間的視頻圖像在x，y，t方 向上的梯度信息，并將其在20面柏拉圖體軸上進行投影，接著將相差180的軸上的數(shù)值進行 合并，并對投影合并后的10個軸上的值進行量化。該信息直接反映了相鄰圖像的每個像素 的運動情況。
[0058] (2)使用reliefF算法，計算提取出的每個視頻子集中視頻子塊的H0G3D特征的權 重…，ai,r]，其中，i表示第i個視頻子集，i = l，2,…，M，r為所有H0G3D特征的 維數(shù)。其中，Re 1 i efF算法在處理多類問題時，每次從訓練樣本集中隨機取出一個樣本R，然 后從和R同類的樣本集中找出R的k個近鄰樣本(near Hits)，從每個R的不同類的樣本集中 均找出k個近鄰樣本(near Misses)，然后更新每個特征的權重。在本例中，我們將視頻分成 三塊，因此i = l，2,3。
[0059] (3)對視頻子塊進行特征描述，將步驟(1)中提取的所有視頻子集中每個視頻子塊 的動態(tài)運動信息與步驟(2)中計算的特征權重相乘并進行累加得到視頻子集中每個視頻子 塊的最終動態(tài)信息描述子Yi, j，Yi, jzaudi, j,i+ai,2di, j,2"_+ai,rdi, j,r，其中Yi, j表不第i個視 頻子集中第j個視頻子塊的最終動態(tài)信息描述子，i = 1,2 ,…，M, j = 1,2 , ???，N，di, j,i, (1^,2，…，du,r為第i個視頻子集中第j個視頻子塊的第r維特征。將第i個視頻子集中N個視 頻子塊所計算得到的加權H0G3D特征Y^，按列排列成特征矩陣風，那么特征矩陣鞏可以寫 成如下形式：
[0060] ? ? ? > altdiUl. audi2r _
[0061 ] '凡=^G…G j表示Yi中第i個視頻子集中N個視頻子塊中提取出的H0G3D動 態(tài)運動信息，從而分別對所有的視頻子塊進行描述。
[0062] (4)計算視頻子塊權重向量也就是貢獻率，…，c〇m]t，本例采用KNN 的變型方法計算三個視頻塊在進行分類識別時的貢獻率W=[ 《2, C03]T，表示在使用 動態(tài)特征描述子對視頻子塊的特征進行描述時，第i個視頻子塊對于不同微表情類別的區(qū) 分能力，視頻塊的權重^^的值越大，表示對于同一個視頻中該視頻塊在整個視頻識別過程 中的貢獻越大。因此，視頻塊的貢獻率《 :反映了在微表情發(fā)生時，該人臉區(qū)域所含有效信 息的多少。《 i表示了在使用某種動態(tài)特征描述子對視頻的特征進行描述時第i個視頻子塊 對于各類不同微表情類別的區(qū)分能力。假定第i個訓練集中不同個類別的樣本點相互分開， 同類別的樣本點相互靠近。如果趨于1，表明這個第i個視頻子塊對于識別來說是重要 的。相反，若第i個視頻子塊所組成的訓練集中，不同類別的樣本點之間有重疊，那么計算得 到的《 i就相對較小。也就是說，由該訓練集對識別所產(chǎn)生的貢獻就應該小些。
[0063] KNN的變型方法的具體實現(xiàn)步驟如下：
[0064]在獲得的三個視頻子集1 (i = 1，2，3 )，首先，計算第i個視頻子集中的每一個視頻 子塊的動態(tài)運動信息與該視頻子集內(nèi)其他的所有視頻子塊之間距離，可以采用歐式距離、 切比雪夫距離、曼哈頓距離、余弦距離等表示，隨后找到它的K個最近鄰。那么第i個視頻子 集的權重可以通過下面的公式進行計算：
，其中，K1>n表示第i個視頻子集中在K個最近鄰視頻中與所屬同一 類表情的視頻個數(shù)。
[0066] 本發(fā)明將動態(tài)微表情視頻序列提取的運動特征與分塊權重法、特征權重法結合起 來，生成了加權的動態(tài)特征提取方法，加權的動態(tài)特征提取方法根據(jù)每個特征對識別效果 的貢獻率不同，賦予不同的權重，可以剔除噪聲的影響，削弱光照不均等因素的影響，增加 算法的魯棒性，使得識別的效果有明顯的提高。同時，加權的動態(tài)特征提取方法對視頻序列 進行分塊，使得特征匹配的位置更加準確。此外，本發(fā)明通過提取視頻序列的運動信息，在 一定程度加深對微表情動態(tài)模式的理解。
[0067] 步驟五:根據(jù)計算結果對視頻序列進行分類和識別。
[0068] 如圖3所示，本例的識別和分類方法為：
[0069] A1:將預處理后的定長視頻序列劃分成訓練集和測試集，利用步驟一到步驟五對 測試集中劃分出的所有測試視頻子塊和訓練集中劃分出的所有的訓練視頻子塊進行描述， 并計算每個訓練視頻子塊到所有訓練視頻對應的子塊之間的距離，本例結合模糊集理論提 出了加權模糊分類法；
[0070] 其中，訓練集中的每個視頻都是已經(jīng)標定表情類別的視頻，用于建立模型發(fā)現(xiàn)其 規(guī)律，測試集中的每個視頻都是未進行標定表情類別的視頻，通過計算視頻特征完成分類 從而得到分類后的標簽，將分類后的標簽與視頻自身所屬的表情類別進行比較，計算監(jiān)測 這個模型的規(guī)律和訓練集的誤差等，從而確定這個規(guī)律是否正確。
[0071 ]當然，除了加權模糊分類法，本例也可以使用加權距離模糊分類法，或加權模糊支 持向量機分類法等。
[0072] A2 :對于測試集中的每一個測試視頻所劃分出的視頻塊，用加權模糊分類法進行 模糊分類；
[0073] A3:計算出每個視頻塊對于所有訓練視頻的對應視頻子塊的隸屬度uu，得到視頻 子塊的分類結果，其中，i表示第i個訓練視頻，j表示第i個訓練視頻中第j個視頻子塊；
[0074] A4:對各個視頻塊得到的分類結果進行融合，得到每一個視頻塊的帶有權重的分 塊隸屬度〇i,j和帶有權重的總隸屬度比
[0075] A5:利用最大隸屬度原則，對人臉圖像的動態(tài)微表情進行分類。
[0076] 其中，在步驟A3中，Ui,j的計算公式為：
其中，n=l，2,…，N，N為 訓練視頻的個數(shù)，t為模糊因子，distu表示第i個訓練視頻子集中的第j個訓練視頻子塊的 特征描述子與當前測試視的對應空間位置視頻字塊的特征描述子的距離，
表示當前測試視頻的對應空間位置的視頻字塊與第i個訓練視頻集中N個 視頻子塊的平均距離。
[0077] 在步驟A4中，所述視頻塊的帶有權重的分塊隸屬度〇i,j和帶有權重的總隸屬度抑勺 計算公式如下：
[0078] 〇ij = 〇i ? Uij,(i = 1,2,???,!,j = 1,2, ~ M M M
[0079] #= ?" ，其中，M為視頻子集的個數(shù)，N為視頻塊的個數(shù)。 _ /-I /-I /-I
[0080] 本發(fā)明將動態(tài)微表情視頻序列提取的運動特征與分塊權重法、特征權重法結合起 來，生成了加權的動態(tài)特征提取方法，加權的動態(tài)特征提取方法根據(jù)每個特征對識別效果 的貢獻率不同，賦予不同的權重，可以剔除噪聲的影響，削弱光照不均等因素的影響，增加 算法的魯棒性，使得識別的效果有明顯的提高。同時，加權的動態(tài)特征提取方法對視頻序列 進行分塊，使得特征匹配的位置更加準確。此外，本發(fā)明通過提取視頻序列的運動信息，在 一定程度加深對微表情動態(tài)模式的理解。
[0081 ]本發(fā)明具有以下創(chuàng)新點：
[0082] (1)本發(fā)明將微表情序列通過指定微表情起始幀、微表情峰值幀、微表情結束幀三 幀微表情幀，通過插值算法將其插值成為一個定長微表情視頻序列。使得微表情序列在時 間上進行了歸一化，方便之后的對視頻序列進行特征描述。由于指定了微表情起始幀、微表 情峰值幀、微表情結束幀三幀微表情幀使得插值后的圖像更不容易發(fā)生插值錯誤。同時，插 值之后進行一次精細對齊，消除幀間插值所引入的誤差。
[0083] (2)本發(fā)明將動態(tài)微表情序列提取的運動特征與分塊權重法、特征權重法結合起 來，生成了加權的動態(tài)特征提取方法。加權的動態(tài)特征提取方法根據(jù)每個特征對識別效果 的貢獻率不同，賦予不同的權重，可以剔除噪聲的影響，削弱光照不均等因素的影響，增加 算法的魯棒性使得識別的效果有明顯的提高。
[0084] (3)加權的動態(tài)特征提取方法對視頻序列進行分塊，使得特征匹配的位置更加準 確。
[0085] (4)加權的模糊分類法對視頻子集進行模糊分類，計算隸屬度，對每個子集的隸屬 度進行累加，依據(jù)隸屬度最大原則，得到最終的分類結果，可以有效地降低樣本的誤識率， 增加樣本的魯棒性。同時，采用了加權的模糊集理論，使得對微表情的分類更加的精確。
[0086] (5)利用連續(xù)的人臉微表情視頻序列可以進行動態(tài)的微表情識別，在一定程度加 深對微表情動態(tài)模式的理解。
[0087] 以上所述之【具體實施方式】為本發(fā)明的較佳實施方式，并非以此限定本發(fā)明的具體 實施范圍，本發(fā)明的范圍包括并不限于本【具體實施方式】，凡依照本發(fā)明所作的等效變化均 在本發(fā)明的保護范圍內(nèi)。
【主權項】
1. 一種基于視頻的動態(tài)微表情識別方法，其特征在于包括以下步驟： 步驟一:視頻序列預處理； 步驟二:計算預處理后視頻序列的一定數(shù)量的幀，用插值法定點插值到指定長度視頻 并進彳τ精確對齊； 步驟三:將指定長度視頻分成視頻塊，得到視頻子集Y1，Y2，…，Ym，其中，M為視頻塊的個 數(shù)； 步驟四：提取視頻子集的動態(tài)特征，計算視頻子集的權重信息； 步驟五:根據(jù)計算結果對視頻序列進行分類和識別。2. 根據(jù)權利要求1所述的動態(tài)微表情識別方法，其特征在于:在步驟一中，預處理方法 包括彩色圖像灰度化、直方圖均衡化、使用仿射變換進行配準、尺寸歸一化。3. 根據(jù)權利要求1所述的動態(tài)微表情識別方法，其特征在于:在步驟二中，計算預處理 后視頻序列的微表情起始幀、微表情峰值幀、微表情結束幀三幀。4. 根據(jù)權利要求3所述的動態(tài)微表情識別方法，其特征在于:步驟二用3D梯度投影法計 算。5. 根據(jù)權利要求1-4任一項所述的動態(tài)微表情識別方法，其特征在于:步驟四的具體實 現(xiàn)方法包括如下步驟： (1) 提取每個視頻子集中所有視頻子塊的動態(tài)運動信息； (2) 分別計算視頻子集中視頻子塊特征向量每維的權重； (3) 對視頻子塊進行特征描述:將步驟（1)中提取的所有視頻子集中每個視頻子塊的動 態(tài)運動信息與步驟(2)中計算的特征向量每維的權重相乘并進行累加得到視頻子集中每個 視頻子塊的最終動態(tài)信息描述子； (4) 計算視頻子塊權重向量W，W= [ Co1, ω 2，···，ωΜ]τ，其中，M為視頻塊的個數(shù)，Coi表示 在使用動態(tài)特征描述子對視頻子塊的特征進行描述時，第i個視頻子塊對于不同微表情類 別的區(qū)分能力。6. 根據(jù)權利要求5所述的動態(tài)微表情識別方法，其特征在于：步驟（1)的實現(xiàn)方法包括 梯度法和光流法。7. 根據(jù)權利要求6所述的動態(tài)微表情識別方法，其特征在于:在步驟（1)中，采用時空梯 度描述子H0G3D對所有視頻子集提取H0G3D特征。8. 根據(jù)權利要求5所述的動態(tài)微表情識別方法，其特征在于:在步驟(4)中，采用了能夠 強化局部特征貢獻的權重方法計算視頻子塊權重。9. 根據(jù)權利要求1-4任一項所述的動態(tài)微表情識別方法，其特征在于:在步驟五中，所 述識別和分類方法為： Al:將預處理后的定長視頻序列劃分成訓練集和測試集，對測試集中劃分出的所有測 試視頻子塊和訓練集中劃分出的所有的訓練視頻子塊進行描述，并計算每個測試視頻子塊 到所有訓練視頻對應的子塊之間的距離； A2:對于測試集中的每一個測試視頻所劃分出的視頻塊，用加權模糊分類法進行模糊 分類； A3:計算出測試視頻的每個視頻塊對于所有訓練視頻的對應視頻子塊的隸屬度，得到 視頻子塊的分類結果； A4:對各個視頻塊得到的分類結果進行融合，得到每一個視頻塊的帶有權重的分塊隸 屬度和帶有權重的總隸屬度； A5:利用最大隸屬度原則，對人臉圖像的動態(tài)微表情進行分類。
【文檔編號】G06K9/00GK105913038SQ201610265428
【公開日】2016年8月31日
【申請日】2016年4月26日
【發(fā)明人】馬婷, 陳夢婷, 王煥煥
【申請人】哈爾濱工業(yè)大學深圳研究生院