專利名稱：靜態(tài)圖像中陌生人面部表情的識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種陌生人面部表情的識(shí)別方法，特別是靜態(tài)圖像中陌生人面部表情
的識(shí)別方法。
背景技術(shù)：
人臉表情識(shí)別在人機(jī)交互、圖像檢索、心理學(xué)、遠(yuǎn)程教育、安全駕駛、安全監(jiān)控、辨 別謊言、電腦游戲等方面具有越來越廣泛的應(yīng)用，其中靜態(tài)圖像中陌生人表情的識(shí)別是基 本技術(shù)之一。 文獻(xiàn)"基于局部二元模式的面部表情識(shí)別研究，計(jì)算機(jī)工程與應(yīng)用，2009， Vol. 45(29)， pl80-183"公開了一種靜態(tài)圖像中陌生人表情的計(jì)算機(jī)識(shí)別方法。該方法提 取人臉的紋理特征后進(jìn)行降維處理，然后對(duì)特征進(jìn)行分類，該方法在日本女性人臉表情數(shù) 據(jù)庫JAFFE上測(cè)試，對(duì)陌生人表情識(shí)別率為70. 95%。由于對(duì)靜態(tài)圖像提取的紋理特征征往 往不僅包含了表情特征，還包含了人臉特征，表情特征描述不準(zhǔn)確，而且，人類的表情特征 復(fù)雜多樣，底層視覺特征尤其是人臉表情的整體特征，很難較完整地描述人類的各種表情 特征。因此，文獻(xiàn)中的表情視覺特征提取方法難以對(duì)人臉表情進(jìn)行完整而準(zhǔn)確地描述，對(duì)陌 生人表情識(shí)別率不高。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)對(duì)靜態(tài)圖像中陌生人面部表情識(shí)別率低的不足，本發(fā)明提供一 種靜態(tài)圖像中陌生人面部表情的識(shí)別方法，該方法采用底層視覺特征和語義級(jí)面部活動(dòng)單 元特征兩級(jí)表情特征描述方法，利用面部活動(dòng)單元特征作為視覺特征與表情類別間的橋 梁，以有效降低視覺特征描述的不準(zhǔn)確和不完整性。同時(shí)，采用兩級(jí)分類器進(jìn)行表情分類 第一級(jí)分類器實(shí)現(xiàn)從視覺特征到活動(dòng)單元特征的分類，第二級(jí)分類器實(shí)現(xiàn)從活動(dòng)單元特征 到表情類別的分類?？梢蕴岣哽o態(tài)圖像中陌生人面部表情的識(shí)別率。 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案一種靜態(tài)圖像中陌生人面部表情的識(shí) 別方法，其特點(diǎn)是包括以下步驟 (a)選取Cohn-Kanade表情數(shù)據(jù)庫作為活動(dòng)單元學(xué)習(xí)用樣本集，對(duì)該樣本集合中 的每一幅圖像進(jìn)行歸一化和對(duì)齊預(yù)處理，并根據(jù)人臉各部位的幾何比例，計(jì)算雙眉、雙眼、 嘴巴、鼻子特征部位的位置和空間范圍，提取這些特征部位圖像的紋理特征，完成表情視覺 特征庫的建立； 根據(jù)表情視覺特征庫的所有視覺特征向量，訓(xùn)練44個(gè)SVM分類器，實(shí)現(xiàn)從視覺特 征到44個(gè)面部活動(dòng)單元的分類器學(xué)習(xí)； (b)選擇表情識(shí)別學(xué)習(xí)用樣本集，對(duì)該樣本集中的每一幅圖像進(jìn)行歸一化和對(duì)齊 預(yù)處理，并根據(jù)人臉各部位的幾何比例，提取雙眉、雙眼、嘴巴、鼻子等特征部位圖像，提取 這些特征部位的紋理特征，分別用這些紋理特征訓(xùn)練SVM分類器，識(shí)別其包含的面部活動(dòng) 單元，構(gòu)造面部活動(dòng)單元特征向量；
(c)用表情識(shí)別學(xué)習(xí)用樣本集中的樣本的面部活動(dòng)單元特征向量訓(xùn)練6個(gè)SVM分 類器，實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的分類器學(xué)習(xí)； (d)對(duì)表情測(cè)試圖像，按步驟(b)的方法得到其面部活動(dòng)單元特征向量并輸入6個(gè) SVM分類器，實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的識(shí)別。 本發(fā)明具有以下有益效果由于采用底層視覺特征和語義級(jí)面部活動(dòng)單元特征的
兩級(jí)特征描述，利用語義級(jí)面部活動(dòng)單元特征作為視覺特征與表情類別間的橋梁，一方面
減少了視覺特征包含的人臉特征對(duì)表情識(shí)別的影響，提高了特征描述的準(zhǔn)確性，另一方面，
面部活動(dòng)單元是心理學(xué)研究得出的面部表情編碼系統(tǒng)中的單元，其對(duì)表情特征的描述更完
整；同時(shí)，采用兩級(jí)分類器進(jìn)行表情分類，降低了對(duì)分類器映射能力的要求。該方法結(jié)果采
用與文獻(xiàn)相同的劃分方法，在日本女性人臉表情數(shù)據(jù)庫JAFFE上測(cè)試，對(duì)陌生人表情識(shí)別
率由現(xiàn)有技術(shù)的70. 95%提高到76%。 下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明作詳細(xì)說明。
具體實(shí)施例方式
本實(shí)施例采用Cohn-Kanade表情數(shù)據(jù)庫作為活動(dòng)單元學(xué)習(xí)用樣本庫，采用JAFFE 表情數(shù)據(jù)庫作為活動(dòng)單元識(shí)別、表情學(xué)習(xí)和測(cè)試用數(shù)據(jù)庫。具體步驟如下
(1)面部活動(dòng)單元學(xué)習(xí)過程。 選取Cohn-Kanade表情數(shù)據(jù)庫作為活動(dòng)單元學(xué)習(xí)用樣本集，對(duì)該集合中的每一幅 圖像，手工定位人的兩眼的外眼角位置和左、右嘴角位置，設(shè)0q， y》，(x2， y2)， (x3， y3)和 (x4，y4)分別表示左外眼角、右外眼角、左嘴角和右嘴角位置，則 兩眼間距離《=J(Xi—^)2+"—，兩眼中心0位置為(:^1^1/^1) 從中心0起，向左右各剪切0. 6dp向上剪切0. 6dp向下剪切2. 3dp將圖像縮放為 100 X 80像素大小，完成人臉大小歸一化和人臉對(duì)齊。
雙眉、雙眼、嘴巴、鼻子等特征區(qū)域計(jì)算如下； 左眉左上角位置Oq-lO， y「66)，右眉右上角位置(x2+10， y2_66)，兩眉區(qū) 域?qū)挾染鶠閊^ ，高度均為45;左眼左上角位置Oq-lO， y「22)，右眼右上角位
置(x2+10， y廠22)，兩眉區(qū)域?qū)挾染鶠閊^，高度均為42 ;鼻子區(qū)域的左上角位置
(^"- -10,少1+15)，區(qū)域?qū)挾? + 10，高度為^^-^Zl-50;嘴巴
區(qū)域的左上角位置(x3-10， y3-20)，區(qū)域?qū)挾葂4-x3+20，高度為30。
至此，可根據(jù)上述計(jì)算結(jié)果提取特征部位圖像。 對(duì)雙眉、雙眼、嘴巴、鼻子等特征部位圖像，分別采用文獻(xiàn)中的LBP特征作為其紋
理特征，采用文獻(xiàn)中的SVM分類器進(jìn)行面部活動(dòng)單元的分類器學(xué)習(xí)，共訓(xùn)練44個(gè)分類器，每
個(gè)分類器對(duì)應(yīng)一個(gè)活動(dòng)單元。 (2)面部活動(dòng)單元識(shí)別過程。 選擇JAFFE數(shù)據(jù)庫，用步驟(1)中同樣的方法，對(duì)庫中的圖像進(jìn)行歸一化和對(duì)齊預(yù) 處理，獲取雙眉、雙眼、嘴巴、鼻子等特征部位圖像，提取這些特征部位的紋理特征。
4
將這些紋理特征分別輸入44個(gè)SVM分類器，根據(jù)分類器的輸出是0或1 ，識(shí)別其包 含的面部活動(dòng)單元，組成面部活動(dòng)單元向量。
(3)表情學(xué)習(xí)過程。 采用棄一交叉驗(yàn)證法。選擇JAFFE數(shù)據(jù)庫中某一個(gè)人的表情圖像作為測(cè)試集，其 余9個(gè)人的表情圖像作為表情學(xué)習(xí)樣本集。用學(xué)習(xí)樣本集中各樣本的面部活動(dòng)單元特征向 量訓(xùn)練6個(gè)SVM分類器，實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的分類器學(xué)習(xí)。
(4)表情識(shí)別過程。 與步驟(3)對(duì)應(yīng)，選擇JAFFE數(shù)據(jù)庫中某一個(gè)人的表情圖像作為測(cè)試集，將測(cè)試樣 本的面部活動(dòng)單元特征向量輸入6個(gè)SVM分類器，根據(jù)分類器的輸出是0或1，實(shí)現(xiàn)從面部 活動(dòng)單元到6種基本表情的識(shí)別。 該方法在日本女性人臉表情數(shù)據(jù)庫JAFFE上測(cè)試，對(duì)陌生人表情識(shí)別率為76 % 。
權(quán)利要求
一種靜態(tài)圖像中陌生人面部表情的識(shí)別方法，其特征在于包括以下步驟(a)選取Cohn-Kanade表情數(shù)據(jù)庫作為活動(dòng)單元學(xué)習(xí)用樣本集，對(duì)該樣本集合中的每一幅圖像進(jìn)行歸一化和對(duì)齊預(yù)處理，并根據(jù)人臉各部位的幾何比例，計(jì)算雙眉、雙眼、嘴巴、鼻子特征部位的位置和空間范圍，提取這些特征部位圖像的紋理特征，完成表情視覺特征庫的建立；根據(jù)表情視覺特征庫的所有視覺特征向量，訓(xùn)練44個(gè)SVM分類器，實(shí)現(xiàn)從視覺特征到44個(gè)面部活動(dòng)單元的分類器學(xué)習(xí)；(b)選擇表情識(shí)別學(xué)習(xí)用樣本集，對(duì)該樣本集中的每一幅圖像進(jìn)行歸一化和對(duì)齊預(yù)處理，并根據(jù)人臉各部位的幾何比例，提取雙眉、雙眼、嘴巴、鼻子等特征部位圖像，提取這些特征部位的紋理特征，分別用這些紋理特征訓(xùn)練SVM分類器，識(shí)別其包含的面部活動(dòng)單元，構(gòu)造面部活動(dòng)單元特征向量；(c)用表情識(shí)別學(xué)習(xí)用樣本集中的樣本的面部活動(dòng)單元特征向量訓(xùn)練6個(gè)SVM分類器，實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的分類器學(xué)習(xí)；(d)對(duì)表情測(cè)試圖像，按步驟(b)的方法得到其面部活動(dòng)單元特征向量并輸入6個(gè)SVM分類器，實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的識(shí)別。
全文摘要
本發(fā)明公開了一種靜態(tài)圖像中陌生人面部表情的識(shí)別方法，屬于圖像識(shí)別領(lǐng)域，用于對(duì)靜態(tài)圖像中陌生人面部表情的識(shí)別。所述方法首先用Cohn-Kanade表情數(shù)據(jù)庫作為活動(dòng)單元學(xué)習(xí)用樣本集，完成表情視覺特征庫的建立；將該樣本集中圖像的視覺特征輸入面部活動(dòng)單元分類器，識(shí)別各圖像包含的面部活動(dòng)單元；用面部活動(dòng)單元特征向量實(shí)現(xiàn)從面部活動(dòng)單元到6種基本表情的分類器學(xué)習(xí)；對(duì)表情測(cè)試樣本，利用其視覺特征識(shí)別其包含的面部活動(dòng)單元，并構(gòu)造面部活動(dòng)單元特征向量，根據(jù)面部活動(dòng)單元特征向量實(shí)現(xiàn)面部基本表情的識(shí)別。該方法結(jié)果采用與文獻(xiàn)相同的數(shù)據(jù)庫劃分方法，在日本女性人臉表情數(shù)據(jù)庫JAFFE上測(cè)試，對(duì)陌生人表情識(shí)別率由現(xiàn)有技術(shù)的70.95％提高到76％。
文檔編號(hào)G06K9/66GK101719223SQ20091025458
公開日2010年6月2日 申請(qǐng)日期2009年12月29日 優(yōu)先權(quán)日2009年12月29日
發(fā)明者何貴青, 馮曉毅, 季戰(zhàn)領(lǐng), 彭進(jìn)業(yè), 楊雨奇, 謝紅梅, 閻坤 申請(qǐng)人:西北工業(yè)大學(xué)