基于粗糙集與混合特征的人臉表情識別方法
【專利摘要】本發(fā)明提出了一種基于粗糙集與混合特征人臉表情識別方法，包括如下步驟：(1)進(jìn)行人臉檢測；(2)采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征；(3)采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征；(4)采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征；(5)利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別，得到分類結(jié)果。通過實驗表明，本發(fā)明所提出的改進(jìn)方法不但可縮短人臉表情識別所需要的時間，更可以提高人臉表情識別的識別率。
【專利說明】基于粗糙集與混合特征的人臉表情識別方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明屬于計算機信息處理【技術(shù)領(lǐng)域】，特別是人臉表情識別方法。
【【背景技術(shù)】】
[0002]人臉表情識別(Facial Expression Recognition, FER)是計算機對人臉的表情信息進(jìn)行特征提取并歸類的過程，它使計算機能獲知人的表情信息，進(jìn)而推斷人的心理狀態(tài)，從而實現(xiàn)人機之間的高級智能交互，是模式識別、生理學(xué)、心理學(xué)、計算機視覺等多學(xué)科交叉的一個極富挑戰(zhàn)性的課題。
[0003]雖然人臉表情識別技術(shù)已被很多人所研究，但是現(xiàn)有的方法沒有分散強調(diào)對表情變化有重要貢獻(xiàn)的人臉部眼睛、眉毛、嘴巴等區(qū)域的信息，而且單一的特征提取方法并不能涵蓋所有的有效信息，同時沒有考慮到屬性特征的重要度、對信息系統(tǒng)貢獻(xiàn)的重復(fù)度，由此導(dǎo)致人臉表情識別的識別率不高，表情識別的識別時間過長的問題。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明目的在于提供一種人臉表情識別方法，用以解決現(xiàn)有技術(shù)中的人臉表情識別的識別率不高，表情 識別的識別時間過長的問題。
[0005]為實現(xiàn)上述目的，實施本發(fā)明的人臉表情識別方法包括如下步驟:
[0006]進(jìn)行人臉檢測；
[0007]采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征；
[0008]采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征；
[0009]采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征；
[0010]利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別，得到分類結(jié)果。
[0011]依據(jù)上述主要特征，采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征的步驟中，采用采用AAM算法提取出描述人臉中的眉毛、眼睛、鼻子、嘴巴等這些器官形狀和結(jié)構(gòu)關(guān)系變化的幾何描述作為識別特征，使用AAM算法搜索定位出人臉各個關(guān)鍵特征點的位置，選用眉毛、眼睛、鼻子、嘴巴、下頜區(qū)域的共32個關(guān)鍵點，然后計算出不同特征點之間的不同距離作為特征參數(shù)。
[0012]依據(jù)上述主要特征，采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征的步驟中，采用改進(jìn)的粗糙集屬性約簡方法對得到的距離特征進(jìn)行選擇，特征選擇后，每幅圖像選出14個主要距離參數(shù)。
[0013]依據(jù)上述主要特征，采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征的步驟中，對于一個待測圖像序列，首先采用改進(jìn)的加權(quán)主成分分析方法，構(gòu)造一個以兩個眼睛和嘴巴為羽化中心點的三中心雙向高斯函數(shù)作為加權(quán)函數(shù)用于識別，加入水平、垂直兩方向的漸變比例系數(shù)，實現(xiàn)加權(quán)區(qū)域的雙向可調(diào)，分散地強調(diào)對表情變化有重要貢獻(xiàn)的眼睛、眉毛、嘴巴這三個點的位置信息，使面部表情特征更加突出。[0014]依據(jù)上述主要特征，采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征的步驟中，經(jīng)過改進(jìn)的加權(quán)主成分分析法獲得52X10的特征向量矩陣，針對維數(shù)較高問題，依然采用改進(jìn)的粗糙集屬性約簡方法對得到的每幅圖像的52維特征向量進(jìn)行約簡，由此便得到表情序列的24X10的特征向量矩陣，將其向量化為240維的列向量，構(gòu)成一個圖像序列的整體特征，則一個圖像的整體特征向量由240維的向量組成。
[0015]依據(jù)上述主要特征，采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征的步驟中，采用典型相關(guān)分析方法對上面提取到的兩種特征進(jìn)行特征融合，在融合前需要對數(shù)據(jù)集分別作標(biāo)準(zhǔn)化處理，再選用合適的核函數(shù)類型，上面提取到的局部幾何特征和整體特征進(jìn)行融合，特征融合之后的特征向量z’的維數(shù)為40維，通過歸一化處理作為離散HMM的觀察值向量。
[0016]依據(jù)上述主要特征，利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別得到分類結(jié)果的步驟中是將融合后得到的40維的特征向量歸一化后作為HMM的觀察值向量，根據(jù)輸入的觀察值，每個訓(xùn)練好的模型求P(o/Ai)，l < i < 6。若i* =argmax! ^ i ^ 6 [p (ο/ λ )]，則i*即為該段表情序列所屬表情類別。
[0017]與現(xiàn)有技術(shù)相比較，本發(fā)明通過上述方法能夠提高人臉表情識別的識別率，并且表情識別的識別時間較短，從而更易于實施。
【【專利附圖】

【附圖說明】】
[0018]圖1為實施本發(fā)明的流程圖。
[0019]圖2為AAM的定位結(jié)果圖。
[0020]圖3為標(biāo)定的人臉特征點圖。
[0021]圖4為距離特征描述表。
[0022]圖5為HMM結(jié)構(gòu)示意圖。
[0023]圖6為核典型相關(guān)分析獲取融合特征進(jìn)行識別的測試結(jié)果表。
[0024]圖7為四種表情識別方法的結(jié)果對比圖。
【【具體實施方式】】
[0025]本發(fā)明在廣泛閱讀國內(nèi)外現(xiàn)有的關(guān)于人臉表情特征提取和表情識別技術(shù)的文獻(xiàn)后，比較和借鑒現(xiàn)有成功的人臉表情識別方法，對相應(yīng)的人臉表情特征提取及識別的關(guān)鍵技術(shù)進(jìn)行改進(jìn)和完善，同時提出自己的算法，提高了人臉表情識別的識別率，并縮短了表情識別的識別時間。
[0026]請參閱圖1所示，實施本發(fā)明的人臉表情識別方法包括如下步驟:
[0027]步驟一:進(jìn)行人臉檢測；
[0028]步驟二:采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征；
[0029]步驟三:采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征；
[0030]步驟四:采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征；
[0031]步驟五:利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別，得到分類結(jié)果。
[0032]以下分別對步驟二至步驟五進(jìn)行詳細(xì)的說明。
[0033]I)局部幾何形變特征提取
[0034]采用主動表觀模型和粗糙集相結(jié)合的方法(AAM-RS)提取表情的局部幾何形變特征。人臉中的眉毛、眼睛、鼻子、嘴巴等構(gòu)造了人臉豐富多彩的表情變化，采用AAM算法提取出描述這些器官形狀和結(jié)構(gòu)關(guān)系變化等的幾何描述作為識別特征。使用AAM算法搜索定位出人臉各個關(guān)鍵特征點的位置如圖2，選用眉毛、眼睛、鼻子、嘴巴、下頜區(qū)域的共32個關(guān)鍵點，如圖3所示，然后計算出不同特征點之間的不同距離作為特征參數(shù)。用d代表兩內(nèi)眼角的距離(圖3中特征點6和特征點13之間的距離)來作為特征歸一化因子。
[0035]歸一化后點i到點j的歐式距離Dis (i, j)定義為:
[0036]
【權(quán)利要求】
1.一種基于粗糙集與混合特征的人臉表情識別方法，包括如下步驟: 進(jìn)行人臉檢測； 采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征； 采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征； 采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征； 利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別，得到分類結(jié)果。
2.如權(quán)利要求1所述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征的步驟中，采用采用AAM算法提取出描述人臉中的眉毛、眼睛、鼻子、嘴巴等這些器官形狀和結(jié)構(gòu)關(guān)系變化的幾何描述作為識別特征，使用AAM算法搜索定位出人臉各個關(guān)鍵特征點的位置，選用眉毛、眼睛、鼻子、嘴巴、下頜區(qū)域的共32個關(guān)鍵點，然后計算出不同特征點之間的不同距離作為特征參數(shù)。
3.如權(quán)利要求2所述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:采用主動表觀模型和粗糙集相結(jié)合的方法提取表情的局部幾何形變特征的步驟中，采用改進(jìn)的粗糙集屬性約簡方法對得到的距離特征進(jìn)行選擇，特征選擇后，每幅圖像選出14個主要距離參數(shù)。
4.如權(quán)利要求3所 述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征的步驟中，對于一個待測圖像序列，首先采用改進(jìn)的加權(quán)主成分分析方法，構(gòu)造一個以兩個眼睛和嘴巴為羽化中心點的三中心雙向高斯函數(shù)作為加權(quán)函數(shù)用于識別，加入水平、垂直兩方向的漸變比例系數(shù)，實現(xiàn)加權(quán)區(qū)域的雙向可調(diào)，分散地強調(diào)對表情變化有重要貢獻(xiàn)的眼睛、眉毛、嘴巴這三個點的位置信息，使面部表情特征更加突出。
5.如權(quán)利要求4所述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:采用改進(jìn)的加權(quán)主成分分析法和粗糙集相結(jié)合提取表情的整體特征的步驟中，經(jīng)過改進(jìn)的加權(quán)主成分分析法獲得52X10的特征向量矩陣，針對維數(shù)較高問題，依然采用改進(jìn)的粗糙集屬性約簡方法對得到的每幅圖像的52維特征向量進(jìn)行約簡，由此便得到表情序列的24X10的特征向量矩陣，將其向量化為240維的列向量，構(gòu)成一個圖像序列的整體特征，則一個圖像的整體特征向量由240維的向量組成。
6.如權(quán)利要求5所述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:采用高維小樣本下的核典型相關(guān)分析對提取到的局部幾何形變特征和整體特征進(jìn)行特征融合消除特征冗余，得到融合后的典型特征的步驟中，采用典型相關(guān)分析方法對上面提取到的兩種特征進(jìn)行特征融合，在融合前需要對數(shù)據(jù)集分別作標(biāo)準(zhǔn)化處理，再選用合適的核函數(shù)類型，上面提取到的局部幾何特征和整體特征進(jìn)行融合，特征融合之后的特征向量z’的維數(shù)為40維，通過歸一化處理作為離散HMM的觀察值向量。
7.如權(quán)利要求6所述的基于粗糙集與混合特征的人臉表情識別方法，其特征在于:利用融合后的特征作為離散HMM的觀察值向量，進(jìn)行分類識別得到分類結(jié)果的步驟中是將融合后得到的40維的特征向量歸一化后作為HMM的觀察值向量，根據(jù)輸入的觀察值，每個訓(xùn)練好的模型求P (ο/ λ j), I 5? i 5? 60若i* = argmaXi ^ i ^ 6[p (0/ λ )]，則i*即為該段表情序列所 屬表情類別。
【文檔編號】G06K9/00GK103984919SQ201410168960
【公開日】2014年8月13日 申請日期:2014年4月24日 優(yōu)先權(quán)日:2014年4月24日
【發(fā)明者】段麗, 鐘曉, 喬亦民 申請人:上海優(yōu)思通信科技有限公司