基于運(yùn)動(dòng)單元分層的人臉表情識(shí)別方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種人臉表情識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉表情識(shí)別是通過(guò)視覺(jué)信號(hào)分析人臉運(yùn)動(dòng)及面部特征的變化對(duì)表情進(jìn)行分類。 表情分類的研宄基本是依據(jù)1971年心理學(xué)家Ekman與Friesen最早提出的人類六種主要 情感，每種情感以唯一的表情來(lái)反映人的一種獨(dú)特的心理活動(dòng)。這六種情感被稱為基本情 感，由生氣（anger)、開(kāi)心（happiness)、悲傷（sadness)、驚訝（surprise)、厭惡（disgust) 和恐懼（fear)組成。近年來(lái)隨著一系列相關(guān)領(lǐng)域的飛速發(fā)展，如機(jī)器學(xué)習(xí)、圖像處理、人臉 檢測(cè)等，人臉表情識(shí)別越來(lái)越受到重視，其應(yīng)用前景十分廣泛，如自然人機(jī)交互，智能機(jī)器 人，情緒檢測(cè)及心理狀態(tài)分析、虛擬現(xiàn)實(shí)技術(shù)、合成臉部動(dòng)畫(huà)等等。
[0003] 人臉表情識(shí)別的研宄主要步驟為：人臉檢測(cè)，表情特征提取以及表情分類。第一步 需要從背景圖像中對(duì)人臉進(jìn)行準(zhǔn)確定位，這一環(huán)節(jié)現(xiàn)在已作為一個(gè)獨(dú)立的研宄方向；第二 步從人臉圖像或圖像序列提取能夠代表表情本質(zhì)的信息，如紋理表觀、運(yùn)動(dòng)變化或幾何形 狀特征等；第三步設(shè)計(jì)表情分類器，結(jié)合提取的特征識(shí)別表情。目前主要有以下分類方法： 貝葉斯網(wǎng)絡(luò)、K近鄰域、神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、支持向量機(jī)、隱馬爾可夫模型等。
[0004] 近年來(lái)的表情識(shí)別方面的研宄取得了很大的進(jìn)展，獲得不錯(cuò)的識(shí)別效果。但現(xiàn)有 方法一般針對(duì)高分辨率的圖像，需要定位精確特征點(diǎn)，容易受到噪聲影響，準(zhǔn)確率低。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種人臉表情識(shí)別方法及系統(tǒng)，其目的在于，針對(duì)低分辨率圖像，通過(guò) 基于AU分層結(jié)構(gòu)提取對(duì)表情具有代表性區(qū)域的特征逐層分類，提高了表情識(shí)別精確度與 速度。
[0006] -種人臉表情識(shí)別方法，該方法包括三層分類步驟，具體為：
[0007] (1)第一層分類步驟：
[0008] 在待識(shí)別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū)域，在第一層分類 區(qū)域內(nèi)提取紋理特征，以檢測(cè)是否出現(xiàn)AU9運(yùn)動(dòng)單元作為第一層分類器判定標(biāo)準(zhǔn)，所述AU9 運(yùn)動(dòng)單元表明皺鼻；若出現(xiàn)，則第一層分類結(jié)果為class-1 {厭惡}，結(jié)束；若未出現(xiàn)，則第一 層分類結(jié)果為class-2 {生氣、開(kāi)心、恐懼、驚奇、悲傷}，進(jìn)入步驟（2);
[0009] (2)第二層分類步驟：
[0010] 在待識(shí)別人臉圖像中提取嘴唇區(qū)域作為第二層分類區(qū)域，在第二層分類區(qū)域內(nèi) 提取紋理特征，以檢測(cè)是否出現(xiàn)AU25和AU12運(yùn)動(dòng)單元作為第二層分類器判定標(biāo)準(zhǔn)，所 述AU25運(yùn)動(dòng)單元表明雙唇分離，AU12運(yùn)動(dòng)單元表明唇角上拉；若均未出現(xiàn)，則第二層分 類結(jié)果為class-21 {生氣、悲傷}，進(jìn)入步驟（31);若出現(xiàn)至少一種，則第二層分類結(jié)果為 class-22 {恐懼、開(kāi)心、驚奇}，進(jìn)入步驟（32);
[0011] ⑶第三層分類步驟：
[0012] (31)在待識(shí)別人臉圖像中提取上半臉區(qū)域作為第三層分類區(qū)域，在第三層分類區(qū) 域內(nèi)提取紋理特征并利用第三層分類器精確分類，最終確定表情為class-211 {生氣}和 class-212 {悲傷}中的一類；
[0013] (32)在待識(shí)別人臉圖像中提取下半臉區(qū)域作為第三層分類區(qū)域，在第三層分 類區(qū)域內(nèi)提取紋理特征并利用第三層分類器分類，最終確定表情為class-221 {恐懼}、 class-222 {開(kāi)心}和class-223 {驚奇}中的一類。
[0014] 一種人臉表情識(shí)別系統(tǒng)，該系統(tǒng)包括：
[0015] 第一模塊，用于在待識(shí)別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū) 域，在第一層分類區(qū)域內(nèi)提取紋理特征，以檢測(cè)是否出現(xiàn)AU9運(yùn)動(dòng)單元作為第一層分類器 判定標(biāo)準(zhǔn)，所述AU9運(yùn)動(dòng)單元表明皺鼻；若出現(xiàn)，則第一層分類結(jié)果為class-1 {厭惡}，結(jié) 束；若未出現(xiàn)，則第一層分類結(jié)果為class-2 {生氣、開(kāi)心、恐懼、驚奇、悲傷}，進(jìn)入第二模 塊；
[0016] 第二模塊，用于在待識(shí)別人臉圖像中提取嘴唇區(qū)域作為第二層分類區(qū)域，在第二 層分類區(qū)域內(nèi)提取紋理特征，以檢測(cè)是否出現(xiàn)AU25和AU12運(yùn)動(dòng)單元作為第二層分類器判 定標(biāo)準(zhǔn)，所述AU25運(yùn)動(dòng)單元表明雙唇分離，AU12運(yùn)動(dòng)單元表明唇角上拉；若均未出現(xiàn)，則第 二層分類結(jié)果為class-21 {生氣、悲傷}，進(jìn)入第三一子模塊；若出現(xiàn)至少一種，則第二層分 類結(jié)果為class-22 {恐懼、開(kāi)心、驚奇}，進(jìn)入第三二子模塊；
[0017] 第三模塊，包括：
[0018] 第三一子模塊，用于在待識(shí)別人臉圖像中提取上半臉區(qū)域作為第三層分類區(qū) 域，在第三層分類區(qū)域內(nèi)提取紋理特征并利用第三層分類器精確分類，最終確定表情為 class-211 {生氣}和class-212 {悲傷}中的一類；
[0019] 第三二子模塊，用于在待識(shí)別人臉圖像中提取下半臉區(qū)域作為第三層分類 區(qū)域，在第三層分類區(qū)域內(nèi)提取紋理特征并利用第三層分類器分類，最終確定表情為 class-221 {恐懼}、class-222 {開(kāi)心}和class-223 {驚奇}中的一類。
[0020] 本發(fā)明通過(guò)上述步驟將人臉表情識(shí)別進(jìn)行了層次化分類，相較于現(xiàn)有的技術(shù)，具 有如下優(yōu)點(diǎn)：
[0021] 相較于其他通過(guò)整個(gè)人臉對(duì)表情特征識(shí)別的方法，本發(fā)明基于AU分層結(jié)構(gòu)，提取 對(duì)表情具有代表性區(qū)域的特征結(jié)合隨機(jī)森林逐層分類，有效提高表情識(shí)別精確度與速度， 尤其適用于低分辨率圖像。本發(fā)明不需要依賴精確的特征點(diǎn)信息，通過(guò)提取圖像的例如灰 度、LBP和Gabor等紋理特征即可達(dá)到較好識(shí)別率，有效的降低對(duì)圖像質(zhì)量的要求和對(duì)圖像 預(yù)處理的難度，提高該方法的實(shí)用性和通用性。
【附圖說(shuō)明】
[0022] 圖1為本發(fā)明基于AU分層的人臉表情識(shí)別方法流程圖；
[0023] 圖2為本發(fā)明實(shí)例詳細(xì)流程圖；
[0024] 圖3為本發(fā)明實(shí)例歸一化示意圖；
[0025]圖4為本發(fā)明實(shí)例用于分層分類的局部區(qū)域示意圖。
【具體實(shí)施方式】
[0026] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0027] 為描繪不同的臉部肌肉動(dòng)作和不同表情的對(duì)應(yīng)關(guān)系，心理學(xué)家PaulEkman和 W.V.Friesen提出了FACS(FacialActionCodingSystem)面部表情編碼系統(tǒng)。根據(jù)人類解 刨學(xué)特點(diǎn)，將該系統(tǒng)劃分成若干既相互獨(dú)立又相互聯(lián)系的運(yùn)動(dòng)單元即AU(ActionUnits)， 例如AUl(InnerBrowRaiser內(nèi)端眉毛上揚(yáng)），AU2(0uterBrowRaiser外端眉毛上揚(yáng)）等 等。
[0028] 本發(fā)明針對(duì)低分辨率圖像，提出AU分層思想從而對(duì)六類基本表情進(jìn)行識(shí)別。本發(fā) 明分層具體如下：
[0029] 首先，分層結(jié)構(gòu)的第一層基于AU9(NoseWrinkler)鼻子上部鄰近區(qū)域，皺鼻，將六 類表情粗分為兩類，class-1 :Disgust ;class_2 :生氣、開(kāi)心、恐懼、驚奇和悲傷；
[0030] 然后，分層結(jié)構(gòu)的第二層基于AU25(LipsPart)雙唇分離，和AU12(LipCorner Puller)唇角上拉，將class-2細(xì)化為，class-21 :生氣、悲傷；class-22 :恐懼、開(kāi)心和驚 喜；
[0031] 最后，分層結(jié)構(gòu)的第三層中，基于上半臉區(qū)域（見(jiàn)圖4,人臉區(qū)域從上往下三分之 一部分），將class-21分為class-211 :生氣；class-212 :悲傷；基于下半臉區(qū)域（見(jiàn)圖4， 人臉區(qū)域從下往上三分之二部分），將class-22分為：class-221:恐懼；class-222:開(kāi)心； class-223 :驚奇。
[0032] 基于上述分層，本發(fā)明圖1給出了逐層分類的具體實(shí)施步驟，具體為：
[0033](1)第一層分類步驟：
[0034] 在待識(shí)別人臉圖像中提取鼻子上部鄰近區(qū)域作為第一層分類區(qū)域，在第一層分類 區(qū)域內(nèi)提取紋理特征，以檢測(cè)是否出現(xiàn)AU9運(yùn)動(dòng)單元作為第一層分類器判定標(biāo)準(zhǔn)，所述AU9 運(yùn)動(dòng)單