專利名稱：基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人物圖像語(yǔ)義識(shí)別技術(shù)領(lǐng)域，具體涉及ー種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法。
背景技術(shù)：
圖像語(yǔ)義分為三個(gè)層次，分別是底層的特征語(yǔ)義層，中層的對(duì)象語(yǔ)義層，上層的抽象語(yǔ)義層。目前研究的熱點(diǎn)在底層的特征語(yǔ)義層，研究圖像的底層特征如顔色、紋理及形狀等及其組合來(lái)提取相關(guān)語(yǔ)義描述，簡(jiǎn)單語(yǔ)義特征的提取與分析需要利用復(fù)雜語(yǔ)義信息，而且通過(guò)単一的特征分析，是不能準(zhǔn)確確定圖像語(yǔ)義的。圖像的語(yǔ)義不單是圖像的底層特征所能表達(dá)的，圖像語(yǔ)義是個(gè)復(fù)雜的系統(tǒng)表達(dá)，例如一副人物圖像，是不能只根據(jù)圖像的背景顔色，人物的輪廓就可以判斷圖像語(yǔ)義的，如果將重點(diǎn)放在圖像的對(duì)象、場(chǎng)景的含義和目標(biāo) 進(jìn)行高層推理，研究抽象語(yǔ)義層，能更好地得到相關(guān)的語(yǔ)義描述。研究抽象語(yǔ)義層將重點(diǎn)放在人物面部表情識(shí)別上，研究目標(biāo)是能夠自動(dòng)地識(shí)別出人的表情，分析出人的情感，進(jìn)而得到圖像情感語(yǔ)義。計(jì)算機(jī)自動(dòng)識(shí)別人臉表情是困難的，因?yàn)槿四樖签`個(gè)柔性體，為人臉表情特征建立精確數(shù)學(xué)模型難度較高。臉部器官的位置稍有變動(dòng)，表情就會(huì)發(fā)生巨大的變化，因而需要選擇最重要的特征來(lái)決定表情的識(shí)別。面部表情識(shí)別是情感識(shí)別的初級(jí)，而情感識(shí)別是最高級(jí)的識(shí)別，超出了人工智能的模糊識(shí)別，有著廣泛的應(yīng)用前景和發(fā)展前景。在汽車、飛機(jī)、車間等重要崗位上的監(jiān)控系統(tǒng)設(shè)備中，通過(guò)感應(yīng)設(shè)備對(duì)司機(jī)、飛行員、工人等進(jìn)行臉部監(jiān)控，通過(guò)其表情的痛苦或不適表現(xiàn)得疲勞、壓カ過(guò)大等精神狀態(tài)信息，及時(shí)報(bào)警提示，避免事故發(fā)生；在醫(yī)療中，表情分析可作為輔助手段，幫助醫(yī)生分析病人的精神狀態(tài)，對(duì)病人的精神問(wèn)題做出正確的診斷；在電腦游戲中，能夠根據(jù)游戲者的喜、怒、哀、樂來(lái)做出實(shí)時(shí)的反應(yīng)，那么電腦游戲會(huì)比傳統(tǒng)規(guī)定好規(guī)則的游戲更逼真；此外，在安全保密，公安偵查，醫(yī)療輔助等其他需要解釋面部信號(hào)的領(lǐng)域和行業(yè)中都會(huì)有廣泛的應(yīng)用。本發(fā)明因此而來(lái)。

發(fā)明內(nèi)容
本發(fā)明目的在于提供ー種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法，解決了現(xiàn)有技術(shù)中圖像中面部表情識(shí)別不能較好的進(jìn)行識(shí)別等問(wèn)題。為了解決現(xiàn)有技術(shù)中的這些問(wèn)題，本發(fā)明提供的技術(shù)方案是ー種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法，其特征在于所述方法包括以下步驟(I)對(duì)提供的待識(shí)別圖像進(jìn)行掃描，進(jìn)行人臉檢測(cè)，辨別其中是否含有人臉；當(dāng)檢測(cè)到圖像含有人臉時(shí)，確定人臉的位置、大??；(2)對(duì)步驟(I)檢測(cè)到的人臉圖像進(jìn)行特征提取和人臉圖像分割分析，確定人臉的基本輪廓和面部器官的位置、輪廓；(3)提取面部器官特征，并分解出特征形狀，根據(jù)面部器官的輪廓形狀設(shè)定情感判斷條件，判斷人物情感語(yǔ)義。優(yōu)選的，所述方法步驟(3)通過(guò)Gauss濾波和中值濾波，混合投影定位臉部器官，提取器官特征輪廓，計(jì)算輪廓特征點(diǎn)，通過(guò)邏輯判斷出表情情感。優(yōu)選的，所述方法中以人臉圖像中嘴唇為目標(biāo)，采用方差過(guò)濾器，建立X，Y坐標(biāo)系，原點(diǎn)在圖像左上角，提取嘴唇的特征形狀輪廓，計(jì)算嘴唇輪廓的所有坐標(biāo)像素點(diǎn)，設(shè)定情感判斷條件；所述情感判斷條件包括嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與全部坐標(biāo)點(diǎn)平均縱坐標(biāo)值的比較結(jié)果、嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與中間坐標(biāo)點(diǎn)縱坐標(biāo)點(diǎn)比較結(jié)果以及嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與最大、最小縱坐標(biāo)點(diǎn)比較結(jié)果。本發(fā)明的另ー目的在于提供ー種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別的識(shí)別系統(tǒng)，其特征在于所述系統(tǒng)包括
·
人臉檢測(cè)模塊，用于對(duì)提供的待識(shí)別圖像進(jìn)行掃描，進(jìn)行人臉檢測(cè)，辨別其中是否含有人臉；當(dāng)檢測(cè)到圖像含有人臉時(shí)，確定人臉的位置、大小；特征提取模塊，用于對(duì)檢測(cè)到的人臉圖像進(jìn)行特征提取和人臉圖像分割分析，確定人臉的基本輪廓和面部器官的位置、輪廓；面部表情識(shí)別模塊，用于提取面部器官特征，并分解出特征形狀，根據(jù)面部器官的輪廓形狀設(shè)定情感判斷條件，判斷人物情感語(yǔ)義。優(yōu)選的，所述系統(tǒng)還包括圖像預(yù)處理模塊，用于對(duì)人臉圖像進(jìn)行灰度校正，噪聲過(guò)濾處理。本發(fā)明首先對(duì)人臉進(jìn)行檢測(cè)與定位，采取一定策略，從未知的圖像背景中提取并確認(rèn)可能存在的人臉，如果檢測(cè)到人臉，提取人臉特征，并返回人臉的位置。然后從人臉圖像中提取能夠表征輸入表情本質(zhì)的信息，用來(lái)描述表情圖像，在提取特征數(shù)據(jù)的過(guò)程中，為了避免維數(shù)危機(jī)需要警醒特征降維，特征分解等一系列步驟；最后分析特征的關(guān)系，將輸入的人臉面部表情分類到相應(yīng)的類別。傳統(tǒng)的人臉識(shí)別的特征提取方法是基于PCA和2D PCA方法，本發(fā)明通過(guò)Gauss濾波和中值濾波，混合投影定位臉部器官，提取器官特征輪廓，計(jì)算輪廓特征點(diǎn)，通過(guò)邏輯判斷出表情情感。將抽象的對(duì)象含義與底層的輪廓相結(jié)合，是將圖像的特征語(yǔ)義與抽象語(yǔ)義相結(jié)合。相對(duì)于現(xiàn)有技術(shù)中的方案，本發(fā)明的優(yōu)點(diǎn)是本發(fā)明技術(shù)方案可以實(shí)現(xiàn)人臉檢測(cè)、定位和跟蹤，可以根據(jù)圖像由計(jì)算機(jī)自動(dòng)獲取人臉的表情含義，可以實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)語(yǔ)義感知功能。


下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)ー步描述圖I為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別的識(shí)別系統(tǒng)的架構(gòu)示意圖；圖2為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法中圖像預(yù)處理流程圖；圖3為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法中特征提取的處理流程圖；圖4為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法中正面人臉投影的效果圖；圖5為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法中嘴唇部位投影的效果圖；圖6為基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法中表情的識(shí)別流程圖。
圖7為人臉嘴唇輪廓的坐標(biāo)點(diǎn)顯示圖。
具體實(shí)施例方式以下結(jié)合具體實(shí)施例對(duì)上述方案做進(jìn)ー步說(shuō)明。應(yīng)理解，這些實(shí)施例是用于說(shuō)明本發(fā)明而不限于限制本發(fā)明的范圍。實(shí)施例中采用的實(shí)施條件可以根據(jù)具體廠家的條件做進(jìn)ー步調(diào)整，未注明的實(shí)施條件通常為常規(guī)實(shí)驗(yàn)中的條件。實(shí)施例本實(shí)施例的基本目標(biāo)是進(jìn)行人臉檢測(cè)、定位和跟蹤，表情的特征提取，表情識(shí)別，識(shí)別出開心、悲傷、平靜三種情感。人物表情情感語(yǔ)義分析研發(fā)主要包含人臉檢測(cè)模塊，圖像預(yù)處理模塊，特征提取模塊，面部表情識(shí)別模塊，如圖I。通過(guò)人臉檢測(cè)模塊、圖像預(yù)處理模塊、特征提取模塊、面部 表情識(shí)別模塊的分エ協(xié)作由計(jì)算機(jī)自動(dòng)獲取圖像人臉的表情識(shí)別。下面簡(jiǎn)單介紹每個(gè)模塊的具體功能。(I)人臉檢測(cè)模塊人臉檢測(cè)是人臉分析的第一歩，指對(duì)于任意一幅給定的圖像，采用AdaBoost算法對(duì)其進(jìn)行捜索以確定其中是否含有人臉，如果含有則返回人臉的位置、大小和姿態(tài)。AdaBoost算法是ー種循環(huán)迭代方法，給每ー個(gè)人臉圖像樣本設(shè)置ー個(gè)初始權(quán)重，在每輪的迭代過(guò)程中，按照分類結(jié)果對(duì)圖像樣本的權(quán)重進(jìn)行調(diào)整，正確分類的樣本權(quán)重降低，被錯(cuò)誤分類的樣本權(quán)重增加，在下ー輪的循環(huán)中，算法會(huì)集中學(xué)習(xí)分類錯(cuò)誤的樣本，即權(quán)重值較大的樣本，最終將每次迭代產(chǎn)生的弱分類器按照加權(quán)投票的方式合并為強(qiáng)分類器。AdaBoost訓(xùn)練強(qiáng)分類器的算法描述如下①給定一系列訓(xùn)練樣本(X1, yj，(x2，y2),…，(xn, yn)，其中Yi=O表示其為負(fù)樣本(非人臉)，Yi=I表示其為正樣本(人臉)。n為一共的訓(xùn)練樣本數(shù)量。②初始化權(quán)重W1, i = D⑴；③對(duì)t=l，...，T:a.歸ー化權(quán)重
Wfi€t,i = ,..
ム j=t nt4b.對(duì)每個(gè)特征f，訓(xùn)練ー個(gè)弱分類器h (X，f，p，0 );計(jì)算對(duì)用特有特征的弱分類器的加權(quán)(qt)錯(cuò)誤率e f ef=E ^qi |h(xi； f, p, 0 ) -yjc.選取最佳的弱分類器ht(x)(擁有最小錯(cuò)誤率et):e t = minfjPj 0 E iqi|h(xi, f, p, 0 )-Yi | =E iqi|h(xi, ft, pt, 0 t) Ii Iht (x) = h(x, ft, pt, 0 t)d.按照這個(gè)最弱分類器，調(diào)整權(quán)重wt+ii = Wf4美其中efO表示Xi被正確地分類，Gi=I表示Xi被錯(cuò)誤地分類；fit
④最后的強(qiáng)分類器為
fTI T
Cw = J1 かち
Io其他其中
ISc = IogTT Pt(2)圖像預(yù)處理模塊一般情況下，系統(tǒng)獲得的原始圖像由于受到各種條件的限制和隨機(jī)干擾，往往不能直接使用，必須在圖像預(yù)處理階段對(duì)其進(jìn)行灰度校正，噪聲過(guò)濾等處理。具體過(guò)程如下，如圖2。原始圖像經(jīng)灰度校正，獲得紅綠藍(lán)三色分量，然后計(jì)算像素點(diǎn)的灰度，根據(jù)預(yù)先設(shè)定的閾值對(duì)像素點(diǎn)著色分量進(jìn)行重新賦值，得到需要的灰色圖像，以利于特征提取和表情識(shí)別。(3)特征提取模塊如圖3。人臉灰度圖像在HSV空間上提取V分量，然后經(jīng)高斯濾波、中值濾波，對(duì)人臉灰度圖像進(jìn)行腐蝕膨脹，然后進(jìn)行ニ值化處理和混合投影，提取特征值，定位人臉圖像上人臉各個(gè)器官的位置。具體按照如下進(jìn)行，首先進(jìn)行人臉分割。人臉分割是為了區(qū)域增長(zhǎng)利用圖像的梯度、方差等信息對(duì)人臉圖像的分割顯示了很好的性能。把一幅人臉圖像等以大小相同的份額分成N個(gè)區(qū)域Rt，在Rt中選出ー顆種子像素s (i，j)，初始化增長(zhǎng)區(qū)域Ct為1，定義能反映該區(qū)域內(nèi)成員隸屬程度的梯度參數(shù)G。分別計(jì)算s (i，j)與它的8個(gè)相鄰域像素的梯度值 G= I s(i, j)-s(i-l, j) I <0。當(dāng)G小于給定的閾值0，增長(zhǎng)區(qū)域Ct的像素個(gè)數(shù)增加1，并對(duì)增加的像素加以標(biāo)記，依次迭代可以把圖像分割成小于或等于2N個(gè)區(qū)域，再對(duì)相鄰的區(qū)域邊界進(jìn)行考'查，允許強(qiáng)邊界存在，消除弱邊界，合并增長(zhǎng)的區(qū)域，最終從原圖像中分割出人臉圖像，對(duì)分割出的人臉圖像進(jìn)行開運(yùn)算和閉運(yùn)算，平滑區(qū)域增長(zhǎng)的人臉圖像和消除增長(zhǎng)過(guò)程中引入噪聲，確定人臉的基本輪廓。如圖4所示，對(duì)正面人臉圖像進(jìn)行水平積分投影和垂直積分投影，通過(guò)對(duì)投影曲線的分析可知，人臉的主要器官眼睛、鼻子和嘴巴的位置分別對(duì)應(yīng)曲線的某個(gè)谷值區(qū)域和峰值區(qū)域。由此可粗略的檢測(cè)出人眼、鼻子和嘴巴的位置。設(shè)I(x，y)表示圖像點(diǎn)(x，y)處的灰度值，在圖像Ey1J2]區(qū)域的水平積分投影V(x)和[Xl，x2]區(qū)域的垂直積分投影H(y)表示為
v(x) =—■~ YifxfVi
j 2 - —n ぐ '
I
Hf ri => I < X , vf
. ^ ^2 * ^ 一、I但是在有些情況下，投影積分具有一定的局限性。如對(duì)一幅具有3種灰度值的圖像，垂直積分投影是一條直線，體現(xiàn)不了圖像內(nèi)在灰度值間變化。定義水平方差投影和垂直方差投影為
權(quán)利要求
1.一種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法，其特征在于所述方法包括以下步驟 (1)對(duì)提供的待識(shí)別圖像進(jìn)行掃描，進(jìn)行人臉檢測(cè)，辨別其中是否含有人臉；當(dāng)檢測(cè)到圖像含有人臉時(shí)，確定人臉的位置、大??； (2)對(duì)步驟(I)檢測(cè)到的人臉圖像進(jìn)行特征提取和人臉圖像分割分析，確定人臉的基本輪廓和面部器官的位置、輪廓； (3)提取面部器官特征，并分解出特征形狀，根據(jù)面部器官的輪廓形狀設(shè)定情感判斷條件，判斷人物情感語(yǔ)義。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述方法步驟(3)通過(guò)Gauss濾波和中值濾波，混合投影定位臉部器官，提取器官特征輪廓，計(jì)算輪廓特征點(diǎn)，通過(guò)邏輯判斷出表情情感。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于所述方法中以人臉圖像中嘴唇為目標(biāo)，采用方差過(guò)濾器，建X，Y坐標(biāo)系，原點(diǎn)在圖像左上角，提取嘴唇的特征形狀輪廓，計(jì)算嘴唇輪廓的所有坐標(biāo)像素點(diǎn)，設(shè)定情感判斷條件；所述情感判斷條件包括嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與全部坐標(biāo)點(diǎn)平均縱坐標(biāo)值的比較結(jié)果、嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與中間坐標(biāo)點(diǎn)縱坐標(biāo)點(diǎn)比較結(jié)果以及嘴角兩坐標(biāo)縱坐標(biāo)點(diǎn)與最大、最小縱坐標(biāo)點(diǎn)比較結(jié)果。
4.一種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別的識(shí)別系統(tǒng)，其特征在于所述系統(tǒng)包括 人臉檢測(cè)模塊，用于對(duì)提供的待識(shí)別圖像進(jìn)行掃描，進(jìn)行人臉檢測(cè)，辨別其中是否含有人臉；當(dāng)檢測(cè)到圖像含有人臉時(shí)，確定人臉的位置、大??； 特征提取模塊，用于對(duì)檢測(cè)到的人臉圖像進(jìn)行特征提取和人臉圖像分割分析，確定人臉的基本輪廓和面部器官的位置、輪廓； 面部表情識(shí)別模塊，用于提取面部器官特征，并分解出特征形狀，根據(jù)面部器官的輪廓形狀設(shè)定情感判斷條件，判斷人物情感語(yǔ)義。
5.根據(jù)權(quán)利要求4的識(shí)別系統(tǒng)，其特征在于所述系統(tǒng)還包括圖像預(yù)處理模塊，用于對(duì)人臉圖像進(jìn)行灰度校正，噪聲過(guò)濾處理。
全文摘要
本發(fā)明公開了一種基于人臉識(shí)別進(jìn)行人物表情情感語(yǔ)義識(shí)別方法，其特征在于所述方法包括以下步驟(1)對(duì)提供的待識(shí)別圖像進(jìn)行掃描，進(jìn)行人臉檢測(cè)，辨別其中是否含有人臉；當(dāng)檢測(cè)到圖像含有人臉時(shí)，確定人臉的位置、大??；(2)對(duì)步驟(1)檢測(cè)到的人臉圖像進(jìn)行特征提取和人臉圖像分割分析，確定人臉的基本輪廓和面部器官的位置、輪廓；(3)提取面部器官特征，并分解出特征形狀，根據(jù)面部器官的輪廓形狀設(shè)定情感判斷條件，判斷人物情感語(yǔ)義。該方法可以根據(jù)圖像由計(jì)算機(jī)自動(dòng)獲取人臉的表情含義，可以實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)語(yǔ)義感知功能。
文檔編號(hào)G06K9/46GK102842033SQ20121029339
公開日2012年12月26日 申請(qǐng)日期2012年8月17日 優(yōu)先權(quán)日2012年8月17日
發(fā)明者陳國(guó)慶, 王俊杰 申請(qǐng)人:蘇州兩江科技有限公司