專利名稱：：一種基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于網(wǎng)絡(luò)學(xué)習(xí)
技術(shù)領(lǐng)域：
，特別是涉及一種基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法。
背景技術(shù)：
：網(wǎng)絡(luò)學(xué)習(xí)和人的其他活動一樣，都會導(dǎo)致體力和腦力的消耗，從而表現(xiàn)出身體和心理上的緊張或疲憊情緒狀態(tài)。"學(xué)習(xí)疲勞"是心理學(xué)及教育學(xué)中的重要概念。一般地講，學(xué)習(xí)疲勞是指由于長時間的持續(xù)學(xué)習(xí)，在生理和心理等方面產(chǎn)生了怠倦，致使學(xué)習(xí)效率下降，甚至到達(dá)不能繼續(xù)學(xué)習(xí)的狀況。學(xué)習(xí)疲勞有多種表現(xiàn)形式。學(xué)習(xí)疲勞主要可以區(qū)分為生理疲勞即身體的疲勞和心理疲勞即大腦的疲勞。有些疲勞現(xiàn)象可以被主體感知，也有些學(xué)習(xí)疲勞現(xiàn)象未被主體感知而由他人感知。他人通過對學(xué)習(xí)者學(xué)習(xí)的外在行為的觀察，得出"學(xué)習(xí)者進(jìn)入學(xué)習(xí)疲勞"的結(jié)論。通常情況下，身體疲勞易被發(fā)覺；但心理疲勞往往不易被發(fā)覺，造成學(xué)習(xí)者記憶力和理解力的減弱，注意力難以集中，反應(yīng)減慢等等。目前，在疲勞駕駛檢測領(lǐng)域，一些學(xué)者嘗試運(yùn)用傳感技術(shù)、信號檢測和采集技術(shù)或者面部表情識別技術(shù)，進(jìn)行駕駛員疲勞狀態(tài)的識別、預(yù)測和疲勞干預(yù)，主要為生理疲勞的檢測。在網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域，一些學(xué)者企圖從完善網(wǎng)絡(luò)課程教學(xué)設(shè)計(jì)的角度，來促進(jìn)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下的情感交流，在一定程度上可以降低學(xué)習(xí)者進(jìn)入學(xué)習(xí)疲勞的可能性；一些學(xué)者利用多媒體技術(shù)、BBS甚至QQ等聊天工具來促進(jìn)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中的情感交流，起到了一定的防止學(xué)習(xí)疲勞作用。這些研究主要集中于生理疲勞的識別或檢測，沒有關(guān)注學(xué)習(xí)疲勞的復(fù)雜性，它包含生理疲勞和心理疲勞兩種層次的疲勞，對于學(xué)習(xí)疲勞狀態(tài)進(jìn)行主動識別和干預(yù)的研究也不多見?，F(xiàn)有的駕駛員疲勞識別和干預(yù)方法以及網(wǎng)絡(luò)課程設(shè)計(jì)主要的缺點(diǎn)有(1)現(xiàn)有的駕駛員或者學(xué)習(xí)者疲勞識別和干預(yù)方法存在一些不足一些駕駛員疲勞識別方法需要駕駛員的主動參與以采集疲勞特征信號，從而需要駕駛員主動配合或身體接觸，會影響駕駛員的駕駛狀態(tài)；一些基于數(shù)字圖像處理技術(shù)的方法，單純以眼睛閉合狀態(tài)和眨眼頻率為特征，影響識別系統(tǒng)的實(shí)效性；由于圖像采集受各種外界條件影響很大，不同的光照條件、視角、距離變化等都會影響人臉圖像采集的質(zhì)量，以及表情程度和表情之間的相似度等因素的影響，導(dǎo)致大部分面部表情識別系統(tǒng)準(zhǔn)確率不高，性能不夠穩(wěn)定。并且只關(guān)注駕駛員的生理疲勞，對駕駛員的心理疲勞關(guān)注不夠。(2)現(xiàn)有的從網(wǎng)絡(luò)課程教學(xué)設(shè)計(jì)、利用多媒體技術(shù)、BBS甚至QQ等聊天工具來促進(jìn)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中情感交流的方法，只是從單方面加強(qiáng)情感交流來防止學(xué)習(xí)疲勞，仍然不能主動識別學(xué)習(xí)者是否進(jìn)入疲勞狀態(tài)，沒有區(qū)分討論生理疲勞和心理疲勞，也沒有干預(yù)措施。因此，提供相應(yīng)技術(shù)解決方案是網(wǎng)絡(luò)學(xué)習(xí)
技術(shù)領(lǐng)域：
亟待解決的問題。
發(fā)明內(nèi)容本發(fā)明目的在于克服現(xiàn)有技術(shù)缺點(diǎn)，提供一種基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法。本發(fā)明所提供基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法，包含以下步驟:步驟l，人臉區(qū)域檢測，即從捕捉的網(wǎng)絡(luò)學(xué)習(xí)者照片圖像中定位出人臉區(qū)域；步驟2，面部特征提取，包括建立人臉表情面部模型，即定義一維數(shù)組X來表示人臉表情面部模型，X=(xl，x2，x3)，其中xl表示眼高，x2表示嘴高，x3表示嘴寬；然后從圖像的人臉區(qū)域中提取眼睛特征和嘴巴特征，得到xl、x2和x3的值；步驟3，表情分類識別，即基于人臉表情面部模型X進(jìn)行分類識別，具體方式為，當(dāng)xl不變時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性表情；當(dāng)xl變大時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)專注表情；當(dāng)xl變小時，如果x2不變或者x2變大且x3不變，則返回錯誤消息；如果x2變大且x3變大，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)疲勞表情；步驟4，當(dāng)識別出疲勞表情時，進(jìn)行疲勞干預(yù)，并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性或?qū)Ｗ⒈砬闀r，進(jìn)入心理疲勞測試，即要求學(xué)習(xí)者回答問題，若回答沒有達(dá)到預(yù)設(shè)正確率閥值，則認(rèn)為學(xué)習(xí)者進(jìn)入心理疲勞，進(jìn)行疲勞干預(yù)并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；若回答達(dá)到預(yù)設(shè)正確率閥值，則認(rèn)為學(xué)習(xí)者沒有進(jìn)入心理疲勞，系統(tǒng)進(jìn)入暫停，暫停預(yù)設(shè)較長時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)返回錯誤消息時，返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別。而且，所述疲勞干預(yù)的具體實(shí)現(xiàn)方式為，在網(wǎng)絡(luò)課程學(xué)習(xí)界面中彈出對話框，同時向網(wǎng)絡(luò)學(xué)習(xí)者發(fā)出干預(yù)，所述干預(yù)為播放音樂、發(fā)送笑話或要求回答小問題；若網(wǎng)絡(luò)學(xué)習(xí)者回應(yīng)對話框則停止干預(yù)，如果網(wǎng)絡(luò)學(xué)習(xí)者對對話框無回應(yīng)則暫停網(wǎng)絡(luò)課程。本發(fā)明在改進(jìn)面部表情識別方法的基礎(chǔ)上，通過針對網(wǎng)絡(luò)學(xué)習(xí)者定義三種基本學(xué)習(xí)情緒專注、中性和疲勞，針對網(wǎng)絡(luò)學(xué)習(xí)者建立專用于學(xué)習(xí)的人臉表情面部模型，通過嚴(yán)謹(jǐn)?shù)嘏袛噙^程識別網(wǎng)絡(luò)學(xué)習(xí)者是否處于學(xué)習(xí)疲勞狀態(tài)，然后進(jìn)行學(xué)習(xí)疲勞干預(yù)。因此本發(fā)明所提供技術(shù)方案能夠快速識別網(wǎng)絡(luò)學(xué)習(xí)者表情，實(shí)現(xiàn)實(shí)時學(xué)習(xí)疲勞干預(yù)，在網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域具有重大實(shí)用價值。并且，本發(fā)明對比現(xiàn)有技術(shù)，有明確的識別和干預(yù)目的；也不需要學(xué)習(xí)者主動參與，人機(jī)交互友好。圖1為本發(fā)明實(shí)施例的使用流程圖。圖2為本發(fā)明所建立人臉表情面部模型示意圖。圖3為圖像4鄰域示意圖。圖4為本發(fā)明的學(xué)習(xí)情緒分類識別示意圖。具體實(shí)施例方式以下結(jié)合實(shí)施例和本發(fā)明技術(shù)方案，包括以下步驟步驟l，人臉區(qū)域檢測，即從捕捉的網(wǎng)絡(luò)學(xué)習(xí)者照片圖像中定位出人臉區(qū)域。人臉區(qū)域檢測可參考現(xiàn)有技術(shù)實(shí)現(xiàn)，為便于本領(lǐng)域技術(shù)人員實(shí)施參考，現(xiàn)提供實(shí)施例的步驟具體實(shí)施方式如下(1)圖像預(yù)處理為使原始圖像有利于后續(xù)工作中的分析提取，在正式人臉區(qū)域檢測前對人臉圖像進(jìn)行預(yù)處理。主要預(yù)處理步驟如下①光線補(bǔ)償為了抵消輸入圖像中存在的色彩偏差而進(jìn)行光線補(bǔ)償，將整個圖像中所有像素點(diǎn)的亮度按照從高到低的順序排列，取亮度值前5%的像素點(diǎn)，如果這些像素的數(shù)目足夠多，我們將它們的亮度值調(diào)整為最大值255，光線補(bǔ)償系數(shù)通過前5%像素亮度的平均值與255相除獲得，圖像中的其他像素點(diǎn)也依據(jù)這一系數(shù)進(jìn)行相應(yīng)的調(diào)整和變換，因而整幅待測圖像中像素點(diǎn)的RGB值進(jìn)行了線性放大。②灰度直方圖均衡化為了減少光照強(qiáng)度和陰影等不利因素對檢測圖像的干擾，需要對整體圖像的灰度分布進(jìn)行標(biāo)準(zhǔn)化，即均衡直方圖。直方圖均衡化的基本思想是拓寬圖像中像素個數(shù)偏多的灰度，縮減像素個數(shù)偏少的灰度，使圖像的輪廓變得清晰，減少其灰度等級，增加對比度。③濾波去噪采用低通濾波的方法可以去除圖像中的噪聲。采用BOX模板對圖像進(jìn)行低通濾波，先提取出圖像的R、G、B分量分別采用灰度圖的處理方式進(jìn)行處理，然后進(jìn)行圖像的重構(gòu)。(2)膚色分割為了把人臉區(qū)域從非人臉區(qū)域分割出來，需要使用適合不同膚色和不同光照條件的可靠的膚色模型。由于YCbCr空間具有將色度與亮度分離的特點(diǎn)，在YCbCr色彩空間中膚色的聚類特性比較好，受亮度變化的影響較小，而且是兩維獨(dú)立分布，能較好地限制膚色分布區(qū)域，因此本發(fā)明實(shí)施例選擇YCbCr色彩空間進(jìn)行膚色區(qū)域分割。對輸入的彩色圖像進(jìn)行顏色空間轉(zhuǎn)換，將其從相關(guān)性較高的RGB空間轉(zhuǎn)換到顏色分量互不相關(guān)的YCbCr顏色空間，其轉(zhuǎn)換公式如下8<table>tableseeoriginaldocumentpage9</column></row><table>通過選取大量膚色樣本進(jìn)行統(tǒng)計(jì)，膚色在YCbCr空間中的分布呈現(xiàn)良好的聚類特性。其統(tǒng)計(jì)分布滿足77《Cb《127，133《Cr《170。高斯模型能很好的表達(dá)膚色分布。由統(tǒng)計(jì)學(xué)知識可知，高斯分布N(m，C)的表達(dá)式描述如下m=E{x}x=(r，b)T(2)C=E{(x-m)(X-m)T}(3)根據(jù)高斯模型，圖像中任意像素點(diǎn)的膚色似然度便可以通過概率表達(dá)式計(jì)算得出。P(Cb，Cr)二一(4)X:(Cb,Cr)"M是均值，C是協(xié)方差，x表示CbCr空間中的任意一個膚色點(diǎn)的像素。M，C都是通過選取樣本的計(jì)算得到的。通過高斯膚色模型將彩色圖像轉(zhuǎn)換為相似度灰色圖像后，選取合適的閾值，就可以將灰度圖像進(jìn)一步轉(zhuǎn)變?yōu)槎祱D像，分離膚色與非膚色區(qū)域。(3)人臉區(qū)域粗定位經(jīng)過膚色分割得到一系列的連通區(qū)域Wl，W2，W3…后，再采取形態(tài)學(xué)的腐蝕和膨脹的算法對膚色二值圖像進(jìn)行處理。先采用3*3的結(jié)構(gòu)元素對圖像進(jìn)行腐蝕，減少背景膚色的干擾，再采用5*5的結(jié)構(gòu)元素對圖像進(jìn)行膨脹。①在正常情況下，人臉候選區(qū)域外接矩形的長和寬的比值約為1.2，考慮到旋轉(zhuǎn)、傾斜和遮擋等特殊情況，r的取值范圍取(0.5，2)。9②通過對區(qū)域的長寬比的分析，根據(jù)數(shù)學(xué)中的微積分知識，待選區(qū)域的面積可以用下式計(jì)算得出。/-1『-l"o"。(5)其中，L和W分別表示區(qū)域的長度和寬度，B(x，y)為坐標(biāo)點(diǎn)(x，y)處的像素值，A表示待選區(qū)域面積。③一塊候選人臉區(qū)域應(yīng)該是一個凸多邊形，其質(zhì)心應(yīng)該在多邊形區(qū)域內(nèi)，中心坐標(biāo)的計(jì)算公式如下一gg萍，xl_gg^M^"~(6)其中，A為待選區(qū)域的面積，將上式計(jì)算所得的中心坐標(biāo)與邊界統(tǒng)計(jì)時所標(biāo)注出的X軸和Y軸上區(qū)域范圍進(jìn)行比較，若中心區(qū)域超出了x和y的邊界值，則該區(qū)域并非人臉區(qū)域，可予以排除。(4)人臉區(qū)域的精確定位分割后的皮膚區(qū)域經(jīng)過以上處理后，利用模板匹配進(jìn)行人臉區(qū)域的精確定位。假設(shè)人臉模板的灰度矩陣T[M][N]，灰度均值為A，均方差為&，輸入圖像區(qū)域灰度矩陣為R[M][N]，灰度均值為^，均方差為&，那么它們之間的相關(guān)系數(shù)r(T，R)和對應(yīng)像素灰度的平均偏差d(T,R)分別為r(T，R)=j±^_(7)d(T,R)二;ez(,]-勒])2"、'=0/=0_、」將他們綜合起來作為匹配程度的度量D(T，R)=r(T，R)+_^_(9)其中"為權(quán)重系數(shù)。步驟2，面部特征提取，包括建立人臉表情面部模型，即定義一維數(shù)組X來表示人臉表情面部模型，X=(xl，x2，x3)，其中xl表示眼高，x2表示嘴高，x3表示嘴寬；然后從圖像的人臉區(qū)域中提取眼睛特征和嘴巴特征，得到xl、x2和x3的值。本發(fā)明考慮到網(wǎng)絡(luò)學(xué)習(xí)的特點(diǎn)，發(fā)現(xiàn)沒有必要研究所有的表情信息，只要能夠識別與學(xué)習(xí)相關(guān)的表情信息即可。為了建模的方便，又不失一般性，考慮到網(wǎng)絡(luò)學(xué)習(xí)的特點(diǎn)，本發(fā)明定義了專注、疲勞和中性3種與學(xué)習(xí)相關(guān)的表情。相應(yīng)的人臉表情面部模型也進(jìn)行了簡化人臉表情面部模型乂=(xl，x2，x3)，其中xl表示眼高，x2表示嘴高，x3表示嘴寬，參見附圖2。因?yàn)槿绻淳W(wǎng)絡(luò)學(xué)習(xí)者出現(xiàn)專注、疲勞還是中性，只需要關(guān)注其面部的眼高、嘴高和嘴寬。實(shí)施例中，眼睛特征和嘴巴特征提取過程如下，可參考現(xiàn)有技術(shù)(1)眼睛特征提取首先定位眼睛區(qū)域。本發(fā)明的眼睛定位算法分為兩個步驟眼睛的粗定位和眼睛的精確定位。眼睛的粗定位是指在精確定位眼睛前首先要找到眼睛的大致位置。由于眼睛的灰度不同于膚色，所以在灰度圖中，利用灰度投影法初步確定眼睛大致位置。二值圖中眼睛被成功地分割出來，所以在初步確定的眼睛區(qū)域中，利用4鄰域搜索算法和眼睛的限制條件實(shí)現(xiàn)眼睛的精確定位，①眼睛的粗定位。邊緣檢測法是人眼定位的重要方法。邊緣檢測算子檢査每個像素的鄰域并對灰度變化率進(jìn)行量化，通常也包括方向的確定。采用sobel邊緣算子進(jìn)行邊緣檢測。sobel邊緣檢測算法考慮圖像W，力l/("'"內(nèi)的每一個點(diǎn)，取每個點(diǎn)的上、下、左、右四個方向相鄰點(diǎn)的灰度加權(quán)差，將各個方向加權(quán)差之和作為輸出達(dá)到提取圖像邊緣的效果。所以Sobel算子定義為刀甽AJI+I|—(/(/—1,乂—1)+2/(/—1,_/)+/('—1，/+1))-(/(/+1，J.-1)十2/(/+1,y)+/(/+1，j.+1))I+I(/(/-1,卜1)+2/(,'，乂—1)+/(/+l,;+l》-(/(/-l,;+l)+2/(/，_/+l)+/(/+l,/+l))|(10)適當(dāng)取閾值r，當(dāng)邵,力^T時，(i，j)為階躍邊緣點(diǎn)；當(dāng)邵，y')"時，處理后圖像仍然保留原圖像的灰度值，W，力l^"-"作為檢測邊緣結(jié)構(gòu)輸出。②眼睛的精確定位。在對圖像進(jìn)行二值化后，再進(jìn)行腐蝕膨脹運(yùn)算，從而填充眼睛中部的白點(diǎn)。在此二值圖中，在初步定位的眼睛區(qū)域中運(yùn)用搜索算法尋找出連通域，采用4鄰域算法。二值圖像中，鄰接是像素間的基本關(guān)系。4鄰域認(rèn)為一個像素的水平和垂直方向上的自然鄰點(diǎn)與其相鄰。由4個鄰點(diǎn)組成的鄰域稱為4鄰域，參見附圖3，某坐標(biāo)為(a，b)像素的4個鄰點(diǎn)分別為(a—1，b)、(a，b—l)、(a+l，b)、(a，b+l)。對搜索出的連通域，再根據(jù)眼睛特征進(jìn)行判斷，符合條件的即為眼睛。對人臉生理結(jié)構(gòu)的特征進(jìn)行分析，發(fā)現(xiàn)眼睛具有如下特征i臉寬《眼寬^^臉寬203眼中心高度>5臉高度—5由于眼睛與眉毛比較接近，而且眼睛與眉毛的灰度值都最小。所以搜索出的連通區(qū)域，可能是眼睛，也可能是眉毛。而眼睛在眉毛下面，因此，為了區(qū)分眼睛與眉毛，又增加一限定條件若候選區(qū)域多于2個，則比較候選眼睛區(qū)12域中心點(diǎn)縱坐標(biāo)的大小，取縱坐標(biāo)小的兩個即為眼睛。(2)嘴巴特征提取與眼睛特征提取采用類似方法，對灰度圖像進(jìn)行邊緣檢測之后，對其進(jìn)行水平投影，即可確定嘴巴的上下邊緣的位置，然后對此區(qū)域進(jìn)行垂直投影，即可確定嘴巴左右嘴角的位置。而嘴巴中心處于左右嘴角的中點(diǎn)。本發(fā)明不予贅述。步驟3，表情分類識別，即基于人臉表情面部模型X進(jìn)行分類識別。為了避免誤判，本發(fā)明設(shè)定具體方式為，當(dāng)xl不變時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性表情；當(dāng)xl變大時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)專注表情；當(dāng)xl變小時，如果x2不變或者x2變大且x3不變，則返回錯誤消息；如果x2變大且x3變大，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)疲勞表情。因?yàn)槿说淖旄吆妥鞂捲诰W(wǎng)絡(luò)學(xué)習(xí)的過程中基本是不會變小的，在此不需考慮x2和x3變小的情況。參見附圖4，具體實(shí)施時可以逐步考察xl.、x2、x3，首先根據(jù)xl的變化產(chǎn)生三個表情子集，即專注子集、中性子集和疲勞子集；在此基礎(chǔ)上，再根據(jù)x2和x3的變化迸行判斷。不符合專注、中性和疲勞的表情表現(xiàn)時就返回錯誤消息，即時中止判斷；否則繼續(xù)判斷，從而現(xiàn)對三種學(xué)習(xí)表情的識別分類。步驟4，當(dāng)識別出疲勞表情時，進(jìn)行疲勞干預(yù)，并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性或?qū)Ｗ⒈砬闀r，進(jìn)入心理疲勞測試，即要求學(xué)習(xí)者回答問題，若冋答沒有達(dá)到預(yù)設(shè)正確率闊值，則認(rèn)為學(xué)習(xí)者進(jìn)入心理疲勞，進(jìn)行疲勞干預(yù)并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；若回答達(dá)到預(yù)設(shè)正確率閥值，則認(rèn)為學(xué)習(xí)者沒有進(jìn)入心理疲勞，系統(tǒng)進(jìn)入暫停，暫停預(yù)設(shè)較長時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)返回錯誤消息時，返回歩驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別。要求回答小問題，通過學(xué)習(xí)者的回答正確率能夠觀察其心理是否疲勞，可預(yù)先設(shè)置一些簡單的小問題，預(yù)設(shè)正確率閥值大小可以根據(jù)具體問題設(shè)置。學(xué)習(xí)者進(jìn)入生理疲勞或心理疲勞后，即使進(jìn)行疲勞干預(yù)，很容易在短時間內(nèi)重新感到疲勞；若當(dāng)前既沒有進(jìn)入生理疲勞也沒有進(jìn)入心理疲勞，在短時間內(nèi)感到疲勞的可能性則較小。因此，可以預(yù)設(shè)一個較長時間(建議取1825分鐘)和一個較短時間(建議取1015分鐘)，當(dāng)判定既沒有進(jìn)入生理疲勞也沒有進(jìn)入心理疲勞時，在較長時間后繼續(xù)捕捉識別；當(dāng)識別出學(xué)習(xí)者進(jìn)入生理疲勞或者心理疲勞時，在較短時間內(nèi)就繼續(xù)捕捉識別。特殊的是，如果步驟3識別后返回錯誤消息，說明沒有成功從照片圖像中識別出學(xué)習(xí)者疲勞信息，則立即返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別。因?yàn)榫W(wǎng)絡(luò)學(xué)習(xí)者是在自己的客戶端學(xué)習(xí)網(wǎng)絡(luò)課程，具體疲勞干預(yù)方式可以利用現(xiàn)有網(wǎng)絡(luò)課程系統(tǒng)軟件，結(jié)合疲勞識別成果進(jìn)行干預(yù)，例如識別出疲勞時，在網(wǎng)絡(luò)課程系統(tǒng)軟件向?qū)W習(xí)者的客戶端視頻設(shè)備上呈現(xiàn)的網(wǎng)絡(luò)課程學(xué)習(xí)界面中彈出對話框，向網(wǎng)絡(luò)學(xué)習(xí)者播放音樂、發(fā)送笑話。本領(lǐng)域技術(shù)人員只需采用軟件技術(shù)，在網(wǎng)絡(luò)課程設(shè)計(jì)中實(shí)現(xiàn)由疲勞識別成果進(jìn)行觸發(fā)即可。這樣學(xué)習(xí)者可以通過聽音樂、讀笑話等方式調(diào)整學(xué)習(xí)狀態(tài)。可以設(shè)定由學(xué)習(xí)者也可以點(diǎn)擊對話框進(jìn)行回應(yīng)時，停止干預(yù)，繼續(xù)播放網(wǎng)絡(luò)課程進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)；如果學(xué)習(xí)者對彈出對話框無回應(yīng)，則網(wǎng)絡(luò)課程暫停。本發(fā)明實(shí)施簡便，在硬件方面只需在學(xué)習(xí)者的客戶端(一般為PC機(jī))外設(shè)一個高像素攝像頭即可，配合軟件實(shí)現(xiàn)的學(xué)習(xí)疲勞識別干預(yù)方法一起，即可完成網(wǎng)絡(luò)學(xué)習(xí)者是否進(jìn)入學(xué)習(xí)疲勞的識別和干預(yù)。軟件實(shí)現(xiàn)的學(xué)習(xí)疲勞識別干預(yù)方法可以稱為學(xué)習(xí)疲勞識別干預(yù)系統(tǒng)。參見圖1，本發(fā)明實(shí)施例的實(shí)際使用過程非常簡便網(wǎng)絡(luò)學(xué)習(xí)者啟動客戶端，登錄網(wǎng)絡(luò)課程系統(tǒng)軟件接受遠(yuǎn)程推送的網(wǎng)絡(luò)課程；當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者需要疲勞識別干預(yù)時，點(diǎn)擊啟動學(xué)習(xí)疲勞識別干預(yù)系統(tǒng)，攝像頭對網(wǎng)絡(luò)學(xué)習(xí)者頭部進(jìn)行圖像捕捉，針對圖像進(jìn)行學(xué)習(xí)疲勞識別(包括人臉檢測、特征提取、表情分類)，當(dāng)識別學(xué)習(xí)者進(jìn)入生理疲勞或心理疲勞時，進(jìn)行疲勞干預(yù)，在設(shè)定的IO分鐘后返回進(jìn)行下一次圖像捕捉識別；當(dāng)判斷學(xué)習(xí)者既沒有進(jìn)入生理疲勞也沒有進(jìn)入心理疲勞時，學(xué)習(xí)疲勞識別干預(yù)系統(tǒng)可以暫停，可在20分鐘后返回進(jìn)行下一次圖像捕捉識別。結(jié)束學(xué)習(xí)疲勞識別干預(yù)工作，則可以通過學(xué)習(xí)者自行操作退出，或者在連續(xù)幾次(一般可預(yù)設(shè)為2次)判斷出學(xué)習(xí)者表情疲勞時自動退出。因?yàn)槿绻麑W(xué)習(xí)者一直疲勞，說明其狀態(tài)不佳，繼續(xù)網(wǎng)絡(luò)課程和疲勞識別無意義。權(quán)利要求1.一種基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法，其特征在于包括以下步驟，步驟1，人臉區(qū)域檢測，即從捕捉的網(wǎng)絡(luò)學(xué)習(xí)者照片圖像中定位出人臉區(qū)域；步驟2，面部特征提取，包括建立人臉表情面部模型，即定義一維數(shù)組X來表示人臉表情面部模型，X＝(x1，x2，x3)，其中x1表示眼高，x2表示嘴高，x3表示嘴寬；然后從圖像的人臉區(qū)域中提取眼睛特征和嘴巴特征，得到x1、x2和x3的值；步驟3，表情分類識別，即基于人臉表情面部模型X進(jìn)行分類識別，具體方式為，當(dāng)x1不變時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性表情；當(dāng)x1變大時，如果x2變化或者x2不變且x3變化，則返回錯誤消息；如果x2不變且x3不變，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)專注表情；當(dāng)x1變小時，如果x2不變或者x2變大且x3不變，則返回錯誤消息；如果x2變大且x3變大，則判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)疲勞表情；步驟4，當(dāng)識別出疲勞表情時，進(jìn)行疲勞干預(yù)，并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性或?qū)Ｗ⒈砬闀r，進(jìn)入心理疲勞測試，即要求學(xué)習(xí)者回答問題，若回答沒有達(dá)到預(yù)設(shè)正確率閥值，則認(rèn)為學(xué)習(xí)者進(jìn)入心理疲勞，進(jìn)行疲勞干預(yù)并在預(yù)設(shè)較短時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；若回答達(dá)到預(yù)設(shè)正確率閥值，則認(rèn)為學(xué)習(xí)者沒有進(jìn)入心理疲勞，系統(tǒng)進(jìn)入暫停，暫停預(yù)設(shè)較長時間后返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)返回錯誤消息時，返回步驟1繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別。2.如權(quán)利要求l所述學(xué)習(xí)疲勞識別干預(yù)方法，其特征在于所述疲勞干預(yù)的具體實(shí)現(xiàn)方式為，在網(wǎng)絡(luò)課程學(xué)習(xí)界面中彈出對話框，同時向網(wǎng)絡(luò)學(xué)習(xí)者發(fā)出干預(yù)，所述干預(yù)為播放音樂或發(fā)送笑話；若網(wǎng)絡(luò)學(xué)習(xí)者回應(yīng)對話框則停止干預(yù)，如果網(wǎng)絡(luò)學(xué)習(xí)者對對話框無回應(yīng)則暫停網(wǎng)絡(luò)課程。全文摘要基于面部表情識別的學(xué)習(xí)疲勞識別干預(yù)方法，步驟包括人臉區(qū)域檢測；面部特征提取，包括建立人臉表情面部模型；表情分類識別，即基于人臉表情面部模型進(jìn)行分類識別；當(dāng)識別出疲勞表情或心理疲勞時，進(jìn)行疲勞干預(yù)，并在預(yù)設(shè)較短時間后返回繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)判定網(wǎng)絡(luò)學(xué)習(xí)者呈現(xiàn)中性或?qū)Ｗ⒈砬榛驘o心理疲勞時，系統(tǒng)進(jìn)入暫停，暫停預(yù)設(shè)較長時間后返回繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別；當(dāng)返回錯誤消息時，返回繼續(xù)捕捉網(wǎng)絡(luò)學(xué)習(xí)者照片圖像進(jìn)行下一次識別。本發(fā)明所提供技術(shù)方案能夠快速識別網(wǎng)絡(luò)學(xué)習(xí)者表情，實(shí)現(xiàn)實(shí)時學(xué)習(xí)疲勞干預(yù)。文檔編號G06K9/00GK101604382SQ20091006286公開日2009年12月16日申請日期2009年6月26日優(yōu)先權(quán)日2009年6月26日發(fā)明者吳彥文,汪亭亭,艾學(xué)軼申請人:華中師范大學(xué)