一種基于面部運動單元識別的駕駛員疲勞檢測方法
【專利摘要】本發(fā)明是一種基于面部運動單元識別的駕駛員疲勞檢測方法。包括有如下步驟：1）從視頻序列中定位出人臉區(qū)域；2）對人臉關鍵特征點進行定位及區(qū)域劃分；3）對多幀圖像中的臉部對應區(qū)域進行運動特征提?。?）對提取的運動特征進行分類識別，并用運動單元AU標記；5）通過臉部運動單元檢測是否疲勞。本發(fā)明是一種可以從臉部表觀狀態(tài)出發(fā)提取疲勞狀態(tài)下臉部的外觀表現(xiàn)特征，因而能獲取更加穩(wěn)定而豐富的視覺信息的方便實用的基于面部運動單元識別的駕駛員疲勞檢測方法。
【專利說明】—種基于面部運動單元識別的駕駛員疲勞檢測方法
【技術領域】
[0001]本發(fā)明是一種基于面部運動單元識別的駕駛員疲勞檢測方法，屬于基于面部運動單元識別的駕駛員疲勞檢測方法的創(chuàng)新技術。
【背景技術】
[0002]疲勞是一種復雜的生理和心理現(xiàn)象，在理論上難以作定量的標準描述，在現(xiàn)象上也因個體差異而呈現(xiàn)出多樣性。在工作中，往往根據(jù)作業(yè)者的行為能力、工作效率來間接的判斷疲勞程度。醫(yī)學上認為疲勞是人體困頓、倦怠的感覺，它是身體需要放松和休息的信號。
[0003]疲勞的測定分為主觀和客觀兩種方法，主觀的研究方法有主觀調查表、駕駛員自我記錄、睡眠習慣調查表、斯坦福睡眠尺度表四種。客觀的方法有腦電圖(診所用電極)、眼電圖、肌電圖、呼吸氣流(鼻聲傳感器)、呼吸效果(胸腔部傳感器)、動脈血液氧飽和(手指探針)時的體溫(用紅外線耳朵探針獲取)和心電圖(開車和睡眠時)、基于計算機視覺技術的疲勞檢測等測量方法。主觀調查表法的主要問題是具有主觀性，采用專門的醫(yī)學儀器方法是比較準確的，但是需要有專門的昂貴的設備，專業(yè)的操作人員，還需要被測者的配合，比如說要去特定的場合。上述兩種方法所存在的一個共同的問題是具有超前或滯后性，是非實時的，而且被測者在測量時和測量前后的精神狀態(tài)可能會有差異。因此，開發(fā)一種大眾化、實時的、非侵擾式的精神疲勞測量裝置已成為國內外專家學者共同追求的目標。
[0004]基于計算機視覺技術的疲勞檢測因其具有實時性、非侵擾性被認為是最有前途的方向。

【發(fā)明內容】

[0005]本發(fā)明的目的在于考慮 上述問題而提供一種檢測效率高，且方便實用的基于面部運動單元識別的駕駛員疲勞檢測方法。本發(fā)明適用于長時間保持相對固定姿勢的工作人員工作狀態(tài)的檢測，且適用于駕駛員駕駛過程中是否疲勞的檢測。
[0006]本發(fā)明的技術方案是:本發(fā)明基于面部運動單元識別的駕駛員疲勞檢測方法，包括有如下步驟:
1)從視頻序列中定位出人臉區(qū)域；
2)對人臉關鍵特征點進行定位及區(qū)域劃分；
3)對多幀圖像中的臉部對應區(qū)域進行運動特征提??；
4)對提取的運動特征進行分類識別，并用運動單元AU標記；
5)通過臉部運動單元檢測是否疲勞。
[0007]上述步驟2)對人臉關鍵特征點進行定位及區(qū)域劃分的過程是:首先依據(jù)人臉結構特征建立一個人臉區(qū)域劃分的模板，然后利用自適應增強學習分類(Adboost)方法檢測出眼部和嘴部區(qū)域，對于眼睛和嘴部子區(qū)域采用哈里斯(Harris)角點檢測算法定位眼睛的內外側角點及兩嘴角角點，并以此六個點作為基準調節(jié)初始模板最終實現(xiàn)區(qū)域的劃分。[0008]上述步驟3)對多幀圖像中的臉部對應區(qū)域進行運動特征提取的方法是:將每一個運動單元A U動作分解為“起始——伸展——高潮”三個階段，則采用運動平滑約束(Horn-Schunck)光流法計算三個過程的圖像相對基準圖像的光流場，為降低數(shù)據(jù)維度，對臉部子區(qū)域進行連續(xù)的3*3的相鄰小區(qū)域進行劃分，且區(qū)域不出現(xiàn)重疊，并進行數(shù)據(jù)歸并為:
【權利要求】
1.一種基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于包括有如下步驟: 1)從視頻序列中定位出人臉區(qū)域； 2)對人臉關鍵特征點進行定位及區(qū)域劃分； 3)對多幀圖像中的臉部對應區(qū)域進行運動特征提??； 4)對提取的運動特征進行分類識別，并用運動單元AU標記； 5)通過臉部運動單元檢測是否疲勞。
2.根據(jù)權利要求1所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于上述步驟2)對人臉關鍵特征點進行定位及區(qū)域劃分的過程是:首先依據(jù)人臉結構特征建立一個人臉區(qū)域劃分的模板，然后利用自適應增強學習分類(Adboost)方法檢測出眼部和嘴部區(qū)域，對于眼睛和嘴部子區(qū)域采用哈里斯(Harris)角點檢測算法定位眼睛的內外側角點及兩嘴角角點，并以此六個點作為基準調節(jié)初始模板最終實現(xiàn)區(qū)域的劃分。
3.根據(jù)權利要求1所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于上述步驟3)對多幀圖像中的臉部對應區(qū)域進行運動特征提取的方法是:將每一個運動單元AU動作分解為“起始——伸展——高潮”三個階段，則采用運動平滑約束(Horn-Schunck)光流法計算三個過程的圖像相對基準圖像的光流場，為降低數(shù)據(jù)維度，對臉部子區(qū)域進行連續(xù)的3*3的相鄰小區(qū)域進行劃分，且區(qū)域不出現(xiàn)重疊，并進行數(shù)據(jù)歸并:
4.根據(jù)權利要求1所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于上述步驟4)對提取的運動特征進行分類識別，并用運動單元AU標記的方法是:首先建立目標運動單元AU的隱馬爾科夫(HMM)模型，然后對檢測到的未知運動單元AU的特征作為模型輸入，判別為何種運動單元AU ;具體步驟為: 4.1、建立目標運動單元AU的隱馬爾科夫(HMM)模型； 4.2、輸入提取檢測圖像對應區(qū)域的特征向量； 4.3、取模型輸出中概率最大的系數(shù)，并以該模型的運動單元AU的類別標記該區(qū)域。
5.根據(jù)權利要求1所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于上述步驟5)通過臉部運動單元檢測是否疲勞的方法是:將已經標記運動單元AU的人臉與疲勞運動單元AU進行比對，判斷是否疲勞。
6.根據(jù)權利要求5所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于上述通過臉部運動單元檢測是否疲勞的方法是:對面部各區(qū)域進行搜索，并用疲勞判別公式
7.根據(jù)權利要求5所述的基于面部運動單元識別的駕駛員疲勞檢測方法，其特征在于選擇疲勞判定閾值時，由于眼部區(qū)域與嘴部區(qū)域更能表征疲勞狀態(tài)，因而主要依據(jù)眼部和嘴部狀態(tài)來設定閾值；當眼部與嘴部均發(fā)生疲勞運動單元中的動作時，即可判定為疲勞，則由判決公式可得閾值為
【文檔編號】A61B5/18GK103479367SQ201310405952
【公開日】2014年1月1日 申請日期:2013年9月9日 優(yōu)先權日:2013年9月9日
【發(fā)明者】張靈, 丁伍洋 申請人:廣東工業(yè)大學