本發(fā)明屬于計算機視覺技術(shù)領域，具體而言，涉及一種疲勞駕駛檢測方法及系統(tǒng)。

背景技術(shù)：

為了降低因疲勞駕駛導致的交通事故發(fā)生率，疲勞駕駛預警系統(tǒng)廣泛應用于駕駛領域。疲勞駕駛預警系統(tǒng)利用駕駛員的面部特征、眼部信號、頭部運動性等推斷駕駛員的疲勞狀態(tài)，并進行報警提示和采取相應措施的裝置。然而當駕駛員佩戴墨鏡后則會降低疲勞駕駛預警系統(tǒng)判斷的準確率，進而產(chǎn)生誤報。

當前的疲勞駕駛預警系統(tǒng)一般包括紅外照明元件、濾光元件及攝像頭，通過攝像頭獲取紅外圖像保證即使在夜間光線較差的情況下，也能獲得較清晰的人臉圖像，從而判斷駕駛員的疲勞狀態(tài)。然而，當駕駛員佩戴墨鏡后，現(xiàn)有的疲勞駕駛預警系統(tǒng)無法準確判斷駕駛員的疲勞狀態(tài)。因為利用波長較短的紅外線光源檢測照射時佩戴的墨鏡直接影響對人眼狀態(tài)的獲取或者不能穿透墨鏡，而利用波長較長的紅外線光源長時間照射人眼將會造成白內(nèi)障等眼部疾病。

技術(shù)實現(xiàn)要素：

為解決上述技術(shù)缺陷，本發(fā)明通過對駕駛員的眼睛部位周圍信息的提取,得到駕駛員是否佩戴了墨鏡的狀態(tài),并依據(jù)此狀態(tài)影響進行疲勞檢測，提高疲勞駕駛檢測的準確性，降低紅外線光源對人體的影響。

本發(fā)明提供了一種疲勞駕駛檢測方法，包括如下步驟：

輸入采集的駕駛員視頻圖像，利用預設的人臉特征分離器獲取待檢測人臉區(qū)域圖像集；

將待檢測人臉區(qū)域圖像集中所有人臉圖像進行歸一得到平均臉，根據(jù)平均臉獲取待檢測人臉區(qū)域圖像集中某一人臉圖像的初始關鍵點形狀，通過預設的回歸器計算初始關鍵點的偏差值，根據(jù)偏差結(jié)果更新關鍵點形狀直至確定人臉區(qū)域內(nèi)關鍵點的形狀；

根據(jù)確定的人臉區(qū)域關鍵點的形狀獲取眼睛關鍵點的位置，并提取對應的紋理特征，利用預設墨鏡分類器判斷用戶是否佩戴眼睛，判斷結(jié)果進行駕駛員疲勞狀態(tài)的檢測。

進一步，所述根據(jù)確定的人臉區(qū)域關鍵點的形狀獲取眼睛關鍵點的位置，并提取對應的紋理特征，利用預設墨鏡分類器判斷用戶是否佩戴眼睛，判斷結(jié)果進行駕駛員疲勞狀態(tài)的檢測包括

如果墨鏡分類器輸出結(jié)果小于閾值，則不做處理；否則根據(jù)眼睛關鍵點位置處的紋理特征分析眼鏡閉合狀態(tài)，將閉合狀態(tài)與疲勞標準比較，判斷駕駛員是否處于疲勞狀態(tài)。

進一步，所述輸入采集的駕駛員視頻圖像，利用預設的人臉特征分離器獲取待檢測人臉區(qū)域圖像集包括

利用滑動窗口檢測方法搜索視頻圖像，生成候選子區(qū)域；

將候選子區(qū)域輸入人臉特征分類器，判斷輸出結(jié)果是否不小于分類閾值，是則標記為待檢測人臉區(qū)域，否則不做處理。

進一步，所述根據(jù)平均臉獲取待檢測人臉區(qū)域圖像集中某一人臉圖像的初始關鍵點形狀，通過預設的回歸器計算初始關鍵點的偏差值，根據(jù)偏差結(jié)果更新關鍵點形狀直至確定人臉區(qū)域內(nèi)關鍵點的形狀包括

遍歷待檢測人臉區(qū)域圖像集，根據(jù)評價臉獲取某一人臉圖像的關鍵點形狀，并提取對應的紋理特征；

根據(jù)紋理特征計算該人臉圖像的偏差值；

根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果。

更進一步，所述根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果還包括

根據(jù)預設的識別模型判斷更新后的關鍵點形狀的回歸值是否不小于歸回閾值，是則不做處理，否則將回歸結(jié)果作為下一次回歸的偏差值。

本發(fā)明還提供了一種疲勞駕駛檢測系統(tǒng)，包括

人臉檢測模塊，用于輸入采集的駕駛員視頻圖像，利用預設的人臉特征分離器獲取待檢測人臉區(qū)域圖像集；

關鍵點追蹤模塊，用于將待檢測人臉區(qū)域圖像集中所有人臉圖像進行歸一得到平均臉，根據(jù)平均臉獲取待檢測人臉區(qū)域圖像集中某一人臉圖像的初始關鍵點形狀，通過預設的回歸器計算初始關鍵點的偏差值，根據(jù)偏差結(jié)果更新關鍵點形狀直至確定人臉區(qū)域內(nèi)關鍵點的形狀；

墨鏡識別模塊，用于根據(jù)確定的人臉區(qū)域關鍵點的形狀獲取眼睛關鍵點的位置，并提取對應的紋理特征，利用預設墨鏡分類器判斷用戶是否佩戴眼睛，判斷結(jié)果進行駕駛員疲勞狀態(tài)的檢測。

進一步，人臉檢測模塊包括

候選單元，用于利用滑動窗口檢測方法搜索視頻圖像，生成候選子區(qū)域；

輸出單元，將候選子區(qū)域輸入人臉特征分類器，判斷輸出結(jié)果是否不小于分類閾值，是則標記為待檢測人臉區(qū)域，否則不做處理。

進一步，墨鏡識別模塊還包括

判斷單元，用于如果墨鏡分類器輸出結(jié)果小于閾值，則不做處理；否則根據(jù)眼睛關鍵點位置處的紋理特征分析眼鏡閉合狀態(tài)，將閉合狀態(tài)與疲勞標準比較，判斷駕駛員是否處于疲勞狀態(tài)。

進一步，關鍵點追蹤模塊包括

特征提取單元，用于遍歷待檢測人臉區(qū)域圖像集，根據(jù)評價臉獲取某一人臉圖像的關鍵點形狀，并提取對應的紋理特征；

偏差計算單元，用于根據(jù)紋理特征計算該人臉圖像的偏差值；

回歸輸出單元，用于根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果。

進一步，回歸輸出單元包括

處理子單元，用于根據(jù)預設的識別模型判斷更新后的關鍵點形狀的回歸值是否不小于歸回閾值，是則不做處理，否則將回歸結(jié)果作為下一次回歸的偏差值。

綜上，本發(fā)明首先通過人臉檢測技術(shù)獲取人臉區(qū)域，然后基于此區(qū)域定位和追蹤到人臉關鍵點，再根據(jù)眼睛周圍區(qū)域的紋理特征判別司機是否戴了墨鏡，進而防止因駕駛員佩戴墨鏡導致誤判降低疲勞駕駛檢測的準確性。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明所述的疲勞駕駛檢測方法的流程示意圖；

圖2為本發(fā)明所述的疲勞駕駛檢測方法中確定關鍵點形狀的流程示意圖；

圖3為本發(fā)明所述的疲勞駕駛檢測系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

為了使本領域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面將結(jié)合附圖對本發(fā)明作進一步的詳細介紹。

下面通過具體的實施例并結(jié)合附圖對本發(fā)明做進一步的詳細描述。

檢測駕駛員眼鏡狀態(tài)一般利用紅外線光源，一般利用的是波長1.5微米的紅外線光源，長時間的話會造成白內(nèi)障等眼部疾病，但是選用波長較大的紅外線光源，帶來了一個問題就是有些材質(zhì)的墨鏡穿不透，這樣在圖像上就看不清眼睛的狀態(tài)，無法判斷疲勞狀態(tài)。因此本發(fā)明要解決的問題就是判斷司機是否戴了墨鏡，如果判斷結(jié)果是戴墨鏡的話，就不進入眼睛狀態(tài)的檢測模塊，防止可能的虛報警。為此本發(fā)明提供了一種疲勞駕駛檢測方法。

如圖1所示，所述方法包括如下步驟：

S101、輸入采集的駕駛員視頻圖像，利用預設的人臉特征分離器獲取待檢測人臉區(qū)域圖像集；

視頻圖像中每個視頻幀圖像包括人臉區(qū)域，也包括非人臉區(qū)域，非人臉區(qū)域包括還包括背景區(qū)域以及人體其他部分。該步驟的目的在視頻幀圖像中識別人臉區(qū)域，加快對人臉關鍵點區(qū)域的檢測。該步驟中從視頻圖像中識別人臉所在的區(qū)域，一般可用矩形框等進行標記，這種標記的人臉區(qū)域并不是精確的人臉輪廓曲線。

本發(fā)明所述的人臉特征分類器采用的是基于像素灰度值對比特征的級聯(lián)決策樹分類器，此方法的優(yōu)勢在于速度快，識別率較高，特別適用于嵌入式智能設備。

進一步，S101包括如下步驟：

利用滑動窗口檢測方法搜索視頻圖像，生成候選子區(qū)域；

將候選子區(qū)域輸入人臉特征分類器，判斷輸出結(jié)果是否不小于分類閾值，是則標記為待檢測人臉區(qū)域，否則不做處理。對于每一個候選的區(qū)域，只有通過所有級聯(lián)的分類器，才輸出為人臉區(qū)域。

為了進一步說明本發(fā)明，下面給出像素對比特征(pixel intensity)定義：

pixel intensity(I；i1,i2)＝0如果I(i1)<＝I(i2)；

pixel intensity(I；i1,i2)＝1如果I(i1)>I(i2)；

其中,i1、i2分別是像素位置，I(＊)表示像素亮度。i1、i2分別對的兩個像素點的位置，在提取像素差特征時用到。決策樹分類器由若干個弱分類器級聯(lián)組成。每個弱分類器有若干個決策樹組成，其中，每個決策樹都是一個弱分類器。當檢測的時候，對于輸入的待選區(qū)域圖像，只有通過所有的級聯(lián)的決策樹分離器才能檢測到人臉區(qū)域。每個決策樹都保存著若干個像素對的位置，用于提取特征(如像素對比特征，對提取的特征對于區(qū)分分類和非人臉貢獻較大)，基于提取的特征以得到待選區(qū)域圖像對于此決策樹的置信度(score)。如果小于某個決策樹的閾值，則認為是非人臉區(qū)域，反之進入后續(xù)分離器。這些像素對位置通過離線訓練獲得。

進一步，人臉特征分類器的訓練過程包括如下步驟：

A：確定樣本集；

B：初始化樣本集中各個樣本的權(quán)重，生成一個決策樹；

C：更新樣本權(quán)重，迭代決策樹最終生成決策樹分類器。

具體實施時，如下步驟進行：

對于一個訓練集{I_s,c_s}，I_s為圖像集，c_s{-1,1}圖像為是否為人臉的標注集，-1表示不是人臉，1代表人臉，其中s＝1,2,3…，n,s為圖像樣本的個數(shù)。

(1)首先初始化每個訓練樣本的權(quán)重W；

(2)對于每一個k＝1,2,3，…，K決策樹，

<a>.以最小化基于權(quán)重的最小二乘誤差WMSE，訓練決策樹Tk

其中，Δ和x_k是決策樹中的每個節(jié)點中標注分別是-1和1的訓練集的集合，和是兩個集合的基于權(quán)重的標注真值的均值。

<b>更新每個樣本的權(quán)重

<c>歸一化權(quán)重，使所有權(quán)重的和為1；

(3)更新每個樣本的權(quán)重,以最小化基于權(quán)重的最小二乘誤差WMSE，訓練決策樹，其中所有權(quán)重的和為1；

其中，Δ和x_k是決策樹中的每個節(jié)點中標注分別是-1和1的訓練集的集合，和是兩個集合的基于權(quán)重的標注真值的均值。

(3)輸出級聯(lián)決策樹。

S102、將待檢測人臉區(qū)域圖像集中所有人臉圖像進行歸一得到平均臉，根據(jù)平均臉獲取待檢測人臉區(qū)域圖像集中某一人臉圖像的初始關鍵點形狀，通過預設的回歸器計算初始關鍵點的偏差值，根據(jù)偏差結(jié)果更新關鍵點形狀直至確定人臉區(qū)域內(nèi)關鍵點的形狀；具體實施時，為了便于管理首先將各個人臉區(qū)域范圍的圖像進行歸一處理，可選的將所有的人臉區(qū)域歸一化為統(tǒng)一的分辨率，如50*50。

具體實施時，平均臉在離線訓練的時候得到，其方法如下：

平均人臉模型包括每個關鍵點離中心點(所有關鍵點的中心)的平均距離mean.x和mean.y,以及整個形狀的中心點離人臉檢測框中心點的縱軸方向的平均偏移dy，關鍵點形狀的寬度與人臉檢測框?qū)挾鹊钠骄戎祍x，關鍵點形狀的高度與人臉檢測框高度的平均比值sy。在實際應用中，得到人臉檢測框(detect_x，detect_y，detect_w，detect_h)后獲取初始的關鍵點形狀的方法如下：對于每一個關鍵點：

x＝mean.x*detect_w*sx+detect_x+detect_w/2；y＝mean.y*detect_h*sy+detect_y+detect_h/2+dy。

進一步，S102包括

S201、遍歷待檢測人臉區(qū)域圖像集，根據(jù)評價臉獲取某一人臉圖像的關鍵點形狀，并提取對應的紋理特征；具體實施時，通過提取SIFT特征作為紋理特征實現(xiàn)計算初始關鍵點的偏差值。SIFT特征的提取可選的采用如下公式，利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

θ(x，y)＝a tan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

m(x，y)＝√(L(x+1，y)-L(x-1，y))²+(L(x，y+1)-L(x，y-1))²

其中，θ和m分別是像素(x，y)處梯度的方向和模值公式。其中L是關鍵點所在的尺度值，本實施例中不考慮尺度信息，默認為1。以關鍵點為中心的鄰域窗口內(nèi)采樣(采樣內(nèi)容為SIFT特征、SURF特征、聚合通道特征、局部二值特征等)，用直方圖統(tǒng)計鄰域內(nèi)所分的子塊內(nèi)的像素梯度方向。實際應用中，梯度直方圖的范圍是0～360度，我們把其分為每45度一個柱，總共8個柱，最后把鄰域窗口內(nèi)采樣的所有子塊計算得出的梯度方向直方圖歸一化后串聯(lián)起來即是所用的特征。

S202、根據(jù)紋理特征計算該人臉圖像的偏差值；

S203、根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果。

本發(fā)明以平均人臉初始關鍵點為基礎，并將其與提取的目標人臉區(qū)域的初始關鍵點形狀處的像素特征進行關鍵點回歸，從而生成回歸后的關鍵點形狀，進而將回歸后的關鍵點形狀與其他人臉區(qū)域的關鍵點形狀進行回歸直至最后一個人臉區(qū)域，輸出最終的人臉關鍵點形狀。

具體實施時，本發(fā)明采用基于監(jiān)督下降方法的級聯(lián)回歸器對人臉關鍵點的初始形狀進行更新，基于監(jiān)督下降方法的級聯(lián)回歸器如下：

其中，Δx_k表示在回歸第k次后的所有關鍵點的偏差，R_k和b_k(k＝0，1，…N)表示監(jiān)督下降方法離線學習到的第k步回歸器，x_k表示k次回歸后人臉關鍵點結(jié)果，φ_k表示k次回歸時提取的特征，比如SIFT特征(尺度不變特征)。

本發(fā)明首先從一個人臉關鍵點初始形狀開始，經(jīng)過一次回歸后得到每個關鍵點所需移動的偏差，第二次回歸依據(jù)前步的回歸結(jié)果，若干次回歸后，人臉關鍵點從初始形狀逐步逼近真正的關鍵點形狀。即，當開始回歸人臉關鍵點時，先從初始的關鍵點形狀開始，從每一個關鍵點周圍區(qū)域提取紋理特征，比如SIFT，然后按一定順序把特征串聯(lián)起來用于回歸即φ₀，w_k＝[R_k,b_k],而W₀*φ₀＝Δx₀，根據(jù)上述公式得到每個關鍵點的偏差去更新關鍵點形狀，迭代多次后輸出x_k即為關鍵點形狀的結(jié)果，其中，w_k＝[R_k,b_k]即回歸器由離線訓練得到。

更進一步，根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果后，還可選的，根據(jù)預設的識別模型判斷更新后的關鍵點形狀的回歸值是否不小于歸回閾值，是則不做處理，否則將回歸結(jié)果作為下一次回歸的偏差值。通過對回歸結(jié)果的判斷實現(xiàn)對人臉形狀的確定，提高對人臉上是否佩戴墨鏡的判斷率。

S103、根據(jù)確定的人臉區(qū)域關鍵點的形狀獲取眼睛關鍵點的位置，并提取對應的紋理特征，利用預設墨鏡分類器判斷用戶是否佩戴眼睛，判斷結(jié)果進行駕駛員疲勞狀態(tài)的檢測。

進一步，S103包括

如果墨鏡分類器輸出結(jié)果小于閾值，則不做處理；否則根據(jù)眼睛關鍵點位置處的紋理特征分析眼鏡閉合狀態(tài)，將閉合狀態(tài)與疲勞標準比較，判斷駕駛員是否處于疲勞狀態(tài)。本發(fā)明確定人臉關鍵點形狀后獲取兩只眼睛的位置，在其周圍提取紋理特征如SIFT特征，然后基于BP人工神經(jīng)網(wǎng)絡分類器進行判別。因此具體實施時可選在采集兩個眼睛位置周圍區(qū)域再提取紋理特征，比如SIFT特征，然后用人工神經(jīng)網(wǎng)絡進行二分類，BP人工神經(jīng)網(wǎng)絡是一種現(xiàn)有的分類技術(shù)，并不是本發(fā)明的發(fā)明重點，故而本發(fā)明在此不再贅述。本發(fā)明通過計算平均臉及各個人臉區(qū)域的初始關鍵點的偏差，實現(xiàn)對人臉關鍵點的校正，進而提取人臉關鍵點位置處的像素特征，從而判斷駕駛員是否佩戴眼鏡。

如圖3所示，本發(fā)明還提供了一種疲勞駕駛檢測系統(tǒng)，包括人臉檢測模塊10、關鍵點追蹤模塊20、墨鏡識別模塊30。

其中，

人臉檢測模塊10，用于輸入采集的駕駛員視頻圖像，利用預設的人臉特征分離器獲取待檢測人臉區(qū)域圖像集；

關鍵點追蹤模塊20，用于將待檢測人臉區(qū)域圖像集中所有人臉圖像進行歸一得到平均臉，根據(jù)平均臉獲取待檢測人臉區(qū)域圖像集中某一人臉圖像的初始關鍵點形狀，通過預設的回歸器計算初始關鍵點的偏差值，根據(jù)偏差結(jié)果更新關鍵點形狀直至確定人臉區(qū)域內(nèi)關鍵點的形狀；

墨鏡識別模塊30，用于根據(jù)確定的人臉區(qū)域關鍵點的形狀獲取眼睛關鍵點的位置，并提取對應的紋理特征，利用預設墨鏡分類器判斷用戶是否佩戴眼睛，判斷結(jié)果進行駕駛員疲勞狀態(tài)的檢測。

進一步，人臉檢測模塊包括

候選單元，用于利用滑動窗口檢測方法搜索視頻圖像，生成候選子區(qū)域；

輸出單元，將候選子區(qū)域輸入人臉特征分類器，判斷輸出結(jié)果是否不小于分類閾值，是則標記為待檢測人臉區(qū)域，否則不做處理。

進一步，墨鏡識別模塊還包括

判斷單元，用于如果墨鏡分類器輸出結(jié)果小于閾值，則不做處理；否則根據(jù)眼睛關鍵點位置處的紋理特征分析眼鏡閉合狀態(tài)，將閉合狀態(tài)與疲勞標準比較，判斷駕駛員是否處于疲勞狀態(tài)。

進一步，關鍵點追蹤模塊包括

特征提取單元，用于遍歷待檢測人臉區(qū)域圖像集，根據(jù)評價臉獲取某一人臉圖像的關鍵點形狀，并提取對應的紋理特征；

偏差計算單元，用于根據(jù)紋理特征計算該人臉圖像的偏差值；

回歸輸出單元，用于根據(jù)偏差值更新后的關鍵點形狀輸出回歸結(jié)果。更進一步，回歸輸出單元包括

處理子單元，用于根據(jù)預設的識別模型判斷更新后的關鍵點形狀的回歸值是否不小于歸回閾值，是則不做處理，否則將回歸結(jié)果作為下一次回歸的偏差值。

以上只通過說明的方式描述了本發(fā)明的某些示范性實施例，毋庸置疑，對于本領域的普通技術(shù)人員，在不偏離本發(fā)明的精神和范圍的情況下，可以用各種不同的方式對所描述的實施例進行修正。因此，上述附圖和描述在本質(zhì)上是說明性的，不應理解為對本發(fā)明權(quán)利要求保護范圍的限制。