本發(fā)明屬于智能安全技術(shù)領(lǐng)域，涉及一種基于人眼狀態(tài)檢測的疲勞駕駛安全監(jiān)測方法。

背景技術(shù)：

疲勞駕駛檢測是安全駕駛中的重要部分，如何自動的檢測行駛中的駕駛員的疲勞狀態(tài)，并提醒駕駛員安全駕駛，這一問題已經(jīng)成為一個廣受關(guān)注的問題。關(guān)于疲勞檢測目前有很多種方法。《駕駛員疲勞檢測》104887253A 通過采集與車輛在一段時間周期內(nèi)的橫擺率相關(guān)的數(shù)據(jù)，并計(jì)算其與理想軌跡的偏差來提供危險駕駛狀態(tài)的指示。由于影響橫擺率發(fā)生變化的因素很多，這一方法采集的橫擺率數(shù)據(jù)的可靠性不強(qiáng)?！镀跈z測系統(tǒng)及方法》105718033A，通過采集眼球圖像的圖片，并統(tǒng)計(jì)其中紅色像素點(diǎn)所占的比例。這一方法要求眼球區(qū)域圖像質(zhì)量較高，這在實(shí)際的使用過程中比較難以實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明需要解決的問題是如何準(zhǔn)確的獲取人眼的大致區(qū)域，采用的技術(shù)主要是人臉檢測以及人臉特征點(diǎn)定位。該方法能夠準(zhǔn)確定位人眼區(qū)域。另一方面需要解決如何確定人眼區(qū)域中是否存在人眼以及人眼的睜閉狀態(tài)，然后通過統(tǒng)計(jì)一段時間內(nèi)的人眼睜閉的比率來進(jìn)行疲勞狀態(tài)的檢測。

本發(fā)明方法包括以下步驟：

步驟1.利用紅外攝像頭采集人臉圖像。

步驟2.將人臉圖像灰度化，通過人臉檢測算法，檢測人臉位置。

步驟3.利用檢測到的人臉位置或者前一幀可信的人臉特征點(diǎn)檢測的人臉位置，將人臉歸一化。

步驟4.利用基于LBF的人臉特征點(diǎn)定位算法，定位人臉特征點(diǎn)；分別計(jì)算左右眼中心點(diǎn)到鼻尖點(diǎn)的距離，然后選取離鼻尖點(diǎn)較近的眼睛中心點(diǎn)，得到可信人眼的位置。

步驟5.在RGB彩色圖上，以選取的可信人眼為中心截取人眼局部區(qū)域圖片，針對當(dāng)前人眼局部區(qū)域圖片，分別統(tǒng)計(jì)RGB三個顏色通道的顏色直方圖，并進(jìn)行顏色直方圖歸一化。

步驟6.對當(dāng)前人眼局部區(qū)域進(jìn)行灰度直方圖統(tǒng)計(jì)，計(jì)算灰度值占整個灰度圖的比例超過50%的灰度值，如果該灰度值低于設(shè)定的閾值，則認(rèn)為人眼為不透光的墨鏡，并給出非人眼狀態(tài)，且不再進(jìn)行網(wǎng)絡(luò)判定。

步驟7.將歸一化圖像加入深度神經(jīng)網(wǎng)絡(luò)模型中，由深度神經(jīng)網(wǎng)絡(luò)模型輸出當(dāng)前人眼的狀態(tài)，共分三種：睜眼、閉眼以及非人眼。

步驟8.根據(jù)當(dāng)前幀的人眼檢測狀態(tài)設(shè)置反饋值，供下一幀人眼特征點(diǎn)檢測使用。如果為非人眼，則設(shè)置當(dāng)前人臉特征點(diǎn)定位結(jié)果為不可信，則下一幀則需要重新利用人臉檢測算法提供的人臉區(qū)域。如果為睜閉眼，則設(shè)置反饋值為可信，同時更新當(dāng)前的睜閉眼狀態(tài)的狀態(tài)池。

步驟9.統(tǒng)計(jì)當(dāng)前幀下的睜閉眼狀態(tài)池的閉眼率，如果當(dāng)前閉眼率超過預(yù)設(shè)的閾值，則輸出報(bào)警狀態(tài)。如果當(dāng)前狀態(tài)為異常，則給出異常警報(bào)。

本發(fā)明的有益效果：

1、能夠簡單準(zhǔn)確的定位人眼位置，而且對光照以及眼鏡等干擾具有一定的魯棒性。

2、利用了幀間信息，能夠降低偶然因素帶來的誤報(bào)警。

3、警報(bào)準(zhǔn)確高，允許用戶根據(jù)不同的處理器，調(diào)整閾值從而提高檢測率。

附圖說明

圖1為本發(fā)明方法流程圖。

圖2為眼睛狀態(tài)檢測流程圖。

圖3為eye status detect net 網(wǎng)絡(luò)結(jié)構(gòu)。

具體實(shí)施方式

以下結(jié)合實(shí)施例和附圖1對本發(fā)明作進(jìn)一步說明：

本實(shí)施例的數(shù)據(jù)采集使用的設(shè)備是紅外攝像頭，安裝于駕駛室內(nèi)。安裝要求：攝像頭居中架設(shè)，要求攝像頭焦距為8MM左右，攝像頭距離人臉為70-80cm。設(shè)定算法要求的參數(shù)，主要包括統(tǒng)計(jì)的視頻幀數(shù)，疲勞檢測的上下閾值。對紅外視頻數(shù)據(jù)，調(diào)用本算法提供的算法接口，算法會根據(jù)輸入圖像，調(diào)用相應(yīng)的模型給出當(dāng)前駕駛員的疲勞狀態(tài)，如果疲勞將會給出報(bào)警信息。具體實(shí)施方案如下，參見圖1和圖2：

1.利用紅外攝像頭采集人臉圖像。

2.將人臉圖像灰度化，利用常規(guī)的人臉檢測算法，檢測人臉位置。

3.利用檢測到的人臉位置或者前一幀可信的人臉特征點(diǎn)檢測的人臉位置，將人臉歸一化。人臉特征點(diǎn)檢測模塊結(jié)合了前一幀的人眼狀態(tài)反饋值，具體設(shè)置由步驟8所述。

4.利用基于LBF的人臉特征點(diǎn)定位算法，定位人臉特征點(diǎn)。本發(fā)明分別計(jì)算左右眼中心點(diǎn)到鼻尖點(diǎn)的距離，然后選取離鼻尖點(diǎn)較近的眼睛中心點(diǎn)，得到可信人眼的位置。

5.在RGB彩色圖上，以選取的可信人眼為中心截取32*32大小的人眼局部區(qū)域圖片，針對當(dāng)前人眼局部區(qū)域圖片，分別統(tǒng)計(jì)RGB三個顏色通道的顏色直方圖，并進(jìn)行顏色直方圖歸一化。

6.對當(dāng)前人眼局部區(qū)域進(jìn)行灰度直方圖統(tǒng)計(jì)，計(jì)算灰度值占整個灰度圖的比例超過50%的灰度值，如果該灰度值低于設(shè)定的閾值，則認(rèn)為人眼為不透光的墨鏡，需給出非人眼狀態(tài)，且不再進(jìn)行網(wǎng)絡(luò)判定。

7.將歸一化圖像加入深度神經(jīng)網(wǎng)絡(luò)模型中，如圖3所示，輸入圖像經(jīng)過一層核尺寸為5，pad為2的卷積層conv1，卷積后圖片尺寸保持不變，其后連接Batch Norm層，scale層以及Pooling層，之后連接激活函數(shù)Relu。此后再連接一層核大小為3，pad為2的卷積層conv1_1，Batch Norm層以及relu層，然后連接核為5，pad為2的卷積層，三層卷積過后，需要降低當(dāng)前優(yōu)化參數(shù)的數(shù)目，使用dropout策略，降低過擬合的概率。之后連接全連接層，經(jīng)dropout后計(jì)算當(dāng)前網(wǎng)絡(luò)輸出的概率。最終輸出當(dāng)前人眼的狀態(tài)，共分三種：睜眼，閉眼以及非人眼。

8.根據(jù)當(dāng)前幀的人眼檢測狀態(tài)設(shè)置反饋值，供下一幀人眼特征點(diǎn)檢測模塊使用。如果為非人眼，則設(shè)置當(dāng)前人臉特征點(diǎn)定位結(jié)果為不可信，則下一幀則需要重新利用人臉檢測算法提供的人臉區(qū)域。如果為睜閉眼，則設(shè)置反饋值為可信，同時更新當(dāng)前的睜閉眼狀態(tài)的狀態(tài)池。

9.統(tǒng)計(jì)當(dāng)前幀下的睜閉眼狀態(tài)池的閉眼率，如果當(dāng)前閉眼率超過預(yù)設(shè)的閾值，則輸出報(bào)警狀態(tài)。如果當(dāng)前狀態(tài)為異常，則給出異常警報(bào)。

為準(zhǔn)確定位人眼位置，本發(fā)明在基于LBF的特征點(diǎn)檢測算法的基礎(chǔ)上，加入了基于當(dāng)前人臉姿態(tài)的初始化特征方法。即，如果前一幀經(jīng)人眼狀態(tài)分析，如果判定當(dāng)前特征點(diǎn)檢測合理，則利用前一幀特征點(diǎn)檢測結(jié)果，估計(jì)當(dāng)前人臉的姿態(tài)，然后對初始平均形狀進(jìn)行姿態(tài)擾動，擾動后的形狀作為常用的基于特征點(diǎn)檢測算法的初始迭代形狀。

本發(fā)明檢測人眼狀態(tài)的輸入人眼區(qū)域?yàn)榭尚湃搜蹍^(qū)域。即在左右眼中挑選出更準(zhǔn)確的局部人眼區(qū)域。具體為：分別計(jì)算左右眼中心點(diǎn)到鼻尖點(diǎn)的距離，然后選取離鼻尖點(diǎn)較近的眼睛中心點(diǎn)，并以此截取人臉局部區(qū)域圖像。這一實(shí)現(xiàn)既降低了運(yùn)算量又加強(qiáng)了對人眼特征點(diǎn)檢測的魯棒性。

人眼狀態(tài)除睜眼和閉眼之外，還設(shè)置了第三種人眼狀態(tài)：非人眼。非人眼作為一種反饋機(jī)制，輸入到人臉特征點(diǎn)檢測模塊中。

本發(fā)明采用的睜閉眼檢測算法是一種基于深度神經(jīng)網(wǎng)絡(luò)的策略。根據(jù)人眼局部特征的特點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，人眼局部圖像需經(jīng)直方圖均衡化，去除光照影響。網(wǎng)絡(luò)結(jié)構(gòu)中第一層的卷積層的設(shè)計(jì)為核大小和圖片邊界擴(kuò)充數(shù)目分別設(shè)置為5和2，輸入圖片經(jīng)卷積層后，圖片的尺寸保持不變，第二層卷積層設(shè)計(jì)技巧也保持圖片尺寸不變，這樣能夠保持人眼特征的完整性。整體網(wǎng)絡(luò)結(jié)構(gòu)包括三層卷積層，每層卷積層后連接Batch Norm層以及Pooling層，后接兩層全連接層。

設(shè)置人眼狀態(tài)池，根據(jù)當(dāng)前幀的人眼檢測狀態(tài)設(shè)置反饋值，供下一幀人眼特征點(diǎn)檢測使用。如果為非人眼，則設(shè)置當(dāng)前人臉特征點(diǎn)定位結(jié)果為不可信，則下一幀則需要重新利用人臉檢測算子提供的人臉區(qū)域。如果為睜閉眼，則更新當(dāng)前的人眼狀態(tài)的狀態(tài)池。

綜上，本發(fā)明充分考慮了駕駛過程中的各種復(fù)雜因素，首先排除了偶然因素導(dǎo)致的人眼數(shù)據(jù)不可靠的情況，準(zhǔn)確定位人眼，然后從人眼視覺層面判斷人眼當(dāng)前的狀態(tài)。本發(fā)明不需要復(fù)雜的眼球分析以及軌跡分析等技術(shù)。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)帶理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。