一種基于嘴巴特征的疲勞駕駛檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及安全駕駛技術(shù)領(lǐng)域，具體涉及一種基于嘴巴特征的疲勞駕駛檢測(cè)方 法。
【背景技術(shù)】
[0002] 疲勞駕駛是引發(fā)交通事故的重要原因之一，由于它無(wú)法像飲酒駕駛或者接打電話 駕駛那樣，使用交通法規(guī)來(lái)明令禁止，所以它很容易被人們所忽視，然而，當(dāng)駕駛員處于疲 勞狀態(tài)時(shí)，會(huì)出現(xiàn)注意力分散，應(yīng)變能力下降，對(duì)路面情況和周邊環(huán)境的觀察不及時(shí)，甚至 出現(xiàn)短時(shí)間睡眠，完全失去駕駛能力，極易造成交通事故。
[0003] 對(duì)于因疲勞駕駛引起的交通事故，由于無(wú)法實(shí)時(shí)檢測(cè)駕駛員的疲勞駕駛狀態(tài)，一 些客運(yùn)和貨運(yùn)企業(yè)的監(jiān)管部門(mén)無(wú)法進(jìn)行事前的監(jiān)控和預(yù)防。因此，實(shí)時(shí)的檢測(cè)駕駛員的疲 勞駕駛狀態(tài)，及時(shí)提醒駕駛員或反饋給運(yùn)輸企業(yè)監(jiān)管部門(mén)進(jìn)行預(yù)防，對(duì)于避免重大交通事 故，起著重要的作用。
[0004] 目前，對(duì)于疲勞駕駛的檢測(cè)主要有以下幾類(lèi)方法：
[0005] 1、基于生理信號(hào)的檢測(cè)方法，主要基于駕駛員的脈搏、腦電圖、心電圖、肌電圖等 的異常情況來(lái)檢測(cè)疲勞駕駛狀態(tài)。該類(lèi)方法的檢測(cè)結(jié)果很準(zhǔn)確，但是其必須通過(guò)直接接觸 駕駛員身體來(lái)采集相關(guān)數(shù)據(jù)，會(huì)導(dǎo)致駕駛員的不適，影響駕駛效果，不適合實(shí)際的應(yīng)用。
[0006] 2、基于駕駛行為的檢測(cè)方法，主要基于方向盤(pán)轉(zhuǎn)動(dòng)、車(chē)輛行駛速度、車(chē)道偏移量、 油門(mén)的控制力度等的異常情況來(lái)檢測(cè)疲勞駕駛狀態(tài)。該類(lèi)方法的優(yōu)點(diǎn)是不需要接觸駕駛員 身體，檢測(cè)結(jié)果能直接反應(yīng)駕駛狀態(tài)，其缺點(diǎn)是判斷依據(jù)無(wú)法確定，對(duì)于不同的駕駛員，無(wú) 法給出明確的臨界判斷閾值。
[0007] 3、基于機(jī)器視覺(jué)的檢測(cè)方法，主要通過(guò)視頻圖像處理技術(shù)，實(shí)時(shí)監(jiān)控駕駛員的嘴 巴開(kāi)閉狀態(tài)、點(diǎn)頭頻率、打哈欠等情況，綜合判斷是否處于疲勞駕駛狀態(tài)。該類(lèi)方法的優(yōu)點(diǎn) 是不需要接觸駕駛員身體，不會(huì)影響駕駛效果，設(shè)備更容易被人們接受，更具發(fā)展?jié)摿Α?br>
【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提供一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，該檢測(cè)方法通過(guò) 監(jiān)控駕駛員的嘴巴張開(kāi)特征，并依據(jù)打哈欠行為來(lái)判斷駕駛員是否處于疲勞駕駛狀態(tài)，具 有監(jiān)控準(zhǔn)確度高，漏檢誤檢少，受環(huán)境影響小，速度快，成本低等特點(diǎn)。
[0009] 本發(fā)明的技術(shù)方案為：
[0010] 一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，該檢測(cè)方法包括以下步驟：
[0011] (1)建立人臉檢測(cè)分類(lèi)器。
[0012] (2)實(shí)時(shí)采集駕駛員的駕駛狀態(tài)圖像。
[0013] (3)在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置。
[0014] (4)在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準(zhǔn)確預(yù)測(cè)當(dāng)前幀圖像中的嘴 巴位置。
[0015] (5)根據(jù)預(yù)測(cè)的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的 嘴巴位置；同時(shí)，判斷駕駛員嘴巴的張開(kāi)程度，并根據(jù)單位時(shí)間內(nèi)，嘴巴張開(kāi)程度較大的幀 數(shù)所占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)。
[0016] (6)若駕駛員處于疲勞駕駛狀態(tài)，則進(jìn)行報(bào)警提示或向遠(yuǎn)程服務(wù)器發(fā)送處于疲勞 駕駛狀態(tài)時(shí)的實(shí)時(shí)視頻并接收遠(yuǎn)程命令。
[0017] 步驟（3)中，所述的在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置，具體包括以 下步驟：
[0018] (31)基于harr特征和adaboost分類(lèi)器，進(jìn)行人臉定位。
[0019] (32)基于人臉的三庭五眼布局規(guī)律，粗定位嘴巴位置。
[0020] (33)精確定位嘴巴的位置。
[0021] (34)判斷嘴巴是否定位成功；若是，則執(zhí)行步驟（35);若否，則返回執(zhí)行步驟 (31)〇
[0022] (35)利用以下公式，獲取正樣本采集區(qū)域rect_pos和負(fù)樣本采集區(qū)域rect_neg， 其中，rect_neg區(qū)域不包括內(nèi)部區(qū)域rect_center;
【主權(quán)項(xiàng)】
1. 一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，其特征在于：該檢測(cè)方法包括以下步驟： (1) 建立人臉檢測(cè)分類(lèi)器； (2) 實(shí)時(shí)采集駕駛員的駕駛狀態(tài)圖像； (3) 在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置； (4) 在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準(zhǔn)確預(yù)測(cè)當(dāng)前幀圖像中的嘴巴位 置； (5) 根據(jù)預(yù)測(cè)的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的嘴巴 位置；同時(shí)，判斷駕駛員嘴巴的張開(kāi)程度，并根據(jù)單位時(shí)間內(nèi)，嘴巴張開(kāi)程度較大的幀數(shù)所 占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)； (6) 若駕駛員處于疲勞駕駛狀態(tài)，則進(jìn)行報(bào)警提示或向遠(yuǎn)程服務(wù)器發(fā)送處于疲勞駕駛 狀態(tài)時(shí)的實(shí)時(shí)視頻并接收遠(yuǎn)程命令。
2. 根據(jù)權(quán)利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，其特征在于：步驟 (3)中，所述的在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置，具體包括以下步驟： (31) 基于harr特征和adaboost分類(lèi)器，進(jìn)行人臉定位； (32) 基于人臉的三庭五眼布局規(guī)律，粗定位嘴巴位置； (33) 精確定位嘴巴的位置； (34) 判斷嘴巴是否定位成功；若是，則執(zhí)行步驟（35);若否，則返回執(zhí)行步驟（31); (35) 利用以下公式，獲取正樣本采集區(qū)域rect_pos和負(fù)樣本采集區(qū)域rect_neg，其 中，rect_neg區(qū)域不包括內(nèi)部區(qū)域rect_center;
(36) 在正樣本采集區(qū)域內(nèi)，選取30個(gè)寬高分別為rect_mouth.width和rect_mouth. heigh的隨機(jī)矩形區(qū)域，作為訓(xùn)練正樣本集simple_pos;在負(fù)樣本采集區(qū)域內(nèi)，選取90個(gè)和 正樣本寬高相同的隨機(jī)矩形區(qū)域，作為訓(xùn)練負(fù)樣本集simple_neg; (37) 在rectjnouth大小的矩形區(qū)域內(nèi)，選取30個(gè)隨機(jī)寬高的子矩形區(qū)域，作為矩形特 征集：rect_child_set〇
3. 根據(jù)權(quán)利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，其特征在于：步驟 ⑷中，所述的在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準(zhǔn)確預(yù)測(cè)當(dāng)前幀圖像中的 嘴巴位置；具體包括以下步驟： (41) 更新系統(tǒng)的學(xué)習(xí)參數(shù)，具體包括以下步驟： (411) 基于上一幀圖像，獲取正負(fù)樣本采集區(qū)域rect_pos和rect_neg，并按照集合 simple_pos和simple_neg，分別獲取正負(fù)樣本集； (412) 對(duì)于每一個(gè)正負(fù)樣本simple_pos[i]和simple_neg[i]，在每一個(gè)特征矩形 rect_child_set[i]區(qū)域內(nèi)，利用以下公式，計(jì)算特征值c_value，并將所有的特征值順序 排列，作為當(dāng)前樣本的特征向量sample_vector[i]; c_value=sum(sl)+sum(s3)-2*sum(s2) 其中，sum〇函數(shù)表示求當(dāng)前區(qū)域內(nèi)所有像素的灰度值和； (413) 計(jì)算特征向量sample_vector[i]的均值sample_ti[i]和方差sample_〇 [i]; (414) 利用以下公式，更新系統(tǒng)的學(xué)習(xí)參數(shù)pos_u[i]、pos_〇 [i]、neg_u[i]、neg_ 〇 [i];
其中，p〇S_u[i]、p〇S_〇 [i]分別表示用于嘴巴區(qū)域檢測(cè)的均值和方差，neg_U[i]、neg_ 〇 [i]分別表示用于非嘴巴區(qū)域檢測(cè)的均值和方差； (42) 嘴巴區(qū)域檢測(cè)，具體包括以下步驟： (421) 利用以下公式，獲取嘴巴檢測(cè)區(qū)域reddetect;
其中，rect_mouth表示上一幀中嘴巴的位置區(qū)域矩形； (422) 按一定步長(zhǎng)遍歷rect_detect區(qū)域，計(jì)算每一個(gè)像素位置處矩形區(qū)域的特征向 量detect_vector[i]； (423) 基于改進(jìn)的貝葉斯后驗(yàn)概率公式，計(jì)算每一個(gè)矩形區(qū)域?qū)儆谧彀蛥^(qū)域的概率 P[i];所述的改進(jìn)的貝葉斯后驗(yàn)概率公式為：
(424)選擇最大概率對(duì)應(yīng)的矩形區(qū)域，作為當(dāng)前幀中的嘴巴區(qū)域矩形位置。
4. 根據(jù)權(quán)利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，其特征在于：步驟 (5)中，根據(jù)預(yù)測(cè)的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的嘴巴 位置；同時(shí)，判斷駕駛員嘴巴的張開(kāi)程度，并根據(jù)單位時(shí)間內(nèi)，嘴巴張開(kāi)程度較大的幀數(shù)所 占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)；具體包括以下步驟： (51) 精確定位嘴巴的矩形區(qū)域位置； (52) 基于最大類(lèi)間距算法，獲取嘴巴區(qū)域的全局二值化圖像，并進(jìn)行反色處理； (53) 獲取嘴巴區(qū)域的高度，具體方法是對(duì)嘴巴連通區(qū)域進(jìn)行垂直投影，選取最大投影 值作為整個(gè)區(qū)域的高度，并把該高度值放入高度列表H中； (54) 判斷駕駛員是否處于疲勞駕駛狀態(tài)，具體包括以下步驟： (541) 在單位時(shí)間T內(nèi)，利用以下公式，統(tǒng)計(jì)駕駛員張大嘴巴的幀數(shù)；
其中，No表示單位時(shí)間T內(nèi)處于嘴巴張開(kāi)狀態(tài)的幀數(shù)，h[i]表示高度列表H內(nèi)第i幀 的嘴巴區(qū)域高度，To表示正常情況下嘴巴區(qū)域的高度，Tc表示打哈欠時(shí)嘴巴區(qū)域的高度； (542) 利用以下公式，判斷駕駛員是否處于疲勞駕駛狀態(tài)；
其中，exist= 1表示駕駛員處于疲勞駕駛狀態(tài)，N表示單位時(shí)間T內(nèi)的總幀數(shù)，p表示 單位時(shí)間T內(nèi)的哈欠率； (55) 根據(jù)當(dāng)前幀的嘴巴位置和疲勞駕駛狀態(tài)判斷情況，更新相關(guān)狀態(tài)參數(shù)值。
5. 根據(jù)權(quán)利要求2所述的一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，其特征在于：步驟 (33)中，所述的精確定位嘴巴的位置，具體包括以下步驟： (331) 對(duì)圖像進(jìn)行模糊處理，具體采用以下公式的模板進(jìn)行均值濾波；
(332) 利用以下公式，對(duì)嘴巴灰度圖像進(jìn)行增強(qiáng)；
其中，f(x，y)表示原圖的灰度值，g(x，y)表示增強(qiáng)圖像的灰度值，tmin表示原圖灰度最 小值，力_表示原圖灰度最大值； (333) 基于canny邊緣檢測(cè)算子，進(jìn)行嘴巴邊緣檢測(cè)； (334) 基于結(jié)構(gòu)元素模板式，進(jìn)行3次形態(tài)學(xué)閉運(yùn)算；所述的結(jié)構(gòu)元素模板式為：
(335) 獲取嘴巴區(qū)域的形心center_mouth; (336) 利用以下公式，獲取嘴巴位置區(qū)域矩形rectjnouth;
其中，center_mouth表示嘴巴區(qū)域的開(kāi)$心，rect表示人臉的位置矩形。
【專(zhuān)利摘要】本發(fā)明涉及一種基于嘴巴特征的疲勞駕駛檢測(cè)方法，包括以下步驟：建立人臉檢測(cè)分類(lèi)器；實(shí)時(shí)采集駕駛員的駕駛狀態(tài)圖像；在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置；在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準(zhǔn)確預(yù)測(cè)當(dāng)前幀圖像中的嘴巴位置；根據(jù)預(yù)測(cè)的嘴巴位置，精確定位嘴巴位置；判斷駕駛員嘴巴的張開(kāi)程度，根據(jù)單位時(shí)間內(nèi)，嘴巴張開(kāi)程度較大的幀數(shù)所占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)；若駕駛員處于疲勞駕駛狀態(tài)，則進(jìn)行報(bào)警提示或向遠(yuǎn)程服務(wù)器發(fā)送處于疲勞駕駛狀態(tài)時(shí)的實(shí)時(shí)視頻并接收遠(yuǎn)程命令。本發(fā)明具有監(jiān)控準(zhǔn)確度高，漏檢誤檢少，受環(huán)境影響小，速度快，成本低等特點(diǎn)。
【IPC分類(lèi)】G08B21-06, G06K9-62
【公開(kāi)號(hào)】CN104574819
【申請(qǐng)?zhí)枴緾N201510013007
【發(fā)明人】張卡, 尼秀明, 何佳, 黃健
【申請(qǐng)人】安徽清新互聯(lián)信息科技有限公司
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2015年1月9日