一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法及系統(tǒng)，包括采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理；對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位獲取人臉區(qū)域；在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對(duì)人眼進(jìn)行跟蹤；從經(jīng)過(guò)預(yù)處理的汽車(chē)前方道路圖像進(jìn)行車(chē)道線(xiàn)檢測(cè)并識(shí)別；根據(jù)檢測(cè)到的車(chē)道線(xiàn)計(jì)算汽車(chē)行駛方向與導(dǎo)航線(xiàn)夾角，判斷車(chē)輛是否偏離車(chē)道；根據(jù)駕駛員的眼部特征和車(chē)輛偏離程度對(duì)駕駛員駕駛狀態(tài)進(jìn)行判別。本發(fā)明提出了融合兩種計(jì)算機(jī)視覺(jué)方式的駕駛員狀態(tài)監(jiān)測(cè)方法，提高了檢測(cè)的準(zhǔn)確率，實(shí)現(xiàn)駕駛員疲勞、酒后、注意力分散等非正常駕駛狀態(tài)的實(shí)時(shí)監(jiān)測(cè)和報(bào)警,從而保障汽車(chē)安全駕駛。
【專(zhuān)利說(shuō)明】一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及交通工程，尤其涉及一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法及系統(tǒng)。
【背景技術(shù)】
[0002]駕駛員處于非正常駕駛狀態(tài)容易導(dǎo)致道路交通事故，因此安全可靠的車(chē)載駕駛員狀態(tài)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)有著深遠(yuǎn)的意義。
[0003]目前，現(xiàn)有的駕駛員狀態(tài)監(jiān)測(cè)技術(shù)一般有以下幾種方式:一，基于駕駛員生理現(xiàn)象的方法；二，基于駕駛員操控行為的方法；三，基于汽車(chē)的行為的方法；其中:
[0004]基于駕駛員生理現(xiàn)象的方法，主要是通過(guò)測(cè)量駕駛員的生理信號(hào)如心率、脈搏、腦電波、肌電信號(hào)等參數(shù)變化或者身體動(dòng)作包括面部表情、眨眼頻率等參數(shù)等來(lái)實(shí)現(xiàn)對(duì)駕駛員狀態(tài)的監(jiān)測(cè)。該方法較為可靠，準(zhǔn)確性高，但是作為一種接觸式測(cè)量，應(yīng)用場(chǎng)景有限，而且操作不便，因而實(shí)用性一般。
[0005]基于駕駛員操控行為的方法，主要是通過(guò)駕駛員對(duì)方向盤(pán)、加速器等的操控來(lái)反應(yīng)駕駛員的狀態(tài)。此類(lèi)方法雖然也是一種接觸式測(cè)量方法，但是相比基于生理現(xiàn)象的方法，可操作性較強(qiáng)，但是考慮到實(shí)際場(chǎng)景復(fù)雜多變，此類(lèi)方法準(zhǔn)確性不高而且擴(kuò)展性、抗干擾性都很差，因此市場(chǎng)前景不容樂(lè)觀(guān)。
[0006]基于汽車(chē)行為的方法，是一種間接監(jiān)測(cè)方法，通常使用基于視覺(jué)傳感器、速度傳感器等監(jiān)控車(chē)輛的行駛路線(xiàn)、速度、加速度等信息來(lái)分析判斷駕駛員的狀態(tài)。此類(lèi)方法可操作性比較強(qiáng)，成本比較低，但是可擴(kuò)展性比較差。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法及系統(tǒng)，以解決現(xiàn)有的監(jiān)測(cè)方法中不僅準(zhǔn)確率不高，而且容易對(duì)正常駕駛造成干擾的問(wèn)題。
[0008]本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:
[0009]一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法，包括以下步驟:
[0010]S10，采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理；
[0011]S20，對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位，獲取人臉區(qū)域；
[0012]S30，在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對(duì)人眼進(jìn)行跟蹤；
[0013]S40，對(duì)經(jīng)過(guò)預(yù)處理的汽車(chē)前方道路圖像進(jìn)行車(chē)道線(xiàn)檢測(cè)并識(shí)別；
[0014]S50，根據(jù)檢測(cè)到的車(chē)道線(xiàn)計(jì)算汽車(chē)行駛方向與導(dǎo)航線(xiàn)夾角，判斷車(chē)輛是否偏離車(chē)道;
[0015]S60，根據(jù)駕駛員的眼部特征和車(chē)輛偏離程度對(duì)駕駛員駕駛狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動(dòng)報(bào)警。[0016]進(jìn)一步的，步驟S30還包括:
[0017]S31，采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像；
[0018]S32，對(duì)得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置；
[0019]S33,在定位出的人眼區(qū)域內(nèi)定位瞳孔質(zhì)心,并利用Kalman濾波方法對(duì)人眼進(jìn)行跟蹤；
[0020]S34，計(jì)算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。
[0021]進(jìn)一步的，所述步驟S40包括:
[0022]S41，對(duì)經(jīng)過(guò)預(yù)處理的道路圖像進(jìn)行canny邊緣檢測(cè)實(shí)現(xiàn)二值化；
[0023]S42，對(duì)所述道路圖像的二值圖像進(jìn)行Hough變換直線(xiàn)檢測(cè)；
[0024]S43，利用水平線(xiàn)檢測(cè)方法分析Hough變換檢測(cè)到的多條直線(xiàn)，找到直線(xiàn)的消隱點(diǎn)，相交于消隱點(diǎn)的(條直線(xiàn)即分別為車(chē)道線(xiàn)的左右邊界。
[0025]進(jìn)一步的，所述步驟S50包括:
[0026]根據(jù)步驟S40中得到的道路邊界和消隱點(diǎn)確定道路邊界的夾角，從而獲得車(chē)道的中線(xiàn)，即夾角的一半且過(guò)消隱點(diǎn)的直線(xiàn)。
[0027]如果汽車(chē)行駛方向與車(chē)道中線(xiàn)之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車(chē)屬于正常駕駛狀態(tài)，否則判斷為車(chē)輛行駛偏離車(chē)道。
[0028]本發(fā)明的另一目的還在于提供一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，包括:
[0029]圖像獲取及預(yù)處理單元，用于采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理；
[0030]人眼定位及運(yùn)動(dòng)參數(shù)提取單元，用于對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位以獲取人臉區(qū)域，并在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對(duì)人眼進(jìn)行跟蹤；
[0031]車(chē)道線(xiàn)檢測(cè)識(shí)別單元:用于從經(jīng)過(guò)預(yù)處理的汽車(chē)前方道路圖像進(jìn)行車(chē)道線(xiàn)檢測(cè)并識(shí)別；
[0032]偏離判斷單元:用于根據(jù)檢測(cè)到的車(chē)道線(xiàn)計(jì)算汽車(chē)行駛方向與導(dǎo)航線(xiàn)夾角，判斷車(chē)輛是否偏離車(chē)道；
[0033]駕駛員狀態(tài)分析單元:用于根據(jù)駕駛員的眼部特征和車(chē)輛偏離程度對(duì)駕駛員駕駛狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動(dòng)報(bào)警。
[0034]進(jìn)一步的，所述人眼定位及運(yùn)動(dòng)參數(shù)提取單元還用于:
[0035]采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像；
[0036]對(duì)得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置；
[0037]在定位出的人眼區(qū)域內(nèi)定位瞳孔質(zhì)心，并利用Kalman濾波方法對(duì)人眼進(jìn)行跟蹤；
[0038]計(jì)算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。
[0039]進(jìn)一步的，所述車(chē)道線(xiàn)檢測(cè)識(shí)別單元具體用于:
[0040]對(duì)經(jīng)過(guò)預(yù)處理的道路圖像進(jìn)行canny邊緣檢測(cè)實(shí)現(xiàn)二值化；
[0041]對(duì)所述道路圖像的二值圖像進(jìn)行Hough變換直線(xiàn)檢測(cè)；[0042]利用水平線(xiàn)檢測(cè)方法分析Hough變換檢測(cè)到的多條直線(xiàn)，找到直線(xiàn)的消隱點(diǎn)，相交于消隱點(diǎn)的(條直線(xiàn)即分別為車(chē)道線(xiàn)的左右邊界。
[0043]進(jìn)一步的，所述偏離判斷單元具體用于:
[0044]根據(jù)車(chē)道線(xiàn)檢測(cè)識(shí)別單元中得到的道路邊界和消隱點(diǎn)確定道路邊界的夾角，從而獲得車(chē)道中線(xiàn)，即夾角的一半且過(guò)消隱點(diǎn)的直線(xiàn)；如果汽車(chē)行駛方向與車(chē)道中線(xiàn)之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車(chē)屬于正常駕駛狀態(tài)，否則判斷為車(chē)輛行駛偏離車(chē)道。
[0045]相較于現(xiàn)有技術(shù)，本發(fā)明的有益效果是:本發(fā)明融合了車(chē)內(nèi)視覺(jué)與車(chē)外視覺(jué)(種信息，通過(guò)同時(shí)監(jiān)測(cè)人眼運(yùn)動(dòng)特征與車(chē)道偏離程度實(shí)現(xiàn)對(duì)駕駛員狀態(tài)的監(jiān)測(cè)，車(chē)內(nèi)實(shí)時(shí)檢測(cè)人眼運(yùn)動(dòng)特征，車(chē)外實(shí)時(shí)監(jiān)測(cè)車(chē)道偏離程度；提高了檢測(cè)準(zhǔn)確率，從而改善)動(dòng)車(chē)道路行駛的安全性；同時(shí)該方法計(jì)算速度快，占用內(nèi)存小，實(shí)現(xiàn)了車(chē)載嵌入式系統(tǒng)實(shí)時(shí)監(jiān)測(cè)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0046]圖1為本發(fā)明實(shí)施例的基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法流程圖。
[0047]圖2為本發(fā)明實(shí)施例的人眼參數(shù)提取流程圖。
[0048]圖3為本發(fā)明實(shí)施例的車(chē)道偏離檢測(cè)流程圖。
[0049]圖4為本發(fā)明實(shí)施例的車(chē)道偏離檢測(cè)模型。
[0050]圖5為本發(fā)明實(shí)施例對(duì)眼部特征和車(chē)輛偏離信息進(jìn)行融合的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。【具體實(shí)施方式】
[0051]如圖1所示，基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法包括如下步驟:
[0052]S10，采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理。
[0053]采集實(shí)時(shí)圖像，通過(guò)設(shè)置車(chē)內(nèi)紅外攝像)采集駕駛員臉部實(shí)時(shí)圖像與車(chē)外攝像)實(shí)時(shí)采集汽車(chē)前方道路圖像，傳輸給圖像處理模塊進(jìn)行預(yù)處理，例如根據(jù)數(shù)據(jù)格式的需要，將獲取到的圖像轉(zhuǎn)換成單通道灰度圖像，并進(jìn)行濾波降噪等操作。
[0054]S20，對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位，獲取人臉區(qū)域。
[0055]如附圖2所示，獲取人臉區(qū)域，消除頭發(fā)等部分對(duì)人眼檢測(cè)的影響，具體方法如下:
[0056]計(jì)算圖像的矩Mtltl, M10, M017M02, M20與質(zhì)心(X，Y)從而獲取人臉區(qū)域的寬度和高度。其中圖像的各階矩定義為:
【權(quán)利要求】
1.一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法，其特征在于，包括以下步驟: S10，采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理； S20，對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位，獲取人臉區(qū)域； S30，在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對(duì)人眼進(jìn)行跟蹤; S40，對(duì)經(jīng)過(guò)預(yù)處理的汽車(chē)前方道路圖像進(jìn)行車(chē)道線(xiàn)檢測(cè)并識(shí)別； S50，根據(jù)檢測(cè)到的車(chē)道線(xiàn)計(jì)算汽車(chē)行駛方向與導(dǎo)航線(xiàn)夾角，判斷車(chē)輛是否偏離車(chē)道；S60，根據(jù)駕駛員的眼部特征和車(chē)輛偏離程度對(duì)駕駛員駕駛狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動(dòng)報(bào)警。
2.根據(jù)權(quán)利要求1所述的駕駛員狀態(tài)監(jiān)測(cè)方法，其特征在于，步驟S30還包括: S31，采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像； S32，對(duì)得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置； 人眼區(qū)域內(nèi)定位瞳孔質(zhì)心，并利用Kalman濾波方法對(duì)人眼進(jìn)行跟蹤； S34，計(jì)算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。
3.根據(jù)權(quán)利要求1所述的基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法，其特征在于，所述步驟S40包括: S41，對(duì)經(jīng)過(guò)預(yù)處理的道路圖像進(jìn)行canny邊緣檢測(cè)實(shí)現(xiàn)二值化； S42，對(duì)所述道路圖像的二值圖像進(jìn)行Hough變換直線(xiàn)檢測(cè)； S43，利用水平線(xiàn)檢測(cè)方法分析Hough變換檢測(cè)到的多條直線(xiàn)，找到直線(xiàn)的消隱點(diǎn)，相交于消隱點(diǎn)的兩條直線(xiàn)即分別為車(chē)道線(xiàn)的左右邊界。
4.根據(jù)權(quán)利要求3所述的基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)方法，其特征在于，所述步驟S50包括: 根據(jù)步驟S40中得到的道路邊界和消隱點(diǎn)確定道路邊界的夾角，從而獲得車(chē)道的中線(xiàn)，即夾角的一半且過(guò)消隱點(diǎn)的直線(xiàn)。 如果汽車(chē)行駛方向與車(chē)道中線(xiàn)之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車(chē)屬于正常駕駛狀態(tài)，否則判斷為車(chē)輛行駛偏離車(chē)道。
5.一種基于視覺(jué)信息融合的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，其特征在于，包括: 圖像獲取及預(yù)處理單元，用于采集駕駛員臉部圖像與汽車(chē)前方道路圖像并進(jìn)行預(yù)處理； 人眼定位及運(yùn)動(dòng)參數(shù)提取單元，用于對(duì)經(jīng)過(guò)預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位以獲取人臉區(qū)域，并在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對(duì)人眼進(jìn)行跟蹤； 車(chē)道線(xiàn)檢測(cè)識(shí)別單元:用于對(duì)經(jīng)過(guò)預(yù)處理的汽車(chē)前方道路圖像進(jìn)行車(chē)道線(xiàn)檢測(cè)并識(shí)別； 偏離判斷單元:用于根據(jù)檢測(cè)到的車(chē)道線(xiàn)計(jì)算汽車(chē)行駛方向與導(dǎo)航線(xiàn)夾角，判斷車(chē)輛是否偏離車(chē)道； 駕駛員狀態(tài)分析單元:用于根據(jù)駕駛員的眼部特征和車(chē)輛偏離程度對(duì)駕駛員駕駛狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動(dòng)報(bào)警。
6.根據(jù)權(quán)利要求5所述的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，其特征在于，所述人眼定位及運(yùn)動(dòng)參數(shù)提取單元還用于: 采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像； 對(duì)得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置； 在定位出的人眼區(qū)域內(nèi)定位瞳孔質(zhì)心，并利用Kalman濾波方法對(duì)人眼進(jìn)行跟蹤； 計(jì)算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。
7.根據(jù)權(quán)利要求6所述的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，其特征在于，所述車(chē)道線(xiàn)檢測(cè)識(shí)別單元具體用于: 對(duì)經(jīng)過(guò)預(yù)處理的道路圖像進(jìn)行canny邊緣檢測(cè)實(shí)現(xiàn)二值化； 對(duì)所述道路圖像的二值圖像進(jìn)行Hough變換直線(xiàn)檢測(cè)； 利用水平線(xiàn)檢測(cè)方法分析Hough變換檢測(cè)到的多條直線(xiàn)，找到直線(xiàn)的消隱點(diǎn)，相交于消隱點(diǎn)的兩條直線(xiàn)即分別為車(chē)道線(xiàn)的左右邊界。
8.根據(jù)權(quán)利要求7所述的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，其特征在于，所述偏離判斷單元具體用于: 根據(jù)車(chē)道線(xiàn)檢測(cè)識(shí)別單元中得到的道路邊界和消隱點(diǎn)確定道路邊界的夾角，從而獲得車(chē)道中線(xiàn)，即夾角的一半且過(guò)消隱點(diǎn)的直線(xiàn)；如果汽車(chē)行駛方向與車(chē)道中線(xiàn)之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車(chē)屬于正常駕駛狀態(tài)，否則判斷為車(chē)輛行駛偏離車(chē)道。
【文檔編號(hào)】G06K9/62GK104021370SQ201410208173
【公開(kāi)日】2014年9月3日 申請(qǐng)日期:2014年5月16日 優(yōu)先權(quán)日:2014年5月16日
【發(fā)明者】張根源, 虞勤, 楊思思, 周泓 申請(qǐng)人:浙江傳媒學(xué)院