本發(fā)明屬于計算機視覺技術領域，具體涉及一種基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)。

背景技術：

隨著交通基礎設施的完善，刺激我國機動車數量的迅猛增長。交通安全問題已經成為當今社會亟待解決的一大難題。據調查研究表明:交通事故的起因85％是由駕駛員自身造成的。因此，為降低交通事故，保障駕駛安全，智能化監(jiān)測車輛行駛過程中駕駛員的狀態(tài)，實時的對駕駛員駕駛過程中因疲勞駕駛、注意力不集中等駕駛狀態(tài)進行預警是很有必要的。

目前，針對駕駛員狀態(tài)的監(jiān)測技術，主要表現在以下幾個方面：

第一類，基于駕駛員生理信號的檢測方法，主要是采用腦電信號檢測和心電信號檢測獲取駕駛員的狀態(tài)，其不足之處在于駕駛員需要佩戴各種儀器，在實際應用中會對駕駛員操作造成干擾難以得到推廣。

第二類，基于駕駛員疲勞狀態(tài)的監(jiān)測，其不足之處在于監(jiān)測方式單一，這種單一檢測很難體現出駕駛員駕駛狀態(tài)的復雜性，缺乏多種特征信息的融合處理，監(jiān)測的準確性不高。

本發(fā)明針對現有的駕駛員狀態(tài)監(jiān)測技術的不足，利用微軟kinect的人臉識別技術提出了基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，通過對駕駛員駕駛過程中的面部表情識別，眼部狀態(tài)，嘴部狀態(tài)，頭部姿態(tài)等狀態(tài)進行聯(lián)合檢測，然后采用模糊評價和d-s證據理論對多種駕駛員狀態(tài)特征進行信息的融合，進一步對駕駛員的狀態(tài)進行評估，提高駕駛員狀態(tài)的識別準確度，并進行實時預警，從而達到預防交通事故的作用。

技術實現要素：

本發(fā)明的目的在于解決現有技術中的不足，提出一種基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)包括：面部特征信息采集模塊、信息處理模塊、多特征信息融合模塊、報警模塊、數據庫存儲模塊。所述的面部特征信采集模塊的輸出端與信息處理模塊的輸入端進行通過數據線連接，多特征信息融合模塊的輸出端與報警模塊的輸入端通過數據線連接。面部特征采集模塊用于獲取駕駛員面部特征、眼部狀態(tài)、嘴部狀態(tài)、頭部狀態(tài)信息；信息處理模塊用于對采集的數據進行處理，獲取表情、疲勞的參數；多特征信息處理模塊用于對表情、疲勞參數進行模糊處理，對駕駛員狀態(tài)進行綜合評估，如監(jiān)測到狀態(tài)不好則向報警模塊發(fā)送相應的狀態(tài)異常信號；報警模塊用于在接收到異常信號后進行報警；數據存儲模塊用于對駕駛員的狀態(tài)信息進行存儲。

本發(fā)明實現上述創(chuàng)新的方案是：利用kinect提供的紅外圖像及人臉識別模塊獲取駕駛員面部特征點信息，對駕駛員面部表情、嘴部、眼部、頭部等特征進行監(jiān)測，通過kinect獲取的紅外圖像數據的預處理，并通過融合各種特征信息，綜合判斷駕駛員的狀態(tài)，提高白天尤其是夜晚的駕駛員狀態(tài)監(jiān)測的準確率。面部表情包括高興、驚訝、恐懼、悲傷、憤怒、厭惡。

本發(fā)明提出的技術方案采用kinect傳感器對駕駛員進行檢測，免去了駕駛員佩戴各種儀器帶來的不便，只需將kinect傳感器置于駕駛員的前方就能很便捷對駕駛員進行監(jiān)測，并且kinect提供的人臉識別模塊對人臉定位效率很高。本發(fā)明提出的技術方案采用的kinect傳感器帶有彩色攝像頭和紅外攝像頭，可以用于白天與夜間的監(jiān)測，有效的解決了夜間監(jiān)測不準確的問題。kinect傳感器提供的人臉識別sdk可以用于駕駛員的面部表情識別(高興、驚訝、恐懼、悲傷、憤怒、厭惡)，結合疲勞狀態(tài)(眼部、嘴部、頭部)可以綜合監(jiān)測行車過程中駕駛員不專心、疲勞駕駛等問題。本發(fā)明提出的技術方案采用d-s多特征信息融合技術通過對駕駛員不專心、疲勞等多種特征進行信息融合，提高了駕駛員異常狀態(tài)檢測的準確性。

附圖說明

圖1是人臉的3d面部特征信息圖

圖2是發(fā)明基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)總體工作流程圖

具體實施方式

本發(fā)明用于提供一種基于kinect的駕駛員狀態(tài)檢測系統(tǒng)，為了使本發(fā)明的目的、技術方案及效果更佳清楚、明確，下面現結合附圖，對本發(fā)明的具體實施方式進行詳細描述，但應當理解此處所描述的具體實施方式僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

本實例公開了一種基于kinect的駕駛員狀態(tài)檢測系統(tǒng)，具體實現步驟如下：

1、當光線強時，kinect傳感器啟動彩色攝像機，獲取其周圍環(huán)境的彩色圖像。同時快速地進行骨骼監(jiān)測，高效地對人臉進行定位，獲取駕駛員臉部輪廓數據、嘴部張合狀態(tài)數據、頭部姿態(tài)角度數據、眼部睜閉眼狀態(tài)數據。當光線弱時，kinect傳感器啟動紅外攝像機，對周圍環(huán)境進行監(jiān)測，并獲取相關數據。

2、信息處理模塊將獲取的數據進行分析，將數據與處理模塊預置的閾值進行比對，然后進行表情的識別和疲勞的識別。頭部信息處理分析：獲取1分鐘內駕駛員是否長時間低頭，可以獲取頭部的pitch俯仰角，角度在-90°到90°之間，我們可以預置當角度小于-15°且持續(xù)一段時間3s則判定是長時間低頭；嘴部信息處理分析：通過面部運動單元獲取嘴部參數pau,當pau[1]＝1時嘴部完全張開，pau[1]＝0時嘴部閉合。我們可以預置當pau[1]大于0.5時，嘴部在長大，持續(xù)一段時間3s則判定打了哈欠；眼部信息處理分析：采用percloss算法標準，統(tǒng)計1分鐘內彩色/紅外圖像的總幀數n0,對每一幀進行分析，統(tǒng)計有效的幀數n1,閉眼的幀數n2，那么percloss值為n2/n1?？梢灶A置當percloss值大于0.7時，就處于疲勞狀態(tài)；面部表情信息處理分析：獲取駕駛員面部特征，根據面部運動編碼單元，進行運動單元組合，就可以實現表情的識別。

3、多特征信息融合模塊中，首先將運用模糊評價方法對信息進行初步的融合，以模糊評價結果作為d-s證據理論的基本概率賦值，并利用d-s證據理論對其進行決策融合得出最終的決策結果。駕駛員評估等級為：{好，一般，較差，差}。

4、報警模塊在收到信息融合輸出的異常信號后，報警裝置進行實時的報警。

5、數據庫存儲模塊用于對駕駛員的狀態(tài)信息進行本地存儲，以供日后進行信息的查詢，同時對歷史數據的分析可以歸納出駕駛員的駕駛習慣和規(guī)律，可以事先給駕駛員警告。

技術特征：

技術總結
本發(fā)明請求保護一種基于Kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)包括：面部特征信息采集模塊、信息處理模塊、多特征信息融合模塊、報警模塊、數據庫存儲模塊。利用Kinect提供的紅外攝像頭和彩色攝像頭機人臉識別模塊獲取面部特征信息，對駕駛員面部表情、嘴部、眼部、頭部等特征進行監(jiān)測，聯(lián)合圖像處理技術對Kinect獲取的數據進行預處理，并通過融合各種特征信息，綜合判斷駕駛員的狀態(tài)，當監(jiān)測到駕駛員狀態(tài)異常時，報警模塊進行實時地報警，并將駕駛員的狀態(tài)信息存儲到本地數據庫中，以供歷史數據的查詢，同時通過歷史數據歸納出駕駛員的駕駛習慣，提前做出預警。能有效地提高白天尤其是夜晚的駕駛員狀態(tài)監(jiān)測的準確率。

技術研發(fā)人員：王君龍;黃俊;譚欽紅
受保護的技術使用者：重慶郵電大學
技術研發(fā)日：2017.07.06
技術公布日：2017.09.22