汽車司機(jī)駕駛狀態(tài)監(jiān)測(cè)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺、汽車安全等技術(shù)領(lǐng)域，特別涉及一種汽車司機(jī)駕駛狀態(tài) 監(jiān)測(cè)系統(tǒng)及方法。
【背景技術(shù)】
[0002] 目前，汽車數(shù)量越來越多，交通越來越發(fā)達(dá)，人們駕車出行的頻率相比以前大大增 加。雖然駕車次數(shù)增加，但是人們的安全防范意識(shí)卻沒有相應(yīng)的增強(qiáng)。在這種情況下如何 保障駕車安全是一個(gè)很重要的問題。在所有駕駛事故中，疲勞駕駛是其中最大的一個(gè)事故 誘發(fā)原因之一。
[0003] 鑒于此，業(yè)界開發(fā)了監(jiān)測(cè)疲勞駕駛的設(shè)備，但是這些設(shè)備大多是基于很簡單的假 設(shè)，比如用重力感應(yīng)器來檢測(cè)頭部上下運(yùn)動(dòng)，以檢測(cè)睡意。這種設(shè)備誤報(bào)警率高，可適用性 不強(qiáng)。另外，也有一些基于司機(jī)面部圖像分析的技術(shù)方案來檢測(cè)司機(jī)睡意，但其所用的圖像 分析技術(shù)處理時(shí)間長，所能處理的不同狀態(tài)有限，實(shí)用性差，而且容易擋住司機(jī)視線。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種汽車司機(jī)駕駛狀態(tài)監(jiān)測(cè)系統(tǒng)及方法，以能夠及時(shí)識(shí)別 汽車司機(jī)的不規(guī)范行為。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：
[0006] 一種汽車司機(jī)駕駛狀態(tài)監(jiān)測(cè)方法，其特征在于，包括以下步驟：
[0007] 檢測(cè)人臉，檢測(cè)當(dāng)前司機(jī)是否處于可檢測(cè)范圍內(nèi)，如檢測(cè)不到人臉，則提示司機(jī)調(diào) 整攝像頭位置，直到攝像頭可以檢測(cè)到人臉為止；
[0008] 檢測(cè)到人臉，揚(yáng)聲器開始播發(fā)系統(tǒng)開始工作的提示；
[0009] 不斷從攝像頭獲取圖像信息，并且進(jìn)行人臉檢測(cè)、嘴部檢測(cè)，并且初始化嘴部跟蹤 模塊，調(diào)用眼睛輪廓定位算法定位，分析上下眼皮距離，直到分析的幀數(shù)已經(jīng)超過一定數(shù) 目；
[0010] 根據(jù)上下眼皮距離，初始化眨眼判斷算法的閥值；
[0011] 不斷從攝像頭獲取圖像信息，調(diào)用眨眼識(shí)別、表情識(shí)別、頭部姿態(tài)估計(jì)算法對(duì)圖像 信息進(jìn)行分析，實(shí)時(shí)檢測(cè)出司機(jī)眼球開閉、表情、頭部三維狀態(tài)，調(diào)用綜合結(jié)果分析模塊來 綜合分析司機(jī)駕駛狀態(tài)。
[0012] 優(yōu)選地，在上述方案中，檢測(cè)人臉的算法步驟為：
[0013] 特征提取階段：用修改中心變換MCT和局部梯度模式LGP來抽取所有人臉和非人 臉的圖像的特征；
[0014] 正負(fù)樣本構(gòu)建階段：將通用數(shù)據(jù)庫和紅外圖像數(shù)據(jù)庫中的圖像進(jìn)行分類，包含人 臉圖像和非人臉圖像，將人臉區(qū)域圖像縮放到40X40像素，并且根據(jù)人臉的不同姿態(tài)將每 個(gè)人臉劃分為不同的子集；
[0015] 原始訓(xùn)練階段：在通用數(shù)據(jù)庫上面采用傳統(tǒng)的Vector Boosting算法進(jìn)行級(jí)聯(lián)分 類器的構(gòu)建，分類器所用的特征是MCT特征和LGP特征的結(jié)合；
[0016] 轉(zhuǎn)移學(xué)習(xí)階段：在紅外數(shù)據(jù)庫上面采用Vector Boosting算法進(jìn)行級(jí)聯(lián)分類器的 構(gòu)建，并且同時(shí)兼顧通用數(shù)據(jù)庫上面所得到的模型，優(yōu)化特定的訓(xùn)練目標(biāo)方程，使得所得到 的模型既具有通用模型的特點(diǎn)又具有紅外圖像數(shù)據(jù)的特點(diǎn)；
[0017] 檢測(cè)階段：利用轉(zhuǎn)移學(xué)習(xí)階段得到的Vector Boosting模型，在紅外圖像上面用 基于矢量樹模型結(jié)構(gòu)對(duì)人臉區(qū)域進(jìn)行檢測(cè)。
[0018] 優(yōu)選地，在上述方案中，在特征提取階段，采用基于MCT特征的具體計(jì)算方法為：
[0021] Ν'（X) = Ν'（X) U X是X的局部空間鄰居，I (X)是像素點(diǎn)X的灰度值，是像素 點(diǎn)X的所有鄰居的平均灰度值，g)是鏈接操作符，?定義等同于C。
[0022] 采用基于LGP特征的具體計(jì)算方法為：
[0024] (xc，yc)是像素中心點(diǎn)，中心點(diǎn)ic與鄰居點(diǎn)i "之間的灰度值差為gn= | i n-ic|，
[0025] 優(yōu)選地，在上述方案中，在眼睛檢測(cè)算法中，包括以下步驟：
[0026] 特征提取階段：用多模塊修改中心變換MBMCT來抽取所有眼睛區(qū)域和非眼睛區(qū)域 的圖像特征；
[0027] 正負(fù)樣本構(gòu)建階段：將通用數(shù)據(jù)庫和紅外圖像數(shù)據(jù)庫中的圖像進(jìn)行分類，包含眼 睛區(qū)域圖像和非眼睛區(qū)域圖像，將眼睛區(qū)域圖像縮放到15X 15像素。
[0028] 原始訓(xùn)練階段：在通用數(shù)據(jù)庫上面采用傳統(tǒng)的Float Boosting算法進(jìn)行強(qiáng)分類 器的構(gòu)建，分類器所用的特征是MBMCT ;
[0029] 轉(zhuǎn)移學(xué)習(xí)階段：在紅外數(shù)據(jù)庫上面采用Float Boosting算法進(jìn)行強(qiáng)聯(lián)分類器的 構(gòu)建，并且同時(shí)兼顧通用數(shù)據(jù)庫上面所得到的模型，去優(yōu)化特定的訓(xùn)練目標(biāo)方程；
[0030] 檢測(cè)階段：利用轉(zhuǎn)移學(xué)習(xí)階段得到的Float Boosting模型，在紅外圖像上面用基 于矢量樹模型結(jié)構(gòu)對(duì)眼睛區(qū)域進(jìn)行檢測(cè)；對(duì)得到的多個(gè)潛在的眼睛矩形區(qū)域來進(jìn)行平均， 并取矩形的中心點(diǎn)作為眼珠位置。
[0031] 優(yōu)選地，在上述方案中，在特征提取階段，采用基于MBMCT特征的具體計(jì)算方法 為：

[0034] 其中 R(x，y) = ii (x+1，y+l)_ii (X，y+l)_ii (x+1，y)+ii (X，y)，ii (X，y)是積分圖 像。
[0035] 優(yōu)選地，在上述方案中，眨眼判斷算法中，得到眼睛具體位置后，將眼睛附近區(qū)域 部分抽取出來，提取多模塊修改中心變換MBMCT特征值，然后對(duì)當(dāng)前特征向量進(jìn)行分類。
[0036] 優(yōu)選地，在上述方案中，眨眼判斷算法中，采用基于RBF核的非線性支持向量機(jī)模 型SVM ;基于RBF核的非線性支持向量機(jī)SVM公式為：
[0040] 其中a i是對(duì)第i個(gè)例子的隱藏變量，y i是第i個(gè)例子的標(biāo)記，X i是第i個(gè)例子的 輸入特征，k(Xl，x])是第i個(gè)例子和第j個(gè)例子之間的相似度（通過定義內(nèi)核k來實(shí)現(xiàn)）， C是懲罰參數(shù)。
[0041] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供另一個(gè)如下技術(shù)方案：
[0042] 一種汽車司機(jī)駕駛狀態(tài)監(jiān)測(cè)系統(tǒng)，其包括包括處理器、攝像模塊、存儲(chǔ)模塊、揚(yáng)聲 器，其中，
[0043] 上述處理器包括主控單元、運(yùn)算單元、內(nèi)存單元和系統(tǒng)總線；
[0044] 上述攝像模塊與上述處理器連接，用于獲取汽車駕駛座席的圖像信息并經(jīng)由上述 系統(tǒng)總線發(fā)送至上述內(nèi)存單元；
[0045] 上述存儲(chǔ)模塊用于存儲(chǔ)算法模型文件、參數(shù)以及用戶配置文件，上述存儲(chǔ)模塊與 上述處理器連接，上述處理器能夠調(diào)用并且修改上述存儲(chǔ)模塊中存儲(chǔ)的數(shù)據(jù)；
[0046] 上述揚(yáng)聲器與上述處理器連接，用于在接收到上述處理器的指示時(shí)向用戶提示報(bào) 警信息；
[0047] 上述主控單元對(duì)系統(tǒng)運(yùn)行過程中的邏輯判斷進(jìn)行處理，同時(shí)還用于控制硬件模塊 的連接和開啟；上述運(yùn)算單元用于按照上述主控單元的命令讀取上述內(nèi)存單元中的數(shù)據(jù)加 以處理，并將處理結(jié)果輸出至上述主控單元；上述內(nèi)存單元為上述運(yùn)算單元和上述主控單 元提供內(nèi)存支持；
[0048] 上述汽車司機(jī)駕駛狀態(tài)監(jiān)測(cè)系統(tǒng)還包括：
[0049] 人臉檢測(cè)模塊，檢測(cè)當(dāng)前司機(jī)是否處于可檢測(cè)范圍內(nèi)，如檢測(cè)不到人臉，則提示司 機(jī)調(diào)整上述攝像頭的位置，直到能夠檢測(cè)到人臉為止；檢測(cè)到人臉，則上述主控單元使上述 揚(yáng)聲器開始播發(fā)系統(tǒng)開始工作的提示；
[0050] 嘴部定位與跟蹤模塊，不斷從上述攝像頭獲取上述圖像信息，并且進(jìn)行嘴部定位 檢測(cè)和嘴部跟蹤檢測(cè)；
[0051] 眼睛定位與眨眼分類模塊，進(jìn)行眼睛定位，分析上下眼皮距離，直到分析的幀數(shù)已 經(jīng)超過一定數(shù)目，并且根據(jù)上下眼皮距離，初始化眨眼分類的閥值，進(jìn)行眨眼分類判斷；和
[0052] 面部表情識(shí)別模塊，不斷從上述攝像頭獲取上述圖像信息，通過對(duì)上述圖像信息 進(jìn)行分析，實(shí)時(shí)檢測(cè)出司機(jī)表情來綜合分析司機(jī)駕駛狀態(tài)。
[0053] 優(yōu)選地，在上述方案中，上述攝像模塊采用紅外攝像頭，并且添加了紅外補(bǔ)光燈和 濾光片。
[0054] 優(yōu)選地，在上述方案中，還具備藍(lán)牙模塊，上述處理器通過上述藍(lán)牙模塊與手持終 端或車載設(shè)備連接。
[0055] 本發(fā)明提供一種利用計(jì)算機(jī)視覺技術(shù)來監(jiān)測(cè)普通司機(jī)的駕駛狀態(tài)的智能系統(tǒng)。當(dāng) 駕駛員出現(xiàn)疲勞駕駛，開車注意力不集中（左顧右盼、抬頭低頭，比如玩手機(jī)），開車時(shí)候 情緒不穩(wěn)定時(shí)候，系統(tǒng)會(huì)采取適當(dāng)?shù)拇胧?，如以聲音?bào)警，震動(dòng)方式來提示與規(guī)范司機(jī)的行 為，同時(shí)還能通過軟件來記錄，同步和顯示司機(jī)駕駛習(xí)慣。
【附圖說明】
[0056] 圖1是本發(fā)明實(shí)施例的系統(tǒng)原理框圖；
[0057] 圖2是本發(fā)明實(shí)施例的系統(tǒng)工作流程圖；
[0058] 圖3是本發(fā)明實(shí)施例的綜合結(jié)果分析流程圖；
[0059] 圖4是本發(fā)明實(shí)施例的手機(jī)工作流程圖；
[0060] 圖5是本發(fā)明實(shí)施例中各功能模塊的工作流程圖；
[0061 ] 圖6是本發(fā)明實(shí)施例的LGP特征提取圖；
[0062] 圖7是本發(fā)明實(shí)施例的MCT特征提取圖；
[0063] 圖8是本發(fā)明實(shí)施例的人臉掩碼；
[0064] 圖9是本發(fā)明實(shí)施例的RELU函數(shù)的坐標(biāo)圖；
[0065] 圖10是本發(fā)明實(shí)施例的MB-MCT特征提取圖；
[0066] 圖11是本發(fā)明實(shí)施例的眼睛檢測(cè)區(qū)域圖；
[0067] 圖12是本發(fā)明實(shí)施例的Vector Boost訓(xùn)練過程圖；
[0068] 圖13是本發(fā)明實(shí)施例的級(jí)聯(lián)分類器原理圖；
[0069] 圖14是本發(fā)明實(shí)施例的CNN架構(gòu)示意圖；
[0070] 圖15是本發(fā)明實(shí)