和重 度左顧右盼后，會推送給Apple watch推送震動，以將司機喚醒。
[0191] 需要強調(diào)的是，本發(fā)明不局限于iOS系統(tǒng)，同樣也適用于Android系統(tǒng)。
[0192] 如圖4,手機等手持終端或車載設備應用程序的工作流程如下：
[0193] (1)手機等手持終端或車載設備應用程序打開。
[0194] (2)提示用戶開啟手機等手持終端或車載設備藍牙。
[0195] (3)應用程序與硬件設備進行藍牙配對，如果配對成功，則進入步驟（4)，否則，一 直嘗試與硬件進行配對，重復進行步驟（3)。
[0196] (4)不斷監(jiān)聽藍牙端口，看有沒有數(shù)據(jù)從硬件設備發(fā)送過來，如有，則進入步驟 (5)，否則，一直監(jiān)聽藍牙端口，重復步驟（4)。
[0197] (5)接受數(shù)據(jù)，如果將數(shù)據(jù)存入到SQLite數(shù)據(jù)庫中；進入步驟（4)。
[0198] (6)如果用戶選擇顯示數(shù)據(jù)，則調(diào)用相應的分析統(tǒng)計模塊統(tǒng)計數(shù)據(jù)。
[0199] (7)根據(jù)用戶需要進行顯示數(shù)據(jù)。
[0200] 綜上，本發(fā)明可以實時檢測汽車司機駕駛狀態(tài)，提高行車安全，結(jié)合計算機視覺、 紅外圖像技術(shù)，通過檢測多種參數(shù)，可以為司機提供安全駕駛參考。例如，利用人臉檢測技 術(shù)檢測出司機臉的活動范圍，利用眼睛定位算法定位出司機眼睛，利用眨眼分類來判斷司 機眼睛的閉合狀態(tài)，利用頭部姿態(tài)估計技術(shù)來實時判斷出司機的頭部三維姿態(tài)，利用表情 識別算法來實時檢測出司機表情（中性、高興、驚訝、憤怒等），然后將這些信息進行綜合分 類，來識別出司機的各種不規(guī)范駕駛行為，包括開車時候左顧右盼，情緒不好，疲勞駕駛，司 機不在駕駛位等。此外，本發(fā)明還可以基于手機等手持終端或車載設備實時接收分析數(shù)據(jù) 并加以存儲、顯示，供司機來瀏覽規(guī)范自己的駕駛習慣。整體而言，本發(fā)明具有算法更加準 確，魯棒性更強，可以處理的極端情況更多，可以選用光譜更窄的紅外補光燈，以及選用高 品質(zhì)紅外濾光片完全消除各種外界的各種光學干擾和噪聲等優(yōu)點。本發(fā)明提供的監(jiān)測系統(tǒng) 則可以實現(xiàn)體積更小，硬件成本低廉可控，易于廣泛推廣。
[0201] 由技術(shù)常識可知，本發(fā)明可以通過其它的不脫離其精神實質(zhì)或必要特征的實施方 案來實現(xiàn)。因此，上述公開的實施方案，就各方面而言，都只是舉例說明，并不是僅有的。所 有在本發(fā)明范圍內(nèi)或在等同于本發(fā)明的范圍內(nèi)的改變均被本發(fā)明包含。
【主權(quán)項】
1. 一種汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，包括以下步驟： 檢測人臉，檢測當前司機是否處于可檢測范圍內(nèi)，如檢測不到人臉，則提示司機調(diào)整攝 像頭位置，直到攝像頭可以檢測到人臉為止； 檢測到人臉，揚聲器開始播發(fā)系統(tǒng)開始工作的提示； 不斷從攝像頭獲取圖像信息，并且進行人臉檢測、嘴部檢測，并且初始化嘴部跟蹤模 塊，調(diào)用眼睛輪廓定位算法定位，分析上下眼皮距離，直到分析的幀數(shù)已經(jīng)超過一定數(shù)目； 根據(jù)上下眼皮距離，初始化眨眼判斷算法的閥值； 不斷從攝像頭獲取圖像信息，調(diào)用眨眼識別、表情識別、頭部姿態(tài)估計算法對所述圖像 信息進行分析，實時檢測出司機眼球開閉、表情、頭部三維狀態(tài)，調(diào)用綜合結(jié)果分析模塊來 綜合分析司機駕駛狀態(tài)。2. 根據(jù)權(quán)利要求1所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，檢測人臉的算法 步驟為： 特征提取階段：用修改中心變換MCT和局部梯度模式LGP來抽取所有人臉和非人臉的 圖像的特征； 正負樣本構(gòu)建階段：將通用數(shù)據(jù)庫和紅外圖像數(shù)據(jù)庫中的圖像進行分類，包含人臉圖 像和非人臉圖像，將人臉區(qū)域圖像縮放到40X40像素，并且根據(jù)人臉的不同姿態(tài)將每個人 臉劃分為不同的子集； 原始訓練階段：在通用數(shù)據(jù)庫上面采用傳統(tǒng)的Vector Boosting算法進行級聯(lián)分類器 的構(gòu)建，分類器所用的特征是MCT特征和LGP特征的結(jié)合； 轉(zhuǎn)移學習階段：在紅外數(shù)據(jù)庫上面采用Vector Boosting算法進行級聯(lián)分類器的構(gòu) 建，并且同時兼顧通用數(shù)據(jù)庫上面所得到的模型，優(yōu)化特定的訓練目標方程，使得所得到的 模型既具有通用模型的特點又具有紅外圖像數(shù)據(jù)的特點； 檢測階段：利用轉(zhuǎn)移學習階段得到的Vector Boosting模型，在紅外圖像上面用基于 矢量樹模型結(jié)構(gòu)對人臉區(qū)域進行檢測。3. 根據(jù)權(quán)利要求2所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，在特征提取階段， 采用基于MCT特征的具體計算方法為：Ν'（X) = Ν'（X) U X是X的局部空間鄰居，I (X)是像素點X的灰度值，7(.v)是像素點X 的所有鄰居的平均灰度值，0是鏈接操作符，€定義等同于C。 采用基于LGP特征的具體計算方法為：(X。，y。）是像素中心點，中心點i。與鄰居點i n之間的灰度值差為4. 根據(jù)權(quán)利要求1所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，在眼睛檢測算法 中，包括以下步驟： 特征提取階段：用多模塊修改中心變換MBMCT來抽取所有眼睛區(qū)域和非眼睛區(qū)域的圖 像特征； 正負樣本構(gòu)建階段：將通用數(shù)據(jù)庫和紅外圖像數(shù)據(jù)庫中的圖像進行分類，包含眼睛區(qū) 域圖像和非眼睛區(qū)域圖像，將眼睛區(qū)域圖像縮放到15X 15像素。 原始訓練階段：在通用數(shù)據(jù)庫上面采用傳統(tǒng)的Float Boosting算法進行強分類器的 構(gòu)建，分類器所用的特征是MBMCT ; 轉(zhuǎn)移學習階段：在紅外數(shù)據(jù)庫上面采用Float Boosting算法進行強聯(lián)分類器的構(gòu)建， 并且同時兼顧通用數(shù)據(jù)庫上面所得到的模型，去優(yōu)化特定的訓練目標方程； 檢測階段：利用轉(zhuǎn)移學習階段得到的Float Boosting模型，在紅外圖像上面用基于矢 量樹模型結(jié)構(gòu)對眼睛區(qū)域進行檢測；對得到的多個潛在的眼睛矩形區(qū)域來進行平均，并取 矩形的中心點作為眼珠位置。5. 根據(jù)權(quán)利要求4所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，在特征提取階段， 采用基于MBMCT特征的具體計算方法為：其中 R(x, y) = ii (x+1, y+l)-ii (X，y+l)-ii (x+1, y)+ii (X，y), ii (X，y)是積分圖像。6. 根據(jù)權(quán)利要求1所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，眨眼判斷算法中， 得到眼睛具體位置后，將眼睛附近區(qū)域部分抽取出來，提取多模塊修改中心變換MBMCT特 征值，然后對當前特征向量進行分類。7. 根據(jù)權(quán)利要求6所述的汽車司機駕駛狀態(tài)監(jiān)測方法，其特征在于，眨眼判斷算法中， 采用基于RBF核的非線性支持向量機模型SVM ;基于RBF核的非線性支持向量機SVM公式 為：其中a i是對第i個例子的隱藏變量，y i是第i個例子的標記，X i是第i個例子的輸入 特征，k(Xl，X])是第i個例子和第j個例子之間的相似度（通過定義內(nèi)核k來實現(xiàn)），C是 懲罰參數(shù)。8. -種汽車司機駕駛狀態(tài)監(jiān)測系統(tǒng)，其特征在于，包括處理器、攝像模塊、存儲模塊、揚 聲器，其中， 所述處理器包括主控單元、運算單元、內(nèi)存單元和系統(tǒng)總線； 所述攝像模塊與所述處理器連接，用于獲取汽車駕駛座席的圖像信息并經(jīng)由所述系統(tǒng) 總線發(fā)送至所述內(nèi)存單元； 所述存儲模塊用于存儲算法模型文件、參數(shù)以及用戶配置文件，所述存儲模塊與所述 處理器連接，所述處理器能夠調(diào)用并且修改所述存儲模塊中存儲的數(shù)據(jù)； 所述揚聲器與所述處理器連接，用于在接收到所述處理器的指示時向用戶提示報警信 息； 所述主控單元對系統(tǒng)運行過程中的邏輯判斷進行處理，同時還用于控制硬件模塊的連 接和開啟；所述運算單元用于按照所述主控單元的命令讀取所述內(nèi)存單元中的數(shù)據(jù)加以處 理，并將處理結(jié)果輸出至所述主控單元；所述內(nèi)存單元為所述運算單元和所述主控單元提 供內(nèi)存支持； 所述汽車司機駕駛狀態(tài)監(jiān)測系統(tǒng)還包括： 人臉檢測模塊，檢測當前司機是否處于可檢測范圍內(nèi)，如檢測不到人臉，則提示司機調(diào) 整所述攝像頭的位置，直到能夠檢測到人臉為止；檢測到人臉，則所述主控單元使所述揚聲 器開始播發(fā)系統(tǒng)開始工作的提示； 嘴部定位與跟蹤模塊，不斷從所述攝像頭獲取所述圖像信息，并且進行嘴部定位檢測 和嘴部跟蹤檢測； 眼睛定位與眨眼分類模塊，進行眼睛定位，分析上下眼皮距離，直到分析的幀數(shù)已經(jīng)超 過一定數(shù)目，并且根據(jù)上下眼皮距離，初始化眨眼分類的閥值，進行眨眼分類判斷；和 面部表情識別模塊，不斷從所述攝像頭獲取所述圖像信息，通過對所述圖像信息進行 分析，實時檢測出司機表情來綜合分析司機駕駛狀態(tài)。9. 根據(jù)權(quán)利要求8所述的汽車司機駕駛狀態(tài)監(jiān)測系統(tǒng)，其特征在于，所述攝像模塊采 用紅外攝像頭，并且添加了紅外補光燈和濾光片。10. 根據(jù)權(quán)利要求8所述的汽車司機駕駛狀態(tài)監(jiān)測系統(tǒng)，其特征在于，還具備藍牙模 塊，所述處理器通過所述藍牙模塊與手持終端或車載設備連接。
【專利摘要】本發(fā)明提供一種汽車司機駕駛狀態(tài)監(jiān)測系統(tǒng)及方法，該方法包括以下步驟：檢測人臉，檢測當前司機是否處于可檢測范圍內(nèi)，如檢測不到人臉，則提示司機調(diào)整設備位置，直到設備可以檢測到人臉為止；檢測到人臉，揚聲器開始播發(fā)系統(tǒng)開始工作的提示；不斷獲取圖像信息，并且進行人臉檢測、嘴部檢測，并且初始化嘴部跟蹤模塊，調(diào)用眼睛輪廓定位算法定位，分析用戶的上下眼皮距離，直到分析的幀數(shù)已經(jīng)超過一定數(shù)目；根據(jù)用戶的上下眼皮距離，初始化眨眼判斷算法的閥值；不斷從攝像頭獲取圖像信息，對圖像進行分析，綜合分析司機駕駛狀態(tài)。本發(fā)明可以利用計算機視覺技術(shù)來監(jiān)測普通司機的駕駛狀態(tài)，提示與規(guī)范司機的行為。
【IPC分類】G08B21/06
【公開號】CN105354986
【申請?zhí)枴緾N201510771671
【發(fā)明人】王海
【申請人】熊強, 王海
【公開日】2016年2月24日
【申請日】2015年11月12日