本發(fā)明涉及汽車安全駕駛監(jiān)測技術(shù)領(lǐng)域，具體而言，涉及一種疲勞駕駛監(jiān)測方法和裝置。

背景技術(shù)：

當代社會，開車自駕游已是人們出行的一種普遍方式，但長時間的開車會出現(xiàn)疲勞，導致精神無法集中，碰到危險時無法第一時間做出反應，有可能釀成嚴重的交通事故。如何采取應對措施實時監(jiān)測駕駛?cè)笋{駛狀態(tài)、提醒駕車者安全駕駛是目前疲勞駕駛監(jiān)測方法急需解決的主要問題。

現(xiàn)有的疲勞駕駛主要有基于生理信號的監(jiān)測方法、基于行車信息的監(jiān)測方法、基于面部信息的監(jiān)測方法。

基于生理信號的監(jiān)測需要采集駕駛員的腦電以及血壓生理信號，并依據(jù)生理信號的變化做出疲勞駕駛狀態(tài)的判斷，要求有高精度的監(jiān)測儀，因此開發(fā)成本很高，另外信號采集與分析很難達到實時性。

基于行車信息的監(jiān)測主要依據(jù)汽車當前行駛狀態(tài)，包括車輛的左右搖晃幅度、偏離車道位置、行車里程與時間信息，受行車道路與行車環(huán)境外在因素影響很大，容易產(chǎn)生誤判與錯判。

基于面部信息的監(jiān)測主要通過圖像處理技術(shù)，定位人臉區(qū)域，再根據(jù)當前人臉區(qū)域的眼睛關(guān)鍵點位置進行判斷，上一幀人臉圖像是下一幀人臉圖像判定的基礎(chǔ)，分類識別、預處理是常用的處理方法。但是，在人臉定位過程中，由于駕駛員坐姿的變化，如向左、向右一定角度的偏轉(zhuǎn)，低頭以及閉眼狀態(tài)的出現(xiàn)，會使臉部圖像的實時獲取、處理以及后期眼部特征信息的統(tǒng)計分析與判別出錯，成為實時監(jiān)測系統(tǒng)的一個技術(shù)難題。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明實施例的目的在于提供一種疲勞駕駛監(jiān)測方法與裝置，以解決上述問題。

為了實現(xiàn)上述目的，本發(fā)明實施例根據(jù)一個方面，提供了一種疲勞駕駛監(jiān)測方法，采用的技術(shù)方案如下所述。

（1）首先基于增強現(xiàn)實技術(shù)構(gòu)建可與真實場景交互的虛擬場景，并利用3d實感攝像技術(shù)實時跟蹤定位人體面部特征部位，根據(jù)人體面部上下嘴唇特征點、上下眼皮特征點的位置深度變化信息來確定所述駕駛員是否為疲勞駕駛。

（2）在利用嘴部和眼部特征點的空間位置變化信息進行打哈氣與眼部疲勞判定前，確定上下嘴唇特征點的初始距離，以及上下眼皮特征點的初始距離，具體方法包括。

計算初始時間內(nèi)各幀深度圖像的上下嘴唇特征點距離平均值，作為上下嘴唇特征點的初始距離。

計算初始時間內(nèi)各幀深度圖像的上下眼皮特征點距離平均值，作為上下眼皮特征點的初始距離。

（3）通過上下嘴唇特征點的空間距離變化來實時監(jiān)測嘴巴的張合度，當嘴巴張開持續(xù)時間大于預設(shè)閾值，判定為打哈氣。

通過上下眼皮特征點的空間距離變化來實時監(jiān)測雙眼張合度，當雙眼張開度小于初始距離限定比例，且持續(xù)時間大于預設(shè)閾值，判定為眼部疲勞。

（4）根據(jù)在限定時間內(nèi)監(jiān)測到的打哈氣或眼部疲勞次數(shù)，判斷所述駕駛員是否疲勞駕駛，若是疲勞駕駛，報警提示。

本發(fā)明實施例根據(jù)另一個方面，還提供了一種疲勞駕駛監(jiān)測裝置，包括如下模塊。

人臉深度圖像實時采集模塊，用于實時采集人臉的深度圖像，跟蹤定位人體面部上下嘴唇、上下眼皮特征點的空間位置。

人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊，用于根據(jù)所述人臉深度圖像實時采集模塊初始時間內(nèi)采集的深度圖像，確定人體面部上下嘴唇、上下眼皮特征點的初始距離。

打哈氣與眼部疲勞判定模塊，用于根據(jù)所述人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊所確定的初始距離，實時判斷當前上下嘴唇特征點與上下眼皮特征點的空間距離是否超出閾值范圍，若上下嘴唇特征點空間距離大于初始距離，且持續(xù)時間大于預設(shè)閾值，判定為打哈氣，若上下眼皮特征點空間距離小于初始距離一定比例，且持續(xù)時間大于預設(shè)閾值，判定為眼部疲勞。

疲勞駕駛判斷模塊，用于根據(jù)所述打哈氣與眼部疲勞確定模塊所確定的打哈氣與眼部疲勞狀態(tài)，在限定時間內(nèi)監(jiān)測打哈氣或眼部疲勞的次數(shù)，若次數(shù)超過限定值則判定為疲勞駕駛。

疲勞駕駛報警模塊，用于根據(jù)所述疲勞駕駛判斷模塊所確定的疲勞駕駛狀態(tài)，聲音報警提示。

與現(xiàn)有技術(shù)相比，本發(fā)明實施例提供的疲勞駕駛監(jiān)測方法，通過構(gòu)建與真實場景一一映射、可交互的虛擬場景，實時跟蹤定位人體面部特征點的空間位置變化信息，依據(jù)眼部和嘴部的空間位置變化信息判定所述駕駛員的疲勞駕駛狀態(tài)；相比現(xiàn)有的基于二維圖像處理的人臉特征點跟蹤定位方法，加入了位置深度信息，以空間位置變化信息代替二維平面信息，更不易受到人臉姿態(tài)、角度的變化影響，同時避免了因圖像預處理及分類識別引起的監(jiān)測延時問題。

進一步地，本發(fā)明的技術(shù)方案中，基于更高準確度、精度的嘴部和眼部特征點位置信息進行所述駕駛過程中打哈氣與眼部疲勞的判定，當嘴巴張開持續(xù)時間大于預設(shè)閾值，判定為打哈氣，當雙眼張開度小于初始距離限定比例，且持續(xù)時間大于預設(shè)閾值，判定為眼部疲勞；相比現(xiàn)有的打哈氣及眼部疲勞監(jiān)測方法，本發(fā)明基于更高準確度、精度地監(jiān)測嘴巴的張開度及持續(xù)時間、眼睛的閉合度及持續(xù)時間，從而更準確地判定是否為疲勞駕駛，當駕駛員出現(xiàn)所述打哈氣及眼部疲勞狀態(tài)時，報警提示。

進一步，本發(fā)明實施例的根據(jù)嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態(tài)判定方法中，初始距離是監(jiān)測初始時間內(nèi)上下嘴唇、上下眼皮特征點距離的平均值，計算獲得的值是每次監(jiān)測時所述駕駛員行車的最佳狀態(tài)值；相比現(xiàn)有的監(jiān)測方法，以駕駛員每次行車前的最佳狀態(tài)作為疲勞駕駛的評判標準，可以更有效地提高駕駛安全性。

進一步，本發(fā)明實施例的根據(jù)在監(jiān)測到第一次打哈氣或閉眼后的限定時間內(nèi)，監(jiān)測到的打哈氣或眼部疲勞次數(shù)進行疲勞駕駛判斷的方法中，以限定時間內(nèi)監(jiān)測到的次數(shù)為判定條件，若在限定時間內(nèi)打哈氣的次數(shù)超過限定值或表現(xiàn)持續(xù)眼部疲勞狀態(tài)，聲音報警提示；此方法相比現(xiàn)有的疲勞駕駛狀態(tài)監(jiān)測方法可以更及時地監(jiān)測駕駛員的疲勞駕駛狀態(tài)且降低誤判的概率，整體提高疲勞駕駛監(jiān)測的準確率與安全性。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明實施例提供的一種疲勞駕駛監(jiān)測方法流程示意圖。

圖2為本發(fā)明較佳實施例提供的一組疲勞駕駛監(jiān)測結(jié)果圖中的人臉特征點定位效果圖。

圖3為本發(fā)明較佳實施例提供的一組疲勞駕駛監(jiān)測結(jié)果圖中的嘴部與眼部特征點的初始距離計算效果圖。

圖4為本發(fā)明較佳實施例提供的一組疲勞駕駛監(jiān)測結(jié)果圖中首次表現(xiàn)疲勞狀態(tài)，臨時監(jiān)測計時開始的效果圖。

圖5為本發(fā)明較佳實施例提供的一組疲勞駕駛監(jiān)測結(jié)果圖中出現(xiàn)疲勞駕駛狀態(tài)，達到報警條件，報警提示效果圖。

圖6為本發(fā)明實施例提供的一種可以應用并設(shè)置于微控制單元中的疲勞駕駛監(jiān)測裝置。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

如圖1所示，是本發(fā)明較佳實施例提供的一種疲勞駕駛監(jiān)測方法流程示意圖。請參閱圖1，本實施例描述的是疲勞駕駛監(jiān)測處理流程，所述方法包括如下步驟。

步驟s101，創(chuàng)建虛擬場景，導入3d實感攝像設(shè)備。

作為一種實施方式，3d實感攝像設(shè)備進行疲勞駕駛監(jiān)測前，需要先構(gòu)建與真實場景一一映射的虛擬場景，在此場景下利用3d實感攝像設(shè)備實時跟蹤定位人體面部特征點的深度位置信息。

本發(fā)明實施例的虛擬場景基于unity3d開發(fā)平臺創(chuàng)建，在unity平臺下通過新建3d工程（project）實現(xiàn)虛擬場景創(chuàng)建。

創(chuàng)建虛擬場景后導入3d實感攝像信息，實現(xiàn)真實場景與虛擬場景的一一映射。

步驟s102，定位人臉，捕捉人臉面部特征點。

作為一種實施方式，利用realsensesr300進行人臉定位，捕捉人臉面部特征點時需要在虛擬場景中創(chuàng)建與真實場景中相對應的虛擬對象，通過為虛擬對象添加目標跟隨控件實現(xiàn)人臉特征點的捕捉。

在本發(fā)明所述實施例中捕捉的人臉面部特征點主要有上下嘴唇、左右眼上下眼皮。

對在unity平臺下為虛擬對象添加目標跟隨控件實現(xiàn)人臉特征點的捕捉方法為本領(lǐng)域技術(shù)人員所熟知，此處不再贅述。

步驟s103，計算上下嘴唇、左右眼上下眼皮特征點初始空間距離，啟動總計時器。

作為一種實施方式，在進行疲勞駕駛監(jiān)測前，需要先確定所述駕駛員初始駕駛時的正常駕駛狀態(tài)，即上下嘴唇、左右眼上下眼皮特征點的初始空間距離。后續(xù)的疲勞駕駛狀態(tài)判定中將以上下嘴唇、左右眼上下眼皮特征點的初始空間距離為判定基準。

計算上下嘴唇、左右眼上下眼皮特征點初始空間距離的計算方法包括如下。

計算初始時間內(nèi)各幀深度圖像的上下嘴唇特征點距離平均值，作為上下嘴唇特征點的初始距離。

計算初始時間內(nèi)各幀深度圖像的上下眼皮特征點距離平均值，作為上下眼皮特征點的初始距離。

空間任意兩特征點的距離計算公式如下。

其中a,b代表兩空間特征點，它們的空間坐標分別為(x1,y1,y1),(x2,y2,y2)。

啟動總計時器是為了統(tǒng)計總駕駛時間，在后續(xù)的持續(xù)監(jiān)測中若有總駕駛時間超過4小時情況出現(xiàn)，系統(tǒng)會報警提示。

步驟s104，實時監(jiān)測。

作為一種實施方式，實時監(jiān)測是系統(tǒng)實時監(jiān)測上下嘴唇、左右眼上下眼皮特征點的空間距離變化。

通過上下嘴唇特征點的空間距離變化來實時監(jiān)測嘴巴的張合度，當嘴巴張開持續(xù)時間大于預設(shè)閾值，判定為打哈氣。

通過上下眼皮特征點的空間距離變化來實時監(jiān)測雙眼張合度，當雙眼張開度小于初始距離限定比例，且持續(xù)時間大于預設(shè)閾值，判定為眼部疲勞。

步驟s105，判斷當前監(jiān)測時刻是否出現(xiàn)打哈氣或眼部疲勞。

作為一種實施方式，實時監(jiān)測過程中，判斷當前監(jiān)測時刻是否出現(xiàn)打哈氣或眼部疲勞。

若監(jiān)測到打哈氣或眼部疲勞，進入步驟s107；若沒有監(jiān)測到，進入步驟s106。

步驟s106，持續(xù)監(jiān)測。

作為一種實施方式，持續(xù)監(jiān)測是系統(tǒng)持續(xù)按上述步驟s104方法進行上下嘴唇、左右眼上下眼皮特征點的空間距離變化監(jiān)測。

步驟s107，疲勞駕駛初始提示，啟動臨時監(jiān)測計時器。

作為一種實施方式，實時監(jiān)測過程中，若在步驟s105中監(jiān)測到打哈氣或眼部疲勞，此時會對疲勞駕駛進行初始提示，同時啟動臨時監(jiān)測計時器，判定在后續(xù)的限定時間內(nèi)是否出現(xiàn)多次疲勞駕駛狀態(tài)。

步驟s108，打哈氣或眼部疲勞持續(xù)監(jiān)測。

作為一種實施方式，在判定初次打哈氣或眼部疲勞后，后續(xù)監(jiān)測過程中會持續(xù)監(jiān)測所述駕駛員嘴部和眼部特征點變化，判定在限定時間內(nèi)是否再次出現(xiàn)打哈氣或眼部疲勞。

步驟s109，限定時間內(nèi)再次出現(xiàn)打哈氣或眼部疲勞。

作為一種實施方式，實時監(jiān)測過程中，識別到初次打哈氣或眼部疲勞后，在后續(xù)監(jiān)測中判定限定時間內(nèi)是否再次出現(xiàn)打哈氣或眼部疲勞。

若在初次打哈氣或眼部疲勞后，限定時間內(nèi)再次出現(xiàn)打哈氣或眼部疲勞的次數(shù)超過預設(shè)值，將判定為疲勞駕駛，聲音報警提示。

若在初次打哈氣或眼部疲勞后，限定時間內(nèi)沒有再次出現(xiàn)打哈氣或眼部疲勞，系統(tǒng)返回步驟s106。

步驟s110，判定總計時器時間是否超過4小時。

作為一種實施方式，為了統(tǒng)計總駕駛時間，整個監(jiān)測過程中會啟動總計時器。

監(jiān)測過程中，若沒有出現(xiàn)疲勞駕駛狀態(tài)，但是總駕駛時間超過4小時，系統(tǒng)同樣會聲音報警提示，進入步驟s111。

如果沒有出現(xiàn)疲勞駕駛狀態(tài)，總駕駛時間也沒有超過4小時，系統(tǒng)返回步驟s106持續(xù)監(jiān)測。

如圖2-5所示，是本發(fā)明較佳實施例提供的一組電腦前坐姿監(jiān)測結(jié)果圖。

其中，圖2為系統(tǒng)的人臉特征點定位效果圖。

圖3為監(jiān)測過程中初始監(jiān)測時嘴部與眼部特征點的初始距離計算效果圖。

圖4為監(jiān)測過程中首次表現(xiàn)疲勞狀態(tài)，臨時監(jiān)測計時開始的效果圖。

圖5為在限定監(jiān)測時間內(nèi)，再次出現(xiàn)疲勞狀態(tài)，達到報警條件，報警提示效果圖。

圖6為本發(fā)明實施例提供的一種可以應用并設(shè)置于微控制單元中的疲勞駕駛監(jiān)測裝置。具體可以包括人臉深度圖像實時采集模塊301、上下嘴唇、上下眼皮特征點初始距離確定模塊302、打哈氣與眼部疲勞判定模塊303、疲勞駕駛判斷模塊304、疲勞駕駛報警模塊305。

其中，人臉深度圖像實時采集模塊301，用于實時采集人臉的深度圖像，跟蹤定位人體面部上下嘴唇、上下眼皮特征點的空間位置。

人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊302，用于根據(jù)所述人臉深度圖像實時采集模塊初始時間內(nèi)采集的深度圖像，確定人體面部上下嘴唇、上下眼皮特征點的初始距離。

打哈氣與眼部疲勞判定模塊303，用于根據(jù)所述人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊所確定的初始距離，實時判斷當前上下嘴唇特征點與上下眼皮特征點的空間距離是否超出閾值范圍，若上下嘴唇特征點空間距離大于初始距離，且持續(xù)時間大于預設(shè)閾值，判定為打哈氣，若上下眼皮特征點空間距離小于初始距離一定比例，且持續(xù)時間大于預設(shè)閾值，判定為眼部疲勞。

疲勞駕駛判斷模塊304，用于根據(jù)所述打哈氣與眼部疲勞確定模塊所確定的打哈氣與眼部疲勞狀態(tài)，在限定時間內(nèi)監(jiān)測打哈氣或眼部疲勞的次數(shù)，若次數(shù)超過限定值則判定為疲勞駕駛。

疲勞駕駛報警模塊305，用于根據(jù)所述疲勞駕駛判斷模塊所確定的疲勞駕駛狀態(tài)，聲音報警提示。

上述人臉深度圖像實時采集模塊301、人體面部上下嘴唇、上下眼皮特征點初始距離確定模塊302、打哈氣與眼部疲勞判定模塊303、疲勞駕駛判斷模塊304、疲勞駕駛報警模塊305的具體實現(xiàn)方法,可以參考上述如圖1和圖所示的方法流程步驟的具體內(nèi)容,此處不再贅述。

與現(xiàn)有技術(shù)相比，本發(fā)明實施例提供的一種疲勞駕駛監(jiān)測方法與裝置，基于增強現(xiàn)實技術(shù)構(gòu)建與真實場景一一映射的虛擬場景，在此場景下利用3d實感攝像技術(shù)實時跟蹤定位人體眼部與嘴部特征點的深度位置信息，依據(jù)眼部和嘴部的空間位置變化信息判定所述駕駛員的疲勞駕駛狀態(tài)；相比現(xiàn)有的基于二維圖像處理的人臉特征點跟蹤定位方法，加入了位置深度信息，以空間位置變化信息代替二維平面信息，更不易受到人臉姿態(tài)、角度的變化影響，同時避免了因圖像預處理及分類識別引起的監(jiān)測延時問題。

而且，本發(fā)明實施例的根據(jù)嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態(tài)判定方法中，計算獲得的初始值是每次監(jiān)測時所述駕駛員行車的最佳狀態(tài)值；相比現(xiàn)有的監(jiān)測方法，以駕駛員每次行車前的最佳狀態(tài)作為疲勞駕駛的評判標準，可以更有效地提高駕駛安全性。

進一步，本發(fā)明實施例的根據(jù)嘴部和眼部特征點的空間初始距離進行打哈氣及眼部疲勞狀態(tài)判定；在監(jiān)測到第一次打哈氣或閉眼后，在后續(xù)限定時間內(nèi)，若打哈氣的次數(shù)超過限定值或表現(xiàn)持續(xù)眼部疲勞狀態(tài)，聲音報警提示，此方法相比現(xiàn)有的疲勞駕駛狀態(tài)監(jiān)測方法可以更及時地監(jiān)測駕駛員的疲勞駕駛狀態(tài)且降低誤判的概率，整體提高疲勞駕駛監(jiān)測的準確率與安全性。

在本申請所提供的幾個實施例中，應該理解到，所揭露的方法，也可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的裝置、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意，在有些作為替換的實現(xiàn)方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

需要說明的是，在本文中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應以所述權(quán)利要求的保護范圍為準。