專利名稱：基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及一種駕駛員疲勞監(jiān)測系統(tǒng)，尤其涉及一種基于圖像信息對駕駛員的疲勞程度進行綜合評判，并實現(xiàn)分級預(yù)警的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，屬于汽車安全技術(shù)領(lǐng)域。
背景技術(shù)：
駕駛時疲勞、睡眠不足是引發(fā)嚴重交通事故的重要誘因。有關(guān)統(tǒng)計表明，由于疲勞/瞌睡造成的交通事故在交通事故的總數(shù)中占10%左右，在嚴重交通事故中占45%，在重型卡車和高速路上的交通事故中，則占到40%左右。特別是在校車、班車、長途客車、長途貨 車等的駕駛過程中，因駕駛員疲勞造成的交通事故屢屢發(fā)生，給廣大人民的生命財產(chǎn)安全造成了極為嚴重的損失。因此，許多國家對駕駛員在駕駛時的“瞌睡”檢測的研究非常重視，并取得了很多研究成果。例如奧地利科學家研究發(fā)現(xiàn)，人疲勞時瞳孔直徑因光線的變化而變化程度會變得劇烈。根據(jù)這一特點，他們開發(fā)了一種紅外線振動記錄儀，通過檢測司機瞳孔直徑變化頻率，判斷司機長時間駕駛后的疲勞程度及其駕車的危險性。日本先鋒公司推出了一種防打瞌睡系統(tǒng)，它通過安裝在方向盤上的心跳感應(yīng)器監(jiān)視司機的狀態(tài)。當司機握住方向盤時，感應(yīng)器每隔10秒鐘檢測一次司機的心跳速度。它還安裝有汽車內(nèi)置感應(yīng)裝置，可以檢測汽車速度的變化和方向操作頻繁的變化，通過上述監(jiān)測數(shù)據(jù)的綜合分析，來判斷司機是否瞌睡，并通過音樂來提醒司機。德國奔馳公司開發(fā)了一款防疲勞駕駛系統(tǒng)。此系統(tǒng)通過一個對準駕駛員的紅外攝像機持續(xù)地紀錄其眨眼頻率及每次閉眼時間，根據(jù)其中的規(guī)律來判斷司機疲勞程度，一旦發(fā)現(xiàn)閉眼超時，就能做出判斷，響起警報提醒駕駛者。日本豐田汽車也推出一種防瞌睡提醒系統(tǒng)。這套系統(tǒng)是通過安裝在方向盤上的一個攝像頭來實時監(jiān)視駕駛者的精神狀態(tài)，車輛計算機通過攝像頭獲得的駕駛者面部情況來判斷駕駛者是否有打瞌睡的現(xiàn)象。計算機偵測到駕駛者的上下眼瞼距離低于最低限度，且駕駛者的面部沒有正對方向盤時，計算機就會進入一種防瞌睡預(yù)警狀態(tài)，它會通過聲音方式嘗試對駕駛者進行早期預(yù)警提醒。通過攝像頭，計算機認為駕駛者還是處于瞌睡狀態(tài)，它會繼續(xù)將警戒程度提高，同時介入剎車系統(tǒng)，控制剎車讓車速降低。但是，現(xiàn)有技術(shù)普遍存在一些缺點需要解決。例如中國實用新型專利ZL200820023177. 3提出了一種基于高速單片機計算眼睛閉合百分比PERCL0S值的無接觸式疲勞判斷方案，但僅僅考慮單個疲勞特征具有較大的片面性，容易導致漏判或誤判。中國發(fā)明專利ZL200610031817. O和發(fā)明專利申請200910038613. 3分別提出利用多種疲勞特征進行判斷，但需要新安裝的多種儀表和設(shè)備，反而會影響系統(tǒng)的可靠性，尤其是為了進行駕駛員視線跟蹤，要求在前擋風玻璃上安裝矩形紅外LED光源模塊，極可能因為影響駕駛員視覺而導致新的安全隱患。另外，目前還沒有支持外在人力(如監(jiān)管部門或親人)對駕駛員疲勞程度進行全過程實時監(jiān)控的技術(shù)解決方案。發(fā)明內(nèi)容本實用新型所要解決的技術(shù)問題在于提供一種基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)。該系統(tǒng)基于圖像信息對駕駛員的疲勞程度進行綜合評判，并能夠?qū)崿F(xiàn)分級預(yù)警。為實現(xiàn)上述的發(fā)明目的，本實用新型采用以下技術(shù)方案—種基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于所述駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)包括攝像頭、云臺、前端嵌入式系統(tǒng)和前端應(yīng)用模塊;其中，所述攝像頭和所述云臺分別與所述前端嵌入式系統(tǒng)進行連接，所述前端嵌入式系統(tǒng)連接所述前端應(yīng)用模塊，所述攝像頭安裝在所述云臺上面，所述云臺安裝在汽車前擋風玻璃駕駛員外側(cè)的框架上； 所述前端應(yīng)用模塊包括人臉檢測模塊、人臉特征點定位模塊、眼睛開合檢測模塊、打哈欠檢測模塊、頭部運動跟蹤模塊和綜合評判模塊，所述人臉檢測模塊與所述人臉特征點定位模塊分別連接所述眼睛開合檢測模塊、所述打哈欠檢測模塊和所述頭部運動跟蹤模塊，所述眼睛開合檢測模塊、所述打哈欠檢測模塊和所述頭部運動跟蹤模塊分別與所述綜合評判模塊相連接。其中，所述前端嵌入式系統(tǒng)包括前端嵌入式中心單元、視頻接口及模數(shù)變換電路和云臺控制電路，所述前端嵌入式中心單元分別連接所述視頻接口及模數(shù)變換電路和所述云臺控制電路；所述視頻接口及模數(shù)變換電路連接所述攝像頭，所述云臺控制電路連接所述云臺。所述前端嵌入式系統(tǒng)中具有汽車操縱接口，所述汽車操縱接口一方面連接所述前端嵌入式中心單元，另一方面連接汽車本身的操縱裝置。所述駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)中還包括聲光發(fā)生器，所述聲光發(fā)生器與所述前端嵌入式系統(tǒng)中的聲光發(fā)生器接口連接，所述聲光發(fā)生器接口連接所述前端嵌入式中心單
J Li ο所述前端嵌入式系統(tǒng)中具有無線通訊模塊及天線，所述無線通訊模塊及天線連接所述前端嵌入式中心單元。所述前端嵌入式系統(tǒng)中具有導航定位模塊及天線，所述導航定位模塊及天線連接所述前端嵌入式中心單元。本實用新型所提供的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)可以對駕駛員的疲勞程度進行實時監(jiān)控，根據(jù)駕駛員眨眼、打哈欠、頭部運動等異常表情和行為做出正確判斷。四級分級預(yù)警機制能夠?qū)︸{駛員的疲勞程度進行分級預(yù)警，使得疲勞檢測更為準確。
以下結(jié)合附圖
和具體實施方式
對本實用新型作進一步的詳細說明。圖I為本實用新型所提供的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)的組成原理示意圖；圖2為本駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)中，攝像頭及云臺的安裝點示意圖；圖3為PERCL0S值的測量原理示意圖；[0022]圖4為眼睛開合檢測模塊的工作模式示意圖；圖5為打哈欠檢測模塊的工作模式示意圖；圖6為頭部運動跟蹤模塊的工作模式示意圖。
具體實施方式
如圖I所示，本實用新型所提供的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)包括如下的組成部分攝像頭I、云臺2、聲光發(fā)生器3、前端嵌入式系統(tǒng)4和前端應(yīng)用模塊5。其中，前端嵌入式系統(tǒng)4以前端嵌入式中心單元42為中心，進一步包括電源輸入模塊41、視頻接口及模數(shù)變換電路43、云臺控制電路44、數(shù)模轉(zhuǎn)換及視頻處理電路45、聲光發(fā)生器接口 46、汽車操縱接口 47、無線通訊模塊及天線48、導航定位模塊及天線49。該前端嵌入式中心單元42分別連接電源輸入模塊41、視頻接口及模數(shù)變換電路43、云臺控制電路44、數(shù)模轉(zhuǎn)換及視頻處理電路45、聲光發(fā)生器接口 46、汽車操縱接口 47、無線通訊模塊及天線48、導航定位模塊及天線49。同時，前端嵌入式中心單元42也與前端應(yīng)用模塊5進行連接。該前端應(yīng)用模塊5用于執(zhí)行對眼睛開合狀態(tài)、打哈欠狀態(tài)、頭部運動狀態(tài)的檢測算法，并做出綜合判斷。前端嵌入式中心單元42包括處理器硬件及相應(yīng)的驅(qū)動程序和操作系統(tǒng)軟件。它安裝在汽車內(nèi)的適當位置，可采用ARM系列芯片、FPGA、DSP或單片機等來實現(xiàn)，并具有自帶時鐘。云臺控制電路44用于提供云臺運動和攝像頭鏡頭伸縮驅(qū)動命令，以確保得到足夠大且完整的駕駛員頭部視頻圖像。汽車操縱接口 47連接汽車本身的操縱裝置，用于對汽車自身的制動、喇叭等進行操縱。汽車蓄電池的輸出直接與電源輸入接口 41相連，為本駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)中的有關(guān)設(shè)備供電。無線通訊模塊及天線48用于實現(xiàn)廣域網(wǎng)無線通信，如采用GSM/GPRS/3G/4G通信模塊及相應(yīng)的SM/USM卡等。導航定位模塊及天線49可以支持接收美國GPS、俄羅斯GNNS、歐洲伽利略、中國北斗2等衛(wèi)星信息或慣性導航系統(tǒng)進行導航定位，能夠?qū)崟r獲知汽車所處的經(jīng)度、緯度，便于在需要求援時將具體位置通過服務(wù)器告知預(yù)設(shè)的客戶端。如圖2所示，攝像頭I優(yōu)選為紅外攝像頭，它安裝在云臺2上面。云臺2安裝在前擋風玻璃駕駛員外側(cè)的框架上，確保不影響駕駛員視線且處于與駕駛員頭部高度相當?shù)奈恢?。攝像頭I和云臺2分別與前端嵌入式系統(tǒng)4相連接，并由前端嵌入式系統(tǒng)4供電。攝像頭I將駕駛員頭部視頻圖像傳送到前端嵌入式系統(tǒng)4中的視頻接口及模數(shù)變換電路43。前端嵌入式系統(tǒng)4通過云臺控制電路44提供云臺運動和攝像頭鏡頭伸縮驅(qū)動命令，以確保得到足夠大且完整的駕駛員頭部視頻圖像。如果自然光能確保成像要求，則關(guān)閉紅外燈；否貝U，打開紅外燈。聲光發(fā)生器3連接聲光發(fā)生器接口 46。聲光發(fā)生器3可以包括聲音發(fā)生器、燈光(可發(fā)出紅、橙、黃、綠等燈光)或視頻顯示器等。如圖I所示，本駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)中的前端應(yīng)用模塊5進一步包括人臉檢測模塊51、人臉特征點定位模塊52、眼睛開合檢測模塊53、打哈欠檢測模塊54、頭部運動跟蹤模塊55和綜合評判模塊56。其中，人臉檢測模塊51與人臉特征點定位模塊52相連接，它們分別連接眼睛開合檢測模塊53、打哈欠檢測模塊54和頭部運動跟蹤模塊55。眼睛開合檢測模塊53、打哈欠檢測模塊54和頭部運動跟蹤模塊55分別與綜合評判模塊56相連接，將從不同角度檢測到的駕駛員疲勞程度信息送入綜合評判模塊56中進行最終的評價。、[0030]人臉檢測模塊51用于對輸入的單幀圖像數(shù)據(jù)，找到圖像中人臉的位置，并將人臉的位置用矩形框表示。人臉檢測模塊51可以是基于DSP-TMS320C6713芯片的人臉識別芯片。人臉特征點定位模塊52用于對輸入的單幀圖像數(shù)據(jù)，得到人臉的五官位置，五官位置用多個點的坐標序列表示。這兩個功能模塊可以采用中星微電子公司提供的Vimicro30INeptune硬件產(chǎn)品，也可以基于DSP芯片搭建。也可以采用現(xiàn)有的人臉識別方法，例如基于 LGBP 的人臉識別方法(參見 http: //www. jdl. ac. cn/pro ject/faceld/articles/ICCV2005-wczhang-LGBP. pdf)、基于AdaBoost的Gabor特征選擇及判別分析方法(參見 http://www. jdl. ac. cn/pr oject/faceId/articles/FRJDL-FG04-BoostedGabor-Yang.pdf)等，以軟件或者固件方式實現(xiàn)。眼睛開合檢測模塊53采用PERCL0S算法檢測駕駛員眼睛的開合程度?？梢曰贒SP-TMS320C6416芯片來實現(xiàn)。PERCL0S是Percent EyeClose的縮寫，指在一定的時間內(nèi)眼睛閉合所占的時間比例。在具體實驗中，有P70、P80、EM三種測量方式，其中P80被認為最能反映人的疲勞程度。圖3為PERCL0S值的測量原理圖。圖中曲線為一次眼睛閉合和睜開過程中眼睛開合度變化曲線圖，可根據(jù)此曲線得到所需測量的眼睛的某個程度的閉合或睜開所持續(xù)的時間，從而計算出PERCL0S值。在圖3中，tl為眼睛完全睜開到閉合20%的時間；t2為眼睛完全睜開到閉合80%的時間；t3為眼睛完全睜開到下一次睜開20%的時間；t4為眼睛完全睜開到下一次睜開80%的時間。通過測量tl到t4的值就可以得到PERCL0S的值f。
r夂 2/ = —7
M 一 hf為眼睛閉合時間所占某一特定時間的百分率。對于P80測量方式來說，可以認為當f > O. 15時，駕駛員處于疲勞狀態(tài)。基于上述的PERCL0S值的測量原理，眼睛開合檢測模塊53的工作模式如圖4所示。對于輸入的單幀圖像數(shù)據(jù)，經(jīng)過人臉檢測模塊51和人臉特征點定位模塊52處理之后，可以得到人臉的五官位置。然后，對于每幀圖像調(diào)用眼睛開合度主函數(shù)，并結(jié)合五官的定位結(jié)果，可以得到眼睛的開合度數(shù)值。將多幀圖像數(shù)據(jù)的圖像序列結(jié)果累積起來，結(jié)合多幀圖像的眼睛開合度數(shù)值就可以得到疲勞與否的判斷。圖5顯示了打哈欠檢測模塊54的工作模式?？梢圆捎玫轮輧x器公司開發(fā)的DSP-TMS320DM642芯片搭建。對于輸入的單幀圖像數(shù)據(jù)，經(jīng)過人臉檢測模塊51和人臉特征點定位模塊52處理之后，可以得到人臉的五官位置。在得到人臉的五官位置之后，對于每幀圖像調(diào)用嘴巴開合判斷主函數(shù)，并結(jié)合五官的定位結(jié)果，可以得到嘴巴的開合情況，結(jié)合多幀圖像計算嘴巴張開時間，可以得到是否疲勞的判斷。圖6顯示了頭部運動跟蹤模塊55的工作模式?？梢圆捎檬袌錾蠌V泛銷售的FASTRAK位置跟蹤器。對于輸入的單幀圖像數(shù)據(jù)，經(jīng)過人臉檢測模塊51和人臉特征點定位模塊52處理之后，可以得到人臉的五官位置。在得到人臉五官位置之后，對于每幀圖像分別計算其頭部位置，并結(jié)合五官的定位結(jié)果，可以得到頭部運動軌跡。結(jié)合多幀圖像計算點頭頻率，可以得到是否疲勞的判斷。綜合評判模塊56對眼睛開合檢測模塊53、打哈欠檢測模塊54和頭部運動跟蹤模塊55所獲得的檢測結(jié)果進行加權(quán)運算?；趯ρ劬﹂_合狀態(tài)、打哈欠狀態(tài)、頭部運動狀態(tài)等三種疲勞特征監(jiān)測的綜合評判，將駕駛員疲勞程度劃分為四個等級綠色-清醒、黃色-輕度疲勞、橙色-中度疲勞、紅色-高度疲勞。當眼睛開合檢測模塊53、打哈欠檢測模塊54或頭部運動跟蹤模塊55這三個模塊均未檢測到異常時，綜合評價模塊輸出檢測結(jié)果為清醒。允許汽車正常行駛，在車載嵌入式設(shè)備屏幕上的疲勞程度指示燈顯示為綠色。當眼睛開合檢測模塊53、打哈欠檢測模塊54或頭部運動跟蹤模塊55三個模塊中有且僅有一個模塊檢測到異常時，綜合評價模塊檢測結(jié)果為輕度疲勞。允許汽車正常行駛。聲光發(fā)生器3上的疲勞程度指示燈顯示為黃色不斷閃爍，并向駕駛員發(fā)出報警聲。當眼睛開合檢測模塊53、打哈欠檢測模塊54或頭部運動跟蹤模塊55三個模塊中有且僅有兩個模塊檢測到異常時，綜合評價模塊檢測結(jié)果為中度疲勞。聲光發(fā)生器3上的 疲勞程度指示燈顯示為橙色不斷閃爍，并同時向駕駛員、遠端的服務(wù)器和預(yù)設(shè)的客戶端發(fā)出報警聲，建議駕駛員靠邊停車。當眼睛開合模塊檢測、打哈欠檢測模塊54或頭部運動跟蹤模塊55三個模塊均檢測到異常時，綜合評價模塊檢測結(jié)果為高度疲勞。聲光發(fā)生器3上的疲勞程度指示燈顯示為紅色不斷閃爍，自動亮起警示燈以警示周圍車輛及行人，數(shù)秒鐘后自動減速并熄火，同時向遠端的服務(wù)器和預(yù)設(shè)的客戶端發(fā)出持續(xù)報警并報告汽車所處的位置，要求救援。參見圖I所示，本駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)可以通過無線通訊模塊及天線48接入無線互聯(lián)網(wǎng)，從而與遠端的服務(wù)器和客戶端進行數(shù)據(jù)、聲音和視頻通信。這樣，位于遠端的服務(wù)器在汽車運行過程中，可以對駕駛員行駛過程中的疲勞程度進行遠程實時監(jiān)控，必要時進行救援。以上對本實用新型所提供的基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)進行了詳細的說明，但顯然本實用新型的具體實現(xiàn)形式并不局限于此。對于本技術(shù)領(lǐng)域的一般技術(shù)人員來說，在不背離本實用新型的權(quán)利要求范圍的情況下對它進行的各種顯而易見的改變都在本實用新型的保護范圍之內(nèi)。
權(quán)利要求1.一種基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)包括攝像頭、云臺、前端嵌入式系統(tǒng)和前端應(yīng)用模塊；其中， 所述攝像頭和所述云臺分別與所述前端嵌入式系統(tǒng)進行連接，所述前端嵌入式系統(tǒng)連接所述前端應(yīng)用模塊，所述攝像頭安裝在所述云臺上面，所述云臺安裝在汽車前擋風玻璃駕駛員外側(cè)的框架上； 所述前端應(yīng)用模塊包括人臉檢測模塊、人臉特征點定位模塊、眼睛開合檢測模塊、打哈欠檢測模塊、頭部運動跟蹤模塊和綜合評判模塊，所述人臉檢測模塊與所述人臉特征點定位模塊分別連接所述眼睛開合檢測模塊、所述打哈欠檢測模塊和所述頭部運動跟蹤模塊，所述眼睛開合檢測模塊、所述打哈欠檢測模塊和所述頭部運動跟蹤模塊分別與所述綜合評判模塊相連接。
2.如權(quán)利要求I所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述前端嵌入式系統(tǒng)包括前端嵌入式中心単元、視頻接ロ及模數(shù)變換電路和云臺控制電路，所述前端嵌入式中心単元分別連接所述視頻接ロ及模數(shù)變換電路和所述云臺控制電路； 所述視頻接ロ及模數(shù)變換電路連接所述攝像頭，所述云臺控制電路連接所述云臺。
3.如權(quán)利要求2所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述前端嵌入式系統(tǒng)中具有汽車操縱接ロ，所述汽車操縱接ロ一方面連接所述前端嵌入式中心単元，另ー方面連接汽車本身的操縱裝置。
4.如權(quán)利要求2所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)中還包括聲光發(fā)生器，所述聲光發(fā)生器與所述前端嵌入式系統(tǒng)中的聲光發(fā)生器接ロ連接，所述聲光發(fā)生器接ロ連接所述前端嵌入式中心単元。
5.如權(quán)利要求2所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述前端嵌入式系統(tǒng)中具有無線通訊模塊及天線，所述無線通訊模塊及天線連接所述前端嵌入式中心単元。
6.如權(quán)利要求2所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述前端嵌入式系統(tǒng)中具有導航定位模塊及天線，所述導航定位模塊及天線連接所述前端嵌入式中心単元。
7.如權(quán)利要求I或2所述的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，其特征在于 所述攝像頭為紅外攝像頭。
專利摘要本實用新型公開了一種基于圖像信息綜合評判的駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)，包括攝像頭、云臺、前端嵌入式系統(tǒng)和前端應(yīng)用模塊；其中，攝像頭和云臺分別與前端嵌入式系統(tǒng)進行連接，前端嵌入式系統(tǒng)連接前端應(yīng)用模塊，前端應(yīng)用模塊用于執(zhí)行對眼睛開合狀態(tài)、打哈欠狀態(tài)、頭部運動狀態(tài)的檢測，并做出綜合判斷；攝像頭安裝在云臺上面，云臺安裝在汽車前擋風玻璃駕駛員外側(cè)的框架上。本駕駛員疲勞監(jiān)測網(wǎng)絡(luò)系統(tǒng)可以對駕駛員的疲勞程度進行實時監(jiān)控，根據(jù)駕駛員眨眼、打哈欠、頭部運動等異常表情和行為做出正確判斷。
文檔編號G06K9/00GK202472863SQ20112057544
公開日2012年10月3日 申請日期2011年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者李明航, 李瑛 , 馬濤 申請人:北京星河易達科技有限公司