專利名稱：疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生理學(xué)、自動(dòng)控制、模式識(shí)別、人工智能等相關(guān)學(xué)科,屬于計(jì)算機(jī) 嵌入式系統(tǒng)應(yīng)用和圖像處理技術(shù)領(lǐng)域，尤其是一種疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)。
背景技術(shù)：
汽車的普及一方面促進(jìn)了交通事業(yè)的發(fā)展，另一方面卻使交通事故日趨增 多。據(jù)有關(guān)部門統(tǒng)計(jì)，在各種道路交通事故肇事的主要原因中，疲勞駕駛引起的 失控占了40%。疲勞雖然是一個(gè)正常的生理現(xiàn)象，但是對(duì)駕駛員這一特殊的群體， 就可能引起嚴(yán)重的后果，甚至危及生命，許多疲勞的駕駛員卻常常不知道自己已 經(jīng)處在瞌睡的危險(xiǎn)狀態(tài)之中，所以汽車駕駛員瞌睡檢測(cè)報(bào)警系統(tǒng)就成為了構(gòu)建交 通工具主動(dòng)安全系統(tǒng)中的一個(gè)重要研究方向。如何利用先進(jìn)的技術(shù)來減少交通事 故已成為重要的研究熱點(diǎn)。
駕駛疲勞檢測(cè)是一個(gè)非常復(fù)雜的問題，早期的研究主要從醫(yī)學(xué)角度出發(fā)，研 究引發(fā)駕駛疲勞的因素，美國汽車聯(lián)合會(huì)(AAA)從1993年開始研究瞌睡與交通安 全的關(guān)系。當(dāng)時(shí)僅限于如何根據(jù)交通事故的分析來對(duì)司機(jī)進(jìn)行教育。讓司機(jī)利用 自我記錄表對(duì)駕駛?cè)蝿?wù)、駕駛習(xí)慣和駕駛時(shí)間等進(jìn)行自我評(píng)測(cè)。因?yàn)橐l(fā)疲勞因 素的復(fù)雜性和個(gè)體的差異性，這種主觀的調(diào)査方法很難成為評(píng)測(cè)駕駛疲勞的標(biāo)準(zhǔn) 尺度。到90年代中期，日本、美國等國家開始研究和設(shè)計(jì)能夠?qū)崟r(shí)檢測(cè)駕駛疲勞 的方法和儀器。
目前，駕駛疲勞檢測(cè)方法的一般思路是首先確定所要選取的能夠反映疲勞 的特征，如腦電圖(EEG)、眨眼頻率等，然后進(jìn)行特征提取，最后根據(jù)提取到的 特征和預(yù)先設(shè)定的標(biāo)準(zhǔn)進(jìn)行識(shí)別。判斷有無疲勞發(fā)生。腦電圖的方法雖然測(cè)量結(jié) 果比較準(zhǔn)確，但是一般在駕駛后測(cè)量，結(jié)果是超前或滯后的；而且在駕駛室內(nèi)安裝上述儀器也不現(xiàn)實(shí)。因此，尋求一種在車載、實(shí)時(shí)、客觀的疲勞檢測(cè)裝置成為 國內(nèi)外研究者的共同研究方向。
已有的申請(qǐng)?zhí)枮镃N200510037771的專利，通過兩個(gè)不同波長紅外濾波CMOS 攝像頭得到兩幅圖像進(jìn)行差分處理得到處理圖像，通過計(jì)算得到PERCLOS值進(jìn)行 疲勞判斷，，但是這種差分算法在光照強(qiáng)烈的條件下比較容易失敗，在實(shí)際復(fù)雜的 環(huán)境中應(yīng)用中可靠性就比較低。
已有的申請(qǐng)?zhí)枮镃N200610012623的專利，其裝置由圖像采集和轉(zhuǎn)換系統(tǒng)、圖 像處理系統(tǒng)、疲勞狀態(tài)識(shí)別系統(tǒng)、提示和報(bào)警以及制動(dòng)系統(tǒng)構(gòu)成；它利用紅外光 源光線和攝像機(jī)光軸成一定的角度，采集到的駕駛員的面部圖像信號(hào)由數(shù)字信號(hào) 處理器的圖像處理程序進(jìn)行處理，得到眼睛圖像，同時(shí)利用Kalman濾波器Mean Shift算法實(shí)現(xiàn)眼睛跟蹤，采用模板匹配的方法，以相似度衡量相似程度來識(shí)別眼 睛狀態(tài)，根據(jù)眼睛的狀態(tài)計(jì)算出眨眼持續(xù)時(shí)間、眨眼頻率、PERCLOS值，來判斷 駕駛員的疲勞程度。但是，上述在人臉檢測(cè)的基礎(chǔ)上利用Canny算子進(jìn)行邊緣提 取定位眼睛的做法錯(cuò)誤率高；而且用Kalman濾波器MeanShift算法實(shí)現(xiàn)眼睛跟 蹤效率不高。最后它采用TMS320C6711DSP雖然可以滿足數(shù)據(jù)圖像處理的要求， 但成本過高，而且最終級(jí)別預(yù)警還需經(jīng)過單片機(jī)才能提示，增加了硬件的復(fù)雜度， 無法用于大批量生產(chǎn)銷售，因而廣泛普及會(huì)有相當(dāng)大的困難。

發(fā)明內(nèi)容
為了克服已有的疲勞駕駛檢測(cè)系統(tǒng)的可靠性較低、成本高、適用性差的不足， 本發(fā)明提供一種可靠性高、成本低、適用性好的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)。 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，包括用于采集駕駛員臉部圖像的攝像頭、用于 進(jìn)行疲勞檢測(cè)的處理器，所述處理器包括圖像采集模塊，用于獲取所述攝像頭 捕獲的駕駛員臉部圖像；圖像預(yù)處理模塊，用于對(duì)獲取的圖像進(jìn)行預(yù)處理；所述
處理器還包括圖像處理模塊，用于利用AdaBoost算法分析預(yù)處理后的圖像，檢 測(cè)出駕駛員的左右眼，分別計(jì)算上眼瞼的曲率和睜眼面積，接著將上眼瞼的曲率 和睜眼面積進(jìn)行融合，得到眼睛閉合程度，并依照p80測(cè)量方法檢測(cè)駕駛員是否 有疲勞；控制報(bào)警模塊，用于當(dāng)圖像處理模塊判斷駕駛員有疲勞時(shí)，發(fā)出告警信 號(hào)。
作為優(yōu)選的一種方案所述圖像處理模塊包括人眼識(shí)別單元，用于利用 AdaBoost算法得到駕駛員的左右眼，并對(duì)其進(jìn)行實(shí)時(shí)跟蹤；疲勞檢測(cè)單元，用于 在獲得駕駛員的左右眼圖像后，計(jì)算得到眼睛圖像的基于上眼瞼的曲率的眼睛閉 合程度函數(shù)pl和基于睜眼面積的眼睛閉合程度函數(shù)p2，分別用下列公式表示
<formula>formula see original document page 7</formula>
其中，Cmax為上眼瞼曲率的最大值、Cmin為眼瞼曲率的最小值，C為眼瞼曲率 的當(dāng)前值；Smax為睜眼面積的最大值，Srnin為為睜眼面積的最小值，S為睜眼面 積的最當(dāng)前值；
并依照下式進(jìn)行融合
由上式得到眼睛閉合程度； 并計(jì)算設(shè)定時(shí)間段內(nèi)眼睛閉合程度大于等于80°/。所占的時(shí)間比例，即測(cè)量出 U t4值就能計(jì)算出PERCLOS的值/ :
其中，/為眼睛閉合時(shí)間占設(shè)定時(shí)間段的百分率； tl:眼睛睜開程度減小到80%的時(shí)刻；
t2:眼睛睜開程度減小到20%的時(shí)刻； t3:眼睛再次睜開到20%的時(shí)刻； t4:眼睛再次睜開到80%的時(shí)刻；
如上述得到的/大于80%，則判定駕駛員有疲勞。
進(jìn)一步，在所述的疲勞檢測(cè)單元中，使用Sobel算子來提取眼睛邊緣，按列 掃描圖像，取出每列的最上面的點(diǎn)，即為上眼瞼，并取中間部分來計(jì)算眼瞼曲率;
依次掃描眼瞼上各點(diǎn)，計(jì)算其上任一點(diǎn)沿眼瞼到兩端的長度之差，其中的最小者 為眼瞼的中點(diǎn)，以中點(diǎn)為邊界點(diǎn)，分別計(jì)算左半部分和右半部分的中點(diǎn)，同樣再
以該中點(diǎn)為邊界分別計(jì)算左右各部分的中點(diǎn)，依次進(jìn)行下去就得到了各個(gè)邊界點(diǎn)
進(jìn)行曲率的計(jì)算，曲率計(jì)算公式_:，其中A^表示曲線段切線變化的 角度，^為弧長；
在獲得眼睛區(qū)域后，利用邊緣圖的水平和垂直投影方法得到眼睛的范圍，獲 得眼睛的長寬信息，按照長寬乘積計(jì)算睜眼面積。
再進(jìn)一步，在所述的疲勞檢測(cè)單元中，所述設(shè)定時(shí)間段包括兩個(gè)時(shí)間窗口寬 度，分別為8秒和2秒，其中8秒窗口用于檢測(cè)最近8秒內(nèi)閉眼程度達(dá)80%以上 的時(shí)間是否占了時(shí)間窗口的80%以上；2秒窗口判斷最近2秒內(nèi)閉眼程度達(dá)80%以 上的時(shí)間是否占了時(shí)間窗口的80%以上，如果同時(shí)滿足上述兩個(gè)條件，發(fā)出報(bào)警。
作為優(yōu)選的另一種方案所述的圖像預(yù)處理模塊包括灰度處理單元，用于
將獲取的圖像統(tǒng)一轉(zhuǎn)化為灰度圖
G， = 0.3i + 0.59G + 0.115
其中，R表示紅色分量，G表示綠色分量，B表示藍(lán)色分量； 均衡化處理單元，用于將圖像的直方圖通過變換函數(shù)5 = 7^>*)處理，其中s、 r分 別為目標(biāo)圖像和原始圖像上的像素點(diǎn)(x, y);
噪聲處理單元，用于采用中值濾波法來進(jìn)行噪聲處理。
本發(fā)明的技術(shù)構(gòu)思為首先用可調(diào)紅外LED燈加CMOS傳感器攝像捕獲駕
駛員臉部圖像，對(duì)獲取的圖像進(jìn)行預(yù)處理方法來減弱駕駛員行駛過程中背景和光
照的復(fù)雜變化影響；然后用AdaBoost方法檢測(cè)出眼睛位置，并通過計(jì)算上眼瞼曲 率和睜眼面積兩者信息融合的結(jié)果來評(píng)價(jià)眼睛狀態(tài)；接著，用PERCLOS方法觀 察一段時(shí)間內(nèi)的眼睛狀態(tài)變化，即眨眼頻率，來判斷是否處于瞌睡狀態(tài)，如果檢 測(cè)到瞌睡，嵌入式系統(tǒng)就發(fā)出警報(bào)提醒駕駛?cè)藛T，否則繼續(xù)采集人眼圖像直至下 一次檢測(cè)到瞌睡報(bào)警提醒，最后在基于ARM9的嵌入式芯片S3C2410處理器下實(shí) 現(xiàn)檢測(cè)算法圖像采集及預(yù)處理由可調(diào)紅外LED燈加CMOS傳感器在不同的 光照環(huán)境下取得的圖像差異性較大，故將采集到的圖像統(tǒng)一轉(zhuǎn)化為灰度圖，并通
過直方圖均衡化，去噪聲處理來減少背景和光照的影響。人眼識(shí)別把預(yù)處理之
后的圖像數(shù)據(jù)交由圖像處理程序處理，利用AdaBoost方法對(duì)眼睛進(jìn)行實(shí)時(shí)跟蹤。
疲勞檢測(cè)人眼識(shí)別出來以后，通過計(jì)算上眼瞼曲率和睜眼面積兩者信息融合的
結(jié)果來評(píng)價(jià)眼睛的閉合程度，在跟蹤觀察眼睛狀態(tài)一段時(shí)間后得到PERCLOS值， 將結(jié)果與事先設(shè)定的閾值進(jìn)行比較得出駕駛員是否疲勞駕駛，決定是否發(fā)出預(yù)警 提示。
本發(fā)明的有益效果主要表現(xiàn)在(1)用紅外成像，可以使系統(tǒng)全天候工作，
適應(yīng)能力強(qiáng)。(2)通過AdaBoost方法直接檢測(cè)出人眼位置，方便快捷。(3)用 上眼瞼曲率和睜眼面積兩者信息融合的結(jié)果來評(píng)價(jià)眼睛的閉合程度，大大提高了 檢測(cè)的準(zhǔn)確率(4) ARM處理器較DSP處理器集成度更高，成本較低，兼容性好， 擴(kuò)展性強(qiáng)，并且可以使圖像處理與分級(jí)別預(yù)警在同一芯片上實(shí)現(xiàn)。(5)本發(fā)明硬 件成本相對(duì)較低，算法精確，便于在實(shí)際交通運(yùn)輸上實(shí)行生產(chǎn)推廣使用，有良好 的市場(chǎng)前景，對(duì)減少交通事故發(fā)生有著積極長遠(yuǎn)的作用。


圖1是疲勞駕駛檢測(cè)系統(tǒng)的總框架圖。 圖2是疲勞駕駛檢測(cè)算法的簡要流程圖。 圖3是疲勞檢測(cè)部分的流程圖。 圖4是開眼和閉眼的上眼瞼曲率近似圖。 圖5是睜眼面積計(jì)算示意圖。 圖6是PERCLOS測(cè)量原理圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
參照?qǐng)D1 圖6， 一種疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，包括用于采集駕駛員臉部圖像
的攝像頭、用于進(jìn)行疲勞檢測(cè)的處理器，所述處理器包括圖像采集模塊，用于
獲取所述攝像頭捕獲的駕駛員臉部圖像；圖像預(yù)處理模塊，用于對(duì)獲取的圖像進(jìn)
行預(yù)處理；所述處理器還包括圖像處理模塊，用于利用AdaBoost算法分析預(yù)處
理后的圖像，檢測(cè)出駕駛員的左右眼，分別計(jì)算上眼瞼的曲率和睜眼面積，接著
將上眼瞼的曲率和睜眼面積進(jìn)行融合，得到眼睛閉合程度，并依照p80測(cè)量方法
檢測(cè)駕駛員是否有疲勞；控制報(bào)警模塊，用于當(dāng)圖像處理模塊判斷駕駛員有疲勞
時(shí)，發(fā)出告警信號(hào)。
圖l是系統(tǒng)總框架圖，其中軟件部分是用0++實(shí)現(xiàn)，整個(gè)硬件部分包含了圖
像采集模塊，圖像處理模塊，控制報(bào)警模塊三個(gè)部分。
硬件部分
(1)圖像采集模塊
可調(diào)紅外LED用了波長880nm的紅外LED光照，使用Omnivsion公司生產(chǎn)的 0V7620芯片，0V7620是一款功能強(qiáng)大的單片相機(jī)芯片，配合0V511組成了一個(gè)低 成本的數(shù)字圖像采集模塊。前者實(shí)現(xiàn)了圖像采集的功能，后者提供了USB接口方 便與系統(tǒng)連接。(2) 圖像處理模塊
圖像處理系統(tǒng)采用S3C2410處理器，能滿足圖像處理速度的要求,保證了圖像 傳輸速度。擴(kuò)展64M SDRAM與64M FLASH,大容量的RAM能夠保存多幅連續(xù)圖像， 便于圖像的實(shí)時(shí)分析與處理。本發(fā)明的主要步驟如人眼檢測(cè)和疲勞檢測(cè)部分的算 法在這個(gè)部分實(shí)現(xiàn)。
(3) 控制報(bào)警模塊
根據(jù)是否檢測(cè)到瞌睡，可使S3C2410芯片輸出控制信號(hào)來啟動(dòng)蜂鳴報(bào)警器。 軟件部分
圖2中，展示了疲勞駕駛檢測(cè)算法的簡要流程圖
在疲勞駕駛檢測(cè)中，預(yù)處理是第一步，由于紅外線攝像頭在不同的光照環(huán)境 下取得的圖像差異性較大，而且本身固有的特性和人為因素總是會(huì)或多或少地引 入某些干擾和噪聲。因此，為了保證具有較好的檢測(cè)和識(shí)別效果，我們必須進(jìn)行
圖像的預(yù)處理。我們依據(jù)如下公式將圖像統(tǒng)一轉(zhuǎn)化為灰度圖
=0.3i + 0.59G + 0.115
其中，R表示紅色分量，G表示綠色分量，B表示藍(lán)色分量； 然后由于圖像中光照的不均勻性，需要對(duì)圖像做光照補(bǔ)償，我們希望圖像具
有本文方法研究所需要的灰度分布，即突出所需要的圖像特征(如眼睛特征)，而
直方圖均衡化能較好地滿足這一要求。
直方圖均衡化(Histogram Equalization)又稱直方圖平坦化，實(shí)質(zhì)上是對(duì)圖像進(jìn)
行非線性拉伸，重新分配圖像象元值，使一定灰度范圍內(nèi)象元值的數(shù)量大致相等。
對(duì)圖像的直方圖均衡化過程是通過變換函數(shù)^ = 7^)來完成的，s、 r分別為目標(biāo) 圖像和原始圖像上的像素點(diǎn)(x, y)。
輸入的原始圖像一般都存有不同程度的噪聲，而這些噪聲對(duì)于特征的提取具 有較大的影響。因此，需要對(duì)輸入圖像進(jìn)行噪聲處理，以盡可能減小噪聲的影響。
這一過程也稱為對(duì)圖像的平滑濾波過程。
常用的濾波去噪方法大致可以分為以下四類高斯平滑濾波去噪聲法；均值 濾波去噪聲法；中值濾波去噪聲法；最佳濾波去噪聲法。
中值濾波可以去除孤點(diǎn)噪聲，不會(huì)使圖像的邊界模糊，比較適合于人眼圖像 的去噪處理，因此，本發(fā)明采用中值濾波法來進(jìn)行噪聲處理。
第二步，進(jìn)行Adaboost人眼識(shí)別。AdaBoost方法是基于樣本學(xué)習(xí)的方法，通 過樣本學(xué)習(xí)得到的規(guī)則(分類器)更接近于人眼的特征，很好地解決了人眼檢測(cè) 的復(fù)雜性問題，即背景圖像的多樣性和人眼特征的多變性。AdaBoost方法的第二 個(gè)特點(diǎn)是運(yùn)用了分層推進(jìn)的思想，頂層簡單分類器把大多數(shù)非人眼的樣本排除在 外，減小了底層復(fù)雜分類器的檢測(cè)壓力，極大地提高了人眼檢測(cè)的速度。本發(fā)明 同時(shí)檢測(cè)出人的左右眼，并對(duì)其進(jìn)行實(shí)時(shí)跟蹤。但是一旦檢測(cè)不到人眼，通常情 況下這是由于駕駛員頭部嚴(yán)重傾斜，我們可以認(rèn)為這是駕駛員的錯(cuò)誤駕駛行為， 盡管也有可能是由于誤差問題導(dǎo)致系統(tǒng)無法檢測(cè)。所以我們?cè)O(shè)置一個(gè)錯(cuò)誤允許時(shí) 間，即如果此過程持續(xù)5秒以上(這樣就可以基本排除系統(tǒng)的誤差問題)，本發(fā)明 將立刻發(fā)出警報(bào)，提醒駕駛員矯正駕駛姿態(tài)。
第三步，疲勞檢測(cè)。整個(gè)疲勞流程如圖2所示。在獲得駕駛員的眼睛圖像之 后，計(jì)算眼睛圖像的上眼瞼曲率和睜眼面積。由于上眼瞼是眼睛區(qū)域邊緣的一部 分，并且灰度值的差異比較大，我們使用Sobel算子來提取眼睛邊緣。上眼瞼基 本上位于邊緣圖的最上部，故可按列掃描圖像，取出每列的最上面的點(diǎn)，即為上 眼瞼。在研究大量眼睛睜閉過程之后，我們發(fā)現(xiàn)眼瞼的中間部分能比較準(zhǔn)確地反 映眼睛的狀態(tài)而眼瞼兩端容易突變，故只取中間部分來計(jì)算眼瞼曲率。
依次掃描眼瞼上各點(diǎn)，計(jì)算其上任一點(diǎn)沿眼瞼到兩端的長度之差，其中的最 小者為眼瞼的中點(diǎn)。以中點(diǎn)為邊界點(diǎn)，分別計(jì)算左半部分和右半部分的中點(diǎn)，同 樣再以該中點(diǎn)為邊界分別計(jì)算左右各部分的中點(diǎn)，依次進(jìn)行下去就得到了各個(gè)邊界點(diǎn)。
下面進(jìn)行曲率的計(jì)算。曲率計(jì)算公式 &，其中A^表示曲線段切線變
化的角度，^為弧長。為了減少計(jì)算量，可用近似公式代替以上公式來計(jì)算曲率。 利用圖4中曲率來近似眼睛睜開和閉合，當(dāng)點(diǎn)A、 B、 C等間隔選取時(shí)，使用如 ^一 AD
下公式計(jì)算曲率—。睜眼和閉眼時(shí)眼瞼彎曲方向不同，是判斷睜閉的一個(gè)
重要特征。用B和AC的相對(duì)位置來描述其方向，睜眼時(shí)B在AC的上方，閉眼 時(shí)B在AC的下方。故可定義當(dāng)B在AC的上方時(shí)曲率為正，反之曲率為負(fù)。
睜眼面積的計(jì)算。在獲得眼睛區(qū)域后，則可以利用邊緣圖的水平和垂直投影 方法很容易地得到眼睛的范圍，從而獲得了眼睛的長寬信息，據(jù)此計(jì)算睜眼面積。 圖5反映了睜眼和閉眼區(qū)域的范圍，我們發(fā)現(xiàn)睜眼與閉眼的區(qū)域面積相差較大、 易于分辨且計(jì)算簡單，因此采用該參數(shù)作為另一個(gè)融合特征。用睜眼面積作為第 二個(gè)融合特征的另一個(gè)好處是，前面所述的上眼瞼曲率的計(jì)算大致是眼睛長寬相 除，而面積則是長寬相乘，通過兩者的模糊融合將會(huì)產(chǎn)生較好的互補(bǔ)效應(yīng)。
在檢測(cè)眼睛狀態(tài)的過程中，我們可以得到上眼瞼曲率的最大值Cmax、最小值
Cmin和當(dāng)前值C，以及睜眼面積的最大值Smax，最小值Smin和當(dāng)前值S，這樣就可
以計(jì)算得到基于上眼瞼曲率的眼睛閉合程度函數(shù)pl和基于睜眼面積的眼睛閉合
程度函數(shù)p2，分別用下列公式表示
, C一Cmin Cmax-Cmin
^ S1 — min
; 2 =-
S max- S1 min
然后我們用Pl， P2的算術(shù)平均值作為信息融合的結(jié)果來表征眼睛閉合程度
最后用PERCL0S的p80測(cè)量方法檢測(cè)駕駛員是否疲勞駕駛。PERCLOS(PERcentage of eye CLOSure over the pupil over time)是指眼睛閉合時(shí)間占某一特 定時(shí)間的百分率。而p80測(cè)量方法表示眼睛閉合程度大等于80%所占的時(shí)間比例。 圖示6給出了 PERCLOS的測(cè)量原理。只要測(cè)量出tl t4值就能計(jì)算出PERCLOS的 值/。
f 4 M
其中，/為眼睛閉合時(shí)間占某一特定時(shí)間的百分率；
tl:眼睛睜開程度減小到80%的時(shí)刻；
t2:眼睛睜開程度減小到20%的時(shí)刻；
t3:眼睛再次睜開到20 %的時(shí)刻；
t4:眼睛再次睜開到80%的時(shí)刻； 在截獲視頻流中的圖像幀并提取出圖像中的人眼且識(shí)別其狀態(tài)后，將此狀態(tài) 信息分別送入兩個(gè)檢測(cè)時(shí)間窗口同時(shí)進(jìn)行檢測(cè)。這兩個(gè)時(shí)間窗口寬度分別為8秒
和2秒，其中8秒窗口用于檢測(cè)最近8秒內(nèi)閉眼程度達(dá)80%以上的時(shí)間是否占了 時(shí)間窗口的80%以上；2秒窗口判斷最近2秒內(nèi)閉眼程度達(dá)80%以上的時(shí)間是否占 了時(shí)間窗口的80%以上。如果同時(shí)滿足這兩個(gè)條件則發(fā)出報(bào)警，否則重新回到檢 測(cè)階段(表明眼睛最近是睜開的，即使8秒寬度的大窗口做出了報(bào)警的判斷)。設(shè) 置2秒寬度窗口的理由為寬度大的時(shí)間窗口不太靈敏，在報(bào)警之后，當(dāng)駕駛員 清醒過來，往往需要1.6秒鐘左右(8X20%)才能做出解除報(bào)警的判斷；而寬度 較小的時(shí)間窗口則比較靈敏，只需要0.4秒左右(2X20%)即可做出解除警報(bào)的 判斷。另一方面，用2秒的檢測(cè)窗口在瞌睡檢測(cè)時(shí)可以對(duì)最近2秒的時(shí)間段內(nèi)的 眼睛狀態(tài)做出嗑睡判斷，有利于排除那些假瞌睡的狀態(tài)。這樣經(jīng)過兩個(gè)窗口的判 斷，既能準(zhǔn)確地做出瞌睡狀態(tài)的判斷，又可以快速地做出解除瞌睡報(bào)警的判斷， 提高了系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。通過實(shí)驗(yàn)數(shù)據(jù)證明2秒窗口的設(shè)置較為合理。
權(quán)利要求
1、一種疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，包括用于采集駕駛員臉部圖像的攝像頭、用于進(jìn)行疲勞檢測(cè)的處理器，所述處理器包括圖像采集模塊，用于獲取所述攝像頭捕獲的駕駛員臉部圖像；圖像預(yù)處理模塊，用于對(duì)獲取的圖像進(jìn)行預(yù)處理；其特征在于所述處理器還包括圖像處理模塊，用于利用AdaBoost算法分析預(yù)處理后的圖像，檢測(cè)出駕駛員的左右眼，分別計(jì)算上眼瞼的曲率和睜眼面積，接著將上眼瞼的曲率和睜眼面積進(jìn)行融合，得到眼睛閉合程度，并依照PERCLOS的p80測(cè)量方法檢測(cè)駕駛員是否有疲勞；控制報(bào)警模塊，用于當(dāng)圖像處理模塊判斷駕駛員有疲勞時(shí)，發(fā)出告警信號(hào)。
2、 如權(quán)利要求l所述的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于所述圖像處理模塊 包括人眼識(shí)別單元，用于利用AdaBoost算法得到駕駛員的左右眼，并對(duì)其進(jìn)行實(shí)時(shí)跟 蹤；疲勞檢測(cè)單元，用于在獲得駕駛員的左右眼圖像后，計(jì)算得到眼睛圖像的基于上眼瞼的曲率的眼睛閉合程度函數(shù)pl和基于睜眼面積的眼睛閉合程度函數(shù)p2，分別用下列公式表示<formula>formula see original document page 2</formula>其中，Cmax為上眼瞼曲率的最大值、Cmin為眼瞼曲率的最小值，C為眼瞼曲率 的當(dāng)前值；Smax為睜眼面積的最大值，Smin為為睜眼面積的最小值，S為睜眼面積的最當(dāng)前值；并依照下式進(jìn)行融合由上式得到眼睛閉合程度P;并計(jì)算設(shè)定時(shí)間段內(nèi)眼睛閉合程度大于等于80%所占的時(shí)間比例，即測(cè)量出 t廣t4值就能計(jì)算出PERCL0S的值/ :<formula>formula see original document page 3</formula>其中，/為眼睛閉合時(shí)間占設(shè)定時(shí)間段的百分率； tl:眼睛睜開程度減小到80%的時(shí)刻； t2:眼睛睜開程度減小到20%的時(shí)刻； t3:眼睛再次睜開到20%的時(shí)刻； t4:眼睛再次睜開到80%的時(shí)刻；如上述得到的/大于80%，則判定駕駛員有疲勞。
3、 如權(quán)利要求2所述的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于在所述的疲勞檢測(cè)單元中，使用Sobel算子來提取眼睛邊緣，按列掃描圖像，取出每列的最上面的點(diǎn)，即為上眼瞼，并取中間部分來計(jì)算眼瞼曲率；依次掃描眼瞼上各點(diǎn)，計(jì)算其上任一點(diǎn)沿眼瞼到兩端的長度之差，其中的最 小者為眼瞼的中點(diǎn)，以中點(diǎn)為邊界點(diǎn)，分別計(jì)算左半部分和右半部分的中點(diǎn)，同 樣再以該中點(diǎn)為邊界分別計(jì)算左右各部分的中點(diǎn)，依次進(jìn)行下去就得到了各個(gè)邊 界點(diǎn)-<formula>formula see original document page 3</formula>進(jìn)行曲率的計(jì)算，曲率計(jì)算公式一&，其中A^表示曲線段切線變化的 角度，^為弧長；在獲得眼睛區(qū)域后，利用邊緣圖的水平和垂直投影方法得到眼睛的范圍，獲 得眼睛的長寬信息，按照長寬乘積計(jì)算睜眼面積。
4、 如權(quán)利要求2所述的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于在所述的疲勞檢測(cè) 單元中，所述設(shè)定時(shí)間段包括兩個(gè)時(shí)間窗口寬度，分別為8秒和2秒，其中8秒 窗口用于檢測(cè)最近8秒內(nèi)閉眼程度達(dá)80%以上的時(shí)間是否占了時(shí)間窗口的80%以 上；2秒窗口判斷最近2秒內(nèi)閉眼程度達(dá)80%以上的時(shí)間是否占了時(shí)間窗口的80% 以上，如果同時(shí)滿足上述兩個(gè)條件，發(fā)出報(bào)警。
5、如權(quán)利要求1一4之一所述的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，其特征在于所述的圖 像預(yù)處理模塊包括灰度處理單元，用于將獲取的圖像統(tǒng)一轉(zhuǎn)化為灰度圖G， = + 0.59G + 0.115其中Gray為灰度值，R表示紅色分量，G表示綠色分量，B表示藍(lán)色分量； 均衡化處理單元，用于將圖像的直方圖通過變換函數(shù)^ = 71(>")處理，其中s、 r分 別為目標(biāo)圖像和原始圖像上的像素點(diǎn)(x， y); 噪聲處理單元，用于采用中值濾波法來進(jìn)行噪聲處理。
全文摘要
一種疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)，包括用于采集駕駛員臉部圖像的攝像頭、用于進(jìn)行疲勞檢測(cè)的處理器，所述處理器包括圖像采集模塊，用于獲取所述攝像頭捕獲的駕駛員臉部圖像；圖像預(yù)處理模塊，用于對(duì)獲取的圖像進(jìn)行預(yù)處理；所述處理器還包括圖像處理模塊，用于利用AdaBoost算法分析預(yù)處理后的圖像，檢測(cè)出駕駛員的左右眼，分別計(jì)算上眼瞼的曲率和睜眼面積，接著將上眼瞼的曲率和睜眼面積進(jìn)行融合，得到眼睛閉合程度，并依照PERCLOS的p80測(cè)量方法檢測(cè)駕駛員是否有疲勞；控制報(bào)警模塊，用于當(dāng)圖像處理模塊判斷駕駛員有疲勞時(shí)，發(fā)出告警信號(hào)。本發(fā)明可靠性高、成本低、適用性好。
文檔編號(hào)A61B5/16GK101375796SQ20081016165
公開日2009年3月4日 申請(qǐng)日期2008年9月18日 優(yōu)先權(quán)日2008年9月18日
發(fā)明者周德龍, 林瑤磊, 梁榮華, 毛劍飛, 妍 胡 申請(qǐng)人:浙江工業(yè)大學(xué)