汽車及用于其的駕駛員疲勞預(yù)警檢測方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種汽車及用于其的駕駛員疲勞預(yù)警檢測方法和系統(tǒng),其中系統(tǒng)包括:視頻采集模塊,用于采集車內(nèi)乘員的圖像信息;面部識別模塊,用于對車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)駕駛員的人臉特征參數(shù)獲得駕駛員的人臉位置信息;人眼檢測模塊,用于根據(jù)駕駛員的人臉位置信息獲取駕駛員的眼部區(qū)域信息,并根據(jù)駕駛員的眼部區(qū)域信息獲取駕駛員的眼部特征參數(shù)以檢測駕駛員的眼睛特征信息;判斷模塊,用于根據(jù)駕駛員的眼睛特征信息判斷駕駛員是否處于疲勞狀態(tài)。該系統(tǒng)能夠自動(dòng)識別車內(nèi)駕駛員,并且可以學(xué)習(xí)不同駕駛員的疲勞過程和動(dòng)作,以及記憶駕駛員的疲勞特征,從而判斷出駕駛員是否處于疲勞狀態(tài)。
【專利說明】汽車及用于其的駕駛員疲勞預(yù)警檢測方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及汽車【技術(shù)領(lǐng)域】,特別涉及一種駕駛員疲勞預(yù)警檢測系統(tǒng)、具有該系統(tǒng)的汽車以及一種駕駛員疲勞預(yù)警檢測方法。
【背景技術(shù)】
[0002]目前,市場上基于眼睛狀態(tài)的相關(guān)產(chǎn)品大多是依據(jù)perclos (Percentage ofEyeIidCIosure over the PupiI>over Time,度量疲勞/ Si盍睡的物理量)標(biāo)準(zhǔn),即將眼瞼閉合時(shí)間占一段時(shí)間的百分比作為生理疲勞的測量指標(biāo)。利用面部識別技術(shù)定位眼睛、鼻尖和嘴角位置,將眼睛、鼻尖和嘴角位置結(jié)合起來,再根據(jù)對眼球的追蹤可以獲得駕駛員注意力方向,并通過判斷駕駛員的注意力是否分散來進(jìn)行報(bào)警,從而可以實(shí)現(xiàn)防止駕駛員疲勞駕駛的目的。
[0003]但是,相關(guān)技術(shù)中只針對一定區(qū)域內(nèi)對一個(gè)人的人臉進(jìn)行判斷,但一般情況下汽車內(nèi)不可能只有駕駛員一個(gè)人,這樣就要求對疲勞判定的先提條件非常嚴(yán)格,因此不能有效地達(dá)到預(yù)警的效果,并且還會出現(xiàn)誤判,不能滿足用戶的需要。
【發(fā)明內(nèi)容】
[0004]本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。
[0005]為此,本發(fā)明的第一個(gè)目的在于提出一種能夠識別車內(nèi)駕駛員并檢測器駕駛時(shí)精神狀態(tài)的駕駛員疲勞預(yù)警檢測系統(tǒng)。
[0006]本發(fā)明的第二目的在于提出一種具有上述駕駛員疲勞預(yù)警檢測系統(tǒng)的汽車。本發(fā)明的第三個(gè)目的在于提出一種駕駛員疲勞預(yù)警檢測方法。
[0007]為達(dá)到上述目的,本發(fā)明第一方面實(shí)施例提出的一種駕駛員疲勞預(yù)警檢測系統(tǒng),包括:視頻采集模塊,用于采集車內(nèi)乘員的圖像信息;面部識別模塊,所述面部識別模塊通過灰度共生矩陣、彩色空間變換和膚色建模對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)所述駕駛員的人臉特征參數(shù)獲得所述駕駛員的人臉位置信息;人眼檢測模塊,用于根據(jù)所述駕駛員的人臉位置信息獲取所述駕駛員的眼部區(qū)域信息,并根據(jù)所述駕駛員的眼部區(qū)域信息獲取所述駕駛員的眼部特征參數(shù)以檢測所述駕駛員的眼睛特征信息;判斷模塊,用于根據(jù)所述駕駛員的眼睛特征信息與預(yù)設(shè)的眼睛特征閾值進(jìn)行比較以判斷所述駕駛員是否處于疲勞狀態(tài)。
[0008]根據(jù)本發(fā)明實(shí)施例的駕駛員疲勞預(yù)警檢測系統(tǒng),通過視頻采集模塊采集車內(nèi)乘員的圖像信息,并通過面部識別模塊對車內(nèi)乘員的圖像信息分析處理以識別出駕駛員的人臉特征參數(shù),然后獲得駕駛員的人臉位置信息,人眼檢測模塊根據(jù)駕駛員的人臉位置信息最終獲取駕駛員的眼部特征參數(shù)以檢測駕駛員的眼睛特征信息,最后判斷模塊根據(jù)駕駛員的眼睛特征信息判斷駕駛員是否處于疲勞狀態(tài)。因此,本發(fā)明實(shí)施例的駕駛員疲勞預(yù)警檢測系統(tǒng)能夠自動(dòng)識別車內(nèi)駕駛員,并且可以學(xué)習(xí)不同駕駛員的疲勞過程和動(dòng)作,以及記憶駕駛員的疲勞特征,判斷出駕駛員是否處于疲勞狀態(tài),從而實(shí)現(xiàn)對駕駛員不專注精神狀態(tài)進(jìn)行預(yù)警,保證駕駛安全,滿足用戶的需要,并減少誤判率。
[0009]根據(jù)本發(fā)明的一個(gè)實(shí)施例,所述面部識別模塊根據(jù)所述灰度共生矩陣對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲得所述車內(nèi)乘員的面部紋理特征信息,并根據(jù)所述車內(nèi)乘員的面部紋理特征信息識別出所述駕駛員。
[0010]根據(jù)本發(fā)明的一個(gè)實(shí)施例,所述人眼檢測模塊根據(jù)所述駕駛員的人臉位置信息進(jìn)行直方圖均衡處理和分區(qū)處理以鎖定所述駕駛員的眼部區(qū)域,并對所述駕駛員的眼部區(qū)域進(jìn)行連通域處理以獲取所述駕駛員的眼睛位置,以及根據(jù)所述駕駛員的眼睛位置提取所述駕駛員的眼部特征參數(shù)。
[0011]根據(jù)本發(fā)明的一個(gè)實(shí)施例,所述判斷模塊根據(jù)?6代108標(biāo)準(zhǔn)和8?神經(jīng)網(wǎng)絡(luò)算法判斷所述駕駛員是否處于所述疲勞狀態(tài)。
[0012]根據(jù)本發(fā)明的一個(gè)實(shí)施例,所述的駕駛員疲勞預(yù)警檢測系統(tǒng)還包括:預(yù)警模塊,在所述駕駛員處于所述疲勞狀態(tài)時(shí)所述預(yù)警模塊發(fā)出報(bào)警提示。
[0013]本發(fā)明第二方面實(shí)施例提出的一種汽車包括上述的駕駛員疲勞預(yù)警檢測系統(tǒng)。
[0014]根據(jù)本發(fā)明實(shí)施例的汽車,能夠自動(dòng)識別車內(nèi)駕駛員,并且可以學(xué)習(xí)不同駕駛員的疲勞過程和動(dòng)作,以及記憶駕駛員的疲勞特征,判斷出駕駛員是否處于疲勞狀態(tài),從而實(shí)現(xiàn)對駕駛員不專注精神狀態(tài)進(jìn)行預(yù)警,保證駕駛安全,滿足用戶的需要。
[0015]為達(dá)到上述目的,本發(fā)明第三方面實(shí)施例提出的一種用于汽車的駕駛員疲勞預(yù)警檢測方法,包括以下步驟:31,采集車內(nèi)乘員的圖像信息;32,通過灰度共生矩陣、彩色空間變換和膚色建模對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)所述駕駛員的人臉特征參數(shù)獲得所述駕駛員的人臉位置信息;33,根據(jù)所述駕駛員的人臉位置信息獲取所述駕駛員的眼部區(qū)域信息,并根據(jù)所述駕駛員的眼部區(qū)域信息獲取所述駕駛員的眼部特征參數(shù)以檢測所述駕駛員的眼睛特征信息;34,根據(jù)所述駕駛員的眼睛特征信息與預(yù)設(shè)的眼睛特征閾值進(jìn)行比較以判斷所述駕駛員是否處于疲勞狀態(tài)。
[0016]根據(jù)本發(fā)明實(shí)施例的用于汽車的駕駛員疲勞預(yù)警檢測方法,通過采集車內(nèi)乘員的圖像信息,并對車內(nèi)乘員的圖像信息分析處理以識別出駕駛員的人臉特征參數(shù),然后獲得駕駛員的人臉位置信息,根據(jù)駕駛員的人臉位置信息最終獲取駕駛員的眼部特征參數(shù)以檢測駕駛員的眼睛特征信息,最后根據(jù)駕駛員的眼睛特征信息判斷駕駛員是否處于疲勞狀態(tài)。因此,本發(fā)明實(shí)施例的用于汽車的駕駛員疲勞預(yù)警檢測方法能夠自動(dòng)識別車內(nèi)駕駛員,并且可以學(xué)習(xí)不同駕駛員的疲勞過程和動(dòng)作,以及記憶駕駛員的疲勞特征,判斷出駕駛員是否處于疲勞狀態(tài),從而實(shí)現(xiàn)對駕駛員不專注精神狀態(tài)進(jìn)行預(yù)警,保證駕駛安全,并能夠減少誤判率。
[0017]根據(jù)本發(fā)明的一個(gè)實(shí)施例,在步驟32中,根據(jù)所述灰度共生矩陣對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲得所述車內(nèi)乘員的面部紋理特征信息,并根據(jù)所述車內(nèi)乘員的面部紋理特征信息識別出所述駕駛員。
[0018]根據(jù)本發(fā)明的一個(gè)實(shí)施例,在步驟33中,根據(jù)所述駕駛員的人臉位置信息進(jìn)行直方圖均衡處理和分區(qū)處理以鎖定所述駕駛員的眼部區(qū)域,并對所述駕駛員的眼部區(qū)域進(jìn)行連通域處理以獲取所述駕駛員的眼睛位置,以及根據(jù)所述駕駛員的眼睛位置提取所述駕駛員的眼部特征參數(shù)。
[0019]根據(jù)本發(fā)明的一個(gè)實(shí)施例,在步驟34中,根據(jù)1)61x108標(biāo)準(zhǔn)和8?神經(jīng)網(wǎng)絡(luò)算法判斷所述駕駛員是否處于所述疲勞狀態(tài)。
[0020]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實(shí)踐了解到。
【專利附圖】
【附圖說明】
[0021]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解,其中:
[0022]圖1為根據(jù)本發(fā)明實(shí)施例的駕駛員疲勞預(yù)警檢測系統(tǒng)的方框示意圖;
[0023]圖2八為紋理特征人臉膚色區(qū)域分割的示意圖;
[0024]圖28為通過紋理特征人臉定位結(jié)果的示意圖;
[0025]圖3為依據(jù)紋理特征初步實(shí)現(xiàn)人臉皮膚4111區(qū)域與其他區(qū)域的劃分的流程圖;
[0026]圖4八為人臉頭發(fā)區(qū)域分割結(jié)果的示意圖;
[0027]圖48為采用彩色空間膚色建模法人臉精確定位結(jié)果的示意圖;
[0028]圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的依據(jù)膚色空間區(qū)分膚色區(qū)域和頭發(fā)區(qū)域及精確定位人臉的流程圖;
[0029]圖6為人臉的“三庭”標(biāo)準(zhǔn)示意圖;
[0030]圖7為圖像去噪及人臉分區(qū)(1/2和1/3)鎖定流程圖;
[0031]圖8為眼部區(qū)域鎖定的算法流程圖;
[0032]圖9八為晚間人臉圖像情況的不意圖;
[0033]圖98為白天人臉圖像情況的不意圖;
[0034]圖10為皿氏七個(gè)不變矩計(jì)算流程圖;
[0035]圖11為8?神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖;
[0036]圖12為整合部分的整合流程圖;
[0037]圖13為根據(jù)本發(fā)明一個(gè)實(shí)施例的駕駛員疲勞預(yù)警檢測系統(tǒng)內(nèi)部模塊的頂層圖;以及
[0038]圖14為根據(jù)本發(fā)明實(shí)施例的用于汽車的駕駛員疲勞預(yù)警檢測方法的流程圖?!揪唧w實(shí)施方式】
[0039]下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的,僅用于解釋本發(fā)明,而不能解釋為對本發(fā)明的限制。
[0040]下文的公開提供了許多不同的實(shí)施例或例子用來實(shí)現(xiàn)本發(fā)明的不同結(jié)構(gòu)。為了簡化本發(fā)明的公開,下文中對特定例子的部件和設(shè)置進(jìn)行描述。當(dāng)然,它們僅僅為示例,并且目的不在于限制本發(fā)明。此外,本發(fā)明可以在不同例子中重復(fù)參考數(shù)字和/或字母。這種重復(fù)是為了簡化和清楚的目的,其本身不指示所討論各種實(shí)施例和/或設(shè)置之間的關(guān)系。此夕卜,本發(fā)明提供了的各種特定的工藝和材料的例子,但是本領(lǐng)域普通技術(shù)人員可以意識到其他工藝的可應(yīng)用于性和/或其他材料的使用。另外,以下描述的第一特征在第二特征之“上”的結(jié)構(gòu)可以包括第一和第二特征形成為直接接觸的實(shí)施例,也可以包括另外的特征形成在第一和第二特征之間的實(shí)施例,這樣第一和第二特征可能不是直接接觸。[0041]在本發(fā)明的描述中,需要說明的是,除非另有規(guī)定和限定,術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解,例如,可以是機(jī)械連接或電連接,也可以是兩個(gè)元件內(nèi)部的連通,可以是直接相連,也可以通過中間媒介間接相連,對于本領(lǐng)域的普通技術(shù)人員而言,可以根據(jù)具體情況理解上述術(shù)語的具體含義。
[0042]下面參照附圖來描述根據(jù)本發(fā)明實(shí)施例提出的駕駛員疲勞預(yù)警檢測系統(tǒng)、具有該系統(tǒng)的汽車和用于汽車的駕駛員疲勞預(yù)警檢測方法。
[0043]圖1為根據(jù)本發(fā)明實(shí)施例的駕駛員疲勞預(yù)警檢測系統(tǒng)的方框示意圖。如圖1所示,該駕駛員疲勞預(yù)警檢測系統(tǒng)包括視頻采集模塊10、面部識別模塊20、人眼檢測模塊30和判斷模塊40。
[0044]其中,視頻采集模塊10用于采集車內(nèi)乘員的圖像信息。在本發(fā)明的一個(gè)實(shí)施例中,視頻米集I旲塊10可以為攝像輸入部分。
[0045]面部識別模塊20通過灰度共生矩陣、彩色空間變換和膚色建模對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)所述駕駛員的人臉特征參數(shù)獲得所述駕駛員的人臉位置信息。
[0046]其中,根據(jù)本發(fā)明的一個(gè)實(shí)施例,面部識別模塊20根據(jù)所述灰度共生矩陣對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲得所述車內(nèi)乘員的面部紋理特征信息,并根據(jù)所述車內(nèi)乘員的面部紋理特征信息識別出所述駕駛員。
[0047]具體而言,在本發(fā)明的實(shí)施例中,在駕駛員面部識別過程中,首先通過紋理特征的不同,可以較好地區(qū)分黑夜下的人臉。例如采用灰度共生矩陣,并提取相關(guān)的四個(gè)特征變量,根據(jù)特征變量的值,從而實(shí)現(xiàn)人臉皮膚skin區(qū)域與其他區(qū)域的劃分,從而初步判斷人臉位置,并且夜晚效果更明顯。其中,紋理特征人臉膚色區(qū)域分割的示意圖如圖2A所示。
[0048]其中,對灰度共生矩陣的數(shù)學(xué)定義為:灰度共生矩陣是從圖像灰度值為i的像元(X,y)出發(fā),統(tǒng)計(jì)與其距離為d,灰度值為j的像元(x+a, y+b),同時(shí)出現(xiàn)的頻度P(i,j,d,Θ),其數(shù)學(xué)表達(dá)為:
【權(quán)利要求】
1.一種駕駛員疲勞預(yù)警檢測系統(tǒng),其特征在于,包括: 視頻采集模塊,用于采集車內(nèi)乘員的圖像信息; 面部識別模塊,所述面部識別模塊通過灰度共生矩陣、彩色空間變換和膚色建模對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)所述駕駛員的人臉特征參數(shù)獲得所述駕駛員的人臉位置信息; 人眼檢測模塊,用于根據(jù)所述駕駛員的人臉位置信息獲取所述駕駛員的眼部區(qū)域信息,并根據(jù)所述駕駛員的眼部區(qū)域信息獲取所述駕駛員的眼部特征參數(shù)以檢測所述駕駛員的眼睛特征信息; 判斷模塊,用 于根據(jù)所述駕駛員的眼睛特征信息與預(yù)設(shè)的眼睛特征閾值進(jìn)行比較以判斷所述駕駛員是否處于疲勞狀態(tài)。
2.如權(quán)利要求1所述的駕駛員疲勞預(yù)警檢測系統(tǒng),其特征在于,所述面部識別模塊根據(jù)所述灰度共生矩陣對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲得所述車內(nèi)乘員的面部紋理特征信息,并根據(jù)所述車內(nèi)乘員的面部紋理特征信息識別出所述駕駛員。
3.如權(quán)利要求1所述的駕駛員疲勞預(yù)警檢測系統(tǒng),其特征在于,所述人眼檢測模塊根據(jù)所述駕駛員的人臉位置信息進(jìn)行直方圖均衡處理和分區(qū)處理以鎖定所述駕駛員的眼部區(qū)域,并對所述駕駛員的眼部區(qū)域進(jìn)行連通域處理以獲取所述駕駛員的眼睛位置,以及根據(jù)所述駕駛員的眼睛位置提取所述駕駛員的眼部特征參數(shù)。
4.如權(quán)利要求1所述的駕駛員疲勞預(yù)警檢測系統(tǒng),其特征在于,所述判斷模塊根據(jù)1)61-0108標(biāo)準(zhǔn)和8?神經(jīng)網(wǎng)絡(luò)算法判斷所述駕駛員是否處于所述疲勞狀態(tài)。
5.如權(quán)利要求1-4任一項(xiàng)所述的駕駛員疲勞預(yù)警檢測系統(tǒng),其特征在于,還包括: 預(yù)警模塊,在所述駕駛員處于所述疲勞狀態(tài)時(shí)所述預(yù)警模塊發(fā)出報(bào)警提示。
6.一種汽車,其特征在于,包括如權(quán)利要求1-5任一項(xiàng)所述的駕駛員疲勞預(yù)警檢測系統(tǒng)。
7.一種用于汽車的駕駛員疲勞預(yù)警檢測方法,其特征在于,包括以下步驟: 31,采集車內(nèi)乘員的圖像信息; 32,通過灰度共生矩陣、彩色空間變換和膚色建模對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲取駕駛員的人臉特征參數(shù),并根據(jù)所述駕駛員的人臉特征參數(shù)獲得所述駕駛員的人臉位置信息; 33,根據(jù)所述駕駛員的人臉位置信息獲取所述駕駛員的眼部區(qū)域信息,并根據(jù)所述駕駛員的眼部區(qū)域信息獲取所述駕駛員的眼部特征參數(shù)以檢測所述駕駛員的眼睛特征信息; 34,根據(jù)所述駕駛員的眼睛特征信息與預(yù)設(shè)的眼睛特征閾值進(jìn)行比較以判斷所述駕駛員是否處于疲勞狀態(tài)。
8.如權(quán)利要求7所述的用于汽車的駕駛員疲勞預(yù)警檢測方法,其特征在于,在步驟32中,根據(jù)所述灰度共生矩陣對所述車內(nèi)乘員的圖像信息進(jìn)行處理以獲得所述車內(nèi)乘員的面部紋理特征信息,并根據(jù)所述車內(nèi)乘員的面部紋理特征信息識別出所述駕駛員。
9.如權(quán)利要求7所述的用于汽車的駕駛員疲勞預(yù)警檢測方法,其特征在于,在步驟33中,根據(jù)所述駕駛員的人臉位置信息進(jìn)行直方圖均衡處理和分區(qū)處理以鎖定所述駕駛員的眼部區(qū)域,并對所述駕駛員的眼部區(qū)域進(jìn)行連通域處理以獲取所述駕駛員的眼睛位置,以及根據(jù)所述駕駛員的眼睛位置提取所述駕駛員的眼部特征參數(shù)。
10.如權(quán)利要求7所述的用于汽車的駕駛員疲勞預(yù)警檢測方法,其特征在于,在步驟34中,根據(jù)?6代108標(biāo)準(zhǔn)和8?神經(jīng)網(wǎng)絡(luò)算法判斷所述駕駛員是否處于所述疲勞狀態(tài)。
【文檔編號】G08B21/06GK103839379SQ201410069318
【公開日】2014年6月4日 申請日期:2014年2月27日 優(yōu)先權(quán)日:2014年2月27日
【發(fā)明者】王魏, 李琦, 李穎濤, 李剛, 王亞楠, 喬志偉 申請人:長城汽車股份有限公司