本專利涉及計(jì)算機(jī)視覺、模式識(shí)別和圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法。

背景技術(shù)：

目前駕駛員違規(guī)通話檢測(cè)技術(shù)主要有兩種方式，第一種即為傳統(tǒng)的檢測(cè)方式——交通警察現(xiàn)場(chǎng)執(zhí)法，該方式存在浪費(fèi)警力資源、效率低下、難以取證的問題；第二種是基于手機(jī)信號(hào)的檢測(cè)方法，即檢測(cè)車輛行駛過程中是否存在手機(jī)通話信號(hào)，當(dāng)乘客使用手機(jī)通話時(shí)，該方法易對(duì)駕駛員的通話行為進(jìn)行誤判。針對(duì)上述存在問題，本專利提出應(yīng)用視頻技術(shù)，基于手部膚色特征、時(shí)間閾值、唇部動(dòng)作特征以及手機(jī)輪廓特征等多源信息特征融合，對(duì)車輛行駛過程中駕駛員違規(guī)使用手機(jī)通話進(jìn)行檢測(cè)。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)存在的缺點(diǎn)與不足，本發(fā)明提供一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法，能夠更好地對(duì)駕駛員違規(guī)通話進(jìn)行檢測(cè)，其具有準(zhǔn)確度高、可靠性強(qiáng)以及穩(wěn)定性好的優(yōu)點(diǎn)。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法，包括如下步驟：

S1、攝像頭采集圖像數(shù)據(jù)；

S2、對(duì)采集的圖像數(shù)據(jù)的圖像像素點(diǎn)進(jìn)行特征分類；

S3、對(duì)特征分類后的圖像數(shù)據(jù)，提取手部位置特征、判斷時(shí)間閾值特征、提取唇部動(dòng)作特征以及提取手機(jī)線條輪廓特征；

S4、根據(jù)步驟S3中的各個(gè)特征，分別建立手部位置特征的違規(guī)通話準(zhǔn)則、唇部動(dòng)作特征的違規(guī)通話準(zhǔn)則以及手機(jī)條輪廓特征的違規(guī)通話準(zhǔn)則；

S5、判定駕駛員是否違規(guī)通話：若駕駛員存在步驟S4中3項(xiàng)違規(guī)通話準(zhǔn)則中至少的2項(xiàng)時(shí)，則判定駕駛員正在進(jìn)行違規(guī)通話。

進(jìn)一步地，所述步驟S1，其具體為：攝像頭采集交通場(chǎng)景中的圖像數(shù)據(jù)，并將采集的圖像數(shù)據(jù)進(jìn)行預(yù)處理：將彩色圖像轉(zhuǎn)換為灰度圖像，將灰度圖像進(jìn)行縮小，并進(jìn)行直方圖均衡化處理；所述攝像頭為車外高清攝像頭或車載監(jiān)控。

進(jìn)一步地，所述步驟S2的特征分類，其具體為：對(duì)圖像像素點(diǎn)首先進(jìn)行Haar特征分類；然后對(duì)進(jìn)行Haar特征分類后的圖像像素點(diǎn)再進(jìn)行LBP特征分類；最后對(duì)圖像像素點(diǎn)構(gòu)建Haar特征和LBP特征級(jí)聯(lián)的人臉感興趣AOI區(qū)域。

進(jìn)一步地，所述步驟S3的提取手部位置特征，具體為：

運(yùn)用手部膚色模型方法進(jìn)行手部位置檢測(cè)，在手部位置檢測(cè)過程中，還包括一項(xiàng)臉部膚色映射技術(shù)：臉部面積大，膚色特征明顯，將臉部膚色特征進(jìn)行提取，再將膚色特征映射到感興趣區(qū)域內(nèi)進(jìn)行手部膚色的檢測(cè)。

進(jìn)一步地，所述步驟S4的手部位置特征的違規(guī)通話準(zhǔn)則指：對(duì)駕駛員打電話的生理特點(diǎn)進(jìn)行統(tǒng)計(jì)，判斷手部位置在感興趣的區(qū)域內(nèi)是否停留超過一定的時(shí)間，若超過，則定義為違規(guī)通話準(zhǔn)則。

進(jìn)一步地，所述步驟S3的提取唇部動(dòng)作特征，其具體為：

1)首先檢測(cè)唇部所在區(qū)域，根據(jù)人臉的拓?fù)浣Y(jié)構(gòu)分布，得到唇部位于人臉的下半部分，選擇高為人臉下1/2、寬為人臉中間3/4的矩形區(qū)域作為粗略估計(jì)的唇部所在區(qū)域；

2)在得到唇部所在區(qū)域后，根據(jù)唇部皮膚顏色和臉部皮膚顏色，使用Fisher判別法進(jìn)行區(qū)分，得到唇部；

3)在得到唇部后，進(jìn)行唇部的動(dòng)作檢測(cè)：求出唇部的外接矩形包絡(luò)，得到外接矩形的高和寬，當(dāng)唇部的外接矩形寬高比大于閾值1.8時(shí)，唇部狀態(tài)判定為閉合；當(dāng)寬高比小于閾值1.8時(shí)，判定為張開。

進(jìn)一步地，所述步驟S4，唇部動(dòng)作特征的違規(guī)通話準(zhǔn)則指：若唇部張開，則定義為違規(guī)通話準(zhǔn)則。

進(jìn)一步地，所述步驟S3中提取手機(jī)線條輪廓特征，其具體為：在圖像數(shù)據(jù)中劃分感興趣區(qū)域，使用模板匹配方法查找手機(jī)線條輪廓特征；以及采取粗精結(jié)合的算法迅速鎖定匹配點(diǎn)位置區(qū)域。

進(jìn)一步地，所述步驟S4中手機(jī)條輪廓特征的違規(guī)通話準(zhǔn)則指的是：若在感興趣區(qū)域內(nèi)存在手機(jī)線條輪廓，則定義為違規(guī)通話準(zhǔn)則。

采用上述技術(shù)方案后，本發(fā)明至少具有如下有益效果：本發(fā)明方法的人臉檢測(cè)準(zhǔn)確度高、魯棒性好、穩(wěn)定性好；打手機(jī)行為判別漏檢率低，誤檢率低；算法簡(jiǎn)單直白，穩(wěn)定性強(qiáng)。

附圖說(shuō)明

圖1為本發(fā)明一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法的軟件主界面；

圖2為本發(fā)明一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法的大致步驟流程圖；

圖3為本發(fā)明實(shí)施例中Haar特征分類器的特征類別示意圖；

圖4為本發(fā)明實(shí)施例中Haar特征分類器的特征計(jì)算方法積分圖；

圖5為本發(fā)明實(shí)施例中LBP特征的算子示意圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)說(shuō)明。

如圖1所示，為本發(fā)明方法的軟件主界面：界面左半部分為視頻輸入框，圖中人物上出現(xiàn)的綠色圓框表示檢測(cè)到人臉；綠色方框中的“王”子形黃色線條為臉部膚色映射；人臉兩側(cè)的方框?yàn)楦信d趣區(qū)域；方框內(nèi)手部出現(xiàn)的紅色斑點(diǎn)為檢測(cè)到手部存在；界面右半部分為輸出框，右上框?yàn)閰?shù)設(shè)置，右下框卡通臉表示檢測(cè)結(jié)果，笑臉為正常，哭臉為檢測(cè)到打電話行為；餅狀圖顯示違規(guī)行為幀數(shù)占總的比例。

本發(fā)明一種基于多維信息特征融合的駕駛員違規(guī)通話檢測(cè)方法，大致步驟如圖2所示，具體步驟為：

(1)輸入違規(guī)通話待測(cè)圖片，對(duì)每個(gè)像素點(diǎn)選用Haar特征分類器進(jìn)行分類，對(duì)分類結(jié)果再使用LBP特征再分類；

如圖3所示，Haar特征分類器由以下14個(gè)基本子特征組成；

邊緣特征有4種：x方向，y方向，x傾斜方向，y傾斜方向；線特征有8種，中心特征有2種；每一種特征的計(jì)算都是由黑色填充區(qū)域的像素值之和與白色填充區(qū)域的像素值之和的差值；而計(jì)算出來(lái)的這個(gè)差值就是Haar‐like特征的特征值；

特征計(jì)算方法——積分圖：依次計(jì)算，多次使用。對(duì)基本特征進(jìn)行積分如此得到白色像素點(diǎn)區(qū)域A和黑色像素點(diǎn)區(qū)域B：

如圖4所示，Haar特征的值(灰度值)為白色矩形減去黑色矩形的值，將此灰度值與待測(cè)像素點(diǎn)的灰度值進(jìn)行比較，從而提取出人臉像素點(diǎn)；

(2)LBP特征：如圖5所示，在3×3鄰域內(nèi)的，以鄰域中心像素為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若大于中心像素值，則該像素值標(biāo)記為1，否則為0；然后，在3×3鄰域內(nèi)將標(biāo)記后的像素值，沿順時(shí)針逐一取出，構(gòu)成8位二進(jìn)制數(shù)，即得到該鄰域中心像素點(diǎn)的LBP特征值，并用該值來(lái)描述該區(qū)域的紋理信息；

定義公式：

將人臉圖像分為7×7的子區(qū)域，并在子區(qū)域內(nèi)根據(jù)LBP值統(tǒng)計(jì)其直方圖，以直方圖作為其判別特征；

假設(shè)人臉直方圖為Mi，待匹配人臉直方圖為Si，通過直方圖交叉核方來(lái)獲取人臉像素點(diǎn)區(qū)域，構(gòu)成初略的人臉AOI

待測(cè)像素點(diǎn)經(jīng)過兩個(gè)分類器：Haar特征分類器和LBP特征分類器的整個(gè)過程，便是分類器級(jí)聯(lián)的過程；

(3)在初略人臉AOI內(nèi)，以人臉兩側(cè)的一定區(qū)域(寬為人臉框0.7倍，高為人臉框1.6倍)，設(shè)置精細(xì)人臉AOI；

(4)在精細(xì)的AOI內(nèi)構(gòu)建人臉膚色模型，用以檢測(cè)手部的存在；將采集人臉圖像由RGB色彩空間轉(zhuǎn)換為YCrCb色彩空間：

在YCrCb色彩空間，人臉膚色特征值集中分布在近似于橢圓的區(qū)域內(nèi)，由此建立人臉膚色區(qū)域與其他區(qū)域分割模型；

(5)根據(jù)駕駛?cè)舜螂娫挼纳硖攸c(diǎn)統(tǒng)計(jì)得出，認(rèn)為手部位置在感興趣區(qū)域停留超過5s以上的，視為在駕駛員使用手機(jī)違規(guī)通話；

(6)考慮到不同膚色人種特征的差異性，應(yīng)用人臉膚色模型，修正駕駛員手部檢測(cè)結(jié)果；即鑒于駕駛員臉部的膚色特征明顯，具有代表性，在實(shí)現(xiàn)人臉定位后，提取臉部的膚色特征，并將它映射到精細(xì)AOI內(nèi)，以此修正手部膚色特征；

(7)唇部動(dòng)作檢測(cè)，主要包括唇部位置定位和唇部狀態(tài)檢測(cè)；

粗略檢測(cè)：根據(jù)人臉的拓?fù)浣Y(jié)構(gòu)分布——唇部位于人臉的下半部分；選擇高為人臉下1/2，寬為人臉中間3/4的矩形區(qū)域作為粗略估計(jì)的唇部區(qū)域；

精細(xì)檢測(cè)：得到唇部的粗略位置后，該區(qū)域內(nèi)主要存在的是唇部區(qū)域和皮膚區(qū)域；從顏色角度，主要是唇部顏色和皮膚顏色，我們使用Fisher判別法來(lái)進(jìn)行區(qū)分；

Fisher線性判別法的唇部分割具體步驟是：

1)均衡化圖像亮度并提高圖像對(duì)比度：將RGB空間轉(zhuǎn)換為HSV空間，分離出V分量，即亮度值分量，對(duì)其進(jìn)行直方圖均衡化，求出新的V分量并重新合并后，再次轉(zhuǎn)換為RGB空間；

2)去除椒鹽噪聲；

3)按光照條件分類進(jìn)行Fisher判別：

計(jì)算圖像平均亮度，將其與亮度閾值比較，判斷為正常光照還是暗光照條件，判斷得出亮度閾值約為125，再通過實(shí)驗(yàn)結(jié)果得出精確值取128；而后使用相應(yīng)的Fisher判別式進(jìn)行判別，得出掩膜二值圖；

4)尋找經(jīng)過去除噪聲后的圖像的所有連通區(qū)域，計(jì)算每個(gè)連通區(qū)域的面積，篩選出可能為唇部面積的連通區(qū)域，藉此過濾掉雜質(zhì)等偽輪廓的干擾。

5)對(duì)過濾后得到的連通區(qū)域進(jìn)行矩形包絡(luò)；

唇部的運(yùn)動(dòng)檢測(cè)：找到唇部位置之后，求出唇部區(qū)域的外接矩形包絡(luò)，得到外接矩形的高和寬，當(dāng)唇部的外接矩形寬高比大于閾值1.8時(shí)，唇部狀態(tài)判定為閉合；當(dāng)寬高比小于閾值1.8時(shí)，判定為張開；

(8)手機(jī)輪廓模板匹配：在一幅大圖像中搜尋目標(biāo)，且該目標(biāo)同模板有相同的尺寸、方向和圖像；在本方案中，把搜尋目標(biāo)范圍縮小至感興趣區(qū)域AOI中，在此區(qū)域中應(yīng)用訓(xùn)練好的手機(jī)輪廓模板進(jìn)行相似度匹配；進(jìn)行匹配的方法是粗精結(jié)合算法：

粗精結(jié)合算法：每隔3個(gè)像素點(diǎn)進(jìn)行一次粗匹配,匹配率大于70％時(shí)，便框定匹配區(qū)域,然后在周圍區(qū)域逐一檢索以獲得最佳匹配點(diǎn)；

搜集近2000張打手機(jī)的圖片，把在打電話時(shí)手機(jī)的形狀特征進(jìn)行擬合，近似于一個(gè)長(zhǎng)寬比特別大的矩形；

訓(xùn)練正樣本；

訓(xùn)練負(fù)樣本；

(9)考慮到駕駛員在駕駛過程中存在：穿戴手套行為，打手機(jī)時(shí)間小于5s等特殊行為特征，在算法中添加“或”；手部位置特征、時(shí)間閾值特征、唇部動(dòng)作特征、手機(jī)輪廓特征四者滿足三個(gè)即最終判定結(jié)果為在進(jìn)行過違規(guī)通話行為。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以理解的是，在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種等效的變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同范圍限定。