專利名稱：基于面部圖像識別技術的評判實際道路駕駛員考試的方法
技術領域：
本發(fā)明涉及一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，特別是在駕駛員考試科目三實際道路考試中，可以實現(xiàn)科目三實際道路考試過程中與面部識別有關的自動評判項目。
背景技術：
現(xiàn)有科目三實際道路考試的方式是人工評判的方式，考官坐在考車上，發(fā)出考試指令，對考生考試情況作出評價，評定分數(shù)，并作為考生的最終考試成績。這種考試方式的缺點是考試成績合理性較差，有時甚至容易引發(fā)職務犯罪。在公安部111號令中有13項評判涉及對考生面部動作進行識別，評判程序需要實時知道考生面部的動作。因此按照公安部111號令的標準，實現(xiàn)電子自動評判，最終得出考生成績，提高實際道路考試的規(guī)范化水平、自動化水平是一項迫切的任務。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明的目的是提供一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，實現(xiàn)在考試過程中，按照公安部111號令的標準對考生成績，尤其是涉及面部評判的項目，進行電子自動評判，最終得出考生成績，提高實際道路考試的規(guī)范化水平和自動化水平。為了解決上述技術間題，本發(fā)明采用了如下的技術方案一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，它包括如下步驟(1)獲取考生面部特征輪廓標準矩形的標準尺寸，具體包括以下步驟a、獲得考生頭部照片，b、將頭部位置的圖片灰度化；C、將灰度化的圖片二值化，即將圖片變?yōu)楹诎變缮籨、將區(qū)域內(nèi)黑白像素塊作連通性分析，分別獲得眉毛、眼睛、鼻孔、嘴巴和頭發(fā)部位的黑色區(qū)域像素塊，以及各個黑色區(qū)域像素塊的外切矩形尺寸；并找出每個獨立黑色區(qū)域像素塊外切矩形的中心點的豎向坐標X，橫向坐標Y ；e、取出以眼睛和鼻孔為特征的面部特征輪廓矩形將步驟d得到的面部各個部位的黑色區(qū)域像素塊兩兩比對，如果兩個像素塊的中心點橫向坐標Y在同一水平線上，并且兩像素塊的中心點連線的中點在面部輪廓的豎直方向的中心線處，則判斷這兩個像素塊可能為眼睛、眉毛或鼻孔；根據(jù)寬度可以區(qū)別出鼻孔；通過上下位置區(qū)分出眼睛和眉毛；將眼睛和鼻孔的封閉區(qū)域作矩形，得到面部特征輪廓矩形；f、獲取多幅考生面部圖像，重復步驟b_e，得到該考生的多個面部特征輪廓矩形， 取其中寬度尺寸和高度尺寸概率大的的矩形尺寸，作為該考生的面部特征輪廓標準矩形的標準尺寸，存儲該標準尺寸，作為考試過程中評判對比的依據(jù)；(2)進入考試，獲取考生的當前頭部圖像；(3)重復步驟b_e，得到考試過程中考生的當前面部特征輪廓矩形尺寸；(4)將步驟C3)得到的當前面部特征輪廓矩形尺寸與步驟f得到的面部特征輪廓標準矩形的標準尺寸比較如果考生左右擺動頭部，則當前面部特征輪廓矩形的寬度尺寸會發(fā)生變化，由此可以判斷出考生在觀察左右后視鏡；如果考生低頭，則當前面部特征輪廓矩形的高度尺寸會發(fā)生變化，由此可以判斷出考生在低頭看擋。其中，步驟c中，二值化的閾值為80。其中，步驟d中，連通性分析是在純黑和純白組成的二值化圖像中，將像素連在一起的黑色區(qū)域取出，處理結果是獲得彼此不相連的黑色區(qū)域像素塊，如眼睛部分的黑色區(qū)域像素塊、頭發(fā)部分的黑色區(qū)域像素塊。其中，步驟f中，獲取考生的面部特征輪廓矩形的標準尺寸采用如下的方法在獲得的多個面部特征輪廓矩形的多個高度尺寸和寬度尺寸中，分別將高度尺寸、寬度尺寸的最大值和最小值去掉，即將最大高度值、最小高度值、最大寬度值和最小寬度值去掉；然后將剩余的高度尺寸取平均值，即得到面部特征輪廓標準矩形的高度尺寸；將剩余寬度尺寸取平均值，即得到面部特征輪廓標準矩形的寬度尺寸。其中，步驟中，根據(jù)鼻孔區(qū)域黑色像素塊的位置是變低還是變高來區(qū)分考生是低頭還是仰頭，如果鼻孔區(qū)域黑色像素塊的位置變高，則判斷考生是仰頭；如果鼻孔區(qū)域黑色像素塊的位置變低，則判斷考生是低頭。其中，如果考生的當前面部特征輪廓矩形的寬度尺寸小于等于面部特征輪廓標準矩形的寬度尺寸的85%，則判斷考生在左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的寬度尺寸大于面部特征輪廓標準矩形的寬度尺寸的85%，則判斷考生沒有左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的高度尺寸小于等于面部特征輪廓標準矩形的高度尺寸的85%，且當前面部特征輪廓矩形中的鼻孔區(qū)域像素塊的位置相較于面部特征輪廓標準矩形中的鼻孔位置變低時，則判斷考生在低頭看擋；則判斷考生在低頭看擋；如果考生的當前面部特征輪廓矩形的高度尺寸大于面部特征輪廓標準矩形的高度尺寸的85%，判斷考生沒有低頭看檔。本發(fā)明的原理是圖像獲取設備采用正對人臉的車載攝像頭，獲取人臉視頻快照， 然后通過灰度化處理、二值化處理、連通區(qū)域提取、特征輪廓的提取，進而得到考生面部特征輪廓的標準尺寸作為評判依據(jù)。獲取考生面部特征輪廓的標準尺寸是在考生正式考試前，車載語音會提示考生頭部擺正，獲取面部特征輪廓，作為標準輪廓；考生在考試過程中， 攝像頭以IHz的頻率獲取快照，并通過圖像識別軟件提取考生當前的面部特征輪廓，與考生的標準特征輪廓作比較當頭部左右擺動時，當前面部特征輪廓矩形的寬度比標準尺寸小，頭部上下擺動時，考生當前特征輪廓矩形的高度比標準尺寸小。進而實現(xiàn)實際道路考試中，實現(xiàn)電子評判的目的。有益效果本發(fā)明的評判方法實現(xiàn)了對公安部111號令中規(guī)定的13個項目的自動化、規(guī)范化評判。在這13個項目中，當考生按照規(guī)定必須左右觀察后視鏡時，本發(fā)明可以將考生當前面部特征輪廓尺寸與考生的面部特征輪廓標準矩形的標準尺寸進行比較如果考生當前面部特征輪廓寬度沒有發(fā)生變化，則可判斷考生沒有左右觀察后視鏡；如果寬度變小，則說明考生左右觀察了后視鏡；當考生按照規(guī)定不能低頭看檔位時，如果考生當前面部特征輪廓的高度沒有發(fā)生變化，則可判斷考生沒有低頭；如果高度變小，則說明考生低頭。采用本發(fā)明的評判方式誤判率幾乎為零，且有效的減少了科目三考試中的人為因素，實現(xiàn)了自動化、規(guī)范話的評判，并且適合大規(guī)模推廣應用。


圖1為本發(fā)明的流程圖。圖2為本發(fā)明面部輪廓特征矩形獲取流程圖。圖3為車載攝像頭拍攝的未識別的照片。圖4對照片中人臉區(qū)域進行灰度化后結果。圖5對人臉區(qū)域進行二值化后結果。圖6提取黑色連通像素后結果。圖7提取面部特征輪廓矩形后結果。
具體實施例方式下面結合附圖對本發(fā)明做更進一步的解釋。本發(fā)明作為實際道路考試系統(tǒng)的一部分，可以實現(xiàn)科目三實際道路考試中與面部轉(zhuǎn)動有關的自動評判項目?？颇咳龑嶋H道路考試中考查的科目，以及評判規(guī)則如下1.綜合評判項目換檔時低頭看檔或者連續(xù)兩次換檔不進；2.起步起步前，未通過后視鏡并向左方側(cè)頭，觀察左、后方交通情況；3.直線行駛超過20秒不通過后視鏡觀察后方交通情況；4.變更車道變更車道前，不通過內(nèi)、外后視鏡觀察后方道路交通情況；5.通過路口 直行通過路口不觀察左、右方交通情況；6.通過路口 轉(zhuǎn)彎通過路口時，未觀察側(cè)前方交通情況或未通過內(nèi)、外后視鏡觀察側(cè)、后方交通情況；7.通過人行橫道不觀察左、右方交通情況；8.通過學校區(qū)域不觀察左、右方交通情況；9.通過公共汽車站不觀察左、右方交通情況；10.超車超車前不通過內(nèi)、外后視鏡觀察后方和左側(cè)交通情況；11.靠邊停車停車前，不通過內(nèi)、外后視鏡觀察后方和右側(cè)交通情況；12.靠邊停車停車后，在車內(nèi)開門前不側(cè)頭觀察側(cè)后方和左側(cè)交通情況；13.掉頭不能正確觀察交通情況選擇掉頭時機。本發(fā)明的利用面部圖像識別技術來評判實際道路考試的方法，如圖1所示，它包括如下步驟(1)獲取考生面部特征輪廓標準矩形的標準尺寸，具體包括以下步驟a、獲得考生頭部照片，如圖3所示。當考生上車后，語音提示考生正視前方，正對考生的車載攝像頭開始攝像，車載工控機的主控程序每1秒鐘獲取一幀圖像，通常取其中的10幀圖像即可，然后每幀圖像都經(jīng)過下述步驟b-e的步驟進行處理。b、將頭部位置的圖片灰度化，如圖4所示。
C、將灰度化的圖片二值化，即將圖片變?yōu)楹诎變缮?。二值化的閾值可以根?jù)天氣等情況，不斷進行修正，一般二值化的閾值為80左右，即可獲得比較清晰的二值化黑白色圖像。如圖5所示。d、將區(qū)域內(nèi)黑白像素塊作連通性分析，獲得眉毛、眼睛、鼻孔、嘴巴和頭發(fā)各個部位的黑色區(qū)域像素塊，以及這些黑色區(qū)域像素塊的外切矩形尺寸；并根據(jù)外切矩形找出每個獨立的黑色區(qū)域像素塊外切矩形的中心點的豎向坐標X，橫向坐標Y。該圖片上的所有部位的黑色區(qū)域像素塊的中心點坐標均以該照片的左下角的基準點為準即可。其中的連通性分析是在純黑和純白組成的二值圖像中，將像素連在一起的黑色區(qū)域取出，處理結果是獲得彼此不相連的黑色塊，如眼睛部分的黑色區(qū)域像素塊、鼻子部分的黑色區(qū)域像素塊、嘴巴部分的黑色區(qū)域像素塊、頭發(fā)部分的黑色區(qū)域像素塊。如圖6所示。e、取出以眼睛和鼻孔為特征的面部特征輪廓矩形將步驟d得到的各個黑色像素塊的兩兩比對，如果兩個像素塊的中心點橫向坐標Y在同一水平線上，并且兩像素塊的中心點連線的中點在面部輪廓的豎直方向的中心線附近，(中心線即考生在絕大多數(shù)情況下正視前方時的面部輪廓中心線，該中心線通過前期大量實驗照片可以獲得)，則判斷其可能為眼睛、眉毛或鼻孔。由于兩個鼻孔之間的距離比兩個眼睛或兩個眉毛之間的距離短，所以根據(jù)寬度的經(jīng)驗值可以區(qū)別出鼻孔。由于眉毛在眼睛上面，所以可以通過上下位置區(qū)別眼睛和眉毛。然后將眼睛和鼻孔的封閉區(qū)域作外切矩形，如圖7所示。根據(jù)兩個眼睛、兩個鼻孔的像素塊的中心點組成的封閉區(qū)域做矩形，得到面部特征輪廓矩形。即兩個眼睛像素塊的中心點位于矩形的上邊，且是上邊的兩個端點；兩個鼻孔像素塊的中心點位于矩形的下邊， 兩個眼睛像素塊的中心點與下邊的垂直交點為下邊的兩個端點。步驟a-e即為面部特征輪廓矩形的獲取流程，如圖2所示。f、實施例所述的上述的10幀圖像經(jīng)過步驟b-e的處理，得到該考生的10個面部特征輪廓矩形。在這多幅面部特征輪廓矩形尺寸中，取概率最大的寬度尺寸和高度尺寸作為面部特征輪廓標準矩形的標準尺寸的寬度尺寸(橫向尺寸)和高度尺寸(豎向尺寸)。具體做法如下在上述10個面部特征輪廓矩形得到的10對高度尺寸和寬度尺寸中，分別將高度、寬度的最大值和最小值去掉，即將最大高度值、最小高度值、最大寬度值和最小寬度值去掉；然后將剩余的8個高度尺寸取平均值，(即將剩余8個高度尺寸相加，除以8)，即得到面部特征輪廓標準矩形的高度尺寸；將剩余的8個寬度尺寸取平均值(即將剩余8個寬度尺寸相加，除以8)，即得到面部特征輪廓標準矩形的寬度尺寸。實施例所示的考生的由眼睛和鼻孔像素塊的中心點組成的封閉區(qū)域，即面部特征輪廓標準的高度和寬度分別為像素值37x58。一般在處理面部圖像時，都是以像素為單位來表示寬度和高度尺寸的，省去了轉(zhuǎn)換成的麻煩，且可以獲得更準確的判斷結果。通過上述圖像識別技術處理，獲取由眼部和鼻孔組成的面部特征輪廓標準矩形， 獲取正常狀態(tài)下的面部特征輪廓標準矩形作為標準尺寸，將該標準尺寸存儲，作為考試過程中評判對比的依據(jù)。在獲取考生面部特征輪廓標準矩形圖像時，考車還通過語音提示，提醒考生頭部不要移動以便獲取面部矩形的標準尺寸。以后每次面部是否上下左右擺動，即由獲取的當前面部特征輪廓矩形尺寸與本步驟得到的面部特征輪廓標準矩形的標準尺寸進行比對，以此來判斷頭部是否上下、左右擺動。例如在主控程序判斷進入考試項目后，如通過人形橫道，如果當前面部特征輪廓矩形的橫向尺寸與面部特征輪廓標準矩形的標準尺寸相比沒有變化，就識別出頭部沒有左、右擺動，則扣分。(2)進入考試，獲取考生的當前面部特征輪廓圖像。本步驟中，獲取考生當前面部特征輪廓圖像可以是連續(xù)采集，一直進行比較；也可以是考車發(fā)出考試指令的同時，采集考生當前面部特征輪廓圖像。(3)重復步驟b_e，得到考試過程中考生的當前面部特征輪廓矩形尺寸。(4)將步驟( 得到的當前面部特征輪廓矩形尺寸與步驟f得到的面部特征輪廓標準矩形的標準尺寸比較如果考生左右擺動頭部，則當前面部特征輪廓矩形的橫向尺寸(寬度)會發(fā)生變化，由此可以判斷出考生在觀察左右后視鏡。如果考生低頭，則當前面部特征輪廓矩形的豎向尺寸(高度)會發(fā)生變化。在此， 須識別出仰頭和低頭，具體方法是根據(jù)鼻孔區(qū)域黑色像素塊的位置是變低還是變高來區(qū)分考生是低頭還是仰頭，如果鼻孔區(qū)域黑色像素塊的位置變高，則判斷考生是仰頭；如果鼻孔區(qū)域黑色像素塊的位置變低，則判斷考生是低頭。另外為了進一步準確的獲知考生的頭部狀況，采用如下方法進行區(qū)別如果考生的當前面部特征輪廓矩形的橫向尺寸(即寬度尺寸)小于等于面部特征輪廓標準矩形的橫向尺寸(即寬度尺寸)的85%，則判斷考生在左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的橫向尺寸(即寬度尺寸)大于面部特征輪廓標準矩形的橫向尺寸(即寬度尺寸)的85%，則判斷考生沒有左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的豎向尺寸(即高度尺寸)小于等于面部特征輪廓標準矩形的豎向尺寸(即高度尺寸)的85%，且當前面部特征輪廓矩形中的鼻孔區(qū)域像素塊的位置相較于面部特征輪廓標準矩形中的鼻孔位置變低時，則判斷考生在低頭看擋；如果考生的當前面部特征輪廓矩形的豎向尺寸(即高度尺寸)大于面部特征輪廓標準矩形的豎向尺寸(即高度尺寸)的85%，判斷考生沒有低頭看擋。所取85%值據(jù)考試寬嚴要求可以修改。例如相對于實施例所示的該考生面部特征輪廓標準矩形的標準尺寸(高度X寬度)37x58，當考生頭部左右擺動時，與標準尺寸的寬度尺寸相比，考生的當前面部特征輪廓矩形的寬度像素值變小為48時，則判斷考生在觀察左右后視鏡；如果考生的當前面部特征輪廓矩形的寬度像素值變小為50時，則判斷考生沒有觀察左右后視鏡。同樣的，相對于實施例所示的標準尺寸，考生的當前面部特征輪廓矩形的高度像素值變小為30，且當前面部特征輪廓矩形中的鼻孔區(qū)域像素塊的位置相較于面部特征輪廓標準矩形中的鼻孔位置變低時，則判斷考生在低頭看擋；如果考生的當前面部特征輪廓矩形的高度像素值變小為32時，則判斷考生沒有低頭看擋。通過本發(fā)明的方法可以判斷科目三實際道路考試中的上述13個項目中，考生是否滿足考試規(guī)則，實現(xiàn)科目三考試中，判斷考生是否觀察左右后視鏡，以及低頭看擋的全自動電子評判，摒除人為評判的缺陷和不足。
權利要求
1.一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于它包括如下步驟(1)獲取考生面部特征輪廓標準矩形的標準尺寸，具體包括以下步驟a、獲得考生頭部照片，b、將頭部位置的圖片灰度化；C、將灰度化的圖片二值化，即將圖片變?yōu)楹诎變缮?；d、將區(qū)域內(nèi)黑白像素塊作連通性分析，分別獲得眉毛、眼睛、鼻孔、嘴巴和頭發(fā)部位的黑色區(qū)域像素塊，以及各個黑色區(qū)域像素塊的外切矩形尺寸；并找出每個獨立黑色區(qū)域像素塊外切矩形的中心點的豎向坐標X，橫向坐標Y ；e、取出以眼睛和鼻孔為特征的面部特征輪廓矩形將步驟d得到的面部各個部位的黑色區(qū)域像素塊兩兩比對，如果兩個像素塊的中心點橫向坐標Y在同一水平線上，并且兩像素塊的中心點連線的中點在面部輪廓的豎直方向的中心線處，則判斷這兩個像素塊可能為眼睛、眉毛或鼻孔；根據(jù)寬度可以區(qū)別出鼻孔；通過上下位置區(qū)分出眼睛和眉毛；將眼睛和鼻孔的封閉區(qū)域作矩形，得到面部特征輪廓矩形；f、獲取多幅考生面部圖像，重復步驟b-e，得到該考生的多個面部特征輪廓矩形，取其中寬度尺寸和高度尺寸概率大的的矩形尺寸，作為該考生的面部特征輪廓標準矩形的標準尺寸，存儲該標準尺寸，作為考試過程中評判對比的依據(jù)；(2)進入考試，獲取考生的當前頭部圖像；(3)重復步驟b-e，得到考試過程中考生的當前面部特征輪廓矩形尺寸；(4)將步驟C3)得到的當前面部特征輪廓矩形尺寸與步驟f得到的面部特征輪廓標準矩形的標準尺寸比較如果考生左右擺動頭部，則當前面部特征輪廓矩形的寬度尺寸會發(fā)生變化，由此可以判斷出考生在觀察左右后視鏡；如果考生低頭，則當前面部特征輪廓矩形的高度尺寸會發(fā)生變化，由此可以判斷出考生在低頭看擋。
2.根據(jù)權利要求1所述的一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于步驟c中，二值化的閾值為80。
3.根據(jù)權利要求1所述的一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于步驟d中，連通性分析是在純黑和純白組成的二值化圖像中，將像素連在一起的黑色區(qū)域取出，處理結果是獲得彼此不相連的黑色區(qū)域像素塊，如眼睛部分的黑色區(qū)域像素塊、頭發(fā)部分的黑色區(qū)域像素塊。
4.根據(jù)權利要求1所述的一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于步驟f中，獲取考生的面部特征輪廓矩形的標準尺寸采用如下的方法 在獲得的多個面部特征輪廓矩形的多個高度尺寸和寬度尺寸中，分別將高度尺寸、寬度尺寸的最大值和最小值去掉，即將最大高度值、最小高度值、最大寬度值和最小寬度值去掉； 然后將剩余的高度尺寸取平均值，即得到面部特征輪廓標準矩形的高度尺寸；將剩余寬度尺寸取平均值，即得到面部特征輪廓標準矩形的寬度尺寸。
5.根據(jù)權利要求1所述的一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于步驟中，根據(jù)鼻孔區(qū)域黑色像素塊的位置是變低還是變高來區(qū)分考生是低頭還是仰頭，如果鼻孔區(qū)域黑色像素塊的位置變高，則判斷考生是仰頭；如果鼻孔區(qū)域黑色像素塊的位置變低，則判斷考生是低頭。
6.根據(jù)權利要求1或5所述的一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，其特征在于步驟中，如果考生的當前面部特征輪廓矩形的寬度尺寸小于等于面部特征輪廓標準矩形的寬度尺寸的85%，則判斷考生在左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的寬度尺寸大于面部特征輪廓標準矩形的寬度尺寸的85%，則判斷考生沒有左右觀察后視鏡；如果考生的當前面部特征輪廓矩形的高度尺寸小于等于面部特征輪廓標準矩形的高度尺寸的85%，且當前面部特征輪廓矩形中的鼻孔區(qū)域像素塊的位置相較于面部特征輪廓標準矩形中的鼻孔位置變低時，則判斷考生在低頭看擋；如果考生的當前面部特征輪廓矩形的高度尺寸大于面部特征輪廓標準矩形的高度尺寸的85%，判斷考生沒有低頭看擋。
全文摘要
本發(fā)明公開了一種基于面部圖像識別技術的評判實際道路駕駛員考試的方法，它包括如下步驟獲取考生面部特征輪廓標準矩形的標準尺寸；進入考試，獲取考生的當前頭部圖像；得到考試過程中考生的當前面部特征輪廓矩形尺寸；將當前面部特征輪廓矩形尺寸與面部特征輪廓標準矩形的標準尺寸比較如果考生左右擺動頭部，則當前面部特征輪廓矩形的寬度會發(fā)生變化，由此可以判斷出考生在觀察左右后視鏡；如果考生低頭，則當前面部特征輪廓矩形的高度會發(fā)生變化，由此可以判斷出考生在低頭看擋。采用本發(fā)明的評判方式，誤判率幾乎為零，且有效的減少了科目三考試中評判的人為因素，并且適合大規(guī)模推廣應用。
文檔編號G06K9/64GK102306293SQ20111021719
公開日2012年1月4日 申請日期2011年7月29日 優(yōu)先權日2011年7月29日
發(fā)明者劉海青, 錢嵊山 申請人:南京多倫科技有限公司