專利名稱：人臉與車牌自動識別機(jī)器人的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像識別機(jī)器人，具體是一種人臉與車牌自動識別機(jī)器人。
背景技術(shù)：
目前，人臉自動識別研究大多是在一個(gè)固定或者標(biāo)準(zhǔn)的人臉圖像庫上進(jìn)行的。比如，英國劍橋大學(xué)采用ORL標(biāo)準(zhǔn)人臉圖像庫、美國Yale大學(xué)采用標(biāo)準(zhǔn)人臉圖像庫、US Army采用FERET人臉圖像庫、Umist實(shí)驗(yàn)室采用多姿態(tài)標(biāo)準(zhǔn)人臉圖像庫進(jìn)行人臉自動識別研究。標(biāo)準(zhǔn)人臉圖像庫提供的人臉特征參數(shù)處于靜止和穩(wěn)定的狀態(tài)，一旦建立了就不會改變。但是在實(shí)際應(yīng)用時(shí)，由于人臉通常處于活動狀態(tài)，因此采用標(biāo)準(zhǔn)人臉圖像庫進(jìn)行識別，其識別率低下。
對于活動的人臉自動識別問題，現(xiàn)在多數(shù)研究只是在攝像機(jī)處于靜止?fàn)顟B(tài)下對活動的人臉進(jìn)行識別，攝像機(jī)拍攝活動的人臉角度和范圍都非常有限。并且這些研究通常只采用單個(gè)攝像機(jī)對活動的人臉進(jìn)行識別，因而準(zhǔn)確率較低。
此外，目前對車牌號碼的自動識別研究，現(xiàn)有的識別技術(shù)還不能很好地識別出不完整或者傾斜以及模糊的車牌字符。

發(fā)明內(nèi)容
本發(fā)明克服了現(xiàn)有技術(shù)的不足，提供了一種活動的人臉與車牌自動識別機(jī)器人，它能夠在刑事偵察，出入境關(guān)口、軍事要地、政府機(jī)關(guān)、住宅小區(qū)、停車場所、公路收費(fèi)站等場合對來往的人員與車輛進(jìn)行監(jiān)控，實(shí)時(shí)、準(zhǔn)確、自動地識別出有關(guān)的人員與車輛，識別范圍寬。
為了解決上述技術(shù)問題，本發(fā)明的人臉與車牌自動識別機(jī)器人包括圖像輸入裝置，通過2個(gè)CMOS彩色攝像機(jī)和1塊圖像處理板來捕獲和預(yù)處理活動的人臉與車牌圖像；圖像追蹤裝置，通過5自由度雙眼立體視覺裝置、5個(gè)直流伺服電機(jī)和1個(gè)直流伺服驅(qū)動器以及1塊數(shù)據(jù)采集卡來控制2個(gè)CMOS彩色攝像機(jī)追蹤活動的人臉與車牌；人臉識別系統(tǒng)，通過與人臉樣本圖像庫進(jìn)行比對識別出人臉。所述人臉識別系統(tǒng)由使用嵌入式隱馬爾可夫(E-HMM)建模方法提取待識別人臉(前額、眼睛、鼻子、嘴、下巴)特征的特征提取部分、通過雙向嵌入式算法比較待識別人臉圖像與人臉樣本圖像E-HMM參數(shù)的最匹配概率識別部分、通過比較待識別人臉圖像與人臉樣本圖像歐式距離的算法、以及更新人臉樣本圖像庫的人臉數(shù)據(jù)更新部分構(gòu)成；車牌識別系統(tǒng)，用于識別出車牌號碼。所述車牌識別系統(tǒng)由將車牌圖像轉(zhuǎn)換為灰度圖像的車牌圖像預(yù)處理部分、用于定位車牌圖像中車牌號碼區(qū)域的車牌定位部分、用于提取單個(gè)車牌字符的車牌字符提取部分，以及用于識別所提取出的單個(gè)車牌字符的車牌字符識別部分構(gòu)成。
所述圖像追蹤裝置由5自由度雙眼立體視覺裝置、5個(gè)帶有光電編碼器的直流伺服電機(jī)和1個(gè)直流伺服驅(qū)動器以及1塊數(shù)據(jù)采集卡構(gòu)成，所述2臺CMOS彩色攝像機(jī)分別安裝于2個(gè)直流伺服電機(jī)上，所述2臺直流伺服電機(jī)分別與另外2臺直流伺服電機(jī)連接，所述另外2臺直流伺服電機(jī)共同與另1臺直流伺服電機(jī)連接，所述每臺直流伺服電機(jī)與直流電機(jī)驅(qū)動器連接，所述直流電機(jī)驅(qū)動器與1塊數(shù)據(jù)采集卡和個(gè)人計(jì)算機(jī)連接。
本發(fā)明的人臉與車牌自動識別機(jī)器人，還包括指紋識別裝置。所述指紋識別裝置由采集指紋的指紋采集儀、將所采集到的指紋分成左環(huán)、右環(huán)、拱、渦、棚狀拱、不辨型六類的指紋分類部分、求取指紋局部方向來提取紋型特征的紋型特征提取部分、通過可變大小的匹配門限進(jìn)行指紋匹配識別的指紋識別部分。
本發(fā)明的人臉與車牌自動識別機(jī)器人，還包括聲音識別裝置。所述聲音識別裝置由用于采集輸入語音，并處理為音頻數(shù)據(jù)格式的音頻采集部分、用于通過語音轉(zhuǎn)化和語音合成識別聲音的聲音識別部分。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)是能夠在實(shí)際環(huán)境中，實(shí)時(shí)、準(zhǔn)確、自動地識別出活動的人臉與車牌信息，識別范圍寬，識別準(zhǔn)確率高。


圖1是本發(fā)明的人臉與車牌自動識別機(jī)器人結(jié)構(gòu)示意圖；圖2是本發(fā)明的目標(biāo)追蹤流程圖；圖3是本發(fā)明的目標(biāo)追蹤算法框圖；圖4是本發(fā)明的人臉識別過程圖；圖5是本發(fā)明的人臉圖像特征提取流程圖；圖6是本發(fā)明的人臉圖像識別程序框圖；圖7是本發(fā)明的人臉圖像更新程序框圖；圖8是本發(fā)明的車牌識別過程圖；圖9是本發(fā)明的車牌圖像預(yù)處理程序框圖；圖10是本發(fā)明的車牌區(qū)域定位程序框圖；圖11是本發(fā)明的車牌字符分割程序框圖；圖12是本發(fā)明的車牌字符識別程序框圖；
圖13是本發(fā)明的指紋識別過程圖；圖14是本發(fā)明的指紋特征提取與分類過程圖；圖15是本發(fā)明的指紋特征一次匹配程序框圖；圖16是本發(fā)明的指紋特征二次匹配程序框圖；圖17是本發(fā)明的語音轉(zhuǎn)換識別過程圖。
具體實(shí)施例方式
下面結(jié)合附圖與具體實(shí)施方式
對本發(fā)明的人臉與車牌自動識別機(jī)器人作進(jìn)一步詳細(xì)地描述如圖1所示，兩個(gè)CMOS彩色攝像機(jī)1-1、1-2分別安裝于直流伺服電機(jī)2-1、2-2上，并通過圖像處理板3與個(gè)人計(jì)算機(jī)4連接，直流伺服電機(jī)2-1、2-2分別與直流伺服電機(jī)2-3、2-4連接，直流伺服電機(jī)2-3、2-4與直流伺服電機(jī)2-5連接，直流伺服電機(jī)2-1、2-2、2-3、2-4均與數(shù)據(jù)采集卡5、直流伺服電機(jī)驅(qū)動器6連接，5個(gè)光電編碼器分別安裝在5個(gè)直流伺服電機(jī)的轉(zhuǎn)軸上，直流伺服電機(jī)驅(qū)動器6與數(shù)據(jù)采集卡5以及人計(jì)算機(jī)4連接，語音輸入裝置8、指紋采集儀9分別與人計(jì)算機(jī)4連接。
所述兩個(gè)CMOS攝像機(jī)的間距為75mm，其鏡頭到直流伺服電機(jī)2-5的轉(zhuǎn)軸之間距離均為85mm，并選用三星SCC-421P型彩色攝像機(jī)；所述圖像處理板3選用可以將模擬視頻信號濾波，并完成A/D轉(zhuǎn)換后，直接通過PCI總線以25fps速度傳入個(gè)人計(jì)算機(jī)內(nèi)存、型號為TM2168的圖像處理板；所述數(shù)據(jù)采集卡5選用裝有100KHz 12Bit的A/D和D/A轉(zhuǎn)換器、提供8雙/16單模擬輸入通道和2路模擬輸出通道、支持軟件查詢方式和中斷方式、傳輸率達(dá)100K、PCI總線接口、同步工作頻率為33MHz、最高傳輸速率為132MB/S、型號為ART-PCI2003的數(shù)據(jù)采集卡；所述5個(gè)直流伺服電機(jī)均選用型號為R4322-76792A的直流伺服電機(jī)；所述個(gè)人計(jì)算機(jī)的主板為華碩P4C800、CPU為P42.0、RAM為512M、硬盤為80G。
如圖2所示，圖像跟蹤裝置工作過程包括如下步驟(1)2個(gè)CMOS彩色攝像機(jī)獲取目標(biāo)圖像時(shí)，通過圖像處理板將視頻信號預(yù)處理后直接傳入個(gè)人計(jì)算機(jī)；(2)5個(gè)光電編碼器將分別檢測到的5個(gè)直流伺服電機(jī)旋轉(zhuǎn)角度以脈沖信號的形式通過數(shù)據(jù)采集卡輸入個(gè)人計(jì)算機(jī)；(3)個(gè)人計(jì)算機(jī)對同時(shí)由2個(gè)CMOS彩色攝像機(jī)獲得的2幅圖像進(jìn)行定位處理，檢測出目標(biāo)(人臉或車牌)在2個(gè)圖像平面上的當(dāng)前位置，計(jì)算出其相對于2個(gè)CMOS彩色攝像機(jī)所在的空間位置；(4)個(gè)人計(jì)算機(jī)通過PID控制算法確定5個(gè)直流伺服電機(jī)的參考輸入，計(jì)算出5個(gè)直流伺服電機(jī)的指定旋轉(zhuǎn)角度(位置)；(5)5個(gè)直流伺服電機(jī)的指定旋轉(zhuǎn)角度(位置)通過數(shù)據(jù)采集卡輸出到直流伺服電機(jī)驅(qū)動器，控制5個(gè)直流伺服電機(jī)帶動2個(gè)CMOS彩色攝像機(jī)作上、下、左、右、旋轉(zhuǎn)運(yùn)動。
上述步驟(3)所述進(jìn)行目標(biāo)圖像定位處理，檢測目標(biāo)在圖像平面上當(dāng)前位置的流程如圖3所示，包括(1)個(gè)人計(jì)算機(jī)判斷目標(biāo)圖像是否需要進(jìn)行基于顏色的CamShift跟蹤。如果不需要，則選取目標(biāo)區(qū)域特征點(diǎn)進(jìn)行跟蹤，得到目標(biāo)位置；如果需要，則開始進(jìn)行CamShift跟蹤；(2)將目標(biāo)圖像從RGB轉(zhuǎn)換到HSV色彩空間，統(tǒng)計(jì)H分量直方圖；(3)根據(jù)H分量直方圖從當(dāng)前幀圖像生成反投影圖；
(4)根據(jù)前一幀圖像的投影圖，使用CamShift算法得到目標(biāo)在當(dāng)前幀的位置；(5)個(gè)人計(jì)算機(jī)判斷目標(biāo)圖像是否受到背景顏色干擾。如果受到背景顏色干擾，則選取目標(biāo)區(qū)域特征點(diǎn)進(jìn)行跟蹤，得到目標(biāo)位置；如果沒有受到背景顏色干擾，則得到目標(biāo)位置圖像，定位過程結(jié)束。
如圖4所示，人臉識別過程包括如下步驟(1)活動的(比如，行走過程中某人的)人臉圖像；(2)待測人臉圖像進(jìn)行跟蹤，捕獲人臉跟蹤圖像；(3)預(yù)處理捕獲的人臉圖像；(4)在預(yù)處理后的圖像中定位人臉圖像區(qū)域；(5)對預(yù)處理后的圖像進(jìn)行特征提取，計(jì)算其E-HMM參數(shù)；(6)將計(jì)算出的E-HMM參數(shù)與人臉樣本圖像庫中人臉E-HMM參數(shù)比對，識別出人臉或者提示未知信息。
上述步驟(4)所述在預(yù)處理后的圖像中定位人臉圖像區(qū)域采用Anil K.Jain的人臉膚色模型結(jié)合相似度以及人臉輪廓來進(jìn)行定位人臉，定義r＝R/(R+G+B)和b＝B/(R+G+B)，把三維基色空間降解成二維半基色空間，用基于頻域的同態(tài)濾波法對人臉圖像進(jìn)行光照補(bǔ)償處理。在二維的半基色空間上，人臉膚色區(qū)域相對集中，并近似地服從Gauss分布。根據(jù)所考察的像素離該中心的遠(yuǎn)近可得到一個(gè)膚色相似度，再給定一個(gè)閾值對該分布圖進(jìn)行二值化，進(jìn)而就可以確定人臉的區(qū)域。
上述步驟(5)所述對預(yù)處理后的圖像進(jìn)行特征提取，計(jì)算其E-HMM參數(shù)的流程如圖5所示，包含如下步驟(1)判斷人臉樣本圖像庫中存儲的圖像數(shù)目是否達(dá)到數(shù)據(jù)庫設(shè)定的人臉圖像總數(shù)。如果已經(jīng)達(dá)到，則終止建立；如果尚未達(dá)到，則繼續(xù)建立；(2)提取人臉具有代表性的姿態(tài)圖像；(3)訓(xùn)練第k個(gè)人的人臉圖像E-HMM參數(shù)；(4)重復(fù)步驟(1)的操作。
上述步驟(6)所述將預(yù)處理后的圖像E-HMM參數(shù)與人臉樣本圖像庫中的人臉E-HMM參數(shù)比對，識別出人臉或者提示未知信息的流程如圖6所述，包括(1)分別計(jì)算2臺CMOS攝像機(jī)獲得的待識別人臉圖像E-HMM參數(shù)a1和a2；(2)提取人臉樣本圖像庫中每個(gè)人臉E-HMM參數(shù)；(3)利用Vterbi算法計(jì)算所有訓(xùn)練過的樣本產(chǎn)生觀察向量的概率，通過比較匹配算法所給出的概率值來確定待識別的人臉，概率值計(jì)算公式為P(Ot/λk)＝max((P1(Ot/λp)+P2(Ot/λp))/2)，1≤p≤N，式中P(Ot/λk)為最匹配的概率值，N是人臉樣本圖像庫中的人臉總數(shù)，Ot表示人臉t的觀察向量，λp表示人臉樣本圖像庫中第p個(gè)對象的E-HMM參數(shù)；(4)由于本機(jī)器人采用了2個(gè)CMOS攝像機(jī)，能同時(shí)得到同一個(gè)人臉的2幅圖像，計(jì)算出與人臉樣本的匹配概率為Pn＝(P1+P2)/2，P1和P2分別表示由同一個(gè)人臉的兩幅圖像得到的2個(gè)匹配概率值。判斷待測人臉是否與人臉樣本匹配。如果匹配，識別出人臉；(5)如果不匹配，重復(fù)步驟(2)。
如圖7所示，人臉樣本圖像庫更新部分工作流程包括如下步驟(1)對待識別人臉圖像依據(jù)如圖4所示步驟進(jìn)行識別；(2)對識別出的人臉樣本圖像庫中的人臉圖像，計(jì)算其與該數(shù)據(jù)庫中人臉圖像9種姿態(tài)間歐式距離的最小值；(3)計(jì)算出的最小值小于閾值θ，則用此人臉圖像更新該數(shù)據(jù)庫中相應(yīng)的人臉姿態(tài)圖像，重新計(jì)算其E-HMM參數(shù)；(4)所計(jì)算出的最小值大于閾值θ，則不更新該數(shù)據(jù)庫中的人臉圖像數(shù)據(jù)。
如圖8所示，車牌識別過程包括如下步驟(1)捕獲慢速行駛中的汽車圖像；(2)對待測圖像進(jìn)行跟蹤，捕獲車牌跟蹤圖像；(3)預(yù)處理圖像；(4)從預(yù)處理后的圖像中定位出車牌區(qū)域；(5)分割車牌區(qū)域的車牌字符；(6)識別車牌字符；(7)與車牌樣本圖像數(shù)據(jù)庫中存儲的車牌進(jìn)行比對，識別出車主信息或者提示未知信息。
上述步驟(3)所述預(yù)處理圖像如圖9所示，包括(1)獲的彩色車牌圖像用灰度變換公式將其轉(zhuǎn)換成灰度圖像；(2)對轉(zhuǎn)換后的灰度圖像，用分段灰度線性函數(shù)進(jìn)行灰度拉伸；(3)采用基于頻域的同態(tài)濾波法對灰度圖像進(jìn)行光照補(bǔ)償處理；(4)用高斯—拉普拉斯算子對該灰度圖像進(jìn)行邊緣提取。
上述步驟(4)所述從預(yù)處理圖像中定位車牌區(qū)域如圖10所示，包括(1)從車牌圖像的首行開始，每隔5個(gè)像素水平地掃描車牌圖像，計(jì)算出每行的邊緣點(diǎn)總數(shù)；(2)找出水平方向邊緣總數(shù)最大的20行；(3)通過分析這20行的行號，根據(jù)穿過車牌區(qū)域的行號必定相鄰的特點(diǎn)，進(jìn)一步確定可能的車牌區(qū)水平位置；(4)用經(jīng)典的Hough變換在可能的車牌區(qū)水平位置區(qū)附近檢測直線，通過該區(qū)域附近檢測出的近似地構(gòu)成一個(gè)矩的兩對平行的直線區(qū)域確定車牌的外邊框位置；上述步驟(5)所述的分割車牌區(qū)域的車牌字符如圖11所示，包括(1)獲得車牌字符的最高點(diǎn)，用一個(gè)水平的滑動條從車牌區(qū)域的中間開始，逐行向上掃描這一條水平線段上所包含像素為1的點(diǎn)個(gè)數(shù)，確定一個(gè)閾值T1＝W1×0.05，其中W1為車牌區(qū)域的寬度，0.05為經(jīng)驗(yàn)數(shù)值，當(dāng)水平線段上像素點(diǎn)個(gè)數(shù)小于閾值T1時(shí)停止掃描；(2)獲得車牌字符的最低點(diǎn)，重復(fù)上述步驟(1)；(3)計(jì)算車牌字符的高度和寬度，車牌字符的高度H為字符最高點(diǎn)和最低點(diǎn)距離，字符的大約寬度W2＝H×0.8(0.8為經(jīng)驗(yàn)數(shù)值)；(4)分割出字符，用一條垂直的滑動條在車牌區(qū)域最左邊向右移大約一個(gè)字符的寬度，接著向左移動，當(dāng)滑動條上包含像素為1的個(gè)數(shù)變?yōu)?時(shí)停止掃描，確定車牌字符的左邊界；再將滑動條依次往右移動大約一個(gè)字符的寬度，當(dāng)滑動條上包含像素為1的個(gè)數(shù)變?yōu)?時(shí)停止掃描，確定字符的右邊界，根據(jù)左右邊界精確地分割出單個(gè)車牌字符。
上述步驟(6)所述的識別車牌字符如圖12所示，包括(1)用最鄰近插值法將精確分割出來的單個(gè)車牌字符歸一化為64×64大小的點(diǎn)陣；(2)依次取出模板字符，將模板字符按照上、下、左、右，4個(gè)方向周圍5個(gè)像素的范圍內(nèi)滑動，每次分別計(jì)算出L值，然后取其中的最大值Lmax作為字符與該模板字符之間相似度的值；
(3)依次從得到待識別字符與模板字符的相似度中找出最大相似度值所對應(yīng)的模板字符，然后判斷是否大于該字符的閾值T。如果L大于T，那么待識別字符的匹配結(jié)果就是該模板字符，如果小于T則拒絕識別。
如圖13所述，指紋識別過程包括如下步驟(1)建立存儲指紋特征值和用戶信息的指紋樣本數(shù)據(jù)庫；(2)初始化指紋采集儀，所述指紋采集儀選用SecuGen公司的FDU01光學(xué)指紋采集儀；(3)創(chuàng)建指紋識別軟件的類函數(shù)，所述指紋識別軟件選用FDx-SDK軟件開發(fā)包(包括fplib.dll動態(tài)鏈接庫)；(4)采集指紋圖像；(5)提取指紋特征值數(shù)據(jù)；(6)對已知指紋進(jìn)行用戶信息登記，對待查指紋的紋型特征進(jìn)行提取、分類；(7)對待查指紋進(jìn)行特征匹配，識別指紋；(8)刪除指紋識別軟件的類函數(shù)。
上述步驟(6)所述的指紋特征提取、分類如圖14所示，包括(1)指紋灰度圖像的點(diǎn)方向求取，用離散法取每一個(gè)方向上一定數(shù)量點(diǎn)的像素值，計(jì)算它們與該點(diǎn)灰度的累計(jì)差，累計(jì)差最小值對應(yīng)的方向即為該點(diǎn)的方向；(2)求取指紋灰度圖像的塊方向，用解析法求解塊方向圖；(3)建立一個(gè)3層前向神經(jīng)網(wǎng)絡(luò)，對大量指紋樣本進(jìn)行紋形分類，然后抽取每一類指紋的紋形特征送入該神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用誤差反向傳播算法讓該網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，并采用遺傳算法改進(jìn)該神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。根據(jù)訓(xùn)練目標(biāo)函數(shù)對該神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行迭代學(xué)習(xí)，找到最佳分類權(quán)值；(4)將通過步驟(1)和(2)獲得的點(diǎn)方向、塊方向輸入步驟(3)建立的神經(jīng)網(wǎng)絡(luò)，將待測指紋分成左環(huán)、右環(huán)、拱、渦、棚狀拱、不辨型等六類。
上述步驟(7)所述的指紋特征匹配如圖15、16所示，包括指紋特征一次匹配和指紋特征二次匹配，其中所述指紋特征一次匹配包括如下步驟(1)按照上述步驟(6)所述的特征提取步驟進(jìn)行特征提取，得到每個(gè)特征點(diǎn)的位置(x，y)和類型s(分叉點(diǎn)、末梢點(diǎn))，以及該點(diǎn)所在脊線的方向角度θ；(2)以該點(diǎn)為中心建立一個(gè)用于匹配的局部鄰域特征向量，與該中心點(diǎn)距離大于R(R＝10)的最近5個(gè)點(diǎn)(n1，n2，n3，n4，n5)作為其鄰域特征點(diǎn)，并與該中心點(diǎn)一起用來構(gòu)造局部特征向量；(3)假設(shè)待識別指紋為A，指紋樣本數(shù)據(jù)庫中任意一個(gè)指紋為B，點(diǎn)集A＝((x1A，y1A，s1A，θ1A)，……，(xMA，yMA，sMA，θMA))表示指紋A上的M個(gè)特征點(diǎn)，點(diǎn)集B＝((x1B，y1B，s1B，θ1B)，……，(xNB，yNB，sNB，θNB))表示指紋B上的N個(gè)特征點(diǎn)，對指紋A上的每個(gè)特征點(diǎn)建立局部特征向量，則可以得到一個(gè)M維的局部特征向量組，對指紋B上的每個(gè)特征點(diǎn)建立局部特征向量，則可以得到一個(gè)N維的局部特征向量組；(4)將指紋A的M維向量組和指紋B的N維向量組進(jìn)行比較，把指紋A中每一個(gè)特征點(diǎn)Ai(i＝1，2，…，M)的局部特征向量與指紋B中每一個(gè)特征點(diǎn)Bj(j＝1，2，…，N)的局部特征向量進(jìn)行一一匹配，將得到的匹配分?jǐn)?shù)記錄在矩陣ScoreM×N中。匹配分?jǐn)?shù)計(jì)算時(shí)，若Ai和Bj向量的中心點(diǎn)類型不一致，即siA≠sjB，則Score[i][j]＝0；若Ai和Bj向量的中心點(diǎn)類型一致，即siA＝sjB，且其5個(gè)鄰域分量中有n個(gè)鄰域點(diǎn)匹配，則Score[i][j]＝n(1≤n≤5)；(5)完成匹配后，在矩陣Score的每一行中標(biāo)記出匹配分?jǐn)?shù)最大且不為零的元素，根據(jù)這些元素的位置確定特征點(diǎn)Ai與Bj的一一對應(yīng)，其分?jǐn)?shù)總和稱為總匹配分?jǐn)?shù)，并記作GAB。使用相對匹配分?jǐn)?shù)S＝100×GAB/(M×5)作為初匹配的判決條件，并設(shè)置初匹配門限為最高匹配分?jǐn)?shù)Smax和最低匹配分?jǐn)?shù)Smin。若S＜Smin,為不匹配，不再進(jìn)入第二階段；若Smin≤S≤Smax，需進(jìn)行二次匹配；若S＞Smax，則A和B來自同一指紋。
所述指紋特征二次匹配包括如下步驟(1)按照所述指紋特征一次匹配過程中標(biāo)記出的匹配矩陣Score中分?jǐn)?shù)值最大的元素Score[p][q]，以指紋A的第p個(gè)點(diǎn)Ap和B的第q個(gè)點(diǎn)Bq作為對2枚指紋進(jìn)行全局坐標(biāo)校準(zhǔn)的最佳參考點(diǎn)；(2)直接剔除相差較大的輸入指紋圖像，對點(diǎn)集的坐標(biāo)進(jìn)行調(diào)整，坐標(biāo)校準(zhǔn)后得到的點(diǎn)集記為A’＝(A1’，A2’，…，AM’)，B’＝(B1’，B2’，…，BN’)；(3)將A’中的每個(gè)點(diǎn)與B’中的每個(gè)點(diǎn)進(jìn)行基于限界盒的一一匹配，采取以匹配度由高到低的原則建立Ai’與Bj’的一一對應(yīng)，建立M×N維的匹配度矩陣，進(jìn)而識別出待測指紋。
本發(fā)明的人臉與車牌識別機(jī)器人的聲音識別過程包括如下步驟(1)利用麥克風(fēng)作為語音識別子系統(tǒng)的輸入裝置，實(shí)時(shí)采集音頻數(shù)據(jù)送入到語音識別服務(wù)器(ASR)中進(jìn)行識別，所述語音識別子系統(tǒng)選用北京捷通華聲語音技術(shù)公司Nusuara語音識別引擎的語音識別子系統(tǒng)；(2)使用Microsoft Windows提供的低級音頻函數(shù)進(jìn)行音頻數(shù)據(jù)采集和預(yù)處理；(3)采用面向?qū)ο蟮姆椒?，利用Nusuara語音識別引擎提供的接口函數(shù)完成ASR初始化，詞庫資源生成，將音頻數(shù)據(jù)送入ASR進(jìn)行語音識別；(4)將識別結(jié)果從ASR中輸出，通過語音轉(zhuǎn)換模塊將語音信息輸出。
上述步驟(4)所述的語音轉(zhuǎn)換模塊，如圖17所示包括如下步驟(1)文句分析，采用隱藏式馬可夫模型算法將所輸入的文字加以分析，得到音節(jié)和詞的語言特征參數(shù)；(2)產(chǎn)生韻律，通過韻律產(chǎn)生器將語言特征參數(shù)送入韻律產(chǎn)生器來產(chǎn)生文句的每個(gè)音節(jié)對應(yīng)的韻律信息，包括基頻軌跡、音量、音長等，將說話的音調(diào)、語氣、停頓方式，發(fā)音長短轉(zhuǎn)換為韻律參數(shù)；(3)語音合成，通過語音合成器根據(jù)韻律參數(shù)，將語料庫中所得到的語音檔案加以調(diào)整，所述語音合成采用波形拼接法，根據(jù)需要的發(fā)音從聲音資料中選擇出合適的聲學(xué)參數(shù)，然后根據(jù)韻律模型中得到的韻律參數(shù)，透過語音合成演算法產(chǎn)生語音；(4)語料對比，通過將文句分析的結(jié)果和語料庫做比較查詢，并找出最適當(dāng)?shù)恼Z音檔案作輸出。
權(quán)利要求
1.一種人臉與車牌自動識別機(jī)器人，其特征在于包括圖像輸入裝置，通過2個(gè)CMOS彩色攝像機(jī)和1塊圖像處理板來捕獲和預(yù)處理活動的人臉與車牌圖像；圖像追蹤裝置，通過5自由度雙眼立體視覺裝置、5個(gè)直流伺服電機(jī)和1個(gè)直流伺服驅(qū)動器、1塊數(shù)據(jù)采集卡來控制2個(gè)CMOS彩色攝像機(jī)追蹤活動的人臉與車牌；人臉識別系統(tǒng)，通過與人臉樣本圖像庫進(jìn)行比對識別出人臉；由使用嵌入式隱馬爾可夫(E-HMM)建模方法提取待識別人臉的前額、眼睛、鼻子、嘴、下巴的特征提取部分、通過雙向嵌入式算法比較待識別人臉圖像與人臉樣本圖像E-HMM參數(shù)的最匹配概率識別部分、通過比較待識別人臉圖像與人臉樣本圖像歐式距離的算法、以及更新人臉樣本圖像庫的人臉數(shù)據(jù)更新部分構(gòu)成；車牌識別系統(tǒng)，用于識別出車牌號碼；所述車牌識別系統(tǒng)由將車牌圖像轉(zhuǎn)換為灰度圖像的車牌圖像預(yù)處理部分、用于定位車牌圖像中車牌號碼區(qū)域的車牌定位部分、用于提取單個(gè)車牌字符的車牌字符提取部分、用于識別所提取出的單個(gè)車牌字符的車牌字符識別部分構(gòu)成。
2.根據(jù)權(quán)利要求1所述人臉與車牌自動識別機(jī)器人，其特征在于所述圖像追蹤裝置由5自由度雙眼立體視覺裝置、5個(gè)帶有光電編碼器的直流伺服電機(jī)和1個(gè)直流伺服驅(qū)動器以及1塊數(shù)據(jù)采集卡構(gòu)成；所述2臺CMOS彩色攝像機(jī)分別安裝于2個(gè)直流伺服電機(jī)上，所述2臺直流伺服電機(jī)分別與另外2臺直流伺服電機(jī)連接，所述另外2臺直流伺服電機(jī)共同與另1臺直流伺服電機(jī)連接；所述每臺直流伺服電機(jī)與直流電機(jī)驅(qū)動器連接；所述直流電機(jī)驅(qū)動器與1塊數(shù)據(jù)采集卡和個(gè)人計(jì)算機(jī)連接。
3.根據(jù)權(quán)利要求1或2所述人臉與車牌自動識別機(jī)器人，其特征還包括指紋識別裝置，所述指紋識別裝置由采集指紋的指紋采集儀、將采集到的指紋分成左環(huán)、右環(huán)、拱、渦、棚狀拱、不辨型六類指紋分類部分、求取指紋局部方向來提取紋型特征的紋型特征提取部分、通過可變大小的匹配門限進(jìn)行指紋匹配識別的指紋識別部分。
4.根據(jù)權(quán)利要求3所述人臉與車牌自動識別機(jī)器人，其特征在于還包括聲音識別裝置，所述聲音識別裝置由用于采集輸入語音，并處理為音頻數(shù)據(jù)格式的音頻采集部分、用于通過語音轉(zhuǎn)化和語音合成識別聲音的聲音識別部分構(gòu)成。
全文摘要
本發(fā)明公開了一種在實(shí)際環(huán)境中，實(shí)時(shí)和準(zhǔn)確地識別出活動的人臉與車牌號碼的機(jī)器人；該機(jī)器人包括2個(gè)用于獲取活動的人臉與車牌圖像的CMOS彩色攝像機(jī)和1塊圖像處理板以及1臺個(gè)人計(jì)算機(jī)、用于追蹤活動的人臉與車牌的5自由度雙眼立體視覺裝置、5個(gè)直流伺服電機(jī)和1個(gè)直流伺服驅(qū)動器以及1塊數(shù)據(jù)采集卡、通過與人臉樣本圖像庫比對識別人臉的人臉識別系統(tǒng)、用于識別車牌號碼的車牌識別系統(tǒng)，還包括指紋識別裝置，聲音識別裝置。本發(fā)明適用于刑事偵察、出入境關(guān)口、軍事要地的人員與車輛實(shí)時(shí)監(jiān)控，政府機(jī)關(guān)和住宅小區(qū)進(jìn)出口安全檢查、停車場所和公路收費(fèi)站收費(fèi)管理等領(lǐng)域。
文檔編號G06K9/00GK1801181SQ200610032659
公開日2006年7月12日 申請日期2006年1月6日 優(yōu)先權(quán)日2006年1月6日
發(fā)明者肖南峰 申請人:華南理工大學(xué)