專利名稱：數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，屬機(jī)器視覺領(lǐng)域的技術(shù)產(chǎn)品。
目前，人臉識(shí)別常用的研究方法有幾何特征方法[1]，特征臉方法[2]，SVD分解方法[3]，人臉等密度線分析方法[4]，彈性圖匹配方法[5]等。引證文件1.W Bledsoe.Man-machine facial recognition.Panoramic Research Inc，PaloAlto，CA，1966，Rep PRI22.
2.Turk M，Pentland A.Face recognition using eigenfaces.InProc.of IEEEConf.on CVPR，1991586-591.
3.Ziquan Hong.Algebraic feature extraction of image for recognition.PatternRecognition，1991，24(3)211-219.
4.Nakamura O，Mathur S，Minami T.Identification of human faces based onisodensity maps.Pattern Recognition，1991，24(3)263-272.
5.Lades M，Vorbuggen J，Buhman J et al.Distortion invariant objectrecognition in the dynamic link architecture.IEEE Trans.On Computers，1991，42(3)300-311.
6.Lawrence Rabiner，Biing-Hwang Juang. Fundamentals of SpeechRecognition.Pretice-Hall International，Inc.1993，321-389.
隱馬爾可夫模型(Embedded Hidden Markov Models，EHMM)的方法[6]。隱馬爾可夫模型是一系列描述信號(hào)統(tǒng)計(jì)特性的統(tǒng)計(jì)模型，它包括一個(gè)基本的不可觀察的馬爾可夫鏈(Markov Chain)。馬爾可夫鏈包括有限個(gè)狀態(tài)、狀態(tài)轉(zhuǎn)移概率矩陣和初始狀態(tài)概率分布。雖然狀態(tài)是隱藏的(即不可直接觀察)，但狀態(tài)能夠根據(jù)概率分布(不管是離散還是連續(xù)的)產(chǎn)生觀察量。

發(fā)明內(nèi)容
本發(fā)明的數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)提出在人臉識(shí)別中采用內(nèi)含隱馬爾可夫模型(Embedded Hidden Markov Models，EHMM)的方法[6]。對(duì)于一幅正面的人臉來說，馬爾可夫的“狀態(tài)”包括頭發(fā)、前額、眼睛、鼻子和嘴巴，這些狀態(tài)以相同的順序從上到下出現(xiàn)，即使是圖像平面有一定程度的傾斜。因此，這些臉上的特征區(qū)域被指定為一個(gè)狀態(tài)，即從上到下的一維連續(xù)HMM。如果一維HMM中的每個(gè)狀態(tài)是由HMM表達(dá)的，那么這個(gè)一維的HMM稱為內(nèi)含的隱馬爾可夫模型(EHMM，Embedded HMM)。這樣，在一個(gè)EHMM中包含了沿一個(gè)方向上的一系列超狀態(tài)(super states)和另一個(gè)方向上的一系列內(nèi)含狀態(tài)(embedded states)。超狀態(tài)用來構(gòu)建一個(gè)方向上的二維數(shù)據(jù)，內(nèi)含狀態(tài)用來構(gòu)建另一個(gè)方向上的數(shù)據(jù)。
本發(fā)明的隱馬爾可夫模型的組成元素包括1.N0個(gè)超狀態(tài)S0＝{S0，i)，1≤i≤N0；2.初始超狀態(tài)分布，П0＝{π0，i}，π0，i是超狀態(tài)i出現(xiàn)在零時(shí)間的概率；3.超狀態(tài)轉(zhuǎn)移概率矩陣，A0＝{α0，ij)，α0，ij是超狀態(tài)i轉(zhuǎn)移到超狀態(tài)j的概率；4.內(nèi)含隱馬爾可夫模型Λ，包括●超狀態(tài)k中的內(nèi)含狀態(tài)數(shù)目N1(k)，以及其中的內(nèi)含狀態(tài)S1(k)＝{S1，i(k)}，1≤i≤N1(k)；●初始狀態(tài)分布Π1(k)＝{π1，i(k)}，π1，i(k)是超狀態(tài)k中的內(nèi)含狀態(tài)i出現(xiàn)在零時(shí)間的概率；●狀態(tài)轉(zhuǎn)移概率矩陣A1(K)＝{a1，jk(k)}，a1，jk(k)是超狀態(tài)k中的內(nèi)含狀態(tài)j轉(zhuǎn)移到內(nèi)含狀態(tài)k的概率；5.狀態(tài)概率矩陣B(k)＝{bi(k)(Ot0，t1)}，Ot0，t1是圖像中t0行t1列的觀察向量；令Λ(k)＝{Π1(k)，A1(k)，B(k)}為定義超狀態(tài)k的系列參數(shù)，則內(nèi)含馬爾可夫模型可以用下式來表示λ=(Π0,A0,Λ},(Λ={Λ(1),Λ(2),Λ(3),KΛ(N0)})]]>本發(fā)明采用由標(biāo)準(zhǔn)的開放式(off-shelf)組件構(gòu)成硬件配置，結(jié)合發(fā)明人研究開發(fā)的基于內(nèi)含隱馬爾可夫模型識(shí)別方法的軟件模塊，形成一套完整的數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，實(shí)現(xiàn)對(duì)靜態(tài)(如照片等)和動(dòng)態(tài)(如行人)人臉以機(jī)器視覺技術(shù)進(jìn)行實(shí)時(shí)在線自動(dòng)識(shí)別，同時(shí)實(shí)現(xiàn)采用并行處理技術(shù)對(duì)整個(gè)系統(tǒng)的軟、硬件進(jìn)行多任務(wù)管理。本系統(tǒng)在實(shí)時(shí)識(shí)別人臉的同時(shí)，還可以提供實(shí)時(shí)識(shí)別結(jié)果存儲(chǔ)查詢以及實(shí)時(shí)遠(yuǎn)程數(shù)據(jù)交換。
本發(fā)明的數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的技術(shù)方案為數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)硬件由視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)組成。軟件由圖像采集模塊、分割模塊、預(yù)處理模塊、識(shí)別模塊、并行處理模塊、數(shù)據(jù)存儲(chǔ)查詢模塊、顯示模塊、報(bào)警模塊、遠(yuǎn)程傳輸模塊組成。
利用機(jī)器視覺技術(shù)自動(dòng)識(shí)別人臉的數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，其實(shí)現(xiàn)步驟如下1.把視頻輸入器(1)對(duì)準(zhǔn)標(biāo)定視場(chǎng)內(nèi)的被測(cè)照片(靜態(tài))或行人(動(dòng)態(tài))；2.把視頻輸入器(1)連接到數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的圖像采集卡(2)的視頻輸入端；3.將欲執(zhí)行人臉檢測(cè)任務(wù)的系統(tǒng)軟件程序存入并行處理器(3)的程序存儲(chǔ)器中；4.啟動(dòng)系統(tǒng)的并行處理器(3)，CPU按程序初始化系統(tǒng)硬件視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)，并初始化系統(tǒng)軟件，同時(shí)自動(dòng)建立標(biāo)準(zhǔn)人臉模板庫(kù)；5.并行處理器(3)調(diào)用圖像采集軟件模塊控制圖像采集卡(2)按系統(tǒng)預(yù)先設(shè)定的或由用戶設(shè)定的采樣周期采集視頻輸入器(1)視場(chǎng)內(nèi)的照片(靜態(tài))或行人(動(dòng)態(tài))圖像；6.并行處理器(3)調(diào)用分割軟件模塊對(duì)采集到內(nèi)存的照片(靜態(tài))或行人(動(dòng)態(tài))圖像進(jìn)行分割處理并提取出人臉圖像；7.并行處理器(3)調(diào)用預(yù)處理軟件模塊將提取出的人臉圖像進(jìn)行預(yù)處理，消除背景噪聲；8.并行處理器(3)調(diào)用識(shí)別軟件模塊對(duì)預(yù)處理后的人臉圖像進(jìn)行識(shí)別；9.如果經(jīng)過識(shí)別的人臉與標(biāo)準(zhǔn)人臉庫(kù)中的人臉相符，并行處理器(3)調(diào)用報(bào)警軟件模塊發(fā)出聲光報(bào)警提示信號(hào)；10.并行處理器(3)調(diào)用顯示軟件模塊把經(jīng)過識(shí)別的人臉按照最大相似性原則顯示在顯示器(4)上；11.并行處理器(3)調(diào)用數(shù)據(jù)存儲(chǔ)查詢軟件模塊把經(jīng)過識(shí)別的人臉實(shí)時(shí)存入數(shù)據(jù)庫(kù)中，供實(shí)時(shí)或事后排查；12.并行處理器(3)調(diào)用遠(yuǎn)程傳輸軟件模塊把識(shí)別結(jié)果通過并行處理器(3)上的通信端口傳輸?shù)竭h(yuǎn)程指揮中心；13.并行處理器(3)調(diào)用并行處理軟件模塊對(duì)以上所敘的a至g項(xiàng)的任務(wù)進(jìn)行多任務(wù)管理以及并行處理，同時(shí)控制系統(tǒng)的開始、停止、人工干預(yù)和異常情況處理。
本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)1.采用以內(nèi)含隱馬爾可夫模型為核心的識(shí)別方法以及開放式的硬件體系構(gòu)建數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，實(shí)現(xiàn)對(duì)靜態(tài)(如照片等)和動(dòng)態(tài)(如行人)人臉圖像進(jìn)行實(shí)時(shí)在線自動(dòng)識(shí)別；
2.基于內(nèi)含隱馬爾可夫模型的識(shí)別方法對(duì)人臉表情的變化、人臉模式的多樣性、人臉角度變化、人臉的姿態(tài)、光線變化等條件具有一定的不敏感性；3.易于標(biāo)定人臉圖像；4.采用并行處理機(jī)制對(duì)整個(gè)系統(tǒng)的軟、硬件進(jìn)行多任務(wù)管理；5.本系統(tǒng)在實(shí)時(shí)識(shí)別人臉的同時(shí)，還可以提供實(shí)時(shí)識(shí)別結(jié)果查詢以及實(shí)時(shí)遠(yuǎn)程數(shù)據(jù)交換。
6.可實(shí)時(shí)自動(dòng)識(shí)別人臉同時(shí)提供被測(cè)人臉直觀的真彩色圖像；7.非接觸無損；8.系統(tǒng)既可以獨(dú)立運(yùn)行又可以與中心控制室進(jìn)行遠(yuǎn)程數(shù)據(jù)交換；9.采樣周期可人工從毫秒調(diào)節(jié)到秒、分、時(shí)；10.多種配置的模糊查詢功能提供了現(xiàn)場(chǎng)實(shí)時(shí)查詢和事后排查的方便性。
數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)可廣泛應(yīng)用于安全、公安、軍事、海關(guān)、銀行、賓館、企業(yè)、政府等部門出入口，以及其它行業(yè)需要進(jìn)行人臉自動(dòng)識(shí)別的場(chǎng)所，是保障公共安全的有力技術(shù)工具。
附圖
2為數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的工作原理框圖。
附圖3為數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的軟件流程圖。
本發(fā)明的視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)、顯示屏(4)均是可直接購(gòu)置的標(biāo)準(zhǔn)器件。
數(shù)字視頻動(dòng)態(tài)人臉自動(dòng)識(shí)別系統(tǒng)可以安裝在安全、公安、軍事、海關(guān)、銀行、賓館、企業(yè)、政府等部門行人出入口，或其它行業(yè)需要進(jìn)行人臉自動(dòng)識(shí)的場(chǎng)所，系統(tǒng)視頻輸入器(1)可采用模擬或數(shù)字?jǐn)z像機(jī)，攝像機(jī)的安裝高度約1至20米。并行處理器(3)一般安裝在保安人員值班室或有關(guān)人員辦公室內(nèi)，也可安裝在室外，但需要進(jìn)行防水、防塵、防盜等處理。視頻輸入器(1)與并行處理器(3)的連接如果采用視頻電纜，則間距通常不超過300米，采用郵電線路、計(jì)算機(jī)網(wǎng)絡(luò)線路、光纜或無線通信連接時(shí)，間距可達(dá)通信線路長(zhǎng)度的物理極限。如果人臉識(shí)別結(jié)果需要遠(yuǎn)程傳輸?shù)街笓]中心，則可通過標(biāo)準(zhǔn)的公共通信或?qū)Ｓ猛ㄐ啪€路連通并行處理器(3)的通信端口和指揮中心的數(shù)據(jù)連端口即可。
利用機(jī)器視覺技術(shù)對(duì)動(dòng)態(tài)人臉進(jìn)行自動(dòng)識(shí)別采用下列步驟1.把視頻輸入器(1)對(duì)準(zhǔn)出入口標(biāo)定視場(chǎng)內(nèi)的被測(cè)行人；2.把視頻輸入器(1)連接到數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的圖像采集卡(2)的視頻輸入端；3.將欲執(zhí)行人臉檢測(cè)任務(wù)的系統(tǒng)軟件程序存入并行處理器(3)的程序存儲(chǔ)器中；4.啟動(dòng)系統(tǒng)的并行處理器(3)，CPU按程序初始化系統(tǒng)硬件視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)，并初始化系統(tǒng)軟件，同時(shí)自動(dòng)建立標(biāo)準(zhǔn)人臉模板庫(kù)；5.并行處理器(3)調(diào)用圖像采集軟件模塊控制圖像采集卡(2)按系統(tǒng)預(yù)先設(shè)定的或由用戶設(shè)定的采樣周期采集視頻輸入器(1)視場(chǎng)內(nèi)的行人圖像；6.并行處理器(3)調(diào)用分割軟件模塊對(duì)采集到內(nèi)存的行人圖像進(jìn)行分割處理并提取出人臉圖像；7.并行處理器(3)調(diào)用預(yù)處理軟件模塊將提取出的人臉圖像進(jìn)行預(yù)處理，消除背景噪聲；8.并行處理器(3)調(diào)用識(shí)別軟件模塊對(duì)預(yù)處理后的人臉圖像進(jìn)行識(shí)別；9.如果經(jīng)過識(shí)別的人臉與標(biāo)準(zhǔn)人臉庫(kù)中的人臉相符，并行處理器(3)調(diào)用報(bào)警軟件模塊發(fā)出聲光報(bào)警提示信號(hào)；10.并行處理器(3)調(diào)用顯示軟件模塊把經(jīng)過識(shí)別的人臉按照最大相似性原則顯示在顯示器(4)上；11.并行處理器(3)調(diào)用數(shù)據(jù)存儲(chǔ)查詢軟件模塊把經(jīng)過識(shí)別的人臉實(shí)時(shí)存入數(shù)據(jù)庫(kù)中，供事后排查；12.并行處理器(3)調(diào)用遠(yuǎn)程傳輸軟件模塊把識(shí)別結(jié)果通過并行處理器(3)上的通信端口傳輸?shù)竭h(yuǎn)程指揮中心；13.并行處理器(3)調(diào)用并行處理軟件模塊對(duì)以上所敘的a至g項(xiàng)的任務(wù)進(jìn)行多任務(wù)管理以及并行處理，同時(shí)控制系統(tǒng)的開始、停止、人工干預(yù)和異常情況處理。
權(quán)利要求
融合基于內(nèi)含隱馬爾可夫模型的識(shí)別方法、機(jī)器視覺技術(shù)和并行處理技術(shù)構(gòu)成的數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，由視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)組成，其特征在于數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)自動(dòng)識(shí)別人臉的實(shí)現(xiàn)步驟如下1.把視頻輸入器(1)對(duì)準(zhǔn)標(biāo)定視場(chǎng)內(nèi)的被測(cè)照片(靜態(tài))或行人(動(dòng)態(tài))；
2.把視頻輸入器(1)連接到數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)的圖像采集卡(2)的視頻輸入端；
3.將欲執(zhí)行人臉檢測(cè)任務(wù)的系統(tǒng)軟件程序存入并行處理器(3)的程序存儲(chǔ)器中；
4.啟動(dòng)系統(tǒng)的并行處理器(3)，CPU按程序初始化系統(tǒng)硬件視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)，并初始化系統(tǒng)軟件，同時(shí)自動(dòng)建立標(biāo)準(zhǔn)人臉模板庫(kù)；
5.并行處理器(3)調(diào)用圖像采集軟件模塊控制圖像采集卡(2)按系統(tǒng)預(yù)先設(shè)定的或由用戶設(shè)定的采樣周期采集視頻輸入器(1)視場(chǎng)內(nèi)的照片(靜態(tài))或行人(動(dòng)態(tài))圖像；
6.并行處理器(3)調(diào)用分割軟件模塊對(duì)采集到內(nèi)存的照片(靜態(tài))或行人(動(dòng)態(tài))圖像進(jìn)行分割處理并提取出人臉圖像；
7.并行處理器(3)調(diào)用預(yù)處理軟件模塊將提取出的人臉圖像進(jìn)行預(yù)處理，消除背景噪聲；
8.并行處理器(3)調(diào)用識(shí)別軟件模塊對(duì)預(yù)處理后的人臉圖像進(jìn)行識(shí)別；
9.如果經(jīng)過識(shí)別的人臉與標(biāo)準(zhǔn)人臉庫(kù)中的人臉相符，并行處理器(3)調(diào)用報(bào)警軟件模塊發(fā)出聲光報(bào)警提示信號(hào)；
10.并行處理器(3)調(diào)用顯示軟件模塊把經(jīng)過識(shí)別的人臉按照最大相似性原則顯示在顯示器(4)上；
11.并行處理器(3)調(diào)用數(shù)據(jù)存儲(chǔ)查詢軟件模塊把經(jīng)過識(shí)別的人臉實(shí)時(shí)存入數(shù)據(jù)庫(kù)中，供實(shí)時(shí)或事后排查；
12.并行處理器(3)調(diào)用遠(yuǎn)程傳輸軟件模塊把識(shí)別結(jié)果通過并行處理器(3)上的通信端口傳輸?shù)竭h(yuǎn)程指揮中心；
13.并行處理器(3)調(diào)用并行處理軟件模塊對(duì)以上所敘的a至g項(xiàng)的任務(wù)進(jìn)行多任務(wù)管理以及并行處理，同時(shí)控制系統(tǒng)的開始、停止、人工干預(yù)和異常情況處理。
全文摘要
本發(fā)明涉及一種數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)，屬機(jī)器視覺領(lǐng)域的技術(shù)產(chǎn)品。系統(tǒng)硬件由視頻輸入器(1)、圖像采集卡(2)、并行處理器(3)和顯示屏(4)組成。軟件由圖像采集模塊、分割模塊、預(yù)處理模塊、識(shí)別模塊、并行處理模塊、數(shù)據(jù)存儲(chǔ)查詢模塊、顯示模塊、報(bào)警模塊、遠(yuǎn)程傳輸模塊組成。數(shù)字視頻人臉自動(dòng)識(shí)別系統(tǒng)采用內(nèi)含隱馬爾可夫模型的識(shí)別方法，實(shí)現(xiàn)對(duì)靜態(tài)(如照片等)和動(dòng)態(tài)(如行人)人臉進(jìn)行自動(dòng)識(shí)別。該系統(tǒng)具有非接觸無損，易于標(biāo)定人臉圖像，識(shí)別率高且速度快，工作可靠，易于使用和維護(hù)，既可直觀顯示人臉真彩色圖像，又可實(shí)時(shí)自動(dòng)識(shí)別人臉等優(yōu)點(diǎn)?？蓮V泛應(yīng)用于需要進(jìn)行人臉自動(dòng)識(shí)別的場(chǎng)所，是保障公共安全的有力技術(shù)工具。
文檔編號(hào)G06K9/00GK1403997SQ0112882
公開日2003年3月19日 申請(qǐng)日期2001年9月7日 優(yōu)先權(quán)日2001年9月7日
發(fā)明者李一民, 潘曉露, 羅瑜 申請(qǐng)人:昆明利普機(jī)器視覺工程有限公司