專利名稱：一種人臉識別方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互技術(shù)，特別涉及一種人臉識別方法及其系統(tǒng)。
背景技術(shù)：
人機(jī)交互是目前國際上計(jì)算機(jī)科學(xué)研究領(lǐng)域中的一個(gè)熱點(diǎn)。在人機(jī)交互技術(shù)中，人臉識別以其作為計(jì)算機(jī)識別用戶并提供個(gè)性化服務(wù)的最便捷的方法逐步被應(yīng)用于智能家居等場合。基于計(jì)算機(jī)視覺的人臉識別，其核心是利用計(jì)算機(jī)視覺，圖像處理等技術(shù)對圖像采集設(shè)備采集到的視頻序列進(jìn)行處理，并對用戶進(jìn)行分類，從而進(jìn)行相應(yīng)的響應(yīng)。在現(xiàn)有的人臉識別技術(shù)中，已經(jīng)分別實(shí)現(xiàn)了對人臉進(jìn)行檢測，對檢測到的人臉跟蹤，對給定的圖像或視頻序列進(jìn)行人臉特征提取并與人臉庫數(shù)據(jù)進(jìn)行比對從而對用戶進(jìn)行識別，在此，我們把可以將這三部分模塊結(jié)合在一起的人臉識別方法稱為傳統(tǒng)人臉識別系 統(tǒng)。然而，目前傳統(tǒng)人臉識別系統(tǒng)并不能把一些效果比較好的技術(shù)進(jìn)行模塊的融合，因而存在如下問題(I)效果差。由于傳統(tǒng)人臉識別系統(tǒng)不能把人臉識別系統(tǒng)各個(gè)模塊進(jìn)行有效地融合，傳統(tǒng)人臉識別系統(tǒng)易產(chǎn)生人臉跟蹤不到，跟蹤漂移，識別不出、不確定甚至出錯等問題，嚴(yán)重影響到人臉識別效果。(2)交互性差。傳統(tǒng)人臉識別系統(tǒng)不能很好的與人進(jìn)行交互。當(dāng)出現(xiàn)人臉識別不出、不確定甚至出錯時(shí)，系統(tǒng)不能很好的與人進(jìn)行交互，因此在識別不準(zhǔn)確的時(shí)候系統(tǒng)不能及時(shí)得到用戶的反饋，性能得不到改善；甚至在識別不準(zhǔn)確時(shí)由于系統(tǒng)認(rèn)為自身識別正確從而用識別的結(jié)果修改系統(tǒng)中的原有參數(shù)(即自學(xué)習(xí))，導(dǎo)致系統(tǒng)越用越差。(3)適應(yīng)性差。傳統(tǒng)人臉識別系統(tǒng)易受光照、胡須、眼鏡、發(fā)型、表情等各種外界條件的影響，使識別率降低。因此，系統(tǒng)實(shí)用性不強(qiáng)。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)的上述缺點(diǎn)與不足，本發(fā)明的目的在于提供一種人臉識別方法，具有自學(xué)習(xí)功能、時(shí)空特性，抗干擾能力強(qiáng)。本發(fā)明的另一目的在于提供實(shí)現(xiàn)上述人臉識別方法的人臉識別系統(tǒng)。本發(fā)明的目的通過以下技術(shù)方案實(shí)現(xiàn)一種人臉識別方法，包括以下步驟SI檢測器檢測幀序列中是否有人臉；若是，進(jìn)行步驟S2，若否，重復(fù)步驟SI ；S2跟蹤器對檢測到的人臉進(jìn)行跟蹤；S3收集器收集人臉圖像；S4分析器分析收集到的人臉圖像是否為可靠樣本；若是，進(jìn)行步驟S5，若否，重復(fù)步驟S2 S4 ；S5分析器對可靠樣本中的目標(biāo)人臉提取形狀參數(shù)和紋理參數(shù)，分別對目標(biāo)人臉的形狀和紋理進(jìn)行建模，通過模型融合得到目標(biāo)人臉的平均臉；
S6識別器通過線性判別特征臉方法得到平均臉與人臉類庫中的最接近人臉類的匹配度C;若C〈B，則進(jìn)行步驟S7 ;若C>A，識別用戶身份，識別結(jié)束；若B〈C〈A，則通過人機(jī)交互模塊要求用戶輸入名字，若用戶輸入的名字所對應(yīng)的人臉類已存在人臉類庫中，進(jìn)行步驟S8 ;否則，進(jìn)行步驟S7 'K、B的值由用戶根據(jù)經(jīng)驗(yàn)確定；S7在線學(xué)習(xí)模塊在人臉類庫中新建一個(gè)人臉類，將目標(biāo)人臉的平均臉添加到新建的人臉類中并標(biāo)注用戶名，并將該人臉類傳給識別器，進(jìn)行步驟S9 ；S8在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，并將更新的人臉類傳給識別器；進(jìn)行步驟S9 ；S9識別器更新人臉類庫。 步驟S5所述分析器對可靠樣本中的目標(biāo)人臉提取形狀和紋理特征，分別對目標(biāo)人臉的形狀和紋理進(jìn)行建模，通過模型融合得到目標(biāo)人臉的平均臉，具體包括以下步驟S5. I對可靠樣本中的目標(biāo)人臉進(jìn)行描點(diǎn)；S5. 2對人臉的形狀進(jìn)行建模首先將描點(diǎn)后的人臉圖像兩兩進(jìn)行Procrustes變換，得到平均形狀人臉，再通過主元分析降維得到形狀參數(shù)和形狀模型；S5. 3對人臉的紋理進(jìn)行建模先將平均形狀人臉進(jìn)行delaunay三角劃分，再用分片仿射法進(jìn)行紋理填充，最終用主元分析法降維得到平均紋理模型和紋理參數(shù)；S5. 4將形狀參數(shù)和紋理參數(shù)進(jìn)行加權(quán)組合，采用主元分析法降維得到融合參數(shù)，最終得到平均臉。步驟S6所述線性判別特征臉方法，包括以下步驟S6. I對分析器傳來的平均臉與人臉類庫中的人臉類通過類間、類內(nèi)最近鄰樣本算法，得到類間和類內(nèi)差異的度量；S6. 2根據(jù)每個(gè)人臉類得到的類間和類內(nèi)的差異，得到類間散布矩陣和類內(nèi)散布矩陣；S6. 3根據(jù)步驟S6. 2得到的類間散布矩陣和類內(nèi)散布矩陣，利用Fisher鑒別準(zhǔn)則得到最優(yōu)鑒別矢量集；S6. 4將分析器傳來的平均臉向最優(yōu)鑒別矢量集做投影，得到低維的特征數(shù)據(jù)；S6. 5根據(jù)最鄰近匹配原則，得到平均臉與人臉類庫中的最接近人臉類的匹配度C0步驟S5. I所述對可靠樣本中的目標(biāo)人臉進(jìn)行描點(diǎn)，具體為對可靠樣本中的目標(biāo)人臉的輪廓、眉毛、眼睛、鼻子、嘴唇部位進(jìn)行描點(diǎn)，將點(diǎn)的坐標(biāo)位置寫成向量形式。步驟S8所述在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，具體為在線學(xué)習(xí)模塊計(jì)算分析器傳過來的平均臉與用戶輸入的名字所對應(yīng)的人臉類中的所有的人臉樣本的差值，如果差值超過類內(nèi)距離，則更新該人臉類，否則不更新。實(shí)現(xiàn)上述人臉識別方法的人臉識別系統(tǒng)，包括檢測器、跟蹤器、收集器、分析器、在線學(xué)習(xí)模塊、識別器及人機(jī)交互模塊，所述檢測器、跟蹤器、收集器、分析器、識別器、人機(jī)交互模塊、在線學(xué)習(xí)模塊依次連接；所述在線學(xué)習(xí)模塊還與識別器連接。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)及有益效果
(I)本發(fā)明具有自學(xué)習(xí)功能和時(shí)空特性，通過集合人臉檢測，人臉跟蹤，數(shù)據(jù)采集與分析，識別，在線學(xué)習(xí)和監(jiān)督六大模塊對人臉進(jìn)行識別，具有強(qiáng)抗干擾能力。(2)本發(fā)明交互性好，通過在系統(tǒng)不確定時(shí)向用戶發(fā)出詢問，根據(jù)用戶的反饋進(jìn)行下一步操作，防止了萬一系統(tǒng)性能由于各種原因性能開始下降，用戶可以通過人機(jī)交互模塊對系統(tǒng)發(fā)出復(fù)位命令。此時(shí)系統(tǒng)把庫中在使用過程中加入的數(shù)據(jù)刪除，恢復(fù)到初始化狀態(tài)，使系統(tǒng)性能不至于下降得越來越嚴(yán)重。


圖I為本發(fā)明的人臉識別系統(tǒng)的框架圖。圖2為本發(fā)明的人臉識別的流程圖。圖3為破壞性樣本的示例。圖4為可靠樣本的示例?！D5為經(jīng)描點(diǎn)的人臉示例。
具體實(shí)施例方式下面結(jié)合實(shí)施例及附圖，對本發(fā)明作進(jìn)一步地詳細(xì)說明，但本發(fā)明的實(shí)施方式不限于此。實(shí)施例如圖I所示，本發(fā)明的人臉識別系統(tǒng)包括檢測器、跟蹤器、收集器、分析器、在線學(xué)習(xí)模塊、識別器及人機(jī)交互模塊，所述檢測器、跟蹤器、收集器、分析器、識別器、人機(jī)交互模塊、在線學(xué)習(xí)模塊依次連接；所述在線學(xué)習(xí)模塊還與識別器連接。如圖2所示，本發(fā)明的人臉識別方法，包括以下步驟SI檢測器檢測幀序列中是否有人臉；若是，進(jìn)行步驟S2，若否，重復(fù)步驟SI ；檢測器檢測過程中采用Viola and Jones提出的人臉檢測算法。在該算法中，選用Adaboost訓(xùn)練分類器，運(yùn)用多姿態(tài)分類的方法，可以較高的檢測率快速的檢測人臉。S2跟蹤器對檢測到的人臉進(jìn)行跟蹤；跟蹤過程中采用一種改進(jìn)的Camshift結(jié)合Kalman濾波的算法。當(dāng)出現(xiàn)大面積與目標(biāo)顏色相近的背景干擾時(shí)，啟動ROI (感興趣區(qū)域)幀差法，只對Kalman預(yù)測區(qū)域進(jìn)行幀差運(yùn)算，通過運(yùn)動對象的邊緣信息提取運(yùn)動對象面，然后與目標(biāo)概率分布圖進(jìn)行與運(yùn)算，把不運(yùn)動的干擾背景濾除掉。當(dāng)目標(biāo)被嚴(yán)重遮擋時(shí)，由于Camshift算法失效，采用Kalman預(yù)測值代替Camshift計(jì)算出的最優(yōu)位置值，并且將Kalman預(yù)測值作為Kalman濾波更新的觀測值，這種算法可有效克服嚴(yán)重遮擋導(dǎo)致Kalman濾波失效的問題。這種算法能根據(jù)檢測器中檢測到的人臉進(jìn)行實(shí)時(shí)跟蹤，以保證圖像區(qū)域內(nèi)是同一個(gè)人的人臉。S3收集器收集人臉圖像。S4分析器分析收集到的人臉圖像是否為可靠樣本；若是，進(jìn)行步驟S5，若否，重復(fù)步驟S2 S4 ；通過可靠性分析，過濾掉一些頭部旋轉(zhuǎn)角度超過90度的破壞性樣本(例如圖3所示樣本)，保留可用于識別人臉的可靠樣本(例如圖4所示樣本)。S5分析器對可靠樣本中的目標(biāo)人臉提取形狀參數(shù)和紋理參數(shù)，分別對目標(biāo)人臉的形狀和紋理進(jìn)行建模，通過模型融合得到目標(biāo)人臉的平均臉；具體包括以下步驟S5. I對可靠樣本中的目標(biāo)人臉的輪廓、眉毛、眼睛、鼻子、嘴唇部位描68個(gè)點(diǎn)(如圖5所示)，將點(diǎn)的坐標(biāo)位置寫成向量形式；X= {xl, yl, x2, y2, x3, y3,......，x68, y68}。S5. 2對人臉的形狀進(jìn)行建模首先將描點(diǎn)后的人臉圖像兩兩進(jìn)行Procrustes變換，得到平均形狀人臉，再通過主元分析降維得到形狀參數(shù)和形狀模型；S5. 3對人臉的紋理進(jìn)行建模先將平均形狀人臉進(jìn)行delaunay三角劃分，再用分片仿射法進(jìn)行紋理填充，最終用主元分析法降維得到平均紋理模型和紋理參數(shù)；S5. 4將形狀參數(shù)和紋理參數(shù)進(jìn)行加權(quán)組合，采用主元分析法降維得到融合參數(shù)，最終得到平均臉。
S6識別器通過線性判別特征臉方法得到平均臉與人臉類庫中的最接近人臉類的匹配度C ;所述線性判別特征臉方法，包括以下步驟S6. I對分析器傳來的平均臉與人臉類庫中的人臉類通過類間、類內(nèi)最近鄰樣本算法，得到類間和類內(nèi)差異的度量；S6. 2根據(jù)每個(gè)人臉類得到的類間和類內(nèi)的差異，得到類間散布矩陣和類內(nèi)散布矩陣；S6. 3根據(jù)步驟S6. 2得到的類間散布矩陣和類內(nèi)散布矩陣，利用Fisher鑒別準(zhǔn)則得到最優(yōu)鑒別矢量集；S6. 4將分析器傳來的平均臉向最優(yōu)鑒別矢量集做投影，得到低維的特征數(shù)據(jù)；S6. 5根據(jù)最鄰近匹配原則，得到平均臉與人臉類庫中的最接近人臉類的匹配度C ；若匹配度C小于50%，則進(jìn)行步驟S7 ;若匹配度C大于95%，識別用戶身份，識別結(jié)束；若匹配度C大于50%且小于95%,則通過人機(jī)交互模塊要求用戶輸入名字,若用戶輸入的名字所對應(yīng)的人臉類已存在人臉類庫中，進(jìn)行步驟S8 ;否則，進(jìn)行步驟S7。S7在線學(xué)習(xí)模塊在人臉類庫中新建一個(gè)人臉類，將目標(biāo)人臉的平均臉添加到新建的人臉類中并標(biāo)注用戶名，并把該人臉類傳給識別器，進(jìn)行步驟S9。S8在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，并將更新的人臉類傳給識別器；進(jìn)行步驟S9 ；所述在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，具體為在線學(xué)習(xí)模塊計(jì)算分析器傳過來的平均臉與用戶輸入的名字所對應(yīng)的人臉類中的所有的人臉樣本的差值，如果差值超過類內(nèi)距離，則更新該人臉類，否則不更新。S9識別器更新人臉類庫。上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受所述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種人臉識別方法，其特征在于，包括以下步驟 SI檢測器檢測幀序列中是否有人臉；若是，進(jìn)行步驟S2，若否，重復(fù)步驟SI ； S2跟蹤器對檢測到的人臉進(jìn)行跟蹤； S3收集器收集人臉圖像； S4分析器分析收集到的人臉圖像是否為可靠樣本；若是，進(jìn)行步驟S5，若否，重復(fù)步驟S2 S4 ； S5分析器對可靠樣本中的目標(biāo)人臉提取形狀參數(shù)和紋理參數(shù)，分別對目標(biāo)人臉的形狀和紋理進(jìn)行建模，通過模型融合得到目標(biāo)人臉的平均臉； S6識別器通過線性判別特征臉方法得到平均臉與人臉類庫中的最接近人臉類的匹配度C; 若C〈B，則進(jìn)行步驟S7 ;若C>A，識別用戶身份，識別結(jié)束；若B〈C〈A，則通過人機(jī)交互模塊要求用戶輸入名字，若用戶輸入的名字所對應(yīng)的人臉類已存在人臉類庫中，進(jìn)行步驟S8;否則，進(jìn)行步驟S7 ;A、B的值由用戶根據(jù)經(jīng)驗(yàn)確定； S7在線學(xué)習(xí)模塊在人臉類庫中新建一個(gè)人臉類，將目標(biāo)人臉的平均臉添加到新建的人臉類中并標(biāo)注用戶名，并將該人臉類傳給識別器，進(jìn)行步驟S9 ； S8在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，并將更新的人臉類傳給識別器；進(jìn)行步驟S9 ； S9識別器更新人臉類庫。
2.根據(jù)權(quán)利要求I所述的人臉識別方法，其特征在于，步驟S5所述分析器對可靠樣本中的目標(biāo)人臉提取形狀和紋理特征，分別對目標(biāo)人臉的形狀和紋理進(jìn)行建模，通過模型融合得到目標(biāo)人臉的平均臉，具體包括以下步驟 S5. I對可靠樣本中的目標(biāo)人臉進(jìn)行描點(diǎn)； S5. 2對人臉的形狀進(jìn)行建模首先將描點(diǎn)后的人臉圖像兩兩進(jìn)行Procrustes變換，得到平均形狀人臉，再通過主元分析降維得到形狀參數(shù)和形狀模型； S5. 3對人臉的紋理進(jìn)行建模先將平均形狀人臉進(jìn)行delaunay三角劃分，再用分片仿射法進(jìn)行紋理填充，最終用主元分析法降維得到平均紋理模型和紋理參數(shù)； 55.4將形狀參數(shù)和紋理參數(shù)進(jìn)行加權(quán)組合，采用主元分析法降維得到融合參數(shù)，最終得到平均臉。
3.根據(jù)權(quán)利要求I所述的人臉識別方法，其特征在于，步驟S6所述線性判別特征臉方法，包括以下步驟 56.I對分析器傳來的平均臉與人臉類庫中的人臉類通過類間、類內(nèi)最近鄰樣本算法，得到類間和類內(nèi)差異的度量； S6. 2根據(jù)每個(gè)人臉類得到的類間和類內(nèi)的差異，得到類間散布矩陣和類內(nèi)散布矩陣；S6. 3根據(jù)步驟S6. 2得到的類間散布矩陣和類內(nèi)散布矩陣，利用Fisher鑒別準(zhǔn)則得到最優(yōu)鑒別矢量集； S6. 4將分析器傳來的平均臉向最優(yōu)鑒別矢量集做投影，得到低維的特征數(shù)據(jù)； S6. 5根據(jù)最鄰近匹配原則，得到平均臉與人臉類庫中的最接近人臉類的匹配度C。
4.根據(jù)權(quán)利要求2所述的人臉識別方法，其特征在于，步驟S5.I所述對可靠樣本中的目標(biāo)人臉進(jìn)行描點(diǎn)，具體為對可靠樣本中的目標(biāo)人臉的輪廓、眉毛、眼睛、鼻子、嘴唇部位進(jìn)行描點(diǎn)，將點(diǎn)的坐標(biāo)位置寫成向量形式。
5.根據(jù)權(quán)利要求I所述的人臉識別方法，其特征在于，步驟S8所述在線學(xué)習(xí)模塊更新用戶輸入的名字所對應(yīng)的人臉類，具體為 在線學(xué)習(xí)模塊計(jì)算分 析器傳過來的平均臉與用戶輸入的名字所對應(yīng)的人臉類中的所有的人臉樣本的差值，如果差值超過類內(nèi)距離，則更新該人臉類，否則不更新。
6.實(shí)現(xiàn)權(quán)利要求f5任一項(xiàng)所述人臉識別方法的人臉識別系統(tǒng)，其特征在于，包括檢測器、跟蹤器、收集器、分析器、在線學(xué)習(xí)模塊、識別器及人機(jī)交互模塊，所述檢測器、跟蹤器、收集器、分析器、識別器、人機(jī)交互模塊、在線學(xué)習(xí)模塊依次連接；所述在線學(xué)習(xí)模塊還與識別器連接。
全文摘要
本發(fā)明公開了一種人臉識別方法，具有自學(xué)習(xí)功能和時(shí)空特性，通過集合人臉檢測，人臉跟蹤，數(shù)據(jù)采集與分析，識別、在線學(xué)習(xí)、人機(jī)交互步驟對人臉進(jìn)行識別。本發(fā)明還公開了實(shí)現(xiàn)上述人臉識別方法的系統(tǒng)，包括檢測器、跟蹤器、收集器、分析器、在線學(xué)習(xí)模塊、識別器及人機(jī)交互模塊。與現(xiàn)有技術(shù)相比，本發(fā)明具有強(qiáng)抗干擾能力，識別效率高的優(yōu)點(diǎn)。
文檔編號G06K9/62GK102867173SQ20121031064
公開日2013年1月9日 申請日期2012年8月28日 優(yōu)先權(quán)日2012年8月28日
發(fā)明者徐向民, 羅夢娜, 郭詠詩, 尹飛云, 張陽東, 吳丹丹 申請人:華南理工大學(xué)