專利名稱：一種基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于基于計(jì)算機(jī)的模式識(shí)別技術(shù)領(lǐng)域，具體地是指一種基于隱最小二乘回歸的自適應(yīng)多姿態(tài)人臉識(shí)別方法及其裝置。
背景技術(shù)：
人臉識(shí)別技術(shù)是試圖賦予計(jì)算機(jī)類人的視覺感知功能，即根據(jù)面孔來辨別人物的身份。人臉識(shí)別研究始于二十世紀(jì)六十年代中后期，近五十年來得到了長(zhǎng)足的發(fā)展，尤其近十年來，更成為一個(gè)熱門的研究課題。人臉識(shí)別之所以得到重視，是因?yàn)槠溆兄匾膶W(xué)術(shù)研究意義和巨大的潛在應(yīng)用前景。人臉識(shí)別作為一個(gè)典型的圖像模式分析、理解與分類計(jì)算問題，它為模式識(shí)別、圖像處理、分析與理解、計(jì)算機(jī)視覺、人工智能、人機(jī)交互、計(jì)算機(jī)圖形學(xué)、認(rèn)知科學(xué)、神經(jīng)計(jì)算等多門學(xué)科提供了一個(gè)良好的具體問題。另一方面，隨著信息技術(shù)的不斷發(fā)展以及交通網(wǎng)絡(luò)的日益發(fā)達(dá)，人們的社會(huì)生活空間不斷擴(kuò)大。如何使得整個(gè)龐大的社會(huì)網(wǎng)絡(luò)有條不紊、穩(wěn)定安全地運(yùn)轉(zhuǎn)是各級(jí)政府和企事業(yè)部門面臨的一個(gè)日益重要的問題。其中一個(gè)最關(guān)鍵的問題就是如何快速準(zhǔn)確的進(jìn)行身份的識(shí)別。由于每個(gè)人的生物特征具有與其他人不同的唯一性和在一定時(shí)期內(nèi)不變的穩(wěn)定性，不易偽造和假冒，所以利用生物識(shí)別技術(shù)進(jìn)行身份認(rèn)證，安全、可靠、準(zhǔn)確。人臉識(shí)別是生物特征識(shí)別技術(shù)的重要組成部分，并且有著其他生物特征識(shí)別技術(shù)(如指紋識(shí)別、虹膜識(shí)別)所無法比擬的優(yōu)勢(shì)，對(duì)被識(shí)別者不具侵犯性，更加直接、友好，使用者無任何心理障礙。尤其值得注意的是，人臉識(shí)別技術(shù)對(duì)被識(shí)別者可以進(jìn)行隱蔽操作，在視頻監(jiān)控領(lǐng)域有著重要的應(yīng)用價(jià)值。人臉識(shí)別技術(shù)經(jīng)過多年的研究，已經(jīng)有了一批比較成熟的理論和有效的算法。但是目前即使是世界上最成熟的人臉識(shí)別系統(tǒng)，也只能在采集條件比較理想、用戶比較配合的條件下，才可以基本達(dá)到適用的程度。在非理想條件下，人臉圖像的表觀受到姿態(tài)、表情、遮擋、光照等因素的影響而產(chǎn)生較大的變化。盡管人類能夠輕易地識(shí)別出復(fù)雜背景中人臉，但是對(duì)計(jì)算機(jī)而言卻是一個(gè)相當(dāng)大的挑戰(zhàn)，它的識(shí)別率還遠(yuǎn)未達(dá)到理想的適用水平。影響人臉識(shí)別正確率的一個(gè)瓶頸問題就是姿態(tài)問題。人臉本質(zhì)上是一個(gè)三維空間中的物體，當(dāng)姿態(tài)發(fā)生變化的時(shí)候， 通過成像設(shè)備得到的二維人臉圖像不能完整的反映三維空間中物體的信息，甚至二維人臉圖像的表觀由于姿態(tài)變化所帶來的差異要比在相同姿態(tài)下人的身份不同所帶來的差異要大。人臉三維重構(gòu)是從解決姿態(tài)問題的一個(gè)自然且有效的方式。利用三維圖像采集設(shè)備來獲取人臉的三維結(jié)構(gòu)，是一種最直接的方法，但是其設(shè)備成本高，而且需要用戶很好的配合，因而限制了應(yīng)用的范圍。另一方面在大多數(shù)的實(shí)際應(yīng)用中所采集的都是二維圖像，從二維圖像中精確的重構(gòu)人臉的三維形狀，尤其是從單一的二維圖像中重建三維人臉，其計(jì)算量大，難度也非常大。而從識(shí)別的角度出發(fā)，高精度的三維重建所得到的所有信息未必都是識(shí)別中有用的。因此，如何直接利用二維圖像，而不經(jīng)過三維重建，來完成多姿態(tài)的人臉識(shí)別成為一個(gè)研究的熱點(diǎn)問題
發(fā)明內(nèi)容
本發(fā)明提供了一種基于隱最小二乘的自適應(yīng)多姿態(tài)人臉識(shí)別方法。該方法在二維人臉圖像上，利用統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法，將處于不同姿態(tài)下的人臉圖像特征變換到一個(gè)與姿態(tài)無關(guān)的身份空間中，從而去除姿態(tài)因素的影響，并在身份空間中，完成人臉識(shí)別。本發(fā)明公開的上述基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別方法，其包括:步驟1、檢測(cè)輸入的人臉圖像的區(qū)域大小及位置；步驟2、對(duì)檢測(cè)到的人臉圖像進(jìn)行校正，得到校正后的人臉圖像；步驟3、從校正后的人臉圖像中提取人臉面部的特征值；步驟4、根據(jù)所提取的人臉面部的特征值估計(jì)校正后的人臉圖像的姿態(tài)類別；步驟5、根據(jù)所述姿態(tài)類別選擇與其對(duì)應(yīng)的變換矩陣以及偏移向量，并根據(jù)所述變換矩陣、偏移向量和提取的特征值計(jì)算得到該人臉圖像的身份特征向量；步驟6、從已知人臉圖像檢索庫(kù)中搜索與所輸入的人臉圖像的身份特征向量相似度最高的已知人臉圖像，并返回該已知人臉圖像的身份信息作為識(shí)別結(jié)果；

其中，所述變換矩陣與偏移向量用于將所述人臉圖像變換到與姿態(tài)無關(guān)的身份空間，所述身份特征向量為人臉圖像在與所述身份空間中的唯一身份標(biāo)識(shí)。本發(fā)明還公開了一種基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別裝置，其包括:人臉檢測(cè)模塊，其用于檢測(cè)輸入的人臉圖像的區(qū)域大小及位置；人臉校正模塊，其用于對(duì)檢測(cè)到的人臉圖像進(jìn)行校正，得到校正后的人臉圖像；特征提取模塊，其用于從校正后的人臉圖像中提取人臉面部的特征值；姿態(tài)估計(jì)模塊，其用于根據(jù)所提取的人臉面部的特征值估計(jì)校正后的人臉圖像的姿態(tài)類別；在線識(shí)別模塊置，其用于根據(jù)所述姿態(tài)類別選擇與其對(duì)應(yīng)的變換矩陣以及偏移向量，并根據(jù)所述變換矩陣、偏移向量和提取的特征值計(jì)算得到該人臉圖像的身份特征向量；其還用于從已知人臉圖像檢索庫(kù)中搜索與所輸入的人臉圖像的身份特征向量相似度最高的已知人臉圖像，并返回該已知人臉圖像的身份信息作為識(shí)別結(jié)果；其中，所述變換矩陣與偏移向量用于將所述人臉圖像變換到與姿態(tài)無關(guān)的身份空間，所述身份特征向量為人臉圖像在與所述身份空間中的唯一身份標(biāo)識(shí)。本發(fā)明的有益效果:本發(fā)明對(duì)于處于不同姿態(tài)下的人臉圖像，通過與其姿態(tài)相應(yīng)的線性變換，映射到一個(gè)與姿態(tài)無關(guān)的身份特征空間中，從而去除姿態(tài)因素的影響。同時(shí)本發(fā)明方法的訓(xùn)練過程，即訓(xùn)練與姿態(tài)相關(guān)的線性變換參數(shù)可以離線操作；在識(shí)別過程中，只需進(jìn)行簡(jiǎn)單的代數(shù)運(yùn)算，因此計(jì)算過程簡(jiǎn)單，時(shí)間復(fù)雜度很低，并且對(duì)識(shí)別的人臉類別數(shù)沒有限制，具有很強(qiáng)的通用性和大規(guī)模擴(kuò)展性。


圖1是本發(fā)明中基于隱最小二乘回歸的自適應(yīng)多姿態(tài)人臉識(shí)別方法的步驟流程圖。圖2是對(duì)Mult1-PIE人臉數(shù)據(jù)庫(kù)中的樣本進(jìn)行關(guān)鍵點(diǎn)定位的結(jié)果示例。圖3是對(duì)Mult1-PIE人臉數(shù)據(jù)庫(kù)中的樣本進(jìn)行二維平面內(nèi)旋轉(zhuǎn)以及利用嘴眼中心距離進(jìn)行尺度歸一化的圖像示例。圖4是對(duì)Mult1-PIE人臉數(shù)據(jù)庫(kù)中的樣本根據(jù)關(guān)鍵點(diǎn)歸一化后的圖像示例。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。本發(fā)明公開了一種基于隱最小二乘回歸的自適應(yīng)多姿態(tài)人臉識(shí)別方法及其裝置。本發(fā)明公開的所述基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別方法及其裝置是在微機(jī)WindowsXP環(huán)境下，采用面向?qū)ο蟮脑O(shè)計(jì)方法和軟件工程規(guī)范，用C++語(yǔ)言實(shí)現(xiàn)的一種人臉識(shí)別方法及系統(tǒng)。圖1示出了本發(fā)明提出的基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別裝置結(jié)構(gòu)示意圖。如圖1所示，該識(shí)別裝置包括:人臉檢測(cè)模塊、人臉校正模塊、特征提取模塊、姿態(tài)估計(jì)模塊、離線訓(xùn)練模塊和在線識(shí)別模塊。下面對(duì)每個(gè)模塊詳細(xì)介紹。(a)人臉 檢測(cè)模塊。所述人臉檢測(cè)模塊用于對(duì)輸入的圖像判斷其是否包含人臉，若包含人臉，則進(jìn)一步確定人臉區(qū)域的大小及在圖像中的位置，并將人臉圖像從背景中分離出來。人臉檢測(cè)模塊是基礎(chǔ)，本發(fā)明中優(yōu)選采用Paul Viola等提出的基于Haar特征和 AdaBoost 的人臉檢測(cè)方法來實(shí)現(xiàn)(參見“Paul A.Viola, Michael J.Jones:RobustReal-Time Face Detection.1nternational Journal of Computer Vision 57(2):137-154(2004) ”)。(b)人臉校正模塊。人臉校正模塊用于關(guān)鍵點(diǎn)定位和圖像歸一化。所述關(guān)鍵點(diǎn)定位是指在檢測(cè)出的人臉圖像中定位出面部器官的關(guān)鍵特征點(diǎn)，包括眼角點(diǎn)、眼中心點(diǎn)、嘴角點(diǎn)、鼻尖點(diǎn)、面部輪廓點(diǎn)等。這一步驟可以采用基于主動(dòng)形狀模型(Active Shape Model)的關(guān)鍵點(diǎn)定位方法實(shí)現(xiàn)。所述圖像歸一化是指根據(jù)檢查出的關(guān)鍵點(diǎn)對(duì)人臉區(qū)域的位置、大小、平面角度等歸一化到同一個(gè)標(biāo)準(zhǔn)。在本發(fā)明優(yōu)選實(shí)施例中，首先利用左眼中心和右眼中心來計(jì)算圖像在平面內(nèi)的旋轉(zhuǎn)角度(即左右眼中心的連線與二位平面內(nèi)平行于X軸的水平線之間的夾角)，使得在二維平面內(nèi)旋轉(zhuǎn)后的圖像中兩眼中心在同一條水平線上，如圖3左邊兩圖所示；然后計(jì)算左眼中心和右眼中心連線的中點(diǎn)(即兩眼中心點(diǎn))，通過兩眼中心點(diǎn)定位人臉區(qū)域在二維平面的位置；最后通過歸一化“嘴眼中心距離”(嘴眼中心距離是指嘴中心點(diǎn)與兩眼中心點(diǎn)之間的距離，如圖3右圖所示)來歸一化圖像的尺度，使得歸一化以后的圖像中嘴眼中心距離是一個(gè)固定的大小。在實(shí)際應(yīng)用中姿態(tài)變化主要在水平角度上，因此“嘴眼中心距離”相對(duì)而言是一個(gè)更準(zhǔn)確的人臉尺度度量。人臉的尺度是指人臉在圖像中的大小，例如在照片一中人臉區(qū)域是50*50像素大小，在照片二中是25*25大小，這樣兩幅照片中人臉區(qū)域的大小是不一致的。通過歸一化嘴眼中心距離到同樣的大小，使得歸一化后的圖像中人臉區(qū)域大小能夠一致。圖2給出了定位的面部關(guān)鍵點(diǎn)示例圖，圖3給出了各種姿態(tài)下歸一化后的人臉區(qū)域示例圖。(C)特征提取模塊。所述特征提取模塊用于在歸一化后的人臉圖像上提取出面部表觀信息內(nèi)容，包括整體表觀特征。整體表觀特征，即是從人臉圖像的整體灰度分布規(guī)律中提取有用的信息；而局部表觀特征則著重描述人臉的細(xì)節(jié)特點(diǎn)。本發(fā)明優(yōu)選實(shí)施例中直接采用圖像中的圖像塊灰度像素值作為整體表觀特征:將每個(gè)LXM像素的二維人臉圖像按照像素列的順序轉(zhuǎn)化為一維列向量的形式
權(quán)利要求
1.一種基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別方法，其包括: 步驟1、檢測(cè)輸入的人臉圖像的區(qū)域大小及位置； 步驟2、對(duì)檢測(cè)到的人臉圖像進(jìn)行校正，得到校正后的人臉圖像； 步驟3、從校正后的人臉圖像中提取人臉面部的特征值； 步驟4、根據(jù)所提取的人臉面部的特征值估計(jì)校正后的人臉圖像的姿態(tài)類別； 步驟5、根據(jù)所述姿態(tài)類別選擇與其對(duì)應(yīng)的變換矩陣以及偏移向量，并根據(jù)所述變換矩陣、偏移向量和提取的特征值計(jì)算得到該人臉圖像的身份特征向量； 步驟6、從已知人臉圖像檢索庫(kù)中搜索與所輸入的人臉圖像的身份特征向量相似度最高的已知人臉圖像，并返回該已知人臉圖像的身份信息作為識(shí)別結(jié)果； 其中，所述變換矩陣與偏移向量用于將所述人臉圖像變換到與姿態(tài)無關(guān)的身份空間，所述身份特征向量為人臉圖像在與所述身份空間中的唯一身份標(biāo)識(shí)。
2.如權(quán)利要求1所述的方法，其特征在于，步驟4中所述姿態(tài)類別包括人臉圖像的姿態(tài)角度，而所述姿態(tài)角度通過計(jì)算參考數(shù)據(jù)集中每個(gè)圖像與所輸入的人臉圖像之間的相似度，并選擇參考數(shù)據(jù)集中最相似圖像的姿態(tài)角度作為所輸入的人臉圖像的姿態(tài)角度，其中所述參考數(shù)據(jù)集中包括n個(gè)人在各種姿態(tài)類別下的人臉圖像。
3.如權(quán)利要求2所述的方法，其特征在于，步驟3中所提取的特征值包括人臉圖像的灰度像素值；步驟4中所述參考數(shù)據(jù)集中每幅圖像與所輸入的人臉圖像之間的相似度如下計(jì)算:
4.如權(quán)利要求1所述的方法，其特征在于，不同姿態(tài)類別對(duì)應(yīng)的姿態(tài)變換矩陣和偏移向量通過如下數(shù)學(xué)模型訓(xùn)練得到:
5.如權(quán)利要求4所述的方法，其特征在于，所述數(shù)學(xué)模型進(jìn)一步簡(jiǎn)寫為:
6.如權(quán)利要求1所述的方法，其特征在于，步驟2中人臉校正包括人臉圖像中關(guān)鍵點(diǎn)定位和人臉圖像的歸一化。
7.如權(quán)利要求1所述的方法，其特征在于，步驟6中人臉圖像的身份特征向量相似度如下計(jì)算:cos (hi, hj) = h/hj/( Ihi I2X hj |2) 其中，hi和hj分別表示兩張人臉圖像的身份特征向量。
8.如權(quán)利要求1所述的方法，其特征在于，步驟5中所述人臉圖像的身份特征向量如下計(jì)算:
9.一種基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別裝置，其包括: 人臉檢測(cè)模塊，其用于檢測(cè)輸入的人臉圖像的區(qū)域大小及位置； 人臉校正模塊，其用于對(duì)檢測(cè)到的人臉圖像進(jìn)行校正，得到校正后的人臉圖像； 特征提取模塊，其用于從校正后的人臉圖像中提取人臉面部的特征值； 姿態(tài)估計(jì)模塊，其用于根 據(jù)所提取的人臉面部的特征值估計(jì)校正后的人臉圖像的姿態(tài)類別； 在線識(shí)別模塊置，其用于根據(jù)所述姿態(tài)類別選擇與其對(duì)應(yīng)的變換矩陣以及偏移向量，并根據(jù)所述變換矩陣、偏移向量和提取的特征值計(jì)算得到該人臉圖像的身份特征向量；其還用于從已知人臉圖像檢索庫(kù)中搜索與所輸入的人臉圖像的身份特征向量相似度最高的已知人臉圖像，并返回該已知人臉圖像的身份信息作為識(shí)別結(jié)果； 其中，所述變換矩陣與偏移向量用于將所述人臉圖像變換到與姿態(tài)無關(guān)的身份空間，所述身份特征向量為人臉圖像在與所述身份空間中的唯一身份標(biāo)識(shí)。
全文摘要
本發(fā)明公開了一種基于隱最小二乘回歸的自適應(yīng)多姿態(tài)人臉識(shí)別方法。該方法包含一種基于隱最小二乘回歸的多姿態(tài)人臉識(shí)別方法，其包括檢測(cè)輸入的人臉圖像的區(qū)域大小及位置；對(duì)檢測(cè)到的人臉圖像進(jìn)行校正，得到校正后的人臉圖像；從校正后的人臉圖像中提取人臉面部的特征值；根據(jù)所提取的人臉面部的特征值估計(jì)校正后的人臉圖像的姿態(tài)類別；根據(jù)所述姿態(tài)類別選擇與其對(duì)應(yīng)的變換矩陣以及偏移向量，并根據(jù)所述變換矩陣、偏移向量和提取的特征值計(jì)算得到該人臉圖像的身份特征向量；從已知人臉圖像檢索庫(kù)中搜索與所輸入的人臉圖像的身份特征向量相似度最高的已知人臉圖像，并返回該已知人臉圖像的身份信息作為識(shí)別結(jié)果。
文檔編號(hào)G06K9/00GK103218609SQ20131014880
公開日2013年7月24日 申請(qǐng)日期2013年4月25日 優(yōu)先權(quán)日2013年4月25日
發(fā)明者王春恒, 蔡新元, 肖柏華, 陳雪, 周吉 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所