專利名稱：人臉圖像處理設(shè)備、人臉圖像處理方法以及計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖4象處理^:備、 一種人臉圖4象處理方法以及一種 計算機程序，其用于識別諸如靜止圖像、運動圖像幀之類的攝影圖像中包 括的人臉圖像。具體地，本發(fā)明涉及一種人臉圖像處理設(shè)備、 一種人臉圖 像處理方法、以及一種計算機程序，其中對照已記錄的圖像來檢查所關(guān)注 的圖像的特征點或特征以識別個人。
更具體地，本發(fā)明涉及一種人臉圖4象處理^:備、 一種人臉圖^f象處理方
法、以及一種計算;l^序，其中，通過統(tǒng)計學習來選擇用于個人驗證的特 征點或特征，以允許綜合地使用所選擇的特征來執(zhí)行個人!Hi過程。具體 而言，本發(fā)明涉及一種人臉圖像處理設(shè)備、 一種人臉圖像處理方法、以及 一種計算機程序，其中，在已記錄的圖像和要檢查的圖像上的特征點彼此
精確關(guān)聯(lián)，以便即使在要檢查的圖像中的姿態(tài)變化時也獲得高識別性能。
背景技術(shù)：
人臉識別技術(shù)可廣泛用于A^L接口應用中，以達到諸如性別識別之類 的目的，這種類型的主要應用是不會給用戶造成煩擾的個人發(fā)汪系統(tǒng)。近 來，人臉識別被用于數(shù)字攝#4^的基于對對象的檢測或識別的自動操作， 包括自動對焦(AF)、自動曝光(AE)、自動視場角設(shè)置、以及自動拍攝。
例如，人臉識別系統(tǒng)涉及人臉檢測過程，用于檢測包括在輸入圖像 中的人臉圖像的位置和大??；人臉部分檢測過程，用于從檢測到的人臉圖 像中檢測人臉的主要部分的位置；以;5LA臉識別過程，用于通過將要檢查 的圖<樹照已記錄的圖像進行檢查來識別人臉圖像(或識別個人)，其中 所述要檢查的圖像是通過基于人臉部分的位置來校正人臉圖像的位置和
旋轉(zhuǎn)而獲得的。
人臉識別系統(tǒng)是已知的，其中通過統(tǒng)計學習來選擇要被用于識別個人 的特征點或特征，并且其中綜合地使用所選的特征來執(zhí)行個人識別過程
(例如，參見WO 2003/019475 (專利文獻l))。可以使用具有方向選擇 性和不同的頻率分量的多個Gabor濾波來提取人臉圖像的特征。
已經(jīng)揭示了人類的某些視覺細胞表現(xiàn)出對特定方向的選擇性，并且 Gabor濾波是由類似地具有方向選擇性的多個濾波構(gòu)成的空間濾波。 Gabor濾波是使用高斯函數(shù)作為窗口且使用基于正弦函數(shù)或余弦函數(shù)的 Gabor函數(shù)作為頻率響應來在空間上表示的。例如，濾波窗口的大小被固 定為24x24像素。當存在五個不同的頻率f和八個角度^時，構(gòu)成了四十 種類型的Gabor濾波。
使用通過切換頻率f和角度0而提供的最多四十種類型的Gabor濾波 來執(zhí)行Gabor濾波計算。由此獲得的最多四十組標量值被稱為"Gabor jet"。 Gabor jet被獲得作為在人臉圖像數(shù)據(jù)的水平方向和豎直方向上以預 定間隔檢測的每個特征提取位置處的局部特征。Gabor jet的特征在于， 其相對于特征提取位置的位移或形變的特定程度而言是魯棒的。
對于已記錄的人臉圖像而言，預先在該圖像的每個特征提取位置處計 算Gabor jet。計算在相同的特征提取位置處的、輸入的人臉的Gabor jet 與已記錄的人臉Gabor jet之間的相似度，以獲得作為在多個特征提取位 置處的相似度集合的相似性向量。然后，通過支持向量機(SVM)來對 所述向量進行分類，以識別要檢查的圖像和已記錄的圖像。在相關(guān)的工業(yè) 中，支持向量積4皮認為具有模式識別領(lǐng)域中的最高的通用學習能力。
由于自動地選擇可用于識別的大量特征點或特征，因此上述使用統(tǒng)計 學習來解決適當?shù)剡x擇用于個人識別的特征點或特征的問題的人臉識別 系統(tǒng)是有利的。此外，Gabor濾波相對于特征提取位置的一定程度的位移 或形變而言是魯棒的。因此，可以通過準備包括某些姿態(tài)變化的學習樣本 以使得選擇魯棒的特征，來適當?shù)靥幚戆ㄔ谳斎雸D像中的要檢查的圖像 的姿態(tài)變化。
然而，當要檢查的圖像的姿態(tài)存在重大變化時，特征點的位移可能變 得過大以致不能通過Gabor濾波的魯棒性來消減。當從圖4象中識別出人 臉(檢查出個人)時，將已記錄的圖像上的點與要檢查的圖像適當?shù)叵嚓P(guān) 聯(lián)以實現(xiàn)高識別性能是非常重要的。
為了將具有姿態(tài)變化的要檢查的圖像上的特征點與已記錄的圖像適
當^M目關(guān)聯(lián)，已經(jīng)提出了4吏用用于伸縮人臉形狀的被稱為"彈性圖"的圖
結(jié)構(gòu)的方法(例如，參見Laurenz Wiscott、 Jean-Marc Fellous、 Norbert Kruger和Christoph von der Malsburg的"Face Recognition by Elastic Bunch Graph Matching" (Intelligent Biometric Techniques in Fingerprint and Face Recognition, CRC Press, ISBN0-8493-2055-0，第11章，第 355-396頁，1999年)(非專利文獻1))。才艮據(jù)該方法，在圖的節(jié)點處提供 特征點，并預先存儲與所述節(jié)點相關(guān)聯(lián)的特征。整個圖可被移動以找到產(chǎn) 生最高特征匹配度的位置，并且所述節(jié)點的位置可被局部地移位以調(diào)整圖 的形狀?？梢詫λ鰣D的分支的伸縮量加以約束，因此可以消減由于所關(guān) 注的人臉的姿態(tài)變化而導致的差異或者個人差異，而不會嚴重偏離人臉的 形狀。在檢查個人時，使用圖像的節(jié)點處的特征的相似度以及所述節(jié)點距 離初始位置的位移，來確定要檢查的圖像是否表示與出現(xiàn)在已記錄的圖像 上的相同的個人。
一種估計人臉的某些部分的位置的方法是使用AAM (主動外觀模 型)。根據(jù)該方法，預先準^^各種人和姿態(tài)的多個手動標記的部分的點(特 征點)，并對作為所述部分的位置與所述部分周圍的圖像的組合的數(shù)據(jù)執(zhí) 行主分量分析，以學習所述部分的位置及模式的變化。當從輸入圖像估計 出某一部分的位置時，該部分的初始位置被給出，并且連同相同位置周圍 的已學習的圖像一起被映射到部分空間中。已學習的變化具有的匹配度越 高，距該部分空間的距離越小。因此，通過精密地改變映射的空間的^ 來計算具有較高匹配度的部分的位置，由此可以識別對應的部分的位置。
由于施加了統(tǒng)計約束，所以該技術(shù)可被稱為統(tǒng)計模型，而上述的彈性圖是 二維幾何模型。通?？梢酝ㄟ^直接對這樣的部分空間上的M進行比較來 執(zhí)行個人識別。所述Wt包括位置和模式變化。
彈性圖和AAM是基本上彼此相類似的方法，只除了使用不同的約束 之外。然而，這些方法不包括判定在其處的特征要被檢查的節(jié)點位置的明 確步驟。不同的圖像中的特征點之間的對應關(guān)系越可以被更容易地識別， 特征點的個人變化就越小。然而，這與以下事實相矛盾當個人之間特征 變化較顯著時，在對個人之間的差異的實際檢查中，允許較容易地確定特 征.
當從個人識別的觀點來考慮特征點之間的對應關(guān)系時，在對一個人進 行識別的情況下，期望人臉的特定點之間的關(guān)系的成功匹配是與諸如人臉
姿態(tài)的差異之類的在拍攝情況下的差異無關(guān)地發(fā)生的。然而，在對不同的 個人之間進行識別的情況下，對應點之間的差異并不匹配。由于相同的特 征點的位置可能因人而異，因此對應點之間的差異是更優(yōu)選的，這樣的差 異導致了被假定為使得個人識別變得更容易的模式差異。
根據(jù)使用彈性圖和AAM的上述方法，同時地估計所關(guān)注的人臉的姿 態(tài)和個人差異。當僅需要檢查一個且同一個人的圖像中的對應點時，僅僅 要考慮該個人的姿態(tài)。當要僅通過估計所關(guān)注的人臉的姿態(tài)來檢查對應點 時，可以使用該人臉的形狀的三維模型。
使用三維模型的人臉識別的示例是利用Blanz等人提出的CG (計算 機圖形學討支術(shù)的方法(例如，參見Volker Blanz和Thomas Vetter的"Face Recognition Based on Fitting a 3D Morphable Model" (IEEE Transaction on Pattern Analysis and Machine Intelligence, 第25巻，第9號,2003 年)(非專利文獻2))。根據(jù)該方法，執(zhí)行主分量分析(PCA)以提供使 用與在均勻照明的情況下預先獲得的形狀數(shù)據(jù)相關(guān)聯(lián)的大量人臉和肌理 (R， G, B)的三維形狀數(shù)據(jù)[x， y， z的三維統(tǒng)計模型。通過改變該三 維模型的參數(shù)、姿態(tài)參數(shù)以及照明^!t來合成接近于最終輸入的人臉的圖 像(將CG技術(shù)用于該合成)。人臉識別自身是僅使用該三維模型的M 來執(zhí)行的，因此該識別是在消除人臉姿態(tài)和照明的影響的同時執(zhí)行的。
還存在關(guān)于通過以下方式來合成各種人臉的方法的建議將已記錄的 正面人臉圖像貼在三維人臉模型上，并向該模型添加可被假定為預先發(fā)生 的各種照明和姿態(tài)的變4t (例如，參見Akira Inoue、 Shizuo Sakamoto 和Atsushi Sato的"Face Matching Using Partial Area Matching and Perturbative Space Method" (Proceedings of JEICE General Conference 2003)(非專利文獻3))。對所有圖像執(zhí)行主分量分析(PCA)以獲得圖 像可以占據(jù)的部分空間(攝動部分空間)。由此獲得的輸入圖像與每個人 的部分空間之間的距離被得到以識別該個人。
上述利用三維模型的人臉識別方法中的任一方法的特征在于，其包括 對人臉圖像的合成，這導致了顯著的處理負荷和計算成本。

發(fā)明內(nèi)容
期望提供具有高性能的一種人臉圖像處理設(shè)備、 一種人臉圖像處理方 法以及一種計算機程序，其中可以通過統(tǒng)計學習來選擇在識別個人時所使
用的特征點或特征，以及其中優(yōu)選地可以綜合使用所選特征來執(zhí)行個人識 別過程.
還期望提供具有高性能的一種人臉圖像處理i殳備、 一種人臉圖像處理 方法以及一種計算機程序，其中在已記錄的圖像和要檢查的圖像上的特征 點可以準確皿此關(guān)聯(lián)，以實現(xiàn)高識別性能。
本發(fā)明考慮了上述需要。根據(jù)本發(fā)明的實施例，提供了一種人臉圖像 處理設(shè)備，其通過統(tǒng)計學習來選擇用于識別個人的特征點和特征，并綜合
地使用所選的特征點來執(zhí)行個人識別過程。該設(shè)備包括
輸入裝置，用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；
人,分檢測裝置，用于從輸入的人臉圖像中檢測若干部位中的人臉 部分的位置；
人臉姿態(tài)估計裝置，用于基于所檢測到的人臉部分的位置來估計人臉 姿態(tài)；
特征點位置校正裝置，用于基于人臉姿態(tài)估計裝置的人臉姿態(tài)估計結(jié)
果來對每個用于識別個人的特征點的位置進行校正；以及
人臉識別裝置，用于通過以下方式來識別個人在特征點位置校正裝 置執(zhí)行了位置校正之后，計算輸入的人臉圖像在每個特征點處的特征，并 將所述特征對照已記錄的人臉的特征來進行檢查。
人臉識別系統(tǒng)基本上涉及人臉檢測過程，用于檢測包括在輸入圖像 中的人臉圖像的位置和大小；人,分檢測過程，用于從所檢測到的人臉 圖像中檢測主要的人臉部分的位置；以^A臉識別過程，用于通過將要檢 查的圖像對照已記錄的圖像進行檢查來識別人臉圖像(識別個人)，其中 所述要檢查的圖像是通過基于人臉部分的位置來校正人臉圖像的位置和 旋轉(zhuǎn)而獲得的。
下述這樣的人臉識別系統(tǒng)是已知的，其中通過統(tǒng)計學習來選擇要用于 識別個人的特征點或特征，以及其中綜合地使用所選的特征來執(zhí)行個人識 別過程。由于可用于識別的大量特征點或特征是自動選擇的，因此這種系 統(tǒng)是有益的?？梢証^用具有方向選擇性和不同的頻率分量的多個Gabor 濾波來提^A臉圖像的特征。由于Gabor濾波相對于特征提取位置的一 定程度的位移或變形而言是魯棒的，因此可以使用包括某些姿態(tài)變化在內(nèi) 的學習樣本，以使得將會選擇魯棒的特征點。因此，可以適應于包括在輸 入圖^象中的要檢查的圖《象的姿態(tài)變化。
然而，當要檢查的圖像的姿態(tài)存在顯著變化時，特征點的位移可能變
得過大以致不能通過Gabor濾波的魯棒性來消減。當通過圖像來識別人 臉(檢查個人)時，非常重要的是將在已記錄的圖像和要檢查的圖像上 的特征點適當M此關(guān)聯(lián)，以便實現(xiàn)高識別性能。
在所述情況下，在根據(jù)本發(fā)明的實施例的人臉識別系統(tǒng)中，使用穩(wěn)定 的與所關(guān)注的個人無關(guān)的特征點(被定義用于檢測人臉部分的特征點)來 估計人臉的姿態(tài)。然后，4吏用平均>^臉的三維模型來##個個人的差異顯 著出現(xiàn)之處的其它特征點(被定義用于識別人臉(個人識別)的特征點) 轉(zhuǎn)換為特定姿態(tài)中的點。通iW由該轉(zhuǎn)換而獲得的位置中的特征進行比較 來執(zhí)行個人識別。
人臉部分識別裝置基于已記錄在人,分檢測辭典中的、與穩(wěn)定的與 所關(guān)注的個人無關(guān)(較不易受到個人差異的影響)的特征點相關(guān)聯(lián)的特征， #測人臉部分。人J3^姿態(tài)估計裝置基于所檢測到的人臉部分的位置來估 計人臉姿態(tài)。特征點位置校正裝置根據(jù)所估計的人臉姿態(tài)來對從用于個人 識別的識別辭典中讀取的特征點的位置進行校正。因此，可以以相對于人 臉姿態(tài)的變化而言魯棒的方式來執(zhí)行個人識別。
具體而言，人臉姿態(tài)估計裝置通過使得人臉圖像在屏幕中轉(zhuǎn)動來校正 人臉圖像的旋轉(zhuǎn)，以使得被檢測作為人臉部分的左眼和右眼的位置被水平 調(diào)準。然后，人臉姿態(tài)估計裝置基于由人,分檢測裝置檢測到的人, 分的位置與平均三維>^^模型之間的關(guān)系，來估計通過使得圖像轉(zhuǎn)動而獲 得的人臉圖像中所包括的繞俯仰軸和偏轉(zhuǎn)軸的旋轉(zhuǎn)角度。特征點位置校正 裝置基于由人臉姿態(tài)估計裝置所估計的人臉圖像繞俯仰軸和偏轉(zhuǎn)軸的旋 轉(zhuǎn)角度，來校正用于識別個人的每個特征點的位置。
人臉部分檢測裝置基于與較不易受到個人之間的個體差異的影響的 特征點相關(guān)聯(lián)的特征;^r測人J^分。因此，當不同圖像上的特征點彼此 相關(guān)聯(lián)時，使用較不易受到個人差異影響的特征點。因此，在已記錄的圖 像和要檢查的圖像上的特征點可以被適當?shù)乇舜岁P(guān)聯(lián)。同時，人臉識別裝 置基于顯著出現(xiàn)個人差異的特征點處的特征來識別個人。也就是說，由于 實際上使用特征因人而異之處的特征點ijM^查個人差異，因此可以準確地 識別個人。
根據(jù)本發(fā)明的第二實施例，提供了一種以計算機可讀形式描述的、用 于使得計算機執(zhí)行人臉圖像處理的計算機程序，在該人臉圖像處理中，通 過統(tǒng)計學習來選擇用于識別個人的特征點和特征，以及綜合地使用所選的特征點來執(zhí)行個人識別過程。該程序使得計算機用作
輸入裝置，用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；
人JI^P分檢測裝置，用于從輸入的人臉圖像中檢測若干部位中的人臉 部分的位置；
人臉姿態(tài)估計裝置，用于基于檢測到的人臉部分的位置來估計人臉姿
態(tài)；
特征點位置校正裝置，用于基于人臉姿態(tài)估計裝置的人臉姿態(tài)估計結(jié) 果^正每個用于識別個人的特征點的位置；以及
人臉識別裝置，用于通過以下方式來識別個人在特征點位置校正裝 置執(zhí)行了位置校正之后，計算輸入的人臉圖像在每個特征點處的特征，并 將所述特征對照已記錄的人臉的特征來進行檢查。
根據(jù)本發(fā)明的笫二實施例的計算枳應序是以計算機可讀形式描述的、 用于在計算機上實現(xiàn)預定過程的計算M序。換言之，當根據(jù)本發(fā)明的第 二實施例的計算機程序被安裝在計算機中時，該程序在計算機上發(fā)揮協(xié)同 作用，以實現(xiàn)與根據(jù)本發(fā)明的第一實施例的人臉圖像處理設(shè)備的優(yōu)點相類 似的優(yōu)點。
根據(jù)本發(fā)明的實施例，可以提供下述這樣的一種人臉圖^象處理i殳備、 一種人臉圖像處理方法以及一種計算機程序，其由于以下原因而是有利 的可以通過統(tǒng)計學習來選"^要用于識別個人的特征點和特征，以及優(yōu)選 地可以綜合使用所選的特征來執(zhí)行個人識別過程。
根據(jù)本發(fā)明的實施例，可以提供下述這樣的一種AJ瞼圖形處理設(shè)備、 一種人臉圖像處理方法以及一種計算機程序，其由于以下原因而是有利 的即使在要檢查的圖像的姿態(tài)存在變化時，也可以將在已記錄的圖係禾 要檢查的圖像上的特征點準確地彼此關(guān)聯(lián)，以實現(xiàn)高識別性能。
在使用人臉圖像來檢查個人時，重要的是如何將在要檢查的圖像和已 記錄的圖像上的特征點彼此關(guān)聯(lián)。在根據(jù)本發(fā)明的實施例的人臉圖像處理 設(shè)備中，使用穩(wěn)定的與所關(guān)注的個人無關(guān)的特征點來估計人臉的姿態(tài)。然 后，使用平均人臉的三維模型來將出現(xiàn)顯著個人差異之處的其它特征點轉(zhuǎn) 換到特定姿態(tài)中。對在通過這種轉(zhuǎn)換獲得的位置處的特征點進行比較以識 別個人。因此，可以以相對于姿態(tài)變化而言魯棒的方式來檢查個人。
在根據(jù)本發(fā)明的實施例的人臉圖像處理設(shè)備中，當不同圖像上的特征 點彼此關(guān)聯(lián)時，使用較不易受到個人差異影響的特征點。因此，可以使得 在已記錄的圖像和要檢查的圖像上的特征點適當?shù)乇舜岁P(guān)聯(lián)。同時，實際
上使用特征因人而異之處的特征點iM^查個人差異。因此，可以高精度地 識別個人。
如同由此所描述的，在根據(jù)本發(fā)明的實施例的人臉圖像處理設(shè)備中， 與用于識別的特征點相分離地處理用于估計姿態(tài)的特征點.因此，可以高 性能地執(zhí)行個人識別，并且優(yōu)選地可以利用對識別所需的特征的統(tǒng)計選擇 的優(yōu)點。
在根據(jù)本發(fā)明的實施例的人臉圖像處理設(shè)備中，使用三維平均人臉模 型來估計人臉圖像的姿態(tài)，并且不執(zhí)g如圖像合成之類的復雜過程。因 此，可以以高速度和低計算成本來執(zhí)行人臉識別過程。
從下面基于本發(fā)明的實施例和附圖而提供的、對本發(fā)明的更詳細的描 述中，本發(fā)明的其它特征和優(yōu)點將變得明顯。


圖i示意性地示出了根據(jù)本發(fā)明的實施例的人臉識別系統(tǒng)的總體配
置；
圖2示意性地示出了人J^r識別單元13的內(nèi)部配置；
圖3A示出了使用以固定的像素大小構(gòu)成的高斯函數(shù)的濾波窗口 ；
圖3B示出了作為正弦函數(shù)或余弦函數(shù)的響應函數(shù)；
圖3C示出了通過將圖3A所示的濾波窗口應用于圖3B所示的響應 函數(shù)上而獲得的Gabor濾波；
圖3D示出了通過將所述濾波窗口沿每個均具有相等的角度偏移量 22.5度的八個方向應用于響應函數(shù)上而獲得的八個Gabor濾波；
圖3E示出了通過將所述濾波窗口沿定義了八個方向的角度e應用于 具有五種不同頻率f的響應函數(shù)上而獲得的四十種類型的Gabor濾波；
圖4示出了對人臉和AJ^:部分(四個點，即，雙眼的中心、鼻尖以及 嘴中心)的檢測結(jié)果的示例；
圖5A示出了在對人臉部分的一般檢測期間如何將搜索區(qū)上移、下移、 左移和右移；
圖5B示出了如何基于對人臉姿態(tài)角的估計結(jié)果而將用于人J^分檢 測的搜索區(qū)上移、下移、左移和右移；
圖6示出了使用其原點是圖像的左上像素的左上角的像素邊緣坐標
表示系統(tǒng)將坐標(x。， yj、 (Xl， yi).......分配給所述圖像中的每個人臉
部分的特征點，該圖示還示出了將人臉圖像繞適當點以角度e旋轉(zhuǎn)以使得 雙8H^水平調(diào)準；
圖7A示出了平均人^p分之間的三維位置關(guān)系；
圖7B示出了圖7A所示的平均人,分在其被繞偏轉(zhuǎn)軸旋轉(zhuǎn)45度時 所具有的三維位置關(guān)系；
圖8示出了裁剪人臉區(qū)域的過程；
圖9A示出了通過統(tǒng)計學習選擇的備選特征點的示例(正視圖)；
圖9B示出了通過統(tǒng)計學習選擇的備選特征點的示例，其中基于三維 平均人臉模型來預先獲得每個網(wǎng)格點(用于識別個人的特征點)的z坐標；
圖IOA示出了從正面攝影的對象的人臉圖像中提取的特征點；以及
圖10B示出了從通it^j"圖10A所示的同一對象斜對地攝影而獲得的 人臉圖像中提取的特征點，所述特征點被基于根據(jù)人臉部分的位置估計的 人臉姿態(tài)(所估計的俯仰角和轉(zhuǎn)動角)而進行校正。
具體實施例方式
現(xiàn)在將參照附圖描述本發(fā)明的實施例。
圖1示意性地示出了根據(jù)本發(fā)明的實施例的人臉識別系統(tǒng)的總體配 置。該圖示中的人臉識別系統(tǒng)10包括人臉檢測單元11 、人^分檢測單 元12以;S^A臉識別單元13。
人臉檢測單元11從輸入圖像中檢測出人臉，并得到所檢測到的人臉 的大小和位置?？梢允褂脙上袼夭罘椒▉韴?zhí)行人臉檢測中包括的特征提 取。根據(jù)該方法，計算可以容易地從具有預定大小的像素范圍中提^A臉 特征的兩個點處的像素之間的亮度差，并且針對多對這樣的點而執(zhí)行該計 算。例如，可以將Adaboost算法用于分類器計算。Adaboost是由Freund 等人在1996年提出的理論，即，可以通過組合多個"略優(yōu)于隨機分類器 的弱分類器"(也稱為"弱學習器(weaklearner, WL)")來構(gòu)造"強分 類器"。具體而言，在被i人為具有有利于人臉特征提取的亮度差的點對處 選捧多個像素組合。針對每個所述組合，為所述兩個點處的像素的亮度差
定義弱假設(shè)，并且基于預先統(tǒng)計學習的弱假設(shè)來定義最^f^設(shè)。人J3^檢測 器由一組針對兩個像素亮度差的弱假設(shè)構(gòu)成，并被稱為人臉檢測辭典。檢 測如下所述地進行。在輸入圖像區(qū)域內(nèi)對具有預定像素大小的人臉檢測器 進行掃描，并且該檢測器在被掃描的每個位置處執(zhí)行計算，以獲得已定義 了針對其的弱假設(shè)的每對像素之間的亮度差。根據(jù)計算結(jié)果與所述弱假設(shè) 之間的一致性程度來對所述計算結(jié)果進行評分，并且所有已定義了針對其 的弱假設(shè)的像素對的這種評分的總和構(gòu)成了要用于確定所掃描的位置是 否是人眼位置的最g設(shè)。每個弱分類器被產(chǎn)生以使得緊挨在所關(guān)注的分 類器之前產(chǎn)生的弱分類器所弱分類的項被提供權(quán)重《 。根據(jù)每個弱分類器 的分類的確定性程度來獲得每個弱分類器的可靠性，并且基于該可靠性來 進行大多數(shù)判定。例如，在已被轉(zhuǎn)讓給本申請人的JP-A-2005-157679中 也公開了使用兩點像素差方法的人臉檢測方法。
為了獲得用于人臉識別的調(diào)準的(正規(guī)化的)人臉，使用人臉檢測單 元11所檢測到的人臉的較高分辨率的圖像來檢測諸如左眼和右眼、鼻尖 和嘴中心等的人臉部分的位置?；谒鶛z測到的人眼位置，根據(jù)所述通過
人臉檢測獲得的人臉圖像的大小和位置而獲得具有改善的分辨率的人臉 的大小、位置和角度。兩點像素差方法可用于人眼位置檢測中包括的特征 提取。Adaboost算法可用于分類器計算。
人臉識別單元13從已通itA眼位置檢測識別出了左眼和右眼在其上 的位置的人臉圖像中識別出人臉的大小、位置和角度。該人^L相應地調(diào) 準為預定像素大小，并被暫時存儲在內(nèi)部的SRAM (未示出)中，以檢 查人臉是否與已記錄的圖傳湘匹配。
人臉識別單元13使用Gabor濾波來提取要用于人臉識別的特征。 Gentleboost算法被用于分類器計算。將通過將Gabor濾波應用于已調(diào)準 的人臉圖〗象而獲得的結(jié)果與通過將Gabor濾波應用于預先記錄的圖4象而 獲得的結(jié)果進行比較，以得到它們之間的相似度。將Gentleboost算法應 用于由此得到的相似度，以檢查該人臉圖像是否與該已記錄的圖#4目匹 配。
預先根據(jù)大量的人臉數(shù)據(jù)和樣本來學習人臉檢測單元11、人臉部分 檢測單元12和人臉識別單元13中的每個單元所需要的統(tǒng)計數(shù)據(jù)(具體而 言是人臉檢測辭典21、人臉部分檢測辭典22和識別辭典23 )。與穩(wěn)定的
與所關(guān)注的個人無關(guān)(或者較不容易受到個體變化的影響)的特征點相關(guān)
聯(lián)的特征被記錄在人臉檢測辭典21和人,分檢測辭典22中。相反地， 在可能出現(xiàn)顯著個體變化的特征點處的特征被記錄在人臉識別辭典中。
圖2示意性地示出了人臉識別單元3的內(nèi)部配置。圖示的人臉識別單 元13包括人臉圖像輸入部分131、 Gabor濾波應用部分132、相關(guān)性計算 部分133和匹配確定部分134。
人臉圖像輸入部分131將具有如下分辨率的人臉圖像傳輸至人臉識 別單元13的本地存儲器(未示出)，其中所述分辨率是基于人,分檢測 單元12檢測到的、諸如人臉的雙眼等的人臉的每個部分的位置而獲得的 人臉識別所需要的分辨率。根據(jù)諸如雙眼等的人臉部分的位置信息而獲得 人臉的大小、位置和角度，以對該人臉圖像進行調(diào)準。由此產(chǎn)生了人臉識 別所需要的人臉圖像。也就是說，人臉圖^^入部分131對人臉圖^ii行 縮小、移位和旋轉(zhuǎn)，以基于諸如雙眼等的人臉部分的位置信息而使用固定 的坐標來調(diào)準左眼和右眼，由此產(chǎn)生了人臉識別所需要的人臉圖l象。
Gabor濾波應用部分132將Gabor濾波應用于已由圖傳瑜入部分131 調(diào)準的人臉圖像。
使用高斯函數(shù)作為窗口并使用基于正弦函數(shù)或余弦函數(shù)的Gabor函 數(shù)作為頻率響應，來空間地表示Gabor濾波。例如，如圖3A所示，濾波 窗口被固定為24x24像素。當將該濾波窗口應用于如圖3B所示的作為特 定頻率分量的正弦函數(shù)或余弦函數(shù)的響應函數(shù)時，可以產(chǎn)生如圖3C所示 的Gabor濾波。例如，當將濾波窗口沿每個均具有相等的角度偏移量22.5 度的八個方向(即，沿0度、22.5度、45度、67.5度、卯度、112.5度、 135度和157.5度的方向)應用于作為正弦函數(shù)或余弦函數(shù)的每個響應函 數(shù)時，可以產(chǎn)生如圖3D所示的八個Gabor濾波。此外，當將濾波窗口類 似地沿定義了八個方向的角度e應用于在從低頻帶到高頻帶的范圍內(nèi)變 化的五個不同頻率f的響應函數(shù)上時，總共構(gòu)成了如圖3E所示的四十種 類型的Gabor濾波。由以下表達式來給出Gabor濾波(Gabor核K (x， y)):
<formula>formula see original document page 18</formula>
<formula>formula see original document page 19</formula>
…(1)
參照Gabor濾波的計算，通it^t Gabor濾波Gi (x, y)所應用于的 像素I(x, y)以及Gabor濾波系數(shù)進行巻積，來計算該Gabor濾波Gi (x， y)。 Gabor濾波系數(shù)可被分離成頻率響應是余弦函數(shù)的實部Re (x， y)和頻率響應是正弦函數(shù)的虛部Im (x， y)。對這些部分執(zhí)行巻積運算， 以合成相應的分量。因此，可以獲得作為一個標量值的Gabor濾波結(jié)果 Ji (x， y)，其中(x， y)表示在其處提取特征的像素位置，"i"表示所關(guān) 注的濾波是上述的四十個Gabor濾波中的第i個Gabor濾波。
<formula>formula see original document page 19</formula>通過在圖像的特征提取位置(x， y)處使用最多四十種類型的Gabor
濾波而獲得的標量值組卩i， J2,…，J4。}(即，最多四十個標量值的組)被稱
為"Gabor jet"。
校正計算部分133對基于輸入圖像而計算出的Gabor jet即GS以及 已記錄的圖像的Gabor jet即GR執(zhí)行正規(guī)化的校正計算，以使得要檢查 的圖像與已記錄的圖^^目關(guān)聯(lián)，由此獲得所述圖^^每個特征提取位置處 的相似度。
."(3)
對在被認為允許容易地提取特征的多個特征提取位置或特征點處具 有調(diào)準的像素的人臉圖像執(zhí)行正規(guī)化的相關(guān)性計算，由此獲得相似度。作 為結(jié)果，獲得其元素是在所述特征點處提取的正規(guī)化的相關(guān)性計算結(jié)果 d0、 dp ...的相似度向量D。
<formula>formula see original document page 19</formula>... (4 )
上文陳述了 "最多"使用四十種類型的Gabor濾波，該陳述意味著 不需要在所有定義的特征點處使用全部的四十種類型的Gabor濾波。要 在已提取了相似度的特征提取點處使用的Gabor濾波類型的數(shù)量取決于 該點的位置。也就是說，Gabor濾波的類型和數(shù)量(Gabor jet的元素數(shù)
量)取決于所關(guān)注的位置。
匹配確定部分134基于所獲得的輸入圖像與已記錄的圖像之間的相 似度向量來確定所述圖像是否彼此相匹配。在本實施例中，Gentleboost 被用于分類器計算。使用以下表達式來執(zhí)行Gentleboost計算。該表達式 中的值a、 q和b ^L預先記錄在識別辭典中。
y000 = "000 x (凈000>《000)+的oo y001 = "001 x (承001>《001)+6001 ^002 = "002 x (^002>《002)+ M02
，159 = "159 x (碌159>，)+M59
OS /000,/001，/002，…，il59^81 …(5)
根據(jù)以下判別式來確定輸入圖 <象與已記錄的圖像是否彼此相匹配
如果((y000+y001+y002+…+y159) >閾值)，人臉OK 否則，人臉NG
...(6)
盡管以上描述了使用Gentleboost來確定匹配，但是本發(fā)明不必限定 于此。例如，可以使用支持向量機來對在相似度向量的邊界處的值進行分 類，以確定所述圖^^的匹配。
人臉識別單元13處的處理的步驟可被一般地概括如下。
步驟1:由人J^分檢測單元12所定位和裁剪的人臉圖像被傳送。
步驟2:從已被統(tǒng)計學習的識別辭典中讀取特征點位置和所使用的 Gabor濾波的類型(維數(shù))?；谒x取的信息對所述圖像執(zhí)行Gabor濾 波計算，以獲得濾波輸出。
步驟3:從預先記錄的個AA臉數(shù)據(jù)(對已記錄的人臉執(zhí)行Gabor 濾波計算的結(jié)果的記錄)中順序地讀取要檢查的個人的數(shù)據(jù)，并計算所述 數(shù)據(jù)與輸入圖像的濾波輸出之間的相關(guān)性。
步驟4:基于由此獲得的相關(guān)性值使用從統(tǒng)計學習的辭典中讀取的判 別式函數(shù)來執(zhí)行個人識別。
步驟5:處理返回到步驟2，以將到步驟4之前的步驟重復N次(N 等于弱學習器WL的數(shù)量)。
步驟6:綜合N輪確定的結(jié)果以輸出最終確定。
如上文所述，本實施例的人臉識別系統(tǒng)10基本上通過統(tǒng)計學習來選 擇要用于個人識別的特征點或特征，并在確定過程中使用所選的特征點處 的特征來綜合地執(zhí)行確定處理。
用于提取特征的Gabor濾波相對于提取特征之處的特征點的一定程 度的位移或變形而言是魯棒的。因此，可以通it^學習樣本中包括某些姿 態(tài)變化以使得將會選擇魯棒的特征點，來適應于輸入圖像中包括的要檢查 的圖^象的姿態(tài)變化。
然而，當要檢查的圖像的姿態(tài)存在顯著變化時，特征點的位移可能變 得過大以致不能通過Gabor濾波的魯棒性來消減。當人M識別時，非 常重要的是適當?shù)亟⒃谝延涗浀膱D像和要檢查的圖像上的特征點之間 的對應關(guān)系，以實現(xiàn)高識別性能。
在所述情況下，在本實施例的人臉識別系統(tǒng)IO中，使用穩(wěn)定的與所 關(guān)注的個人無關(guān)的特征點(被定義用于檢測人臉部分的特征點)來估計人 臉姿態(tài)。然后，使用平均人臉三維模型來將每個個人的差異顯著地出現(xiàn)之 處的其它特征點(被定義用于人臉識別(個人識別)的特征點)轉(zhuǎn)換為特 定姿態(tài)中的點。通過對在所述轉(zhuǎn)換之后達到的位置中的特征進行比較來執(zhí) 行個人識別。
人^分檢測單元12基于已記錄在人臉部分檢測辭典22中的、與保 持穩(wěn)定而與個人差異無關(guān)的特征點(較不易受到個體變化影響的特征點) 相關(guān)聯(lián)的特征來檢測人臉的部分。當不同圖像上的特征點彼此相關(guān)聯(lián)時， 使用較不易受到個人變化影響的特征點。因此，可以適當?shù)貙⒃谝延涗浀?圖像和要檢查的圖像上的特征點相關(guān)聯(lián)。隨后，使用>^臉圖^^測到的 特征點與人臉的平均三維模型上的相應特征點之間的相關(guān)性，來估計人臉 姿態(tài)。在校正了從識別辭典23讀取的特征點的位置之后，執(zhí)行檢查人臉 圖像的處理?？梢砸韵鄬τ谒P(guān)注的人臉的姿態(tài)變化而言魯棒的方式來執(zhí) 行個人識別。
在本說明書中將自適應地改變從識別辭典23讀取的特征點的坐標 (其可能因人不同而顯著變化)的操作稱為"自適應采樣"。
自適應采樣包括以下步驟。
步驟ll:檢測人臉部分。
步驟12:估計人臉姿態(tài)。
(12-1)在屏幕中轉(zhuǎn)動特征點以校正它們，以使得雙3|*水平調(diào)準。
(12-2 )根據(jù)人,分的標準模型與從輸入圖像中檢測到的人,分 之間的關(guān)系來估計原點在雙眼之間的中點處的偏轉(zhuǎn)角和俯仰角。
步驟13:基于所估計的角度和所估計的比例來裁剪人臉區(qū)域。 (13-1)計算輸入圖像中的人臉區(qū)域的中心和四個角。 (13-2)將所述圖像繞所述區(qū)域的中心旋轉(zhuǎn)。 (13-3 )經(jīng)過旋轉(zhuǎn)的圖^^t切片和調(diào)準到預定的像素大小。
步驟14:基于姿態(tài)角來校正樣本點。
(14-1)將所定義的、原點在雙眼之間的中點處的樣本點(x， y， z) 按照列出的軸的順序繞俯仰軸和偏轉(zhuǎn)軸旋轉(zhuǎn)。
現(xiàn)在將詳細描述自適應采樣的每個步驟。
對人臉部分的檢測
圖4示出了對人臉和>^臉部分(在圖示的示例中是四個部分，即，雙 眼的中心、鼻尖和嘴中心)的檢測結(jié)果的示例?？梢酝ㄟ^掃描來自圖像的 所有人臉模式，來執(zhí)行對人臉的檢測?？梢酝ㄟ^掃描每個所檢測到的人臉 區(qū)域中的預定區(qū)iM^測人臉部分，以得到所itA臉部分、即右眼、左眼、 鼻尖和嘴中心的模式。
人臉部分檢測過程可包括根據(jù)以重疊關(guān)系的多個人臉檢測結(jié)果而粗 略估計人臉的姿態(tài)角的功能。如圖5B所示，即使在由于人臉姿態(tài)的顯著 變化而難以檢測人臉部分時，姿態(tài)角估計功能的使用也使得能夠通過根據(jù) 所估計的人臉的姿態(tài)角而使得用于人^分檢測的搜索區(qū)向上、向下、向 左和向右移位來穩(wěn)定地險測人臉部分。當人臉檢測單元12所檢測到的人 臉朝向正向時，對于檢測的目的而言，僅僅如圖5A所示的一個搜索區(qū)通 常就K夠的。
對入^^^態(tài)的估計
當完成了對人J^P分的檢測時，使用原點是圖像的左上像素的左上角 的像素邊緣坐標表示系統(tǒng)來為每個人臉部分的特征點提供在圖像中的坐
標(xo， yj、 (Xl, yi).......(參見圖6)。沿轉(zhuǎn)動方向繞適當?shù)狞c以角度0
校正旋轉(zhuǎn)，以使得雙眼被水平調(diào)準。由如下示出的表達式7給出旋轉(zhuǎn)角度0。<formula>formula see original document page 23</formula>所述坐標被進一步轉(zhuǎn)換到原點是雙眼之間的中點的坐標系統(tǒng)中。由如 下示出的表達式8來給出作為結(jié)果的坐標，其中Xp表示所述坐標。
<formula>formula see original document page 23</formula>其中，(x0， yo)、 (Xl, yi)、 (x2， y2)和(x3， y3)分別表示左眼、右 眼、鼻尖和嘴中心的坐標。作為由表達式8給出的坐標轉(zhuǎn)換的結(jié)果，對人 臉姿態(tài)的估計只需要繞俯仰軸和偏轉(zhuǎn)軸的旋轉(zhuǎn)角度p和y、以及用于使得 人臉圖像的大小適合于已記錄的圖像(或使之調(diào)準)的比例值s。
如圖7A所示地(以mm為單位)定義了平均人j^分之間的三維位 置關(guān)系，其中如上文所述雙眼之間的中點用作原點。在圖7A中還定義了 人臉部分與用于裁剪人臉的人J^r沖匡之間的關(guān)系。圖7B示出了圖7A所示 的平均人臉部分在被繞偏轉(zhuǎn)軸旋轉(zhuǎn)45度時所具有的三維位置關(guān)系。
現(xiàn)在將描述基于輸入圖像中的輸^^A臉部分(特征點)的坐標以及平 均人臉部分位置的定義來變換(調(diào)準)所述輸入圖像中的人臉的姿態(tài)角和 比例的處理的步驟。
步驟21:輸入圖像中的特征點在雙眼已被水平調(diào)準的情況下被轉(zhuǎn)換 到(如同上文所述的)原點是雙眼之間的中點的坐標Xp。
步驟22:由如下所示的矩陣Xm來表示圖7A所示的平均人臉模型的 特征點的三維位置。下面示出的矩陣Xm的第一至第四列分別對應于右眼、 左眼、鼻尖和嘴的三維位置。
-30.5 +30.5 0,0 0.0
0.0 0.0 38.0 68.0 0,0 0.0 —38.0 —13.0
..(9)
步驟23:在圖7A所示的平均人^r模型的坐標表示中，繞x軸的旋轉(zhuǎn) 被稱為俯仰p，繞y軸的旋轉(zhuǎn)被稱為偏轉(zhuǎn)y。由以下表達式給出作為這些 旋轉(zhuǎn)的結(jié)果的、表示對四個特征點即右眼、左眼、鼻尖和嘴的坐標轉(zhuǎn)換的 旋轉(zhuǎn)矩陣R。
cos(y) sin(y)sin(/ ) sin(y)c。s(p)
(10)
步驟24:輸入圖像中的特征點的坐標Xp和平均人臉模型的坐標X。 具有相同的原點，并且繞Z軸的轉(zhuǎn)動已經(jīng)被校正。因此，在應用了比例值
s以及偏轉(zhuǎn)和俯仰的旋轉(zhuǎn)轉(zhuǎn)換R時，這些坐標具有由以下表達式表示的關(guān) 系。
cos(y) sin(y)sin(p) sin(y)cos(p) 0 cos(/)) - sin(; )
加J
7、
這里假設(shè)模型點被垂直投影在輸入圖像上。Xp—,和Xpy分別表示輸入
圖像中的特征點的x坐標和y坐標。Xm x、 Xm y和Xm z分別表示模型的 特征點被分解成的x坐標、y坐標和z坐標。
步驟25:表達式11所示的矩陣計算的第二行僅釆用繞俯仰軸的旋轉(zhuǎn) p作為參數(shù)，并且其因此可以被如下所示地轉(zhuǎn)換
義
."(12)
步驟26:通過使用偽逆矩陣來對表達式12求解而獲得下面示出的表 達式13。
<formula>formula see original document page 24</formula>...(13 )
表達式13中的(BTB)"BT可以M示平均人臉模型的特征點的三維位
置的矩陣Xm獲得。因此，可以預先在離線過程中使用表達式9來計算
(BTB)"BT，以^t當在線執(zhí)行處理時省略逆矩陣計算。
步驟27:基于表達式13的計算結(jié)果根據(jù)以下所示的表達式14，可以 獲得人臉圖像繞俯仰軸的旋轉(zhuǎn)角度p。
(14)
步驟28:參照表達式ll的第一行，根據(jù)以下表達式可以獲得人臉圖 像繞偏轉(zhuǎn)軸的旋轉(zhuǎn)角度y。 <formula>formula see original document page 25</formula>步驟29:由于已通過表達式14獲得了俯仰角p，因此正如針對表達 式13所做的一樣，使用偽逆矩陣來對表達式15求解，并獲得以下表達式。<formula>formula see original document page 25</formula> 步驟30:因此，根據(jù)以下表達式可以獲得人臉圖像繞偏轉(zhuǎn)軸的旋轉(zhuǎn) 角度y。<formula>formula see original document page 25</formula>步驟31:對表達式14和14進行平均，以獲得由以下表達式給出的 比例值s。<formula>formula see original document page 25</formula>通過參照表達式ll的第一行而獲得的、用于得到人臉圖像繞偏轉(zhuǎn)軸 的旋轉(zhuǎn)角度y的表達式15可被如下所示地轉(zhuǎn)換<formula>formula see original document page 25</formula>其中，<formula>formula see original document page 25</formula>jcos(y) 0
在這種情況下，該用于得到偏轉(zhuǎn)角的表達式可被表示如下,
...(20 )
其中，
10 o 0 cos(/ ) -sin(p) 0 siti(p) cos(p)
表達式20的右側(cè)的(XmXmTfXm可預先(或在離線過程中)根據(jù)表達 式9而獲得。因此，根據(jù)表達式20，可以在離線過程中省略逆矩陣計算， 并且可以使用針對俯仰的旋轉(zhuǎn)矩陣R3p的逆矩陣來導出繞偏轉(zhuǎn)軸的旋轉(zhuǎn)角度y。
對人J瞼區(qū)域的裁剪
當通itA臉姿態(tài)估計過程獲得了對人臉姿態(tài)和比例值s的估計時，計
算所關(guān)注的人臉區(qū)域的中心和四個角。該人臉圖傳被繞該區(qū)域的中心轉(zhuǎn)
動，并且該人臉區(qū)域被基于比例值s而調(diào)準到預定像素大小(例如80x80 像素)并被裁剪。
圖8示出了裁剪人臉區(qū)域的過程。
使用通itA臉姿態(tài)估計過程獲得的模型以及針對輸入坐標的比例值s 來定義人臉區(qū)域。平均人臉模型上的人臉區(qū)域具有169.0的大小，并且該 大小乘以比例值s后變成圖像中的人臉區(qū)域的大小。可以根據(jù)所述位置距 離平均人臉圖像的原點的位置來計算裁剪區(qū)域。
由于人臉部分的特征點的坐標Xp已被轉(zhuǎn)動以在水平方向上調(diào)準雙 眼，因此該圖像這次被旋轉(zhuǎn)以變成7JC平的，并JUU亥圖像中裁剪矩形區(qū)域。
最終，該圖像被調(diào)準到預定大小(例如80x80 ^象素)以用于識別。 此時，所述比例值也被更新，以允許轉(zhuǎn)換到80x80像素的大小。
圖9A示出了通過統(tǒng)計學習選擇的備選特征點的示例。以網(wǎng)格的形式 在整個人臉中選擇多個備選特征點。所述網(wǎng)格點被調(diào)準到要用于人臉識別 的圖像大小。在圖示的示例中，97個點被定義為具有80x80像素的人臉
圖像的特征點，所述點是以被屏蔽的5個像素的間隔來選擇的。圖9A是 所述備選特征點的正視圖，并且所述網(wǎng)格點(用于個人識別的特征點)中 的每個網(wǎng)格點的z坐標均是預先基于如圖9B所示的三維人臉模型而獲得 的。所述坐標的數(shù)據(jù)隨著用于學習辭典的特征說明一起被保存。
當人臉圖像實際被裁剪并被作為要檢查的圖像而輸入以計算在每個 特征點處的特征時，通迚基于估計的人臉姿態(tài)p和y以及估計的比例值s 而旋轉(zhuǎn)和縮放從所述辭典讀取的所述97個特征點的坐標，來校正所述97 個特征點的坐標。
假設(shè)Xs表示已記錄在人臉識別辭典中的特征點的三維定義的坐標， 并且Xs表示通過基于人臉姿態(tài)p和y以及比例值s而旋轉(zhuǎn)和縮放圖像所獲 得的、經(jīng)過校正的特征點。那么，所述經(jīng)過校正的特征點的坐標&可以 通過以下所示的表達式21獲得。表達式21的右側(cè)的常量C是所定義的 雙眼之間的中點的坐標(80/2， 80x66.05/169.0)。
x,si^ + C …(21) 其中，
eos(y) sin(y)sin(p) sin(y)cos(/ ) 0 cos(/ ) - sin(p)
當像素實際上被采樣時，像素邊緣坐標表示被轉(zhuǎn)換為像素中心坐標表 示(國0.5 )。
圖10A示出了vMwjL面攝影的對象的人臉圖^N^取的特征點。圖10B 示出了從斜對地攝影的同一對象的人臉圖傳提取的特征點。根據(jù)圖10A 與圖10B之間的比較顯而易見的是，在通過對該對象進行斜對地攝影而 獲得的人臉圖像的情況下，從該人臉圖像中檢測到若干人,分的位置。 基于所檢測到的人臉部分的位置來估計諸如俯仰和轉(zhuǎn)動之類的人臉姿態(tài) 變化，并且基于所估計的俯仰和轉(zhuǎn)動的角度來校正用于識別該個人的特征 點的位置，作為結(jié)果，可以改進諸如人臉識別之類的后續(xù)處理的精確性。
用于統(tǒng)計學習的自適應采樣
雖然已經(jīng)描述了與人臉識別過程相關(guān)聯(lián)的自適應采樣方法，但是在學 習過程中也期望使用該方法。
識別包括以下步驟逐一地計算特征以及與其相關(guān)聯(lián)的判別函數(shù)，以 及進行綜合的最終確定。相反地，通過以下步驟來執(zhí)行學習預先使用特 征的所有維數(shù)來計算在所有學習樣本中的所有備選特征點處的特征，以及 順序地選擇樣本中的導致一個人與其它人之間的最優(yōu)判別結(jié)果的特征點 和特征。因此，除了學習需要更大的計算量以外，用于學習的過程完全與 用于識別的過程相同。
學習通常涉及手動標記的人臉和手動給出的人臉部分位置，而非檢測 人臉和檢測人臉部分。然而，使用人臉和人臉部分的姿態(tài)估計和樣本點校 正是以與用于識別的方式相類似的方式來執(zhí)行的。
已經(jīng)參照本發(fā)明的特定實施例而詳細描述了本發(fā)明。然而，對于本領(lǐng) 域的技術(shù)人員而言，顯然可以在不背離本發(fā)明的精神的情況下對所述實施 例進行修改和替換。
例如，本發(fā)明可用于利用人臉識別4支術(shù)、例如個人驗汪系統(tǒng)和性別識
別的A^接口中，用于自動攝#4^操作目的的使用對象識別技術(shù)的數(shù)字攝 41^，以及包括具有數(shù)字攝#^的蜂窩電話在內(nèi)的便攜式終端。
以上描述僅僅7>開了本發(fā)明的示例性方式，并且本說明書的內(nèi)容不應 被視為限定性的。應當根據(jù)所附的權(quán)利要求來確定本發(fā)明的要旨。
權(quán)利要求
1. 一種人臉圖像處理設(shè)備，其通過統(tǒng)計學習來選擇用于識別個人的特征點和特征，并綜合地使用所選的特征點來執(zhí)行個人識別處理，所述設(shè)備包括:輸入裝置，用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；人臉部分檢測裝置，用于從輸入的人臉圖像中檢測若干部位中的人臉部分的位置；人臉姿態(tài)估計裝置，用于基于檢測到的人臉部分的位置來估計人臉姿態(tài)；特征點位置校正裝置，用于基于所述人臉姿態(tài)估計裝置的人臉姿態(tài)估計結(jié)果來對每個用于識別個人的特征點的位置進行校正；以及人臉識別裝置，用于通過以下方式來識別個人:在由所述特征點位置校正裝置執(zhí)行了位置校正之后，計算所述輸入的人臉圖像在每個特征點處的特征，并將所述特征對照已記錄的人臉的特征來進行檢查。
2. 根據(jù)權(quán)利要求l所述的人臉圖像處理設(shè)備，其中所述人臉部分檢測裝置基于與較不易受到個人之間的個體差異的影 響的穩(wěn)定的特征點相關(guān)聯(lián)的特征來檢測人臉部分；以及所itA臉識別裝置基于在個人之間出現(xiàn)顯著差異的特征點處的特征 來識別個人。
3. 根據(jù)權(quán)利要求1所述的人臉圖像處理設(shè)備，其中所i2^臉姿態(tài)估計裝置通過以下方式來校正所i^A臉圖像在屏幕中 轉(zhuǎn)動所iiA臉圖像，以使得作為人,分被檢測到的左眼和右眼的位置被 水平調(diào)準，然后基于所iiAJI^P分檢測裝置檢測到的人臉部分的位置與平 均三維人臉模型之間的關(guān)系，來估計通過轉(zhuǎn)動所述圖像而獲得的人臉圖像 中所包括的、繞俯仰軸和偏轉(zhuǎn)軸的旋轉(zhuǎn)角度；以及所述特征點校正裝置基于所述y0^r姿態(tài)估計裝置所估計的、所n臉 圖像繞俯仰軸和偏轉(zhuǎn)軸的旋轉(zhuǎn)角度，來校正每個用于識別個人的特征點的 位置。
4. 根據(jù)權(quán)利要求1所述的人臉圖像處理設(shè)備，其中 所itAJ^p分檢測裝置檢測作為人臉部分的左眼、右眼、鼻尖和嘴中 心的坐標(x0， y0)、 (xl, yl)、 (x2， y2)和(x3, y3);以及所i!A臉姿態(tài)估計裝置沿轉(zhuǎn)動方向、繞適當?shù)狞c以通it^達式1獲得 的角度-進行旋轉(zhuǎn)校正，以使得雙眼被水平調(diào)準，并使用表達式2來執(zhí)行 向原點是雙眼之間的中點的坐標系統(tǒng)上的位置Xp的另 一轉(zhuǎn)換，<formula>formula see original document page 3</formula> …(1)<formula>formula see original document page 3</formula> (2)。
5.根據(jù)權(quán)利要求4所述的人臉圖像處理設(shè)備，其中，所U臉姿態(tài) 估計裝置定義其元素是作為人臉部分的左眼、右眼、鼻尖和嘴的三維位置 的平均三維人臉模型Xm，并基于關(guān)系表達式3來估計所idA臉圖像中包 括的旋轉(zhuǎn)角度p和y，其中所述關(guān)系表達式3指示了當通過使用旋轉(zhuǎn)矩 陣R并將所述旋轉(zhuǎn)矩陣R的比例變換比例值s、來將所述三維人Ji^模型旋 轉(zhuǎn)變換所iiA臉圖像中包括的繞俯仰軸和偏轉(zhuǎn)軸的旋轉(zhuǎn)角度p和y時，所 述三維人臉模型Xm被轉(zhuǎn)換到在原點是雙眼之間的中點的坐標系統(tǒng)上的位 置Xp中，<formula>formula see original document page 3</formula>(3) 其中，<formula>formula see original document page 3</formula>
6.根據(jù)權(quán)利要求5所述的人臉圖像處理設(shè)備，其中所iiA臉姿態(tài)估計裝置對表達式3的第二行進行轉(zhuǎn)換以獲得表達式 4,使用偽旋轉(zhuǎn)矩陣B來對表達式4進行求解，并根據(jù)表達式6來估計所 ^A臉圖像中包括的繞俯仰軸的旋轉(zhuǎn)角度p，<formula>formula see original document page 3</formula>...(4) <formula>formula see original document page 4</formula>"(5)<formula>formula see original document page 4</formula>( 6)
7. 根據(jù)權(quán)利要求6所述的人臉圖像處理設(shè)備，其中所U臉姿態(tài)估 計裝置預先根據(jù)表示所述平均三維人臉模型的特征點的三維位置的矩陣 Xm來計算表達式5中的包括逆矩陣計算的(BTB)"B1。
8. 根據(jù)權(quán)利要求6所述的人臉圖像處理設(shè)備，其中所U臉姿態(tài)估 計裝置在估計了所U臉圖像中包括的繞俯仰軸的旋轉(zhuǎn)角度p之后，對表 達式3的第二列進行轉(zhuǎn)換以獲得表達式7，使用偽旋轉(zhuǎn)矩陣D來對表達式 7進行求解，并根據(jù)表達式9來估計所i^A臉圖像中包括的繞偏轉(zhuǎn)軸的旋 轉(zhuǎn)角度y，<formula>formula see original document page 4</formula>(7)<formula>formula see original document page 4</formula>.(8)<formula>formula see original document page 4</formula> (9 )
9. 根據(jù)權(quán)利要求8所述的人臉圖像處理設(shè)備，其中所^A臉姿態(tài)估 計裝置對表達式6和9進行平均，并使用表達式10來識別比例值s ，<formula>formula see original document page 4</formula>io)。
10. 根據(jù)權(quán)利要求8所述的人臉圖像處理設(shè)備，其中所^A臉姿態(tài)估 計裝置將M達式3的第一行獲得的、用于識別所^A臉圖像的繞偏轉(zhuǎn)軸 的旋轉(zhuǎn)角度y的表達式7轉(zhuǎn)換為表達式11,并使用表達式12來識別所述 人臉圖像的繞偏轉(zhuǎn)軸的旋轉(zhuǎn)角度y，<formula>formula see original document page 5</formula>(12 )其中，<formula>formula see original document page 5</formula>(12)
11. 根據(jù)權(quán)利要求10所述的人臉圖像處理設(shè)備，其中所^A臉姿態(tài) 估計裝置預先根據(jù)表示所述平均三維人臉模型的特征點的三維位置的矩陣Xm來計算表達式12中的包括逆矩陣計算的(XmXj)"Xm。
12. 根據(jù)權(quán)利要求10所述的人臉圖像處理設(shè)備，其中所述特征點位 置校正裝置使用表達式13來獲得經(jīng)過校正的特征點的坐標Xs,其中，Xs 表示用于識別個人的特征點的三維定義的坐標，Xs表示通過基于人臉姿態(tài) p和y以及比例值s來變換旋轉(zhuǎn)和比例而獲得的特征點的坐標，xs＝sRXy+C …(13)其中，
13. —種人臉圖像處理方法，其中通過統(tǒng)計學習來選擇用于識別個人 的特征點和特征，以及其中綜合地使用所選的特征點來執(zhí)行個人識別過 程，所述方法包括以下步驟輸入由任意的人臉檢測裝置檢測到的人臉圖像；從輸入的人臉圖像中檢測若干部位中的人臉部分的位置；基于檢測到的人臉部分的位置來估計人臉姿態(tài)；基于人臉姿態(tài)估計步驟中的人臉姿態(tài)估計結(jié)果來對每個用于識別個 人的特征點的位置進行校正；以及通過以下方式來識別個人在特征點位置校正步驟中執(zhí)行了位置校正 之后，計算所述輸入的人臉圖^ML每個特征點處的特征，并將所述特征對 照已記錄的人臉的特征來進行檢查。
14. 一種以計算機可讀形式描述的、用于使得計算機執(zhí)行人臉圖l象處 理的計算機程序，在所i!A臉圖像處理中，通過統(tǒng)計學習來選擇用于識別 個人的特征點和特征，并綜合地使用所選的特征點來執(zhí)行個人識別過程， 所述程序使得所述計算機用作輸入裝置，用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；人iM5分檢測裝置，用于從輸入的人臉圖像中檢測若干部位中的人臉 部分的位置；人臉姿態(tài)估計裝置，用于基于檢測到的人臉部分的位置來估計人^^態(tài)；特征點位置校正裝置，用于基于所ii^臉姿態(tài)估計裝置的人臉姿態(tài)估計結(jié)果iMt每個用于識別個人的特征點的位置進行校正；以及人臉識別裝置，用于通過以下方式來識別個人在由所述特征點位置 校正裝置執(zhí)行了位置校正之后，計算所述輸入的人臉圖像在每個特征點處 的特征，并將所述特征對照已記錄的人臉的特征來進行檢查。
15. —種人臉圖像處理設(shè)備，其通過統(tǒng)計學習來選擇用于識別個人的 特征點和特征，并綜合地使用所選的特征點來執(zhí)行個人識別過程，所述設(shè) 備包括輸入單元，被配置用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；人一分檢測單元，被配置用于從輸入的人臉圖像中檢測若干部位中 的人臉部分的位置；人臉姿態(tài)估計單元，被配置用于基于檢測到的人臉部分的位置來估計 人臉姿態(tài)；特征點位置校正單元，被配置用于基于所U臉姿態(tài)估計單元的人臉 姿態(tài)估計結(jié)果來對每個用于識別個人的特征點的位置進行校正；以及人臉識別單元，被配置用于通過以下方式來識別個人在由所述特征 點位置校正單元執(zhí)行了位置校正之后，計算所述輸入的人臉圖像在每個特 征點處的特征，并將所述特征對照已記錄的人臉的特征來進行檢查。
全文摘要
公開了一種人臉圖像處理設(shè)備和方法及計算機程序。所述設(shè)備通過統(tǒng)計學習來選擇用于識別個人的特征點和特征。所述設(shè)備包括輸入裝置，用于輸入由任意的人臉檢測裝置檢測到的人臉圖像；人臉部分檢測裝置，用于從輸入的人臉圖像中檢測若干部位中的人臉部分的位置；人臉姿態(tài)估計裝置，用于基于檢測到的人臉部分的位置來估計人臉姿態(tài)；特征點位置校正裝置，用于基于所述人臉姿態(tài)估計裝置的人臉姿態(tài)估計結(jié)果來對每個用于識別個人的特征點的位置進行校正；以及人臉識別裝置，用于通過以下方式來識別個人在由所述特征點位置校正裝置執(zhí)行了位置校正之后，計算所述輸入的人臉圖像在每個特征點處的特征，并將所述特征對照已記錄的人臉的特征來進行檢查。
文檔編號G06K9/00GK101377814SQ20081021054
公開日2009年3月4日 申請日期2008年8月27日 優(yōu)先權(quán)日2007年8月27日
發(fā)明者佐部浩太郎, 大久保厚志, 橫野順 申請人:索尼株式會社