專利名稱：人臉識別方法及系統(tǒng)、人臉識別模型訓(xùn)練方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉識別方法及系統(tǒng)，與人臉識別模型訓(xùn)練方法及系 統(tǒng)，尤其涉及一種基于三維信息的人臉識別方法及系統(tǒng)，與人臉識別模型訓(xùn) 練方法及系統(tǒng)。
背景技術(shù)：
人臉識別是將輸入的人臉圖像與已知庫中的模板進(jìn)行比較并確定身份 的一種技術(shù)，由于人臉是人們區(qū)分不同人的重要途徑，是最主要的信息來源 之一，因此人臉識別是一種較指紋、視網(wǎng)膜和虹膜等識別更自然、更直接的 一種識別方式，在多個領(lǐng)域如視頻監(jiān)控、簽到系統(tǒng)、人機(jī)交互、系統(tǒng)開機(jī)等 有著非常大的應(yīng)用潛力。
在人臉識別領(lǐng)域中，主要有兩類方法， 一類是基于二維亮度圖像的人臉 識別方法，另一類是基于三維人臉的人臉識別方法。其中，前者只需要采集 人臉的亮度圖像，從采集的亮度圖像中抽取人臉特征并進(jìn)行識別。不過這類 方法的主要問題是抗光照干擾的能力較差，這個缺陷也是目前人臉識別算法 發(fā)展的一個瓶頸。后者采用獲取人臉面部各點的三維特征，利用人臉面部各 個器官的三維幾何特征進(jìn)行識別，由于這類識別方法主要利用各點的坐標(biāo)， 而不是圖像中各點的亮度，因此基于三維人臉的人臉識別方法不受光照、姿 態(tài)的干擾。不過，這類方法的人臉數(shù)據(jù)需要用復(fù)制昂貴的三維激光掃描儀采 集，數(shù)據(jù)采集難度極大，且采集時間較長，實用的可能性不大。
因此，如何提供一種成本較低且能夠降低光照干擾的人臉識別方案是目 前急需解決的一個問題。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明中一方面提供一種人臉識別方法及系統(tǒng)，另一方面提 供一種人臉識別模型訓(xùn)練方法及系統(tǒng)，以便在降低成本的情況下降低光照對 人臉識別的干擾。
本發(fā)明所提供的人臉識別方法，包括
A、 為每個需要識別的用戶訓(xùn)練獲得所述用戶的人臉識別模型；
B、 在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用戶同時刻的帶有結(jié)構(gòu)光編 碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；
C、 根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉深度圖像， 沖艮據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉灰度圖像；
D、 利用所述人臉灰度圖像進(jìn)行標(biāo)定，確定所述圖像中的人臉器官特征點 位置，根據(jù)所述人臉器官特征點位置對所述人臉灰度圖像和所述人臉深度圖像 進(jìn)行人臉預(yù)處理；
E、 分別計算經(jīng)過人臉預(yù)處理后的所述人臉深度圖像和所述人臉灰度圖像的 特征；
F、 將所述特征輸入到所述人臉識別模型中，進(jìn)行人臉識別，返回與各人臉 識別模型的相似度數(shù)據(jù)；
G、 根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉識別結(jié)果。 較佳地，所述步驟A包括
Al、針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與 對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；
A2、對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到 所述樣本的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述樣 本的人臉灰度圖像；
A3、利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定人臉灰度圖像和人臉深 度圖像中的人臉器官特征點位置，根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本
的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；
A4 、分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的特征和人臉灰度 圖像的特征；
A5、利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的人臉識別模型。
較佳地，所述步驟A4和步驟A5之間，進(jìn)一步包括分別從所計算的人臉 深度圖像的特征和人臉灰度圖像的特征中挑選出分類能力最強(qiáng)的部分特征構(gòu)成 對應(yīng)樣本的低維特征；
步驟A5中所述利用特征對所述用戶進(jìn)行訓(xùn)練為利用所述低維特征，對 所述用戶進(jìn)行訓(xùn)練。
較佳地，所述步驟E和步驟F之間，進(jìn)一步包括分別從所計算的人臉深 度圖像的特征和人臉灰度圖像的特征中挑選出分類能力最強(qiáng)的部分特征構(gòu)成低 維特征；
步驟F中所述將特征輸入到所述人臉識別模型中為將所述低維特征輸入 到所述人臉識別模型中。
較佳地，所述設(shè)定的人臉姿態(tài)包括 一個或一個以上的互不相同的人臉姿太.
每個人臉姿態(tài)由一個左右深度旋轉(zhuǎn)角度范圍和一個上下深度旋轉(zhuǎn)角度范圍 共同表示；
步驟A中所述用戶的人臉識別模型為所述用戶的一個或一個以上的人臉 姿態(tài)的人臉識別模型；
步驟F之前，進(jìn)一步包括根據(jù)所述人臉深度圖像，計算當(dāng)前待識別用戶 的人臉姿態(tài)；
步驟F中所述將特征輸入到所述人臉識別模型中為將所述特征輸入到對 應(yīng)所述人臉姿態(tài)的人臉識別模型中。
較佳地，所述左右深度旋轉(zhuǎn)角度范圍取值為-50° -20° 、 -20° 20 ° 、 20° 50°中的任意一個；所述上下深度旋轉(zhuǎn)角度范圍取值為-40° -
10° 、 -10° 10° 、 10° 40°中的任意一個。
較佳地，步驟D中所述根據(jù)人臉的器官特征點位置對所述人臉灰度圖像和 所述人臉深度圖像進(jìn)行人臉預(yù)處理包括
根據(jù)所述人臉器官特征點的位置，分別對所述人臉灰度圖像和所述人臉深 度圖像進(jìn)行人臉幾何歸一化，并對所述人臉灰度圖像進(jìn)行灰度歸一化，對所述 人臉深度圖像進(jìn)行深度數(shù)據(jù)歸一化。
較佳地，所述對人臉深度圖像進(jìn)行深度數(shù)據(jù)歸一化為對所述人臉深度圖 像的深度數(shù)據(jù)以設(shè)定的人臉參考點為基準(zhǔn)，將所述參考點的深度數(shù)據(jù)設(shè)置為零， 將人臉其他點相對于該參考點的深度數(shù)據(jù)作為歸一化后的深度數(shù)據(jù)。
較佳地，所述人臉識別模型為一對多的支持向量機(jī)的人臉識別模型；
所述步驟G包括如果返回的與各人臉識別模型的相似度數(shù)據(jù)均小于設(shè)定 閾值，則拒識當(dāng)前待識別用戶的人臉；
如果返回的與各人臉識別模型的相似度數(shù)據(jù)中存在大于設(shè)定闊值的相似度 數(shù)據(jù)，則從所述大于設(shè)定閾值的相似度數(shù)據(jù)中選取最大的相似度數(shù)據(jù)對應(yīng)的人 臉識別模型作為人臉識別的結(jié)果。
本發(fā)明所提供的人臉識別系統(tǒng)，包括
訓(xùn)練模塊，用于為每個需要識別的用戶訓(xùn)練獲得所述用戶的人臉識別模型； 識別模塊，包括
結(jié)構(gòu)光圖像采集單元，用于在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用 戶帶有結(jié)構(gòu)光編碼的人臉圖像；
深度圖像獲取單元，用于根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到所述 用戶的人臉深度圖像；
可見光圖像采集單元，用于采集當(dāng)前待識別用戶的與所述帶有結(jié)構(gòu)光編碼 的人臉圖像同時刻的沒有結(jié)構(gòu)光編碼的人臉圖像；
灰度圖像獲取單元，用于根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述 用戶的人臉灰度圖像；
人臉器官標(biāo)定單元，用于利用所述人臉灰度圖像進(jìn)行標(biāo)定，確定所述圖像
中的人臉器官特征點位置；
人臉預(yù)處理單元，用于根據(jù)所述人臉的器官特征點位置對所述人臉灰度圖
像和所述人臉深度圖像進(jìn)行人臉預(yù)處理；
特征計算單元，用于分別計算經(jīng)過人臉預(yù)處理后的所述人臉深度圖像和所 述人臉灰度圖像的特征；
識別單元，用于將所述特征輸入到所述人臉識別模型中，進(jìn)行人臉識別， 返回與各人臉識別模型的相似度數(shù)據(jù)，根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終 的人臉識別結(jié)果。
較佳地，所述訓(xùn)練模塊包括
結(jié)構(gòu)光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，采集正樣本與對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像；
深度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉深度圖像；
可見光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，采集正樣本與對比樣本的與所述帶有結(jié)構(gòu)光編碼的人臉圖像同時刻的 沒有結(jié)構(gòu)光編碼的人臉圖像；
灰度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述沒有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉灰度圖像；
人臉器官標(biāo)定單元，用于利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定圖 像中的人臉器官特征點位置；
人臉預(yù)處理單元，用于根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本的人臉 灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；
特征計算單元，用于分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的 特征和人臉灰度圖像的特征；
訓(xùn)練單元，用于利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的 人臉識別模型。
較佳地，所述識別模塊進(jìn)一步包括特征挑選單元，用于分別從所計算的
人臉深度圖像的特征和人臉灰度圖像的特征中挑選出分類能力最強(qiáng)的部分特征
構(gòu)成^^維特征；
所述識別單元將所述低維特征輸入到所述人臉識別模型中進(jìn)行人臉識別。
較佳地，所述訓(xùn)練模塊進(jìn)一步包括人臉姿態(tài)計算單元，用于根據(jù)正樣本 的人臉深度圖像，計算所述用戶當(dāng)前的人臉姿態(tài)；所述訓(xùn)練單元針對不同的人 臉姿態(tài)訓(xùn)練得到所述用戶不同人臉姿態(tài)的人臉識別模型。
所述識別模塊進(jìn)一步包括人臉姿態(tài)計算單元，用于根據(jù)當(dāng)前待識別用戶 的人臉深度圖像，計算當(dāng)前待識別用戶的人臉姿態(tài)；所述識別單元將計算得到 的特征輸入到對應(yīng)所述人臉姿態(tài)的人臉識別模型中。
較佳地，所述人臉預(yù)處理單元包括灰度圖像預(yù)處理子單元和深度圖像預(yù) 處理子單元，其中，
所述灰度圖像預(yù)處理子單元，用于根據(jù)標(biāo)定的人臉器官特征點的位置，對 所述人臉灰度圖像進(jìn)行人臉幾何歸 一化和灰度歸 一化；
所述深度圖像預(yù)處理子單元，用于根據(jù)標(biāo)定的人臉器官特征點的位置， 對所述人臉深度圖像進(jìn)行人臉幾何歸 一化和深度數(shù)據(jù)歸 一化。
本發(fā)明所提供的人臉識別模型訓(xùn)練方法，包括
Al、針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與 對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖4象和沒有結(jié)構(gòu)光編碼的人臉圖像；
A2、對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到 所述樣本的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述樣 本的人臉灰度圖像；
A3、利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定各人臉灰度圖像中的人 臉器官特征點位置，根據(jù)各人臉灰度圖像中的人臉器官特征點位置，對對應(yīng)樣 本的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；
A4、分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的特征和人臉灰度 圖像的特征；
A5、利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的人臉識別模
型。
較佳地，所述步驟A4和步驟A5之間，進(jìn)一步包括分別從所計算的人臉 深度圖像的特征和人臉灰度圖像的特征中挑選出分類能力最強(qiáng)的部分特征構(gòu)成 對應(yīng)樣本的低維特征；
步驟A5中所述利用特征對所述用戶進(jìn)行訓(xùn)練為利用所述低維特征，對 所述用戶進(jìn)行訓(xùn)練。
較佳地，所述設(shè)定的人臉姿態(tài)包括 一個或一個以上的互不相同的人臉姿態(tài)；
每個人臉姿態(tài)由 一個左右深度旋轉(zhuǎn)角度范圍和一個上下深度旋轉(zhuǎn)角度范圍 共同表示；
步驟A5之前，進(jìn)一步包括根據(jù)正樣本的人臉深度圖像，計算所述用戶 當(dāng)前圖像的人臉姿態(tài)；
步驟A5中所述對應(yīng)的人臉識別模型為所述用戶針對不同人臉姿態(tài)得到 的各人臉姿態(tài)的人臉識別模型。
較佳地，步驟A3中所述根據(jù)人臉的器官特征點位置對所述人臉灰度圖像 和所述人臉深度圖像進(jìn)行人臉預(yù)處理包括
根據(jù)所述人臉器官特征點的位置，分別對所述人臉灰度圖像和所述人臉深 度圖像進(jìn)行人臉幾何歸一化，并對所述人臉灰度圖像進(jìn)行灰度歸一化，對所述 人臉深度圖像進(jìn)行深度歸 一化。
較佳地，所述人臉識別模型為一對多的支持向量機(jī)的人臉識別模型。
本發(fā)明所提供的人臉識別模型訓(xùn)練系統(tǒng)，包括
結(jié)構(gòu)光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，釆集正樣本與對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像；
深度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉深度圖像；
可見光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，釆集正樣本與對比樣本的與所述帶有結(jié)構(gòu)光編碼的人臉圖像同時刻的沒有結(jié)構(gòu)光編碼的人臉圖像；
灰度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述沒有結(jié)構(gòu)光編
碼的人臉圖像，得到所述樣本的人臉灰度圖像；
人臉器官標(biāo)定單元，用于利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定圖 像中的人臉器官特征點位置；
人臉預(yù)處理單元，用于根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本的人臉 灰度圖像和人臉深度圖像進(jìn)行人l^f貞處理；
特征計算單元，用于分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的 特征和人臉灰度圖像的特征；
訓(xùn)練單元，用于利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng) 的人臉識別模型。
從上述方案可以看出，本發(fā)明中采集分別當(dāng)前待識別用戶同時刻的帶有 結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像，并根據(jù)帶有結(jié)構(gòu)光編 碼的人臉圖像，得到人臉深度圖像，根據(jù)沒有結(jié)構(gòu)光編碼的人臉圖像，得到 人臉灰度圖像，進(jìn)而通過人臉灰度圖像和人臉深度圖像的雙重信息進(jìn)行特征 計算，將計算的特征輸入到已訓(xùn)練好的人臉識別模型中進(jìn)行人臉識別。由于 人臉的深度信息是不受光照干擾的，因此基于深度信息的人臉識別方法的抗 光照干擾能力強(qiáng)。此外，由于本實施例中使用的是不同激光掃描儀的方法獲 取的人臉三維信息，因此成本較低。
進(jìn)一步地，通過采用多姿態(tài)的人臉識別方法，并基于深度數(shù)據(jù)獲取人臉 的準(zhǔn)確姿態(tài)，又大大提高了本發(fā)明技術(shù)方案的抗姿態(tài)干擾能力。
此外，通過進(jìn)行特征挑選，使高維特征變?yōu)榉诸惸芰^強(qiáng)的低維特征， 降低了計算量及計算復(fù)雜度。


圖1為本發(fā)明實施例中三維信息獲取裝置的系統(tǒng)框圖。 圖2為本發(fā)明實施例中人臉識別系統(tǒng)的示例性框圖。 圖3為本發(fā)明實施例中人臉識別方法的示例性流程圖。 圖4為本發(fā)明實施例中采用的樣本訓(xùn)練流程示意圖。
圖5為本發(fā)明實施例中人臉樣本的標(biāo)定與采集示意圖。
圖6為本發(fā)明實施例中人臉圖像非線性矯正示意圖7為本發(fā)明實施例中非線性矯正原理示意圖。
圖8為本發(fā)明實施例中人臉圖像光照處理結(jié)果示意圖。
圖9為本發(fā)明實施例中基于AdaBoost的特征抽耳又方法流程圖。
圖IO為本發(fā)明實施例中支持向量機(jī)最優(yōu)分類面示意圖。
具體實施例方式
本發(fā)明實施例中，為了降低光照對人臉識別的干擾，在原有二維亮度圖 像的基礎(chǔ)上，引入了人臉的深度圖像，從而得到人臉的三維信息，由于深度 信息不受光照的影響，因此基于三維信息的人臉識別能夠降低光照干擾。
此外，為了降低成本，本發(fā)明實施例中引入了一種不同于三維激光掃描 儀的三維信息獲取裝置。如圖l所示，圖1為本發(fā)明實施例中三維信息獲取 裝置的系統(tǒng)框圖。整個系統(tǒng)分為三部分，包括投影裝置10、深度重構(gòu)單元 11以及圖像成像單元12。
第一部分是投影裝置10，投影裝置10包括光源101,用于發(fā)出光線， 可以采用可見光，也可以采用非可見光波段的光源，如近紅外光等；聚光鏡 102，安裝在光源附近，用于將光源發(fā)出的光線聚集起來，投射到光柵上； 光柵103，用于刻錄結(jié)構(gòu)光編碼圖案；投影物鏡104,用于將光編碼圖像投 影到物面。
投影裝置10通過光源101打光，經(jīng)聚光鏡102將光柵103上刻錄的結(jié) 構(gòu)光編碼圖案通過投影物鏡104投影到物面00;在本實施例中采用柯勒照 明方式將光柵103刻錄的內(nèi)容投影到目標(biāo)物面00上。
第二部分是深度重構(gòu)單元11,深度重構(gòu)單元ll包括與光源相對應(yīng)的 圖像傳感器111，用于對物面00上的結(jié)構(gòu)光編碼圖像進(jìn)行成像；當(dāng)所述光
源為近紅外光源時，所述圖像傳感器111為近紅外圖像傳感器；圖像預(yù)處理
模塊112,用于對編碼圖像進(jìn)行預(yù)處理，包括亮度修正、噪聲消除等；解碼 模塊113,用于根據(jù)已有的編碼信息對圖像進(jìn)行解碼；深度獲取模塊114, 用于根據(jù)事先標(biāo)定的攝像頭參數(shù)及成像圖像的解碼信息進(jìn)行深度的重構(gòu)，獲 取圖像中各個像素點的深度數(shù)據(jù)。
深度重構(gòu)單元11采用與光源相對應(yīng)的圖像傳感器111對物面OO上的結(jié) 構(gòu)光編碼圖像進(jìn)行成像，然后由圖像預(yù)處理模塊112對成像圖像進(jìn)行預(yù)處 理，接著由解碼模塊113根據(jù)已有的編碼信息對成像圖像進(jìn)行解碼，然后由 深度獲取模塊114根據(jù)事先標(biāo)定的攝像頭參數(shù)及成像圖像的解碼信息進(jìn)行 深度的重構(gòu)，獲取成像圖像中各個像素點的深度數(shù)據(jù)。
第三部分則是常規(guī)的圖像成像單元12,圖像成像單元12包括可見光 圖像傳感器121,用于對物體進(jìn)行拍攝成像；圖像處理模塊122,用于對拍 攝成像后的物面圖像做自動曝光、自動白平衡、噪聲消除等常規(guī)圖像處理； 灰度處理模塊123，用于根據(jù)圖像處理模塊122處理后的圖像，得到對應(yīng)的 灰度圖像。
圖像成像單元12采用可見光圖像傳感器121對物體進(jìn)行拍攝成像，并 由圖像處理模塊122做常規(guī)圖像處理，接著由灰度處理模塊123根據(jù)圖像處 理模塊122處理后的圖像，得到對應(yīng)的灰度圖像。
需要說明的是，本發(fā)明實施例中深度重構(gòu)單元11的與光源相對應(yīng)的圖 像傳感器111必須與光源的波段相對應(yīng)，如光源是近紅外光源，則該傳感器 需要對近紅外波段較敏感。
具體應(yīng)用時，本發(fā)明實施例中可在投影裝置IO的配合下，利用深度重 構(gòu)單元11釆集當(dāng)前待識別用戶帶有結(jié)構(gòu)光編碼的人臉圖像，并根據(jù)該帶有 結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉深度圖像；利用圖像成像單元 12采集當(dāng)前待識別用戶與帶有結(jié)構(gòu)光編碼的人臉圖像同時刻的沒有結(jié)構(gòu)光 編碼的人臉圖像，并根據(jù)該沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人 臉灰度圖像?？梢?，通過上述過程，得到了人臉的三維信息。
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和 附圖，對本發(fā)明實施例中基于三維信息的人臉識別過程進(jìn)行詳細(xì)說明。
圖2為本發(fā)明實施例中人臉識別系統(tǒng)的示例性框圖。如圖2所示，該系 統(tǒng)包括訓(xùn)練模塊21和識別模塊22。其中，訓(xùn)練模塊21目的是由大量的 人臉樣本圖像訓(xùn)練用戶的人臉識別模型，因此需要采集用戶的人臉樣本并進(jìn) 行訓(xùn)練，獲取多個用戶的人臉識別模型。而識別模塊22則將視頻序列中人 臉的檢測結(jié)果與訓(xùn)練好的人臉模型結(jié)合起來，判斷輸入人臉是否是訓(xùn)練好的 用戶的人臉；如果不是，系統(tǒng)給出拒識的結(jié)果。
具體實現(xiàn)時，訓(xùn)練模塊21首先需要獲取大量的對比樣本的人臉圖像， 即這些樣本中肯定不會包含用戶的人臉，接著采集待識別用戶的多個人臉圖 像，即正樣本人臉圖像。進(jìn)一步地，若需要對用戶多個姿態(tài)(如正臉、左 側(cè)臉、右側(cè)臉等左右旋轉(zhuǎn)姿態(tài)與抬頭、低頭等上下旋轉(zhuǎn)姿態(tài)構(gòu)成的不同姿態(tài)) 的人臉均能識別，則需要針對每個用戶的每種人臉姿態(tài)均訓(xùn)練得到一個對應(yīng) 的人臉識別模型。此時，針對每個人臉姿態(tài)，都需要獲取大量的對比樣本人 臉圖像和多個(如兩個以上)正樣本人臉圖像。本發(fā)明實施例中，為了得到 各樣本的人臉深度圖像和人臉灰度圖像，可針對每個需要識別的用戶，利用 結(jié)構(gòu)光圖像采集單元211在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與對比樣本 的帶有結(jié)構(gòu)光編碼的人臉圖像，利用可見光圖像采集單元212在同時刻采集 正樣本與對比樣本的沒有結(jié)構(gòu)光編碼的人臉圖像；之后，對每個樣本的人臉
圖像，利用深度圖像獲取單元213根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得 到所述樣本的人臉深度圖像，利用灰度圖像獲取單元214根據(jù)所述沒有結(jié)構(gòu) 光編碼的人臉圖像，得到所述樣本的人臉灰度圖像。
之后，訓(xùn)練模塊21可利用人臉器官標(biāo)定單元215對所有樣本(包括正 樣本和對比樣本)的人臉圖像進(jìn)行標(biāo)定，確定人臉灰度圖像和人臉深度圖像 中人臉器官特征點，如兩個眼睛和嘴巴的精確位置。具體實現(xiàn)時，由于人臉 灰度圖像中的人臉器官特征點比較直觀和明顯，因此可利用人臉灰度圖像進(jìn) 行人臉器官特征點的標(biāo)定。
然后，利用人臉預(yù)處理單元216根據(jù)標(biāo)定結(jié)果對所有樣本的人臉灰度圖
像和人臉深度圖像進(jìn)行幾何歸一化和矯正，將所有樣本的眼睛和嘴巴矯正到 固定的位置。人臉矯正完畢后可結(jié)合一幅標(biāo)準(zhǔn)的灰度圖像對樣本矯正后的人 臉灰度圖像進(jìn)行光照處理，使樣本的人臉灰度圖像各個部分的平均光照與標(biāo) 準(zhǔn)圖像保持一致，即進(jìn)行灰度歸一化。此外，對人臉深度圖像的深度數(shù)據(jù)以 設(shè)定的人臉參考點為基準(zhǔn)，將所述參考點的深度數(shù)據(jù)設(shè)置為零，將人臉其他 點相對于該參考點的深度數(shù)據(jù)作為歸 一化后的深度數(shù)據(jù)，即進(jìn)行深度歸一 化。
接著，可利用特征計算單元217分別計算經(jīng)過人臉預(yù)處理后的人臉深度 圖像和人臉灰度圖像的特征。特征計算是人臉識別過程中非常關(guān)鍵的環(huán)節(jié)， 常用的特征算法有邊緣特征、小波特征、Gabor特征等。其中Gabor特征為 人臉圖像提供多尺度、多方向的精細(xì)描述，表現(xiàn)出優(yōu)秀的時頻聚集性，具備 很強(qiáng)的刻畫細(xì)節(jié)與局部結(jié)構(gòu)的能力。此外，它具有帶通濾波的性質(zhì)，既能部 分地抵抗慢變光照的影響，也能濾去一些高頻噪聲。因此，本實施例中可采 用FFT變換和FFT反變換計算所有樣本人臉灰度圖像和人臉深度圖像的多 尺度多方向Gabor特征。
進(jìn)一步地，若需要對用戶的不同人臉姿態(tài)訓(xùn)練一個人臉識別模型，則本 實施例中，可由人臉姿態(tài)計算單元218利用正樣本的預(yù)處理之前的(如圖2 所示)或預(yù)處理之后的(圖中未示出)人臉深度圖像中的深度數(shù)據(jù)，計算得 到當(dāng)前訓(xùn)練用戶的當(dāng)前人臉姿態(tài)。
最后，由訓(xùn)練單元219利用不同人臉姿態(tài)下計算的正樣本的特征和對比 樣本的特征對不同用戶進(jìn)行訓(xùn)練，為每個用戶獲取對應(yīng)的人臉識別模型，如 各個不同人臉姿態(tài)的人臉識別模型。至此，人臉模型訓(xùn)練完畢。
上述過程中，當(dāng)采用Gabor特征等特征算法時，若每個樣本的特征維數(shù) 較高，如每個樣本的Gabor特征維數(shù)通常達(dá)到了十幾萬，而對這么高維的特 征進(jìn)行訓(xùn)練將是非常困難的，因此本發(fā)明的實施例中進(jìn)一步地，還可包括特
征挑選單元(圖中未示出)，用于分別從所計算的各樣本的人臉深度圖像的 特征和人臉灰度圖像的特征中挑選出分類能力最強(qiáng)的部分特征構(gòu)成低維特
征。如，對于Gabor特征，則可采用基于AdaBoost的特征挑選方法，結(jié)合 正樣本數(shù)據(jù)和對比樣本數(shù)據(jù)從這些特征中挑選出分類能力最強(qiáng)的數(shù)千維特 征出來，將挑選出的特征組成新的低維Gabor特征；特征選擇完畢后可采用 一對多的支持向量機(jī)(SVM)算法對不同用戶進(jìn)行訓(xùn)練，在對各個用戶進(jìn)行
戶的低維Gabor特征向量，即對比樣本的特征向量(這里的特征向量是否是 低維Gabor特征向量，是)，這樣就可以為每個用戶獲取各不同人臉姿態(tài) 的一對多的SVM模型。
識別模塊22需要從視頻序列的輸入圖像中實時檢測人臉，在檢測到人 臉后結(jié)合人臉識別模型進(jìn)行識別。具體實現(xiàn)時，識別模塊22的實現(xiàn)過程與 訓(xùn)練模塊21的實現(xiàn)過程相類似。具體可包括首先，利用結(jié)構(gòu)光圖像采集 單元221在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用戶帶有結(jié)構(gòu)光編碼的 人臉圖像；利用可見光圖像采集單元222采集當(dāng)前待識別用戶的與所述帶有 結(jié)構(gòu)光編碼的人臉圖像同時刻的沒有結(jié)構(gòu)光編碼的人臉圖像。
之后，利用深度圖像獲取單元223根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像， 得到所述用戶的人臉深度圖像；利用灰度圖像獲取單元224根據(jù)所述沒有結(jié) 構(gòu)光編碼的人臉圖像，得到所述用戶的人臉灰度圖像。
然后，由人臉器官標(biāo)定單元225利用所述人臉灰度圖像進(jìn)行標(biāo)定，確定人 臉灰度圖像和人臉深度圖像中的人臉器官特征點位置。再由人臉預(yù)處理單元 226根據(jù)所述人臉的器官特征點位置對所述人臉灰度圖像和所述人臉深度圖像 進(jìn)行人臉預(yù)處理。
接著，利用特征計算單元227分別計算經(jīng)過人臉預(yù)處理后的人臉深度圖像 和人臉灰度圖像的特征。
進(jìn)一步地，可由人臉姿態(tài)計算單元228利用預(yù)處理之前的(如圖2所示)
或預(yù)處理之后的(圖中未示出)人臉深度圖像中的深度數(shù)據(jù)，計算得到當(dāng)前待 識別用戶的當(dāng)前人臉姿態(tài)。
最后，由識別單元229將特征計算單元227計算的特征輸入到所述人臉姿 態(tài)對應(yīng)的人臉識別模型中，進(jìn)行人臉識別，返回與各人臉識別模型的相似度數(shù) 據(jù)，并根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉識別結(jié)果。本實施例中， 若采用 一對多的SVM算法對不同用戶進(jìn)行訓(xùn)練得到不同用戶 一對多的SVM人 臉識別模型，則識別單元229進(jìn)行人臉識別時，若返回的與各人臉識別模型的 相似度數(shù)據(jù)均小于設(shè)定閾值，則拒識當(dāng)前待識別用戶的人臉；如果返回的與各 人臉識別模型的相似度數(shù)據(jù)中存在大于設(shè)定閾值的相似度數(shù)據(jù)，則從所述大于 設(shè)定閾值的相似度數(shù)據(jù)中選取最大的相似度數(shù)據(jù)對應(yīng)的人臉識別模型作為人臉 識別的結(jié)果。
此外，與訓(xùn)練模塊21相對應(yīng)，識別模塊22中也可包括特征挑選單元(圖 中未示出)，用于分別從所計算的人臉深度圖像的特征和人臉灰度圖像的特征中 挑選出分類能力最強(qiáng)的部分特征構(gòu)成低維特征，則識別單元229只需將該低維 特征輸入到人臉識別模型中進(jìn)行人臉識別即可。
具體實現(xiàn)時，訓(xùn)練模塊21中的結(jié)構(gòu)光圖像采集單元211和識別模塊22 中的結(jié)構(gòu)光圖像采集單元221在物理上可以為一個單元；訓(xùn)練;漠塊21中的 可見光圖像采集單元212和識別模塊22中的可見光圖像采集單元222在物 理上可以為一個單元；訓(xùn)練模塊21中的深度圖像獲取單元213和識別沖莫塊 22中的深度圖像獲取單元223在物理上可以為一個單元；訓(xùn)練才莫塊21中的 灰度圖像獲取單元214和識別模塊22中的灰度圖像獲取單元224在物理上 可以為一個單元；訓(xùn)練模塊21中的人臉器官標(biāo)定單元215和識別模塊22中 的人臉器官標(biāo)定單元225在物理上可以為一個單元；訓(xùn)練模塊21中的人臉 預(yù)處理單元216和識別^f莫塊22中的人臉預(yù)處理單元226在物理上可以為一 個單元；訓(xùn)練模塊21中的特征計算單元217和識別模塊22中的特征計算單 元227在物理上可以為一個單元。此外，訓(xùn)練模塊21中的人臉姿態(tài)計算單 元218和識別模塊22中的人臉姿態(tài)計算單元228在物理上可以為一個單元；
訓(xùn)練才莫塊21中的特征挑選單元和識別模塊22中的特征挑選單元在物理上可
以為一個單元。另外，結(jié)構(gòu)光圖像采集單元211 (221)和深度圖像獲取單 元212 (222)可以由圖1所示裝置中的深度重構(gòu)單元11實現(xiàn)，也可以由其 他結(jié)構(gòu)單元實現(xiàn)；可見光圖像采集單元213 (223 )和灰度圖像獲取單元214 (224)可以由圖1所示裝置中的圖像成像單元12實現(xiàn)，也可以由其他結(jié)構(gòu) 單元實現(xiàn)。
具體實現(xiàn)時，訓(xùn)練模塊21中的人臉預(yù)處理單元216和識別模塊22中的 人臉預(yù)處理單元226可包括灰度圖像預(yù)處理子單元和深度圖像預(yù)處理子單 元(圖中未示出)。
其中，灰度圖像預(yù)處理子單元用于根據(jù)標(biāo)定的人臉器官特征點的位置， 對所述人臉灰度圖像進(jìn)行人臉幾何歸一化和灰度歸一化；深度圖像預(yù)處理子 單元，用于根據(jù)標(biāo)定的人臉器官特征點的位置，對所述人臉深度圖像進(jìn)行人 臉幾何歸 一化和深度數(shù)據(jù)歸 一化。
實際應(yīng)用中，本發(fā)明實施例中所提供的人臉識別系統(tǒng)，并不依賴于圖2 所示的訓(xùn)練模塊，使用任何訓(xùn)練模塊獲得的人臉識別模型，都可以適用于本 發(fā)明實施例中的人臉識別過程。
以上對本發(fā)明實施例中的人臉識別系統(tǒng)進(jìn)行了詳細(xì)描述，下面再對本發(fā) 明實施例中的人臉識別方法進(jìn)行詳細(xì)描述。
圖3為本發(fā)明實施例中人臉識別方法的示例性流程圖。如圖3所示，該 流程包括如下步驟
步驟301,為每個需要識別的用戶訓(xùn)練獲得所述用戶的人臉識別模型。
其中，該人臉識別模型可以為對應(yīng)一種設(shè)定姿態(tài)的模型，也可以為幾種 設(shè)定姿態(tài)的模型。
步驟302，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用戶同時刻的帶 有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像。
其中，設(shè)定的人臉姿態(tài)可以為設(shè)定的一種姿態(tài)，也可以為幾種設(shè)定姿態(tài) 中的任一種姿態(tài)。例如，若需要實現(xiàn)各姿態(tài)人臉的識別，則步驟301中的人
臉識別模型可包括各種人臉姿態(tài)的模型，如-50°到-20° 、 -20°到20° 、 20。到50°等深度旋轉(zhuǎn)姿態(tài)與-40。到-10° 、 -10°到10° 、 10°到40°的 低頭抬頭姿態(tài)構(gòu)成的不同姿態(tài)等。
步驟303,根據(jù)帶有結(jié)構(gòu)光編碼的人臉圖像，得到用戶的人臉深度圖像， 根據(jù)沒有結(jié)構(gòu)光編碼的人臉圖像，得到用戶的人臉灰度圖像。
步驟304,利用人臉灰度圖像進(jìn)行標(biāo)定，確定人臉灰度圖像和人臉深度 圖像中的人臉器官特征點，根據(jù)所確定的人臉器官特征點對人臉灰度圖像和 人臉深度圖像進(jìn)行人臉預(yù)處理。
步驟305,分別計算經(jīng)過人臉預(yù)處理后的人臉深度圖像和人臉灰度圖像的 特征。
步驟306,根據(jù)人臉深度圖像，計算當(dāng)前待識別用戶的人臉姿態(tài)。 步驟307，將所計算的特征輸入到所述人臉姿態(tài)對應(yīng)的人臉識別模型中， 進(jìn)行人臉識別，返回與各人臉識別模型的相似度數(shù)據(jù)。
步驟308,根據(jù)返回的相似度數(shù)據(jù)，輸出最終的人臉識別結(jié)果。 本步驟中，若返回的與各人臉識別模型的相似度數(shù)據(jù)均小于設(shè)定闞值， 則拒識當(dāng)前待識別用戶的人臉，如果返回的與各人臉識別模型的相似度數(shù)據(jù) 中存在大于設(shè)定閾值的相似度數(shù)據(jù)，則從所述大于設(shè)定閾值的相似度數(shù)據(jù)中 選取最大的相似度數(shù)據(jù)對應(yīng)的人臉識別模型作為人臉識別的結(jié)果。 下面對圖3所示流程中的各個步驟進(jìn)行詳細(xì)描述。
圖3中步驟301所述的訓(xùn)練過程，可以采用多種方式進(jìn)行訓(xùn)練，如圖4 所示，圖4為本發(fā)明實施例中采用的樣本訓(xùn)練流程示意圖，該流程包括如下 步驟
步驟401，針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正 樣本與對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像。
本實施例中，若采用支持向量機(jī)(SVM)的方式實現(xiàn)人臉識別(對于支持 向量機(jī)的算法描述，可以參見邊肇祺、張學(xué)工等人所著的《模式識別》，清華大 學(xué)出版社，2000年)，則對比樣本可以為反樣本。為了提高人臉認(rèn)證的準(zhǔn)確度，
需要收集大量反樣本人臉圖像，這些反樣本最好應(yīng)盡量覆蓋不同表情、不同膚 色、不同年齡的人臉，包含戴與不戴眼鏡人臉。此外，若需要實現(xiàn)各姿態(tài)人臉
的識別，則這些反樣本還需要包含不同姿態(tài)的人臉，如-20°到20° 、 -50° 到-20° 、 20°到50°等深度旋轉(zhuǎn)姿態(tài)與-40°到-10。 、 - 10。到10° 、 10 °到40°的低頭抬頭姿態(tài)構(gòu)成的不同姿態(tài)的人臉等。
正樣本人臉是指待識別用戶的人臉樣本，這類數(shù)據(jù)需要在實際應(yīng)用時由程 序自動采集用戶的樣本，并自動對用戶樣本進(jìn)行預(yù)處理和特征計算。
步驟402，對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像， 得到所述樣本的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所 述樣本的人臉灰度圖像。
步驟403,利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定人臉灰度圖像和 人臉深度圖像中的人臉器官特征點位置，根據(jù)所確定的人臉器官特征點位置， 對對應(yīng)樣本的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理。
步驟404,分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的特征和人 臉灰度圖像的特征。
步驟405，根據(jù)正樣本的人臉深度圖像，計算所述用戶當(dāng)前圖像的人臉姿態(tài)。
步驟406,利用所計算的特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶當(dāng)前 人臉姿態(tài)的人臉識別模型。
圖3所示步驟302和圖4所示步驟401中帶結(jié)構(gòu)光編碼的人臉圖像可由 圖1所示裝置中的投影裝置IO和深度重構(gòu)單元11中的與光源相對應(yīng)的圖像 傳感器111完成；沒有結(jié)構(gòu)光編碼的人臉圖像可由圖1所示裝置中的圖像成 像單元12中的可見光圖像傳感器121完成。此外，也可由其它裝置來完成。
圖3所示步驟303和圖4所示步驟402中的人臉深度圖像可由圖1所示 裝置中深度重構(gòu)單元11中的圖像預(yù)處理模塊112、解碼模塊113和深度獲 取模塊114根據(jù)帶有結(jié)構(gòu)光編碼的人臉圖像得到；人臉灰度圖像可由圖1所 示裝置中圖像成像單元12中的圖像處理模塊122和灰度處理模塊123根據(jù)
所述沒有結(jié)構(gòu)光編碼的人臉圖像得到。此外，也可由其它裝置來完成。
圖3所示步驟304和圖4所示步驟403中所述的人臉器官特征點的標(biāo)定， 現(xiàn)有^支術(shù)中有4艮多種方法可以實現(xiàn)，例如中國專利申i青200610011673.2中 提供的標(biāo)定方法。其中，人臉器官特征點通常包括兩眼和嘴巴，當(dāng)然也可以 為其它的?，F(xiàn)以兩眼和嘴巴的標(biāo)定為例進(jìn)行描述。本發(fā)明實施例中，可以通 過以下步驟確定雙眼位置(1 )在已獲人臉位置信息的基礎(chǔ)上，采用統(tǒng)計 方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，并確定左眼初選位置與右眼初選位 置；(2)在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測器與 右眼局部特征;險測器，對所有左眼初選位置和右眼初選位置進(jìn)行判別，并為 每個初選位置確定一個單眼相似度數(shù)值；(3)從所有左眼初選位置與右眼 初選位置中，分別選擇相似度數(shù)值最大的前JV,個位置作為左眼候選位置和右 眼候選位置，并將所有左眼和右眼候選位置配成雙眼候選對，以每一個候選 對為基準(zhǔn)確定雙眼區(qū)域；(4)采用雙眼區(qū)域4全測器作為全局約束，對所述 每一 個雙眼區(qū)域進(jìn)行判別，為其中每個雙眼候選對確定一 個雙眼相似度凄t 值；(5)選擇雙眼相似度數(shù)值最大的前Mi個雙眼候選對，對其中的所有左
眼候選位置與所有右眼候選位置分別計算平均值，作為左眼特征點位置與右 眼特征點位置。
并可以通過以下步驟確定嘴巴位置(1)在已獲眼睛位置信息的基礎(chǔ) 上，采用統(tǒng)計方式確定嘴巴位置搜索區(qū)域，并確定嘴巴初選位置；(2)在 嘴巴位置搜索區(qū)域內(nèi)，采用嘴巴局部特征檢測器對每一個嘴巴初選位置進(jìn)行 判別，并為之確定一個嘴巴局部相似度數(shù)值；(3)選擇嘴巴局部相似度數(shù) 值最大的前M個初選位置作為嘴巴候選位置，對于每個候選位置，以左眼特 征點位置、右眼特征點位置、嘴巴候選位置為基準(zhǔn)，確定臉部區(qū)域；(4) 采用臉部區(qū)域檢測器作為全局約束，對每個所述確定的臉部區(qū)域進(jìn)行判別， 為其中的每個嘴巴候選位置確定一個嘴巴全局相似度數(shù)值；(5)選擇嘴巴 全局相似度數(shù)值最大的前似2個候選位置，計算這些候選位置的平均值，作
為嘴巴特征點位置。
圖4所示步驟403中，對所有反樣本，本實施例中可以通過手動標(biāo)定所 有反樣本人臉的器官特征點，如標(biāo)定三個點兩眼中心、嘴巴中心。而對于 待識別用戶的正樣本可以采取自動標(biāo)定的方法，獲取三個點的坐標(biāo)。
圖3所示步驟304和圖4所示步驟403中所述的預(yù)處理步驟，過程都是 相似的，下面主要以對樣本圖像的預(yù)處理為例來進(jìn)行說明。
在進(jìn)行人臉識別前，必須對輸入人臉圖像的尺寸、位置、灰度和深度進(jìn) 行預(yù)處理，使不同的人臉圖像的尺寸、灰度和深度保持一致。另外，不同圖 像中人臉的位置應(yīng)該保持一致，這可通過眼睛、嘴巴等人臉器官特征點的標(biāo) 定的方法，使輸入圖像中人臉眼睛、嘴巴等人臉器官特征點的位置基本固定， 再對整幅圖像進(jìn)行仿射變換或非線性矯正等。只有經(jīng)過這些預(yù)處理后，同一 個人的多個輸入人臉在某些特征上才會具有一定的相似性，而不同的人臉也 才會具有一定的差異，此時才可以采用統(tǒng)計模式識別算法進(jìn)行模型的訓(xùn)練與 識別。
預(yù)處理過程主要包括根據(jù)標(biāo)定的人臉器官特征點，對人臉灰度圖像進(jìn) 行幾何歸 一化和灰度歸一化，對人臉深度圖像進(jìn)行幾何歸 一化和深度歸一 化。
若如圖5所示已標(biāo)定兩眼中心和嘴巴中心三個標(biāo)定點，則根據(jù)這些標(biāo)定 點可以對各個人臉進(jìn)行幾何歸一化，即將人臉圖像的主要器官位置矯正到標(biāo) 準(zhǔn)位置，減小樣本間的尺度、平移和平面旋轉(zhuǎn)差異，然后根據(jù)器官位置剪裁 出人臉區(qū)域成為人臉樣本，使人臉樣本盡量少地引入背景干擾，且不同人臉 樣本的器官位置具有一致性。
下面先對人臉灰度圖像的幾何歸 一化進(jìn)行描述。
本實施例中，可引入標(biāo)準(zhǔn)灰度人臉圖像對各個人臉樣本進(jìn)行幾何歸 一化 和人臉區(qū)域的裁剪。首先確定待識別人臉窗口的尺度wd x ht為44 x 48，即 寬為44,高為48。以正面人臉為例，首先獲取一幅標(biāo)準(zhǔn)的正面人臉圖像， 標(biāo)準(zhǔn)圖像中兩眼的y坐標(biāo)一致，人臉也基本對稱，如圖5中的5A所示，標(biāo)
定該圖像的三個器官特征點。根據(jù)該圖像中雙眼的距離和位置確定裁剪的正 方形人臉區(qū)域的位置。設(shè)兩眼的距離為r,兩眼連線的中心點為""^，L倉)，
采集矩形的寬設(shè)為2r，即兩倍雙眼間距，則矩形裁剪區(qū)域的坐標(biāo)
<formula>complex formula see original document page 28</formula>
將裁剪的人臉區(qū)域歸一化到44x 48的尺寸，如圖5中的5B,并獲取歸 一化后三個標(biāo)定點的坐標(biāo)[&。力')，y^。]'…0，1，2，前兩個為眼睛中心點，最后
一個為嘴唇中心點。
給定某樣本的人臉灰度圖像和標(biāo)定的三個特征點[^"(0，KwW]，"(U，2,
如圖5中的5C，比較直接的裁剪方法是計算這三個點與標(biāo)準(zhǔn)圖像歸一化后 三點坐標(biāo)間的仿射變換系數(shù)。另外，仿射變換式中不能加入人臉各個方向的 拉伸變換，僅考慮平面旋轉(zhuǎn)和整體縮放兩個變換。接著由仿射變換系數(shù)可以 計算該裁剪圖像中任意一點到原始樣本中對應(yīng)點坐標(biāo)，進(jìn)而獲取裁剪人臉中 所有點的像素值，如圖5中的5D所示。
不過基于仿射變換的算法存在著一些缺陷。首先當(dāng)人臉樣本帶表情或者 輸入人臉非正面時，采用這種方法獲取的裁剪人臉的眼睛嘴唇中心點與標(biāo)準(zhǔn) 圖像的眼睛嘴唇中心點偏差會比較大，特別是帶姿態(tài)樣本裁剪后的嘴唇中心 點還不在圖像垂直中心軸上，眼睛位置也有差異，如圖6所示，6A是原始 圖像和標(biāo)定點，6B是裁剪圖像。因此對于同一人不同姿態(tài)表情的人臉，其 裁剪圖像中人臉眼睛嘴唇位置差異較大，這一定程度會降低識別算法抗表 情、姿態(tài)干擾的能力。
為了，本實施例采用了一種非線性矯正方法，即采用非線性的方法將輸 入人臉三個中心點完全矯正到標(biāo)準(zhǔn)人臉三點的位置。首先僅考慮眼睛的兩個 中心點，采用仿射變換算法在輸入人臉與標(biāo)準(zhǔn)人臉的標(biāo)定點之間計算仿射變
換系數(shù)，此時同樣只考慮旋轉(zhuǎn)和整體縮放兩個變換。即 <formula>formula see original document page 29</formula>上式中有四個未知數(shù)，四個等式，只有唯一的一個解，設(shè)為("Ac，力， 圖6中的6C是僅采用這四個系數(shù)獲取的裁剪結(jié)果。由這個仿射變換系數(shù)可 以計算出輸入樣本中三個特征點在裁剪人臉中的對應(yīng)點，設(shè)為，z' = o'i，2 。前兩個變換坐標(biāo)即眼睛的位置與標(biāo)準(zhǔn)臉的眼睛位置完
全一致，但受姿態(tài)、表情等干擾，嘴巴位置差別可能比較大。為此我們需要 將嘴巴位置矯正到標(biāo)準(zhǔn)位置。
如圖7所示，圖中A、 B點是標(biāo)準(zhǔn)圖像中的中心點，D點是A、 B的中 央點，Cstad是標(biāo)準(zhǔn)嘴唇中央點，C是變換后的嘴唇點。非線性矯正過程分 兩步進(jìn)行，首先在y方向進(jìn)行矯正，使矯正后嘴唇點的y坐標(biāo)與Cstad—致， 如圖7中的C'點。然后再進(jìn)行x方向的矯正，我們將D與C'連接起來，DC' 連線將人臉分為左右半邊，考慮水平方向的某條直線，設(shè)其y坐標(biāo)為yl, 其與DC'直線的交點坐標(biāo)E為"，力)。由于我們需要將"，少，)移至(&，y'),其 中&為D的x坐標(biāo)，因此需要對"。，少i)左右兩邊的點分別進(jìn)行線性變換，將 E移至中軸線DCstad上?？紤]某點"，h),對左邊的點x〈A,其矯正后點的 坐標(biāo)為0'&""A), 對右邊的點xSxi , 其矯正后點的坐標(biāo)為 [2xD - & . (2孔-x) /(2xfl - a ),力]?？梢钥闯?，如果c'在Cstad的右側(cè)，則需要對 左側(cè)的人臉進(jìn)行壓縮，對右側(cè)人臉進(jìn)行拉伸，這樣可以將DC'直線上所有點 都矯正到人臉垂直中軸線DCstad上。
在獲取非線性矯正系數(shù)后，接著結(jié)合原始圖像獲取矯正后的人臉，設(shè)裁 剪后的人臉圖像為/,該圖像尺寸為44x48,其中某點坐標(biāo)為"，力，根據(jù)非 線性矯正系數(shù)獲取其矯正前的坐標(biāo)(？，力，再由仿射變換系數(shù)獲取原始圖像 中該點的坐標(biāo)""，尺")
Aw。 1為消除噪聲的影響，裁剪后的圖像中",力的像素值設(shè)為對應(yīng)點(U。")
鄰域范圍內(nèi)所有點像素值的均值，如圖6中的6D所示。
此外，對于其他姿態(tài)的人臉，可采用類似方法進(jìn)行處理。 上述對人臉灰度圖像的幾何歸 一化進(jìn)行了詳細(xì)描述，人臉深度圖像的幾 何歸一化只需要根據(jù)人臉灰度圖像進(jìn)行幾何歸一化的數(shù)據(jù)進(jìn)行處理即可。如 采用與人臉灰度圖像縮放時同樣的比例進(jìn)行縮放，以及還可以采用與人臉灰 度圖像平面旋轉(zhuǎn)時同樣的角度進(jìn)行平面旋轉(zhuǎn)等。
此外，由于人臉灰度圖像受外界光照、成像設(shè)備等因素千擾，其亮度或 對比度會出現(xiàn)異常，出現(xiàn)強(qiáng)陰影或反光等情況，另外不同人種的膚色間也存 在這差異，因此需要對幾何歸一化和矯正后的人臉樣本進(jìn)行灰度均衡化處 理，改善其灰度分布，增強(qiáng)模式間的一致性，即進(jìn)行灰度的歸一化。不過， 人臉識別中的光照問題一直是比較困難但也是非常重要的問題。多年來已經(jīng) 有了非常多的光照處理算法，但性能都比較一般，抗各種環(huán)境光干擾的能力 都比較差。由于基于統(tǒng)計方法的人臉識別算法需要采集人臉的正樣本并進(jìn)行 訓(xùn)練，但人臉正樣本的光照一般比較單一，即使對加入不同光照的正樣本， 訓(xùn)練數(shù)據(jù)也只能覆蓋少數(shù)幾種光照分布。而實際場景中光照是非常復(fù)雜的， 而同樣的人臉但光照差別較大時灰度也會存在這明顯的差異，計算出的圖像 特征也會存在這差別。另外，如果輸入人臉的光照不均勻，部分區(qū)域光照強(qiáng)， 部分區(qū)域光照弱一些，此時即使對圖像進(jìn)行全圖的歸一化、直方圖均衡等， 都很難得到光照比較均勻的人臉數(shù)據(jù)，這就會大大降低人臉識別的精度。
為此，本發(fā)明實施例中采用的光照處理算法可以分兩步進(jìn)行，首先對圖 像進(jìn)行整體的灰度歸 一化，接著結(jié)合標(biāo)準(zhǔn)圖像進(jìn)行局部的灰度歸 一化。
整體歸一化比較簡單，給定一幅標(biāo)準(zhǔn)人臉圖像，如圖5中的5B,計算
標(biāo)準(zhǔn)人臉灰度的均值S和方差^ ,接著計算輸入樣本灰度的均值P和方差J ，
其任一像素值I(x,y)歸一化后的像素值為 <formula>formula see original document page 31</formula>設(shè)標(biāo)準(zhǔn)圖像某點(x,y),的像素值為S(x,y)，輸入人臉灰度歸一化后該點值 為I'(x,y)。由于這兩幅圖像中眼睛、嘴巴的位置已經(jīng)完全對應(yīng)，因此樣本中
各個器官的位置與標(biāo)準(zhǔn)人臉的器官位置差別也不會太大。也就是說兩幅圖像 各個局部的灰度應(yīng)該近似一致，如果灰度不一致，則可以認(rèn)為是輸入人臉的 光照不均勻，需要進(jìn)行灰度的矯正，由此可以用標(biāo)準(zhǔn)人臉的灰度去矯正輸入 人臉的灰度。
基于此考慮，本發(fā)明實施例對各個像素點分別進(jìn)行處理，考慮其中某個點(x,y)，抽取其鄰域范圍內(nèi)所有像素點，鄰域長寬均為W,我們統(tǒng)計輸入樣 本中(x,y)鄰域內(nèi)WxW個點灰度的均值，設(shè)為A1(x,y)，再統(tǒng)計標(biāo)準(zhǔn)樣本中 (x,y)鄰域內(nèi)WxW個點灰度的均值，設(shè)為As(x,y)。A1(x,y)反映的當(dāng)前鄰域
內(nèi)亮度的大小，As(x,y)反映的是標(biāo)準(zhǔn)人臉局部光照的強(qiáng)度，如果兩者差異較 大，則表示輸入人臉當(dāng)前點附近光照不均勻，需要對該點的灰度進(jìn)行矯正， 又As(x,y)與A1(x,y)的比值可以近似反映光照強(qiáng)度的比值，因此可以直接將該
點的灰度值乘以這個比值，作為矯正結(jié)果，即(x,y)點處理后新的灰度值Ir(x,y)為
<formula>formula see original document page 31</formula>
w的選擇比較關(guān)鍵，w不能太大，否則灰度矯正沒有效果，w也不能
太小，否則矯正后的人臉圖像與標(biāo)準(zhǔn)人臉比較接近，本文將W設(shè)為15，獲 取最佳結(jié)果。如圖8所示，為光照處理前和光照處理后的結(jié)果對比示意圖， 其中，8A為整體灰度歸 一化后的人臉圖像；8B為根據(jù)本發(fā)明的實施例進(jìn)行 灰度矯正后的人臉圖像。
另外，對人臉深度圖像進(jìn)行深度歸一化時，可以對人臉深度圖像的深度 數(shù)據(jù)以設(shè)定的人臉參考點(如兩眼中心點)為基準(zhǔn)，將該參考點的深度數(shù)據(jù)
設(shè)置為零，將人臉其他點相對于該參考點的深度數(shù)據(jù)作為歸一化后的深度數(shù) 據(jù)。
圖3中步驟305以及圖4中步驟404所述的特征計算，在人臉識別中是 非常關(guān)鍵的環(huán)節(jié)。常用的特征有灰度特征、邊緣特征、小波特征、Gabor特 征等。本發(fā)明實施例中，以Gabor特征為例進(jìn)行描述。
在Gabor特征計算中，二維Gabor濾波器的沖激響應(yīng)表示為<formula>formula see original document page 32</formula>
其中"=2冗，本實施例中，考慮了 5個頻率^ = 0"'"4, 8個方向A^，…，7， 則有
<formula>formula see original document page 32</formula>
在人臉灰度圖像和人臉深度圖像的每個點，可以都計算5個頻率，8個 方向，共2 x 40=80維Gabor特征，計算方式是將輸入的人臉圖像與各個頻 率各個方向的沖激響應(yīng)進(jìn)行巻積，即<formula>formula see original document page 32</formula>為了提高Gabor特征的計算效率，可以采用FFT算法對這個巻積過程
進(jìn)行加速，先對A(x')和^(x')分別進(jìn)行FFT變換，將變換后的結(jié)果相乘再進(jìn) 行反FFT變換，就可以得到人臉灰度圖像和人臉深度圖像中所有點對于某 個頻率某個方向的Gabor特征?？偟腉abor特征數(shù)為2x5x8x 44 x 48 = 168960，這個數(shù)據(jù)量是非常大的，直接采用分類算法對如此高維的特征進(jìn)行 訓(xùn)練和識別是非常困難的，因此還需要進(jìn)行特征的挑選，大幅度降低特征的 維數(shù)。
每幅人臉Gabor特征的維數(shù)高達(dá)168960，而總的訓(xùn)練樣本數(shù)可能有一 萬多，若在分類器訓(xùn)練時采用l對多的SVM算法，則可以采用基于AdaBoost 的特征挑選算法，結(jié)合1對多的分類方式和正反樣本數(shù)據(jù)從這些特征中挑選 出分類能力最強(qiáng)的數(shù)千維特征，如2000維特征出來，將挑選出的特征組成
新的低維Gabor特征向量，特征選擇完畢后再釆用 一對多的SVM算法對不 同用戶進(jìn)行訓(xùn)練。這樣訓(xùn)練算法的計算量和存儲的人臉模型的數(shù)據(jù)量都大大 降低。在識別過程中，算法只需要計算出人臉的Gabor特征，結(jié)合已有的特 征挑選結(jié)果挑選出低維特征，再對低維特征向量進(jìn)行識別即可。
下面簡單介紹一下本發(fā)明實施例所采用的基于AdaBoost的特征抽取方 法，本實施例中，在對計算出的人臉灰度圖像和人臉深度圖像的特征進(jìn)行特 征挑選時，可將所有特征合并， 一起挑選出設(shè)定維數(shù)(如2000維)的特征， 也可以將兩類特征分開挑選，如從人臉灰度圖像的特征中挑選出第 一設(shè)定維 數(shù)(如1000維)的特征，從人臉深度圖像的特征中挑選出第二設(shè)定維數(shù)(如 1000維)的特征。
圖9示出了本發(fā)明實施例中基于AdaBoost的特征抽取方法的流程圖。 如圖9所示，該流程包括如下步驟
步驟901，給定兩類樣本，樣本數(shù)為L，正樣本數(shù)為Lp，反樣本數(shù)為Ln。
步驟902,初始化，設(shè)置權(quán)重，正樣本為1/2Lp,反樣本為1/2Ln。 首先，為正反圖像樣本集設(shè)定權(quán)值，在一個具體的實施例中，可以將反 圖像樣本集所占的權(quán)重設(shè)置為1/2，將所有正圖像樣本集所占的權(quán)重設(shè)置為 1/2。當(dāng)然，在其它的實施例中，也完全可以將所有反圖像樣本集所占的權(quán) 重設(shè)置為2/5,將所有反圖像樣本集所占的權(quán)重設(shè)置為3/5。也就是說，可以 根據(jù)需要為正反圖像樣本集設(shè)定權(quán)重。之后，要為每個正反圖像樣本設(shè)定權(quán) 重，在一個具體的實施例中，可以設(shè)定每個正樣本的權(quán)重為正樣本集4又重的 1/Lp,設(shè)定每個反樣本的權(quán)重為反樣本集總權(quán)重的1/Ln。當(dāng)然，也可以將重 要的正反圖像樣本設(shè)定較高的權(quán)重。
步驟903,設(shè)定迭代輪次t=l，2,...，T。
步驟904，考慮所有從未入選的特征，利用單個特征訓(xùn)練弱分類器，根 據(jù)訓(xùn)練樣本集的權(quán)值得到最優(yōu)的閾值參數(shù)，使得所有樣本的加權(quán)錯誤率最
小，這樣可以為每個弱分類器及其對應(yīng)的特征獲取一個錯誤率。
器
采用第j個弱分類器^(")根據(jù)設(shè)定的閾值與每個圖像樣本的第j個特征
A(x)去判斷各個樣本圖像是正樣本還是反樣本，由此可以統(tǒng)計出該弱分類 的加權(quán)錯誤率。
每個弱分類器都只處理對應(yīng)的一個特征，其可表示為
<formula>formula see original document page 34</formula>
其中，"-力是弱分類器、")的低閾值，A妙-A是弱分類器^")的高閾 值，如果當(dāng)前圖像樣本的第j個特征A")的數(shù)值大于低閾值且低于高閾值 時，所述弱分類器^")輸出為1,其表示當(dāng)前圖像樣本被判斷為正樣本；反 之，所述弱分類器、")輸出為0，其表示當(dāng)前圖像樣本被判斷為反樣本。其
中，弱分類器~ W的低閾值和高閾值是根據(jù)圖像樣本的權(quán)重設(shè)定。
關(guān)于弱分類器對圖像樣本的分類，具體來講就是，首先，第j個弱分類 器、")根據(jù)第l個圖像樣本第j個特征G^x)判斷第l個圖像樣本是正樣本還 是反樣本，接下來，根據(jù)第2個圖像樣本第j個特征^W判斷第2個圖像樣 本是正樣本還是反樣本，……，直到，第j個弱分類器、")根據(jù)第L個圖像 樣本第j個特征AW判斷第l個圖像樣本是正樣本還是反樣本。
步驟905，統(tǒng)計出每個弱分類器、")的錯誤率，選定錯誤率最小的預(yù)定 數(shù)目個弱分類器并將其對應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。
每個弱分類器~(x)都要對L個圖像樣本是正樣本還是反樣本進(jìn)行判斷，
其中必定有判斷錯的樣本，換句話說，弱分類器、(工)可能將正樣本認(rèn)定為反 樣本，也可能將正樣本認(rèn)定為反樣本。將該弱分類器統(tǒng)計錯誤的圖像樣本的
權(quán)重求得，就可以得到這個弱分類器、w的加權(quán)錯誤率。之后，將錯誤率最
小的預(yù)定數(shù)目個弱分類器對應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。在一個實 施例中，所述預(yù)定數(shù)目是l，也可以是，2或3等等，操作者可以根據(jù)實際
情況設(shè)定這個數(shù)目。
步驟906,減小選定的弱分類器判斷正確的圖像樣本的權(quán)重，增加選定 的弱分類器判斷錯誤的圖像樣本的權(quán)重，并對更新后的圖像樣本的權(quán)重進(jìn)行
歸一化，使所有樣本的權(quán)重之和等于1,返回103，進(jìn)入下一輪迭代，直至 完成設(shè)定輪次，挑選出預(yù)定數(shù)目的特征。
上面的挑選方法針對的是兩類問題。對于多類問題，可以結(jié)合模式分類 算法的實現(xiàn)架構(gòu)設(shè)計挑選方法。如果模式分類算法采用的是一對多的架構(gòu)， 我們將特征挑選過程分解為多個兩類問題，每個兩類問題中其中一類是某類 樣本，另一類則對應(yīng)其他樣本。如果模式識別問題采用的是一對一的架構(gòu)， 即將多類模式識別問題分解為多個兩類一對一 問題，每個兩類問題中的 一類 為任一類輸入樣本，第二類為另一類輸入樣本。這樣在特征挑選時需要考慮 多個類似圖9的AdaBoost模塊流程，可將各個AdaBoost模塊流程同步實現(xiàn)， 即將所有AdaBoost模塊的第t輪弱分類器返回的錯誤率加起來，將總的錯 誤率最小的特征返回，作為該輪的特征挑選結(jié)果。各輪特征挑選完畢后再根 據(jù)當(dāng)前的各個AdaBoost模塊的錯誤率更新權(quán)重，挑選下 一組特征。
其中，由于人臉的深度信息是不受光照干擾的，因此在挑選低維特征時， 如果訓(xùn)練樣本的人臉光照變化過大，則特征挑選算法就會自動挑選對光照不 敏感的特征即由深度信息計算的Gabor特征，這樣使得基于挑選特征實現(xiàn)的 人臉識別方法能夠達(dá)到提高抗光照干擾的能力。
圖3所示步驟306和圖4所示步驟405中所述的人臉姿態(tài)，具體實現(xiàn)時 可分為多種姿態(tài)類別。本實施例中，各人臉姿態(tài)類別由一個左右深度旋轉(zhuǎn)角 度范圍和一個上下深度旋轉(zhuǎn)角度范圍共同表示。例如，若將左右深度旋轉(zhuǎn)角 度記為e,上下深度旋轉(zhuǎn)角度記為 則人臉姿態(tài)包括兩個參數(shù)e和^。深 度旋轉(zhuǎn)角度0表示人臉左右深度的變化，e絕對值越大，表示人臉側(cè)得越厲
角度越大，^越小，表示人臉低頭角度越大。
本實施例中，需要利用人臉深度圖像的深度數(shù)據(jù)計算這兩個角度。若之
前已將兩眼中心點選為人臉基準(zhǔn)點，并利用仿射變換和歸 一化處理將人臉旋 轉(zhuǎn)成直立人臉。則可設(shè)人臉某點相對基準(zhǔn)點的坐標(biāo)為"J，z)。另外為方便計 算，可近似認(rèn)為人臉表面是一個平面，則各點坐標(biāo)與兩個姿態(tài)角度的關(guān)系為
;;:丄sinp 其中，工^/x2十；;2 +z2
z = Zcospsin^
已知AJ，z和l,需要計算出^和^。對所有人臉表面進(jìn)行聯(lián)合處理，采 用最小二乘法，最終即可獲取這兩個角度。接著可對這兩個角度進(jìn)行量化， 即將不同姿態(tài)的人臉分為數(shù)類，每類分別對應(yīng)一定的姿態(tài)范圍。例如可將^分 為-50°到-20° 、 -20°到20° 、 20°到50°三個區(qū)域，對應(yīng)左右選褲， 人臉的四個姿態(tài)，同樣可將^分為-40°到-10° 、 -10°到10。 、 10。到 40°三個區(qū)域。具體應(yīng)用中，偏側(cè)面的抬頭、低頭樣本可以不用考慮，可只 考慮正面人臉的抬頭、低頭樣本，由此可將人臉的姿態(tài)參數(shù)劃分為兩個區(qū)域， 對應(yīng)五類不同姿態(tài)的人臉。在訓(xùn)練人臉模型和進(jìn)行人臉識別時，也可采取現(xiàn) 判決人臉姿態(tài)，然后對相應(yīng)姿態(tài)的樣本進(jìn)行訓(xùn)練和識別。
可見，采用多姿態(tài)人臉的識別方法，基于深度數(shù)據(jù)獲取人臉的準(zhǔn)確姿態(tài)， 可大大提高本發(fā)明抗姿態(tài)干擾的能力。
本實施例中，所述SVM是統(tǒng)計學(xué)習(xí)理論發(fā)展出的 一種模式識別方法。 該算法是從線性可分情況下的最優(yōu)分類面提出的?？紤]圖10中所示的兩類 線性可分情況，設(shè)樣本集(x,J,)，"l'…，"，xei ^M+l,-1}，其中乂是模式xi的 類別標(biāo)號,w'x + Z^O為分類界面，Hl、 H2分別為平行于H且與H距離為
"I—I的兩平面，它們之間的距離叫做分類間隔(margin)。 SVM的基本思想就
是希望找到一個最優(yōu)線性分類面，使分類間隔盡量大，即IM盡量小，并且 在訓(xùn)練集上分類錯誤盡量少。最優(yōu)分類面的求解問題實際上一個不等式約束 下的二次函數(shù)極值問題，其最優(yōu)解為
其中"'為權(quán)重。對多數(shù)樣本^為零，少數(shù)不為零的"'對應(yīng)的就是支持向
量，即位于H1和H2兩平面上的樣本。最優(yōu)分類函數(shù)則為
<formula>formula see original document page 37</formula>
sgn()為符號函數(shù)。/(幻為1則表示識別為第一類樣本，即y=l,否則 認(rèn)為識別為第二類樣本。將上式中特征向量的點擊運算改為內(nèi)積，且內(nèi)積滿 足Mercer條件，就可以將線性SVM擴(kuò)展為廣義的非線性SVM,即
<formula>formula see original document page 37</formula>
采用不同的內(nèi)積函數(shù)將導(dǎo)致不同的SVM算法，如多項式內(nèi)積、S形函 數(shù)、徑向核函數(shù)(RBF)等，與線性SVM相比，非線性SVM將最優(yōu)分類面 擴(kuò)展為非線性的，可以實現(xiàn)很多線性不可分情形的分類，因此分類準(zhǔn)確率也 得到提高。我們在實現(xiàn)人臉識別時，采用了基于RBF的SVM算法，即
<formula>formula see original document page 37</formula>
SVM在用于多類人臉的識別時，有一對一和一對多兩種實現(xiàn)形式。一 對一的SVM是在算法為任兩類樣本訓(xùn)練SVM分類器，這樣如果有N類樣 本，則需要訓(xùn)練N x (N-l)/2個分類器。識別時將樣本依次輸入到各個SVM 分類器中，每次判決都將淘汰一類樣本。當(dāng)然如果某個分類器對應(yīng)的兩個樣 本均已淘汰，則跳過該分類器，所有判決完成后剩下的那個類別就是識別結(jié) 果。 一對一分類器的主要問題是訓(xùn)練時只考慮了各類訓(xùn)練樣本，大量的反樣 本數(shù)據(jù)都浪費掉了，且這種分類器無法實現(xiàn)反樣本的拒識，因此無法應(yīng)用于 人臉認(rèn)證算法。
一對多的SVM算法只需要為每個類別分別訓(xùn)練一個分類器，每次訓(xùn)練 時正樣本就是該類別的訓(xùn)練數(shù)據(jù)，而反樣本則包含了其他各類數(shù)據(jù)及所有的 反樣本數(shù)據(jù)。由于這個方法考慮了眾多的反樣本數(shù)據(jù)，訓(xùn)練完后得到的最優(yōu) 分界面可以比較準(zhǔn)確地將當(dāng)前類別樣本與其他類別樣本分離開來，因此在實 現(xiàn)多個人臉的自動認(rèn)證時， 一對多的SVM算法有非常好的應(yīng)用價值。
一對多SVM的認(rèn)證過程也比較筒單，將輸入樣本挑選后的特征輸入到
N個SVM分類器中，如果所有分類器會拒識輸入特征，則認(rèn)為輸入人臉與 訓(xùn)練庫中所有類別都不相似，算法輸出拒識的結(jié)果；反之，如果輸入特征僅 通過了一個分類器，而被其他所有分類器拒識，則該分類器對應(yīng)的類別就是 人臉識別的結(jié)果；另一種特殊情況就是輸入特征通過了不止一個SVM分類 器，算法認(rèn)為其與多個類別相似，從實驗結(jié)果看，這種情形非常少見，因為 在分類器訓(xùn)練時各類樣本都互為其他類別的反樣本，但當(dāng)不同類別的人臉比 較相似時，這種情況也會出現(xiàn)。此時可以采取一種筒化方法解決這個問題， 由于各個一對多SVM算法都會為每個樣本輸出一個判決數(shù)值
刷=Ji",乂《(x,.X)"
!■=1 ，
這個數(shù)值在一定程度上也反映了輸入樣本與對應(yīng)類別的接近程度，及與 對應(yīng)反樣本的差距大小。該數(shù)值越大，則表示輸入樣本與當(dāng)前類別越相似， 與其他類別差異越大。因此可根據(jù)這個判決數(shù)值的大小處理這種特殊情況，
即將未輸出拒識結(jié)果的SVM分類器返回的
!■=1
進(jìn)行排序，將最大數(shù)對應(yīng)的類別作為人臉識別的結(jié)果。這盡管是一個近 似的結(jié)果，但從實際結(jié)果看，這個方法的效果還是非常不錯的。
本發(fā)明實施例中，通過獲取該人臉的亮度信息及人臉表面的深度信息， 在人臉識別中不僅考慮了人臉的亮度信息，還利用了人臉的深度信息，為輸 入的人臉圖像抽取兩組特征，并將這兩組特征同時送入模式識別分類器中， 進(jìn)行人臉識別模型的訓(xùn)練和識別，與基于可見光圖像的人臉識別方法相比， 提高了人臉識別方法抗光照干擾的能力。另外，本發(fā)明實施例中還可基于深 度數(shù)據(jù)獲取人臉的姿態(tài)特征，并為不同的人臉姿態(tài)訓(xùn)練不同的模型，進(jìn)而實 現(xiàn)分姿態(tài)的人臉識別，提高了人臉識別方法抗姿態(tài)干擾的能力。此外，本發(fā) 明實施例中的人臉識別方法與基于三維激光掃描裝置的三維人臉識別方法
相比，本方法的人臉特征采集方便，人臉識別可實時實現(xiàn)，相關(guān)的系統(tǒng)設(shè)備 成本低，方便攜帶，因此在人臉識別領(lǐng)域有著非常好的應(yīng)用價值。
以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了 進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的較佳實施例而已， 并非用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所作的任 何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種人臉識別方法，其特征在于，該方法包括A、為每個需要識別的用戶訓(xùn)練獲得所述用戶的人臉識別模型；B、在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用戶同時刻的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；C、根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉灰度圖像；D、利用所述人臉灰度圖像進(jìn)行標(biāo)定，確定所述圖像中的人臉器官特征點位置，根據(jù)所述人臉器官特征點位置對所述人臉灰度圖像和所述人臉深度圖像進(jìn)行人臉預(yù)處理；E、分別計算經(jīng)過人臉預(yù)處理后的所述人臉深度圖像和所述人臉灰度圖像的特征；F、將所述特征輸入到所述人臉識別模型中，進(jìn)行人臉識別，返回與各人臉識別模型的相似度數(shù)據(jù)；G、根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉識別結(jié)果。
2、 如權(quán)利要求l所述的方法，其特征在于，所述步驟A包括Al、針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與 對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；A2、對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到 所述樣本的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述樣 本的人臉灰度圖像；A3、利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定人臉灰度圖像和人臉深 度圖像中的人臉器官特征點位置，根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本 的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；A4、分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的特征和人臉灰度 圖像的特征； A5、利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的人臉識別模型。
3、 如權(quán)利要求2所述的方法，其特征在于，所述步驟A4和步驟A5之間， 進(jìn)一步包括分別從所計算的人臉深度圖像的特征和人臉灰度圖像的特征中挑 選出分類能力最強(qiáng)的部分特征構(gòu)成對應(yīng)樣本的低維特征；步驟A5中所述利用特征對所述用戶進(jìn)行訓(xùn)練為利用所述低維特征，對 所述用戶進(jìn)行訓(xùn)練。
4、 如權(quán)利要求l所述的方法，其特征在于，所述步驟E和步驟F之間，進(jìn) 一步包括分別從所計算的人臉深度圖像的特征和人臉灰度圖像的特征中挑選 出分類能力最強(qiáng)的部分特征構(gòu)成低維特征；步驟F中所述將特征輸入到所述人臉識別模型中為將所述低維特征輸入 到所述人臉識別模型中。
5、 如權(quán)利要求l所述的方法，其特征在于，所述"i殳定的人臉姿態(tài)包括一 個或一個以上的互不相同的人臉姿態(tài)；每個人臉姿態(tài)由 一個左右深度旋轉(zhuǎn)角度范圍和一個上下深度旋轉(zhuǎn)角度范圍 共同表示；步驟A中所述用戶的人臉識別模型為所述用戶的一個或一個以上的人臉 姿態(tài)的人臉識別模型；步驟F之前，進(jìn)一步包括根據(jù)所述人臉深度圖像，計算當(dāng)前待識別用戶 的人臉姿態(tài)；步驟F中所述將特征輸入到所述人臉識別模型中為將所述特征輸入到對 應(yīng)所述人臉姿態(tài)的人臉識別模型中。
6、 如權(quán)利要求5所述的方法，其特征在于，所述左右深度旋轉(zhuǎn)角度范圍取 值為-50° -20° 、 -20° 20° 、 20° 50°中的任意一個；所述上下深 度旋轉(zhuǎn)角度范圍取值為-40° -10° 、 -10° 10° 、 10° 40°中的任意 一個。
7、 如權(quán)利要求1所述的方法，其特征在于，步驟D中所述根據(jù)人臉的器官特征點位置對所述人臉灰度圖像和所述人臉深度圖像進(jìn)行人臉預(yù)處理包括根據(jù)所述人臉器官特征點的位置，分別對所述人臉灰度圖像和所述人臉深 度圖像進(jìn)行人臉幾何歸一化，并對所述人臉灰度圖像進(jìn)行灰度歸一化，對所述 人臉深度圖像進(jìn)行深度數(shù)據(jù)歸 一化。
8、 如權(quán)利要求7所述的方法，其特征在于，所述對人臉深度圖像進(jìn)行深度 數(shù)據(jù)歸一化為對所述人臉深度圖像的深度數(shù)據(jù)以設(shè)定的人臉參考點為基準(zhǔn)， 將所述參考點的深度數(shù)據(jù)設(shè)置為零，將人臉其他點相對于該參考點的深度數(shù)據(jù) 作為歸一化后的深度數(shù)據(jù)。
9、 如權(quán)利要求1至8中任一項所述的方法，其特征在于，所述人臉識別模 型為一對多的支持向量機(jī)的人臉識別模型；所述步驟G包括如果返回的與各人臉識別模型的相似度數(shù)據(jù)均小于設(shè)定 閾值，則拒識當(dāng)前待識別用戶的人臉；如果返回的與各人臉識別模型的相似度數(shù)據(jù)中存在大于設(shè)定閾值的相似度 數(shù)據(jù)，則從所述大于設(shè)定閾值的相似度數(shù)據(jù)中選取最大的相似度數(shù)據(jù)對應(yīng)的人 臉識別模型作為人臉識別的結(jié)果。
10、 一種人臉識別一莫型訓(xùn)練方法，其特征在于，該方法包括Al、針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與 對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；A2、對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到 所述樣本的人臉深度圖像，根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述樣 本的人臉灰度圖像；A3、利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定各人臉灰度圖像中的人 臉器官特征點位置，根據(jù)各人臉灰度圖像中的人臉器官特征點位置，對對應(yīng)樣 本的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；A4、分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的特征和人臉灰度 圖像的特征；A5、利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的人臉識別模型。
11、 如權(quán)利要求IO所述的方法，其特征在于，所述步驟A4和步驟A5之 間，進(jìn)一步包括分別從所計算的人臉深度圖像的特征和人臉灰度圖像的特征 中挑選出分類能力最強(qiáng)的部分特征構(gòu)成對應(yīng)樣本的低維特征；步驟A5中所述利用特征對所述用戶進(jìn)行訓(xùn)練為利用所述低維特征，對 所述用戶進(jìn)行訓(xùn)練。
12、 如權(quán)利要求10或11所述的方法，其特征在于，所述設(shè)定的人臉姿態(tài) 包括 一個或一個以上的互不相同的人臉姿態(tài)；每個人臉姿態(tài)由一個左右深度旋轉(zhuǎn)角度范圍和一個上下深度旋轉(zhuǎn)角度范圍 共同表示；步驟A5之前，進(jìn)一步包括根據(jù)正樣本的人臉深度圖像，計算所述用戶 當(dāng)前圖像的人臉姿態(tài)；步驟A5中所述對應(yīng)的人臉識別模型為所述用戶針對不同人臉姿態(tài)得到 的各人臉姿態(tài)的人臉識別模型。
13、 如權(quán)利要求10或11所述的方法，其特征在于，步驟A3中所述才艮據(jù) 人臉的器官特征點位置對所述人臉灰度圖像和所述人臉深度圖像進(jìn)行人臉預(yù)處 理包括根據(jù)所述人臉器官特征點的位置，分別對所述人臉灰度圖像和所述人臉深 度圖像進(jìn)行人臉幾何歸一化，并對所述人臉灰度圖像進(jìn)行灰度歸一化，對所述 人臉深度圖像進(jìn)行深度歸一化。
14、 如權(quán)利要求10或11所述的方法，其特征在于，所述人臉識別模型為 一對多的支持向量機(jī)的人臉識別模型。
15、 一種人臉識別系統(tǒng)，其特征在于，該系統(tǒng)包括訓(xùn)練模塊，用于為每個需要識別的用戶訓(xùn)練獲得所述用戶的人臉識別模型； 識別模塊，包括結(jié)構(gòu)光圖像采集單元，用于在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用 戶帶有結(jié)構(gòu)光編碼的人臉圖像；深度圖像獲取單元，用于根據(jù)所述帶有結(jié)構(gòu)光編碼的人臉圖像，得到所述用戶的人臉深度圖像；可見光圖像采集單元，用于采集當(dāng)前待識別用戶的與所述帶有結(jié)構(gòu)光編碼 的人臉圖像同時刻的沒有結(jié)構(gòu)光編碼的人臉圖像；灰度圖像獲取單元，用于根據(jù)所述沒有結(jié)構(gòu)光編碼的人臉圖像，得到所述 用戶的人臉灰度圖像；人臉器官標(biāo)定單元，用于利用所述人臉灰度圖像進(jìn)行標(biāo)定，確定所述圖像 中的人臉器官特征點位置；人臉預(yù)處理單元，用于根據(jù)所述人臉的器官特征點位置對所述人臉灰度圖 像和所述人臉深度圖像進(jìn)行人臉預(yù)處理；特征計算單元，用于分別計算經(jīng)過人臉預(yù)處理后的所述人臉深度圖像和所 述人臉灰度圖像的特征；識別單元，用于將所述特征輸入到所述人臉識別模型中，進(jìn)行人臉識別， 返回與各人臉識別模型的相似度數(shù)據(jù)，根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終 的人臉識別結(jié)果。
16、如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述訓(xùn)練模塊包括結(jié)構(gòu)光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，采集正樣本與對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像；深度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉深度圖像；可見光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，采集正樣本與對比樣本的與所述帶有結(jié)構(gòu)光編碼的人臉圖像同時刻的 沒有結(jié)構(gòu)光編碼的人臉圖像；灰度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述沒有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉灰度圖像；人臉器官標(biāo)定單元，用于利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定圖 像中的人臉器官特征點位置； 人臉預(yù)處理單元，用于根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本的人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；特征計算單元，用于分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的 特征和人臉灰度圖像的特征；訓(xùn)練單元，用于利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的 人臉識別模型。
17、 如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述識別模塊進(jìn)一步包括 特征挑選單元，用于分別從所計算的人臉深度圖像的特征和人臉灰度圖像的特 征中挑選出分類能力最強(qiáng)的部分特征構(gòu)成低維特征；所述識別單元將所述低維特征輸入到所述人臉識別模型中進(jìn)行人臉識別。
18、 如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述訓(xùn)練模塊進(jìn)一步包括 人臉姿態(tài)計算單元，用于根據(jù)正樣本的人臉深度圖像，計算所述用戶當(dāng)前的人 臉姿態(tài)；所述訓(xùn)練單元針對不同的人臉姿態(tài)訓(xùn)練得到所述用戶不同人臉姿態(tài)的 人臉識別模型。所述識別模塊進(jìn)一步包括人臉姿態(tài)計算單元，用于根據(jù)當(dāng)前待識別用戶 的人臉深度圖像，計算當(dāng)前待識別用戶的人臉姿態(tài)；所述識別單元將計算得到 的特征輸入到對應(yīng)所述人臉姿態(tài)的人臉識別模型中。
19、 如權(quán)利要求15至19中任一項所述的系統(tǒng)，其特征在于，所述人臉預(yù) 處理單元包括灰度圖像預(yù)處理子單元和深度圖像預(yù)處理子單元，其中，所述灰度圖像預(yù)處理子單元，用于根據(jù)標(biāo)定的人臉器官特征點的位置，對 所述人臉灰度圖像進(jìn)行人臉幾何歸 一化和灰度歸 一化；所述深度圖像預(yù)處理子單元，用于根據(jù)標(biāo)定的人臉器官特征點的位置，對 所述人臉深度圖像進(jìn)行人臉幾何歸 一化和深度數(shù)據(jù)歸 一化。
20、 一種人臉識別模型訓(xùn)練系統(tǒng)，其特征在于，該系統(tǒng)包括 結(jié)構(gòu)光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集正樣本與對比樣本的帶有結(jié)構(gòu)光編碼的人臉圖像；深度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述帶有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉深度圖像；可見光圖像采集單元，用于針對每個需要識別的用戶，在設(shè)定的人臉姿態(tài) 范圍內(nèi)，采集正樣本與對比樣本的與所述帶有結(jié)構(gòu)光編碼的人臉圖像同時刻的 沒有結(jié)構(gòu)光編碼的人臉圖像；灰度圖像獲取單元，用于對每個樣本的人臉圖像，根據(jù)所述沒有結(jié)構(gòu)光編 碼的人臉圖像，得到所述樣本的人臉灰度圖像；人臉器官標(biāo)定單元，用于利用所有樣本的人臉灰度圖像進(jìn)行標(biāo)定，確定圖 像中的人臉器官特征點位置；人臉預(yù)處理單元，用于根據(jù)所述人臉器官特征點位置，對對應(yīng)樣本的人臉 灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；特征計算單元，用于分別計算各樣本經(jīng)過人臉預(yù)處理后的人臉深度圖像的 特征和人臉灰度圖像的特征；訓(xùn)練單元，用于利用所述特征對所述用戶進(jìn)行訓(xùn)練，得到所述用戶對應(yīng)的 人臉識別模型。
全文摘要
本發(fā)明公開了一種人臉識別方法及系統(tǒng)、人臉識別模型訓(xùn)練方法及系統(tǒng)。其中，人臉識別方法包括為每個需要識別的用戶訓(xùn)練獲得人臉識別模型；在設(shè)定的人臉姿態(tài)范圍內(nèi)，采集當(dāng)前待識別用戶同時刻的帶有結(jié)構(gòu)光編碼的人臉圖像和沒有結(jié)構(gòu)光編碼的人臉圖像；根據(jù)帶有結(jié)構(gòu)光編碼的人臉圖像，得到人臉深度圖像，根據(jù)沒有結(jié)構(gòu)光編碼的人臉圖像，得到人臉灰度圖像；利用人臉灰度圖像進(jìn)行標(biāo)定，根據(jù)標(biāo)定結(jié)果對人臉灰度圖像和人臉深度圖像進(jìn)行人臉預(yù)處理；分別計算經(jīng)過預(yù)處理后的人臉深度圖像和人臉灰度圖像的特征；將該特征輸入到人臉識別模型中進(jìn)行人臉識別，輸出人臉識別結(jié)果。本發(fā)明所提供的技術(shù)方案，能夠在降低成本的情況下降低光照對人臉識別的干擾。
文檔編號G06K9/62GK101339607SQ200810118520
公開日2009年1月7日 申請日期2008年8月15日 優(yōu)先權(quán)日2008年8月15日
發(fā)明者英 黃 申請人:北京中星微電子有限公司