專利名稱：一種基于人臉全自動(dòng)定位的三維人臉識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域，特別涉及一種基于人臉全自動(dòng)定位的三維人臉 識(shí)別方法。
背景技術(shù)：
人臉識(shí)別系統(tǒng)以人臉識(shí)別技術(shù)為核心，是一項(xiàng)新興的生物識(shí)別技術(shù)，是當(dāng)今國際科技領(lǐng) 域攻關(guān)的高精尖技術(shù)。人臉因具有不可復(fù)制、采集方便、不需要被拍者的配合，使得人臉識(shí) 別系統(tǒng)具有廣泛的應(yīng)用。
雖然對(duì)人臉識(shí)別的硏究持續(xù)了數(shù)十年，但時(shí)至今日，它依然是模式識(shí)別領(lǐng)域中一個(gè)極具 挑戰(zhàn)性的問題。人臉識(shí)別方法還有一系列難以解決的問題，例如當(dāng)人臉姿態(tài)、表情以及環(huán)境 光照(PIE, Pose Illumination Expression)發(fā)生較大變化的時(shí)候，識(shí)別率將急劇下降。如何解 決人臉在不同姿態(tài)、光照和表情條件下的識(shí)別問題，仍然是當(dāng)甜研究的熱點(diǎn)。
對(duì)于姿態(tài)和光照變化的人臉識(shí)別問題，采用傳統(tǒng)的方法，必須獲得足夠多的不同姿態(tài)和 光照條件下用于學(xué)習(xí)的人臉訓(xùn)練圖像，然而在很多情況下，這些圖像并不容易獲得。
為了實(shí)現(xiàn)不依賴姿態(tài)和環(huán)境光照的人臉識(shí)別，現(xiàn)有技術(shù)中提出下述方法
第一類是姿態(tài)不變特征提取方法，這類方法通過提取能夠克服姿態(tài)變化的特征來解決姿 態(tài)變化的識(shí)別問題；第二類是基于多視角人臉圖像的解決方法，比如將傳統(tǒng)子空間方法擴(kuò)展 到多視角子空間；第三類是基于人臉三維模型的方法，在Blanz提出三維人臉建模方法之后， 基于人臉三維模型生成人臉各個(gè)姿態(tài)虛圖像(Virtual Image)的方法在解決姿態(tài)問題中取得了 較好的成果。
但是現(xiàn)有技術(shù)也存在很多的缺點(diǎn)，姿態(tài)不變特征提取方法的主要缺點(diǎn)是提取姿態(tài)不變的 特征比較困難；基于多視角人臉圖像的解決方法，其主要缺點(diǎn)是很難將人臉的姿態(tài)絕對(duì)劃分 開，并且錯(cuò)誤的姿態(tài)估計(jì)會(huì)降低人臉識(shí)別性能；而基于人臉三維模型的方法，雖然能較好的 解決姿態(tài)問題，但還存在很多困難，比如計(jì)算量大、速度慢和恢復(fù)精度差，并且需要手工定 位特征點(diǎn)用于初始化。

發(fā)明內(nèi)容
為了實(shí)現(xiàn)自動(dòng)化和快速準(zhǔn)確的人臉識(shí)別，并在識(shí)別過程中，克服圖像姿態(tài)和光照變化的 影響，提高計(jì)算速度，本發(fā)明實(shí)施例提供了一種人臉虛圖像生成的方法及一種基于人臉全自 動(dòng)定位的三維人臉識(shí)別方法。所述技術(shù)方案如下
一方面，本發(fā)明實(shí)施例提供了一種人臉虛圖像生成的方法，包括
對(duì)預(yù)設(shè)的數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型； 對(duì)所述二維人臉圖像進(jìn)行紋理建模，得到二維人臉局部紋理模型； 根據(jù)所述二維人臉形狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確定位； 根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人 臉圖像進(jìn)行三維重建，得到三維人臉圖像；
對(duì)所述三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像。 本發(fā)明實(shí)施例通過建立三維人臉形狀模型和二維人臉形狀模型，并進(jìn)行優(yōu)化處理，對(duì)二 維人臉圖像進(jìn)行精確定位，根據(jù)定位結(jié)果，對(duì)二維人臉圖像進(jìn)行三維重建，得到三維人臉圖 像，然后對(duì)三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像，增加了圖像的
姿態(tài)和光照變化的樣本空間，同時(shí)三維重建速度有很大的提高，使圖像識(shí)別具有更高的效率 和識(shí)別率。
另一方面，本發(fā)明實(shí)施例提供了一種基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，包括
獲取待識(shí)別的二維人臉圖像；
從所述二維人臉圖像提取特征；
對(duì)所述提取的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征； 對(duì)所述經(jīng)壓縮處理的特征進(jìn)行分類處理，得到分類結(jié)果；
將所述分類結(jié)果與預(yù)設(shè)的分類結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)所述待識(shí)別的人臉圖像進(jìn) 行識(shí)別。
本發(fā)明實(shí)施例通過對(duì)二維人臉圖像進(jìn)行三維重建和光照模型處理，得到不同姿態(tài)的人臉 虛圖像，從而在僅有一張標(biāo)準(zhǔn)人臉圖像的情況下，使用變化模擬方法生成姿態(tài)和光照變化的 虛圖像，增加了圖像的姿態(tài)和光照變化的樣本空間，通過對(duì)虛圖像設(shè)計(jì)分類器，可以使人臉 圖像的識(shí)別具有很高的識(shí)別率。


圖1為本發(fā)明實(shí)施例1提供的一種人臉虛圖像生成的方法的流程圖；圖2為本發(fā)明實(shí)施例1提供的姿態(tài)向左的二維人臉形狀模型； 圖3為本發(fā)明實(shí)施例1提供的正面的二維人臉形狀模型；
圖4為本發(fā)明實(shí)施例2提供的一種基于人臉全自動(dòng)定位的三維人臉識(shí)別方法的流程圖； 圖5為本發(fā)明實(shí)施例2提供的一種分類器設(shè)計(jì)方法的流程圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn) 一步地詳細(xì)描述。 實(shí)施例1
本發(fā)明實(shí)施例提供了一種人臉虛圖像生成的方法，該方法對(duì)數(shù)據(jù)庫中的二維人臉圖像進(jìn) 行多子空間的形狀建模，得到二維人臉形狀模型；對(duì)二維人臉圖像進(jìn)行局部紋理建模，得到 二維人臉局部紋理模型；根據(jù)二維人臉形狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確 定位；根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)二維人臉圖像的精確定位結(jié)果，對(duì)二維人臉圖像 進(jìn)行三維重建，得到三維人臉圖像；對(duì)三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變 化的虛圖像，從而增加了圖像的姿態(tài)和光照變化的樣本空間，能夠克服圖像識(shí)別過程中姿態(tài) 和光照變化的影響。同時(shí)三維重建速度有很大的提高。如圖1所示，本實(shí)施例包括
101:根據(jù)三維人臉數(shù)據(jù)庫建立三維人臉形狀模型。
本實(shí)施例中的三維人臉數(shù)據(jù)庫取自200個(gè)歐洲人的三維人臉數(shù)據(jù)，每個(gè)三維人臉數(shù)據(jù)包 含十萬左右個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)的坐標(biāo)數(shù)據(jù)(x， y， z)和紋理顏色數(shù)據(jù)(R， G， B)已知。建立三 維人臉形狀模型包括
101a:從三維人臉數(shù)據(jù)庫中，獲取所有三維人臉的頂點(diǎn)坐標(biāo)(x， y， z)和紋理(R， G， B) 等原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行量化處理。
具體的，獲取原始數(shù)據(jù)可以利用多種方法，例如采用三維掃描儀采集或采用二維圖像重 構(gòu)，本實(shí)施例中采用三維掃描儀掃描得到原始數(shù)據(jù)，得到原始數(shù)據(jù)后，將其中的模擬量進(jìn)行 量化處理轉(zhuǎn)化為數(shù)字量。
101b:對(duì)三維人臉數(shù)據(jù)進(jìn)行預(yù)處理，去除人臉以外的部分，分離出三維人臉圖像數(shù)據(jù)。
具體的，可以釆取三維人臉圖像數(shù)據(jù)分離的方法，將人臉圖像區(qū)域從整個(gè)頭部掃描數(shù)據(jù) 中分離出來，即去除頭發(fā)、肩部等部位。分離人臉圖像區(qū)域先要確定分割邊界，然后根據(jù)分 割邊界將人臉圖像區(qū)域數(shù)據(jù)從原始數(shù)據(jù)中分離出來。
IOIC:根據(jù)分離出來的三維人臉圖像數(shù)據(jù)，建立人臉圖像的對(duì)應(yīng)關(guān)系。對(duì)所有的三維人臉圖像進(jìn)行點(diǎn)對(duì)點(diǎn)的配準(zhǔn)，建立高密度的頂點(diǎn)對(duì)應(yīng)關(guān)系，即同一個(gè)下標(biāo)
的頂點(diǎn)表示的語意相同，比如第iooo號(hào)頂點(diǎn)對(duì)于所有的三維人臉圖像都是鼻尖。
lOld:建立三維人臉形狀模型。具體如下
1) 將預(yù)處理后三維人臉圖像數(shù)據(jù)的所有頂點(diǎn)的坐標(biāo)值依次排列，作為形狀向量。得到的 形狀向量如下
^(x/，"、…,x,k)7 (i)
其中i表示第i個(gè)人臉數(shù)據(jù)，n表示模型的頂點(diǎn)數(shù)。
2) 對(duì)獲得的形狀向量進(jìn)行主分量分析(PCA， Principal component analysis),得到形狀向 量均值和特征向量。
主分量分析是一種常用的無監(jiān)督的線性降維方法，它尋找一個(gè)線性子空間，以使得樣本 在該子空間投影的協(xié)方差盡可能地大。進(jìn)行主分量分析分析是為了得到一個(gè)更為緊湊的參數(shù) 表示，假設(shè)數(shù)據(jù)庫中共有N個(gè)三維人臉數(shù)據(jù)，主分量分析的具體方法如下
(2)
計(jì)算三維人臉圖像數(shù)據(jù)的形狀向量均值y=^i;s,
1
以及協(xié)方差矩陣C, -丄Z(S, - /"
(3)
從而可以得到=義A= 1，2,...，^
分解(3)式即得到特征向量Sj。
3)根據(jù)形狀向量均值和特征向量構(gòu)建三維人臉形狀模型^。d^7+;ga,j
(4)
其中，^為第j個(gè)形狀系數(shù)，Ms為截取的形狀主元個(gè)數(shù)，通過變化系數(shù)^.，將形狀特征
向量分別按照不同的系數(shù)進(jìn)行線性組合，就能夠得到不同形狀的三維人臉。
由于不同三維人臉的幾何點(diǎn)數(shù)量不一定相同，因此需要建立稠密的點(diǎn)對(duì)應(yīng)關(guān)系，并通過 插值等方法將不同人臉的幾何點(diǎn)數(shù)規(guī)格化為相同的數(shù)量，建立點(diǎn)對(duì)應(yīng)關(guān)系時(shí)可以使用光流方 法或者標(biāo)記錨點(diǎn)的方法。
在本發(fā)明實(shí)施例中，當(dāng)三維人臉圖像數(shù)據(jù)滿足正態(tài)分布時(shí)，經(jīng)過(3)式的正交變換后的形
變參數(shù)滿足下式的分布
1
P(巧 exp
2("'2/°"')
乂 '=i
廣崎 '
H酬
(5)
即建立的三維模型中的形變參數(shù)不是任意變化，而是服從該概率分布的，從而避免了畸變?nèi)四樀漠a(chǎn)生。
102:對(duì)數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型。 本實(shí)施例中的二維人臉數(shù)據(jù)庫取自2000個(gè)歐洲人和亞洲人的二維人臉數(shù)據(jù)，包含紋理數(shù)
據(jù)(R， G， B)以及人臉的姿態(tài)、表情和光照變化等數(shù)據(jù)。建立二維人臉形狀模型包括
102a:對(duì)數(shù)據(jù)庫中的二維人臉圖像按照姿態(tài)進(jìn)行劃分；對(duì)每種姿態(tài)的人臉圖像進(jìn)行特征
點(diǎn)的標(biāo)定，獲取特征點(diǎn)的坐標(biāo)值；利用特征點(diǎn)的坐標(biāo)值構(gòu)建相應(yīng)姿態(tài)下的二維人臉圖像的形
狀向量。
具體的，將二維人臉圖像按照姿態(tài)分為向左，向右，向上，向下和正面五種，以姿態(tài)向 左的人臉圖像為例，假設(shè)數(shù)據(jù)庫中姿態(tài)向左的二維人臉數(shù)據(jù)共有N個(gè)，標(biāo)定該姿態(tài)的所有人 臉的88 (也可以是88以外的數(shù)值)個(gè)特征點(diǎn)，獲取特征點(diǎn)的坐標(biāo)(x， y)作為原始數(shù)據(jù)，并對(duì) 原始數(shù)據(jù)進(jìn)行量化處理，得到人臉的形狀向量。
其中，標(biāo)定特征點(diǎn)的方法可以有多種，常用方法為手工標(biāo)注法，本實(shí)施例采用半自動(dòng)交 互式的手工標(biāo)注方法，半自動(dòng)標(biāo)注不同于手工標(biāo)注，不用對(duì)每個(gè)點(diǎn)都手工標(biāo)注，而是通過拉 拽等方式，標(biāo)定人臉的特征點(diǎn)，可以使用相關(guān)的軟件實(shí)現(xiàn)。
根據(jù)88個(gè)特征點(diǎn)的坐標(biāo)構(gòu)成人臉的形狀向量
<formula>formula see original document page 11</formula> (6)
102b:對(duì)形狀向量進(jìn)行中心、尺度和方向的歸一化。
在進(jìn)行人臉圖像的歸一化處理時(shí)，通常以圖像中的眼睛部分為基準(zhǔn)點(diǎn)進(jìn)行歸一化處理。
具體的，利用如下公式進(jìn)行中心歸一化
<formula>formula see original document page 11</formula>
利用如下公式進(jìn)行尺度歸一化:
<formula>formula see original document page 11</formula>
(7)
<formula>formula see original document page 11</formula>
(8)
利用Procrust Analysis算法進(jìn)行方向歸一化，消除人臉的平面內(nèi)旋轉(zhuǎn)。 102c:對(duì)歸一化后的所有形狀向量進(jìn)行主分量分析，根據(jù)主分量分析結(jié)果構(gòu)建相應(yīng)姿態(tài) 的形狀模型；由所有姿態(tài)的形狀模型構(gòu)建二維人臉形狀模型。
對(duì)姿態(tài)向左的二維人臉數(shù)據(jù)的形狀向量進(jìn)行主分量分析，具體如下 1)計(jì)算二維人臉數(shù)據(jù)的形狀向量均值和協(xié)方差矩陣。具體的，計(jì)算形狀向量均值利用如下公式^=;|;《 (9)
計(jì)算協(xié)方差矩陣?yán)萌缦鹿紺,-丄堂(《-X)(《-燈 (10)
2)根據(jù)主分量分析結(jié)果構(gòu)建相應(yīng)姿態(tài)的形狀模型，由所有姿態(tài)的形狀模型構(gòu)建二維人臉 形狀模型。具體如下
根據(jù)形狀向量均值和協(xié)方差矩陣得到特征向量P，構(gòu)建姿態(tài)向左的二維入臉的形狀模型 1 = ^ + /^，其中，b為PCA分析的形狀參數(shù)。
具體的，如圖2所示，以姿態(tài)向左的人臉圖像的形狀模型為例進(jìn)行說明，通過設(shè)置不同 的形狀參數(shù)b可以得到不同的形狀模型，使形狀模型具有一定的變化范圍。
相應(yīng)的，如圖3所示為正面人臉的形狀模型。
對(duì)所有姿態(tài)的人臉圖像分別進(jìn)行形狀建模，得到所有姿態(tài)的形狀模型，形狀建模方法同 上，不再贅述。
進(jìn)一步的，可以將任意一個(gè)人臉形狀X表示為X = ra(f + JP6)。其中a為幾何參數(shù)， 包括水平、垂直方向的平移向量《，i;，尺度向量S和角度向量P。 Ta表示形狀的幾何變化，
如下式
、"乂
+
(11)
s sin 0 cos 0
再一步的，由所有姿態(tài)的形狀模型綜合可得二維人臉形狀模型。例如，用Mi， i=l,2，3，4，5， 分別對(duì)應(yīng)向左，向右，向上和向下和正面五種姿態(tài)模型，i為姿態(tài)參數(shù)，對(duì)于每種姿態(tài)模型 Mi，其均值向量表示為又i，主分量分析的特征向量為Pi，綜合得到的二維人臉形狀模型為 X:Ta'(義j+P'b,)。
103:對(duì)二維人臉圖像進(jìn)行局部紋理建模，得到二維人臉局部紋理模型。具體包括 在本實(shí)施例中使用鑒別式學(xué)習(xí)方法，分析每個(gè)特征點(diǎn)周圍的紋理和附近其它點(diǎn)周圍紋理
的差異，用識(shí)別的方法來解決特征點(diǎn)的定位問題，使用點(diǎn)對(duì)比較特征與隨機(jī)森林的特征選擇
方法相結(jié)合來進(jìn)行局部紋理的描述。
具體的，本發(fā)明實(shí)施例提出的定位特征是點(diǎn)對(duì)比較特征，即圖像中任意兩個(gè)象素點(diǎn)灰度
大小的比較。本實(shí)施例局部紋理建模是為每個(gè)特征點(diǎn)設(shè)計(jì)一個(gè)分類器，整個(gè)人臉共需設(shè)計(jì)88 個(gè)分類器。以左眼角為例，選取預(yù)設(shè)范圍內(nèi)的任意選兩個(gè)點(diǎn)pl， p2進(jìn)行比較，具體的，預(yù)設(shè) 范圍可以是5x5的坐標(biāo)范圍，用I(p)表示像素點(diǎn)的灰度值，則分類器結(jié)果的數(shù)學(xué)公式可表示 如下<formula>formula see original document page 13</formula>
即當(dāng)I(pl》I(p2)時(shí)，弱分類器的結(jié)果為l，否則弱分類器結(jié)果為0。對(duì)于一個(gè)32x32大小的圖 像塊，任意選取兩個(gè)點(diǎn)有C 心種組合，弱分類器總數(shù)目約為520,000。
選取點(diǎn)對(duì)比較特征僅僅需要在原始灰度圖像上任取兩點(diǎn)比較灰度值的大小，不需要進(jìn)行 各種變換以及乘、除、開方等運(yùn)算，因此這種特征具有穩(wěn)定，計(jì)算快速的特點(diǎn)。其次，點(diǎn)對(duì) 比較特征選取點(diǎn)的幾何位置更加明確，在特征點(diǎn)的定位方面，比現(xiàn)有技術(shù)中Gabor特征、梯 度特征或者Haar特征等有更好的表現(xiàn)。
但由于點(diǎn)對(duì)比特征數(shù)目很多，因此必須結(jié)合好的特征選擇方法，本實(shí)施例使用的是隨機(jī) 森林方法，其基本思想是將很多弱分類器集成為一個(gè)強(qiáng)分類器。 一個(gè)隨機(jī)森林由N棵決策樹 構(gòu)成，每顆決策樹(如決策樹T1T2…TN)是一個(gè)決策樹分類器，決策樹的每個(gè)節(jié)點(diǎn)都是一 個(gè)弱分類器，隨機(jī)森林的決策結(jié)果是所有決策樹分類結(jié)果的平均。在訓(xùn)練過程中，隨機(jī)森林 中的每棵決策樹的不同之處在于訓(xùn)練樣本集合，分別是從總樣本集中隨機(jī)選取的一個(gè)子集； 而每棵決策樹的訓(xùn)練方法相同，決策樹在每個(gè)節(jié)點(diǎn)都選取當(dāng)前分類效果最好的弱分類器。在 分類過程中，以一個(gè)C類的分類問題為例，C類即輸出C個(gè)置信度，每個(gè)置信度p(n,p)(f(p^c) 表示了一個(gè)樣本p屬于第C類的概率，樣本p通過每個(gè)決策樹分類器Tn有C個(gè)輸出結(jié)果， 最后隨機(jī)森林的判決基于所有決策樹結(jié)果的平均，如下式所示。
c c TV =i...w
104:根據(jù)二維人臉形狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確定位。
具體的，對(duì)每個(gè)二維人臉圖像的形狀模型義=7;(《+7^)進(jìn)行優(yōu)化，求出最優(yōu)的姿態(tài)模
型Mi，以及在該姿態(tài)模型下的最優(yōu)的幾何參數(shù)ai和形狀參數(shù)bi,從而得到該二維人臉圖像的 最優(yōu)的形狀模型，根據(jù)最優(yōu)形狀模型，對(duì)該二維人臉圖像進(jìn)行精確定位。具體如下
根據(jù)傳統(tǒng)的參數(shù)優(yōu)化算法的目標(biāo)函數(shù)
(A g) = mm |y — r" (f + 7^)|2 = miAn(y — T。 (f + P6))r (y—7; (f +(14)
加入姿態(tài)參數(shù)i，對(duì)優(yōu)化算法進(jìn)行改進(jìn)，本實(shí)施例提出的優(yōu)化算法的目標(biāo)函數(shù)為
(a^力=mjn(y—ra +, ))r w (r—r",(《+幣,))+1V / 2 (15)
。''，' y=i
本實(shí)施例提出的優(yōu)化算法的目標(biāo)函數(shù)(15)有三點(diǎn)區(qū)別于傳統(tǒng)的目標(biāo)函數(shù)(14)，首先，目標(biāo) 函數(shù)(15)將每個(gè)隨機(jī)森林分類器輸出的結(jié)果即矩陣Wi加入到優(yōu)化目標(biāo)之中，即第i個(gè)姿態(tài) 模型Mi隨機(jī)森林分類器得到的結(jié)果。其次，加入形狀參數(shù)落在形狀主分量分析的模型參數(shù)空間中較緊致的區(qū)域這一限制，加入限制項(xiàng)2^//0"/來限制主分量分析的形狀參數(shù)bi。最后，
乂=1
對(duì)二維形狀模型進(jìn)行優(yōu)化，根據(jù)最優(yōu)的二維形狀模型Mi，對(duì)二維人臉圖像進(jìn)行精確定位。通 過優(yōu)化目標(biāo)函數(shù)，可使優(yōu)化的模型參數(shù)更加接近期望值。
進(jìn)一步的，本實(shí)施例提出的模型參數(shù)的優(yōu)化算法的執(zhí)行步驟如下
1) 對(duì)所有的姿態(tài)模型Mi， ie{l，2，3,4，5}，進(jìn)行初始化，通過人臉圖像中的眼睛部分對(duì) 不同姿態(tài)的二維人臉圖形進(jìn)行定位，并求出相應(yīng)的幾何參數(shù)ai和形狀參數(shù)bi。
2) 對(duì)選取的特征進(jìn)行優(yōu)化，選取形狀模型中原特征點(diǎn)預(yù)設(shè)范圍內(nèi)的隨機(jī)森林分類器輸出
概率最大的點(diǎn)作為新的特征點(diǎn)。具體的，預(yù)設(shè)范圍可以選取5x5的坐標(biāo)范圍。
3) 優(yōu)化姿態(tài)的幾何參數(shù)a,=min(r-7;(《+/^,)f^(y — ;(《+吊》)。(16)
。,. ' '
4 )優(yōu)化形狀參數(shù)我=min(y - & (《+《6, )f ^ (7 —+ W,)) + f 6,. ,2 / o",2 。 (17)
5) 如果^,-《ll + l^,-6,|<s，則停止優(yōu)化運(yùn)算；否則，令《=^;6,=爲(wèi)，返回步驟2)。
6) 比較每種姿態(tài)模型的最優(yōu)特征點(diǎn)定位結(jié)果，選取使式(15)最小化的結(jié)果作為最優(yōu)結(jié) 果，得到最優(yōu)姿態(tài)i及對(duì)應(yīng)的&和bi。
根據(jù)優(yōu)化的參數(shù)構(gòu)建最優(yōu)的人臉形狀模型，實(shí)現(xiàn)對(duì)每個(gè)二維人臉圖像的精確定位。
105:根據(jù)三維人臉形狀模型以及對(duì)二維人臉圖像的精確定位結(jié)果，對(duì)二維人臉圖像進(jìn)行 三維重建，得到三維人臉圖像。具體如下
105a:根據(jù)三維人臉形狀模型以及對(duì)二維人臉圖像的精確定位結(jié)果，對(duì)二維人臉圖像進(jìn) 行三維形狀重建，得到三維人臉的形狀圖像。
具體的，將101中得到的三維人臉形狀模型與相應(yīng)的二維人臉圖像進(jìn)行匹配得到形變參 數(shù)a，對(duì)"進(jìn)行優(yōu)化處理，根據(jù)最優(yōu)的形變參數(shù)"構(gòu)建人臉圖像的三維形狀圖像。
進(jìn)一步的，根據(jù)人臉定位結(jié)果，獲取最優(yōu)模型中的特征點(diǎn)的坐標(biāo)值;c,，代入(4)式，得
到
S(jc,) = 5(JC,) + P(X). r (18) 其中，x,e("，M)…(x,，乂))； (19) 在本實(shí)施例中，/ = 88，故得到2/個(gè)方程。
根據(jù)最優(yōu)化目標(biāo)函數(shù)minl;^2/^2(20)，得到求解形變參數(shù)的最優(yōu)化目標(biāo)為minZ"乂2/c^2 s.t. S(;c,.) = 5"(《)+尸(;x:,-).a71
(21)
即以滿足S(X)-f(;c,.) + P(;c,).a^為限制條件，對(duì)1^112>//0"/進(jìn)行優(yōu)化。
根據(jù)(21)式求解a即可得到最優(yōu)的三維形狀參數(shù)，將a代入公式(4)進(jìn)行計(jì)算，即可
得到人臉圖像的三維形狀圖像Sm^ =^。
105b:對(duì)三維人臉的形狀圖像進(jìn)行三維幾何變換，得到經(jīng)三維幾何變換的三維人臉形狀 圖像。具體如下
三維幾何變換即將三維人臉形狀圖像中的特征點(diǎn)在空間中進(jìn)行位置平移、縮放或旋轉(zhuǎn)處 理，用齊次坐標(biāo)的形式，可以用矩陣乘法表示如下
平移變換為:
畫l00JC + ^
/010
001zz + ,z
一1_000l畫11 一
(22)
其中x,少,z是平移前的三維點(diǎn)坐標(biāo)，x'，/,是平移后的點(diǎn)坐標(biāo)，L, A是延U,Z軸方 向的平移。
縮放變換為:
&00o國、x000
0 00000
00、0000
100010001
(23)
其中^、,^分別為jc,:);,z軸縮放比例。
繞坐標(biāo)軸的旋轉(zhuǎn)變換，右手坐標(biāo)系下相對(duì)坐標(biāo)原點(diǎn)繞坐標(biāo)軸旋轉(zhuǎn)e角的變換:
匿l 000
繞義軸旋轉(zhuǎn)/0 cos^一sin夕0少(24)
0 sin (9COS00zz
10 0011
—cos<9 0o"]
繞r軸旋轉(zhuǎn)/0 100少=，少(25)
z,一sinP 0COS00zz
10 00111<formula>formula see original document page 16</formula>在(27)式中，^ 為旋轉(zhuǎn)前的頂點(diǎn)坐標(biāo)，[x'少'zf為旋轉(zhuǎn)后的頂點(diǎn)坐標(biāo)， 《，A,《分別為繞x，y, z軸旋轉(zhuǎn)的角度，由(27)式對(duì)104a中得到的三維人臉形狀圖象進(jìn)行 三維幾何變換即得到經(jīng)三維幾何變換的三維人臉形狀圖像。
105c:將經(jīng)三維幾何變換的三維人臉形狀圖像，進(jìn)行紋理映射，得到三維人臉的紋理圖
像。具體如下
1)獲取經(jīng)幾何變換的三維人臉形狀圖像上的特征點(diǎn)坐標(biāo)值，對(duì)特征點(diǎn)的空間坐標(biāo)進(jìn)行投 影變換，得到特征點(diǎn)在二維人臉圖像上的投影坐標(biāo)。
本實(shí)施例中，投影變換可以正平行投影。正平行投影的投影方向與觀察坐標(biāo)系的某個(gè)坐 標(biāo)軸方向平行，即投影方向與另外兩個(gè)坐標(biāo)軸組成的平面垂直。在正平行投影的觀察坐標(biāo)系
中，例如按z方向投影，物體的投影圖坐標(biāo)便與它的z值無關(guān)，所以去掉z變量便是三維物體
的二維投影。沿Z方向正投影的變換可表示成陽v-1000—x0x0
八0100
0000z0
1000111
(28)
對(duì)三維模型上的一個(gè)頂點(diǎn)[;c ;; z]'，經(jīng)過幾何變換后的坐標(biāo)為[;c' / f 。使用正投
影模型可以得到該點(diǎn)在圖像平面上的投影坐標(biāo)為
《.i'xO磁/e桐+w/認(rèn)2 《."'x(/ ez沐/喊e)+fe妙/2 (29)
其中width為二維圖象的寬度，height為二維圖象的高度，edge為三維視區(qū)邊界的長度。
2)將投影坐標(biāo)上的二維人臉圖像的像素值作為三維人臉圖像上的對(duì)應(yīng)點(diǎn)的紋理像素值，
得到三維人臉的紋理圖像。
三維人臉形狀圖像上的任意一點(diǎn)，其空間坐標(biāo)為[x少zf ，由(27)式和(29)式得到其在
二維圖像平面上的投影坐標(biāo)為[《A]、將該坐標(biāo)上的二維人臉圖像的像素值作為三維人臉
圖像上對(duì)應(yīng)點(diǎn)的紋理，從而得到三維人臉的紋理圖像。
通過步驟105,完成了二維人臉圖像的三維形狀重建和紋理重建，得到了重建的三維人
臉圖像。
106:對(duì)三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像。具體如下
106a:對(duì)上述105中得到的三維人臉圖像，制定光照模型。
光照模型是一種數(shù)學(xué)模型，用來替代復(fù)雜的物理模型，用于模擬當(dāng)光照射到物體表面時(shí)， 反射、透射的光進(jìn)入人的視覺系統(tǒng)，使人能看見物體的現(xiàn)象。在本發(fā)明實(shí)施例中可制定的光 照模型有多種，以Phong光照模型為例，在Phong模型中，有三個(gè)分量環(huán)境光、漫反射和 鏡面反射。由物體表面上一點(diǎn)尸反射到視點(diǎn)的光強(qiáng)/為環(huán)境光的反射光強(qiáng)、理想漫反射光強(qiáng) 和鏡面反射光的總和，艮P-
/ = /人+仏(丄 iV)+ (i ."" (30)
其中/。為環(huán)境光的光強(qiáng)，K。為物體對(duì)環(huán)境光的反射系數(shù)，/p為入射光強(qiáng)，」、是與物體 有關(guān)的漫反射系數(shù)，0<《d<l， ^是與物體有關(guān)的鏡面反射系數(shù)。物體表面上點(diǎn)P的法向 為W，從點(diǎn)尸指向光源的向量為i，視線方向?yàn)閞，反射方向?yàn)? 。
106b:根據(jù)預(yù)設(shè)的旋轉(zhuǎn)角度值對(duì)三維人臉圖像進(jìn)行三維幾何變換，得到姿態(tài)變化的三維
人臉圖像。
在確定了光照模型后，選取一定數(shù)量的表示人臉姿態(tài)三維的旋轉(zhuǎn)角度值的《,《，《值，對(duì)
三維人臉圖像進(jìn)行三維幾何變換。其中，旋轉(zhuǎn)角度值可以在[-60°， 60。]范圍內(nèi)，以5°至10° 的變化值進(jìn)行選取，具體變換過程參見104a中的三維幾何變換過程，不再贅述。106c:根據(jù)預(yù)設(shè)的光源參數(shù)值對(duì)姿態(tài)變化的三維人臉圖像進(jìn)行投影變換，得到姿態(tài)、光 照變化的虛圖像。
具體的，選取光源參數(shù)值，對(duì)經(jīng)三維幾何變換的三維人臉圖像進(jìn)行投影變換，具體的投 影變換過程參見104b投影變換過程，不再贅述。將三維人臉投影到圖像平面，并進(jìn)行消隱處
理，產(chǎn)生光照和姿態(tài)變化的人臉虛圖象。
本發(fā)明實(shí)施例通過建立三維人臉形狀模型、二維人臉形狀模型和二維人臉局部紋理模型， 對(duì)二維人臉圖像進(jìn)行精確定位，根據(jù)定位結(jié)果，對(duì)二維人臉圖像進(jìn)行三維重建，得到三維人 臉圖像，然后對(duì)三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像，從而增加 了圖像的姿態(tài)和光照變化的樣本空間，能夠克服圖像識(shí)別過程中姿態(tài)和光照變化的影響。在 局部紋理建模時(shí)使用點(diǎn)對(duì)比特征和特征選擇相結(jié)合的方法，提高了計(jì)算速度，使圖像的識(shí)別 具有更高的效率和識(shí)別率。
實(shí)施例2
本實(shí)施例提供了一種人臉圖像識(shí)別的方法，該方法通過獲取待識(shí)別的二維人臉圖像；從 二維人臉圖像提取特征；對(duì)提取的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征；對(duì)經(jīng)壓縮處 理的特征進(jìn)行分類處理，得到分類結(jié)果；將分類結(jié)果與預(yù)設(shè)的分類結(jié)果進(jìn)行匹配，根據(jù)匹配 結(jié)果對(duì)待識(shí)別的人臉圖像進(jìn)行識(shí)別。如圖4所示，本實(shí)施例包括
201:獲取待識(shí)別的二維人臉圖像，并進(jìn)行預(yù)處理。
具體的，對(duì)二維人臉圖像的預(yù)處理包括對(duì)人臉區(qū)域進(jìn)行平面旋轉(zhuǎn)的矯正和尺度、灰度 的歸一化，通常以圖像中的眼睛部分為基準(zhǔn)點(diǎn)進(jìn)行歸一化處理。歸一化的方法與實(shí)施例1中 的方法相同，不再贅述。
202:從二維人臉圖像提取特征。
具體的，對(duì)預(yù)處理后的二維人臉圖像特征的提取，可以是灰度特征、邊緣特征、小波特
征、Gabor特征等。
203:對(duì)提取的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征。
具體的，以Gabor特征為例，在獲得長度為丄的人臉圖像的特征矢量X,后，進(jìn)行特征壓 縮，從中抽取具有鑒別能力的特征，同時(shí)改善特征的分布，降低特征的維數(shù)，從而提高系統(tǒng) 的識(shí)別性能。具體如下
利用主分量分析、線性判別分析(LDA， Linear discriminant analysis)或兩者相結(jié)合的方 法，對(duì)提取的Gabor特征進(jìn)行壓縮處理。其中，LDA是一種常用的有監(jiān)督的線性降維方法，它尋找一個(gè)線性子空間，以使得樣本
在該子空間上投影的類內(nèi)散布緊密、類間散布分散。以人臉圖像為例，具體做法如下首先
將所有的兩維人臉圖像按照行序或者列序排列成列向量的形式x,. / = 1，2，...，W。這樣一幅圖像
對(duì)應(yīng)了高維空間中的一個(gè)樣本。假設(shè)這些樣本共分為C類，每類有Ni個(gè)樣本，則有 1 w
總均值附=_
1=1
各類均值^5>y(/ = l,2,-c) MS
類內(nèi)散布矩陣^ = J J] —附,Y
類間散布矩陣& = tiV,.(w,.—m)(w, 得到線性判別分析的投影矩陣『^^-argmax
:[w,, w2,... ， wm〗 (31)
『&『
構(gòu)成LDA子空間的基可由以下廣義特征值分解得到^w^^^M^ (32)
對(duì)二維人臉圖像提取的Gabor特征，先訓(xùn)練主分量分析的投影子空間，得到主分量分析 的投影矩陣，然后用提取的Gabor特征訓(xùn)練線性判別分析的投影子空間，得到線性判別分析 的投影矩陣『m,，將兩個(gè)投影矩陣相乘得到特征壓縮矩陣，通過特征壓縮矩陣對(duì)提取的Gabor 特征進(jìn)行壓縮，得到經(jīng)壓縮處理的特征。
204:對(duì)經(jīng)壓縮處理的特征進(jìn)行分類處理，得到分類結(jié)果，將分類結(jié)果與預(yù)設(shè)的分類結(jié)果 進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)待識(shí)別的人臉圖像進(jìn)行識(shí)別。具體包括
204a:通過設(shè)計(jì)分類器對(duì)特征進(jìn)行分類處理。分類器的設(shè)計(jì)步驟如圖5所示，包括
1) 根據(jù)已知的二維人臉圖像數(shù)據(jù)庫，生成人臉圖像的虛圖像。具體如下 對(duì)數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型；對(duì)二維
人臉圖像進(jìn)行紋理建模，得到二維人臉局部紋理模型；根據(jù)二維人臉形狀模型和局部紋理模 型，對(duì)二維人臉圖像進(jìn)行精確定位；根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)二維人臉圖像的精 確定位結(jié)果，對(duì)二維人臉圖像進(jìn)行三維重建，得到三維人臉圖像；對(duì)三維人臉圖像進(jìn)行光照 模型處理，得到姿態(tài)、光照變化的虛圖像。
生成虛圖像的方法與實(shí)施例1中的生成虛圖像的方法相同，此處不再贅述。
2) 對(duì)虛圖像進(jìn)行歸一化處理，得到經(jīng)歸一化處理的虛圖像。具體如下 2a)根據(jù)三維人臉圖像特征點(diǎn)的位置計(jì)算出虛圖象中特征點(diǎn)的位置。
2b)對(duì)得到的虛圖像進(jìn)行幾何歸一化，通常以圖像中的眼睛部分為基準(zhǔn)點(diǎn)進(jìn)行歸一化處理，將人臉圖像的主要器官位置矯正到標(biāo)準(zhǔn)位置，根據(jù)器官位置分離出人臉區(qū)域以避免背景 干擾。人臉矯正的目的是將人臉的主要器官矯正到指定位置，減小圖像間尺度、平移和平面 旋轉(zhuǎn)差異。矯正的方法可以是對(duì)圖像進(jìn)行二維仿射變換，包括平移、縮放和旋轉(zhuǎn)。 2c)對(duì)幾何歸一化處理后的虛圖像進(jìn)行灰度歸一化。
為避免外界光照、成像設(shè)備可能導(dǎo)致的圖像對(duì)比度異常，本實(shí)施例對(duì)幾何歸一化后的人 臉圖像進(jìn)行了灰度均衡化處理，改善其灰度分布，增強(qiáng)模式間的一致性。可以使用的圖像灰 度均衡化方法包括灰度直方圖均衡、照度平面修正和灰度均值、方差歸一化等。
3) 對(duì)經(jīng)歸一化處理的虛圖像提取特征并進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征。 具體的，對(duì)虛圖像特征的提取，可以是灰度特征、邊緣特征、小波特征、Gabor特征等。 在提取虛圖像的特征后，利用主分量分析、線性判別分析或兩者相結(jié)合的方法，對(duì)提取
的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征。特征壓縮的方法與203中的特征壓縮方法相 同，不再贅述。
4) 由經(jīng)壓縮處理的特征設(shè)計(jì)分類器。
貝葉斯(Bayesian)決策理論是分類器設(shè)計(jì)的理論基礎(chǔ)和主流方法，根據(jù)貝葉斯決策理 論，特征矢量J^屬于iV個(gè)模式類別C-^,C2,…，cJ之一，如果己知A^屬于類別。，1《y、iV
的后驗(yàn)概率為M。/I/)，那么執(zhí)行如下的判決規(guī)則將實(shí)現(xiàn)最小錯(cuò)誤意義上的最優(yōu)分類 c*-argmax/^c'/X,) (33)
其中，c'eC是分類結(jié)果。通常后驗(yàn)概率^。/J^)由類別的先驗(yàn)概率尸(。)和類條件概率
密度戶(X,/c」來表示，則式(33)成為
c* = arg m，尸(。.)p (X, / 。.) (34)
假設(shè)各人臉類別的先驗(yàn)概率相等，即P^^P(c,) 1《/,/SiV，則最大后驗(yàn)概率變?yōu)樽畲?類條件概率密度準(zhǔn)則-
c* = arg maf p(X/ /。) (35)
實(shí)際應(yīng)用中，類條件概率密度的函數(shù)形式和參數(shù)通常都是未知的。為了實(shí)現(xiàn)貝葉斯決策， 分類器設(shè)計(jì)的一種方式是利用訓(xùn)練圖像對(duì)類條件概率密度進(jìn)行估計(jì)，即估計(jì)類條件概率密度 的函數(shù)形式及參數(shù)。
采用不同方法對(duì))進(jìn)行建模，就得到不同形式的鑒別函數(shù)和對(duì)應(yīng)的分類器。
具體的，在人臉圖像中，特殊矢量的類別通常具有高斯分布，當(dāng)特殊矢量的類的協(xié)方差 矩陣都相等，類內(nèi)各特征矢量相互獨(dú)立，具有相等的方差時(shí)，可以得到最小距離分類器 c'=argmin|^—/i,|，其中，//,為類c,的均值。
。eC IIy"7 II J
根據(jù)分類器的設(shè)計(jì)原理可知，每一個(gè)特征經(jīng)過分類器的分類處理，可以得到唯一的一個(gè)分類結(jié)果，因此，每一個(gè)人臉圖像經(jīng)過分類器的設(shè)計(jì)和訓(xùn)練，可以得到與之對(duì)應(yīng)的分類結(jié)果。 204b:對(duì)待識(shí)別的人臉圖像提取特征并壓縮，將經(jīng)壓縮處理的特征輸入分類器得到分類
結(jié)果；對(duì)數(shù)據(jù)庫中所有的二維人臉圖像提取特征并壓縮，將經(jīng)壓縮處理的特征輸入分類器， 將得到的分類結(jié)果作為預(yù)設(shè)的分類結(jié)果。
將待識(shí)別的人臉圖像的分類結(jié)果與預(yù)設(shè)的分類結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)待識(shí)別的 人臉圖像進(jìn)行識(shí)別。
根據(jù)分類器的設(shè)計(jì)原理可知，每一個(gè)人臉圖像經(jīng)過分類器的設(shè)計(jì)和訓(xùn)練，可以得到與之 對(duì)應(yīng)的分類結(jié)果，根據(jù)分類器的輸出結(jié)果就能對(duì)相應(yīng)的人臉圖像進(jìn)行識(shí)別。
在本實(shí)施例中，對(duì)8個(gè)姿態(tài)的人臉進(jìn)行識(shí)別，分別是c05 (左轉(zhuǎn)22.5°)、 c37 (左轉(zhuǎn)45°)、 c02 (左轉(zhuǎn)67.5°)、 c29 (右轉(zhuǎn)22.5°)、 cll (右轉(zhuǎn)45°)、 c14 (右轉(zhuǎn)67.5°)、 c09 (低頭)、c07 (抬頭)，人臉識(shí)別的正確率分別達(dá)到了 70%、 94%、 100%、 100%、 95%、 68%、 100%、 100% 。
本發(fā)明實(shí)施例通過對(duì)二維人臉圖像進(jìn)行三維重建和光照模型處理，得到不同姿態(tài)的人臉 虛圖像，從而在僅有一張標(biāo)準(zhǔn)人臉圖像的情況下，使用變化模擬方法生成姿態(tài)和光照變化的 虛圖像，增加了圖像的姿態(tài)和光照變化的樣本空間，通過對(duì)虛圖像設(shè)計(jì)分類器，可以使人臉 圖像的識(shí)別具有很高的識(shí)別率。
以上所述的實(shí)施例，只是本發(fā)明較優(yōu)選的具體實(shí)施方式
的一種，本領(lǐng)域的技術(shù)人員在本 發(fā)明技術(shù)方案范圍內(nèi)進(jìn)行的通常變化和替換都應(yīng)包含在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1、一種人臉虛圖像生成的方法，其特征在于，包括對(duì)預(yù)設(shè)的數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型；對(duì)所述二維人臉圖像進(jìn)行局部紋理建模，得到二維人臉局部紋理模型；根據(jù)所述二維人臉形狀模型和局部紋理模型，對(duì)所述二維人臉圖像進(jìn)行精確定位；根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人臉圖像進(jìn)行三維重建，得到三維人臉圖像；對(duì)所述三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像。
2、 如權(quán)利要求1所述的人臉虛圖像生成的方法，其特征在于，所述對(duì)預(yù)設(shè)的數(shù)據(jù)庫中的 二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型，包括對(duì)所述數(shù)據(jù)庫中的二維人臉圖像按照姿態(tài)進(jìn)行劃分； 對(duì)每種姿態(tài)的人臉圖像進(jìn)行特征點(diǎn)的標(biāo)定，獲取所述特征點(diǎn)的坐標(biāo)值； 利用所述特征點(diǎn)的坐標(biāo)值構(gòu)建相應(yīng)姿態(tài)下的二維人臉圖像的形狀向量； 對(duì)所述形狀向量進(jìn)行歸一化的處理，得到經(jīng)歸一化處理的形狀向量； 對(duì)所述經(jīng)歸一化處理的形狀向量進(jìn)行主分量分析，根據(jù)主分量分析結(jié)果構(gòu)建相應(yīng)姿態(tài)的 形狀模型；由所有姿態(tài)的所述形狀模型構(gòu)建二維人臉形狀模型。
3、 如權(quán)利要求1所述的人臉虛圖像生成的方法，其特征在于，所述對(duì)所述二維人臉圖像 進(jìn)行局部紋理建模，得到二維人臉局部紋理模型，包括獲取所述二維人臉圖像上的特征點(diǎn)坐標(biāo)值；對(duì)所述二維人臉圖像特征點(diǎn)的預(yù)設(shè)范圍內(nèi)的兩個(gè)像素點(diǎn)灰度大小進(jìn)行比較，得到點(diǎn)對(duì)比 特征；利用特征選擇方法對(duì)所述點(diǎn)對(duì)比特征進(jìn)行選擇處理，得到選擇處理結(jié)果； 根據(jù)所述選擇處理結(jié)果構(gòu)建二維人臉局部紋理模型。
4 如權(quán)利要求1所述的人臉虛圖像生成的方法，其特征在于，所述根據(jù)所述二維人臉形 狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確定位，包括根據(jù)預(yù)設(shè)算法對(duì)所述二維人臉形狀模型進(jìn)行優(yōu)化處理，得到最優(yōu)的姿態(tài)參數(shù)、幾何參數(shù) 和形狀參數(shù)；利用所述最優(yōu)的姿態(tài)參數(shù)、幾何參數(shù)和形狀參數(shù)，構(gòu)建所述二維人臉圖像的最優(yōu)形狀模型；利用所述最優(yōu)形狀模型，對(duì)所述二維人臉圖像進(jìn)行精確定位。
5、 如權(quán)利要求1所述的人臉虛圖像生成的方法，其特征在于，所述根據(jù)預(yù)設(shè)的三維人臉 形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人臉圖像進(jìn)行三維重建，得到三維人臉圖像，包括根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人臉圖像進(jìn)行三維形狀重建，得到三維人臉的形狀圖像；對(duì)所述三維人臉的形狀圖像進(jìn)行三維幾何變換，得到變換的三維人臉形狀圖像； 對(duì)所述變換的三維人臉形狀圖像進(jìn)行紋理映射，得到三維人臉的紋理圖像； 將所述變換的三維人臉形狀圖像和所述三維人臉的紋理圖像相結(jié)合得到所述三維人臉圖像。
6、 如權(quán)利要求5所述的人臉虛圖像生成的方法，其特征在于，所述對(duì)所述二維人臉圖像進(jìn)行三維形狀重建，得到三維人臉的形狀圖像，包括將所述三維人臉形狀模型與精確定位的二維人臉圖像進(jìn)行匹配，得到二維圖像到三維模 型的形變參數(shù)，對(duì)所述形變參數(shù)進(jìn)行優(yōu)化處理；根據(jù)所述優(yōu)化后的形變參數(shù)，對(duì)所述二維人臉圖像進(jìn)行三維形狀重建，得到三維人臉的 形狀圖像。
7、 如權(quán)利要求5所述的人臉虛圖像生成的方法，其特征在于，所述對(duì)所述三維人臉的形 狀圖像進(jìn)行紋理映射，得到三維人臉的紋理圖像，包括獲取所述變換的三維人臉形狀圖像上的特征點(diǎn)的坐標(biāo)值，對(duì)所述特征點(diǎn)的空間坐標(biāo)進(jìn)行 投影變換，得到所述特征點(diǎn)在所述二維人臉圖像上的投影坐標(biāo)；將所述投影坐標(biāo)上的所述二維人臉圖像的像素值作為所述三維人臉圖像上的對(duì)應(yīng)點(diǎn)的紋 理像素值，得到三維人臉的紋理圖像。
8、 如權(quán)利要求1所述的人臉虛圖像生成的方法，其特征在于，所述對(duì)三維人臉圖像進(jìn)行 光照模型處理，得到姿態(tài)、光照變化的虛圖像，包括根據(jù)預(yù)設(shè)的旋轉(zhuǎn)角度值對(duì)三維人臉圖像進(jìn)行三維幾何變換，得到姿態(tài)變化的三維人臉圖像；根據(jù)預(yù)設(shè)的光源參數(shù)值對(duì)所述姿態(tài)變化三維人臉圖像進(jìn)行投影變換，得到所述姿態(tài)、光 照變化的虛圖像。
9、 一種基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，包括.. 獲取待識(shí)別的二維人臉圖像； 從所述二維人臉圖像提取特征；對(duì)所述提取的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征； 對(duì)所述經(jīng)壓縮處理的特征進(jìn)行分類處理，得到分類結(jié)果；將所述分類結(jié)果與預(yù)設(shè)的分類結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)所述待識(shí)別的人臉圖像進(jìn) 行識(shí)別。
10、 如權(quán)利要求9所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，獲取 所述預(yù)設(shè)的分類結(jié)果，包括對(duì)預(yù)設(shè)的數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型； 對(duì)所述二維人臉圖像進(jìn)行局部紋理建模，得到二維人臉局部紋理模型； 根據(jù)所述二維人臉形狀模型和局部紋理模型，對(duì)所述二維人臉圖像進(jìn)行精確定位； 根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人 臉圖像進(jìn)行三維重建，得到三維人臉圖像；對(duì)所述三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像； 對(duì)所述虛圖像進(jìn)行分類處理，得到分類結(jié)果，將所述分類結(jié)果作為預(yù)設(shè)的分類結(jié)果。
11、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 對(duì)預(yù)設(shè)的數(shù)據(jù)庫中的二維人臉圖像進(jìn)行多子空間的形狀建模，得到二維人臉形狀模型，包括對(duì)所述數(shù)據(jù)庫中的二維人臉圖像按照姿態(tài)進(jìn)行劃分； 對(duì)每種姿態(tài)的人臉圖像進(jìn)行特征點(diǎn)的標(biāo)定，獲取所述特征點(diǎn)的坐標(biāo)值； 利用所述特征點(diǎn)的坐標(biāo)值構(gòu)建相應(yīng)姿態(tài)下的二維人臉圖像的形狀向量；對(duì)所述形狀向量進(jìn)行歸一化的處理，得到經(jīng)歸一化處理的形狀向量； 對(duì)所述經(jīng)歸一化處理的形狀向量進(jìn)行主分量分析，根據(jù)主分量分析結(jié)果構(gòu)建相應(yīng)姿態(tài)的 形狀模型；由所有姿態(tài)的所述形狀模型構(gòu)建二維人臉形狀模型。
12、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 對(duì)所述二維人臉圖像進(jìn)行局部紋理建模，得到二維人臉局部紋理模型，包括對(duì)所述二維人臉圖像特征點(diǎn)的預(yù)設(shè)范圍內(nèi)的兩個(gè)像素點(diǎn)灰度大小進(jìn)行比較，得到點(diǎn)對(duì)比 特征；利用特征選擇方法對(duì)所述點(diǎn)對(duì)比特征進(jìn)行選擇處理，得到選擇處理結(jié)果； 根據(jù)所述選擇處理結(jié)果構(gòu)建二維人臉局部紋理模型。
13、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 根據(jù)所述二維人臉形狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確定位，包括根據(jù)預(yù)設(shè)算法對(duì)所述二維人臉形狀模型進(jìn)行優(yōu)化處理，得到最優(yōu)的姿態(tài)參數(shù)、幾何參數(shù) 和形狀參數(shù)；利用所述最優(yōu)的姿態(tài)參數(shù)、幾何參數(shù)和形狀參數(shù)，構(gòu)建所述二維人臉圖像的最優(yōu)形狀模型；利用所述最優(yōu)形狀模型，對(duì)所述二維人臉圖像進(jìn)行精確定位。
14、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人臉圖 像進(jìn)行三維重建，得到三維人臉圖像，包括根據(jù)預(yù)設(shè)的三維人臉形狀模型以及對(duì)所述二維人臉圖像的精確定位結(jié)果，對(duì)所述二維人 臉圖像進(jìn)行三維形狀重建，得到三維人臉的形狀圖像；對(duì)所述三維人臉的形狀圖像進(jìn)行三維幾何變換，得到變換的三維人臉形狀圖像； 對(duì)所述變換的三維人臉形狀圖像進(jìn)行紋理映射，得到三維人臉的紋理圖像； 將所述變換的三維人臉形狀圖像和所述三維人臉的紋理圖像相結(jié)合得到所述三維人臉圖像。
15、 如權(quán)利要求14所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 對(duì)所述二維人臉圖像進(jìn)行三維形狀重建，得到三維人臉的形狀圖像，包括將所述三維人臉形狀模型與精確定位的二維人臉圖像進(jìn)行匹配，得到二維圖像到三維模 型的形變參數(shù)，對(duì)所述形變參數(shù)進(jìn)行優(yōu)化處理；根據(jù)所述優(yōu)化后的形變參數(shù)，對(duì)所述二維人臉圖像進(jìn)行三維形狀重建，得到三維人臉的 形狀圖像。
16、 如權(quán)利要求14所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 對(duì)所述三維人臉的形狀圖像進(jìn)行紋理映射，得到三維人臉的紋理圖像，包括獲取所述變換的三維人臉形狀圖像上的特征點(diǎn)的坐標(biāo)值，對(duì)所述特征點(diǎn)的空間坐標(biāo)進(jìn)行 投影變換，得到所述特征點(diǎn)在所述二維人臉圖像上的投影坐標(biāo)；將所述投影坐標(biāo)上的所述二維人臉圖像的像素值作為所述三維人臉圖像上的對(duì)應(yīng)點(diǎn)的紋 理像素值，得到三維人臉的紋理圖像。
17、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，對(duì)三 維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像，包括根據(jù)預(yù)設(shè)的旋轉(zhuǎn)角度值對(duì)三維人臉圖像進(jìn)行三維幾何變換，得到姿態(tài)變化的三維人臉圖像；根據(jù)預(yù)設(shè)的光源參數(shù)值對(duì)所述姿態(tài)變化三維人臉圖像進(jìn)行投影變換，得到所述姿態(tài)、光 照變化的虛圖像。
18、 如權(quán)利要求10所述的基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，其特征在于，所述 對(duì)所述虛圖像進(jìn)行分類處理，得到分類結(jié)果，包括對(duì)所述虛圖像進(jìn)行歸一化處理，得到經(jīng)歸一化處理的虛圖像； 從所述經(jīng)歸一化處理的虛圖像提取特征； 對(duì)所述提取的特征進(jìn)行壓縮處理，得到經(jīng)壓縮處理的特征； 對(duì)所述經(jīng)壓縮處理的特征進(jìn)行分類處理，得到分類結(jié)果。
全文摘要
本發(fā)明實(shí)施例公開了一種基于人臉全自動(dòng)定位的三維人臉識(shí)別方法，屬于計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域。所述人臉虛圖像生成的方法包括建立二維人臉形狀模型和局部紋理模型，對(duì)二維人臉圖像進(jìn)行精確定位，根據(jù)定位結(jié)果，對(duì)所述二維人臉圖像進(jìn)行三維重建，得到三維人臉圖像；對(duì)所述三維人臉圖像進(jìn)行光照模型處理，得到姿態(tài)、光照變化的虛圖像。所述方法包括從待識(shí)別的人臉圖像中提取特征并壓縮；根據(jù)壓縮處理的特征對(duì)人臉進(jìn)行識(shí)別。本發(fā)明實(shí)施例通過對(duì)二維人臉圖像進(jìn)行三維重建和光照模型處理生成虛圖像，增加了圖像的姿態(tài)和光照變化的樣本空間，同時(shí)三維重建速度有很大的提高，使人臉圖像的識(shí)別具有更高的效率和識(shí)別率。
文檔編號(hào)G06T17/00GK101320484SQ20081011678
公開日2008年12月10日 申請(qǐng)日期2008年7月17日 優(yōu)先權(quán)日2008年7月17日
發(fā)明者镠 丁, 丁曉青, 劉長松, 馳 方, 王麗婷 申請(qǐng)人:清華大學(xué)