一種基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，步驟為：對(duì)三維人臉模型進(jìn)行預(yù)處理，包括人臉區(qū)域切割、平滑處理和姿態(tài)歸一化，將所有的人臉置于姿態(tài)坐標(biāo)系下；從三維人臉模型的半剛性區(qū)域提取人臉7條側(cè)面輪廓線，并對(duì)其中每條輪廓線進(jìn)行均勻重采樣以獲得28個(gè)關(guān)鍵點(diǎn)來表征人臉面部曲面；提取關(guān)鍵點(diǎn)周圍鄰域，先分別用網(wǎng)格縱向局部二值模式描述符和網(wǎng)格橫向局部二值模式描述符對(duì)關(guān)鍵點(diǎn)鄰域進(jìn)行表征，然后對(duì)兩者進(jìn)行特征融合獲得網(wǎng)格縱橫局部二值模式描述符，最后用LC?KSVD2字典學(xué)習(xí)分類算法對(duì)3D人臉進(jìn)行識(shí)別。本發(fā)明能夠更加全面地描述均勻人臉網(wǎng)格表面由表情等原因引起的局部形狀變化，具有較強(qiáng)的識(shí)別性能。
【專利說明】
-種基于網(wǎng)格縱橫局部二值模式的H維人臉識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種基于網(wǎng)格縱橫局部二值模式的=維人臉識(shí)別方法，尤其設(shè)及一種 利用人臉網(wǎng)格在3D領(lǐng)域內(nèi)對(duì)人臉直接進(jìn)行識(shí)別的人臉識(shí)別方法，適用于有較大變化的場(chǎng) 厶 1=1 O
【背景技術(shù)】
[0002] 近二十年來，因?yàn)槎S人臉識(shí)別方法在面臨姿態(tài)、光照條件不同、表情變化W及臉 部化妝等方面表現(xiàn)出來的脆弱性使得人臉識(shí)別的準(zhǔn)確度和適用場(chǎng)合受到很大限制，越來越 多的學(xué)者開始致力于=維人臉識(shí)別技術(shù)的研究。=維人臉識(shí)別技術(shù)是指利用人臉在=維空 間中的幾何信息進(jìn)行身份辨識(shí)的技術(shù)。目前，諸多學(xué)者提出了很多有效的3D人臉識(shí)別方法。 [000引目前，許多3D人臉識(shí)別算法都是基于局部二值模式化BP，Local Binary Pattern),但是運(yùn)些算法大多會(huì)將人臉的3D點(diǎn)云先轉(zhuǎn)化為深度圖然后再進(jìn)行對(duì)LBP的改進(jìn) 和擴(kuò)展，運(yùn)就將3D數(shù)據(jù)轉(zhuǎn)到了2.加，丟失了人臉部分信息。針對(duì)運(yùn)一問題，Wer曲i等提出了 網(wǎng)格局部二值模式（local binary pattern on the mesh,mesh-LBP)描述符，該描述符直 接在網(wǎng)格表面計(jì)算LBP值，避免了將3D人臉點(diǎn)云轉(zhuǎn)化成深度圖，保留了 3D人臉的完整信息。 該描述符將中屯、面片與其周圍有序環(huán)上的面片進(jìn)行比較，忽略了相鄰環(huán)上面片之間和同一 環(huán)上相鄰面片之間的關(guān)系，割裂了局部區(qū)域的整體性。因此如何在人臉網(wǎng)格上提取一種更 全面的特征是非常有意義的。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種基于網(wǎng)格縱橫局部二值模式的=維人臉識(shí)別方法，具有 較強(qiáng)的識(shí)別性能，并且對(duì)表情變化具有較好的魯棒性，同時(shí)還提高了人臉匹配速度。
[0005] 為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：
[0006] -種基于網(wǎng)格縱橫局部二值模式的=維人臉識(shí)別方法，包括W下步驟：
[0007] 步驟1:從輸入的=維人臉點(diǎn)云中提取出感興趣的人臉區(qū)域，該區(qū)域?yàn)閃鼻尖為球 屯、，90mm為半徑的球所包含的人臉區(qū)域；
[0008] 步驟2:對(duì)由步驟1所提取的=維人臉點(diǎn)云進(jìn)行平滑去噪處理后，W鼻尖點(diǎn)為姿態(tài) 坐標(biāo)系(PCS)的坐標(biāo)原點(diǎn)，將其置于姿態(tài)坐標(biāo)系(PCS)中；所述姿態(tài)坐標(biāo)系(PCS)的獲得方法 為:對(duì)S維人臉點(diǎn)云采用主成分分析法(PCA)，將最大特征值對(duì)應(yīng)的特征向量作為Y軸，將最 小特征值對(duì)應(yīng)的特征向量作為Z軸，建立右手坐標(biāo)系，即為姿態(tài)坐標(biāo)系；
[0009] 步驟3:對(duì)由步驟2得到的=維人臉點(diǎn)云，根據(jù)坐標(biāo)信息，在人臉的半剛性區(qū)域提取 垂直方向的7條面部輪廓線并對(duì)面部輪廓線進(jìn)行重采樣，得到測(cè)試人臉的28個(gè)關(guān)鍵點(diǎn)；
[0010] 步驟4:對(duì)=維人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，由步驟3獲得的28個(gè)關(guān)鍵點(diǎn)也對(duì)應(yīng)到網(wǎng) 格上，提取W關(guān)鍵點(diǎn)所在面片為中屯、面片的有序面片環(huán)，并且確定關(guān)鍵點(diǎn)周圍鄰域；
[0011] 步驟5:計(jì)算由步驟4獲得的關(guān)鍵點(diǎn)鄰域的網(wǎng)格縱向局部二值模式(mesh-化BP)描 述符和網(wǎng)格橫向局部二值模式(mesh-化BP)描述符;并對(duì)運(yùn)兩者進(jìn)行特征融合獲得網(wǎng)格縱 橫局部二值模式(mesh-VHLBP)描述符；
[0012] 步驟6:最后結(jié)合LC-KSVD2字典學(xué)習(xí)分類算法對(duì)人臉進(jìn)行分類實(shí)驗(yàn)，得出識(shí)別結(jié) 果。
[0013] 所述步驟2的具體步驟為：
[0014] 步驟2.1:計(jì)算測(cè)試人臉點(diǎn)云質(zhì).
，其中P'i表示點(diǎn)云中點(diǎn)的坐標(biāo)，n表 示點(diǎn)云中點(diǎn)的個(gè)數(shù)；
[0015] 步驟2.2:構(gòu)建協(xié)方差矩P
其中T表示的是矩陣的轉(zhuǎn) 置；
[0016] 步驟2.3:將協(xié)方差矩陣C正交對(duì)角化，得到S個(gè)特征值、及對(duì)應(yīng)的S個(gè)相 互正交的單位特征向量Vl, V2，V3 ;
[0017] 步驟2.4: WO為原點(diǎn)，WVi為巧由，V3為巧由，建立右手坐標(biāo)系，在該坐標(biāo)系下人臉具 有相同的正面姿態(tài)，該坐標(biāo)系為姿態(tài)坐標(biāo)系PCS,并將平滑去噪處理后的S維人臉點(diǎn)云數(shù)據(jù) 都轉(zhuǎn)換到姿態(tài)坐標(biāo)系中，即口'1=(>2，￥1，￥3)(口':1-〇);
[001引步驟2 . 5 :將坐標(biāo)系平移，使得鼻尖點(diǎn)位于原點(diǎn)，點(diǎn)P" 1平移后記為
其中，瓷j，客,2為3分別表示點(diǎn)gl坐標(biāo)的^個(gè)分量。
[0019] 所述步驟3的具體步驟為：
[0020] 步驟3.1:半剛性區(qū)域側(cè)面輪廓線提取:在姿態(tài)坐標(biāo)系中，記位于XOZ平面上方的S 維人臉曲面為S，用鏡像匹配算法確定人臉的對(duì)稱面S，化3切割人臉曲面S，獲得半剛性區(qū) 域的中屯、側(cè)面輪廓線;然后，將平面a分別沿著X軸正、負(fù)方向Wl3mm的間隔平移，與人臉曲 面S相交就能夠得到另外6條側(cè)面輪廓線，從而獲得人臉半剛性區(qū)域的7條側(cè)面輪廓線；
[0021] 步驟3.2:面部輪廓線重采樣獲得關(guān)鍵點(diǎn)：W平面a與XOY平面相交的直線作為參 考曲線，保留從眉屯、點(diǎn)到鼻尖點(diǎn)那一段，并在運(yùn)一段上在每隔20mm采樣一個(gè)點(diǎn)，如此獲得4 個(gè)關(guān)鍵點(diǎn)；在其余的6條側(cè)面輪廓線上按與中屯、側(cè)面輪廓線上的點(diǎn)相同的水平坐標(biāo)進(jìn)行采 樣，最終獲得28個(gè)關(guān)鍵點(diǎn)。
[0022] 所述步驟4的具體步驟為：
[0023] 步驟4.1:對(duì)人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，并且圍繞中屯、面片提取有序環(huán):給定一個(gè) 中屯、面片fc，其鄰接的S個(gè)面片按逆時(shí)針方向分別標(biāo)記為f〇Utl,f〇Ut2和f〇Ut3,記為化Ut面 片集;在兩兩foutia = 1，2，3)面片之間用fgap面片，記為Fgap面片集，按相同的方向進(jìn)行 連接，要求fgap面片是前一個(gè)面片的鄰接面片且與中屯、面片f C只共享一個(gè)頂點(diǎn)；當(dāng)在 (fout3，f OUti)之間完成用Fgap面片集進(jìn)行連接后，就獲得第一個(gè)有序環(huán);再獲取運(yùn)個(gè)有序 環(huán)中每個(gè)面片的鄰接面片，要求該面片與環(huán)中其他面片不重合，指向朝外，構(gòu)成新的化Ut面 片集，W上述相同的方式獲取第二個(gè)有序環(huán);如此迭代下去，即能夠在中屯、面片周圍獲得r 個(gè)同屯、有序環(huán)；
[0024] 步驟4.2:在關(guān)鍵點(diǎn)檢測(cè)完成后，其周圍鄰域取為該點(diǎn)所在中屯、面片周圍的r個(gè)環(huán) 構(gòu)成的區(qū)域。
[0025] 所述步驟5的具體步驟為：
[0026] 步驟5.1:準(zhǔn)備工作：依據(jù)有序環(huán)第一個(gè)面片位置的相對(duì)不變性的原則，按逆時(shí)針 方向?qū)⒚凯h(huán)上用于計(jì)算的面片標(biāo)號(hào)為
，其不同環(huán)上的相同位置編號(hào) 的面片相互對(duì)應(yīng)；
[0027] 步驟5.2:計(jì)算關(guān)鍵點(diǎn)鄰域的mesh-VLBP描述符，其計(jì)算過程為:第1環(huán):將第一環(huán)上 的面片與中屯、面片比較;從第二環(huán)開始，分別將該環(huán)上與前一環(huán)上標(biāo)號(hào)對(duì)應(yīng)的面片進(jìn)行比 較。用公式描述為：
[00 巧] (D
[0029]
[0030] 其中標(biāo)量函數(shù)Mf)取為平均曲率H;該描述符計(jì)算結(jié)果記為Yi;
[0031] 步驟5.3:計(jì)算關(guān)鍵點(diǎn)鄰域的mesh-HLBP描述符，其計(jì)算基于同一個(gè)環(huán)上相鄰面片 之間的平均曲率值的大小關(guān)系，則將其計(jì)算式定義為：
[0032]
(2)
[0033] 其中化+1)\12表示對(duì)12取余，就表示當(dāng)k=ll時(shí)，面片取為起始面片;該 描述符計(jì)算結(jié)果記為Y2;
[0034] 步驟5.4:對(duì)mesh-化BP描述符和mesh-HLBP描述符進(jìn)行特征融合，從而得到更加全 面的描述符一一mesh-VHLBP描述符，其融合結(jié)果記為Y3。
[0035] 所述步驟6的具體步驟為：
[0036] 步驟6.1:采用"等價(jià)模式"對(duì)由步驟5計(jì)算而得的數(shù)據(jù)降維；
[0037] 步驟6.2:對(duì)步驟5計(jì)算而來的￥1，￥2和￥3采用使字典具有判別力的1(：-1(5￥02的字典 學(xué)習(xí)算法進(jìn)行分類，其中LC-KSVD2算法的目標(biāo)函數(shù)表示為：
[0038]
(3)
[0039] 其中，Y= [yi... yN] G RDXW為輸入樣本，Y分別取為Yi，&和￥3;輸入樣本在冗余字典 D=[山...dK] G Rnx嚇的稀疏表示集記為X= [XI. . .XN]
為重構(gòu)誤差;Q = Ui... QN] G RKXW是輸入信號(hào)Y的判別稀疏編碼，用來提供分類信息，qi中的非零值出現(xiàn)在輸 入信號(hào)yi和字典原子dk標(biāo)簽相同的位置;W表示分類器參數(shù)，H=比1...hN] G Rmxw是輸入信號(hào) Y的類標(biāo)簽矩陣，由hi中的非零值就表示了 yi所屬的類。
[0040] 有益效果:本發(fā)明提供的基于網(wǎng)格縱橫局部二值模式的=維人臉識(shí)別方法通過在 人臉表面的半剛性區(qū)域檢測(cè)關(guān)鍵點(diǎn)集并且提取周圍鄰域，分別計(jì)算鄰域的mesh-VLBP描述 符和mesh-HLBP描述符，并且對(duì)兩者進(jìn)行特征融合得到mesh-VHLBP描述符，利用LC-KSVD2字 典學(xué)習(xí)算法完成3D人臉識(shí)別實(shí)驗(yàn)。該方法有W下優(yōu)點(diǎn)：
[0041 ] 1.該算法不僅從網(wǎng)格縱向提取mesh-VLBP描述符，還從橫向提取mesh-HLBP描述 符，更加全面地描述了關(guān)鍵點(diǎn)鄰域的因?yàn)楸砬樽兓纫鸬目v向和橫向差異，對(duì)于兩者的 特征融合更是有效而且準(zhǔn)確地表示出局部形狀的整體變化，很大程度上改善了識(shí)別性能。
[0042] 2.本文所提出的關(guān)鍵點(diǎn)檢測(cè)方法基于半剛性區(qū)域，避開了受表情變化影響很大的 嘴部區(qū)域，因此本文所提方法對(duì)于表情變化也具有一定的魯棒性。
[0043] 3丄C-KSVD2字典學(xué)習(xí)分類算法可W忽略字典的大小而產(chǎn)生判別稀疏編碼系數(shù)X， 使字典對(duì)于數(shù)據(jù)不僅具有表示能力，也具有了判別分類的能力，有效地提高了實(shí)驗(yàn)的識(shí)別 率。
【附圖說明】
[0044] 圖1是本發(fā)明提供的基于網(wǎng)格縱橫局部二值模式的=維人臉識(shí)別方法的整體流程 圖；
[0045] 圖2是人臉均勻網(wǎng)格化后的圖；
[0046] 圖3是7條側(cè)面輪廓線圖；
[0047] 圖4是28個(gè)關(guān)鍵點(diǎn)；
[004引圖5是有序環(huán)提取過程圖；
[0049] 圖6是中屯、面片周圍縱向和橫向示意圖；
[0050] 圖7是有序環(huán)標(biāo)號(hào)示意圖。
【具體實(shí)施方式】
[0051 ]參考說明書附圖，下面對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)一步描述。
[0052] 本發(fā)明的基于網(wǎng)格縱橫局部二值模式的S維人臉識(shí)別方法，在Windows操作系統(tǒng) 中通過Matlab R2013a編程工具實(shí)現(xiàn)S維人臉識(shí)別流程。實(shí)驗(yàn)數(shù)據(jù)來自FRGC v2.OS維人臉 數(shù)據(jù)庫，該數(shù)據(jù)庫中包含用于測(cè)試的466個(gè)人的4007張人臉模型。圖1是本發(fā)明方法整體流 程圖，具體步驟如下：
[0053] 步驟1:從輸入的=維人臉點(diǎn)云中提取出感興趣的人臉區(qū)域，該區(qū)域?yàn)閃鼻尖為球 屯、，90mm為半徑的球所包含的人臉區(qū)域；
[0054] 步驟2:對(duì)由步驟1所提取的S維人臉點(diǎn)云進(jìn)行平滑去噪處理后，W鼻尖點(diǎn)為PCS的 坐標(biāo)原點(diǎn)，將其置于為姿態(tài)坐標(biāo)系(PCS)中。姿態(tài)坐標(biāo)系(PCS)的獲得方法:對(duì)S維人臉點(diǎn)云 采用主成分分析法(PCA)，將最大特征值對(duì)應(yīng)的特征向量作為Y軸，將最小特征值對(duì)應(yīng)的特 征向量作為Z軸，建立右手坐標(biāo)系，即為姿態(tài)坐標(biāo)系；
[0化5]步驟2.1:計(jì)算測(cè)試人臉點(diǎn)云質(zhì)
其中p'i表示點(diǎn)云中點(diǎn)的坐標(biāo)，n表 示點(diǎn)云中點(diǎn)的個(gè)數(shù)；
[0化6]步驟2.2:構(gòu)建協(xié)方差矩陣
；其中T表示的是矩陣的轉(zhuǎn) 置；
[0化7]步驟2.3:將協(xié)方差矩陣C正交對(duì)角化，得到=個(gè)特征值、及對(duì)應(yīng)的=個(gè)相 互正交的單位特征向量Vl, V2，V3 ;
[0化引步驟2.4: WO為原點(diǎn)，WVi為巧由，V3為巧由，建立右手坐標(biāo)系，在該坐標(biāo)系下人臉具 有相同的正面姿態(tài)，該坐標(biāo)系為姿態(tài)坐標(biāo)系PCS,并將平滑去噪處理后的S維人臉點(diǎn)云數(shù)據(jù) 都轉(zhuǎn)換到姿態(tài)坐標(biāo)系中，即口'1=(>2，￥1，￥3)(口':1-0);
[0化9]步驟2.5:將坐標(biāo)系平移，使得鼻尖點(diǎn)位于原點(diǎn)，點(diǎn)P" 1平移后記為
其中，g,i，gf，復(fù),3分別表示點(diǎn)gi坐標(biāo)的S個(gè)分量。
[0060] 步驟3:對(duì)由步驟2得到的=維人臉點(diǎn)云，根據(jù)坐標(biāo)信息，在人臉的半剛性區(qū)域提取 垂直方向的7條面部輪廓線并對(duì)面部輪廓線進(jìn)行重采樣，得到測(cè)試人臉的28個(gè)關(guān)鍵點(diǎn)；
[0061] 步驟3.1:半剛性區(qū)域側(cè)面輪廓線提取:在姿態(tài)坐標(biāo)系中，記位于XOZ平面上方的S 維人臉曲面為S，用鏡像匹配算法確定人臉的對(duì)稱面a,化0切割人臉曲面S，獲得半剛性區(qū) 域的中屯、側(cè)面輪廓線;然后，將平面a分別沿著X軸正、負(fù)方向Wl3mm的間隔平移，與人臉曲 面S相交就能夠得到另外6條側(cè)面輪廓線，從而獲得人臉半剛性區(qū)域的7條側(cè)面輪廓線；
[0062] 步驟3.2:面部輪廓線重采樣獲得關(guān)鍵點(diǎn)：W平面S與XOY平面相交的直線作為參考 曲線，保留從眉屯、點(diǎn)到鼻尖點(diǎn)那一段，并在運(yùn)一段上在每隔20mm采樣一個(gè)點(diǎn)，如此獲得4個(gè) 關(guān)鍵點(diǎn);在其余的6條側(cè)面輪廓線上按與中屯、側(cè)面輪廓線上的點(diǎn)相同的水平坐標(biāo)進(jìn)行采樣， 最終獲得28個(gè)關(guān)鍵點(diǎn)。
[0063] 步驟4:對(duì)人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，由步驟3獲得的28個(gè)關(guān)鍵點(diǎn)也對(duì)應(yīng)到網(wǎng)格上， 提取W關(guān)鍵點(diǎn)所在面片為中屯、面片的有序面片環(huán)，并且確定關(guān)鍵點(diǎn)周圍鄰域；
[0064] 步驟4.1:對(duì)人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，并且圍繞中屯、面片提取有序環(huán):給定一個(gè) 中屯、面片fc，其鄰接的S個(gè)面片按逆時(shí)針方向分別標(biāo)記為f〇Utl,f〇Ut2和f〇Ut3(記為化Ut面 片集）；在兩兩f OUti a = 1，2，3)面片之間用f gap面片(記為Fgap面片集)按相同的方向進(jìn)行 連接，要求fgap面片是前一個(gè)面片的鄰接面片且與中屯、面片f C只共享一個(gè)頂點(diǎn)；當(dāng)在 (fout3，f OUti)之間完成用Fgap面片集進(jìn)行連接后，就獲得第一個(gè)有序環(huán)。再獲取運(yùn)個(gè)有序 環(huán)中每個(gè)面片的鄰接面片，要求該面片與環(huán)中其他面片不重合，指向朝外，構(gòu)成新的化Ut面 片集，W上述相同的方式獲取第二個(gè)有序環(huán)。如此迭代下去，即可在中屯、面片周圍獲得r個(gè) 同屯、有序環(huán)。
[0065] 步驟4.2:實(shí)驗(yàn)中，r取為7,因此在關(guān)鍵點(diǎn)檢測(cè)完成后，其周圍鄰域取為該點(diǎn)所在中 屯、面片周圍的r個(gè)環(huán)構(gòu)成的區(qū)域。
[0066] 步驟5:計(jì)算由步驟4獲得的關(guān)鍵點(diǎn)鄰域的網(wǎng)格縱向局部二值模式（local binary pattern from ve;rtical on the mesh,mesh-VLBP)描述符和網(wǎng)格橫向局部二值模式 (local binary pattern from horizontal on the mesh,mesh-HLBP)描述符；并對(duì)運(yùn)兩者 進(jìn)行特征園蟲合獲得（Ioc曰I binary pattern from vertical and horizontal on the mesh ,mesh-VHLBP)描述符；
[0067] 步驟5. I:準(zhǔn)備工作:對(duì)于由中屯、面片和其周圍的有序環(huán)構(gòu)成的運(yùn)一整體來說，所 謂縱向（Vertical)比較指的是在相鄰環(huán)上對(duì)應(yīng)面片之間進(jìn)行比較，而橫向化orizontal)比 較則是指在同一環(huán)上的相鄰面片之間進(jìn)行比較。依據(jù)有序環(huán)第一個(gè)面片位置的相對(duì)不變性 的原則，按逆時(shí)針方向?qū)⒚凯h(huán)上用于計(jì)算的面片標(biāo)號(hào)關(guān)
，其不同環(huán) 上的相同位置編號(hào)的面片相互對(duì)應(yīng)。
[0068] 步驟5.2:計(jì)算關(guān)鍵點(diǎn)鄰域的mesh-VLBP描述符，其計(jì)算過程為:第1環(huán):將第一環(huán)上 的面片與中屯、面片比較;第2-7環(huán):從第二環(huán)開始，分別將該環(huán)上與前一環(huán)上標(biāo)號(hào)對(duì)應(yīng)的面 片進(jìn)行比較。用公式描述為：
[0069] (1)
[0070]
[0071] 其中標(biāo)量函數(shù)Mf)取為平均曲率H。該描述符計(jì)算結(jié)果記為Yi。
[0072] 步驟5.3:計(jì)算關(guān)鍵點(diǎn)鄰域的mesh-化BP描述符，其計(jì)算基于同一個(gè)環(huán)上相鄰面片 之間的平均曲率值的大小關(guān)系，則將其計(jì)算式定義為：
[007；3]
U)
[0074] 其中化+1) \ 12表示對(duì)12取余，乂;;.+W2就表示當(dāng)k = 11時(shí)，面片取為起始面片; 該描述符計(jì)算結(jié)果記為Y2;
[0075] 步驟5.4:上述兩種描述符分別從縱向和橫向描述人臉網(wǎng)格表面因表情變化等原 因造成的縱向和橫向差異，但一些大表情如驚訝、生氣等會(huì)使得人臉表面的肌肉同時(shí)發(fā)生 縱向和橫向變化，所W本文進(jìn)一步對(duì)mesh-VLBP描述符和mesh-化BP描述符進(jìn)行特征融合， 從而得到更加全面的描述符一一mesh-VHLBP描述符，其融合結(jié)果記為Y3。
[0076] 步驟6 :最后結(jié)合LC-KSVD2字典學(xué)習(xí)分類算法對(duì)人臉進(jìn)行分類實(shí)驗(yàn)，得出識(shí)別結(jié) 果；
[0077] 步驟6.1:采用"等價(jià)模式"對(duì)由步驟5計(jì)算而得的數(shù)據(jù)降維:本文，m=12，a化）= 2k 時(shí)，兩種描述符的值有4096種取值可能，造成二進(jìn)制模式過多。二維中，Ojala提出了 "等價(jià) 模式"化niform化ttern)用來對(duì)LBP算子的模式種類進(jìn)行降維。類似地，在S維中也存在 "等價(jià)模式"，是指那些〇、1之間跳變次數(shù)至多等于4的二進(jìn)制模式。據(jù)此將本文中的二進(jìn)制 模式由4096種降為1234種；
[007引步驟6.2:對(duì)步驟5計(jì)算而來的￥1，&和￥3采用使字典具有判別力的1(：-防￥02的字典 學(xué)習(xí)算法進(jìn)行分類，其中LC-KSVD2算法的目標(biāo)函數(shù)可表示為：
[0079]
(3)
[0080] 其中，Y= [yi... yN] G RDXW為輸入樣本，Y分別取為Yi，&和￥3;輸入樣本在冗余字典 D=[dl...dK]GRnX嚇的稀疏表示集記為X=[Xl...XN]GRKXN
與重構(gòu)誤差;Q = Ui... QN] G RKXW是輸入信號(hào)Y的判別稀疏編碼，用來提供分類信息，qi中的非零值出現(xiàn)在輸 入信號(hào)yi和字典原子dk標(biāo)簽相同的位置;W表示分類器參數(shù)，H=比1...hN] G Rmxw是輸入信號(hào) Y的類標(biāo)簽矩陣，由hi中的非零值就表示了 yi所屬的類。
[0081] W上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可W做出若干改進(jìn)和潤(rùn)飾，運(yùn)些改進(jìn)和潤(rùn)飾也應(yīng) 視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于:包括以下步驟： 步驟1:從輸入的三維人臉點(diǎn)云中提取出感興趣的人臉區(qū)域，該區(qū)域?yàn)橐员羌鉃榍蛐模? 90_為半徑的球所包含的人臉區(qū)域； 步驟2:對(duì)由步驟1所提取的三維人臉點(diǎn)云進(jìn)行平滑去噪處理后，以鼻尖點(diǎn)為姿態(tài)坐標(biāo) 系的坐標(biāo)原點(diǎn)，將其置于姿態(tài)坐標(biāo)系中；所述姿態(tài)坐標(biāo)系的獲得方法為:對(duì)三維人臉點(diǎn)云采 用主成分分析法，將最大特征值對(duì)應(yīng)的特征向量作為Y軸，將最小特征值對(duì)應(yīng)的特征向量作 為Z軸，建立右手坐標(biāo)系，即為姿態(tài)坐標(biāo)系； 步驟3:對(duì)由步驟2得到的三維人臉點(diǎn)云，根據(jù)坐標(biāo)信息，在人臉的半剛性區(qū)域提取垂直 方向的7條面部輪廓線并對(duì)面部輪廓線進(jìn)行重采樣，得到測(cè)試人臉的28個(gè)關(guān)鍵點(diǎn)； 步驟4:對(duì)三維人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，由步驟3獲得的28個(gè)關(guān)鍵點(diǎn)也對(duì)應(yīng)到網(wǎng)格上， 提取以關(guān)鍵點(diǎn)所在面片為中心面片的有序面片環(huán)，并且確定關(guān)鍵點(diǎn)周圍鄰域； 步驟5:計(jì)算由步驟4獲得的關(guān)鍵點(diǎn)鄰域的網(wǎng)格縱向局部二值模式描述符和網(wǎng)格橫向局 部二值模式描述符;并對(duì)這兩者進(jìn)行特征融合獲得網(wǎng)格縱橫局部二值模式描述符； 步驟6:最后結(jié)合LC-KSVD2字典學(xué)習(xí)分類算法對(duì)人臉進(jìn)行分類實(shí)驗(yàn)，得出識(shí)別結(jié)果。2. 如權(quán)利要求1所述的基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于： 所述步驟2的具體步驟為： 步驟2.1:計(jì)算測(cè)試人臉點(diǎn)云質(zhì)；，'其中P7 i表示點(diǎn)云中點(diǎn)的坐標(biāo)，η表示點(diǎn) 云中點(diǎn)的個(gè)數(shù)； 步驟2.2:構(gòu)建協(xié)方差矩￥其中T表示的是矩陣的轉(zhuǎn)置； 步驟2.3:將協(xié)方差矩陣C正交對(duì)角化，得到三個(gè)特征值及對(duì)應(yīng)的三個(gè)相互正 交的單位特征向量Vl，V2，V3 ;步驟2.4:以O(shè)為原點(diǎn)，以Vi為Y軸，V3為Z軸，建立右手坐標(biāo)系，在該坐標(biāo)系下人臉具有相 同的正面姿態(tài)，該坐標(biāo)系為姿態(tài)坐標(biāo)系PCS，并將平滑去噪處理后的三維人臉點(diǎn)云數(shù)據(jù)都轉(zhuǎn) 換到姿態(tài)坐標(biāo)系中，即P7 i= i-Ο); 步驟2.5:將坐標(biāo)系平移，使得鼻尖點(diǎn)位于原點(diǎn)，點(diǎn)p〃 i平移后記為 ，其 中，&1，，忌,3分別表不點(diǎn)取坐標(biāo)的三個(gè)分量。3. 如權(quán)利要求1所述的基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于： 所述步驟3的具體步驟為： 步驟3.1:半剛性區(qū)域側(cè)面輪廓線提取:在姿態(tài)坐標(biāo)系中，記位于XOZ平面上方的三維人 臉曲面為S，用鏡像匹配算法確定人臉的對(duì)稱面為，以3切割人臉曲面S，獲得半剛性區(qū)域的 中心側(cè)面輪廓線;然后，將平面d分別沿著X軸正、負(fù)方向以13mm的間隔平移，與人臉曲面S 相交就能夠得到另外6條側(cè)面輪廓線，從而獲得人臉半剛性區(qū)域的7條側(cè)面輪廓線； 步驟3.2:面部輪廓線重采樣獲得關(guān)鍵點(diǎn)：以平面乃與XOY平面相交的直線作為參考曲 線，保留從眉心點(diǎn)到鼻尖點(diǎn)那一段，并在這一段上在每隔20mm采樣一個(gè)點(diǎn)，如此獲得4個(gè)關(guān) 鍵點(diǎn);在其余的6條側(cè)面輪廓線上按與中心側(cè)面輪廓線上的點(diǎn)相同的水平坐標(biāo)進(jìn)行采樣，最 終獲得28個(gè)關(guān)鍵點(diǎn)。4. 如權(quán)利要求1所述的基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于： 所述步驟4的具體步驟為： 步驟4.1:對(duì)人臉點(diǎn)云進(jìn)行均勻網(wǎng)格化，并且圍繞中心面片提取有序環(huán):給定一個(gè)中心 面片fc，其鄰接的三個(gè)面片按逆時(shí)針方向分別標(biāo)記為f〇Utl，f〇Ut2和fout3,記為Fout面片 集;在兩兩Rut 1U = I，2,3)面片之間用fgap面片，記為Fgap面片集，按相同的方向進(jìn)行連 接，要求fgap面片是前一個(gè)面片的鄰接面片且與中心面片f c只共享一個(gè)頂點(diǎn)；當(dāng)在(fout3， font)之間完成用Fgap面片集進(jìn)行連接后，就獲得第一個(gè)有序環(huán);再獲取這個(gè)有序環(huán)中每 個(gè)面片的鄰接面片，要求該面片與環(huán)中其他面片不重合，指向朝外，構(gòu)成新的Fout面片集， 以上述相同的方式獲取第二個(gè)有序環(huán);如此迭代下去，即能夠在中心面片周圍獲得r個(gè)同心 有序環(huán)； 步驟4.2:在關(guān)鍵點(diǎn)檢測(cè)完成后，其周圍鄰域取為該點(diǎn)所在中心面片周圍的r個(gè)環(huán)構(gòu)成 的區(qū)域。5. 如權(quán)利要求1所述的基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于： 所述步驟5的具體步驟為： 步驟5.1:準(zhǔn)備工作：依據(jù)有序K笛一個(gè)而片彳fr W的相對(duì)不變性的原則，按逆時(shí)針方向 將每環(huán)上用于計(jì)算的面片標(biāo)號(hào)，，其不同環(huán)上的相同位置編號(hào)的面 片相互對(duì)應(yīng)； 步驟5.2:計(jì)算關(guān)鍵點(diǎn)鄰域的網(wǎng)格縱向局部二值模式描述符，其計(jì)算過程為:第1環(huán):將 第一環(huán)上的面片與中心面片比較;從第二環(huán)開始，分別將該環(huán)上與前一環(huán)上標(biāo)號(hào)對(duì)應(yīng)的面 片進(jìn)行比較;用公式描述為：其中標(biāo)量函數(shù)h(f)取為平均曲率H;該描述符計(jì)算結(jié)果記為Y1; 步驟5.3:計(jì)算關(guān)鍵點(diǎn)鄰域的網(wǎng)格橫向局部二值模式描述符，其計(jì)算基于同一個(gè)環(huán)上相 鄰面片之間的平均曲率值的大小關(guān)系，則將其計(jì)算式定義為：其中（k+l)\12表示對(duì)12取余，/(^1)U2就表示當(dāng)k=ll時(shí)，面片取為起始面片該描述 符計(jì)算結(jié)果記為Y2 ; 步驟5.4:對(duì)網(wǎng)格縱向局部二值模式描述符和網(wǎng)格橫向局部二值模式描述符進(jìn)行特征 融合，從而得到更加全面的描述符一一網(wǎng)格縱橫局部二值模式描述符，其融合結(jié)果記為γ3。6.如權(quán)利要求1所述的基于網(wǎng)格縱橫局部二值模式的三維人臉識(shí)別方法，其特征在于： 所述步驟6的具體步驟為： 步驟6.1:采用"等價(jià)模式"對(duì)由步驟5計(jì)算而得的數(shù)據(jù)降維； 步驟6.2:對(duì)步驟5計(jì)算而來的Y1,Y2和Y3采用使字典具有判別力的LC-KSVD2的字典學(xué)習(xí) 算法進(jìn)行分類，其中LC-KSVD2算法的目標(biāo)函數(shù)表示為：其中，Y= [yi... yN] e RnXN為輸入樣本，Y分別取為Yi，Y2和Y3;輸入樣本在冗余字典D = [cU.. .dK]eRnXK下的稀疏表示集記為％重構(gòu)誤差；Q =[qi... qN] e Rkxn是輸入信號(hào)Y的判別稀疏編碼，用來提供分類信息，qi中的非零值出現(xiàn)在 輸入信號(hào)7:和字典原子dk標(biāo)簽相同的位置;W表示分類器參數(shù)，H=Lh1..輸入信 號(hào)Y的類標(biāo)簽矩陣，由Iu中的非零值就表示了 yi所屬的類。
【文檔編號(hào)】G06K9/00GK106022228SQ201610309718
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月11日
【發(fā)明人】達(dá)飛鵬, 湯蘭蘭, 郭夢(mèng)麗, 鄧星, 劉俊權(quán), 呂士文
【申請(qǐng)人】東南大學(xué)