本發(fā)明涉及一種人臉識(shí)別技術(shù),尤其是一種可提高識(shí)別精確率的基于三元組誘導(dǎo)的同時(shí)選擇特征及聚類的人臉識(shí)別方法。
背景技術(shù):
目前,人臉識(shí)別技術(shù)已在視頻監(jiān)控、證件驗(yàn)證、刑偵破案等社會(huì)生活的諸多方面發(fā)揮著巨大作用。常規(guī)的人臉識(shí)別技術(shù)有特征提取、模型訓(xùn)練及聚類三步驟,其中的模型訓(xùn)練過程是同時(shí)選擇特征及聚類建立模型的訓(xùn)練。
特征選擇根據(jù)標(biāo)簽是否給出一般分為兩個(gè)主要類別:監(jiān)督型和非監(jiān)督型。監(jiān)督特征選擇的目的在于選擇判決特征(因?yàn)橐呀?jīng)提供了數(shù)據(jù)的類別標(biāo)簽,這些標(biāo)簽都包含必要的判決信息),然而要想獲得標(biāo)簽信息卻費(fèi)時(shí)費(fèi)力,這就使得許多基于特征選擇的任務(wù)更具有挑戰(zhàn)性。非監(jiān)督特征選擇方法得益于在數(shù)據(jù)中預(yù)先定義好的或潛在的幾何結(jié)構(gòu),然而對(duì)于很多非監(jiān)督特征選擇方法,不能保持在每個(gè)數(shù)據(jù)點(diǎn)的鄰域中含有的拓?fù)湫畔ⅲㄅ判蚓植啃?,也就是近鄰的相?duì)遠(yuǎn)近程度),只是簡(jiǎn)單地將距離作為相似性度量來確定每個(gè)數(shù)據(jù)點(diǎn)的近鄰,所以在特征選擇之后,一個(gè)數(shù)據(jù)點(diǎn)的某些近鄰可能會(huì)擁有完全相同的距離排序,甚至是與特征選擇之前相反的距離排序,這種情況會(huì)對(duì)基于距離的聚類結(jié)果產(chǎn)生不利影響,影響分類的準(zhǔn)確率。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明是為了解決現(xiàn)有技術(shù)所存在的上述技術(shù)問題,提供一種可提高識(shí)別精確率的基于三元組誘導(dǎo)的同時(shí)選擇特征及聚類的人臉識(shí)別方法。
本發(fā)明的技術(shù)解決方案是:一種基于三元組誘導(dǎo)的同時(shí)選擇特征及聚類的人臉識(shí)別方法,包括特征提取、模型訓(xùn)練及聚類,其特征在于所述特征提取及模型訓(xùn)練按照如下步驟進(jìn)行:
步驟S1:對(duì)獲取的n個(gè)樣本進(jìn)行預(yù)處理,得到中心的像素部分,用隨機(jī)矩陣對(duì)樣本進(jìn)行映射,使每個(gè)樣本均得到一個(gè)對(duì)應(yīng)的隨機(jī)人臉特征列向量,即n個(gè)樣本的原始數(shù)據(jù)矩陣;
步驟S2:基于三元組誘導(dǎo)的求解模型為:
(1)
式(1)中:
是含有n個(gè)樣本的原始數(shù)據(jù)矩陣;
是特征選擇矩陣;
是標(biāo)量常數(shù),取值范圍;
和是由目標(biāo)矩陣分解得到的兩個(gè)新矩陣,即潛在的正交基矩陣和偽標(biāo)簽矩陣,所述,;
所述,D是對(duì)角矩陣,第個(gè)對(duì)角元素等于;
是一個(gè)權(quán)重矩陣,其位置的元素為
;
是一個(gè)下標(biāo)集合,對(duì)應(yīng)于的k個(gè)最近鄰的序號(hào),k為每個(gè)樣本近鄰的數(shù)目,是一個(gè)反對(duì)稱矩陣,在位置的元素等于;
步驟S3,基于半二次理論,由式(1)得到需要進(jìn)行交替最小化的增廣函數(shù):
(2)
式中P為存儲(chǔ)輔助變量的階對(duì)角矩陣,t為第t次迭代;
交替最小化優(yōu)化求解目標(biāo)函數(shù):
a. 保持不變,更新,令關(guān)于U的一階偏導(dǎo)為零,得到零梯度條件,利用正交半非負(fù)矩陣分解得到;
b. 保持不變,更新W,在的表達(dá)式中,用替代U,然后求解:,利用特征值分解得到W;
交替執(zhí)行上述a、b,直到算法收斂。
本發(fā)明借鑒多種非監(jiān)督特征選擇方法在過濾無標(biāo)記數(shù)據(jù)的非重要特征的有效性,很好地保持了數(shù)據(jù)點(diǎn)的排序局部性,將人臉特征信息置于一個(gè)同時(shí)進(jìn)行特征選擇和聚類的框架下學(xué)習(xí),更加有利于后續(xù)基于距離的聚類任務(wù),可以在非監(jiān)督的情況下選出更有判決力的特征,從而獲得最佳識(shí)別效果,提高了人臉識(shí)別的準(zhǔn)確率。
附圖說明
圖1是本發(fā)明實(shí)施例的流程圖;
圖2是本發(fā)明實(shí)施例ORL人臉數(shù)據(jù)庫(kù)中的人臉圖像舉例。
具體實(shí)施方式
本發(fā)明的流程如圖1所示:與現(xiàn)有的人臉識(shí)別方法相同,有三個(gè)處理環(huán)節(jié),分別是特征提取、模型訓(xùn)練及聚類。與現(xiàn)有技術(shù)所不同的是本發(fā)明的樣本特征提取及模型訓(xùn)練按如下步驟進(jìn)行:
步驟S1:對(duì)獲取的n個(gè)樣本進(jìn)行預(yù)處理,得到中心的像素部分,用隨機(jī)矩陣對(duì)樣本進(jìn)行映射,使每個(gè)樣本均得到一個(gè)對(duì)應(yīng)的隨機(jī)人臉特征列向量,即n個(gè)樣本的原始數(shù)據(jù)矩陣;
步驟S2:構(gòu)造一個(gè)由三元組誘導(dǎo)的圖,基于三元組誘導(dǎo)的求解模型為:
(1)
式(1)中:
是含有n個(gè)樣本的原始數(shù)據(jù)矩陣;
是投影矩陣,即特征選擇矩陣;
是標(biāo)量常數(shù),取值范圍;
和是由目標(biāo)矩陣分解得到的兩個(gè)新矩陣,即潛在的正交基矩陣和偽標(biāo)簽矩陣,所述,;
所述,D是對(duì)角矩陣,第個(gè)對(duì)角元素等于;
是一個(gè)權(quán)重矩陣,其位置的元素為
;
是一個(gè)下標(biāo)集合,對(duì)應(yīng)于的k個(gè)最近鄰的序號(hào),k為每個(gè)樣本近鄰的數(shù)目,是一個(gè)反對(duì)稱矩陣,在位置的元素等于;
上述分類模型增加了對(duì)W的正交約束,抑制了選擇出的任意兩個(gè)維度的特征的相似性,正交約束也避免了任意的尺度縮放和全零的平凡解,這使得公式(1)可以選擇出更有判決力的特征。
第一部分是基本的特征選擇算法模型:
第二部分是保持排序局部性的損失函數(shù)。排序局部性(近鄰的相對(duì)遠(yuǎn)近程度)描述了數(shù)據(jù)的局部結(jié)構(gòu),除了數(shù)據(jù)點(diǎn)的近鄰關(guān)系以外,它還強(qiáng)調(diào)了每個(gè)數(shù)據(jù)點(diǎn)的近鄰的遠(yuǎn)近排序。對(duì)任意數(shù)據(jù)集,用表示選擇的特征組,則給出一個(gè)由以及它的近鄰和組成的三元組,其對(duì)應(yīng)的選擇出來的特征組也構(gòu)成了一個(gè)三元組。設(shè)是距離度量,當(dāng)以下條件成立時(shí),一個(gè)特征選擇過程就是排序局部性得到保持的:如果,則。
基于此,為每個(gè)數(shù)據(jù)點(diǎn)確定恰當(dāng)?shù)奶卣鹘M等價(jià)于優(yōu)化下面的保持排序局部性的損失函數(shù)如下:
設(shè)是一個(gè)權(quán)重矩陣,其位置的元素為
用歐式距離表示每個(gè)成對(duì)距離,上述保持排序局部性的損失函數(shù)可以寫成的形式,其等價(jià)的矩陣表示形式即。
本發(fā)明提出的計(jì)算權(quán)重矩陣的方法是基于三元組的,能同時(shí)保持近鄰關(guān)系和排序信息。計(jì)算權(quán)重矩陣C后并計(jì)算其對(duì)應(yīng)的拉普拉斯矩陣L,其中,D是對(duì)角矩陣,第i個(gè)對(duì)角元素等于。
第三部分是從本分類模型推導(dǎo)出的同時(shí)進(jìn)行特征選擇和聚類的一般化框架。一方面,它可以與在映射后的數(shù)據(jù)上進(jìn)行K均值聚類有極大的聯(lián)系;另一方面,它可以與各種基于圖的學(xué)習(xí)方法結(jié)合起來。采用基于相似性和最大間隔的圖:
當(dāng)= 0 時(shí),模型(1)等價(jià)于同時(shí)進(jìn)行特征選擇和K均值聚類;
當(dāng)時(shí),
或者在每個(gè)數(shù)據(jù)點(diǎn)近鄰空間中用其它權(quán)重形式計(jì)算時(shí),就構(gòu)造了一個(gè)基于相似性的圖,利用這種針對(duì)每對(duì)樣本的二元組關(guān)系,數(shù)據(jù)的相似性可以被保持下來;
當(dāng)時(shí),就構(gòu)造了一個(gè)基于最大間隔的圖,利用這種針對(duì)每對(duì)樣本的二元組關(guān)系,全局關(guān)系得到了保持,最大限度地提高數(shù)據(jù)整體的可分性,而且能同時(shí)保持最小的類內(nèi)離散度。
本分類模型構(gòu)造了一個(gè)由三元組誘導(dǎo)的圖,利用這種針對(duì)每個(gè)樣本的局部鄰域的三元組關(guān)系,保持了排序局部性。
步驟S3,基于半二次理論,由式(1)得到需要進(jìn)行交替最小化的增廣函數(shù):
(2)
式中P為存儲(chǔ)輔助變量的階對(duì)角矩陣,t為第t次迭代;
交替最小化優(yōu)化求解目標(biāo)函數(shù):
a.保持不變,更新,令關(guān)于U的一階偏導(dǎo)為零,得到零梯度條件,利用正交半非負(fù)矩陣分解得到;
b. 保持不變,更新W,在的表達(dá)式中,用替代U,然后求解:,利用特征值分解得到W;
交替執(zhí)行上述a、b,直到算法收斂(達(dá)到最大迭代次數(shù))。
基于半二次理論,由式(1)得到需要進(jìn)行交替最小化的增廣函數(shù)的具體步驟如下:
初始化W(選擇階單位陣的個(gè)不同的列作為,設(shè)置t=0),利用半二次技術(shù),使用交替搜索策略,可以通過交替最小化增廣函數(shù)來優(yōu)化目標(biāo)函數(shù)。
對(duì)于固定的存在一個(gè)共軛函數(shù)滿足,其中是極小化函數(shù)確定的輔助變量,則式中P是一個(gè)存儲(chǔ)輔助變量的階對(duì)角矩陣,是共軛函數(shù)。按如下方式交替最小化增廣函數(shù):
其中t代表第t次迭代,
。
交替最小化優(yōu)化求解目標(biāo)函數(shù)具體步驟如下:
S31,對(duì)于訓(xùn)練集中的人臉特征,保持W不變,更新,而正交半非負(fù)矩陣分解問題等價(jià)于K均值聚類,使用正交半非負(fù)矩陣分解的方法更新,令關(guān)于U的一階偏導(dǎo)為零,得到零梯度條件;
S32,保持不變,更新W,在的表達(dá)式中,用替代U,然后求解
通過對(duì)進(jìn)行特征值分解可得到上式的解,最優(yōu)的W由個(gè)最小特征值對(duì)應(yīng)的個(gè)特征向量組成。
為了詳細(xì)說明本發(fā)明具體實(shí)施方式及驗(yàn)證本發(fā)明的有效性,將本發(fā)明提出的方法應(yīng)用于一個(gè)公開的人臉圖像庫(kù),即ORL數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含40個(gè)人的400張黑白圖像。這些圖像中的人臉姿態(tài),光照,遮擋度各異,充分模擬了實(shí)際環(huán)境。圖2展示了本實(shí)驗(yàn)所使用的圖像,采用由20個(gè)男人20個(gè)女人的400張圖片構(gòu)成的數(shù)據(jù)子集。每張人臉圖像經(jīng)過預(yù)處理后大小為35×35,使用隨機(jī)矩陣映射得到1024維列向量作為訓(xùn)練和測(cè)試的輸入特征。
首先將所有樣本數(shù)據(jù)輸入本發(fā)明實(shí)施例的聚類模型函數(shù)進(jìn)行訓(xùn)練,其中每個(gè)樣本的近鄰參數(shù)k設(shè)為5,訓(xùn)練完成后得到同時(shí)進(jìn)行特征選擇和聚類的結(jié)果:特征選擇矩陣W和聚類偽標(biāo)簽矩陣V;然后進(jìn)行K均值聚類,輸出人臉識(shí)別結(jié)果。
下表展示了本發(fā)明實(shí)驗(yàn)例在精確度(ACC)、歸一化互信息(NMI)2個(gè)指標(biāo)上和其他方法的對(duì)比,其中LapScore來自于He, X.; Cai, D.; and Niyogi, P.的文章《特征選擇中的拉普拉斯評(píng)分方法》,MCFS來自于Cai, D.; Zhang, C.; and He, X.的文章《多類簇非監(jiān)督特征選擇方法》,UDFS來自于Yang, Y.; Shen, H.; Ma, Z.; Huang, Z.; and Zhou, X.的文章《非監(jiān)督學(xué)習(xí)判決特征選擇》,NDFS來自于Li, Z.; Yang, Y.; Liu, J.; Zhou, X.; and Lu, H.的文章《非負(fù)判決非監(jiān)督特征選擇》,RUFS來自于Qian, M., and Zhai, C.的文章《魯棒非監(jiān)督特征選擇》,SOCFS來自于Han, D. and Kim, J.的文章《同時(shí)正交基聚類與非監(jiān)督特征選擇》。
結(jié)果表明:與現(xiàn)有技術(shù)相比,本發(fā)明在人臉識(shí)別的精確度和歸一化互信息上有明顯的提高。