基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法
【專利摘要】本發(fā)明公布了一種基于多局部相關(guān)特征學(xué)習(xí)的雙視角人臉識(shí)別方法，主要在相關(guān)特征學(xué)習(xí)中使用多種局部信息來(lái)更好地掌握數(shù)據(jù)間真實(shí)的非線性結(jié)構(gòu)，從而提高人臉識(shí)別的準(zhǔn)確性。其實(shí)現(xiàn)過(guò)程為：確定每個(gè)訓(xùn)練樣本的多種局部塊；構(gòu)建一個(gè)相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu)化框架，然后交替迭代求解相關(guān)投影方向和多局部融合系數(shù)；最后對(duì)訓(xùn)練和測(cè)試樣本進(jìn)行特征提取和特征融合，并使用最近鄰分類器進(jìn)行識(shí)別。與現(xiàn)有技術(shù)相比，本發(fā)明提出的人臉識(shí)別方法更具有效性和魯棒性。
【專利說(shuō)明】
基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及模式識(shí)別和圖像處理等領(lǐng)域，具體涉及到一種基于多局部相關(guān)特征學(xué) 習(xí)的雙視角人臉識(shí)別方法。
【背景技術(shù)】
[0002] 人臉識(shí)別是一種生物特征識(shí)別，具有非接觸式采集、可隱蔽性采集、遠(yuǎn)程傳輸、快 速跟蹤以及網(wǎng)絡(luò)監(jiān)控等特點(diǎn)，比指紋識(shí)別、虹膜識(shí)別和基因識(shí)別等其他生物特征識(shí)別更具 優(yōu)勢(shì)。人臉識(shí)別具有廣泛的應(yīng)用價(jià)值，它可以應(yīng)用于海關(guān)監(jiān)控、罪犯追蹤、檔案管理、客戶身 份鑒別、人機(jī)交互系統(tǒng)認(rèn)證、崗位檢查、多媒體數(shù)據(jù)檢索、信息安全、機(jī)器視覺(jué)、虛擬現(xiàn)實(shí)技 術(shù)等等，具有顯著的經(jīng)濟(jì)價(jià)值和社會(huì)效益。
[0003] 人臉有豐富的表情，并且容易受光照、角度、遮擋等因素的影響，因此人臉識(shí)別是 一個(gè)非常艱巨的任務(wù)，它涉及到模式識(shí)別、人工智能、圖象處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域。盡管如 此，仍然有很多學(xué)者在不斷地研究它，并且每年都有大量與人臉識(shí)別相關(guān)的研究成果在各 類期刊雜志和學(xué)術(shù)會(huì)議中發(fā)表，同時(shí)也涌現(xiàn)出了很多新的方法和技術(shù)，比如主成分分析 (PCA)、線性鑒別分析(LDA)、局部保持投影(LPP)，近鄰保持投影(NPP)，以及他們的相關(guān)方 法。但是這些方法都屬于單視角方法，對(duì)人臉圖像的采集的要求比較高，對(duì)光照、角度等因 素比較敏感，所以基于這些方法還是難于很好地應(yīng)用于實(shí)際生活中的人臉識(shí)別。為了解決 這個(gè)問(wèn)題，很多學(xué)者考慮使用多個(gè)視角同時(shí)觀察一個(gè)目標(biāo)，來(lái)自各個(gè)視角的信息可以相互 補(bǔ)充，這樣可以更好地進(jìn)行目標(biāo)識(shí)別。其中典型相關(guān)分析(CCA)就可以在最大相關(guān)準(zhǔn)則下從 兩個(gè)視角數(shù)據(jù)中提取相關(guān)特征，因此它可以用于兩視角的人臉識(shí)別。
[0004] CCA早在1936年就被H.Hotelling提出，主要研究的是兩個(gè)隨機(jī)變量間的線性相關(guān) 性。在2005年，Sun等人首次將CCA應(yīng)用于模式識(shí)別領(lǐng)域，使用CCA從兩組高維數(shù)據(jù)中學(xué)習(xí)低 維的相關(guān)特征，然后在給定的特征融合策略下形成有效的鑒別矢量集，并在人臉與字符識(shí) 別中驗(yàn)證了方法的可行性。但是CCA屬于線性無(wú)監(jiān)督的子空間學(xué)習(xí)方法，因此難于適用于實(shí) 際采集的非線性高維數(shù)據(jù)，這在很大程度上限制了 CCA在實(shí)際應(yīng)用中的推廣。為了更好地掌 握數(shù)據(jù)的非線性結(jié)構(gòu)，局部保持CCA(LPCCA)方法已經(jīng)被提出，該方法在相關(guān)分析框架中引 入了高維未處理數(shù)據(jù)的局部近鄰關(guān)系，在相關(guān)特征的學(xué)習(xí)過(guò)程中盡量保持?jǐn)?shù)據(jù)間的局部信 息，并在姿態(tài)估計(jì)中驗(yàn)證了該方法的優(yōu)越性。最近，Wang等人借助正則化技術(shù)提出了另外一 種LPCCA (ALPCCA)方法，該算法在最大化所有樣本相關(guān)性的同時(shí)也最大化了局部樣本間的 相關(guān)性。為了進(jìn)一步增強(qiáng)相關(guān)特征的鑒別力，局部鑒別CCA(LDCCA)方法將樣本的類信息引 入了 LPCCA方法，通過(guò)最大化類內(nèi)近鄰樣本的相關(guān)性和最小化類間近鄰樣本的相關(guān)性，來(lái)盡 可能地保持樣本間的監(jiān)督局部信息。但是，這些基于局部近鄰信息的CCA方法，全部都是僅 僅考慮了樣本的一種近鄰關(guān)系。在人臉識(shí)別這一實(shí)際應(yīng)用中，實(shí)際采集的人臉數(shù)據(jù)往往具 有復(fù)雜的非線性結(jié)構(gòu)，僅僅依靠一種近鄰關(guān)系是難于反映出數(shù)據(jù)間真實(shí)的非線性結(jié)構(gòu)，進(jìn) 而影響人臉識(shí)別的準(zhǔn)確度。針對(duì)這一問(wèn)題，本發(fā)明提出了一種基于多局部相關(guān)特征學(xué)習(xí)的 兩視角人臉識(shí)別方法，該方法在人臉識(shí)別中更具有效性和魯棒性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)上述問(wèn)題提出了一種基于多局部相關(guān)特征學(xué)習(xí)的兩視角 人臉識(shí)別方法，并通過(guò)多種局部近鄰信息來(lái)更好地掌握數(shù)據(jù)間的非線性結(jié)構(gòu)，從而提高了 人臉識(shí)別在實(shí)際應(yīng)用中的準(zhǔn)確性和魯棒性。本發(fā)明的關(guān)鍵技術(shù)是使用每個(gè)樣本的多種局部 塊來(lái)更好得掌握數(shù)據(jù)間的非線性結(jié)構(gòu)，并提出了一個(gè)相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu) 化框架和求解方法。本發(fā)明的具體實(shí)現(xiàn)步驟如下：
[0006] 1、將兩個(gè)視角的每幅圖像都轉(zhuǎn)化為列向量，以形成訓(xùn)練樣本矩陣X和Y。
[0007] 同一目標(biāo)可以從兩個(gè)視角獲得不同的圖像信息，這兩種圖像信息可以從不同的角 度去更全面地描述同一個(gè)目標(biāo)，所以基于兩視角的人臉識(shí)別比單視角的人臉識(shí)別更具優(yōu) 勢(shì)。首先，從兩個(gè)視角獲得的所有圖像被轉(zhuǎn)化為灰度圖像，然后再把每幅圖像的數(shù)據(jù)轉(zhuǎn)化為 一個(gè)列向量，以便組成兩個(gè)訓(xùn)練樣本矩陣XztXhXh . ? .，XN]eRpXN和Y=[yi，y2, . . .，yN]e RqXN，其中P和q是樣本維數(shù)，N是樣本個(gè)數(shù)。矩陣X中的所有樣本都來(lái)自于同一個(gè)視角，矩陣Y 中的所有樣本都來(lái)自于另一個(gè)視角，而且& 1，71}(1 = 1，2，...，《對(duì)應(yīng)同一個(gè)目標(biāo)。
[0008] 2、構(gòu)建相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu)化框架。
[0009] 構(gòu)建相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一框架的具體過(guò)程如下：
[0010] (2a)兩視角相關(guān)特征學(xué)習(xí)的等價(jià)優(yōu)化問(wèn)題。
[0011] 兩視角相關(guān)特征學(xué)習(xí)的優(yōu)化問(wèn)題為： max tr(UTSryV)
[0012] uy S. t. UTSXXU = 1，VTSyyV = 1
[0013] 其中 Sw =士_ 幻(yr 刃Vsw = 辦-勻(x; -^ = 0f=1(yr ^ 另外和 y = 分別為 X和 Y 的樣本均值，u=[Ul，u2，...，ud]eRPxqpv=[ vl， V2，...，vd]eRqxd分別是x和Y的相關(guān)投影方向，Tr( ?)定義的是跡操作。
[0014] 對(duì)于X中任意一個(gè)樣本Xi，它的全局塊if可以由該樣本和它所有的近鄰樣本共同 組成，即其中~@ = 1,2,...,#-1)為私的第8個(gè)最近鄰樣本?；谌?塊，X和Y的協(xié)方差矩陣S xy可以等價(jià)的寫(xiě)為：
[0016]因此，兩視角相關(guān)特征學(xué)習(xí)的優(yōu)化問(wèn)題可以等價(jià)的轉(zhuǎn)化為下面的優(yōu)化問(wèn)題： / /\-i.N- v~\N-1 ^-i/V - 1, . T\ \
[0017] (I'如―凡.） S.t. UTSXXU=I, VTSyyV = l
[0018]注意，常數(shù)Jr是否存在不會(huì)改變上述優(yōu)化問(wèn)題的解，所以上述優(yōu)化問(wèn)題將該常數(shù) 省略。
[0019] (2b)構(gòu)建每個(gè)樣本的多種局部塊。
[0020] 局部塊由一個(gè)樣本和該樣本的前K個(gè)最近鄰樣本組成，如在樣本矩陣X中任意一個(gè) 樣本Xi的局部塊可以表示為％=[私氣，氣，…c- 其中^^為以的第g個(gè)最近鄰樣 本。在人臉識(shí)別中樣本間的關(guān)系往往是非常復(fù)雜的，僅僅使用一種近鄰關(guān)系難于準(zhǔn)確揭示 樣本間的非線性結(jié)構(gòu)信息，為此，根據(jù)多種距離測(cè)度計(jì)算出多種近鄰關(guān)系，進(jìn)而可以為一個(gè) 樣本構(gòu)建多種局部塊，然后使用多種局部塊共同去描述樣本間的非線性關(guān)系。使用線性聚 集策略，原來(lái)的局部塊X i由為:=心+ w2(x)和+…+ 來(lái)更好地描述，其中 %=^，，,~％卜狀>^+1)是11的第」種局部塊，，是_沖的第8個(gè)最近鄰樣本』是每 個(gè)樣本的局部塊個(gè)數(shù)，w/4 (w/x) 20)是心的融合系數(shù)。同樣樣本yi的局部塊也可以由 F產(chǎn)wprfi: + W2(y)~十…+你么％…來(lái)描述，其中％ = [y;,ypyi卜,:為|] e捫
[0021] (2c)將多局部信息自然地融入相關(guān)特征特征學(xué)習(xí)的優(yōu)化目標(biāo)
[0022] 將(2a)中的全局塊轉(zhuǎn)換成局部塊，局部信息被自然地引入了相關(guān)特征學(xué)習(xí)的優(yōu)化 目標(biāo)中，即：
[0023] ar9 max tr (E-L! SjL, , (i： - x；.) (y, - y： j' j ^iSi
[0024] 其中，戈;=[右,心,右2，…,％]和R =[九l凡，…，夕ij另外，右=#4和％ 打.r；%.是Xi 和％的相關(guān)特征，同樣為和.也表示相關(guān)特征。通過(guò)一些簡(jiǎn)單的代數(shù)操作，上述優(yōu)化目標(biāo)可 以等價(jià)的轉(zhuǎn)化為下面的矩陣形式：
[0025] arg_ max trijUiLi'^T)
[0026] 其中山= -4]= f _A，l，eK=[l，l，."，l]TERKX1。 卜々J j-叫 eKek
[0027] 為了更好地揭示數(shù)據(jù)間的非線性結(jié)構(gòu)，本發(fā)明使用多種局部塊的線性組合去代替 原來(lái)的局部塊，即4 知+W2W和+…+ U^fX,_M，其中是心的融合系數(shù)。對(duì)于樣本 集合Y也是同樣的A =Wl(y)lV +W2(y)}> +…+ 了在優(yōu)化問(wèn)題中確定唯一的融合系 數(shù)，約束Hwf0 = Ww/0 2 0)和2?=1wrM = 1&產(chǎn)2 0>因此，多局部相關(guān)特征學(xué)習(xí)的優(yōu)化 目標(biāo)為：
[0028] ar5 祖x tr (Ef;i Sf=i (w/x)!;;) ii (i^w;y)))
[0029] 其中，％ = f/TX"和仏.=FrV.
[0030] 假設(shè)局部塊中的所有相關(guān)特征都來(lái)自于同一特征集￡ =呢,右,~知]，則 為i可以表示為心= &f，其中sf 是局部塊&的選擇矩陣。sf的每一列都用于 從龍選擇出見(jiàn)i的一個(gè)相關(guān)特征，比如的第g個(gè)相關(guān)特征是f中的第t個(gè)相關(guān)特征，則s;f的 第g列僅僅是第t個(gè)元素為1，其余的(N-1)個(gè)元素全為0.對(duì)于局部塊，同樣也引入選 擇矩陣If以至于％ = 。借助于這些選擇矩陣，多局部相關(guān)特征學(xué)習(xí)的優(yōu)化目標(biāo)可以等 價(jià)地寫(xiě)為：
[0031 ] argmax^ tr ^=1 Ef=1E* x (w^x)XS^ Lt (s^)J frwrCy)))
[0032] (2c)將鑒別信息融入相關(guān)特征學(xué)習(xí)。
[0033] 在很多實(shí)際應(yīng)用中，無(wú)監(jiān)督特征學(xué)習(xí)方法一般很難僅僅通過(guò)掌握和保持某種結(jié)構(gòu) 信息就將數(shù)據(jù)很好地分入不同的類，并且很多研究已經(jīng)證明了監(jiān)督信息在特征學(xué)習(xí)中的重 要性。為此，在本發(fā)明的方法中也進(jìn)一步考慮了監(jiān)督信息。類似于LDA，每個(gè)視角的相關(guān)特征 的類內(nèi)散布被構(gòu)建：
[0034] Swx = U^SwXU Swy = VtSwyV
[0035] 其中，-無(wú);)7"和Swy = ^2^(3^ -為)(y; - 分別為x和y 的散 布矩陣，其中:翁和為分別SxdPy:的類內(nèi)均值。類似LDA，本發(fā)明的方法也通過(guò)約束類內(nèi)相關(guān) 特征的散布信息來(lái)使同一類的相關(guān)特征盡可能壓縮，進(jìn)而增強(qiáng)相關(guān)特征的類分離性。
[0036] (2d)構(gòu)建相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu)化框架。
[0037] 經(jīng)過(guò)(2a)，（2b)和(2c)，可以得到多局部相關(guān)特征學(xué)習(xí)的優(yōu)化框架： m(?>X (y, tT (UT ^ ^=1 (w^W^XSfL^Y7) V) u,v,w) ,,w?r
[0038] lJr SW^U -^― IxSwy]/ 1 - I, Y!f=xw-X) = i,w/x) > o, Sf=1w,W = l,w?W2 0
[0039] 該優(yōu)化框架是一個(gè)多優(yōu)化參數(shù)問(wèn)題，為了使其更易于優(yōu)化求解，本發(fā)明進(jìn)一步使 用了下面的參數(shù)融合策略：
[0040] 在上面的優(yōu)化問(wèn)題中兩個(gè)相互獨(dú)立的優(yōu)化參數(shù)w/x)和共同來(lái)衡量?jī)蓚€(gè)局部塊 的重要性。因此這兩個(gè)參數(shù)可以融合為一個(gè)新的參數(shù)，然后使用這個(gè)新的參數(shù)來(lái)衡 量和汾的重要性。因?yàn)椤秥@和是非負(fù)的，所以一定存在一個(gè)新的多局部融合系數(shù)《^ 使得(W/,.)2 = wf 成立。類似于(2c )的優(yōu)化問(wèn)題，為了確保-r在優(yōu)化求解中的唯一性，同 樣也約束= 1。在這個(gè)參數(shù)融合策略下，相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu)化 框架可以簡(jiǎn)化為：
[0041 ] "" ^ (^^^^XS?L^TYT) V) S. t, UTSWXU = l, VTSwyV = I, Wjr = 1
[0042] 3、計(jì)算每個(gè)視角的相關(guān)投影方向。
[0043] 使用迭代求解法來(lái)迭代求解U，V和Ar。在這個(gè)迭代求解方法中，通過(guò)固定其中一些 優(yōu)化參數(shù)來(lái)求解其余優(yōu)化參數(shù)。當(dāng)固定《^時(shí)，使用下面的優(yōu)化問(wèn)題求解相關(guān)投影方向U和 V： max tr(lI^C：xv￥^
[0044] ^ T ^ T s.t, aTswjf ^ i,￥vswyv：= i
[0045] 其中Ciy = 嚴(yán)FM昔助于拉格朗日乘子法，該優(yōu)化問(wèn)題 可以轉(zhuǎn)化為下面的廣義特征值分解問(wèn)題： rnnAAl f^y^wyCjyU = A2Swxit \CxySwxCxyV = X2SwyV
[0047]求解該廣義特征值分解問(wèn)題，可以獲得前d個(gè)最大特征值對(duì)應(yīng)的特征向量 恥馮}"，進(jìn)而可以獲得兩個(gè)視角的相關(guān)投影方向U=[iU，U2, . . .，Ud]eRPx#PV=[V1， V2, ? ? ?，Vd] ERqXd。
[0048] 4.計(jì)算多種局部信息的融合系數(shù)。
[0049] 當(dāng)固定U和V時(shí)，使用下面的優(yōu)化問(wèn)題求解多局部融合系數(shù)％P
[0050] ?ax^f=i ^^=i(w/r)2tr (2f=i UTXS^)LiS^)TYTV^ s.t. T,%lZr=-i Wjr = 1
[0051 ]通過(guò)引入拉格朗日乘子，可以獲得拉格朗日函數(shù)：
[0052] i： = Ef=1Sf=i(w/r)2tr(sf=1 - fi(lf=1^=1wjr - l)
[0053] 設(shè)定:￡對(duì)于= 1,2…M)(i，j =丨，2，? ?，M)導(dǎo)數(shù)為0，可以得到：
[0055] 通過(guò)求解上述方程組，可得：
[0057] 5、重復(fù)步驟(3)和(4)，直到達(dá)到最大迭代次數(shù)或收斂，跳轉(zhuǎn)到步驟(6)。
[0058] 6、對(duì)訓(xùn)練集和測(cè)試集的樣本進(jìn)行特征提取和特征融合，然后使用最近鄰分類器進(jìn) 行識(shí)別
[0059] 對(duì)于訓(xùn)練樣本矩陣X和Y，通過(guò)投影可以獲得相關(guān)特征UTX和VTY，然后使用簡(jiǎn)單的特 征融合策略去融合兩個(gè)視角的相關(guān)特征：
[0060] = UTXi + VTyi
[0061] 其中{^，71}(1 = 1，2，...，《是對(duì)應(yīng)同一個(gè)目標(biāo)的兩個(gè)樣本，2戶為融合后的相關(guān) 特征。
[0062] 對(duì)于測(cè)試集，每幅圖像同樣被轉(zhuǎn)化為列向量，以形成測(cè)試樣本保.妃(i = 1,2,...,m)。 然后使用上面的特征融合策略來(lái)融合測(cè)試樣本的相關(guān)特征其中n 為樣本個(gè)數(shù)。最后，對(duì)融合后的相關(guān)特征使用最近鄰分類器來(lái)進(jìn)行識(shí)別.
[0063] 本發(fā)明采用每個(gè)樣本的多種局部塊去更好地揭示樣本間的非線性結(jié)構(gòu)，并構(gòu)建了 一個(gè)相關(guān)特征學(xué)習(xí)與多局部融合的統(tǒng)一優(yōu)化框架，然后交替迭代求解相關(guān)投影方向和多局 部融合系數(shù)。與現(xiàn)有技術(shù)相比，基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法能夠更好 地掌握數(shù)據(jù)間真實(shí)的非線性結(jié)構(gòu)，因而可以有效地提高人臉識(shí)別的準(zhǔn)確性和魯棒性。
【附圖說(shuō)明】
[0064]圖1本發(fā)明方法的流程圖
[0065]圖2 JAFFE人臉數(shù)據(jù)庫(kù)中一個(gè)人的代表性圖像
[0066]圖3在JAFFE人臉數(shù)據(jù)中本發(fā)明方法在不同訓(xùn)練樣本數(shù)和不同近鄰參數(shù)下的識(shí)別 率
[0067] 圖4在AR人臉數(shù)據(jù)中本發(fā)明方法在不同訓(xùn)練樣本數(shù)和不同近鄰參數(shù)下的識(shí)別率
【具體實(shí)施方式】
[0068] 下面結(jié)合附圖和實(shí)例，對(duì)發(fā)明的【具體實(shí)施方式】做進(jìn)一步描述。以下實(shí)例僅用于說(shuō) 明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。
[0069]接下來(lái)的實(shí)例是針對(duì)AR人臉數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)有126個(gè)人(男70人，女56人）的4000 余幅彩色圖像構(gòu)成，每人26張圖像，分為兩組，每組13張，拍攝時(shí)間間隔為兩周，分別反映了 人臉的表情、光照和遮擋的變化。在接下來(lái)的實(shí)驗(yàn)中本發(fā)明使用了該數(shù)據(jù)庫(kù)的一個(gè)子集，一 共有120個(gè)人(男65人，女55人），每人有無(wú)遮擋的14幅圖像。當(dāng)隨機(jī)選取該數(shù)據(jù)中每個(gè)人的6 幅圖像作為訓(xùn)練圖像時(shí)，本發(fā)明的具體實(shí)施步驟為：
[0070]步驟一、從每個(gè)人的14幅無(wú)遮擋圖像中隨機(jī)選出6幅圖像作為訓(xùn)練圖像，一共720 幅。然后將所有的彩色訓(xùn)練圖像轉(zhuǎn)化為灰度圖像，再使用Daubechies和Symlets小波轉(zhuǎn)換獲 得每幅灰度圖像的兩個(gè)低頻子圖像（即，每幅圖像的兩個(gè)視角圖像）。最后將每一幅低頻子 圖像從上到下、從左到右的順序展成一個(gè)列向量 Xl￡RPxl，yieRqxl，進(jìn)而組成兩個(gè)視角的訓(xùn) 練樣本矩陣x = [XI，X2, ? ? ?，XN] GRpXN和Y = [yi，y2, ? ? ?，yN] GRqXN，其中{xi，yi} (i = 1， 2, ...，N)對(duì)應(yīng)同一幅AR中的人臉圖像，N = 720。注意，在該實(shí)驗(yàn)中本發(fā)明使用兩種小波去模 擬兩個(gè)視角，但是在實(shí)際應(yīng)用中，可以使用兩個(gè)傳感器從不同的視角去實(shí)地采集同一目標(biāo) 的兩個(gè)種數(shù)據(jù)。
[0071] 步驟二、基于歐式距離、余弦距離和1-范數(shù)距離這三種距離測(cè)度，可以得到每個(gè)樣 本三種基于距離的近鄰樣本集，進(jìn)而為每個(gè)樣本構(gòu)建三種不同的局部塊，每種局部塊都由 該樣本和它的前K個(gè)最近鄰樣本組成。比如，對(duì)于任意樣本xi，它的三種局部塊為 {X;J- = ，…，X#]U，其中％為&的第j種局部塊，％為；^沖私第8個(gè)最近鄰樣本，同樣， 任意樣本yi的三種局部塊為〇V =7屯]};3=卩
[0072] 步驟三、給出所有局部塊的選擇矩陣。
[0073] 因?yàn)樗械木植繅K中的樣本都是來(lái)自于訓(xùn)練樣本X和Y，為此可以使用訓(xùn)練樣本矩 陣和選擇矩陣統(tǒng)一表示這些局部塊。對(duì)于任意局部塊都可以給出它的選擇矩陣 ，以至于心。Sf的每一個(gè)列都是用于從X中選擇出々的一個(gè)樣本，比 如知的第g個(gè)樣本是X中的第t個(gè)樣本，則#的第g列僅僅是第t個(gè)元素為1，其余的(N-1)個(gè) 元素全為〇.對(duì)于局部塊，同樣可以給出選擇矩陣以至于％ =
[0074]步驟四、優(yōu)化求解每個(gè)視角的相關(guān)投影方向。
[0075] 當(dāng)首次執(zhí)行步驟四時(shí)，初始化崎―％ =擊(W = 1,2,..肩，其中1 = 3;在接下來(lái)的迭 代過(guò)程中，步驟四中的使用步驟五優(yōu)化求解出的多局部融合系數(shù)％>。
[0076] 通過(guò)下面的廣義特征值分解問(wèn)題，可以求出在這種多局部融合系數(shù)下最優(yōu)的相關(guān) 投影方向U和V: r-- - --. f C^ySwy Cxy U - A SWXIL [CxySwxCxyV = A2SwyV
[0078] 其中，
和*5wy = |sf=1(yr--只)(y;-負(fù)F.=當(dāng)swx和swy奇異的時(shí)候，它們的逆矩陣是不存在，為了解決這一問(wèn)題， 本發(fā)明使用正則化技術(shù):用SwX+nXIx和Swy+nyly來(lái)分別代替Swx和Swy，其中I x和Iy是兩個(gè)單位矩 陣，％>〇和％>〇是兩個(gè)正則化參數(shù)，在這個(gè)實(shí)驗(yàn)中本發(fā)明直接將這兩參數(shù)設(shè)定為n x=nv= 0.001。
[0079] 通過(guò)求解該廣義特征值分解問(wèn)題，可以獲得前d個(gè)最大特征值對(duì)應(yīng)的特征向量 批:，，}|=1.，進(jìn)而可以獲得兩個(gè)視角的相關(guān)投影方向U=[U1，U2, . . .，Ud]eRpXdand V=[V2, v2, . . . ,vd]eRqXd〇
[0080] 步驟五、優(yōu)化求解多種局部信息的融合系數(shù)。
[0081] 經(jīng)過(guò)步驟四，相關(guān)投影方向U和V已經(jīng)被求出，在這種U和V下的最優(yōu)多局部融合系 數(shù)W/r為：
[0083] 步驟六、重復(fù)步驟四和步驟五，達(dá)到最大迭代次數(shù)后，跳轉(zhuǎn)到步驟七。在該實(shí)驗(yàn)中， 將最大迭代次數(shù)經(jīng)驗(yàn)地設(shè)為5。
[0084] 步驟七、通過(guò)簡(jiǎn)單的特征融合策略，融合訓(xùn)練樣本的相關(guān)特征，
[0085] 獲得相關(guān)投影方向后，對(duì)訓(xùn)練樣本X和Y進(jìn)行投影可以獲得它們的相關(guān)特征UTX和 VTY。為了最后的識(shí)別目的，使用簡(jiǎn)單的特征融合策略將兩個(gè)視角的相關(guān)特征進(jìn)行融合： Zi = UTXi + VTji
[0086] 其中{^^:丨^二^^-^⑴是對(duì)應(yīng)同一個(gè)目標(biāo)的兩個(gè)樣本^"為融合后的相關(guān) 特征。
[0087] 步驟八、將該數(shù)據(jù)集中每個(gè)人剩余的8幅圖像作為測(cè)試對(duì)象，一共960幅圖像。對(duì)所 有的測(cè)試圖像，進(jìn)行和訓(xùn)練樣本同樣的預(yù)處理操作，進(jìn)而獲得它們的兩個(gè)測(cè)試樣本矩陣 跫=[免 1,.%....，^6.狀>^:和？=[歹1,歹2#,...,5^]￡及',其中11 = 960。使用最終獲得的相關(guān)投影方 向U和V，同樣可以提取測(cè)試樣本的相關(guān)特征并根據(jù)步驟七中的特征融合策略獲 得了融合后的相關(guān)特征以=
[0088] 最后使用帶有歐式距離測(cè)度的最近鄰分類器對(duì)融合后的相關(guān)特征進(jìn)行識(shí)別。為了 保證訓(xùn)練樣本選擇的隨機(jī)性，獨(dú)立進(jìn)行10次隨機(jī)實(shí)驗(yàn)，這些隨機(jī)實(shí)驗(yàn)的平均識(shí)別率為 99.07 %，即在960幅的測(cè)試人臉圖像中有951幅被正確識(shí)別.
[0089]本發(fā)明的有效性可以通過(guò)以下實(shí)驗(yàn)進(jìn)一步驗(yàn)證：
[0090] 1 ?實(shí)驗(yàn)內(nèi)容
[0091]本發(fā)明提出了基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別（multi-locality correlation feature learning for two-view face recognition,簡(jiǎn)寫(xiě)為MLCFL)方法， 為了驗(yàn)證本發(fā)明的有效性，在兩個(gè)人臉數(shù)據(jù)庫(kù)(JAFFE人臉數(shù)據(jù)庫(kù)和AR人臉數(shù)據(jù)庫(kù))上進(jìn)行 了實(shí)驗(yàn)，并與其他六個(gè)兩視角人臉識(shí)別的經(jīng)典方法進(jìn)行了對(duì)比，即圖正則化的多集典型相 關(guān)分析(GrMCCA)、局部鑒別典型相關(guān)分析(LDCCA)、多視角鑒別分析(MvDA)、鑒別典型相關(guān) 分析(DCCA)、可選局部保持典型相關(guān)分析(ALPCCA)和局部保持典型相關(guān)分析(LPCCA)。 [0092] 2.實(shí)驗(yàn)參數(shù)的選擇
[0093] 本發(fā)明的方法考慮了樣本間的局部近鄰關(guān)系，在實(shí)驗(yàn)中近鄰參數(shù)K通過(guò)交叉驗(yàn)證 法在區(qū)間[5，10，15，20，25]中選擇最優(yōu)參數(shù)。Chaudhuri等人已經(jīng)證明在理論上這兩個(gè)視角 的低維子空間可以由前(c-1)對(duì)相關(guān)投影方向精確張成，其中c為類別數(shù)。為此，在迭代過(guò)程 中，選擇前(c-1)對(duì)相關(guān)投影方向去計(jì)算多局部融合系數(shù)，即，在步驟(5)中，U=[m，u 2，...， Uc-JeRW。-"和V=[V1，v2,. . .，vc-deRW。-"被用來(lái)計(jì)算多局部融合系數(shù)％+?
[0094] 對(duì)于ALPCCA和LPCCA，近鄰參數(shù)K也需要被考慮，該參數(shù)的確定方法與上面相同。
[0095] 對(duì)于LDCCA，類內(nèi)近鄰參數(shù)Ki、類間近鄰參數(shù)K2和平衡參數(shù)n這三個(gè)參數(shù)需要被考 慮。這些參數(shù)的選擇方法:參數(shù)KdPK2的選擇范圍是從1到(f-1)，其中f為每類中訓(xùn)練樣本的 個(gè)數(shù)，參數(shù)n的選擇范圍是[[0.001，0.01，0. 1，1，10，100]，然后使用交叉驗(yàn)證法在這些范圍 中選擇最優(yōu)參數(shù)。
[0096]對(duì)于MvDA和DCCA，在子空間投影方向的學(xué)習(xí)中沒(méi)有額外的參數(shù)需要考慮。
[0097] 3 ?實(shí)驗(yàn)結(jié)果：
[0098] 實(shí)驗(yàn)一：
[0099]表 1 MLCFL、GrMCCA、LDCCA、MvDA、DCCA、ALPCCA 與 LPCCA 在 JAFFE人臉數(shù)據(jù)庫(kù)上的實(shí) 驗(yàn)結(jié)果
[0101 ] A±B:A表示的是平均識(shí)別率（％ )，B表示的是標(biāo)準(zhǔn)差
[0102] JAFFE人臉數(shù)據(jù)庫(kù)包含了來(lái)自10位日本女性的213幅灰度圖像，這些圖像包含了七 種表情:生氣、厭惡、恐懼、高興、悲傷、驚訝與平和。在圖2中，給出了其中一個(gè)人的代表性圖 像。這個(gè)實(shí)驗(yàn)主要是為了驗(yàn)證本發(fā)明的方法在劇烈的表情變化下的人臉識(shí)別性能。在這個(gè) 實(shí)驗(yàn)中，從每個(gè)人中隨機(jī)選擇q(q = 3,4,5,6,7)幅人臉圖像作為訓(xùn)練圖像，其余的作為測(cè)試 圖像，然后獨(dú)立進(jìn)行10次隨機(jī)實(shí)驗(yàn)，在表1中給出了所有方法的實(shí)驗(yàn)結(jié)果。
[0103] 在這些對(duì)比的方法中，GrMCCA和LDCCA是基于局部近鄰信息的監(jiān)督非線性方法， MvDA和DCCA是基于類標(biāo)簽信息的監(jiān)督線性方法，而ALPCCA和LPCCA是基于局部近鄰信息的 無(wú)監(jiān)督方法。從表1的實(shí)驗(yàn)結(jié)果來(lái)看，與MvDA和DCCA相比較，GrMCCA和LDCCA有著更好的人臉 識(shí)別率，這在一定程度上揭示了局部近鄰信息在特征學(xué)習(xí)中的有效性。在所有的人臉識(shí)別 方法中，兩個(gè)無(wú)監(jiān)督方法始終顯示出了最低的人臉識(shí)別率，這在一定程度上顯示了監(jiān)督信 息在特征學(xué)習(xí)中的重要性。和這些對(duì)比方法相比，本發(fā)明的方法不僅通過(guò)每個(gè)樣本的多種 局部塊更好地得掌握了數(shù)據(jù)間的非線性結(jié)構(gòu)，而且在每個(gè)視角數(shù)據(jù)中充分考慮的類內(nèi)散布 信息以至于進(jìn)一步增強(qiáng)了相關(guān)特征的鑒別力。從表1中的平均識(shí)別率和標(biāo)準(zhǔn)差可以看出，本 發(fā)明的人臉識(shí)別方法不僅有著最高的準(zhǔn)確性，而且也有著很好的魯棒性。
[0104] 實(shí)驗(yàn)二：
[0105] 表2 10^^1、6滷0^、0)0^、]\^^、00^、厶1^0^與1^0^在厶1?人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn) 結(jié)果
[0107] A±B:A表示的是平均識(shí)別率（％ )，B表示的是標(biāo)準(zhǔn)差
[0108] 為了進(jìn)一步驗(yàn)證本發(fā)明的有效性，在著名的AR人臉數(shù)據(jù)庫(kù)上也進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 在這個(gè)試驗(yàn)中本發(fā)明使用了 AR數(shù)據(jù)庫(kù)的一個(gè)子集，一共有120個(gè)人(男65人，女55人），每人 有無(wú)遮擋的14幅圖像。從每個(gè)人中隨機(jī)選擇(1((1 = 3,4,5,6,7)幅人臉圖像作為訓(xùn)練圖像，其 余的作為測(cè)試圖像，然后獨(dú)立進(jìn)行10次隨機(jī)實(shí)驗(yàn)，在表2中展示了所有方法的實(shí)驗(yàn)結(jié)果。在 表2中可以看出，所有監(jiān)督的人臉識(shí)別方法有著相似的人臉識(shí)別率，并且在人臉識(shí)別的準(zhǔn)確 性上始終優(yōu)于無(wú)監(jiān)督的人臉識(shí)別方法（即，ALPCCA和LPCCA)。表2中的實(shí)驗(yàn)結(jié)果同樣給出一 個(gè)合理的觀察:本發(fā)明的人臉識(shí)別方法是一種非常有效并且相對(duì)魯棒的人臉識(shí)別方法。
[0109] 實(shí)驗(yàn)三：
[0110] 為了分析近鄰參數(shù)K對(duì)本發(fā)明方法的識(shí)別性能的影響，在圖3中給出了在JAFFE人 臉數(shù)據(jù)庫(kù)中本發(fā)明方法在不同訓(xùn)練樣本數(shù)和不同近鄰參數(shù)下詳細(xì)的識(shí)別率。同樣在圖4中 也顯示在AR數(shù)據(jù)庫(kù)上詳細(xì)的識(shí)別率。本發(fā)明的方法不是僅僅使用一種局部近鄰信息，而是 同時(shí)使用多種局部信息去共同揭示數(shù)據(jù)間的非線性結(jié)構(gòu)，這在一定程度上減弱了本發(fā)明方 法的識(shí)別性能對(duì)該近鄰參數(shù)的依賴。在圖3和圖4中，可以明顯看出，本發(fā)明方法的識(shí)別精度 主要受到訓(xùn)練樣本數(shù)目的影響，對(duì)該近鄰參數(shù)具有很好的魯棒性。
[0111] 以上實(shí)驗(yàn)表明，本發(fā)明基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法在實(shí)際的 人臉識(shí)別中具有更好的準(zhǔn)確性和魯棒性。需要指出的是本發(fā)明雖然是對(duì)人臉的識(shí)別方法， 但是不僅僅局限于人臉的識(shí)別，在實(shí)際應(yīng)用中，也可以對(duì)其他的目標(biāo)進(jìn)行識(shí)別，本發(fā)明提出 的方法具有廣泛性和普適性。
【主權(quán)項(xiàng)】
1. 基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法，其過(guò)程包含如下步驟： (1) 將訓(xùn)練集中兩個(gè)視角的每幅圖像都轉(zhuǎn)化為列向量，以形成訓(xùn)練樣本矩陣X= [X1， X2, . . .，XN]eRPx^Y=[yi，y2, . . .，yN]eRqXN，其中p和q是樣本維數(shù)，N是樣本個(gè)數(shù)，并且 {xi，yi}(i = l，2, · · ·，N)對(duì)應(yīng)同一個(gè)目標(biāo)； (2) 確定每個(gè)訓(xùn)練樣本的多種局部塊，并構(gòu)建相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一優(yōu)化 框架； (3) 計(jì)算每個(gè)視圖的一組相關(guān)投影方向； (4) 計(jì)算多局部融合系數(shù)； (5) 重復(fù)步驟(3)和(4)，直到最大迭代次數(shù)或收斂，跳轉(zhuǎn)到步驟(6); (6) 對(duì)訓(xùn)練集和測(cè)試集的樣本進(jìn)行投影和融合，然后使用最近鄰分類器進(jìn)行識(shí)別。2. 根據(jù)權(quán)利要求1所述的基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法，其特征在 于，步驟(2)所述的確定每個(gè)樣本的多種局部塊并構(gòu)建相關(guān)特征學(xué)習(xí)和多局部融合的統(tǒng)一 優(yōu)化框架的具體過(guò)程為： (2a)為每個(gè)樣本構(gòu)建多種局部塊： 局部塊由一個(gè)樣本和該樣本的前K個(gè)最近鄰樣本組成，如在樣本矩陣X中任意一個(gè)樣本 X1的局部塊可以表示為? = [??,?,…,?]ε/^i?+1>，其中?為Xl的第g個(gè)最近鄰樣本;在 人臉識(shí)別中樣本間的關(guān)系往往是非常復(fù)雜的，僅僅使用一種近鄰關(guān)系難于準(zhǔn)確揭示樣本間 的非線性結(jié)構(gòu)信息，為此，本發(fā)明根據(jù)多種距離測(cè)度計(jì)算出多種近鄰關(guān)系，進(jìn)而為一個(gè)樣本 構(gòu)建多種局部塊，然后使用多種局部塊同時(shí)去描述樣本間的非線性關(guān)系；借助線性 聚集朿略，原來(lái)的局部塊Xi由+ ·- + 來(lái)更好地描述，其中 Xi)=卜X丨，X彳I e 是X i的第j種局部塊，是％中的第g個(gè)最近鄰樣本，M 是每個(gè)樣本的局部塊個(gè)數(shù)，wf3是心的融合系數(shù)；同樣樣本y i的局部塊也由 K +…+ 4??來(lái)描述，其中％ =[於,...,3?] e及柯料％ 始建的相類_征登習(xí)和名屆部融會(huì)的絲一恍仆垢細(xì).其中，I為單位矩陣，*? = ?/τχ,_為Xi的相關(guān)特征，尤Z = ERPxd為樣本矩 陣X的相關(guān)投影方向；另外，Verxd為樣本矩陣Y的相關(guān)投影方向， 負(fù)土 yry;，心=F仏;=告.Σ?=ι(^ -務(wù))後-Wr 和 Swy = @f=i(為-為)(免-^)Γ 分別是 f = ?,?...,?]和f Jy的類內(nèi)散布，其中無(wú)和負(fù)是分別是相關(guān)特征負(fù)和負(fù)所在類 的類內(nèi)均值； (2c)計(jì)算每個(gè)局部塊的選擇矩陣： 假設(shè)局部塊中的所有相關(guān)特征都來(lái)自于同一特征集f = [%% ...,知]，則毛河 以表示為知=其中} € R?#13是局部塊知的選擇矩陣;Sf的每一列都用于從I選 擇出t的一個(gè)相關(guān)特征，比如尤V的第g個(gè)相關(guān)特征是f中的第t個(gè)相關(guān)特征，則Sf的第g列 僅僅是第t個(gè)元素為1，其余的(N-1)個(gè)元素全為O .對(duì)于局部塊仿>·}=1Λ，同樣也引入選擇矩 陣<Γ}以至于忪= ??50;借助于選擇矩陣和簡(jiǎn)單的代數(shù)運(yùn)算，（2b)中的統(tǒng)一優(yōu)化框架可以被 等價(jià)地轉(zhuǎn)化為：(2d)優(yōu)化參數(shù)的融合策略： 在上面的優(yōu)化問(wèn)題中兩個(gè)相互獨(dú)立的優(yōu)化參數(shù)Wf3和同來(lái)衡量?jī)蓚€(gè)局部塊和 ^的重要性；因此這兩個(gè)參數(shù)可以融合為一個(gè)新的參數(shù)，然后使用這個(gè)新的參數(shù)來(lái)衡量 和P的重要性；因?yàn)閣f3和是非負(fù)的，所以一定存在一個(gè)新的多局部融合系數(shù)W jr使得獲立;類似于上面的優(yōu)化問(wèn)題，為了確保Wp在優(yōu)化求解中的唯一性，同樣也 約束在這個(gè)優(yōu)化參數(shù)的融合策略下，（2b)中的統(tǒng)一優(yōu)化框架可以簡(jiǎn)化為：3.根據(jù)權(quán)利要求1所述的基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法，其特征在 于，步驟(3)所述的計(jì)算每個(gè)視圖的一組相關(guān)投影方向的具體方法為： 本發(fā)明使用迭代求解法來(lái)迭代求解U，V和Wjr;在這個(gè)迭代求解方法中，通過(guò)固定其中一 些優(yōu)化參數(shù)來(lái)求解其余優(yōu)化參數(shù);當(dāng)固定時(shí)，使用下面的優(yōu)化問(wèn)題求解相關(guān)投影方向U和 V：其中％ = V;借助于拉格朗日乘子法，該優(yōu)化問(wèn)題可以轉(zhuǎn) 化為下面的廣義特征值分解問(wèn)遒 求解該廣義特征值分解問(wèn)題，可以獲得前d個(gè)最大特征值對(duì)應(yīng)的特征向量{%, !^!^，進(jìn) 而可以獲得兩個(gè)視角的相關(guān)投影方向U=[U1，U2, . . .，Ud]eRpXd和V=[V1，V2, . . .，Vd]eRq Xd O4.根據(jù)權(quán)利要求1所述的基于多局部相關(guān)特征學(xué)習(xí)的兩視角人臉識(shí)別方法，其特征在 于，步驟(4)所述的計(jì)算多局部融合系數(shù)的具體方法如下： 當(dāng)固定U和V時(shí)，使用下面的優(yōu)化問(wèn)題求解多局部融合系數(shù)wir:
【文檔編號(hào)】G06K9/00GK105893947SQ201610188792
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2016年3月29日
【發(fā)明人】葛洪偉, 蘇樹(shù)智, 李鵬, 朱嘉鋼
【申請(qǐng)人】江南大學(xué)