亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

模式特征提取方法及用于執(zhí)行該方法的設備的制作方法

文檔序號:6609806閱讀:238來源:國知局
專利名稱:模式特征提取方法及用于執(zhí)行該方法的設備的制作方法
本申請是2004年10月22日提交的申請?zhí)枮?3809032.5的專利申請的分案申請。
背景技術(shù)
當前在模式識別領域,通過從輸入模式中提取特征矢量、從特征矢量中提取有效用于識別的特征矢量并且對從各個模式中獲取的特征矢量進行比較,可以測定諸如字符或人臉等模式之間的相似度。
例如,在人臉驗證的情況下,使用人眼等的位置對人臉圖像進行歸一化之后的像素值,經(jīng)過光柵掃描后將像素值變換成一維特征矢量,并且通過使用該特征矢量作為輸入特征矢量進行主成分分析(非專利參考文獻1Moghaddam等人的“Probabilistic Visual Learning for ObjectRepresentation”(用于目標表示的隨機視覺訓練),IEEE模式分析與機器智能學報,Vol.19,No.7,pp.696-710,1997),或者對特征矢量的主成分進行線性判別式分析(非專利參考文獻2W.Zhao等人的“Discriminant Analysis of Principal Components for Face Recognition”(用于人臉識別的主成分判別式分析),IEEE人臉和手勢自動識別第三屆國際會議論文,pp.336-341,1998),從而減少了維數(shù)和通過使用所獲得的特征矢量來進行基于人臉的身份驗證等。
在這些方法中,根據(jù)所準備的訓練樣本計算出了協(xié)方差矩陣、類內(nèi)協(xié)方差矩陣和類間協(xié)方差矩陣,并且在協(xié)方差矩陣中獲得基矢來作為特征值問題的解。然后通過使用這些基矢來轉(zhuǎn)換輸入特征矢量的特征。
下面來詳細講述線性判別式分析。
線性判別式分析是一種獲得變換矩陣W的方法,該矩陣能夠最大化當使用變換矩陣W對N維特征矢量x進行變換時所獲得的M維矢量y(=WTx)的類間協(xié)方差矩陣SB與類內(nèi)協(xié)方差矩陣SW之比。作為這種協(xié)方差估計函數(shù)的等式(1)的表達式定義如下J(W)=|SB||SW|=|WTΣBW||WTΣWW|---(1)]]>在該等式中,類內(nèi)協(xié)方差矩陣∑W和類間協(xié)方差矩陣∑B分別為訓練樣本中一組特征矢量x中的C個類ωi的協(xié)方差矩陣∑i(i=1,2,...,C;它們的數(shù)據(jù)計數(shù)ni)和這些類之間的協(xié)方差矩陣,它們的表達式分別是ΣW=Σi=1CP(ωi)Σi]]>=Σi=1C(P(ωi)1niΣx∈xi(x-mi)(x-mi)T)---(2)]]>ΣB=Σi=1CP(ωi)(mi-m)(mi-m)T---(3)]]>其中mi為類ωi的平均矢量(見等式(4)),并且m為所有x的平均矢量(見等式(5))mi=1niΣx∈xix---(4)]]>m=Σi=1CP(ωi)mi---(5)]]>如果每一個類ωi的似然概率P(ωi)事先反映的樣本數(shù)為ni,則可以充分假設P(ωi)=ni/n。如果假設每一個概率都相等,則可以充分假設P(ωi)=1/C。
可以獲得使等式(1)最大化的變換矩陣W,并作為對應于作為列矢量wi的特征值問題的等式(6)的M個大特征值的一組歸一化特征矢量。以這種方式獲得的變換矩陣W被稱為判別式矩陣。
∑BWi=λi∑WWi(6)注意,現(xiàn)有線性判別式分析方法在例如非專利參考文獻5RichardO.Duda等人的“模式識別”(由Morio Onoue所指導和翻譯,Shingijutu通信公司,2001,pp.113-122)中有公開。
假設輸入特征矢量x的維數(shù)特別大。在這種情況下,如果使用小的訓練數(shù)據(jù),則∑W成為奇異的。結(jié)果,使用一般性方法無法解決等式(6)的特征值問題。
如專利參考文獻1所述日本專利未決公開7-296169,已知在協(xié)方差矩陣中具有較小特征值的高階成分包括大的參數(shù)估計誤差,這對識別的精確性不利。
根據(jù)W.Zhao等人的上述文章,對輸入特征矢量進行主成分分析,并且對具有較大特征值的主成分進行判別式分析。更為具體地說,如圖2所示,在通過使用由主成分分析獲得的基矩陣對輸入特征矢量進行投影來提取出主成分之后,還通過使用由主成分分析獲得的判別式矩陣作為基矩陣對主成分進行投影來提取出有效用于識別的特征矢量。
根據(jù)專利參考文獻1日本專利未決7-296169中所述的用于特征變換矩陣的計算方案,維數(shù)通過刪除總協(xié)方差矩陣∑T的高階特征值和相應特征矢量而獲得減少,并且對較少的特征空間進行判別式分析。刪除總協(xié)方差矩陣的高階特征值和相應特征矢量等價于通過主成分分析在只具有較大特征值的主成分空間中進行判別式分析。從這個意義上說,這一技術(shù),比如W.Zhao的方法,通過去除高階特征來提供穩(wěn)定的參數(shù)估計。
不過,使用總協(xié)方差矩陣∑T進行主成分分析并不比在出現(xiàn)較大協(xié)方差的軸向上依次選擇特征空間的正交軸要好多少。由于這個原因,失去了有效用于模式識別的特征軸。
假設特征矢量x由三個元素組成(x=(x1,x2,x3)T),其中x1和x2是具有較大協(xié)方差但是與模式識別無關(guān)的特征,并且x3是有效用于模式識別但是具有較小協(xié)方差的特征(類間協(xié)方差/類內(nèi)協(xié)方差,也就是Fisher比,比較大,但是方差值本身比x1和x2的Fisher比都要小)。在這種情況下,如果進行了主成分分析并且只選擇了兩維值,則選擇了與x1和x2有關(guān)的特征空間,而忽略了有效用于識別的x3的貢獻。
下面將參考附圖來講述這一問題。假設圖3A是從與由x1和x2定義的平面幾乎垂直的方向來看的數(shù)據(jù)分布,其中黑圈和白圈表示處于不同類的數(shù)據(jù)點。當在由x1和x2定義的空間(圖3A中的平面)中來看時,可以識別黑圈和白圈。不過,如圖3B所示,當從垂直于該平面的x3的特征軸來看時,無法將黑圈和白圈相互分開。不過,如果選擇具有較大協(xié)方差的軸,則選擇了由x1和x2定義的平面來作為特征空間,這等價于參考圖3A進行區(qū)別。因此使得很難進行區(qū)別。
在現(xiàn)有技術(shù)中,存在一個通過主成分分析和在(總)協(xié)方差矩陣中刪除具有較小特征值的空間的技術(shù)所無法避免的問題。

發(fā)明內(nèi)容
本發(fā)明考慮到現(xiàn)有技術(shù)中存在的上述問題,并且它的目標是提出一種特征矢量變換技術(shù),用于在要從輸入模式特征矢量中提取有效用于識別的特征矢量和要抑制特征維數(shù)時,能夠抑制有效用于識別和執(zhí)行有效特征提取的特征量的減少。
根據(jù)本發(fā)明的模式特征提取方法的特征是包括通過使用多個特征矢量xi來表達模式特征和來自圖像的特征之一;通過對多個特征矢量xi的每一個進行線性判別式分析來獲得每一個特征矢量的判別式矩陣Wi;通過使用判別式矩陣Wi對矢量xi進行線性變換獲得矢量yi,然后通過排列矢量yi而獲得特征矢量y,再通過對特征矢量y進行線性判別式分析而事先獲得判別式矩陣WT;以及進行由判別式矩陣Wi和判別式矩陣WT所指定的線性變換。
這一模式特征提取方法的特征是,進行線性變換的步驟包括通過變換模式的特征矢量來壓縮特征維數(shù)。
另外,該方法的特征是,表達步驟包括將模式特征分成多個特征矢量xi;獲得判別式矩陣WT的步驟包括通過使用判別式矩陣Wi對特征矢量xi進行線性變換yi=WiTxi]]>來計算特征矢量yi;以及進行線性變換的步驟包括通過使用判別式矩陣WT來對組合所計算出的特征矢量yi而獲得的矢量y進行線性變換z=WTTy而獲得特征矢量z,對通過計算特征矢量z所獲得的模式特征的維數(shù)進行壓縮。
另外,該方法的特征是,進一步包括事先計算由判別式矩陣Wi和WT所指定的矩陣W,其中進行線性變換的步驟包括通過使用矩陣W來對通過組合輸入特征矢量xi和矩陣W而獲得的特征矢量x進行線性變換z=WTx來計算特征矢量z,對通過計算特征矢量z所獲得的模式特征的維數(shù)進行壓縮。
上述模式特征提取方法的特征是,表達步驟包括提取由從圖像中預設的多個樣本點集Si中的多個樣本點獲得的像素值所形成的特征矢量xi;并且進行線性變換的步驟包括通過對每一個圖像樣本集變換特征矢量來從圖像中提取特征量。
這一模式特征提取方法的特征是,事先獲得判別式矩陣WT的步驟包括通過使用判別式矩陣Wi對從多個樣本點形成的多個特征矢量xi進行線性變換yi=WiTxi來計算特征矢量yi;并且進行線性變換的步驟包括通過使用判別式矩陣WT來對組合所計算的特征矢量yi而獲得的矢量y計算線性變換z=WTTy而獲得特征矢量z,通過計算特征矢量z來從圖像中提取特征量。
該方法的特征是,進一步包括事先計算由判別式矩陣Wi和WT所指定的矩陣W,其中進行線性變換的步驟包括通過使用矩陣W來對組合特征矢量xi和矩陣W而獲得的特征矢量x進行線性變換z=WTx而獲得特征矢量z,通過計算特征矢量z來從圖像提取特征量。
上述模式特征提取方法的特征是,表達步驟包括將圖像分割成多個預設局部區(qū)域,并且對于多個局部區(qū)域的每一個,將特征量表達成所提取的特征矢量xi;并且進行線性變換的步驟包括通過變換局部區(qū)域的特征矢量來從圖像中提取特征量。
這一模式特征提取方法的特征是,事先獲得判別式矩陣WT的步驟包括通過使用判別式矩陣Wi來對特征矢量xi進行線性變換yi=WiTxi而計算出特征矢量yi;并且進行線性變換的步驟包括通過使用判別式矩陣WT來對組合所計算的特征矢量yi而獲得的矢量y計算線性變換z=WTTy而獲得特征矢量z,通過計算特征矢量z來從圖像中提取特征量。
該方法的特征是,進一步包括事先計算由判別式矩陣Wi和WT所指定的矩陣W,其中進行線性變換的步驟包括通過使用矩陣W來對組合輸入特征矢量xi和矩陣W而獲得的特征矢量x進行線性變換z=WTx獲得特征矢量z,通過計算特征矢量z來從圖像提取特征量。
上述模式特征提取方法的特征是,進一步包括對圖像進行二維傅立葉變換,其中表達步驟包括提取二維傅立葉變換的實部和虛部來作為特征矢量xi,以及計算二維傅立葉變換的功率譜和提取功率譜來作為特征矢量x2,以及在進行線性變換的步驟中,通過變換特征矢量來從圖像中提取特征量。
這一模式特征提取方法的特征是,在進行線性變換的步驟中,以實現(xiàn)降維的方式,由對應于特征矢量xi的主成分的判別式矩陣Wi和判別式矩陣WT所指定的線性變換,來變換對應于傅立葉分量的實部和虛部的特征矢量x1和對應于傅立葉分量的功率譜的特征矢量x2,從而從圖像中提取特征量。
這一模式特征提取方法的特征是,進一步包括通過使用用于變換特征矢量x1的主成分的變換矩陣ψ1和由對應于主成分的判別式矩陣W1所表示的基矩陣Φ1(=(W1TΨ1T)T)]]>,進行線性變換y1=Φ1Tx1,基于傅立葉變換,計算由實部和虛部形成的特征矢量x1的主成分的判別式特征,將獲得的特征矢量y1的尺寸歸一化到預定尺寸,通過使用用于變換特征矢量x2的主成分的變換矩陣ψ2和由對應于主成分的判別式矩陣W2所表示的基矩陣Φ2(=(W2TΨ2T)T),]]>,基于傅立葉變換,計算從功率譜形成的特征矢量x2的主成分的判別式特征,將獲得的特征矢量y2的尺寸歸一化到預定尺寸,以及通過使用判別式矩陣WT相對于通過組合兩個特征矢量y1和y2獲得的特征矢量y來計算線性變換z=WTTy而獲得特征矢量z,通過計算特征矢量z從圖像中提取特征量。
這一模式特征提取方法的特征是,表達的步驟進一步包括將圖像分割成多個區(qū)域,并且在提取特征矢量x2的步驟中,在每一個所分割的區(qū)域中計算二維傅立葉功率譜。
另外,該方法的特征是,在分割步驟中,區(qū)域以多種方式被分割成具有不同尺寸的區(qū)域。
另外,該方法的特征是,進一步包括通過對所獲得的二維傅立葉功率譜進行kernel判別式分析而進行特征提取并且提取有效特征量,減少特征維數(shù)。
該方法的特征是,進一步包括使用通過對所獲得的二維傅立葉功率譜進行線性判別式分析而事先獲得的判別式矩陣進行線性變換,減少特征維數(shù)。
該方法的特征是,事先獲得判別式矩陣Wi的步驟包括獲得通過對特征矢量xi(i=1,2)的主成分進行線性判別式分析而獲得的特征矢量的判別式矩陣Wi,并且在進行線性變換的步驟中,通過變換對應于傅立葉分量的實部和虛部的特征矢量x1和對應于傅立葉分量的功率譜的特征矢量x2來從圖像中提取特征量,從而通過由用于特征矢量xi的主成分的判別式矩陣Wi和判別式矩陣WT指定的線性變換來進行降維。
這一模式特征提取方法的特征是,表達步驟進一步包括計算二維傅立葉變換的功率譜,將圖像分割成多個區(qū)域并且對每一個區(qū)域計算二維傅立葉變換的功率譜,以及提取通過組合各個功率譜而獲得的矢量以作為特征矢量x2。
根據(jù)本發(fā)明的模式特征提取設備是用于通過使用線性變換來抑制模式特征的特征維數(shù)的模式特征提取設備,其特征是包括基矩陣存儲裝置,用于存儲特征矢量的判別式矩陣Wi和判別式矩陣WT所指定的基矩陣,判別式矩陣Wi通過對表示模式特征的多個特征矢量xi進行線性判別式分析而獲得,判別式矩陣WT通過使用判別式矩陣對通過對矢量xi進行線性變換而獲得的矢量yi進行組合獲得的特征矢量y進行線性判別式分析而事先獲得;以及線性變換裝置,用于通過使用由所述基矩陣存儲裝置所存儲的基矩陣來變換模式的特征矢量從而壓縮特征維數(shù)。
根據(jù)本發(fā)明的計算機可讀存儲介質(zhì)是其中記錄有用于使計算機通過線性變換來執(zhí)行模式特征提取以壓縮模式特征的特征維數(shù)的程序的計算機可讀存儲介質(zhì),所述程序的特征在于包括用于執(zhí)行如下功能的程序通過多個特征矢量xi來表達模式特征、事先獲取通過對每一個特征矢量xi進行線性判別式分析而獲得的特征矢量的判別式矩陣Wi、以及通過對將對矢量xi進行線性變換獲得的yi組合起來獲得的特征矢量y進行線性判別式分析而事先獲得判別式矩陣WT,以及通過由判別式矩陣Wi和判別式矩陣WT所指定的線性變換來變換模式的特征矢量,壓縮特征維數(shù)。
根據(jù)本發(fā)明的圖像特征提取方法的特征是,包括通過使用預定的數(shù)學表達式來計算輸入歸一化圖像的傅立葉譜,獲得傅立葉譜矢量;從歸一化圖像的部分圖像的傅立葉幅度中提取多塊傅立葉幅度矢量;通過使用基矩陣對傅立葉譜矢量和多塊強度矢量進行特征矢量投影,獲得傅立葉譜矢量和多塊強度矢量的歸一化矢量;將歸一化矢量進行組合,形成組合的傅立葉矢量,并通過使用第二基矩陣,獲得耦合值的投影矢量;以及通過量化投影矢量,提取傅立葉特征。


圖1為框圖,示出了根據(jù)本發(fā)明的一個實施例的模式特征提取設備的結(jié)構(gòu);圖2示出了對現(xiàn)有技術(shù)的解釋;圖3示出了對模式特征分布的解釋;圖4為框圖,示出了根據(jù)本發(fā)明第二實施例的模式特征提取設備的結(jié)構(gòu);圖5示出了對本發(fā)明實施例的解釋;圖6示出了對本發(fā)明實施例的解釋;圖7為框圖,示出了根據(jù)本發(fā)明第三實施例的人臉圖像匹配系統(tǒng)的結(jié)構(gòu);圖8示出了對本發(fā)明實施例的解釋;圖9示出了對本發(fā)明實施例的解釋;圖10示出了對本發(fā)明實施例的解釋;
圖11示出了對本發(fā)明實施例的解釋;圖12示出了對本發(fā)明實施例的解釋;圖13示出了對本發(fā)明實施例的解釋;圖14示出了對本發(fā)明實施例的解釋;圖15示出了根據(jù)本發(fā)明第五實施例的人臉描述的例子;圖16示出了在本發(fā)明第五實施例中使用二進制表示法時的規(guī)則例子;圖17示出了對如何提取本發(fā)明第五實施例中的傅立葉特征(FourierFeature)的解釋;圖18示出了在本發(fā)明第五實施例中傅立葉譜掃描方法的例子;圖19是一個表,示出了在本發(fā)明第五實施例中傅立葉譜掃描規(guī)則的例子;圖20是一個表,示出了在本發(fā)明第五實施例中用于CentralFourierFeature元素的傅立葉空間中的掃描區(qū)域的例子;圖21示出了本發(fā)明第五實施例的框圖的例子。
具體實施例方式
(第一實施例)現(xiàn)在參考附圖來詳細講述本發(fā)明的實施例。圖1為框圖,示出了根據(jù)本發(fā)明的模式特征提取設備。
下面來詳細講述該模式特征提取設備。
如圖1所示,根據(jù)本發(fā)明的模式特征提取設備包括第一線性變換裝置11,用于對輸入特征矢量x1進行線性變換;第二線性變換裝置12,用于對輸入特征矢量x2進行線性變換;以及第三線性變換裝置13,用于接收經(jīng)過線性變換裝置11和12變換和降維的特征矢量,并且對其進行線性變換。各個線性變換裝置通過使用事先通過訓練所獲取并存儲在判別式矩陣存儲裝置14、15和16中的判別式矩陣,基于判別式分析來執(zhí)行基本變換。
輸入特征特征矢量x1和x2為根據(jù)字符識別、人臉確認等目的所提取的特征量,并且包括例如從圖像的梯度特征計算出的方向特征、以及不亞于圖像像素值的密度特征。每一個矢量包括多個元素。在這種情況下,例如,N1方向特征作為一個特征矢量x1被輸入,而其他的N2密度值作為特征矢量x2被輸入。
判別式矩陣存儲裝置14和15存儲通過對特征矢量x1和x2執(zhí)行線性判別式分析而獲取的判別式矩陣W1和W2。
如上所述,參照根據(jù)它們的類所準備的訓練樣本中的特征向量,可以通過計算類內(nèi)協(xié)方差矩陣∑W(方程式(2))和類間協(xié)方差矩陣∑B(方程式(3))來獲取判別式矩陣。每一個類ωi的似然概率P(ωi)可以寫為P(ωi)=ni/n,樣本數(shù)ni是一一映射的。
參照這些協(xié)方差矩陣,通過選擇與方程式(6)中表示的特征值問題中的較大特征值相對應的特征矢量Wi,可以獲取判別式矩陣。
當參照特征矢量x1和x2來選擇小于輸入特征維N1和N2的M1維和M2維的基時,通過投影變換為判別式基可以獲取M1維和M2維的特征矢量y1和y2。
y1=W1Tx1]]>y2=W2Tx2...(7)]]>在這種情況下,矩陣W1和W2的大小分別為M1×N1和M2×N2。
通過大幅度地減少待投影的特征空間的維數(shù)M1和M2,可以有效地減少特征維的個數(shù)。這可以有效地減少數(shù)據(jù)量和提高處理速度。但是,如果特征維的個數(shù)減少得太多,判別式性能就會惡化。這是因為隨著特征維個數(shù)的減少,失去了有效用于判別的特征量。
出于這一原因,特征矢量的維數(shù)M1和M2易受訓練樣本數(shù)的影響,并且優(yōu)選情況下要由實驗來決定。
第三線性變換裝置13將由第一和第二線性變換裝置計算出的矢量y1和y2,作為輸入特征矢量y投影到判別式空間。與計算第一和第二判別式矩陣的情況相同,要存儲到判別式矩陣存儲裝置16中的判別式矩陣W3是從訓練樣本中獲取的。輸入特征矢量y的元素排列如下面的方程式(8)所示y=y1y2...(8)]]>與方程式(7)的情況相同,通過使用基矩陣W3(矩陣的大小為L×(M1+M2)),根據(jù)方程式(9)來投影第L維特征矢量y,并獲得待輸出的特征矢量z。
Z=W3Ty...(9)]]>這樣,每一個特征矢量都獲得分解,并對維數(shù)較小的特征矢量的訓練樣本進行線性判別式分析,從而抑制在高維特征矢量中常發(fā)生的估計誤差,并獲取有效用于判別的特征。
在上述情況下,所提供的三個線性變換裝置同時并且分步執(zhí)行處理。不過,由于線性判別式裝置基本是通過積-和計算單元實現(xiàn)的,因此通過根據(jù)待進行線性變換的輸入特征矢量來切換待讀出的判別式矩陣,可以共用一個線性變換裝置。
這樣,通過使用一個線性變換裝置,就可以減少必需的計算單元的尺寸。
從方程式(7)、(8)和(9)可以看出,輸出特征矢量z的計算可以表示為Z=W3Ty1y2]]>=W3TW1Tx1W2Tx2]]>=W3TW1T00W2Tx1x2]]>=WTx1x2...(10)]]>也就是說,使用各個判別式矩陣的線性變換可以合并成使用一個矩陣的線性變換。在分步計算處理中,積-和計算的次數(shù)為L×(M1+M2)+M1N1+M2N2。當矩陣被合并成一個矩陣時,積-和計算的次數(shù)為L×(N1+N2)。如果例如N1=N2=500,M1=M2=200,并且L=100,則在分步計算處理中需要進行240,000次積-和計算。在稍后的計算處理中,需要進行100,000次積-和計算。由于在后面情況下,批計算處理中的計算量小于前面的情況,因此可以實現(xiàn)高速計算。從數(shù)學表達式可以明顯看到,當要減少最終維數(shù)L時,批計算方法可以減少計算量,因此是有效的。
(第二實施例)根據(jù)上述情況,當不同種類的特征例如方向特征和密度特征等組合在一起時,則要對特征矢量重復執(zhí)行判別式分析,該特征矢量中的每一個矢量都執(zhí)行了判別式分析。不過,與一個特征相對應的多個元素可以被分成多個矢量,判別式分析可以針對作為輸入特征的每一個元素集,并且相應的投影矢量進一步需要作判別式分析。
在第二實施例中將講述人臉圖像特征提取設備。
如圖4所示,根據(jù)第二發(fā)明的人臉圖像特征提取設備包括圖像特征解構(gòu)裝置41,用于對輸入的人臉圖像進行密度特征解構(gòu);線性變換裝置42,用于根據(jù)與特征矢量相對應的判別式矩陣來投影特征矢量;以及判別式矩陣組存儲裝置43,用于存儲上述各個判別式矩陣。
從人臉圖像提取特征的技術(shù)包括在眼部等部位對人臉圖像進行定位和將密度值設為矢量特征的方法,如上述W.Zhao等人的文章中所公開的。
同樣是在第二發(fā)明中,圖像的像素密度值被作為輸入特征,也就是原始特征來處理。不過,圖像特征具有較大的圖像尺寸,例如,42×54像素=2352維,且左眼和右眼的中心位置的坐標規(guī)定為(14,23)和(29,23)。對于這么大的特征維數(shù),通過使用有限的訓練樣本來直接執(zhí)行線性判別分析,難以進行高精度的特征提取。因此,通過對圖像特征元素進行解構(gòu),對所解構(gòu)的特征進行判別式分析,并獲取判別式矩陣,可以抑制在進行主成分分析等時所引起的特征惡化。
對圖像特征進行解構(gòu)的方法之一是分割圖像。例如,如圖5所示,圖像被分成9個部分,每一個部分的尺寸是14×18像素(=252維),具有不同尺寸的局部圖像被設定為特征矢量x(i=1,2,3,...,9),并且通過使用訓練樣本,對各個部分圖像進行判別式分析,從而事先獲取與各個特征矢量相對應的判別式矩陣Wi。
注意,當對圖像進行分割時,假設區(qū)域有重疊,這使得在特征矢量中,特征量有可能基于交界區(qū)域中像素之間的相關(guān)性實現(xiàn)映射。因此,在重疊之后可以對各個區(qū)域進行采樣。
由于與原始圖像相比,特征維數(shù)大幅度地降到252,因此通過從幾百幅中的每一個,即總共幾千幅人臉圖像中,采樣幾幅圖像,可以對基于判別式分析的基矩陣進行高精度計算。如果特征維數(shù)與初始特征一樣大(2352維),為了獲得與基于判別式分析的特征相類似的效果,就必須采樣幾千幅單個的人臉圖像。不過,實際上很難收集如此大量的圖像數(shù)據(jù),因此該技術(shù)不可能實現(xiàn)。
假設第一階段判別式特征將每一個局部區(qū)域中的特征壓縮到20維特征。在這種情況下,所產(chǎn)生的輸出特征矢量成為9區(qū)域×20維=180維的特征矢量。通過進一步對該特征矢量進行判別式分析,可以將維數(shù)有效地降到約50維。該第二階段判別式矩陣也存儲在判別式矩陣組存儲裝置43中,并且線性變換裝置42在接收到第一階段判別式特征的180維矢量時再次執(zhí)行判別式分析。注意,第一階段判別式矩陣和第二階段判別式矩陣可以被事先計算出來,如方程式(10)所表示的。不過,當將252維×9區(qū)域壓縮到20維×9區(qū)域,并將180維變換為50維時,兩個階段的計算將會減少所使用的存儲空間,并且使計算量減少到1/2或更少,因此是有效的。
通過局部和分步地應用判別式分析,可以抽取帶有高識別性能的人臉特征。假設在字符識別中,例如,中文字符“大”和中文字符“犬”被看成是相同的。在這種情況下,如果對每一個完整字符圖像進行主成分分析,以提取帶有較大特征值的成分,則有助于識別中文字符“大”和中文字符“犬”的特征就會丟失(出于這一原因,有時候通過使用特定的高序特征,而不是使用通過主成分分析所獲取的帶有較大特征值的那部分特征,來進行類似的字符識別)。在字符識別中將圖像分割成局部區(qū)域和抽取判別式特征的有效性,與相似字符識別中的問題是類似的??梢哉J為,與對整個主成分進行判別式分析相比,在空間上限定易于識別的特征可以確保每單元維具有較高的精度。
另外,圖像特征解構(gòu)裝置41可以從整個圖像進行抽樣,并且對采樣圖像進行分割而不是對整個圖像進行分割,并針對每一個局部區(qū)域形成特征矢量。例如,當主特征除以9被分成252維矢量時,采樣是在3×3區(qū)域中進行的,如圖6所示。也就是說,所采樣的圖像成為位置稍有不同的縮簡圖像。這些縮簡圖像經(jīng)過光柵掃描,變換成9個特征矢量。這些特征矢量被用作主矢量,以計算判別式分量。這些判別式分量可以被集成,以再次執(zhí)行判別式分析。
(第三實施例)現(xiàn)在參照附圖來詳細講述本發(fā)明的另一實施例。圖7為框圖,示出了根據(jù)本發(fā)明的使用了人臉元數(shù)據(jù)生成設備的人臉圖像匹配系統(tǒng)。
下面來詳細講述人臉圖像匹配系統(tǒng)。
如圖7所示,根據(jù)本發(fā)明的人臉圖像匹配系統(tǒng)包括人臉圖像輸入單元71,用于輸入人臉圖像;人臉元數(shù)據(jù)生成單元72,用于生成人臉元數(shù)據(jù);人臉元數(shù)據(jù)存儲單元73,用于存儲所抽取的人臉元數(shù)據(jù);人臉相似度計算單元74,用于根據(jù)人臉元數(shù)據(jù)來計算人臉相似度;人臉圖像數(shù)據(jù)庫75,用于存儲人臉圖像;控制單元76,用于根據(jù)圖像存儲請求/圖像檢索請求來控制圖像的輸入、元數(shù)據(jù)的生成、元數(shù)據(jù)的存儲,以及人臉相似度的計算;以及顯示單元77,用于顯示人臉圖像和其他信息。
人臉元數(shù)據(jù)生成單元72包括區(qū)域裁剪裝置721,用于從輸入人臉圖像裁剪人臉區(qū)域;以及人臉圖像特征提取裝置722,用于提取裁剪區(qū)域的人臉特征。人臉元數(shù)據(jù)生成單元72通過提取人臉特征矢量來生成有關(guān)人臉圖像的元數(shù)據(jù)。
當要存儲人臉圖像時,通過使用諸如掃描儀或錄相機等人臉圖像輸入單元71來輸入人臉照片等,并調(diào)整人臉的尺寸和位置??蛇x情況下,人臉可以從錄相機等直接輸入。在這種情況下,優(yōu)選情況下通過使用類似于Moghaddam的上述文獻中所公開的人臉探測技術(shù)等,來探測輸入圖像的人臉位置,并且人臉圖像的尺寸等自動地進行歸一化。
需要的話可以將輸入人臉圖像存儲在人臉圖像數(shù)據(jù)庫75中。在存儲人臉圖像的同時,人臉元數(shù)據(jù)生成單元72生成人臉元數(shù)據(jù),并且將其存儲在人臉元數(shù)據(jù)存儲單元73中。
在檢索時,人臉圖像輸入單元71輸入人臉數(shù)據(jù),并且與存儲的情況一樣,人臉元數(shù)據(jù)生成單元72生成人臉元數(shù)據(jù)。所創(chuàng)建的人臉元數(shù)據(jù)或者存儲在人臉元數(shù)據(jù)存儲單元73中,或者直接送到人臉相似度計算單元74。
在檢索操作中,當要核對數(shù)據(jù)庫中是否存在與事先輸入的人臉圖像相同的數(shù)據(jù)時(人臉識別),計算出了輸入人臉圖像與人臉元數(shù)據(jù)存儲單元73中所存儲的每一個數(shù)據(jù)之間的相似度。控制單元76根據(jù)顯示出最高相似度的結(jié)果,從人臉圖像數(shù)據(jù)庫75中選擇人臉圖像,并且在顯示單元77等上顯示人臉圖像。然后操作者核對檢索圖像和存儲圖像中人臉的一致性。
當要核對事先通過ID號等指定的人臉圖像是否與所檢索的人臉圖像相一致時(人臉確認),人臉相似度計算單元74進行計算,以核對由ID號指定的人臉圖像是否與所檢索的圖像相一致。如果計算出的相似度低于預定相似度,則確定兩幅圖像相互不一致,并且將結(jié)果顯示在顯示單元77上。假設該系統(tǒng)用于門禁管理。在這種情況下,通過使控制單元76將打開/關(guān)閉控制信號發(fā)送到自動門以便控制自動門而不是通過顯示人臉圖像,就可以執(zhí)行門禁管理。
人臉圖像匹配系統(tǒng)以上述方式運行。這一運行可以在計算機系統(tǒng)上實施。例如,通過存儲下面將詳細講述的用于執(zhí)行元數(shù)據(jù)生成的元數(shù)據(jù)生成程序和存儲器中的相似度計算程序,并執(zhí)行這些使用了程序控制處理器的程序,可以實現(xiàn)人臉圖像匹配。
另外,可以將這些程序記錄在計算機可讀記錄介質(zhì)上。
下面來詳細講述該人臉圖像匹配系統(tǒng)的運行,并且更為確切地說,將要講述人臉元數(shù)據(jù)生成單元72和人臉相似度計算單元74的運行。
(1)人臉元數(shù)據(jù)的生成通過使用位置和尺寸已經(jīng)歸一化了的圖像I(x,y),人臉元數(shù)據(jù)生成單元72提取人臉特征量。在對位置和尺寸進行歸一化時,優(yōu)選情況下將眼部位置設定為(16,24)和(31,24),并將尺寸設定為46×56像素。在下面的情況中,圖像已經(jīng)歸一化為該尺寸。
然后,區(qū)域裁剪裝置721將人臉圖像裁剪成多個預定的局部區(qū)域。在上述圖像的情況中,例如一個區(qū)域為經(jīng)過歸一化的整個人臉圖像(f(x,y)),另一個區(qū)域為位于人臉中心的32×32像素的中心區(qū)域g(x,y)。可以對該區(qū)域進行裁剪,以便兩個眼睛的位置被設定為(9,12)和(24,12)。
之所以以上述方式來裁剪人臉的中心區(qū)域,原因是通過裁剪一個即使發(fā)型變化也不受發(fā)型等影響的范圍(例如,當人臉確認用于家庭機器人時,即使發(fā)型在洗澡前后有所變化,也可以進行確認),可以提取穩(wěn)定的特征。如果發(fā)型等沒有變化(例如,視頻片斷的場景中的身份識別),由于使用包括有發(fā)型的圖像來進行身份驗證預計會提高識別性能,因此裁剪的是包括有發(fā)型的大型人臉圖像以及人臉的中心部分的小型人臉圖像。
然后,人臉圖像特征提取裝置722對兩個經(jīng)過裁剪的區(qū)域f(x,y)執(zhí)行二維離散傅立葉變換,以提取人臉圖像特征。
圖8示出了人臉圖像特征提取裝置722的更為詳細的結(jié)構(gòu)。人臉圖像特征提取裝置包括傅立葉變換裝置81,用于對經(jīng)過歸一化的裁剪圖像執(zhí)行離散傅立葉變換;傅立葉功率計算裝置82,用于計算經(jīng)過傅立葉變換的傅立葉頻率分量的功率譜;線性變換裝置83,用于將通過對通過傅立葉變換裝置81計算出的傅立葉頻率分量的實部和虛部進行光柵掃描而獲得的特征矢量看作是一維特征矢量,并從特征矢量的主成分中提取判別式特征;基矩陣存儲裝置84,用于存儲用于變換的基矩陣;線性變換裝置85,用于以與上述相同的方式從功率譜中提取主成分的判別式特征;以及基矩陣存儲裝置86,用于存儲用于變換的基矩陣。人臉圖像特征提取裝置722進一步包括線性變換裝置88,用于將傅立葉特征的實部和虛部的判別式特征和功率譜的判別式特征的每一個歸一化為尺寸為1的矢量,并計算通過組合兩個特征矢量而獲得的矢量的判別式特征;以及判別式矩陣存儲裝置89,用于為判別式特征存儲判別式矩陣。
在使用這種結(jié)構(gòu)提取了傅立葉頻率特征之后,對包括傅立葉頻率分量的實部和虛部作為元素的特征矢量以及包括功率譜作為元素的特征矢量,進行主成分判別式特征的計算,并且再次對通過組合上述矢量而獲得的特征矢量進行計算,從而計算出入臉的特征量。
下面來更為詳細地講述每一個操作。
傅立葉變換裝置81對輸入圖像f(x,y)(x=0,1,2,...,M-1,y=0,1,2,...,N-1)執(zhí)行二維傅立葉變換,以根據(jù)方程式(11)來計算傅立葉特征F(u,v)。該方法已經(jīng)廣為人知,并且在例如Rosenfeld等人的“數(shù)字圖像處理”(Kindai Kagaku Sha,pp.20-26)中有述,因此這里省略了對它的講述。
F(u,v)=Σx=0M-1Σy=0N-1f(x,y)exp(-2Πi(xuM+yuN))---(11)]]>根據(jù)方程式(12),傅立葉功率計算裝置通過獲取傅立葉特征F(u,v)的尺寸來計算傅立葉功率譜|F(u,v)|。
|F(u,v)|=|Re(F(u,v))|2+|Im(F(u,v))|2---(12)]]>以這種方式獲得的二維傅立葉譜F(u,v)和| F(u,v)|是通過僅對二維實部進行變換而獲得的,獲得的傅立葉頻率分量是對稱的。因此,這些譜圖像F(u,v)和| F(u,v)|具有M×N個分量(u=0,1,...,M-1,v=0,1,...,N-1),并且這些分量中的一半,也就是M×N/2個分量(u=0,1,...,M-1,v=0,1,...,N-1),和其余的一半分量基本上是等價的。因此,通過使用一半分量作為特征矢量,可以執(zhí)行隨后的處理。顯然,通過省略對沒有用作為傅立葉變換裝置81和傅立葉功率計算裝置82中的特征矢量的元素的那些分量的計算,可以使計算獲得簡化。
然后,線性變換裝置83將抽取作為頻率特征的特征量做為矢量來處理。事先要限定的部分空間是由通過準備人臉圖像集以用于對相應裁剪區(qū)域中的頻率特征矢量的主成分進行訓練和執(zhí)行判別式分析而獲得的基矢(特征矢量)來設定的。由于該基矢是通過包括W.Zhao的著作在內(nèi)的各種文獻中都有講述的廣為熟知的方法而獲得的,因此這里省略了對它的講述。之所以不直接執(zhí)行判別式分析的原因是,通過傅立葉變換而獲得的特征矢量的維數(shù)太大,不能直接進行判別式分析。雖然主成分判別式分析中的現(xiàn)存問題還沒有獲得解決,但是該技術(shù)是提取第一階段特征矢量技術(shù)的一種選擇??蛇x情況下,可以使用通過重復判別式分析的方法而獲得的基矩陣。
也就是說,通過對通過光柵掃描頻率特征的實部和虛部而獲得的一維特征矢量x1的主成分進行判別式分析,可以事先通過訓練樣本而獲得要存儲在基矩陣存儲裝置84中的主成分判別式矩陣Φ1。在這種情況下,并不需要總是將傅立葉特征作為復數(shù)來處理,可以通過將虛部處理成另一個特征元素而將其作為實數(shù)來處理。
假設ψ1為用于主成分的基矩陣,并且W1為通過對主成分的矢量進行判別式分析而獲得的判別式矩陣,主成分的判別式矩陣Φ1可以表示為Φ1T=W1TΨ1T...(13)]]>如果通過主成分分析而降低的維數(shù)約為原始特征的傅立葉特征的1/10(約200維),就夠用了。之后,該判別式矩陣將維數(shù)減低到約70。該基矩陣事先可從訓練樣本中計算出來,并且作為信息存儲在基矩陣存儲裝置84中。
同樣是在傅立葉譜|F(u,v)|的情況下,通過光柵掃描,譜被表示成一維特征矢量,并且基矩陣Φ2T=Ψ2TW2T]]>事先可通過訓練樣本獲得,這是通過對特征矢量的主成分進行判別式分析獲得的。
通過這種方式對傅立葉特征的每一個分量計算主成分判別式特征,可以獲得傅立葉分量的實部和虛部的特征矢量x1的主成分判別式特征y1,以及功率譜的特征矢量x2的主成分判別式特征y2。
歸一化裝置87將每一個所獲得的特征矢量的尺寸歸一化為尺寸為1的單位矢量。在這種情況下,矢量長度隨著用于測量矢量的原點位置而變化,因此它的參考點必須是事先確定的。在這種情況下,如果通過使用從所投影的特征矢量yi的訓練樣本中獲得的平均矢量mi來設定參考點,就足夠了。通過將平均矢量設定為參考點,特征矢量就分布在參考點的周圍。在高斯分布的情況中,特別地,特征矢量是各向同性分布的。這使得在特征矢量最終量化的情況下易于限定分布區(qū)。
也就是說,通過使用平均矢量mi將特征矢量yi歸一化為單位矢量而獲得的矢量yi0可以表示為yi0=yi-mi|yi-mi|...(14)]]>以這種方式,提供的歸一化裝置事先將與傅立葉功率的實數(shù)和虛數(shù)相關(guān)聯(lián)的特征矢量y1和與功率相關(guān)聯(lián)的特征矢量y2歸一化為單位矢量。這就有可能將兩種不同類型的特征量的大小歸一化,并使特征矢量的分布特征比較穩(wěn)定。
另外,由于在降維處理中,在用于識別所需的特征空間內(nèi)這些矢量的大小已經(jīng)被歸一化了,因此與其中歸一化是在包含有更多被刪除噪音的特征空間內(nèi)執(zhí)行的情況相比,可以實現(xiàn)抗噪音的歸一化魯棒性。該歸一化可以除去諸如與整個流明強度成正比的可變分量等可變元素的影響,這是很難通過簡單的線性變換除去的。
以這種方式歸一化的特征矢量y10和y20以與(方程式8)相同的方式組合成一個特征矢量y,并且通過使用通過執(zhí)行線性判別式分析而獲得的判別式矩陣W3,將所組合的特征矢量y投影到判別式空間,從而獲得輸出特征矢量z。用于這一目的的判別式矩陣W3存儲在判別式矩陣存儲裝置89中,并且線性變換裝置88執(zhí)行用于這一目的的投影計算,例如計算24維特征矢量z。
當輸出特征矢量z以每元素5個比特來量化時,每一個元素的大小已經(jīng)事先被歸一化了。例如,根據(jù)每一個元素的方差值,事先對每一個元素的大小進行歸一化。
也就是,事先獲得了特征矢量z的每一個元素zi的訓練樣本中的標準差值σi,并且執(zhí)行歸一化以滿足z0=16Zi/3σi。假設大小為5比特。在這種情況下,如果大小經(jīng)過量化后其值落入-16~15的范圍內(nèi),就足夠了。
在這種情況下,歸一化的計算就是每一個元素乘以標準差的倒數(shù)??紤]到矩陣∑具有σi作為對角線元素,因此歸一化矢量z0變成z0=∑z。也就是說,由于執(zhí)行了簡單的線性變換,∑可以事先應用到判別式矩陣W3中,如方程式(15)所示。
W3OT=ΣW3T...(15)]]>以這種方式執(zhí)行歸一化可以執(zhí)行定量化所必需的范圍校正。另外,由于通過使用標準差來執(zhí)行歸一化,因此在整理(collation)時,在計算模式間距離的范式中僅通過計算簡單的L2范式就可以執(zhí)行基于Mahalanobis距離的計算,從而減少了整理時的計算量。
如上所述,人臉圖像特征提取裝置722以這種方式從歸一化圖像f(x,y)中提取特征矢量zf。相對于只通過裁剪人臉的中心部分而獲得的圖像g(x,y),人臉圖像特征提取裝置722以上述相同方式提取出了特征矢量zg。通過使用人臉元數(shù)據(jù)生成單元作為人臉特征量z來提取兩個特征矢量zf和zg。
注意,計算機可以通過計算機程序來執(zhí)行上述人臉元數(shù)據(jù)生成序列。另外,可以將該程序記錄在計算機可讀記錄介質(zhì)上。
(2)人臉相似度計算下面來講述人臉相似度計算單元74的運行。
通過使用從兩個人臉元數(shù)據(jù)獲得的K維特征矢量z1和z2,人臉相似度計算單元74計算出相似度d(z1,z2)。
例如,通過方程式(16)的平方距離來計算相似度。
d(z1,z2)=Σi=1Kαi|z1,i-z2,i|2---(16)]]>這里αi為權(quán)重因子。例如,如果采用每一個特征維zi的標準差的倒數(shù),就可以執(zhí)行基于Mahalanobis距離的計算。如果事先按照方程式(15)等對特征矢量進行歸一化,則由于事先采用可變值對基矩陣進行了歸一化,因此設定了Mahalanobis距離??蛇x情況下,相似度可以通過待比較的每一個特征矢量的余弦來計算獲得,如方程式(3)所示。
d(Z1,Z2)=Z1·Z2|Z1||Z2|...(17)]]>注意,當采用距離時,較大的值表示較低的相似度(人臉不相類似),而當采用余弦時,較大的值表示較高的相似度(人臉相類似)。
根據(jù)以上講述,存儲了一張人臉圖像后,可以通過使用一張人臉圖像來進行檢索。不過,當對某張人臉存儲了多張圖像,并通過使用一張人臉可以執(zhí)行檢索時,在存儲端可以對多個人臉元數(shù)據(jù)的每一個進行相似度的計算。
同樣地,當對某個人臉存儲了多張圖像并且通過使用多張圖像來執(zhí)行檢索時,通過獲得每一個組合的相似度的平均值或最小值來計算相似度,可以計算一個人臉數(shù)據(jù)的相似度。這表明通過將圖像序列看作為多個圖像,可以將本發(fā)明的匹配系統(tǒng)應用到圖像序列中的人臉確認。
參照附圖,上面已經(jīng)講述了本發(fā)明的實施例。不過,顯然本發(fā)明可以通過計算機可執(zhí)行程序來實施。
另外,程序可以記錄在計算機可讀記錄介質(zhì)上。
(第四實施例)下面參照附圖來詳細講述本發(fā)明的另一個實施例。本發(fā)明是為了改善根據(jù)第三發(fā)明的人臉元數(shù)據(jù)生成單元72。根據(jù)第三發(fā)明,計算出了具有通過對輸入人臉圖像執(zhí)行傅立葉變換而獲得的傅立葉頻率分量的實部和虛部的特征矢量主成分的判別式特征,以及以功率譜作為元素的特征矢量,并再次計算出了通過組合各個矢量而獲得的特征矢量的判別式特征,從而計算出人臉的特征量。在這種情況中,由于傅立葉功率譜反映出輸入圖像的全部特征量,因此包含有太多噪音(例如,嘴巴附近的像素的相對位置發(fā)生變化)的輸入像素的成分,與其余像素一樣也反映在功率譜中。結(jié)果,即使通過判別式分析選擇了有效的特征量,也無法獲得足夠的性能。在這種情況下,輸入圖像被分割成若干區(qū)域,并且對每一個局部區(qū)域執(zhí)行傅立葉變換。然后通過使用每一個局部區(qū)域的功率譜作為特征量,執(zhí)行判別式分析。這樣可以通過判別式分析來減少局部顯示出較差判別性能(較大的類內(nèi)方差)的區(qū)域的特征量的影響。
圖9用于解釋實施例,并且示出了特征提取處理的流程。在該實施例中,例如,32×32像素區(qū)域被分割成4個16×16像素區(qū)域、16個8×8像素區(qū)域、64個4×4像素區(qū)域、256個2×2像素區(qū)域和1024個1×1像素區(qū)域(這與輸入圖像基本上是相同的,因此輸入圖像不需分割就可以使用)(S1001)。在每一個分割區(qū)域中執(zhí)行傅立葉變換(S1002)。然后計算功率譜(S1003)。對所有的分割區(qū)域執(zhí)行上述計算(S1004)。改變區(qū)域的大小(S1005)。改變所有區(qū)域的大小(S1006)。圖10對處理流程進行了總結(jié)。提取以這種方式獲得的各個區(qū)域的所有功率譜的1024×5維=5120維特征量。
由于當訓練數(shù)據(jù)的量較小時,維數(shù)通常太大了,因此事先執(zhí)行主成分分析,以事先獲得可以減少維數(shù)的主成分分析的基礎。例如,合適的維數(shù)約為300。進一步對該維數(shù)的特征矢量執(zhí)行判別式分析,以獲得可以減少維數(shù)并且與顯示出較好的判別性能的特征軸相對應的基。事先計算出與主成分分析和判別式分析相對應的基(該基指的是PCLDA投影基ψ)。
通過使用使用了該PCLDA基的投影基ψ的線性計算來對5120維特征進行投影,可以獲得判別式特征z。通過對該特征進一步執(zhí)行定量化等,可以獲得人臉的特征量。
需要注意的是,通過考慮傅立葉功率譜的對稱性,并且除去而且不使用高頻分量,可以減少5120維特征量的維數(shù)。這樣可以實現(xiàn)高速訓練、減少所需數(shù)據(jù)量,并且實現(xiàn)高速特征提取。因此,優(yōu)選情況下可以按需要減少維數(shù)。
將區(qū)域分割成若干塊并且以這種方式復用傅立葉譜,(在1024個小塊的情況下),可以依次從相當于圖像特征的特征量中獲得具有變換不變性和局部特征量的特征量的多重表達式。通過判別式分析,從多重的、多余的特征表達式中選擇出對識別有效的特征量,從而獲得能夠提供較好的識別性能的集約特征量。
通過對圖像進行非線性計算而獲得傅立葉功率譜,這樣能夠計算出通過只對圖像進行基于線性計算的判別式分析而不能獲得的有效特征量。
雖然上面已經(jīng)講述了線性判別式分析對主成分的應用,但是通過使用kernel判別式分析(使用了稱為Kernel Fisher判別式分析(KFDA)、Kernel判別式分析(KDA)或者一般判別式分析(GDA)等kernel技術(shù)的判別式分析),可以執(zhí)行第二階段特征提取。
關(guān)于kernel判別式分析的詳細講述可以參考Q.Liu等人的文獻(非專利參考文獻3“Kernel-based Optimized Feature Vectors Selection andDiscriminant Analysis for Face Recognition”(基于Kernel的優(yōu)化特征矢量選擇和用于人臉識別的判別式分析),IAPR模式識別國際會議論文集(ICPR),Vol.II,pp.362-365,2002)或者G.Baudat的文獻(非專利參考文獻4“Generalized Discriminant Analysis Using a KernelApproach”(使用Kernel方法的歸一化判別式分析),神經(jīng)計算,Vol.12,pp.2385-2404,2000)。
通過使用kernel判別式分析來提取特征,可以增強非線性特征提取的效果,以利于有效特征的提取。
不過,在這種情況下,由于要處理5120維的大型特征矢量,因此甚至對于主成分分析都需要大量的內(nèi)存和大量的訓練數(shù)據(jù)。參照圖11,為了避免這一問題,對每一個塊單獨執(zhí)行主成分分析/判別式分析。之后,執(zhí)行兩階段判別式分析(線性判別式分析LDA)。這樣可以減少計算量。
在這種情況下,通過使用1024維特征量(如果維數(shù)降到一半,考慮到對稱性,則使用512維特征量)來對每一個區(qū)域執(zhí)行主成分分析和判別式分析,以事先獲得基矩陣ψ1(i=0,1,2,...,5)。然后通過使用其平均值來對每一個特征矢量進行歸一化,并且執(zhí)行第二階段LDA投影。
通過以這種方式對每一個塊進行處理,可以減少訓練所需數(shù)據(jù)數(shù)和計算機資源。這可以減少訓練最優(yōu)化所需要的時間。
注意,通過省略矢量歸一化處理和事先計算用于PCLDA投影的基矩陣和用于LDA投影的基矩陣,可以實現(xiàn)高速計算。
圖12用于解釋另一實施例,并且示出了特征提取處理的流程。在該實施例中,考慮到局部區(qū)域的傅立葉功率譜的變換普遍性和局部區(qū)域的可靠性,在多個階段(在圖12中為兩個階段)執(zhí)行了這種區(qū)域分割,以在多分辨率中提取多個功率譜作為特征量用于判別式分析。然后,使用通過判別式分析獲得的最優(yōu)判別空間來執(zhí)行特征提取。
假設輸入圖像f(x,y)具有32×32像素。在這種情況下,如圖10所示,提取整個圖像的功率譜|F(u,v)|,通過將整個圖像分割成4個區(qū)域而獲得的4個16×16像素區(qū)域的功率譜|F11(u,v)|、|F21(u,v)|、|F31(u,v)|和|F41(u,v)|,以及通過將整個圖像分割成16個區(qū)域而獲得的16個8×8像素區(qū)域的功率譜|F12(u,v)|、|F22(u,v)|、...、| F162(u,v)|來作為特征矢量。
考慮到真實圖像的傅立葉功率譜的對稱性,提取1/2就足夠了??蛇x情況下,為了避免用于判別式分析的特征矢量的尺寸的增加,在形成特征矢量時可以不采樣任何高頻分量用于判別。例如,如果通過采樣與低頻分量相對應的1/4譜來形成特征矢量,則可以減少所需的訓練樣本數(shù),或者可以縮短訓練和識別所需的處理時間。如果訓練數(shù)據(jù)量很小,則在事先通過主成分分析降低了特征維數(shù)之后再執(zhí)行判別式分析。
通過使用以這種方式提取的特征矢量x2f和事先準備的訓練集來執(zhí)行判別式分析,以事先獲得基矩陣ψ2f。圖9示出了用于從主成分中提取判別式特征的投影的例子(主成分線性判別式分析PCLDA)。通過使用基矩陣ψ2f來投影特征矢量x2f,并且對所投影的特征矢量的均值和大小進行歸一化,從而計算出特征矢量y2f。
同樣地,通過使用基矩陣ψ1f的線性計算處理,對通過組合傅立葉頻率的實部和虛部而獲得的特征矢量x2f進行投影,可以獲得維數(shù)獲得降低的特征矢量,并且對矢量的均值和大小進行歸一化,以計算出特征矢量y1f。通過使用判別式基ψ3f,再次對通過組合這些矢量而獲得的特征矢量進行投影以獲得特征矢量zf。該矢量被量化為例如5比特,以提取人臉特征量。
假設輸入為歸一化成大小為44×56像素的人臉圖像。在這種情況下,上述處理被應用到32×32像素的中心區(qū)域,以提取人臉特征量。另外,從44×56像素的整個人臉的多個分割區(qū)域中,包括整個44×56像素區(qū)域、4個22×28像素區(qū)域、以及16個11×14像素區(qū)域,也可以提取出人臉特征量。
圖13示出了另一實施例,其中對每一個局部區(qū)域執(zhí)行實部、虛部和功率譜的組合的PCLDA投影,或者分別執(zhí)行通過組合實部和虛部而獲得的特征的PCLDA投影以及功率譜的PCLDA投影,并且最后執(zhí)行LDA投影,如圖14所示。
(第五實施例)下面參照附圖來詳細講述本發(fā)明的另一實施例。
該實施例使用了本發(fā)明的人臉特征描述方法和人臉特征描述符。圖15示出了對人臉特征量的描述來作為人臉特征描述的例子,它使用了ISO/IEC FDIS 15938-3“Information technology Multimedia contentdescription interface-Part 3Visual”(信息技術(shù)多媒體內(nèi)容描述接口)中的DDL表示法(描述定義語言表示法)。
在這種情況下,為了描述名為“AdvancedFaceRecognition”的人臉特征,提供了名稱為“FourierFeature”和“CentralFourierFeature”的元素。每一個“FourierFeature”和“CentralFourierFeature”都是5比特無符號整數(shù),這表示它可以具有24維至63維的分量。
圖16示出了在使用二進制語法作為數(shù)據(jù)表示的情況下的規(guī)則。根據(jù)該規(guī)則,F(xiàn)ourierFeature和CentralFourierFeature的矩陣式分量的大小以numOfFourierFeature和numOfCentralFourierFeature存儲在6比特無符號整數(shù)字段中,并且FourierFeature和CentralFourierFeature的每一個分量都是以5比特無符號整數(shù)的形式存儲的。
下面來更為詳細地講述使用了本發(fā)明的這些人臉特征的描述。
I.numofFourierFeature該字段確定了FourierFeature的分量個數(shù)。容許的范圍是從24至63。
II.numOfCentralFourierFeature該字段確定了CentralFourierFeature的分量個數(shù)。容許的范圍是從24至63。
III.FourierFeature該元素表示基于歸一化人臉圖像的傅立葉特征的級聯(lián)LDA的人臉特征。歸一化的人臉圖像是通過將原始圖像縮放成56行而獲得的,每一行具有46個流明值。歸一化后人臉圖像的兩個眼睛的中心位置應該位于第24行,左眼和右眼分別在第16列和第31列。
FourierFeature元素來自兩個特征矢量;一個是傅立葉譜矢量x1f,另一個是多塊傅立葉幅度矢量x2f。圖17解釋了FourierFeature的提取過程。給定一歸一化人臉圖像,要提取元素需要執(zhí)行5個步驟(1)提取傅立葉譜矢量x1f,(2)提取多塊傅立葉幅度矢量x2f,(3)對使用PCLDA基矩陣ψ2f、ψ2f的特征矢量進行投影,并且將它們歸一化成單位矢量y1f、y2f,(4)對使用LDA基矩陣ψ3f的單位矢量的聯(lián)合傅立葉矢量y3f進行投影,(5)對所投影的矢量zf進行量化。
步驟1)傅立葉譜矢量的提取給定歸一化人臉圖像f(x,y),通過如下方程式來計算f(x,y)的傅立葉譜F(u,v)F(u,v)=Σx=0M-1Σy=0N-1f(x,y)exp(-2πi(xuM+yvN))(u=0,...,M-1;v=0,...,N-1)...(18)]]>其中M=46,N=56。傅立葉譜矢量x1f被定義為傅立葉譜的掃描分量集。圖18示出了傅立葉譜的掃描方法。在傅立葉范圍內(nèi),只對兩個矩形區(qū)域區(qū)域A和區(qū)域B進行掃描。掃描規(guī)則在圖1 9中有總結(jié)。這里,SR(u,v)表示區(qū)域R的左上角坐標,ER(u,v)表示區(qū)域R的右下角坐標。因此,傅立葉譜矢量x1f表示為x1f=Re[F(0,0)]..Re[F11,0)]Re[F(35,0)]..Re[F(45,0)]..Re[F(45,13)]Im[F(0,0)]..Im[F(11,0)]Im[F(35,0)]..Im[F(45,0)]..Im[F(45,13)]...(19)]]>傅立葉譜矢量x1f的維數(shù)是644。
步驟2)多塊傅立葉幅度矢量x2f的提取在歸一化人臉圖像中,從部分圖像的傅立葉幅度中提取多塊傅立葉幅度矢量??墒褂萌齻€類型的圖像來作為部分圖像(a)完整圖像,(b)四分之一圖像,以及(c)1/16圖像。
(a)完整圖像通過將歸一化圖像f(x,y)裁剪成44×56尺寸的圖像并除去兩側(cè)的邊列,獲得了完整圖像f10(x,y),表示為
f10(x,y)=f(x+1,y)(x=0,1,...,43;y=0,1,2,...,55)...(20)(b)四分之一圖像通過將完整圖像f10(x,y)等分成4塊fk1(x,y)(k=1,2,3,4),獲得了四分之一圖像,表示為fk1(x,y)=f10(x+22sk1,y+28tk1)(x=0,1,...,21;y=0,1,...,27) ...(21)其中sk1=(k-1)%2,tk1=(k-1)/2。
(c)1/16圖像通過將完整圖像f10(x,y)等分成16塊fk2(x,y)(k=1,2,3,...,16),獲得了1/16圖像,表示為fk2(x,y)=f10(x+11sk2,y+14tk2)(x=0,1,...,10;y=0,1,...,13) ...(22)其中sk2=(k-1)%4,tk2=(k-1)/4。
由這些圖像可以計算獲得傅立葉幅度| Fkj(u,v)|,方法如下Fkj(u,v)=Σx=0Mj-1Σy=0Nj-1fkj(x,y)exp(-2πi(xuMj+yuNj)),...(23)]]>|Fkj(u,v)|=Re[Fkj(u,v)]2+Im[Fkj(u,v)]2]]>其中,Mj為每一個部分圖像的寬度,也就是說,M0=44,M1=22,M2=11。Nj表示每一個部分圖像的高度,也就是說,N0=56,N1=28,N2=14。
通過掃描1)完整圖像(k=1),2)四分之一圖像(k=1,2,3,4)以及3)1/16圖像(k=1,2,...,16)的每一個幅度| Fkj(u,v)|的低頻區(qū)域,獲得多塊傅立葉幅度矢量。掃描區(qū)域的定義如圖19所示。
因此,多塊傅立葉幅度矢量x2f表示如下xxf=|F10(0,0)|..|F10(43,13)||F11(0,0)|..|F11(21,6)||F21(0,0)|..|F21(21,6)||F31(0,0)|..|F41(21,6)||F12(0,0)|..|F162(10,2)|...(24)]]>x2f的維數(shù)為856。
步驟3)PCLDA投影和矢量歸一化通過使用PCLDA基矩陣ψ1f和ψ2f,對傅立葉譜矢量x1f和多塊傅立葉幅度矢量x2f分別進行投影,并將其歸一化成單位矢量y1f和y2f。歸一化矢量ykf(k=1,2)表示為ykf=ΨkfTxkf-mkf|ΨkfTxkf-mkf|...(25)]]>其中,PCLDA基矩陣ψkf和均值矢量mkf是分別通過對xkf的主成分和所投影的矢量的均值進行線性判別式分析而獲得的基矩陣。它們的值可以參考事先計算出的查找表。y1f和y2f的維數(shù)分別為70和80。
步驟4)聯(lián)合傅立葉矢量的LDA投影通過組合歸一化矢量y1f和y2f來形成150維聯(lián)合傅立葉矢量y3f,并且通過使用LDA基矩陣ψ3f對其進行投影。投影矢量zf表示如下zf=Ψ3fTy3f]]>=Ψ3fTy1fy2f...(26)]]>步驟5)量化使用下面的公式,在5比特無符號整數(shù)的范圍內(nèi)對zf的每一個元素進行裁剪 經(jīng)過量化的元素存儲為FourierFeature。FourierFeature
表示第一量化元素w0f,并且FourierFeature[numOfFourierFeature-1]對應于第numOfFourierFeature個元素wfnumOfFourierFeature-1。
IV.CentralFourierFeature該元素表示基于歸一化人臉圖像中心部分的傅立葉特征的級聯(lián)LDA的人臉特征。CentralFourierFeature的提取方式與FourierFeature類似。
從(7,12)開始,將圖像f(x,y)裁剪成32×32圖像,則獲得其中心部分g(x,y),方程式如下g(x,y)=f(x+7,7+12)(x=0,1,...,31;y=0,1,...,31) ...(28)步驟1)中心傅立葉譜矢量的提取g(x,y)的傅立葉譜G(u,v)計算如下
G(u,v)=Σx=0M-1Σy=0N-1g(x,y)exp(-2πi(xuM+yvN))(u=0,...,M-1;v=0,...,N-1)...(29)]]>其中M=32,N=32。通過掃描如圖20所定義的傅立葉譜G(u,v),產(chǎn)生了256維中心傅立葉譜矢量x1g。
步驟2)提取多塊中心傅立葉幅度矢量從(a)中心部分g10(x,y)、 (b)四分之一圖像gk1(x,y)(k=1,2,3,4),以及(c)1/1 6圖像gk2(x,y)(k=1,2,3,...,16)的傅立葉幅度中提取中心多塊傅立葉幅度矢量x2g。
(a)中心部分g10(x,y)=g(x,y)(x=0,1,...,31;y=0,1,...,31)...(30)(b)四分之一圖像gk1(x,y)=g(x+16sk1,y+16tk1)(x=0,1,...,15;y=0,1,...,15)...(31)其中sk1=(k-1)%2,tk1=(k-1)/2(c)1/16圖像gk2(x,y)=g10(x+8sk2,y+8tk2)(x=0,1,...,7;y=0,1,...,7) ...(32)其中sk2=(k-1)%4,tk2=(k-1)/4每一個圖像的傅立葉幅度|Gkj(u,v)|的計算方法如下Gkj(u,v)=Σx=0Mj-1Σy=0Nj-14gkj(x,y)exp(-2πi(xuMj+yvNj)),...(33)]]>|Gkj(u,v)|=Re[Gkj(u,v)]2+Im[Gkj(u,v)]2]]>其中M0=32,M1=16,M2=8,N0=32,N1=16,以及N2=8。通過掃描如圖20所定義的每一個幅度| Gkj(u,v)|,獲得多塊中心傅立葉幅度矢量x2g。
步驟3~5)中的處理與那些FourierFeature是相同的,例如,聯(lián)合中心傅立葉矢量y3g包括歸一化矢量y1g和y2g。事先計算并以查找表的形式準備用于CentralFourierFeature的基矩陣ψ1g、ψ2g和ψ3g以及均值矢量m1g和m2g。
CentralFourierFeature的大小用numOfCentralFourierFeature表示。
以這種方式獲得的人臉特征描述數(shù)據(jù)從描述長度來看非常簡潔,但是表現(xiàn)出很高的識別性能,因此是有效用于數(shù)據(jù)存儲和傳輸?shù)谋磉_式。
注意,本發(fā)明可以通過計算機可執(zhí)行程序來實施。在第五實施例的情況中,通過以計算機可讀程序來描述由圖17中步驟1~步驟5所表示的功能,并且在計算機上實現(xiàn)這些程序功能,就可以實施本發(fā)明。
另外,可以將該程序記錄在計算機可讀記錄介質(zhì)上。
當將如圖17所示的例子作為設備來實現(xiàn)時,可以實現(xiàn)圖21的框圖中所寫的所有或一些功能。更為確切地說,可以實現(xiàn)歸一化人臉圖像輸出裝置211、傅立葉譜矢量提取裝置212、多塊傅立葉幅度矢量提取裝置213和PCLDA投影/矢量歸一化裝置214中的所有或一些裝置。
根據(jù)上述每一個實施例,對于每一個元素矢量,通過判別式分析從輸入模式特征矢量中提取有效用于判別的特征矢量,并且通過使用判別式矩陣,通過判別式分析再次對所獲得的特征矢量進行特征提取。當減少特征維數(shù)時,這樣做可以抑制有效用于判別的特征量的減少,并且對用于有效特征提取的矢量進行變換。
對于其中判別式分析所需的訓練樣本個數(shù)有限的情況,即使存在大量模式特征量,上述每一個實施例仍然是有效的。也就是說,不需要使用主成分分析就可以減少特征維數(shù),同時抑制了有效用于識別的特征的丟失。
如上所述,在用于通過從輸入特征矢量中提取有效用于識別的特征矢量來壓縮特征維數(shù)的特征矢量變換技術(shù)中,根據(jù)本發(fā)明的圖像特征提取方法、圖像特征提取設備,以及模式識別領域中用于存儲相應程序的記錄介質(zhì)都是非常適用的。
權(quán)利要求
1.一種模式特征提取方法,其特征在于包括如下步驟使用不同的分割數(shù)目來分割輸入圖像,以獲得多個塊圖像;以及提取所述塊圖像的傅立葉幅度,以提取所述輸入圖像的特征量。
2.根據(jù)權(quán)利要求1所述的模式特征提取方法,其特征在于包括如下步驟掃描所述傅立葉幅度以提取多塊傅立葉幅度矢量,以及使用基矩陣投影所述多塊傅立葉幅度矢量以獲得投影矢量。
3.根據(jù)權(quán)利要求2所述的模式特征提取方法,其特征在于還包括如下步驟歸一化所述投影矢量,以獲得歸一化矢量。
4.根據(jù)權(quán)利要求2所述的模式特征提取方法,其特征在于所述基矩陣包括由轉(zhuǎn)換矩陣和判別式矩陣指定的基矩陣,所述轉(zhuǎn)換矩陣用于提取所述多塊傅立葉幅度矢量的主成分矢量,所述判別式矩陣對應于所述主成分矢量。
5.根據(jù)權(quán)利要求1至4中任何一項所述的模式特征提取方法,其特征在于獲得多個塊圖像的步驟獲得下述至少一個具有整個輸入圖像作為一個塊圖像的整個圖像、通過將整個輸入圖像分割為四個塊而獲得的四個塊圖像、和通過將輸入圖像分割為16個塊而獲得的16個塊圖像。
6.一種模式特征提取設備,包括圖像分割裝置,其使用不同的分割數(shù)目來分割輸入圖像,以獲得多個塊圖像;以及特征量提取裝置,其提取所述塊圖像的傅立葉幅度,以提取所述輸入圖像的特征量。
7.根據(jù)權(quán)利要求6所述的模式特征提取設備,還包括矢量提取裝置,用于掃描傅立葉幅度以提取多塊傅立葉幅度矢量;基矩陣存儲裝置,用于存儲分別對應于所述多塊傅立葉幅度矢量的各基矩陣,以及線性變換裝置,使用存儲在所述基矩陣存儲裝置中的基矩陣來投影所述多塊傅立葉幅度矢量以獲得投影矢量。
8.根據(jù)權(quán)利要求7所述的模式特征提取設備,還包括歸一化裝置,用于歸一化所述投影矢量。
9.根據(jù)權(quán)利要求7所述的模式特征提取設備,其中存儲在所述基矩陣存儲裝置中的基矩陣包括轉(zhuǎn)換矩陣和判別式矩陣指定的基矩陣,所述轉(zhuǎn)換矩陣用于提取所述多塊傅立葉幅度矢量的主成分矢量,所述判別式矩陣對應于所述主成分矢量。
10.根據(jù)權(quán)利要求6至9中任何一項所述的模式特征提取設備,其中,所述圖像分割裝置獲得下述中至少一個具有整個輸入圖像作為一個塊圖像的整個圖像、通過將整個輸入圖像分割為四個塊而獲得的四個塊圖像、和通過將輸入圖像分割為16個塊而獲得的16個塊圖像。
全文摘要
輸入模式特征量被分解成元素矢量。對于每一個特征矢量,事先準備了通過判別式分析而獲得的判別式矩陣。每一個特征矢量被投影到由判別式矩陣所定義的判別式空間中,并且維數(shù)得到壓縮。根據(jù)所獲得的特征矢量,使用判別式矩陣再次進行投影,以計算特征矢量,從而抑制了有效用于識別的特征量的減少,并且執(zhí)行有效的特征提取。
文檔編號G06K9/62GK101082955SQ200710112140
公開日2007年12月5日 申請日期2003年7月4日 優(yōu)先權(quán)日2002年7月16日
發(fā)明者龜井俊男 申請人:日本電氣株式會社
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1