本發(fā)明屬于機器學習與模式識別領域，尤其涉及一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法。

背景技術：

人臉識別因在公安、系統(tǒng)檔案、人機交互等方面的巨大應用前景而備受關注。人臉識別容易受到光照、表情、姿態(tài)等眾多因素的影響，而且圖像矢量空間的維數(shù)過高，識別的難度就越大。有效進行特征選擇以及如何將高維特征空間投影到一個合適的低維子空間就成為人臉識別領域的重要問題。

鄰域保持嵌入(neighborhoodpreservingembedding，npe)是局部線性嵌入的一種線性近似算法，具有保持數(shù)據(jù)流形上局部鄰域結構信息的能力。鄰域保持嵌入已經(jīng)在人臉識別問題中受到了廣泛的關注。但是，在人臉識別問題中，npe是作為一種無監(jiān)督的降維方法引入的，類似于其他的無監(jiān)督降維算法如主成分分析(principalcomponentanalysis，pca)、局部保持投影(localpreservingprojection，lpp)、稀疏保持投影(sparitypreservingprojection，spp)等，它們沒有利用已知樣本數(shù)據(jù)的類別信息。本發(fā)明利用已知樣本數(shù)據(jù)類別信息，并通過合適的核函數(shù)將原始數(shù)據(jù)映射到非線性空間，然后降維得到最佳子空間，提高分類效果。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題是在于克服上述已有技術的缺點，提出了一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法，該方法的主要特點是先通過核函數(shù)將訓練和測試樣例變換到非線性空間，然后利用已知訓練樣例的類別信息，學習訓練得到降維特征矩陣，從而使得樣本在判別子空間中具有更好的可分性。

本發(fā)明為解決上述技術問題采用以下技術方案

一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法，包含訓練和分類；

所述訓練具體包含如下步驟：

步驟1，核函數(shù)映射：

設已有原空間的訓練樣本集為其中，ci是xi的類別標簽，c表示類別數(shù)，n表示訓練樣本的總個數(shù)，d表示訓練樣本的維數(shù)；核函數(shù)能夠發(fā)掘非線性空間內在的幾何結構，通過函數(shù)φ:∈r^d→f將原始d維數(shù)據(jù)映射到非線性特征空間；其中函數(shù)φ為k(xi,xj)＝<φ(xi),φ(xj)>；

步驟2，訓練數(shù)據(jù)預處理：

對核函數(shù)映射后的空間樣本，根據(jù)距離和標簽類別構造近鄰重構權重矩陣和判別信息鄰接矩陣；

步驟3，獲取空間變換后的訓練樣本：

在學習到投影變換矩陣p后，首先獲得原空間樣本xi先映射到非線性空間φ(xi)，然后得到低維表示p^tφ(xi)，令vi＝p^tφ(xi)，則判別子空間的訓練集表示為

所述分類具體包含如下步驟：

步驟4，對核函數(shù)映射后待測樣本φ(x)，先利用投影變換p把它映射到判別子空間中，得到判別子空間中的測試樣本v＝p^tφ(x)；

步驟5，利用最近鄰分類器，對測試樣本v在判別子空間中進行分類。

作為本發(fā)明一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法的進一步優(yōu)選方案，在步驟1中，n＝105。

作為本發(fā)明一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法的進一步優(yōu)選方案，在步驟1中，d＝1024。

作為本發(fā)明一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法的進一步優(yōu)選方案，在步驟1中，c＝15。

作為本發(fā)明一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法的進一步優(yōu)選方案，在步驟2中，對已知訓練樣本，令knn(φ(xi))表示在f空間中xi的近鄰集合，近鄰重構權重系數(shù)矩陣w滿足下面的要求：

作為本發(fā)明一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法的進一步優(yōu)選方案，在步驟2中，對已知訓練樣本，信息矩陣h的構造如下：

即在核函數(shù)映射的f空間中，對不同類數(shù)據(jù)，如果xj是xi的k個最近鄰之一，xi是xj的k個最近鄰之一，那么hij＝1；對同類數(shù)據(jù)，如果xj是xi的k個最近鄰之一，xi是xj的k個最近鄰之一，則hij＝-1。

本發(fā)明采用以上技術方案與現(xiàn)有技術相比，具有以下技術效果：

本發(fā)明與判別近鄰嵌入算法相比，本發(fā)明能處理數(shù)據(jù)樣本分布不均衡問題，且識別率較高；通過核函數(shù)將訓練和測試樣例變換到非線性空間，然后利用已知訓練樣例的類別信息，學習訓練得到降維特征矩陣，從而使得樣本在判別子空間中具有更好的可分性。

附圖說明

圖1是本發(fā)明的系統(tǒng)圖。

具體實施方式

下面結合附圖對本發(fā)明的技術方案做進一步的詳細說明：

如圖1所示，一種基于核函數(shù)的有監(jiān)督近鄰保持嵌入方法，包含訓練和分類；

所述訓練具體包含如下步驟：

步驟1，核函數(shù)映射：

設已有原空間的訓練樣本集為其中，ci是xi的類別標簽，c表示類別數(shù)，n表示訓練樣本的總個數(shù)，d表示訓練樣本的維數(shù)；核函數(shù)能夠發(fā)掘非線性空間內在的幾何結構，通過函數(shù)φ:∈r^d→f將原始d維數(shù)據(jù)映射到非線性特征空間；其中函數(shù)φ為k(xi,xj)＝<φ(xi),φ(xj)>；

步驟2，訓練數(shù)據(jù)預處理：

對核函數(shù)映射后的空間樣本，根據(jù)距離和標簽類別構造近鄰重構權重矩陣和判別信息鄰接矩陣；

步驟3，獲取空間變換后的訓練樣本：

在學習到投影變換矩陣p后，首先獲得原空間樣本xi先映射到非線性空間φ(xi)，然后得到低維表示p^tφ(xi)，令vi＝p^tφ(xi)，則判別子空間的訓練集表示為

所述分類具體包含如下步驟：

步驟4，對核函數(shù)映射后待測樣本φ(x)，先利用投影變換p把它映射到判別子空間中，得到判別子空間中的測試樣本v＝p^tφ(x)；

步驟5，利用最近鄰分類器，對測試樣本v在判別子空間中進行分類。

下面對本發(fā)明的實例作詳細說明：本實例在以本發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范圍不限于下述的實例。

(1)本發(fā)明在yale人臉數(shù)據(jù)庫中進行了測試。yale人臉數(shù)據(jù)庫包含15人的165張人臉圖像，每人有11張圖像，每張圖像的表情和光照條件是：中央光照、眼睛/無眼睛、高興、常態(tài)、左側光照、右側光照、悲傷、睡眠、驚訝和眨眼。從數(shù)據(jù)庫中隨機選擇60％作為訓練樣本，余下的40％作為測試樣本。具體實施步驟如下：

(2)訓練模塊

1)核函數(shù)映射

設已有原空間的訓練樣本集為ci是xi的類別標簽，c表示類別數(shù)，n表示訓練樣本的總個數(shù)，d表示訓練樣本的維數(shù)。這里n＝105，d＝1024，c＝15。利用函數(shù)φ:∈r^d→f將原始d維數(shù)據(jù)映射到非線性特征空間，其中φ函數(shù)取多項式核：k(xi,xj)＝(x'i*xj)^d，d＝1。

2)訓練數(shù)據(jù)預處理

對已知訓練樣本，令knn(φ(xi))表示在f空間中xi的近鄰集合，近鄰重構權重系數(shù)矩陣w滿足下面的要求：

對于非零的權系數(shù)要通過下面的重構損失函數(shù)最小化來求得：

約束條件為此時k值取5。

對已知訓練樣本，判別信息矩陣h的構造如下：

即在核函數(shù)映射的f空間中，對不同類數(shù)據(jù)，如果xj是xi的k個最近鄰之一或者xi是xj的k個最近鄰之一，那么hij＝1；對同類數(shù)據(jù)，如果xj是xi的k個最近鄰之一或者xi是xj的k個最近鄰之一，那么hij＝-1。

為了使得分布在不同子流形上的類內樣本更加緊湊，類間樣本彼此遠離，基于核函數(shù)的有監(jiān)督近鄰保持嵌入算法等價于下面的優(yōu)化過程：

3)獲取空間變換后的訓練樣本

在學習到投影變換矩陣p后，可以獲得原空間樣本xi先映射到非線性空間φ(xi)，然后得到低維表示p^tφ(xi)。令vi＝p^tφ(xi)，則判別子空間的訓練集可以表示為(2)分類模塊

對核函數(shù)映射后待測樣本φ(x)，先利用投影變換p把它映射到判別子空間中，得到判別子空間中的測試樣本v＝p^tφ(x)。然后利用最近鄰分類器，對測試樣本v在判別子空間中進行分類。也就是說，在判別子空間的訓練樣本中，找到和測試樣本距離最近的樣本，然后再把該樣本的類別賦予測試樣本v。這樣就完成對x的分類。

選取待測樣本60個，重復分類過程20次，表1給出在測試集上的估計性能。實驗對比方法是近鄰保持嵌入算法。通過實驗結果我們可以看出本發(fā)明的識別效果明顯優(yōu)于近鄰保持嵌入算法，并表現(xiàn)出了較強的穩(wěn)定性，具有一定的優(yōu)勢。兩種方法對人臉的分類性能(識別率％)對比如表1所示：

表1