自適應無參數(shù)的特征提取方法
【技術領域】
[0001] 本發(fā)明屬于目標識別領域的特征提取方法，具體是一種自適應無參數(shù)的特征提取 方法。
【背景技術】
[0002] 隨著科學技術的發(fā)展，人類獲得的數(shù)據(jù)越來越多，而且這些數(shù)據(jù)往往具有很高的 維數(shù)，對于典型的圖像數(shù)據(jù)來說，其維數(shù)就是圖像的像素數(shù)，而圖像的像素數(shù)一般都很高。 如何從這些高維的數(shù)據(jù)提取中有用的數(shù)據(jù)用來進行后續(xù)的處理是個巨大的問題。特征提取 技術是解決這個問題的一個重要的方法。對于許多問題例如數(shù)據(jù)可視化、計算機視覺和模 式識別特征提取都是一個基礎性的問題。對于人臉識別來說，特征提取是完成人臉識別的 關鍵。
[0003] 在過去幾十年中，人們提出了很多關于特征提取的方法，這些方法中有監(jiān)督 學習的方法也有非監(jiān)督學習的方法，有線性的方法也有非線性的方法。在這些方法 中，文獻二(I. Joliffe, Principal Component Analysis. Springer-Verlag,1986) 中提出 了主成分分析（PCA)，文獻三（K. Fukunnaga, Introduction to Statistical PatternRecognition, second ed. Academic Press, 1991)提出了線性判別式分析（LDA)是 兩種使用最多的線性特征提取方法。PCA將原始的高維數(shù)據(jù)映射到由全部原始數(shù)據(jù)協(xié)方差 矩陣的最大特征值對應的特征向量所張成一個低維子空間中。PCA能夠在最小均方意義下， 尋找最能代表原始數(shù)據(jù)的投影方法。另外，由于沒用利用到類別信息，所以PCA是一種完全 的非監(jiān)督學習方法。
[0004] 與PCA不同，LDA是一種有監(jiān)督的學習方法，最早可以追溯到1936年Fisher發(fā)表 的論文，其本質思想是選擇使Fisher準則函數(shù)達到極值的向量作為最佳投影方向。從而使 得樣本在該方向上投影后，能夠同時達到類間離散度最大和類內離散度最小。
[0005] 然而，PCA和LDA都是從全局的歐式結構進行考慮的而不是從流形結構上進 行考慮。而最近的研宄表明人臉圖像有可能是駐留在一個非線性的流形之上，同時不 同的人臉圖像會處在不同的流形之上。為此人們提出了很多流形學習算法來尋找嵌 入在原始高維數(shù)據(jù)中的本質低維流形，在這些算法中包括等距特征映射算法（IS0MAP) (文獻 4，J. B. Tenenbaum, V. de. Silva, J. C. Langford, A global geometric framework fornonlinear dimensionality reduction, Science 290 (2000) 2319 - 2323.)，局部線性 嵌入（LLE)(文獻 5，S. T. Roweis, L. K. Saul, Nonlinear dimension reduction bylocally linear embedding, Science 290(2000)2323 - 2326.)和拉普拉斯特征映射（LE)(文獻 6, M. Belkin, P. Niyogi, Laplacian eigenmaps for dimensionalityreduction and data representation, Neural Computation 15(6) (2003) 1373 - 1396.)等。實驗表明這些算 法對于模擬數(shù)據(jù)和真實的數(shù)據(jù)，比如人臉圖像能夠找到這些數(shù)據(jù)的有意義的低維嵌入。 He 等人提出了 局部保留映射（LPP)(文獻 7, X. He, S. Yan，Y. Hu，P. Niyogi, H. Zhang, Face recognition using laplacian faces, IEEE Transactionson Pattern Analysis and Machine Intel ligence 27 (3) (2005) 328 - 340.)，LPP的目標函數(shù)是最小化映射后的數(shù)據(jù) 的局部散布矩陣。與其他的流形學習算法相比較，LPP算法擁有明顯的優(yōu)勢比如能夠得到 更加明顯的映射，更加易于計算等。但是這些算法都屬于非監(jiān)督學習算法，無法利用到數(shù)據(jù) 的類別信息而且在計算的過程中需要認為的設定一下參數(shù)，而這些參數(shù)對于最終結果的影 響很大。但是如何選取這些參數(shù)，卻沒有統(tǒng)一的標準。
[0006]在文獻 8 (Bo Li, De-Shuang Huang, ChaoWang，Kun-Hong Liu, Feature extractionusing constrained maximum variance mapping, Pattern Recognition 41(2008)3287 - 3294)中 Bo 等人提出了 CMVM 算法（constrained maximum variance mapping)，該算法將不同類別分開同時保持任意流形的全局結構。換句話說改算法可以 在得到最優(yōu)結果的同時不破壞其他類大的全局結構。這種算法在分離不同的類別時， 將與本類不同的其他全部類都考慮進去，這樣雖然能夠達到將不同類的分開的目的，但 是由于各個類之間的距離不同，距離最遠的和距離最近的類應該分別對待而不應該是 一視同仁。同時在構建局部散布矩陣時沒有考慮到近鄰點的類別信息，有可能會使得 一個點的近鄰包含不是該點算在類的點，對后續(xù)的處理有不利影響。文獻9(Shuicheng Yan, Dong Xu,BenyuZhang, Hong-Jiang Zhang, Qiang Yang, Senior, Stephen Lin, Graph Embedding andExtensions:A General Framework for Dimensionality Reduction, IEEE Transactionson Pattern Analysis and Machine Intelligence,Vol, 29, No. 1, Jan uary, 2〇〇7)中 Yan 等人提出了 MFA 算法（Marginal Fisher Analysis)該算法設計 了一個本質圖（intrinsicgraph)來描述流形內部的緊湊性和另外一個懲罰矩陣來描 述不同類之間的離散性。本質圖描述了每一類的類內部近鄰點的關系，并且每個點都 與它的K近鄰相連，懲罰矩陣描述了邊緣點的鄰域關系，不同類的邊緣點點對被連接 起來。但是該算法存在不同類之間的邊緣點點對的個數(shù)難以確定，而且距離最遠的和 距離最近的類應該分別對待而不應該是一視同仁。文獻10 (Wankou Yang, Changyin Sun, Lei Zhang, A multi-manifolddiscriminant analysis method for image feature extraction, Pattern Recognition44(2011) 1649 - 1657)中 Wankou Yang等人提出 MMDA算 法（Multi-ManifoldDiscriminant Analysis)，該算法在LPP的基礎上，使用每一類數(shù)據(jù)的 類內權重矩陣的和去加權該類的均值，然后將類間均值視為新的數(shù)據(jù)，尋找一個最優(yōu)的投 影矩陣使得加權類均值的類間散布矩陣達到最大同時每一類的類內散布矩陣達到最小。但 是該算法存在使用加權的類均值去衡量類內數(shù)據(jù)存在一定的偏差，尤其是當數(shù)據(jù)分布比較 無規(guī)則的情況下這種表現(xiàn)更加明顯。然而原始的LPP算法以及由其衍生出的一些算法普遍 存在著兩個明顯的缺陷：①原始LPP是一種非監(jiān)督的算法，不能有效的利用不同類別之間 的類別信息，這樣將其直接運用于分類時，分類的效果不會很理想；②LPP的參數(shù)的選擇問 題，對于同一個數(shù)據(jù)集如果LPP的參數(shù)不一樣，最終的結果也不一樣。

【發(fā)明內容】

[0007] 針對原始LPP及很多基于LPP的算法存在的問題本發(fā)明提出了一種自適應無參數(shù) 的特征提取算法。
[0008] 實現(xiàn)本發(fā)明目的的技術方案為：一種自適應無參數(shù)的特征提取算法，步驟如下：
[0009] 步驟一：計算任意兩個樣本之間的相關系數(shù)P#使用增強的無參數(shù)的 局部保留算法的建立類內權重矩陣W，具體參見文獻1 (Fadi Dornaika, Ammar Assoum, Enhanced andparameterless Locality Preserving Projections for face recognition, Neurocomputing 99 (2013) 448 - 457)，使用得到的類內權重矩陣W建立類內 散布矩陣用于描述流形內的局部結構。
[0010] 步驟二：尋找出相鄰的類；依據(jù)步驟一中得到的相關系數(shù)構成的矩陣P，計算任 意一類Ci與其他所有類的相關系數(shù)的平均值m i，計算任意一類(^與某一類h的相關系數(shù) 的平均值叫」，如果叫」彡m ^，則認為q