一種基于流形的線性回歸學(xué)習(xí)方法
【專利摘要】一種基于流形的線性回歸學(xué)習(xí)方法，包括：構(gòu)建第n類訓(xùn)練樣本的預(yù)測(cè)子用第n類預(yù)測(cè)子Kn計(jì)算第n類映射矩陣Hn＝Kn(KnTKn)-1KnT，利用第n類的映射矩陣Hn計(jì)算該類中的每一幅圖像y所對(duì)應(yīng)的線性回歸圖像構(gòu)建相似度矩陣Sij，有兩種方式：如果l(xi)＝l(xj)，則Sij＝1，否則Sij＝0，i,j∈{1,...,M}，如果l(xi)＝l(xj)，并且xi屬于xj的k近鄰或者xj屬于xi的k近鄰，Sij＝exp(-||xi-xj||2/t)，其中xik表示xi樣本的第k近鄰，否則Sij＝0；計(jì)算特征轉(zhuǎn)換矩陣本發(fā)明把流形學(xué)習(xí)與線性回歸分類模型相結(jié)合，通過(guò)學(xué)習(xí)不僅能夠保持高維空間中的非線性結(jié)構(gòu)，而且可以把樣本映射到更易于分類的線性子空間。本發(fā)明實(shí)用性：簡(jiǎn)單可行，可以解決人臉識(shí)別，生物特征識(shí)別等分類問(wèn)題。
【專利說(shuō)明】一種基于流形的線性回歸學(xué)習(xí)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種線性回歸學(xué)習(xí)方法。特別是涉及一種將流形學(xué)習(xí)與線性回歸分類 模型相結(jié)合的基于流形的線性回歸學(xué)習(xí)方法。

【背景技術(shù)】
[0002] 特征提取是模式識(shí)別領(lǐng)域的一個(gè)重要研宄方向，針對(duì)高維的圖像處理速度慢，性 能不魯棒，存儲(chǔ)空間大等問(wèn)題，學(xué)者們提出大量有效的基于特征提取的降維算法，例如有主 成分分析（Principal component analysis，PCA)，獨(dú)立成分分析（Independent component analysis，ICA)等無(wú)監(jiān)督學(xué)習(xí)方法；有線性判別分析（Linear discriminative analysis， LDA)等監(jiān)督學(xué)習(xí)的方法。這些方法大多利用歐式距離來(lái)衡量樣本之間的相似度，然而測(cè)地 線距離能在宏觀層面上較真實(shí)地反映數(shù)據(jù)中所隱含的幾何結(jié)構(gòu)，所以利用流形學(xué)習(xí)方法將 原始樣本特征投影到流形空間往往可以得到更好的分類效果，這種方法的代表有局部保持 映身寸（Locality preserving projection, LPP)算法。
[0003] 此外，線性回歸分類模型也可以用于特征提取。例如，Naseem等基于同類的人臉圖 像位于同一線性子空間的假設(shè)提出了用于人臉識(shí)別的線性回歸分類模型，通過(guò)最小二乘估 計(jì)法得到回歸系數(shù)，并根據(jù)原始向量和映射向量之間的歐式距離來(lái)判斷類別的歸屬。Huang 等提出了一種用于人臉識(shí)別的增強(qiáng)主成分回歸模型，這種方法可以解決線性回歸模型中多 重共線性的問(wèn)題。2013年，Huang等在線性回歸模型上嵌入線性判別分析的思想，提出了一 種線性判別回歸分類模型，該方法利用最大化類間重構(gòu)誤差和類內(nèi)重構(gòu)誤差的比值尋找一 個(gè)最優(yōu)映射矩陣，通過(guò)最優(yōu)映射矩陣將原始樣本特征映射到子空間，在此子空間上利用線 性回歸模型以實(shí)現(xiàn)更好的判別分類。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是，提供一種在線性回歸分類模型的基礎(chǔ)上嵌入流形 學(xué)習(xí)的方法，在保持樣本之間的幾何結(jié)構(gòu)的同時(shí)尋找一個(gè)最優(yōu)的分類子空間，實(shí)現(xiàn)了適合 更有效分類的特征轉(zhuǎn)換技術(shù)的基于流形的線性回歸學(xué)習(xí)方法。
[0005] 本發(fā)明所采用的技術(shù)方案是：一種基于流形的線性回歸學(xué)習(xí)方法，包括如下步 驟：
[0006] 1)構(gòu)建第η類訓(xùn)練樣本的預(yù)測(cè)子Kn，
[0007] 設(shè)有c個(gè)類共有M個(gè)訓(xùn)練圖像樣本，其中In為每個(gè)類標(biāo)注的樣本個(gè)數(shù)，η = 1，2, . . .，c，每幅圖像樣本的大小為aXb，用矩陣來(lái)表示，其中m = 1，"·，Μ， 將每一個(gè)圖像矩陣轉(zhuǎn)換成列向量，用Xm 表示，其中P = aXb，訓(xùn)練樣本用矩陣 X = Xm對(duì)應(yīng)的類別是 l(Xm) e {1，···，〇}，Κη 表示第 η 個(gè)類的標(biāo)注 樣本的特征向量，即預(yù)測(cè)子1^表示如下：
[0008] Kb= [x"......;
[0009] 2)利用第η類預(yù)測(cè)子Kn計(jì)算第η類映射矩陣Hn= KJICKJ^C，利用第η類的映 射矩陣Hn計(jì)算該類中的每一幅圖像y所對(duì)應(yīng)的線性回歸圖像y" = H"y ;
[0010] 3)構(gòu)建相似度矩陣Sm對(duì)于Su的構(gòu)建分為以下兩種方式：
[0011] (1)如果 I(Xi) = I(Xj)，則 Sij= 1，否則 Sij= 0, i，j e {1，;
[0012] (2)如果I (Xi) = I (Xj)，并且Xi屬于x』的k近鄰或者x』屬于x滿k近鄰，S u = k exp(_| Ixi-Xj I I 2/t)，其中 Ζ = ΣΙΙχ? - xa| U，xik表示 x i樣本的第 k 近鄰，否則 S i」=0 ;
[0013] 幻計(jì)算特征轉(zhuǎn)換矩陣評(píng)二卜^^^^^舊^^^^^^^為第^^個(gè)最大特征值所對(duì) 應(yīng)的特征向量，d是特征轉(zhuǎn)換后樣本的維數(shù)。
[0014] 步驟4)中所述的 '是由KLKtQ = λ Η)Κτω得到第r個(gè)最大特征值，其中，K =
[Ηι(χι)Χι，…，H1 (χΜ)χΜ]，" Σ tf，L - D~S〇 j
[0015] 本發(fā)明的一種基于流形的線性回歸學(xué)習(xí)方法，是針對(duì)流形學(xué)習(xí)方法可以通過(guò)將高 維特征映射到能揭示數(shù)據(jù)集之間內(nèi)在結(jié)構(gòu)的低維流形空間的特殊性質(zhì)，設(shè)計(jì)適合于模式識(shí) 別中與分類相關(guān)領(lǐng)域的維數(shù)約減方法，使之在有限監(jiān)督信息的前提下，將樣本映射到一個(gè) 適合分類的子空間，同時(shí)保持了數(shù)據(jù)之間的幾何結(jié)構(gòu)。本發(fā)明把流形學(xué)習(xí)與線性回歸分類 模型相結(jié)合，通過(guò)學(xué)習(xí)不僅能夠保持高維空間中的非線性結(jié)構(gòu)，而且可以把樣本映射到更 易于分類的線性子空間。通過(guò)實(shí)驗(yàn)證明了與線性回歸分類模型和局部保持映射方法相比 較，本發(fā)明應(yīng)用于人臉識(shí)別的實(shí)驗(yàn)中的性能明顯的優(yōu)于兩者，能夠有效地對(duì)測(cè)試樣本進(jìn)行 識(shí)別，適合應(yīng)用于分類問(wèn)題中。本發(fā)明實(shí)用性：簡(jiǎn)單可行，可以解決人臉識(shí)別，生物特征識(shí)別 等分類問(wèn)題。

【專利附圖】

【附圖說(shuō)明】
[0016] 圖1是本發(fā)明方法的流程圖；
[0017] 圖2是利用本發(fā)明的方法實(shí)現(xiàn)的人臉識(shí)別流程圖。

【具體實(shí)施方式】
[0018] 下面結(jié)合實(shí)施例和附圖對(duì)本發(fā)明的一種基于流形的線性回歸學(xué)習(xí)方法做出詳細(xì) 說(shuō)明。
[0019] 本發(fā)明提出一種基于流形的線性回歸分類模型，其主要思想來(lái)源有兩個(gè)，一是利 用線性回歸模型可以將同一類的樣本映射到一個(gè)線性子空間，利用這種特性可以得到更好 的分類效果，二是流形學(xué)習(xí)作為一種重要的非線性特征提取的分類技術(shù)，可以通過(guò)將高維 特征映射到能揭示數(shù)據(jù)集之間內(nèi)在結(jié)構(gòu)的低維流形空間。許多圖像數(shù)據(jù)集在原始高維空間 都呈現(xiàn)非線性結(jié)構(gòu)，流形學(xué)習(xí)通過(guò)特征映射可以保持高維空間中的非線性結(jié)構(gòu)，并已廣泛 應(yīng)用在圖像分析和模式識(shí)別等領(lǐng)域。
[0020] 如圖1所示，本發(fā)明的一種基于流形的線性回歸學(xué)習(xí)方法，包括如下步驟：
[0021] 1)構(gòu)建對(duì)所述的訓(xùn)練樣本的每一類構(gòu)建一個(gè)預(yù)測(cè)子Kn，
[0022] 設(shè)有c個(gè)類共有M個(gè)訓(xùn)練圖像樣本，其中In為每個(gè)類標(biāo)注的樣本個(gè)數(shù)，η = l，2，...，c，每幅圖像樣本的大小為aXb，用矩陣來(lái)表示，其中m= 1，…，Μ， 將每一個(gè)圖像矩陣轉(zhuǎn)換成列向量，用Xm 表示，其中P = aXb，訓(xùn)練樣本用矩陣 X = Xm對(duì)應(yīng)的類別是 l(Xm) e {1，…，c}，Kn表示第 η 個(gè)類的標(biāo)注 樣本的特征向量，即預(yù)測(cè)子1^表示如下：
[0023]

【權(quán)利要求】
1. 一種基于流形的線性回歸學(xué)習(xí)方法，其特征在于，包括如下步驟： 1) 構(gòu)建第η類訓(xùn)練樣本的預(yù)測(cè)子Kn， 設(shè)有c個(gè)類共有M個(gè)訓(xùn)練圖像樣本，其中In為每個(gè)類標(biāo)注的樣本個(gè)數(shù)，η= 1，2,. . .，c，每幅圖像樣本的大小為aXb，用矩陣v",e3T4來(lái)表示，其中m = 1，"·，Μ， 將每一個(gè)圖像矩陣轉(zhuǎn)換成列向量，用表示，其中P=aXb，訓(xùn)練樣本用矩陣 \ = [\....人,..義,]4?"^，Xm對(duì)應(yīng)的類別是I(Xm)e{1，…，c}，Kn表示第η個(gè)類的標(biāo)注 樣本的特征向量，即預(yù)測(cè)子1^表示如下：
2) 利用第η類預(yù)測(cè)子Kn計(jì)算第η類映射矩陣Hn=KnOCKJ^C，利用第η類的映射矩 陣Hn計(jì)算該類中的每一幅圖像y所對(duì)應(yīng)的線性回歸圖像y" =H"y; 3) 構(gòu)建相似度矩陣Sy對(duì)于Su的構(gòu)建分為以下兩種方式： (1)如果I(Xi) =I(Xj)，則Sij= 1，否則SU= 0,i，je{1，…，M}; ⑵如果I(Xi) = 1 (χ」），并且Xi屬于χ」的k近鄰或者x』屬于x滿k近鄰，S exp(_|Ixi-XjI|2/t)，其中?=ΣΙΙχ廠xa|M，xik表示xi樣本的第k近鄰，否則SU= 0 ; f-1 4) 計(jì)算特征轉(zhuǎn)換矩陣W= ... 為第r個(gè)最大特征值所對(duì)應(yīng)的 特征向量，d是特征轉(zhuǎn)換后樣本的維數(shù)。
2. 根據(jù)權(quán)利要求1所述的一種基于流形的線性回歸學(xué)習(xí)方法，其特征在于， 步驟4)中所述的 '是由KLKτω=λΗ)Κτω得到第r個(gè)最大特征值，其中，
【文檔編號(hào)】G06K9/66GK104463246SQ201410746794
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2014年12月8日 優(yōu)先權(quán)日:2014年12月8日
【發(fā)明者】冀中, 于云龍 申請(qǐng)人:天津大學(xué)