一種多模式系統(tǒng)的特征降維方法
【專利摘要】本發(fā)明涉及一種多模式系統(tǒng)的特征降維方法，包括：采集多模式系統(tǒng)不同工作模式Fn下的M組樣本特征向量依次對樣本特征向量進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化樣本特征向量構(gòu)建多模式樣本的標(biāo)準(zhǔn)化特征矩陣?yán)镁植烤€性嵌入算法對標(biāo)準(zhǔn)化特征矩陣進行非線性降維，選出同類模式中最相似的N?1維特征；利用多維尺度變換算法對步驟(4)中的矩陣進行線性降維，選出不同類模式中差別最大的二維特征矩陣。本發(fā)明融合了非線性和線性流形學(xué)習(xí)算法的特征提取技術(shù)，通過對高維數(shù)據(jù)有效的特征降維，降低多模式系統(tǒng)模式識別的難度；能最大限度的保留高維數(shù)據(jù)的線性和非線性結(jié)構(gòu)，保持高維數(shù)據(jù)的領(lǐng)域特性和距離相似性。
【專利說明】
一種多模式系統(tǒng)的特征降維方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及電子設(shè)備系統(tǒng)的特征降維技術(shù)領(lǐng)域，尤其是一種多模式系統(tǒng)的特征降 維方法。
【背景技術(shù)】
[0002] 隨著電子工業(yè)和計算機技術(shù)的高速發(fā)展，對于電子設(shè)備的系統(tǒng)性設(shè)計和測試的要 求越來越高，從單一模式系統(tǒng)逐漸發(fā)展到目前主流的多模式系統(tǒng)。系統(tǒng)級的電子設(shè)備工作 在不同模式下時附帶的輸出信號也是復(fù)雜多變，常常需要從多種模式的信號特征中識別出 設(shè)備所處的模式環(huán)境。然而，從系統(tǒng)采集到的原始信號特征維度較大，提供的有關(guān)客觀現(xiàn)象 的信息較多，一方面給計算機處理帶來了巨大困難，另一方面由于其數(shù)據(jù)內(nèi)部較大的冗余 給模式識別的精度帶來惡劣的影響。
[0003] 為解決高維數(shù)據(jù)帶來的維數(shù)災(zāi)難問題，工程上常常對原始信號進行特征降維的預(yù) 處理，特征降維不僅可以降低特征空間的維度，減少模式識別分類器數(shù)據(jù)存儲空間，而且往 往還可以提高模式識別的精度。常用的特征提取方法諸如小波包分解、小波變換，主成分分 析、核主成分分析、獨立成分分析等，都是利用數(shù)學(xué)方法分析信號本身的特征屬性，將原始 特征轉(zhuǎn)化為低維子空間中具有較大區(qū)分性的特征。但降維后的數(shù)據(jù)往往不能最大限度地保 留數(shù)據(jù)嵌入在高維空間中的低維流形結(jié)構(gòu)，導(dǎo)致低維子空間的特征區(qū)分性不夠理想，增加 了多模式系統(tǒng)模式識別的難度。解決此類問題，需要研究基于流形學(xué)習(xí)算法的特征提取技 術(shù)，目前，基于單一非線性流形學(xué)習(xí)算法的故障特征提取模型，雖然極大地保留了故障信號 中的整體幾何結(jié)構(gòu)信息，但未考慮低維空間特征之間的距離相似性，在降維幅度較大時，無 法很好的處理數(shù)據(jù)的等距流形問題，導(dǎo)致二維特征分布仍有一定的離散性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于融合非線性和線性流形學(xué)習(xí)算法的特征提取技 術(shù)，通過對高維數(shù)據(jù)有效的特征降維，降低多模式系統(tǒng)模式識別的難度，同時保持高維數(shù)據(jù) 的領(lǐng)域特性和距離相似性的多模式系統(tǒng)的特征降維方法。
[0005] 為實現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:一種多模式系統(tǒng)的特征降維方法， 該方法包括下列順序的步驟：
[0006] (1)采集多模式系統(tǒng)不同工作模式Fn下的Μ組樣本特征向量F"^.，n = l，2,…，N，m = 1，2，…，Μ，t為列向量，代表第η類模式的第m個樣本特征向量，N代表系統(tǒng)的模式總數(shù)，且N >3，D代表樣本特征向量的原始維度，且滿MD>N-1;
[0007] (2)依次對樣本特征向量進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化樣本特征向量,其計
1其中I I · I I代表取向量的2-范數(shù)；
[0008] (3)構(gòu)建多模式樣本的標(biāo)準(zhǔn)化特征矩陣么^
[0009]
，其中下標(biāo)Z、D用于表 示矩陣的維數(shù)大小，即標(biāo)準(zhǔn)化特征矩陣是Z行D列的矩陣，且Z = NXM，M代表每種模式下 樣本的總數(shù)，N代表系統(tǒng)的模式總數(shù)，D代表樣本特征向量的原始維度，上標(biāo)T表示轉(zhuǎn)置矩陣； [0010] (4)利用局部線性嵌入算法對標(biāo)準(zhǔn)化特征矩陣么;1>進行非線性降維，選出同類模 式中最相似的N-1維特征，N代表系統(tǒng)的模式總數(shù)，輸出N-1維多模式樣本特征矩陣
[0011] (5)利用多維尺度變換算法對步驟(4)中的矩陣ι?ρι進行線性降維，選出不同類 模式中差別最大的二維特征矩陣
則代表第η類模式的第m個樣本的最終特征向量，其維度為2，η = 1，2，…，Ν，m= 1，2，…， M〇
[0012] 所述步驟(4)中利用局部線性嵌入算法對多模式樣本特征矩陣在進行非線性降 維包括以下步驟：
[0013 ](4a)輸入標(biāo)準(zhǔn)化特征矩陣 令七=匕，1 = (11-1)><]^+111，11=1，2，."少，111=1，2，."，]/[，1 = 1，2，."少\]/[，則么』可表示為 4. " - (.η Λ-:…λ-v x 1;) ,上標(biāo)T表示轉(zhuǎn)置；
[0014] (4b)選取Xi(i = l，2,…，ΝΧΜ)的K個最近鄰點Xj, j = l，2，···，K，具體方法為:計算 所有向量11與乂1之間的歐式距離(11，其中1 = 1，2，~』\]/[，且1辛;[;并對各向量^[1按(11由大到 小的順序排列，選取前Κ個距離xi較近的樣本點作為其最近鄰點xj，j = 1，2，…，Κ，Κ為預(yù)先設(shè) 定的值，且Κ<<ΝΧΜ;
[0015] (4c)定義目標(biāo)函數(shù)：
.其中存在約束條件 Σ?=ι % =1，j = 1，2，…，κ，叫代表樣本點xi和其近鄰點&之間的權(quán)值， ε (w)代表每個樣本點 Xl由其K個最近鄰點近似表示的誤差函數(shù)，min( ·)表示求最小值，并利用拉格朗日乘子法 求解局部重構(gòu)權(quán)值矩陣，1為2乂2方陣，2 = ^1，代表 矩陣行向量的個數(shù)；
[0016] (4d)依據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建N-1維的多模式樣本特征矩陣么,<ΛΜ)。
[0017] 所述步驟(5)中利用多維尺度變換算法對N-1維特征矩陣進行線性降維包括 以下步驟：
[0018] (5a)輸入N-1維特征矩陣并記7:(1 = 1,2,…，NXM)為矩陣的第i個 行向量的轉(zhuǎn)置，代表樣本點在N-1維空間的向量表示，則么.(jV_ u = (.? .v2:….ν_ )T:，M代表每 種模式下樣本向量總數(shù)，N代表系統(tǒng)的模式總數(shù)；
[0019] (5b)計算N-1維空間中所有樣本點yi(i = l，2，"_，NXM)兩兩之間的歐式距離，得
，L1Z是矩陣ΠΖΖ中第i行z列的元素，代表N-1維空間的 樣本點yi和yz之間的歐式距離，i，z = l，2,…，NXM;
[0020] (5c)依據(jù)距離矩陣ΠΖΖ構(gòu)建二維的多模式樣本特征矩陣么:一
[0021] 所述步驟（4d)中依據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建Ν-1維的多模式樣本特征矩陣 么，1丨，.其具體步驟如下：
[0022] (4dl)輸入局部重構(gòu)權(quán)值矩陣W;
[0023] (4d2)計算矩陣Pij:Pij = (IZ-W)T(IZ-W)，Pij為Z X Z的稀疏正定半對稱矩陣，Iz是Z XZ的單位矩陣；
[0024] (4d3)求解矩陣的特征值及其特征向量，并將特征值按升序排列，選取第2~N個 非零特征值所對應(yīng)的特征向量構(gòu)建N-1維的多模式樣本特征矩陣么
[0025] 所述步驟(5c)中依據(jù)距離矩陣Π ΖΖ構(gòu)建二維的多模式樣本特征矩陣么：，其具體 步驟如下：
[0026] (5cl)計算距離矩陣ΠΖΖ各元素的平方得到矩陣ΓΓ,::
[0027] (5c2)利用矩陣Π|計算雙中心化形式矩陣Β: e = (l 1…1)Τ，Γ代表ZXZ的全1矩陣，Z = NXM，代表矩陣行向量的個數(shù)；
[0028] (5c3)對矩陣B進行奇異值分解:B = VAVT，其中人=(^8(人1，\2，'"，\ 2)為對角陣， V=[V1 V2…VZ]為正定矩陣，和VI V2…VZ分別為矩陣的特征值和其對應(yīng)的 特征向量；
[0029] (5c4)將特征值λ^λ^ - ,λζ降序排列，選取前2個非零特征值所對應(yīng)的特征向量構(gòu) 建二維的多模式樣本特征矩陣(I ν
[0030] 由上述技術(shù)方案可知，本發(fā)明的優(yōu)點在于:第一，本發(fā)明融合了非線性和線性流形 學(xué)習(xí)算法的特征提取技術(shù)，通過對高維數(shù)據(jù)有效的特征降維，降低多模式系統(tǒng)模式識別的 難度;第二，經(jīng)過局部線性嵌入和多維尺度變換算法的融合降維，能最大限度的保留高維數(shù) 據(jù)的線性和非線性結(jié)構(gòu)，保持高維數(shù)據(jù)的領(lǐng)域特性和距離相似性，使不同模式下的樣本數(shù) 據(jù)在可視化空間具有聚類特性。
【附圖說明】
[0031] 圖1為本發(fā)明的方法流程圖。
【具體實施方式】
[0032] 如圖1所示，一種多模式系統(tǒng)的特征降維方法，該方法包括下列順序的步驟：
[0033] (1)采集多模式系統(tǒng)不同工作模SFn下的Μ組樣本特征向量.η = 1，2，…，N，m = 1，2，…，Μ，為列向量，代表第η類模式的第m個樣本特征向量，N代表系統(tǒng)的模式總數(shù)，且N >3，D代表樣本特征向量的原始維度，且滿MD>N-1;
[0034] (2)依次對樣本特征向量進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化樣本特征向量#=，其計 算方法為
其中| | · | |代表取向量的2-范數(shù)；
[0035] (3)構(gòu)建多模式樣本的標(biāo)準(zhǔn)化特征矩陣么：
[0036]
，其中下標(biāo)Z、D用于表 示矩陣的維數(shù)大小，即標(biāo)準(zhǔn)化特征矩陣是Z行D列的矩陣，且Z = NXM，M代表每種模式下 樣本的總數(shù)，N代表系統(tǒng)的模式總數(shù)，D代表樣本特征向量的原始維度，上標(biāo)T表示轉(zhuǎn)置矩陣；
[0037] (4)利用局部線性嵌入算法對標(biāo)準(zhǔn)化特征矩陣么#進行非線性降維，選出同類模 式中最相似的N-1維特征，N代表系統(tǒng)的模式總數(shù)，輸出N-1維多模式樣本特征矩陣么(ΛΜ);
[0038] (5)利用多維尺度變換算法對步驟(4)中的矩陣進行線性降維，選出不同類 模式中差別最大的二維特征矩陣
則代表第η類模式的第m個樣本的最終特征向量，其維度為2，η=1，2,…，N，m=l，2,…， M〇
[0039] 所述步驟(4)中利用局部線性嵌入算法對多模式樣本特征矩陣進行非線性降 維包括以下步驟：
[0040] (4a)輸入標(biāo)準(zhǔn)化特征矩陣
令七=匕，1 = (11-1)\1+111，11 = 1，2，"少，111=1，2，"具1 = 1，2，"少\1，則413可表示為 4τ,β = (X1七…λ.,να/ )T，上標(biāo)Τ表示轉(zhuǎn)置；
[0041] (4b)選取Xi(i = l ,2,…，ΝΧΜ)的Κ個最近鄰點Xj, j = l ,2,··· ,Κ，具體方法為:計算 所有向量11與乂1之間的歐式距離(11，其中1 = 1，2，~』\]/[，且1辛;[;并對各向量^[1按(11由大到 小的順序排列，選取前Κ個距離xi較近的樣本點作為其最近鄰點xj，j = 1，2，…，Κ，Κ為預(yù)先設(shè) 定的值，且Κ<<ΝΧΜ;
[0042] (4c)定義目標(biāo)函數(shù) ，其中存在約束條件 丨=1，j =1，2，…，κ，wij代表樣本點Xi和其近鄰點Xj之間的權(quán)值， ε (w)代表每個樣本點 Xl由其K個最近鄰點近似表示的誤差函數(shù)，min( ·)表示求最小值，并利用拉格朗日乘子法 求解局部重構(gòu)權(quán)值
，W*Z XZ方陣，Z = NXM，代表 矩陣行向量的個數(shù)；
[0043] (4d)依據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建N-1維的多模式樣本特征矩陣^Ζ. (Λ·4。
[0044] 所述步驟(5)中利用多維尺度變換算法對Ν-1維特征矩陣!進行線性降維包括 以下步驟：
[0045] (5a)輸入Ν-1維特征矩陣并記η(? = 1，2,…，ΝΧΜ)為矩陣的第i個 行向量的轉(zhuǎn)置，代表樣本點在N-1維空間的向量表示，則么(ΛΜ；)=(乃.v2…f，M代表每 種模式下樣本向量總數(shù)，N代表系統(tǒng)的模式總數(shù)；
[0046] (5b)計算N-1維空間中所有樣本點yi( i = 1，2，…，NXM)兩兩之間的歐式距離，得
，L1Z是矩陣ΠΖΖ中第i行z列的元素，代表N-1維空間 的樣本點yi和yz之間的歐式距離，i，Z = 1，2,…,ΝΧΜ;
[0047] (5c)依據(jù)距離矩陣ΠΖΖ構(gòu)建二維的多模式樣本特征矩陣。
[0048] 所述步驟（4d)中依據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建Ν-1維的多模式樣本特征矩陣 么其具體步驟如下：
[0049] (4dl)輸入局部重構(gòu)權(quán)值矩陣W;
[0050] (4d2)計算矩陣？??？。=(12-1八12-1)上」為2\2的稀疏正定半對稱矩陣，1 2是2 XZ的單位矩陣；
[0051] (4d3)求解矩陣Pu的特征值及其特征向量，并將特征值按升序排列，選取第2~N個 非零特征值所對應(yīng)的特征向量構(gòu)建N-1維的多模式樣本特征矩陣么.(Λ^。
[0052] 所述步驟(5c)中依據(jù)距離矩陣ΠΖΖ構(gòu)建二維的多模式樣本特征矩陣，其具體 步驟如下：
[0053] (5cl)計算距離矩陣Π ΖΖ各元素的平方得到
[0054] (5c2)利用矩陣Tig計算雙中心化形式矩陣Β:
e = (l 1…1)Τ，Γ代表ZXZ的全1矩陣，Z = NXM，代表矩陣行向量的個數(shù)；
[0055] (5c3)對矩陣B進行奇異值分解:B = VAVT，其中人=(^8(人1，\2，'"，\ 2)為對角陣， V=[V1 V2…VZ]為正定矩陣，和VI V2…VZ分別為矩陣的特征值和其對應(yīng)的 特征向量；
[0056] (5c4)將特征值λ^λ^ - ,λζ降序排列，選取前2個非零特征值所對應(yīng)的特征向量構(gòu) 建二維的多模式樣本特征矩陣。
[0057] 綜上所述，本發(fā)明基于流形學(xué)習(xí)算法構(gòu)建數(shù)據(jù)嵌入在高維空間中的低維流形特征 模型，采用局部線性嵌入算法對多模式系統(tǒng)的信號樣本進行初步非線性降維，可以最大限 度保留高維數(shù)據(jù)原有的非線性流形結(jié)構(gòu)，利用多維尺度變換算法對初步降維后的數(shù)據(jù)進行 線性降維至二維空間，保留了樣本點間的相異性和關(guān)聯(lián)性。
【主權(quán)項】
1. 一種多模式系統(tǒng)的特征降維方法，該方法包括下列順序的步驟： (1) 采集多模式系統(tǒng)不同工作模式Fn下的Μ組樣本特征向量K,:，n=l，2r-，N，m=l， 2，···，M，K:為列向量，代表第η類模式的第m個樣本特征向量，N代表系統(tǒng)的模式總數(shù)，且N> 3，D代表樣本特征向量的原始維度，且滿足D>N-l; (2) 依次對樣本特征向量進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化樣本特征向量其計算方 法為庚中II · II代表取向量的2-范數(shù)； (3) 構(gòu)建多模式樣本的標(biāo)準(zhǔn)化特征矩陣么^ :其中下標(biāo)Z、D用于表示矩陣 的維數(shù)大小，即標(biāo)準(zhǔn)化特征矩陣托，.是Z行D列的矩陣，且Z = NXM，M代表每種模式下樣本的 總數(shù)，N代表系統(tǒng)的模式總數(shù)，D代表樣本特征向量的原始維度，上標(biāo)T表示轉(zhuǎn)置矩陣； (4) 利用局部線性嵌入算法對標(biāo)準(zhǔn)化特征矩陣復(fù)進行非線性降維，選出同類模式中最 相似的N-1維特征，N代表系統(tǒng)的模式總數(shù)，輸出N-1維多模式樣本特征矩陣 (5) 利用多維尺度變換算法對步驟(4)中的矩陣進行線性降維，選出不同類模式 中差別最大的二維特征矩P則 ?;,云,代表第η類模式的第m個樣本的最終特征向量，其維度為2，n = l，2,…，N，m=l，2,…，M。2. 根據(jù)權(quán)利要求1所述的多模式系統(tǒng)的特征降維方法，其特征在于:所述步驟(4)中利 用局部線性嵌入算法對多模式樣本特征矩陣么,A進行非線性降維包括W下步驟： (4a)輸入標(biāo)準(zhǔn)化特征矩陣4可表 示為么-h .V:….％W ，上標(biāo)T表示轉(zhuǎn)置； (4b)選取xi(i = l，2,…，ΝXΜ)的Κ個最近鄰點xj，j = 1，2，···，Κ，具體方法為:計算所有 向量XI與xi之間的歐式距離山，其中1 = 1，2,…，NXM，且1聲i;并對各向量XI按山由大到小的 順序排列，選取前K個距離XI較近的樣本點作為其最近鄰點^，j = 1，2，…，Κ，Κ為預(yù)先設(shè)定的 值，且 Κ<<ΝΧΜ; (4c)定義目標(biāo)函鑽=1，2，…，K，wij代表樣本點xi和其近鄰點xj之間的權(quán)值，ε (W)代表每個樣本點xi由其K個最 近鄰點近似表示的誤差函數(shù)，min( ·)表示求最小值，并利用拉格朗日乘子法求解局部重構(gòu) 權(quán)值矩聞W為ZXZ方陣，Z = NXM，代表矩陣行向量的 個數(shù)； (4d)依據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建N-1維的多模式樣本特征矩陣3. 根據(jù)權(quán)利要求1所述的多模式系統(tǒng)的特征降維方法，其特征在于:所述步驟(5)中利 用多維尺度變換算法對N-1維特征矩陣么進行線性降維包括W下步驟： (5曰)輸入N-1維特征矩陣么并記yi(i = l，2,…，NXM)為矩陣么W-。的第i個行向 量的轉(zhuǎn)置，代表樣本點在N-1維空間的向量表示，則么= (Λ托…)τ，M代表每種模 式下樣本向量總數(shù)，N代表系統(tǒng)的模式總數(shù)； 巧b)計算N-1維空間中所有樣本點yi(i = l，2,…，NXM)兩兩之間的歐式距離，得到距離 矩陣是矩陣Πζζ中第i行Z列的元素，代表N-1維空間的樣本點 yi和yz之間的歐式距離，i，z = l，2,…，ΝΧΜ; 巧C)依據(jù)距離矩陣Πζζ構(gòu)建二維的多模式樣本特征矩陣4. 根據(jù)權(quán)利要求2所述的多模式系統(tǒng)的特征降維方法，其特征在于:所述步驟(4d)中依 據(jù)局部重構(gòu)權(quán)值矩陣W構(gòu)建N-1維的多模式樣本特征矩陣其具體步驟如下： (4dl)輸入局部重構(gòu)權(quán)值矩陣W; (4d2)計算矩陣Pij:Pij = (Iz-W)T( Iz-W)，Pij為Z X Z的稀疏正定半對稱矩陣，Iz是Z X Z的 單位矩陣； (4d3)求解矩陣Pu的特征值及其特征向量，并將特征值按升序排列，選取第2~N個非零 特征值所對應(yīng)的特征向量構(gòu)建N-1維的多模式樣本特征矩陣么5. 根據(jù)權(quán)利要求3所述的多模式系統(tǒng)的特征降維方法，其特征在于:所述步驟(5c)中依 據(jù)距離矩陣Πζζ構(gòu)建二維的多模式樣本特征矩陣其具體步驟如下： (5cl)計算距離矩陣Πζζ各元素的平方得到矩陣(5c2)利用矩陣口嘗計算雙中屯、化形式矩陣Βe=(l 1…1)τ，Γ代表ZXZ的全1矩陣，Z = NXM，代表矩陣行向量的個數(shù)； (5c3)對矩陣B進行奇異值分解:B = V Λ yT，其中Λ = diag (λι，λ2，…，λζ)為對角陣， V=[V1 V2…νζ]為正定矩陣，λι,λ2,···,λζ和VI V2…νζ分別為矩陣的特征值和其對 應(yīng)的特征向量； (5c4)將特征值λι，λ2，…，λζ降序排列，選取前2個非零特征值所對應(yīng)的特征向量構(gòu)建二 維的多模式樣本特征矩陣么：.，
【文檔編號】G06K9/62GK106096640SQ201610396999
【公開日】2016年11月9日
【申請日】2016年5月31日 公開號201610396999.5, CN 106096640 A, CN 106096640A, CN 201610396999, CN-A-106096640, CN106096640 A, CN106096640A, CN201610396999, CN201610396999.5
【發(fā)明人】袁莉芬, 陳鵬, 何怡剛, 羅帥, 張艷, 施天成
【申請人】合肥工業(yè)大學(xué)