本發(fā)明涉及數(shù)據(jù)處理算法領(lǐng)域，尤其涉及一種基于多核函數(shù)自適應(yīng)融合的支持向量機(jī)參數(shù)選擇方法。

背景技術(shù)：

支持向量機(jī)(Support Vector Machine，SVM)自1995年Corinna Cortes和Vapnik等首先提出以來(lái)，吸引了國(guó)內(nèi)外眾多學(xué)者的關(guān)注和研究，它是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上，以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為原則的通用學(xué)習(xí)方法^[1]。SVM具有強(qiáng)大的非線性處理能力和泛化能力，特別是在解決非線性、小樣本及高維模式識(shí)別中表現(xiàn)出明顯的優(yōu)勢(shì)，已經(jīng)廣泛用于分類和回歸問(wèn)題的處理，如圖像識(shí)別、文本分類、人臉識(shí)別以及入侵檢測(cè)等多個(gè)領(lǐng)域^{[2，3，4，5]}。

SVM的核心是核函數(shù)的引入，每一種核函數(shù)都具有單獨(dú)的特性，對(duì)于不同的應(yīng)用場(chǎng)合針對(duì)性很強(qiáng)，核函數(shù)的性能表現(xiàn)差異性也較大，并且核函數(shù)的構(gòu)造與核參數(shù)的選擇至今沒(méi)有完備的理論依據(jù)?；趩翁卣骺臻g的單個(gè)核函數(shù)構(gòu)建的支持向量機(jī)在處理樣本分布不均勻等問(wèn)題時(shí)有很大的缺陷，比如，特征是由兩個(gè)特征融合而成，第一個(gè)特征服從多項(xiàng)式分布，而第二個(gè)特征服從正態(tài)分布。如果采用單一核函數(shù)只能刻畫(huà)數(shù)據(jù)某一方面的特性就無(wú)法對(duì)不同分布的特征進(jìn)行恰當(dāng)?shù)谋硎?sup>[6]。文獻(xiàn)[7-9]提出用處理局部信息強(qiáng)和全局信息能力都很強(qiáng)的混合核函數(shù)處理分類問(wèn)題。這種方法可以彌補(bǔ)單一核函數(shù)在處理樣本局部和全局信息方面的不足，但是缺乏有效的方法對(duì)兩個(gè)基礎(chǔ)核函數(shù)的加權(quán)系數(shù)進(jìn)行優(yōu)化。文獻(xiàn)[10]基于混合核函數(shù)提供了另外一條估計(jì)加權(quán)系數(shù)與核參數(shù)的途徑，把加權(quán)系數(shù)、全局核函數(shù)參數(shù)、局部核函數(shù)參數(shù)以及懲罰參數(shù)結(jié)合在一起整體作為混合核函數(shù)的參數(shù)，將基于混合核函數(shù)的支持向量回歸機(jī)多參數(shù)調(diào)整看成非線性動(dòng)態(tài)系統(tǒng)的參數(shù)識(shí)別問(wèn)題，并用五階容積卡爾曼濾波對(duì)參數(shù)進(jìn)行估計(jì)，成功地實(shí)現(xiàn)了自適應(yīng)調(diào)整加權(quán)系數(shù)與核參數(shù)。

隨著信息技術(shù)的發(fā)展，當(dāng)前需要處理的問(wèn)題數(shù)據(jù)規(guī)模逐步變得更加復(fù)雜，而注重小樣本統(tǒng)計(jì)規(guī)律的支持向量機(jī)已不足以應(yīng)對(duì)復(fù)雜的數(shù)據(jù)特征。特別地，當(dāng)數(shù)據(jù)規(guī)模龐大^[11]、樣本特征含有異構(gòu)信息^[12]、多維數(shù)據(jù)不規(guī)則^[13]或者高維特征空間分布不平坦^[14]等問(wèn)題時(shí)，如PE過(guò)程的復(fù)雜性以及故障原因、故障現(xiàn)象和故障機(jī)制的多樣性、隨機(jī)性和模糊性，使得其絕緣故障診斷存在許多困難，針對(duì)由不同分布的特征融合而成的故障特征，采用混合核函數(shù)構(gòu)建的支持向量機(jī)就無(wú)法充分利用故障樣本的多類特征而且性能主要依賴于主特征，因此只有兩個(gè)核函數(shù)的混合核函數(shù)SVM在處理異源特征融合時(shí)分類效果不理想?；诖耍琇anckriet等提出了多核學(xué)習(xí)框架，這種多核學(xué)習(xí)方法在解決上述問(wèn)題時(shí)有很大的優(yōu)越性^[15]。多核模型是一類靈活性更強(qiáng)的基于核的學(xué)習(xí)模型，近年來(lái)的關(guān)于多核學(xué)習(xí)的理論和應(yīng)用已經(jīng)證明多核模型比單核模型或混合模型所獲得更好的性能，利用多核代替單核能增強(qiáng)決策函數(shù)的可解釋性^[16]。但是，這里最重要的問(wèn)題就是如何得到這個(gè)組合的特征空間，也就是如何學(xué)習(xí)得到權(quán)系數(shù)。針對(duì)這一問(wèn)題，近來(lái)出現(xiàn)了多種有效的多核學(xué)習(xí)理論及方法。如早期的基于Boosting的多核組合模型學(xué)習(xí)方法^{[17，18]}，基于半定規(guī)劃(Semidefinite programming，SDP)的多核學(xué)習(xí)方法^[19]，基于二次約束型二次規(guī)劃(Quadratically constrained quadratic program，QCQP)的學(xué)習(xí)方法^[20]，基于半無(wú)限線性規(guī)劃(Semi-in^-nitelinear program，SILP)的學(xué)習(xí)方法^[21]，基于超核(Hyperkernels)的學(xué)習(xí)方法^[22]，以及近來(lái)出現(xiàn)的簡(jiǎn)單多核學(xué)習(xí)(Simple MKL)方法^[23，24]和基于分組Lasso思想的多核學(xué)習(xí)方法。在權(quán)系數(shù)與核函數(shù)的組合方面，研究人員也對(duì)多核方法進(jìn)行了一些改進(jìn)，如非平穩(wěn)的多核學(xué)習(xí)方法^[25]，局部多核學(xué)習(xí)方法^[26]，非稀疏多核學(xué)習(xí)方法^[27]等。然而，基于這些方法對(duì)加權(quán)系數(shù)及核參數(shù)的選擇得到的支持向量機(jī)分類效果并不是很理想。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就在于為了解決上述問(wèn)題而提供一種基于多核函數(shù)自適應(yīng)融合的支持向量機(jī)參數(shù)選擇方法。

本發(fā)明通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)上述目的：

本發(fā)明包括以下步驟：

(1)由于多種核函數(shù)加權(quán)融合而成的多核函數(shù)是一種新的核函數(shù)，把所有的加權(quán)融合系數(shù)也看成是多核函數(shù)的核參數(shù)，故將多核函數(shù)加權(quán)融合系數(shù)p_t,p_r、局部核函數(shù)的內(nèi)部參數(shù)、全局核函數(shù)的內(nèi)部參數(shù)以及懲罰參數(shù)C組合在一起作為支持向量機(jī)的核參數(shù)γ，進(jìn)而整個(gè)參數(shù)的選擇問(wèn)題就可作為一個(gè)非線性動(dòng)態(tài)系統(tǒng)的濾波估計(jì)問(wèn)題；令k_t為第t個(gè)局部核函數(shù)的所有核參數(shù)，k_r為第r個(gè)全局核函數(shù)的所有核參數(shù)，則參數(shù)狀態(tài)向量γ＝[p₁,...p_t,...p_m,p₁,...p_r,...p_n,k₁,...k_t,...k_m,k₁,...k_r,...k_n,C]^T，首先建立如下參數(shù)非線性系統(tǒng)

γ(k)＝γ(k-1)+w(k) (18)

y(k)＝h(γ(k))+v(k) (19)

其中，γ(k)是n維參數(shù)狀態(tài)向量，y(k)是觀測(cè)輸出，過(guò)程噪聲w(k)和觀測(cè)噪聲v(k)均是均值為零的高斯白噪聲，且方差分別為Q和R；

(2)由于待求的最優(yōu)參數(shù)可以看做是固定不變的，所以可以建立式(18)所示的關(guān)于參數(shù)的線性狀態(tài)方程，其次對(duì)于任何一個(gè)狀態(tài)向量γ(k)，經(jīng)過(guò)LIBSVM^[22]訓(xùn)練預(yù)測(cè)之后每一個(gè)原始數(shù)據(jù)都有一個(gè)預(yù)測(cè)輸出，故可建立式(19)所示的非線性觀測(cè)方程；為了五階CKF濾波算法的運(yùn)行，需要對(duì)系統(tǒng)模型加入人工過(guò)程白噪聲和觀測(cè)白噪聲；

(3)假設(shè)支持向量回歸機(jī)的原始樣本數(shù)據(jù)集合為D＝{(x_i,y_i)|i∈I}，其中指標(biāo)集合I＝{1,2,...,N}，y_i為數(shù)據(jù)的目標(biāo)向量，運(yùn)用k-折交叉驗(yàn)證方法將樣本數(shù)據(jù)分成k組，即

D_j＝{(x_i,y_i)|i∈I_j} (20)

其中j∈{1,2,...,k}，并且所有組的指標(biāo)集I_j滿足I₁∪I_j∪…∪I_k＝I，所有組的數(shù)據(jù)集D_j滿足D₁∪D₂∪…∪D_k＝D；在每一次支持向量回歸的迭代運(yùn)算中，使用其中任意一組數(shù)據(jù)D_p用作預(yù)測(cè)，剩下的k-1組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)庫(kù)，給定初始的參數(shù)γ₀利用LIBSVM訓(xùn)練支持向量回歸機(jī)；設(shè)此時(shí)訓(xùn)練結(jié)果為和則此時(shí)的決策函數(shù)為

其中，

(4)將數(shù)據(jù)組D_p代入式(15)，即可得到D_p的預(yù)測(cè)輸出值

分別將數(shù)據(jù)組D_i，i∈{1,2,...,k}作為預(yù)測(cè)數(shù)據(jù)組，其余的數(shù)據(jù)組D₁,...,D_i-1,D_i+1,...,D_k作為支持向量回歸機(jī)訓(xùn)練數(shù)據(jù)組，經(jīng)過(guò)k-折交叉驗(yàn)證回歸預(yù)測(cè)之后，樣本數(shù)據(jù)集D中的每一個(gè)數(shù)據(jù)有且僅有一個(gè)預(yù)測(cè)輸出值；故對(duì)于參數(shù)向量γ，可定義如下預(yù)測(cè)輸出函數(shù)：

其中，

(5)因此針對(duì)非線性系統(tǒng)模型(18)(19)，基于多核函數(shù)及k-折交叉驗(yàn)證法用k個(gè)子LIBSVM訓(xùn)練數(shù)據(jù)集D，并將它的預(yù)測(cè)輸出輸入到五階容積卡爾曼濾波器當(dāng)中進(jìn)行參數(shù)狀態(tài)估計(jì)；整個(gè)基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)模型參數(shù)選擇算法同樣是包括兩個(gè)過(guò)程，即時(shí)間更新過(guò)程和測(cè)量更新過(guò)程：

時(shí)間更新：

由于該更新過(guò)程是對(duì)狀態(tài)的預(yù)測(cè)更新，且狀態(tài)方程是線性已知的，故可根據(jù)五階容積卡爾曼濾波算法的時(shí)間更新步驟公式(5)-(7)以及容積規(guī)則(46)進(jìn)行支持向量回歸機(jī)模型參數(shù)選擇算法的時(shí)間更新；

測(cè)量更新：

帶入?yún)?shù)狀態(tài)向量γ(k)到支持向量回歸機(jī)參數(shù)中，利用LIBSVM來(lái)訓(xùn)練數(shù)據(jù)集，再預(yù)測(cè)輸出然后，將預(yù)測(cè)輸出函數(shù)(17)嵌入到五階容積卡爾曼濾波算法的測(cè)量更新步驟公式(8)-(14)及容積規(guī)則(46)中對(duì)各個(gè)參數(shù)進(jìn)行估計(jì)。

本發(fā)明的有益效果在于：

本發(fā)明是一種基于多核函數(shù)自適應(yīng)融合的支持向量機(jī)參數(shù)選擇方法，與現(xiàn)有技術(shù)相比，本發(fā)明分別對(duì)局部核函數(shù)、全局核函數(shù)、混合核函數(shù)以及多核函數(shù)的特性進(jìn)行了具體分析。把多核函數(shù)的所有融合系數(shù)、核函數(shù)參數(shù)、回歸參數(shù)組合在一起作為參數(shù)狀態(tài)向量，從而將模型選擇問(wèn)題轉(zhuǎn)換成一個(gè)非線性系統(tǒng)的狀態(tài)估計(jì)問(wèn)題，然后用五階容積卡爾曼濾波進(jìn)行參數(shù)估計(jì)，實(shí)現(xiàn)多核函數(shù)加權(quán)系數(shù)的自適應(yīng)融合及核參數(shù)、回歸參數(shù)的選擇。

附圖說(shuō)明

圖1是支持向量機(jī)結(jié)構(gòu)示意圖；

圖2是高斯核函數(shù)特性圖；

圖3是多項(xiàng)式核函數(shù)特性圖；

圖4是混合核函數(shù)特性圖；

圖5是兩局部一全局三核函數(shù)特性圖；

圖6是一局部?jī)扇秩撕瘮?shù)特性圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明：

問(wèn)題描述：

支持向量回歸機(jī)的結(jié)構(gòu)示意圖如圖1所示，支持向量機(jī)的關(guān)鍵是核函數(shù)的引入。核函數(shù)巧妙地解決了低維向量映射到高維時(shí)所帶來(lái)的維數(shù)災(zāi)難問(wèn)題，提高了機(jī)器學(xué)習(xí)的非線性處理能力。而每一種核函數(shù)都有各自的特性，基于不同核函數(shù)得到的支持向量回歸機(jī)具有不同的泛化能力。核函數(shù)是支持向量機(jī)中最重要的問(wèn)題之一，如何選擇合適的核函數(shù)也是支持向量機(jī)中未有理論依據(jù)的一個(gè)難點(diǎn)問(wèn)題。

令K(x_i,x_j)表示核函數(shù)，其中x_i，x_j為樣本數(shù)據(jù)。目前的核函數(shù)都是在實(shí)驗(yàn)中去嘗試，常用的核函數(shù)有四種^[28]

(1)線性核函數(shù)

K(x_i,x_j)＝x_i·x_j (3)

線性核函數(shù)是核函數(shù)中的一個(gè)特例，采用線性核函數(shù)，則是在原始空間中尋找最優(yōu)泛化性的支持向量機(jī)。主要特點(diǎn)是參數(shù)少，速度快。

(2)多項(xiàng)式核函數(shù)

K(x_i,x_j)＝((x_i·x_j)+c)^q (4)

其中，c，q為核參數(shù)且滿足c≥0，q∈N，基于此核函數(shù)得到的是q階多項(xiàng)式分類器。當(dāng)c＝1時(shí)的核函數(shù)是常用的一個(gè)多項(xiàng)式核。多項(xiàng)式核函數(shù)屬于全局核函數(shù)，具有全局特性，允許相距很遠(yuǎn)的數(shù)據(jù)點(diǎn)可以對(duì)核函數(shù)的值有影響。q值越大，映射的維數(shù)越高，計(jì)算量也越大。當(dāng)q過(guò)大時(shí)，函數(shù)集的VC維升高，學(xué)習(xí)機(jī)器的復(fù)雜性也提高，支持向量機(jī)的推廣能力降低，易出現(xiàn)“過(guò)擬合”現(xiàn)象。

(3)高斯核函數(shù)(RBF核)

K(x_i,x_j)＝exp(-||x_i-x_j||²/σ²) (5)

其中，σ＞0為核參數(shù)，基于高斯核函數(shù)得到的支持向量機(jī)是一個(gè)徑向基函數(shù)的學(xué)習(xí)機(jī)，它的每一個(gè)基函數(shù)中心對(duì)應(yīng)一個(gè)支持向量。RBF核函數(shù)是局部性強(qiáng)的核函數(shù)，其外推能力隨參數(shù)的增大而減弱。與一般的核函數(shù)相比，高斯核函數(shù)只需要確定一個(gè)參數(shù)，建立核函數(shù)模型相對(duì)簡(jiǎn)單。因此，RBF核函數(shù)是目前被應(yīng)用最廣的一種核函數(shù)。

(4)Sigmoid核函數(shù)

其中，λ，為核參數(shù)且滿足λ＞0，基于Sigmoid核函數(shù)得到的支持向量機(jī)是一個(gè)包含隱層的多層感知器。支持向量機(jī)的理論基礎(chǔ)決定了它最終求得的全局最優(yōu)值而不是局部最小值，也保證了它對(duì)于未知樣本的良好泛化能力而不會(huì)出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象。

(5)傅里葉(Fourier)核函數(shù)

其中，0＜q＜1，基于傅里葉核函數(shù)的支持向量機(jī)已經(jīng)得到了越來(lái)越多的應(yīng)用。

目前，核函數(shù)主要分為兩大類：全局核函數(shù)與局部核函數(shù)。局部核函數(shù)善于提取樣本的局部性，核函數(shù)的值只受距離很近的數(shù)據(jù)點(diǎn)影響，插值能力較強(qiáng)，因此其學(xué)習(xí)能力強(qiáng)。常用的核函數(shù)當(dāng)中，高斯核函數(shù)、傅里葉核函數(shù)屬于局部核函數(shù)。全局核函數(shù)善于提取樣本的全局特性，核函數(shù)的值只受距離很遠(yuǎn)的數(shù)據(jù)點(diǎn)影響，因此其泛化能力強(qiáng)^[29]。與局部核函數(shù)相比，全局核函數(shù)插值能力較弱。常用的核函數(shù)當(dāng)中，線性核函數(shù)、多項(xiàng)式核函數(shù)、和Sigmoid核函數(shù)都屬于全局核函數(shù)。

單一核函數(shù)的缺陷難以滿足支持向量機(jī)獲得高性能的要求。每一種核函數(shù)都有各自的優(yōu)缺點(diǎn)，且表現(xiàn)出各不相同的特點(diǎn)，從而基于這些核函數(shù)得到的支持向量回歸機(jī)決策函數(shù)分類性能也完全不同。實(shí)際樣本的特性復(fù)雜多變，并不能完全由局部核函數(shù)或者全局核函數(shù)來(lái)刻畫(huà)反映，當(dāng)樣本特征含有異構(gòu)信息，數(shù)據(jù)不規(guī)則及空間分布不平坦等情況時(shí)，由局部核函數(shù)與全局核函數(shù)加權(quán)組合而成的混合核函數(shù)也不能準(zhǔn)確描述實(shí)際樣本特征。而多核學(xué)習(xí)框架很好的解決了上述問(wèn)題，為此本發(fā)明對(duì)多核函數(shù)的特性進(jìn)行分析研究，并將多核函數(shù)的構(gòu)造與核函數(shù)參數(shù)的選擇問(wèn)題轉(zhuǎn)化成一個(gè)非線性濾波問(wèn)題，基于高性能的五階容積卡爾曼濾波算法對(duì)狀態(tài)參數(shù)進(jìn)行求解，從而實(shí)現(xiàn)對(duì)融合系數(shù)的自適應(yīng)調(diào)整以及核參數(shù)與懲罰參數(shù)的估計(jì)。

核函數(shù)特性分析：

多核函數(shù)構(gòu)造：

核函數(shù)主要包括2個(gè)方面的內(nèi)容：核函數(shù)的構(gòu)造和核函數(shù)模型的選擇。其中，模型的恰當(dāng)選擇是提高支持向量回歸機(jī)性能的關(guān)鍵。模型選擇就是針對(duì)一批給定的原始樣本數(shù)據(jù)，在進(jìn)行訓(xùn)練之前確定比較適用于此數(shù)據(jù)特點(diǎn)的核函數(shù)。核函數(shù)的確定主要包括兩個(gè)步驟：首先確定核函數(shù)的類型，然后選擇核函數(shù)的相關(guān)參數(shù)。目前的研究，也主要集中于核函數(shù)模型的選擇。核函數(shù)的構(gòu)造往往比核函數(shù)的選擇更具有重要意義，由于不同具體的實(shí)際應(yīng)用樣本具有不同的特性，一個(gè)好核函數(shù)的構(gòu)造仍然是非常困難的。

眾所周知，支持向量機(jī)的性能的好壞取決于核函數(shù)及其參數(shù)的選取。而核函數(shù)的類型繁多，各有各的特性，且各有利弊，因此如果在求解實(shí)際問(wèn)題時(shí)僅僅采用單一的核函數(shù)，往往無(wú)法令支持向量機(jī)的分類性能達(dá)到最優(yōu)，具有一定的局限性。實(shí)際上，除了上面提到的幾種常見(jiàn)的核函數(shù)外，常常需要根據(jù)實(shí)際問(wèn)題構(gòu)造出相應(yīng)的核函數(shù)。因此考慮將不同的核函數(shù)組合起來(lái)學(xué)習(xí)，以達(dá)到選取合適核函數(shù)的目的，M個(gè)核函數(shù)組成的多核函數(shù)K_mk(x_i,x_j)表達(dá)式如下所示

其中，K_s(x_i,x_j)表示第s個(gè)核函數(shù)，p_s表示第s個(gè)核函數(shù)的加權(quán)系數(shù)。

定理1：記分別表示第r個(gè)局部核函數(shù)與第t個(gè)全局核函數(shù)，則多核函數(shù)K_mk(x_i,x_j)的表達(dá)式為：

其中，m，n為局部核函數(shù)和全局核函數(shù)的個(gè)數(shù)，且各核函數(shù)的融合系數(shù)滿足0≤p₁,p₂…p_r…p_m≤1，0≤p₁,p₂…p_t…p_n≤1，則多核函數(shù)仍然是Mercer核。

證明：由于為局部核函數(shù)與全局核函數(shù)，所以其均滿足Mercer條件^[21]，即，對(duì)任意且滿足

又由于0≤p₁,p₂…p_r…p_m≤1，0≤p₁,p₂…p_t…p_n≤1，所以

即，

理論證明函數(shù)只要滿足Mercer條件都可選為核函數(shù)，所以多核函數(shù)滿足Mercer條件，可選為核函數(shù)。多核函數(shù)是多種局部核函數(shù)與全局核函數(shù)的凸組合，它的引入，彌補(bǔ)了單一使用全局核函數(shù)和局部核函數(shù)以及混合核函數(shù)的不足。

很明顯，當(dāng)某個(gè)核函數(shù)的融合系數(shù)為1，其它所有核函數(shù)融合系數(shù)為0時(shí)，多核函數(shù)就退化成單一的核函數(shù)?；趩蝹€(gè)核函數(shù)的支持向量回歸機(jī)的模型選擇僅僅是在選擇單個(gè)核函數(shù)內(nèi)部的參數(shù)，而以多核函數(shù)為核的支持向量回歸機(jī)的模型選擇既要選擇局部核函數(shù)內(nèi)部的參數(shù)，還要選擇全局核函數(shù)內(nèi)部的參數(shù)，同時(shí)還要確定這所有核函數(shù)的融合系數(shù)，使得基于多核函數(shù)得到的支持向量回歸機(jī)的性能最優(yōu)。支持向量回歸機(jī)在訓(xùn)練樣本之前需要代入具體的加權(quán)融合系數(shù)值，多核函數(shù)(9)式中的加權(quán)融合系數(shù)p_t，p_r往往是根據(jù)經(jīng)驗(yàn)而事先設(shè)計(jì)好的，由于組合后的混合核函數(shù)并不定能很好的刻畫(huà)實(shí)際樣本的特性，使得回歸預(yù)測(cè)性能降低。

核函數(shù)特性分析：

核函數(shù)是影響支持向量機(jī)的核心因素，核函數(shù)不同，函數(shù)所表現(xiàn)的特性就不同。因此對(duì)核函數(shù)的特性進(jìn)行分析十分必要。圖2為高斯核函數(shù)核參數(shù)σ分別取0.1，0.2，0.3，0.4時(shí)的特性曲線圖，測(cè)試點(diǎn)為0.5。從圖上可以看出，局部核函數(shù)僅對(duì)測(cè)試點(diǎn)附近的小范圍內(nèi)的數(shù)據(jù)有影響，因?yàn)樵谶h(yuǎn)離測(cè)試點(diǎn)的值迅速減小趨于零，因此外推能力弱。隨著高斯核函數(shù)半徑的不斷改變，核函數(shù)的影響范圍也相應(yīng)改變，且半徑越大，影響的范圍也就越小，其內(nèi)推能力隨著參數(shù)σ的增大而減小。

圖3為多項(xiàng)式參數(shù)q分別取1，2，3，4時(shí)，多項(xiàng)式核函數(shù)的曲線，對(duì)于不同的多項(xiàng)式階數(shù)采用的是同一個(gè)數(shù)據(jù)測(cè)試點(diǎn)0.5。從圖中可以發(fā)現(xiàn)，多項(xiàng)式的數(shù)據(jù)點(diǎn)對(duì)于所有的待識(shí)別數(shù)據(jù)點(diǎn)都有全局性的影響，全局核函數(shù)不僅對(duì)測(cè)試點(diǎn)附近的小范圍數(shù)據(jù)有影響，對(duì)遠(yuǎn)離測(cè)試點(diǎn)的數(shù)據(jù)也有一定影響。

圖4是混合核函數(shù)的特性曲線圖，其中局部核函數(shù)為高斯核函數(shù)，全局核函數(shù)為多項(xiàng)式核函數(shù)。對(duì)加權(quán)系數(shù)分別賦予4組不同的權(quán)值得到4條混合函數(shù)特性曲線，測(cè)試點(diǎn)為0.5。從圖中我們可以看到，混合核函數(shù)結(jié)合了局部核函數(shù)與全局核函數(shù)的特性，對(duì)測(cè)試點(diǎn)附近的小范圍內(nèi)的數(shù)據(jù)有影響，在遠(yuǎn)離測(cè)試點(diǎn)的右端數(shù)據(jù)仍有影響，在遠(yuǎn)離測(cè)試點(diǎn)的左端迅速趨于0，即對(duì)左端數(shù)據(jù)影響較小，因此混合核函數(shù)既能對(duì)測(cè)試點(diǎn)附近的數(shù)據(jù)樣本有較大影響，對(duì)遠(yuǎn)離測(cè)試點(diǎn)的數(shù)據(jù)也有一定的影響。

圖5是兩局部一全局三核函數(shù)的特性曲線圖，三核函數(shù)由兩個(gè)局部核函數(shù)與一個(gè)全局核函數(shù)組成。其中局部核函數(shù)為高斯核函數(shù)和傅里葉核函數(shù)，全局核函數(shù)為多項(xiàng)式核函數(shù)，測(cè)試點(diǎn)為0.5。對(duì)三種核函數(shù)的加權(quán)系數(shù)進(jìn)行不同的取值得到如圖所示的特性曲線，從圖中可以看出由于具有兩局部核函數(shù)，三核函數(shù)對(duì)測(cè)試點(diǎn)附近的數(shù)據(jù)有較大影響，局部特性明顯，學(xué)習(xí)能力強(qiáng)，對(duì)遠(yuǎn)離測(cè)試點(diǎn)的數(shù)據(jù)也有影響。

圖6為一局部?jī)扇秩撕瘮?shù)的特性圖，三核函數(shù)由一個(gè)局部核函數(shù)與兩個(gè)全局核函數(shù)組成。其中局部核函數(shù)為高斯核函數(shù)，全局核函數(shù)分別為多項(xiàng)式核函數(shù)、Sigmod核函數(shù)，測(cè)試點(diǎn)為0.5。對(duì)三種核函數(shù)給予四種不同的取值得到的特性曲線如圖所示，從圖中可以看出，三核函數(shù)對(duì)測(cè)試點(diǎn)附近的數(shù)據(jù)有一定的影響，對(duì)遠(yuǎn)離測(cè)試點(diǎn)的數(shù)據(jù)影響較大，全局特性明顯，泛化能力強(qiáng)。

總之，局部核函數(shù)學(xué)習(xí)能力強(qiáng)，而其泛化能力弱；全局核函數(shù)泛化能力強(qiáng)，但是其學(xué)習(xí)能力弱?；旌虾撕瘮?shù)同時(shí)具有局部特性和全局特性，具備一定的學(xué)習(xí)能力和泛化能力。兩局部一全局三核函數(shù)局部特性明顯，同時(shí)具備全局能力，擬合能力強(qiáng)。一局部?jī)扇秩撕瘮?shù)全局特性明顯，同時(shí)具備局部能力，外推能力強(qiáng)。因此，將不同的核函數(shù)進(jìn)行組合得到的多核函數(shù)具有更加豐富的特性曲線，能夠相對(duì)準(zhǔn)確的描述刻畫(huà)實(shí)際樣本的特性，同時(shí)不同的多核函數(shù)具有不同的函數(shù)特性，多核函數(shù)的特性跟組成核函數(shù)的加權(quán)系數(shù)密切相關(guān)。如何針對(duì)具體的實(shí)際應(yīng)用選擇多核函數(shù)的加權(quán)系數(shù)是一個(gè)難題。

基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)參數(shù)選擇方法

多核函數(shù)支持向量機(jī)

支持向量回歸機(jī)的最終目的是找到一個(gè)回歸函數(shù)f：R^D→R，使得

其中，是一個(gè)由多核函數(shù)組成，并將數(shù)據(jù)x從低維映射到高維特征空間的函數(shù)。w是一個(gè)權(quán)重向量，并且b是一個(gè)上下平移的數(shù)值。標(biāo)準(zhǔn)支持向量回歸機(jī)采用ε-不靈敏函數(shù)，假設(shè)所有訓(xùn)練數(shù)據(jù)在精度ε下用線性函數(shù)擬合。這時(shí)，把問(wèn)題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問(wèn)題^[17]：

式中，ξ_i,是松弛因子，當(dāng)擬合有誤差時(shí)，ξ_i,都大于0，誤差不存在時(shí)為0，優(yōu)化函數(shù)第一項(xiàng)使擬合函數(shù)更為平坦，從而提高泛化能力；第二項(xiàng)為減小誤差；常數(shù)C＞0表示對(duì)超出誤差ε的樣本的懲罰程度。支持向量機(jī)的性能受誤差懲罰參數(shù)C的影響，它是用來(lái)對(duì)樣本被錯(cuò)分進(jìn)行的懲罰度，對(duì)算法復(fù)雜度和樣本錯(cuò)分度進(jìn)行折中處理，因此，對(duì)于實(shí)際問(wèn)題要選擇恰當(dāng)?shù)膽土P系數(shù)C。

求解(13)式的凸二次優(yōu)化問(wèn)題，引入Lagrange乘子α_i,支持向量回歸機(jī)的原始問(wèn)題(13)轉(zhuǎn)換成如下對(duì)偶形式：

通過(guò)求解該對(duì)偶問(wèn)題得到原始問(wèn)題的解從而構(gòu)造決策函數(shù)。將混合核函數(shù)K_mk(x_i,x_j)代替目標(biāo)函數(shù)(14)中的內(nèi)積(x_i·x_j)，則得到?jīng)Q策函數(shù)為：

其中，按如下方式計(jì)算：選擇開(kāi)區(qū)間中的或若選到的是則

若選到的是則

基于多核函數(shù)自適應(yīng)融合的支持向量機(jī)模型參數(shù)選擇方法

由于多種核函數(shù)加權(quán)融合而成的多核函數(shù)是一種新的核函數(shù)，我們也可以把所有的加權(quán)融合系數(shù)也看成是多核函數(shù)的核參數(shù)，故可將多核函數(shù)加權(quán)融合系數(shù)p_t,p_r、局部核函數(shù)的內(nèi)部參數(shù)、全局核函數(shù)的內(nèi)部參數(shù)以及懲罰參數(shù)C組合在一起作為支持向量機(jī)的核參數(shù)γ，進(jìn)而整個(gè)參數(shù)的選擇問(wèn)題就可作為一個(gè)非線性動(dòng)態(tài)系統(tǒng)的濾波估計(jì)問(wèn)題。令k_t為第t個(gè)局部核函數(shù)的所有核參數(shù)，k_r為第r個(gè)全局核函數(shù)的所有核參數(shù)，則參數(shù)狀態(tài)向量γ＝[p₁,...p_t,...p_m,p₁,...p_r,...p_n,k₁,...k_t,...k_m,k₁,...k_r,...k_n,C]^T，首先建立如下參數(shù)非線性系統(tǒng)

γ(k)＝γ(k-1)+w(k) (18)

y(k)＝h(γ(k))+v(k) (19)

其中，γ(k)是n維參數(shù)狀態(tài)向量，y(k)是觀測(cè)輸出，過(guò)程噪聲w(k)和觀測(cè)噪聲v(k)均是均值為零的高斯白噪聲，且方差分別為Q和R。

由于待求的最優(yōu)參數(shù)可以看做是固定不變的，所以可以建立式(18)所示的關(guān)于參數(shù)的線性狀態(tài)方程，其次對(duì)于任何一個(gè)狀態(tài)向量γ(k)，經(jīng)過(guò)LIBSVM^[22]訓(xùn)練預(yù)測(cè)之后每一個(gè)原始數(shù)據(jù)都有一個(gè)預(yù)測(cè)輸出，故可建立式(19)所示的非線性觀測(cè)方程。為了五階CKF濾波算法的運(yùn)行，需要對(duì)系統(tǒng)模型加入人工過(guò)程白噪聲和觀測(cè)白噪聲。

假設(shè)支持向量回歸機(jī)的原始樣本數(shù)據(jù)集合為D＝{(x_i,y_i)|i∈I}，其中指標(biāo)集合I＝{1,2,...,N}，y_i為數(shù)據(jù)的目標(biāo)向量，運(yùn)用k-折交叉驗(yàn)證方法將樣本數(shù)據(jù)分成k組，即

D_j＝{(x_i,y_i)|i∈I_j} (20)

其中j∈{1,2,...,k}，并且所有組的指標(biāo)集I_j滿足I₁∪I_j∪…∪I_k＝I，所有組的數(shù)據(jù)集D_j滿足D₁∪D₂∪…∪D_k＝D。在每一次支持向量回歸的迭代運(yùn)算中，使用其中任意一組數(shù)據(jù)D_p用作預(yù)測(cè)，剩下的k-1組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)庫(kù)，給定初始的參數(shù)γ₀利用LIBSVM訓(xùn)練支持向量回歸機(jī)。設(shè)此時(shí)訓(xùn)練結(jié)果為和則此時(shí)的決策函數(shù)為

其中，

將數(shù)據(jù)組D_p代入式(15)，即可得到D_p的預(yù)測(cè)輸出值

分別將數(shù)據(jù)組D_i，i∈{1,2,...,k}作為預(yù)測(cè)數(shù)據(jù)組，其余的數(shù)據(jù)組D₁,...,D_i-1,D_i+1,...,D_k作為支持向量回歸機(jī)訓(xùn)練數(shù)據(jù)組，經(jīng)過(guò)k-折交叉驗(yàn)證回歸預(yù)測(cè)之后，樣本數(shù)據(jù)集D中的每一個(gè)數(shù)據(jù)有且僅有一個(gè)預(yù)測(cè)輸出值。故對(duì)于參數(shù)向量γ，可定義如下預(yù)測(cè)輸出函數(shù)：

其中，

因此針對(duì)非線性系統(tǒng)模型(18)(19)，基于多核函數(shù)及k-折交叉驗(yàn)證法用k個(gè)子LIBSVM訓(xùn)練數(shù)據(jù)集D，并將它的預(yù)測(cè)輸出輸入到五階容積卡爾曼濾波器當(dāng)中進(jìn)行參數(shù)狀態(tài)估計(jì)。整個(gè)基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)模型參數(shù)選擇算法同樣是包括兩個(gè)過(guò)程，即時(shí)間更新過(guò)程和測(cè)量更新過(guò)程：

時(shí)間更新：

由于該更新過(guò)程是對(duì)狀態(tài)的預(yù)測(cè)更新，且狀態(tài)方程是線性已知的，故可根據(jù)五階容積卡爾曼濾波算法的時(shí)間更新步驟公式(5)-(7)以及容積規(guī)則(46)進(jìn)行支持向量回歸機(jī)模型參數(shù)選擇算法的時(shí)間更新。

測(cè)量更新：

帶入?yún)?shù)狀態(tài)向量γ(k)到支持向量回歸機(jī)參數(shù)中，利用LIBSVM來(lái)訓(xùn)練數(shù)據(jù)集，再預(yù)測(cè)輸出然后，將預(yù)測(cè)輸出函數(shù)(17)嵌入到五階容積卡爾曼濾波算法的測(cè)量更新步驟公式(8)-(14)及容積規(guī)則(46)中對(duì)各個(gè)參數(shù)進(jìn)行估計(jì)。具體的基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)模型參數(shù)選擇算法步驟如表1所示。

表1基于混合核函數(shù)自適應(yīng)融合的支持向量機(jī)模型參數(shù)選擇算法具體步驟

基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)模型參數(shù)選擇算法將多合核函數(shù)的所有融合系數(shù)與核參數(shù)及懲罰參數(shù)C作為參數(shù)狀態(tài)向量，然后利用k-折交叉驗(yàn)證法基于LIBSVM對(duì)數(shù)據(jù)集進(jìn)行預(yù)測(cè)輸出，最終用五階CKF算法迭代計(jì)算最優(yōu)的的參數(shù)狀態(tài)向量。實(shí)際上，整個(gè)基于混合核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)模型參數(shù)選擇算法是在迭代尋找最優(yōu)的狀態(tài)向量γ，使得樣本真實(shí)目標(biāo)值y(k)與支持向量回歸機(jī)的預(yù)測(cè)輸出之間的誤差方差最小。

結(jié)論

本發(fā)明提出基于多核函數(shù)自適應(yīng)融合的支持向量回歸機(jī)參數(shù)選擇方法，詳細(xì)分析了局部核函數(shù)、全局核函數(shù)以及多核函數(shù)的特性，說(shuō)明了進(jìn)行各種核函數(shù)組合的必要性。將多核函數(shù)的所有融合系數(shù)、核函數(shù)參數(shù)、回歸參數(shù)組合在一起作為參數(shù)狀態(tài)向量，基于LIBSVM對(duì)原始數(shù)據(jù)集做預(yù)測(cè)輸出，并用五階容積卡爾曼濾波對(duì)融合系數(shù)進(jìn)行自適應(yīng)調(diào)整，對(duì)核函數(shù)參數(shù)與回歸參數(shù)進(jìn)行估計(jì)選擇。最后以PE過(guò)程實(shí)驗(yàn)證明了基于本發(fā)明所提方法構(gòu)造的核函數(shù)及參數(shù)能夠使得支持向量機(jī)的泛化能力更強(qiáng)，故障分類精度更高。

以上顯示和描述了本發(fā)明的基本原理和主要特征及本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說(shuō)明書(shū)中描述的只是說(shuō)明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書(shū)及其等效物界定。