本發(fā)明涉及一種新型最小二乘支持向量機(jī)(LS-SVM)的超參優(yōu)化方法，屬于優(yōu)化領(lǐng)域

背景技術(shù)：

最小二乘支持向量機(jī)(Least Squares Support Vector Machine,LSSVM)是一種遵循結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的核函數(shù)學(xué)習(xí)機(jī)器,該模型于1999年由Suykens首次提出，該算法從損失函數(shù)的角度出發(fā)，在標(biāo)準(zhǔn)SVM的基礎(chǔ)上，采用無差評(píng)方向作為目標(biāo)函數(shù)，并采用線性等式的形式代替二次規(guī)劃作為約束條件。

LS-SVM模型性能受到模型超參數(shù)(正則化參數(shù)γ、核寬度σ)優(yōu)化、核函數(shù)的選擇和支持向量機(jī)稀疏化等影響，其中模型超參數(shù)優(yōu)化直接影響了LS-SVM的擬合與泛化性能。因而關(guān)于LS-SVM超參優(yōu)化問題引了國內(nèi)外研究人員的廣泛關(guān)注。有學(xué)者直接選取滿足事先設(shè)定的模型預(yù)測(cè)精度的參數(shù)作為最佳超參數(shù)組合，以此來提高了建模的效率。通過網(wǎng)格尋優(yōu)算法得到的最佳超參數(shù)為中心重新構(gòu)建網(wǎng)絡(luò)節(jié)點(diǎn)，實(shí)現(xiàn)多層動(dòng)態(tài)自適應(yīng)超參數(shù)優(yōu)化方法，利用三步搜索法優(yōu)化LS-SVM模型超參數(shù)。上述方法完全依靠經(jīng)驗(yàn)來設(shè)置超參優(yōu)化的初始值，雖然簡(jiǎn)單明了，但是缺乏一定的理論依據(jù)，容易陷入局部最優(yōu)。與此同時(shí)，有學(xué)者采用變尺度混沌優(yōu)化算法來確定模型的超參數(shù)，然而混沌運(yùn)動(dòng)雖然可以在一定區(qū)域無重復(fù)地遍歷所有超參數(shù)，卻沒有能力脫離該區(qū)域，仍然易導(dǎo)致尋優(yōu)過程陷入局部最優(yōu)。此外，有學(xué)者分別基于遺傳算法、粒子群算法得到LS-SVM的超參數(shù)組合，然而這些方法雖然在一定程度上解決了尋優(yōu)的局部收斂問題，但是對(duì)于初始值敏感，模型初始賦值將直接影響到算法的性能(收斂性)，且尋優(yōu)過程中也會(huì)陷入局部最優(yōu)。因而，目前的超參優(yōu)化方法并沒有真正有效的解決局部收斂問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在解決建立LS-SVM模型時(shí)超參優(yōu)化問題，使得在建立LS-SVM模型時(shí)得到更為精準(zhǔn)的超參數(shù)組合，進(jìn)而提高LS-SVM的泛化能力和精確度。由于現(xiàn)有的超參優(yōu)化算法初始值主要依賴經(jīng)驗(yàn)值，同時(shí)尋優(yōu)算法易陷入局部最優(yōu)解，本發(fā)明提出PSO-GA-LM算法，該算法將粒子群搜索算法(Particle Swarm Optimization，PSO)與遺傳算法(Genetic Algorithm,GA)、Logistics映射(LM)相結(jié)合形成新型PSO-GA-LM超參優(yōu)化算法。該算法不僅吸收了遺傳算法能將優(yōu)秀基因遺傳給下一代的優(yōu)秀特性，同時(shí)在一定條件下也擁有混沌映射(Logistic映射)重新初始化的優(yōu)點(diǎn)，具有較好的脫離局部最優(yōu)的性能，且能夠有效地提高最小二乘支持向量機(jī)預(yù)測(cè)精度。

本發(fā)明采用以下技術(shù)方案：

一種最小二乘支持向量機(jī)的超參優(yōu)化方法，包括步驟：

步驟1：隨機(jī)生成初始的粒子群，最優(yōu)的超參組合記設(shè)置全局最優(yōu)解的計(jì)數(shù)器T＝0，迭代次數(shù)itr＝0；

步驟2：計(jì)算粒子群的適應(yīng)度函數(shù)，并求得該群體的最小適應(yīng)值粒子組合Best，T＝T+1；

步驟3：判斷T與局部最優(yōu)的判定閾值N_local的大?。蝗鬞≤N_local，則使用遺傳算法更新粒子：根據(jù)粒子群的適應(yīng)度函數(shù)對(duì)粒子群排序，取前n個(gè)最優(yōu)的粒子個(gè)體，對(duì)其進(jìn)行交叉、變異操作來替代排序后n個(gè)粒子個(gè)體,itr＝itr+1；否則使用Logistic映射重新生成粒子群,itr＝itr+1，重置T＝0；

步驟4：計(jì)算步驟3得到的粒子群的適應(yīng)度函數(shù)，求得該群體的最優(yōu)超參組合記為pBest；

步驟5：若Best＝PBest，則T＝T+1；若Best<PBest，則保持不變；否則令Best＝pBest，同時(shí)重置T＝0；

步驟6：判斷迭代次數(shù)是否itr＞exetime；若是，則停止，Best即為所求超參數(shù)；否則返回步驟3。

所述局部最優(yōu)的判定閾值N_local有該算法實(shí)際使用情況與應(yīng)用場(chǎng)景相關(guān)，由用戶自行設(shè)定。

所述步驟2的適應(yīng)度函數(shù)為誤差函數(shù)。

本發(fā)明達(dá)到的有益效果：①在LS-SVM的預(yù)測(cè)精度方面，有所提出的PSO-GA-LM算法所建立的預(yù)測(cè)模型預(yù)測(cè)準(zhǔn)確度更高；②在超參優(yōu)化的初始值設(shè)定方面，該算法不需要同以往算法一樣依據(jù)經(jīng)驗(yàn)值設(shè)定超參組合，可隨機(jī)生成超參組合；③在超參優(yōu)化算法PSO-GA-LM的收斂性方面，該算法具有較好的收斂性，且能夠避免巡游過程陷入局部最優(yōu)。

附圖說明

圖1為L(zhǎng)S-SVM的流程圖。

圖2為PSO-GA-LM的流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，數(shù)據(jù)集將被分為訓(xùn)練集與測(cè)試集，訓(xùn)練集用于求得最優(yōu)的超參組合，利用我們所提出的PSO-GA-LM算法對(duì)LS-SVM參數(shù)進(jìn)行優(yōu)化，并循環(huán)進(jìn)行，當(dāng)達(dá)到終止條件時(shí)，最終得到的超參組合就是我們所求的LS-SVM參數(shù)，將求得的超參組合帶入LS-SVM模型即可得到優(yōu)化后的LS-SVM模型。

本發(fā)明的超參優(yōu)化過程用在LS-SVM模型建立階段，利用訓(xùn)練數(shù)據(jù)使用該算法求得全局最優(yōu)的超參組合，并利用該參數(shù)建立LS-SVM模型。圖1為使用該算法的LS-SVM建立流程圖；圖2為提出的PSO-GA-LM流程圖。在超參優(yōu)化過程中，去均方誤差為適應(yīng)度函數(shù)，則超參優(yōu)化實(shí)施方式如下所示：

1)生成初始粒子群，記設(shè)置全局最優(yōu)解的計(jì)數(shù)器T＝0；T指的是全局最優(yōu)解的計(jì)數(shù)器，最優(yōu)的超參組合迭代次數(shù)itr＝0；

2)計(jì)算初始粒子群的適應(yīng)度函數(shù)，并求得該群體的最小適應(yīng)值粒子組合，記為Best，T＝T+1；

3)若T≤N_local，則使用遺傳算法更新粒子：根據(jù)適應(yīng)度函數(shù)對(duì)粒子群排序，取前n個(gè)最優(yōu)的粒子個(gè)體，對(duì)其進(jìn)行交叉，變異操作來替代最后n個(gè)較差的粒子個(gè)體,itr＝itr+1；由于已按照適應(yīng)度排序，因而，選取的前n個(gè)為較為優(yōu)秀誤差較小的例子個(gè)體，而n的具體大小則要根據(jù)用戶所使用的條件進(jìn)行具體分析和定義；否則轉(zhuǎn)到4)；

4)使用Logistic映射重新生成初始粒子群,itr＝itr+1，重置T＝0；

5)計(jì)算3)使用遺傳算法更新后的種群的適應(yīng)度函數(shù)，求得該群體的最優(yōu)超參組合記為pBest；由于算法取的誤差為適應(yīng)度函數(shù)，因而誤差小則說明預(yù)測(cè)值和真實(shí)值比較接近；

6)若Best≤pBest，轉(zhuǎn)(7)，否則轉(zhuǎn)(8)；

7)若Best＝PBest，則T＝T+1；若Best<PBest，則保持不變；

8)重置T＝0，令Best＝pBest；即如果此時(shí)的局部最優(yōu)解小于全局最優(yōu)解，則將局部最優(yōu)解復(fù)制給全局最優(yōu)解，并將全局最優(yōu)解計(jì)數(shù)器置為0；

9)判斷是否itr＞exetime；若是，則停止，Best即為所求超參數(shù)；否則轉(zhuǎn)(3)；

其中Exetime是最大迭代次數(shù)。

目前對(duì)參數(shù)優(yōu)化忽略了求得的全局最優(yōu)值可能陷入全局的局部最優(yōu)解的問題，本發(fā)明在進(jìn)行算法執(zhí)行的過程中，增加了一個(gè)全局最優(yōu)的計(jì)數(shù)器，當(dāng)全局最優(yōu)解的個(gè)數(shù)大于用戶所設(shè)定的閾值時(shí)，重新初始化粒子，重新搜索全局最優(yōu)，反之利用遺傳算法進(jìn)行離子群的更新。將粒子群搜索算法與遺傳算法和Logistics映射相結(jié)合形成新型PSO-GA-LM超參優(yōu)化算法。該算法不僅吸收了遺傳算法能將優(yōu)秀基因遺傳給下一代的優(yōu)秀特性，同時(shí)在一定條件下也擁有混沌映射(Logistic映射)重新初始化的優(yōu)點(diǎn)，具有較好的脫離局部最優(yōu)的性能，且能夠有效地提高最小二乘支持向量機(jī)預(yù)測(cè)精度。