專利名稱：一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息處理技術(shù)領(lǐng)域，特別是一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法。
背景技術(shù)：
預(yù)測科學(xué)隨著社會經(jīng)濟(jì)的不斷向前發(fā)展而產(chǎn)生。預(yù)測專家通過歷史的統(tǒng)計資料和當(dāng)前掌握的實際信息，運用某些方法、模型和程序，分析研究預(yù)測對象和相關(guān)因素之間的相互關(guān)系，從而深層次地揭示出預(yù)測對象的變化規(guī)律，并推測出預(yù)測對象未來的發(fā)展方向以及結(jié)果。在此基礎(chǔ)上，預(yù)測活動屬于探索未來的活動，其充分體現(xiàn)了人類對未來世界的探知與掌控?，F(xiàn)有的預(yù)測模型主要有時間序列預(yù)測模型、灰色預(yù)測模型、BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型等，一般來說，采用預(yù)測模型不同，預(yù)測的結(jié)果也不同。 然而，利用單個預(yù)測模型進(jìn)行預(yù)測存在一些缺陷，如信息源的不廣泛性、對模型設(shè)定形式敏感等，這使得單一模型的預(yù)測效果往往不能令人滿意。有必要考慮對待預(yù)測數(shù)據(jù)進(jìn)行組合預(yù)測。組合預(yù)測方法的系統(tǒng)研究始于20世紀(jì)60年代末期。此后，組合預(yù)測理論與應(yīng)用成為預(yù)測領(lǐng)域的重要且受關(guān)注的問題，目前國內(nèi)外學(xué)者提出的各種不同的組合預(yù)測方法中，實際應(yīng)用和理論研究最多的是以某種絕對誤差最小作為最優(yōu)準(zhǔn)則來計算組合預(yù)測方法的權(quán)系數(shù)向量。唐小我發(fā)表于“電子科技大學(xué)學(xué)報1992,21(4) :448 454”中的“組合預(yù)測誤差信息矩陣研究”，建立了以誤差平方和達(dá)到最小的最優(yōu)組合預(yù)測模型，利用組合預(yù)測絕對誤差信息矩陣的性質(zhì)判斷簡單平均方法是非劣性組合預(yù)測、優(yōu)性組合預(yù)測的條件；馬永開，唐小我，楊桂元發(fā)表于“運籌與管理，1997，6(2):廣8”中的“非負(fù)權(quán)重最優(yōu)組合預(yù)測方法的基本理論研究”，進(jìn)一步研究了非負(fù)約束的誤差平方和的最優(yōu)組合預(yù)測模型；陳華友，侯定丕發(fā)表于“中國科學(xué)技術(shù)大學(xué)學(xué)報，2002, 32 (2) =172^180"的“基于預(yù)測有效度的優(yōu)性組合預(yù)測模型的研究”，提出了基于預(yù)測有效度的組合預(yù)測模型，給出其線性規(guī)劃的解法，同時研究了基于預(yù)測有效度的組合預(yù)測模型的性質(zhì)；王應(yīng)明發(fā)表于“預(yù)測，2002，21 (2) 58飛2”中的“基于相關(guān)性的組合預(yù)測方法研究”，提出了基于相關(guān)性指標(biāo)的最優(yōu)組合預(yù)測模型。上述的組合預(yù)測模型大多是以某一種最優(yōu)化標(biāo)準(zhǔn)來尋找一個固定的權(quán)重，由于組合預(yù)測的權(quán)重應(yīng)該是隨著預(yù)測步數(shù)而變化的，即應(yīng)該是變權(quán)重。支持向量機(jī)(SVM)處理小樣本數(shù)據(jù)具有其他模型無法比擬的優(yōu)勢，且SVM回歸方法具有良好的擬合和外推能力。因此，本發(fā)明考慮同時采用多種不同的預(yù)測模型對預(yù)測數(shù)據(jù)進(jìn)行預(yù)測，然后將各種預(yù)測結(jié)果進(jìn)行綜合，經(jīng)過SVM 二次預(yù)測，得到比單個預(yù)測模型更全面的組合預(yù)測模型，以提高預(yù)測模型的精度和有效性。并且本發(fā)明采用的最小二乘支持向量機(jī)(LSSVM)，將標(biāo)準(zhǔn)支持向量機(jī)中的不等式約束改成等式約束，并把經(jīng)驗風(fēng)險由誤差的一范數(shù)改為二范數(shù)，這樣，求解二次優(yōu)化的問題就轉(zhuǎn)化成了求解一次線性方程組問題，極大提高了算法的收斂速度。

發(fā)明內(nèi)容
本發(fā)明針對上述問題，本發(fā)明提出了一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法。為達(dá)成上述目的，本發(fā)明的技術(shù)方案是一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法，所述方法包括如下步驟步驟A，根據(jù)數(shù)據(jù)特征選擇合適的單項模型，步驟為步驟A-1，確定訓(xùn)練集和測試集，對于預(yù)測數(shù)據(jù)給定時間序列的實際測試值，將它們分為訓(xùn)練集I；和測試集 ；，yTri和nft分別代表訓(xùn)練集I；的實際值和樣本量和nTe分別代表測試集的實際值和樣本量；步驟A-2，數(shù)據(jù)預(yù)處理，采用級差標(biāo)準(zhǔn)化對訓(xùn)練集I；和測試集Te的實測數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化后的數(shù)值在
范圍內(nèi)；
步驟A-3，訓(xùn)練集I；建模，利用訓(xùn)練集I；中的yM作為樣本完成單一模型建模，得到AR模型、GM(1，I)模型和BP神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；對于AR模型的階數(shù)，利用AIC準(zhǔn)則與FPE準(zhǔn)則，不同的模型階數(shù)P，計算出不同的AIC值與FPE值，取平均值，最小值時的P就是適用模型的階數(shù)，相應(yīng)的模型即為最佳適用模型；并將該AR模型的階數(shù)值作為BP神經(jīng)網(wǎng)絡(luò)模型的嵌入維數(shù)，BP神經(jīng)網(wǎng)絡(luò)模型的隱層神經(jīng)元數(shù)目由經(jīng)驗公式給出ηΗ= (ηι+η0)1/2+1,其中％為隱含層神經(jīng)元數(shù)目，Ii1為輸入層神經(jīng)元數(shù)目，％為輸出層神經(jīng)元數(shù)目，I取值為I到10的整數(shù)；步驟B，通過單項預(yù)測方法得到初步預(yù)測結(jié)論作為最小二乘支持向量機(jī)LSSVM組合預(yù)測樣本，根據(jù)支持向量機(jī)回歸原理，建立LSSVM回歸模型；分別對AR模型、GM (I, I)模型和BP神經(jīng)網(wǎng)絡(luò)模型輸入對應(yīng)的參數(shù)，得到訓(xùn)練集中數(shù)據(jù)yM的擬合值^形成訓(xùn)練樣本，利用得到的訓(xùn)練樣本，訓(xùn)練生成LSSVM模型
權(quán)利要求
1.一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法，其特征在于，所述方法包括如下步驟 步驟A，根據(jù)數(shù)據(jù)特征選擇合適的單項模型，步驟為 步驟A-1，確定訓(xùn)練集和測試集，對于預(yù)測數(shù)據(jù)給定時間序列的實際測試值，將它們分為訓(xùn)練集Tr和測試集Te，yTri和nT,分別代表訓(xùn)練集T,的實際值和樣本量；yTei和nTe分別代表測試集的實際值和樣本量； 步驟A-2，數(shù)據(jù)預(yù)處理，采用級差標(biāo)準(zhǔn)化對訓(xùn)練集I；和測試集Te的實測數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化后的數(shù)值在[O，I]范圍內(nèi)； 步驟A-3，訓(xùn)練集I；建模，利用訓(xùn)練集I；中的yM作為樣本完成單一模型建模，得到AR模型、GM (I, I)模型和BP神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；對于AR模型的階數(shù)，利用AIC準(zhǔn)則與FPE準(zhǔn)則，不同的模型階數(shù)P，計算出不同的AIC值與FPE值，取平均值，最小值時的p就是適用模型的階數(shù)，相應(yīng)的模型即為最佳適用模型；并將該AR模型的階數(shù)值作為BP神經(jīng)網(wǎng)絡(luò)模型的嵌入維數(shù)，BP神經(jīng)網(wǎng)絡(luò)模型的隱層神經(jīng)元數(shù)目由經(jīng)驗公式給出nH= (ni+nQ)1/2+l，其中nH為隱含層神經(jīng)元數(shù)目，H1為輸入層神經(jīng)元數(shù)目，n0為輸出層神經(jīng)元數(shù)目，I取值為I到10的整數(shù)； 步驟B，通過單項預(yù)測方法得到初步預(yù)測結(jié)論作為最小二乘支持向量機(jī)LSSVM組合預(yù)測樣本，根據(jù)支持向量機(jī)回歸原理，建立LSSVM回歸模型；分別對AR模型、GM (I, I)模型和BP神經(jīng)網(wǎng)絡(luò)模型輸入對應(yīng)的參數(shù)，得到訓(xùn)練集中數(shù)據(jù)yM的擬合值，形成訓(xùn)練樣本，利用得到的訓(xùn)練樣本，訓(xùn)練生成LSSVM模型其中，高斯徑向基核函數(shù)K (xi, Xj) = exp (-g |x「xj Il2) ； a ;為 Lagrange 因子，OiGR5b為常值偏差； 步驟C，利用粒子群優(yōu)化算法PSO優(yōu)化影響LSSVM回歸模型精度的2個核心參數(shù)包括核函數(shù)參數(shù)g以及LSSVM中正則化參數(shù)C，得到最佳的LSSVM回歸模型；將g和C分別作為粒子的X軸坐標(biāo)和y軸坐標(biāo)，群體規(guī)模設(shè)為M,最大迭代次數(shù)為hmax，CG [I, 10000]，g G
并按以下步驟 步驟C-1，初始化粒子群，隨機(jī)設(shè)置粒子的初始位置X和速度V ； 步驟C-2，計算每個粒子的適應(yīng)度值fitness，在每個粒子位置，運用訓(xùn)練樣本數(shù)據(jù)訓(xùn)練得到LSSVM回歸模型，并用訓(xùn)練好的模型計算得到測試樣本的預(yù)測值，并將測試樣本的真實值與預(yù)測值的平均絕對誤差作為粒子的適應(yīng)度值； 步驟C-3，對所有的i G {1,2, - ,M},如果 fitnesspPbesti,則令 Pbesti = f itnessj, xf6t t = X1-, 如果fitnessAgbest,則重新設(shè)置gbest的索引號a ； 其中，Pbesti為第i個粒子曾經(jīng)達(dá)到的最大適應(yīng)度值，為粒子曾經(jīng)到達(dá)的最大適應(yīng)度值時對應(yīng)的位置，gbest為在群體所有粒子經(jīng)歷過的最好位置； 步驟C-4，每一個粒子的位置Xi和速度Vi分別為 Vi = WVj + C1T1 {xfbest -Xi) + c2r2(xfeit - x )Xi — Xi+V"i 其中，r2為[O，I]之間的隨機(jī)數(shù)，C1, C2為加速度系數(shù)，C^C2 ^ 4, W為慣性權(quán)值； 步驟C-5，檢查停止條件，如果達(dá)到最大迭代次數(shù)h_則停止迭代；否則，返回步驟C-2 ； 步驟C-6，根據(jù)得到的最優(yōu)參數(shù)g和C，建立LSSVM回歸模型； 步驟D，利用已建立的單項模型分別進(jìn)行外推預(yù)測，得到待預(yù)測數(shù)據(jù)的預(yù)測值輸入至IJLSSVM模型中，得到數(shù)據(jù)在預(yù)測時間點的預(yù)測值V卞出各模型的外推誤差ETe、擬合誤差Eft和外推誤差之和Es
全文摘要
本發(fā)明提出了一種基于粒子群優(yōu)化的最小二乘支持向量機(jī)組合預(yù)測方法，根據(jù)要預(yù)測的數(shù)據(jù)特征選擇合適的單項預(yù)測模型，將不同的預(yù)測方法進(jìn)行適當(dāng)?shù)慕M合，充分利用各單項預(yù)測模型所包含的有用信息，建立最小二乘支持向量機(jī)LSSVM回歸模型，利用粒子群優(yōu)化算法PSO優(yōu)化影響LSSVM回歸模型精度的2個核心參數(shù)包括核函數(shù)參數(shù)g以及LSSVM中正則化參數(shù)C，得到最佳的LSSVM回歸模型；從而達(dá)到提高預(yù)測精度、降低預(yù)測風(fēng)險的目的，極大提高了算法的收斂速度，更加符合實際工程需要。
文檔編號G06F19/00GK103020434SQ20121050495
公開日2013年4月3日 申請日期2012年11月30日 優(yōu)先權(quán)日2012年11月30日
發(fā)明者李愛, 陳果, 王洪偉, 程小勇, 郝騰飛, 于明月 申請人:南京航空航天大學(xué)