本發(fā)明涉及天氣預(yù)報(bào)技術(shù)領(lǐng)域,具體講,涉及基于噪聲模型支持向量回歸技術(shù)的短期風(fēng)速預(yù)報(bào)方法。技術(shù)背景對(duì)于線性系統(tǒng)而言,從Gauss時(shí)代起,就利用最小二乘法把平面上的點(diǎn)擬合成直線,把高維空間的點(diǎn)擬合成超平面。經(jīng)歷了100多年的發(fā)展,經(jīng)典最小二乘法已經(jīng)成為許多領(lǐng)域數(shù)據(jù)處理的最廣泛使用的方法。但是,對(duì)于線性回歸中的不適定問題或非線性回歸中的問題,基于最小二乘法的線性回歸的性能可能變得很壞,針對(duì)這種情況,眾多學(xué)者研究了最小二乘回歸的改進(jìn)問題,提出了許多新的回歸算法。支持向量回歸(Supportvectorregression,簡(jiǎn)記為SVR)就是其中之一。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上的,根據(jù)有限的樣本信息在模型復(fù)雜性(即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度)和學(xué)習(xí)能力(即無錯(cuò)誤地識(shí)別任意樣本的能力)之間尋求最佳折衷,以期獲得最好的推廣能力。支持向量機(jī)方法的主要優(yōu)點(diǎn)有:1.它是專門針對(duì)有限樣本情況的,其目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時(shí)的最優(yōu)值;2.算法最終將轉(zhuǎn)化成為一個(gè)二次型尋優(yōu)問題,從理論上說,得到的將是全局最優(yōu)點(diǎn),解決了在神經(jīng)網(wǎng)絡(luò)方法中無法避免的局部極值問題;3.算法將實(shí)際問題通過非線性變換轉(zhuǎn)換到高維的特征空間,在高維空間中構(gòu)造線性決策函數(shù)來實(shí)現(xiàn)原空間中的非線性決策函數(shù),特殊性質(zhì)能保證機(jī)器有較好的推廣能力,同時(shí)它巧妙地解決了維數(shù)問題,其算法復(fù)雜度與樣本維數(shù)無關(guān)。支持向量回歸方法自Vapnik于1995年提出以來,就得到了廣泛的關(guān)注,它成功應(yīng)用于科學(xué)技術(shù)和社會(huì)科學(xué)等各個(gè)領(lǐng)域。設(shè)給定數(shù)據(jù):Dl={(x1,y1),...,(xi,yi),...,(xl,yl)}(1)其中xi∈Rn,yi∈R,i=1,2,…,l,多元線性回歸模型為f(xi)=ωT·xi+b,xi=(xi1,xi2,…,xin)T,參數(shù)向量ω∈Rn,其中xi∈Rn,Rn表示n維歐式空間,R表示實(shí)數(shù)集,l表示樣本個(gè)數(shù),上標(biāo)T表示轉(zhuǎn)置,在ν-SVR中,選取ε-不敏感損失函數(shù)線性ν-SVR的原問題為:其中C>0是懲罰因子,ξi,為松弛因子,(2)中目標(biāo)函數(shù)假設(shè)樣本不受噪聲影響。(2)中的決策函數(shù)為線性回歸模型。在實(shí)際應(yīng)用中,樣本Dl中xi與yi一般不滿足線性關(guān)系,這樣線性ν-SVR在解決非線性回歸問題時(shí)往往不能取得預(yù)期的效果。通過核技巧構(gòu)造合適的核變換Φ:Rn→H(H為Hilbert空間),利用Hilbert空間中的內(nèi)積運(yùn)算引進(jìn)非線性核函數(shù)K(xi,xj)=(Φ(xi)·Φ(xj)),把非線性問題轉(zhuǎn)化為線性問題來解決。從而得到非線性ν-SVR的原問題為:不可避免地,樣本都要受到噪聲影響。一般地,假設(shè)樣本受到高斯噪聲影響。2010年Wu.提出基于高斯噪聲影響的支持向量機(jī),并利用遺傳算法和粒子群優(yōu)化算法進(jìn)行了求解。其原問題為:當(dāng)噪聲服從Gauss分布時(shí),基于Gauss噪聲的支持向量回歸(supportvectorregressionbasedontheGauss-noise,簡(jiǎn)記為GN-SVR)能夠取得預(yù)期的效果。然而對(duì)于像風(fēng)速預(yù)報(bào)的噪聲、相關(guān)電磁波的沖擊方向估計(jì)的噪聲卻不服從Gauss分布,它們分別服從Beta分布、Laplace分布,或其他分布。此時(shí)應(yīng)用GN-SVR進(jìn)行預(yù)測(cè),則預(yù)報(bào)結(jié)果不能滿足實(shí)際要求。
技術(shù)實(shí)現(xiàn)要素:本發(fā)明旨在克服現(xiàn)有技術(shù)的不足,滿足實(shí)際應(yīng)用中(如風(fēng)力發(fā)電、農(nóng)業(yè)生產(chǎn)等)對(duì)短期風(fēng)速預(yù)報(bào)的要求,為達(dá)到上述目的,本發(fā)明采取的技術(shù)方案是,應(yīng)用Bayesian原理導(dǎo)出基于一般噪聲模型的損失函數(shù),給定具有噪聲影響的數(shù)據(jù)集Dl={(x1,y1),...,(xi,yi),...,(xl,yl)},其中xi∈Rn,yi∈R,i=1,...,l,Rn表示n維歐式空間,R表示實(shí)數(shù)集,l表示樣本個(gè)數(shù),求取最優(yōu)損失函數(shù);在此基礎(chǔ)上構(gòu)造基于噪聲模型的支持向量回歸機(jī),最后利用基于噪聲模型的支持向量回歸技術(shù)得到短期風(fēng)速預(yù)報(bào);構(gòu)造基于噪聲模型的支持向量回歸機(jī)具體為:(1)利用增廣拉格朗日乘子法(AugmentedLagrangeMultipliermethod,簡(jiǎn)記為ALM)求解噪聲支持向量回歸模型,確定最優(yōu)參數(shù)C、ν、m、n;選取合適的核函數(shù)K(·,·);其中m、n為Beta噪聲模型的損失函數(shù)中的參數(shù),由噪聲分布的期望μ和方差σ2確定,即m=[(1-μ)·μ2/σ2]-μ,n=[(1-μ)/μ]·m;(2)構(gòu)造并求解最優(yōu)化問題其中C>0是懲罰因子,0<ν<1是常數(shù),s.t.為subjectto的縮寫,DN-SVR表示基于噪聲模型支持向量回歸的對(duì)偶問題,表示基于噪聲模型支持向量回歸對(duì)偶問題的目標(biāo)函數(shù);得到最優(yōu)解為拉格朗日乘子;(3)構(gòu)造基于噪聲模型支持向量回歸的決策函數(shù)其中RSV為對(duì)應(yīng)的樣本,稱為支持向量,Φ:Rn→H為核變換,H為Hilbert空間,K(xi,xj)=(Φ(xi)·Φ(xj)),ω∈Rn為參數(shù)向量,(Φ(xi)·Φ(xj))表示H空間中的內(nèi)積。求取最優(yōu)損失函數(shù):利用數(shù)據(jù)集Dl估計(jì)函數(shù)f(x),應(yīng)用Bayesian原理的方法來得到最優(yōu)損失函數(shù)c(x,y,f(x))=-logp(y-f(x)),(7)其中p(y-f(x))=p(ξ)表示噪聲ξ的概率密度函數(shù),c(xi,yi,f(xi))=c(ξi)表示在樣本點(diǎn)(xi,yi)進(jìn)行預(yù)測(cè)時(shí)所得到預(yù)測(cè)值f(xi)與測(cè)量值yi比較所產(chǎn)生的損失,c(ξ)表示損失函數(shù);得Gauss噪聲模型的損失函數(shù)為:得Beta噪聲模型的損失函數(shù)為:c(ξi)=c(yi-f(xi))=(1-m)logξi+(1-n)log(1-ξi)(9)。確定最優(yōu)參數(shù)C、ν、m、n具體為:利用ALM法求解基于噪聲模型的支持向量回歸對(duì)偶問題式(5)及利用十折交叉驗(yàn)證方法確定最優(yōu)參數(shù)C、ν、m、n,提出的基于噪聲模型的支持向量回歸機(jī)應(yīng)用Matlab7.1程序語言實(shí)現(xiàn),取N-SVR的參數(shù)集C∈[1,201],ν∈(0,1),m,n∈(1,+∞)。利用核技巧構(gòu)造合適的核函數(shù)K(·,·),把基于噪聲模型的線性支持向量回歸機(jī)推廣為基于噪聲模型的非線性支持向量回歸機(jī);其中K(xi,xj)=(Φ(xi)·Φ(xj)),Φ:Rn→H,H為Hilbert空間,(Φ(xi)·Φ(xj))為H空間中的內(nèi)積:(1)多項(xiàng)式核函數(shù):K(xi,xj)=((xi·xj)+1)d,(2)Gauss徑向基核函數(shù):K(xi,xj)=exp(-||xi-xj||2/σ2),其中d是正整數(shù),如取d=2或3;σ是正數(shù)。構(gòu)造并求解最優(yōu)化問題進(jìn)一步具體為:基于噪聲模型支持向量回歸的原問題:其中ξi=y(tǒng)i-ωT·Φ(xi)-b,式中的PN-SVR表示基于噪聲模型支持向量回歸的原問題,表示基于噪聲模型支持向量回歸原問題的目標(biāo)函數(shù);通過構(gòu)造Lagrange泛函可得到基于噪聲模型支持向量回歸原問題式(10)的對(duì)偶問題(簡(jiǎn)記為N-SVR)為:其中C>0為常數(shù),是懲罰因子,0<ν<1是常數(shù),包含ξi,包含αi,γ、ηi、為引進(jìn)的輔助變量。在構(gòu)造決策函數(shù)后,將基于噪聲模型支持向量回歸技術(shù)應(yīng)用于短期風(fēng)速預(yù)報(bào)中,構(gòu)造模式為:輸入向量為輸出值為xi+6+step,其中step為預(yù)測(cè)間隔時(shí)間,利用這種模式預(yù)報(bào)分析某一時(shí)刻i+6以后step時(shí)刻的短期風(fēng)速。本發(fā)明具備下列技術(shù)效果:本發(fā)明提出一種應(yīng)用基于噪聲模型的支持向量回歸技術(shù)進(jìn)行短期風(fēng)速預(yù)報(bào)分析的新的統(tǒng)一理論模型及技術(shù)方法。利用最優(yōu)化理論和一般噪聲最優(yōu)損失函數(shù)(7)構(gòu)造的具有較高穩(wěn)定性和魯棒性的一類支持向量回歸機(jī),能夠滿足實(shí)際應(yīng)用中(如風(fēng)力發(fā)電、農(nóng)業(yè)生產(chǎn)等)對(duì)短期風(fēng)速預(yù)報(bào)的要求;在短期風(fēng)速預(yù)報(bào)中,基于Beta噪聲模型的支持向量回歸技術(shù)的預(yù)報(bào)效果相比基于不考慮噪聲模型的ν-SVR,和考慮Gauss噪聲模型的GN-SVR和HN-SVR技術(shù)而言,表現(xiàn)出了更好的性能。附圖說明圖1Betapdf和Gausspdf。圖2Lossfunctionofsixnoisemodels。圖3預(yù)報(bào)結(jié)果ν-SVR(C=81,ν=0.5,step=1)。圖4預(yù)報(bào)結(jié)果GN-SVR(C=81,ν=0.5,step=1)。圖5預(yù)報(bào)結(jié)果HN-SVR(C=81,ν=0.5,step=1)。圖6預(yù)報(bào)結(jié)果BN-SVR(C=81,ν=0.5,m=1.41,n=1.71,step=1)。圖7預(yù)報(bào)結(jié)果ν-SVR(C=81,ν=0.5,step=3)。圖8預(yù)報(bào)結(jié)果GN-SVR(C=81,ν=0.5,step=3)。圖9預(yù)報(bào)結(jié)果HN-SVR(C=81,ν=0.5,step=3)。圖10預(yù)報(bào)結(jié)果BN-SVR(C=81,ν=0.5,m=1.41,n=1.71,step=3)。圖11預(yù)報(bào)結(jié)果ν-SVR(C=81,ν=0.5,step=6)。圖12預(yù)報(bào)結(jié)果GN-SVR(C=81,ν=0.5,step=6)。圖13預(yù)報(bào)結(jié)果HN-SVR(C=81,ν=0.5,step=6)。圖14預(yù)報(bào)結(jié)果BN-SVR(C=81,ν=0.5,m=1.41,n=1.71,step=6)。圖15本發(fā)明總體流程圖。具體實(shí)施方式本發(fā)明基于噪聲模型支持向量回歸(Supportvectorregressionbasedonthenoise,簡(jiǎn)記為N-SVR)技術(shù)的短期風(fēng)速預(yù)報(bào)方法,是以最優(yōu)化理論和統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ),應(yīng)用Bayesian原理的方法導(dǎo)出基于一般噪聲模型的損失函數(shù),在此基礎(chǔ)上構(gòu)造基于噪聲影響的支持向量回歸機(jī)的統(tǒng)一模型,最后利用基于噪聲模型的支持向量回歸技術(shù)得到短期風(fēng)速預(yù)報(bào)。提出了基于噪聲模型的支持向量回歸技術(shù),其原問題:其中ξi=y(tǒng)i-ωT·Φ(xi)-b。可證得基于噪聲模型支持向量回歸原問題(12)關(guān)于ω的解存在且唯一。通過構(gòu)造Lagrange泛函L(ω,b,α(*),ξ(*))可得到基于噪聲模型支持向量回歸原問題(12)的對(duì)偶問題(簡(jiǎn)記為N-SVR)為:其中C>0是懲罰因子,0<ν<1是常數(shù),且有則可得到基于噪聲模型支持向量回歸的決策函數(shù)為:其中RSV為對(duì)應(yīng)的樣本,稱為支持向量。Φ:Rn→H(H為Hilbert空間)為核變換,K(xi,xj)=(Φ(xi)·Φ(xj)),ω∈Rn為參數(shù)向量,(Φ(xi)·Φ(xj))表示H空間中的內(nèi)積。本發(fā)明目的是應(yīng)用基于噪聲模型的支持向量回歸技術(shù)進(jìn)行短期風(fēng)速預(yù)報(bào)。由于各種原因,現(xiàn)實(shí)世界中的數(shù)據(jù)都受到噪聲影響,因此基于噪聲數(shù)據(jù)的機(jī)器學(xué)習(xí)模型具有重要的應(yīng)用價(jià)值。當(dāng)噪聲服從Gauss分布時(shí),基于Gauss噪聲的支持向量回歸能夠取得預(yù)期的效果。然而對(duì)于像風(fēng)速預(yù)報(bào)的噪聲、氣象預(yù)報(bào)(如雨量、溫度等)的噪聲卻不服從Gauss分布。S.Bofinger等發(fā)現(xiàn)風(fēng)功率預(yù)報(bào)的噪聲并不服從Gauss分布,通過實(shí)驗(yàn)結(jié)果顯示風(fēng)功率預(yù)報(bào)的噪聲服從Beta分布。A.Fabbri等研究了當(dāng)預(yù)測(cè)值xp和測(cè)量值xm間的誤差ε服從Beta分布時(shí),ε的概率密度函數(shù)(probabilitydistributionfunction,簡(jiǎn)記為pdf)為f(x)=xm-1·(1-x)n-1·h(圖1),其中m,n是參數(shù),由噪聲分布的期望和方差確定,m=(1-μ)·μ2/σ2-μ,n=1-μ/μ·m,h=Γ(m+n)/Γ(m)·Γ(n)是歸一化因子。給定具有噪聲影響的數(shù)據(jù)Dl,決策函數(shù)f(x)是未知的。一般地,最小化目標(biāo)函數(shù):其中λ是正數(shù),c(ξi)=c(yi-f(xi))是損失函數(shù)。假設(shè)噪聲是加性的,即yi=fi(xi)+ξi(i=1,…,l),且ξi是獨(dú)立同分布(i.i.d.)的隨機(jī)變量,ξi的方差為σ2,均值為μ。利用數(shù)據(jù)g∈Dl估計(jì)函數(shù)f(x),最大化后驗(yàn)概率P[f|g]來求得最優(yōu)損失函數(shù)。由Bayesian原理得:P[f|g]∝P[g|f]·P[f]其中P[g|f]為條件概率,P[f]為先驗(yàn)概率,且假設(shè)P[f]∝exp(-λ·||f||2),exp(-λ·||f||2)為光滑函數(shù)。由于噪聲是加性的,且ξi是獨(dú)立同分布的,故:由式(14)和(15)得最優(yōu)損失函數(shù)為:c(x,y,f(x))=-logp(y-f(x))(16)從而得Gauss噪聲模型的損失函數(shù)為(圖2):得Laplace噪聲模型的損失函數(shù)為(圖2):c(ξi)=c(yi-f(xi))=|ξi|(18)得Beta噪聲模型的損失函數(shù)為(圖2):c(ξi)=c(yi-f(xi))=(1-m)logξi+(1-n)log(1-ξi)(19)當(dāng)噪聲服從Beta分布或Laplace分布時(shí),應(yīng)用GN-SVR進(jìn)行預(yù)測(cè),則預(yù)報(bào)結(jié)果不能滿足實(shí)際要求。為了解決上述問題,我們利用最優(yōu)化理論和選取噪聲損失函數(shù)(16),提出了基于一般噪聲的支持向量回歸模型(N-SVR),并成功應(yīng)用于短期風(fēng)速預(yù)報(bào)中,取得了良好的效果。本發(fā)明提出一種應(yīng)用基于一般噪聲的支持向量回歸模型(N-SVR)和預(yù)報(bào)技術(shù)進(jìn)行短期風(fēng)速預(yù)報(bào)分析的一般理論。利用最優(yōu)化理論和噪聲損失函數(shù)構(gòu)造的具有較高穩(wěn)定性和魯棒性的一種支持向量回歸機(jī),能夠滿足實(shí)際應(yīng)用中(如風(fēng)力發(fā)電、農(nóng)業(yè)生產(chǎn)等)對(duì)短期風(fēng)速預(yù)報(bào)的要求。應(yīng)用基于噪聲模型的支持向量回歸技術(shù)進(jìn)行短期風(fēng)速預(yù)報(bào)主要通過以下幾個(gè)步驟來實(shí)現(xiàn):1設(shè)給定具有噪聲影響的數(shù)據(jù)集Dl={(x1,y1),...,(xi,yi),...,(xl,yl)},其中xi∈Rn,yi∈R,i=1,2,…,l,Rn表示n維歐式空間,R表示實(shí)數(shù)集,l表示樣本個(gè)數(shù);求取最優(yōu)損失函數(shù);2.利用ALM法求解噪聲模型支持向量回歸問題。確定最優(yōu)參數(shù)C、ν、m、n;選取合適的核函數(shù)K(·,·),其中m、n為Beta噪聲模型的損失函數(shù)中的參數(shù),由噪聲分布的期望μ和方差σ2確定;3構(gòu)造并求解最優(yōu)化問題其中C>0是懲罰因子,0<ν<1是常數(shù)。得到最優(yōu)解為拉格朗日乘子;4構(gòu)造基于噪聲模型支持向量回歸的決策函數(shù)其中(RSV為對(duì)應(yīng)的樣本,稱為支持向量),Φ:Rn→H為核變換,H為Hilbert空間,K(xi,xj)=(Φ(xi)·Φ(xj)),ω∈Rn為參數(shù)向量,(Φ(xi)·Φ(xj))表示H空間中的內(nèi)積。在短期風(fēng)速預(yù)報(bào)中,基于Beta噪聲模型的支持向量回歸技術(shù)的預(yù)報(bào)效果相比基于不考慮噪聲模型的ν-SVR,和考慮Gauss噪聲模型的GN-SVR和HN-SVR技術(shù)而言,表現(xiàn)出了更好的性能。風(fēng)速預(yù)報(bào)性能的評(píng)價(jià),一般用兩個(gè)時(shí)間序列中基于預(yù)測(cè)值xp和測(cè)量值xm間的相似度來度量,即εi=xp,i-xm,i,i=1,…,l最常用的評(píng)價(jià)誤差度量的指標(biāo)是平均值絕對(duì)誤差(themeanabsoluteerror,簡(jiǎn)記為MAE):相對(duì)平均值絕對(duì)誤差(themeanabsolutepercentageerror,簡(jiǎn)記為MAPE):根平方值法(therootmeansquareerror,簡(jiǎn)記為RMSE)是預(yù)測(cè)誤差中應(yīng)用比較廣泛的方法,RMSE在兩個(gè)時(shí)間序列中基于預(yù)測(cè)值xp和測(cè)量值xm定義為:xp,i、xm,i分別表示時(shí)間序列中第i個(gè)預(yù)測(cè)值與測(cè)量值。用平均值絕對(duì)誤差、相對(duì)平均值絕對(duì)誤差、根平方值誤差對(duì)ν-SVR、GN-SVR、HN-SVR、BN-SVR等四種回歸技術(shù)模型進(jìn)行了評(píng)價(jià)。在黑龍江省的風(fēng)速數(shù)據(jù)集Dl中,其中的樣本是每10分鐘測(cè)量一次,樣本容量為62466,Dl各列屬性分別包括均值、方差、最小值、最大值等多個(gè)因子。我們?nèi)∮?xùn)練樣本432個(gè)(從1至432,即3天的樣本),測(cè)試樣本432個(gè)(從433至864,即3天的樣本)進(jìn)行了實(shí)驗(yàn)分析。輸入向量為,輸出值為xi+6+step,其中step=1,3,6。即用向量分別預(yù)報(bào)某一時(shí)刻i+6以后10分鐘、30分鐘、60分鐘的風(fēng)速。1.時(shí)刻i+6以后10分鐘的風(fēng)速預(yù)報(bào)結(jié)果應(yīng)用ν-SVR、GN-SVR、HN-SVR和BN-SVR進(jìn)行預(yù)報(bào)某一時(shí)刻i+6以后10分鐘的短期風(fēng)速預(yù)報(bào)結(jié)果如圖3-6所示。利用指標(biāo)MAE、MAPE和RMSE評(píng)價(jià)四種模型的預(yù)報(bào)結(jié)果如表1.表1:四種模型的短期風(fēng)速預(yù)報(bào)的誤差統(tǒng)計(jì)(測(cè)試樣本432)2.時(shí)刻i+6以后30分鐘的風(fēng)速預(yù)報(bào)結(jié)果應(yīng)用ν-SVR、GN-SVR、HN-SVR和BN-SVR進(jìn)行預(yù)報(bào)某一時(shí)刻i+6以后30分鐘的短期風(fēng)速預(yù)報(bào)結(jié)果如圖7-10所示。利用指標(biāo)MAE、MAPE和RMSE評(píng)價(jià)四種模型的預(yù)報(bào)結(jié)果如表2.表2:四種模型的短期風(fēng)速預(yù)報(bào)的誤差統(tǒng)計(jì)(測(cè)試樣本432)3.時(shí)刻i+6以后60分鐘的風(fēng)速預(yù)報(bào)結(jié)果應(yīng)用ν-SVR、GN-SVR、HN-SVR和BN-SVR進(jìn)行預(yù)報(bào)某一時(shí)刻i+6以后60分鐘的短期風(fēng)速預(yù)報(bào)結(jié)果如圖11-14所示。利用指標(biāo)MAE、MAPE和RMSE評(píng)價(jià)四種模型的預(yù)報(bào)結(jié)果如表3.表3:四種模型的短期風(fēng)速預(yù)報(bào)的誤差統(tǒng)計(jì)(測(cè)試樣本432)結(jié)論:應(yīng)用ν-SVR、GN-SVR、HN-SVR和BN-SVR進(jìn)行預(yù)報(bào)某一時(shí)刻i+6以后10分鐘、30分鐘、60分鐘的短期風(fēng)速預(yù)報(bào)的實(shí)驗(yàn)結(jié)果說明,BN-SVR的預(yù)報(bào)結(jié)果比ν-SVR、GN-SVR、HN-SVR的效果更好。下面結(jié)合附圖和具體實(shí)施方式進(jìn)一步詳細(xì)說明本發(fā)明。1.計(jì)算噪聲樣本的損失函數(shù)設(shè)給定具有噪聲影響的數(shù)據(jù)集Dl={(x1,y1),...,(xi,yi),...,(xl,yl)},其中xi∈Rn,yi∈R,i=1,2,...,l.利用數(shù)據(jù)集Dl估計(jì)函數(shù)f(x),應(yīng)用Bayesian原理的方法來得到最優(yōu)損失函數(shù):c(x,y,f(x))=-logp(y-f(x))(25)2.利用增廣拉格朗日乘子法(AugmentedLagrangeMultipliermethod,簡(jiǎn)記為ALM)求解噪聲支持向量回歸模型,確定最優(yōu)參數(shù)C、ν、m、n。拉格朗日乘子法是Powel和Hestenes于1969年針對(duì)等式約束優(yōu)化問題同時(shí)獨(dú)立提出的優(yōu)化算法,也稱為PH算法。其基本思想是:從原問題的拉格朗日函數(shù)出發(fā),再加上適當(dāng)?shù)牧P函數(shù),從而將原問題轉(zhuǎn)化為求解一系列的無約束優(yōu)化子問題。增廣拉格朗日乘子法(AugmentedLagrangeMultipliermethod,簡(jiǎn)記為ALM)是1973年Rockfellar將PH算法推廣到求解不等式約束優(yōu)化問題,也稱為PHR算法。ALM法是解決同時(shí)帶有等式和不等式約束問題的一類優(yōu)化方法。ALM法把解等式約束優(yōu)化問題的乘子法推廣到不等式約束優(yōu)化問題,即先引進(jìn)輔助變量把不等式約束轉(zhuǎn)化為等式約束,然后再利用最有性條件消去輔助變量。對(duì)于一個(gè)求函數(shù)最小值的優(yōu)化問題(求函數(shù)最大值也類似),一般可以描述為下列數(shù)學(xué)規(guī)劃模型:式中x為決策變量,f(x)為目標(biāo)函數(shù),式為約束條件,U是基本空間,R是U的子集。滿足約束條件的解X稱為可行解,集合R表示所有滿足約束條件的解所組成的集合,稱為可行解集合。式(16)、(25)c(x,y,f(x))=-logp(y-f(x))中的x與式(26)中的x的含義相同,x=(x1,x2,…,xl)T,y=(y1,y2,…,yl)T,(xi,yi)∈Dl,i=1,2,…,l,上標(biāo)T表示轉(zhuǎn)置。p(y-f(x))=p(ξ)表示噪聲ξ的概率密度函數(shù)。c(xi,yi,f(xi))=c(ξi)表示在樣本點(diǎn)(xi,yi)進(jìn)行預(yù)測(cè)時(shí)所得到預(yù)測(cè)值f(xi)與yi比較所產(chǎn)生的損失,c(ξ)表示損失函數(shù)。利用十折交叉驗(yàn)證方法確定基于噪聲模型支持向量回歸機(jī)的最優(yōu)參數(shù)C、ν、m、n。提出的基于噪聲模型的支持向量回歸機(jī)應(yīng)用Matlab7.1程序語言實(shí)現(xiàn),取N-SVR的參數(shù)集C∈[1,201],ν∈(0,1),m,n∈(1,+∞)。3.選取合適的核函數(shù)K(·,·)。利用核技巧構(gòu)造核函數(shù)K(·,·),把基于噪聲模型的線性支持向量回歸機(jī)推廣為噪聲模型的非線性支持向量回歸機(jī)。其中K(xi,xj)=(Φ(xi)·Φ(xj)),Φ:Rn→H,H為Hilbert空間,(Φ(xi)·Φ(xj))為H空間中的內(nèi)積。多項(xiàng)式核函數(shù)和Gauss徑向基核函數(shù)在諸多實(shí)際應(yīng)用中具有較強(qiáng)的魯棒性和穩(wěn)定的性能,且容易操作實(shí)施。(1)多項(xiàng)式核函數(shù):K(xi,xj)=((xi·xj)+1)d是正整數(shù),(2)Gauss徑向基核函數(shù):K(xi,xj)=exp(-||xi-xj||2/σ2),其中d是正數(shù),取d=2或3;σ是正數(shù)。4.構(gòu)造并求解最優(yōu)化問題。基于噪聲模型支持向量回歸的原問題為:其中ξi=y(tǒng)i-ωT·Φ(xi)-b,i=1,2,...,l,式中的PN-SVR表示基于噪聲的支持向量回歸的原問題,表示基于噪聲模型支持向量回歸原問題的目標(biāo)函數(shù);通過構(gòu)造Lagrange泛函可得到基于噪聲模型支持向量回歸原問題(27)的對(duì)偶問題(簡(jiǎn)記為N-SVR)為:其中C>0是懲罰因子,0<ν<1是常數(shù)。式(5)、(11)、(13)、(20)、(28)等中的DN-SVR表示基于噪聲模型支持向量回歸的對(duì)偶問題,表示基于噪聲模型支持向量回歸對(duì)偶問題的目標(biāo)函數(shù)。式(5)、(6)、(11)、(13)、(20)、(21)、(28)、(29)中,αi,為拉格朗日乘子,即為對(duì)偶問題(28)中的自變量。5.構(gòu)造基于噪聲模型支持向量回歸的決策函數(shù)其中(RSV為對(duì)應(yīng)的樣本,稱為支持向量)。6.將基于噪聲模型的支持向量回歸技術(shù)應(yīng)用于短期風(fēng)速預(yù)報(bào)中。構(gòu)造預(yù)報(bào)模式為:輸入向量為輸出值為xi+6+step,其中step為預(yù)測(cè)間隔時(shí)間。利用這種預(yù)報(bào)模式預(yù)報(bào)分析某一時(shí)刻i+6以后step時(shí)刻的短期風(fēng)速。如取step=1表示預(yù)測(cè)某一時(shí)刻i+6以后10分鐘的風(fēng)速;取step=6表示預(yù)測(cè)某一時(shí)刻i+6以后60分鐘的風(fēng)速。外文字符的中文注釋:1.Beta:貝塔(希臘字母)。2.Gauss:高斯(著名數(shù)學(xué)家)。3.Supportvectorregression:支持向量回歸。4.Vapnik,Wu,A.Fabbri,S.Bofinger,J.Holland:人名。5.Hilbert:希爾伯特(著名數(shù)學(xué)家)。6.Supportvectorregressionbasedonthenoise:基于噪聲的支持向量回歸,簡(jiǎn)記為N-SVR。7.SupportvectorregressionbasedontheGauss-noise:基于高斯-噪聲的支持向量回歸,簡(jiǎn)記為GN-SVR。8.SupportvectorregressionbasedontheBeta-noise:基于Beta-噪聲的支持向量回歸,簡(jiǎn)記為BN-SVR。9.C、ν、m、n:C、ν是ν-SVR、GN-SVR、HN-SVR、BN-SVR模型中的參數(shù),C>0是懲罰因子,0<ν<1是常數(shù);m、n是BN-SVR模型中的參數(shù),m,n∈(1,+∞)。10.Lagrange:拉格朗日(著名數(shù)學(xué)家)。11.Powel,Hestenes,Rockfellar:人名。12.probabilitydistributionfunction(pdf):概率密度函數(shù)。13.themeanabsoluteerror(MAE):平均值絕對(duì)誤差。14.themeanabsolutepercentageerror(MAPE):相對(duì)平均值絕對(duì)誤差。15.therootmeansquareerror(RMSE):根平方值法。16.輸入向量,i表示某一時(shí)刻;xi+6:表示某一時(shí)刻i以后60分鐘時(shí)刻的風(fēng)速。17.xi+6+step,step=1,3,6:表示某一時(shí)刻i+6以后10分鐘、30分鐘、60分鐘時(shí)刻的風(fēng)速。18.AugmentedLagrangeMultipliermethod:增廣拉格朗日乘子法,簡(jiǎn)記為ALM。19.minf(x):求函數(shù)f(x)的最小值;maxf(x):求函數(shù)f(x)的最大值。20.PN-SVR:表示基于噪聲模型支持向量回歸的原問題;表示基于噪聲模型支持向量回歸原問題的目標(biāo)函數(shù)。21.DN-SVR:表示基于噪聲模型支持向量回歸的對(duì)偶問題;表示基于噪聲模型支持向量回歸對(duì)偶問題的目標(biāo)函數(shù)。22.Φ:表示核變換Φ:Rn→H,Rn為n維歐式空間,H為Hilbert空間;核函數(shù)K(xi,xj)=(Φ(xi)·Φ(xj)),(Φ(xi)·Φ(xj))為H空間中的內(nèi)積。23.ξ:表示噪聲函數(shù),ξ=y(tǒng)-f(x),其中f(x)=ωT·Φ(x)-b,ω∈Rn為參數(shù)向量。24.ξi:表示樣本點(diǎn)(xi,yi)∈Dl的噪聲,ξi=y(tǒng)i-f(xi),i=1,2,...,l′。25.p(ξ)表示噪聲ξ的概率密度函數(shù);c(ξi)表示在樣本點(diǎn)(xi,yi)進(jìn)行預(yù)測(cè)時(shí)所得到預(yù)測(cè)值f(xi)與測(cè)量值yi比較所產(chǎn)生的損失,c(ξ)表示噪聲ξ的損失函數(shù)。26.為的函數(shù),其中包含ξi,包含αi,27.c(x,y,f(x)):c(x,y,f(x))=-logp(y-f(x)),(x,y)∈Dl為損失函數(shù).當(dāng)點(diǎn)(x,y)取Dl中某固定點(diǎn)(xi,yi),即x=xi,y=y(tǒng)i時(shí),c(x,y,f(x))在點(diǎn)(xi,yi)的損失為c(xi,yi,f(xi))=-logp(yi-f(xi))。28.L(ω,b,α(*),ξ(*)):為L(zhǎng)agrange泛函,其中γ、ηi、為引進(jìn)的輔助變量。29.ωT,ω表示參數(shù)向量,T表示轉(zhuǎn)置。