改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)方法
【專利摘要】本發(fā)明公開(kāi)了一種改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)的方法，其特征在于，包括以下步驟：步驟1、對(duì)SN個(gè)個(gè)體產(chǎn)生初始解為；步驟2、對(duì)極限學(xué)習(xí)機(jī)的連接權(quán)值ω和閾值b進(jìn)行全局尋優(yōu)；步驟3、對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值ω和閾值b進(jìn)行局部尋優(yōu)；步驟4、如果食物源信息在一定時(shí)間內(nèi)沒(méi)有更新，則將雇傭蜂轉(zhuǎn)換為偵查蜂，回到步驟1重新初始化此個(gè)體；步驟5、從最優(yōu)個(gè)體中提取出的極限學(xué)習(xí)機(jī)連接權(quán)值ω和閾值b，并使用測(cè)試集進(jìn)行驗(yàn)證。本發(fā)明較好地克服了傳統(tǒng)極限學(xué)習(xí)機(jī)應(yīng)用于分類和回歸時(shí)結(jié)果較差的缺點(diǎn)，相對(duì)于傳統(tǒng)極限學(xué)習(xí)機(jī)和SaE?ELM算法，本發(fā)明方法具有較強(qiáng)的魯棒性，有效地提高了分類和回歸的結(jié)果。
【專利說(shuō)明】
改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于人工智能技術(shù)領(lǐng)域，設(shè)及一種改進(jìn)的極限學(xué)習(xí)機(jī)方法，具體設(shè)及一種 改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)方法。
【背景技術(shù)】
[0002] 人工神經(jīng)網(wǎng)絡(luò)(Artif icial化ural Networks ,ANN)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)行 為特征，進(jìn)行分布式并行計(jì)算處理的算法數(shù)學(xué)模型。其中，單隱含層前饋神經(jīng)網(wǎng)絡(luò)(Single- hidden Layer Feed forward Neural 化 tworks,SLF化） 因其良好的學(xué)習(xí)能力在許多領(lǐng)域 得到了廣泛的應(yīng)用。但是由于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)大多數(shù)使用了梯度下降法修正隱層結(jié)點(diǎn) 的值，因此容易出現(xiàn)訓(xùn)練速度慢、容易陷入局部極小點(diǎn)、需要設(shè)置較多的參數(shù)等缺點(diǎn)。近年 來(lái)，一種新型的前饋神經(jīng)網(wǎng)絡(luò)--極限學(xué)習(xí)機(jī)(^Extreme Learn-ing Machine,ELM)被Huang 等人提出：（'Huang G B,Zhu Q Y, Siew C K.Extreme Iearnin邑 machine : theory and appl i cat ions. Neurocomputing, 2006,70 (1-3): 489-501"。由于極限學(xué)習(xí)機(jī)在訓(xùn)練之前可 W隨機(jī)產(chǎn)生不變的輸入層與隱含層之間的連接權(quán)值W及隱含層神經(jīng)元闊值b，因此能夠克 服傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的一些缺點(diǎn)。極限學(xué)習(xí)機(jī)因其較快的學(xué)習(xí)速度和優(yōu)良的泛化性能，引 起了國(guó)內(nèi)外許多學(xué)者專家的研究和關(guān)注。極限學(xué)習(xí)機(jī)的適用性廣泛，其不僅僅適用于回歸、 擬合問(wèn)題，還適用于分類，模式識(shí)別等領(lǐng)域，因此得到了廣泛的應(yīng)用。
[0003] 由于極限學(xué)習(xí)機(jī)的連接權(quán)值和闊值b在訓(xùn)練之前隨機(jī)生成并在訓(xùn)練過(guò)程中保持不 變，因此部分隱層結(jié)點(diǎn)的作用非常的小，如果數(shù)據(jù)集有偏甚至?xí)斐纱蟛糠纸Y(jié)點(diǎn)接近于0的 后果。因此化ang等人指出，為了達(dá)到理想的精度，需要設(shè)置大量的隱層節(jié)點(diǎn)。
[0004] 為解決運(yùn)個(gè)缺點(diǎn)，一些學(xué)者使用智能優(yōu)化算法結(jié)合極限學(xué)習(xí)機(jī)得到了很好的效 果。"Zhu Q Y,Qin A K,Suganthan P N,et al.Evolutionary ex-treme learning machine[J].化ttern recognition,2005,38(10): 1759-1763."提出了一種進(jìn)化極限學(xué)習(xí) 機(jī)化-ELM)，算法使用差分進(jìn)化算法對(duì)化M的隱層結(jié)點(diǎn)參數(shù)進(jìn)行優(yōu)化，從而提高了化M的性 能，但需要設(shè)置的參數(shù)較多，實(shí)驗(yàn)過(guò)程復(fù)雜；"Cao J,Lin Z,Huang G B. Self-adaptive evolutionary ex-treme learning machine[J].Neural processing letters,2012,36 (3) :285-305."提出了一種自適應(yīng)的進(jìn)化極限學(xué)習(xí)機(jī)(SaE-ELM)，算法將一種自適應(yīng)的進(jìn)化 算法和極限學(xué)習(xí)機(jī)進(jìn)行結(jié)合，在設(shè)定參數(shù)較少的基礎(chǔ)上對(duì)隱層結(jié)點(diǎn)進(jìn)行優(yōu)化，提高了極限 學(xué)習(xí)機(jī)在回歸問(wèn)題和分類問(wèn)題上的精度W及穩(wěn)定性，但是該算法在訓(xùn)練時(shí)使用時(shí)間過(guò)長(zhǎng)， 實(shí)用性較差；"王杰，畢浩洋.一種基于粒子群優(yōu)化的極限學(xué)習(xí)機(jī)[J].鄭州大學(xué)學(xué)報(bào)：理學(xué) 版，2013,45(1) :100-104."提出了一種基于粒子群優(yōu)化的極限學(xué)習(xí)機(jī)(PSO-ELM)，利用粒子 群優(yōu)化算法優(yōu)化選擇極限學(xué)習(xí)機(jī)的輸入層權(quán)值和隱含層偏差，從而得到一個(gè)最優(yōu)的網(wǎng)絡(luò)， 但該算法僅僅在函數(shù)擬合上達(dá)到了較好的效果，在實(shí)際應(yīng)用中效果欠佳；"林梅金，羅飛，蘇 彩紅，等.一種新的混合智能極限學(xué)習(xí)機(jī)[J].控制與決策，2015，30(06): 1078-1084結(jié)合 了差分進(jìn)化算法和粒子群優(yōu)化算法，借鑒蛙跳算法的模因進(jìn)化機(jī)制，提出了一種混合智能 優(yōu)化算法(DEPSO-ELM)進(jìn)行參數(shù)尋優(yōu)，采用極限學(xué)習(xí)機(jī)算法求得化F化的輸出權(quán)值，但是該 算法過(guò)分地依賴實(shí)驗(yàn)數(shù)據(jù)，魯棒性較差。
[0005] 因此如何能夠較好地解決傳統(tǒng)極限學(xué)習(xí)機(jī)中的缺點(diǎn)，提高其效果顯得非常重要。
[0006] 傳統(tǒng)極限學(xué)習(xí)機(jī)回歸方法如下：
[0007] 對(duì)于N個(gè)任意不同的訓(xùn)練樣本集(Xi，y 1) (i = 1，2，. . .，N)，Xi G Rd，y 1G r，則一個(gè)具 有L個(gè)隱層節(jié)點(diǎn)的前饋神經(jīng)網(wǎng)絡(luò)的輸出為：
[000引
（1)
[0009] 式（1)中，是輸入層到到隱層節(jié)點(diǎn)的連接權(quán)值如ER是隱層節(jié)點(diǎn)的神經(jīng)元 闊值;gO是隱層節(jié)點(diǎn)的激活函數(shù);? Xi+bj)為第i個(gè)樣本在隱層節(jié)點(diǎn)的輸出；COj ? Xi為 向量的內(nèi)積;&是隱層節(jié)點(diǎn)和輸出層之間的連接權(quán)值。
[0010] 步驟la、隨機(jī)初始化連接權(quán)值CO和闊值b，在網(wǎng)絡(luò)訓(xùn)練開(kāi)始時(shí)隨機(jī)選擇，且在訓(xùn)練 過(guò)程中保持不變；
[0011] 步驟2a、通過(guò)求解W下線性方程組的最小二乘解來(lái)獲得輸出權(quán)值I ;
[0012]
巧）
[0013] 方程組(2)的解為：
[0014]
(3)
[001引巧（3)中，IT代表隱層輸出矩陣的Moore-Penrose(MP)廣義逆。
[0016] 步驟3曰、將式(3)中求得的多帶入式（1)后，可W得到計(jì)算結(jié)果。
[0017] 傳統(tǒng)人工蜂群優(yōu)化(Artificial Bee Colony，ABC)算法的步驟如下：
[001引步驟化、產(chǎn)生初始解:在初始化階段，對(duì)SN個(gè)個(gè)體產(chǎn)生初始解，其式如下：
[0019]
(4)
[0020] 式(4)中，i G {1,2,...，N}，表示初始解的個(gè)數(shù);j = l,2,...，D，表示每個(gè)初始解是 D維向量;rand[0，l]表示取0~1之間的隨機(jī)數(shù)；xf*和.rfii分別表示解的第j維的上界和下 界。
[0021] 步驟化、雇傭蜂捜尋階段:從初始位置開(kāi)始，每個(gè)雇傭蜂個(gè)體在當(dāng)前位置的附近捜 索新的蜜源，其更新式如下：
[0022] vi,j = Xi,j+rand[-l,l](Xi,廣 xk,j) (5)
[0023] 式(5)中：vi,j表示新的蜜源位置信息；xi,j表示原蜜源位置信息;rand[-l，l]表示 取-1~1之間的隨機(jī)數(shù);X。表示第k個(gè)蜜源的j維信息，kG {1，2,. . .，SN}并且k聲i。
[0024] 當(dāng)雇傭蜂獲取到新的蜜源位置信息后，將計(jì)算蜜源的適應(yīng)度值，如果新蜜源的適 應(yīng)度比原蜜源適應(yīng)度好，則采用新蜜源位置。否則繼續(xù)采用原蜜源位置信息，且開(kāi)采次數(shù)加 Io
[0025] 步驟3b、跟隨蜂跟隨階段:跟隨蜂根據(jù)雇傭蜂傳遞過(guò)來(lái)的位置信息，依概率選擇適 應(yīng)度較高的蜜源信息，在雇傭蜂的基礎(chǔ)上產(chǎn)生一個(gè)變化的位置，去尋找新的蜜源。其概率選 擇計(jì)算式如下：
[0026]
6)
[0027] 式(6)中，fitness(xi)表示第i個(gè)跟隨蜂的適應(yīng)度值。Pi代表了第i個(gè)跟隨蜂被選擇 的概率。一旦跟隨蜂被選擇，就會(huì)按照式巧)進(jìn)行位置更新操作。如果新的蜜源適應(yīng)度較好， 采用新蜜源位置，否則繼續(xù)采用原蜜源位置信息且開(kāi)采次數(shù)加1。
[00%]步驟4b、偵查蜂捜尋階段：當(dāng)蜜源開(kāi)采達(dá)到一定次數(shù)卻未改變適應(yīng)度值時(shí)，雇傭蜂 轉(zhuǎn)變?yōu)閭刹榉洳ふ倚碌拿墼次恢?，其捜索式同?4)。

【發(fā)明內(nèi)容】

[0029] 針對(duì)傳統(tǒng)極限學(xué)習(xí)機(jī)應(yīng)用于分類和回歸時(shí)存在的缺點(diǎn)，本發(fā)明在傳統(tǒng)極限學(xué)習(xí)機(jī) 的基礎(chǔ)上，提出一種改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)方法(呢CABC-ELM)，有效地提高了分 類和回歸的效果。
[0030] 本發(fā)明的技術(shù)方案如下：
[0031] -種改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)的方法，包括W下步驟：
[0032] 給定訓(xùn)練樣本集(Xl，yl)(i = l，2，...，N)，XlGRd，ylGr;其激勵(lì)函數(shù)為g()，隱層 節(jié)點(diǎn)數(shù)目為L(zhǎng)
[0033] 步驟1、對(duì)SN個(gè)個(gè)體產(chǎn)生初始解為：
[0034] C 7)
[0035]
[0036]
[0037] 編碼中，《j(j = l，. . .，L)是D維向量，每一維都是-1至Ijl之間的隨機(jī)數(shù);bj則是0到1 之間的隨機(jī)數(shù);G表示蜂群的迭代次數(shù)；
[0038] 步驟2、對(duì)極限學(xué)習(xí)機(jī)的連接權(quán)值CO和闊值b進(jìn)行全局尋優(yōu)：
[0039] Vi, j = xi, j+rand[-l, 1] (xbest, j-xk, j+xi, j-Xm, j)， (8)
[0040] 式(8)中，Xbes"代表當(dāng)前蜂群最優(yōu)個(gè)體，和是除當(dāng)前個(gè)體外隨機(jī)選 擇的其他=個(gè)不同的個(gè)體，即i聲k聲1聲m;每當(dāng)雇傭蜂到達(dá)一個(gè)新的位置，將極限學(xué)習(xí)機(jī)的 連接權(quán)值《和闊值b對(duì)訓(xùn)練樣本集進(jìn)行驗(yàn)證并得到適應(yīng)度值，如果適應(yīng)度值較高，則使用新 的位置信息代替舊的位置信息；
[0041 ]步驟3、對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值CO和闊值b進(jìn)行局部尋優(yōu)；
[0042] 首先，將跟隨蜂根據(jù)其適應(yīng)度進(jìn)行克隆，克隆的數(shù)目和其適應(yīng)度成正比：
[0043]
(9)
[0044] 式(9)中，Ni表示第i個(gè)跟隨蜂的克隆數(shù)目；SN表示個(gè)體的總數(shù)目；fitness(xi)表示 第i個(gè)跟隨蜂的適應(yīng)度值；
[0045] 其次，對(duì)克隆擴(kuò)增后的群體，按照適應(yīng)度概率計(jì)算式，選擇概率大于0~1之間隨機(jī) 數(shù)的跟隨蜂進(jìn)行尋優(yōu)，尋優(yōu)的方式同式(8);
[0046] 跟隨蜂位置信息變化后，通過(guò)群體的濃度概率和適應(yīng)度概率，使用選擇概率計(jì)算 式選出食物源，并組成新的位置信息;新位置信息和擴(kuò)增之前的位置信息數(shù)目相同；
[004引 （6 )
[0047] 所述適應(yīng)度概率計(jì)算式為：
[0049]
[0050] (10)
[0化1] 式（10)中，Ni表示和第i個(gè)跟隨蜂適應(yīng)度值相近的跟隨蜂數(shù)目；^表示運(yùn)些適應(yīng) 度相近的跟隨蜂在群體中的數(shù)量比例;T為濃度闊值;HN則表示濃度大于T的跟隨蜂數(shù)目；
[0052] 所述選擇概率計(jì)算式為：
[0053] Pch〇〇se(xi)=aPi(xi) + (l-a)Pd(xi), (11)
[0054] 利用輪盤(pán)賭的形式，依據(jù)式（11)對(duì)跟隨蜂群體進(jìn)行選擇，選擇前SN個(gè)適應(yīng)度函數(shù) 最高的跟隨蜂構(gòu)成新的食物源信息。
[0055] 步驟4、設(shè)定循環(huán)次數(shù)為limit次;如果食物源信息在limit次循環(huán)內(nèi)沒(méi)有更新，貝U 將雇傭蜂轉(zhuǎn)換為偵查蜂，使用所述步驟1中的式(7)重新初始化此個(gè)體；
[0056] 步驟5、當(dāng)?shù)螖?shù)到達(dá)設(shè)定值，或均方誤差值達(dá)到le-4的精度后，從最優(yōu)個(gè)體中 提取出極限學(xué)習(xí)機(jī)連接權(quán)值《和闊值b，并使用測(cè)試集進(jìn)行驗(yàn)證。
[0057] 本發(fā)明的有益技術(shù)效果是：
[005引本發(fā)明較好地克服了傳統(tǒng)極限學(xué)習(xí)機(jī)應(yīng)用于分類和回歸時(shí)結(jié)果較差的缺點(diǎn)，相對(duì) 于傳統(tǒng)極限學(xué)習(xí)機(jī)和SaE-ELM算法，本發(fā)明方法具有較強(qiáng)的魯棒性，有效地提高了分類和回 歸的結(jié)果。
【附圖說(shuō)明】
[0059] 圖1是本發(fā)明的流程圖。
【具體實(shí)施方式】
[0060] 圖1是本發(fā)明的流程圖，如圖1所示，本發(fā)明所述改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī) 方法過(guò)程如下：
[0061] 給定訓(xùn)練樣本集(Xl，yl)(i = l，2，...，N)，XlGRd，ylGr;其激勵(lì)函數(shù)為g()，隱層 節(jié)點(diǎn)數(shù)目為L(zhǎng)
[0062] 步驟1:使用改進(jìn)的人工蜂群算法對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值O和闊值b進(jìn)行優(yōu)化，按 照如下的式(7)，對(duì)SN個(gè)個(gè)體產(chǎn)生初始解
[0063] (7)
[0064] 錄；
[00 化]
[0066] 根據(jù)極限學(xué)習(xí)機(jī)算法，編碼中CO j(j = l，...山是0維向量，每一維都是-巧Ijl之間 的隨機(jī)數(shù)也則是0到1之間的隨機(jī)數(shù);G表示了蜂群的迭代次數(shù)。
[0067] 步驟2:在原始的人工蜂群優(yōu)化算法的基礎(chǔ)上，將DE算法中的DE/rand-to-best/1 差分變異算子和雇傭蜂捜索式進(jìn)行結(jié)合，使用經(jīng)過(guò)改進(jìn)的式(8)對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值CO 和闊值b進(jìn)行全局尋優(yōu)。
[006引 vi,j = xi,j+rand[-l,l](xbest,j-xk,j+xi,j-xm,j) (8)
[0069] 其中，XbestJ代表當(dāng)前蜂群最優(yōu)個(gè)體，Xk, j，Xl,j和Xm, j則是除當(dāng)前個(gè)體外隨機(jī)選擇的 其他=個(gè)不同的個(gè)體，即i聲k聲1聲m。每當(dāng)雇傭蜂到達(dá)一個(gè)新的位置，我們將位置信息，即 極限學(xué)習(xí)機(jī)的連接權(quán)值《和闊值b對(duì)訓(xùn)練樣本集進(jìn)行驗(yàn)證并得到適應(yīng)度值，如果適應(yīng)度值 較高，則使用新的位置信息代替舊的位置信息。
[0070] 步驟3:在原始人工蜂群算法的基礎(chǔ)上，將免疫克隆算法中的克隆擴(kuò)增算子引入人 工蜂群算法中，使用改進(jìn)的式對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值《和闊值b進(jìn)行局部尋優(yōu)，W達(dá)到更好 的精度。
[0071 ]首先將跟隨蜂根據(jù)其適應(yīng)度進(jìn)行克隆，克隆的數(shù)目和其適應(yīng)度成正比：
[007^
(9)
[0073] 式(9)中Ni表示第i個(gè)跟隨蜂的克隆數(shù)目；SN表示個(gè)體總數(shù)目；fitness(xi)表示第i 個(gè)跟隨蜂的適應(yīng)度值。
[0074] 接下來(lái)對(duì)克隆擴(kuò)增后的群體按照適應(yīng)度概率計(jì)算式(6)選擇選擇概率大于0~1之 間隨機(jī)數(shù)的跟隨蜂進(jìn)行尋優(yōu)，即適應(yīng)度較高的跟隨蜂擁有較高的變化幾率，尋優(yōu)的方式和 式(8)相同。
[0075] 跟隨蜂位置信息變化后，通過(guò)群體的濃度概率和適應(yīng)度概率，根據(jù)選擇概率式選 出適應(yīng)度較高的食物源，并組成新的位置信息，其中篩選出來(lái)的新位置信息和擴(kuò)增之前的 位置信息數(shù)目相同。其中，適應(yīng)度概率計(jì)算式同式(6)，濃度概率W及選擇概率見(jiàn)式（10)~ 式(11)。
[0076] 濃度概率計(jì)算式：
[0077]
( IO )
[0078] 式（10)中，Ni表示和第i個(gè)跟隨蜂適應(yīng)度值相近的跟隨蜂數(shù)目；^表示運(yùn)些適應(yīng) 度相近的跟隨蜂在群體中的數(shù)量比例;T為濃度闊值;HN則表示濃度大于T的跟隨蜂數(shù)目。
[0079] 選擇概率計(jì)算式：
[0080] Pchoose(xi) =aPi(xi) + (l-a)Pd(xi) (11)
[0081] 利用輪盤(pán)賭的形式，依據(jù)上述選擇概率式對(duì)跟隨蜂群體進(jìn)行選擇，選擇前SN個(gè)適 應(yīng)度函數(shù)最高的跟隨蜂構(gòu)成新的食物源信息。
[0082] 步驟4、如果食物源信息在給定的初始條件limit次循環(huán)內(nèi)沒(méi)有更新，則將雇傭蜂 轉(zhuǎn)換為偵查蜂，使用步驟1中的式(7)重新初始化此個(gè)體。在本實(shí)施例中，limit次具體選取 為10次。
[0083] 步驟5、當(dāng)?shù)螖?shù)到達(dá)設(shè)定值，或均方誤差值達(dá)到le-4的精度后，從最優(yōu)個(gè)體中 提取出的極限學(xué)習(xí)機(jī)連接權(quán)值《和闊值b，并使用測(cè)試集進(jìn)行驗(yàn)證。
[0084] W下用=個(gè)實(shí)施例來(lái)證明，本發(fā)明的技術(shù)方案相對(duì)于現(xiàn)有技術(shù)，屬于更優(yōu)的技術(shù) 方案。
[00化]實(shí)施例l:SinC函數(shù)仿真實(shí)驗(yàn)。
[00化]''SinC'函數(shù)表達(dá)式如下：
[0087]
[008引數(shù)據(jù)產(chǎn)生方法:產(chǎn)生5000個(gè)[-10,10]均勻分布的數(shù)據(jù)X，計(jì)算得到5000個(gè)數(shù)據(jù)集 {xi，f(xi)}，i = l，.. .，5000,再產(chǎn)生5000個(gè)[-0.2,0.2]均勻分布的噪聲6;令訓(xùn)練樣本集為 {xi，f(xi)+ei} 4 = 1，. . .，5000,再產(chǎn)生另一組5000個(gè)數(shù)據(jù)集{yi，f(yi)} 4 = 1，. . .，5000作 為測(cè)試集。逐漸增加四種算法的隱層節(jié)點(diǎn)數(shù)對(duì)函數(shù)進(jìn)行擬合，ABC-ELM和DECABC-ELM算法參 數(shù)設(shè)置相同。結(jié)果如表1所示。
[0089] 表1 SinC函數(shù)擬合結(jié)果對(duì)比
[0090]
[0091]
[0092] 從表1中可W看出，隨著隱層節(jié)點(diǎn)的增加，平均測(cè)試誤差和標(biāo)準(zhǔn)差逐漸減小，當(dāng)隱 層節(jié)點(diǎn)過(guò)多時(shí)，會(huì)出現(xiàn)過(guò)擬合的情況。ABC-ELM由于容易陷入局部最優(yōu)解等缺點(diǎn)，在節(jié)點(diǎn)數(shù) 較高時(shí)效果依然較差。在大部分情況下，當(dāng)隱層節(jié)點(diǎn)數(shù)相同時(shí)，DECABC-ELM具有更小的平均 測(cè)試誤差和標(biāo)準(zhǔn)差。
[0093] 實(shí)施例1的具體步驟為：
[0094] 步驟1、對(duì)SN個(gè)個(gè)體產(chǎn)生初始解，其中每個(gè)個(gè)體的編碼方式如下所示
[0095]
[0096] 編碼中《山' =1，...山是0維向量，每一維都是-1到1之間的隨機(jī)數(shù)如則是0到1 之間的隨機(jī)數(shù);G表示了蜂群的迭代次數(shù)。產(chǎn)生初始解的方法是使用如下式：
[0097]
[009引即Xi,J代表0個(gè)體中任意一個(gè)值，如使用式生成了初始的壞。初始化完成后分別對(duì) 每個(gè)個(gè)體進(jìn)行適應(yīng)度值的計(jì)算，運(yùn)里適應(yīng)度值與均方誤差呈負(fù)相關(guān)。
[0099] 步驟2、使用改進(jìn)的雇傭蜂捜索式分別對(duì)每個(gè)個(gè)體進(jìn)行尋優(yōu)，其中尋優(yōu)式如下所 示：
[0100] Vi, J = Xi, j+r曰nd[-1,1 ] (Xbest J-Xk, j+xi,廣Xm, j);
[0101] 其中，Xbes"代表當(dāng)前蜂群最優(yōu)個(gè)體第j維的值，和是除當(dāng)前個(gè)體外 隨機(jī)選擇的其他S個(gè)不同的個(gè)體第j維的值，即i聲k聲1聲m。由于每個(gè)個(gè)體目中包含了ELM的 連接權(quán)值《和闊值b，因此我們使用個(gè)體0變化前和變化后的內(nèi)容分別構(gòu)建化M網(wǎng)絡(luò)，并對(duì) ELM得到的結(jié)果和SinC函數(shù)的結(jié)果求均方誤差。如果變化后的個(gè)體均方誤差較小，即適應(yīng)度 值較大，那么使用新的位置信息代替舊的位置信息。
[0102] 步驟3、對(duì)每個(gè)個(gè)體0進(jìn)行克隆擴(kuò)增，并通過(guò)一定概率選擇相應(yīng)的個(gè)體進(jìn)行位置信 息變化。首先將跟隨蜂根據(jù)其適應(yīng)度進(jìn)行克隆，克隆的數(shù)目和其適應(yīng)度成正比：
[0103]
[0104] 其中Ni表示第i個(gè)跟隨蜂的克隆數(shù)目；SN表示個(gè)體總數(shù)目；fitness(Xi)表示第i個(gè) 跟隨蜂的適應(yīng)度值。
[0105] 對(duì)克隆擴(kuò)增后的群體按照概率進(jìn)行尋優(yōu)操作，其中尋優(yōu)式和上述步驟2相同，概率 式如下：
[0106]
[0107] 其中，fitness(xi)表示第i個(gè)跟隨蜂的適應(yīng)度值。Pi代表了第i個(gè)跟隨蜂被選擇進(jìn) 行更新的概率。
[0108] 克隆后的跟隨蜂位置信息變化后，計(jì)算每個(gè)個(gè)體的適應(yīng)度值，即提取出每個(gè)個(gè)體0 中包含了ELM的連接權(quán)值CO和闊值b后構(gòu)建ELM網(wǎng)絡(luò)，使用SinC函數(shù)的輸入值帶入ELM后求得 的結(jié)果和函數(shù)正確結(jié)果求均方誤差，并計(jì)算適應(yīng)度信息。
[0109] 在克隆變異后的群體中，通過(guò)群體的濃度和適應(yīng)度選出適應(yīng)度較高的食物源，組 成新的位置信息，其中篩選出來(lái)的新位置信息和擴(kuò)增之前的位置信息數(shù)目相同。其中，適應(yīng) 度概率同上述概率式，濃度概率W及選擇概率見(jiàn)下：
[0110] 濃度概率計(jì)算式：
[0111]
[0112] 其中，Ni表示和第i個(gè)跟隨蜂適應(yīng)度值相近的跟隨蜂數(shù)目；^表示運(yùn)些適應(yīng)度相 近的跟隨蜂在群體中的數(shù)量比例;T為濃度闊值;HN則表示濃度大于T的跟隨蜂數(shù)目。
[0113] 選擇概率計(jì)算式：
[0114] Pchoose(xi) =aPi(xi) + (l-a)Pd(xi)
[0115] 利用輪盤(pán)賭的形式，依據(jù)上述選擇概率式對(duì)跟隨蜂群體進(jìn)行選擇，選擇前SN個(gè)適 應(yīng)度函數(shù)最高的跟隨蜂構(gòu)成新的食物源信息。
[0116] 如果食物源信息在一定時(shí)間內(nèi)沒(méi)有更新，則將雇傭蜂轉(zhuǎn)換為偵查蜂，使用步驟1中 的式對(duì)運(yùn)個(gè)個(gè)體再次進(jìn)行初始化。
[0117] 經(jīng)過(guò)一定次數(shù)的迭代之后，我們?nèi)〕鲎顑?yōu)個(gè)體0中包含的ELM的連接權(quán)值CO和闊值 b后構(gòu)建ELM網(wǎng)絡(luò)，并使用SinC函數(shù)預(yù)留的測(cè)試集對(duì)ELM進(jìn)行測(cè)試，對(duì)ELM得到的結(jié)果和SinC 函數(shù)的結(jié)果求均方誤差。整個(gè)實(shí)驗(yàn)進(jìn)行多次后均方誤差取平均值，并計(jì)算各個(gè)均方誤差之 間的標(biāo)準(zhǔn)差，并和其他算法進(jìn)行對(duì)比。對(duì)比結(jié)果如表1所示。
[011引實(shí)施例2:回歸數(shù)據(jù)集仿真實(shí)驗(yàn)。
[0119] 使用加州大學(xué)歐文分校的機(jī)器學(xué)習(xí)庫(kù)中的4個(gè)真實(shí)回歸數(shù)據(jù)集對(duì)4種算法的性能 進(jìn)行對(duì)比。數(shù)據(jù)集名稱分別是：Auto MPG(MPG)，Computer Hardware (CPU) ,Housing和 Servo。實(shí)驗(yàn)中數(shù)據(jù)集中的數(shù)據(jù)被隨機(jī)分為訓(xùn)練樣本集和測(cè)試樣本集，其中70%作為訓(xùn)練樣 本集，剩余30%作為測(cè)試樣本集。為減少各個(gè)變量差異較大的影響，我們?cè)谒惴ㄟ\(yùn)行前先對(duì) 數(shù)據(jù)進(jìn)行歸一化處理，即輸入變量歸一化到[-1，1 ]，輸出變量歸一化到[0，1 ]。所有實(shí)驗(yàn)中， 隱層節(jié)點(diǎn)從小到大逐步增加，具有平均最優(yōu)RMSE的實(shí)驗(yàn)結(jié)果被記錄在表2-表5中。
[0120] 表2 Auto MPG擬合結(jié)果對(duì)比
[0121]
[i
[i
[01741
[
[
[
[
[0129] 從表格中我們可W看出，DECABC-化M在所有的數(shù)據(jù)集擬合實(shí)驗(yàn)中獲得了最小的 RMSE，但是在Auto MPG和Computer化rdware中，DECABC-ELM的標(biāo)準(zhǔn)差卻比其他算法差，即 穩(wěn)定性有待提升。從訓(xùn)練時(shí)間和隱層節(jié)點(diǎn)數(shù)上看，PSO-ELM和DEPSO-ELM收斂速度較快，且使 用的隱層節(jié)點(diǎn)數(shù)較少，但精度卻不如DECABC-ELM。綜合考慮，DECABC-ELM，即本發(fā)明所述的 算法，性能較為優(yōu)越。
[0130] 實(shí)施例2的具體步驟與實(shí)施例1相同。
[0131] 實(shí)施例3:分類數(shù)據(jù)集仿真實(shí)驗(yàn)。
[0132] 使用了加州大學(xué)歐文分校的機(jī)器學(xué)習(xí)庫(kù)。4個(gè)真實(shí)分類數(shù)據(jù)集名稱分別是:Blood Transfusion Service Cen-te;r(Blood) ,Ecoli，Iris和Wine。和分類數(shù)據(jù)集相同，實(shí)驗(yàn)數(shù)據(jù) 中70%作為訓(xùn)練樣本集，30%作為測(cè)試樣本集，數(shù)據(jù)集的輸入變量歸一化到[-1,1]。實(shí)驗(yàn)中 隱層節(jié)點(diǎn)逐步增加，具有最優(yōu)分類率的實(shí)驗(yàn)結(jié)果被記錄在表6-表9中。
[0133] 表6 Blood分類結(jié)果對(duì)比
[0134]
[01351
[i
[i
[i
[i
[i
[i
[0142] 表格顯示在四種分類數(shù)據(jù)集中DECABC-ELM均取得了最高分類正確率。但DECABC- ELM在穩(wěn)定性上依然不夠理想。DECABC-ELM算法的用時(shí)較PSO-ELM ,DEPSO-ELM和ABC-ELMS 種算法更長(zhǎng)，比S址-ELM短。相比于其他算法，DECABC-ELM使用了較少的隱層節(jié)點(diǎn)就能夠達(dá) 到較高的分類正確率。綜合上述考慮，DECABC-ELM，即本發(fā)明所述的方法，性能較優(yōu)。
[0143] 實(shí)施例3的具體步驟與實(shí)施例1相同。
[0144] W上所述的僅是本發(fā)明的優(yōu)選實(shí)施方式，本發(fā)明不限于W上實(shí)施例。可W理解，本 領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和構(gòu)思的前提下直接導(dǎo)出或聯(lián)想到的其他改進(jìn)和變 化，均應(yīng)認(rèn)為包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種改進(jìn)人工蜂群優(yōu)化的極限學(xué)習(xí)機(jī)的方法，其特征在于，包括以下步驟： 給定訓(xùn)練樣本集(xi，yi)(i = l，2,...，N)，xieRd，yieRm;其激勵(lì)函數(shù)為g()，隱層節(jié)點(diǎn) 數(shù)目為L(zhǎng); 步驟1、對(duì)SN個(gè)個(gè)體產(chǎn)生初始解為：(7) 編碼中，ω j( j = l，. . .，L)是D維向量，每一維都是-1至Ijl之間的隨機(jī)數(shù);bj則是O至Ijl之間 的隨機(jī)數(shù);G表示蜂群的迭代次數(shù)； 步驟2、對(duì)極限學(xué)習(xí)機(jī)的連接權(quán)值ω和閾值b進(jìn)行全局尋優(yōu)： Vi,j - Xi, j+raild [ _1，I ] ( Xbest, j_Xk, j+Xl, j_Xm, j )， ( 8 ) 式(8)中，Xbest,j代表當(dāng)前蜂群最優(yōu)個(gè)體，Xk,j，Xl,j和Xm,j則是除當(dāng)前個(gè)體外隨機(jī)選擇的 其他三個(gè)不同的個(gè)體，即i辛k辛l#m;每當(dāng)雇傭蜂到達(dá)一個(gè)新的位置，將極限學(xué)習(xí)機(jī)的連接 權(quán)值ω和閾值b對(duì)訓(xùn)練樣本集進(jìn)行驗(yàn)證并得到適應(yīng)度值，如果適應(yīng)度值較高，則使用新的位 置信息代替舊的位置信息； 步驟3、對(duì)極限學(xué)習(xí)機(jī)連接權(quán)值ω和閾值b進(jìn)行局部尋優(yōu)； 首先，將跟隨蜂根據(jù)其適應(yīng)度進(jìn)行克隆，克隆的數(shù)目和其適應(yīng)度成正比：(9) 式(9)中，N1表示第i個(gè)跟隨蜂的克隆數(shù)目；SN表示個(gè)體的總數(shù)目；fitneSS( Xl)表示第i 個(gè)跟隨蜂的適應(yīng)度值； 其次，對(duì)克隆擴(kuò)增后的群體，按照適應(yīng)度概率計(jì)算式，選擇概率大于〇~1之間隨機(jī)數(shù)的 跟隨蜂進(jìn)行尋優(yōu)，尋優(yōu)的方式同式(8); 跟隨蜂位置信息變化后，通過(guò)群體的濃度概率和適應(yīng)度概率，使用選擇概率計(jì)算式選 出食物源，并組成新的位置信息;新位置信息和擴(kuò)增之前的位置信息數(shù)目相同； 所述適應(yīng)度概率計(jì)算式為：式（10)中，心表示和第i個(gè)跟隨蜂適應(yīng)度值相近的跟隨蜂數(shù)目；?表示這些適應(yīng)度相近 5 Λ 的跟隨蜂在群體中的數(shù)量比例;T為濃度閾值;HN則表示濃度大于T的跟隨蜂數(shù)目； 所述選擇概率計(jì)算式為：利用輪盤(pán)賭的形式，依據(jù)式（11)對(duì)跟隨蜂群體進(jìn)行選擇，選擇前SN個(gè)適應(yīng)度函數(shù)最高 的跟隨蜂構(gòu)成新的食物源信息。 步驟4、設(shè)定循環(huán)次數(shù)為limit次；如果食物源信息在limit次循環(huán)內(nèi)沒(méi)有更新，則將雇 傭蜂轉(zhuǎn)換為偵查蜂，使用所述步驟1中的式(7)重新初始化此個(gè)體； 步驟5、當(dāng)?shù)螖?shù)到達(dá)設(shè)定值，或均方誤差值達(dá)到le-4的精度后，從最優(yōu)個(gè)體中提取 出極限學(xué)習(xí)機(jī)連接權(quán)值ω和閾值b，并使用測(cè)試集進(jìn)行驗(yàn)證。
【文檔編號(hào)】G06N3/00GK106022465SQ201610333881
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月19日
【發(fā)明人】毛力, 毛羽, 肖永松
【申請(qǐng)人】江南大學(xué)