本算法屬于數(shù)據(jù)挖掘領(lǐng)域，涉及到SVM分類器和參數(shù)尋優(yōu)，特別涉及到其變異操作，使得能夠最大限度的搜索到全局最優(yōu)解。

背景技術(shù)：

網(wǎng)格劃分法是SVM分類器中常用的一種參數(shù)尋優(yōu)方法，原因如下：一是網(wǎng)格劃分法是全局搜索，我們能得到全局最優(yōu)解，從心理上我們會(huì)感到更安全相比于使用避免窮舉參數(shù)搜索的啟發(fā)式方法；第二是通過(guò)網(wǎng)格劃分法找到最優(yōu)參數(shù)值所花費(fèi)的時(shí)間并不比那些先進(jìn)的算法多，由于只有兩個(gè)參數(shù)。此外，網(wǎng)格劃分容易并行處理因?yàn)槊繉?duì)(C，g)是相互獨(dú)立的。但是有時(shí)在實(shí)際應(yīng)用問(wèn)題中，我們要在廣度十分龐大的區(qū)間上搜尋最佳參數(shù)C和g，這時(shí)再利用網(wǎng)格劃分法會(huì)很浪費(fèi)時(shí)間，因此采用粒子群算法可以避免遍歷所有的樣本點(diǎn)，也有可能找到全局最優(yōu)解，并且節(jié)省了時(shí)間。

但是基本的粒子群優(yōu)化算法(PSO)與其他進(jìn)化計(jì)算算法類似，它也是基于種群迭代的算法。因此，該算法將低效率地計(jì)算并通過(guò)所需的評(píng)估函數(shù)的數(shù)量來(lái)衡量。此外，雖然粒子群優(yōu)化算法最主要的優(yōu)勢(shì)之一就是其快速的收斂性，但是這也可能是個(gè)問(wèn)題，因?yàn)槿绻粋€(gè)早熟的解是局部最優(yōu)解，這個(gè)種群在沒有任何外在的壓力下將很容易陷入搜索停滯(即停止繼續(xù)搜索)，我們也稱之為早熟收斂。特別當(dāng)解決復(fù)雜的多峰問(wèn)題時(shí)，基本的PSO算法很容易陷入局部最優(yōu)。這些缺點(diǎn)限制了PSO更廣泛的應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

為了避免網(wǎng)格劃分進(jìn)行全局搜索耗時(shí)、基本粒子群算法容易陷入早熟收斂(即局部最優(yōu))等問(wèn)題，提出了自適應(yīng)變異粒子群優(yōu)化算法。它能夠在不進(jìn)行全局搜索的前提下，最大限度的找到全局最優(yōu)解，提高分類器性能。

本發(fā)明從遺傳算法的變異思想中得到啟發(fā)，在PSO中引入變異操作，即對(duì)整個(gè)種群位置引入變異概率因子，這種變異操作通常是在每代或在前綴間隔或在自適應(yīng)策略控制下用于停滯代數(shù)(早熟收斂)的一個(gè)觸發(fā)器。它能夠跳出當(dāng) 前搜索到的局部最優(yōu)位置，在更大的解空間中再次搜索，在擴(kuò)大解空間搜索范圍的同時(shí)，又保持了種群的多樣性，使得算法能夠有效地進(jìn)行全局搜索，從而提高種群搜索全局最優(yōu)解的能力。

本發(fā)明的技術(shù)方案是：

一種自適應(yīng)變異粒子群優(yōu)化算法，步驟如下：

設(shè)粒子群的粒子數(shù)目為N，f_i為第i個(gè)粒子的適應(yīng)度，f_avg為粒子目前的平均適應(yīng)度，σ²為粒子群的群體適應(yīng)度方差，則σ²可以定義為：

${\mathrm{\σ}}^2=\underset{i=1}{\overset{N}{\Σ}}{\left(\frac{f_i-f_{avg}}{f}\right)}^2---\left(1\right)$

上式中f是歸一化定標(biāo)因子，它是用來(lái)限制σ²的大小。這里群體適應(yīng)度方差σ²反映的是粒子群中所有粒子的收斂程度。σ²越小，說(shuō)明粒子越趨于收斂；反之，粒子群則處于隨機(jī)搜索階段。當(dāng)σ²等于0時(shí)，則說(shuō)明粒子群優(yōu)化算法陷入早熟收斂或者達(dá)到全局收斂。為了避免陷入早熟收斂，我們要對(duì)粒子群進(jìn)行位置變異操作，具體形式如下：

x_i(k+1)＝C·rand()·x_i(k) (2)

C為變異因子，服從Gauss(0，1)分布的隨機(jī)變量；k為當(dāng)前迭代次數(shù)，rand()為(0，1)之間的隨機(jī)數(shù)?？紤]到粒子在當(dāng)前的gbest的作用下可能尋找到更好的位置，因此新算法將變異操作引入一個(gè)隨機(jī)算子，即滿足變異條件的x_i(k+1)按一定概率p_k變異。p_k可以在[0.1，0.5]之間取值，隨機(jī)產(chǎn)生。當(dāng)粒子進(jìn)行位置變異后，它將改變?cè)械乃阉鞣较?，使其進(jìn)入其它區(qū)域進(jìn)行搜索，可能發(fā)現(xiàn)新的pbest和gbest。如此循環(huán)迭代，變異算法增大了發(fā)現(xiàn)全局最優(yōu)解的概率。

自適應(yīng)變異粒子群優(yōu)化算法流程圖如圖1所示。

本發(fā)明算法的有益效果是，相比于網(wǎng)格劃分法收斂快，耗時(shí)少；相比于基本粒子群算法，它有跳出局部最優(yōu)的能力，達(dá)到全局最優(yōu)，提高分類器準(zhǔn)確率。

附圖說(shuō)明

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明。

圖1是自適應(yīng)變異粒子群優(yōu)化算法過(guò)程圖。

圖2是基本粒子群算法訓(xùn)練樣本的適應(yīng)度曲線圖。

圖3是自適應(yīng)變異粒子群算法訓(xùn)練樣本的適應(yīng)度曲線圖。

圖4是(網(wǎng)格劃分)SVM訓(xùn)練集預(yù)測(cè)結(jié)果分類圖。

圖5是(網(wǎng)格劃分)SVM測(cè)試集預(yù)測(cè)結(jié)果分類圖。

圖6是(基本粒子群算法)SVM訓(xùn)練集預(yù)測(cè)結(jié)果分類圖。

圖7是(基本粒子群算法)SVM測(cè)試集預(yù)測(cè)結(jié)果分類圖。

圖8是(自適應(yīng)變異粒子群算法)SVM訓(xùn)練集預(yù)測(cè)結(jié)果分類圖。

圖9是(自適應(yīng)變異粒子群算法)SVM測(cè)試集預(yù)測(cè)結(jié)果分類圖。

具體實(shí)施方式

在圖1中，與基本粒子群優(yōu)化算法不同的是，在自適應(yīng)變異粒子群優(yōu)化算法的流程中我們加入了早熟收斂判斷和粒子位置變異操作。即當(dāng)速度更新和位置更新之后，我們計(jì)算群體適應(yīng)度方差σ²和隨機(jī)算子p_k，然后產(chǎn)生隨機(jī)數(shù)r(r∈[0,1])，判斷r是否小于p_k，如果小于則進(jìn)行位置變異操作，判斷是否收斂，如果是則得出全局最優(yōu)解，否則再次更新速度和位置，進(jìn)行正常迭代；如果r大于等于p_k則直接判斷是否收斂，步驟同上。

在圖2所示，適應(yīng)度函數(shù)在第10代附近達(dá)到最大值，此時(shí)best c＝5.17713，best g＝3.12506，bestacc＝91.4729％。與網(wǎng)格劃分相比，最優(yōu)準(zhǔn)確率從94.186％下降到91.4729％，這符合基本PSO算法的特點(diǎn)，一旦陷入局部最優(yōu)值后，它就很難再有突破，即出現(xiàn)早熟現(xiàn)象。

在圖3所示，適應(yīng)度函數(shù)在第95代附近達(dá)到最大值，此時(shí)best c＝100，best g＝0.178551，bestacc＝94.186％。自適應(yīng)變異PSO與網(wǎng)格劃分法相比，最優(yōu)準(zhǔn)確率相同都為94.186％，收斂速度與基本的PSO大體相當(dāng)，但是有很強(qiáng)的突破局部收斂的能力，從適應(yīng)度值明顯的呈階梯狀上升可以看出，最終能夠達(dá)到全局最優(yōu)。

在圖4所示，258例訓(xùn)練樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)9例，其中肝癌141例中錯(cuò)誤7例，肝病117例中錯(cuò)誤2例，因此分類準(zhǔn)確率為96.5116％。

在圖5所示，172例測(cè)試樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)10例，其中肝癌94例中錯(cuò)誤5例，肝病78例中錯(cuò)誤5例，因此分類準(zhǔn)確率為94.186％。

在圖6所示，258例訓(xùn)練樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)6例，其中肝癌141例中錯(cuò)誤5例，肝病117例中錯(cuò)誤1例，因此分類準(zhǔn)確率為97.6744％。

在圖7所示，172例測(cè)試樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)12例，其中肝癌94例中錯(cuò)誤7例，肝病78例中錯(cuò)誤5例，因此分類準(zhǔn)確率為93.0233％。與網(wǎng)格劃分法分類器的預(yù)測(cè)準(zhǔn)確率相比，準(zhǔn)確率并沒有進(jìn)一步提高，這與取到的參數(shù)c和g陷入局部最優(yōu)有關(guān)。

在圖8所示，258例訓(xùn)練樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)5例，其中肝癌141例中錯(cuò)誤4例，肝病117例中錯(cuò)誤1例，因此分類準(zhǔn)確率為98.062％。

在圖9所示，172例測(cè)試樣本中，預(yù)測(cè)錯(cuò)誤總計(jì)8例，其中肝癌94例中錯(cuò)誤5例，肝病78例中錯(cuò)誤3例，因此分類準(zhǔn)確率為95.3488％。與網(wǎng)格劃分法分類器的預(yù)測(cè)準(zhǔn)。

實(shí)驗(yàn)例：

在matlab中，我們首先利用基本的粒子群算法對(duì)構(gòu)建的分類器中的參數(shù)進(jìn)行優(yōu)化。這里，我們先要對(duì)普通PSO函數(shù)的參數(shù)進(jìn)行初始化，設(shè)置參數(shù)局部搜索能力c₁＝1.5，參數(shù)全局搜索能力c₂＝1.7；設(shè)置速度更新公式中速度前面的彈性系數(shù)ω＝1；設(shè)置最大進(jìn)化數(shù)量maxgen＝200，種群最大數(shù)量sizepop＝20；設(shè)置交叉驗(yàn)證的折疊次數(shù)v＝5；最后設(shè)置參數(shù)c的變化范圍在[0.1，100]之間，參數(shù)g的變化范圍在[0.01，1000]之間。

首先利用基本的粒子群優(yōu)化函數(shù)對(duì)SVM分類器的最佳參數(shù)進(jìn)行尋找，適應(yīng)度曲線如圖2所示：

在利用自適應(yīng)變異粒子群算法對(duì)SVM分類器的最佳參數(shù)進(jìn)行尋找，適應(yīng)度曲線如圖3所示：

仿真例：

(1)利用Grid-RBF核函數(shù)構(gòu)建的分類模型(c＝90.5097，g＝0.25)分別對(duì)訓(xùn)練集和測(cè)試集進(jìn)行仿真實(shí)驗(yàn)。訓(xùn)練集樣本數(shù)258例，其中141例為肝癌，117例為肝病，仿真結(jié)果如圖4所示：

測(cè)試集樣本數(shù)172例，其中94例為肝癌，78例為肝病，仿真結(jié)果如圖5所示：

(2)利用基本的粒子群算法尋找的最佳參數(shù)best c＝5.17713和best g＝3.12506構(gòu)建的分類模型對(duì)訓(xùn)練集和測(cè)試集進(jìn)行仿真實(shí)驗(yàn)。訓(xùn)練集樣本數(shù)258例，其中141例為肝癌，117例為肝病，仿真結(jié)果如圖6所示：

測(cè)試集樣本數(shù)172例，其中94例為肝癌，78例為肝病，仿真結(jié)果如圖7所示：

(3)再利用自適應(yīng)變異粒子群算法尋找的最佳參數(shù)best c＝100和best g＝0.178551構(gòu)建的分類模型對(duì)訓(xùn)練集和測(cè)試集進(jìn)行仿真實(shí)驗(yàn)。仿真結(jié)果如圖8所示：

測(cè)試集樣本數(shù)172例，其中94例為肝癌，78例為肝病，仿真結(jié)果如圖9所示：

最終可以看出提出的自適應(yīng)變異粒子群優(yōu)化算法解決了上面提到的兩個(gè)問(wèn)題，并提高了分類器性能。