專利名稱：一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法
一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)自校正方法，是一種對(duì)復(fù)雜的非線性函 數(shù)鏈神經(jīng)網(wǎng)絡(luò)進(jìn)行自^^交正的方法。背景技術(shù)：
現(xiàn)代信息技術(shù)的三大基礎(chǔ)是信息的采集、傳輸和處理技術(shù)。傳感器技術(shù) 是信息技術(shù)系統(tǒng)的"感官"，是信息采集系統(tǒng)最前端的首要部件。對(duì)比電子 計(jì)算機(jī)技術(shù)的飛躍發(fā)展，向電腦傳送信息的傳感器技術(shù)卻相對(duì)落后了。因此， 傳感器技術(shù)已成為各國(guó)竟相發(fā)展的技術(shù)，而現(xiàn)代的控制系統(tǒng)通常采用多傳感 器技術(shù)利用函數(shù)鏈神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)系統(tǒng)的多方面、多層次的、多方位的監(jiān) 控。現(xiàn)代控制系統(tǒng)對(duì)函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的精度、穩(wěn)定性和工作條件提出了很高 的要求，希望其輸出信息與輸入信息之間呈線性關(guān)系。
為此，人們不得不采取一些中間補(bǔ)償和^f奮正措施即自校正技術(shù)，如用熱
敏電阻等設(shè)計(jì)電路進(jìn)行溫度補(bǔ)償；用差動(dòng)電^^氐消非線性；用折線擬合或反 函數(shù)變換技術(shù)，通過硬件非線性反饋實(shí)現(xiàn)線性化；利用ROM存貯非線性特 性,再用查表方法校正；用非線性編碼解碼方法實(shí)現(xiàn)非線性補(bǔ)償?shù)?。這些方法 往往精度不夠，在應(yīng)用上靈活性欠佳，同時(shí)存在非線性、溫度影響及其它干 擾影響時(shí)難以處理，當(dāng)元件老化或使用環(huán)境變化時(shí)需重新調(diào)整。
發(fā)明內(nèi)容
本發(fā)明的要解決的技術(shù)問題在于提供一種方法精度高、使用靈活而算法 簡(jiǎn)明、易于硬件實(shí)現(xiàn)的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法。 本發(fā)明為解決上述技術(shù)問題釆用以下技術(shù)方案 一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法，包括以下步驟 步驟一才艮據(jù)系統(tǒng)的結(jié)構(gòu)與組成特點(diǎn)，將原系統(tǒng)按類分成若干個(gè)子系統(tǒng); 步驟二使用函數(shù)鏈神經(jīng)元來建立子系統(tǒng)，把與子系統(tǒng)相關(guān)的結(jié)構(gòu)參數(shù)、輸入量、輸出量存儲(chǔ)構(gòu)建一個(gè)動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，運(yùn)用學(xué)習(xí)算法 分別對(duì)各個(gè)子系統(tǒng)的神經(jīng)元模型進(jìn)行訓(xùn)練，使之逼近各個(gè)子系統(tǒng)的輸入/輸出
關(guān)系，得到各子系統(tǒng)的神經(jīng)元模型；
步驟三將所得到的各個(gè)子系統(tǒng)的神經(jīng)元模型按一種相關(guān)的關(guān)系連接組 合起來，得到原系統(tǒng)的基于結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型；
步驟四在各神經(jīng)元中與結(jié)構(gòu)參數(shù)相對(duì)應(yīng)的輸入變量之前，增加一個(gè)輸 入值為1的新輸入層，得到與系統(tǒng)結(jié)構(gòu)參數(shù)想對(duì)應(yīng)的新輸入層權(quán)值，重新訓(xùn) 練，求出高精度模型，構(gòu)成新模型；
步驟五將新的模型按照先前構(gòu)建的動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，重 新生成新的子系統(tǒng)，并將其與其他的子系統(tǒng)構(gòu)建相關(guān)的關(guān)系網(wǎng)；
步驟六將動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性進(jìn)行實(shí)時(shí)更新。
本發(fā)明提出采用自校正技術(shù)的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)方法，利用神經(jīng)網(wǎng)絡(luò)的非 線性逼近能力和自適應(yīng)特性，發(fā)揮其訓(xùn)練、學(xué)習(xí)能力，實(shí)現(xiàn)傳感器建模。釆 用函數(shù)鏈人工神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性函數(shù)變換，逼近傳感器的非線性特性曲線， 采用自校正技術(shù)保持各個(gè)子系統(tǒng)間的相關(guān)，解決老化問題或運(yùn)行條件改變時(shí) 各個(gè)子系統(tǒng)間關(guān)系的紊亂。其突出的優(yōu)點(diǎn)是可以同時(shí)考慮環(huán)境溫度狀況、各 種干擾輸入的影響、傳感器本身的非線性及其交互作用。這種方法比現(xiàn)有方 法精度提高、z使用靈活而算法簡(jiǎn)明、易于硬件實(shí)現(xiàn)。為進(jìn)一步提高線性化精 度，可以重新訓(xùn)練，求出高精度模型。解決老化問題或運(yùn)行條件改變時(shí)，也 可以重新訓(xùn)練，確定新的網(wǎng)絡(luò)權(quán)值，構(gòu)成新才莫型。

圖l是本發(fā)明函凄t鏈神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
具體實(shí)施方式
本發(fā)明提出 一種采用自校正技術(shù)的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)，借助凸優(yōu)化思想提 出了一個(gè)更為快速、容量更高的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，通過一組穩(wěn)態(tài)方 程來構(gòu)造一個(gè)凸集優(yōu)化問題，從而獲得了更高的學(xué)習(xí)速度及更高的存儲(chǔ)容量， 而所存模式的吸引盆可由一組松馳參量加以控制，使網(wǎng)絡(luò)更具有靈活性。
一個(gè)比較復(fù)雜龐大的非線性現(xiàn)代系統(tǒng)通常都將其分割成若千個(gè)子系統(tǒng)，各個(gè)子系統(tǒng)根據(jù)一定的相關(guān)算法進(jìn)行關(guān)聯(lián)來構(gòu)成一個(gè)復(fù)雜的函數(shù)鏈神經(jīng)網(wǎng) 絡(luò)。因此要研究復(fù)雜非線性的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)要將對(duì)分解成若干各相對(duì)簡(jiǎn)單 的子系統(tǒng)，在分別對(duì)各個(gè)子系統(tǒng)進(jìn)行研究，得出其相應(yīng)的參數(shù)、輸入量、輸 出量，建立起子模型，然后根據(jù)神經(jīng)網(wǎng)絡(luò)算法將各個(gè)子系統(tǒng)關(guān)聯(lián)起來，如圖 1所示。
基于自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)是這種思想的具體體現(xiàn)。具體講，就是原 本比較復(fù)雜的非線性系統(tǒng)根據(jù)系統(tǒng)的結(jié)構(gòu)與組成特點(diǎn)，將原系統(tǒng)按類分成若 干個(gè)子系統(tǒng)。使用函數(shù)鏈神經(jīng)元來建立子系統(tǒng)，把與子系統(tǒng)相關(guān)的結(jié)構(gòu)參數(shù)、 輸入量、輸出量存儲(chǔ)構(gòu)建一個(gè)動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，充分運(yùn)用學(xué)習(xí) 算法分別對(duì)各個(gè)子系統(tǒng)的神經(jīng)元模型進(jìn)行訓(xùn)練，使之逼近各個(gè)子系統(tǒng)的輸入/ 輸出關(guān)系，得到各子系統(tǒng)的神經(jīng)元模型。將所得到的各個(gè)子系統(tǒng)的神經(jīng)元模 型按一種相關(guān)的關(guān)系連接組合起來，得到原系統(tǒng)的基于結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模 型。在各神經(jīng)元中與結(jié)構(gòu)參數(shù)相對(duì)應(yīng)的輸入變量之前，增加一個(gè)輸入值為1 的新輸入層，得到與系統(tǒng)結(jié)構(gòu)參數(shù)想對(duì)應(yīng)的新輸入層權(quán)值，為進(jìn)一步提高線 性化精度，可以重新訓(xùn)練，求出高精度模型。解決老化問題或運(yùn)行條件改變 時(shí)，也可以重新訓(xùn)練，確定新的網(wǎng)絡(luò)權(quán)值，構(gòu)成新模型。將新的模型按照先 前構(gòu)建的動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，重新生成新的子系統(tǒng)，并將其與其 他的子系統(tǒng)構(gòu)建相關(guān)的關(guān)系網(wǎng)。將動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性進(jìn)行實(shí)時(shí)更
新，對(duì)a學(xué)習(xí)規(guī)則進(jìn)行改進(jìn)，借助凸集優(yōu)化思想，利用最陡梯度下降技術(shù)獲得
了更高的存儲(chǔ)容量和更快速的學(xué)習(xí)速度，使得各個(gè)子系統(tǒng)之間的相關(guān)性能得 到更準(zhǔn)確的校正。
本發(fā)明的建模與自校正方法按如下步驟進(jìn)行 1、子系統(tǒng)的劃分和各個(gè)子系統(tǒng)的關(guān)系構(gòu)建
在建立具有自校正技術(shù)的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)，首先需要對(duì)原本復(fù)雜的系統(tǒng) 按類進(jìn)行正確劃分。即據(jù)系統(tǒng)的結(jié)構(gòu)與組成特點(diǎn)，將原系統(tǒng)按類分成若干個(gè) 子系統(tǒng)，子系統(tǒng)越簡(jiǎn)單越有優(yōu)勢(shì)，通常盡可能將復(fù)雜的系統(tǒng)分解成簡(jiǎn)單的單 輸出子系統(tǒng)。
一般的非線性系統(tǒng)或全局問題可以描述成這樣設(shè)第i個(gè)樣本輸入為Xi、 ti，通過函數(shù)型連接F后，獲得函數(shù)型輸入fll, 口:
fm,同時(shí)引入一個(gè)+ 1作為傳感器可能的零點(diǎn)遷移，因而有
凡'二 ！E
其中fi(^l，上式可寫成 乂.二叫=尸/『 式中
『=[w0,n]r,
《=， 乂1 ，./in ]
令傳感器的期望輸出為di,誤差為
5
2
(4)
￡0,) 二丄￡(《2)_《~, +丄《^￡(^《7)『
2
2
會(huì)^x,+會(huì)『
『
(5)
式中Rfd和Rff為Fi與di的互相關(guān)及Fi的自相陣.用梯度法調(diào)節(jié)權(quán)系數(shù)W使 誤差最小，令
v「v刷[，,…，r<formula>formula see original document page 10</formula>
即可求得W.但Rfd和Rff無法預(yù)先知道，故采用LM S算法進(jìn)行自適應(yīng) 訓(xùn)練，因巧)
對(duì)給定的W ,》(Ei)的數(shù)學(xué)期望為
(7)
(8)
比較式(8)與式(6)知，f (Ei )作為梯度估計(jì)是無偏的.于是根據(jù)自適應(yīng)最 小攝動(dòng)的基本思想，權(quán)系數(shù)矢量迭代公式為
哮)二昨—1)+ (9)
(10)
其中G為步長(zhǎng)，通常(KG〈1.0,為減小過調(diào)量，引入慣性項(xiàng):
，r，
W(A)=『(k — 1) + —巧+ a[昨—1)一, —2)]
式中0< A< 1為動(dòng)量因子.為進(jìn)一步加快收斂速度采用變步長(zhǎng)算法，引入 G(k)，令
五二4[tw一兀)2]
(12)
式中i為總樣本數(shù)，考慮較全面反映誤差變化趨勢(shì)的量
<formula>formula see original document page 11</formula>
式中0<b<1為常量.運(yùn)算過程中可以試舍去絕對(duì)值最小的權(quán)系數(shù)對(duì)應(yīng)的 函數(shù)項(xiàng)，多次循環(huán)后，求出最簡(jiǎn)單的函數(shù)型連接F。 算法具體步驟如下
(1)確定初始函數(shù)型連接F及函數(shù)鏈網(wǎng)絡(luò)結(jié)構(gòu)；(2) 網(wǎng)絡(luò)權(quán)值初始化，隨積/沒wj,通常fiwjfi< 1;
(3) 輸入訓(xùn)練數(shù)據(jù)樣本xi, ti,計(jì)算fil, □， fin ，i= 1, 2, □， I;
(4) 求yi,計(jì)算E (k),如誤差滿足要求，則轉(zhuǎn)；
(8)如迭代限定次數(shù)后仍不滿足誤差要求則轉(zhuǎn)(9),否則繼續(xù)；
(5) 由式(9)求G(k)，并加判斷，如G(k) < 0，則G(k) = Gmin ， (Gmin為選定 的G最小值)；
(6) 計(jì)算wj (k)，修正所有連接；
(7) 返回，重復(fù)(4)~ (7);
(8) 找出wj絕對(duì)值最小者，舍去對(duì)應(yīng)的函數(shù)項(xiàng)，轉(zhuǎn)(2)重新計(jì)算；
(9) 如前面曾舍去函數(shù)項(xiàng)則取最后一次誤差滿足要求的結(jié)果輸出；否貝'J, 增加后一函數(shù)項(xiàng)，轉(zhuǎn)(2)重新計(jì)算；如原設(shè)計(jì)最后函數(shù)項(xiàng)也已利用，則輸出建沖莫 不成功信息或修改誤差指標(biāo)再運(yùn)行。
最后，得到子系統(tǒng)的模型
2、各個(gè)子系統(tǒng)通過訓(xùn)練、學(xué)習(xí)來構(gòu)建動(dòng)態(tài)數(shù)據(jù)庫即非線性特征 FLN是一個(gè)僅含輸入層和輸出層的單層神經(jīng)網(wǎng)絡(luò)不計(jì)輸入層，輸入層的 輸入是原輸入向量的擴(kuò)展，擴(kuò)展一般取作函數(shù)式擴(kuò)展，即通過一組預(yù)先取定 的線性無關(guān)的函數(shù)正交更好，將原輸入向量展開，所得的模式作為輸入向量。 如下所示，原輸入向量x是n維的，擴(kuò)展函數(shù)組為fl，f2，G....fn。
_y = /(x， 0 二 w0 + J],.力(x, 0擴(kuò)展的本意是通過一組線性無關(guān)函數(shù)將維向量空間映射到更高的維向量
空間，以期提高原輸人向量間的正交性程度，最終改善網(wǎng)絡(luò)的非線性映射能
力。盡管擴(kuò)展不會(huì)帶來新的信息，但擴(kuò)展向量中包含了原輸入向量的結(jié)構(gòu)信 自
FLN網(wǎng)絡(luò)采用cr學(xué)習(xí)規(guī)則，收斂速度快，學(xué)習(xí)過程不會(huì)陷于局部最小，網(wǎng) 絡(luò)的逼近能力取決于擴(kuò)展形式項(xiàng)，已被廣泛地應(yīng)用于模式識(shí)別、控制等應(yīng)用領(lǐng) 域。
FLN的a學(xué)習(xí)規(guī)則實(shí)質(zhì)上是最陡梯度下降法，目的是使網(wǎng)絡(luò)的連接權(quán)值 通過有限步迭趨向穩(wěn)定，/人而完整的學(xué)習(xí)過。
網(wǎng)絡(luò)的學(xué)習(xí)目的是使學(xué)習(xí)過的輸入模式盡可能多地被記憶。設(shè)有M對(duì)模 式(X(l)，Y(l) ) , ( X(2),Y(2)),…，(X(M)，Y(M) ) , X(i) G {-1,1 }n， Y(i) G {-l，l}m,i=l,2,...,M。要使網(wǎng)絡(luò)讓每對(duì)輸入輸出成為穩(wěn)態(tài)點(diǎn)，則必須滿足<formula>formula see original document page 13</formula>
它等價(jià)于
<formula>formula see original document page 13</formula>
其中，i=l,2，...,M,k=l,2"..,m。 Tjk是連接權(quán)值，定義
<formula>formula see original document page 13</formula>
上式中，(Ji(i-l,2，…，m)為小正數(shù)，它們可看成是+》弛變量。為了求得滿 足(8)式的Tjk,定義費(fèi)用函數(shù)為
<formula>formula see original document page 13</formula>其<formula>formula see original document page 14</formula>
上式中的每一項(xiàng)G(i,k)表示一項(xiàng)懲罰。若(8)式中以cri取代零且約束成 立，則有
G(i,k)=0;若(8)式的約束被破壞，則G(i,k)為負(fù)且等于g(i，k),故①(t) 為下有界。若方程(8)(或約束(8))存在一個(gè)解，則①(T)的最小值為零。 另外，由于(G(i,k))2是T的凸函數(shù)，故①(T)關(guān)于T也是凸的，從而意味著① (T)存在一個(gè)唯一的最小點(diǎn)TV萄足V^d^且為①(T)的全局最小夂由此可 知，通過最陵梯度下降法，能保證關(guān)于T的迭代在有限步內(nèi)趨于"，因此有<formula>formula see original document page 14</formula>
上式中，ri仍表示收斂因子，h(x)為<formula>formula see original document page 14</formula>
h(x)的作用是使(Tjk)有界，(。i)為自由參數(shù)，它可調(diào)節(jié)被存模式的吸引 盆的大小，從而影響著網(wǎng)絡(luò)的聯(lián)想性能，cji越小、吸引盆越大，ai越大， 會(huì)導(dǎo)致存儲(chǔ)量的下降。
3、自校正函數(shù)《連神經(jīng)網(wǎng)絡(luò)生成
經(jīng)過步驟l、 2，會(huì)生成相應(yīng)的各個(gè)子系統(tǒng)相關(guān)關(guān)系的動(dòng)態(tài)數(shù)據(jù)庫即非線 性特征，利用神經(jīng)網(wǎng)絡(luò)的非線性逼近能力和自適應(yīng)特性，發(fā)揮其訓(xùn)練、學(xué)習(xí) 能力，實(shí)現(xiàn)傳感器建模。采用函數(shù)鏈人工神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性函數(shù)變換，逼 近傳感器的非線性特性曲線，采用自校正技術(shù)保持各個(gè)子系統(tǒng)間的相關(guān)，解 決老化問題或運(yùn)行條件改變時(shí)各個(gè)子系統(tǒng)間關(guān)系的紊亂。為進(jìn)一步提高線性 化精度，可以重新訓(xùn)練，求出高精度模型。解決老化問題或運(yùn)行條件改變時(shí)，也可以重新訓(xùn)練，確定新的網(wǎng)絡(luò)權(quán)值，構(gòu)成新模型。這樣就能完成非線性特 征的實(shí)時(shí)更新，各個(gè)子系統(tǒng)按照這個(gè)動(dòng)態(tài)數(shù)據(jù)庫就可以同周圍的子系統(tǒng)建立 其新的關(guān)系。
本發(fā)明提供的具有自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)比現(xiàn)有的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)相 比，具有系統(tǒng)建沖莫和自^^吏正的雙重功能，其優(yōu)點(diǎn)如下
基于自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是結(jié)構(gòu)化的，這體現(xiàn)在各個(gè)子系 統(tǒng)結(jié)構(gòu)又系統(tǒng)的各個(gè)結(jié)構(gòu)是相對(duì)應(yīng)的。
基于自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元數(shù)量是確定的，這主要取決與 劃分系統(tǒng)時(shí)所劃分的子系統(tǒng)數(shù)量。
基于自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元即各個(gè)子系統(tǒng)不是隨便相連 的，是根據(jù)函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的具體算法來指導(dǎo)各個(gè)子系統(tǒng)相連的。
借助凸優(yōu)化思想提出了一個(gè)更為快速、容量更高的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 算法，通過一組穩(wěn)態(tài)方程來構(gòu)造一個(gè)凸集優(yōu)化問題，從而獲得了更高的學(xué)習(xí)速 度及更高的存儲(chǔ)容量，而所存模式的吸引盆可由一組松馳參量加以控制，使網(wǎng) 絡(luò)更具有靈活'f么基于自校正的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的非線性映射能力。
又有利于新系統(tǒng)的開發(fā)，如果利用本發(fā)明建立一個(gè)新的子系統(tǒng)模型，那 么當(dāng)設(shè)計(jì)一個(gè)系統(tǒng)時(shí)，只要從動(dòng)態(tài)的數(shù)據(jù)庫中選出最優(yōu)的相關(guān)算法來構(gòu)建一 個(gè)新的子系統(tǒng)，如果子系統(tǒng)連接方式不同，還能通過訓(xùn)練將新的相關(guān)算法加 入到動(dòng)態(tài)數(shù)據(jù)庫中，這對(duì)開發(fā)新的系統(tǒng)也是十分有益的。
總之本發(fā)明借助凸優(yōu)化思想提出了 一個(gè)更為快速、容量更高的函數(shù)鏈神 經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，通過一組穩(wěn)態(tài)方程來構(gòu)造一個(gè)凸集優(yōu)化問題，從而獲得了更 高的學(xué)習(xí)速度及更高的存儲(chǔ)容量,這樣大大豐富了動(dòng)態(tài)數(shù)據(jù)庫中的各個(gè)子系 統(tǒng)間的相關(guān)關(guān)系算法，而所存模式的吸引盆可由一組松馳參量加以控制，使網(wǎng) 絡(luò)更具有靈活性。
權(quán)利要求
1、一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法，其特征在于包括以下步驟步驟一根據(jù)系統(tǒng)的結(jié)構(gòu)與組成特點(diǎn)，將原系統(tǒng)按類分成若干個(gè)子系統(tǒng)；步驟二使用函數(shù)鏈神經(jīng)元來建立子系統(tǒng)，把與子系統(tǒng)相關(guān)的結(jié)構(gòu)參數(shù)、輸入量、輸出量存儲(chǔ)構(gòu)建一個(gè)動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，運(yùn)用學(xué)習(xí)算法分別對(duì)各個(gè)子系統(tǒng)的神經(jīng)元模型進(jìn)行訓(xùn)練，使之逼近各個(gè)子系統(tǒng)的輸入/輸出關(guān)系，得到各子系統(tǒng)的神經(jīng)元模型；步驟三將所得到的各個(gè)子系統(tǒng)的神經(jīng)元模型按一種相關(guān)的關(guān)系連接組合起來，得到原系統(tǒng)的基于結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型；步驟四在各神經(jīng)元中與結(jié)構(gòu)參數(shù)相對(duì)應(yīng)的輸入變量之前，增加一個(gè)輸入值為1的新輸入層，得到與系統(tǒng)結(jié)構(gòu)參數(shù)想對(duì)應(yīng)的新輸入層權(quán)值，重新訓(xùn)練，求出高精度模型，構(gòu)成新模型；步驟五將新的模型按照先前構(gòu)建的動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性，重新生成新的子系統(tǒng)，并將其與其他的子系統(tǒng)構(gòu)建相關(guān)的關(guān)系網(wǎng)；步驟六將動(dòng)態(tài)數(shù)據(jù)庫即存貯非線性特性進(jìn)行實(shí)時(shí)更新。
2、 如權(quán)利要求1所述的一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法，其特征在 于所述步驟一具體為一般的非線性系統(tǒng)或全局問題按以下方式描述設(shè)第i個(gè)樣本輸入為xi、 ti,通過函數(shù)型連接F后，獲得函數(shù)型輸入fil，口, fm，同時(shí)引入一個(gè)+ 1作為傳感器可能的零點(diǎn)遷移，因而有<formula>formula see original document page 2</formula>其中fiO二l,上式可寫成 X =『、=《,式中<formula>formula see original document page 3</formula>令傳感器的期望輸出為di，誤差為<formula>formula see original document page 3</formula>式中Rfd和Rff為Fi與di的互相關(guān)及Fi的自相陣.用梯度法調(diào)節(jié)權(quán)系數(shù) W使誤差最小，令5v0 3，即可求得W.但Rfd和Rff無法預(yù)先知道，故采用LM S算法進(jìn)行自適應(yīng) 訓(xùn)練，因<formula>formula see original document page 3</formula>對(duì)給定的W,》(Ei)的數(shù)學(xué)期望為五[v(《)]二五[一^(《—if『)]比較式(8)與式(6)知，^ (Ei )作為梯度估計(jì)是無偏的.于是根據(jù)自適應(yīng)最 小攝動(dòng)的基本思想，權(quán)系數(shù)矢量迭代公式為1) + A,), (9)A『=-77v(《)=—(io)其中G為步長(zhǎng)，通常0<G< 1.0,為減小過調(diào)量，引入慣性項(xiàng) =『(k -1) + 77(《-《V)i^ + a[『(A:-1)—『(A-2)]式中0< A< 1為動(dòng)量因子.為進(jìn)一步加快收斂速度采用變步長(zhǎng)算法，引入 G(k),令(2 i=i式中I為總樣本數(shù),考慮較全面反映誤差變化趨勢(shì)的量 柳— ^卿式中0<B<1為常量.運(yùn)算過程中可以試舍去絕對(duì)值最小的權(quán)系數(shù)對(duì)應(yīng)的 函數(shù)項(xiàng)，多次循環(huán)后，求出最筒單的函數(shù)型連接F。 算法具體步驟如下(1) 確定初始函數(shù)型連接F及函數(shù)鏈網(wǎng)絡(luò)結(jié)構(gòu)；(2) 網(wǎng)絡(luò)權(quán)值初始化，隨枳』設(shè)wj,通常fiwjfi< 1;(3) 輸入訓(xùn)練數(shù)據(jù)樣本xi, ti,計(jì)算fil, □ ， fin ，i= 1, 2， □, I;(4) 求yi,計(jì)算E (k ),如誤差滿足要求，則轉(zhuǎn)；(8)如迭代限定次數(shù)后仍不滿足誤差要求則轉(zhuǎn)(9),否則繼續(xù)；(5) 由式(9)求G(k)，并加判斷，如G(k) < 0,則G(k) = Gmin, (Gmin為選定 的G最小值)；(6) 計(jì)算wj (k) ， 正所有連接；(7) 返回，重復(fù)(4)- (7);(8) 找出wj絕對(duì)值最小者，舍去對(duì)應(yīng)的函數(shù)項(xiàng)，轉(zhuǎn)(2)重新計(jì)算；(9)如前面曾舍去函數(shù)項(xiàng)則取最后一次誤差滿足要求的結(jié)果輸出；否則， 增加后一函數(shù)項(xiàng)，轉(zhuǎn)(2)重新計(jì)算；如原設(shè)計(jì)最后函數(shù)項(xiàng)也已利用，則輸出建才莫 不成功信息或修改誤差指標(biāo)再運(yùn)行；最后，得到子系統(tǒng)的模型<formula>formula see original document page 5</formula>所述步驟二具體為FLN是一個(gè)僅含輸入層和輸出層的單層神經(jīng)網(wǎng)絡(luò)不計(jì)輸入層，輸入層的 輸入是原輸入向量的擴(kuò)展，擴(kuò)展一般取作函數(shù)式擴(kuò)展，即通過一組預(yù)先取定 的線性無關(guān)的函數(shù)正交更好，將原輸入向量展開，所得的模式作為輸入向量。 如下所示，原輸入向量x是n維的，擴(kuò)展函數(shù)組為fl，f2,f3....fn。<formula>formula see original document page 5</formula>設(shè)有M對(duì)模式(X(l),Y(l)), (X(2),Y(2)),…，(X(M)，Y(M) )，X(i) 6 {-l,l}n, Y(i)e {-l,l}m，i=l，2,...,M要使網(wǎng)絡(luò)讓每對(duì)輸入輸出成為穩(wěn)態(tài)點(diǎn)，則必須滿足<formula>formula see original document page 5</formula>它等價(jià)于:<formula>formula see original document page 5</formula>其中，i=l,2,...,M,k=l,2,...,m。 Tjk是連接權(quán)值，定義:上式中，CTi(i二l，2，…，m)為小正數(shù)，它們可看成是松弛變量。為了求得滿 足(8)式的Tjk，定義費(fèi)用函數(shù)為<formula>formula see original document page 6</formula>上式中的每一項(xiàng)G(i,k)表示一項(xiàng)懲罰。若(8)式中以cji取代零且約束成 立，則有G(i,k)=0;若(8)式的約束凈皮石皮壞，則G(i,k)為負(fù)且等于g(i,k),故①(t) 為下有界。若方程(8)(或約束(8))存在一個(gè)解，則O(T)的最小值為零。 另外，由于(G(i，k))2是T的凸函數(shù)，故①(T)關(guān)于T也是凸的，從而意味著① (T)存在一個(gè)唯一的最小點(diǎn)TV滿足V—^卜G且為①(T)的全局最小^由此可 知，通過最陡梯度下降法，能保證關(guān)于T的迭代在有限步內(nèi)趨于T氣因此有<formula>formula see original document page 6</formula>上式中，ri仍表示收斂因子，h(x)為<formula>formula see original document page 6</formula>h(x)的作用是使(Tjk)有界，((ji》為自由參數(shù)，它可調(diào)節(jié)被存模式的吸引盆的 大小。
全文摘要
本發(fā)明涉及一種函數(shù)鏈神經(jīng)網(wǎng)絡(luò)的自校正方法，根據(jù)其系統(tǒng)結(jié)構(gòu)和組成特點(diǎn)，可以將原本比價(jià)復(fù)雜的非線性系統(tǒng)分解成若干個(gè)相對(duì)簡(jiǎn)單的子系統(tǒng)，用單個(gè)的人工函數(shù)鏈神經(jīng)網(wǎng)絡(luò)來建立子系統(tǒng)模型，根據(jù)子系統(tǒng)的參數(shù)、輸入量、輸出量得到各個(gè)子系統(tǒng)的神經(jīng)元模型后，按照各個(gè)子系統(tǒng)間的相關(guān)關(guān)系來構(gòu)建一個(gè)相對(duì)復(fù)雜的一個(gè)函數(shù)鏈神經(jīng)網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)記憶并存儲(chǔ)一些子系統(tǒng)的歷史的參數(shù)、輸入量/輸出量，當(dāng)某個(gè)子系統(tǒng)函數(shù)鏈神經(jīng)網(wǎng)絡(luò)發(fā)生異常時(shí)，系統(tǒng)能根據(jù)以前的各個(gè)子系統(tǒng)間的關(guān)系，重新恢復(fù)該子系統(tǒng)同其他子系統(tǒng)間的關(guān)系。本發(fā)明借助凸優(yōu)化思想提出了一個(gè)更為快速、容量更高的函數(shù)鏈神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。
文檔編號(hào)H04L12/56GK101567838SQ20081007248
公開日2009年10月28日 申請(qǐng)日期2008年12月27日 優(yōu)先權(quán)日2008年12月27日
發(fā)明者林小泉 申請(qǐng)人:福建三元達(dá)通訊股份有限公司