專利名稱：存在儀器噪聲和測(cè)量誤差時(shí)人工神經(jīng)網(wǎng)絡(luò)模型改進(jìn)的性能的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在存在含有儀器噪聲和/或測(cè)量誤差的輸入-輸出數(shù)據(jù)的改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)精度和推廣性能的方法。
背景技術(shù)：
人工神經(jīng)網(wǎng)絡(luò)(ANN)由于其能夠以任意精確度逼近非線性關(guān)系而適合對(duì)復(fù)雜的的多輸入-多輸出非線性過程建模(Poggio，T.and Girosi，F(xiàn).Regularization algorithms for learning that are equivalent tomultilayer networks.Science，247，978，1990)。其結(jié)果是，ANN已經(jīng)廣泛用于多種工業(yè)，進(jìn)行過程變量的在線和離線預(yù)測(cè)。ANN的工業(yè)應(yīng)用包括過程識(shí)別，穩(wěn)態(tài)和動(dòng)態(tài)過程建模，故障檢測(cè)和診斷，軟檢測(cè)器研發(fā)，及非線性過程控制和監(jiān)視。這些ANN應(yīng)用已經(jīng)由Tambe h共同作者進(jìn)行了全面的綜述(Tambe，S.S.，Kulkarmi，B.D.，Deshpande，P.B.Elements of Artificial Neural Networks with Selected Applicationsin Chemical Engineering，and Chemical & Biological Sciences，Simulation & Advanced Controls Inc.Louisville，USA，1996)。在任何過程操作期間，產(chǎn)生大量的過程輸入-輸出數(shù)據(jù)，這些數(shù)據(jù)能夠用來研發(fā)事先預(yù)測(cè)過程輸出變量值的ANN模型。所希望的ANN模型特性是(i)應(yīng)當(dāng)精確預(yù)測(cè)包含在用于其構(gòu)成的輸入-輸出例子數(shù)據(jù)集中的輸出，以及(ii)應(yīng)當(dāng)具有良好的推廣的可能性。傳統(tǒng)上，使用盡可能減小預(yù)定成本(誤差)函數(shù)的適當(dāng)?shù)臋?quán)重-調(diào)節(jié)算法訓(xùn)練ANN模型。例如，最廣泛使用誤差反向傳播(EBP)(Rumelhart，D.，Hinton，G.，William，R.，Learning representations by backpropagating errors.Nature，323，533，1986)算法進(jìn)行均方根誤差(RMSE)函數(shù)的最小化。在任何大的過程數(shù)據(jù)集中，都會(huì)有儀器噪聲和/或測(cè)量誤差的存在。在用于網(wǎng)絡(luò)訓(xùn)練的輸入-輸出數(shù)據(jù)中噪聲和/或誤差的存在生成了對(duì)于模型預(yù)測(cè)精度的閾值極限，并由模型顯示的推廣的性能。這主要是因?yàn)榫W(wǎng)絡(luò)試圖逼近(學(xué)習(xí))包含噪聲和/或誤差的輸入和輸出數(shù)據(jù)之間存在的平均關(guān)系而發(fā)生的。由于網(wǎng)絡(luò)忽略數(shù)據(jù)中的噪聲和誤差，因而由它所俘獲的平均關(guān)系充滿了不精確性。由于關(guān)于過程操作的重要的控制數(shù)和方針決策基于由模型作出的預(yù)測(cè)，因而預(yù)測(cè)中的不精確性，如果它們是重要的，則是不能容許的。例如，在聚合反應(yīng)器中，質(zhì)量變量的預(yù)測(cè)，諸如熔體流指標(biāo)(MFI)，應(yīng)力指數(shù)(Sex)等在決定生產(chǎn)的聚合物等級(jí)中是重要的。能夠推廣的ANN模型不僅精確預(yù)測(cè)用于其研發(fā)的數(shù)據(jù)(例子集)中的輸出，而且還對(duì)應(yīng)于新的或新型的輸入數(shù)據(jù)。非常重要的是ANN模型不僅具有優(yōu)秀的預(yù)測(cè)精度，而且有良好的推廣性質(zhì)。
已經(jīng)由Gorp和同事們觀察到(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Learning neural networks with noisy input using theerrors-in-variables approach，Transaction on Neural Networks A.180，1-14，1999)，在商業(yè)軟件中，大部分ANN模型是使用簡(jiǎn)單的輸出誤差(OE)代價(jià)函數(shù)訓(xùn)練的，并且當(dāng)輸入數(shù)據(jù)有噪聲時(shí)，這可能導(dǎo)致網(wǎng)絡(luò)預(yù)測(cè)的輸出嚴(yán)重的偏差。作者證明，噪聲的存在實(shí)際上抑制了ANN模型的轉(zhuǎn)移函數(shù)較高階的導(dǎo)數(shù)，并如果采用傳統(tǒng)的最小二乘法代價(jià)函數(shù)，則還引入偏差。于是，用于改進(jìn)ANN推廣性能的方法推薦以新型的代價(jià)函數(shù)例如變量中的誤差(EIV)代價(jià)函數(shù)代替RMSE代價(jià)函數(shù)(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Learning neural networks with noisyinput using the errors-in-variables approach，Transaction on NeuralNetworks A.180，1-14，1999)。EIV方法的缺陷是其實(shí)現(xiàn)需要關(guān)于輸入和輸出變化的知識(shí)。在許多實(shí)際的設(shè)置中，這種信息是不可得的，這樣嚴(yán)重限制了EIV方法的使用。該方法論雖然對(duì)于噪聲測(cè)量可較好地工作，但還是需要大量的存儲(chǔ)器并可能導(dǎo)致局部最小。另一些方法，諸如(i)使用EIV方法作為在施加OE方法之后的后處理工具，(ii)使用被測(cè)的輸入和輸出值代替估計(jì)值，以及(iii)修改的學(xué)習(xí)和優(yōu)化方案，被多樣化地提出和展示(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Theerrors in variables cost function for learning neural networks withnoisy inputs.Intelligent Engineering Systems Through ArtificialNeural Networks，8，141-146，1998)。
報(bào)道添加噪聲對(duì)ANN模型性能的影響的文獻(xiàn)相對(duì)少，并至今只進(jìn)行了很少的系統(tǒng)研究。一般知道，對(duì)訓(xùn)練數(shù)據(jù)添加噪聲有助于獲得具有較好推廣性能的模型。Sietsma與Dow報(bào)告(Sietsma，J.，Dow，R.，J.，Creating artificial neural networks that generalize，Neural Networks 4，67-79，1991)噪聲和添加的偽-高斯分布噪聲對(duì)訓(xùn)練模式(向量)的每一元素有益的效果。他們證明，使用添加噪聲的數(shù)據(jù)訓(xùn)練改進(jìn)了多層感知機(jī)(MLP)網(wǎng)絡(luò)的分類能力。研究還揭示了需要較高數(shù)目的網(wǎng)絡(luò)結(jié)點(diǎn)，且每一結(jié)點(diǎn)對(duì)解獨(dú)立貢獻(xiàn)；還可能是對(duì)網(wǎng)絡(luò)輸出沒有重要貢獻(xiàn)的少量的單元能夠通過適當(dāng)?shù)木W(wǎng)絡(luò)修剪技術(shù)被去除。這種觀點(diǎn)還由Minai和Williams共有(Minai，A.A.，Williams，R.D.，Perturbation response infeedforward network，Neural Networks，7(5)，783-796，1994)，他們提出產(chǎn)生較大的網(wǎng)絡(luò)，其中每一結(jié)點(diǎn)在較小程度上對(duì)整體計(jì)算貢獻(xiàn)。在另一徹底的研究中，An研究了(An，G.，The effects of adding noiseduring backprogation training on a generalization performance.Neural Comput.，8，643-674，1996)噪聲添加對(duì)基于EBP網(wǎng)絡(luò)訓(xùn)練推廣性能的影響。這樣，An的研究分別分析了輸入、權(quán)重、和輸出中噪聲對(duì)網(wǎng)絡(luò)預(yù)測(cè)性能的影響。研究表明，輸出中的噪聲沒有改進(jìn)推廣，但在輸入和權(quán)重中的噪聲是有幫助的。還觀察到，使用Langevin噪聲的網(wǎng)絡(luò)訓(xùn)練導(dǎo)致整體極小化，這類似于使用模擬退火方法所獲得的網(wǎng)絡(luò)訓(xùn)練。在理論研究中，Bishop(Bishop，C.M.，Training with noice isequivalent to Tikhonov regularization，Neural Comput.，7，108-116，1995)聲稱由噪聲引起的誤差項(xiàng)對(duì)應(yīng)于一類推廣調(diào)節(jié)器。調(diào)節(jié)(Poggio，T.，Girosi，F(xiàn).Regularization algorithms for learning that areequivalentto multilayer networks，Science，247，978，1990)通過損失項(xiàng)的添加而修改誤差函數(shù)，并控制由網(wǎng)絡(luò)產(chǎn)生的變化。實(shí)際上，訓(xùn)練數(shù)據(jù)中噪聲的添加提供了一種平滑的形式，并且該方法起作用是因?yàn)橥ㄟ^ANN被學(xué)習(xí)的函數(shù)一般是平滑的，或至少在有限數(shù)的區(qū)域中是分段連續(xù)的。該命題包括以下假設(shè)，對(duì)于適定的問題存在唯一的解，并且數(shù)據(jù)的小擾動(dòng)應(yīng)當(dāng)只產(chǎn)生解的小的變化。換言之，對(duì)于兩個(gè)類似地輸入，預(yù)期有兩個(gè)類似地輸出。這樣，對(duì)于給定的例子數(shù)據(jù)集，通過疊加小量的噪聲能夠產(chǎn)生附加的網(wǎng)絡(luò)訓(xùn)練模式。雖然太小的噪聲量將導(dǎo)致沒有結(jié)果的不明顯的變化，但由于大量的噪聲將明顯地破壞輸入和和輸出之間的固有關(guān)系，因而噪聲量必須小。緊接下來是必須確切地量化要被疊加到輸入-輸出例子數(shù)據(jù)的‘小’噪聲量?？梢宰⒁獾?，在在制造和加工業(yè)中大量存在的非線性系統(tǒng)中，輸入變量變化影響輸出變量的敏感性，可能顯著不同。因而必須對(duì)每一輸入和輸出變量添加噪聲變化的程度。確定要向每一輸入-輸出變量添加的確切的噪聲量是一復(fù)雜的問題，并且本發(fā)明就這一問題提供了基于遺傳算法的有效解。
遺傳算法(Goldberg，D.E.，Generic Algorithms in Search，Optimization，and Machine Learning，Addison-WesleyNew York，1989，Holland，J.，Adaptation in Natural and Artificial System，University of Michigan Press，Ann Arbor，MI，USA)是一類稱為 隨機(jī)優(yōu)化算法’的函數(shù)最小/最大形式體系的成員。它們基于在生物機(jī)體的達(dá)爾文進(jìn)化論中起重要作用的自然選擇和遺傳機(jī)制。已知GA在搜索噪聲、非連續(xù)的、多模和非凸解空間中是有效的，并且其特性是(i)它們是第零’階搜索技術(shù)，意味著GA只需要標(biāo)量值而不是被優(yōu)化的目標(biāo)函數(shù)的導(dǎo)數(shù)，(ii)GA進(jìn)行整體的搜索，因而它們?cè)谀繕?biāo)函數(shù)表面上通常收斂到整體最優(yōu)值，(iii)由GA使用的搜索過程是隨機(jī)性的，因而它們能夠在不特別涉及諸如關(guān)于對(duì)象函數(shù)的形式的平滑性，可微性，及連續(xù)性假設(shè)之下被采用(由于這一特性，GA能夠用來解決使用經(jīng)典基于梯度的算法所不能解決的優(yōu)化問題，經(jīng)典算法要求目標(biāo)函數(shù)同時(shí)滿足上述準(zhǔn)則)，以及(iv)GA過程能夠被并行化，這有助于有效而快速地搜索大的多維解空間。本發(fā)明公開了基于遺傳算法的方法，用于達(dá)到向例子集的每一輸入/輸出變量所添加的噪聲優(yōu)化水平，從而生成在ANN訓(xùn)練中使用的擴(kuò)大的噪聲疊加采樣數(shù)據(jù)集，諸如改進(jìn)預(yù)測(cè)精度的訓(xùn)練網(wǎng)絡(luò)過程和推廣性能。
在GA過程中，搜索表示在例子集合中輸入/輸出變量上被疊加的噪聲的允許值的優(yōu)化解向量(又稱為決策向量)，從概率(候選)解的隨機(jī)初始化隨機(jī)母體開始。然后通常以二進(jìn)制串(染色體)形式編碼的解被測(cè)試，以測(cè)量其在滿足優(yōu)化目標(biāo)即函數(shù)最小化或最大化中的適配性。接下來，候選解按其適配性得分的降序排序，并對(duì)排序解執(zhí)行包括選擇、交叉和變異的GA運(yùn)算的主循環(huán)。循環(huán)的實(shí)現(xiàn)產(chǎn)生候選解新的母體，它與當(dāng)前母體比較可更好滿足優(yōu)化目標(biāo)。在重復(fù)上述循環(huán)若干次之后演化成的最佳串，形成優(yōu)化問題的解。在評(píng)估解向量的適配性時(shí)，包含在其中的輸入/輸出變量特定噪聲允許值用來產(chǎn)生對(duì)應(yīng)于例子集中每一模式的大量的噪聲疊加樣品輸入/輸出模式；然后所得的放大數(shù)據(jù)集用來以最小化最小二乘代價(jià)函數(shù)諸如RMSE的觀點(diǎn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。使用基于梯度或其它適當(dāng)?shù)臋?quán)重更新形式方法進(jìn)行ANN的訓(xùn)練。由此獲得的RMSE的大小用來計(jì)算包括噪聲允差的候選向量解的適配值。對(duì)使用GA-優(yōu)化噪聲允差值產(chǎn)生的數(shù)據(jù)所訓(xùn)練的網(wǎng)絡(luò)更好地逼近存在儀器噪聲和/或測(cè)量誤差的真實(shí)的輸入-輸出關(guān)系，因而具有良好的由此精度和推廣性能。
本發(fā)明基于考慮兩個(gè)例子，即(i)工業(yè)聚合反應(yīng)器基于ANN的建模，及(ii)連續(xù)攪拌桶反應(yīng)器基于ANN-的建模，其中發(fā)生發(fā)熱連續(xù)A→B→C反應(yīng)。使用所發(fā)明的方法獲得的預(yù)測(cè)精度與使用通常所使用的網(wǎng)絡(luò)訓(xùn)練過程獲得的預(yù)測(cè)精度比較。
本發(fā)明的目標(biāo)本發(fā)明的主要目標(biāo)是要提供一種方法，用于在存在包含儀器噪聲和/或測(cè)量誤差的輸入-輸出數(shù)據(jù)時(shí)，改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能。特別地，發(fā)明了一種方法，使用計(jì)算機(jī)生成要在網(wǎng)絡(luò)訓(xùn)練中使用的高斯噪聲疊加擴(kuò)大采樣輸入-輸出數(shù)據(jù)集，其中使用基于遺傳算法(GA)的策略優(yōu)化添加到每一輸入-輸出變量的噪聲量。通過以下原則即兩個(gè)類似的輸入結(jié)果應(yīng)當(dāng)是兩個(gè)類似的輸出，基于GA的方法調(diào)整要添加到例子數(shù)據(jù)輸入-輸出變量的噪聲優(yōu)化水平。
本發(fā)明的概述本發(fā)明采用人工生成的噪聲疊加輸入-輸出數(shù)據(jù)模式。用于構(gòu)成具有改進(jìn)的預(yù)測(cè)精度和推廣性能的ANN模型。實(shí)質(zhì)上，本發(fā)明提出的方法是迫使ANN學(xué)習(xí)在其輸入與輸出之間存在的噪聲關(guān)系。在發(fā)明的方法使用輸入-輸出變量特定噪聲允差值，用于生成噪聲疊加擴(kuò)大采樣數(shù)據(jù)集供網(wǎng)絡(luò)的訓(xùn)練。具體來說，已知允差的高斯噪聲被添加到例子集的每一輸入和輸出變量，并以這種方式產(chǎn)生對(duì)應(yīng)于例子集中每一模式的多個(gè)噪聲疊加模式。本發(fā)明中，使用稱為遺傳算法’的一種新型進(jìn)化隨機(jī)優(yōu)化形式方法優(yōu)化每一輸入/輸出變量特定的允差值。已經(jīng)發(fā)現(xiàn)對(duì)噪聲疊加擴(kuò)大采樣數(shù)據(jù)訓(xùn)練的ANN模型具有改進(jìn)的預(yù)測(cè)精度和推廣的能力。
本發(fā)明的詳細(xì)說明于是，當(dāng)稱為例子集的可用于構(gòu)成網(wǎng)絡(luò)模型的輸入-輸出數(shù)據(jù)包括儀器噪聲和/或測(cè)量誤差時(shí)，本發(fā)明提供了用于改進(jìn)非線性人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能的方法，所述方法包括以下步驟(a)使用計(jì)算機(jī)模擬產(chǎn)生噪聲疊加擴(kuò)大輸入-輸出采樣數(shù)據(jù)集；(b)使用計(jì)算機(jī)模擬對(duì)于例子集中每一輸入-輸出模式產(chǎn)生M數(shù)目噪聲疊加輸入-輸出模式(向量)；(c)使用每一輸入/輸出變量專用的噪聲允差值產(chǎn)生噪聲-疊加采樣輸入-輸出模式；(d)使用計(jì)算機(jī)模擬產(chǎn)生高斯(正態(tài))分布隨機(jī)數(shù)，以便生成噪聲-疊加采樣輸入-輸出模式；(e)使用隨機(jī)搜索和優(yōu)化技術(shù)，確定要添加到例子集中每一輸入-輸出變量的準(zhǔn)確的高斯噪聲量；以及(f)使用計(jì)算機(jī)產(chǎn)生的噪聲-疊加采樣輸入-輸出模式作為訓(xùn)練集’用于構(gòu)成非線性人工神經(jīng)網(wǎng)絡(luò)模型；本發(fā)明的一個(gè)實(shí)施例，其中通過遺傳算法確定的被添加到例子集的每一輸入輸出變量準(zhǔn)確的高斯噪聲量，是整體(非局部)優(yōu)化的。
本發(fā)明的另一實(shí)施例，其中例子集用作為測(cè)試集’，用于監(jiān)視人工神經(jīng)網(wǎng)絡(luò)模型的推廣性能。
本發(fā)明又一實(shí)施例，其中人工神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)是從輸入層向輸出層前饋’的，即網(wǎng)絡(luò)內(nèi)的信息流是單向的。
本發(fā)明的另一實(shí)施例，其中前饋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括多層感知機(jī)(MLP)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)(RBFN)，及反向傳播神經(jīng)網(wǎng)絡(luò)(CPNN)。
本發(fā)明的又一實(shí)施例，其中用于構(gòu)成或訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的算法包括誤差反向傳播，共軛梯度，Quickprop和RPROP。
本發(fā)明的另一實(shí)施例，其中用來優(yōu)化噪聲允差的隨機(jī)搜索和優(yōu)化技術(shù)涉及遺傳算法和相關(guān)方法，即模擬退火(SA)、同時(shí)擾動(dòng)隨機(jī)逼近(SPSA)、進(jìn)化算法(EA)和memetic算法(MA)。
本發(fā)明的又一實(shí)施例，其中使用計(jì)算機(jī)模擬從小規(guī)模例子輸入-輸出集生成擴(kuò)大的噪聲疊加采樣輸入-輸出數(shù)據(jù)集。
進(jìn)而以以下實(shí)施例的形式說明本發(fā)明。
考慮表示例子集的P數(shù)目的輸入-輸出模式對(duì)[(x1，y1)，(x2，y2)，...，(xp，yp)，...，(xp，yp)]。N-維輸入向量xp和對(duì)應(yīng)的K-維輸出向量yp之間的相互關(guān)系由定義為yp＝f(xp)的K-維非線性函數(shù)向量f支配。xp，和yp向量也分別稱為輸入模式及對(duì)應(yīng)的輸出(目標(biāo))模式。第p個(gè)N-維輸入向量定義為[xp1，xp2，...xpN]T及對(duì)應(yīng)的K-維目標(biāo)輸出yp向量[yp1，yp2，...ypK]T。前饋神經(jīng)網(wǎng)絡(luò)(FFNN)，諸如MLP(參見

圖1)，逼近xp，和yp之間的如下給出的非線性關(guān)系yp=f(xp,WH,WO)---(1)]]>其中矩陣WH和WO分別表示對(duì)MLP的輸入和隱藏層結(jié)點(diǎn)之間，以及隱藏和輸出結(jié)點(diǎn)之間的連接的權(quán)重。訓(xùn)練MLP網(wǎng)絡(luò)的整體目標(biāo)是要使適當(dāng)?shù)淖钚∑椒阶钚』?br> 誤差函數(shù)，例如如下定義的均方根誤差(RMSE)(Nandi，S.，Ghosh，S.，Tambe，S.S.，Kulkarni，B.D.，Artificial neural-network-assistedstochastic process optimization stategies.AIChE J.，47，126，2001)
RMSE=Σi=1Npat2EiNpat×K---(2)]]>權(quán)重i表示輸入模式的下標(biāo)(i＝1，2，...，Npat)；K表示輸出結(jié)點(diǎn)數(shù)，而Ei表示如下定義的平方和誤差(SSE)Ei=12Σk=1K(oik-yik)2---(3)]]>其中yik表示當(dāng)?shù)趇個(gè)輸入模式施加到網(wǎng)絡(luò)輸入層時(shí)，第k個(gè)輸出結(jié)點(diǎn)的實(shí)際輸出，oik表示對(duì)應(yīng)的目標(biāo)輸出。RMSE最小化的任務(wù)是使用適當(dāng)?shù)奶荻认陆导夹g(shù)實(shí)現(xiàn)的，諸如基于廣義德爾塔規(guī)則(GDR)的誤差反向傳播(EBP)，共軛梯度，或更先進(jìn)的方法即Quickprop(Fahlman，S.E.，F(xiàn)aster-learning variations on back-propagationProceedings ofthe 1988 Connectionist Models Summer School，D.S.Touretzky，G.E.Hinton，and T.J.Sejnowski，Eds.，pp.38-51，Morgan Kaufmann，SanMateo，CA，1998)，和彈性反向傳播(RPROP)(Riedmiller，M.，BraunH.，A direct adaptive method for faster backpropagation learningThe RPROP algorithm.Proc.of IEEE Int.Conf.On Neural Net，SanFransisco，CA，March 28-april 1，1993)。網(wǎng)絡(luò)訓(xùn)練過程是以初始化權(quán)重矩陣WH和Wo隨機(jī)開始的迭代過程。訓(xùn)練迭代由兩類即前向和反向通過網(wǎng)絡(luò)層的傳送組成。在前向傳送中，來自訓(xùn)練數(shù)據(jù)集的輸入模式施加到輸入結(jié)點(diǎn)，且評(píng)價(jià)隱藏結(jié)點(diǎn)的輸出。為了計(jì)算所述的輸出，首先計(jì)算對(duì)隱藏結(jié)點(diǎn)的輸入加權(quán)和，然后使用非線性激勵(lì)函數(shù)，諸如；邏輯s形曲線。隱藏結(jié)點(diǎn)的輸出形成到輸出層結(jié)點(diǎn)的輸入，其輸出以類似于隱藏結(jié)點(diǎn)的的方式被評(píng)估。輸出層結(jié)點(diǎn)的輸出，其也稱為網(wǎng)絡(luò)輸出，與目標(biāo)輸出比較，并以反向傳送，網(wǎng)絡(luò)和目標(biāo)輸出之間的差(預(yù)測(cè)誤差)用于更新權(quán)重矩陣WH和WO。當(dāng)對(duì)訓(xùn)練集中所有的模式重復(fù)時(shí)權(quán)重更新過程完成一個(gè)訓(xùn)練迭代?？勺⒁獾?，權(quán)重矩陣WH和WO可以使用各種方法被更新，諸如EBP，共軛梯度，Quickprop及RPROP。本發(fā)明提出一種方法，從而從例子集生成用作為訓(xùn)練數(shù)據(jù)的噪聲疊加擴(kuò)大采樣輸入-輸出數(shù)據(jù)集，且其中使用遺傳算法確定被添加到每一輸入/輸出變量的噪聲優(yōu)化量，使得結(jié)果的ANN模型具有改進(jìn)的預(yù)測(cè)精度和推廣性能。以下說明所發(fā)明的優(yōu)化被添加到例子集的每一輸入/輸出變量的噪聲量的方法。
考慮在例子集中作為[PxN]輸入矩陣X的P數(shù)目的N-維輸入向量，以及作為[PxK]輸出矩陣Y的相等數(shù)目的對(duì)應(yīng)的的K-維輸出向量。本發(fā)明分別生成矩陣X和Y的噪聲疊加矩陣版本 和 它們用作為用于ANN訓(xùn)練的訓(xùn)練輸入和輸出集。待添加的高斯(正太分布)噪聲量是對(duì)輸入/輸出變量特定的，并以允差百分比刻畫。用作為在輸入矩陣X和輸出矩陣Y中引入噪聲的噪聲允差向量分別定義為εI和ε0?？坍嫳惶砑拥絅-維輸入向量的每一元素的N-維噪聲允差向量定義為ϵI=[ϵ1I,ϵ2I,...,ϵnI,...,ϵNI]T---(4)]]>并且其第n個(gè)元素εIn用來在輸入矩陣X的第n個(gè)列元素{xpn}∶p＝1，2，...，p中引入工組。噪聲允差值εIn定義為ϵnI=(3.09×100)×(σpnI/xpn);n=1,2,...,N----(5)]]>其中xpn和σIpn標(biāo)記高斯分布的平均與標(biāo)準(zhǔn)偏差。重新排布方程式5，標(biāo)準(zhǔn)偏差可被計(jì)算為σpnI=(ϵnI×xpn)/(3.09×100)---(6)]]>使用xpn(n＝1，2，...，N)作為平均，σIpn(n＝1，2，...，N)作為高斯分布的標(biāo)準(zhǔn)偏差，產(chǎn)生(使用計(jì)算機(jī)模擬)M數(shù)目的噪聲疊加采樣輸入模式，對(duì)應(yīng)于例子集中第p(p＝1，2，...，P)個(gè)輸入模式。所得的噪聲疊加引起的輸入矩陣 具有維數(shù)[(MP)xN]。
類似于對(duì)于輸入的噪聲允差向量εI，我們定義K-維輸出噪聲允差向量ε0為ϵ0=[ϵ10,ϵ20,...,ϵk0,...,ϵk0]T---(7)]]>這一允差向量的第K個(gè)元素ε0k用來在目標(biāo)輸出矩陣Y的第K列元素{ypk}，P＝1，2，...，P中引入高斯噪聲。允差向量元素ε0k定義為ϵk0=(3.09×100)×(σpk0/ypk)---(8)]]>其中ypk和σ0pk分別表示高斯分布的平均和標(biāo)準(zhǔn)分布。重新編排方程式8，標(biāo)準(zhǔn)偏差可估計(jì)為為σpk0=(ϵk0×ypk)/(3.09×100)---(9)]]>類似于矩陣 的方式使用計(jì)算機(jī)模擬產(chǎn)生噪聲疊加采樣輸出矩陣 這里ypk(k＝1，2，...，K)和σ0pk(k＝1，2，...，K)分別用作為高斯分別的平均和標(biāo)準(zhǔn)偏差，形成對(duì)應(yīng)于例子集中第p個(gè)(p＝1，2，...，P)目標(biāo)輸出模式的M數(shù)目的噪聲疊加采樣輸出模式。所得的噪聲疊加引起的輸入矩陣 具有維數(shù)[(MP)xK]。在ANN訓(xùn)練期間，矩陣 和 用作為輸入-輸出訓(xùn)練數(shù)據(jù)，同時(shí)矩陣X和Y用作為測(cè)試輸入-輸出數(shù)據(jù)以便監(jiān)視網(wǎng)絡(luò)的推廣性能。
在其輸入與輸出之間的關(guān)系為非線性的系統(tǒng)中，相關(guān)的(輸出)變量出對(duì)臨時(shí)(輸入)變量變化的敏感性變化程度。這樣，被添加到例子集中(由允差向量εI和εo定義)每一輸入/輸出變量的噪聲的準(zhǔn)確量的確定稱為關(guān)鍵問題。本發(fā)明引入了基于GA的方法優(yōu)化被添加到例子數(shù)據(jù)集的輸入-輸出元素的準(zhǔn)確的噪聲量。當(dāng)在訓(xùn)練網(wǎng)絡(luò)中使用時(shí)，噪聲疊加數(shù)據(jù)結(jié)果得到具有改進(jìn)的預(yù)測(cè)精度和推廣性能的網(wǎng)絡(luò)模型。在以下，提供用于優(yōu)化被添加到例子集的輸入-輸出元素的準(zhǔn)確的噪聲量的基于GA的方法的說明。
基于GA的優(yōu)化任務(wù)描述為找到輸入/輸出變量特定噪聲允差的優(yōu)化值，使得使用噪聲允差值生成的噪聲疊加擴(kuò)大訓(xùn)練集結(jié)果得到具有改進(jìn)的預(yù)測(cè)精度和推廣能力的的網(wǎng)絡(luò)模型。實(shí)質(zhì)上，GA的任務(wù)是找到優(yōu)化的輸入和輸出噪聲允差訓(xùn)向量，ϵI*=[ϵ1I*,ϵ2I*,...,ϵnI*,...,ϵNI*]T]]>和ϵ0*=[ϵ10*,ϵ20*,...,ϵk0*,...,ϵK0*]T,]]>使得當(dāng)它們用來產(chǎn)生噪聲疊加擴(kuò)大輸入-輸出訓(xùn)練集時(shí)，對(duì)于測(cè)試集的RMSE誤差最小化。于是，通過GA被最小化的目標(biāo)函數(shù)是由以下定義的測(cè)試集RMSERMSEtst=Σi=1Ntst2EiNtst×K---(10)]]>其中i標(biāo)記測(cè)試輸入模式的的下標(biāo)(i＝1，2，...，Ntst)；K表示MLP結(jié)構(gòu)中的輸出結(jié)點(diǎn)數(shù)，Ntst表示測(cè)試集中模式數(shù)，而Ei表示對(duì)應(yīng)于第i個(gè)測(cè)試模式的平方和誤差(SSE)。RMSEtst最小化中涉及的遺傳算法步驟為(1)候選解母體的初始化設(shè)代下標(biāo)(Ngen)為零，并隨機(jī)產(chǎn)生Npop二進(jìn)制串(染色體)的母體；具有總共lchr位的每一串被劃分與待優(yōu)化的決策變量數(shù)目(N+K)同樣多的段。注意，一個(gè)串的(N+K)個(gè)二進(jìn)制段的十進(jìn)制等效值表示候選解向量，其前面的N個(gè)元素表示對(duì)應(yīng)于N個(gè)輸入變量的噪聲允差，之后的K個(gè)元素表示對(duì)應(yīng)于與輸出變量同樣多的噪聲允差。這樣，Npop個(gè)候選解的母體可表示為輸入-輸出噪聲允差的一組合的集合{ϵln′′,ϵlk′′};l=1,2,...,Npop:;n=1,2,...,N;k=1,2,...,K---(11)]]>(2)適配性計(jì)算采樣在包括輸入-輸出噪聲允差的向量對(duì)的當(dāng)前母體中第1個(gè)(l＝1，2，...，Npop)候選解，計(jì)算該解的適配性值。具體來說，使用輸入-輸出噪聲允差值通過稍早概述的以下過程生成高斯噪聲疊加擴(kuò)大向量集{ }。這樣生成的訓(xùn)練集用來調(diào)節(jié)適當(dāng)?shù)膶W(xué)習(xí)算法框架，諸如EBP，共軛梯度，Quickprop和RPROP的網(wǎng)絡(luò)權(quán)重矩陣WH和WO。在訓(xùn)練期間，例子的輸入-輸出集用作為測(cè)試集，且對(duì)應(yīng)的RMSE值(RMSEtst(l))用來計(jì)算第j個(gè)候選解的適配性(ξ1)，使用
ξ1＝1/(1+RMSEtst(1))；l＝1，2，，...，Npop(12)注意，方程式12定義的適配性函數(shù)的形式是可用來評(píng)估適配性ξ1的幾個(gè)形式之一。也可使用涉及損失項(xiàng)的適配性函數(shù)(Deb，K.，Optimization for Engineering Design，Algorithms and Examples，Prentice-Hall，New Delhi，1995)。適配性評(píng)估之后，候選串按其適配性值降序排列。
(3)母類的選擇從當(dāng)前母體選擇Npop數(shù)目的母類染色體以便形成配對(duì)組。這一組的成員是這樣選擇的，使得具有相對(duì)高的適配得分，并且它們用來產(chǎn)生支系串。通常使用的母類選擇技術(shù)是Roullete-Wheel(RW)方法，以及RW方法更多的穩(wěn)定變種，稱為隨機(jī)剩余選擇(SRS)(Goldberg，D.E.Genetic Algorithms in Search，Optimzation，and Machine Learning，Addison-WesleyNew York，1989)。
(4)交叉從配對(duì)組隨機(jī)選擇Npop/2數(shù)目的的母類對(duì)，并對(duì)每一對(duì)以等于Pcr(0＜Pcr≤1.0)的交叉概率進(jìn)行交叉運(yùn)算。在交叉中，母類對(duì)的每一成員在相同的隨機(jī)選擇的交叉點(diǎn)處被切割。結(jié)果是，從每一母類串形成兩個(gè)子串；子串在母類之間被相互交換并組合而獲得兩個(gè)支系染色體。當(dāng)對(duì)所有母類-對(duì)執(zhí)行時(shí)，被稱為單點(diǎn)交叉’這一交叉運(yùn)算結(jié)果是包括Npop數(shù)目支系串的母體。
(5)變異對(duì)支系串進(jìn)行變異(位-顛倒)運(yùn)算，其中受到顛倒(零到一或反之)的位的概率等于Pmut；推薦的范圍是pmrt
。
(6)使代下標(biāo)增加一(Ngen＝Ngen+1)，并對(duì)新產(chǎn)生的支系串重復(fù)步驟2-5，直到達(dá)到收斂。GA收斂的基準(zhǔn)可以是Ngen超過其最大極限(Ngenmax)，或在變異支系母體中的最佳串適配性得分經(jīng)過相繼的代有很小的或沒有變化。在達(dá)到GA-收斂之后，具有最高適配性值的串被解碼而獲得優(yōu)化的解。通常大數(shù)目的代必定獲得優(yōu)化解向量[εI*，ε0*]，這導(dǎo)致最小的RMSEtst量值。
雖然以下描述本發(fā)明的優(yōu)選實(shí)施例，但本發(fā)明能夠有各種變形和修改。這樣，本發(fā)明的范圍不限于用來展示其效果的各例子的機(jī)器的細(xì)節(jié)。
在本發(fā)明的一實(shí)施例中，使用噪聲-疊加擴(kuò)大的輸入-輸出數(shù)據(jù)集對(duì)用來進(jìn)行非線性建模和分類的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中使用稱為遺傳算法的隨機(jī)優(yōu)化形式方法確定被添加的例子集的每一輸入/輸出變量的最優(yōu)噪聲量，遺傳算法使網(wǎng)絡(luò)能夠具有改進(jìn)的預(yù)測(cè)降低和推廣性能。
在本發(fā)明的另一實(shí)施例中，當(dāng)包含引起噪聲和/或測(cè)量誤差稱為例子集’的輸入-輸出數(shù)據(jù)已經(jīng)或是在線或是離線被收集時(shí)，該方法被證明可使用。
在本發(fā)明的另一實(shí)施例中，該方法對(duì)于其實(shí)現(xiàn)不需要過程監(jiān)視系統(tǒng)、過程類型和傳感器硬件等的知識(shí)。
在本發(fā)明的又一實(shí)施例中，使用其它隨機(jī)優(yōu)化技術(shù)，諸如同時(shí)擾動(dòng)隨機(jī)逼近(SPSA)，模擬退火(SA)，螞蟻群體方法，及memetic算法，能夠確定被添加的例子數(shù)據(jù)的優(yōu)化噪聲。
在本發(fā)明另一實(shí)施例中，能夠在輸入和輸出例子數(shù)據(jù)之間的關(guān)系為非線性的情形下，使用該方法建立人工神經(jīng)網(wǎng)絡(luò)模型。
在本發(fā)明的另一實(shí)施例中，所發(fā)明的形式方法可用于各種確定性的和隨機(jī)性的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練方案，諸如誤差反向傳播，共軛梯度，Quickprop及RPROP。
于是，本發(fā)明提供了一種方法，用于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型在包含儀器噪聲和/或測(cè)量誤差數(shù)據(jù)存在之下的預(yù)測(cè)精度和推廣性能，該方法包括步驟(參見圖2)(a)以臨時(shí)(輸入)變量的[PxN]矩陣(X)、及相關(guān)的(輸出)變量對(duì)應(yīng)的[PxK]矩陣(Y)的形式，編輯進(jìn)程數(shù)據(jù)(例子數(shù)據(jù))。
(b)預(yù)處理例子數(shù)據(jù)集，即去除明顯的和非明顯的異常值，拋棄包含丟失數(shù)據(jù)的模式，有故障的傳感器讀數(shù)等。
(c)通過隨機(jī)產(chǎn)生大小Npop串的候選解母體，開始GA搜索及優(yōu)化過程(代數(shù)Ngen＝0)，其中每一解為[N+K]維決策變量向量，描述N個(gè)輸入噪聲允差(εI)，及K個(gè)輸出噪聲允差(ε0)。
(d)使用第1個(gè)(l＝1，2，...，Npop)候選解執(zhí)行以下步驟(i)對(duì)應(yīng)于例子集中第p個(gè)(p＝1，2，...，P)輸入-輸出模式，使用計(jì)算機(jī)模擬產(chǎn)生M個(gè)數(shù)高斯噪聲疊加采樣輸入-輸出模式。分別使用方程式6和9計(jì)算用于產(chǎn)生輸入和輸出采樣模式的標(biāo)準(zhǔn)偏差值(σI，σO)。結(jié)果所得采樣輸入矩陣 和輸出矩陣 分別為[(MP)，N]及[(MP)，K]維。
(ii)使用適當(dāng)?shù)挠?xùn)練算法，例如誤差反向傳播，共軛梯度，Quick-prop或RPROP，訓(xùn)練前饋ANN，諸如MLP，包括N數(shù)目的輸入結(jié)點(diǎn)，NH數(shù)目的隱藏結(jié)點(diǎn)，每一輸入和隱藏層中的偏移結(jié)點(diǎn)，及K數(shù)目的輸出結(jié)點(diǎn)。在訓(xùn)練期間，使用噪聲疊加采樣輸入-輸出矩陣 和 分別調(diào)節(jié)網(wǎng)絡(luò)權(quán)重矩陣WH和Wo，并使用例子輸入-輸出矩陣X和Y作為測(cè)試數(shù)據(jù)衡量網(wǎng)絡(luò)的推廣性能。網(wǎng)絡(luò)訓(xùn)練的目的是要對(duì)于測(cè)試集(RMSEtst)最小化RMSE。為了達(dá)到這一目的，必須優(yōu)化數(shù)個(gè)隱藏層，每一隱藏層中的數(shù)個(gè)結(jié)點(diǎn)，及訓(xùn)練算法專用參數(shù)，例如EBP算法中的學(xué)習(xí)率和動(dòng)量系數(shù)。對(duì)應(yīng)于第1候選解的最小化的測(cè)試集RMSE值定義為RMSEtst(l)。
(e)使用在上一步驟獲得的最小化RMSEtst(l)值計(jì)算候選解的適配性值ξll＝1，2，...，Npop。諸如以下給出的適當(dāng)?shù)倪m配性函數(shù)可用于計(jì)算適配性值ξ1＝1/(1+RMSEtst(1))； l＝1，2，...，Npop(13)其中ξ1表示第1個(gè)候選解的適配性得分，而RMSEtst(l)標(biāo)記當(dāng)?shù)?個(gè)解用來產(chǎn)生噪聲疊加擴(kuò)大訓(xùn)練數(shù)據(jù)時(shí)的最小化測(cè)試集RMSE值。在評(píng)估它們的適配性值之后，候選解按適配性得分的降序排列。
(f)如稍早詳述，對(duì)當(dāng)前排序的候選解母體執(zhí)行選擇、交叉和變異運(yùn)算，以獲得新一代的解(Ngen＝Ngen+1)。
(g)對(duì)新一代候選解執(zhí)行步驟(d)到(f)，直到達(dá)到收斂。成功收斂的基準(zhǔn)是或者GA已經(jīng)在大量的代上演化(Ngen≥Ngenmax)，或者最佳解的適配性值顯示可被忽略或在相繼的代中沒有變化。在收斂母體中具有最高適配性值的候選解表示GA-優(yōu)化解(εI*，ε0*)，且對(duì)應(yīng)于這一解的權(quán)重矩陣(WH和WO)表示具有改進(jìn)的預(yù)測(cè)精度和推廣性能的ANN模型優(yōu)化權(quán)重。
附圖的簡(jiǎn)要說明圖1表示典型的前饋神經(jīng)網(wǎng)絡(luò)諸如多層感知機(jī)(MLP)的示意2表示詳細(xì)說明本發(fā)明中步驟的流程圖以下以示例的方式給出使用本發(fā)明的例子，因而這不應(yīng)構(gòu)成對(duì)本例子1在所發(fā)明的方法的第一示例中使用的數(shù)據(jù)是取自運(yùn)行的工業(yè)聚合工藝過程。該工藝過程數(shù)據(jù)由九個(gè)輸入和一個(gè)輸出組成；輸入描述了工藝過程的條件，而輸出表示聚合物質(zhì)量參數(shù).總共有28個(gè)輸入-輸出模式(例子集)用于ANN建模。這些數(shù)據(jù)含有儀器噪聲和測(cè)量誤差。使用MLP作為ANN范例，使用各種訓(xùn)練算法諸如EBP，共軛梯度，Quickprop和RPROP，開發(fā)前面七個(gè)網(wǎng)絡(luò)模型為預(yù)測(cè)聚合物質(zhì)量參數(shù)。在開發(fā)基于MLP模型時(shí)，嚴(yán)格研究了各種網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的效果，諸如隱藏層的數(shù)目，每一隱藏層結(jié)點(diǎn)數(shù)，學(xué)習(xí)率，動(dòng)量系數(shù)等。而且詳盡考察了網(wǎng)絡(luò)權(quán)重、及訓(xùn)練和參數(shù)集的大小的不同初始化效果。使用上述對(duì)于訓(xùn)練和測(cè)試集產(chǎn)生最小RMSE值的方法訓(xùn)練的MLP網(wǎng)絡(luò)的結(jié)構(gòu)，包含輸入層中的九個(gè)結(jié)點(diǎn)，隱藏層-1中的六個(gè)結(jié)點(diǎn)，隱藏層-2中的七個(gè)結(jié)點(diǎn)，及輸出層中的一個(gè)結(jié)點(diǎn)。RMSE誤差對(duì)于訓(xùn)練和測(cè)試集的量值分別為0.00590(RMSEtrn)及0.03436(RMSEtst)。從RMSE值可看出，RMSEtst遠(yuǎn)大于RMSEtrn，這樣推斷出網(wǎng)絡(luò)模型的推廣可能性是不令人滿意的。為了使為了模型的預(yù)測(cè)精度和推廣性能都有改進(jìn)，使用了本發(fā)明所述的方法。具體來說，對(duì)于例子集中每一模式產(chǎn)生25(M＝25)個(gè)噪聲疊加采樣輸入-輸出模式。使用在本發(fā)明中引入的(也是參見圖2)基于遺傳算法的策略，獲得優(yōu)化輸入-輸出噪聲允差值(εI*，εO*)，用于產(chǎn)生總共包括700輸入-輸出模式的噪聲疊加數(shù)據(jù)。由GA給出的優(yōu)化允差值列于表1.這些值使用以下GA-專用的參數(shù)值獲得(i)每一母體串的長(zhǎng)度(lchr)＝10位，(ii)母體大小(Npop)＝16，(iii)交叉概率(Pcr)＝0.9，及(iv)變異概率(Pmut)0.05.對(duì)噪聲疊加數(shù)據(jù)訓(xùn)練的MLP網(wǎng)絡(luò)結(jié)果如表2中所報(bào)告的RMSE值；為了進(jìn)行比較，使用作為訓(xùn)練集的非噪聲疊加數(shù)據(jù)獲得的最小RMSE值也在表中列出。從表2中列出的值可清楚地看到，對(duì)噪聲疊加數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)結(jié)果對(duì)于訓(xùn)練和測(cè)試數(shù)據(jù)兩者都是較小的RMSE值，RMSEtst已從0.03436明顯降低到0.00172。為了便于比較，已計(jì)算出網(wǎng)絡(luò)預(yù)測(cè)和目標(biāo)輸出值之間的平均百分比誤差和相關(guān)系數(shù)(CC)并也列于表2中?？梢杂^察到，當(dāng)噪聲疊加數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練時(shí)CC值已經(jīng)增加。較小的訓(xùn)練和測(cè)試集RMSE值分別指示，對(duì)噪聲疊加數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)模型改進(jìn)的預(yù)測(cè)精度和推廣性能。而且網(wǎng)絡(luò)預(yù)測(cè)輸出與它們的希望的量值之間的平均百分比誤差模型降低。這樣能夠推斷，本發(fā)明已經(jīng)成功地改進(jìn)了網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能。
表格1對(duì)于工業(yè)聚合工藝過程使用基于GA策略獲得的輸入-輸出變量的優(yōu)化噪聲允差值

表格2比較使用非噪聲疊加和噪聲疊加訓(xùn)練數(shù)據(jù)集獲得的RMSE值，相關(guān)系數(shù)和平均預(yù)測(cè)誤差

例子2這例子中，涉及有套非等溫連續(xù)攪拌桶反應(yīng)器(CSTR)的工藝過程，其中考慮順序發(fā)生的兩個(gè)一級(jí)反應(yīng)A→B→C。工藝過程數(shù)據(jù)包括六個(gè)CSTR操作變量(輸入)，而其中單個(gè)的輸出變量穩(wěn)態(tài)值描述產(chǎn)品質(zhì)量變量對(duì)應(yīng)的穩(wěn)態(tài)值?？偣?0個(gè)輸入-輸出數(shù)據(jù)模式(例子集)可用于基于ANN的建模；數(shù)據(jù)包含儀器噪聲和/或策略誤差。首先采樣例子集作為訓(xùn)練數(shù)據(jù)形成一MLP模型，用于預(yù)測(cè)輸出變量值，為此使用各種訓(xùn)練算法，諸如EBP，共軛梯度，Quickprop或RPROP。在形成MLP網(wǎng)絡(luò)模型時(shí)，研究了各種結(jié)構(gòu)參數(shù)的效果，例如隱藏層數(shù)目，每一隱藏層中結(jié)點(diǎn)數(shù)，學(xué)習(xí)率，動(dòng)量系數(shù)等。而且嚴(yán)格地考察了網(wǎng)絡(luò)權(quán)重不同的初始化及訓(xùn)練和參數(shù)集大小的效果。使用上述方法訓(xùn)練的MLP網(wǎng)絡(luò)的結(jié)構(gòu)，及對(duì)于訓(xùn)練和測(cè)試集產(chǎn)生的最小RMSE誤差，包含輸入層中的六個(gè)結(jié)點(diǎn)，隱藏層-1中的的四個(gè)結(jié)點(diǎn)，隱藏層-2中的四個(gè)結(jié)點(diǎn)，以及輸出層中的一個(gè)結(jié)點(diǎn)。發(fā)現(xiàn)對(duì)于訓(xùn)練和測(cè)試集的RMSE誤差分別為0.00909(RMSEtm)及0.01405(RMSEtst)。從RMSE值看出，仍然存在相當(dāng)?shù)姆秶筛倪M(jìn)網(wǎng)絡(luò)模型預(yù)測(cè)精度及推廣性能。為此目的，使用了本發(fā)明所展示的方法。具體來說，對(duì)于例子集中每一模式產(chǎn)生了25(M＝25)個(gè)噪聲疊加采樣輸入-輸出模式。使用本發(fā)明中引入的基于遺傳算法的策略(參見圖2)，獲得了用于產(chǎn)生包括總共1250個(gè)采樣輸入-輸出模式的噪聲疊加數(shù)據(jù)的優(yōu)化允差值(εI*，εO*)。通過GA給出的優(yōu)化噪聲允差值列于表3。這些值是使用以下GA專用參數(shù)值獲得的(i)每一母體串的長(zhǎng)度(lchr)＝10位，(ii)母體大小(Npop)＝14，(iii)交叉概率(Pcr)＝0.9，及(iv)變異概率(Pmut)＝0.05.使用噪聲疊加數(shù)據(jù)獲得的最小訓(xùn)練和測(cè)試集RMSE值在表4中列出；為了進(jìn)行比較，使用無噪聲疊加的數(shù)據(jù)獲得的最小RMSE值也列于表中。在表4所列的值清楚觀察到，對(duì)噪聲疊加數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)結(jié)果是對(duì)于訓(xùn)練和測(cè)試數(shù)據(jù)兩者都有較低的RMSE值。更重要的是，RMSEtst已明顯從0.01405降低到0.00183.很小的訓(xùn)練和測(cè)試集RMSE值指示出，對(duì)于噪聲疊加數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)模型提高的預(yù)測(cè)精度和推廣的性能。對(duì)應(yīng)的的較高的(≈1)相關(guān)系數(shù)值和較小的平均預(yù)測(cè)誤差(％)值也支持這一推斷。這樣能夠斷定，本發(fā)明在改進(jìn)對(duì)于CSTR的ANN模型的預(yù)測(cè)精度和推廣性能上是成功的。
表格3對(duì)于CSTR工藝過程使用基于GA策略獲得的輸入-輸出變量的優(yōu)化噪聲允差值

表格4比較對(duì)于CSTR工藝過程使用非噪聲疊加和噪聲疊加訓(xùn)練數(shù)據(jù)集獲得的RMSE值，相關(guān)系數(shù)，和平均預(yù)測(cè)誤差


優(yōu)點(diǎn)(1)易于在存在包含儀器噪聲和/或測(cè)量誤差施加到數(shù)據(jù)之下，實(shí)現(xiàn)形式方法以構(gòu)成非線性人工神經(jīng)網(wǎng)絡(luò)模型。
(2)該方法由于專門通過計(jì)算機(jī)模擬產(chǎn)生擴(kuò)大的訓(xùn)練數(shù)據(jù)集，因而是節(jié)省成本的，并從而避免收集附加的工藝過程數(shù)據(jù)，用于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣能力。
(3)所發(fā)明的方法產(chǎn)生噪聲-疊加訓(xùn)練數(shù)據(jù)，用于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能，其中被添加到每一輸入-輸出變量的噪聲量不是任意選擇的，而是使用新型和有力的隨機(jī)優(yōu)化技術(shù)即遺傳算法。
(4)遺傳算法的使用允許獲得被添加到例子數(shù)據(jù)的每一輸入/輸出變量噪聲的整體(而不是局部)優(yōu)化量。
(5)所發(fā)明的方法，由于使用噪聲-疊加技術(shù)生成附加的訓(xùn)練數(shù)據(jù)，故甚至在例子數(shù)據(jù)不適于進(jìn)行ANN訓(xùn)練時(shí)也能工作。
(6)該方法有充分的通用性，以保證其用于對(duì)多輸入-多輸出非線性系統(tǒng)的建模和分類。
(7)所發(fā)明的方法能夠?qū)崟r(shí)用于涉及基于人工神經(jīng)網(wǎng)絡(luò)建模和分類。
(9)所發(fā)明的方法對(duì)于使用并行計(jì)算機(jī)的實(shí)現(xiàn)能夠被有效地并行化。
(10)本發(fā)明的實(shí)現(xiàn)是完全自動(dòng)化的，很少或不需要人工干涉。
權(quán)利要求
1.一種方法，當(dāng)稱為例子集的可用于構(gòu)成網(wǎng)絡(luò)模型的輸入-輸出數(shù)據(jù)包括儀器噪聲和/或測(cè)量誤差時(shí)，用于改進(jìn)非線性人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能，所述方法包括以下步驟(a)使用計(jì)算機(jī)模擬產(chǎn)生噪聲疊加擴(kuò)大的輸入-輸出采樣數(shù)據(jù)集；(b)使用計(jì)算機(jī)模擬對(duì)于例子集中每一輸入-輸出模式產(chǎn)生M數(shù)目噪聲疊加采樣輸入-輸出模式(向量)；(c)使用每一輸入/輸出變量專用的噪聲允差值產(chǎn)生噪聲-疊加采樣輸入-輸出模式；(d)使用計(jì)算機(jī)模擬產(chǎn)生高斯(正態(tài))分布隨機(jī)數(shù)，以便生成噪聲-疊加采樣輸入-輸出模式；(e)使用隨機(jī)搜索和優(yōu)化技術(shù)，確定要添加到例子集中每一輸入-輸出變量的準(zhǔn)確的高斯噪聲量；以及(f)使用計(jì)算機(jī)產(chǎn)生的噪聲-疊加采樣輸入-輸出模式作為‘訓(xùn)練集’，用于構(gòu)成非線性人工神經(jīng)網(wǎng)絡(luò)模型；
2.根據(jù)權(quán)利要求1的方法，其中通過遺傳算法確定的被添加到例子集的每一輸入輸出變量的準(zhǔn)確的高斯噪聲量，是整體(非局部)優(yōu)化的。
3.根據(jù)權(quán)利要求1的方法，其中例子集用作為‘測(cè)試集’，用于監(jiān)視人工神經(jīng)網(wǎng)絡(luò)模型的推廣性能。
4.根據(jù)權(quán)利要求1的方法，其中人工神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)是從輸入層向輸出層‘前饋’的，即網(wǎng)絡(luò)內(nèi)的信息流是單向的。
5.根據(jù)權(quán)利要求1的方法，其中前饋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括多層感知機(jī)(MLP)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)(RBFN)，及反向傳播神經(jīng)網(wǎng)絡(luò)(CPNN)。
6.根據(jù)權(quán)利要求1的方法，其中用于構(gòu)成或訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的算法包括誤差反向傳播，共軛梯度，Quickprop和RPROP。
7.根據(jù)權(quán)利要求1的方法，其中用來優(yōu)化噪聲允差的隨機(jī)搜索和優(yōu)化技術(shù)涉及遺傳算法和相關(guān)方法，即模擬退火(SA)、同時(shí)擾動(dòng)隨機(jī)逼近(SPSA)、進(jìn)化算法(EA)和memetic算法(MA)。
8.根據(jù)權(quán)利要求1的方法，其中使用計(jì)算機(jī)模擬從小規(guī)模例子輸入-輸出集生成擴(kuò)大的噪聲疊加采樣輸入-輸出數(shù)據(jù)集。
全文摘要
描述了一種方法，在存在包含儀器噪聲和/或測(cè)量誤差的輸入－輸出例子數(shù)據(jù)時(shí)，用于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度和推廣性能，用于訓(xùn)練網(wǎng)絡(luò)模型輸入－輸出例子數(shù)據(jù)中噪聲和誤差的存在造成在精確學(xué)習(xí)輸入和輸出之間非線性關(guān)系的困難，網(wǎng)絡(luò)有效學(xué)習(xí)噪聲關(guān)系，該方法設(shè)法使用計(jì)算機(jī)模擬生成大規(guī)模的噪聲－疊加采樣輸入－輸出數(shù)據(jù)集，這里高斯噪聲專用量被添加到例子集中的每一輸入/輸出變量，并由此生成的擴(kuò)大的采樣數(shù)據(jù)集用作為訓(xùn)練集，用于構(gòu)造人工數(shù)據(jù)網(wǎng)絡(luò)模型，被添加的噪聲量對(duì)輸入/輸出變量是專用的，并使用隨機(jī)搜索和優(yōu)化技術(shù)即遺傳算法確定其優(yōu)化值，對(duì)噪聲疊加擴(kuò)大的訓(xùn)練集所訓(xùn)練的網(wǎng)絡(luò)表現(xiàn)出其預(yù)測(cè)精度和推廣性能明顯的改進(jìn)，所發(fā)明的方法通過其成功用于來自工業(yè)聚合反應(yīng)器和連續(xù)攪拌反應(yīng)器(CSTR)包含儀器誤差和/或測(cè)量噪聲的例子數(shù)據(jù)所例證。
文檔編號(hào)G06F17/10GK1571982SQ02802496
公開日2005年1月26日 申請(qǐng)日期2002年3月26日 優(yōu)先權(quán)日2002年3月26日
發(fā)明者巴斯卡·戴特雷·庫(kù)卡尼, 桑吉夫·史瑞克瑞士納·塔姆比, 賈亞瑞姆·布哈吉·勞納瑞, 尼拉姆庫(kù)馬·維勒查, 桑雷·瓦桑特勞·戴史姆克, 巴范尼史安卡·希諾伊, 希瓦拉瑪·拉維克安德蘭 申請(qǐng)人:科學(xué)與工業(yè)研究會(huì)