專利名稱：基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，特別地，涉及一種基于嵌入式平臺(tái)
的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法。
背景技術(shù)：
隨著科技與應(yīng)用的發(fā)展，控制系統(tǒng)越來(lái)越復(fù)雜。針對(duì)多輸入多輸出、時(shí)變、非線性、 大時(shí)滯等難以控制的過(guò)程問(wèn)題，必須使用神經(jīng)網(wǎng)絡(luò)等智能算法與軟測(cè)量技術(shù)才能達(dá)到理想 的效果。但這些復(fù)雜的算法大都基于DCS， FCS等大型系統(tǒng)，系統(tǒng)成本較高。算法的運(yùn)行環(huán) 境也大都基于工業(yè)計(jì)算機(jī)等平臺(tái)，難以滿足嵌入式與便攜式要求。 嵌入式平臺(tái)及設(shè)備越來(lái)越普及，并且具有低功耗、體積小、集成度高、低成本、高性 能、應(yīng)用廣泛等特點(diǎn)。如果神經(jīng)網(wǎng)絡(luò)等智能算法能移植到一個(gè)嵌入式設(shè)備上，同時(shí)配備良好 的運(yùn)行性能，就可以解決一部分復(fù)雜工程問(wèn)題，并具有小型化與便攜式特點(diǎn)。同時(shí)對(duì)于單一 變量的測(cè)量或處理也有了低成本的解決方案。但是神經(jīng)網(wǎng)絡(luò)等智能算法復(fù)雜、運(yùn)算量大，同 時(shí)嵌入式平臺(tái)的計(jì)算與存儲(chǔ)能力要明顯弱于PC機(jī)。所以，在PC機(jī)運(yùn)用的神經(jīng)網(wǎng)絡(luò)等智能 算法不能直接移植到嵌入式平臺(tái)中，需要進(jìn)行相關(guān)處理與簡(jiǎn)化。 雖然已有機(jī)器人、手機(jī)手寫體識(shí)別等神經(jīng)網(wǎng)絡(luò)智能算法的嵌入式應(yīng)用，但這些應(yīng) 用大多采用離線訓(xùn)練，只是把訓(xùn)練好的結(jié)果移植到嵌入式平臺(tái)，而沒有將訓(xùn)練或優(yōu)化的過(guò) 程移植到嵌入式平臺(tái)中。 本發(fā)明通過(guò)適當(dāng)簡(jiǎn)化與優(yōu)化神經(jīng)網(wǎng)絡(luò)算法，提供了一種基于嵌入式平臺(tái)的神經(jīng)網(wǎng) 絡(luò)模型在線訓(xùn)練方法，為石油化工等復(fù)雜過(guò)程的模式識(shí)別或軟測(cè)量提供了一種低成本、便 攜式、高實(shí)時(shí)性的解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)
(Neural Network)模型在線訓(xùn)練方法。 本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的 —種基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練系統(tǒng)的訓(xùn)練方法，基于嵌入式平臺(tái) 的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法運(yùn)行的系統(tǒng)主要由微控制器、存儲(chǔ)器、人機(jī)交互接口 、通信接 口和信號(hào)輸入輸出接口等組成；其中，所述微控制器分別與存儲(chǔ)器、人機(jī)交互接口、通信接 口和信號(hào)輸入輸出接口相連接；該方法包括以下步驟
(1)獲取相關(guān)訓(xùn)練與測(cè)試數(shù)據(jù)； (2)若數(shù)據(jù)格式不規(guī)范，則進(jìn)行數(shù)據(jù)規(guī)范化處理，若數(shù)據(jù)格式規(guī)范則省略此步； (3)若要求手動(dòng)設(shè)置相關(guān)參數(shù)則跳到第(6)步，否則自動(dòng)設(shè)置參數(shù)； (4)根據(jù)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則自動(dòng)調(diào)整相關(guān)參數(shù)，直到完成訓(xùn)練； (5)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則繼續(xù)； (6)手動(dòng)設(shè)置相關(guān)參數(shù)，直至完成訓(xùn)練；
4
(7)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則回到第(6) 步重新設(shè)置參數(shù)； (8)把訓(xùn)練結(jié)果應(yīng)用于模式識(shí)別、參數(shù)估計(jì)或軟測(cè)量，完成根據(jù)數(shù)據(jù)輸入，給出模 型預(yù)測(cè)輸出； 進(jìn)一步地，所述步驟(2)數(shù)據(jù)規(guī)范化包括以下要點(diǎn) ①包含樣本屬性維數(shù)(幾項(xiàng)輸入)、訓(xùn)練樣本數(shù)、測(cè)試樣本數(shù)等信息； ②格式上每行一組訓(xùn)練或測(cè)試數(shù)據(jù)； ③預(yù)測(cè)真值(神經(jīng)網(wǎng)絡(luò)模型輸出真值)在前，范圍0. 1 0. 9 ;
④樣本的屬性(神經(jīng)網(wǎng)絡(luò)模型輸入)在后，范圍-l +l; ⑤按照一定規(guī)律排列，S卩"預(yù)測(cè)輸出真值，1 :輸入樣本屬性1的值，2 :輸入樣本屬 性2的值，3 :輸入樣本屬性3的值，……，N :輸入樣本屬性N的值"。 所述步驟(3) (4) (6)提到的相關(guān)參數(shù)包含神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、慣性 沖量系數(shù)、訓(xùn)練中止誤差等。 所述步驟(4)提到的神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則及自動(dòng)調(diào)整的相關(guān)參數(shù)，包括以下幾 要點(diǎn) ①采用3層BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Neural Network)。且輸入層節(jié)點(diǎn)數(shù) 等于樣本屬性維度，輸出層節(jié)點(diǎn)數(shù)一般為1 ; ②慣性沖量系數(shù)(momentum parameter) a固定取值0. 5 ; ③隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則； 學(xué)習(xí)率(learning rate) n調(diào)整規(guī)則； ⑤訓(xùn)練中止規(guī)則。 進(jìn)一步地，所述步驟(4)第③要點(diǎn)提到的隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則，包括以下幾要點(diǎn)
1)由輸人樣本數(shù)與樣本維數(shù)決定理想的隱層節(jié)點(diǎn)數(shù)目0=瑜入樣本數(shù)/樣本的維 數(shù)； 2)選取D/4 (但最小不低于3個(gè))訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型； 3)若上述消耗時(shí)間遠(yuǎn)低于實(shí)時(shí)性預(yù)期時(shí)間(如只有1/4 1/3)，直接選取D個(gè)隱 層節(jié)點(diǎn)訓(xùn)練；否則采用D/2個(gè)隱層節(jié)點(diǎn)訓(xùn)練； 所述步驟(4)第④要點(diǎn)提到的學(xué)習(xí)率調(diào)整規(guī)則，包括以下幾要點(diǎn)
1)首先選取較大學(xué)習(xí)率為初始值； 2)若訓(xùn)練誤差非單向特性(忽大忽小)，學(xué)習(xí)率采取如下策略調(diào)整
ni+1 = 1*0. 5，直到訓(xùn)練誤差單向減小為止； 3)若訓(xùn)練處于前期(如小于5次迭代)，且誤差單向減小較慢(如小于5% )， 學(xué)習(xí)率采取如下策略調(diào)整n i+1 = n2 ; 4)再次回到2)與3)判斷，直到滿足終止條件； 所述步驟(4)第⑤要點(diǎn)提到的訓(xùn)練中止規(guī)則，包括以下幾要點(diǎn) 系統(tǒng)自動(dòng)識(shí)別測(cè)試誤差變化規(guī)律，且滿足如下規(guī)則中任一條，即表示訓(xùn)練完成。
規(guī)則1 :"測(cè)試誤差變化穩(wěn)定(無(wú)明顯振蕩特征)，且當(dāng)前測(cè)試誤差大于1. 2*最小
領(lǐng)lj試誤差"； 或規(guī)則2 :"迭代次數(shù)大于閾值(如100次)且連續(xù)3次測(cè)試誤差變化率小于5% "。本發(fā)明提供了一種基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn) 練方法，能根據(jù)數(shù)據(jù)特征自動(dòng)設(shè)置相關(guān)參數(shù)，同時(shí)支持手動(dòng)設(shè)置參數(shù)，最大化的滿足了實(shí)時(shí) 性與智能性的要求。同時(shí)讓運(yùn)行的系統(tǒng)滿足便攜、智能分析等多項(xiàng)功能，克服了以往系統(tǒng)難 以實(shí)現(xiàn)微小化、難以決定相關(guān)訓(xùn)練參數(shù)、操作復(fù)雜等缺點(diǎn)，尤其是神經(jīng)網(wǎng)絡(luò)算法在線訓(xùn)練的 成功移植，對(duì)石油化工等復(fù)雜過(guò)程的模式識(shí)別或軟測(cè)量提供了一種低成本、便攜式、高實(shí)時(shí) 性的解決方案。


圖1是本發(fā)明的系統(tǒng)組成框圖； 圖2是本發(fā)明的在線訓(xùn)練方法流程圖； 圖3是本發(fā)明的神經(jīng)網(wǎng)絡(luò)模型自動(dòng)在線訓(xùn)練原理圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明，本發(fā)明的目的和效果將變得更加明 顯。 如圖1所示，本發(fā)明基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法運(yùn)行的系統(tǒng)由 微控制器、存儲(chǔ)器、人機(jī)交互接口 、通信接口和信號(hào)輸入輸出接口等組成。其中，所述微控制 器分別與存儲(chǔ)器、人機(jī)交互接口、通信接口和信號(hào)輸入輸出接口相連接。 人機(jī)交互接口包括按鍵與彩屏液晶顯示，按鍵與彩屏液晶顯示均與微控制器相 連。所述通信接口包括RS232接口 、以太網(wǎng)接口和USB接口 ，所述RS232接口 、以太網(wǎng)接口 和USB接口分別與微控制器相連。所述存儲(chǔ)器包括SDRAM與NANDFlash，所述SDRAM與NAND Flash分別與微控制器相連。所述信號(hào)輸入輸出接口包括AD輸入、DA輸出與數(shù)字量輸入輸 出，所述AD輸入、DA輸出與數(shù)字量輸入輸出分別與微控制器相連。 微控制器是整個(gè)系統(tǒng)的核心，從信號(hào)輸入輸出接口或通信接口接收相關(guān)數(shù)據(jù)的定 量檢測(cè)，經(jīng)處理與分析后，結(jié)果在液晶屏上動(dòng)態(tài)顯示，同時(shí)RS232、USB、以太網(wǎng)等接口支持與 PC機(jī)等外部設(shè)備通信，可將實(shí)時(shí)檢測(cè)數(shù)據(jù)傳輸?shù)酵獠窟M(jìn)行數(shù)據(jù)存儲(chǔ)及分析操作。系統(tǒng)功能 強(qiáng)大、操作簡(jiǎn)單、攜帶方便，是一體化的便攜式系統(tǒng)。同時(shí)與離線訓(xùn)練系統(tǒng)不同的是，移植到 該系統(tǒng)的在線訓(xùn)練方法支持神經(jīng)網(wǎng)絡(luò)模型的在線訓(xùn)練。 該微控制器可以采用TI公司的0MAP-L137，它有兩個(gè)內(nèi)核， 一個(gè)300MHz的 ARM(ARM926EJ-S核)與一個(gè)300MHz的浮點(diǎn)DSP(C674+核)，可外擴(kuò)Flash存儲(chǔ)器與SRAM 存儲(chǔ)器，同時(shí)有以太網(wǎng)、USB、通用串行接口等眾多外圍功能接口 ，能滿足工業(yè)應(yīng)用要求。
該方法中的神經(jīng)網(wǎng)絡(luò)模型選用3層BP神經(jīng)網(wǎng)絡(luò)，模型的在線訓(xùn)練在嵌入式平臺(tái)的 微控制器內(nèi)部進(jìn)行，以基于神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)由樣本輸入屬性得出模式識(shí)別的分類輸入或 軟測(cè)量模型的預(yù)測(cè)輸出。 如圖2所示，本發(fā)明基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，包括以下步 驟 (1)獲取相關(guān)訓(xùn)練與測(cè)試數(shù)據(jù)； (2)若數(shù)據(jù)格式不規(guī)范，則進(jìn)行數(shù)據(jù)規(guī)范化處理，若數(shù)據(jù)格式規(guī)范則省略此步；
(3)若要求手動(dòng)設(shè)置相關(guān)參數(shù)則跳到第(6)步，否則自動(dòng)設(shè)置參數(shù)；
6
(4)根據(jù)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則自動(dòng)調(diào)整相關(guān)參數(shù)，直到完成訓(xùn)練； (5)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則繼續(xù)； (6)手動(dòng)設(shè)置相關(guān)參數(shù)，直至完成訓(xùn)練； (7)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則回到第(6) 步重新設(shè)置參數(shù)； (8)把訓(xùn)練結(jié)果應(yīng)用于模式識(shí)別、參數(shù)估計(jì)或軟測(cè)量，完成根據(jù)數(shù)據(jù)輸入，給出模 型預(yù)測(cè)輸出； 進(jìn)一步地，所述步驟(2)數(shù)據(jù)規(guī)范化包括以下要點(diǎn) ①包含樣本屬性維數(shù)(幾項(xiàng)輸入)、訓(xùn)練樣本數(shù)、測(cè)試樣本數(shù)等信息。 ②格式上每行一組訓(xùn)練或測(cè)試數(shù)據(jù)。 ③預(yù)測(cè)真值(神經(jīng)網(wǎng)絡(luò)模型輸出真值)在前，范圍0. 1 0. 9。
④樣本的屬性(神經(jīng)網(wǎng)絡(luò)模型輸入)在后，范圍-l +l。 ⑤按照一定規(guī)律排列，S卩"預(yù)測(cè)輸出真值，1 :輸入樣本屬性1的值，2 :輸入樣本屬 性2的值，3 :輸入樣本屬性3的值，……，N :輸入樣本屬性N的值"。 所述步驟(3) (4) (6)提到的相關(guān)參數(shù)包含神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、慣性 沖量系數(shù)、訓(xùn)練中止誤差等。 如圖3，所述步驟(4)提到的神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則及自動(dòng)調(diào)整的相關(guān)參數(shù)，包括 以下幾要點(diǎn) ①采用3層BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Neural Network)。且輸入層節(jié)點(diǎn)數(shù) 等于樣本屬性維度，輸出層節(jié)點(diǎn)數(shù)一般為1。 ②慣性沖量系數(shù)(momentum parameter) a固定取值0.5。 ③隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則。
學(xué)習(xí)率(learning rate) n調(diào)整規(guī)則。 ⑤訓(xùn)練中止規(guī)則。 進(jìn)一步地，所述步驟(4)第③要點(diǎn)提到的隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則，包括以下幾要點(diǎn)
1)由輸人樣本數(shù)與樣本維數(shù)決定理想的隱層節(jié)點(diǎn)數(shù)目0=瑜入樣本數(shù)/樣本的維 數(shù)； 2)選取D/4 (但最小不低于3個(gè))訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型； 3)若上述消耗時(shí)間遠(yuǎn)低于實(shí)時(shí)性預(yù)期時(shí)間(如只有1/4 1/3)，直接選取D個(gè)隱 層節(jié)點(diǎn)訓(xùn)練；否則采用D/2個(gè)隱層節(jié)點(diǎn)訓(xùn)練。 所述步驟(4)第④要點(diǎn)提到的學(xué)習(xí)率調(diào)整規(guī)則，包括以下幾要點(diǎn)
1)首先選取較大學(xué)習(xí)率為初始值； 2)若訓(xùn)練誤差非單向特性(忽大忽小)，學(xué)習(xí)率采取如下策略調(diào)整
ni+1 = 1*0. 5，直到訓(xùn)練誤差單向減小為止； 3)若訓(xùn)練處于前期(如小于5次迭代)，且誤差單向減小較慢(如小于5% )， 學(xué)習(xí)率采取如下策略調(diào)整n i+1 = n2 ; 4)再次回到2)與3)判斷，直到滿足終止條件； 所述步驟(4)第⑤要點(diǎn)提到的訓(xùn)練中止規(guī)則，包括以下幾要點(diǎn) 系統(tǒng)自動(dòng)識(shí)別測(cè)試誤差變化規(guī)律，且滿足如下規(guī)則中任一條，即表示訓(xùn)練完成。
規(guī)則1 :"測(cè)試誤差變化穩(wěn)定(無(wú)明顯振蕩特征)，且當(dāng)前測(cè)試誤差大于1. 2*最小 領(lǐng)lj試誤差"； 或規(guī)則2 :"迭代次數(shù)大于閾值(如100次)且連續(xù)3次測(cè)試誤差變化率小于5% "。
下面用一組具體數(shù)據(jù)說(shuō)明上述在線訓(xùn)練方法用于軟測(cè)量模型在線訓(xùn)練的執(zhí)行過(guò) 程。 軟測(cè)量的基本思想是應(yīng)用計(jì)算機(jī)技術(shù)與相關(guān)先進(jìn)控制理論，結(jié)合生產(chǎn)過(guò)程知識(shí)， 針對(duì)不能測(cè)量或難于測(cè)量的重要變量(稱之為主導(dǎo)變量)，選擇另外一些相對(duì)容易測(cè)量的 變量(稱之為輔助變量)，通過(guò)構(gòu)成某種數(shù)學(xué)關(guān)系來(lái)進(jìn)行推斷與估計(jì)，用軟件來(lái)代替硬件傳 感器以實(shí)現(xiàn)測(cè)量功能。軟測(cè)量能夠快速且連續(xù)地給出主導(dǎo)變量信息，同時(shí)具有成本低、維護(hù) 簡(jiǎn)單等優(yōu)點(diǎn)?；谌斯ど窠?jīng)網(wǎng)絡(luò)ANN (artificial neural network)的軟測(cè)量建模方法是近年
來(lái)發(fā)展較快、研究較多、并且應(yīng)用范圍較廣泛的軟測(cè)量建模方法之一。鑒于人工神經(jīng)網(wǎng)絡(luò)具
有自學(xué)習(xí)、聯(lián)想記憶、自適應(yīng)和非線性逼近等功能，基于人工神經(jīng)網(wǎng)絡(luò)的軟測(cè)量模型可以在
不具備對(duì)象的先驗(yàn)知識(shí)的條件下，將輔助變量作為人工神經(jīng)網(wǎng)絡(luò)的輸入，而主導(dǎo)變量作為
神經(jīng)網(wǎng)絡(luò)的輸出，根據(jù)對(duì)象的輸入與輸出數(shù)據(jù)，通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)解決不可測(cè)變量的軟
測(cè)量問(wèn)題，且模型的在線校正能力強(qiáng)，同時(shí)能適用于不確定性或高度非線性系統(tǒng)。針對(duì)復(fù)雜
系統(tǒng)的過(guò)程參數(shù)，基于人工神經(jīng)網(wǎng)絡(luò)的軟測(cè)量提供了一種簡(jiǎn)便且有效的方法。 假設(shè)需要測(cè)量某銅液成份含量，但測(cè)量需等待銅液冷卻才能測(cè)定，難以在煉銅過(guò)
程即給出成份結(jié)果來(lái)保證產(chǎn)品質(zhì)量。這時(shí)，需要選擇一些與銅液成份相關(guān)，且可以在煉銅過(guò)
程中測(cè)量的變量(輔助變量)來(lái)推算銅液成份(主導(dǎo)變量)。假設(shè)銅液成份含量與某2組
溫度，某3組壓力，某2組可測(cè)的氣體含量有關(guān)。那么其樣本維數(shù)(輔助變量)7維，預(yù)測(cè)輸
出(主導(dǎo)變量)l項(xiàng)?，F(xiàn)有銅液成份，及與其相對(duì)應(yīng)的輔助變量歷史數(shù)據(jù)170組。以100個(gè)
樣本作為訓(xùn)練集，70個(gè)樣本作為測(cè)試集。并將輔助變量調(diào)整至-1 +1范圍，主導(dǎo)變量調(diào)
整至0. 1 0. 9范圍，每行一組訓(xùn)練或測(cè)試數(shù)據(jù)，并按規(guī)范格式排布"銅成份含量，1 :溫度
1，2 :溫度2，3 :壓力1，4 :壓力2，5 :壓力3， 6 :氣體1含量，7 :氣體2含量"。 微控制器分別讀入訓(xùn)練集與測(cè)試集，由規(guī)范格式很容易得出樣本維數(shù)=7、訓(xùn)練樣
本數(shù)=100、測(cè)試樣本數(shù)=70。 可以使用自動(dòng)參數(shù)設(shè)置，且適當(dāng)放棄精度來(lái)保證高實(shí)時(shí)性。那么系統(tǒng)會(huì)自動(dòng)設(shè)置 慣性沖量系數(shù)a = 0. 5、隱層節(jié)點(diǎn)數(shù)目D =輸入樣本數(shù)/樣本的維數(shù)/4 = 100/7/4 = 4、 輸入層節(jié)點(diǎn)數(shù)=樣本維數(shù)=7、輸出層節(jié)點(diǎn)數(shù)=1、學(xué)習(xí)率n = 20，訓(xùn)練中止誤差e =—個(gè) 隨機(jī)且很大的值，最大迭代次數(shù)=50(實(shí)時(shí)性不同會(huì)有不同的值)。 開始用100個(gè)樣本訓(xùn)練模型，之后用70個(gè)樣本進(jìn)行測(cè)試。每次完成后得到一個(gè)測(cè) 試誤差e。系統(tǒng)會(huì)自動(dòng)跟蹤e的變化，根據(jù)規(guī)則調(diào)整學(xué)習(xí)率，同時(shí)判斷是否到達(dá)訓(xùn)練中止條 件。 若沒有達(dá)到訓(xùn)練中止條件，繼續(xù)用IOO個(gè)樣本訓(xùn)練模型，之后用70個(gè)樣本進(jìn)行測(cè) 試，不斷調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值，直至達(dá)到中止條件。否則保存所有的神經(jīng)網(wǎng)絡(luò)的權(quán)值及相關(guān) 設(shè)置的參數(shù)。 假設(shè)結(jié)果達(dá)到的精度為1E-3精度，消耗的時(shí)間一般。若需要1E-4精度，則選擇隱 層節(jié)點(diǎn)數(shù)目D = 4*2 = 8重新訓(xùn)練。若重新完成上述過(guò)程，仍到不到要求，則需要手動(dòng)設(shè)置
8相關(guān)參數(shù)來(lái)保證，如把最大迭代次數(shù)放大到100次，a調(diào)整到更大值，如0. 8。 n調(diào)整到一 個(gè)更小值，如O. 1。上述參數(shù)調(diào)整并不一定能到達(dá)要求的精度，這與訓(xùn)練數(shù)據(jù)有很強(qiáng)的關(guān)系， 需要很強(qiáng)的經(jīng)驗(yàn)與多次嘗試。當(dāng)然若知道最優(yōu)的設(shè)置參數(shù)，可以完全不使用自動(dòng)設(shè)置，直接 開始使用手動(dòng)設(shè)置。 若最后完成了訓(xùn)練，且精度到達(dá)預(yù)期，如1E-3誤差精度?？梢园褷顟B(tài)設(shè)置從訓(xùn)練 調(diào)到正常使用的狀態(tài)。這時(shí)，根據(jù)實(shí)時(shí)輸入的7個(gè)溫度、壓力、氣體成分等輔助變量，可以立 即得到需要的銅成份。 若經(jīng)過(guò)一段時(shí)間，由于新工藝或模型漂移等原因造成實(shí)際模型發(fā)生改變，導(dǎo)致達(dá) 不到預(yù)期精度。需要重新訓(xùn)練，即重復(fù)上述所有過(guò)程。 上述實(shí)施例用來(lái)解釋說(shuō)明本發(fā)明，而不是對(duì)本發(fā)明進(jìn)行限制，在本發(fā)明的精神和 權(quán)利要求的保護(hù)范圍內(nèi)，對(duì)本發(fā)明作出的任何修改和改變，都落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法運(yùn)行的系統(tǒng)主要由微控制器、存儲(chǔ)器、人機(jī)交互接口、通信接口和信號(hào)輸入輸出接口等組成。其中，所述微控制器分別與存儲(chǔ)器、人機(jī)交互接口、通信接口和信號(hào)輸入輸出接口相連接。其特征在于，該方法包括以下步驟(1)獲取相關(guān)訓(xùn)練與測(cè)試數(shù)據(jù)。(2)若數(shù)據(jù)格式不規(guī)范，則進(jìn)行數(shù)據(jù)規(guī)范化處理，若數(shù)據(jù)格式規(guī)范則省略此步。(3)若要求手動(dòng)設(shè)置相關(guān)參數(shù)則跳到第(6)步，否則自動(dòng)設(shè)置參數(shù)。(4)根據(jù)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則自動(dòng)調(diào)整相關(guān)參數(shù)，直到完成訓(xùn)練。(5)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則繼續(xù)。(6)手動(dòng)設(shè)置相關(guān)參數(shù)，直至完成訓(xùn)練。(7)若訓(xùn)練結(jié)果的精度與實(shí)時(shí)性達(dá)到要求，則直接跳到第(8)步，否則回到第(6)步重新設(shè)置參數(shù)。(8)把訓(xùn)練結(jié)果應(yīng)用于模式識(shí)別、參數(shù)估計(jì)或軟測(cè)量，完成根據(jù)數(shù)據(jù)輸入，給出模型預(yù)測(cè)輸出。
2. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述步驟(2)數(shù)據(jù)規(guī)范化包括以下要點(diǎn)① 包含樣本屬性維數(shù)(幾項(xiàng)輸入)、訓(xùn)練樣本數(shù)、測(cè)試樣本數(shù)等信息。② 格式上每行一組訓(xùn)練或測(cè)試數(shù)據(jù)。③ 預(yù)測(cè)真值(神經(jīng)網(wǎng)絡(luò)模型輸出真值)在前，范圍0. 1 0. 9。④ 樣本的屬性(神經(jīng)網(wǎng)絡(luò)模型輸入)在后，范圍-l +l。⑤ 按照一定規(guī)律排列，即"預(yù)測(cè)輸出真值，l :輸入樣本屬性1的值，2 :輸入樣本屬性2的值，3 :輸入樣本屬性3的值，……，N :輸入樣本屬性N的值"。
3. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述步驟(3) (4) (6)提到的相關(guān)參數(shù)包含神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、慣性沖量系數(shù)、訓(xùn)練中止誤差等。
4. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述步驟(4)提到的神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練規(guī)則及自動(dòng)調(diào)整的相關(guān)參數(shù)，包括以下幾要點(diǎn)① 采用3層BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Neural Network)。且輸入層節(jié)點(diǎn)數(shù)等于樣本屬性維度，輸出層節(jié)點(diǎn)數(shù)一般為1。② 慣性沖量系數(shù)(momentum parameter) a固定取值0.5。③ 隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則。④ 學(xué)習(xí)率(learning rate) n調(diào)整規(guī)貝U。⑤ 訓(xùn)練中止規(guī)則。
5. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述權(quán)利要求4第③要點(diǎn)提到的隱層節(jié)點(diǎn)數(shù)設(shè)置規(guī)則，包括以下幾要點(diǎn)1) 由輸入樣本數(shù)與樣本維數(shù)決定理想的隱層節(jié)點(diǎn)數(shù)目D =輸入樣本數(shù)/樣本的維數(shù)。2) 選取D/4(但最小不低于3個(gè))訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。3) 若上述消耗時(shí)間遠(yuǎn)低于實(shí)時(shí)性預(yù)期時(shí)間(如只有1/4 1/3)，直接選取D個(gè)隱層節(jié)點(diǎn)訓(xùn)練；否則采用D/2個(gè)隱層節(jié)點(diǎn)訓(xùn)練。
6. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述權(quán)利要求4第④要點(diǎn)提到的學(xué)習(xí)率調(diào)整規(guī)則，包括以下幾要點(diǎn)1) 首先選取較大學(xué)習(xí)率為初始值。2) 若訓(xùn)練誤差非單向特性(忽大忽小)，學(xué)習(xí)率采取如下策略調(diào)整。ni+1 = n一o.5，直到訓(xùn)練誤差單向減小為止。3) 若訓(xùn)練處于前期(如小于5次迭代)，且誤差單向減小較慢(如小于5% )，學(xué)習(xí)率采取如下策略調(diào)整ni+1 = n一i. 2。4) 再次回到2)與3)判斷，直到滿足終止條件。
7. 根據(jù)權(quán)利要求1所述基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，其特征在于，所述權(quán)利要求4第⑤要點(diǎn)提到的訓(xùn)練中止規(guī)則，包括以下幾要點(diǎn)系統(tǒng)自動(dòng)識(shí)別測(cè)試誤差變化規(guī)律，且滿足如下規(guī)則中任一條，即表示訓(xùn)練完成規(guī)則1 :"測(cè)試誤差變化穩(wěn)定(無(wú)明顯振蕩特征)，且當(dāng)前測(cè)試誤差大于1. 2*最小測(cè)試誤差"?；蛞?guī)則2 :"迭代次數(shù)大于閾值(如100次)且連續(xù)3次測(cè)試誤差變化率小于5% "。
全文摘要
本發(fā)明公開了一種基于嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型在線訓(xùn)練方法，該方法能根據(jù)數(shù)據(jù)特征自動(dòng)設(shè)置相關(guān)參數(shù)，同時(shí)支持手動(dòng)設(shè)置參數(shù)，最大化的滿足了實(shí)時(shí)性與智能性的要求；讓運(yùn)行的系統(tǒng)滿足便攜、智能分析等多項(xiàng)功能，克服了以往系統(tǒng)難以實(shí)現(xiàn)微小化、難以決定相關(guān)訓(xùn)練參數(shù)、操作復(fù)雜等缺點(diǎn)；對(duì)石油化工等復(fù)雜過(guò)程的模式識(shí)別或軟測(cè)量提供了一種低成本、便攜式、高實(shí)時(shí)性的解決方案。
文檔編號(hào)G06N3/02GK101706882SQ20091015462
公開日2010年5月12日 申請(qǐng)日期2009年11月23日 優(yōu)先權(quán)日2009年11月23日
發(fā)明者宋執(zhí)環(huán), 朱懿峰, 段俊, 王健偉 申請(qǐng)人:浙江大學(xué)