一種基于klms的自適應小波核神經網絡跟蹤控制方法
【專利摘要】本發(fā)明公開了一種基于KLMS的自適應小波核神經網絡跟蹤控制方法。包括以下幾個步驟：初始化小波核神經網絡；將預定值和由控制對象輸出的實際觀測值進行比較，得到誤差信號，輸入給小波核神經網絡，求解代價函數(shù)；調節(jié)隱含層——輸出層權值的自適應學習率，更新隱含層——輸出層權值；調節(jié)輸入層——隱含層權值的自適應學習率，更新輸入層——隱含層權值；更新小波核函數(shù)的收縮因子；求解隱含層的誘導局部域及輸出；求解輸出層的誘導局部域及輸出，將輸出作為控制信號輸送給控制對象的執(zhí)行機構。本發(fā)明減少了迭代過程中的記憶內存和計算復雜度，并提高了控制系統(tǒng)的準確性和快速性。
【專利說明】-種基于KLMS的自適應小波核神經網絡跟蹤控制方法

【技術領域】
[0001] 本發(fā)明屬于神經網絡跟蹤控制領域，尤其涉及一種基于KLMS的自適應小波核神 經網絡跟蹤控制方法。

【背景技術】
[0002] 人工神經網絡是由人工神經元互聯(lián)而成的網絡系統(tǒng)，它從微觀結構和功能上對人 腦進行了抽象和簡化，可以看作是一個由簡單處理單元構成的規(guī)模宏大的高度并行處理 器，天然具有存儲經驗知識和使之可用的特性。在處理計算上，雖然每個處理單元的功能看 似簡單，但大量簡單處理單元的并行活動使網絡在保證較快速度的前提下呈現(xiàn)出豐富的功 能。神經網絡控制的基本思想是從仿生學的角度，模擬人腦神經系統(tǒng)的動作方式，使其具有 人腦那樣的感知、學習和推理能力。其實維納早在《控制論》一書中，就揭示了機器和生物 系統(tǒng)所共同遵守的信息與控制規(guī)律，為人工神經網絡的應用提供了理論依據(jù)。對控制科學 而言，神經網絡的巨大吸引力在于：
[0003] 神經網絡本質上是非線性系統(tǒng)，能夠充分逼近復雜的非線性關系；
[0004] 具有很高的自適應性和自組織性，能夠學習和適應不確定性系統(tǒng)的動態(tài)特性；
[0005] 由于神經元之間的廣泛連接，即使有少量單元或連接損壞，也不影響系統(tǒng)的整體 功能，
[0006] 表現(xiàn)出很強的魯棒性和各錯能力；
[0007] 信息的并行處理方式使得快速進行大量運算成為可能。
[0008] 其中作為前向多層神經網絡訓練方法的BP算法應用最為廣泛，使用BP神經網絡 進行跟蹤控制無需依靠控制系統(tǒng)的數(shù)理模型，可以改進跟蹤的準確性。然而這種傳統(tǒng)網絡 存在著模型建立的物理解釋、網絡激活函數(shù)采用的全局性函數(shù)、網絡收斂性的保證以及網 絡節(jié)點數(shù)的確定等尚待探討和改善的問題。同時傳統(tǒng)算法較低的學習效率及其易于陷入局 部極小的缺陷又影響了控制算法的實時性。小波神經網絡是基于小波變換而構成的神經網 絡模型，即用非線性小波基函數(shù)取代通常的神經元非線性激勵函數(shù)，把小波變換與神經網 絡有機地結合起來，從而充分繼承了兩者的優(yōu)點。
[0009] 然而小波網絡在更新網絡的過程中依然保持著用梯度下降法調節(jié)權值的傳統(tǒng)采 用，因此不可避免地存在著過分強調克服學習錯誤而導致泛化性能不強，過擬合及不適定 性等問題。為了從根源提高小波網絡的計算效率，應從神經網絡的核心一LMS算法入手 進行改進。LMS以其計算量小及容易實現(xiàn)而著稱，但不能廣泛應用于非線性領域。隨著核 理論與核技巧的廣泛應用，Weifeng. L等學者在2007年首次提出基于核理論的LMS計算的 在線學習方法，將高斯核函數(shù)引入LMS算法中，這項研究引起了機器學習領域的廣泛關注。 核方法將輸入數(shù)據(jù)映射到一個高維空間中，從而將非線性問題轉化為線性問題。這種基于 核理論的方法衍生于再生希爾伯特空間（RKHS)，通過線性結構來實現(xiàn)一定的非線性空間 計算從而避免了計算過程中的顯式正則化現(xiàn)象，減少了迭代過程中的記憶內存與計算復雜 度。但對于高斯核來說，其在擬合過程中遇到較為復雜的非線性信號，往往不能很好的逼近 目標。目前核函數(shù)多用于支持向量機和徑向基神經網絡，已有文獻表明，這兩種機器學習方 法中的核函數(shù)通過平移不可能生成該子空間上的一組完備的基。這種基的不完備性導致了 不能逼近該子空間上的任意分類界面。而小波函數(shù)形成的核函數(shù)僅通過平移伸縮便能生成 L2(R)空間上的一組完備的基。


【發(fā)明內容】

[0010] 本發(fā)明的目的是提供一種基于KLMS的小波核網絡，快速精確的一種基于KLMS的 自適應小波核神經網絡跟蹤控制方法。
[0011] 本發(fā)明是通過以下技術方案實現(xiàn)的：
[0012] 一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，包括以下幾個步驟：
[0013] 步驟一：初始化小波核神經網絡；
[0014] 小波核神經網絡包括輸入層I、隱含層J、輸出層K，隱含層的激活函數(shù)采用小波核 函數(shù)輸出層采用一般激勵函數(shù)f (X)，輸入層--隱含層的權值為&i，隱含層--輸 出層的權值為WKT ;
[0015] 小波核函數(shù)為：
[0016]

【權利要求】
1. 一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特征在于，包括以下幾個 步驟： 步驟一：初始化小波核神經網絡； 小波核神經網絡包括輸入層I、隱含層J、輸出層K，隱含層的激活函數(shù)采用小波核函數(shù) 供(-τ)，輸出層米用一般激勵函數(shù)f(x)，輸入層-隱含層的權值為，隱含層-輸出層 的權值為wKT ; 小波核函數(shù)為：
其中，％ > 0為小波收縮因子，Ψ (X) -維母小波函數(shù)； 步驟二：將預定值和由控制對象輸出的實際觀測值進行比較，得到誤差信號，輸入給小 波核神經網絡，求解代價函數(shù)； 步驟三：調節(jié)隱含層--輸出層權值的自適應學習率Πκ(η)，更新隱含層--輸出層 權值； 步驟四：調節(jié)輸入層--隱含層權值的自適應學習率h(n)，更新輸入層--隱含層 權值； 步驟五：根據(jù)代價函數(shù)，更新小波核函數(shù)的收縮因子； 步驟六：求解小波核神經網絡中隱含層的誘導局部域ντ(η)及輸出& ; 步驟七：求解小波核神經網絡中輸出層的誘導局部域^(11)及輸出ζκ，將輸出ζκ作為控 制信號輸送給控制對象的執(zhí)行機構。
2. 根據(jù)權利要求1所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的代價函數(shù)ε (η)為：
其中，e(n)為將預定值和由控制對象輸出的實際觀測值進行比較得到的誤差信號。
3. 根據(jù)權利要求2所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的隱含層--輸出層間的權值所采用的自適應學習率為：
其中0 < σν< 1，！1_和為設定的自適應學習率的最大值和最小值，ww(n)為權 值，χ?為隱含層神經元輸入，wK1(n)和χ?分別為wkj(n)和Xj(n)構成的矩陣，J為隱 含層神經元總數(shù)，f( ·)為輸出層K的激勵函數(shù)； 更新后的隱含層--輸出層權值為：
其中，v/n)為隱含層的誘導局部域，ντ(〇)為區(qū)間（〇，1)內的隨機數(shù)。
4. 根據(jù)權利要求3所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的輸入層-隱含層權值的自適應學習率為：
更新后的輸入層--隱含層權值為：
其中，h(n)為輸入層的誘導局部域，v/O)為區(qū)間（0，1)內的隨機數(shù)，Wij(n)為權值， Xi(n)為輸入層神經元輸入，wn(n)和&(11)分別為WylPXi(n)構成的矩陣，I為輸入層神 經元總數(shù)。
5. 根據(jù)權利要求4所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的更新后的收縮因子為： a(n+l) =a(n)-y' Va(n)(e2(n)) 其中，μ'是固定學習率，Va(n)是代價函數(shù)對a(n)的偏導數(shù)。
6. 根據(jù)權利要求5所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的隱含層單個神經元j的誘導局部域ν τ(η)和神經元輸出分別為：
7. 根據(jù)權利要求6所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的輸出層單個神經元k的誘導局部域ν κ(η)和神經元輸出ζκ分別為：
8. 根據(jù)權利要求7所述的一種基于KLMS的自適應小波核神經網絡跟蹤控制方法，其特 征在于：所述的小波核函數(shù)的具體形式為：
其中％為常值參數(shù)， 一般激勵函數(shù)f(x)采用Sigmoid函數(shù)。
【文檔編號】G06N3/08GK104050508SQ201410293347
【公開日】2014年9月17日 申請日期:2014年6月25日 優(yōu)先權日:2014年6月25日
【發(fā)明者】趙玉新, 杜雪, 賈韌鋒, 夏庚磊, 何立暉, 吳迪, 李旺, 常帥 申請人:哈爾濱工程大學