基于敏感性的madaline神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置制造方法
【專利摘要】本發(fā)明公開了一種基于敏感性的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置，選取一個足夠大的正整數(shù)m作為隱層神經(jīng)元數(shù)，構(gòu)建一個三層MADALINE神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；利用有標記的樣本集訓練神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e，得到經(jīng)過訓練的分類器；計算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序；去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)；對新的MADALINE神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標記的樣本集進行訓練；取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。本發(fā)明可以有效提高神經(jīng)網(wǎng)絡(luò)構(gòu)建效率，并提高MADALINE神經(jīng)網(wǎng)絡(luò)的性能。
【專利說明】基于敏感性的MADALI NE神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明一種MADALINE神經(jīng)網(wǎng)絡(luò)設(shè)計時的網(wǎng)絡(luò)構(gòu)建方法及其裝置，尤其涉及一種可有效提高MADALINE神經(jīng)網(wǎng)絡(luò)分類效率或回歸效率的網(wǎng)絡(luò)構(gòu)建方法及其裝置，屬于智能科學與技術(shù)中的機器學習領(lǐng)域。

【背景技術(shù)】
[0002]在設(shè)計MADALINE神經(jīng)網(wǎng)絡(luò)分類器時，如何確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是一個重要而且關(guān)鍵的步驟。針對具體問題構(gòu)建一個合適的網(wǎng)絡(luò)對提高分類精度、泛化能力都有巨大的幫助。目前廣泛使用的是三層神經(jīng)網(wǎng)絡(luò)。文獻已經(jīng)證明，三層神經(jīng)網(wǎng)絡(luò)當?shù)诙?也稱隱層、中間層)神經(jīng)元數(shù)增多時可以逼近任何連續(xù)函數(shù)。在具體應(yīng)用中，三層神經(jīng)網(wǎng)絡(luò)的第一層神經(jīng)元數(shù)依賴于輸入變量的維數(shù)，第三層神經(jīng)元數(shù)依賴于輸出變量的維數(shù)。因為輸入變量和輸出變量的維數(shù)一般都是確知的，所以第一層和第三層神經(jīng)元的個數(shù)一般也是確定的。對于三層神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)建實際上是確定第二層神經(jīng)元數(shù)目的一個過程。
[0003]在訓練神經(jīng)網(wǎng)絡(luò)的時候，通常使用有監(jiān)督的學習方法。有監(jiān)督的學習方法是指在訓練神經(jīng)網(wǎng)絡(luò)的過程中通過告訴網(wǎng)絡(luò)輸入和相對應(yīng)的輸出來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，達到訓練神經(jīng)網(wǎng)絡(luò)的目的。在這個過程中需要使用有標記的訓練樣本。訓練樣本的標記一般是由專家來完成的，這往往要花費大量的金錢和時間代價。在實際應(yīng)用中，無標記的樣本比有標記的樣本要容易獲得得多。例如在某些互聯(lián)網(wǎng)應(yīng)用中，由專家標記的有標記樣本和無標記樣本相比只占很少的一部分。能否使用那些沒有標記的樣本幫助輔助確定網(wǎng)絡(luò)的最優(yōu)結(jié)構(gòu)就變得很有必要。
[0004]對于三層MADALINE神經(jīng)網(wǎng)絡(luò)，確定隱層神經(jīng)網(wǎng)絡(luò)的方法主要有:
[0005]I)增枝法。這個方法確定隱層神經(jīng)元數(shù)量的過程是首先選擇一個很小的隱藏神經(jīng)元數(shù)。由于隱層神經(jīng)元數(shù)太少，所以網(wǎng)絡(luò)的結(jié)構(gòu)太簡單，導致使用訓練樣本訓練神經(jīng)網(wǎng)絡(luò)不成功。數(shù)學上的表征就是誤差不收斂。在這個隱層神經(jīng)元數(shù)量的基礎(chǔ)上一個一個地增加隱層神經(jīng)元數(shù)量，沒增加一個訓練一次網(wǎng)絡(luò)，直到隱層神經(jīng)元數(shù)量增加到某一數(shù)量時神經(jīng)網(wǎng)絡(luò)能夠訓練成功為止。能夠使得神經(jīng)網(wǎng)絡(luò)訓練成功的最小隱層神經(jīng)元數(shù)量就是我們需要尋找的隱層神經(jīng)元數(shù)。
[0006]2)減枝法。這個方法與增枝法相反，它的操作方法是首先確定一個足夠大的隱層神經(jīng)元數(shù)來構(gòu)造一個三層神經(jīng)網(wǎng)絡(luò)，在這個結(jié)構(gòu)下能夠使用有標記的樣本很容易地訓練好神經(jīng)網(wǎng)絡(luò)。然后對隱層神經(jīng)元去除一個，在去除之后的網(wǎng)絡(luò)基礎(chǔ)上使用有標記的樣本進行訓練，使得網(wǎng)絡(luò)再次訓練完成。重復(fù)上述去除過程，直到網(wǎng)絡(luò)訓練不能完成為止。這時候取最小能完成的隱層神經(jīng)元數(shù)量作為最終確定的隱層神經(jīng)元數(shù)。增枝法和減枝法背后的理論基礎(chǔ)是統(tǒng)計學習理論要求對于一個具體的分類問題分類器要有一個合適的復(fù)雜度，保證既不過擬合也不欠擬合。只有這樣的分類器才能具有最好的泛化能力。對于三層MADALINE神經(jīng)網(wǎng)絡(luò)這樣的分類器而言，網(wǎng)絡(luò)復(fù)雜度就體現(xiàn)在隱層神經(jīng)元的數(shù)量上，神經(jīng)元數(shù)量太少網(wǎng)絡(luò)欠擬合，訓練不能完成，神經(jīng)元數(shù)量太多網(wǎng)絡(luò)過擬合，泛化能力差。
[0007]3)經(jīng)驗法。這種方法確定隱層神經(jīng)元數(shù)需要對具體問題所涉及的領(lǐng)域有深刻的理解，從而憑借經(jīng)驗確定隱層神經(jīng)元的數(shù)量。即使這樣也不能保證所取的隱層神經(jīng)元數(shù)量是最優(yōu)的。
[0008]對于上述方法減枝法目前使用較多。在具體的減枝過程中，首先減去哪個隱層神經(jīng)元、其次減去哪個隱層神經(jīng)元對于確定最終的網(wǎng)絡(luò)結(jié)構(gòu)非常重要。一般認為每個隱層神經(jīng)元在訓練過程中起到的作用或者重要程度是不一樣的。理論上首先去掉對分類沒有作用的或者不重要的神經(jīng)元可以使得最終訓練完成的神經(jīng)網(wǎng)絡(luò)的泛化性能更好。如何利用無標記的樣本來輔助確定隱層神經(jīng)元以更好地確定網(wǎng)絡(luò)就變得非常重要。


【發(fā)明內(nèi)容】

[0009]發(fā)明目的:針對現(xiàn)有技術(shù)中存在的問題與不足，本發(fā)明提供一種利用有標記樣本和無標記樣本輔助確定三層MADALINE神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元敏感性的方法，同時也提供了一種基于無標記樣本的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置及其工作方法。
[0010]技術(shù)方案:一種基于敏感性的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，包括以下步驟:
[0011](SlOl)選取一個足夠大的正整數(shù)m(針對不同問題，足夠大的取值方法并不相同，一般來說，足夠大至少是能夠?qū)⒕W(wǎng)絡(luò)訓練成功的數(shù)值，低于這個數(shù)值網(wǎng)絡(luò)訓練將不成功)作為隱層神經(jīng)元數(shù)，構(gòu)建一個三層MADALINE神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；
[0012](S103)利用有標記的樣本集訓練神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e (e取值小于10的-2次方)，得到經(jīng)過訓練的分類器；
[0013](S105)計算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序；
[0014](S107)去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)；
[0015](S109)對新的MADALINE神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標記的樣本集進行訓練，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)步驟(S107)、(S109);如果不能收斂則進入下一步；
[0016](Slll)取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。
[0017]一種MADALINE神經(jīng)網(wǎng)絡(luò)設(shè)計時的網(wǎng)絡(luò)構(gòu)建裝置，該裝置包括:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊和輸出模塊；上述模塊按照如下順序依次構(gòu)建:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊、輸出模塊。
[0018](I)構(gòu)建初始模塊:其選取一個足夠大的正整數(shù)m作為MADALINE隱層神經(jīng)元數(shù)，構(gòu)建一個三層神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；
[0019](2)構(gòu)建訓練模塊:其利用有標記的樣本集訓練MADALINE神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e，得到經(jīng)過訓練的分類器；
[0020](3)隱層神經(jīng)元選擇模塊:其計算隱層神經(jīng)元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經(jīng)元，形成新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)；重新利用有標記樣本集訓練新結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)本步驟；如果代價函數(shù)不能夠收斂到某個很小的閾值e，則進入下一個步驟；
[0021](4)構(gòu)建輸出模塊:取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并輸出這個網(wǎng)絡(luò)為最終的分類器。
[0022]本發(fā)明采用上述技術(shù)方案，具有以下有益效果:本發(fā)明所述基于無標記樣本的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建方法為裁剪隱層神經(jīng)元以確定網(wǎng)絡(luò)結(jié)構(gòu)提供依據(jù)，提高了神經(jīng)網(wǎng)絡(luò)分類器的分類性能。
[0023]本發(fā)明所述基于無標記樣本的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置有效利用無標記樣本所蘊含的信息，從而在判斷隱層神經(jīng)元個體重要性方面比以往的方法更加準確，更加方便，同時采用基于無標記樣本的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置的工作方法裁剪過的神經(jīng)網(wǎng)絡(luò)具有更好的泛化性。

【專利附圖】

【附圖說明】
[0024]圖1為MADALINE神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0025]圖2為本發(fā)明【具體實施方式】的方法流程圖。

【具體實施方式】
[0026]下面結(jié)合具體實施例，進一步闡明本發(fā)明，應(yīng)理解這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價形式的修改均落于本申請所附權(quán)利要求所限定的范圍。
[0027]實施例
[0028]現(xiàn)以MADALINE神經(jīng)網(wǎng)絡(luò)為例，說明根據(jù)本發(fā)明的前向神經(jīng)網(wǎng)絡(luò)樣本選擇方法。
[0029]MADALINE神經(jīng)網(wǎng)絡(luò)是一種全連接的前向神經(jīng)網(wǎng)絡(luò)，適用于目標的分類。MADALINE神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，它是一種三層前向網(wǎng)絡(luò):輸入層MA由輸入模式節(jié)點組成，^表示輸入模式向量的第i個分量(i = 1，2，...，η);第二層是隱含層ΜΒ，它由m個節(jié)點bj(j =l，2，...，m)組成。第三層是輸出層MC，它由P個節(jié)點Ck (k = l，2，...，p)組成。
[0030]在訓練之前需要對輸入向量的每個元素規(guī)范化，這里將每個元素規(guī)范化到[-1，I]。
[0031]對于上述MADALINE神經(jīng)網(wǎng)絡(luò)的訓練在這里可以采用標準BP算法。
[0032]下面我們定義上述MADALINE神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元的敏感性。
[0033]當神經(jīng)網(wǎng)絡(luò)訓練完成后，它的映射關(guān)系也就確定了。設(shè)映射關(guān)系函數(shù)為F(X)(其中X為輸入向量)。假設(shè)裁掉的是第j個隱層神經(jīng)元，那么去掉第j個隱層神經(jīng)元后神經(jīng)網(wǎng)絡(luò)的映射關(guān)系函數(shù)變成h(X)，定義第j個隱層神經(jīng)元的敏感性為:?⑴=EdF(X)-Fj(X) I/2) = Nerr/Ninp (I)
[0034]I.I是求取.的絕對值的算符。E為求取期望的算符。Ninp是所有可能輸入的個數(shù)，凡?是在所有可能的輸入中由于裁掉了第j個隱層神經(jīng)元所導致和原輸出不同的個數(shù)。與連續(xù)神經(jīng)網(wǎng)絡(luò)不同的是，MADALINE神經(jīng)網(wǎng)絡(luò)的輸入和輸出都是離散值，一般為+1和_1。因此MADALINE神經(jīng)網(wǎng)絡(luò)的輸入空間的數(shù)量是有限的，Ninp實際上就是輸入空間的數(shù)量。
[0035]由敏感性的定義可以看出，敏感性實際上代表了有第j個隱層神經(jīng)元和沒有第j個隱層神經(jīng)元函數(shù)輸出的差別。這個差別越小表示第j個隱層神經(jīng)元越不重要，反之則越重要。
[0036]如圖2所示為本發(fā)明基于無標記樣本的神經(jīng)網(wǎng)絡(luò)構(gòu)建方法流程圖。
[0037]在步驟SlOl中，選取一個足夠大的正整數(shù)m作為MADALINE隱層神經(jīng)元數(shù)，構(gòu)建一個三層神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)。
[0038]在步驟S103中，利用有標記的樣本集訓練神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e，得到經(jīng)過訓練的分類器。
[0039]在步驟S105中，計算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序。
[0040]在步驟S107中，去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)。
[0041]在步驟S109中，對新的MADALINE神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標記的樣本集進行訓練，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)步驟S107、S109。如果不能收斂則進入下一步。在步驟Slll中，取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。
[0042]本實施例所屬方法基于所述基于無標記樣本的神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置，該裝置包括:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊和輸出模塊；上述模塊按照如下順序依次構(gòu)建:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊、輸出模塊。
[0043]上述基于無標記樣本的神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置的工作方法，具體步驟如下:
[0044](I)構(gòu)建初始模塊:其選取一個足夠大的正整數(shù)m作為MADALINE隱層神經(jīng)元數(shù)，構(gòu)建一個三層神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；
[0045](2)構(gòu)建訓練模塊:其利用有標記的樣本集訓練MADALINE神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e，得到經(jīng)過訓練的分類器；
[0046](3)隱層神經(jīng)元選擇模塊:其計算隱層神經(jīng)元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經(jīng)元，形成新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)；重新利用有標記樣本集訓練新結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)本步驟；如果代價函數(shù)不能夠收斂到某個很小的閾值e，則進入下一個步驟；
[0047](4)構(gòu)建輸出模塊:取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并輸出這個網(wǎng)絡(luò)為最終的分類器。
【權(quán)利要求】
1.一種基于敏感性的MADALINE神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，其特征在于，包括以下步驟: (SlOl)選取一個足夠大的正整數(shù)m作為隱層神經(jīng)元數(shù)，構(gòu)建一個三層MADALINE神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)； (S103)利用有標記的樣本集訓練神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e Ce取值小于10的-2次方)，得到經(jīng)過訓練的分類器； (S105)計算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序； (S107)去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)； (S109)對新的MADALINE神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標記的樣本集進行訓練，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)步驟(S107)、(S109);如果不能收斂則進入下一步； (Slll)取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。
2.—種MADALINE神經(jīng)網(wǎng)絡(luò)設(shè)計時的網(wǎng)絡(luò)構(gòu)建裝置，其特征在于，該裝置包括:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊和輸出模塊；上述模塊按照如下順序依次構(gòu)建:初始模塊、訓練模塊、隱層神經(jīng)元選擇模塊、輸出模塊； (O構(gòu)建初始模塊:其選取一個足夠大的正整數(shù)m作為MADALINE隱層神經(jīng)元數(shù)，構(gòu)建一個三層神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)； (2)構(gòu)建訓練模塊:其利用有標記的樣本集訓練MADALINE神經(jīng)網(wǎng)絡(luò)直到代價函數(shù)收斂到某個給定的很小的閾值e，得到經(jīng)過訓練的分類器； (3)隱層神經(jīng)元選擇模塊:其計算隱層神經(jīng)元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經(jīng)元，形成新結(jié)構(gòu)的MADALINE神經(jīng)網(wǎng)絡(luò)；重新利用有標記樣本集訓練新結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，如果代價函數(shù)能夠收斂到某個很小的閾值e，則得到經(jīng)過參數(shù)更新的分類器并重復(fù)本步驟；如果代價函數(shù)不能夠收斂到某個很小的閾值e，則進入下一個步驟； (4)構(gòu)建輸出模塊:取隱層神經(jīng)元數(shù)最小且能收斂的MADALINE神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并輸出這個網(wǎng)絡(luò)為最終的分類器。
【文檔編號】G06N3/02GK104504441SQ201410751428
【公開日】2015年4月8日 申請日期:2014年12月9日 優(yōu)先權(quán)日:2014年12月9日
【發(fā)明者】儲榮 申請人:河海大學