基于主動(dòng)學(xué)習(xí)的madaline神經(jīng)網(wǎng)絡(luò)樣本選擇方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及MADALINE神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)時(shí)的學(xué)習(xí)樣本的選擇方法及其系統(tǒng)，尤其涉及 可有效提高神經(jīng)網(wǎng)絡(luò)分類效率的基于主動(dòng)學(xué)習(xí)的學(xué)習(xí)樣本選擇方法及其裝置，屬于智能科 學(xué)與技術(shù)中的機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] MADALINE神經(jīng)網(wǎng)絡(luò)是一種輸入、輸出和激活函數(shù)的輸入輸出都是離散值的一類神 經(jīng)網(wǎng)絡(luò)。在設(shè)計(jì)MADALINE神經(jīng)網(wǎng)絡(luò)分類器時(shí)，訓(xùn)練樣本的標(biāo)記一般是由專家來(lái)完成的，這往 往要花費(fèi)大量的金錢(qián)和時(shí)間代價(jià)。以往選擇需要標(biāo)記的樣本時(shí)，一般是從已獲得的無(wú)標(biāo)號(hào) 樣本中隨機(jī)抽取的。這樣訓(xùn)練出一個(gè)分類器往往需要大量的標(biāo)記過(guò)的樣本，需要花費(fèi)很大 的人力物力，而且容易使得訓(xùn)練時(shí)間延長(zhǎng)。
[0003] 主動(dòng)學(xué)習(xí)技術(shù)是將無(wú)標(biāo)記的樣本經(jīng)過(guò)某種準(zhǔn)則的篩選，得到的樣本使用人工進(jìn)行 標(biāo)記。這些標(biāo)記的樣本加入到訓(xùn)練集中。分類器經(jīng)過(guò)這些訓(xùn)練集樣本的訓(xùn)練，能更好地改進(jìn) 其性能。主動(dòng)學(xué)習(xí)技術(shù)的關(guān)鍵是如何構(gòu)造一個(gè)好的篩選準(zhǔn)則，使得使用盡量少的標(biāo)記樣本 得到盡量好的分類器分類性能。
[0004] 主動(dòng)學(xué)習(xí)算法中比較有影響的篩選準(zhǔn)則主要有：1)不確定性采樣準(zhǔn)則:在這個(gè)準(zhǔn) 則中，設(shè)計(jì)者認(rèn)為根據(jù)信息論的知識(shí)，樣本的香農(nóng)熵越大說(shuō)明樣本所含的信息量越大。選擇 信息量越大的樣本對(duì)改進(jìn)分類器的性能越好。而樣本的熵越大說(shuō)明這個(gè)樣本的類別越不確 定，故名不確定性采樣。在這個(gè)指導(dǎo)思想下又衍生出很多種算法，比如選擇最靠近邊界的樣 本算法，選擇各個(gè)類別后驗(yàn)概率差最小算法等等。2)委員會(huì)機(jī)器準(zhǔn)則:使用已有的訓(xùn)練集利 用不同的復(fù)雜度訓(xùn)練出一族分類器，由這一族分類器對(duì)未標(biāo)記的樣本分別進(jìn)行分類，挑選 這些分類器分類標(biāo)號(hào)最不確定的樣本。3)期望誤差減少法:這種算法以減少分類誤差為準(zhǔn) 則挑選樣本。相對(duì)來(lái)講這個(gè)算法對(duì)減少分類誤差最為直接，也比較容易理解。但這種算法復(fù) 雜度特別高，對(duì)于很多比較復(fù)雜的問(wèn)題不適用。上述這些準(zhǔn)則都能應(yīng)用到神經(jīng)網(wǎng)絡(luò)分類器 中。
[0005] 以上篩選準(zhǔn)則大致上集中在樣本的不確定性或者分類器的誤差方面。能不能在其 它方面構(gòu)造準(zhǔn)則，實(shí)現(xiàn)較好的篩選效果？

【發(fā)明內(nèi)容】

[0006] 發(fā)明目的:本發(fā)明的首要目的在于提供一種以MADALINE神經(jīng)網(wǎng)絡(luò)敏感性為基準(zhǔn)的 主動(dòng)學(xué)習(xí)方法和系統(tǒng)，從而有效提高M(jìn)ADALINE神經(jīng)網(wǎng)絡(luò)分類器的分類性能。
[0007] 技術(shù)方案:一種基于主動(dòng)學(xué)習(xí)的MADALINE神經(jīng)網(wǎng)絡(luò)樣本選擇方法，包括以下步驟：
[0008] 1)從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集； [0009] 2)利用訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過(guò)訓(xùn)練的分類器；
[0010] 3)計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，利用敏感性得到一批在已有分 類器中比較敏感的樣本；
[0011] 4)將所得比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集，并利 用新的訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到新的分類器；
[0012] 5)利用測(cè)試樣本集對(duì)步驟4)得到的新的分類器進(jìn)行測(cè)試，若測(cè)試結(jié)果滿足用戶要 求則結(jié)束樣本選擇，若所述測(cè)試結(jié)果不滿足用戶要求則回到步驟3)，重復(fù)步驟3)~5)，直到 分類器性能達(dá)到要求為止。
[0013] 一種基于主動(dòng)學(xué)習(xí)的MADALINE神經(jīng)網(wǎng)絡(luò)樣本選擇系統(tǒng)，包括：
[0014] 訓(xùn)練樣本集形成模塊，其請(qǐng)求用戶從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣 本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；
[0015] 訓(xùn)練模塊，其利用已有訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過(guò)訓(xùn)練的分類器；
[0016] 判定模塊，其計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，根據(jù)計(jì)算結(jié)果挑選 出一批在已有分類器中比較敏感的樣本；
[0017] 訓(xùn)練樣本集更新模塊，其將判斷模塊挑選出的比較敏感的樣本加入到已有訓(xùn)練樣 本集中，得到新的訓(xùn)練樣本集；
[0018] 測(cè)試模塊，利用測(cè)試樣本集對(duì)得到的分類器進(jìn)行測(cè)試;若測(cè)試結(jié)果滿足用戶要求 則結(jié)束樣本選擇，若所述測(cè)試結(jié)果不滿足用戶要求則命令判定模塊和訓(xùn)練樣本集更新模塊 繼續(xù)執(zhí)行，直到分類器性能達(dá)到要求為止。
[0019] 本發(fā)明采用上述技術(shù)方案，具有以下有益效果：
[0020] (1)本發(fā)明在選擇訓(xùn)練樣本時(shí)采用了一種新穎的主動(dòng)學(xué)習(xí)方法，相對(duì)于被動(dòng)學(xué)習(xí) 算法而言，所需選擇標(biāo)記的訓(xùn)練樣本數(shù)量大大減少，降低了標(biāo)記樣本所耗費(fèi)的時(shí)間和代價(jià)， 且有效提高了前向神經(jīng)網(wǎng)絡(luò)的分類效果。
[0021] (2)根據(jù)本發(fā)明通過(guò)挑選敏感性大的樣本點(diǎn)，來(lái)尋找在其周圍變化劇烈的樣本點(diǎn)， 這些樣本點(diǎn)往往對(duì)訓(xùn)練分類器是重要的。通過(guò)這樣的方法可以有效減少需要標(biāo)記樣本點(diǎn)的 數(shù)量，減少標(biāo)記的代價(jià)并提高分類器的性能。
【附圖說(shuō)明】
[0022] 圖1為MADALINE神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0023]圖2為本發(fā)明【具體實(shí)施方式】的基于主動(dòng)學(xué)習(xí)的MADALINE神經(jīng)網(wǎng)絡(luò)樣本選擇方法流 程圖。
【具體實(shí)施方式】
[0024]下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明 而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià) 形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。
[0025]現(xiàn)以MADALINE神經(jīng)網(wǎng)絡(luò)為例，說(shuō)明根據(jù)本發(fā)明的前向神經(jīng)網(wǎng)絡(luò)樣本選擇方法。然 而，本領(lǐng)域的技術(shù)人員應(yīng)理解，本發(fā)明不限于MADALINE神經(jīng)網(wǎng)絡(luò)，而是可以應(yīng)用于其它前向 離散神經(jīng)網(wǎng)絡(luò)。
[0026] MADALINE是一種全連接的前向神經(jīng)網(wǎng)絡(luò)，適用于目標(biāo)的分類。MADALINE的結(jié)構(gòu)如 圖1所示，它是一種三層前向網(wǎng)絡(luò):輸入層MA由輸入模式節(jié)點(diǎn)組成，Xl表示輸入模式向量的 第i個(gè)分量(i = l，2, . . .，n);第二層是隱含層MB，它由m個(gè)節(jié)點(diǎn)bj(j = l，2,. . .，m)組成。第三 層是輸出層MC，匕由p個(gè)~p點(diǎn)〇<(1<: = 1，2，· · ·，p)組成。
[0027] 對(duì)于上述MADALINE神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在這里采用標(biāo)準(zhǔn)MRII學(xué)習(xí)算法。
[0028] 下面我們定義上述神經(jīng)網(wǎng)絡(luò)的敏感性。
[0029] 當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，它的映射關(guān)系也就確定了。設(shè)映射關(guān)系函數(shù)為