專利名稱：基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)時的學(xué)習(xí)樣本的選擇方法及其裝置，尤其涉及可有效提高神經(jīng)網(wǎng)絡(luò)分類效率的基于主動學(xué)習(xí)的學(xué)習(xí)樣本選擇方法及其裝置，屬于智能科學(xué)與技術(shù)中的機(jī)器學(xué)習(xí)領(lǐng)域。
背景技術(shù)：
在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)分類器時，訓(xùn)練樣本的標(biāo)記一般是由專家來完成的，這往往要花費(fèi)大量的金錢和時間代價。以往選擇需要標(biāo)記的樣本時，一般是從已獲得的無標(biāo)號樣本中隨機(jī)抽取的。這樣訓(xùn)練出一個分類器往往需要大量的標(biāo)記過的樣本，需要花費(fèi)很大的人力物力，而且容易使得訓(xùn)練時間延長。主動學(xué)習(xí)技術(shù)是將無標(biāo)記的樣本經(jīng)過某種準(zhǔn)則的篩選，得到的樣本使用人工進(jìn)行標(biāo)記。這些標(biāo)記的樣本加入到訓(xùn)練集中。分類器經(jīng)過這些訓(xùn)練集樣本的訓(xùn)練，能更好地改進(jìn)其性能。主動學(xué)習(xí)技術(shù)的關(guān)鍵是如何構(gòu)造一個好的篩選準(zhǔn)則，使得使用盡量少的標(biāo)記樣本得到盡量好的分類器分類性能。主動學(xué)習(xí)算法中比較有影響的篩選準(zhǔn)則主要有1)不確定性采樣準(zhǔn)則在這個準(zhǔn)則中，設(shè)計(jì)者認(rèn)為根據(jù)信息論的知識，樣本的香農(nóng)熵越大說明樣本所含的信息量越大。選擇信息量越大的樣本對改進(jìn)分類器的性能越好。而樣本的熵越大說明這個樣本的類別越不確定，故名不確定性采樣。在這個指導(dǎo)思想下又衍生出很多種算法，比如選擇最靠近邊界的樣本算法，選擇各個類別后驗(yàn)概率差最小算法等等。2、委員會機(jī)器準(zhǔn)則使用已有的訓(xùn)練集利用不同的復(fù)雜度訓(xùn)練出一族分類器，由這一族分類器對未標(biāo)記的樣本分別進(jìn)行分類，挑選這些分類器分類標(biāo)號最不確定的樣本?；闷谕`差減少法這種算法以減少分類誤差為準(zhǔn)則挑選樣本。相對來講這個算法對減少分類誤差最為直接，也比較容易理解。但這種算法復(fù)雜度特別高，對于很多比較復(fù)雜的問題不適用。上述這些準(zhǔn)則都能應(yīng)用到神經(jīng)網(wǎng)絡(luò)分類器中。以上篩選準(zhǔn)則大致上集中在樣本的不確定性或者分類器的誤差方面。能不能在其它方面構(gòu)造準(zhǔn)則，實(shí)現(xiàn)較好的篩選效果？

發(fā)明內(nèi)容
本發(fā)明的首要目的在于提供一種以敏感性為基準(zhǔn)的主動學(xué)習(xí)方法，從而有效提高神經(jīng)網(wǎng)絡(luò)分類器的分類性能。具體采用如下技術(shù)方案一種基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法，其特征在于包括以下步驟1)從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；2)利用訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過訓(xùn)練的分類器；3)計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，利用敏感性得到一批在已有分類器中比較敏感的樣本；
4)將所得比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集，并利用新的訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到新的分類器；5)利用測試樣本集對步驟4)得到的新的分類器進(jìn)行測試，若測試結(jié)果滿足用戶要求則結(jié)束樣本選擇，若所述測試結(jié)果不滿足用戶要求則回到步驟3)，重復(fù)步驟3) 5)， 直到分類器性能達(dá)到要求為止。本發(fā)明的另一目的在于提供一種基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇裝置，所述裝置包括訓(xùn)練樣本集形成模塊，其請求用戶從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；訓(xùn)練模塊，其利用已有訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過訓(xùn)練的分類器；判定模塊，其計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，根據(jù)計(jì)算結(jié)果挑選出一批在已有分類器中比較敏感的樣本；訓(xùn)練樣本集更新模塊，其將判斷模塊挑選出的比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集；測試模塊，利用測試樣本集對得到的分類器進(jìn)行測試。本發(fā)明具有如下有益效果(1)本方法在選擇訓(xùn)練樣本時采用了一種新穎的主動學(xué)習(xí)方法，相對于被動學(xué)習(xí)算法而言，所需選擇標(biāo)記的訓(xùn)練樣本數(shù)量大大減少，降低了標(biāo)記樣本所耗費(fèi)的時間和代價， 且有效提高了前向神經(jīng)網(wǎng)絡(luò)的分類效果。(2)根據(jù)本發(fā)明的樣本選擇方法及其裝置提出了一種基于敏感性的有效樣本選擇方法，通過挑選敏感性大的樣本點(diǎn)，來尋找在其周圍變化劇烈的樣本點(diǎn)，這些樣本點(diǎn)往往對訓(xùn)練分類器是重要的。通過這樣的方法可以有效減少需要標(biāo)記樣本點(diǎn)的數(shù)量，減少標(biāo)記的代價并提高分類器的性能。


圖1為多層感知機(jī)(Multi-layer perceptron, MLP)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。圖2為本發(fā)明具體實(shí)施方式
的基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法流程圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例來詳細(xì)說明本發(fā)明。現(xiàn)以多層感知機(jī)神經(jīng)網(wǎng)絡(luò)為例，說明根據(jù)本發(fā)明的前向神經(jīng)網(wǎng)絡(luò)樣本選擇方法。 然而，本領(lǐng)域的技術(shù)人員應(yīng)理解，本發(fā)明不限于MLP神經(jīng)網(wǎng)絡(luò)，而是可以應(yīng)用于其它前向神經(jīng)網(wǎng)絡(luò)。MLP是一種全連接的前向神經(jīng)網(wǎng)絡(luò)，適用于目標(biāo)的分類。MLP的結(jié)構(gòu)如圖1所示， 它是一種三層前向網(wǎng)絡(luò)輸入層MA由輸入模式節(jié)點(diǎn)組成，Xi表示輸入模式向量的第i個分量(i = 1，2，...，η)；第二層是隱含層MB，它由m個節(jié)點(diǎn)b」(j = 1，2，...，m)組成。第三層是輸出層MC，它由ρ個節(jié)點(diǎn)ck (k = 1,2,... ,ρ)組成。在訓(xùn)練之前需要對輸入向量的每個元素規(guī)范化，這里將每個元素規(guī)范化到[-1， 1]。
對于上述MLP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在這里采用標(biāo)準(zhǔn)BP算法。下面我們定義上述神經(jīng)網(wǎng)絡(luò)的敏感性，這樣的定義可以很容易地推廣到其它前向神經(jīng)網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，它的映射關(guān)系也就確定了。設(shè)映射關(guān)系函數(shù)為F(X)(其中X為輸入向量)，定義S (X) = E (I IF (Χ+ Δ ) -F (X) | |2)(1)為該神經(jīng)網(wǎng)絡(luò)在輸入X處的敏感性。Δ是一個每個元素在[_h，h]上服從均勻分布的隨機(jī)向量，其中h是一個小的正數(shù)，經(jīng)驗(yàn)取值為0.01 0.05。I I · I I2是求取·的歐幾里德范數(shù)算符。E為求取期望的算符。由敏感性定義可以看出，神經(jīng)網(wǎng)絡(luò)在某一點(diǎn)的敏感性可以度量神經(jīng)網(wǎng)絡(luò)在這一點(diǎn)周圍變化的劇烈程度。我們認(rèn)為，周圍變化劇烈的樣本點(diǎn)可以對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練帶來更多信息，因此更有價值。如圖2所示為本發(fā)明基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法流程圖。在步驟SlOl中，從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本，并對這些樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集。在具體實(shí)施中，上述一小部分一般不超過5%。在步驟S103中，利用所述訓(xùn)練樣本集訓(xùn)練所述MLP神經(jīng)網(wǎng)絡(luò)，從而得到經(jīng)訓(xùn)練的分類器。在步驟S105中，利用所述經(jīng)訓(xùn)練的分類器計(jì)算所有未標(biāo)記樣本的敏感性，并根據(jù)敏感性從大到小對樣本進(jìn)行排序。在步驟S107中，對排序的樣本取前若干個進(jìn)行人工標(biāo)記，并把這部分樣本加入到原有訓(xùn)練樣本集，形成新的訓(xùn)練樣本集。在步驟S109中，利用所述新的訓(xùn)練樣本集訓(xùn)練所述MLP神經(jīng)網(wǎng)絡(luò)，從而得到新的分類器。在步驟Slll中，利用測試樣本集對步驟S109得到的新的分類器進(jìn)行測試，若測試結(jié)果滿足用戶要求則結(jié)束樣本選擇，若所述測試結(jié)果不滿足用戶要求則回到步驟S105，重復(fù)步驟S105 S111，直到分類器性能達(dá)到要求為止。為了盡快得到準(zhǔn)確度較高的分類邊界，通過步驟Slll可以進(jìn)入一個循環(huán)過程，每次對敏感度較大的一部分樣本進(jìn)行人工標(biāo)記，并將其加入訓(xùn)練樣本集中，然后使用新的訓(xùn)練樣本集訓(xùn)練出新的分類器。再用測試集對其測試，得到一個新的測試結(jié)果。如果該測試結(jié)果已經(jīng)滿足用戶要求則停止樣本選擇和主動學(xué)習(xí)，反之，則進(jìn)入下一輪的循環(huán)過程?，F(xiàn)描述根據(jù)本發(fā)明的基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇裝置。所述裝置包括訓(xùn)練樣本集形成模塊，其請求用戶從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；訓(xùn)練模塊，其利用已有訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過訓(xùn)練的分類器；判定模塊，其計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，根據(jù)計(jì)算結(jié)果挑選出一批在已有分類器中比較敏感的樣本；訓(xùn)練樣本集更新模塊，其將判斷模塊挑選出的比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集；測試模塊，利用測試樣本集對得到的分類器進(jìn)行測試。上述裝置的工作過程是A、首先，訓(xùn)練樣本集形成模塊請求用戶從未經(jīng)訓(xùn)練的樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成樣本訓(xùn)練集；B、然后，訓(xùn)練模塊利用所述樣本訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而得到經(jīng)過訓(xùn)練的分類器；C、接著，判定模塊計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，并根據(jù)計(jì)算結(jié)果挑選出一批在已有分類器中比較敏感的樣本；D、接著，訓(xùn)練樣本集更新模塊將判斷模塊挑選出的比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集；E、接著，訓(xùn)練模塊再利用新的訓(xùn)練樣本集重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到新的分類器；F、最后，測試模塊利用測試樣本集對得到的新的分類器進(jìn)行測試。若測試結(jié)果滿足用戶要求則結(jié)束樣本選擇，若測試結(jié)果不滿足用戶要求，則回到步驟C，重復(fù)步驟C F， 直到分類器性能達(dá)到要求為止。
權(quán)利要求
1.一種基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法，其特征在于包括以下步驟1)從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；2)利用訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過訓(xùn)練的分類器；3)計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，利用敏感性得到一批在已有分類器中比較敏感的樣本；4)將所得比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集，并利用新的訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到新的分類器；5)利用測試樣本集對步驟4)得到的新的分類器進(jìn)行測試，若測試結(jié)果滿足用戶要求則結(jié)束樣本選擇，若所述測試結(jié)果不滿足用戶要求則回到步驟3)，重復(fù)步驟3)飛)，直到分類器性能達(dá)到要求為止。
2.一種基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇裝置，其特征在于包括訓(xùn)練樣本集形成模塊，其請求用戶從未經(jīng)標(biāo)記的訓(xùn)練樣本中隨機(jī)選取一小部分樣本進(jìn)行標(biāo)記以形成訓(xùn)練樣本集；訓(xùn)練模塊，其利用已有訓(xùn)練樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到經(jīng)過訓(xùn)練的分類器；判定模塊，其計(jì)算未經(jīng)標(biāo)記的樣本在已有分類器下的敏感性，根據(jù)計(jì)算結(jié)果挑選出一批在已有分類器中比較敏感的樣本；訓(xùn)練樣本集更新模塊，其將判斷模塊挑選出的比較敏感的樣本加入到已有訓(xùn)練樣本集中，得到新的訓(xùn)練樣本集；測試模塊，利用測試樣本集對得到的分類器進(jìn)行測試。
全文摘要
本發(fā)明公開了一種基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇方法，屬于智能科學(xué)與技術(shù)中的機(jī)器學(xué)習(xí)領(lǐng)域，該方法以敏感性為基準(zhǔn)，通過挑選敏感性大的樣本點(diǎn)，來尋找在其周圍變化劇烈的樣本點(diǎn)，這些樣本點(diǎn)往往對訓(xùn)練分類器是重要的。本發(fā)明還公開了基于主動學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樣本選擇裝置。本發(fā)明可以有效減少需要標(biāo)記樣本點(diǎn)的數(shù)量，減少標(biāo)記的代價并提高分類器的性能。
文檔編號G06N3/08GK102496061SQ20111038070
公開日2012年6月13日 申請日期2011年11月25日 優(yōu)先權(quán)日2011年11月25日
發(fā)明者儲榮, 王敏 申請人:河海大學(xué)