本發(fā)明涉及仿生網(wǎng)絡(luò)計(jì)算領(lǐng)域，具體涉及一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)。
背景技術(shù)：
：人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork)是一種仿生網(wǎng)絡(luò)，通過(guò)模仿生物大腦的中樞神經(jīng)系統(tǒng)，建立具有函數(shù)估計(jì)和分析的數(shù)學(xué)模型或計(jì)算模型，通常運(yùn)用在機(jī)器學(xué)習(xí)和認(rèn)知學(xué)習(xí)等領(lǐng)域。多層感知機(jī)(MultilayerPerception)，也叫前向傳播網(wǎng)絡(luò)，第一次是在1974年由PaulJ.Werbos在其博士論文中提出，是一種典型深度學(xué)習(xí)的結(jié)構(gòu)，包含輸入層，輸出層和隱藏層。隱藏層的層數(shù)和復(fù)雜程度決定了網(wǎng)絡(luò)的能力，而過(guò)于復(fù)雜的網(wǎng)絡(luò)又容易產(chǎn)生過(guò)擬合的現(xiàn)象，如何正確設(shè)計(jì)隱藏層是深度學(xué)習(xí)的難點(diǎn)。近年來(lái)，深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)不斷加“深”——其隱藏層越來(lái)越多，在降低了錯(cuò)誤率的同時(shí)，卻也暴露除了另一個(gè)問(wèn)題——退化問(wèn)題，過(guò)量的隱藏層堆疊容易使得錯(cuò)誤率重新變高。在此基礎(chǔ)上，殘差網(wǎng)絡(luò)是一種有效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)shortcut連接層與層，使得部分信息可以直接傳遞，提高了網(wǎng)絡(luò)的準(zhǔn)確度。最重要的是，該網(wǎng)絡(luò)結(jié)構(gòu)使得更深的神經(jīng)網(wǎng)絡(luò)變得可行，在實(shí)驗(yàn)過(guò)程中，網(wǎng)絡(luò)甚至可以達(dá)到千層以上。殘差網(wǎng)絡(luò)優(yōu)越的特性，使得其越來(lái)越多的被使用在生產(chǎn)當(dāng)中，其良好的性能在計(jì)算機(jī)視覺(jué)方面取得了相當(dāng)?shù)某晒?。然而在使用過(guò)程中，殘差網(wǎng)絡(luò)往往結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork)使用，卷積操作和反向傳播過(guò)程中的鏈?zhǔn)角髮?dǎo)會(huì)導(dǎo)致訓(xùn)練過(guò)程中產(chǎn)生大量的計(jì)算；同時(shí)，卷積本身的特點(diǎn)使得其更適用于對(duì)圖像的操作，然而對(duì)于其他諸如語(yǔ)音信號(hào)，自然語(yǔ)言處理等領(lǐng)域，效果要略顯薄弱。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的以上問(wèn)題，提供一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，本發(fā)明是一種以殘差網(wǎng)絡(luò)為基礎(chǔ)，計(jì)算量較小、較為準(zhǔn)確的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，能夠更好地在除了圖像以外的更多領(lǐng)域的應(yīng)用。為實(shí)現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過(guò)以下技術(shù)方案實(shí)現(xiàn)：一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，殘差神經(jīng)網(wǎng)絡(luò)搭建一個(gè)信息傳遞快速通道，訓(xùn)練過(guò)程保持原始信息，在殘差神經(jīng)網(wǎng)絡(luò)中存在內(nèi)協(xié)變量偏移，在殘差神經(jīng)網(wǎng)絡(luò)中引入BN方法，對(duì)于每一個(gè)神經(jīng)元的輸入加入?yún)?shù)和每個(gè)神經(jīng)元的輸入為：其中，是采用標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的直線(xiàn)型無(wú)量綱化函數(shù)，表示為μ和σ分別代表輸入分布的期望值和標(biāo)準(zhǔn)差；基于參差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)包括了若干網(wǎng)絡(luò)模塊結(jié)構(gòu)，采用全連接的方式代替殘差神經(jīng)網(wǎng)絡(luò)中的卷積，所述網(wǎng)絡(luò)模塊結(jié)構(gòu)中神經(jīng)元結(jié)構(gòu)通過(guò)每一個(gè)隱藏層的輸出來(lái)得到完整殘差模塊的輸出，其中，每一個(gè)隱藏層的輸出為si＝ReLU[BN(neti)](3)完整的參差模塊的輸出為oi＝ReLU[BN(neti+1)+neti](4)優(yōu)選地，當(dāng)所述殘差模塊的輸入和輸出的維度不同，采用全連接調(diào)整輸入的維度，使得殘差模塊運(yùn)行。優(yōu)選地，所述殘差模塊數(shù)據(jù)集訓(xùn)練的準(zhǔn)確率達(dá)98％。本發(fā)明的有益效果是:本發(fā)明是一種以殘差網(wǎng)絡(luò)為基礎(chǔ)，計(jì)算量較小、比較準(zhǔn)確的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，能夠更好地使用在除了圖像以外的更多領(lǐng)域的應(yīng)用。本發(fā)明的人工神經(jīng)網(wǎng)絡(luò)克服傳統(tǒng)殘差網(wǎng)絡(luò)依賴(lài)于卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)致的計(jì)算代價(jià)大，適用范圍窄，提出以多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)為載體的殘差模型，該模型在深度學(xué)習(xí)中具有更廣泛的適用性，可以應(yīng)用在不限于圖像領(lǐng)域的其他各個(gè)領(lǐng)域。減少計(jì)算量，加快了深度學(xué)習(xí)模型訓(xùn)練過(guò)程，在應(yīng)用過(guò)程中有更好的優(yōu)勢(shì)；應(yīng)用范圍廣，可以廣泛應(yīng)用于語(yǔ)音識(shí)別，自然語(yǔ)言處理，心電圖監(jiān)測(cè)等領(lǐng)域。上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說(shuō)明如后。本發(fā)明的具體實(shí)施方式由以下實(shí)施例及其附圖詳細(xì)給出。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明殘差網(wǎng)絡(luò)結(jié)構(gòu)圖；圖2是本發(fā)明神經(jīng)元結(jié)構(gòu)圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。實(shí)施例本實(shí)施例中公開(kāi)了一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常是直接傳遞的方式，包括多層感知機(jī)，卷積神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的多層感知機(jī)由一個(gè)或多個(gè)隱藏層組成，每個(gè)隱藏層包含多個(gè)神經(jīng)元，假設(shè)第i層神經(jīng)元的輸入為neti，j，輸出為si，j，那么可以得到si，j＝f(neti，j)(6)其中，n是前一層直接連接該神經(jīng)元的神經(jīng)元個(gè)數(shù)，常量bi，j代表了輸入的偏置。我們通過(guò)激活函數(shù)f賦予每一層線(xiàn)性或者非線(xiàn)性特征。對(duì)于輸出層，我們預(yù)測(cè)的結(jié)果是f(x(i)；W)，目標(biāo)標(biāo)簽是y(i)，假如采用平方和誤差求取其損失函數(shù)，可以得到：那么只需要最小化該損失函數(shù)即可。采取反向傳播算法(BackPropagation)來(lái)訓(xùn)練每一層的權(quán)重和偏置，從而使得損失函數(shù)最小。其中，為了克服數(shù)據(jù)量過(guò)大而導(dǎo)致訓(xùn)練過(guò)于緩慢的現(xiàn)象，采用mini-batch梯度下降法，從原始數(shù)據(jù)中提取固定大小的batch數(shù)據(jù)進(jìn)行訓(xùn)練，從而保證了訓(xùn)練的高效性。反向傳播算法可以表示為下述過(guò)程1.激勵(lì)傳播：(1)前向傳播階段以獲得激勵(lì)響應(yīng)；(2)反向傳播階段以獲得響應(yīng)誤差。2.權(quán)重更新：(1)將輸入激勵(lì)和響應(yīng)誤差相乘，從而獲得權(quán)重的梯度；(2)將這個(gè)梯度乘上一個(gè)比例并取反后加到權(quán)重上。隨著計(jì)算機(jī)性能的發(fā)展，更復(fù)雜，更深層的神經(jīng)網(wǎng)絡(luò)開(kāi)始發(fā)揮巨大潛力。然而，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越深的同時(shí)，伴隨著退化問(wèn)題——過(guò)多的網(wǎng)絡(luò)層數(shù)可能會(huì)導(dǎo)致訓(xùn)練效果的下降。在此基礎(chǔ)上，殘差網(wǎng)絡(luò)通過(guò)shortcut構(gòu)建identitymapping，搭建了一個(gè)信息傳遞的快速通道，使得訓(xùn)練過(guò)程更能保持原始信息的特征。參照?qǐng)D1所示，本實(shí)施例中公開(kāi)了一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，殘差神經(jīng)網(wǎng)絡(luò)搭建一個(gè)信息傳遞快速通道，訓(xùn)練過(guò)程保持原始信息，在殘差神經(jīng)網(wǎng)絡(luò)中存在內(nèi)協(xié)變量偏移，在殘差神經(jīng)網(wǎng)絡(luò)中引入BN方法，對(duì)于每一個(gè)神經(jīng)元的輸入加入?yún)?shù)和每個(gè)神經(jīng)元的輸入為：其中，是采用標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的直線(xiàn)型無(wú)量綱化函數(shù)，表示為μ和σ分別代表輸入分布的期望值和標(biāo)準(zhǔn)差。在本實(shí)施例中，重新設(shè)計(jì)了殘差網(wǎng)絡(luò)的網(wǎng)絡(luò)模塊結(jié)構(gòu)，規(guī)避了卷積操作，同時(shí)舍棄了池化操作。池化操作一般是跟隨在卷機(jī)操作獲得特征之后，將特征進(jìn)行聚合統(tǒng)計(jì)，計(jì)算圖像上某一區(qū)域的特征均值或者最大值(視情況而定)。池化操作在一定程度上降低了卷積神經(jīng)網(wǎng)絡(luò)的特征維度，同時(shí)有效的抑制了過(guò)擬合。但是，池化操作也會(huì)帶來(lái)一定的信息丟失。本實(shí)施例中使用全連接的方式來(lái)替代原來(lái)殘差網(wǎng)絡(luò)中的卷積，本文提出的神經(jīng)元結(jié)構(gòu)如圖2所示：基于參差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)包括了若干網(wǎng)絡(luò)模塊結(jié)構(gòu)，采用全連接的方式代替殘差神經(jīng)網(wǎng)絡(luò)中的卷積，所述網(wǎng)絡(luò)模塊結(jié)構(gòu)中神經(jīng)元結(jié)構(gòu)通過(guò)每一個(gè)隱藏層的輸出來(lái)得到完整殘差模塊的輸出，其中，每一個(gè)隱藏層的輸出為si＝ReLU[BN(neti)](3)完整的參差模塊的輸出為oi＝ReLU[BN(neti+1)+neti](4)當(dāng)所述殘差模塊的輸入和輸出的維度不同，采用完全連接調(diào)整輸入的維度，使得殘差模塊運(yùn)行。人工神經(jīng)網(wǎng)絡(luò)克服傳統(tǒng)殘差網(wǎng)絡(luò)依賴(lài)于卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)致的計(jì)算代價(jià)大，適用范圍窄，提出以多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)為載體的殘差模型，該模型在深度學(xué)習(xí)中具有更廣泛的適用性，可以應(yīng)用在不限于圖像領(lǐng)域的其他各個(gè)領(lǐng)域。減少計(jì)算量，加快了深度學(xué)習(xí)模型訓(xùn)練過(guò)程，在應(yīng)用過(guò)程中有更好的優(yōu)勢(shì)；應(yīng)用范圍廣，可以廣泛應(yīng)用于語(yǔ)音識(shí)別，自然語(yǔ)言處理，心電圖監(jiān)測(cè)等領(lǐng)域。為了驗(yàn)證上述結(jié)構(gòu)的有效性，本實(shí)施例中設(shè)計(jì)了基于MNIST數(shù)據(jù)集的實(shí)驗(yàn),采用堆疊5層本發(fā)明的殘差模型的結(jié)構(gòu)，訓(xùn)練結(jié)果如表1表1訓(xùn)練結(jié)果UnitEpochBatchsizeAccuracy(％)10212895.703120212897.265630212897.656240212898.828150212898.0469實(shí)驗(yàn)結(jié)果表面，隨著網(wǎng)絡(luò)單元數(shù)目增加，系統(tǒng)的準(zhǔn)確率也逐步提升，可以達(dá)到較好的98％。本實(shí)施例是一種以殘差網(wǎng)絡(luò)為基礎(chǔ)，計(jì)算量較小、比較準(zhǔn)確的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)，能夠更好地在除了圖像以外的更多領(lǐng)域的應(yīng)用。對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專(zhuān)業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。當(dāng)前第1頁(yè)1 2 3