1.一種基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò),通過(guò)殘差神經(jīng)網(wǎng)絡(luò)搭建一個(gè)信息傳遞快速通道,訓(xùn)練過(guò)程保持原始信息,在殘差神經(jīng)網(wǎng)絡(luò)中存在內(nèi)協(xié)變量偏移,在殘差神經(jīng)網(wǎng)絡(luò)中引入BN方法,對(duì)于每一個(gè)神經(jīng)元的輸入加入?yún)?shù)和每個(gè)神經(jīng)元的輸入為:
其中,是采用標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的直線型無(wú)量綱化函數(shù),表示為
μ和σ分別代表輸入分布的期望值和標(biāo)準(zhǔn)差;
基于參差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)包括了若干網(wǎng)絡(luò)模塊結(jié)構(gòu),采用全連接的方式代替殘差神經(jīng)網(wǎng)絡(luò)中的卷積,所述網(wǎng)絡(luò)模塊結(jié)構(gòu)中神經(jīng)元結(jié)構(gòu)通過(guò)每一個(gè)隱藏層的輸出來(lái)得到完整殘差模塊的輸出,
其中,每一個(gè)隱藏層的輸出為
si=ReLU[BN(neti)] (3)
完整的參差模塊的輸出為
oi=ReLU[BN(neti+1)+neti] (4)
2.根據(jù)權(quán)利要求1所述的基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò),其特征在于,當(dāng)所述殘差模塊的輸入和輸出的維度不同,采用完全連接調(diào)整輸入的維度,使得殘差模塊運(yùn)行。
3.根據(jù)權(quán)利要求1所述的基于殘差網(wǎng)絡(luò)的多層感知機(jī)人工神經(jīng)網(wǎng)絡(luò),其特征在于,所述殘差模塊在MNIST數(shù)據(jù)集上訓(xùn)練的準(zhǔn)確率達(dá)98%。