一種深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法，屬于模式識別與機(jī)器學(xué)習(xí)領(lǐng)域。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個方面，一方面它的神經(jīng)元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的(即相同的)。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。卷積神經(jīng)網(wǎng)絡(luò)又是一種為識別二維圖像而特殊設(shè)計的多層感知器，具有良好的容錯能力、并行處理能力和自學(xué)習(xí)能力，可處理環(huán)境信息復(fù)雜、推理規(guī)則不明確等復(fù)雜情況下的模式識別問題。當(dāng)前針對卷積神經(jīng)網(wǎng)絡(luò)的研究主要集中在兩大方面：(1)卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用方法研究；(2)卷積神經(jīng)網(wǎng)絡(luò)的理論方法研究。

關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用方法研究：2012年，hinton等人使用并行化手段實現(xiàn)了更深層次的卷積神經(jīng)網(wǎng)絡(luò)，在imagenet競賽上取得了前所未有的成功，實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)對自然圖像的識別，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)研究者的信心。此后，基于7層深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了文檔圖像識別；基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了無參考圖像質(zhì)量評價、人臉識別、表情識別等等。

關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建理論研究：2013年，sun(ysun,xwang,xtang.hybriddeeplearningforfaceverification.proc.ofieeeinternationalconferenceoncomputervision,2013:1489-1496.)等融合卷積神經(jīng)網(wǎng)絡(luò)和受限玻爾茲曼機(jī)提出一種混合深度學(xué)習(xí)策略，在復(fù)雜非受控條件下的人臉識別中作用明顯。zou(jzou，qwu，ytan，fwuanalysisrangeofcoefficientsinlearningratemethodsofconvolutionneuralnetwork,internationalsymposiumondistributedcomputing&applicationsforbusinessengineering&science2015:513-517.)等則針對卷積神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)率取值范圍開展了研究和分析，在最優(yōu)取值下，獲得了更小的錯誤率和更好的訓(xùn)練速度。

但目前，現(xiàn)有技術(shù)中的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)存在過度依賴人為經(jīng)驗、網(wǎng)絡(luò)深度和特征圖個數(shù)難以確定、訓(xùn)練難度大等缺點，數(shù)據(jù)樣本和網(wǎng)絡(luò)模型之間的關(guān)聯(lián)性較弱。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：克服現(xiàn)有技術(shù)的不足，提供一種增強(qiáng)數(shù)據(jù)樣本和網(wǎng)絡(luò)模型之間關(guān)聯(lián)性，降低對人為經(jīng)驗的依賴性，訓(xùn)練難度小的深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：該深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法，其特征在于：包括以下步驟，

1)、卷積神經(jīng)網(wǎng)絡(luò)模型初始化，初始網(wǎng)絡(luò)模型只設(shè)置一條支路，該支路上包含輸入層、卷積層、池化層和全連接層，且每層僅包含一幅特征圖；

2)、以卷積神經(jīng)網(wǎng)絡(luò)的收斂速度為評價指標(biāo)，對網(wǎng)絡(luò)進(jìn)行端到端的全局?jǐn)U展學(xué)習(xí)，直到卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差達(dá)到預(yù)設(shè)期望值，則全局網(wǎng)絡(luò)擴(kuò)展結(jié)束；

3)、全局?jǐn)U展后，采用交叉驗證樣本對網(wǎng)絡(luò)性能進(jìn)行評估，采用交叉驗證樣本測試所得網(wǎng)絡(luò)的識別率，若識別率未達(dá)到期望值，則對網(wǎng)絡(luò)展開局部擴(kuò)展學(xué)習(xí)，直到交叉驗證樣本的識別率達(dá)到預(yù)設(shè)期望值后，停止局部網(wǎng)絡(luò)學(xué)習(xí)；

4)、保留擴(kuò)充式擴(kuò)展學(xué)習(xí)訓(xùn)練得到的網(wǎng)絡(luò)訓(xùn)練結(jié)果，針對新追加的訓(xùn)練樣本，增加新的增量式端到端擴(kuò)展學(xué)習(xí)支路，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的增量擴(kuò)展學(xué)習(xí)，以系統(tǒng)平均誤差達(dá)到期望值為訓(xùn)練結(jié)束的標(biāo)志，最終實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建。

改變傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建思路，采用初始化網(wǎng)絡(luò)模型，擴(kuò)充式擴(kuò)展網(wǎng)絡(luò)模型及增量式擴(kuò)展網(wǎng)絡(luò)模型三大步，逐步顯現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的模型的構(gòu)建。其中，可根據(jù)參與訓(xùn)練樣本的情況按需添加神經(jīng)元，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的擴(kuò)充式擴(kuò)展和增量式擴(kuò)展，直到獲取最優(yōu)分類結(jié)果或滿足預(yù)設(shè)條件。本發(fā)明的構(gòu)建方法的構(gòu)建思想能夠克服傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)過度依賴人為經(jīng)驗、網(wǎng)絡(luò)深度和特征圖個數(shù)難以確定、訓(xùn)練難度大等缺點，實現(xiàn)了網(wǎng)絡(luò)模型與樣本數(shù)據(jù)的直接關(guān)聯(lián)。增強(qiáng)了數(shù)據(jù)樣本和網(wǎng)絡(luò)模型之間的關(guān)聯(lián)性，實現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)增量學(xué)習(xí)，在網(wǎng)絡(luò)訓(xùn)練時間和識別效果上展現(xiàn)出較好的優(yōu)越性。

全局?jǐn)U展后，網(wǎng)絡(luò)模型并未達(dá)到最優(yōu)的識別性能。當(dāng)不同批次交叉驗證樣本的識別率趨于某一個穩(wěn)定值，且此穩(wěn)定值為非理想狀態(tài)時，需要構(gòu)建形成新的局部支路，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的局部擴(kuò)展學(xué)習(xí)，用于提高網(wǎng)絡(luò)識別精度。卷積神經(jīng)網(wǎng)絡(luò)模型的增量式擴(kuò)展是針對新追加的訓(xùn)練樣本，在保留已有訓(xùn)練結(jié)果的基礎(chǔ)上，通過拓展新的端到端全局支路的方式，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)增量學(xué)習(xí)，降低了訓(xùn)練開銷，實現(xiàn)了預(yù)期識別效果。

步驟1)的網(wǎng)絡(luò)深度設(shè)置為5層，所述的卷積層和池化層分別設(shè)有兩個，全連接層設(shè)有一個，卷積層和池化層交錯設(shè)置。

步驟2)所述的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差小于預(yù)設(shè)期望值時，對當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)展開端到端的全局?jǐn)U展訓(xùn)練學(xué)習(xí)，擴(kuò)展出新的端到端支路，網(wǎng)絡(luò)深度變?yōu)?層。全局?jǐn)U展訓(xùn)練學(xué)習(xí)是以網(wǎng)絡(luò)的收斂速度作為評價指標(biāo)，從網(wǎng)絡(luò)的輸入端到輸出端進(jìn)行端到端的全局?jǐn)U展學(xué)習(xí)，直到卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差達(dá)到預(yù)設(shè)期望值。

在擴(kuò)展所述的新的端到端支路前，應(yīng)先保留已訓(xùn)練完成的初試網(wǎng)絡(luò)的卷積層和池化層的相關(guān)參數(shù)及其輸出層的輸出結(jié)果。

擴(kuò)展出的新的端到端支路與步驟1)所述的初試網(wǎng)絡(luò)相同或相近，且在網(wǎng)絡(luò)輸出層產(chǎn)生新的輸出，最后的輸出層添加一個新的全連接層，將兩條端到端支路和支路的輸出融合到一起，并獲得最終輸出結(jié)果。

步驟3)所述的對網(wǎng)絡(luò)展開局部擴(kuò)展學(xué)習(xí)，即當(dāng)不同批次交叉驗證樣本的識別率趨于一個穩(wěn)定值，且此穩(wěn)定值為非理想狀態(tài)時，構(gòu)建形成新的局部支路，并對已有網(wǎng)絡(luò)的分支在第一級池化層進(jìn)行局部融合。

卷積神經(jīng)網(wǎng)絡(luò)模型的局部擴(kuò)展學(xué)習(xí)采用交叉驗證樣本測試當(dāng)前網(wǎng)絡(luò)識別率，當(dāng)識別率未達(dá)到期望值時，對已有網(wǎng)絡(luò)的分支從第一級池化層進(jìn)行局部融合，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的局部擴(kuò)展學(xué)習(xí)，直到交叉驗證樣本的識別率達(dá)到預(yù)設(shè)期望值后停止局部網(wǎng)絡(luò)學(xué)習(xí)。

所述的局部擴(kuò)展之前，需保存已經(jīng)完成的全局?jǐn)U展模型的相關(guān)權(quán)重參數(shù)以及網(wǎng)絡(luò)輸出層的輸出值，在訓(xùn)練局部支路時，將全局?jǐn)U展模型中池化層的特征圖作為輸入，將全局?jǐn)U展和局部擴(kuò)展的輸出融合到一起，得到最終的輸出結(jié)果。

步驟3)所述的局部擴(kuò)展后，形成兩個全連接層，網(wǎng)絡(luò)深度擴(kuò)展為7層。

步驟4)所述的增量式擴(kuò)展學(xué)習(xí)訓(xùn)練后，網(wǎng)絡(luò)深度擴(kuò)展為8層。

與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果是：本發(fā)明提供了一種深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法，改變傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建思路，采用初始化網(wǎng)絡(luò)模型，擴(kuò)充式擴(kuò)展網(wǎng)絡(luò)模型及增量式擴(kuò)展網(wǎng)絡(luò)模型三大步，逐步顯現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的模型的構(gòu)建。其中，可根據(jù)參與訓(xùn)練樣本的情況按需添加神經(jīng)元，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的擴(kuò)充式擴(kuò)展和增量式擴(kuò)展，直到獲取最優(yōu)分類結(jié)果或滿足預(yù)設(shè)條件。本發(fā)明的構(gòu)建方法的構(gòu)建思想能夠克服傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)過度依賴人為經(jīng)驗、網(wǎng)絡(luò)深度和特征圖個數(shù)難以確定、訓(xùn)練難度大等缺點，實現(xiàn)了網(wǎng)絡(luò)模型與樣本數(shù)據(jù)的直接關(guān)聯(lián)。增強(qiáng)了數(shù)據(jù)樣本和網(wǎng)絡(luò)模型之間的關(guān)聯(lián)性，實現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)增量學(xué)習(xí)，在網(wǎng)絡(luò)訓(xùn)練時間和識別效果上展現(xiàn)出較好的優(yōu)越性。

全局?jǐn)U展后，網(wǎng)絡(luò)模型并未達(dá)到最優(yōu)的識別性能。當(dāng)不同批次交叉驗證樣本的識別率趨于某一個穩(wěn)定值，且此穩(wěn)定值為非理想狀態(tài)時，需要構(gòu)建形成新的局部支路，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的局部擴(kuò)展學(xué)習(xí)，用于提高網(wǎng)絡(luò)識別精度。卷積神經(jīng)網(wǎng)絡(luò)模型的增量式擴(kuò)展是針對新追加的訓(xùn)練樣本，在保留已有訓(xùn)練結(jié)果的基礎(chǔ)上，通過拓展新的端到端全局支路的方式，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)增量學(xué)習(xí)，降低了訓(xùn)練開銷，實現(xiàn)了預(yù)期識別效果。

附圖說明

圖1為深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建流程圖。

圖2為卷積神經(jīng)網(wǎng)絡(luò)初始化結(jié)構(gòu)圖。

圖3為卷積神經(jīng)網(wǎng)絡(luò)全局?jǐn)U展學(xué)習(xí)結(jié)構(gòu)圖。

圖4為卷積神經(jīng)網(wǎng)絡(luò)局部擴(kuò)展學(xué)習(xí)結(jié)構(gòu)圖。

圖5為卷積神經(jīng)網(wǎng)絡(luò)增量式擴(kuò)展學(xué)習(xí)結(jié)構(gòu)圖。

其中，s1、s2為池化層，c1、c2為卷積層，a、b、c、d、e分別為端對端支路。

具體實施方式

圖1～5是本發(fā)明的最佳實施例，下面結(jié)合附圖1～5對本發(fā)明做進(jìn)一步說明。

參照附圖1～5：一種深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法，包括以下步驟，

1)、卷積神經(jīng)網(wǎng)絡(luò)模型初始化，初始網(wǎng)絡(luò)模型只設(shè)置一條支路，該支路上包含輸入層、卷積層、池化層和全連接層，且每層僅包含一幅特征圖；此時的網(wǎng)絡(luò)深度設(shè)置為5層，卷積層和池化層分別設(shè)有兩個，全連接層設(shè)有一個，卷積層和池化層交錯設(shè)置。

2)、以卷積神經(jīng)網(wǎng)絡(luò)的收斂速度為評價指標(biāo)，對網(wǎng)絡(luò)進(jìn)行端到端的全局?jǐn)U展學(xué)習(xí)，直到卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差達(dá)到預(yù)設(shè)期望值，則全局網(wǎng)絡(luò)擴(kuò)展結(jié)束；此步驟中的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差小于預(yù)設(shè)期望值時，對當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)展開端到端的全局?jǐn)U展訓(xùn)練學(xué)習(xí)，擴(kuò)展出新的端到端支路，網(wǎng)絡(luò)深度變?yōu)?層。在擴(kuò)展新的端到端支路前，應(yīng)先保留已訓(xùn)練完成的初試網(wǎng)絡(luò)的卷積層和池化層的相關(guān)參數(shù)及其輸出層的輸出結(jié)果。

3)、全局?jǐn)U展后，采用交叉驗證樣本對網(wǎng)絡(luò)性能進(jìn)行評估，采用交叉驗證樣本測試所得網(wǎng)絡(luò)的識別率，若識別率未達(dá)到期望值，則對網(wǎng)絡(luò)展開局部擴(kuò)展學(xué)習(xí)，直到交叉驗證樣本的識別率達(dá)到預(yù)設(shè)期望值后，停止局部網(wǎng)絡(luò)學(xué)習(xí)；中進(jìn)行局部擴(kuò)展后，形成兩個全連接層，網(wǎng)絡(luò)深度擴(kuò)展為7層。擴(kuò)展出的新的端到端支路與步驟1)初試網(wǎng)絡(luò)相同或相近，且在網(wǎng)絡(luò)輸出層產(chǎn)生新的輸出，最后的輸出層添加一個新的全連接層，將兩條端到端支路和支路的輸出融合到一起，并獲得最終輸出結(jié)果。對網(wǎng)絡(luò)展開局部擴(kuò)展學(xué)習(xí)，即當(dāng)不同批次交叉驗證樣本的識別率趨于一個穩(wěn)定值，且此穩(wěn)定值為非理想狀態(tài)時，構(gòu)建形成新的局部支路，并對已有網(wǎng)絡(luò)的分支在第一級池化層進(jìn)行局部融合。

4)、保留擴(kuò)充式擴(kuò)展學(xué)習(xí)訓(xùn)練得到的網(wǎng)絡(luò)訓(xùn)練結(jié)果，針對新追加的訓(xùn)練樣本，增加新的增量式端到端擴(kuò)展學(xué)習(xí)支路，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的增量擴(kuò)展學(xué)習(xí)，以系統(tǒng)平均誤差達(dá)到期望值為訓(xùn)練結(jié)束的標(biāo)志，最終實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建。進(jìn)行增量式擴(kuò)展學(xué)習(xí)訓(xùn)練后，網(wǎng)絡(luò)深度擴(kuò)展為8層。局部擴(kuò)展之前，需保存已經(jīng)完成的全局?jǐn)U展模型的相關(guān)權(quán)重參數(shù)以及網(wǎng)絡(luò)輸出層的輸出值，在訓(xùn)練局部支路時，將全局?jǐn)U展模型中池化層的特征圖作為輸入，將全局?jǐn)U展和局部擴(kuò)展的輸出融合到一起，得到最終的輸出結(jié)果。

本發(fā)明提供的深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建方法，具體構(gòu)建原理與計算過程如下：

首先，卷積神經(jīng)網(wǎng)絡(luò)模型初始化，將卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層和池化層設(shè)置為僅包含一張?zhí)卣鲌D；其次，以卷積神經(jīng)網(wǎng)絡(luò)的收斂速度為評價指標(biāo)，對網(wǎng)絡(luò)進(jìn)行端到端的全局?jǐn)U展學(xué)習(xí)，直到卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)平均誤差達(dá)到預(yù)設(shè)期望值，則全局網(wǎng)絡(luò)擴(kuò)展結(jié)束；然后，采用交叉驗證樣本測試所得網(wǎng)絡(luò)的識別率，若識別率未達(dá)到期望值，則對網(wǎng)絡(luò)展開局部擴(kuò)展學(xué)習(xí)，對已有網(wǎng)絡(luò)的分支在第一級池化層進(jìn)行局部融合，直到交叉驗證樣本的識別率達(dá)到預(yù)設(shè)期望值后停止局部網(wǎng)絡(luò)學(xué)習(xí)；最后，針對新追加的訓(xùn)練樣本，在保留原有訓(xùn)練結(jié)果的基礎(chǔ)上，通過拓展端到端全新支路的方式學(xué)習(xí)新知識，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的增量擴(kuò)展學(xué)習(xí)，最終實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建。

1、卷積神經(jīng)網(wǎng)絡(luò)模型初始化

結(jié)合圖2，在網(wǎng)絡(luò)結(jié)構(gòu)初始化時，初始網(wǎng)絡(luò)模型只有一條支路，將網(wǎng)絡(luò)深度設(shè)置為5層，包含兩個卷積層(c1、c2)、兩個池化層(s1、s2)和一個全連接層，且每層僅包含一幅特征圖。

2、卷積神經(jīng)網(wǎng)絡(luò)模型的端到端全局?jǐn)U展學(xué)習(xí)

當(dāng)收斂速度大于期望值時，不需要添加新的端到端全局支路和特征圖，訓(xùn)練直到系統(tǒng)平均誤差達(dá)到期望值，此時網(wǎng)絡(luò)為最優(yōu)網(wǎng)絡(luò)。當(dāng)收斂速度小于期望值時，該初始網(wǎng)絡(luò)結(jié)構(gòu)不能達(dá)到收斂，需要對當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)展開端到端的全局?jǐn)U展訓(xùn)練學(xué)習(xí)。結(jié)合圖3給出了端到端的全局?jǐn)U展網(wǎng)絡(luò)結(jié)構(gòu)圖。

網(wǎng)絡(luò)收斂速度定義為：

errhop-errcun≥t(1)

其中，errhop表示初始系統(tǒng)給定的期望平均誤差，errcun表示當(dāng)前系統(tǒng)的真實平均誤差，t為收斂速度的期望閾值，設(shè)定為0.1。

當(dāng)前系統(tǒng)平均誤差計算公式為：

其中，n為訓(xùn)練樣本總數(shù)，m為類別數(shù)(輸出層神經(jīng)元的個數(shù))，為第j幅訓(xùn)練樣本對應(yīng)的第i個神經(jīng)元的輸出，為訓(xùn)練樣本的真實類別標(biāo)簽，y和ylab是m×n的0、1二值矩陣。

在擴(kuò)展新的端到端支路前，應(yīng)先保留已訓(xùn)練完成的初試網(wǎng)絡(luò)a的卷積層和池化層的相關(guān)參數(shù)及其輸出層的輸出結(jié)果ya。新支路b與a結(jié)構(gòu)相似，且在網(wǎng)絡(luò)輸出層產(chǎn)生新的輸出yb，最后的輸出層添加一個新的全連接層，將支路a和支路b的輸出融合到一起，并獲得最終輸出結(jié)果。此時網(wǎng)絡(luò)深度變?yōu)?層，輸出結(jié)果為：

y＝f(ya+yb)(3)

其中，ya和yb是m×1的二值向量，表示激活函數(shù)。

3、卷積神經(jīng)網(wǎng)絡(luò)模型的局部擴(kuò)展學(xué)習(xí)

結(jié)合圖4，給出了卷積神經(jīng)網(wǎng)絡(luò)的分支在第一級池化層進(jìn)行局部融合的結(jié)構(gòu)示意圖。

全局?jǐn)U展后，網(wǎng)絡(luò)模型并未達(dá)到最優(yōu)的識別性能。采用交叉驗證樣本對網(wǎng)絡(luò)性能進(jìn)行評估，當(dāng)不同批次交叉驗證樣本的識別率趨于某一個穩(wěn)定值，且此穩(wěn)定值為非理想狀態(tài)時，需要構(gòu)建形成新的局部支路，實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的局部擴(kuò)展學(xué)習(xí)，用于提高網(wǎng)絡(luò)識別精度。

局部擴(kuò)展是對經(jīng)過一次卷積和池化之后的特征圖執(zhí)行卷積和融合運算。

首先，需保存已經(jīng)完成的全局?jǐn)U展模型的相關(guān)權(quán)重參數(shù)以及網(wǎng)絡(luò)輸出層的yglobal值。

在訓(xùn)練局部支路時，將全局?jǐn)U展模型中池化層s1的特征圖作為輸入，進(jìn)行特征融合，融合公式為：

c1local＝f(s1a*ka+s1b*kb)(4)

其中，c1local表示局部支路c1層的特征圖，s1a、s1b分別為全局支路a、b在s1層的特征圖，ka、kb為卷積核，融合方法采用簡單的求和運算。

然后，將全局的yglobal值疊加到局部支路的輸出層上，最后通過激勵函數(shù)輸出，公式為：

y＝f(yglobal+ylocal)(5)

經(jīng)過局部擴(kuò)展后，網(wǎng)絡(luò)中又添加一個全連接層，將全局?jǐn)U展和局部擴(kuò)展的輸出融合到一起，得到最終的輸出結(jié)果。此時網(wǎng)絡(luò)深度擴(kuò)展為7層。訓(xùn)練過程中，全局各支路網(wǎng)絡(luò)結(jié)構(gòu)固定，在bp算法中只更新局部支路的權(quán)值，直到交叉驗證樣本的識別率達(dá)到期望值，停止局部支路的訓(xùn)練學(xué)習(xí)。

4、卷積神經(jīng)網(wǎng)絡(luò)模型的增量式擴(kuò)展學(xué)習(xí)

首先保留擴(kuò)充式擴(kuò)展學(xué)習(xí)訓(xùn)練得到的網(wǎng)絡(luò)訓(xùn)練結(jié)果，對于新增的訓(xùn)練樣本，增加新的增量式端到端擴(kuò)展學(xué)習(xí)支路，結(jié)合圖5給出了增量式擴(kuò)展后網(wǎng)絡(luò)的結(jié)構(gòu)圖，增量式全局?jǐn)U展支路d。

利用新增樣本實現(xiàn)支路d的訓(xùn)練學(xué)習(xí)，訓(xùn)練方法與擴(kuò)充式全局端到端擴(kuò)展學(xué)習(xí)方法相似，以系統(tǒng)平均誤差達(dá)到期望值為訓(xùn)練結(jié)束的標(biāo)志。經(jīng)過增量式擴(kuò)展學(xué)習(xí)訓(xùn)練，網(wǎng)絡(luò)深度擴(kuò)展為8層，網(wǎng)絡(luò)總輸出為：

y＝f(yformer+ωnewynew)(6)

經(jīng)過以上四步即實現(xiàn)了深度卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建。

以上所述，僅是本發(fā)明的較佳實施例而已，并非是對本發(fā)明作其它形式的限制，任何熟悉本專業(yè)的技術(shù)人員可能利用上述揭示的技術(shù)內(nèi)容加以變更或改型為等同變化的等效實施例。但是凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與改型，仍屬于本發(fā)明技術(shù)方案的保護(hù)范圍。