灰色關(guān)聯(lián)分析法確定卷積神經(jīng)網(wǎng)絡(luò)隱層特征圖個數(shù)的方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明設(shè)及卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)中隱層特征圖個數(shù)確定的方法，特別是設(shè)及一 種確定卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)中隱層特征圖個數(shù)的灰色關(guān)聯(lián)分析法。
【背景技術(shù)】：
[0002] 卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，是基于多層監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的新型神經(jīng)網(wǎng) 絡(luò)，已成為語音分析和圖像識別領(lǐng)域上的熱點。由于它的權(quán)值共享特點，降低了網(wǎng)絡(luò)模型的 復(fù)雜度，減少了權(quán)值的數(shù)量。并且卷積神經(jīng)網(wǎng)絡(luò)通過將特征提取功能融合進分類器中，省略 識別前復(fù)雜的特征提取過程，因而被廣泛應(yīng)用于圖像識別、物體檢測與識別和目標跟蹤等。
[0003] 目前，已有研究人員將用于交通標志識別，并且取得了良好的效果，但是關(guān)于 CNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)定的論述較少，尤其是對網(wǎng)絡(luò)結(jié)構(gòu)中隱層特征圖個數(shù)的設(shè)計研究較少。 本發(fā)明面向交通標志識別使用C順的方法，同時，為了提高識別率和識別效率，需要對C順網(wǎng) 絡(luò)結(jié)構(gòu)中的參數(shù)進行優(yōu)化，運其中隱層特征圖個數(shù)對結(jié)果影響最大，如何確定隱層特征圖 個數(shù)是目前亟待解決的問題。
[0004] 本發(fā)明在網(wǎng)絡(luò)訓(xùn)練過程中基于灰色關(guān)聯(lián)分析法自動選擇對識別結(jié)果影響更大的 隱藏層特征圖，并W交通標志為對象進行識別及算法優(yōu)化研究。

【發(fā)明內(nèi)容】
：
[0005] 發(fā)明目的：
[0006] 本發(fā)明設(shè)及一種確定卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)中隱層特征圖個數(shù)的灰色關(guān)聯(lián)分析 法，其目的是通過確定網(wǎng)絡(luò)中隱層特征圖個數(shù)從而設(shè)計出最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)。 通過對交通標志數(shù)據(jù)庫進行實驗并驗證算法的可行性，最終實現(xiàn)對卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu) 的優(yōu)化，提高確定網(wǎng)絡(luò)結(jié)構(gòu)的效率。
[0007] 技術(shù)方案：
[000引本發(fā)明是通過W下技術(shù)方案來實現(xiàn)的：
[0009] -種灰色關(guān)聯(lián)分析法確定卷積神經(jīng)網(wǎng)絡(luò)隱層特征圖個數(shù)的方法，步驟如下：
[0010] (1)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)及其他相關(guān)參數(shù)：
[0011] 1)卷積核大小和網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)設(shè)定:卷積核算子是卷積時使用到的權(quán)值，可W用 一個矩陣MXN表示，該矩陣與使用的圖像區(qū)域大小相同，大部分在使用時是對稱的，如M= N，其行、列都是奇數(shù)，一般N=3、5、7。
[0012] 網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)是除輸入層和輸出層之外的卷積層數(shù)和子采樣層數(shù)的總和。神經(jīng)網(wǎng) 絡(luò)的層數(shù)在一定范圍內(nèi)增加，能有效提高識別率，但層數(shù)過多，不僅網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，同時會 使識別率降低。結(jié)合輸出特征圖簡單有代表性的特點，由訓(xùn)練樣本的尺寸和卷積核的大小 可決定網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)。
[0013] 2)權(quán)值初始化:權(quán)值初始化是卷積核神經(jīng)元和最后兩層之間的權(quán)值矩陣的初始 化。權(quán)值初始化對訓(xùn)練速度、輸出精度是有影響的，初始值范圍太大會導(dǎo)致無法訓(xùn)練，所W 權(quán)值初始值是在[-1,1]之間隨機取值，在后面的反向傳播過程中進行優(yōu)化，直到達到最優(yōu) 解。
[0014] 3)批量樣本數(shù)的設(shè)定:為了減少訓(xùn)練次數(shù)，提高實驗效率，可W采用分組的方式進 行訓(xùn)練，批量樣本數(shù)是每組中所含圖像的個數(shù)。
[001引在總實驗樣本一定的條件下，批量樣本數(shù)的個數(shù)越少，則訓(xùn)練批次越多，實驗識別 率越高，相應(yīng)時間越長;批量樣本數(shù)的個數(shù)越多，則訓(xùn)練批次越少，實驗識別率越低，相應(yīng)時 間越短。結(jié)合識別率和識別效率來選擇批量樣本數(shù)。
[0016] 4)迭代次數(shù)的設(shè)定:迭代次數(shù)是對整體訓(xùn)練圖像樣本的訓(xùn)練次數(shù)。訓(xùn)練的結(jié)束取 決于迭代次數(shù)的多少。
[0017] 迭代次數(shù)越少，識別率越低，相應(yīng)需要的時間越短;迭代次數(shù)越多，識別率越高，相 應(yīng)需要的時間越長，根據(jù)實驗，當(dāng)錯誤率曲線進入收斂區(qū)時，選擇剛進入收斂區(qū)的迭代次數(shù) 作為未來實驗的實驗標準。
[0018] 5)隱層特征圖個數(shù):是隱層中卷積層和子采樣層中包含的特征圖個數(shù)。設(shè)置合適 的隱層特征圖個數(shù)比選擇合適的網(wǎng)絡(luò)層數(shù)更適合提高效率，其訓(xùn)練過程更容易調(diào)整和改 進。
[0019] (2)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)：
[0020] 1)正向傳播:輸入樣本從輸入層傳入，經(jīng)卷積核濾波器、Sigmoid函數(shù)和可加偏置 后產(chǎn)生Cl層特征映射圖，該特征映射圖中每組四個像素取平均值得到S2層特征映射圖，運 些特征映射圖再經(jīng)過一次卷積和子采樣得到C3層和S4層，最終將S4層的像素 W全連接的方 式傳向輸出層。若輸出層的實際輸出與期望的輸出（標簽)不符，則將得到的誤差轉(zhuǎn)入反向 傳播階段。
[0021] 2)反向傳播:將輸出誤差通過反向隱藏層向輸入層反向傳播得到每層的誤差，利 用每層誤差和實際輸出得到權(quán)值和偏置變化量，即該誤差信號作為修改各單元權(quán)值的依 據(jù)。
[0022] 3)權(quán)值更新：利用誤差反向傳播所得到的權(quán)值和偏置變化量求得新的權(quán)值和偏 置，重新回到正向傳播，再次得到輸出，與期望輸出相減再次得到誤差，循環(huán)往復(fù)直到網(wǎng)絡(luò) 達到一定精度或規(guī)定的訓(xùn)練時間為止。
[0023] (3)灰色關(guān)聯(lián)分析法優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)隱層特征圖個數(shù)：
[0024] 假設(shè)卷積神經(jīng)網(wǎng)絡(luò)除去輸入層和輸出層共有n層網(wǎng)絡(luò)結(jié)構(gòu)（C1，S2，C3，S4……Cn-1 ,Sn)，子采樣層的特征圖個數(shù)與上一卷積層的特征圖個數(shù)相等，所W想要確定隱層特征圖 個數(shù)只需要確定卷積層特征圖個數(shù)(或者子采樣特征圖個數(shù)）。
[0025] (4)利用最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，并對灰色關(guān)聯(lián)分析法進行魯棒性測 試。
[0026] 步驟(3)中特征圖個數(shù)的確定步驟如下：
[0027] 求Sn層與整個網(wǎng)絡(luò)輸出之間關(guān)聯(lián)度排序：
[002引1)求關(guān)聯(lián)系數(shù)
[0029] 首先利用灰色關(guān)聯(lián)分析法計算出Sn層每個特征圖的輸出與整個網(wǎng)絡(luò)輸出之間的 關(guān)聯(lián)系數(shù)；
[0030] 設(shè)共有N個輸入圖像樣本，整個網(wǎng)絡(luò)的輸出y=(yi，y2,…，yN)為參考序列，每個特 征圖的輸出ti=(ti(l)，ti(2)，…，ti(N))(i = l，2,…，nn)為比較序列，參考序列與比較序列 之間的關(guān)聯(lián)系數(shù)公式如下：
(1)
[0032] 其中P為分辨系數(shù)，一般在0~1之間，通常取0.5。
[0033] 2)關(guān)聯(lián)度計算
[0034] 由于關(guān)聯(lián)系數(shù)是比較序列和參考序列在不同樣本下的關(guān)聯(lián)程度值，所W共有N個， 為了便于觀察比較，將所有樣本的關(guān)聯(lián)系數(shù)集中為一個值，即關(guān)聯(lián)度。可W通過求平均值的 方式計算。關(guān)聯(lián)度公式如下：
(2)
[0036] 若輸出為多個神經(jīng)元時，要取得上一層特征圖對輸出每個神經(jīng)元影響最大的特征 圖，所W要求出上一層特征圖對輸出每個神經(jīng)元關(guān)聯(lián)度的均值。
[0037] 3)關(guān)聯(lián)度排序
[0038] 對上一步取得的關(guān)聯(lián)度從大到小排序，即得到灰關(guān)聯(lián)度排序，而關(guān)聯(lián)度排在尾部 的特征圖對網(wǎng)絡(luò)輸出影響較小，可W認為該特征圖是可W忽略的，此時給定一個e，此處的 闊值自定義，將不滿足闊值的特征圖刪除再進行實驗，直到后續(xù)實驗的全部關(guān)聯(lián)度滿足闊 值則停止實驗，范圍在0~1之間。W此方法達到優(yōu)化網(wǎng)絡(luò)隱層特征圖數(shù)、提高網(wǎng)絡(luò)性能的效 果。
[0039] 求Sn-I層與化層之間之間關(guān)聯(lián)度排序：
[0040] 1)求關(guān)聯(lián)系數(shù)
[0041] 計算Sn-I層與化層之間的關(guān)聯(lián)系數(shù)，首先將Sn-I層與Cn層特征圖矩陣和它們之間 的權(quán)值矩陣提取出來，做成數(shù)據(jù)庫。Cn層的特征圖矩陣y=(yi，y2,…，yN)為參考序列，Sn-I 層特征圖矩陣經(jīng)過權(quán)值矩陣的輸出ti=(ti(l)，ti(2)，…，ti(N))(i = l，2,…，nn)為比較序 列，它們之間的關(guān)聯(lián)系數(shù)利用公式（1)計算得出Sn-I層與化層