本發(fā)明涉及有干擾和變形的圖像識別方法，特別是涉及一種基于多列卷積神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法。
背景技術(shù)：
：：：計算機(jī)技術(shù)和信息技術(shù)的不斷發(fā)展使得計算機(jī)智能化圖像識別技術(shù)得到了越來越廣泛的應(yīng)用。計算機(jī)智能化圖像識別技術(shù)可以快速地獲得所需要的信息從而幫助人們更好地思考和決策。實景圖像識別如交通標(biāo)志識別、人臉識別、火災(zāi)火焰識別等有重要意義，也因采集圖像條件的隨時變化比印刷體文字識別更具不確定性。本發(fā)明提供了一種基于多列深度神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，無需預(yù)先進(jìn)行復(fù)雜的特征提取，避免了樣本特征提取不足或不精確導(dǎo)致的識別失敗。圖像識別方法種類繁多，但有缺陷、有噪聲、環(huán)境變化大、拍攝角度不確定的實景圖像識別一直難度較大。如作為智能駕駛系統(tǒng)的重要組成部分的交通標(biāo)志識別，是圖像識別、機(jī)器視覺等多學(xué)科交叉研究的典型應(yīng)用，也是智能駕駛系統(tǒng)研究領(lǐng)域中尚未解決的難題之一，是難度較大的實景圖像識別。因此，近年來，如何高效地對交通標(biāo)志進(jìn)行識別已成為學(xué)術(shù)研究和工業(yè)應(yīng)用的熱點課題。作為智能交通系統(tǒng)的重要組成部分，交通標(biāo)志識別系統(tǒng)在增強(qiáng)機(jī)動車與行人安全性等方面起著重要作用。傳統(tǒng)交通標(biāo)志識別系統(tǒng)包括對交通標(biāo)志的檢測、定位、特征提取和識別，目前對交通標(biāo)志的檢測和定位研究相對成熟，而特征提取和識別方面的研究尚有待深入。應(yīng)用于交通標(biāo)志識別的方法主要有統(tǒng)計模式識別、模板匹配法、機(jī)器學(xué)習(xí)等，典型代表有：統(tǒng)計分析類的最近鄰域法、相似系數(shù)法、聚類分析法、決策樹分類法，如P.Sompoch等人通過計算待識別的交通標(biāo)志圖像與交通標(biāo)志標(biāo)準(zhǔn)模板之間的規(guī)則化歐拉距離(即最近鄰域法)，實現(xiàn)對交通標(biāo)志的分類；M.Betke等人提出了一種基于相似系數(shù)的交通標(biāo)志分類的方法；藺立娜等人提出來基于模糊C—均值(FCM)聚類分析方法識別交通標(biāo)志；W.Ritter提出了一種基于三層決策樹的交通標(biāo)志識別方法，分別對應(yīng)的是交通標(biāo)志的顏色、形狀以及圖元，每個節(jié)點對應(yīng)一個在高維特征空間中進(jìn)行距離加權(quán)計算的統(tǒng)計分類器，采用聚類分析法計算分類器的參數(shù)。模板匹配法包括像素級的匹配和特征級的匹配等，如Piccioli設(shè)計完成了一種龐大的基于模板匹配的交通標(biāo)志識別系統(tǒng)；王洋等人采用了一種基于不變矩特征進(jìn)行模板匹配的交通標(biāo)志識別方法；房澤平等人采用了一種基于特征顏色的模板匹配方法，利用圖像像素的統(tǒng)計特征，計算顏色匹配度先提取出測試樣本的內(nèi)部圖案，再將其與模板庫中模板依次進(jìn)行比較，從而實現(xiàn)交通標(biāo)志的識別。機(jī)械學(xué)習(xí)法包括支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò),如Arroy等人提取出交通標(biāo)志的全部像素，將其作為特征向量，輸入到非線性SVM中進(jìn)行訓(xùn)練；S.Estable等人將改進(jìn)了徑向基神經(jīng)網(wǎng)絡(luò)應(yīng)用到交通標(biāo)志識別，參考向量是在特征空間中利用聚類算法得到。交通標(biāo)志具有顏色鮮明，形狀特征明顯的特點，正常情況下，交通標(biāo)志的圖像信息是比較清晰的，但是自然條件下采集的交通標(biāo)志圖像很容易受到外界條件的影響，造成所采集的圖像存在噪聲和畸變，從而難以有效識別。此類自然條件下采集的圖片識別需求不斷增加，因此設(shè)計一種在不同環(huán)境光線、遮擋、拍攝角度等干擾下也能有效識別圖像的方法具有非常重要的現(xiàn)實意義。技術(shù)實現(xiàn)要素：：發(fā)明目的：本發(fā)明涉及一種基于多列卷積神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，其目的是設(shè)計出一種可以針對不同光照、成像條件、遮擋、變形等影響條件下采集的圖像進(jìn)行有效識別的方法。技術(shù)方案：本發(fā)明是通過以下技術(shù)方案來實現(xiàn)的：一種基于多列卷積神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，其特征在于：步驟如下：(1)選取采集于現(xiàn)實環(huán)境的不利于分類的圖像，進(jìn)行預(yù)處理，以克服樣本中的干擾信息；(2)構(gòu)建多列卷積神經(jīng)網(wǎng)絡(luò)：針對每種預(yù)處理，分別構(gòu)建不同卷積神經(jīng)網(wǎng)絡(luò)，獲取針對每種預(yù)處理的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，之后將不同預(yù)處理對應(yīng)的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行集成，構(gòu)建有效利用各種預(yù)處理優(yōu)勢的多列卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用于圖像的識別；1)卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)包括：(a)卷積層卷積層，又稱為特征提取層，是對圖像的一個鄰域進(jìn)行卷積得到圖像的鄰域特征，每個神經(jīng)元的輸入與前一層的局部感受野相連，上層得到的特征圖與一個可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過一個激活函數(shù)，輸出形成這一層的特征圖，即提取該局部的特征；該局部特征被提取后，與其它特征間的位置關(guān)系也隨之確定；對卷積核的確定：對于步驟(1)獲得的圖像作為輸入圖像，在輸出圖像中每一個像素是輸入圖像中一個小區(qū)域中像素的加權(quán)處理，其中權(quán)值由一個函數(shù)即卷積核定義；確定局部感受野：在卷積神經(jīng)網(wǎng)絡(luò)中，圖像中的小塊區(qū)域即局部感受野被當(dāng)作層次結(jié)構(gòu)中的底層的輸入數(shù)據(jù)，信息通過前向傳播經(jīng)過網(wǎng)絡(luò)中的各個層，在每一層中都由過濾器構(gòu)成，以便能夠獲得觀測數(shù)據(jù)的顯著特征。卷積核提供了一個權(quán)重模板，該模板在圖像上滑動，并將中心依次與圖像中每一個像素對齊，然后對這個模板覆蓋的所有像素進(jìn)行加權(quán)，并將結(jié)果作為這個卷積核在圖像上該點的響應(yīng)；卷積層中使用的卷積核個數(shù)即為該層特征圖的數(shù)目，也代表提取的特征種類；每一個輸出的特征圖能與前一層的幾個特征圖的卷積建立關(guān)系；卷積層的加權(quán)響應(yīng)形式如式(1)所示：其中，l代表層數(shù)，k是卷積核，Mj表示選擇的輸入maps的集合，每個輸出圖均有一個額外的偏置b；(b)子采樣層子采樣層是對輸入進(jìn)行抽樣操作，又稱為特征映射層，使用pooling技術(shù)將小鄰域內(nèi)的特征點整合得到新的特征；每個子采樣層的特征圖數(shù)目均與上層相鄰的卷積層的特征圖數(shù)目相同；子采樣層的處理形式如式(2)所示：其中，down(·)表示子采樣函數(shù)，對卷積層輸出的特征圖中不同n*n子塊所有的像素進(jìn)行Pooling操作；(c)采用不同數(shù)目及權(quán)重的卷積核再進(jìn)行一次卷積和子采樣處理，并將結(jié)果輸入一個全連接的三層神經(jīng)網(wǎng)絡(luò)；(d)權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積核重復(fù)的作用于整個感受野中，對輸入圖像進(jìn)行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征；每一個卷積核共享相同的參數(shù)，包括相同的權(quán)值矩陣和偏置項；2)將每種卷積神經(jīng)網(wǎng)絡(luò)集成，構(gòu)造一種多列卷積神經(jīng)網(wǎng)絡(luò)：針對上述每種預(yù)處理方法分別構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，同時在同一預(yù)處理方法得到的數(shù)據(jù)集上構(gòu)建特征圖數(shù)和子采樣pooling方式不同的不同結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)；通過多列卷積神經(jīng)網(wǎng)絡(luò)并行處理，實現(xiàn)對畸變的圖像進(jìn)行快速識別；每次訓(xùn)練開始前，經(jīng)過不同預(yù)處理后的訓(xùn)練集，輸入到不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)而構(gòu)成多列卷積神經(jīng)網(wǎng)絡(luò)MCCNN；輸入圖像被n個預(yù)處理器P0～～Pn-1進(jìn)行預(yù)處理，多個的CNN并行對輸入圖像進(jìn)行訓(xùn)練；MCCNN將在不同樣本上訓(xùn)練的CNN組合在一起，然后對輸出結(jié)果進(jìn)行模糊評判，以提高識別結(jié)果；每一個CNN是在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行修改與調(diào)整，包括1)修改局部感受野和卷積核的大?。?)修改子采樣窗口大??；3)修改批量樣本數(shù)；4)修改特征圖數(shù)目；(3)對多列卷積神經(jīng)網(wǎng)絡(luò)輸出采用模糊矩陣進(jìn)行綜合評判：1)將模糊數(shù)學(xué)的思想引入到多列卷積神經(jīng)網(wǎng)絡(luò)的輸出分類中，將每幅圖像在每列卷積神經(jīng)網(wǎng)絡(luò)上的輸出向量作為隸屬向量，再將多個隸屬向量組成模糊判決矩陣，計算該圖片被分為不同類的隸屬度；對論域X，A：X→[0，1]，則稱A是X上模糊集，稱為x屬于A的隸屬度；給出一個對象在一列卷積神經(jīng)網(wǎng)絡(luò)的輸出層各神經(jīng)元的輸出構(gòu)成一個對各目標(biāo)類的隸屬向量：Ai(Cj)＝[Ai(c1),Ai(c2),…,Ai(ck)](3)；其中，Ai(c1)…Ai(ck)為第i個對象在c1…ck類判別神經(jīng)元上的輸出所對應(yīng)的隸屬度；一幅樣本圖片經(jīng)多列卷積神經(jīng)網(wǎng)絡(luò)處理后的輸出構(gòu)成一個隸屬矩陣：其中，n為多列卷積神經(jīng)網(wǎng)絡(luò)的列數(shù)，k為目標(biāo)判決類的數(shù)目；由隸屬矩陣，定義某張圖片對某一判決類的模糊隸屬度為：其中n為多列卷積神經(jīng)網(wǎng)絡(luò)的列數(shù)，按照最大隸屬度原則，得出樣本i的最終分類；2)定義綜合隸屬度與離散隸屬度根據(jù)隸屬向量與判決矩陣的相關(guān)公式，樣本圖片被一個神經(jīng)網(wǎng)絡(luò)識別時，此神經(jīng)網(wǎng)絡(luò)中輸出神經(jīng)元對應(yīng)的值組成了隸屬向量，而多個神經(jīng)網(wǎng)絡(luò)的輸出端隸屬向量則構(gòu)成了判決矩陣；綜合隸屬度是將判別矩陣中每列的值分別進(jìn)行求和，根據(jù)公式(5)計算出圖片對該類的綜合模糊隸屬度，結(jié)果最大的數(shù)值對應(yīng)的類別，即為該樣本圖片被劃分的類別；與綜合隸屬度不同的是，離散隸屬度的模糊隸屬向量并不是由神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元的值直接組成，而是將樣本在輸出神經(jīng)元中所屬類別的值置為1，其余置為0，將重新變換后的輸出作為隸屬向量，進(jìn)而組成新的判決矩陣；計算出圖片對該類的離散模糊隸屬度，結(jié)果最大的數(shù)值對應(yīng)的類別，即為該樣本圖片被劃分的類別；對多列輸出結(jié)果分別應(yīng)用綜合隸屬度和離散隸屬度評判，對比不同評判方式的正確率，確定此類圖像適合的模糊評判方式，最后得出識別結(jié)果。步驟(1)中所述的不利于分類的圖像是指分辨率低、光照強(qiáng)度不同、局部遮擋、視角傾斜、或運動模糊。步驟(1)所述預(yù)處理是指二值化、直方圖均衡化、自適應(yīng)直方圖均衡化、圖像調(diào)整、形態(tài)學(xué)處理、及上述多種預(yù)處理方法的集成。步驟(b)中所述Pooling為mean-pooling，max-pooling和Stochastic-pooling三種，即最大、均值、及按概率隨機(jī)選擇對塊內(nèi)像素處理。Pooling的結(jié)果是使得特征減少，參數(shù)減少，避免出現(xiàn)過擬合現(xiàn)象，但目的并不僅在于此。pooling目的是為了保持旋轉(zhuǎn)、平移、伸縮等不變性，常用的有mean-pooling，max-pooling和Stochastic-pooling三種，pooling窗口是不重疊的。優(yōu)點及效果：本發(fā)明為解決復(fù)雜天氣、遮擋、拍攝角度等現(xiàn)實環(huán)境對圖像識別帶來的難題，提出了一種多列深度神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，本發(fā)明將預(yù)處理技術(shù)、深度神經(jīng)網(wǎng)絡(luò)和模糊數(shù)學(xué)方法相結(jié)合，采用不同預(yù)處理技術(shù)分別從不同的角度克服樣本中的干擾信息，之后把經(jīng)過預(yù)處理的圖像分別輸入針對此種預(yù)處理優(yōu)化后的不同結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)，最后對此多列深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果采用模糊數(shù)學(xué)思想進(jìn)行綜合評判，確定此類圖像適合的模糊評判方式，最后得出識別結(jié)果。通過實驗驗證此方法可以將交通標(biāo)志、火焰圖像等準(zhǔn)確地識別出來。該方法對比其他方法有時間短，準(zhǔn)確率高的優(yōu)點，特別是在有噪聲的情況下可以對圖像進(jìn)行準(zhǔn)確識別，增強(qiáng)了系統(tǒng)的實時性，可開發(fā)嵌入式系統(tǒng)，實現(xiàn)道路交通標(biāo)志等圖像的在線識別。附圖說明：圖1為設(shè)計的MCCNN的基本結(jié)構(gòu)示意圖。圖2為卷積層特征圖數(shù)目與識別率。圖3為加入模糊評判的MCCNN結(jié)構(gòu)示意圖。圖4為經(jīng)過灰度變化和二值化預(yù)處理后的圖片。其中，圖4(a)為未經(jīng)任何處理的交通標(biāo)志彩色原圖，圖4(b)為經(jīng)過灰度變換后的交通標(biāo)志灰度圖像，圖4(c)為采用自適應(yīng)閾值進(jìn)行二值化后的交通標(biāo)志圖片，目標(biāo)變得更加清晰。圖4(d)為未經(jīng)任何處理的火焰彩色原圖，圖4(e)為經(jīng)過灰度變換后的火焰灰度圖像，圖4(f)為采用自適應(yīng)閾值進(jìn)行二值化后的火焰圖片，目標(biāo)變得更加突出。經(jīng)過灰度化和二值化預(yù)處理后的圖像樣本，組成訓(xùn)練集JTBZ_1。圖5為直方圖均衡化前后的像素分配情況對比。其中，圖5(a)是彩色圖像變?yōu)榛叶葓D像后的直方圖，圖5(b)是對灰度圖像進(jìn)行直方圖均衡化后的圖像直方圖，可以直觀的看出圖像的像素進(jìn)行了均勻的分布。圖6為對樣本進(jìn)行直方圖均衡化處理效果。其中，圖6(a)為未經(jīng)處理的交通標(biāo)志彩色原圖，圖6(b)為交通標(biāo)志灰度圖片，圖6(c)為經(jīng)過直方圖均衡化后的交通標(biāo)志灰度圖片，圖6(d)為采用最大類間方差法二值化后的交通標(biāo)志圖片。圖6(e)為未經(jīng)處理的火焰彩色原圖，圖6(f)為火焰灰度圖片，圖6(g)為經(jīng)過直方圖均衡化后的火焰灰度圖片，圖6(h)為采用最大類間方差法二值化后的火焰圖片。從圖6(d)和圖6(h)可以看出，圖片經(jīng)過一系列預(yù)處理后，能夠有效的突出前景圖形，去除無關(guān)的顏色干擾，方便后續(xù)特征提取，處理后的圖像樣本，組成訓(xùn)練集JTBZ_2。圖7為對樣本進(jìn)行AHE處理效果。其中，圖7(a)為交通標(biāo)志灰度圖片，圖7(b)為自適應(yīng)直方圖均衡化(Adaptivehistogramequalization，AHE)處理后交通標(biāo)志圖片，圖7(c)為圖7(b)經(jīng)過二值化后交通標(biāo)志圖片，圖7(d)為去除干擾后的交通標(biāo)志圖片；圖7(e)為火焰灰度圖片，圖7(f)為自適應(yīng)直方圖均衡化(Adaptivehistogramequalization，AHE)處理后火焰圖片，圖7(g)為圖7(f)經(jīng)過二值化后火焰圖片，圖7(h)為去除干擾后的火焰圖片，經(jīng)過自適應(yīng)直方圖均衡化、二值化、去除干擾后的圖像樣本，組成訓(xùn)練集JTBZ_3。圖8為對樣本進(jìn)行圖像調(diào)整處理。其中，圖8(a)為僅經(jīng)過簡單灰度變換后的交通標(biāo)志圖片，圖8(b)為經(jīng)過圖像Imadjust調(diào)整后的交通標(biāo)志圖片，可以看出圖像的對比度發(fā)生了明顯的變化，圖8(c)為經(jīng)過圖像調(diào)整后，再進(jìn)行二值化處理的交通標(biāo)志圖片，可以看出干擾信息減少，圖像比較突出。圖8(d)為僅經(jīng)過簡單灰度變換后的火焰圖片，圖8(e)為經(jīng)過圖像Imadjust調(diào)整后的火焰圖片，可以看出圖像的對比度發(fā)生了明顯的變化，圖8(f)為經(jīng)過圖像調(diào)整后，再進(jìn)行二值化處理的火焰圖片，可以看出干擾信息減少，圖像比較突出。經(jīng)過圖像調(diào)整、二值化預(yù)處理后的圖像樣本，組成訓(xùn)練集JTBZ_4，后續(xù)將其稱為圖像調(diào)整。圖9為對樣本進(jìn)行形態(tài)學(xué)處理。其中，圖9(a)為灰度變換后的交通標(biāo)志圖片，圖9(b)為經(jīng)過二值化后交通標(biāo)志圖片，圖9(c)為經(jīng)過開運算后的交通標(biāo)志二值圖像，圖9(d)為對開運算后的交通標(biāo)志圖像再進(jìn)行閉運算，圖9(e)為對形態(tài)學(xué)處理后的交通標(biāo)志圖片進(jìn)行去除干擾，將小連通區(qū)域刪掉。圖9(f)為灰度變換后的火焰圖片，圖9(g)為經(jīng)過二值化后火焰圖片，圖9(h)為經(jīng)過開運算后的火焰二值圖像，圖9(i)為對開運算后的火焰圖像再進(jìn)行閉運算，圖9(j)為對形態(tài)學(xué)處理后的火焰圖片進(jìn)行去除干擾，將小連通區(qū)域刪掉。從圖9可以看出，由于實驗樣本是在現(xiàn)實環(huán)境中采集的，存在很多干擾信息，經(jīng)過二值化處理后，圖片中仍然存在很多連通的干擾區(qū)域，因此對樣本圖片采用形態(tài)學(xué)處理，再去除圖片中連通較小的區(qū)域，在不改變樣本原有形狀的條件下，能夠有效地出去多余的干擾，保留圖像的更多信息。預(yù)處理后的樣本組成訓(xùn)練集JTBZ_5。圖10為對樣本進(jìn)行集成預(yù)處理。為了更好的驗證不同預(yù)處理方式與深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對應(yīng)關(guān)系，將上述預(yù)處理方式進(jìn)行結(jié)合，對數(shù)據(jù)集進(jìn)行多種處理，形成新的訓(xùn)練集。將彩色原圖進(jìn)行灰度變換成為灰度圖，然后對其做直方圖均衡化和圖像調(diào)整，再將其進(jìn)行二值化處理，最后進(jìn)行形態(tài)學(xué)處理與去除干擾，如圖10所示。圖10(a)-圖10(h)，將交通標(biāo)志彩色圖像按順序經(jīng)過灰度變換、直方圖均衡化、圖像調(diào)整、二值化、形態(tài)學(xué)處理(開運算和閉運算)、去除干擾后的圖片形成新的訓(xùn)練集。圖10(i)-圖10(p)，將火焰彩色圖像按順序經(jīng)過灰度變換、直方圖均衡化、圖像調(diào)整、二值化、形態(tài)學(xué)處理(開運算和閉運算)、去除干擾后的圖片形成新的訓(xùn)練集。進(jìn)行集成預(yù)處理的樣本組成訓(xùn)練集JTBZ_6。具體實施方式：卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuarlNetwork，CNN)能夠降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，避免對圖像進(jìn)行顯式地特征提取，可以對輸入的原始圖像直接進(jìn)行訓(xùn)練，因而CNN在模式分類領(lǐng)域得到了廣泛的應(yīng)用。但是，不同的預(yù)處理方法針對的目標(biāo)不同，如自適應(yīng)直方圖均衡化用來提升圖像對比度，形態(tài)學(xué)處理能夠有效地突出圖像的細(xì)節(jié)特征等。單一或簡單綜合多種預(yù)處理方法，難以對不同條件下獲取的現(xiàn)場圖片進(jìn)行統(tǒng)一的有效處理。本發(fā)明方法將圖像預(yù)處理技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)以及模糊數(shù)學(xué)方法相結(jié)合，既能保證每種預(yù)處理和相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的有效匹配，又通過模糊評判實現(xiàn)對現(xiàn)實環(huán)境下采集的圖像的有效合理判別，提升了識別效率和效果。本發(fā)明涉及一種卷積神經(jīng)網(wǎng)絡(luò)和模糊數(shù)學(xué)相結(jié)合的圖像識別方法，其目的是設(shè)計出一種可以針對不同光照、成像條件、天氣等影響下采集的圖像(后面以交通標(biāo)志為例)進(jìn)行有效識別的方法。下面結(jié)合附圖和具體的實施方式對本發(fā)明做進(jìn)一步的說明：GTSRB數(shù)據(jù)集中有在現(xiàn)實環(huán)境中釆集到的51839張、43類交通標(biāo)志圖片，其中主要分為六大類，分別為：限速標(biāo)志、其他禁令標(biāo)志、解除禁令標(biāo)志、指示標(biāo)志、警告標(biāo)志、其他交通標(biāo)志。通過對GTSRB數(shù)據(jù)集中有在現(xiàn)實環(huán)境中釆集到交通標(biāo)志圖片進(jìn)行實驗，證明該方法的可行，具有識別率高，識別速度快的特點，也可以依據(jù)算法進(jìn)行嵌入式系統(tǒng)的研究，最終實現(xiàn)對道路交通標(biāo)志的有效識別，提高道路行車安全。所述基于多列卷積神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，采用不同預(yù)處理技術(shù)分別從不同的角度克服樣本中的干擾信息，不同預(yù)處理得到的圖片效果不同，對應(yīng)的最佳網(wǎng)絡(luò)結(jié)構(gòu)也不同，把經(jīng)過預(yù)處理的圖像分別輸入針對此種預(yù)處理優(yōu)化后的不同結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)，對此多列卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果采用模糊數(shù)學(xué)思想進(jìn)行綜合評判，確定此類圖像適合的模糊評判方式，最后得出識別結(jié)果?；诙嗔芯矸e神經(jīng)網(wǎng)絡(luò)模糊評判的交通標(biāo)志識別方法，實現(xiàn)步驟如下：(1)從標(biāo)準(zhǔn)GTSRB(GermanTrafficSignRecognitionBenchmark)數(shù)據(jù)集中隨機(jī)選取5000張采集于現(xiàn)實環(huán)境的，分辨率低、光照強(qiáng)度不同、局部遮擋、視角傾斜、運動模糊等不利于分類的圖像，分別進(jìn)行二值化、直方圖均衡化、自適應(yīng)直方圖均衡化、圖像調(diào)整、形態(tài)學(xué)處理、以及綜合使用多種預(yù)處理方法的集成預(yù)處理方式，從不同的角度克服樣本中的干擾信息。(2)構(gòu)建一種多列卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)能夠避免顯式的特征提取，可以直接將預(yù)處理后的圖片輸入至網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，由于識別速度快、正確率高被廣泛應(yīng)用于銀行的支票數(shù)據(jù)識別。對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行調(diào)整，以適應(yīng)交通標(biāo)志圖案的特征，應(yīng)用于交通標(biāo)志識別上，分為以下幾步：1)卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基本結(jié)構(gòu)設(shè)計設(shè)多個卷積層中卷積核的大小不相同，多個子采樣層中子采樣窗口大小不相同，本實驗采用不同組合情況，實驗的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)見表1。表1不同尺寸的卷積核、子采樣窗口大小Tab.1Thedifferentdimensionsofconvolutionkernelandsubsampling最后得到的五個卷積神經(jīng)網(wǎng)絡(luò)按順序分別定義為Str_1，Str_2，Str_3，Str_4，Str_5。首先固定卷積層特征圖數(shù)目，在其基礎(chǔ)上改變批量樣本數(shù)，根據(jù)識別結(jié)果的好壞，確定卷積神經(jīng)網(wǎng)絡(luò)的最佳結(jié)構(gòu)。之后在每個訓(xùn)練集中，將批量樣本數(shù)固定，在其基礎(chǔ)上同時修改兩個卷積層的特征圖數(shù)目，觀察在不同的卷積層特征圖數(shù)條件下，觀察識別結(jié)果的變化，對比結(jié)果如圖2所示。根據(jù)上述的實驗，基于訓(xùn)練集的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本參數(shù)均得以確定。在不同預(yù)處理的訓(xùn)練集上分別確定相應(yīng)的最佳卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。如在灰度變換預(yù)處理后的訓(xùn)練集JTBZ_1上訓(xùn)練多個結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)，并將識別結(jié)果進(jìn)行比較分析。表2不同卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集JTBZ_1上的識別率Tab.2RecognitionrateofdifferentdeepneuralnetworksontrainingsetJTBZ_1由表2可知，訓(xùn)練多個不同結(jié)構(gòu)的CNN后，當(dāng)采用Str_3，即神經(jīng)網(wǎng)絡(luò)CNN1_5：C1卷積核大小為5×5、C2卷積核大小為3×3，子采樣窗口大小為2×2，批量樣本數(shù)為20，特征圖數(shù)目分別為9、18時，能夠獲得較高的識別率。以此方法，確定適應(yīng)不同預(yù)處理方式的卷積神經(jīng)網(wǎng)絡(luò)。2)構(gòu)造一種多列卷積神經(jīng)網(wǎng)絡(luò)不同的預(yù)處理方式在突出不同的特征或去除某些干擾時各有優(yōu)勢，為了有效的避免采集中的出現(xiàn)的誤差，有效利用不同預(yù)處理方式的優(yōu)勢，提高算法的識別效果，對數(shù)據(jù)集采用不同的預(yù)處理方法，形成不同的訓(xùn)練集，從不同的角度克服樣本中的干擾信息，最后進(jìn)行綜合評判，使訓(xùn)練結(jié)果更加精確。同時，在同一預(yù)處理后的數(shù)據(jù)集上構(gòu)建不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)(如特征圖數(shù)目不同、采樣方式不同等)，以實現(xiàn)對畸變的交通標(biāo)志進(jìn)行快速識別，保證算法的高效性與正確性，構(gòu)造的多列卷積神經(jīng)網(wǎng)絡(luò)如圖3所示。每次訓(xùn)練開始前，經(jīng)過不同預(yù)處理后的訓(xùn)練集，輸入到不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)而構(gòu)成多列卷積神經(jīng)網(wǎng)絡(luò)MCCNN。輸入圖像被n個預(yù)處理器P0～～Pn-1進(jìn)行預(yù)處理，每個預(yù)處理后訓(xùn)練集上由多個CNN對輸入圖像進(jìn)行訓(xùn)練。從每個預(yù)處理后的數(shù)據(jù)集上選擇兩個識別率最高的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，表3列舉出了最終選擇的10個卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在數(shù)據(jù)集JTBZ_6中識別率較低，未選取。表3每個預(yù)處理上最佳識別率的CNNTab.3ThebestrecognitionrateofCNNoneachpreprocessing(3)對多列輸出采用模糊矩陣進(jìn)行綜合評判：1)將模糊數(shù)學(xué)的思想引入到多列卷積神經(jīng)網(wǎng)絡(luò)的輸出分類中，將每幅圖像在每列卷積神經(jīng)網(wǎng)絡(luò)上的輸出向量作為隸屬向量，再將多個隸屬向量組成模糊判決矩陣，計算該圖片被分為不同類的隸屬度。(a)綜合隸屬度根據(jù)隸屬向量與判決矩陣的相關(guān)公式可知，樣本圖片被一個神經(jīng)網(wǎng)絡(luò)識別時，此神經(jīng)網(wǎng)絡(luò)中輸出神經(jīng)元對應(yīng)的值組成了隸屬向量，而多個神經(jīng)網(wǎng)絡(luò)的輸出端隸屬向量則構(gòu)成了判決矩陣。綜合隸屬度是將判別矩陣中每列的值分別進(jìn)行求和，根據(jù)公式(5)，計算出圖片對該類的綜合模糊隸屬度，結(jié)果最大的數(shù)值對應(yīng)的類別，即為該樣本圖片被劃分的類別。以樣本100為例，在多列卷積神經(jīng)網(wǎng)絡(luò)的識別中，該樣本的結(jié)果判別矩陣為：根據(jù)公式(5)計算樣本100的綜合隸屬度。將判別矩陣中每一列的值進(jìn)行求和，求和后的值組成最終的隸屬矩陣：M100＝[5.5562.2441.0322420.9814380.264760.12121.140360.1804270.483310.2774]根據(jù)上述判別矩陣，按公式(5)，計算出該圖片對第一類的綜合模糊隸屬度數(shù)值最大，所以樣本100被劃分到類1中，實現(xiàn)該圖片樣本最終分類，并且與實際相符。(b)離散隸屬度與綜合隸屬度不同的是，離散隸屬度的模糊隸屬向量并不是由神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元的值直接組成，而是將樣本在輸出神經(jīng)元中所屬類別的值置為1，其余置為0，將重新變換后的輸出作為隸屬向量，進(jìn)而組成新的判決矩陣。以樣本100為例，在多列卷積神經(jīng)網(wǎng)絡(luò)的識別中，該樣本的判別矩陣為：根據(jù)公式(5)計算隸屬度，從而得到離散隸屬度。在判別矩陣中，樣本100對類1的隸屬度為5/10，對類2的隸屬度為2/10，對類3的隸屬度為1/10，對類4的隸屬度為1/10，對類7的隸屬度為1/10，對其他類的隸屬度為0。因此，根據(jù)最大隸屬度原則，將樣本100劃分到類1中，實現(xiàn)該圖片樣本最終分類，與實際相符。而若單純采用某一列卷積神經(jīng)網(wǎng)絡(luò)處理，上述圖片識別錯誤的概率大大增加。通過對同一樣本集進(jìn)行不同的預(yù)處理，構(gòu)成不同的數(shù)據(jù)集，并在同一數(shù)據(jù)集上進(jìn)行不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的識別，一張樣本圖片經(jīng)過多個卷積神經(jīng)網(wǎng)絡(luò)識別處理后輸出，并引入模糊數(shù)學(xué)的思想，將多列卷積神經(jīng)網(wǎng)絡(luò)的輸出形成判別矩陣，按照隸屬度對樣本進(jìn)行最終分類。表4多列卷積神經(jīng)網(wǎng)絡(luò)的識別率Tab.4SamplerecognitionrateofmulticolumnConvolutionalneuralnetwork由前述模糊判決結(jié)果和表4可知，多列卷積神經(jīng)網(wǎng)絡(luò)能夠避免單一卷積神經(jīng)網(wǎng)絡(luò)在某些情況下誤判的問題，從而能夠?qū)颖具M(jìn)行更有效的分類，提高樣本的識別率。在本實驗中，通過多列卷積神經(jīng)網(wǎng)絡(luò)的模糊判決后，采用綜合隸屬度判決后，識別率能夠提升至98.5％，采用離散隸屬度判決后，識別率能夠提升至99.1％。與單列的卷積神經(jīng)網(wǎng)絡(luò)識別率相比較，兩種模糊判決方法均能獲得更好的效果，證明了其能修正單一網(wǎng)絡(luò)結(jié)構(gòu)的識別結(jié)果。采用離散隸屬度的MCCNN具有較好的識別效果。實施例：參照圖1～圖10、表1～表4，基于多列卷積神經(jīng)網(wǎng)絡(luò)模糊評判的圖像識別方法，步驟如下：(1)從標(biāo)準(zhǔn)GTSRB(GermanTrafficSignRecognitionBenchmark)數(shù)據(jù)集中隨機(jī)選取5000張采集于現(xiàn)實環(huán)境的，分辨率低、光照強(qiáng)度不同、局部遮擋、視角傾斜、運動模糊等不利于分類的圖像，分別進(jìn)行二值化、直方圖均衡化、自適應(yīng)直方圖均衡化、圖像調(diào)整、形態(tài)學(xué)處理，如圖1-圖10所示。(2)將文件1的圖像輸入多列卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行訓(xùn)練，得到最終的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)，輸入與訓(xùn)練集并不重復(fù)的測試數(shù)據(jù)，各列卷積神經(jīng)網(wǎng)絡(luò)識別效果如表3所示。(3)將多列卷積神經(jīng)網(wǎng)絡(luò)的輸出采用模糊矩陣分別進(jìn)行基于綜合隸屬度和離散隸屬度的模糊評判，得到最終識別結(jié)果，識別效果如表4所示。針對不同噪聲影響下的三種交通標(biāo)志圖像共580幅，訓(xùn)練樣本分別取1幅到4幅圖像，本方法的識別率均可達(dá)到100％；與灰度圖像相比，在二值圖像上做特征提取，能夠降低識別時間。通過實驗證明，本發(fā)明方法可以快速有效的進(jìn)行交通標(biāo)志特征提取和識別，適于推廣應(yīng)用。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3