一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，具體為：建立車(chē)標(biāo)樣本數(shù)據(jù)庫(kù)；構(gòu)建深度神經(jīng)網(wǎng)絡(luò)和自編碼神經(jīng)網(wǎng)絡(luò)；訓(xùn)練階段，先進(jìn)行預(yù)訓(xùn)練，再進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練；對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試；讀取交通卡口采集到的前車(chē)車(chē)臉圖像，然后基于前車(chē)車(chē)臉圖像獲取車(chē)標(biāo)圖像，并對(duì)車(chē)標(biāo)圖像進(jìn)行預(yù)處理后作為待識(shí)別車(chē)標(biāo)圖像；將待識(shí)別車(chē)標(biāo)圖像輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，得到車(chē)標(biāo)識(shí)別結(jié)果。本發(fā)明的有益效果是：本發(fā)明采用自編碼神經(jīng)網(wǎng)絡(luò)優(yōu)化初始權(quán)值減少了訓(xùn)練時(shí)間，提高了車(chē)標(biāo)識(shí)別準(zhǔn)確率，相較與類(lèi)似車(chē)標(biāo)識(shí)別方法，本發(fā)明整個(gè)系統(tǒng)結(jié)構(gòu)更加簡(jiǎn)單，更易于更新和擴(kuò)充，同時(shí)，本發(fā)明對(duì)噪聲的魯棒性更好，可以對(duì)無(wú)車(chē)牌的車(chē)輛實(shí)現(xiàn)車(chē)標(biāo)識(shí)別。
【專(zhuān)利說(shuō)明】
一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及智能交通技術(shù)領(lǐng)域的車(chē)標(biāo)識(shí)別技術(shù)，特別涉及一種基于自編碼預(yù)訓(xùn)練 深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法。
【背景技術(shù)】
[0002] 隨著現(xiàn)代交通的發(fā)展，智能交通系統(tǒng)已經(jīng)成為最重要的研究領(lǐng)域之一，智能交通 旨在監(jiān)控并反饋交通流量及突發(fā)交通事故等。因此，車(chē)輛車(chē)牌識(shí)別和車(chē)標(biāo)識(shí)別成為了智能 交通最前沿的研究方向。如今，車(chē)牌識(shí)別已經(jīng)成為了最常用智能交通方法。
[0003] 但是，隨著車(chē)輛數(shù)量的增加，車(chē)輛犯罪也成為了一個(gè)嚴(yán)重的車(chē)輛問(wèn)題，車(chē)輛犯罪主 要包括盜搶機(jī)動(dòng)車(chē)以及利用機(jī)動(dòng)車(chē)犯罪等形式，根據(jù)相關(guān)部門(mén)的統(tǒng)計(jì)，我國(guó)被盜搶的機(jī)動(dòng) 車(chē)輛數(shù)量已經(jīng)突破百萬(wàn)，此類(lèi)案件不僅對(duì)失主造成了不小的經(jīng)濟(jì)損失，也對(duì)公共安全提出 了嚴(yán)峻的挑戰(zhàn)；另外，許多不法分子在實(shí)施犯罪后，如針對(duì)銀行或者珠寶店的搶劫，往往會(huì) 選擇汽車(chē)作為逃離犯罪現(xiàn)場(chǎng)的交通工具;除此之外，在當(dāng)前形勢(shì)下，還存在極少數(shù)的恐怖主 義或極端主義支持者，他們也經(jīng)常利用車(chē)輛進(jìn)行一些恐怖活動(dòng)，例如臭名昭著的汽車(chē)炸彈 等等。目前，在遇到與車(chē)輛有關(guān)聯(lián)的犯罪活動(dòng)之后，公安部門(mén)一般在關(guān)鍵路段采用人工觀察 車(chē)牌號(hào)、顏色等方法，效率較低，偵破率也因此不近人意。以上這些基于車(chē)輛的犯罪活動(dòng)，通 常都有一些共同點(diǎn)，為了躲避交通監(jiān)控的追蹤，不法分子會(huì)遮蓋、更換甚至直接拆卸車(chē)輛牌 照，這會(huì)導(dǎo)致車(chē)輛識(shí)別效果大打折扣，也使得許多不法分子逍遙法外。因此，在針對(duì)機(jī)動(dòng)車(chē) 犯罪檢測(cè)時(shí)，以車(chē)標(biāo)識(shí)別為核心的智能交通技術(shù)成了新的研究重點(diǎn)。
[0004] 文獻(xiàn)1: Psyl los A P，Anagnostopoulos C_N E，Kayafas E · Vehicle logo recognition using a sift-based enhanced matching scheme[J]. Intelligent Transportation Systems，IEEE Transactions on，2〇10，11 (2): 322_328，提出一種基于 SIFT特征匹配的車(chē)標(biāo)識(shí)別方法，是利用車(chē)標(biāo)的SIFT特征在圖像中匹配識(shí)別車(chē)標(biāo)，該方法獲 得了不俗的效果，但是其對(duì)于光照等噪聲較為敏感。文獻(xiàn)2:Pan C，Yan Z，Xu X，et al.Vehicle logo recognition based on deep learning architecture in video surveillance for intelligent traffic system[C].2013IET International Conference on Smart and Sustainable City 2013:132-135,提出 了基于卷積神經(jīng)網(wǎng)絡(luò) 的車(chē)標(biāo)識(shí)別方法，獲得了較為理想的車(chē)標(biāo)識(shí)別率，同時(shí)對(duì)于一些噪聲有很好的魯棒性，但是 該方法所采用的卷積神經(jīng)網(wǎng)絡(luò)需要比較長(zhǎng)的訓(xùn)練時(shí)間，同時(shí)，相比較于深度神經(jīng)網(wǎng)絡(luò)，其結(jié) 構(gòu)較為龐大，實(shí)現(xiàn)較為復(fù)雜，不利于整個(gè)系統(tǒng)的更新和擴(kuò)充；另外，該方法是基于車(chē)牌和車(chē) 標(biāo)的相對(duì)上下位置實(shí)現(xiàn)車(chē)標(biāo)檢測(cè)，進(jìn)而進(jìn)行車(chē)標(biāo)識(shí)別，對(duì)于無(wú)車(chē)牌的車(chē)輛很難實(shí)現(xiàn)車(chē)標(biāo)檢 測(cè)過(guò)程?？傊F(xiàn)在缺乏一種基于車(chē)標(biāo)自身特征的且擁有高識(shí)別率和訓(xùn)練效率較高的方法。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)對(duì)噪聲敏感、訓(xùn)練時(shí)間長(zhǎng)等缺陷，提供了一種基于自編碼預(yù)訓(xùn)練深 度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，本發(fā)明的重點(diǎn)在于:一是通過(guò)視覺(jué)顯著性檢測(cè)，實(shí)現(xiàn)基于車(chē)標(biāo) 自身特征的車(chē)標(biāo)檢測(cè)，對(duì)無(wú)車(chē)牌車(chē)輛同樣適用;二是通過(guò)深度神經(jīng)網(wǎng)絡(luò)自身的結(jié)構(gòu)優(yōu)勢(shì)，提 高車(chē)標(biāo)識(shí)別的識(shí)別率，并通過(guò)自編碼神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練階段，減少訓(xùn)練階段的冗雜程度，提高 訓(xùn)練過(guò)程的訓(xùn)練效率，減少訓(xùn)練時(shí)間。
[0006] 為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē) 標(biāo)識(shí)別方法，所述識(shí)別方法具體為：
[0007] 步驟si:建立車(chē)標(biāo)樣本數(shù)據(jù)庫(kù);人工采集車(chē)前臉圖像(包括訓(xùn)練樣本和測(cè)試樣本， 并對(duì)訓(xùn)練樣本進(jìn)行標(biāo)簽識(shí)別），并通過(guò)視覺(jué)顯著性檢測(cè)方法獲取車(chē)標(biāo)圖像，對(duì)車(chē)標(biāo)圖像進(jìn)行 預(yù)處理，得到訓(xùn)練樣本集和測(cè)試樣本集；
[0008] 步驟S2:構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)包括四層:輸入層、隱含層1、隱含層2和 輸出層；
[0009] 步驟S3:構(gòu)建兩個(gè)自編碼神經(jīng)網(wǎng)絡(luò)，分別對(duì)深度神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層1之間 的權(quán)值1以及隱含層1和隱含層2之間的權(quán)值2進(jìn)行預(yù)訓(xùn)練；
[0010] 步驟S4:將預(yù)訓(xùn)練得到的權(quán)值1和權(quán)值2作為深度神經(jīng)網(wǎng)絡(luò)權(quán)值1和權(quán)值2的初始權(quán) 值，再使用訓(xùn)練樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)；
[0011] 步驟S5:將測(cè)試樣本輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試；
[0012] 步驟S6:讀取交通卡口采集到的前車(chē)車(chē)臉圖像，然后基于前車(chē)車(chē)臉圖像，通過(guò)視覺(jué) 顯著性檢測(cè)方法獲取車(chē)標(biāo)圖像，并對(duì)車(chē)標(biāo)圖像進(jìn)行預(yù)處理后作為待識(shí)別車(chē)標(biāo)圖像；
[0013] 步驟S7:將待識(shí)別車(chē)標(biāo)圖像輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，得到車(chē)標(biāo)識(shí)別結(jié)果。
[0014] 其中，所述步驟S1中，人工采集η款車(chē)標(biāo)的車(chē)前臉圖像，每一款車(chē)標(biāo)共采集至少800 張車(chē)前臉圖像，然后通過(guò)視覺(jué)顯著性檢測(cè)方法獲取車(chē)標(biāo)圖像作為訓(xùn)練樣本和測(cè)試樣本，優(yōu) 選地，每一款車(chē)標(biāo)共采集800-1500張車(chē)前臉圖像作為訓(xùn)練樣本和測(cè)試樣本，優(yōu)選為采集 1150張車(chē)前臉圖像作為訓(xùn)練樣本和測(cè)試樣本，優(yōu)選地選取1000張車(chē)標(biāo)圖像作為訓(xùn)練樣本， 150張車(chē)標(biāo)圖像作為測(cè)試樣本，即每款車(chē)標(biāo)對(duì)應(yīng)的所述訓(xùn)練樣本集包含10000個(gè)訓(xùn)練樣本， 所述測(cè)試樣本包含1500個(gè)測(cè)試樣本;其中，η為大于等于1的整數(shù)。
[0015] 所述步驟S1和所述步驟S6中，所述預(yù)處理是指對(duì)圖像經(jīng)過(guò)尺寸歸一化為70X70像 素，并灰度化處理。
[0016] 所述步驟S2中，所述深度神經(jīng)網(wǎng)絡(luò)的輸入層的輸入為70X70像素的訓(xùn)練樣本，包 含4900個(gè)節(jié)點(diǎn)，隱含層1和隱含層2各包含700個(gè)節(jié)點(diǎn)，輸出層所包含的節(jié)點(diǎn)數(shù)目則和車(chē)標(biāo)類(lèi) 型數(shù)目一致。
[0017] 所述步驟S3中，兩個(gè)所述自編碼神經(jīng)網(wǎng)絡(luò)均包括三層:輸入層、隱含層和輸入層， 第一個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)依次為4900、700和4900，分別對(duì)應(yīng)深度神經(jīng)網(wǎng)絡(luò)的輸 入層、隱含層1和輸出層;第二個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)分別為700、700和700,分別 對(duì)應(yīng)深度神經(jīng)網(wǎng)絡(luò)的隱含層1、隱含層2和隱含層1。
[0018] 所述步驟S1和步驟S6中，所述視覺(jué)顯著性檢測(cè)方法具體為：
[0019]將讀取的RGB前車(chē)車(chē)臉圖像，根據(jù)強(qiáng)度特征計(jì)算公式I = (r+g+b)/3,得到前車(chē)車(chē)臉 圖像的強(qiáng)度特征圖，在強(qiáng)度特征圖的基礎(chǔ)上進(jìn)行〇°、45°、90°和135°四個(gè)方向的Gabor濾波 處理，得到四張方向特征圖，分別計(jì)算強(qiáng)度特征圖和方向特征圖中每個(gè)像素與周邊像素的 相似度，然后先對(duì)四張方向特征圖進(jìn)行疊加獲得一張融合后的方向特征圖，再將強(qiáng)度特征 圖和融合后的方向特征圖疊加，得到顯著圖，在顯著圖上選取99.4%高顯著性并且連通區(qū) 域面積最大的顯著區(qū)域，即得到所述車(chē)標(biāo)圖像。其中，計(jì)算出強(qiáng)度特征圖和每一張方向特 征圖中每個(gè)像素點(diǎn)與周邊像素點(diǎn)的相似度后，根據(jù)每一個(gè)像素點(diǎn)的相似度，對(duì)該像素點(diǎn)重 新賦灰度值，所述灰度值由相似度所處比例決定，相似度最高賦灰度值255,最低賦灰度值 0,此處相似度采用構(gòu)建馬爾科夫隨機(jī)場(chǎng)衡量像素點(diǎn)之間的相似度，相似度可以更好的反應(yīng) 該像素點(diǎn)在圖中的特征顯著性。
[0020]本發(fā)明的有益效果是:本發(fā)明的識(shí)別方法是基于車(chē)標(biāo)自身的特征進(jìn)行檢測(cè)定位， 可實(shí)現(xiàn)無(wú)車(chē)牌車(chē)輛的車(chē)標(biāo)識(shí)別過(guò)程，適用于各種條件下的車(chē)標(biāo)圖像，而且在識(shí)別率和訓(xùn)練 效率上均大大提高;其中，針對(duì)車(chē)標(biāo)識(shí)別過(guò)程，本發(fā)明采用深度神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練框架，使 用自編碼神經(jīng)網(wǎng)絡(luò)作為預(yù)訓(xùn)練框架完成訓(xùn)練階段;結(jié)合視覺(jué)顯著性檢測(cè)和訓(xùn)練好的深度神 經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)測(cè)試階段，可以獲得較為理想的車(chē)標(biāo)識(shí)別結(jié)果。
【附圖說(shuō)明】
[0021 ]圖1為本發(fā)明實(shí)施例的方法流程圖。
[0022] 圖2為本發(fā)明實(shí)施例中車(chē)標(biāo)識(shí)別算法訓(xùn)練過(guò)程流程示意圖。
[0023] 圖3為本發(fā)明實(shí)施例中部分測(cè)試樣本的示意圖。
[0024] 圖4為本發(fā)明實(shí)施例中的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練示意圖。
[0025]圖5為本發(fā)明實(shí)施例中dropout方法原理示意圖。
[0026] 圖6為本發(fā)明實(shí)施例中第一自編碼神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練示意圖。
[0027] 圖7為本發(fā)明實(shí)施例中第二自編碼神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練示意圖。
【具體實(shí)施方式】
[0028]本發(fā)明的核心思想為:針對(duì)交通口或監(jiān)控視頻中截取的前車(chē)臉圖像，采用視覺(jué)顯 著性檢測(cè)實(shí)現(xiàn)車(chē)標(biāo)圖像檢測(cè)，并采用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練權(quán)值矩陣，且通過(guò)自編碼神經(jīng)網(wǎng)絡(luò) 對(duì)權(quán)值進(jìn)行預(yù)訓(xùn)練，結(jié)合dropout方法提高深度神經(jīng)網(wǎng)絡(luò)的泛化能力，從而實(shí)現(xiàn)對(duì)車(chē)標(biāo)圖像 的檢測(cè)和識(shí)別功能。
[0029] 以下采用實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段 來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。
[0030] 本發(fā)明實(shí)施例提供了一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，參見(jiàn) 圖1和圖2，本發(fā)明實(shí)施例車(chē)標(biāo)識(shí)別方法具體為：
[0031] 步驟S1:建立車(chē)標(biāo)樣本數(shù)據(jù)庫(kù);人工采集車(chē)前臉圖像，并通過(guò)視覺(jué)顯著性檢測(cè)方法 獲取車(chē)標(biāo)圖像，對(duì)車(chē)標(biāo)圖像進(jìn)行預(yù)處理，得到含有訓(xùn)練樣本集和測(cè)試樣本集的樣本庫(kù)；
[0032] 參見(jiàn)圖3,本實(shí)施例中，人工采集十類(lèi)（即n = 10)車(chē)標(biāo)的車(chē)前臉圖像，包括別克、雪 鐵龍、本田、現(xiàn)代、馬自達(dá)、日產(chǎn)、標(biāo)致、鈴木、豐田和大眾十款車(chē)標(biāo)，每款車(chē)標(biāo)采集1150張圖 像，然后通過(guò)視覺(jué)顯著性檢測(cè)方法獲取車(chē)標(biāo)圖像，將每款車(chē)對(duì)應(yīng)的1000張車(chē)標(biāo)圖像作為訓(xùn) 練樣本，150張車(chē)標(biāo)圖像作為測(cè)試樣本，即所述訓(xùn)練樣本集包含10000個(gè)訓(xùn)練樣本，所述測(cè)試 樣本包含1500個(gè)測(cè)試樣本。其中，每款車(chē)標(biāo)均采集包含各種不同車(chē)標(biāo)尺寸、拍攝角度、光照 情況和清晰度的車(chē)標(biāo)圖像，車(chē)標(biāo)圖像中的所有噪音都是源于自然，并沒(méi)有人為刻意地增加 噪音，且樣本庫(kù)中的圖像均經(jīng)過(guò)尺寸歸一化為70 X 70像素，并灰度化處理；
[0033] 步驟S2:構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，參見(jiàn)圖4深度神經(jīng)網(wǎng)絡(luò)包括四層:輸入層、隱含層1、隱 含層2和輸出層；深度神經(jīng)網(wǎng)絡(luò)的輸入層的輸入為70X70像素的訓(xùn)練樣本，包含4900個(gè)節(jié) 點(diǎn)，隱含層1和隱含層2各包含700個(gè)節(jié)點(diǎn)，輸出層包含10個(gè)節(jié)點(diǎn)，分別對(duì)應(yīng)10類(lèi)車(chē)標(biāo)。
[0034] 其中，作為深度神經(jīng)網(wǎng)絡(luò)的輸入，應(yīng)對(duì)樣本庫(kù)中車(chē)標(biāo)圖像進(jìn)行向量化，即將所有的 車(chē)標(biāo)圖像轉(zhuǎn)化成IX 4900的向量，因此在深度神經(jīng)網(wǎng)絡(luò)中，輸入層就相應(yīng)的設(shè)有4900個(gè)節(jié) 點(diǎn)。
[0035] 步驟S3 :構(gòu)建兩個(gè)自編碼神經(jīng)網(wǎng)絡(luò)（第一自編碼神經(jīng)網(wǎng)絡(luò)和第二自編碼神經(jīng)網(wǎng) 絡(luò)），分別對(duì)深度神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層1之間的權(quán)值W (1)以及隱含層1和隱含層2之間 的權(quán)值W(2)進(jìn)行預(yù)訓(xùn)練;通過(guò)不斷的迭代、更新權(quán)值矩陣，使得代價(jià)函數(shù)盡可能的接近于零；
[0036] 其中，兩個(gè)所述自編碼神經(jīng)網(wǎng)絡(luò)(參見(jiàn)圖6和圖7)均包括三層:輸入層、隱含層和輸 出層，第一個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)依次為4900、700和4900，分別對(duì)應(yīng)深度神經(jīng)網(wǎng) 絡(luò)的輸入層、隱含層1和輸入層；第二個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)分別為700、700和 700,分別對(duì)應(yīng)深度神經(jīng)網(wǎng)絡(luò)的隱含層1、隱含層2和隱含層1。
[0037] 以第一自編碼神經(jīng)網(wǎng)絡(luò)為例，其輸入層-深度神經(jīng)網(wǎng)絡(luò)的輸入層，隱含層-深度神 經(jīng)網(wǎng)絡(luò)的隱含層1，輸出層-深度神經(jīng)網(wǎng)絡(luò)的輸入層。由于深度神經(jīng)網(wǎng)絡(luò)和自編碼神經(jīng)網(wǎng)絡(luò) 均采用Sigmoid函數(shù)作為激活函數(shù)，由于自編碼神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層之間的關(guān)系與 深度神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層1之間的關(guān)系是一樣的，即層與層之間權(quán)值矩陣也完全一 樣，因此通過(guò)自編碼神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)值W (1)是完全正確的。類(lèi)似的，權(quán)值W(2)也可以被預(yù)訓(xùn) 練。
[0038] 自編碼神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督的神經(jīng)網(wǎng)絡(luò)，在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練樣本是以 樣本X和標(biāo)簽y作為輸入，通過(guò)實(shí)際輸出hw,b(x)和理論輸出，即標(biāo)簽值y構(gòu)造代價(jià)函數(shù)J(W，b; x，y)，進(jìn)而使用梯度下降法實(shí)現(xiàn)權(quán)值矩陣W(包含偏置項(xiàng)權(quán)值向量b)的更新。在自編碼神經(jīng) 網(wǎng)絡(luò)中，輸入只有樣本X，我們把輸入同時(shí)也作為輸出項(xiàng)，利用實(shí)際輸出hw, b(X)和理論輸出， 即輸入X構(gòu)造代價(jià)函數(shù)J(W，b;x)，利用梯度下降法進(jìn)行迭代權(quán)值矩陣W。
[0039] 步驟S4:將預(yù)訓(xùn)練得到的權(quán)值W(1)和權(quán)值W(2)作為深度神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層 1之間的權(quán)值W (1)以及隱含層1和隱含層2之間的權(quán)值W(2)的初始值，再使用訓(xùn)練樣本對(duì)深度 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)；
[0040] 其中，構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)，除輸出層外其它三層不僅包括設(shè)定的節(jié)點(diǎn)，還包括一 個(gè)偏置項(xiàng)，偏置項(xiàng)沒(méi)有輸入，輸出+ 1。層與層之間通過(guò)權(quán)值矩陣和偏置項(xiàng)向量互相連接，除 輸入層外，其余各層的輸入均為上一層每個(gè)節(jié)點(diǎn)的加權(quán)輸出和;除輸出層外，每個(gè)節(jié)點(diǎn)的輸 出將作為下一層每一個(gè)節(jié)點(diǎn)輸入的一部分。每一層的節(jié)點(diǎn)實(shí)際上包含了一個(gè)激勵(lì)函數(shù)，本 發(fā)明所采用的是Sigmoid函數(shù):f(z) = sigmoid(z) = l/(l+exp(-z))。
[0041] 采用BP算法通過(guò)訓(xùn)練樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即采用反向傳播算法通過(guò)訓(xùn) 練樣本訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣，反向傳播算法包括前向傳播和反向傳播，具體為：
[0042] (1)前向傳播：
[0043] 對(duì)于深度神經(jīng)網(wǎng)絡(luò)，第1層第j個(gè)單元與第1+1層第i個(gè)單元之間的權(quán)重參數(shù)為芍;)， 第1+1層第i個(gè)單元的偏置項(xiàng)為f'。因此W (1)是第1層和第1+1層之間的權(quán)值矩陣，b(1)是第1+1 層的偏置項(xiàng)向量。定義每個(gè)單元節(jié)點(diǎn)的輸入值和激活值為：
[0046] 推廣后，定義每一層的輸入值和激活值為：
[0047] z(1+1)=ff(1)x+b(1)
[0048] a(1+1) = f(z(1+1))
[0049] 其中，輸入層的輸入值是輸入的樣本，即a(1) = x?；诖?，樣本在深度神經(jīng)網(wǎng)絡(luò)中 實(shí)現(xiàn)了逐層的前向傳播，最終深度神經(jīng)網(wǎng)絡(luò)輸出計(jì)為實(shí)際輸出值hw, b(x)。
[0050] (2)反向傳播：
[0051] 構(gòu)造代價(jià)函數(shù)，對(duì)于包含m個(gè)樣例的固定樣本集{(x(1)，y(1))，（x (2)，y(2))，...，（x (m)，y(m))}(對(duì)于每一個(gè)輸入向量x(1)，y(1)就是它的標(biāo)簽值，其中標(biāo)簽y (1)就是輸出的期望）， 代價(jià)函數(shù)為：
[0053]其中，λ是權(quán)重衰減項(xiàng)，其目的是減小權(quán)重的幅度，防止過(guò)度擬合，提高整個(gè)深度神 經(jīng)網(wǎng)絡(luò)的泛化能力。代價(jià)函數(shù)其實(shí)代表了深度神經(jīng)網(wǎng)絡(luò)輸出的實(shí)際結(jié)果和實(shí)際結(jié)果之間的 差距是多少，即深度神經(jīng)網(wǎng)絡(luò)模型的正確性有多少，當(dāng)代價(jià)函數(shù)很大的時(shí)候，說(shuō)明模型并不 是很理想，反之，如果代價(jià)函數(shù)很小，那么說(shuō)明模型充分學(xué)習(xí)了訓(xùn)練樣本。由于代價(jià)函數(shù)是 一個(gè)非凸函數(shù)，通過(guò)梯度下降法是一定可以找到它的局部最小值。通過(guò)計(jì)算W和b的偏導(dǎo)數(shù)， 進(jìn)而對(duì)其進(jìn)行更新可以獲得更小的代價(jià)函數(shù)，BP:
[0056]其中α是學(xué)習(xí)速率，決定了梯度下降的速率。通過(guò)梯度下降法，訓(xùn)練樣本從輸出層 逐層后向傳播，減小代價(jià)函數(shù)。訓(xùn)練樣本在深度神經(jīng)網(wǎng)絡(luò)中迭代地進(jìn)行前向傳播和后向傳 播，實(shí)現(xiàn)對(duì)權(quán)值矩陣的訓(xùn)練。
[0057]此外，本發(fā)明還采用了 dropout方法提升深度神經(jīng)網(wǎng)絡(luò)的泛化能力。參見(jiàn)圖5,在深 度神經(jīng)網(wǎng)絡(luò)的某一次迭代過(guò)程中，dropout按照一定比例隨機(jī)的保存每層隱含層中一定比 例的節(jié)點(diǎn)所對(duì)應(yīng)的權(quán)值，在迭代過(guò)程中不對(duì)其做修改，而深度神經(jīng)網(wǎng)絡(luò)中其他的節(jié)點(diǎn)對(duì)應(yīng) 的權(quán)值將會(huì)更新。在下一次迭代中，d r ο ρ 〇 u t按照同樣的比例重新選取一部分節(jié)點(diǎn)。并且， dropout不會(huì)讓某個(gè)節(jié)點(diǎn)在兩次連續(xù)迭代過(guò)程中均被隱藏。
[0058] 步驟S5:將測(cè)試樣本輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試；
[0059] 本實(shí)施例是在Intel Core i5-4460 CPU，4.00G內(nèi)存和NVIDIA GeForce GT705獨(dú) 立顯卡條件下，采用本實(shí)施例所建立的車(chē)標(biāo)數(shù)據(jù)庫(kù)（圖2所示)進(jìn)行訓(xùn)練和測(cè)試，選取300次 預(yù)訓(xùn)練迭代和200次訓(xùn)練迭代，經(jīng)過(guò)預(yù)訓(xùn)練和訓(xùn)練后，獲得了權(quán)值矩陣?；诖藱?quán)值矩陣，對(duì) 于1500個(gè)測(cè)試樣本進(jìn)行測(cè)試，獲得了最終的測(cè)試結(jié)果(見(jiàn)表1)。
[0060] 對(duì)比試驗(yàn)：分別采用【背景技術(shù)】中文獻(xiàn)1提出的MFM方法進(jìn)行車(chē)標(biāo)識(shí)別，以及基于上 述步驟S1建立的樣本庫(kù)，采取文獻(xiàn)2提出的CNN方法(文獻(xiàn)2)進(jìn)行訓(xùn)練并測(cè)試，將上述兩種識(shí) 別率及訓(xùn)練時(shí)間與本發(fā)明實(shí)施例進(jìn)行對(duì)比，結(jié)果如表2所示。
[0061 ]表1本實(shí)施例識(shí)別方法的測(cè)試結(jié)果統(tǒng)計(jì)表 [0062]
[0063]表2本發(fā)明與傳統(tǒng)識(shí)別方法的測(cè)試結(jié)果對(duì)照表
[0066]從表1和表2的數(shù)據(jù)可以看出：與現(xiàn)有識(shí)別方法相比，本發(fā)明實(shí)施例不僅保證了較 高的識(shí)別率，而且明顯縮短了訓(xùn)練時(shí)間，極大的提高了訓(xùn)練效率。
[0067]步驟S6:在本實(shí)施例方法具有非常理想的測(cè)試結(jié)果后，即可將本系統(tǒng)投入實(shí)際應(yīng) 用中。讀取交通卡口采集到的前車(chē)車(chē)臉圖像，然后基于前車(chē)車(chē)臉圖像，通過(guò)視覺(jué)顯著性檢測(cè) 方法獲取車(chē)標(biāo)圖像，并對(duì)車(chē)標(biāo)圖像經(jīng)過(guò)尺寸歸一化為70X70像素，并灰度化處理即可作為 待識(shí)別車(chē)標(biāo)圖像；
[0068]其中，步驟S1和步驟S6中的視覺(jué)顯著性檢測(cè)方法具體為:將從交通卡口直接讀取 的RGB前車(chē)車(chē)臉圖像，根據(jù)強(qiáng)度特征計(jì)算公式I = (r+g+b)/3,得到前車(chē)車(chē)臉圖像的強(qiáng)度特征 圖，在強(qiáng)度特征圖的基礎(chǔ)上進(jìn)行0°、45°、90°和135°四個(gè)方向的Gabor濾波處理，得到四張方 向特征圖，分別計(jì)算強(qiáng)度特征圖和方向特征圖中每個(gè)像素與周邊像素的相似度，然后先對(duì) 四張方向特征圖的像素值直接相加求和后除以四，即獲得一張融合后的方向特征圖，再將 強(qiáng)度特征圖和融合后的方向特征圖的像素值取權(quán)值(其中，強(qiáng)度特征圖的權(quán)值為0.3,融合 后的方向特征圖的權(quán)值為0.7)，進(jìn)行加權(quán)得到融合的圖像即顯著圖，在顯著圖上選取 99.4%高顯著性并且連通區(qū)域面積最大的顯著區(qū)域，即得到所述車(chē)標(biāo)圖像。其中，計(jì)算出強(qiáng) 度特征圖和每一張方向特征圖中每個(gè)像素點(diǎn)與周邊像素點(diǎn)的相似度后，根據(jù)每一個(gè)像素點(diǎn) 的相似度，對(duì)該像素點(diǎn)重新賦灰度值，所述灰度值由相似度所處比例決定，相似度最高賦 255,最低賦0,此處相似度采用構(gòu)建馬爾科夫隨機(jī)場(chǎng)衡量像素點(diǎn)之間的相似度，相似度可以 更好的反應(yīng)該像素點(diǎn)在圖中的特征顯著性。其中，上述相似度的計(jì)算方法為現(xiàn)有技術(shù)，在此 不再贅述。
[0069] 步驟S7:將待識(shí)別車(chē)標(biāo)圖像輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，得到車(chē)標(biāo)識(shí)別結(jié)果。
[0070] 經(jīng)過(guò)15天的實(shí)際應(yīng)用，人工核對(duì)識(shí)別結(jié)果，發(fā)現(xiàn)分類(lèi)效果比較理想，經(jīng)統(tǒng)計(jì)，白天 車(chē)標(biāo)識(shí)別準(zhǔn)確率在98%以上，夜晚光線較好識(shí)別率在90%以上。
[0071] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在于，所述識(shí)別方法 具體為： 步驟S1:建立車(chē)標(biāo)樣本數(shù)據(jù)庫(kù);人工采集車(chē)前臉圖像，并通過(guò)視覺(jué)顯著性檢測(cè)方法獲取 車(chē)標(biāo)圖像，對(duì)車(chē)標(biāo)圖像進(jìn)行預(yù)處理，得到訓(xùn)練樣本集和測(cè)試樣本集； 步驟S2:構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)包括四層:輸入層、隱含層1、隱含層2和輸出 層； 步驟S3:構(gòu)建兩個(gè)自編碼神經(jīng)網(wǎng)絡(luò)，分別對(duì)深度神經(jīng)網(wǎng)絡(luò)中輸入層和隱含層1之間的權(quán) 值1以及隱含層1和隱含層2之間的權(quán)值2進(jìn)行預(yù)訓(xùn)練； 步驟S4:將預(yù)訓(xùn)練得到的權(quán)值1和權(quán)值2作為深度神經(jīng)網(wǎng)絡(luò)權(quán)值1和權(quán)值2的初始值，再 使用訓(xùn)練樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)； 步驟S5:將測(cè)試樣本輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試； 步驟S6:讀取交通卡口采集到的前車(chē)車(chē)臉圖像，然后基于前車(chē)車(chē)臉圖像，通過(guò)視覺(jué)顯著 性檢測(cè)方法獲取車(chē)標(biāo)圖像，并對(duì)車(chē)標(biāo)圖像進(jìn)行預(yù)處理后作為待識(shí)別車(chē)標(biāo)圖像； 步驟S7:將待識(shí)別車(chē)標(biāo)圖像輸入到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，得到車(chē)標(biāo)識(shí)別結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在 于，所述步驟S1中，人工采集η款車(chē)標(biāo)的車(chē)前臉圖像，每一款車(chē)標(biāo)共采集至少800張車(chē)前臉圖 像，然后通過(guò)視覺(jué)顯著性檢測(cè)方法獲取車(chē)標(biāo)圖像作為訓(xùn)練樣本和測(cè)試樣本;其中，η為大于 等于1的整數(shù)。3. 根據(jù)權(quán)利要求1或2所述的基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征 在于，所述步驟S1和所述步驟S6中，所述預(yù)處理是指對(duì)圖像經(jīng)過(guò)尺寸歸一化為70X70像素， 并灰度化處理。4. 根據(jù)權(quán)利要求1-3任一項(xiàng)所述的基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法， 其特征在于，所述步驟S2中，所述深度神經(jīng)網(wǎng)絡(luò)的輸入層的輸入為70X70像素的訓(xùn)練樣本， 包含4900個(gè)節(jié)點(diǎn)，隱含層1和隱含層2各包含700個(gè)節(jié)點(diǎn)，輸出層所包含的節(jié)點(diǎn)數(shù)目則和車(chē)標(biāo) 類(lèi)型數(shù)目一致。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法， 其特征在于，所述步驟S3中，兩個(gè)所述自編碼神經(jīng)網(wǎng)絡(luò)均包括三層:輸入層、隱含層和輸入 層，第一個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)依次為4900、700和4900，分別對(duì)應(yīng)深度神經(jīng)網(wǎng)絡(luò) 的輸入層、隱含層1和輸出層;第二個(gè)自編碼神經(jīng)網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)分別為700、700和700， 分別對(duì)應(yīng)深度神經(jīng)網(wǎng)絡(luò)的隱含層1、隱含層2和隱含層1。6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的基于自編碼預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法， 其特征在于，所述步驟S1和步驟S6中，所述視覺(jué)顯著性檢測(cè)方法具體為： 將讀取的RGB前車(chē)車(chē)臉圖像，根據(jù)強(qiáng)度特征計(jì)算公式得到前車(chē)車(chē)臉圖像的 強(qiáng)度特征圖，在強(qiáng)度特征圖的基礎(chǔ)上進(jìn)行0°、45°、90°和135°四個(gè)方向的Gabor濾波處理，得 到四張方向特征圖，分別計(jì)算強(qiáng)度特征圖和方向特征圖中每個(gè)像素與周邊像素的相似度， 然后先對(duì)四張方向特征圖進(jìn)行疊加獲得一張融合后的方向特征圖，再將強(qiáng)度特征圖和融合 后的方向特征圖疊加，得到顯著圖，在顯著圖上選取99.4%高顯著性并且連通區(qū)域面積最大 的顯著區(qū)域，即得到所述車(chē)標(biāo)圖像。
【文檔編號(hào)】G06N3/08GK105868786SQ201610200388
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年4月1日
【發(fā)明人】周富強(qiáng), 趙耀, 高鶴
【申請(qǐng)人】山東正晨科技股份有限公司