本發(fā)明涉及圖像處理和人工智能領(lǐng)域，尤其涉及一種車牌識(shí)別方法及裝置、用戶設(shè)備。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，基本結(jié)構(gòu)分為兩層，卷積層和池化層。卷積層通過多個(gè)可訓(xùn)練的濾波器組對(duì)前一層輸出進(jìn)行非線性卷積，產(chǎn)生特征映射圖；池化層對(duì)特征映射圖中每組的四個(gè)像素進(jìn)行池化運(yùn)算，對(duì)空間或特征類型進(jìn)行聚合。能夠識(shí)別提取具有位移、縮放及其他形式扭曲不變性的特征。

圖像識(shí)別效果較好的卷積神經(jīng)網(wǎng)絡(luò)可調(diào)參數(shù)規(guī)模較大，內(nèi)存復(fù)雜度和計(jì)算復(fù)雜度均較高，不利于將網(wǎng)絡(luò)應(yīng)用到移動(dòng)或嵌入式設(shè)備當(dāng)中；同時(shí),分布式并行運(yùn)算等加速手段對(duì)于移動(dòng)或嵌入式設(shè)備是不現(xiàn)實(shí)的。卷積神經(jīng)網(wǎng)絡(luò)在車牌識(shí)別領(lǐng)域已經(jīng)有較多運(yùn)用，但是利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別車牌并且能將系統(tǒng)做到具備精確的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，可以嵌入到手機(jī)等移動(dòng)設(shè)備，是當(dāng)前需要解決的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例公開了一種車牌識(shí)別方法及裝置、用戶設(shè)備，具備精準(zhǔn)的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，能嵌入到移動(dòng)設(shè)備。

本發(fā)明實(shí)施例第一方面公開一種車牌識(shí)別方法，包括：

獲取車輛圖像，并將所述車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車輛圖像是否存在車輛；

如果所述車輛圖像存在車輛，則在所述車輛圖像上采集車牌圖像，并將所述車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車牌圖像是否存在車牌；

如果所述車牌圖像存在車牌，則將所述車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)所述車牌圖像是否異常；

如果沒有異常，則在所述車牌圖像上采集識(shí)別圖像，并將所述識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷所述識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；

分別將所述地區(qū)編號(hào)圖像、所述字母圖像和所述數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；

根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述方法中，所述獲取車輛圖像，并將所述車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車輛圖像是否存在車輛的步驟包括：

獲取視頻流數(shù)據(jù)中的車輛圖像，所述車輛圖像以張量模式表示；

根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將所述車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第一特征映射圖；

將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

將所述全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；

將第一特征向量輸入所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，在所述方法中，所述將車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車牌圖像是否存在車牌的步驟包括：

根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將所述車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第二特征映射圖；

將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

將所述全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；

將第二特征向量輸入所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法(Back-propagation，BP)優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、權(quán)值和偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，在所述方法中，所述將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)所述車牌圖像是否異常的步驟包括：

將所述車牌圖像直接輸入訓(xùn)練好的張量神經(jīng)網(wǎng)絡(luò)中得到其對(duì)應(yīng)的直接概率密度比；

再將所述直接概率密度比與完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后得到的臨界直接概率密度比進(jìn)行比較，如果所述直接概率密度比大于所述臨界直接概率密度比，則為正常圖像，否則為異常圖像。

本發(fā)明實(shí)施例第二方面公開一種車牌識(shí)別裝置，包括：

數(shù)據(jù)采集模塊，用于在視頻流圖像中采集車輛圖像；在所述車輛圖像中采集車牌圖像；以及在所述車牌圖像中采集識(shí)別圖像；

車輛搜索模塊，用于將所述車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車輛圖像是否存在車輛；

車牌搜索模塊，用于將所述車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車牌圖像是否存在車牌；

異常監(jiān)測(cè)模塊，用于將所述車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢查所述車牌圖像是否異常；

車牌識(shí)別模塊，用于將所述識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷所述識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；然后分別將所述地區(qū)編號(hào)圖像、所述字母圖像和所述數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；再根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第二方面中，所述車輛搜索模塊包括：

車輛圖像處理單元，用于根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將所述車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第一特征映射圖；

權(quán)值矩陣獲取單元，用于將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

張量分解單元，用于將所述全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；

分類預(yù)測(cè)單元，用于將第一特征向量輸入所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第二方面中，所述車牌搜索模塊包括：

車牌圖像處理單元，用于根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將所述車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第二特征映射圖；

權(quán)值矩陣獲取單元，用于將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

張量分解單元，用于將所述全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；

分類預(yù)測(cè)單元，用于將第二特征向量輸入所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第二方面中，所述異常監(jiān)測(cè)模塊包括：

張量神經(jīng)網(wǎng)絡(luò)單元，用于根據(jù)輸入的車牌圖像獲取與之對(duì)應(yīng)的直接概率密度比；

比較單元，用于將所述直接概率密度比與完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后得到的臨界直接概率密度比進(jìn)行比較，如果所述直接概率密度比大于所述臨界直接概率密度比，則為正常圖像，否則為異常圖像。

本發(fā)明實(shí)施例第三方面公開一種用戶設(shè)備，包括本發(fā)明實(shí)施例第二方面公開的所述車牌識(shí)別裝置。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具備以下有益效果：

本發(fā)明實(shí)施例中，獲取車輛圖像后，將車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車輛圖像是否存在車輛；如果車輛圖像存在車輛，則在車輛圖像上采集車牌圖像，并將車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索該車牌圖像是否存在車牌；然后將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)該車牌圖像是否異常；如果沒有異常，則在該車牌圖像上采集識(shí)別圖像，并將采集的識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；再分別將地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；最后根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果?？梢?，實(shí)施本發(fā)明實(shí)施例提供的車牌識(shí)別方法具備精確的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，能嵌入到移動(dòng)設(shè)備。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例公開的一種車牌識(shí)別方法的流程示意圖；

圖2是本發(fā)明實(shí)施例公開的另一種車牌識(shí)別方法的流程示意圖；

圖3是本發(fā)明實(shí)施例中對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)的示意圖；

圖4是本發(fā)明實(shí)施例中權(quán)值參數(shù)規(guī)模和r值的關(guān)系示意圖；

圖5是本發(fā)明實(shí)施例公開的一種車牌識(shí)別裝置的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實(shí)施例公開的另一種車牌識(shí)別裝置的結(jié)構(gòu)示意圖；

圖7是本發(fā)明實(shí)施例公開的一種用戶設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

需要說明的是，本發(fā)明實(shí)施例的術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

本發(fā)明實(shí)施例公開了一種車牌識(shí)別方法及裝置、用戶設(shè)備，實(shí)現(xiàn)了具備精確的分類效果的同時(shí)網(wǎng)絡(luò)規(guī)模適中，能嵌入到移動(dòng)設(shè)備。以下進(jìn)行結(jié)合附圖進(jìn)行詳細(xì)描述。

實(shí)施例一

請(qǐng)參閱圖1，圖1是本發(fā)明實(shí)施例公開的一種車牌識(shí)別方法的流程示意圖。如圖1所示，該車牌識(shí)別方法可以包括以下步驟：

101、獲取車輛圖像，并將車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索車輛圖像是否存在車輛；

電子攝像頭等移動(dòng)或嵌入式設(shè)備采集彩色視頻流數(shù)據(jù)，數(shù)據(jù)以張量模式存儲(chǔ)表示。首先從視頻流數(shù)據(jù)中，以特定的步長(zhǎng)在視頻流圖像上從左上角至右下角的順序進(jìn)行遍歷，獲取車輛圖像，車輛圖像經(jīng)預(yù)處理得到預(yù)處理后的車輛圖像，預(yù)處理后的車輛圖像進(jìn)入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)，檢查是否存在車輛。具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第一特征映射圖；然后將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；最后將第一特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、網(wǎng)絡(luò)中的權(quán)值以及偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

102、如果車輛圖像存在車輛，則在車輛圖像上采集車牌圖像，并將車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索車牌圖像是否存在車牌；

如果車輛圖像經(jīng)過車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索后存在車輛，則在該車輛圖像上采集車牌圖像，具體的，以特定的步長(zhǎng)在車輛圖像上從左上角至右下角的順序進(jìn)行遍歷采集車牌圖像，車牌圖像經(jīng)預(yù)處理得到預(yù)處理后的車牌圖像，預(yù)處理后的車牌圖像進(jìn)入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)，檢查是否存在車牌。具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第二特征映射圖；然后將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；最后將第二特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、網(wǎng)絡(luò)中的權(quán)值以及偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

103、將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)車牌圖像是否異常；

如果車牌圖像經(jīng)過車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索后存在車牌，則將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)車牌圖像是否異常。具體的，先將車牌圖像直接輸入訓(xùn)練好的張量神經(jīng)網(wǎng)絡(luò)中得到其對(duì)應(yīng)的直接概率密度比；再將直接概率密度比與完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后得到的臨界直接概率密度比進(jìn)行比較，如果直接概率密度比大于臨界直接概率密度比，則為正常圖像，否則為異常圖像。

104、如果沒有異常，則在車牌圖像上采集識(shí)別圖像，并將識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；

如果車牌圖像沒有異常，則在車牌圖像上采集識(shí)別圖像，具體的，以特定的步長(zhǎng)在車牌圖像上從左上角至右下角的順序進(jìn)行遍歷，采集識(shí)別圖像。再將識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像。具體的，識(shí)別圖像經(jīng)過預(yù)處理得到預(yù)處理后的識(shí)別圖像，預(yù)處理后的識(shí)別圖像進(jìn)入一個(gè)簡(jiǎn)單的判斷神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷，該判斷神經(jīng)網(wǎng)絡(luò)的輸出共四類，分別為地區(qū)編號(hào)、字母、數(shù)字和其他。若判斷結(jié)果為其他，則放棄當(dāng)前識(shí)別圖像，判斷下一張識(shí)別圖像；判斷結(jié)果若為地區(qū)編號(hào)，識(shí)別圖像進(jìn)入車牌識(shí)別階段的地區(qū)編號(hào)識(shí)別；判斷結(jié)果若為字母，識(shí)別圖像進(jìn)入車牌識(shí)別階段的字母識(shí)別；判斷結(jié)果若為數(shù)字，識(shí)別圖像則進(jìn)入車牌識(shí)別階段的數(shù)字識(shí)別。

105、分別將地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；

車牌號(hào)識(shí)別階段，由三個(gè)并行的卷積神經(jīng)網(wǎng)絡(luò)組成，分別是，地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)，字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)以及數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)。

地區(qū)編號(hào)識(shí)別：對(duì)地區(qū)編號(hào)圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的地區(qū)編號(hào)圖像，預(yù)處理后的地區(qū)編號(hào)圖像進(jìn)入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)的識(shí)別。

字母識(shí)別：對(duì)字母圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的字母圖像，預(yù)處理后的字母圖像進(jìn)入字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行字母的識(shí)別。

數(shù)字識(shí)別：對(duì)數(shù)字圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的數(shù)字圖像，預(yù)處理后的字母圖像進(jìn)入數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)字的識(shí)別。

106、根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果；

最后根據(jù)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)的輸出，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果。

需要說明的是，本實(shí)施例中對(duì)各類圖像的預(yù)處理，可以是平滑處理、去噪處理、光照歸一化處理、增強(qiáng)處理等等，根據(jù)具體的需要進(jìn)行預(yù)處理，此處不做限制。

在圖1所描述的方法，獲取車輛圖像后，將車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索所述車輛圖像是否存在車輛；如果車輛圖像存在車輛，則在車輛圖像上采集車牌圖像，并將車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索該車牌圖像是否存在車牌；然后將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢測(cè)該車牌圖像是否異常；如果沒有異常，則在該車牌圖像上采集識(shí)別圖像，并將采集的識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；再分別將地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；最后根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果?？梢?，實(shí)施本發(fā)明實(shí)施例提供的車牌識(shí)別方法在卷積神經(jīng)網(wǎng)絡(luò)中引入空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解，從分類準(zhǔn)確率和網(wǎng)絡(luò)規(guī)模的角度，改進(jìn)傳統(tǒng)的卷積網(wǎng)絡(luò)，并通過多個(gè)卷積神經(jīng)網(wǎng)絡(luò)多階段式的對(duì)車牌進(jìn)行識(shí)別，具備精確的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，能嵌入到移動(dòng)設(shè)備。

實(shí)施例二

請(qǐng)參閱圖2，圖2是本發(fā)明實(shí)施例公開的另一種車牌識(shí)別方法的流程示意圖。如圖2所示，該車牌識(shí)別方法可以包括以下步驟：

201、采集視頻流數(shù)據(jù)；

電子攝像頭等移動(dòng)或嵌入式設(shè)備采集彩色視頻流數(shù)據(jù)，數(shù)據(jù)以張量模式存儲(chǔ)表示。

202、從視頻流圖像上采集車輛圖像；

從視頻流數(shù)據(jù)中，以特定的步長(zhǎng)在視頻流圖像上從左上角至右下角的順序進(jìn)行遍歷，獲取車輛圖像。

203、車輛圖像的預(yù)處理；

車輛圖像經(jīng)預(yù)處理得到預(yù)處理后的車輛圖像，此處的預(yù)處理，可以是平滑處理、去噪處理、光照歸一化處理、增強(qiáng)處理等等，根據(jù)具體的需要進(jìn)行任意組合的預(yù)處理，此處不做限制。

204、車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索是否存在車輛；

預(yù)處理后的車輛圖像進(jìn)入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)，檢查是否存在車輛。本實(shí)施例中的卷積神經(jīng)網(wǎng)絡(luò)是引入了空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解的卷積神經(jīng)網(wǎng)絡(luò)，從分類準(zhǔn)確率和網(wǎng)絡(luò)規(guī)模的角度改進(jìn)了傳統(tǒng)的卷積網(wǎng)絡(luò)。具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第一特征映射圖；然后將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；最后將第一特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、權(quán)利中的權(quán)值以及偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

車輛圖像以張量模式表示并直接輸入卷積神經(jīng)網(wǎng)絡(luò)的輸入模塊。下面參照?qǐng)D3對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)舉例說明：

圖像以張量模式表示并直接輸入網(wǎng)絡(luò)的輸入模塊。具體的：

以MNIST手寫數(shù)字灰度圖為例，規(guī)模28×28，為方便后續(xù)步驟說明，所有樣本都經(jīng)過45°逆時(shí)針旋轉(zhuǎn)噪聲。所以在本實(shí)施例中Z⁽⁰⁾的規(guī)模為28×28×1，其中Z^(l)是以三階張量，表示第l層的輸出圖，也是第l+1的輸入圖。第一階代表Z^(l)的高，第二階表示Z^(l)的寬，第三階表示Z^(l)的圖層。

圖像進(jìn)入空間變換網(wǎng)絡(luò)進(jìn)行幾何空間變換校正。具體的：

輸入圖像Z⁽⁰⁾進(jìn)入定位網(wǎng)絡(luò)模塊學(xué)習(xí)變換矩陣θ，該定位網(wǎng)絡(luò)是一個(gè)小型的回歸神經(jīng)網(wǎng)絡(luò)，即卷積神經(jīng)網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)均可，此處不做限定。輸出變換矩陣θ的各個(gè)元素θ_ij，變換矩陣θ的規(guī)模依賴于輸入的規(guī)模，例如，輸入是二維矩陣，變換矩陣θ的規(guī)模為2×3，若是三維矩陣，變換矩陣θ的規(guī)模為3×4，以此類推。

將輸出圖像Z⁽¹⁾上的坐標(biāo)系坐標(biāo)(x^t,y^t)，其中，“t”是target的縮寫，表示目標(biāo)圖像Z⁽¹⁾，即輸出圖像，通過變換矩陣θ映射到輸入圖像上的坐標(biāo)系坐標(biāo)(x^s,y^s)，其中，“s”是source的縮寫，表示源圖像Z⁽⁰⁾，即輸入圖像，生成抽樣網(wǎng)格。目標(biāo)圖像與源圖像的關(guān)系如下：

定義抽樣核的類型，本發(fā)明定義的抽樣核k()，該抽樣核k()決定圖像插值類型，比如本實(shí)施例中定義的抽樣核所決定的圖像插值類型為雙線性插值函數(shù)，此處并不限于雙線性插值函數(shù)；對(duì)源圖像上在抽樣網(wǎng)格內(nèi)(x^s,y^s)處的像素進(jìn)行插值，并將插值計(jì)算得到的像素值傳遞到輸出圖像Z⁽¹⁾上的坐標(biāo)(x^t,y^t)處最后得到輸出圖像Z⁽¹⁾。

其中，公式中V_i^c的表示目標(biāo)圖像矩陣V^c第i個(gè)元素的坐標(biāo)值(x^t,y^t)，同理和是源圖像U^c第i個(gè)元素的坐標(biāo)值(x^s,y^s)，H,W分別表示源圖像的高和寬，W′和H′分別表示目標(biāo)圖像的高和寬。

輸入圖像Z⁽⁰⁾從空間變換網(wǎng)絡(luò)出來更名為校正圖像Z⁽¹⁾，校正圖像進(jìn)入卷積模塊和池化模塊，分別進(jìn)行卷積處理和池化處理。具體的：

本實(shí)施例中，前饋卷積均為有效卷積運(yùn)算，步長(zhǎng)為1；第2，5層為卷積層，其中Kernel^(l)表示第l層的所有卷積核，第一二階表示卷積核的高和寬，第三階表示圖層，第四階表示卷積核的個(gè)數(shù)。本例的3，6層表示池化層，常用的池化類型有最大池化和均值池化。

經(jīng)過多次“幾何空間變換→卷積→池化”后，將最后的特征映射圖Z⁽⁶⁾向量化輸出列向量，即最后的特征映射圖Z⁽⁶⁾的重新排列為列向量。具體的：本實(shí)施例中，最后的特征映射圖為Z⁽⁶⁾，規(guī)模為4×4×3，所以向量化后的規(guī)模為48×1。

然后全連接層的權(quán)值矩陣進(jìn)行張量列分解，以TT-format表示，將全連接層的運(yùn)算模式由原來的向量模式轉(zhuǎn)化為張量模式。具體的：

本實(shí)施例中，全連接層Z⁽⁷⁾的節(jié)點(diǎn)規(guī)模為48×1，輸出層Z⁽⁸⁾的節(jié)點(diǎn)規(guī)模為10×1，所以全連接層權(quán)值矩陣的規(guī)模為10×48，本實(shí)施例中選擇的重構(gòu)方案為2×5和6×8，設(shè)置TT-rank為(1,r,1)，將權(quán)值矩陣映射到(2×6)×(5×8)的矩陣(二階張量)，在進(jìn)行張量列分解得到權(quán)值矩陣的TT-format表示，不同r值對(duì)應(yīng)不同規(guī)模的TT-format表示，如圖4所示，原始權(quán)值矩陣表示時(shí)的規(guī)模為10×48＝480，而TT-format表示時(shí)，隨著權(quán)值參數(shù)的規(guī)模與r值成正比，選擇合適的r值能夠起到縮減網(wǎng)絡(luò)參數(shù)規(guī)模的效果。

將全連接層的輸入映射到全連接層權(quán)值矩陣張量列分解時(shí)映射到的高階張量的同階張量中，如本實(shí)施例中全連接層的權(quán)值矩陣張量列分解時(shí)，將矩陣映射到12×40的矩陣(二階張量)上再進(jìn)行張量列分解，全連接層的輸入映射到矩陣(二階張量)中去。所以全連接層的輸出也是為同階張量(二階張量)，此時(shí)應(yīng)將輸出映射到向量輸出，為了能夠與下一個(gè)全連接層進(jìn)行全連接或?yàn)榱俗屳敵鰧拥慕Y(jié)果便于解讀。

再根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)。具體的：

定義損失函數(shù)(Loss function)為L(zhǎng)，常用的損失函數(shù)有交叉熵?fù)p失函數(shù)，平方差損失函數(shù)等。本實(shí)例中，以字母L表示損失函數(shù)，其具體形式并不限定，根據(jù)實(shí)際需要進(jìn)行選擇。

首先計(jì)算輸出層(本例中的第8層)的誤差其中分別表示輸出層第k個(gè)節(jié)點(diǎn)的誤差，凈輸入，輸出，期望輸出，表示損失函數(shù)L對(duì)求偏導(dǎo)數(shù)。

本例中的輸出層也是全連接層。故將輸出層的誤差向量映射回同階張量中去，通過TT-format表示的全連接矩陣，將誤差反向傳遞到下一層，由于輸出層的誤差向量通過TT-format表示的全連接權(quán)值后，傳遞下來的誤差是同階張量的形式，所以需要映射回向量模式，得到堆疊層的誤差向量，即：

其中tensor(x)表示將向量x映射到同階張量，表示TT-format表示的全連接權(quán)值，由于本示例中，全連接權(quán)值矩陣是映射到二階張量(矩陣)中在張量列分解的，所以第8層的TT-format表示的全連接權(quán)值為vec(X)表示將高階張量X映射為向量，“ο”表示逐元乘法(point-wise multiplication)，f′(x)表示函數(shù)f(x)對(duì)x的導(dǎo)函數(shù)。所以TT-format表示的全連接權(quán)值的更新為：

b^(8)new＝b⁽⁸⁾+Δb⁽⁸⁾，

其中，η表示學(xué)習(xí)率，一般取0.001，表示第l層TT-format表示的全連接權(quán)值，“T”表示轉(zhuǎn)置，b^(l)表示第l層的偏移參數(shù)向量。

將第7層堆疊層的誤差向量映射回圖模式，即第6層池化層的輸出，即δ⁽⁶⁾＝ToMap(δ⁽⁷⁾)，其中ToMap(x)表示將向量x映射回圖模式。

將第6層池化層的誤差圖根據(jù)池化類型上采樣(upsample)傳遞到第5層卷積層去，upsample是池化逆運(yùn)算，如果是均勻池化(mean-pooling)則把pooling層的誤差平均到其4個(gè)輸入上，如果是最大池化(max-pooling)則把誤差全部反向傳播到其4個(gè)輸入上。本實(shí)例中的池化層均采用最大池化層，本實(shí)施例中選擇池化類型并不限制于最大池化層。

δ⁽⁵⁾＝upsample(δ⁽⁶⁾)；

則第5層卷積層的卷積核權(quán)值參數(shù)更新為：

i＝1,2，....numel(A⁽⁴⁾,3)；

Kernel^(5)new＝Kernel⁽⁵⁾+ΔKernel⁽⁵⁾，

b^(5)new＝b⁽⁵⁾+Δb⁽⁵⁾；

其中，A^(l)表示第l層的卷積凈輸入，numel(A^(l),3)表示第l層的卷積凈輸入的圖層數(shù)，rot₉₀(X)表示將矩陣X的元素順時(shí)針方向旋轉(zhuǎn)90度，Z^(l)表示第l層的輸出圖，也是第l+1的輸入圖，第一二階代表Z^(l)的高和寬，第三階表示Z^(l)的圖層；‘valid’表示卷積類型為有效卷積。

將第5層卷積層的誤差圖通過全卷積運(yùn)算(full convolution)傳遞到第4層空間轉(zhuǎn)換層：

其中numel(Kernel^(l),4)表示第l層是卷積層，該層的卷積核個(gè)數(shù)；convn表示卷積運(yùn)算；rot₁₈₀(X)表示將矩陣X的元素順時(shí)針旋轉(zhuǎn)180度；‘full’表示卷積類型為全卷積。

第4層為空間變換層，需要調(diào)節(jié)的參數(shù)為變換矩陣θ的元素，具體的：

其中θ_xθ_y對(duì)應(yīng)變換矩陣θ的第一行和第二行元素。定位網(wǎng)絡(luò)中的參數(shù)按照傳統(tǒng)的誤差方向傳播算法更新參數(shù)即可，此處不做贅述。

以上是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中引入空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解的舉例，同樣適用在車牌檢索卷積神經(jīng)網(wǎng)絡(luò)，以及識(shí)別卷積神經(jīng)網(wǎng)絡(luò)中。

205、判斷是否存在車輛；

搜索是否存在車輛，如果是，則執(zhí)行步驟207，如果否，則執(zhí)行步驟206。

206、判斷是否遍歷當(dāng)前靜態(tài)圖像；

如果搜索當(dāng)前車輛圖像中不存在車輛，則再判斷是否遍歷了當(dāng)前靜態(tài)圖像，如果是，則執(zhí)行步驟201，如果否，則執(zhí)行步驟202。

207、采集車牌圖像；

如果車輛圖像經(jīng)過車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索后存在車輛，則在該車輛圖像上采集車牌圖像，具體的，以特定的步長(zhǎng)在車輛圖像上從左上角至右下角的順序進(jìn)行遍歷采集車牌圖像。

208、車牌圖像的預(yù)處理；

車牌圖像經(jīng)預(yù)處理得到預(yù)處理后的車牌圖像，此處的預(yù)處理，可以是平滑處理、去噪處理、光照歸一化處理、增強(qiáng)處理等等，根據(jù)具體的需要進(jìn)行預(yù)處理，此處不做限制。

209、車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索是否存在車牌；

預(yù)處理后的車牌圖像進(jìn)入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)，檢查是否存在車牌。本實(shí)施例中的卷積神經(jīng)網(wǎng)絡(luò)是引入了空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解的卷積神經(jīng)網(wǎng)絡(luò)，從分類準(zhǔn)確率和網(wǎng)絡(luò)規(guī)模的角度改進(jìn)了傳統(tǒng)的卷積網(wǎng)絡(luò)。具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第二特征映射圖；然后將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；最后將第二特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、網(wǎng)絡(luò)中的權(quán)值以及偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

210、判斷是否存在車牌；

搜索是否存在車牌，如果是，則執(zhí)行步驟213，如果否，則執(zhí)行步驟211。

211、判斷是否遍歷當(dāng)前靜態(tài)圖像；

如果搜索車牌圖像中不存在車牌，則再判斷是否遍歷了當(dāng)前靜態(tài)圖像，如果是，則執(zhí)行步驟207，如果否則執(zhí)行步驟212。

212、下一張車輛圖像；

搜索下一張車輛圖像中是否存在車牌。

213、將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)；

如果搜索車牌圖像中存在車牌，則將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)。具體的：車牌圖像進(jìn)入異常檢測(cè)張量神經(jīng)網(wǎng)絡(luò)檢查當(dāng)前車牌圖像是否異常，若異常，舍棄當(dāng)前車牌圖像并輸出異常警告信息，檢測(cè)下一張車牌圖像；若正常，當(dāng)前車牌圖像進(jìn)入車牌識(shí)別步驟。

本實(shí)施例中的異常檢測(cè)是基于張量網(wǎng)絡(luò)和概率密度比的異常檢測(cè)，具體訓(xùn)練過程如下：

前提條件是：假設(shè)存在含有少量異常的樣本集

首先將樣本集劃分為標(biāo)準(zhǔn)集standard{}和評(píng)價(jià)集review{}，標(biāo)準(zhǔn)集standard{}和評(píng)價(jià)集review{}的樣本量一致，其中standard{}包含樣本集中所有樣本均為正常樣本，評(píng)價(jià)集review{}含有所有的異常樣本和部分從standard{}抽樣復(fù)制過來的正常樣本，具體地，假設(shè)樣本集含有15正常3異常的樣本，即18個(gè)樣本中存在3個(gè)異常樣本，則有standard{15}，review{(3)+12}，其中review{}中的12是從standard{}內(nèi)15個(gè)樣本中隨機(jī)抽樣得到的12個(gè)樣本；

然后將standard{}和review{}內(nèi)的樣本隨機(jī)一對(duì)一匹配，得到數(shù)據(jù)對(duì)每個(gè)數(shù)據(jù)對(duì)樣本按照standard，review的順序輸入到張量神經(jīng)網(wǎng)絡(luò)中訓(xùn)練映射函數(shù)f(x),其輸出為輸入x對(duì)應(yīng)的直接概率密度比；完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后，將評(píng)價(jià)集review{}內(nèi)的樣本輸入到訓(xùn)練好的張量神經(jīng)網(wǎng)絡(luò)中得到對(duì)應(yīng)的直接概率密度比p，結(jié)合異常在樣本集中的比例ρ得到臨界直接概率密度比的臨界值p_criti_ca^l；

再將新樣本直接輸入訓(xùn)練好的張量神經(jīng)網(wǎng)絡(luò)中得到其對(duì)應(yīng)的直接概率密度比p_new，若p_new≥p_critical判斷為正常樣本，否則視為異常樣本。

214、判斷是否異常；

判斷車牌圖像是否異常，如果異常，則執(zhí)行步驟215，直接輸出異常信息，否則執(zhí)行216。

215、輸出異常信息；

216、采集識(shí)別圖像；

如果車牌圖像沒有異常，則在車牌圖像上采集識(shí)別圖像，具體的，以特定的步長(zhǎng)在車牌圖像上從左上角至右下角的順序進(jìn)行遍歷，采集識(shí)別圖像。

217、將識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷；

將識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像。具體的，識(shí)別圖像經(jīng)過預(yù)處理得到預(yù)處理后的識(shí)別圖像，預(yù)處理后的識(shí)別圖像進(jìn)入一個(gè)簡(jiǎn)單的判斷神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷，該判斷神經(jīng)網(wǎng)絡(luò)的輸出共四類，分別為地區(qū)編號(hào)、字母、數(shù)字和其他。若判斷結(jié)果為其他，則放棄當(dāng)前識(shí)別圖像，判斷下一張識(shí)別圖像；判斷結(jié)果若為地區(qū)編號(hào)，識(shí)別圖像進(jìn)入車牌識(shí)別階段的地區(qū)編號(hào)識(shí)別；判斷結(jié)果若為字母，識(shí)別圖像進(jìn)入車牌識(shí)別階段的字母識(shí)別；判斷結(jié)果若為數(shù)字，識(shí)別圖像則進(jìn)入車牌識(shí)別階段的數(shù)字識(shí)別。

218、放棄該識(shí)別圖像；

如果識(shí)別結(jié)果是其他，則放棄該識(shí)別圖像。

219、地區(qū)編號(hào)圖像的預(yù)處理；

如果識(shí)別結(jié)果是地區(qū)編號(hào)，則將地區(qū)編號(hào)圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的地區(qū)編號(hào)圖像。

220、地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)識(shí)別；

將預(yù)處理后的地區(qū)編號(hào)圖像進(jìn)入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)的識(shí)別。

221、字母圖像的預(yù)處理；

如果識(shí)別結(jié)果是字母，則將字母圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的字母圖像。

222、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)識(shí)別；

將預(yù)處理后的字母圖像進(jìn)入字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行字母的識(shí)別。

223、數(shù)字圖像的預(yù)處理；

如果識(shí)別結(jié)果是數(shù)字，則將數(shù)字圖像進(jìn)行預(yù)處理，產(chǎn)生預(yù)處理后的數(shù)字圖像。

224、數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)識(shí)別；

將預(yù)處理后的字母圖像進(jìn)入數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)字的識(shí)別。

225、輸出識(shí)別結(jié)果；

最后根據(jù)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)的輸出，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果。

其中，實(shí)施圖2所描述的方法中，在卷積神經(jīng)網(wǎng)絡(luò)中的全連接層引入張量分解后，網(wǎng)絡(luò)更名為張量神經(jīng)網(wǎng)絡(luò)，其全連接層的前饋傳遞、誤差反向傳播以及權(quán)值的存儲(chǔ)更新都發(fā)生變化；在此基礎(chǔ)上本實(shí)施例中再引入空間轉(zhuǎn)換網(wǎng)絡(luò)到張量神經(jīng)網(wǎng)絡(luò)中，具體地，在每個(gè)卷積層之前嵌入空間轉(zhuǎn)換模塊，對(duì)卷積輸入進(jìn)行有效空間幾何變換校正，有效緩解卷積層對(duì)輸入圖像或特征映射圖較大的變換不具有空間不變性的局限，提高卷積輸出空間不變性，進(jìn)而使提取的特征更具代表性，提高輸出層的分類準(zhǔn)確度。進(jìn)一步，全連接層的運(yùn)算采用張量的模式進(jìn)行，有效緩解全連接帶來的空間信息遺失的局限。并且，車牌識(shí)別系統(tǒng)采用多個(gè)卷積網(wǎng)絡(luò)，多階段策略實(shí)現(xiàn)車牌識(shí)別，將車牌識(shí)別的復(fù)雜過程分解為多個(gè)簡(jiǎn)單的子過程，即車輛檢測(cè)，車牌檢測(cè)，車牌號(hào)識(shí)別，車牌號(hào)識(shí)別又包括地區(qū)編號(hào)識(shí)別，字母識(shí)別和數(shù)字識(shí)別，有效提高了車牌識(shí)別的效率。再者，在車牌識(shí)別前增加基于直接概率密度比和張量神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)，有效準(zhǔn)確識(shí)別異常數(shù)據(jù)，過濾異常數(shù)據(jù)，減少不必要的運(yùn)算，提高系統(tǒng)的效率。

實(shí)施例三

請(qǐng)參閱圖5，圖5是本發(fā)明實(shí)施例公開的一種車牌識(shí)別裝置的結(jié)構(gòu)示意圖。如圖5所示，該車牌識(shí)別裝置可以包括：

數(shù)據(jù)采集模塊301，用于在視頻流圖像中采集車輛圖像，具體的，以特定的步長(zhǎng)在視頻流圖像上從左上角至右下角的順序進(jìn)行遍歷，獲取車輛圖像；在車輛圖像中采集車牌圖像，具體的，以特定的步長(zhǎng)在車輛圖像上從左上角至右下角的順序進(jìn)行遍歷采集車牌圖像；以及在車牌圖像中采集識(shí)別圖像，具體的，以特定的步長(zhǎng)在車牌圖像上從左上角至右下角的順序進(jìn)行遍歷，采集識(shí)別圖像。

車輛搜索模塊302，用于將數(shù)據(jù)采集模塊301采集的車輛圖像輸入車輛檢索卷積神經(jīng)網(wǎng)絡(luò)搜索該車輛圖像是否存在車輛；具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第一特征映射圖；然后將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；最后將第一特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、網(wǎng)絡(luò)中的權(quán)值和偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

車牌搜索模塊303，用于將數(shù)據(jù)采集模塊301采集的車牌圖像輸入車牌檢索卷積神經(jīng)網(wǎng)絡(luò)搜索該車牌圖像是否存在車牌；具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第二特征映射圖；然后將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；再將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；最后將第二特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。其中，優(yōu)化可調(diào)參數(shù)的步驟具體為根據(jù)誤差方向傳播算法優(yōu)化網(wǎng)絡(luò)中所有可調(diào)參數(shù)，即對(duì)空間轉(zhuǎn)換矩陣、網(wǎng)絡(luò)中的權(quán)值和偏移的更新，是根據(jù)后一層反傳回來的誤差進(jìn)行局部梯度計(jì)算進(jìn)行的。

異常監(jiān)測(cè)模塊，用于將車牌圖像輸入張量神經(jīng)網(wǎng)絡(luò)檢查該車牌圖像是否異常；具體的，先將車牌圖像直接輸入訓(xùn)練好的張量神經(jīng)網(wǎng)絡(luò)中得到其對(duì)應(yīng)的直接概率密度比；再將直接概率密度比與完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后得到的臨界直接概率密度比進(jìn)行比較，如果直接概率密度比大于臨界直接概率密度比，則為正常圖像，否則為異常圖像。

車牌識(shí)別模塊，用于將數(shù)據(jù)采集模塊301采集的識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像；具體的，以特定的步長(zhǎng)在車牌圖像上從左上角至右下角的順序進(jìn)行遍歷，采集識(shí)別圖像。再將識(shí)別圖像輸入判斷神經(jīng)網(wǎng)絡(luò)判斷該識(shí)別圖像上的地區(qū)編號(hào)、字母和數(shù)字，并輸出地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像。具體的，識(shí)別圖像經(jīng)過預(yù)處理得到預(yù)處理后的識(shí)別圖像，預(yù)處理后的識(shí)別圖像進(jìn)入一個(gè)簡(jiǎn)單的判斷神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷，該判斷神經(jīng)網(wǎng)絡(luò)的輸出共四類，分別為地區(qū)編號(hào)、字母、數(shù)字和其他。若判斷結(jié)果為其他，則放棄當(dāng)前識(shí)別圖像，判斷下一張識(shí)別圖像；判斷結(jié)果若為地區(qū)編號(hào)，識(shí)別圖像進(jìn)入車牌識(shí)別階段的地區(qū)編號(hào)識(shí)別；判斷結(jié)果若為字母，識(shí)別圖像進(jìn)入車牌識(shí)別階段的字母識(shí)別；判斷結(jié)果若為數(shù)字，識(shí)別圖像則進(jìn)入車牌識(shí)別階段的數(shù)字識(shí)別。然后分別將地區(qū)編號(hào)圖像、字母圖像和數(shù)字圖像輸入地區(qū)編號(hào)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)、字母識(shí)別卷積神經(jīng)網(wǎng)絡(luò)和數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行地區(qū)編號(hào)、字母和數(shù)字的識(shí)別，并分別輸出地區(qū)編號(hào)、字母和數(shù)字；再根據(jù)輸出的地區(qū)編號(hào)、字母和數(shù)字，按“地區(qū)編號(hào)字母數(shù)字”的格式輸出車牌號(hào)識(shí)別結(jié)果。

其中，實(shí)施圖5所描述的車牌識(shí)別裝置，在卷積神經(jīng)網(wǎng)絡(luò)中引入空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解，從分類準(zhǔn)確率和網(wǎng)絡(luò)規(guī)模的角度，改進(jìn)傳統(tǒng)的卷積網(wǎng)絡(luò)，并通過多個(gè)卷積神經(jīng)網(wǎng)絡(luò)多階段式的對(duì)車牌進(jìn)行識(shí)別，具備精確的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，能嵌入到移動(dòng)設(shè)備。

實(shí)施例四

請(qǐng)參閱圖6，圖6是本發(fā)明實(shí)施例公開的另一種車牌識(shí)別裝置的結(jié)構(gòu)示意圖。其中，圖6所示的車牌識(shí)別裝置是由于圖5所示的車牌識(shí)別裝置進(jìn)行優(yōu)化得到的。

進(jìn)一步的，圖6所示的車牌識(shí)別裝置中，車輛搜索模塊302包括：

車輛圖像處理單元3021，用于根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第一特征映射圖；具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車輛圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第一特征映射圖。

權(quán)值矩陣獲取單元3022，用于將第一特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

張量分解單元3023，用于將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第一特征向量；

分類預(yù)測(cè)單元3024，用于將第一特征向量輸入所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車輛。

進(jìn)一步的，車牌搜索模塊303包括：

車牌圖像處理單元3031，用于根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，得到第二特征映射圖；具體的，首先根據(jù)空間轉(zhuǎn)換網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)將車牌圖像進(jìn)行多次幾何空間變換校正、卷積處理和池化處理，即先幾何空間變換校正，然后卷積處理，再池化處理，然后又從幾何空間變換校正開始處理，如此循環(huán)多次，得到第二特征映射圖。

權(quán)值矩陣獲取單元3032，用于將第二特征映射圖向量化輸出列向量，并連接多個(gè)全連接層得到全連接層的權(quán)值矩陣；

張量分解單元3033，用于將全連接層的權(quán)值矩陣進(jìn)行張量列分解，提取第二特征向量；

分類預(yù)測(cè)單元3034，用于將第二特征向量輸入卷積神經(jīng)網(wǎng)絡(luò)的輸出層進(jìn)行分類預(yù)測(cè)并優(yōu)化可調(diào)參數(shù)，搜索是否存在車牌。

進(jìn)一步的，異常監(jiān)測(cè)模塊304包括：

張量神經(jīng)網(wǎng)絡(luò)單元3041，用于根據(jù)輸入的車牌圖像獲取與之對(duì)應(yīng)的直接概率密度比；

比較單元3042，用于將直接概率密度比與完成張量神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后得到的臨界直接概率密度比進(jìn)行比較，如果直接概率密度比大于臨界直接概率密度比，則為正常圖像，否則為異常圖像。

其中，實(shí)施圖6所描述的車牌識(shí)別裝置，在卷積神經(jīng)網(wǎng)絡(luò)中的全連接層引入張量分解后，網(wǎng)絡(luò)更名為張量神經(jīng)網(wǎng)絡(luò)，其全連接層的前饋傳遞、誤差反向傳播以及權(quán)值的存儲(chǔ)更新都發(fā)生變化；在此基礎(chǔ)上本實(shí)施例中再引入空間轉(zhuǎn)換網(wǎng)絡(luò)到張量神經(jīng)網(wǎng)絡(luò)中，具體地，在每個(gè)卷積層之前嵌入空間轉(zhuǎn)換模塊，對(duì)卷積輸入進(jìn)行有效空間幾何變換校正，有效緩解卷積層對(duì)輸入圖像或特征映射圖較大的變換不具有空間不變性的局限，提高卷積輸出空間不變性，進(jìn)而使提取的特征更具代表性，提高輸出層的分類準(zhǔn)確度。進(jìn)一步，全連接層的運(yùn)算采用張量的模式進(jìn)行，有效緩解全連接帶來的空間信息遺失的局限。并且，車牌識(shí)別系統(tǒng)采用多個(gè)卷積網(wǎng)絡(luò)，多階段策略實(shí)現(xiàn)車牌識(shí)別，將車牌識(shí)別的復(fù)雜過程分解為多個(gè)簡(jiǎn)單的子過程，即車輛檢測(cè)，車牌檢測(cè)，車牌號(hào)識(shí)別，車牌號(hào)識(shí)別又包括地區(qū)編號(hào)識(shí)別，字母識(shí)別和數(shù)字識(shí)別，有效提高了車牌識(shí)別的效率。再者，在車牌識(shí)別前增加基于直接概率密度比和張量神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)，有效準(zhǔn)確識(shí)別異常數(shù)據(jù)，過濾異常數(shù)據(jù)，減少不必要的運(yùn)算，提高系統(tǒng)的效率。

實(shí)施例五

請(qǐng)參閱圖7，圖7是本發(fā)明實(shí)施例公開的一種用戶設(shè)備的結(jié)構(gòu)示意圖。其中，圖7所示的用戶設(shè)備包括圖5～圖6任意一種車牌識(shí)別裝置。實(shí)施圖7所示的用戶設(shè)備，在卷積神經(jīng)網(wǎng)絡(luò)中引入空間轉(zhuǎn)換網(wǎng)絡(luò)和張量分解，從分類準(zhǔn)確率和網(wǎng)絡(luò)規(guī)模的角度，改進(jìn)傳統(tǒng)的卷積網(wǎng)絡(luò)，并通過多個(gè)卷積神經(jīng)網(wǎng)絡(luò)多階段式的對(duì)車牌進(jìn)行識(shí)別，具備精確的分類效果同時(shí)網(wǎng)絡(luò)的規(guī)模適中，能嵌入到移動(dòng)設(shè)備。

本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)包括只讀存儲(chǔ)器(Read-Only Memory，ROM)、隨機(jī)存儲(chǔ)器(Random Access Memory，RAM)、可編程只讀存儲(chǔ)器(Programmable Read-only Memory，PROM)、可擦除可編程只讀存儲(chǔ)器(Erasable Programmable Read Only Memory，EPROM)、一次可編程只讀存儲(chǔ)器(One-time Programmable Read-Only Memory，OTPROM)、電子抹除式可復(fù)寫只讀存儲(chǔ)器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只讀光盤(Compact Disc Read-Only Memory，CD-ROM)或其他光盤存儲(chǔ)器、磁盤存儲(chǔ)器、磁帶存儲(chǔ)器、或者能夠用于攜帶或存儲(chǔ)數(shù)據(jù)的計(jì)算機(jī)可讀的任何其他介質(zhì)。

以上對(duì)本發(fā)明實(shí)施例公開的一種車牌識(shí)別方法及裝置、用戶設(shè)備進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。