本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種車牌字符識別方法和裝置。

背景技術(shù)：

目前，車牌識別，是以數(shù)字圖像處理以及計(jì)算機(jī)視覺和識別等技術(shù)為基礎(chǔ)，對拍攝的車輛圖像進(jìn)行分析，從而得到每輛汽車的車牌號碼的技術(shù)，隨著城市交通的發(fā)展，車牌識別的技術(shù)已經(jīng)在查處車輛違章和高速公路收費(fèi)等方面得到廣泛應(yīng)用。

相關(guān)技術(shù)中進(jìn)行車牌識別的過程包括：獲取車牌的字符圖像，對獲取到的字符圖像進(jìn)行二值化，然后對二值化后的字符圖像進(jìn)行處理，以對車牌上的字符進(jìn)行識別。

在實(shí)現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：

由于在對字符圖像進(jìn)行識別之前需要對字符圖像進(jìn)行圖像二值化，造成圖像二值化后的字符圖像丟失了很多的圖像信息，而且，圖像二值化本身還會導(dǎo)致字符圖像與周圍背景噪聲圖像發(fā)生粘連，使得字符的識別變的困難，降低了車牌字符的識別率。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種車牌字符識別方法和裝置，以提高車牌字符的識別率。

第一方面，本發(fā)明實(shí)施例提供了一種車牌字符識別方法，包括：

獲取待識別的彩色車牌字符圖像；

對獲取到的所述彩色車牌字符圖像進(jìn)行圖像處理；

通過預(yù)先訓(xùn)練的車牌識別模型對圖像處理后的所述彩色車牌字符圖像中的字符進(jìn)行識別，得到所述彩色車牌字符圖像中的字符分別與所述車牌識別模型中各預(yù)設(shè)字符的相似度，其中，所述車牌識別模型是通過深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)先訓(xùn)練得到的；

確定相似度最大的預(yù)設(shè)字符與彩色車牌字符圖像中的字符相一致。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中：對獲取到的所述彩色車牌字符圖像進(jìn)行圖像處理，包括：

獲取所述彩色車牌字符圖像中三個(gè)圖像通道的像素值；

根據(jù)獲取到的所述三個(gè)圖像通道的像素值分別減去預(yù)先得到的所述三個(gè)圖像通道的圖像均值，得到所述彩色車牌字符圖像的差值圖像；

對所述彩色車牌字符圖像的差值圖像進(jìn)行鏡像操作，得到所述彩色車牌字符圖像的鏡像圖像；

將所述彩色車牌字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接；

對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到所述圖像處理后的彩色車牌字符圖像。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中：所述方法還包括：通過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練車牌識別模型，包括：

獲取車牌中所有字符的彩色字符圖像；

對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像；

通過預(yù)先設(shè)置的深度學(xué)習(xí)網(wǎng)絡(luò)對得到的待訓(xùn)練字符圖像進(jìn)行訓(xùn)練，得到深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果；

通過損失函數(shù)計(jì)算得到的深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果與標(biāo)定類別信息之間的本次輸出結(jié)果差值；

判斷得到的本次輸出結(jié)果差值與上次輸出結(jié)果差值的差是否小于預(yù)設(shè)數(shù)值，其中，所述上次輸出結(jié)果差值是深度學(xué)習(xí)網(wǎng)絡(luò)的上次輸出結(jié)果與標(biāo)定類別信息之間的計(jì)算結(jié)果；

如果是，則根據(jù)得到的深度學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果生成車牌識別模型。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中：對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像，包括：

將所述所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所述所有字符的彩色字符圖像的傾斜圖像；

將作為預(yù)處理圖像的所述所有字符的彩色字符圖像和所述傾斜圖像進(jìn)行鏡像操作，得到所述預(yù)處理圖像的鏡像圖像；

將所述預(yù)處理圖像和所述預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接；

對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到待訓(xùn)練字符圖像。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中：對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像，還包括：

分別獲取所述待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量；

通過獲取到的所述待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量，計(jì)算所述三個(gè)圖像通道的圖像均值，并對計(jì)算得到的所述三個(gè)圖像通道的圖像均值進(jìn)行緩存。

第二方面，本發(fā)明實(shí)施例還提供一種車牌字符識別裝置，包括：

圖像獲取模塊，用于獲取待識別的彩色車牌字符圖像；

圖像處理模塊，用于對獲取到的所述彩色車牌字符圖像進(jìn)行圖像處理；

字符識別模塊，用于通過預(yù)先訓(xùn)練的車牌識別模型對圖像處理后的所述彩色車牌字符圖像中的字符進(jìn)行識別，得到所述彩色車牌字符圖像中的字符分別與所述車牌識別模型中各預(yù)設(shè)字符的相似度，其中，所述車牌識別模型是通過深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)先訓(xùn)練得到的；

確定模塊，用于確定相似度最大的預(yù)設(shè)字符與彩色車牌字符圖像中的字符相一致。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第一種可能的實(shí)施方式，其中：所述圖像處理模塊，包括：

像素值獲取單元，用于獲取所述彩色車牌字符圖像中三個(gè)圖像通道的像素值；

差值圖像處理單元，用于根據(jù)獲取到的所述三個(gè)圖像通道的像素值分別減去預(yù)先得到的所述三個(gè)圖像通道的圖像均值，得到所述彩色車牌字符圖像的差值圖像；

鏡像單元，用于對所述彩色車牌字符圖像的差值圖像進(jìn)行鏡像操作，得到所述彩色車牌字符圖像的鏡像圖像；

拼接單元，用于將所述彩色車牌字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接；

處理單元，用于對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到所述圖像處理后的彩色車牌字符圖像。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第二種可能的實(shí)施方式，其中：所述裝置還包括：

字符獲取模塊，用于獲取車牌中所有字符的彩色字符圖像；

預(yù)處理模塊，用于對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像；

訓(xùn)練模塊，用于通過預(yù)先設(shè)置的深度學(xué)習(xí)網(wǎng)絡(luò)對得到的待訓(xùn)練字符圖像進(jìn)行訓(xùn)練，得到深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果；

計(jì)算模塊，用于通過損失函數(shù)計(jì)算得到的深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果與標(biāo)定類別信息之間的本次輸出結(jié)果差值；

判斷模塊，用于判斷得到的本次輸出結(jié)果差值與上次輸出結(jié)果差值的差是否小于預(yù)設(shè)數(shù)值，其中，所述上次輸出結(jié)果差值是深度學(xué)習(xí)網(wǎng)絡(luò)的上次輸出結(jié)果與標(biāo)定類別信息之間的計(jì)算結(jié)果；

模型生成模塊，用于如果所述判斷模塊判斷結(jié)果為是時(shí)，根據(jù)得到的深度學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果生成車牌識別模型。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第三種可能的實(shí)施方式，其中：所述預(yù)處理模塊，包括：

傾斜單元，用于將所述所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所述所有字符的彩色字符圖像的傾斜圖像；

鏡像操作單元，用于將作為預(yù)處理圖像的所述所有字符的彩色字符圖像和所述傾斜圖像進(jìn)行鏡像操作，得到所述預(yù)處理圖像的鏡像圖像；

預(yù)處理圖像拼接單元，用于將所述預(yù)處理圖像和所述預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接；

直方圖均衡處理單元，用于對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到待訓(xùn)練字符圖像。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第四種可能的實(shí)施方式，其中：所述預(yù)處理模塊，還包括：

第一像素處理單元，用于分別獲取所述待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量；

第二像素處理單元，用于通過獲取到的所述待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量，計(jì)算所述三個(gè)圖像通道的圖像均值，并對計(jì)算得到的所述三個(gè)圖像通道的圖像均值進(jìn)行緩存。

本發(fā)明實(shí)施例提供的一種車牌字符識別方法和裝置，通過對彩色車牌字符圖像進(jìn)行處理和識別，與現(xiàn)有技術(shù)中需要先對字符圖像進(jìn)行二值化后再對二值化后的字符圖像進(jìn)行識別的過程相比，無需進(jìn)行字符圖像的二值化，可以保證在車牌識別的過程中被識別的彩色車牌字符圖像具有更多的圖像信息，且不會造成字符圖像與周圍背景噪聲圖像發(fā)生粘連，使得對彩色車牌字符圖像的識別變得簡單，提高了車牌字符的識別率。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1示出了本發(fā)明實(shí)施例1所提供的一種車牌字符識別方法的流程圖；

圖2示出了本發(fā)明實(shí)施例1所提供的一種車牌字符識別方法，通過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練車牌識別模型具體方法的流程圖；

圖3示出了本發(fā)明實(shí)施例2所提供的一種車牌字符識別裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來布置和設(shè)計(jì)。因此，以下對在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

目前，由于在對字符圖像進(jìn)行識別之前需要對字符圖像進(jìn)行圖像二值化，造成圖像二值化后的字符圖像丟失了很多的圖像信息，而且，圖像二值化本身還會導(dǎo)致字符圖像與周圍背景噪聲圖像發(fā)生粘連，使得字符的識別變的困難，降低了車牌字符的識別率。基于此，本申請?zhí)峁┮环N車牌字符識別方法和裝置。

實(shí)施例1

為便于對本實(shí)施例進(jìn)行理解，首先對本發(fā)明實(shí)施例所公開的一種車牌字符識別方法進(jìn)行詳細(xì)介紹。

本實(shí)施例所公開的一種車牌字符識別方法，執(zhí)行主體是計(jì)算設(shè)備，該計(jì)算設(shè)備，用于直接通過對彩色車牌字符圖像進(jìn)行處理和識別，來確定彩色車牌字符圖像中的字符。

計(jì)算設(shè)備，可以采用現(xiàn)有的任何型號的計(jì)算機(jī)或者服務(wù)器，確定彩色車牌字符圖像中的字符，這里不再一一贅述。

參見圖1，本實(shí)施例提供一種車牌字符識別方法，該方法包括以下步驟100至步驟106。

在本發(fā)明實(shí)施例中，在通過步驟100獲取待識別的彩色車牌字符圖像之前，首先需要通過以下步驟200至步驟210建立車牌識別模型。

參見圖2，通過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練車牌識別模型，包括以下步驟200至步驟210：

步驟200、獲取車牌中所有字符的彩色字符圖像。

其中，上述車牌中所有字符，包括但不限于：車牌號碼中常見的10個(gè)數(shù)字、25個(gè)字母(沒有字母I)、32個(gè)省級行政區(qū)的漢字簡稱的圖像。

計(jì)算設(shè)備會通過現(xiàn)有車牌識別技術(shù)以及人工標(biāo)定兩種方式來獲取上述車牌中所有字符中各個(gè)字符的彩色圖像。為了保證圖像識別的準(zhǔn)確率，應(yīng)盡可能多的獲取各字符在不同情況下的彩色圖像，比如可以收集同一字符在不同顏色車牌(藍(lán)色車牌、白色車牌、黑色車牌和黃色車牌)、在不同時(shí)段(上午、中午和晚上)以及不同天氣情況(晴朗、多云、下雨)下的彩色字符圖像。

步驟202、對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像。

步驟204、通過預(yù)先設(shè)置的深度學(xué)習(xí)網(wǎng)絡(luò)對得到的待訓(xùn)練字符圖像進(jìn)行訓(xùn)練，得到深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果。

具體地，通過預(yù)先設(shè)置了初始化參數(shù)(一般通過高斯分布進(jìn)行初始化)的深度學(xué)習(xí)網(wǎng)絡(luò)對收集到的字符圖像進(jìn)行訓(xùn)練，將該深度學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果與第一步的字符圖像的標(biāo)定信息直接的差異逐層返回到整個(gè)網(wǎng)絡(luò)中，更新整個(gè)網(wǎng)絡(luò)的參數(shù)，然后繼續(xù)將字符圖像輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，多次循環(huán)進(jìn)行訓(xùn)練直至網(wǎng)絡(luò)的輸出和字符圖像的標(biāo)定信息之間的差異逐步縮小至不再產(chǎn)生明顯的波動為止。

其中，上述深度學(xué)習(xí)網(wǎng)絡(luò)可以采用現(xiàn)有的任意深度學(xué)習(xí)網(wǎng)絡(luò)，該深度學(xué)習(xí)網(wǎng)絡(luò)包括卷積層、池化層、全連接層、非線性層、損失計(jì)算層等。

卷積層通過圖像處理中常見的卷積運(yùn)算使得圖像的特征信號增強(qiáng)并降低噪音，卷積層中的每個(gè)神經(jīng)元與輸入圖像中的一個(gè)較小局部區(qū)域內(nèi)的像素進(jìn)行運(yùn)算，通過卷積運(yùn)算獲得圖像的特征；池化層利用圖像的局部區(qū)域所表達(dá)的特征信息接近的原理通過抽樣的方式減少特征數(shù)量，調(diào)試增強(qiáng)學(xué)習(xí)到特征的平移不變性，具體包括最大化采樣、平均值采樣和隨機(jī)采樣，常用的是最大化采樣；非線性層通過一些非線性函數(shù)，對輸入的特征進(jìn)行非線性的變換，使得輸出特征有較強(qiáng)的表達(dá)能力；全連接層可以把輸入的特征投影到一個(gè)更好的子空間以利于屬性預(yù)測，它的每個(gè)神經(jīng)元都與上一層的所有神經(jīng)元相連接，如上述內(nèi)容包含67個(gè)類別，那么全連接層輸出的神經(jīng)元個(gè)數(shù)也就是67，即每個(gè)節(jié)點(diǎn)輸出字符圖像屬于該結(jié)點(diǎn)的概率。

在本實(shí)施例中，每個(gè)節(jié)點(diǎn)輸出字符圖像屬于該結(jié)點(diǎn)的概率由該字符圖像與該節(jié)點(diǎn)對應(yīng)的預(yù)設(shè)字符的相似度進(jìn)行表示。

上述輸出結(jié)果是一個(gè)長度和字符類別數(shù)目一樣的數(shù)組，數(shù)組中的每個(gè)數(shù)代表當(dāng)前字符圖像屬于某個(gè)預(yù)設(shè)字符的概率，即當(dāng)前字符圖像與某個(gè)預(yù)設(shè)字符的相似度。

在通過上述步驟204得到深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果之后，繼續(xù)通過以下步驟206的操作得到本次輸出結(jié)果差值。

步驟206、通過損失函數(shù)計(jì)算得到的深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果與標(biāo)定類別信息之間的本次輸出結(jié)果差值。

在上述步驟206中，損失函數(shù)可以采用現(xiàn)有的任何可以計(jì)算得到的深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果與標(biāo)定類別信息之間的本次輸出結(jié)果差值進(jìn)行計(jì)算，這里不再一一贅述。

上述標(biāo)定類別信息指的是訓(xùn)練集中彩色字符圖像的標(biāo)定信息，如訓(xùn)練集中的一張彩色字符圖像被人工標(biāo)定為數(shù)字1，那么這張圖像的標(biāo)定信息就是數(shù)字1。

步驟208、判斷得到的本次輸出結(jié)果差值與上次輸出結(jié)果差值的差是否小于預(yù)設(shè)數(shù)值，如果是，則執(zhí)行步驟210，如果否，則執(zhí)行步驟204；其中，上次輸出結(jié)果差值是深度學(xué)習(xí)網(wǎng)絡(luò)的上次輸出結(jié)果與標(biāo)定類別信息之間的計(jì)算結(jié)果。

在上述步驟206至步驟208中，上述深度學(xué)習(xí)網(wǎng)絡(luò)的損失計(jì)算層主要是計(jì)算輸出的結(jié)果與人工標(biāo)定結(jié)果之間的誤差。在全連接層輸出的概率與事先人工標(biāo)定的信息進(jìn)行比較，計(jì)算輸出結(jié)果與真實(shí)標(biāo)定結(jié)果之間的差異，這個(gè)差異通過損失函數(shù)來計(jì)算得出，然后網(wǎng)絡(luò)會將這個(gè)差異逐層返回到整個(gè)網(wǎng)絡(luò)的每個(gè)參數(shù)中，更新每個(gè)參數(shù)，使得這個(gè)差異變小。然后再次進(jìn)行網(wǎng)絡(luò)的前向傳導(dǎo)，輸出識別結(jié)果，再次與真實(shí)標(biāo)定結(jié)果進(jìn)行比較，如此往復(fù)，直至整個(gè)網(wǎng)絡(luò)的輸出結(jié)果與真實(shí)標(biāo)定信息之間的差異逐步變小至不再產(chǎn)生明顯的波動。

步驟210、根據(jù)得到的深度學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果生成車牌識別模型。

相關(guān)技術(shù)中，采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來建立車牌字符識別模型，并在建立車牌字符識別模型過程中采用人工設(shè)計(jì)的特征，人工設(shè)計(jì)的特征主要依靠設(shè)計(jì)者的先驗(yàn)知識，往往通過人工經(jīng)驗(yàn)調(diào)整參數(shù)，會導(dǎo)致建立的模型不能有效識別真實(shí)圖像中的車牌。所以，為了保證建立的車牌識別模型的字符識別率，上述對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像，包括以下步驟(1)至步驟(4)：

(1)將所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所有字符的彩色字符圖像的傾斜圖像；

(2)將作為預(yù)處理圖像的所有字符的彩色字符圖像和傾斜圖像進(jìn)行鏡像操作，得到預(yù)處理圖像的鏡像圖像；

(3)將預(yù)處理圖像和預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接；

(4)對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到待訓(xùn)練字符圖像。

在上述步驟(1)中，所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，是由于在實(shí)際場景中所安裝的攝像機(jī)角度各有不同，經(jīng)常會出現(xiàn)所拍攝的車牌在圖像中并不是保持水平的，而是有一定的傾斜角度，此處在預(yù)處理中的隨機(jī)小角度旋轉(zhuǎn)就是為了模擬現(xiàn)實(shí)中的此類場景，一般旋轉(zhuǎn)角度為5度以內(nèi)，這個(gè)是經(jīng)驗(yàn)數(shù)值。

在上述步驟(4)中，直方圖均衡，是解決強(qiáng)順光和強(qiáng)逆光場景中的彩色字符圖像的對比度較低導(dǎo)致圖像無法識別的，通過直方圖均衡操作，彩色字符圖像中的三個(gè)圖像通道可以更好地在直方圖上分布，增強(qiáng)圖像的對比度。

除了上述的預(yù)處理操作之外，計(jì)算設(shè)備還可以對彩色字符圖像進(jìn)行隨機(jī)取圖像局部區(qū)域操作；該隨機(jī)取圖像局部區(qū)域操作，主要是為了解決實(shí)際情況中的車牌字符在進(jìn)行切分的時(shí)候出現(xiàn)的切分不準(zhǔn)確而出現(xiàn)殘缺圖像的情況，故在訓(xùn)練解決人為的模擬一些殘缺圖像的情況。該隨機(jī)取圖像局部區(qū)域操作可以進(jìn)一步增加建立的車牌識別模型中預(yù)設(shè)字符的數(shù)量，提高車牌識別模型的性能，而深度學(xué)習(xí)訓(xùn)練得到的車牌識別模型的性能與訓(xùn)練集中預(yù)設(shè)字符的數(shù)量規(guī)模在同樣的網(wǎng)絡(luò)結(jié)構(gòu)下基本是成線性正比關(guān)系，進(jìn)一步提高字符識別性能。

上述進(jìn)行圖像水平拼接至特定尺寸的操作和直方圖均衡操作的執(zhí)行順序可以互換，不必非得按照步驟(1)至步驟(4)中所描述的流程執(zhí)行。

通過以上步驟(1)至步驟(4)的描述可以看出，將所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所有字符的彩色字符圖像的傾斜圖像，并將所有字符的彩色字符圖像和得到的傾斜圖像作為預(yù)處理圖像，使車牌識別模型中的字符數(shù)量增加一倍，從而可以在通過車牌識別模型中的預(yù)設(shè)字符進(jìn)行字符識別時(shí)，利用車牌識別模型中字符數(shù)量的優(yōu)勢，提高車牌識別模型的字符識別率；而且，通過將預(yù)處理圖像和預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接，得到待訓(xùn)練字符圖像，可以構(gòu)成一張寬高比例成為1比1的圖像，解決了現(xiàn)有技術(shù)中由于我國的機(jī)動車號牌有固定的寬高標(biāo)準(zhǔn)，每個(gè)字符圖像的寬高比例基本在1：2左右，而目前的深度學(xué)習(xí)網(wǎng)絡(luò)中多數(shù)處理的圖像都是寬高比例為1比1，如果強(qiáng)行將字符圖像歸一化到深度學(xué)習(xí)網(wǎng)絡(luò)所要求的圖像尺寸，則會造成圖像嚴(yán)重變形和失真，大量的有用信息被錯(cuò)誤使用的問題，水平拼接后得到的待訓(xùn)練字符圖像符合目前主流深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練圖像標(biāo)準(zhǔn)，這樣做一方面可以利用現(xiàn)有成熟的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，還可以在識別模糊圖像時(shí)候?yàn)榫W(wǎng)絡(luò)提供比單張圖像更加豐富的圖像信息，進(jìn)一步提高了字符識別性能。

為了保證生成的車牌識別模型可以順利的對彩色車牌字符圖像進(jìn)行識別，上述對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像，還包括以下步驟(1)至步驟(2)：

(1)分別獲取待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量；

(2)通過獲取到的待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量，計(jì)算三個(gè)圖像通道的圖像均值，并對計(jì)算得到的三個(gè)圖像通道的圖像均值進(jìn)行緩存。

上述圖像通道，是指在RGB色彩模式中任一圖像中單獨(dú)的紅色、綠色、藍(lán)色部分的像素值之和。也就是說，一幅完整的圖像，是由紅色綠色藍(lán)色三個(gè)圖像通道組成的。他們共同作用產(chǎn)生了完整的圖像。

上述三個(gè)圖像通道，包括任一圖像中紅色像素值之和、綠色像素值之和以及藍(lán)色像素值之和。

在建立車牌識別模型之后，可以通過以下步驟100至步驟106對待識別的彩色車牌字符圖像進(jìn)行識別。

步驟100、獲取待識別的彩色車牌字符圖像。

具體地，上述待識別的彩色車牌字符圖像的獲取過程包括如下步驟(1)至(2)：

(1)從與計(jì)算設(shè)備連接的監(jiān)控設(shè)備中獲取監(jiān)控設(shè)備所拍攝到的彩色車牌圖像；

(2)對獲取到彩色車牌圖像進(jìn)行車牌定位和字符切分操作，得到待識別的彩色車牌字符圖像。

上述步驟(1)中，監(jiān)控設(shè)備，設(shè)置在卡口、電警、收費(fèi)站和停車場等場景中。

上述步驟(2)中，可以采用現(xiàn)有的任何能夠?qū)Σ噬嚺茍D像進(jìn)行車牌定位和字符切分的算法，來對彩色車牌圖像進(jìn)行操作，這里不再一一贅述。

步驟102、對獲取到的彩色車牌字符圖像進(jìn)行圖像處理。

步驟104、通過預(yù)先訓(xùn)練的車牌識別模型對圖像處理后的彩色車牌字符圖像中的字符進(jìn)行識別，得到彩色車牌字符圖像中的字符分別與車牌識別模型中各預(yù)設(shè)字符的相似度。

在步驟104中，上述車牌識別模型是通過深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)先訓(xùn)練得到的。

在通過預(yù)先訓(xùn)練的車牌識別模型對圖像處理后的彩色車牌字符圖像中的字符進(jìn)行識別的過程中，車牌識別模型的最終輸出層包含有多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)預(yù)設(shè)的字符，而每個(gè)節(jié)點(diǎn)輸出的是該待識別彩色車牌字符圖像屬于某個(gè)預(yù)設(shè)字符的概率，如：第一個(gè)輸出節(jié)點(diǎn)表示該字符圖像為數(shù)字0的概率，第二個(gè)輸出節(jié)點(diǎn)為該字符圖像屬于數(shù)字1的概率，以此類推，并且所有輸出節(jié)點(diǎn)的概率的和為1。

上述節(jié)點(diǎn)輸出的概率，表示彩色車牌字符圖像中的字符與該節(jié)點(diǎn)對應(yīng)的預(yù)設(shè)字符的相似度。

上述預(yù)設(shè)字符，包括但不限于：車牌號碼中常見的10個(gè)數(shù)字、25個(gè)英文字母(沒有字母I)以及32個(gè)省級行政區(qū)的漢字簡稱。

步驟106、確定相似度最大的預(yù)設(shè)字符與彩色車牌字符圖像中的字符相一致。

在上述步驟106中，從所有輸出節(jié)點(diǎn)輸出的概率值中尋找概率最大的一個(gè)節(jié)點(diǎn)，確定該概率值最大的節(jié)點(diǎn)對應(yīng)的預(yù)設(shè)字符就是彩色車牌字符圖像中的字符。

綜上所述，本實(shí)施例提供的一種車牌字符識別方法和裝置，通過對彩色車牌字符圖像進(jìn)行處理和識別，與現(xiàn)有技術(shù)中需要先對字符圖像進(jìn)行二值化后再對二值化后的字符圖像進(jìn)行識別的過程相比，無需進(jìn)行字符圖像的二值化，可以保證在車牌識別的過程中被識別的彩色車牌字符圖像具有更多的圖像信息，不會造成字符圖像與周圍背景噪聲圖像發(fā)生粘連，使得對彩色車牌字符圖像的識別變得簡單，提高了車牌字符的識別率。

相關(guān)技術(shù)中，在獲取包含車牌的高清圖像之后，需要對整張圖像進(jìn)行多種圖像處理，由于目前安防監(jiān)控相機(jī)的分辨率大多都在720p以上，這樣就使得相關(guān)技術(shù)中所需要做的圖像處理的效率較為低下。為了提高圖像的處理效率，上述對獲取到的彩色車牌字符圖像進(jìn)行圖像處理，包括以下步驟(1)至步驟(5)：

(1)獲取彩色車牌字符圖像中三個(gè)圖像通道的像素值；

(2)根據(jù)獲取到的三個(gè)圖像通道的像素值分別減去預(yù)先得到的三個(gè)圖像通道的圖像均值，得到彩色車牌字符圖像的差值圖像；

(3)對彩色車牌字符圖像的差值圖像進(jìn)行鏡像操作，得到彩色車牌字符圖像的鏡像圖像；

(4)將彩色車牌字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接；

(5)對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到圖像處理后的彩色車牌字符圖像。

上述進(jìn)行圖像水平拼接至特定尺寸的操作和直方圖均衡操作的執(zhí)行順序可以互換，不必非得按照步驟(1)至步驟(5)中所描述的流程執(zhí)行。

綜上所述，在得到字符圖像后，才對得到的字符圖像進(jìn)行差值、水平拼接以及直方圖均衡等預(yù)處理操作，無需對整張車牌圖像進(jìn)行圖像處理操作，可以提高圖像的處理效率；而且，通過將彩色字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接，得到圖像處理后的彩色車牌字符圖像，可以構(gòu)成一張寬高比例成為1比1的圖像，解決了現(xiàn)有技術(shù)中由于我國的機(jī)動車號牌有固定的寬高標(biāo)準(zhǔn)，每個(gè)字符圖像的寬高比例基本在1：2左右，而目前的深度學(xué)習(xí)網(wǎng)絡(luò)中多數(shù)處理的圖像都是寬高比例為1比1，如果強(qiáng)行將字符圖像歸一化到深度學(xué)習(xí)網(wǎng)絡(luò)所要求的圖像尺寸，則會造成圖像嚴(yán)重變形和失真，大量的有用信息被錯(cuò)誤使用的問題，水平拼接后得到的待訓(xùn)練字符圖像符合目前主流深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練圖像標(biāo)準(zhǔn)，這樣做一方面可以利用現(xiàn)有成熟的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，還可以在識別模糊圖像時(shí)候?yàn)榫W(wǎng)絡(luò)提供比單張圖像更加豐富的圖像信息，進(jìn)一步提高了字符識別性能。

實(shí)施例2

參見圖3，本實(shí)施例提供一種車牌字符識別裝置，用于執(zhí)行上述的車牌字符識別方法，包括：

圖像獲取模塊300，用于獲取待識別的彩色車牌字符圖像；

圖像處理模塊302，用于對獲取到的彩色車牌字符圖像進(jìn)行圖像處理；

字符識別模塊304，用于通過預(yù)先訓(xùn)練的車牌識別模型對圖像處理后的彩色車牌字符圖像中的字符進(jìn)行識別，得到彩色車牌字符圖像中的字符分別與車牌識別模型中各預(yù)設(shè)字符的相似度，其中，車牌識別模型是通過深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)先訓(xùn)練得到的；

確定模塊306，用于確定相似度最大的預(yù)設(shè)字符與彩色車牌字符圖像中的字符相一致。

相關(guān)技術(shù)中，在獲取包含車牌的高清圖像之后，需要對整張圖像進(jìn)行多種圖像處理，由于目前安防監(jiān)控相機(jī)的分辨率大多都在720p以上，這樣就使得相關(guān)技術(shù)中所需要做的圖像處理的效率較為低下。為了提高圖像的處理效率，上述圖像處理模塊302，包括：

像素值獲取單元，用于獲取彩色車牌字符圖像中三個(gè)圖像通道的像素值；

差值圖像處理單元，用于根據(jù)獲取到的三個(gè)圖像通道的像素值分別減去預(yù)先得到的三個(gè)圖像通道的圖像均值，得到彩色車牌字符圖像的差值圖像；

鏡像單元，用于對彩色車牌字符圖像的差值圖像進(jìn)行鏡像操作，得到彩色車牌字符圖像的鏡像圖像；

拼接單元，用于將彩色車牌字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接；

處理單元，用于對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到圖像處理后的彩色車牌字符圖像。

綜上所述，在得到字符圖像后，才對得到的字符圖像進(jìn)行差值、水平拼接以及直方圖均衡等預(yù)處理操作，無需對整張車牌圖像進(jìn)行圖像處理操作，可以提高圖像的處理效率；而且，通過將將彩色字符圖像和相應(yīng)的鏡像圖像進(jìn)行水平拼接，得到圖像處理后的彩色車牌字符圖像，可以構(gòu)成一張寬高比例成為1比1的圖像，解決了現(xiàn)有技術(shù)中由于我國的機(jī)動車號牌有固定的寬高標(biāo)準(zhǔn)，每個(gè)字符圖像的寬高比例基本在1：2左右，而目前的深度學(xué)習(xí)網(wǎng)絡(luò)中多數(shù)處理的圖像都是寬高比例為1比1，如果強(qiáng)行將字符圖像歸一化到深度學(xué)習(xí)網(wǎng)絡(luò)所要求的圖像尺寸，則會造成圖像嚴(yán)重變形和失真，大量的有用信息被錯(cuò)誤使用的問題，水平拼接后得到的待訓(xùn)練字符圖像符合目前主流深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練圖像標(biāo)準(zhǔn)，這樣做一方面可以利用現(xiàn)有成熟的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，還可以在識別模糊圖像時(shí)候?yàn)榫W(wǎng)絡(luò)提供比單張圖像更加豐富的圖像信息，進(jìn)一步提高了字符識別性能。

上述車牌字符識別裝置還包括：

字符獲取模塊，用于獲取車牌中所有字符的彩色字符圖像；

預(yù)處理模塊，用于對獲取到的所有字符的彩色字符圖像進(jìn)行預(yù)處理，得到待訓(xùn)練字符圖像；

訓(xùn)練模塊，用于通過預(yù)先設(shè)置的深度學(xué)習(xí)網(wǎng)絡(luò)對得到的待訓(xùn)練字符圖像進(jìn)行訓(xùn)練，得到深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果；

計(jì)算模塊，用于通過損失函數(shù)計(jì)算得到的深度學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前輸出結(jié)果與標(biāo)定類別信息之間的本次輸出結(jié)果差值；

判斷模塊，用于判斷得到的本次輸出結(jié)果差值與上次輸出結(jié)果差值的差是否小于預(yù)設(shè)數(shù)值，其中，上次輸出結(jié)果差值是深度學(xué)習(xí)網(wǎng)絡(luò)的上次輸出結(jié)果與標(biāo)定類別信息之間的計(jì)算結(jié)果；

模型生成模塊，用于如果判斷模塊判斷結(jié)果為是時(shí)，根據(jù)得到的深度學(xué)習(xí)網(wǎng)絡(luò)的輸出結(jié)果生成車牌識別模型。

相關(guān)技術(shù)中，采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來建立車牌字符識別模型，并在建立車牌字符識別模型過程中采用人工設(shè)計(jì)的特征，人工設(shè)計(jì)的特征主要依靠設(shè)計(jì)者的先驗(yàn)知識，往往通過人工經(jīng)驗(yàn)調(diào)整參數(shù)，會導(dǎo)致建立的模型不能有效識別真實(shí)圖像中的車牌。所以，為了保證建立的車牌識別模型的字符識別率，上述預(yù)處理模塊，包括：

傾斜單元，用于將所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所有字符的彩色字符圖像的傾斜圖像；

鏡像操作單元，用于將作為預(yù)處理圖像的所有字符的彩色字符圖像和傾斜圖像進(jìn)行鏡像操作，得到預(yù)處理圖像的鏡像圖像；

預(yù)處理圖像拼接單元，用于將預(yù)處理圖像和預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接；

直方圖均衡處理單元，用于對水平拼接后的圖像進(jìn)行直方圖均衡處理，得到待訓(xùn)練字符圖像。

為了保證生成的車牌識別模型可以順利的對彩色車牌字符圖像進(jìn)行識別，上述預(yù)處理模塊，還包括：

第一像素處理單元，用于分別獲取待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量；

第二像素處理單元，用于通過獲取到的待訓(xùn)練字符圖像中三個(gè)圖像通道的像素值和像素?cái)?shù)量，計(jì)算三個(gè)圖像通道的圖像均值，并對計(jì)算得到的三個(gè)圖像通道的圖像均值進(jìn)行緩存。

通過以上描述可以看出，將所有字符的彩色字符圖像中的字符進(jìn)行平面內(nèi)傾斜和縱深傾斜，得到所有字符的彩色字符圖像的傾斜圖像，并將所有字符的彩色字符圖像和得到的傾斜圖像作為預(yù)處理圖像，使車牌識別模型中的字符數(shù)量增加一倍，從而可以在通過車牌識別模型中的預(yù)設(shè)字符進(jìn)行字符識別時(shí)，利用車牌識別模型中字符數(shù)量的優(yōu)勢，提高車牌識別模型的字符識別率；而且，通過將預(yù)處理圖像和預(yù)處理圖像的鏡像圖像進(jìn)行水平拼接，得到待訓(xùn)練字符圖像，可以構(gòu)成一張寬高比例成為1比1的圖像，解決了現(xiàn)有技術(shù)中由于我國的機(jī)動車號牌有固定的寬高標(biāo)準(zhǔn)，每個(gè)字符圖像的寬高比例基本在1：2左右，而目前的深度學(xué)習(xí)網(wǎng)絡(luò)中多數(shù)處理的圖像都是寬高比例為1比1，如果強(qiáng)行將字符圖像歸一化到深度學(xué)習(xí)網(wǎng)絡(luò)所要求的圖像尺寸，則會造成圖像嚴(yán)重變形和失真，大量的有用信息被錯(cuò)誤使用的問題，水平拼接后得到的待訓(xùn)練字符圖像符合目前主流深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練圖像標(biāo)準(zhǔn)，這樣做一方面可以利用現(xiàn)有成熟的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，還可以在識別模糊圖像時(shí)候?yàn)榫W(wǎng)絡(luò)提供比單張圖像更加豐富的圖像信息，進(jìn)一步提高了字符識別性能。

本發(fā)明實(shí)施例所提供的進(jìn)行一種車牌字符識別方法的計(jì)算機(jī)程序產(chǎn)品，包括存儲了程序代碼的計(jì)算機(jī)可讀存儲介質(zhì)，所述程序代碼包括的指令可用于執(zhí)行前面方法實(shí)施例中所述的方法，具體實(shí)現(xiàn)可參見方法實(shí)施例，在此不再贅述。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實(shí)施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，又例如，多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲在一個(gè)計(jì)算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在一個(gè)存儲介質(zhì)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。