一種基于多尺度筆畫模型的車牌識別方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于多尺度筆畫模型的車牌識別方法，首先獲取訓(xùn)練數(shù)據(jù)集的車牌圖像中的字符，然后獲取字符的多尺度筆畫模型；再利用得到的多尺度筆畫模型，對待識別車牌圖像中車牌上的字符進(jìn)行檢測，獲取車牌上的字符；然后獲取待識別的車牌圖像中字符的筆畫模型特征向量和HOG特征向量，拼接成字符的特征向量；最后用訓(xùn)練數(shù)據(jù)集得到的字符特征向量訓(xùn)練分類器，再利用訓(xùn)練好的分類器對待識別的車牌圖像中獲取的字符特征向量進(jìn)行分類，得到待識別車牌圖像的識別結(jié)果。本發(fā)明還提供了相應(yīng)的車牌識別系統(tǒng)。本發(fā)明方法車牌圖像識別過程簡單易行，推廣能力強，本發(fā)明方法識別準(zhǔn)確率高，且能夠有效克服模糊、噪聲及局部遮擋等不利因素的影響。
【專利說明】—種基于多尺度筆畫模型的車牌識別方法與系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機(jī)視覺【技術(shù)領(lǐng)域】，更具體地，涉及一種基于多尺度筆畫模型的車牌識別方法與系統(tǒng)。
【背景技術(shù)】
[0002]隨著全球經(jīng)濟(jì)化形勢的不斷發(fā)展，人們的生活水平日益提高，私人擁有機(jī)動車輛的數(shù)量呈幾何增長態(tài)勢，汽車的普及成為了目前的必然趨勢。在這種情況下，各種交通問題的出現(xiàn)越來越頻繁。因此，大力發(fā)展智能交通系統(tǒng)，才能真正解決日益嚴(yán)重的交通問題。智能交通系統(tǒng)是一個基于現(xiàn)代電子信息技術(shù)、面向交通運輸?shù)姆?wù)系統(tǒng)，以信息的收集、處理、發(fā)布、交換、分析、應(yīng)用為主線，為交通管理者和參與者提供多樣性的服務(wù)。車牌識別技術(shù)是智能交通系統(tǒng)的一個重要組成部分，該技術(shù)的研究始于20世紀(jì)70年代，經(jīng)過近四十年的發(fā)展，該技術(shù)已日趨成熟，并開始在交通、公安、路政、安防等許多領(lǐng)域得到了廣泛的應(yīng)用。車牌識別技術(shù)以數(shù)字圖像處理、模式識別、計算機(jī)視覺等技術(shù)為基礎(chǔ)，要求能夠?qū)⑦\動中汽車的牌照從復(fù)雜的背景中提取并識別出來，通過車牌檢測、圖像預(yù)處理、特征提取、車牌字符識別等技術(shù)識別車輛牌號。
[0003]車牌識別技術(shù)與其他車輛身份識別方式相比具有很大的優(yōu)勢。首先是其唯一性:任何兩輛車使用的合法車牌必然是不同的，雖然在國外存在兩輛車使用相同的車牌號碼的情況，但車牌顏色各異。然后是車牌信息制定的規(guī)范性:作為車輛識別標(biāo)識，車牌有著十分規(guī)范的編碼方式，給識別提供了便利的條件。對每一類型的車牌，其車牌格式類型都是唯一的，同時，不同類的車輛使用何種顏色的車牌也有著嚴(yán)格的規(guī)定。最后是車牌圖像采集的便利性:車牌的安裝位置相對固定，均安裝在車輛的最前端和最后端的固定位置，十分顯眼，方便拍照采集。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種基于多尺度筆畫模型的車牌識別方法，該方法字符表示過程簡單易行，并且識別準(zhǔn)確率高。
[0005]為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于多尺度筆畫模型的車牌識別方法，包括下述步驟:
[0006](I)獲取車牌圖像中字符的多尺度筆畫模型:
[0007](1.1)對訓(xùn)練圖像集中的車牌圖像，根據(jù)字符在車牌圖像中的位置和大小信息，獲取圖像的字符區(qū)域和背景區(qū)域；
[0008]具體地，可以對給定的訓(xùn)練圖像集，用人工標(biāo)注的方法將訓(xùn)練圖像集中車牌圖像上的字符區(qū)域用矩形框標(biāo)記出來，獲取車牌的字符區(qū)域，車牌圖像的其他區(qū)域為背景區(qū)域；
[0009](1.2)在字符區(qū)域和背景區(qū)域分別隨機(jī)取多種尺度的圖像塊；
[0010]具體地，對獲取的字符區(qū)域和背景區(qū)域，分別隨機(jī)取不同尺度的圖像塊。對同一個尺度的圖像塊，字符區(qū)域取出的圖像塊構(gòu)成字符集D，背景區(qū)域取出的圖像塊構(gòu)成背景集N，然后將字符集和背景集均分為兩個不重疊的部分，即為D= (D1, DJ ；N= {Ni，N2};多個不同尺度的圖像塊即可得到多個字符集和背景集；
[0011](1.3)對每種尺度的圖像塊，采用聚類的方法獲取字符的筆畫模型，得到用以描述字符的多尺度筆畫模型:
[0012](1.3.1)對一種尺度的圖像塊，將字符子集D1中的所有圖像塊進(jìn)行聚類，聚類結(jié)果記作K，火={I,}=?，其中CNum為聚類中心個數(shù)；
[0013](1.3.2)對聚類所得的所有簇，統(tǒng)計簇中圖像塊的數(shù)量，取圖像塊數(shù)量不小于NL的所有簇，NL為聚類后有效簇選取的圖像塊數(shù)量閾值；
[0014](1.3.3)對所得的每一個簇，以簇中圖像塊為正樣本，以N1中所有圖像塊為負(fù)樣本，訓(xùn)練線性支持向量機(jī)分類器；
[0015](1.3.4)用訓(xùn)練好的線性支持向量機(jī)分類器對D2中的所有圖像塊進(jìn)行檢測，對每個分類器都取出分類得分大于-1且數(shù)目不多于匪的圖像塊作為訓(xùn)練該分類器的正樣本的新元素，匪為選擇 分類器正樣本新元素的數(shù)量閾值；
[0016](1.3.5)交換D1和D2、N1和N2中的所有圖像塊；
[0017](1.3.6)重復(fù)進(jìn)行(1.3.3)-(1.3.5)步驟，循環(huán)NN次，NN為預(yù)設(shè)的循環(huán)次數(shù)，例如取值為5 ；
[0018](1.3.7)計算每個簇的得分，取出得分最高的M個簇以及與之對應(yīng)的分類器，即為字符在該尺度下的筆畫模型，其中M為經(jīng)驗值，筆畫模型中的每一組簇和分類器都稱為筆畫模型的一個類；
[0019]具體為，對得到的所有簇以及對應(yīng)的分類器，首先將簇中的所有圖像塊放入對應(yīng)的分類器中，并對這些圖像塊按分類器給出的得分進(jìn)行排序，將得分最高的HSNum(HSNum是一個經(jīng)驗值)個圖像塊得分相加，即為該簇的純度，記為Purity ;然后將字符集D和背景集N中的所有圖像塊放入簇對應(yīng)的的分類器中，統(tǒng)計字符集D和背景集N中屬于這個簇的圖像塊的個數(shù)，分別為fire (D)和fire (N)，定義簇的區(qū)分度為:
【權(quán)利要求】
1.一種基于多尺度筆畫模型的車牌識別方法，其特征在于，所述方法包括下述步驟: (1)獲取車牌圖像中字符的多尺度筆畫模型: (1.1)對訓(xùn)練圖像集中的車牌圖像，根據(jù)字符在車牌圖像中的位置和大小信息，獲取圖像的字符區(qū)域和背景區(qū)域； (1.2)在字符區(qū)域和背景區(qū)域分別隨機(jī)取多種尺度的圖像塊； (1.3)對每種尺度的圖像塊，采用聚類的方法獲取字符的筆畫模型，得到用以描述字符的多尺度筆畫模型； (2)獲取車牌圖像中的字符: (2.1)對訓(xùn)練圖像集中的每張訓(xùn)練圖像，首先將圖像的尺度按比例縮放，使圖像的高度均為HL個像素，然后在縮放后的圖像上采集多尺度的圖像塊，且圖像塊的尺度與步驟(1.2)中獲取的圖像塊的尺度相同，HL為預(yù)設(shè)的圖像縮放高度值； (2.2)用步驟(1)中得到的多尺度筆畫模型對采集到的圖像塊進(jìn)行投票； (2.3)獲取多尺度筆畫模型對訓(xùn)練圖像集中車牌圖像投票結(jié)果的霍夫圖； (2.4)用Mean Shift算法找出霍夫圖中的所有極大值點，即為車牌圖像中字符的中心位置； (2.5)用加權(quán)求和的方法估算出牌圖像中字符區(qū)域的寬度和高度； (2.6)用車牌圖像中字符的中心位置以及字符區(qū)域的寬度和高度，獲取車牌圖像中的字符； (3)訓(xùn)練字符分類器: (3.1)計算步驟(2)中獲取的車牌圖像的字符的筆畫模型特征向量； (3.2)計算步驟(2)中獲取的車牌圖像的字符的HOG特征向量； (3.3)將字符的筆畫模型特征向量和HOG特征向量拼接成字符的特征向量； (3.4)利用訓(xùn)練圖像中獲取的所有字符的字符特征向量訓(xùn)練隨機(jī)森林分類器； (4)識別待識別的車牌圖像: (4.1)按照步驟(2)檢測出待識別車牌圖像中的字符； (4.2)按照步驟(3.1)-(3.3)獲取待識別車牌圖像中字符的特征向量； (4.3)利用步驟(3)中訓(xùn)練好的隨機(jī)森林分類器，對待識別的字符特征向量進(jìn)行分類，并輸出車牌圖像的識別結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(1.1)具體為:用人工標(biāo)注的方法將訓(xùn)練圖像集中車牌圖像上的字符區(qū)域用矩形框標(biāo)記出來，獲取車牌的字符區(qū)域，車牌圖像的其他區(qū)域為背景區(qū)域。
3.根據(jù)權(quán)利要求1或2所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(1.2)具體為:對獲取的字符區(qū)域和背景區(qū)域，分別隨機(jī)取不同尺度的圖像塊；對同一個尺度的圖像塊，字符區(qū)域取出的圖像塊構(gòu)成字符集D，背景區(qū)域取出的圖像塊構(gòu)成背景集N，并將字符集和背景集均分為兩個不重疊的部分，即為D= (D1, DJ ；N= {Ni，N2};多個不同尺度的圖像塊即可得到多個字符集和背景集。
4.根據(jù)權(quán)利要求1至3任一項所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(1.3)具體為: (1.3.1)對一種尺度的圖像塊，將字符子集D1中的所有圖像塊進(jìn)行聚類，聚類結(jié)果記作K，[ = {[,舊?，其中CNum為聚類中心個數(shù)； (1.3.2)對聚類所得的所有簇，統(tǒng)計簇中圖像塊的數(shù)量，取圖像塊數(shù)量不小于NL的所有簇，NL為聚類后有效簇選取的圖像塊數(shù)量閾值； (1.3.3)對所得的每一個簇，以簇中圖像塊為正樣本，以N1中所有圖像塊為負(fù)樣本，訓(xùn)練線性支持向量機(jī)分類器； (1.3.4)用訓(xùn)練好的線性支持向量機(jī)分類器對D2中的所有圖像塊進(jìn)行檢測，對每個分類器都取出分類得分大于-1且數(shù)目不多于NM的圖像塊作為訓(xùn)練該分類器的正樣本的新元素，NM為選擇分類器正樣本新元素的數(shù)量閾值； (1.3.5)交換D1和D2、N1和N2中的所有圖像塊； (1.3.6)重復(fù)進(jìn)行(1.3.3)-(1.3.5)步驟，循環(huán)NN次，NN為預(yù)設(shè)的循環(huán)次數(shù)，例如取值為5 ； (1.3.7)計算每個簇的得分，取出得分最高的M個簇以及與之對應(yīng)的分類器，即為字符在該尺度下的筆畫模型，其中M為經(jīng)驗值，筆畫模型中的每一組簇和分類器都稱為筆畫模型的一個類； (1.3.8)對每個尺度的圖像塊，都重復(fù)(1.3.1)-(1.3.7)的所有步驟，即可得到字符的多個尺度的筆畫模型。
5.根據(jù)權(quán)利要求4所述的基 于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(1.3.7)具體為: 對得到的所有簇以及對應(yīng)的分類器，首先將簇中的所有圖像塊放入對應(yīng)的分類器中，并對這些圖像塊按分類器給出的得分進(jìn)行排序，將得分最高的HSNum(HSNum是一個經(jīng)驗值)個圖像塊得分相加，即為該簇的純度，記為Purity ;然后將字符集D和背景集N中的所有圖像塊放入簇對應(yīng)的的分類器中，統(tǒng)計字符集D和背景集N中屬于這個簇的圖像塊的個數(shù)，分別為fire (D)和fire (N)，定義簇的區(qū)分度為: v.fire(D) ciiscn =-:-
Jire(D) + fire( N) 則簇的分?jǐn)?shù)為:score = purity+λ ?discri,其中λ為經(jīng)驗值；計算出所有簇的得分，并取出得分最高的M個簇CU= [Cltj 以及與之對應(yīng)的分類器C = {?.，那么字符在該尺度下的筆畫模型即為Ω = {Cft7，，其中M為經(jīng)驗值，筆畫模型中的每一組簇和分類器都稱為筆畫模型的一個類。
6.根據(jù)權(quán)利要求1所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(2.2)具體為:將車牌圖像中獲取的圖像塊分別放入對應(yīng)尺度的筆畫模型中進(jìn)行比對，找出圖像塊在筆畫模型中所屬的類別；利用這個類別中的分類器輸出一個該圖像塊的分?jǐn)?shù)，這個分?jǐn)?shù)即為筆畫模型對這個圖像塊的投票值。
7.根據(jù)權(quán)利要求6所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(2.3)具體為:按照步驟(2.2)將車牌圖像中的所有圖像塊放入對應(yīng)尺度的筆畫模型中進(jìn)行比對，車牌圖像中每個點將得到筆畫模型的一系列投票值，在每個點上將這些投票值疊加，得到該點的投票總數(shù)，進(jìn)一步得到筆畫模型對該車牌圖像投票結(jié)果的霍夫圖。
8.根據(jù)權(quán)利要求1所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(3.1)具體為: (3.1.1)在原訓(xùn)練圖像上將所有圖像塊根據(jù)筆畫模型進(jìn)行直方圖統(tǒng)計，統(tǒng)計筆畫模型中每一個類的采樣點數(shù)目，從而得到一個M維的向量； (3.1.2)將原訓(xùn)練圖像分成2*2共4個分塊，針對每個分塊重復(fù)(3.1.1)的計算過程，最后得到4個M維的向量； (3.1.3)將上述兩個步驟得到的向量拼接起來，得到一個5*M維的向量，就是該字符的筆畫模型特征向量。
9.根據(jù)權(quán)利要求1所述的基于多尺度筆畫模型的車牌識別方法，其特征在于，所述步驟(3.2)具體為: 首先將圖像均分為5*7共35部分，然后對每個部分分別計算其HOG特征向量，將所有特征向量拼接起來，得到字符的HOG特征向量。
10.一種基于多尺度筆畫模型的車牌識別系統(tǒng)，其特征在于，所述系統(tǒng)包括多尺度筆畫模型生成模塊、車牌圖像中字符獲取模塊、字符分類器訓(xùn)練模塊以及待識別車牌圖像識別模塊，其中: 所述多尺度筆畫模型生成模塊，用于獲取車牌圖像中字符的多尺度筆畫模型，具體包括字符與背景區(qū)域獲取 子模塊、多尺度圖像塊獲取子模塊以及多尺度筆畫模型生成子模塊，其中: 所述字符與背景區(qū)域獲取子模塊，用于對訓(xùn)練圖像集中的車牌圖像，根據(jù)字符在車牌圖像中的位置和大小信息，獲取圖像的字符區(qū)域和背景區(qū)域； 所述多尺度圖像塊獲取子模塊，用于在字符區(qū)域和背景區(qū)域分別隨機(jī)取多種尺度的圖像塊； 所述多尺度筆畫模型生成子模塊，用于對每種尺度的圖像塊，采用聚類的方法獲取字符的筆畫模型，得到用以描述字符的多尺度筆畫模型； 所述車牌圖像字符獲取模塊，用于獲取車牌圖像中的字符，具體包括圖像塊采集子模塊、圖像塊投票子模塊、霍夫圖生成子模塊、字符中心位置獲取子模塊、字符寬高度獲取子模塊以及字符獲取子模塊，其中: 所述圖像塊采集子模塊，對訓(xùn)練圖像集中的每張訓(xùn)練圖像，首先將圖像的尺度按比例縮放，使圖像的高度均為HL個像素，然后在縮放后的圖像上采集多尺度的圖像塊，且圖像塊的尺度與多尺度圖像塊獲取子模塊中獲取的圖像塊的尺度相同，HL為預(yù)設(shè)的圖像縮放高度值； 所述圖像塊投票子模塊，用于利用多尺度筆畫模型生成模塊得到的多尺度筆畫模型對采集到的圖像塊進(jìn)行投票； 所述霍夫圖生成子模塊，用于獲取多尺度筆畫模型對訓(xùn)練圖像集中車牌圖像投票結(jié)果的霍夫圖； 所述字符中心位置獲取子模塊，用于用Mean Shift算法找出霍夫圖中的所有極大值點，即為車牌圖像中字符的中心位置； 所述字符寬高度獲取子模塊，用于用加權(quán)求和的方法估算出車牌圖像中字符區(qū)域的寬度和高度；所述字符獲取子模塊，用于用車牌圖像中字符的中心位置以及字符區(qū)域的寬度和高度，獲取車牌圖像中的字符； 字符分類器訓(xùn)練模塊，用于訓(xùn)練字符分類器，具體包括筆畫模型特征向量計算子模塊、HOG特征向量計算子模塊、字符特征向量計算子模塊以及隨機(jī)森林分類器生成子模塊，其中: 所述筆畫模型特征向量計算子模塊，用于計算車牌圖像字符獲取模塊獲取的車牌圖像的字符的筆畫模型特征向量； 所述HOG特征向量計算子模塊，用于計算車牌圖像字符獲取模塊獲取的車牌圖像的字符的HOG特征向量； 所述字符特征向量計算子模塊，用于將字符的筆畫模型特征向量和HOG特征向量拼接成字符的特征向量； 所述隨機(jī)森林分類器生成子模塊，用于利用訓(xùn)練圖像中獲取的所有字符的字符特征向量訓(xùn)練隨機(jī)森林分類器； 所述待識別車牌圖像識別模塊，用于識別待識別的車牌圖像，具體包括待識別車牌圖像字符檢測子模塊、字符特征向量計算子模塊、待識別車牌圖像識別子模塊，其中: 所述待識別車牌圖像字符檢測子模塊，用于檢測出待識別車牌圖像中的字符； 所述字符特征向量計算子模塊，用于獲取待識別車牌圖像中字符的特征向量； 所述待識別車牌圖像識別子模塊，用于利用字符分類器訓(xùn)練模塊訓(xùn)練好的隨機(jī)森林分類器，對待識別的字符特征向量進(jìn)行分類，并輸出車牌圖像的識別結(jié)果。
【文檔編號】G06K9/00GK103971097SQ201410205321
【公開日】2014年8月6日 申請日期:2014年5月15日 優(yōu)先權(quán)日:2014年5月15日
【發(fā)明者】陳瑞軍, 白翔, 姚聰, 肖可偉, 張新浩 申請人:武漢睿智視訊科技有限公司