專利名稱：一種基于高清圖像的車牌定位與識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車牌定位與識別方法，具體涉及一種基于高清圖像的車牌定位與 識別方法。
背景技術(shù)：
隨著經(jīng)濟(jì)的發(fā)展，汽車保有量急劇增長，對交通、治安的管理要求也日益提高，采 用高清攝像機(jī)成像技術(shù)，不僅可以清晰抓拍車牌，還可以提供高質(zhì)量的前排司乘人員的面 貌圖像，并且可以記錄車輛全貌及車載情況等信息，從而滿足了刑偵、治安、交警等多個業(yè) 務(wù)部門的需求。此外，采用200萬或者更高像素的攝像機(jī)，一個攝像機(jī)可以抓拍2-3車道， 系統(tǒng)建設(shè)效率也明顯提高。因此，高清晰的車牌識別系統(tǒng)，包括治安卡口系統(tǒng)、電子警察系 統(tǒng)等，已成為當(dāng)前發(fā)展的一個熱點。而現(xiàn)有的基于標(biāo)清圖像的車牌識別技術(shù)很難直接用于高清圖像，原因在于高清圖 像取景范圍大，需要處理的數(shù)據(jù)量很大，背景也更復(fù)雜，而且一般監(jiān)控幾個車道，需要同時 識別幾個車牌，不同車道的車牌大小也不一樣，現(xiàn)有的基于標(biāo)清圖像的車牌識別系統(tǒng)一般 背景簡單且只識別單一車道的單一車牌，另外相似字符和退化字符的識別一直是影響車牌 字符識別準(zhǔn)確率的重要因素，因此如何快速有效的從復(fù)雜場景中提取出多個大小不同的車 牌以及提高對相似字符和退化字符的識別率是現(xiàn)有車牌識別技術(shù)待解決的一個重要問題。

發(fā)明內(nèi)容
為了解決現(xiàn)有車牌定位與識別存在的上述技術(shù)問題，本發(fā)明提供一種基于高清圖 像的車牌定位與識別方法。本發(fā)明利用基于邊緣的車牌定位方法速度快、準(zhǔn)確率高的特點 和級聯(lián)Adaboost分類器虛警率低的特點，對車牌區(qū)域進(jìn)行快速準(zhǔn)確定位，采用模板匹配和 SVM融合的字符識別方法，綜合兩類方法各自的優(yōu)點，打破單一字符識別方法識別率難以提 高的局限，提高了對相似字符和退化字符的識別準(zhǔn)確率。本發(fā)明解決上述技術(shù)問題的技術(shù)方案包括以下步驟
(1)對原始彩色圖像進(jìn)行一次下采樣，對下采樣后的圖像灰度化并進(jìn)行垂直邊緣檢測 和二值化，利用垂直邊緣信息進(jìn)行車牌粗定位，得到所有的候選車牌區(qū)域；
(2)將所有的候選車牌區(qū)域映射回原圖像并送入訓(xùn)練好的級聯(lián)Adaboost分類器，去除 非車牌區(qū)域；
(3)將經(jīng)過步驟(2)得到的車牌區(qū)域進(jìn)行傾斜矯正；
(4)將經(jīng)過步驟(3)得到的車牌區(qū)域進(jìn)行字符分割；
(5)對分割出的字符進(jìn)行識別。進(jìn)一步，所述步驟(1)的垂直邊緣檢測采用Sobel算子，二值化方法采用Otsu全 局閾值法。進(jìn)一步，所述步驟(2)的級聯(lián)Adaboost分類器采用的是Haar特征。進(jìn)一步，所述步驟(3)采用基于最小化水平投影的傾斜校正方法。
4
進(jìn)一步，所述步驟(4)采用基于模板的字符分割方法。進(jìn)一步，所述步驟(5)采用SVM和模板匹配的融合方法對字符進(jìn)行識別。由于采用上述技術(shù)方案，本發(fā)明的技術(shù)效果是本發(fā)明對圖像進(jìn)行一次下采樣后 再進(jìn)行垂直邊緣檢測，利用基于邊緣的定位方法準(zhǔn)確率高、速度快的特點進(jìn)行快速粗定位， 然后利用級聯(lián)Adaboost分類器對非車牌區(qū)域進(jìn)行去除，解決了基于邊緣的檢測方法虛警 率高的缺點，由于對圖像進(jìn)行了下采樣，因此能大大提高處理速度，Adaboost算法的引入也 提高了方法的魯棒性和去除誤檢的能力。最后利用融合支持向量機(jī)分類器和模板匹配的方 法對提取出來的車牌字符進(jìn)行識別，通過綜合兩類識別方法各自的優(yōu)點，打破單一字符識 別方法識別率難以提高的局限，提高了對相似字符和退化字符的識別準(zhǔn)確率。下面結(jié)合附圖和具體實施方式
對本發(fā)明作進(jìn)一步詳細(xì)的說明


圖1為本發(fā)明實施例的流程示意圖2為本發(fā)明實施例所用到的Haar特征類型； 圖3為本發(fā)明實施例所用到的一些Adaboost訓(xùn)練用的車牌圖片； 圖4為本發(fā)明實施例字符識別部分的流程示意圖； 圖5為本發(fā)明實施例所用到的一些字符模板和SVM訓(xùn)練字符。
具體實施例方式如圖1-5所示，其具體實施步驟如下 1、候選車牌區(qū)域的提取
在實際車牌識別系統(tǒng)中，車牌在圖像中的大小受攝像頭的安裝位置、采集的場景大小 和車速等的影響，為了快速有效的提取大小不同的車牌候選車牌區(qū)域，實施例中采用基于 邊緣的方法進(jìn)行車牌候選區(qū)域的提取。本發(fā)明中只有兩個閾值輸入，最小車牌高度和最大 車牌高度，其它閾值都通過這兩個閾值來確定，高度范圍一般取15-45個像素就能解決大 部分的場景應(yīng)用問題，如果有更小的車牌或者更大的車牌需要檢測，只需要修改這兩個高 度閾值即可，方法本身無須任何修改，使得本發(fā)明具有很強(qiáng)的魯棒性和通用性。提取候選車牌區(qū)域的步驟如下
第一步對輸入圖像進(jìn)行一次下采樣，對下采樣之后的圖像進(jìn)行灰度化。第二步對第一步得到的灰度圖像進(jìn)行Sobel垂直邊緣檢測，并利用Otsu算法對 邊緣圖像進(jìn)行二值化，得到二值化后的垂直邊緣圖像。第三步假定車牌高度在原圖中的范圍為15-45個像素，則由于下采樣之后圖像 大小變?yōu)樵瓉淼?/4，則下采樣之后圖像中車牌高度范圍為8-23個像素，根據(jù)車牌的高度 范圍確定車牌的最大車牌高度、最小車牌高度、最大車牌長度、最小車牌長度、最小車牌面 積和最大車牌字符間距這幾個閾值。利用車牌區(qū)域垂直邊緣比較密集的特點，對二值垂直 邊緣圖像進(jìn)行連線，找出所有的車牌候選區(qū)域。第四步把所有的車牌候選區(qū)域映射回原圖。2、級聯(lián)Adaboost去除非車牌區(qū)域
上述基于灰度邊緣圖像的車牌候選區(qū)域提取算法的檢測率很高且速度很快，但虛警率
5也相對較高，我們引入Adaboost對候選車牌區(qū)域進(jìn)行篩選，去除非車牌區(qū)域。Adaboost去 除非車牌區(qū)域算法主要分為訓(xùn)練部分和判別部分。具體訓(xùn)練和判別步驟描述如下 訓(xùn)練部分的步驟如下
第一步對訓(xùn)練用的車牌圖片和非車牌圖片進(jìn)行歸一化，包括灰度歸一化和尺度歸一化。第二步通過Haar特征來描述車牌，采用Adaboost算法，選擇Haar特征生成具有 區(qū)分車牌與非車牌的Adaboost級聯(lián)分類器。所述Adaboost算法步驟是
1)給定個訓(xùn)練樣本
O1,Λ),...(、，八),乃=0,1分別表示巧為負(fù)樣本或正樣本。2)初始化權(quán)重氣s =，其中正樣本個數(shù)為.，負(fù)樣本個數(shù)為。
Im 21Im3) I從1到T，T為特征個數(shù)，循環(huán)執(zhí)行以下步驟
a)歸一化權(quán)重氣;= ；
b)對每一個特征力，訓(xùn)練一個弱分類器~，記此分類器錯誤率為
c)從上一步訓(xùn)練出的所有弱分類器中，找出具有最低錯誤車&的分類器~；
d)更新權(quán)重約+u= ,其中A = ef/a-^f), 為第t次循環(huán)時分類器的錯誤率，如果 了、被分類正確，6=0，否則A =1。4)最后得到強(qiáng)分類器AO) = ]^&1/2
其中 =1明+ , %代表第t個弱分類器的權(quán)重。判別部分的步驟如下
利用訓(xùn)練好的級聯(lián)Adaboost遍歷每一個車牌候選區(qū)域，若該候選區(qū)域里能檢測出車 牌，則保留該候選區(qū)域，否則刪除該候選區(qū)域。3、傾斜矯正
對車牌區(qū)域進(jìn)行差分垂直邊緣檢測，得到車牌區(qū)域的的垂直邊緣圖，并利用Otsu算法 對垂直邊緣圖進(jìn)行二值化，對圖像進(jìn)行旋轉(zhuǎn)，旋轉(zhuǎn)角度從-30°到+30°之間變化，每次角 度增加0. Γ，找到一個角度使得垂直邊緣二值化圖的水平投影寬度最小，此角度即為圖像 的傾斜角度；然后利用雙線性插值法對車牌圖像進(jìn)行校正。4、字符分割
采用模板法進(jìn)行字符分割，首先利用邊緣和顏色信息對傾斜矯正后的圖像進(jìn)行一次精 定位，包括上下精定位和左右精定位，再對傾斜矯正后的圖像利用Bernsen局部二值化方 法進(jìn)行二值化，解決光照不均所造成的影響；根據(jù)先驗知識制作車牌分割模板，按照傾斜校 正后的車牌區(qū)域高度縮放模板；利用此模板在車牌區(qū)域上從左至右滑動并計算中間12個
6分割處的二值化垂直投影值之和，選取投影和最小的分割位置即字符左右邊界得到字符。 這用方法能有效的解決相連字符和破損字符的分割問題。5、字符識別
模板匹配是將分割好的字符圖像與字符庫中的字符模板進(jìn)行匹配，優(yōu)點是簡單易行， 粗分類效果好，如果特別加入一些經(jīng)?？赡艹霈F(xiàn)的退化字符模板，會提高對退化字符的識 別準(zhǔn)確率，但對相似字符的識別效果差。支持向量機(jī)(SVM)方法是建立在統(tǒng)計學(xué)習(xí)理論及 結(jié)構(gòu)風(fēng)險最小原來基礎(chǔ)上的，該算法具有良好的推廣能力，從理論上講，該算法得到的將是 全局最優(yōu)解，而且對相似字符識別準(zhǔn)確率較高。但由于該算法最終的分類只依賴于支持向 量，所以對退化字符的識別準(zhǔn)確率不是很高。為了提高字符識別的準(zhǔn)確率，本發(fā)明采用融合模板匹配和SVM分類的方法進(jìn)行字 符識別，綜合兩類方法各自的優(yōu)點，打破單一字符識別方法識別率難以提高的局限，提高了 對相似字符和退化字符的識別準(zhǔn)確率。字符識別算法分為分類器構(gòu)造和識別兩個過程，具體描述如下 分類器構(gòu)造的步驟如下
第一步制作字符二值化模板，字符二值化模板包括標(biāo)準(zhǔn)字符字符二值化模板和實際 車牌字符二值化模板，標(biāo)準(zhǔn)字符模板從《中華人民共和國公關(guān)安全行業(yè)標(biāo)準(zhǔn)中華人民共和 國機(jī)動車號牌》(GA36-2007)附錄B的字樣圖像獲得，經(jīng)過二值化和歸一化后直接作為標(biāo)準(zhǔn) 字符模板。實際車牌字符二值化模板通過對實際車牌圖片進(jìn)行前面步驟所述的定位、分割 和二值化處理得到。再經(jīng)過歸一化處理即可以作為車牌字符模板。最后可以得到73個字 符二值化模板庫，包括37個漢字庫、26個英文大寫字母庫和10個數(shù)字庫。第二步模板匹配算法所用模板庫的制作，把第一步得到字符二值化模板庫歸 一化到寬度為18個像素，高度為36個像素，作為模板匹配算法的模板庫，為了增加模板匹 配對退化字符的識別率，經(jīng)過對現(xiàn)實車牌圖片分割結(jié)果的大量統(tǒng)計，我們特別的加入一些 常見的退化字符模板。第三步SVM分類器的訓(xùn)練，對第一步得到字符模板庫歸一化為寬度為18個像素， 高度為36個像素，作為SVM分類器的訓(xùn)練集，把二值化的字符按列展開就得到一個648維 的行向量，分別訓(xùn)練漢字分類器、字母分類器、數(shù)字分類器和字母數(shù)字分類器四個多分類的 支持向量機(jī)(SVM)，針對8和B、4和A和0和Q等相似字符特別訓(xùn)練精分類的分類器，以8 和B為例，取8字符和B字符的左半部分另外訓(xùn)練一個用于精分類的支持向量機(jī)，以提高對 相似字符的識別準(zhǔn)確率，其它相似字符類似。識別過程步驟如下
第一步把分割得到字符歸一化為寬度為18個像素，高度為36個像素，用模板匹配方 法進(jìn)行識別，如果識別的可信度大于0. 6就直接輸出結(jié)果，如果可信度低于0. 6且識別結(jié)果 不是0，Q, 8，B等相似字符時，轉(zhuǎn)到第三步。第二步根據(jù)相似字符的特點，提取字符的一部分歸一化為寬度為18個像素，高 度為36個像素，以8和B為例，提取字符的左半部分并歸一化，利用SVM精分類器對相似字 符進(jìn)行識別，輸出結(jié)果
第三步根據(jù)字符在車牌中的位置選擇四個SVM分類器中的一個對字符進(jìn)行分類，并 輸出相應(yīng)的置信度，然后對SVM的識別結(jié)果和模板匹配的結(jié)果進(jìn)行比較，如果兩種分類方
7法得到的結(jié)果一樣則直接輸出結(jié)果，否則轉(zhuǎn)到第四步。 第四步利用證據(jù)理論融合SVM和模板匹配的結(jié)果，大量的實驗表明模板匹配和 SVM同時分類錯誤的概率是極低的，所以我們只需判斷是輸出模板匹配的結(jié)果還是SVM的 識別結(jié)果，識別結(jié)果按照下式融合
權(quán)利要求
一種基于高清圖像的車牌定位與識別方法，包括如下步驟 (1)對原始彩色圖像進(jìn)行一次下采樣，對下采樣后的圖像灰度化并進(jìn)行垂直邊緣檢測和二值化，利用垂直邊緣信息進(jìn)行車牌粗定位，得到所有的候選車牌區(qū)域； (2)將所有的候選車牌區(qū)域映射回原圖像并送入訓(xùn)練好的級聯(lián)Adaboost分類器，去除非車牌區(qū)域； (3)將經(jīng)過步驟(2)得到的車牌區(qū)域進(jìn)行傾斜矯正； (4)將經(jīng)過步驟(3)得到的車牌區(qū)域進(jìn)行字符分割； (5)對分割出的字符進(jìn)行識別。
2.根據(jù)權(quán)利要求1所述的基于高清圖像的車牌定位與識別方法，所述步驟(1)的垂直 邊緣檢測采用Sobel算子，二值化方法采用Otsu全局閾值法。
3.根據(jù)權(quán)利要求1所述的基于高清圖像的車牌定位與識別方法，所述步驟(2)的級聯(lián) Adaboost分類器采用的是Haar特征。
4.根據(jù)權(quán)利要求1所述的基于高清圖像的車牌定位與識別方法，所述步驟(3)采用基 于最小化水平投影的傾斜校正方法。
5.根據(jù)權(quán)利要求1所述的基于高清圖像的車牌定位與識別方法，所述步驟(4)采用基 于模板的字符分割方法。
6.根據(jù)權(quán)利要求1所述的基于高清圖像的車牌定位與識別方法，所述步驟(5)采用支 持向量機(jī)和模板匹配的融合方法對字符進(jìn)行識別，其步驟為第一步制作字符二值化模板；第二步模板匹配算法所用模板庫的制作，把第一步得到字符二值化模板庫歸一 化到寬度為18個像素，高度為36個像素，作為模板匹配算法的模板庫；第三步支持向量機(jī)分類器的訓(xùn)練，對第一步得到字符模板庫歸一化為寬度為18個像 素，高度為36個像素，作為支持向量機(jī)分類器的訓(xùn)練集，把二值化的字符按列展開就得到 一個648維的行向量，分別訓(xùn)練漢字分類器、字母分類器、數(shù)字分類器和字母數(shù)字分類器四 個多分類的支持向量機(jī)；第四步把分割得到字符歸一化為寬度為18個像素，高度為36個像素，用模板匹配方 法進(jìn)行識別，如果識別的可信度大于0. 6就直接輸出結(jié)果，如果可信度低于0. 6且識別結(jié)果 不是0，Q, 8，B等相似字符時，轉(zhuǎn)到第六步；第五步根據(jù)相似字符的特點，提取字符的一部分歸一化為寬度為18個像素，高度為 36個像素，以8和B為例，提取字符的左半部分并歸一化，利用SVM精分類器對相似字符進(jìn) 行識別，輸出結(jié)果；第六步根據(jù)字符在車牌中的位置選擇四個支持向量機(jī)分類器中的一個對字符進(jìn)行分 類，并輸出相應(yīng)的置信度，然后對SVM的識別結(jié)果和模板匹配的結(jié)果進(jìn)行比較，如果兩種分 類方法得到的結(jié)果一樣則直接輸出結(jié)果，否則轉(zhuǎn)到第七步；第七步利用證據(jù)理論融合支持向量機(jī)和模板匹配的結(jié)果，判斷是輸出模板匹配的結(jié) 果還是SVM的識別結(jié)果，識別結(jié)果按照下式融合表屬于A的可信度，Hli代表證據(jù)i的信度分配函數(shù)，W5代表該證據(jù)的權(quán)重。
全文摘要
本發(fā)明公開發(fā)明了一種基于高清圖像的車牌定位與識別方法，包括如下步驟(1)對原始彩色圖像進(jìn)行一次下采樣，對下采樣后的圖像灰度化并進(jìn)行垂直邊緣檢測和二值化，利用垂直邊緣信息進(jìn)行車牌粗定位，得到所有的候選車牌區(qū)域；(2)將所有的候選車牌區(qū)域映射回原圖像并送入訓(xùn)練好的級聯(lián)Adaboost分類器，去除非車牌區(qū)域；(3)將經(jīng)過步驟(2)得到的車牌區(qū)域進(jìn)行傾斜矯正；(4)將經(jīng)過步驟(3)得到的車牌區(qū)域進(jìn)行字符分割；(5)對分割出的字符進(jìn)行識別。本發(fā)明能快速有效的從復(fù)雜場景中提取出多個大小不同的車牌并能有效的提高字符識別的準(zhǔn)確率，其在智能交通、停車場管理和小區(qū)管理等方面有廣泛的應(yīng)用前景。
文檔編號G06K9/00GK101937508SQ20101029791
公開日2011年1月5日 申請日期2010年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者吳希賢, 李樹濤, 楊斌, 盛先, 胡秋偉, 陶君麗 申請人:湖南大學(xué);湖南創(chuàng)合制造有限公司