專利名稱：一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛特征識別裝置，尤其涉及一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置。
背景技術(shù)：
“天網(wǎng)工程”是指為滿足城市治安防控和城市管理需要，利用圖像采集、傳輸、控制、顯示等設備和控制軟件組成，對固定區(qū)域進行實時監(jiān)控和信息記錄的視頻監(jiān)控系統(tǒng)。天網(wǎng)工程通過網(wǎng)絡把一定區(qū)域內(nèi)所有視頻監(jiān)控點圖像傳播到監(jiān)控中心，對刑事案件、治安案件等圖像信息分類，為預防打擊犯罪和突發(fā)性治安災害事故提供可靠的影像資料。在現(xiàn)有的車輛特征識別電子裝置中，有的需要架設紅外線感應光簾感知車輛到達信息，有的需要在外部預埋地感線圈感知車輛到達信息，有的需要固定超聲傳感器來感知車輛到達信息，還有的需要配備射頻識別技術(shù)的電子車牌，等等這些裝置或者需要地面施工預埋設備，或者通過外部觸發(fā)來獲取觸發(fā)信號、導致根據(jù)觸發(fā)信號抓取到的目標幀識別效果差。這些裝置的功能簡單且單一，通常用于固定地點，不方便更換地點使用。例如 2003年中國專利局公告的由王汝笠等人申報，專利號為=03115334. 8《紅外電子車牌及其識別裝置》的發(fā)明專利，提供了一種由紅外電子車牌和信息識別處理裝置組成的系統(tǒng)，信息識別處理裝置與紅外電子車牌交互讀寫紅外數(shù)據(jù)，獲取汽車身份等信息；2009年中國專利局公告的由張開春等人申報，專利號為200910077746. 1《城市卡口車牌自動識別系統(tǒng)》的發(fā)明專利，通過預先埋設的線圈組產(chǎn)生脈沖信號傳送至車輛檢測器，由此產(chǎn)生觸發(fā)信號控制車牌識別模塊抓取視頻圖像并完成車牌的識別；2010年中國專利局公告的由呂英等人申報，專利號為201020147605.0《一種采用射頻標識技術(shù)的電子車牌》的發(fā)明專利，將射頻識別電子標簽模塊夾持設置于該車牌基體與該車牌保護層之間，通過射頻識別技術(shù)的應用進行車輛的自動識別；2011年中國專利局公告的由毛振剛申報，專利號為=201120057254. 9 《車牌自動識別裝置》的發(fā)明專利，通過預先埋設的車輛檢測器產(chǎn)生觸發(fā)信號傳遞到總成處理器，控制圖像采集模塊拍攝圖像，進行圖像識別操作獲取汽車車牌信息。此外，無需外部觸發(fā)的、基于純視頻檢測的車牌自動定位與識別裝置，不僅方便使用，同時還提供了現(xiàn)場的視頻記錄。例如2008年中國專利局公告的由北京信路威科技發(fā)展有限公司申報，專利號為200820079410. X《一種車牌識別裝置》的發(fā)明專利，提供了一種集成在高速數(shù)字信號處理芯片上的車牌識別裝置，能夠?qū)σ曨l流中包含車牌信息的多幀圖像進行逐幀識別處理，實現(xiàn)高速實時的車牌識別。然而，上述等裝置在實際應用中依然有一定的局限性，并且適應性、穩(wěn)定性和可靠性尚有待于進一步提高和完善，同時很多問題仍然未得到有效地解決，這些問題包括(一)車輛在尺度、位置、方向上的變化。由于車輛行駛速度差異、光照條件變化、車輛之間的遮擋、車輛在監(jiān)控區(qū)域的距離遠近等情況，造成車輛在形狀、外觀、大小、顏色等方而都會產(chǎn)生變化。(二)車輛在圖像中的姿態(tài)校正問題。由于受攝像機拍攝角度、拍攝高度影響，車輛經(jīng)過虛擬線圈時可能是傾斜的，對這種情況下的車輛進行速度測量、車型分類時，需要進行車輛圖像的姿態(tài)校正。

發(fā)明內(nèi)容
本發(fā)明的目的就是針對現(xiàn)有技術(shù)存在的上述缺陷，提供一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，完成運動車輛的車牌識別和車型識別。該裝置結(jié)構(gòu)簡單、使用方便，具有以下優(yōu)勢(一)主要基于視頻圖像信息進行處理，不需要給車輛上安裝車載單元等信號接收裝置，設備安裝和后期維護的成本較低，且安裝簡單，使用方便，無需地面施工，不會影響正常道路交通；(二)采用視頻檢測技術(shù)后，可以在視頻圖像的車道區(qū)域設置虛擬檢測區(qū)，不用進行路面施工而影響交通，且改變虛擬檢測區(qū)非常容易；(三)視頻圖像信息非常直觀，可以方便管理人員對現(xiàn)場進行較直觀的判斷，并能應用圖像處理技術(shù)對圖像做進一步的分析和信息挖掘。該裝置通過“天網(wǎng)工程”在交通要道、治安卡口、公共聚集場所、賓館等治安復雜場所進行視頻采集，對獲取的公共安全視頻圖像進行視頻流逐幀提取、車牌定位、車牌切分、 字符識別和運動車輛輪廓提取、車輛邊緣密度計算、基于決策樹的車型識別，從而識別車牌信息和車型信息的特征參數(shù)，并存儲在車輛特征數(shù)據(jù)庫服務器。本發(fā)明是這樣來實現(xiàn)的，它包括圖像采集模塊、車牌識別模塊和車型識別模塊和車輛特征數(shù)據(jù)庫服務器，其特征是圖像采集模塊分別連接車牌識別模塊和車型識別模塊， 提供運動車輛視頻幀圖；車牌識別模塊和車型識別模塊連接到車輛特征數(shù)據(jù)庫服務器，存儲從運動車輛視頻幀圖中識別出的車牌信息和車型信息的特征參數(shù)。所述圖像采集模塊包含攝像機、視頻數(shù)字光端機、視頻傳輸專用網(wǎng)、視頻存儲服務器和視頻流逐幀提取子模塊。其中，攝像機通過視頻信號線與視頻數(shù)字光端機連接，將采集的公共安全視頻輸入至視頻數(shù)字光端機；視頻數(shù)字光端機通過視頻傳輸專用網(wǎng)，采用全數(shù)字視頻無壓縮傳輸技術(shù)將公共安全視頻進行數(shù)字化后，傳輸至視頻存儲服務器；視頻存儲服務器將從視頻傳輸專用網(wǎng)接收到的全數(shù)字公共安全視頻流提供給視頻流逐幀提取子模塊，并采用MPEG4標準對全數(shù)字公共安全視頻流進行編碼后壓縮存儲；視頻流逐幀提取子模塊連接視頻存儲服務器，將視頻存儲服務器提供的全數(shù)字公共安全視頻流提取運動車輛視頻幀圖。所述車牌識別模塊包含車牌定位子模塊、字符分割子模塊和字符識別子模塊，車牌定位子模塊連接字符分割子模塊，字符分割子模塊連接字符識別子模塊。其中，車牌定位子模塊將運動車輛視頻幀圖作為輸入圖像，確定車牌區(qū)域的位置；字符分割子模塊根據(jù)車牌定位子模塊提供的車牌圖像，進行字符分割得到各車牌字符的圖像；字符識別子模塊根據(jù)字符分割子模塊提供的各車牌字符圖像，使用徑向基神經(jīng)網(wǎng)絡進行字符識別，根據(jù)識別出的字符得到最終的車牌識別結(jié)果。所述車型識別模塊包含運動車輛輪廓提取子模塊、運動車輛特征提取子模塊和決策樹車型識別子模塊，運動車輛輪廓提取子模塊連接運動車輛特征提取子模塊，運動車輛特征提取子模塊連接決策樹車型識別子模塊。其中，運動車輛輪廓提取子模塊將運動車輛視頻幀圖作為輸入圖像，提取運動車輛的輪廓；運動車輛特征提取子模塊根據(jù)運動車輛輪廓提取子模塊提供的運動車輛輪廓圖像，采用車輛邊緣密度分布特征來提取相應車型特征；決策樹車型識別子模塊根據(jù)運動車輛特征提取子模塊提供的車輛邊緣密度比值，采用三級決策樹來進行車型識別。本發(fā)明的技術(shù)效果是通過“天網(wǎng)工程”在交通要道、治安卡口、公共聚集場所、賓館等治安復雜場所進行視頻采集，對獲取的公共安全視頻圖像進行視頻流逐幀提取，車牌定位、車牌切分、字符識別和運動車輛輪廓提取、車輛邊緣密度計算、基于決策樹的車型識別，從而識別車牌信息和車型信息的特征參數(shù)，對城市治安防控和城市綜合管理手段的進一步拓展和延伸有著積極意義。


圖1為本發(fā)明的結(jié)構(gòu)示意圖。圖2為本發(fā)明的車牌定位子模塊具體工作流程圖。圖3為本發(fā)明的字符分割子模塊具體工作流程圖。圖4為本發(fā)明的字符識別子模塊具體工作流程圖。圖5為本發(fā)明的運動車輛輪廓提取子模塊具體工作流程圖。圖6為本發(fā)明的運動車輛特征提取子模塊具體工作流程圖。
具體實施例方式如圖1所示，本發(fā)明是這樣來實現(xiàn)的，包括圖像采集模塊100、車牌識別模塊106、 車型識別模塊110和車輛特征數(shù)據(jù)庫服務器114。其中圖像采集模塊100包含攝像機101、 視頻數(shù)字光端機102、視頻傳輸專用網(wǎng)103、視頻存儲服務器104和視頻流逐幀提取子模塊 105 ；車牌識別模塊106包含車牌定位子模塊107、字符分割子模塊108和字符識別子模塊 109 ；車型識別模塊110包含運動車輛輪廓提取子模塊111、運動車輛特征提取子模塊112 和決策樹車型識別子模塊113。參照圖1所示的結(jié)構(gòu)示意圖，圖像采集模塊100分別連接車牌識別模塊106和車型識別模塊110，提供運動車輛視頻幀圖；車牌識別模塊106和車型識別模塊110連接到車輛特征數(shù)據(jù)庫服務器114，存儲從運動車輛視頻幀圖中識別出的車牌信息和車型信息的特征參數(shù)；
參照圖1所示的結(jié)構(gòu)示意圖，圖像采集模塊100中，攝像機101通過視頻信號線與視頻數(shù)字光端機102連接，將采集的公共安全視頻輸入至視頻數(shù)字光端機102 ；視頻數(shù)字光端機 102通過視頻傳輸專用網(wǎng)103，采用全數(shù)字視頻無壓縮傳輸技術(shù)將公共安全視頻進行數(shù)字化后，傳輸至視頻存儲服務器104 ；視頻存儲服務器104將從視頻傳輸專用網(wǎng)接103收到的全數(shù)字公共安全視頻流提供給視頻流逐幀提取子模塊105，并采用MPEG4標準對全數(shù)字公共安全視頻流進行編碼后壓縮存儲；視頻流逐幀提取子模塊105連接視頻存儲服務器104， 將視頻存儲服務器104提供的全數(shù)字公共安全視頻流提取運動車輛視頻幀圖。參照圖1所示的結(jié)構(gòu)示意圖，車牌識別模塊106中，車牌定位子模塊107連接字符分割子模塊108，字符分割子模塊108連接字符識別子模塊109 ；車牌定位子模塊107將運動車輛視頻幀圖作為輸入圖像，確定車牌區(qū)域的位置；字符分割子模塊108根據(jù)車牌定位子模塊107提供的車牌圖像，進行字符分割得到各車牌字符的圖像；字符識別子模塊109根據(jù)字符分割子模塊108提供的各車牌字符圖像，使用徑向基神經(jīng)網(wǎng)絡進行字符識別，根據(jù)識別出的字符得到最終的車牌識別結(jié)果。
參照圖1所示的結(jié)構(gòu)示意圖，車型識別模塊110中，運動車輛輪廓提取子模塊111 連接運動車輛特征提取子模塊112，運動車輛特征提取子模塊112連接決策樹車型識別子模塊113 ；運動車輛輪廓提取子模塊111將運動車輛視頻幀圖作為輸入圖像，提取運動車輛的輪廓；運動車輛特征提取子模塊112根據(jù)運動車輛輪廓提取子模塊111提供的運動車輛輪廓圖像，采用車輛邊緣密度分布特征來提取相應車型特征；決策樹車型識別子模塊113 根據(jù)運動車輛特征提取子模塊112提供的車輛邊緣密度比值，采用三級決策樹來進行車型識別。
對于所述的車牌定位子模塊，本實施例的具體工作流程如圖2所示，步驟如下 步驟201 對輸入的運動車輛視頻幀圖采用一種Roberts算子進行縱向邊緣的檢測和提?。籖oberts算子的差分式如下形式
權(quán)利要求
1.一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，它包括圖像采集模塊、車牌識別模塊、車型識別模塊和車輛特征數(shù)據(jù)庫服務器，其特征是圖像采集模塊分別連接車牌識別模塊和車型識別模塊，車牌識別模塊和車型識別模塊連接到車輛特征數(shù)據(jù)庫服務器，存儲從運動車輛視頻幀圖中識別出的車牌信息和車型信息的特征參數(shù)。
2.根據(jù)權(quán)利要求1所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征在于所述圖像采集模塊包含攝像機、視頻數(shù)字光端機、視頻傳輸專用網(wǎng)、視頻存儲服務器和視頻流逐幀提取子模塊，攝像機通過視頻信號線與視頻數(shù)字光端機連接，將采集的公共安全視頻輸入至視頻數(shù)字光端機；視頻數(shù)字光端機通過視頻傳輸專用網(wǎng)，采用全數(shù)字視頻無壓縮傳輸技術(shù)將公共安全視頻進行數(shù)字化后，傳輸至視頻存儲服務器；視頻存儲服務器將從視頻傳輸專用網(wǎng)接收到的全數(shù)字公共安全視頻流提供給視頻流逐幀提取子模塊，并采用MPEG4標準對全數(shù)字公共安全視頻流進行編碼后壓縮存儲；視頻流逐幀提取子模塊連接視頻存儲服務器，將視頻存儲服務器提供的全數(shù)字公共安全視頻流提取運動車輛視頻幀圖。
3.根據(jù)權(quán)利要求1所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征在于車牌識別模塊包含車牌定位子模塊、字符分割子模塊和字符識別子模塊， 車牌定位子模塊連接字符分割子模塊，字符分割子模塊連接字符識別子模塊，車牌定位子模塊將運動車輛視頻幀圖作為輸入圖像，確定車牌區(qū)域的位置；字符分割子模塊根據(jù)車牌定位子模塊提供的車牌圖像，進行字符分割得到各車牌字符的圖像；字符識別子模塊根據(jù)字符分割子模塊提供的各車牌字符圖像，使用徑向基神經(jīng)網(wǎng)絡進行字符識別，根據(jù)識別出的字符得到最終的車牌識別結(jié)果。
4.根據(jù)權(quán)利要求1所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征在于車型識別模塊包含運動車輛輪廓提取子模塊、運動車輛特征提取子模塊和決策樹車型識別子模塊，運動車輛輪廓提取子模塊連接運動車輛特征提取子模塊，運動車輛特征提取子模塊連接決策樹車型識別子模塊，運動車輛輪廓提取子模塊將運動車輛視頻幀圖作為輸入圖像，提取運動車輛的輪廓；運動車輛特征提取子模塊根據(jù)運動車輛輪廓提取子模塊提供的運動車輛輪廓圖像，采用車輛邊緣密度分布特征來提取相應車型特征；決策樹車型識別子模塊根據(jù)運動車輛特征提取子模塊提供的車輛邊緣密度比值，采用三級決策樹來進行車型識別。
5.根據(jù)權(quán)利要求3所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征在于車牌定位子模塊，提供一種在多場景下的車牌大小自適應性的車牌定位方法，所述具體工作流程為5.1 對輸入的運動車輛視頻幀圖采用一種Roberts算子進行縱向邊緣的檢測和提取； 5. 2 清除車牌圖像中的無效和干擾邊緣點； 5. 3 對車牌圖像進行基于橫向形態(tài)學閉合操作，形成候選連通域； 5. 4 根據(jù)掃描線種子充值算法進行候選連通域搜索，并判別相關(guān)候選連通域； 5. 5 如果候選連通域的絕對高度、寬度大于設定的閾值，執(zhí)行5. 7 ；如果候選連通域的絕對高度、寬度小于等于設定的閾值，則跳轉(zhuǎn)到5. 6 ；5.6 對原圖像進行灰度拉伸調(diào)整，使車牌連通域增大，并跳轉(zhuǎn)到5. 1 ； 5. 7 對候選車牌區(qū)域進行色彩模型轉(zhuǎn)換，并基于HSV模型統(tǒng)計候選車牌區(qū)域的符合車牌背景和字符顏色特征的像素所占比例，如果比例大于設定的閾值，執(zhí)行5. 8 ；如果比例小于等于設定的閾值，執(zhí)行5. 6;·5.8 根據(jù)車牌的微觀邊緣特征進行車牌邊界范圍的精確定位，并輸出車牌區(qū)域精確的邊界。
6.根據(jù)權(quán)利要求3所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征是字符分割子模塊的具體工作流程為6. 1 對車牌區(qū)域圖像進行基于sobel邊緣的二值化操作，分開車牌區(qū)域中的字符區(qū)域和背景區(qū)域；6. 2 對車牌區(qū)域圖像進行RGB轉(zhuǎn)HSV操作；6. 3 通過對車牌區(qū)域圖像的HSV空間進行反色判斷，將車牌區(qū)域圖像統(tǒng)一轉(zhuǎn)換為黑底白字；6. 4:根據(jù)二值化的相鄰列像素的差分結(jié)果，分別進行自下而上和自上而下的兩次逐行掃描判斷；根據(jù)每行的白像素點數(shù)目，精確確定車牌區(qū)域的上下界位置；6. 5 通過第一次去噪處理，去除車牌區(qū)域的連通域中不符合要求的字符； 6. 6 依據(jù)漢字形態(tài)學中部首分散排列，在精定位的車牌區(qū)域中確定漢字所在的位置； 6. 7 基于遞歸方法找出車牌區(qū)域的各連通區(qū)域，求出符合車牌字符順序的字符連通域序列；6. 8 針對車牌字符存在部分粘連情況，依據(jù)連通域的左右寬度大小來拆分連通域，得到準確的單個車牌字符；6.9 針對一些質(zhì)量較差的車牌圖像，進行第二次去噪，獲得準確的車牌字符連通域。
7.根據(jù)權(quán)利要求3所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征是字符識別子模塊，采用徑向基神經(jīng)網(wǎng)絡來進行字符識別，所述具體工作流程為7. 1 對車牌字符連通域進行大小歸一化處理；7. 2 將待識別字符連通域由8為灰度圖像轉(zhuǎn)化為1位的二值圖像，節(jié)省存儲空間并提高識別速度；7. 3 將徑向基神經(jīng)網(wǎng)絡結(jié)構(gòu)設計成輸入層、隱層和輸出層三層的徑向基神經(jīng)網(wǎng)絡； 7. 4 對于各個字符，分別通過50個樣本訓練徑向基神經(jīng)網(wǎng)絡中的漢字子網(wǎng)絡、數(shù)字子網(wǎng)絡、字母子網(wǎng)絡及字母數(shù)字混合子網(wǎng)絡；7. 5 在訓練好的徑向基神經(jīng)網(wǎng)絡上，根據(jù)字符位置選用相應的子網(wǎng)，進行車牌字符的識別；7.6 依據(jù)車牌字符的識別，合成運動車輛車牌號的特征數(shù)據(jù)。
8.根據(jù)權(quán)利要求4所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征是運動車輛輪廓提取子模塊，所述具體工作流程為8. 1 在設置好的視頻檢測區(qū)域中，一旦運動車輛進入到視頻檢測區(qū)域，通過運動車輛目標檢測方法，立即捕獲該車輛區(qū)域；8. 2 通過數(shù)學形態(tài)學處理方法，計算出相應的車輛輪廓區(qū)域；8.3 通過輪廓提取算法提出相應的車輛輪廓。
9.根據(jù)權(quán)利要求4所述的一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，其特征是運動車輛特征提取子模塊，采用車輛邊緣密度分布特征來提取相應車型特征， 所述具體工作流程為·9. 1 對車輛輪廓進行Carmy邊緣檢測，獲取車輛邊緣； 9. 2 統(tǒng)計車輛邊緣車輛頭部邊緣點總數(shù)； 9. 3 統(tǒng)計車輛邊緣車輛側(cè)身邊緣點總數(shù)；·9. 4 通過頭部邊緣點總數(shù)和側(cè)身邊緣點總數(shù)相除，計算出車輛邊緣密度比值的特征。
全文摘要
一種基于天網(wǎng)工程中公共安全視頻圖像的車輛特征識別裝置，圖像采集模塊分別連接車牌識別模塊和車型識別模塊，提供運動車輛視頻幀圖；車牌識別模塊和車型識別模塊連接到車輛特征數(shù)據(jù)庫服務器，存儲從運動車輛視頻幀圖中識別出的車牌信息和車型信息的特征參數(shù)。本發(fā)明的技術(shù)效果是通過“天網(wǎng)工程”在交通要道、治安卡口、公共聚集場所、賓館等治安復雜場所進行視頻采集，對獲取的公共安全視頻圖像進行視頻流逐幀提取，車牌定位、車牌切分、字符識別和運動車輛輪廓提取、車輛邊緣密度計算、基于決策樹的車型識別，從而識別車牌信息和車型信息的特征參數(shù)，對城市治安防控和城市綜合管理手段的進一步拓展和延伸有著積極意義。
文檔編號G06N3/08GK102509090SQ20111038728
公開日2012年6月20日 申請日期2011年11月29日 優(yōu)先權(quán)日2011年11月29日
發(fā)明者冷子陽, 冷明, 孫凌宇 申請人:冷明