專利名稱：在視頻圖像中檢索車輛信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛信息檢索技術(shù)，具體的說是一種在視頻圖像中檢索車輛信息的方法。
背景技術(shù)：
由于視頻監(jiān)控技術(shù)的發(fā)展，越來越多的監(jiān)控設(shè)備用于對道路的監(jiān)控，電子警察和城市監(jiān)控的普及，國內(nèi)各個城市，每天都可以生成大量的視頻錄像，這些信息為提高交通公安部門對信息的掌握，起到了非常及時和重要的作用。但如何有效的在海量的視頻數(shù)據(jù)中自動查找特定的、有效的車輛信息，在技術(shù)上還是空白，需要人為干預，參與大量的工作，檢索效率低。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)中沒有有效的在海量的視頻數(shù)據(jù)中自動查找特定的、有效的車輛信息技術(shù)等不足之處，本發(fā)明要解決的技術(shù)問題是提供一種可自動查找、提高搜索效率的在視頻圖像中檢索車輛信息的方法。為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是本發(fā)明在視頻圖像中檢索車輛信息的方法包括以下步驟對視頻圖像的視頻數(shù)據(jù)進行解碼、分離數(shù)據(jù)幀，形成可以進行數(shù)字圖像分析的YUV 數(shù)據(jù)或RGB數(shù)據(jù)；利用上述YUV數(shù)據(jù)或RGB數(shù)據(jù)對每幀視頻圖像進行車輛的粗搜索，得到車輛輪廓特征、顏色特征及車牌識別結(jié)果；根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡；記錄相鄰數(shù)據(jù)幀間的同一輪廓特征、顏色特征和車牌識別結(jié)果數(shù)據(jù)，從時間上分離視頻數(shù)據(jù)中每輛車出現(xiàn)在視頻流里的完整時間段；結(jié)合上述完整時間段內(nèi)車輛的幾何特征、顏色特征、運動軌跡以及車牌識別結(jié)果， 建立每輛車的出現(xiàn)時間，車輛離開視頻畫面時間、車輛的行駛方向、車身型號、車身顏色、車牌顏色、車牌號碼、行駛路徑的車輛信息數(shù)據(jù)庫供用戶查詢和檢索。所述根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡的過程為對連續(xù)的數(shù)據(jù)幀多幀數(shù)據(jù)結(jié)合分析，采用小波邊緣檢測與主動輪廓模型相結(jié)合的運動目標檢測算法，自動提取出運動目標，并自動設(shè)置主動輪廓模型的初始輪廓點；采用卡爾曼主動輪廓線跟蹤方法，對當前運動目標的每個初始輪廓點的狀態(tài)向量進行預測，將預測結(jié)果作為下一時刻該目標的初始輪廓點的狀態(tài)向量；根據(jù)初始輪廓點的狀態(tài)向量計算目標特征值，對相鄰幀目標進行相似性判斷，建立運動目標間的關(guān)聯(lián)關(guān)系；
根據(jù)運動目標間的關(guān)聯(lián)關(guān)系更新運動模型，形成運動目標鏈，得到運動目標的運動軌跡。還包括以下步驟對運動目標的運動軌跡進行唯一性判斷，即通過運動目標的輪廓點分析目標的幾何不變矩和所在區(qū)域的顏色特征，作為目標跟蹤過程中關(guān)聯(lián)性是否準確的加權(quán)判斷依據(jù)之一；并且在目標輪廓范圍內(nèi)采用神經(jīng)網(wǎng)絡(luò)和模版匹配相結(jié)合的車牌識別方法，由車牌識別結(jié)果進一步確定上述運動目標軌跡的唯一性，準確性。本發(fā)明具有以下有益效果及優(yōu)點1.本發(fā)明充分運用的人工智能的圖像處理算法，大大提高了對視頻數(shù)據(jù)的分析效力，可以極大地減少人工方法對視頻所進行的分檢工作，對海量數(shù)據(jù)進行及時有效的分析， 可以大大提高交通部門和交警部門對于數(shù)據(jù)的有效利用率，與其他的系統(tǒng)及平臺結(jié)合，可以為后續(xù)系統(tǒng)和平臺提供詳實可靠的數(shù)據(jù)資料，提高自動化程度和數(shù)據(jù)利用率。2.用戶只需要手工輸入需要檢索的車輛信息(包括車牌、行駛方向、車型、車牌顏色、行駛路徑)等進行組合，則系統(tǒng)可以自動完成相關(guān)信息的檢索，大大降低人工成本和工作效率，提高視頻數(shù)據(jù)的利用率，信息定位檢索準確率大于99%。


圖1為視頻圖像中檢索車輛信息的系統(tǒng)結(jié)構(gòu)圖；圖2為視頻圖像中檢索車輛信息流程圖。
具體實施例方式如圖1所示，將實現(xiàn)本發(fā)明方法的軟件裝載于智能分析檢索系統(tǒng)中，主要應用于交通部門對歷史視頻數(shù)據(jù)或?qū)崟r視頻數(shù)據(jù)進行分析，對于歷史數(shù)據(jù)，智能分析檢索系統(tǒng)對視頻流進行分析，需要部署相應的程序，指明視頻數(shù)據(jù)所處的物理介質(zhì)后，系統(tǒng)對視頻數(shù)據(jù)進行索引編制和搜索操作，分析相關(guān)的用戶需求信息，對于實時數(shù)據(jù)，系統(tǒng)可以處在數(shù)據(jù)傳輸?shù)闹虚g層(軟件層面)或者通過硬件中轉(zhuǎn)需要分析的視頻數(shù)據(jù)(物理層面)來進行用戶需求信息的索引編制和完成搜索任務(wù)。本發(fā)明在視頻圖像中檢索車輛信息的方法包括以下步驟對視頻圖像的視頻數(shù)據(jù)進行解碼、分離數(shù)據(jù)幀，形成可以進行數(shù)字圖像分析的YUV 數(shù)據(jù)或RGB數(shù)據(jù)；利用上述YUV數(shù)據(jù)或RGB數(shù)據(jù)對每幀視頻圖像進行車輛的粗搜索，得到車輛輪廓特征、顏色特征及車牌識別結(jié)果；根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡；記錄相鄰數(shù)據(jù)幀間的同一輪廓特征、顏色特征和車牌識別結(jié)果數(shù)據(jù)，從時間上分離視頻數(shù)據(jù)中每輛車出現(xiàn)在視頻流里的完整時間段；結(jié)合上述完整時間段內(nèi)車輛的幾何特征、顏色特征、運動軌跡以及車牌識別結(jié)果， 建立每輛車的出現(xiàn)時間，車輛離開視頻畫面時間、車輛的行駛方向、車身型號、車身顏色、車牌顏色、車牌號碼、行駛路徑的車輛信息數(shù)據(jù)庫供用戶查詢和檢索。所述根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡的過程為對連續(xù)的數(shù)據(jù)幀多幀數(shù)據(jù)結(jié)合分析，采用小波邊緣檢測與主動輪廓模型相結(jié)合的運動目標檢測算法，自動提取出運動目標，并自動設(shè)置主動輪廓模型的初始輪廓點；采用卡爾曼主動輪廓線跟蹤方法，對當前運動目標的每個初始輪廓點的狀態(tài)向量進行預測，將預測結(jié)果作為下一時刻該目標的初始輪廓點的狀態(tài)向量；根據(jù)初始輪廓點的狀態(tài)向量計算目標特征值，對相鄰幀目標進行相似性判斷，建立運動目標間的關(guān)聯(lián)關(guān)系；根據(jù)運動目標間的關(guān)聯(lián)關(guān)系更新運動模型，形成運動目標鏈，得到運動目標的運動軌跡。由于運動目標在移動過程中，會發(fā)生平移，旋轉(zhuǎn)等變化以及車輛其自身的顏色特征，所以確定運動軌跡還包括對運動目標的運動軌跡進行唯一性判斷步驟，即通過運動目標的輪廓點分析目標的幾何不變矩和所在區(qū)域的顏色特征，作為目標跟蹤過程中關(guān)聯(lián)性是否準確的加權(quán)判斷依據(jù)之一；并且在目標輪廓范圍內(nèi)采用神經(jīng)網(wǎng)絡(luò)和模版匹配相結(jié)合的車牌識別方法，由車牌識別結(jié)果進一步確定上述運動目標軌跡的唯一性，準確性，避免多輛車誤跟蹤情況發(fā)生。由車牌識別定位運動車輛坐標，同時根據(jù)視頻流中車牌運動的軌跡確定車輛的運行軌跡具有較高的可信度。如圖3所示，由圖像數(shù)據(jù)幀1 4可以分析出車輛的運行軌跡是從畫面的右上角的車牌位置1移動到車牌位置2，再經(jīng)車牌位置3移動到左下角的車牌位置4，記錄車牌坐標位置的變化，即可獲得準確的運動軌跡。本發(fā)明借助人工智能車牌識別技術(shù)，對特定的視頻數(shù)據(jù)進行分析和提取，在海量的數(shù)據(jù)中定位車輛信息，提供更為高效的視頻檢索方法，可大大提高搜索效率。
權(quán)利要求
1.一種在視頻圖像中檢索車輛信息的方法，其特征在于包括以下步驟對視頻圖像的視頻數(shù)據(jù)進行解碼、分離數(shù)據(jù)幀，形成可以進行數(shù)字圖像分析的YUV數(shù)據(jù)或RGB數(shù)據(jù)；利用上述YUV數(shù)據(jù)或RGB數(shù)據(jù)對每幀視頻圖像進行車輛的粗搜索，得到車輛輪廓特征、 顏色特征及車牌識別結(jié)果；根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡；記錄相鄰數(shù)據(jù)幀間的同一輪廓特征、顏色特征和車牌識別結(jié)果數(shù)據(jù)，從時間上分離視頻數(shù)據(jù)中每輛車出現(xiàn)在視頻流里的完整時間段；結(jié)合上述完整時間段內(nèi)車輛的幾何特征、顏色特征、運動軌跡以及車牌識別結(jié)果，建立每輛車的出現(xiàn)時間，車輛離開視頻畫面時間、車輛的行駛方向、車身型號、車身顏色、車牌顏色、車牌號碼、行駛路徑的車輛信息數(shù)據(jù)庫供用戶查詢和檢索。
2.按權(quán)利要求1所述的在視頻圖像中檢索車輛信息的方法，其特征在于所述根據(jù)數(shù)據(jù)幀間輪廓特征、顏色特征以及車牌識別結(jié)果在圖像上的坐標變化確定運動軌跡的過程為對連續(xù)的數(shù)據(jù)幀多幀數(shù)據(jù)結(jié)合分析，采用小波邊緣檢測與主動輪廓模型相結(jié)合的運動目標檢測算法，自動提取出運動目標，并自動設(shè)置主動輪廓模型的初始輪廓點；采用卡爾曼主動輪廓線跟蹤方法，對當前運動目標的每個初始輪廓點的狀態(tài)向量進行預測，將預測結(jié)果作為下一時刻該目標的初始輪廓點的狀態(tài)向量；根據(jù)初始輪廓點的狀態(tài)向量計算目標特征值，對相鄰幀目標進行相似性判斷，建立運動目標間的關(guān)聯(lián)關(guān)系；根據(jù)運動目標間的關(guān)聯(lián)關(guān)系更新運動模型，形成運動目標鏈，得到運動目標的運動軌跡。
3.按權(quán)利要求2所述的在視頻圖像中檢索車輛信息的方法，其特征在于還包括以下步驟對運動目標的運動軌跡進行唯一性判斷，即通過運動目標的輪廓點分析目標的幾何不變矩和所在區(qū)域的顏色特征，作為目標跟蹤過程中關(guān)聯(lián)性是否準確的加權(quán)判斷依據(jù)之一；并且在目標輪廓范圍內(nèi)采用神經(jīng)網(wǎng)絡(luò)和模版匹配相結(jié)合的車牌識別方法，由車牌識別結(jié)果進一步確定上述運動目標軌跡的唯一性，準確性。
全文摘要
本發(fā)明涉及一種在視頻圖像中檢索車輛信息的方法，對視頻圖像的視頻數(shù)據(jù)進行解碼、分離數(shù)據(jù)幀，形成YUV數(shù)據(jù)或RGB數(shù)據(jù)；對每幀視頻圖像進行車輛的粗搜索，得到車輛輪廓特征、顏色特征及車牌識別結(jié)果；在圖像上的坐標變化確定運動軌跡；從時間上分離視頻數(shù)據(jù)中每輛車出現(xiàn)在視頻流里的完整時間段；結(jié)合完整時間段內(nèi)車輛的幾何特征、顏色特征、運動軌跡以及車牌識別結(jié)果，建立每輛車的出現(xiàn)時間，車輛離開視頻畫面時間、車輛的行駛方向、車身型號、車身顏色、車牌顏色、車牌號碼、行駛路徑的車輛信息數(shù)據(jù)庫供用戶查詢和檢索。本發(fā)明大大提高了交通部門和交警部門對于數(shù)據(jù)的有效利用率，為后續(xù)系統(tǒng)和平臺提供詳實可靠的數(shù)據(jù)資料，提高自動化程度和數(shù)據(jù)利用率。
文檔編號G06K9/00GK102567380SQ201010609818
公開日2012年7月11日 申請日期2010年12月28日 優(yōu)先權(quán)日2010年12月28日
發(fā)明者于維雙, 付存?zhèn)? 劉天宇, 孫利濤, 孫大偉, 宋曉航, 張雷, 曹仁帥, 李丹, 董鐵軍, 趙全邦, 陳東基 申請人:沈陽聚德視頻技術(shù)有限公司