專利名稱：基于隱馬爾科夫模型的擁塞交通場景的視頻車輛檢測方法
技術(shù)領域：
基于隱馬爾科夫模型的擁塞交通場景的視頻車輛檢測方法涉及通過在交通場景
視頻中設置合適的虛擬線圈，然后利用方法分析虛擬線圈內(nèi)圖像的變化來達到車輛檢測的 目的，屬于基于視頻的智能交通車輛檢測領域。
背景技術(shù)：
視頻車輛檢測技術(shù)可以分為兩類基于區(qū)域檢測的方法和基于跟蹤的方法。虛擬
線圈的方法是一種典型的基于區(qū)域檢測的方法，這類方法通過檢測視頻的特定區(qū)域的圖像
變化來實現(xiàn)車輛檢測，由于在選擇檢測區(qū)域的時候就加上了人的先驗知識，且實際處理的
區(qū)域相對于整個視頻區(qū)域要小得多，方法的效率很高，適于實時應用，但這類方法的穩(wěn)定性
較弱，很容易受極端條件的影響(如交通擁塞，車輛變道等)；基于跟蹤的方法需要在整個
視頻區(qū)域內(nèi)搜索目標，并對目標進行跟蹤，因此可適應各種極端條件下的車輛檢測，但是相
對于基于區(qū)域檢測的方法，這類方法的復雜度要大得多，不適于實時應用。
以下的文章和專利文獻，基本覆蓋了該領域主要的背景技術(shù)。為了交待出技術(shù)的
發(fā)展過程，讓它們時間順序排列，并逐個介紹文獻的主要貢獻以及缺點。 P. G. Michalopoulos，"Vehicle Detection Video through Image Processing :
TheAutoscope System", IEEE Trans, vehicular technology, vol.40， no.1， pp. 21-29，
February 1991.該文獻最早介紹了一個完整的基于視頻的車輛檢測系統(tǒng)，并比較了不同檢
測技術(shù)的優(yōu)缺點。 A. Chatz i ioanou， S丄M. Hockaday， S. Kaighn， L. Ponce， " Video Image ProcessingSystems-Applications in Transportation，，， IEEE Proc. Vehicle Nayigation andlnformation Systems,pp. 17-20，Augestl995.該文獻系統(tǒng)的介紹了視頻處理技術(shù)在交 通系統(tǒng)中的應用。 Zengjia Yan， "Video-based Traffic Flow Detection :A Review and Introduction ofVTD System",PRIP'2007.該文獻介紹了一個典型的基于虛擬線圈的視頻 車輛檢測系統(tǒng)，該系統(tǒng)在大多數(shù)場景下工作良好，但在擁塞交通場景下系統(tǒng)的檢測性能下 降明顯。 Yang Zuguang，"Tracking Ground Vehicles in Heavy-traffic Video by Gro叩ingTracks of Vehicle Corners", Intelligent Transportation Systems Conference, 2007. ITSC 2007. IEEE，S印t.30 2007-Oct. 3 2007 Page (s) :396-399.該文獻
介紹了一種基于角點跟蹤的視頻車輛檢測方法，該方法能在一定程度上解決擁塞場景下的 車輛檢測問題，但是基方法復雜度比較高，影響了其在實際系統(tǒng)中的應用。

發(fā)明內(nèi)容
本發(fā)明針對當前的大多數(shù)視頻車輛檢測技術(shù)面臨的計算復雜度較高以及在擁塞 交通場景下檢測率低的問題，提出了一種基于HMM的擁塞條件下的視頻車輛檢測方法，該方法一方面利用了基于虛擬線圈的方法的計算復雜度低的優(yōu)點，另一方面利用HMM對車流 進行建模從而改進了擁塞交通場景下車輛的檢測率。 基于隱馬爾科夫模型(HMM)的擁塞交通場景的視頻車輛檢測方法，其用HMM來對 車流進行描述，利用車流固有的特征來解決擁塞場景下的視頻車輛檢索問題，該方法實現(xiàn) 步驟如下 步驟一 特征提??； 采用"三狀態(tài)"的劃分，將區(qū)域內(nèi)圖像劃分為三種狀態(tài)車頭、車身和路面；
利用Haar小波變換來突出顯示圖像中的利于車輛檢測的特征，對變換后的圖像 進行了向量化，每幅圖像將變?yōu)橐粋€向量； 使用主成份分析(PCA)和多元判決分析(MDA)選擇一個低維的特征空間，將圖像 向量在該特征空間中的投影作為圖像的特征首先使用PCA提取訓練圖像向量集的主成 份，稱這個主成分空間為PCA子空間，該空間的維數(shù)一般取15到20之間；然后對訓練的圖 像進行分類，分為車頭、車身及路面三類，對每類圖像對應的向量集，首先求其在之前得到 的PCA子空間中的投影，然后利用MDA求得PCA子空間中最有利于分開三類數(shù)據(jù)的方向，稱 該子空間(方向)為MDA子空間；對于三個類別來說，MDA子空間為2維的；兩次投影操作 將圖像由高維的向量映射為二維的向量，兩次投影的投影矩陣可以合并為一個矩陣，接下 來用該矩陣與圖像向量直接相乘得到圖像的特征；
步驟二 模型訓練；采用HMM對狀態(tài)序列進行建模，使用EM方法對HMM進行訓練 初始化狀態(tài)先驗分布、狀態(tài)轉(zhuǎn)移概率及觀測分布在初始化狀態(tài)轉(zhuǎn)移矩的時候，除 了圖3中用箭頭標出的狀態(tài)轉(zhuǎn)移關(guān)系外，其余狀態(tài)轉(zhuǎn)移概率設為0 ;狀態(tài)先驗分布及觀測分 布利用人工分類過的訓練數(shù)據(jù)(三個類別的圖像示例如圖2所示)直接進行初始化；
步驟三車輛檢測； 由步驟二得到的特征空間計算觀測圖像序列的特征向量，然后根據(jù)訓練得到的 HMM通過Viterbi方法計算得到觀測圖像序列對應的狀態(tài)序列，最后對得到的狀態(tài)序列進 行分析，通過尋找序列中的"車頭-車身"段來達到車輛檢測的目標；在對狀態(tài)序列進行分 析前，也可以首先對狀態(tài)序列進行修正，從而改善方法的檢測效率。 本發(fā)明利用HMM來描述車流的特征，很好地解決了擁塞條件下車輛視頻檢測的難 題；由于方法以HMM為核心，而HMM具有很多現(xiàn)成的實現(xiàn)，因此整個方法的實現(xiàn)很容易；還 有就是方法的結(jié)構(gòu)簡單，除了訓練模型的時候需要相對多的計算資源外，大部份時間該方 法的執(zhí)行效率都很高，很適合于實時應用。


圖1本發(fā)明總體流程圖。 圖2為輸入圖像示例。 圖3為EM方法中采樣的HMM的結(jié)構(gòu)示意圖。 圖4為"訓練方法"的流程圖。 圖5為"檢測方法"的流程圖。 圖6為虛擬線圈的設置示意圖。
圖7為訓練圖像集在特征空間內(nèi)的投影。 圖8為測試圖像集在特征空間內(nèi)的投影。 圖9為未經(jīng)過校正的狀態(tài)序列示意圖(截取了其中幀長為2000的一段)。 圖10為經(jīng)過校正的狀態(tài)序列示意圖(截取了其中幀長為2000的一段)。
具體實施例方式
本發(fā)明是一種基于虛擬線圈的方法，將虛擬線圈中的圖像分為"車頭"，"車身"及 "路面"三種狀態(tài)(類別)，并用HMM對狀態(tài)序列進行建模，HMM良好的數(shù)學性質(zhì)使得我們可 以方便的得到狀態(tài)序列，通過分析狀態(tài)序列便可以實現(xiàn)車輛檢測，而三狀態(tài)的劃分使得方 法可以處理擁塞交通場景下的車輛檢測。圖l本發(fā)明總體流程圖，方法在橫向上分為三部 份，依次包括特征空間的訓練、HMM模型的訓練以及車輛的檢測。其中特征空間的訓練依次 包括Haar小波變換、PCA空間的訓練、MDA空間的訓練三個步驟；HMM的訓練依次包括Haar 小波變換、特征提取、EM方法三個步驟；車輛檢測部份依賴于前兩部份訓練的結(jié)果，依次包 括Haar小波變換、特征提取、狀態(tài)提取、狀態(tài)修正，車輛檢測五個步驟。方法的實現(xiàn)步驟如 下 步驟一 (特征提取)傳統(tǒng)的檢測方法將檢測區(qū)域分為兩種狀態(tài)有車和無車，在 擁塞場景上很容易出現(xiàn)前后車粘連，從而導致無法正確的檢測車輛。于是方法采用"三狀 態(tài)"的劃分，圖2為輸入圖像示例，其中圖a為路面示例，可以看到路面的紋理比較簡單，但 會受車輛陰影的影響；圖b為車頭示例，相對其它兩類來說，車頭的紋理要復雜得多；圖C 為車身示例，其紋理的復雜度間于車頭和路面之間，且和車頭一樣具有一定的對稱性。如圖 2所示，將區(qū)域內(nèi)圖像劃分為三種狀態(tài)車頭、車身和路面，這樣的劃分能夠很好的處理擁 塞場景下的車輛粘連問題。 原始圖像特征維數(shù)過高，且包含大量冗余信息，方法首先利用Haar小波變換來突 出顯示圖像中的利于車輛檢測的特征，為了便于處理，還對變換后的圖像進行了向量化，這 樣每幅圖像將變?yōu)橐粋€向量。 接下來方法使用PCA+MDA來選擇一個低維的特征空間，并將圖像向量在該特征空 間中的投影作為圖像的特征。首先使用PCA提取訓練圖像向量集的主成份，我們稱這個主 成分空間為PCA子空間，該空間的維數(shù)一般取15到20之間。然后對訓練的圖像進行手工 的分類，分為車頭、車身及路面三類，對每類圖像對應的向量集，首先求其在之前得到的PCA 子空間中的投影，然后利用MDA求得PCA子空間中最有利于分開三類數(shù)據(jù)的方向，我們稱該 子空間(方向)為MDA子空間。對于三個類別來說，MDA子空間為2維的。兩次投影操作 將圖像由高維的向量映射為二維的向量，兩次投影的投影矩陣可以合并為一個矩陣，接下 來便可以用該矩陣與圖像向量直接相乘來得到圖像的特征了。 步驟二 (模型訓練)方法采用HMM來對狀態(tài)序列進行建模，接下來需要對HMM進 行訓練，HMM的訓練可采用EM方法，方法中采樣的HMM的結(jié)構(gòu)如圖3所示。圖3為EM方法 中采樣的HMM的結(jié)構(gòu)示意圖，其中H表示車頭的狀態(tài)，B表示車身狀態(tài)，R表示路面狀態(tài)，箭 頭表示不同狀態(tài)間的轉(zhuǎn)移關(guān)系。不難看出，由于車流特殊的結(jié)構(gòu)關(guān)系，R狀態(tài)只會跳轉(zhuǎn)到R 狀態(tài)及H狀態(tài)，H狀態(tài)只會跳轉(zhuǎn)到H狀態(tài)及B狀態(tài)，而B狀態(tài)可以跳轉(zhuǎn)到任何狀態(tài)，特別是B 狀態(tài)跳轉(zhuǎn)到H狀態(tài)對應了路面擁塞的條件下的情況。使用EM方法時需要初始化狀態(tài)先驗分布、狀態(tài)轉(zhuǎn)移概率及觀測分布。在初始化狀態(tài)轉(zhuǎn)移矩的時候，除了圖3所示的狀態(tài)轉(zhuǎn)移外， 其余狀態(tài)轉(zhuǎn)移概率將設為O，這是因為車輛的狀態(tài)轉(zhuǎn)移關(guān)系是有一定規(guī)律的，例如車頭的下 一狀態(tài)一定是車頭或車身，而車身的下一狀態(tài)可以是車身或路面(非粘連時)或者是車頭 (粘連時)，且EM方法保證了狀態(tài)轉(zhuǎn)移矩陣中為0的項訓練后仍為零，從而保證了邏輯的一 致性。狀態(tài)先驗分布及觀測分布可以利用人工分類過的訓練數(shù)據(jù)直接進行初始化。
圖4為"訓練方法"的流程圖，其過程包括(1)利用Haar小波變換對訓練圖像集 進行變換，并對圖像進行向量化；(2)利用PCA計算整個訓練集向量的主成分；(3)將訓練 圖像人工劃分為三類(車頭，車身，路面)，并對每一類用PCA計算主成分；(4)利用MDA計 算特征子空間；(5)通過計算出的特征空間計算訓練圖像特征；(6)用特征序列通過EM方 法對HMM進行訓練； 步驟三(車輛檢測)首先由前面得到的特征空間計算觀測圖像序列的特征向量， 然后根據(jù)訓練得到的HMM通過Viterbi方法計算得到觀測圖像序列對應的狀態(tài)序列，最后 對得到的狀態(tài)序列進行分析，通過尋找序列中的"車頭_車身"段來達到車輛檢測的目標。 在對狀態(tài)序列進行分析前，也可以首先對狀態(tài)序列進行修正，從而改善方法的檢測效率。
圖5為"檢測方法"的流程圖，其過程包括(1)對測試圖像集進行變換及向量化； (2)通過計算出的特征空間計算測試圖像特征；(3)用Viterbi方法對特征序列進行解碼， 得到狀態(tài)序列；(4)對狀態(tài)序列進行較正；(5)對狀態(tài)序列進行分析，并實現(xiàn)車輛檢測。
圖6為一個實例虛擬線圈的設置示意圖。在一段時長1小時的擁塞場景視頻上測 試，視頻幀率為30fps，檢測區(qū)域的大小為110X20。實際線圈在設置的時候以正好能將車 頭框住為準，稍微的大一點或小一點對方法效果影響不大。 圖7為該實例訓練圖像集在特征空間內(nèi)的投影，其中車頭用"+ "號表示，車身用 "*"號表示，路面用"."號表示。 圖8為測試圖像集在特征空間內(nèi)的投影，其中車頭用"+ "號表示，車身用"*"號表 示，路面用"."號表示。 圖9為未經(jīng)過校正的狀態(tài)序列示意圖(截取了其中幀長為2000的一段)，上面的 線描述了 viterbi解碼得到的狀態(tài)序列，下面的線描述了人工標注的狀態(tài)序列，可以看到 方法對車輛的檢測結(jié)果與人工標記的結(jié)果相當?shù)慕咏?，而且即使在車輛擁塞的條件下(前 車的車身和后車的車頭相連)，方法也可以很好的完成車輛的檢測工作。最后統(tǒng)計得到的車 輛檢測率為99. 5% 。 圖10為經(jīng)過校正的狀態(tài)序列示意圖(截取了其中幀長為2000的一段)，上面的線 描述了對viterbi解碼得到的狀態(tài)序列進行修正后的狀態(tài)序列，下面的線描述了人工標注 的狀態(tài)序列。修正的依據(jù)是車輛本身的速度和加速有限，因此車身的狀態(tài)持續(xù)的時間不會 很長，當viterbi解碼后得到的車身序列過短時，將前車與后車進行合并。實際中，隨著應 用場景的不同，可采用的修正方法也有不同。
權(quán)利要求
基于隱馬爾科夫模型的擁塞交通場景的視頻車輛檢測方法，其特征在于，該方法實現(xiàn)步驟如下步驟一特征提?。粚^(qū)域內(nèi)圖像劃分為三種狀態(tài)車頭、車身和路面；利用Haar小波變換來突出顯示圖像中車輛檢測的特征，對變換后的圖像進行向量化，每幅圖像變?yōu)橐粋€向量；使用主成份分析(PCA)和多元判決分析(MDA)選擇特征空間，將圖像向量在該特征空間中的投影作為圖像的特征首先使用PCA提取訓練圖像向量集的主成份，稱這個主成分空間為PCA子空間，該空間的維數(shù)取15到20之間；然后對訓練的圖像進行分類車頭、車身、路面三類，對每類圖像對應的向量集，求其在之前得到的PCA子空間中的投影，利用MDA求得PCA子空間中最有利于分開三類數(shù)據(jù)的方向，稱該子空間(方向)為MDA子空間；對于三個類別來說，MDA子空間為2維的；兩次投影操作將圖像由高維的向量映射為二維的向量，兩次投影的投影矩陣合并為一個矩陣，接下來用該矩陣與圖像向量直接相乘得到圖像的特征；步驟二模型訓練；采用HMM對狀態(tài)序列進行建模，使用EM方法對HMM進行訓練初始化狀態(tài)先驗分布、狀態(tài)轉(zhuǎn)移概率及觀測分布在初始化狀態(tài)轉(zhuǎn)移矩的時候，除了圖3中箭頭所示狀態(tài)轉(zhuǎn)移關(guān)系外，其余狀態(tài)轉(zhuǎn)移概率設為0；狀態(tài)先驗分布及觀測分布利用人工分類過的訓練數(shù)據(jù)直接進行初始化；步驟三車輛檢測；由步驟二得到的特征空間計算觀測圖像序列的特征向量，然后根據(jù)訓練得到的HMM通過Viterbi方法計算得到觀測圖像序列對應的狀態(tài)序列，最后對得到的狀態(tài)序列進行分析，通過尋找序列中的“車頭-車身”段來達到車輛檢測的目標。
2. 根據(jù)權(quán)利要求1所述的基于隱馬爾科夫模型的擁塞交通場景的視頻車輛檢測方法， 其特征在于，在步驟三中對狀態(tài)序列進行分析前，對狀態(tài)序列進行修正。
3. 根據(jù)權(quán)利要求2所述的基于隱馬爾科夫模型的擁塞交通場景的視頻車輛檢測方法， 其特征在于，所述對狀態(tài)序列進行修正方法為當viterbi解碼后得到的車身序列過短時， 將前車與后車進行合并。
全文摘要
基于隱馬爾科夫模型(HMM)的擁塞交通場景的視頻車輛檢測方法，屬于基于視頻的智能交通車輛檢測領域。本發(fā)明利用基于虛擬線圈的方法和HMM，利用車流固有的特征來解決擁塞場景下的視頻車輛檢索問題。將區(qū)域內(nèi)圖像劃分為車頭、車身和路面三種狀態(tài)；利用Haar小波變換和主成份分析(PCA)和多元判決分析(MDA)等進行特征提??；對模型進行訓練；對狀態(tài)序列進行修正，從而改善方法的檢測效率；對得到的狀態(tài)序列進行分析，通過尋找序列中的“車頭-車身”段來達到車輛檢測的目標。本發(fā)明利用HMM來描述車流的特征，解決了擁塞條件下車輛視頻檢測問題；整個方法實現(xiàn)容易，結(jié)構(gòu)簡單，很適合于實時應用。
文檔編號G08G1/01GK101794383SQ20101012269
公開日2010年8月4日 申請日期2010年3月12日 優(yōu)先權(quán)日2010年3月12日
發(fā)明者孟華東, 張顥, 楊玥, 殷明, 王希勤 申請人:清華大學