專利名稱：一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法，屬于基于機器視覺技術(shù)領(lǐng)域的方法。

背景技術(shù)：
通常情況下，交通場景的監(jiān)控主要是通過人工控制來完成。它需要投入大量的人力和物力，即便這樣，在高強度的工作環(huán)境下，遺漏仍可能發(fā)生；特別是出現(xiàn)車輛異常事件時，也不能進一步作出快速反應(yīng)的。因此，智能交通系統(tǒng)(ITS，Intelligent Transportation Systems)基于機器視覺在近年發(fā)展起來。它通過分析視頻序列檢測、識別和跟蹤車輛目標(biāo)，以獲得諸如位置，速度，方向和加速度等運動參數(shù)，無需任何人人工干預(yù)，或者很少的人工干預(yù)。一般來說，三個關(guān)鍵問題需要解決，即1)檢測感興趣區(qū)域(ROI)的車輛的目標(biāo)；2)建模的車輛目標(biāo)；3)定位運動車輛的目標(biāo)。
對于第一個問題，Zehang Sun等在《IEEE模式識別與機器智能學(xué)報》(2006年第694-711頁)發(fā)表文章“道路車輛檢測概覽”(《IEEETransactions on Pattern Analysis and Machine Intelligence》(pp.694-711，2006)“On-road vehicle detectiona review”)進行了總結(jié)，包括基于知識的、基于運動的和基于表觀特征的檢測方法。
很多視覺特征可以被選擇為車輛目標(biāo)的跟蹤進行表觀建模。Comaniciu等在《IEEE模式識別與機器智能學(xué)報》(2003年第564-577頁)上發(fā)表文章“基于核函數(shù)的物體跟蹤”(《IEEE Transactions on Pattern Analysis andMachine Intelligence》(pp.564-577，2003)“Kernel-based objecttracking”)提出了基于顏色直方圖的跟蹤算法，該方法對環(huán)境噪音和部分遮擋是魯棒的，但是在背景與目標(biāo)顏色相同或者光線變化時該方法失效。LiPH等在《圖像與視覺計算》(2003年第111-123頁)上發(fā)表文章“基于粒子濾波的視覺輪廓跟蹤算法”(《Image and Vision Computing》(pp.111-123，2003)“Visual contour tracking based on particle filters”)提出邊緣特征對于克服顏色特征的是一種不錯的選擇，該特征不需要對車輛目標(biāo)進行明確建模，但是，計算邊緣是一件非常耗時的過程。近些年來，特征描述子被得到廣泛的關(guān)注，該類特征可以嵌入跟蹤框架中。Tu Q等人在“IEEE信息與自動化國際會議”會議集(2008年第86-90頁)上發(fā)表文章“基于仿射不變特征的魯棒的車輛跟蹤算法”(“IEEE InternationalConference on Information and Automation”(pp.86-90，2008)“Robustvehicle tracking based on Scale Invariant Feature Transform”)，該算法利用了SIFT描述子進行車輛的跟蹤。但是，SIFT的計算復(fù)雜度非常高無法滿足實時監(jiān)控系統(tǒng)的要求。其他特征，如光流、小波、統(tǒng)計學(xué)習(xí)等，同樣被用作目標(biāo)建模。
一般來說，車輛目標(biāo)的定位方法可分為兩類確定性跟蹤和概率性跟蹤。確定性跟蹤的實質(zhì)是一個優(yōu)化問題，通過車輛檢測獲得其目標(biāo)模板，并建立特征函數(shù)來度量車輛候選區(qū)域與參考模板之間的相似度，當(dāng)特征函數(shù)取得最大值時，目標(biāo)被定位。MeanShift算法就是確定性跟蹤的典型代表，該算法計算簡單且有效，但是傳統(tǒng)的MeanShift算法在跟蹤目標(biāo)是假定目標(biāo)是不發(fā)生變化的，因此，當(dāng)表觀特征發(fā)生變化時，跟蹤會偏離甚至失效。概率性跟蹤算法是在貝葉斯框架下求解目標(biāo)狀態(tài)的后驗概率密度的過程。卡爾曼濾波，隱馬爾科夫模型和粒子濾波器都可以用來進行目標(biāo)跟蹤。粒子濾波由于是非線性、非高斯且多模態(tài)的特點，被廣泛應(yīng)用，但是單純使用粒子濾波進行跟蹤需要大量粒子。因此，可以考慮將確定性跟蹤方法與概率性跟蹤方法進行結(jié)合，特別是將MeanShift算法與粒子濾波算法結(jié)合，既能克服MeanShift算法沒有預(yù)測功能的缺點，又能解決粒子濾波算法需要大量粒子進行精確計算的缺點。Camshift算法是MeanShift的一種改進算法，它作用于動態(tài)概率分布，在連續(xù)的視頻圖像序列中，運動物體的尺寸和位置的變化導(dǎo)致相應(yīng)的概率分布的動態(tài)變化，該算法自適應(yīng)概率分布的動態(tài)變化，根據(jù)概率分布的變化情況自動調(diào)整搜尋窗口的尺寸和位置。


發(fā)明內(nèi)容
本發(fā)明要的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足，提供一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法，該方法重點解決的問題包括 (1)車輛運動區(qū)域檢測 (2)多車輛目標(biāo)建模 (3)車輛目標(biāo)定位 本發(fā)明的技術(shù)方案一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于包括如下步驟 (1)檢測車輛運動區(qū)域包括對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域； (2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進行預(yù)測，觀測模型采用顏色直方圖特征和局部積分方向描述子(LIOD，LocalIntegral Orientation Descriptor)特征融合建模，采用閾值方法判斷車輛進、出監(jiān)控區(qū)域 (3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進行魯棒跟蹤。
其中，所述步驟(1)首先對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計 假設(shè)第(k+1)幀中，背景像素點p的灰度值表述為 G(k+1，p)＝G(k，p)+L(k，p)+noise1(k，p) 其中，G(k，p)是第k幀中，背景像素點p的灰度值；L(k，p)是描述光照隨著時間變化的不確定模型；noise1(k，p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差)；輸入圖像像素點p的灰度表示為 I(k，p)＝G(k，p)+noise2(k，p) 其中，noise2(k，p)為一個以零為中心的高斯白噪聲；消去系統(tǒng)測量誤差得到 I(k+1，p)＝G(k，p)+ω(k+1，p) 其中，ω(k+1，p)＝L(k，p)+noise1(k，p)+noise2(k+1，p)，且ω(k，p)是高斯分布。
其中，所述步驟(1)的檢測車輛目標(biāo)區(qū)域采用快速約束三角剖分方法，包括如下步驟 1)通過Canny算子提取輪廓信息； 2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合； 3)提取直線兩端點得到角點集合； 4)以所有約束邊為基礎(chǔ)，構(gòu)建初始約束三角網(wǎng)，并依次插入所有獨立角點； 5)提取角密度，水平直線密度，密度垂直直線，三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量； 6)將候選區(qū)域中的五個特征向量輸入以K(x，y)＝x×y為核函數(shù)的支持向量機中，可以得到輸出ESVM，當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時候，則該區(qū)域為真實車輛區(qū)域。
其中，所述步驟(2)的車輛狀態(tài)模型定義為S＝(x，y，l，h)T，其中，(x，y)構(gòu)成被跟蹤目標(biāo)的中心點C＝(x，y)T，搜索窗W＝(l，h)T是長為l，寬為h的矩形；采用二次線性自回歸的方法預(yù)測當(dāng)前的狀態(tài) p(Sk|Sk-1，Sk-2，…，S1)～N(Sk；2Sk-1-Sk-2，∑)； 多車輛目標(biāo)時，狀態(tài)預(yù)測模型為 p(Sk(m)|Sk-1(m)，…，S1(m))～N(Sk(m)；2Sk-1(m)-Sk-2(m)，∑(m)) 其中，假設(shè)目標(biāo)之間是相互獨立的，且當(dāng)前有M個車輛目標(biāo)，Sk(m)表示第k幀中第m個車輛目標(biāo)的狀態(tài)。
其中，所述步驟(2)的車輛觀測模型是由RGB顏色直方圖特征和局部積分方向描述子特征進行融合構(gòu)成的 p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk)，其中，

是基于RGB顏色直方圖特征的觀測函數(shù)，

是局部積分方向描述子特征的觀測函數(shù)，Ok為當(dāng)前視頻幀，B(·，·)是巴氏距離；H和H*分別是從被Sk覆蓋的區(qū)域中估計出的候選顏色直方圖和參考顏色直方圖；HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
其中，所述局部積分方向描述子是對局部圖像梯度的方向采用得到8個分格，每個像素位置的梯度方向可以由其梯度值加權(quán)得到，每一個像素位置的第t個分格在s尺度時的加權(quán)梯度方向直方圖定義如下
其中，

是梯度向量，即為像素點(x，y)處的梯度Gx(x，y)，Gy(x，y)；R是在像素點(x，y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸；Z是標(biāo)準(zhǔn)化因子，ω(x，y，k)是第t個分格的方向計數(shù)器 其中，θ(x，y)是像素點(x，y)的梯度方向角arctan(Gy(x，y)/Gx(x，y))。
其中，所述步驟(2)中對車輛進、出監(jiān)控區(qū)域采用閾值方法進行判斷 1)車輛進入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進入視場的閾值，第k幀時有J個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有J＞M，滿足以下條件時有車輛進入監(jiān)控區(qū)域 2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值，第k幀時有P個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有P＜M，滿足一下條件時有車輛退出監(jiān)控區(qū)域 其中，Ski(m)則表示第k幀中第m個車輛目標(biāo)的第i個粒子的狀態(tài)。
其中，所述步驟(3)采用Camshift算法與粒子濾波分層次相融合方法進行魯棒跟蹤的具體步驟為 1)將(0，1]分成N個連續(xù)互不重合的區(qū)間，即

N即為初始化的粒子個數(shù)； 2)對每個獨立同分布采樣得到的初始粒子集{Si}i＝1，2，…，N，有

其中U((u，v])表示在區(qū)間(u，v]上的均勻分布； 3)粒子狀態(tài)Ski的期望值

并得到該粒子的權(quán)重 4)將粒子集隨機地分成2個數(shù)目相等子集{Skm}m＝1，2，，N/2，{Skn}n＝1，2，，N/2； 5)對其中一個子集{Skm}m＝1，2，，N/2的每一個粒子進行迭代 選擇加權(quán)值最大的粒子，然后我們使用該子集中的所有粒子，來計算這個粒子狀態(tài)中心點的平均位移，進而接近其局部模式 其中{Cj}j＝1...N/2是狀態(tài)

在矩形區(qū)域像素坐標(biāo)點；m(Cj)是在點Cj處像素值的相似權(quán)重，它是對應(yīng)的H*和

的直方圖二進制比率的平方根；g()是一個核函數(shù)；r是標(biāo)準(zhǔn)化后的窗口半徑； 該粒子的狀態(tài)中心點均以最新的狀態(tài)中心近似構(gòu)成 該粒子的窗口尺寸，利用如下方法進行調(diào)整 其中k是一個經(jīng)驗常量值，零階矩M00按照以下公式計算 該粒子權(quán)重也進行相應(yīng)為 將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m＝1，2，，N/2合并，得到新的粒子集{Ski}i＝1，2，，N，同時對兩個子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級遞減，即有

j＝1，2，…，I，其中I是迭代次數(shù)；得到新的狀態(tài)概率密度函數(shù)； 6)迭代結(jié)束，輸出對當(dāng)前狀態(tài)的估計 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于 (1)對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計是基于Kalman濾波的自適應(yīng)背景建模理論，考慮在長時間內(nèi)光照條件發(fā)生變化的情況，圖像噪聲是隨著環(huán)境光照和氣候條件變化而變化，具有較低的計算復(fù)雜度，且能夠消除圖像噪聲變化。
(2)車輛目標(biāo)區(qū)域檢測采用快速約束三角剖分方法，該方法可以去除無用區(qū)域，提取相關(guān)特征信息，并不需要去精確獲取車輛輪廓，關(guān)注車輛的粗略位置和計算的實時性；通過基于約束邊優(yōu)先的三角剖分圖像區(qū)塊劃分方法，獲得車輛的候選區(qū)域，通過支持向量機選定真實區(qū)域。
(3)采用顏色直方圖特征和局部積分方向描述子特征融合作為車輛的觀測模型，既充分發(fā)揮了顏色直方圖特征對于車輛形變等的不敏感性優(yōu)點，又使得在顏色特征不能滿足時以局部積分方向描述子特征作為補充。
(4)局部積分方向描述子特征相對于SIFT特征計算簡單，對于不同尺度的特征計算只需要通過四個參考點進行圖像卷積計算得到。
(5)采用Camshift與粒子濾波融合的方法進行車輛跟蹤，首先，Camshift能夠優(yōu)化每個濾波器的尺度和位置，在提高粒子濾波的采樣效率方面比MeanShift方法有更強大的功能。其次，粒子濾波的多種假設(shè)的性質(zhì)可以使得Camshift能夠自適應(yīng)地調(diào)整尺度因子；通過利用粒子之間的冗余，Camshift以一種簡化的方式作用于在整個粒子集；最后，對Camshift的有限次迭代避免了粒子窮竭現(xiàn)象。



圖1為本發(fā)明的方法流程圖； 圖2為本發(fā)明中CamShift算法與粒子濾波進行分層次融合的原理圖。

具體實施例方式 如圖1所示，是本發(fā)明方法的流程圖，本方法包括如下步驟 (一)檢測車輛運動區(qū)域 1、對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計 假設(shè)第(k+1)幀中，背景像素點p的灰度值表述為 G(k+1，p)＝G(k，p)+L(k，p)+noise1(k，p) 其中，G(k，p)是第k幀中，背景像素點p的灰度值；L(k，p)是描述光照隨著時間變化的不確定模型；noise1(k，p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差)；輸入圖像像素點p的灰度表示為 I(k，p)＝G(k，p)+noise2(k，p) 其中，noise2(k，p)為一個以零為中心的高斯白噪聲；消去系統(tǒng)測量誤差得到 I(k+1，p)＝G(k，p)+ω(k+1，p) 其中，ω(k+1，p)＝L(k，p)+noise1(k，p)+noise2(k+1，p)。ω(n，p)是高斯分布，可以分別用均值m(n，p)和變量s(n，p)代表ω(n，p)。明顯地，在時域空間內(nèi)m(n，p)和s(n，p)的值不會是一個常數(shù)。如何正確的計算m(n，p)和s(n，p)，是背景估計中的一個關(guān)鍵問題。
在交通監(jiān)控中，在一個很小的區(qū)域內(nèi)光照的變化和噪聲分布基本上是不變的。因此，m(n，p)和s(n，p)在一個小區(qū)域內(nèi)的值與該像素在該區(qū)域中的位置無關(guān)，所以，他們可以分別被表示為m(n)和s(n)。然后，在一個小區(qū)域中，由{I(n+1，p)}和{G(n，p)}的差值可以得到一個直方圖。通過該直方圖，可以估計出m(n)和s(n)的值。
2、基于快速三角剖分的車輛目標(biāo)區(qū)域檢測。
(1)通過Canny算子提取輪廓信息常用的邊緣檢測算法有Sobel、Canny算法，其通過對比可以得出如下結(jié)論Sobel算法計算簡單、速度快，但是其對圖像噪聲敏感，邊緣往往是斷續(xù)的、不完整的。Canny算子不易受噪聲干擾，能檢測出弱邊緣，且不用浮點運算，可以提高效率。
(2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合Hough變換在檢測二值圖像中的直線或曲線時抗干擾能力強，能在信噪比較低的條件下進行檢測。
(3)提取直線兩端點得到角點集合車輛特征預(yù)處理的過程就是提取角點和邊緣直線的過程。車輛的輪廓具有明顯的角點和直線特征，由于陰影或背景圖像的影響，角點和直線集合只能用來檢測車輛的大致區(qū)域。但經(jīng)過提取角點和邊緣輪廓直線，達到了降低計算復(fù)雜度的目的，可以有效地保證算法實時性。
(4)以所有約束邊為基礎(chǔ)，構(gòu)建初始約束三角網(wǎng)(CDT，ConstrainedDelaunay Triangulation)，并依次插入所有獨立角點 1)以約束邊為三角形的其中一邊li，在頂點集合Q中取一點pi，如邊li和點pi所構(gòu)成的外接圓不包含任何其他頂點，則連接點pi和邊li的兩個頂點構(gòu)成一個約束三角形；如邊li和點pi所構(gòu)成的外接圓包含其他頂點，則以所包含的頂點為頂點集合，選取其中一點與邊li，循環(huán)步驟A。
2)通過步驟A，構(gòu)建了一個初始基于約束邊的CDT。在該CDT中，插入點一獨立角點p的過程如下 A、通過三角形中心和鄰域信息定位p所在的三角形A0。
B、通過三角形的鄰域特征尋找相鄰，重構(gòu)p所影響的鄰近點之間的三角網(wǎng)之間的拓撲關(guān)系；具體步驟如下 a、以p所在三角形的非約束邊為擴展方向，獲得其鄰域三角形A1，A2。
b、依次對其鄰域三角形A1，A2做最小外接圓，如包含p，則鄰域三角形A1并不存在于插入p后重新構(gòu)建的CDT′中，刪除鄰邊，繼續(xù)步驟c；如不包含p，則鄰域三角形A2存在于插入p后，重新構(gòu)建的CDT′中，繼續(xù)步驟d；如無新鄰域三角形，則直接進行步驟d。
c、步驟b中所述的鄰域三角形，其另外兩個鄰域三角形A7，A8，也屬于點P的影響域，對A7，A8重復(fù)步驟b。
d、將點P的影響域邊界上的點與點P相連，構(gòu)成點P影響域內(nèi)的重構(gòu)三角形。此時完成一個插入P點后構(gòu)成的CDT′。
(5)提取角密度，水平直線密度，密度垂直直線，三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量車輛區(qū)域一般由車輛前端輪廓線Lf和后端輪廓線Lb兩條線段所圍四邊形所限定。在預(yù)處理的時候已經(jīng)提取車輛輪廓的直線信息，因此，Lf和Lb作為約束邊存在于CDT變換后產(chǎn)生的三角邊中，且車輛輪廓線的特征為長度在一定區(qū)間、相對于圖像水平線傾角較小(在本發(fā)明中，要求傾斜角小于30度)。進行車輛前后輪廓線的提取，并且根據(jù)前后輪廓線的約束關(guān)系，連接端點形成四邊形區(qū)域。由于輪廓線比較多，因此，將會產(chǎn)生多個滿足條件的四邊形區(qū)域，根據(jù)下列特征向量進行分類計算，從中選取可置信的車輛區(qū)域。具體特征如下 1)角點密度Dc假設(shè)區(qū)域單位面積中的角點數(shù)量； 2)水平直線密度Dh水平傾斜角(與x軸的夾角)較小的直線密度。如果用(xh1，yh1)和(xh2，yh2)表示水平線段的兩個端點，則直線的水平傾斜度可表示為kh＝|(yh2-yh1)/(xh2-xh1)|。在本文中，要求該傾斜角小于30度，即 3)垂直直線密度Dv垂直傾斜角(與y軸的夾角)較小的直線密度。如果用(xv1，yv1)和(xv2，yv2)表示垂直直線的兩個端點，則直線的水平傾斜度可表示為kv＝|(yv2-yv1)/(xv2-xv1)|。在本文中，要求該直線與水平的傾斜角大于60度，即 4)三角形密度Dt在選取的候選區(qū)域內(nèi)，三角形的密度； 5)候選區(qū)域到真實車輛區(qū)域的樣本標(biāo)準(zhǔn)偏差S通過計算候選四邊形區(qū)域中，完整三角形面積的覆蓋程度，來表示該區(qū)域為真實車輛區(qū)域的置信度。
針對每個候選的四邊形區(qū)域，提取上述五個特征向量。上述五個特征向量較好的涵蓋了車輛輪廓的水平、垂直和紋理信息，同時，提取過程的算法復(fù)雜度較低，滿足實時計算的需要。
利用候選區(qū)域到真實區(qū)域的樣本標(biāo)準(zhǔn)偏差S驗證候選區(qū)域的可置信度?，F(xiàn)假定候選區(qū)域i中包含n個完整的三角形，第j個三角形的亮度和(灰度值之和)為Sumj，所有三角形的亮度和總體平均為

系統(tǒng)自由度為f＝n-1 根據(jù)樣本標(biāo)準(zhǔn)偏差的等效變換，可直接對測量值進行計算。等效變換的結(jié)果如下所示 此時，根據(jù)上述提取的特征，可以形成一個新的特征向量組Oi＝{Dci，Dhi，Dvi，Dti，Si}。
(6)將候選區(qū)域中的五個特征向量輸入以K(x，y)＝x×y為核函數(shù)的支持向量機(SVM，Supported Vector Machine)中，可以得到輸出ESVM，當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時候，則該區(qū)域為真實車輛區(qū)域。若選定的五個特征向量沒有涵蓋各個候選區(qū)域的包含和重疊關(guān)系，因此出現(xiàn)置信區(qū)域重疊的情況。設(shè)定部分包含率閾值為η，即有兩區(qū)域的公共面積應(yīng)SCommon，小置信區(qū)域面積Ssmall，則如果SCommon/Ssmall＞η，則小置信區(qū)域并入大置信區(qū)域。同時，以最小外接矩形包含小置信區(qū)域形成大置信區(qū)域，如此循環(huán)。本發(fā)明中中選擇η＝0.6，最終以最小外接矩形包含被檢車輛區(qū)域。
(二)建立多車輛目標(biāo)模型 1、多車輛狀態(tài)模型與觀測模型 (1)車輛目標(biāo)狀態(tài)模型 鑒于CamShift算法作用于動態(tài)概率分布，具有可根據(jù)概率分布的變化情況自動調(diào)整搜尋窗口的尺寸和位置的特性，我們將被跟蹤目標(biāo)的狀態(tài)模型定義為S＝(x，y，l，h)T，其中，(x，y)構(gòu)成被跟蹤目標(biāo)的中心點C，用來描述目標(biāo)的位置屬性，即有C＝(x，y)T；搜索窗W是長為l，寬為h的矩形，用來描述目標(biāo)的大小屬性，即有W＝(l，h)T。因此，狀態(tài)模型又可表示為S＝(CT，WT)T。
考慮到視頻序列中被跟蹤目標(biāo)的關(guān)聯(lián)性特點，需要對其進行預(yù)測建模。我們采用數(shù)理統(tǒng)計中的二次線性回歸的方法，認為一個被跟蹤目標(biāo)當(dāng)前的運動狀態(tài)是由前一個運動狀態(tài)Sk-1，最后一次狀態(tài)變換偏移量Sk-1-Sk-2，及一個均值為0，協(xié)方差矩陣為∑k的高斯分布ωk進行預(yù)測的，即 且預(yù)測模型滿足高斯分布p(Sk|Sk-1，Sk-2，…，S1)～N(Sk；2Sk-1-Sk-2，∑k) (2)車輛目標(biāo)觀測模型 車輛目標(biāo)的觀測模型由RGB顏色直方圖特征和局部積分方向描述子特征進行融合構(gòu)成的p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk)，其中，

是基于RGB顏色直方圖特征的觀測函數(shù)，

是局部積分方向描述子特征的觀測函數(shù)，Ok為當(dāng)前視頻幀，B(·，·)是巴氏距離(Bhattacharyya)；H和H*分別是從被Sk覆蓋的區(qū)域中估計出的候選顏色直方圖和參考顏色直方圖；HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
局部積分方向描述子是對局部圖像梯度的方向采用得到8個分格(bins)，每個像素位置的梯度方向可以由其梯度值加權(quán)得到，每一個像素位置的第t個bin在s尺度時的加權(quán)梯度方向直方圖定義如下
其中，

是梯度向量，即為像素點(x，y)處的梯度Gx(x，y)，Gy(x，y)；R是在像素點(x，y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸；Z是標(biāo)準(zhǔn)化因子，ω(x，y，k)是第t個bis的方向計數(shù)器 其中，θ(x，y)是像素點(x，y)的梯度方向角arctan(Gy(x，y)/Gx(x，y))。
2、判斷車輛進、出監(jiān)視區(qū)域 (1)車輛進入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進入視場的閾值，第k幀時有J個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有J＞M，滿足以下條件時有車輛進入監(jiān)控區(qū)域 (2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值，第k幀時有P個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有P＜M，滿足一下條件時有車輛退出監(jiān)控區(qū)域 其中，Ski(m)則表示第k幀中第m個車輛目標(biāo)的第i個粒子的狀態(tài)。
(三)基于分層粒子濾波的車輛跟蹤，如圖2所示。
(1)將(0，1]分成N個連續(xù)互不重合的區(qū)間，即

N即為初始化的粒子個數(shù)； (2)對每個獨立同分布采樣得到的初始粒子集{Si}i＝1，2，…，N，有

其中U((u，v])表示在區(qū)間(u，v]上的均勻分布； (3)粒子狀態(tài)Ski的期望值

并得到該粒子的權(quán)重 (4)將粒子集隨機地分成2個數(shù)目相等子集{Skm}m＝1，2，，N/2，{Skn}n＝1，2，，N/2； (5)對其中一個子集{Skm}m＝1，2，，N/2的每一個粒子進行迭代 選擇加權(quán)值最大的粒子，然后我們使用該子集中的所有粒子，來計算這個粒子狀態(tài)中心點的平均位移，進而接近其局部模式 其中{Cj}j＝1...N/2是狀態(tài)

在矩形區(qū)域像素坐標(biāo)點；m(Cj)是在點Cj處像素值的相似權(quán)重，它是對應(yīng)的H*和

的直方圖二進制比率的平方根；g()是一個核函數(shù)；r是標(biāo)準(zhǔn)化后的窗口半徑； 該粒子的狀態(tài)中心點均以最新的狀態(tài)中心近似構(gòu)成 該粒子的窗口尺寸，利用如下方法進行調(diào)整 其中k是一個經(jīng)驗常量值，零階矩M00按照以下公式計算 該粒子權(quán)重也進行相應(yīng)為 將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m＝1，2，，N/2合并，得到新的粒子集{Ski}i＝1，2，，N，同時對兩個子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級遞減，即有

j＝1，2，…，I，其中I是迭代次數(shù)；得到新的狀態(tài)概率密度函數(shù)； (6)迭代結(jié)束，輸出對當(dāng)前狀態(tài)的估計 本發(fā)明說明書中未作詳細描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
盡管為說明目的公開了本發(fā)明的最佳實施例和附圖，但是本領(lǐng)域的技術(shù)人員可以理解在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi)，各種替換、變化和修改都是可能的。因此，本發(fā)明不應(yīng)局限于最佳實施例和附圖所公開的內(nèi)容。
權(quán)利要求
1.一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于包括如下步驟
(1)檢測車輛運動區(qū)域包括對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域；
(2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進行預(yù)測，觀測模型采用顏色直方圖特征和局部積分方向描述子特征融合建模，采用閾值方法判斷車輛進、出監(jiān)控區(qū)域
(3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進行魯棒跟蹤。
2.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(1)首先對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計
假設(shè)第(k+1)幀中，背景像素點p的灰度值表述為
G(k+1，p)＝G(k，p)+L(k，p)+noise1(k，p)
其中，G(k，p)是第k幀中，背景像素點p的灰度值；L(k，p)是描述光照隨著時間變化的不確定模型；noise1(k，p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差)；輸入圖像像素點p的灰度表示為
I(k，p)＝G(k，p)+noise2(k，p)
其中，noise2(k，p)為一個以零為中心的高斯白噪聲；消去系統(tǒng)測量誤差得到
I(k+1，p)＝G(k，p)+ω(k+1，p)
其中，ω(k+1，p)＝L(k，p)+noise1(k，p)+noise2(k+1，p)，且ω(k，p)是高斯分布。
3.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(1)的檢測車輛目標(biāo)區(qū)域采用快速約束三角剖分方法，包括如下步驟
1)通過Canny算子提取輪廓信息；
2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合；
3)提取直線兩端點得到角點集合；
4)以所有約束邊為基礎(chǔ)，構(gòu)建初始約束三角網(wǎng)，并依次插入所有獨立角點；
5)提取角密度，水平直線密度，密度垂直直線，三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量；
6)將候選區(qū)域中的五個特征向量輸入以K(x，y)＝x×y為核函數(shù)的支持向量機中，可以得到輸出ESVM，當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時候，則該區(qū)域為真實車輛區(qū)域。
4.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(2)的車輛狀態(tài)模型定義為S＝(x，y，l，h)T，其中，(x，y)構(gòu)成被跟蹤目標(biāo)的中心點C＝(x，y)T，搜索窗W＝(l，h)T是長為l，寬為h的矩形；采用二次線性自回歸的方法預(yù)測當(dāng)前的狀態(tài)
p(Sk|Sk-1，Sk2，…，S1)～N(Sk；2Sk-1-Sk-2，∑)；
多車輛目標(biāo)時，狀態(tài)預(yù)測模型為
p(Sk(m)|Sk-1(m)，…，S1(m))～N(Sk(m)；2Sk-1(m)-Sk-2(m)，∑(m))
其中，假設(shè)目標(biāo)之間是相互獨立的，且當(dāng)前有M個車輛目標(biāo)，Sk(m)表示第k幀中第m個車輛目標(biāo)的狀態(tài)。
5.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(2)的車輛觀測模型是由RGB顏色直方圖特征和局部積分方向描述子特征進行融合構(gòu)成的
p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk)，其中，
是基于RGB顏色直方圖特征的觀測函數(shù)，
是局部積分方向描述子特征的觀測函數(shù)，Ok為當(dāng)前視頻幀，B(·，·)是巴氏距離；H和H*分別是從被Sk覆蓋的區(qū)域中估計出的候選顏色直方圖和參考顏色直方圖；HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
6.根據(jù)權(quán)利要求5所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述局部積分方向描述子是對局部圖像梯度的方向采用得到8個分格，每個像素位置的梯度方向可以由其梯度值加權(quán)得到，每一個像素位置的第t個分格在s尺度時的加權(quán)梯度方向直方圖定義如下
其中，
是梯度向量，即為像素點(x，y)處的梯度Gx(x，y)，Gy(x，y)；R是在像素點(x，y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸；Z是標(biāo)準(zhǔn)化因子，ω(x，y，k)是第t個分格的方向計數(shù)器
其中，θ(x，y)是像素點(x，y)的梯度方向角arctan(Gy(x，y)/Gx(x，y))。
7.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(2)中對車輛進、出監(jiān)控區(qū)域采用閾值方法進行判斷
1)車輛進入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進入視場的閾值，第k幀時有J個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有J＞M，滿足以下條件時有車輛進入監(jiān)控區(qū)域
2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值，第k幀時有P個車輛目標(biāo)，第k-1幀有M個車輛目標(biāo)，且有P＜M，滿足一下條件時有車輛退出監(jiān)控區(qū)域
其中，Ski(m)則表示第k幀中第m個車輛目標(biāo)的第i個粒子的狀態(tài)。
8.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于所述步驟(3)采用Camshift算法與粒子濾波分層次相融合方法進行魯棒跟蹤的具體步驟為
1)將(0，1]分成N個連續(xù)互不重合的區(qū)間，即
N即為初始化的粒子個數(shù)；
2)對每個獨立同分布采樣得到的初始粒子集{Si}i＝1，2，…，N，有
其中U((u，v])表示在區(qū)間(u，v]上的均勻分布；
3)粒子狀態(tài)Ski的期望值
并得到該粒子的權(quán)重
4)將粒子集隨機地分成2個數(shù)目相等子集{Skm}m＝1，2，，N/2，{Skn}n＝1，2，，N/2；
5)對其中一個子集{Skm}m＝1，2，，N/2的每一個粒子進行迭代
選擇加權(quán)值最大的粒子，然后我們使用該子集中的所有粒子，來計算這個粒子狀態(tài)中心點的平均位移，進而接近其局部模式
其中{Cj}j＝1...N/2是狀態(tài)
在矩形區(qū)域像素坐標(biāo)點；m(Cj)是在點Cj處像素值的相似權(quán)重，它是對應(yīng)的H*和
的直方圖二進制比率的平方根；g()是一個核函數(shù)；r是標(biāo)準(zhǔn)化后的窗口半徑；
該粒子的狀態(tài)中心點均以最新的狀態(tài)中心近似構(gòu)成
該粒子的窗口尺寸，利用如下方法進行調(diào)整
其中k是一個經(jīng)驗常量值，零階矩M00按照以下公式計算
該粒子權(quán)重也進行相應(yīng)為
將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m＝1，2，，N/2合并，得到新的粒子集{Ski}i＝1，2，，N，同時對兩個子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級遞減，即有
j＝1，2，…，I，其中I是迭代次數(shù)；得到新的狀態(tài)概率密度函數(shù)；
6)迭代結(jié)束，輸出對當(dāng)前狀態(tài)的估計
全文摘要
一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法，其特征在于包括如下步驟(1)檢測車輛運動區(qū)域包括對高速公路監(jiān)控車道區(qū)域進行自適應(yīng)估計和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域；(2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進行預(yù)測，觀測模型采用顏色直方圖特征和局部積分方向描述子(LlOD，Local Integral OrientationDescriptor)特征融合建模，采用閾值方法判斷車輛進、出監(jiān)控區(qū)域(3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進行魯棒跟蹤。本發(fā)明為高速公路監(jiān)控場景下多車輛視頻跟蹤提供了較為完整的技術(shù)方案，能夠?qū)崿F(xiàn)對車輛的魯棒跟蹤。
文檔編號G08G1/01GK101800890SQ201010144098
公開日2010年8月11日 申請日期2010年4月8日 優(yōu)先權(quán)日2010年4月8日
發(fā)明者魏奇, 李超, 聞佳, 熊璋 申請人:北京航空航天大學(xué)