專利名稱：一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻多目標(biāo)跟蹤技術(shù)領(lǐng)域，涉及一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法。

背景技術(shù)：
在多運(yùn)動目標(biāo)的視頻監(jiān)控中，需要根據(jù)檢測結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)來匹配、識別出連續(xù)幀間的不同運(yùn)動目標(biāo)，從而實現(xiàn)多目標(biāo)的跟蹤。視頻監(jiān)控中往往需要對較大范圍的場景進(jìn)行監(jiān)控，常出現(xiàn)運(yùn)動目標(biāo)外觀特征相似或目標(biāo)區(qū)域較小的情況，此時數(shù)據(jù)關(guān)聯(lián)僅能依靠目標(biāo)的運(yùn)動特征完成，而傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)方法應(yīng)用于視頻多目標(biāo)跟蹤還存在很多問題。
目前解決多運(yùn)動目標(biāo)的數(shù)據(jù)關(guān)聯(lián)問題，主要的方法有1)根據(jù)最近鄰方法，計算落入跟蹤門限內(nèi)的量測，判定目標(biāo)的運(yùn)動情況，并根據(jù)有效量測直接估計、更新當(dāng)前運(yùn)動狀態(tài)，這種方法計算量小，但在目標(biāo)數(shù)目較多、運(yùn)動情況復(fù)雜時，抗干擾能力差，容易產(chǎn)生錯誤關(guān)聯(lián)；2)雜波環(huán)境下多目標(biāo)數(shù)據(jù)關(guān)聯(lián)方法如聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(JointProbability Data Assocaition，JPDA)、多假設(shè)跟蹤(Multiple Hypothesis Tracking，MHT)，目前多用于紅外、雷達(dá)小目標(biāo)或機(jī)動目標(biāo)跟蹤系統(tǒng)，雖然和視頻監(jiān)控跟蹤有相似性，但須滿足一對一關(guān)聯(lián)的約束，而在視頻監(jiān)控跟蹤系統(tǒng)中，多運(yùn)動目標(biāo)常發(fā)生新出現(xiàn)、消失、遮擋、分離等復(fù)雜運(yùn)動情況，即出現(xiàn)一對多或多對一的關(guān)聯(lián)情況，因此需進(jìn)一步研究這些經(jīng)典的多目標(biāo)數(shù)據(jù)關(guān)聯(lián)方法如何應(yīng)用于視頻多目標(biāo)跟蹤；3)采用優(yōu)化算法分析當(dāng)前幀檢測區(qū)域與跟蹤目標(biāo)的最優(yōu)關(guān)聯(lián)，如采用的圖優(yōu)化、賦權(quán)二分圖等方法，但此類方法通常需要獲取遮擋或分離區(qū)域外觀特征進(jìn)行匹配優(yōu)化計算，在目標(biāo)區(qū)域小、外觀信息少的情況下，難以得到目標(biāo)外觀特征，從而使得關(guān)聯(lián)準(zhǔn)確性低。


發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法，能提高跟蹤的有效性、可靠性和實時性。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的 一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法，其特征在于，包括以下步驟 步驟1根據(jù)當(dāng)前幀圖像的檢測結(jié)果產(chǎn)生確認(rèn)矩陣； 步驟2采用簡化的murty算法獲得確認(rèn)矩陣對應(yīng)的聯(lián)合事件及參數(shù)； 步驟3計算k時刻所有量測的聯(lián)合事件的條件概率；k的取值從跟蹤開始時刻計算； 步驟4計算量測與目標(biāo)t的關(guān)聯(lián)概率βkj，t，βk0，t；用于評估量測與目標(biāo)關(guān)聯(lián)的可能性大??；βkj，t為k時刻有效量測j和目標(biāo)t的關(guān)聯(lián)概率，βk0，t為k時刻虛量測和目標(biāo)t的關(guān)聯(lián)概率； 步驟5通過Kalman濾波器，得到目標(biāo)的狀態(tài)估計及協(xié)方差陣根據(jù)步驟4計算的關(guān)聯(lián)概率，分析目標(biāo)的運(yùn)動狀態(tài)及與上一幀目標(biāo)的關(guān)聯(lián)情況，包括五種情況正常、新出現(xiàn)、消失、遮擋、分離，并根據(jù)上述五種情況得到目標(biāo)的狀態(tài)估計值，即獲得目標(biāo)在當(dāng)前幀x、y方向的位置和速度，完成視頻多目標(biāo)跟蹤；協(xié)方差陣是目標(biāo)的估計狀態(tài)和真實狀態(tài)的偏差，表征跟蹤的精確性； 步驟5完成后返回到步驟1對下一幀圖像進(jìn)行跟蹤； 所述步驟1的確認(rèn)矩陣為Ω；表示當(dāng)前幀有效量測與目標(biāo)跟蹤門間的關(guān)系，定義為 式中，t表示目標(biāo)，j表示量測，ωjt表示目標(biāo)t與量測j的關(guān)系；N表示跟蹤目標(biāo)的個數(shù)，m表示量測的個數(shù)，確認(rèn)矩陣Ω的行表示當(dāng)前幀量測，列表示跟蹤目標(biāo)，其中表示當(dāng)前幀量測j落入跟蹤目標(biāo)t的跟蹤門內(nèi)；表示量測j沒有落入目標(biāo)t的跟蹤門內(nèi)，并令t＝0表示虛警；對應(yīng)Ω第一列的所有元素為1，用于表示當(dāng)前幀任一量測都有可能源于當(dāng)前檢測錯誤產(chǎn)生的虛警； 所述步驟2的具體步驟為 包括如下步驟 步驟a根據(jù)確認(rèn)矩陣，構(gòu)建目標(biāo)、量測的賦權(quán)二分圖，得到待匹配矩陣 步驟b應(yīng)用匈牙利算法求待匹配矩陣對應(yīng)的賦權(quán)二分圖中目標(biāo)、量測的最優(yōu)匹配，并得到匹配結(jié)果矩陣； 步驟c如未在步驟a的待匹配矩陣中增加虛目標(biāo)或虛量測，則轉(zhuǎn)步驟d；如增加了，則在匹配結(jié)果矩陣中刪去，得到確認(rèn)矩陣的一個最優(yōu)匹配關(guān)系，即獲得確認(rèn)矩陣的一個可行矩陣；進(jìn)入下步驟d； 步驟d將當(dāng)前步驟a中求得的待匹配矩陣減去當(dāng)前的匹配結(jié)果矩陣，得到新的需優(yōu)化的待匹配矩陣； 重復(fù)執(zhí)行步驟b到步驟d K次，得到對應(yīng)于確認(rèn)矩陣Ω的K個最優(yōu)可行矩陣，即得到確認(rèn)矩陣對應(yīng)的聯(lián)合事件； 再得到對應(yīng)的聯(lián)合事件θk，i中的參數(shù)假量測數(shù)Φ(θk，i)、量測關(guān)聯(lián)指示器τj(θk，i)及目標(biāo)檢測指示器δt(θk，i)； 量測關(guān)聯(lián)指示器，其中tj是聯(lián)合事件θk，i對應(yīng)的可行矩陣

中與量測j關(guān)聯(lián)的目標(biāo)的取值，即τj(θk，i)表明量測j是否和一個真實目標(biāo)關(guān)聯(lián)； 目標(biāo)檢測指示器

，其中N表示目標(biāo)數(shù)；則δt(θk，i)表示在聯(lián)合事件θk，i對應(yīng)的可行矩陣

中目標(biāo)t是否被檢測到； 假量測數(shù)Φ(θk，i)表示聯(lián)合事件θk，i對應(yīng)的可行矩陣

中假量測的數(shù)目，根據(jù)量測關(guān)聯(lián)指示器得到 所述步驟3中，k時刻所有量測的聯(lián)合事件的條件概率為 其中，c為歸一化常數(shù)，V表示跟蹤門體積，Λk，j表示濾波殘差似然函數(shù)，PDt表示目標(biāo)t的檢測概率； 檢測概率PDt為常數(shù)， 濾波殘差似然函數(shù)為 其中

代表目標(biāo)tj的預(yù)測位置

是Kalman濾波器中一步預(yù)測狀態(tài)向量

是狀態(tài)向量x在k-1時刻的估計值，與k時刻的狀態(tài)向量估計值

的計算相同，

代表相應(yīng)于目標(biāo)tj的殘差協(xié)方差矩陣，zk，j表示k時刻第j個量測，從當(dāng)前幀(k時刻)的檢測結(jié)果中讀??；殘差協(xié)方差矩陣Sk定義為；各目標(biāo)的殘差協(xié)方差矩陣計算相同，即

的計算與Sk相同； Pk|k-1表示Kalman濾波器中根據(jù)k-1時刻的協(xié)方差陣預(yù)測得到k時刻的預(yù)測協(xié)方差陣 Pk|k-1＝APk-1|k-1AT+Qk-1；初始值 其中矩陣Qk-1表示k-1時刻的值，與k時刻的值計算相同，k時刻的值為，Gk也為k時刻的值，定義為Q′為常數(shù)，取 Pk-1|k-1是k-1時刻的狀態(tài)估計協(xié)方差陣； 跟蹤門體積V

其中β為常數(shù)，β＝9.5； 所述步驟4的βkj，t，βk0，t計算公式如下 nk表示k時刻聯(lián)合事件的個數(shù)，即可行矩陣的個數(shù)，mk表示有效量測的個數(shù)； 所述步驟5的具體步驟為 由步驟4中計算的關(guān)聯(lián)概率得到k時刻目標(biāo)t狀態(tài)估計 Kkt為目標(biāo)t在k時刻的Kalman濾波增益矩陣，Pk|k-1t表示目標(biāo)t的一步預(yù)測協(xié)方差矩陣，各目標(biāo)的預(yù)測協(xié)方差矩陣計算相同，即Pk|k-1t與前文中的Pk|k-1的計算相同；R是常數(shù)，取為R＝
；

表示目標(biāo)t在上一幀的狀態(tài)估計；初始值其中


分別表示目標(biāo)初始位置的x方向、y方向的值； 以下分別針對五種情況說明 1)正常無須修正； 2)新出現(xiàn)新目標(biāo)的初始狀態(tài)估計為px、py分別表示當(dāng)前幀檢測結(jié)果中目標(biāo)位置在x方向、y方向的值，所述的當(dāng)前幀即k時刻對應(yīng)幀； 3)消失終止該目標(biāo)的跟蹤； 4)遮擋遮擋目標(biāo)t1、t2狀態(tài)估計值

和

修正為 5)分離表示一個目標(biāo)分成2個或多個，無須修正狀態(tài)估計值；根據(jù)目標(biāo)t的狀態(tài)估計，計算狀態(tài)估計協(xié)方差陣Pk|kt，以進(jìn)行下一幀跟蹤 Pk|k-1t表示目標(biāo)t的預(yù)測協(xié)方差陣，計算方法同前述的Pk|k-1的計算方法；式中Kkt、Skt分別為目標(biāo)t在k時刻的Kalman濾波增益矩陣、殘差協(xié)方差矩陣。
當(dāng)沒有任何量測源于目標(biāo)t時，計算對于沒有任何量測源于目標(biāo)t的狀態(tài)估計協(xié)方差陣為 有益效果 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)越性體現(xiàn)在 1、僅利用目標(biāo)的運(yùn)動特征，通過改進(jìn)的聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(JPDA)算法實現(xiàn)監(jiān)控視頻中多運(yùn)動目標(biāo)的快速跟蹤； 2、為避免傳統(tǒng)JPDA算法在目標(biāo)、量測較多時的關(guān)聯(lián)匹配呈指數(shù)增加，提出一種簡化的murty算法中文穆爾蒂，快速計算JPDA算法中確認(rèn)矩陣對應(yīng)的最優(yōu)K個聯(lián)合事件，能大大降低計算復(fù)雜度，顯著提高跟蹤算法的實時性； 3、傳統(tǒng)JPDA算法產(chǎn)生可行事件需滿足量測、目標(biāo)“一對一”的關(guān)聯(lián)約束，并由此計算關(guān)聯(lián)概率、得到目標(biāo)的狀態(tài)估計。而在視頻監(jiān)控中，多目標(biāo)存在新出現(xiàn)、消失、遮擋、分離等運(yùn)動情況，量測和目標(biāo)的關(guān)聯(lián)情況復(fù)雜，因此，必須對傳統(tǒng)JPDA算法中計算目標(biāo)狀態(tài)估計值進(jìn)行改進(jìn)、修正。本發(fā)明提出根據(jù)JPDA算法中的關(guān)聯(lián)概率判定目標(biāo)的運(yùn)動情況，分析在目標(biāo)正常、新出現(xiàn)、消失、遮擋、分離(前景檢測不準(zhǔn)確造成目標(biāo)碎片)等復(fù)雜情況下當(dāng)前幀量測與跟蹤目標(biāo)的數(shù)據(jù)關(guān)聯(lián)問題，并據(jù)此推導(dǎo)目標(biāo)狀態(tài)估計，實現(xiàn)復(fù)雜運(yùn)動情況下視頻多目標(biāo)的跟蹤，能大大提高跟蹤的有效性、可靠性。



圖1為本發(fā)明的總體流程圖； 圖2為第k幀量測與目標(biāo)跟蹤門的關(guān)系示意圖； 圖3為圖1對應(yīng)的賦權(quán)二分圖； 圖4為圖3增加一虛量測的示意圖； 圖5為目標(biāo)的運(yùn)動情況示意圖，a)新出現(xiàn)，b)遮擋，c)分離 圖6為不同方法在監(jiān)控視頻中的跟蹤誤差曲線。a)監(jiān)控場景；b)傳統(tǒng)JPDA算法的跟蹤誤差曲線；d)本發(fā)明的方法的跟蹤誤差曲線說明由于本發(fā)明主要針對傳統(tǒng)JPDA算法進(jìn)行了改進(jìn)，因此，改為誤差與傳統(tǒng)JPDA對比即可。

具體實施例方式 實施例1 本發(fā)明提出的視頻多目標(biāo)跟蹤方法的基本思想是首先，采用文獻(xiàn)中文題目采用自適應(yīng)核密度估計的基于運(yùn)動的背景減除法，作者M(jìn)ittal.A，Paragios.N.英文題目Motion-Based Background Subtraction using Adaptive Kernel Density Estimation，發(fā)表刊物InProceeding of IEEE Conference on Computer Vision and Pattern Recognition，Washington DC，USAIEEE Pres，2004，302～309提出的背景檢測方法背景減除法是一種常用的已知算法檢測當(dāng)前幀的目標(biāo)，并將檢測出的目標(biāo)用其外接矩形框表示。由于在監(jiān)控范圍較大、目標(biāo)外觀特征少的情況下，僅能利用目標(biāo)運(yùn)動特征進(jìn)行跟蹤。本發(fā)明中，將視頻中所有目標(biāo)的運(yùn)動特性認(rèn)為是服從某種運(yùn)動模型，在建立運(yùn)動模型后，只須在連續(xù)幀中通過運(yùn)動模型匹配(也稱數(shù)據(jù)關(guān)聯(lián))計算出各個目標(biāo)的運(yùn)動向量值，即可完成視頻多目標(biāo)的跟蹤。
選取目標(biāo)外接矩形框中心點的運(yùn)動特征建立運(yùn)動模型，用于代表目標(biāo)的運(yùn)動特征，具體方式如下 視頻監(jiān)控中，可認(rèn)為目標(biāo)運(yùn)動過程和觀測過程都是線性的，因此我們只針對線性情況分析目標(biāo)運(yùn)動特性，建立目標(biāo)運(yùn)動模型，線性運(yùn)動的狀態(tài)方程和測量方程為 xk＝Axk-1+wk (1) zk＝Cxk+vk(2) 公式(1)和(2)為針對所有的目標(biāo)的運(yùn)動模型。
式(1)中，w為系統(tǒng)噪聲反映線性系統(tǒng)模型的精確程度，具有均值為零的高斯分布，其協(xié)方差矩陣為Q，k時刻的值取為，Gk也為k時刻的值，定義為Q′為常數(shù)，取 v為觀測噪聲，是均值為零的白噪聲序列，和w互不相關(guān)，其協(xié)方差矩陣為R，是常數(shù)，根據(jù)某像素點在視頻中的方差確定，實驗視頻中取為R＝
。
同時，定義狀態(tài)向量xk＝[px，vx，py，vy]T和觀測向量zk＝[px，py]T，其中px、vx、py、vy分別表示第k幀目標(biāo)外接矩形框中心點x方向坐標(biāo)值、速度值及y方向坐標(biāo)值、速度值。
由于在視頻中，通常相鄰幀間時間間隔Δt很小，目標(biāo)運(yùn)動可近似認(rèn)為是勻速運(yùn)動，則根據(jù)勻速運(yùn)動動力學(xué)方程得到式(1)中的狀態(tài)轉(zhuǎn)移矩陣A及式(2)中的觀測矩陣C A、C為常量。建立如上所述的運(yùn)動模型后，再通過匹配各個目標(biāo)在上一幀和當(dāng)前幀的運(yùn)動模型，計算出當(dāng)前幀中各目標(biāo)的狀態(tài)向量xk，則可根據(jù)狀態(tài)向量中的px、py分量，得到該目標(biāo)外接矩形框中心點在當(dāng)前幀的位置，從而通過連續(xù)幀運(yùn)動狀態(tài)的關(guān)聯(lián)性，即匹配程度完成多個目標(biāo)在視頻中的跟蹤，并獲得各個目標(biāo)的運(yùn)動軌跡。
因此，在建立目標(biāo)運(yùn)動模型后，需要匹配幀間不同目標(biāo)的運(yùn)動特征來完成跟蹤，這是數(shù)據(jù)關(guān)聯(lián)問題。本發(fā)明提出基于改進(jìn)的聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法跟蹤視頻多目標(biāo)，包括5個步驟，具體如下 1、產(chǎn)生確認(rèn)矩陣一本步驟中需確認(rèn)當(dāng)前幀的檢測結(jié)果中哪些是對應(yīng)目標(biāo)的，即確定哪些檢測信息是有效的。
由于當(dāng)前幀檢測到的可能包括目標(biāo)、干擾(如光線變化、樹葉晃動等背景中的動態(tài)變化)，則本步驟中需確認(rèn)當(dāng)前幀的檢測結(jié)果中哪些是對應(yīng)目標(biāo)的，即確定哪些檢測信息是有效的。
當(dāng)前幀的檢測信息，在數(shù)據(jù)關(guān)聯(lián)問題中，即為量測，通過目標(biāo)檢測，則可得到目標(biāo)的量測，用觀測向量表示zk＝[px，py]T；同時上一幀目標(biāo)的跟蹤結(jié)果，提供了目標(biāo)的運(yùn)動狀態(tài)向量xk＝[px，vx，py，vy]T。本步驟中根據(jù)上一幀目標(biāo)的狀態(tài)估計得到跟蹤門，用于判定當(dāng)前幀的有效量測，并用確認(rèn)矩陣表示當(dāng)前幀的有效量測和多目標(biāo)跟蹤門之間的關(guān)系。
設(shè)跟蹤門限為tg，如目標(biāo)跟蹤門dk2(濾波殘差向量)的范數(shù)小于跟蹤門限，則判定當(dāng)前幀的某量測有效 式中

Sk分別是Kalman濾波器即卡爾曼濾波器得到的濾波殘差向量、殘差協(xié)方差矩陣。

Sk是Kalman濾波器常用的量。
具體如下濾波殘差向量

定義為當(dāng)前幀對應(yīng)的量測zk與預(yù)測觀測量

之差 C為式(3)定義的觀測矩陣，

是Kalman濾波器中一步預(yù)測狀態(tài)向量

是狀態(tài)向量x在k-1時刻的估計值，與k時刻的狀態(tài)向量估計值

的計算相同，見第5點關(guān)于狀態(tài)估計的計算。
殘差協(xié)方差矩陣Sk定義為Pk|k-1為Kalman濾波器中的一步預(yù)測協(xié)方差矩陣(即根據(jù)前一時刻(k-1時刻)的協(xié)方差矩陣預(yù)測得到當(dāng)前時刻(k時刻)的預(yù)測協(xié)方差矩陣) Pk|k-1＝APk-1|k-1AT+Qk-1 (8) 初始值 Pk-1|k-1是k-1時刻的狀態(tài)估計協(xié)方差陣，與k時刻的狀態(tài)估計協(xié)方差陣Pk|k的計算相同，見式(23)、(24)。
則確認(rèn)矩陣Ω表示當(dāng)前幀有效量測與目標(biāo)跟蹤門間的關(guān)系，定義為 式中，t表示目標(biāo)，j表示量測，ωjt表示目標(biāo)t與量測j的關(guān)系。確認(rèn)矩陣Ω的行表示當(dāng)前幀量測，列表示跟蹤目標(biāo)，其中表示當(dāng)前幀量測j落入跟蹤目標(biāo)t的跟蹤門內(nèi)；表示量測j沒有落入目標(biāo)t的跟蹤門內(nèi)，并令t＝0表示虛警(量測對應(yīng)的是干擾而不是目標(biāo)，即誤把干擾當(dāng)目標(biāo))，對應(yīng)Ω第一列的所有元素為1，用于表示當(dāng)前幀任一量測都有可能源于當(dāng)前檢測錯誤產(chǎn)生的虛警， 如圖2，當(dāng)前幀兩個有效量測z1、z2與兩個目標(biāo)t1、t2的跟蹤門及虛警t0形成確認(rèn)矩陣Ω
下文中的量測均指有效量測。
2、產(chǎn)生所有聯(lián)合(可行)事件及其參數(shù)分析得到所有量測與各目標(biāo)的所有可能的匹配情況，建立一一對應(yīng)關(guān)系。這些參數(shù)用于后續(xù)步驟計算關(guān)聯(lián)概率。
多目標(biāo)的數(shù)據(jù)關(guān)聯(lián)的難點在于量測可能在不同目標(biāo)的跟蹤門內(nèi)，即該量測可能源自多個目標(biāo)。為了分析量測與目標(biāo)匹配的各種可能，可通過步驟1產(chǎn)生的確認(rèn)矩陣，分析得到所有量測與各目標(biāo)的所有可能的匹配情況，用聯(lián)合事件表示所有量測與各目標(biāo)匹配的一種可能，并可根據(jù)匹配情況得到聯(lián)合事件的參數(shù)。由于當(dāng)目標(biāo)、量測數(shù)目較多時，計算確認(rèn)矩陣對應(yīng)的所有聯(lián)合事件會產(chǎn)生“組合爆炸”問題，因此本步驟中采用簡化的murty算法計算確認(rèn)矩陣對應(yīng)的K個最優(yōu)聯(lián)合事件。具體內(nèi)容如下 由k時刻的確認(rèn)矩陣Ω分析得到所有聯(lián)合事件nk表示集合θk中元素的個數(shù)，其中第i個聯(lián)合事件為表示當(dāng)前幀mk個量測與各個目標(biāo)匹配的一種可能。而表示第j個量測與目標(biāo)t關(guān)聯(lián)的事件為θkj，t，稱為關(guān)聯(lián)事件。中∩符號表示“所有”，本公式代表一個集合
依據(jù)產(chǎn)生聯(lián)合事件的兩個基本假設(shè)每個量測有唯一的源；對應(yīng)一個給定目標(biāo)，最多有一個量測以其為源，對確認(rèn)矩陣Ω拆分，得到與聯(lián)合事件對應(yīng)的可行矩陣 其中

描述在第i個聯(lián)合事件中，量測j是否源于目標(biāo)t。可見，計算聯(lián)合事件θk，i，只需得到其對應(yīng)的可行矩陣
本發(fā)明提出一種簡化的murty算法穆爾蒂算法，快速計算確認(rèn)矩陣產(chǎn)生最優(yōu)K個的可行矩陣，(murty算法的基本思想是將給定的一個問題及解，劃分為幾個將解空間對應(yīng)劃分的子問題，通過找出子問題的解來獲取原問題的解。因此，對應(yīng)于獲取確認(rèn)矩陣Ω的最佳K個匹配關(guān)系，即是先構(gòu)造一個包含所有可能匹配的集合，每次找到一個最優(yōu)匹配，并在匹配集合中刪除這個最優(yōu)匹配，再從剩下的匹配集合中求一個最優(yōu)匹配，如此循環(huán)K次，即得到確認(rèn)矩陣Ω中最佳K個匹配關(guān)系。可見，如何求取每個匹配集合中的最優(yōu)匹配是問題的關(guān)鍵。)包括如下步驟 (1)根據(jù)確認(rèn)矩陣，構(gòu)建目標(biāo)、量測的賦權(quán)二分圖，得到待匹配矩陣 賦權(quán)二分圖的左邊節(jié)點表示跟蹤目標(biāo)，右邊節(jié)點表示當(dāng)前幀量測，t0表示虛警，連接目標(biāo)和量測的線段表示一個可能的分配，線段的權(quán)值為線段兩端目標(biāo)、量測在確認(rèn)矩陣中所在行、列的對應(yīng)元素； 再將確認(rèn)矩陣轉(zhuǎn)化為代匹配矩陣如目標(biāo)、量測數(shù)一致，則直接將確認(rèn)矩陣作為代匹配矩陣；如目標(biāo)、量測數(shù)不一致，則對確認(rèn)矩陣增加虛目標(biāo)或虛量測，構(gòu)成待匹配矩陣。
例如 如圖2對應(yīng)的確認(rèn)矩陣(式(10))可用如下的賦權(quán)二分圖描述 圖中，實線對應(yīng)權(quán)值為1，虛線對應(yīng)權(quán)值為0。采用解決線性分配問題的匈牙利算法可得到賦權(quán)二分圖中t、z的最優(yōu)匹配。
由于匈牙利算法要求賦權(quán)二分圖的左、右節(jié)點數(shù)相同，因此如跟蹤目標(biāo)數(shù)(包括虛警)、量測數(shù)不一致時，采用增加虛目標(biāo)或虛量測的方式，使左、右節(jié)點一致，如在圖3中，量測少于跟蹤目標(biāo)數(shù)，則增加一個虛量測，虛量測與各目標(biāo)間的權(quán)值為0，得到圖4所示的賦權(quán)二分圖 得到與圖4對應(yīng)的待匹配的矩陣

(2)匈牙利算法求待匹配矩陣對應(yīng)的賦權(quán)二分圖中目標(biāo)、量測的最優(yōu)匹配，并得到匹配結(jié)果矩陣 ①基本概念 二分圖表示為G＝(V，E)，其中V表示頂點集，E表示邊集。若二分圖G的頂點集V可以分為兩個不相交的子集X、Y，且每個子集內(nèi)部頂點間不存在邊，而邊只存在于兩個子集的頂點之間，則稱該圖為二分圖。
a)匹配設(shè)M是二分圖G的邊集合中的一個子集，如果M中任意兩條邊在G中均不鄰接，則稱M是G的一個匹配。M中的一條邊的兩個端點叫做在M是配對的。
b)飽和與非飽和若匹配M的某條邊與頂點v關(guān)聯(lián)，則稱M飽和頂點v，并且稱v是M-飽和的，否則稱v是M-不飽和的。
c)交互道若M是二分圖G＝(V，E)的一個匹配。設(shè)從圖G中的一個頂點到另一個頂點存在一條道路，這條道路是由屬于M的邊和不屬于M的邊交替出現(xiàn)組成的，則稱這條道路為交互道。
d)可增廣道路若一交互道的兩端點為關(guān)于M非飽和頂點時，則稱這條交互道是可增廣道路。若一條邊的兩端點非飽和，則這條邊也是可增廣道路。
②匈牙利算法的基本步驟 根據(jù)Hall定理得出的匈牙利算法是求二分圖最大匹配的一種算法，主要步驟如下 a)任給初始匹配。
b)若X已飽和則結(jié)束，否則轉(zhuǎn)c)。
c)在X中找一非飽和點x0，作V1←{x0}(點集V1初始只取x0點)；

(V2為空集，

表示空集)。
d)若Г(V1)＝V2(和V1鄰接的點集為Г(V1))則因無法匹配而停止；否則任選一點y∈Г(V1)\V這個公式表示從點集Г(V1)中去掉V2中的點。e)若y已飽和轉(zhuǎn)f)，否則求一條從x0→y的可增廣道路P，M←M⊕E(P)，轉(zhuǎn)b)。(⊕表示對稱差設(shè)A、B是兩個集合，則定義運(yùn)算規(guī)則0⊕0＝1⊕1＝0，1⊕0＝0⊕1＝1；E(P)表示可增廣道路P的邊集合)f)由于y已飽和，故M中有一條邊(y，z)作V1←V1∪{z}，V2←V2∪{y}該公式表示點集運(yùn)算，點集V1新增加邊(y，z)中的點z；點集V2新增加邊(y，z)中的點y，轉(zhuǎn)d)。
再將匈牙利算法求得的賦權(quán)二分圖最優(yōu)匹配，轉(zhuǎn)化為匹配結(jié)果矩陣賦權(quán)二分圖中匹配的目標(biāo)、量測，在匹配結(jié)果矩陣中對應(yīng)元素為1，否則為0。
例如 如對圖4所示的賦權(quán)二分圖，按以上匈牙利算法的基本步驟求得最優(yōu)匹配結(jié)果t1與z1匹配、t2與z2匹配，轉(zhuǎn)化為匹配結(jié)果矩陣
(3)如未在步驟(1)的待匹配矩陣中增加虛目標(biāo)或虛量測，則轉(zhuǎn)步驟(4)；如增加了，則在匹配結(jié)果矩陣中刪去，得到確認(rèn)矩陣的一個最優(yōu)匹配關(guān)系，即獲得確認(rèn)矩陣的一個可行矩陣。
例如對式(13)刪去增加的虛量測所在的行 即得到確認(rèn)矩陣(式(10))的一個可行矩陣。
(4)將當(dāng)前步驟(1)中求得的待匹配矩陣減去當(dāng)前匹配結(jié)果矩陣，得到新的需優(yōu)化的待匹配矩陣 例如，步驟(1)中求得的待匹配矩陣

(式(12))減去當(dāng)前匹配結(jié)果矩陣

(式(13)) 即得到新的待匹配矩陣為 (5)重復(fù)執(zhí)行步驟(2)——(4)K次，即可找到對應(yīng)于確認(rèn)矩陣Ω的K個最優(yōu)可行矩陣，也就得到確認(rèn)矩陣對應(yīng)的聯(lián)合事件。
聯(lián)合事件的數(shù)目K取值越大，計算結(jié)果越接近真實值，但是計算復(fù)雜度也會增加，實際應(yīng)用中，K值可根據(jù)系統(tǒng)計算能力和需達(dá)到的實時性高低共同確定。本發(fā)明中，K取動態(tài)值，設(shè)定為當(dāng)前幀跟蹤目標(biāo)數(shù)和量測數(shù)之和。
最后根據(jù)求得的可行矩陣，得到對應(yīng)的聯(lián)合事件θk，i中的參數(shù)假量測數(shù)Φ(θk，i)、量測關(guān)聯(lián)指示器τj(θk，i)及目標(biāo)檢測指示器δt(θk，i)。
量測關(guān)聯(lián)指示器其中tj是聯(lián)合事件θk，i對應(yīng)的可行矩陣

中與量測j關(guān)聯(lián)的目標(biāo)的取值，即τj(θk，i)表明量測j是否和一個真實目標(biāo)關(guān)聯(lián)； 目標(biāo)檢測指示器

其中N表示目標(biāo)數(shù)；則δt(θk，i)表示在聯(lián)合事件θk，i對應(yīng)的可行矩陣

中目標(biāo)t是否被檢測到； 假量測數(shù)Φ(θk，i)表示聯(lián)合事件θk，i對應(yīng)的可行矩陣

中假量測的數(shù)目，根據(jù)量測關(guān)聯(lián)指示器得到 如式(14)對應(yīng)聯(lián)合事件θk，1的可行矩陣
可知量測關(guān)聯(lián)的目標(biāo)取值tj為0或1，對量測z1來說，所在行的第2列取值為1，則量測z1與真實目標(biāo)t1關(guān)聯(lián)，即量測關(guān)聯(lián)指示器τj(θk，1)＝1(量測j＝z1)； 對目標(biāo)t1來說，其所在列對應(yīng)兩個量測z1、z2中存在量測z1，使得目標(biāo)t1對應(yīng)取值1，即表明目標(biāo)t1被檢測到，則目標(biāo)檢測指示器(量測j＝z1、z2，量測數(shù)mk＝2) 假量測數(shù)Φ(θk，1)表示可行矩陣

中不與任何真實目標(biāo)關(guān)聯(lián)的量測數(shù)目，由于量測z1與真實目標(biāo)t1關(guān)聯(lián)、量測z2與真實目標(biāo)t2關(guān)聯(lián)，因此假量測數(shù)Φ(θk，1)＝0。
3、應(yīng)用Bayes法則，計算k時刻所有量測的聯(lián)合事件的條件概率 其中，c為歸一化常數(shù)，V表示跟蹤門體積，Λk，j表示濾波殘差似然函數(shù)，PDt表示目標(biāo)t的檢測概率。
具體說明如下 檢測概率PDt為常數(shù)，實驗視頻中設(shè)為 濾波殘差似然函數(shù) 其中

代表目標(biāo)tj的預(yù)測位置

代表相應(yīng)于目標(biāo)tj的殘差協(xié)方差矩陣。
跟蹤門體積V

其中β為常數(shù)，實驗視頻中取β＝9.5。
4、計算量測與目標(biāo)t的關(guān)聯(lián)概率βkj，t，βk0，tβkj，t有效量測j和所有目標(biāo)的關(guān)聯(lián)概率，βk0，t為虛量測和所有目標(biāo)的關(guān)聯(lián)概率，用于評估量測與目標(biāo)關(guān)聯(lián)的可能性大小 5、通過Kalman濾波器，得到目標(biāo)狀態(tài)估計及協(xié)方差陣根據(jù)狀態(tài)估計獲得目標(biāo)在當(dāng)前幀xy方向的位置和速度。協(xié)方差陣是估計和真實目標(biāo)狀態(tài)的偏差，表征跟蹤的精確性。計算得到目標(biāo)狀態(tài)估計向量

獲得目標(biāo)中心點的位置、速度，即完成當(dāng)前幀目標(biāo)跟蹤。由步驟4中計算的關(guān)聯(lián)概率得到k時刻目標(biāo)t狀態(tài)估計 Kkt為目標(biāo)t在k時刻的Kalman濾波增益矩陣，Pk|k-1t表示目標(biāo)t的一步預(yù)測協(xié)方差矩陣，各目標(biāo)的預(yù)測協(xié)方差矩陣計算相同，即Pk|k-1t與前文中的Pk|k-1的計算相同；

表示目標(biāo)t在上一幀的狀態(tài)估計，初始值其中

分別表示目標(biāo)初始位置的x方向、y方向的值。
在視頻監(jiān)控中，多目標(biāo)存在新出現(xiàn)、消失、遮擋、分離等運(yùn)動情況，量測和目標(biāo)的關(guān)聯(lián)情況復(fù)雜，因此，必須對式(21)得到的狀態(tài)估計進(jìn)行修正，才能得到準(zhǔn)確的目標(biāo)狀態(tài)估計值，從而實現(xiàn)復(fù)雜運(yùn)動情況下的視頻多目標(biāo)跟蹤。本發(fā)明提出根據(jù)步驟4式(20)計算的關(guān)聯(lián)概率，分析目標(biāo)的運(yùn)動狀態(tài)及與上一幀目標(biāo)的關(guān)聯(lián)情況，包括五種情況正常、新出現(xiàn)、消失、遮擋、分離，并根據(jù)不同情況修正式(21)的目標(biāo)狀態(tài)估計值，完成視頻多目標(biāo)跟蹤。具體內(nèi)容如下 從式(20)可見，由關(guān)聯(lián)概率構(gòu)成的關(guān)聯(lián)矩陣βk(式(22))中前mk行的關(guān)聯(lián)概率βkj，t(1≤j≤mk)反映第j個有效量測與目標(biāo)t的關(guān)聯(lián)情況，而從式(20)中可知，關(guān)聯(lián)矩陣βk中的最后一行關(guān)聯(lián)概率βk0，t是由前mk行的關(guān)聯(lián)概率βkj，t計算得到，表示沒有任何量測源于目標(biāo)t的概率。因此，選取關(guān)聯(lián)矩陣βk中前mk行的關(guān)聯(lián)概率構(gòu)成新的關(guān)聯(lián)矩陣βk′(式(22))，βk′的行表示當(dāng)前幀有效量測、列表示上一幀的跟蹤目標(biāo)。通過關(guān)聯(lián)矩陣βk′分析目標(biāo)的五種運(yùn)動情況目標(biāo)正常、新出現(xiàn)、消失、遮擋、分離，判定在各運(yùn)動情況下能否通過式(21)得到準(zhǔn)確有效的狀態(tài)估計，如存在較大誤差，則需修正狀態(tài)估計。
1)正常如圖2所示，當(dāng)目標(biāo)t跟蹤門內(nèi)有且只有一個有效量測zj，關(guān)聯(lián)概率矩陣量測zj所在行有唯一大于0的元素t時，則當(dāng)前量測zj與元素t所在列對應(yīng)的上一幀跟蹤目標(biāo)t關(guān)聯(lián)，認(rèn)為當(dāng)前幀目標(biāo)t運(yùn)動“正常”，目標(biāo)幀間狀態(tài)穩(wěn)定，近似為線性運(yùn)動，因此可采用式(21)計算目標(biāo)t的狀態(tài)估計，無須修正。
2)新出現(xiàn) 由于是當(dāng)前幀出現(xiàn)的新目標(biāo)，沒有上一幀的狀態(tài)估計值

則無法通過式(21)計算當(dāng)前幀的狀態(tài)估計值。因此需判定哪些量測是新目標(biāo)，并確定初始跟蹤狀態(tài)，判定新目標(biāo)包括兩個步驟 ①初步判定 a)如圖5a)所示，當(dāng)前幀量測zj在所有目標(biāo)的跟蹤門外，認(rèn)為zj可能代表新目標(biāo)； b)如關(guān)聯(lián)概率矩陣中量測zj所在行的元素全為0，則當(dāng)前幀量測zj與所有上一幀目標(biāo)無關(guān)聯(lián)，認(rèn)為zj可能代表新目標(biāo)； ②確認(rèn)為“新目標(biāo)” 由于新目標(biāo)可能是目標(biāo)消失一段時間重新出現(xiàn)，則該目標(biāo)不能認(rèn)為是新目標(biāo)，而應(yīng)恢復(fù)對該消失目標(biāo)的重新跟蹤。因此，將初步判定為“新出現(xiàn)”的目標(biāo)與前ks幀(實驗中設(shè)ks＝5)內(nèi)所有狀態(tài)為“消失”的目標(biāo)進(jìn)行步驟1——5關(guān)聯(lián)，如能滿足“正?！边\(yùn)動狀態(tài)的條件，則該新目標(biāo)實際為“消失”目標(biāo)重新出現(xiàn)，則更新此目標(biāo)狀態(tài)為“正?！?；如該目標(biāo)不能與任一“消失”目標(biāo)關(guān)聯(lián)，則確認(rèn)此目標(biāo)為“新出現(xiàn)”。
通過以上分析，判定出哪些量測是新目標(biāo)，新增加為跟蹤對象，并用其當(dāng)前量測zj(zj＝[px py]T)作為新出現(xiàn)目標(biāo)的初始狀態(tài)中的位置向量，速度向量設(shè)為0，即得到新目標(biāo)的初始狀態(tài)估計。修正后的結(jié)果
3)消失 當(dāng)目標(biāo)在當(dāng)前幀消失時，即使跟蹤門內(nèi)無有效量測時，但根據(jù)式(20)可得同時目標(biāo)存在上一幀的狀態(tài)估計值

因此仍可根據(jù)式(21)得到消失目標(biāo)在當(dāng)前幀的狀態(tài)估計，顯然與目標(biāo)已消失的實際運(yùn)動情況不符。因此須根據(jù)量測與目標(biāo)的關(guān)聯(lián)情況，判定目標(biāo)是否消失，以終止消失目標(biāo)的跟蹤。
如關(guān)聯(lián)概率矩陣βk′中上幀跟蹤目標(biāo)t所在列的元素全為0，則表明當(dāng)前幀無量測與上一幀目標(biāo)t關(guān)聯(lián)，目標(biāo)t在當(dāng)前幀可能消失，如連續(xù)三幀判定為消失，則確認(rèn)該目標(biāo)已消失，終止該目標(biāo)的跟蹤； 4)遮擋目標(biāo)在當(dāng)前幀發(fā)生遮擋，只能檢測為一個區(qū)域，如圖5b)所示，第k-1幀的兩個運(yùn)動目標(biāo)t1、t2在當(dāng)前幀相互遮擋，檢測為一個區(qū)域zj，無法分別得到各個目標(biāo)的量測值，即僅得到遮擋區(qū)域中心點的量測值(在圖5b)中用“+”號表示)，該量測值在遮擋目標(biāo)跟蹤門內(nèi)(如圖5b)中目標(biāo)跟蹤門與量測的關(guān)系)，由于遮擋區(qū)域的中心點量測值與各遮擋目標(biāo)實際中心點位置存在差異，僅采用該量測與各跟蹤目標(biāo)的關(guān)聯(lián)概率進(jìn)行狀態(tài)估計必然存在較大誤差。如當(dāng)量測與某一目標(biāo)關(guān)聯(lián)概率較大，而與其它目標(biāo)關(guān)聯(lián)概率非常小時，式(21)只能得到關(guān)聯(lián)概率較大的目標(biāo)狀態(tài)估計，其它遮擋目標(biāo)狀態(tài)估計近似為0。如表1所示，遮擋目標(biāo)t2與量測zj關(guān)聯(lián)概率遠(yuǎn)遠(yuǎn)大于遮擋目標(biāo)t1與量測zj的關(guān)聯(lián)概率，此時目標(biāo)t1狀態(tài)估計近似為0(即其位置、速度近似為0)，與目標(biāo)t1的真實位置、速度誤差很大，因此需判定目標(biāo)是否遮擋，并重新修正每個遮擋目標(biāo)的狀態(tài)估計。
如關(guān)聯(lián)概率矩陣βk′中量測zj所在行有多個大于0的元素(如表1所示)，則量測zj與這些元素所在列表示的上一幀跟蹤目標(biāo)關(guān)聯(lián)，即多個上一幀目標(biāo)在當(dāng)前幀發(fā)生遮擋。由于量測zj表示遮擋區(qū)域在當(dāng)前幀的位置，遮擋目標(biāo)t1、t2狀態(tài)估計中的位置向量修正為量測zj的值、速度向量修正為0，即 表1遮擋情況下量測zj所在行 5)分離一個目標(biāo)分成2個或多個由于目標(biāo)檢測結(jié)果無法做到完全準(zhǔn)確，因此可能造成檢測到的目標(biāo)不完整(即目標(biāo)碎片)，認(rèn)為目標(biāo)在當(dāng)前幀發(fā)生分離，如圖5c)，第k-1幀目標(biāo)t在當(dāng)前幀分離為兩個檢測區(qū)域z1、z2。由于采用式(21)估計目標(biāo)狀態(tài)的本質(zhì)正是根據(jù)跟蹤目標(biāo)與當(dāng)前多個量測間的關(guān)聯(lián)情況，得到目標(biāo)狀態(tài)估計，而目標(biāo)分離產(chǎn)生的多個目標(biāo)碎片恰好提供了該跟蹤目標(biāo)的多個量測(如圖5c)中目標(biāo)跟蹤門與量測的關(guān)系)，因此根據(jù)式(21)能準(zhǔn)確有效地估計跟蹤目標(biāo)在當(dāng)前幀的運(yùn)動狀態(tài)，無須修正狀態(tài)估計值。
如關(guān)聯(lián)概率矩陣βk′中上幀跟蹤目標(biāo)t所在列有多個大于0的元素，則該列表示的上一幀跟蹤目標(biāo)t與這些元素所在行對應(yīng)的多個量測關(guān)聯(lián)，表示上一幀跟蹤目標(biāo)t在當(dāng)前幀分離，如當(dāng)前幀量測z1、z2在目標(biāo)t的跟蹤門內(nèi)，并且關(guān)聯(lián)矩陣中目標(biāo)t所在的列為表2 表2分離目標(biāo)t所在列 從表2中可見，跟蹤目標(biāo)t在當(dāng)前幀分離為量測z1、z2，并且關(guān)聯(lián)概率給出了量測z1、z2與目標(biāo)t的關(guān)聯(lián)性，據(jù)此通過式(21)得到目標(biāo)t的狀態(tài)估計。
最后，根據(jù)目標(biāo)t的狀態(tài)估計，計算狀態(tài)估計協(xié)方差陣Pk|kt，以進(jìn)行下一幀跟蹤 式中Kkt、Skt分別為目標(biāo)t在k時刻的Kalman濾波增益矩陣、殘差協(xié)方差矩陣。Pk|k-1t表示目標(biāo)t的預(yù)測協(xié)方差陣，和上文的Pk|k-1計算方法一樣，初值P0|0t和上文的P0|0取值一樣。
當(dāng)沒有任何量測源于目標(biāo)t時，計算協(xié)方差陣為 本發(fā)明提出的方法在配置為奔4處理器(主頻3.00Ghz)、1GB內(nèi)存的臺式計算機(jī)、MATLAB 7.1的編程環(huán)境下對典型監(jiān)控視頻進(jìn)行實驗分析。監(jiān)控視頻使用的是PETS-ECCV 2004數(shù)據(jù)庫的視頻，選取第270幀到第503幀共233幀進(jìn)行實驗分析，圖像分辨率為384×288，監(jiān)控場景中有兩人不規(guī)則運(yùn)動，并且人體區(qū)域較小、外觀特征少。
圖6a)所示為在監(jiān)控視頻的場景，圖6b)-d)給出了不同方法在監(jiān)控視頻中的跟蹤誤差，跟蹤誤差是由目標(biāo)中心真實坐標(biāo)值與目標(biāo)狀態(tài)估計的位置值的歐式距離得到，其中圖6b)、6c)分別是采用傳統(tǒng)JPDA算法、本文算法跟蹤目標(biāo)1、2的誤差結(jié)果，可見本文方法的跟蹤誤差遠(yuǎn)遠(yuǎn)小于傳統(tǒng)JPDA算法，最大誤差值僅不到4個像素，同時表3給出了跟蹤誤差的統(tǒng)計量，可見本文算法大大提高了跟蹤精度，并且跟蹤時間達(dá)到了約11fps，能實現(xiàn)實時快速跟蹤。說明由于本發(fā)明主要針對傳統(tǒng)JPDA算法進(jìn)行了改進(jìn)，因此，改為誤差與傳統(tǒng)JPDA對比即可。
表3監(jiān)控視頻1跟蹤誤差的統(tǒng)計量及跟蹤時間

權(quán)利要求
1.一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法，其特征在于，包括以下步驟
步驟1根據(jù)當(dāng)前幀圖像的檢測結(jié)果產(chǎn)生確認(rèn)矩陣；
步驟2采用簡化的murty算法獲得確認(rèn)矩陣對應(yīng)的聯(lián)合事件及參數(shù)；
步驟3計算k時刻所有量測的聯(lián)合事件的條件概率；
步驟4計算量測與目標(biāo)t的關(guān)聯(lián)概率βkj，t，βk0，t；用于評估量測與目標(biāo)關(guān)聯(lián)的可能性大?。沪耴j，t為k時刻有效量測j和目標(biāo)t的關(guān)聯(lián)概率，βk0，t為k時刻虛量測和目標(biāo)t的關(guān)聯(lián)概率；
步驟5通過Kalman濾波器，得到目標(biāo)的狀態(tài)估計及協(xié)方差陣根據(jù)步驟4計算的關(guān)聯(lián)概率，分析目標(biāo)的運(yùn)動狀態(tài)及與上一幀目標(biāo)的關(guān)聯(lián)情況，包括五種情況正常、新出現(xiàn)、消失、遮擋、分離，并根據(jù)上述五種情況得到目標(biāo)的狀態(tài)估計值，即獲得目標(biāo)在當(dāng)前幀x、y方向的位置和速度，完成視頻多目標(biāo)跟蹤；協(xié)方差陣是目標(biāo)的估計狀態(tài)和真實狀態(tài)的偏差，表征跟蹤的精確性；
步驟5完成后返回到步驟1對下一幀圖像進(jìn)行跟蹤；
所述步驟1的確認(rèn)矩陣為Ω；表示當(dāng)前幀有效量測與目標(biāo)跟蹤門間的關(guān)系，定義為
式中，t表示目標(biāo)，j表示量測，ωjt表示目標(biāo)t與量測j的關(guān)系；N表示跟蹤目標(biāo)的個數(shù)，m表示量測的個數(shù)，確認(rèn)矩陣Ω的行表示當(dāng)前幀量測，列表示跟蹤目標(biāo)，其中ωjt＝1表示當(dāng)前幀量測j落入跟蹤目標(biāo)t的跟蹤門內(nèi)；ωjt＝0表示量測j沒有落入目標(biāo)t的跟蹤門內(nèi)，并令t＝0表示虛警；對應(yīng)Ω第一列的所有元素為1，用于表示當(dāng)前幀任一量測都有可能源于當(dāng)前檢測錯誤產(chǎn)生的虛警；
所述步驟2的具體步驟為
包括如下步驟
步驟a根據(jù)確認(rèn)矩陣，構(gòu)建目標(biāo)、量測的賦權(quán)二分圖，得到待匹配矩陣
步驟b應(yīng)用匈牙利算法求待匹配矩陣對應(yīng)的賦權(quán)二分圖中目標(biāo)、量測的最優(yōu)匹配，并得到匹配結(jié)果矩陣；
步驟c如未在步驟a的待匹配矩陣中增加虛目標(biāo)或虛量測，則轉(zhuǎn)步驟d；如增加了，則在匹配結(jié)果矩陣中刪去，得到確認(rèn)矩陣的一個最優(yōu)匹配關(guān)系，即獲得確認(rèn)矩陣的一個可行矩陣；進(jìn)入下步驟d；
步驟d將當(dāng)前步驟a中求得的待匹配矩陣減去當(dāng)前的匹配結(jié)果矩陣，得到新的需優(yōu)化的待匹配矩陣；
重復(fù)執(zhí)行步驟b到步驟d K次，得到對應(yīng)于確認(rèn)矩陣Ω的K個最優(yōu)可行矩陣，即得到確認(rèn)矩陣對應(yīng)的聯(lián)合事件；
再得到對應(yīng)的聯(lián)合事件θk，i中的參數(shù)假量測數(shù)Φ(θk，i)、量測關(guān)聯(lián)指示器τj(θk，i)及目標(biāo)檢測指示器δt(θk，i)；
量測關(guān)聯(lián)指示器其中tj是聯(lián)合事件θk，i對應(yīng)的可行矩陣
中與量測j關(guān)聯(lián)的目標(biāo)的取值，即τj(θk，i)表明量測j是否和一個真實目標(biāo)關(guān)聯(lián)；
目標(biāo)檢測指示器
其中N表示目標(biāo)數(shù)；則δt(θk，i)表示在聯(lián)合事件θk，i對應(yīng)的可行矩陣
中目標(biāo)t是否被檢測到；
假量測數(shù)Φ(θk，i)表示聯(lián)合事件θk，i對應(yīng)的可行矩陣
中假量測的數(shù)目，根據(jù)量測關(guān)聯(lián)指示器得到
所述步驟3中，k時刻所有量測的聯(lián)合事件的條件概率為
其中，c為歸一化常數(shù)，V表示跟蹤門體積，Λk，j表示濾波殘差似然函數(shù)，PDt表示目標(biāo)t的檢測概率；
檢測概率PDt為常數(shù)，
濾波殘差似然函數(shù)為
其中
代表目標(biāo)tj的預(yù)測位置
是Kalman濾波器中一步預(yù)測狀態(tài)向量
是狀態(tài)向量x在k-1時刻的估計值，與k時刻的狀態(tài)向量估計值
的計算相同，
代表相應(yīng)于目標(biāo)tj的殘差協(xié)方差矩陣，zk，j表示k時刻第j個量測，從當(dāng)前幀(k時刻)的檢測結(jié)果中讀??；殘差協(xié)方差矩陣Sk定義為各目標(biāo)的殘差協(xié)方差矩陣計算相同，即
的計算與Sk相同；
Pk|k-1表示Kalman濾波器中根據(jù)k-1時刻的協(xié)方差陣預(yù)測得到k時刻的預(yù)測協(xié)方差陣
Pk|k-1＝APk-1|k-1AT+Qk-1；初始值
其中矩陣Qk-1表示k-1時刻的值，與k時刻的值計算相同，k時刻的值為Gk也為k時刻的值，定義為Q′為常數(shù)，取
Pk-1|k-1是k-1時刻的狀態(tài)估計協(xié)方差陣；
跟蹤門體積V
其中β為常數(shù)，β＝9.5；所述步驟4的βkj，t，βk0，t計算公式如下
nk表示k時刻聯(lián)合事件的個數(shù)，即可行矩陣的個數(shù)，mk表示有效量測的個數(shù)；
所述步驟5的具體步驟為
由步驟4中計算的關(guān)聯(lián)概率得到k時刻目標(biāo)t狀態(tài)估計
Kkt為目標(biāo)t在k時刻的Kalman濾波增益矩陣，Pk|k-1t表示目標(biāo)t的一步預(yù)測協(xié)方差矩陣，各目標(biāo)的預(yù)測協(xié)方差矩陣計算相同，即Pk|k-1t與前文中的Pk|k-1的計算相同；R是常數(shù)，取為R＝
；
表示目標(biāo)t在上一幀的狀態(tài)估計；初始值其中
分別表示目標(biāo)初始位置的x方向、y方向的值；
以下分別針對五種情況說明
1)正常無須修正；
2)新出現(xiàn)新目標(biāo)的初始狀態(tài)估計為px、py分別表示當(dāng)前幀檢測結(jié)果中目標(biāo)位置在x方向、y方向的值，所述的當(dāng)前幀即k時刻對應(yīng)幀；
3)消失終止該目標(biāo)的跟蹤；
4)遮擋遮擋目標(biāo)t1、t2狀態(tài)估計值
和
修正為
5)分離表示一個目標(biāo)分成2個或多個，無須修正狀態(tài)估計值；根據(jù)目標(biāo)t的狀態(tài)估計，計算狀態(tài)估計協(xié)方差陣Pk|kt，以進(jìn)行下一幀跟蹤
Pk|k-1t表示目標(biāo)t的預(yù)測協(xié)方差陣，計算方法同前述的Pk|k-1的計算方法；式中Kkt、Dkt分別為目標(biāo)t在k時刻的Kalman濾波增益矩陣、殘差協(xié)方差矩陣。
當(dāng)沒有任何量測源于目標(biāo)t時，計算對于沒有任何量測源于目標(biāo)t的狀態(tài)估計協(xié)方差陣為
全文摘要
本發(fā)明針對監(jiān)控范圍較大、目標(biāo)外觀特征少的視頻多目標(biāo)數(shù)據(jù)關(guān)聯(lián)及跟蹤問題，僅利用目標(biāo)運(yùn)動特征，提出了一種基于改進(jìn)的聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)JPDA的復(fù)雜情況下視頻多目標(biāo)快速跟蹤方法，即一種聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的視頻多目標(biāo)快速跟蹤方法。本方法采用簡化的穆爾蒂算法求JPDA的最優(yōu)K個聯(lián)合事件，大大降低了計算復(fù)雜度；根據(jù)JPDA的關(guān)聯(lián)概率討論目標(biāo)的運(yùn)動情況，分析在多目標(biāo)新出現(xiàn)、遮擋、消失、分離等復(fù)雜情況下當(dāng)前幀量測與跟蹤目標(biāo)的數(shù)據(jù)關(guān)聯(lián)問題，獲取復(fù)雜運(yùn)動的多目標(biāo)跟蹤軌跡。本發(fā)明提出的方法能實現(xiàn)較大監(jiān)控范圍下視頻多目標(biāo)的快速跟蹤，并能大大提高跟蹤性能。
文檔編號G06T7/20GK101783020SQ201010117290
公開日2010年7月21日 申請日期2010年3月4日 優(yōu)先權(quán)日2010年3月4日
發(fā)明者王耀南, 萬琴 申請人:湖南大學(xué)