， _7]
(1)
[0038] 其中每個觀測概率密度函數(shù)由Μ個高斯分布表示，coik、yik和X ik分別表示每個高 斯分布的權(quán)重、均值和協(xié)方差。
[0039] 給定一個目標在時亥Ijt的時間動態(tài)表觀模型0*=(3^)4^^('，以及時刻&+1) 新獲得的一個檢測結(jié)果，其表觀特征為〇i+l e ，通過計算表觀特征ot+1由模型01;產(chǎn)生的可 能性P(〇t+11 0t)來進行目標與檢測結(jié)果之間的表觀匹配。由于時間動態(tài)表觀模型考慮了目 標表觀的時間變化特性，還利用該目標在t時刻以前的最近的L個表觀特征組成的子序列
來計算概率P(〇t+i 10t)，具體計算方式為p(〇t+110t)=p(〇t+1 |wt，0t) ·模型 產(chǎn)生表觀〇t+1的概率只由（t+l)時刻的隱狀態(tài)St+1決定，因此有
[0040]
(2)
[0041] 其中Φ (t)(j)=p(st+i = j |Wt，0t)是狀態(tài)預測概率，可由模型子序列Wt上運行 一次前向算法得到
是觀測概率，由式(1)給出。
[0042] 根據(jù)上述表觀匹配方法，進行已跟蹤目標與檢測結(jié)果之間的數(shù)據(jù)關(guān)聯(lián)。假設(shè)t時刻 有η個已跟蹤目標^ = {1?}^，而（t+l)時刻有m個檢測結(jié)果
由式⑶計 算一個nXm的關(guān)聯(lián)代價矩陣Ψ，
[0043]
(3.)
[0044] 其中/>(埒，碎+1)是第p個目標Xf與第q個檢測結(jié)果2|+1之間的匹配程度。該匹配程 度由三部分組成，第一部分是根據(jù)式(2)計算的表觀匹配程度，第二部分是目標與檢測結(jié)果 在圖像上的距離接近程度，第三部分是目標與檢測結(jié)果在尺度上的接近程度。其中，由上述 時間動態(tài)表觀模型給出的表觀匹配程度起了至關(guān)重要的作用，特別是場景中存在多個目標 近距離交互的情況，光靠運動和尺度信息很難獲得準確的匹配。給定關(guān)聯(lián)代價矩陣Ψ，采用 匈牙利算法(Hungarian Algorithm)尋找所有目標和檢測結(jié)果之間整體代價最小的最優(yōu)關(guān) 聯(lián)。
[0045] 根據(jù)步驟四，目標狀態(tài)與時間動態(tài)表觀模型的更新：
[0046] 對每一個已跟蹤的目標，在數(shù)據(jù)關(guān)聯(lián)之后有兩種可能的狀態(tài)：
[0047] (1)該目標并沒有獲得與之關(guān)聯(lián)的檢測結(jié)果，這種情況可能是該目標在當前時刻 發(fā)生了遮擋，或者目標檢測器出現(xiàn)了漏檢。在這種情況下，使用卡爾曼濾波器（Kalman Filter)對當前時刻的目標狀態(tài)進行預測，將預測狀態(tài)加入該目標的軌跡中，同時該目標的 時間動態(tài)表觀模型不發(fā)生更新。若一個目標在長時間內(nèi)持續(xù)沒有獲得關(guān)聯(lián)數(shù)據(jù)，則認為該 目標為從場景中消失，將其從已跟蹤目標列表中刪除。
[0048] (2)該目標由數(shù)據(jù)關(guān)聯(lián)獲得了新的觀測數(shù)據(jù)，亦即當前時刻有一個檢測結(jié)果與之 關(guān)聯(lián)。這種情況下，使用卡爾曼濾波器對目標狀態(tài)進行更新，并將與之關(guān)聯(lián)的檢測結(jié)果加入 該目標的軌跡中，同時更新該目標的時間動態(tài)表觀模型。
[0049] 時間動態(tài)表觀模型的在線更新方法具體描述如下。假設(shè)時間動態(tài)表觀模型0*在(t +1)時刻獲得了新的表觀數(shù)據(jù)〇t+1，在線更新的任務是將時間軸上的滑動窗口向（t+1)時刻 移動，獲得新的表觀子序列并以此為新的訓練樣本將當前時刻 的模型更新為0t+1。新的表觀子序列Wt+1是通過把新的表觀〇t+1加入子序列W t中，并舍棄子 序列Wt中最早的表觀特征而得到。采用了一個高效的在線期望最大化算法增量更新模型0t 的參數(shù)，詳細描述如下：
[0050] (1)計算期望(E-step)
[0051] 利用當前模型參數(shù)9t通過在子序列Wt+i上運行前向-后向算法，計算
[0052]
[0053]
[0054] 其中，Hj)表示子序列中的。時刻目標隱狀態(tài)為i而t1+1時刻目標隱狀態(tài)為j的 概率，if (i,妗表示子序列中的tl時刻目標隱狀態(tài)為i且目標表觀由高斯混合模型中的第k 個高斯分布產(chǎn)生的概率。然后可以計算如下統(tǒng)計量：
[0055]
[0056]
[0057]
[0058]
[0059] 為了考慮歷史信息，采用如下方式(從零開始)累計上述四個統(tǒng)計量：
[0060]
[0061]
[0062]
[0063] (4)
[0064] 其中η為學習率。
[0065] (2)參數(shù)估計(M-step)
[0066] 新的模型參數(shù)可根據(jù)式(4)計算的（t+1)時刻累計的統(tǒng) 計量由下式估計，
[0067]
[0068]
[0069]
[0070] (5>
[0071] 由于增量學習使用的子序列可能從任意一個隱狀態(tài)開始，初始概率分布3i(t)在跟 蹤過程中并不發(fā)生更新，始終采用均勻分布。
[0072]根據(jù)步驟五，對未發(fā)生關(guān)聯(lián)的檢測結(jié)果進行處理：
[0073] 監(jiān)控場景中感興趣目標的個數(shù)可能會隨時發(fā)生變化，因此我們根據(jù)數(shù)據(jù)關(guān)聯(lián)的結(jié) 果在每一時刻判斷是否有新目標出現(xiàn)。針對距離當前時刻最近的5幀圖像數(shù)據(jù)，收集其中未 與任何目標發(fā)生關(guān)聯(lián)的檢測結(jié)果，使用步驟四中描述的運動和形狀信息進行檢測結(jié)果之間 的匹配，并使用匈牙利算法進行數(shù)據(jù)關(guān)聯(lián)，形成若干條軌跡片段。若其中存在一條軌跡片段 長度等于5,即在5幀內(nèi)連續(xù)有檢測結(jié)果與之關(guān)聯(lián)，則認為有新目標出現(xiàn)，使用軌跡片段中包 含的信息初始化新目標的狀態(tài)。
[0074] 如步驟四中所述，每個目標的時間動態(tài)表觀模型都通過增量更新的方式在跟蹤過 程中在線學習得到，模型參數(shù)的估計精度與模型的初始化息息相關(guān)。本發(fā)明采用離線訓練 的方式，學習一個能夠粗略表示目標表觀的空間分布和時間變化特性的通用模型，記為θ〇 =，A (())，F(xiàn)(()))。其中初始狀態(tài)分布和狀態(tài)轉(zhuǎn)移概率都設(shè)定為均勻分布，觀測模型則通過 如下方式計算得到:在訓練數(shù)據(jù)上運行K-means聚類方法獲得N個類別，為每個類別中的中 層語義特征用Μ個加權(quán)高斯分布進行擬合，以此作為模型θ〇的觀測概率密度函數(shù)。跟蹤過程 中，所有新目標的時間動態(tài)表觀模型都初始化為通用模型θ〇,然后逐步通過增量更新的方 式在線學習不同目標獨有的表觀變化特征。
[0075] 以上所述的【具體實施方式】，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步 詳細說明。應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、局部改進等，均應包含在本發(fā)明 的保護范圍之內(nèi)。
【主權(quán)項】
1. 一種采用時間動態(tài)表觀模型的實時在線多目標跟蹤方法，其特征在于具體實施步驟 如下： 步驟一、對每一幀視頻圖像使用離線訓練好的目標檢測器進行目標檢測，獲得包含目 標位置和尺度信息的檢測結(jié)果； 步驟二、對步驟一中獲取的檢測結(jié)果提取邊緣特征，并使用離線訓練好的屬性檢測器 進行打分，將打分作為表示每個檢測結(jié)果的中層語義特征； 步驟三、對每個已跟蹤目標，使用在線建立的時間動態(tài)表觀模型計算該目標與檢測結(jié) 果之間的匹配程度，進行數(shù)據(jù)關(guān)聯(lián)； 步驟四、對已跟蹤目標進行狀態(tài)更新;若獲得關(guān)聯(lián)數(shù)據(jù)則使用卡爾曼濾波器對目標狀 態(tài)進行更新，并將與之關(guān)聯(lián)的檢測結(jié)果加入該目標的軌跡中，同時通過增量學習更新對應 的時間動態(tài)表觀模型;若沒有獲得關(guān)聯(lián)數(shù)據(jù)則使用卡爾曼濾波器對當前時刻的目標狀態(tài)進 行預測，將預測結(jié)果加入目標軌跡，此時不更新對應的時間動態(tài)表觀模型;若一個目標在長 時間內(nèi)持續(xù)沒有獲得關(guān)聯(lián)數(shù)據(jù)，則認為該目標為從場景中消失，將其從已跟蹤目標列表中 刪除； 步驟五、對未發(fā)生關(guān)聯(lián)的檢測結(jié)果進行處理，如有新的目標出現(xiàn)，則為其新出現(xiàn)的目標 初始化一個離線訓練好的通用時間動態(tài)表觀模型，加入已跟蹤目標列表;如沒有新的目標 出現(xiàn)，則判斷跟蹤是否結(jié)束，若未結(jié)束則轉(zhuǎn)步驟一進行下一視頻幀的跟蹤，直到視頻結(jié)束則 跟蹤結(jié)束。2. 如權(quán)利要求1所述的一種基于時間動態(tài)表觀模型的實時在線多目標跟蹤方法，其特 征還在于，中層特征通過離線訓練好的一系列屬性檢測器對該特征進行評估，使用屬性檢 測器的輸出作為檢測結(jié)果進行表示；屬性檢測器的離線訓練使用線性判別分析方法，通過 聚類和選擇兩個過程進行。
【專利摘要】本發(fā)明涉及一種采用時間動態(tài)表觀模型的實時在線多目標跟蹤方法。本發(fā)明將多目標跟蹤過程中每個目標的表觀信息看作是一個時間有序的表觀序列，通過考慮目標表觀信息在跟蹤過程中隨時間變化的規(guī)律，建立有強判別力的表觀模型來表達表觀序列的時間動態(tài)變化特性；同時通過多個隱狀態(tài)的觀測模型建模目標表觀在特征空間中的結(jié)構(gòu)多樣性，為目標與檢測結(jié)果之間的數(shù)據(jù)關(guān)聯(lián)提供精確的表觀匹配信息；通過將檢測結(jié)果逐幀地與目標進行關(guān)聯(lián)完成實時在線多目標跟蹤的任務，可實時準確的跟蹤視頻中的多個感興趣目標。在保證跟蹤性能的同時具有很高的計算效率，能夠?qū)嶋H應用于各種實時系統(tǒng)。
【IPC分類】G06K9/62
【公開號】CN105654139
【申請?zhí)枴?br>【發(fā)明人】賈云得, 楊敏, 裴明濤
【申請人】北京理工大學
【公開日】2016年6月8日
【申請日】2015年12月31日