一種采用時(shí)間動(dòng)態(tài)表觀模型的實(shí)時(shí)在線多目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種采用時(shí)間動(dòng)態(tài)表觀模型的實(shí)時(shí)在線多目標(biāo)跟蹤方法，用于實(shí)時(shí)在 線定位視頻中感興趣的目標(biāo)并實(shí)時(shí)恢復(fù)其運(yùn)動(dòng)軌跡，屬于計(jì)算機(jī)視覺(jué)和視頻監(jiān)控技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 視覺(jué)多目標(biāo)跟蹤旨在從視頻中定位、識(shí)別場(chǎng)景中的多個(gè)目標(biāo)，并估計(jì)每個(gè)目標(biāo)的 運(yùn)動(dòng)軌跡。多目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的許多高層任務(wù)的基礎(chǔ)，如場(chǎng)景理解、事件檢測(cè)、行為 識(shí)別等。多目標(biāo)跟蹤也廣泛應(yīng)用于視頻監(jiān)控、人機(jī)交互、視覺(jué)導(dǎo)航等系統(tǒng)。
[0003] 基于檢測(cè)的多目標(biāo)跟蹤方法是視覺(jué)多目標(biāo)跟蹤的主流方法之一，其主要思路是針 對(duì)特定類別的目標(biāo)(如行人、車輛等）訓(xùn)練檢測(cè)器，在視頻的每一幀圖像中獲取目標(biāo)檢測(cè)結(jié) 果，然后采用數(shù)據(jù)關(guān)聯(lián)的方式將檢測(cè)結(jié)果關(guān)聯(lián)成完整的目標(biāo)軌跡。其中的關(guān)鍵問(wèn)題是，如何 衡量目標(biāo)與給定檢測(cè)結(jié)果之間的匹配程度，以保證數(shù)據(jù)關(guān)聯(lián)的正確性。由于存在目標(biāo)近距 離交互的可能，通過(guò)運(yùn)動(dòng)、形狀等簡(jiǎn)單的線索很難準(zhǔn)確地識(shí)別不同目標(biāo)，因此如何利用豐富 的表觀信息構(gòu)建具有判別力的表觀模型是數(shù)據(jù)關(guān)聯(lián)的核心問(wèn)題。
[0004]已有的技術(shù)使用底層視覺(jué)特征(如顏色、邊緣、紋理等)描述目標(biāo)的表觀信息，并根 據(jù)表觀特征在特征空間中的空間分布構(gòu)建有判別力的表觀模型。然而多目標(biāo)跟蹤的任務(wù)使 得表觀模型需要能夠區(qū)分屬于同一類別的多個(gè)目標(biāo)，僅僅依靠表觀特征的空間分布很容易 造成混淆，限制了表觀模型在實(shí)際中起的作用。本發(fā)明構(gòu)建一種強(qiáng)判別能力的多目標(biāo)跟蹤 表觀模型，能有效處理復(fù)雜場(chǎng)景中多個(gè)表觀相似的目標(biāo)近距離交互造成的軌跡混淆問(wèn)題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明設(shè)計(jì)了一種采用時(shí)間動(dòng)態(tài)表觀模型的實(shí)時(shí)在線多目標(biāo)跟蹤方法，用于實(shí)時(shí) 在線跟蹤視頻中的多個(gè)感興趣目標(biāo)。本發(fā)明包括如下步驟：
[0006] 步驟一:對(duì)每一幀視頻圖像使用離線訓(xùn)練好的目標(biāo)檢測(cè)器進(jìn)行目標(biāo)檢測(cè)，獲得包 含目標(biāo)位置和尺度信息的檢測(cè)結(jié)果；
[0007] 步驟二:對(duì)步驟一中獲取的檢測(cè)結(jié)果提取邊緣特征，并使用離線訓(xùn)練好的屬性檢 測(cè)器進(jìn)行打分，將打分作為表示每個(gè)檢測(cè)結(jié)果的中層語(yǔ)義特征；
[0008] 中層特征通過(guò)離線訓(xùn)練好的一系列屬性檢測(cè)器對(duì)該特征進(jìn)行評(píng)估，使用屬性檢測(cè) 器的輸出（打分)作為檢測(cè)結(jié)果進(jìn)行表示。屬性檢測(cè)器的輸出表示了該檢測(cè)結(jié)果具有某項(xiàng)屬 性的可能性，因此這種中層特征表示包含了豐富的弱語(yǔ)義信息，有助于后續(xù)時(shí)間動(dòng)態(tài)表觀 模型的建立。
[0009] 屬性檢測(cè)器的離線訓(xùn)練使用線性判別分析方法，通過(guò)聚類和選擇兩個(gè)過(guò)程進(jìn)行； [0010]步驟三:對(duì)每個(gè)已跟蹤目標(biāo)，使用在線建立的時(shí)間動(dòng)態(tài)表觀模型計(jì)算該目標(biāo)與檢 測(cè)結(jié)果之間的匹配程度，進(jìn)行數(shù)據(jù)關(guān)聯(lián)；
[0011]步驟四：對(duì)已跟蹤目標(biāo)進(jìn)行狀態(tài)更新；若獲得關(guān)聯(lián)數(shù)據(jù)則使用卡爾曼濾波器 (Kalman Filter)對(duì)目標(biāo)狀態(tài)進(jìn)行更新，并將與之關(guān)聯(lián)的檢測(cè)結(jié)果加入該目標(biāo)的軌跡中，同 時(shí)通過(guò)增量學(xué)習(xí)更新對(duì)應(yīng)的時(shí)間動(dòng)態(tài)表觀模型;若沒(méi)有獲得關(guān)聯(lián)數(shù)據(jù)則使用卡爾曼濾波器 對(duì)當(dāng)前時(shí)刻的目標(biāo)狀態(tài)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)結(jié)果加入目標(biāo)軌跡，此時(shí)不更新對(duì)應(yīng)的時(shí)間動(dòng)態(tài) 表觀模型；
[0012] 若一個(gè)目標(biāo)在長(zhǎng)時(shí)間內(nèi)持續(xù)沒(méi)有獲得關(guān)聯(lián)數(shù)據(jù)，則認(rèn)為該目標(biāo)為從場(chǎng)景中消失， 將其從已跟蹤目標(biāo)列表中刪除。
[0013] 步驟五:對(duì)未發(fā)生關(guān)聯(lián)的檢測(cè)結(jié)果進(jìn)行處理，如有新的目標(biāo)出現(xiàn)，則為其新出現(xiàn)的 目標(biāo)初始化一個(gè)離線訓(xùn)練好的通用時(shí)間動(dòng)態(tài)表觀模型，加入已跟蹤目標(biāo)列表;如沒(méi)有新的 目標(biāo)出現(xiàn)，則判斷跟蹤是否結(jié)束，若未結(jié)束則轉(zhuǎn)步驟一進(jìn)行下一視頻幀的跟蹤，直到視頻結(jié) 束則跟蹤結(jié)束。
[0014] 有益效果：
[0015] 本發(fā)明與已有多目標(biāo)跟蹤方法相比，具有以下幾個(gè)方面的優(yōu)勢(shì)：
[0016] 1、本發(fā)明采用了時(shí)間動(dòng)態(tài)表觀模型，不僅考慮了目標(biāo)表觀在特征空間中的空間分 布特性，還考慮了目標(biāo)表觀在跟蹤過(guò)程中隨時(shí)間變化的規(guī)律，針對(duì)同一時(shí)刻表觀相似的目 標(biāo)有很好的區(qū)分能力；
[0017] 2、本發(fā)明通過(guò)離線訓(xùn)練屬性檢測(cè)器提取中層語(yǔ)義特征，在保證跟蹤性能的同時(shí)具 有很高的計(jì)算效率，無(wú)需人工設(shè)計(jì)復(fù)雜的特征提取過(guò)程；
[0018] 3、本發(fā)明采用增量學(xué)習(xí)的方式在線更新時(shí)間動(dòng)態(tài)表觀模型，使得跟蹤系統(tǒng)能夠?qū)?時(shí)在線的運(yùn)行，能夠?qū)嶋H應(yīng)用于各種實(shí)時(shí)系統(tǒng)。
【附圖說(shuō)明】
[0019]圖1是本發(fā)明的多目標(biāo)跟蹤方法的流程圖；
[0020]圖2是本發(fā)明使用的屬性檢測(cè)器的示意圖；
【具體實(shí)施方式】
[0021 ]本發(fā)明是一種時(shí)間動(dòng)態(tài)表觀模型的實(shí)時(shí)在線多目標(biāo)跟蹤方法。通過(guò)考慮目標(biāo)表觀 信息在跟蹤過(guò)程中隨時(shí)間的變化規(guī)律，建立有強(qiáng)判別力的表觀模型，為目標(biāo)與檢測(cè)結(jié)果之 間的數(shù)據(jù)關(guān)聯(lián)提供精確的表觀匹配信息，通過(guò)將檢測(cè)結(jié)果逐幀地與目標(biāo)進(jìn)行關(guān)聯(lián)完成在線 多目標(biāo)跟蹤的任務(wù)。
[0022] 以下通過(guò)具體實(shí)施例詳細(xì)描述本發(fā)明的實(shí)施方式，一種采用時(shí)間動(dòng)態(tài)表觀模型的 實(shí)時(shí)在線多目標(biāo)跟蹤方法流程圖如圖1所示，實(shí)現(xiàn)過(guò)程如下：
[0023] 根據(jù)步驟一:對(duì)每一幀視頻圖像使用離線訓(xùn)練好的目標(biāo)檢測(cè)器進(jìn)行目標(biāo)檢測(cè)，獲 得包含目標(biāo)位置和尺度信息的檢測(cè)結(jié)果，用一系列矩形區(qū)域表示。
[0024] 根據(jù)步驟二，對(duì)步驟一中獲取的檢測(cè)結(jié)果，提取邊緣特征，即圖像中的每一個(gè)矩形 區(qū)域，使用底層邊緣特征描述該區(qū)域。
[0025] 然后通過(guò)離線訓(xùn)練好的一系列屬性檢測(cè)器對(duì)該特征進(jìn)行評(píng)估，使用屬性檢測(cè)器的 輸出（打分)作為檢測(cè)結(jié)果的中層特征表示。屬性檢測(cè)器的輸出表示了該檢測(cè)結(jié)果具有某項(xiàng) 屬性的可能性，因此這種中層特征表示包含了豐富的弱語(yǔ)義信息，有助于后續(xù)時(shí)間動(dòng)態(tài)表 觀模型的建立。
[0026] 屬性檢測(cè)器的具體訓(xùn)練方式描述如下。從訓(xùn)練目標(biāo)檢測(cè)器的訓(xùn)練數(shù)據(jù)中收集大量 包含目標(biāo)表觀的訓(xùn)練樣本，從中提取梯度方向直方圖(H0G)特征作為底層特征表示，然后通 過(guò)Normalized Cuts聚類方法將訓(xùn)練樣本分為若干個(gè)表觀類別。對(duì)每個(gè)表觀類別，采用線性 判別分析（LDA)方法訓(xùn)練一個(gè)線性分類器（檢測(cè)器）。線性分類器的具體計(jì)算方式為
實(shí)中發(fā)是這個(gè)表觀類別中所有H0G特征的均值，μ〇和Σ分別是所有訓(xùn)練樣 本的H0G特征的均值和協(xié)方差，ω是訓(xùn)練得到的檢測(cè)器的系數(shù)。這種訓(xùn)練方法將所有訓(xùn)練樣 本的均值作為"負(fù)"樣本，突出了每個(gè)表觀類別的本質(zhì)特征，而且節(jié)省了大量的訓(xùn)練時(shí)間。
[0027] 通過(guò)聚類可得到數(shù)目龐大的檢測(cè)器，本發(fā)明設(shè)計(jì)了一種評(píng)價(jià)檢測(cè)器是否有利于時(shí) 間動(dòng)態(tài)表觀建模的準(zhǔn)則，從數(shù)目龐大的檢測(cè)器中選擇一定數(shù)量的最優(yōu)的檢測(cè)器來(lái)提取中層 語(yǔ)義特征。給定一個(gè)訓(xùn)練好的檢測(cè)器，將該檢測(cè)器應(yīng)用于一個(gè)目標(biāo)表觀序列中，計(jì)算檢測(cè)器 的響應(yīng)，分析檢測(cè)器是否能檢測(cè)出特定類別的目標(biāo)表觀。好的檢測(cè)器只對(duì)這個(gè)表觀序列中 少數(shù)符合檢測(cè)器所表示的表觀類別的表觀產(chǎn)生響應(yīng)，而不受其他表觀的影響。因此，計(jì)算檢 測(cè)器在一個(gè)表觀序列中每個(gè)時(shí)刻產(chǎn)生響應(yīng)的概率的信息熵，來(lái)衡量該檢測(cè)器識(shí)別特定類別 的表觀信息的確定性。熵的值越低，確定性越強(qiáng)，說(shuō)明檢測(cè)器對(duì)時(shí)間動(dòng)態(tài)表觀建模越有意 義。選擇大量目標(biāo)表觀序列用做評(píng)估，計(jì)算每個(gè)檢測(cè)器在這些表觀序列上的信息熵的平均 值作為打分，選取打分最高的48個(gè)檢測(cè)器用于中層語(yǔ)義特征提取。圖2是本發(fā)明使用的屬性 檢測(cè)器的示意圖（以行人為目標(biāo)，但不限于行人）。如圖2所示，上述訓(xùn)練方式得到的屬性檢 測(cè)器一定程度上凸顯了特定的目標(biāo)（人體)輪廓，使得檢測(cè)器的輸出表達(dá)了豐富的語(yǔ)義信 息。其中，（8)、（13)、（(3)、（(1)分別是在檢測(cè)器評(píng)估時(shí)打分最高的四個(gè)檢測(cè)器，每個(gè)子圖中的 左側(cè)是檢測(cè)器的"正"系數(shù)而右側(cè)是檢測(cè)器的"負(fù)"系數(shù)；
[0028]根據(jù)步驟三，對(duì)每個(gè)已跟蹤目標(biāo)，使用在線建立的時(shí)間動(dòng)態(tài)表觀模型計(jì)算該目標(biāo) 與檢測(cè)結(jié)果之間的匹配程度，進(jìn)行數(shù)據(jù)關(guān)聯(lián)；
[0029] 給定一個(gè)感興趣目標(biāo)，本發(fā)明將其表觀信息隨著時(shí)間的變化看成是一個(gè)時(shí)間有序 的表觀序列，并通過(guò)隱馬爾科夫模型(ΗΜΜ)建立該目標(biāo)的時(shí)間動(dòng)態(tài)表觀模型，表示這個(gè)表觀 序列在特征空間中的空間結(jié)構(gòu)和時(shí)間變化特性。使用ΗΜΜ的潛在假設(shè)是，這個(gè)表觀序列由一 個(gè)不可見(jiàn)的隱狀態(tài)序列所決定，每一時(shí)刻的表觀僅與該時(shí)刻的隱狀態(tài)決定的觀測(cè)模型有 關(guān)。由此，目標(biāo)表觀的時(shí)間變化特性即由隱狀態(tài)形成的馬爾科夫過(guò)程決定，目標(biāo)表觀在特征 空間中的多樣性則由多個(gè)觀測(cè)模型來(lái)表示。
[0030] 一個(gè)目標(biāo)在t時(shí)刻的表觀為〇i ，對(duì)應(yīng)的隱狀態(tài)為ste{l，· · ·，Ν}，其中Ot即是 步驟二中所述中層語(yǔ)義特征，d是中層語(yǔ)義特征的維度，N為隱狀態(tài)的個(gè)數(shù)。一個(gè)時(shí)間動(dòng)態(tài)表 觀模型則可參數(shù)化表示為9 = U，A，F(xiàn))，具體描述如下：
[0031] JT={jTi}是初始狀態(tài)分布，即
[0032] jii = P(si = i)，i = 1，· · ·，Ν·
[0033] A={aij}是狀態(tài)轉(zhuǎn)移概率，即
[0034] aijP(st+i = j | st = i), i , j = 1,. . . ,N,
[0035] 且滿足約束條f
[0036] F={fK · )}是由隱狀態(tài)決定的觀測(cè)概率密度函數(shù)，由高斯混合模型表示