本發(fā)明主要涉及到視頻圖像處理、智能視頻監(jiān)控、模式識(shí)別等領(lǐng)域，具體涉及的是一種基于非參數(shù)在線聚類的目標(biāo)跟蹤方法。

背景技術(shù)：

目標(biāo)跟蹤是智能視頻監(jiān)控領(lǐng)域一個(gè)最基礎(chǔ)和最有挑戰(zhàn)性的核心問題。其作為計(jì)算機(jī)視覺算法中比較底層的問題，具有廣泛的應(yīng)用前景。如智能視頻監(jiān)控領(lǐng)域中的運(yùn)動(dòng)分析、異常檢測(cè)等高層次的智能分析應(yīng)用均是以目標(biāo)跟蹤為基礎(chǔ)進(jìn)行。對(duì)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取軌跡，可以為監(jiān)控場(chǎng)景中更高層次的智能分析提供有效的基礎(chǔ)。

傳統(tǒng)的目標(biāo)跟蹤方法大多在給定視頻第一幀初始化某一感興趣目標(biāo)，然后訓(xùn)練一個(gè)目標(biāo)外觀模型，在跟蹤過程中通過外觀模型進(jìn)行判別式判斷或產(chǎn)生式預(yù)測(cè)，從而推斷出下一幀感興趣目標(biāo)的位置信息。這類方法在跟蹤過程中采用在線學(xué)習(xí)的模式對(duì)外觀模型進(jìn)行不斷更新，忽略了感興趣目標(biāo)容易受遮擋、消失-再現(xiàn)的影響，容易導(dǎo)致模型漂移問題。同時(shí)，由于模型的學(xué)習(xí)過程大量依賴外觀模型，當(dāng)目標(biāo)漂移后，很難對(duì)目標(biāo)模型重新初始化，從而導(dǎo)致跟蹤完全失敗，得到較差的跟蹤結(jié)果。傳統(tǒng)的融合meanshift和卡爾曼濾波跟蹤的方法，首先會(huì)對(duì)目標(biāo)運(yùn)動(dòng)進(jìn)行建模，利用卡爾曼濾波有效的預(yù)測(cè)功能，在每一幀meanshift算法開始預(yù)測(cè)之前，根據(jù)以往的運(yùn)動(dòng)信息對(duì)目標(biāo)狀態(tài)進(jìn)行預(yù)測(cè)，得到目標(biāo)的一個(gè)可能位置點(diǎn)，然后從該預(yù)測(cè)到的可能位置點(diǎn)進(jìn)行meanshift算法的迭代，其中meanshift算法主要首先計(jì)算目標(biāo)的核顏色直方圖，然后在此基礎(chǔ)上定義出一個(gè)空間平滑的相似度函數(shù)，并采用梯度優(yōu)化的方式對(duì)目標(biāo)進(jìn)行快速定位。不同于卡爾曼濾波對(duì)目標(biāo)運(yùn)動(dòng)建模的方式，我們提出的方法基于目標(biāo)表觀信息對(duì)目標(biāo)上下文的多個(gè)空間柵格計(jì)算相似度以便得到多個(gè)初始候選位置，而不是卡爾曼濾波器獲取到的一個(gè)可能的預(yù)測(cè)位置，從而增加了跟蹤器對(duì)快速運(yùn)動(dòng)和遮擋的魯棒性和適應(yīng)能力。不同于meanshift算法采用核顏色直方圖來表達(dá)目標(biāo)跟蹤器，我們采用了特征蒸餾器提取的特征來更好地表達(dá)目標(biāo)的表觀信息。不同于meanshift算法采用梯度優(yōu)化的方式對(duì)目標(biāo)進(jìn)行快速定位，我們的跟蹤器通過在頻域空間學(xué)習(xí)濾波跟蹤器并采用快速傅里葉變換來實(shí)現(xiàn)目標(biāo)的快速檢測(cè)和最終定位。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種目標(biāo)跟蹤方法，其解決的技術(shù)問題在于：給定一個(gè)視頻，對(duì)某一指定感興趣目標(biāo)進(jìn)行在線目標(biāo)跟蹤，從而預(yù)測(cè)出后續(xù)圖像幀目標(biāo)的具體位置以及外接矩形框。

本發(fā)明進(jìn)一步解決的問題在于：基于大深度網(wǎng)絡(luò)學(xué)習(xí)到的小深度網(wǎng)絡(luò)，對(duì)感興趣目標(biāo)提取蒸餾特征。該特征具有較強(qiáng)的外觀表達(dá)能力、判別能力和魯棒性。

本發(fā)明進(jìn)一步解決的問題在于：對(duì)感興趣目標(biāo)的歷史外觀進(jìn)行非參數(shù)在線聚類，基于加權(quán)的聚類中心產(chǎn)生一個(gè)保留歷史信息的目標(biāo)外觀模板，并用該目標(biāo)外觀模板產(chǎn)生目標(biāo)空間分布，從而提高目標(biāo)跟蹤準(zhǔn)確率，減少目標(biāo)漂移的風(fēng)險(xiǎn)，進(jìn)而降低錯(cuò)誤率。

本發(fā)明進(jìn)一步解決的問題在于：降低硬件需求和算法復(fù)雜度，實(shí)現(xiàn)快速的目標(biāo)跟蹤。

為解決上述問題，本發(fā)明公開了一種基于非參數(shù)在線聚類的目標(biāo)跟蹤方法，針對(duì)給定視頻初始化目標(biāo)執(zhí)行該方法，得到目標(biāo)跟蹤結(jié)果。

該目標(biāo)跟蹤方法的步驟包括以下步驟：

步驟1，給定一個(gè)輸入視頻，并且在第一幀初始化一個(gè)感興趣目標(biāo)的方框；對(duì)該目標(biāo)方框提取顏色直方圖特征，并采用k均值的方法來初始化聚類中心；

步驟2，對(duì)該方框的上下文區(qū)域圖像提取保持空間分布的圖像蒸餾特征圖，假設(shè)該底層圖像特征圖存在一個(gè)相同尺度大小的先驗(yàn)標(biāo)簽分布；

步驟3，基于圖像蒸餾特征圖和先驗(yàn)標(biāo)簽分布，采用嶺回歸的方式在頻域空間而不是傳統(tǒng)的時(shí)域空間學(xué)習(xí)一個(gè)濾波跟蹤器；

步驟4，對(duì)于下一幀圖像，基于上一幀目標(biāo)跟蹤器預(yù)測(cè)到的目標(biāo)中心位置，劃分多個(gè)柵格，對(duì)每個(gè)柵格提取顏色直方圖特征，將該顏色直方圖特征與由聚類中心生成的模板計(jì)算相似度，得到大致的目標(biāo)空間概率分布?；谠摯致缘哪繕?biāo)空間概率分布，得到相似度最大的前k個(gè)柵格。

步驟5，對(duì)這k個(gè)柵格中的每一個(gè)，提取一個(gè)與第一幀上下文區(qū)域相同大小圖像的特征圖，將濾波跟蹤器與該圖像特征圖通過快速傅里葉變換卷積，從而得到每個(gè)空間位置的置信度。取置信度值最大的空間位置為目標(biāo)中心位置。目標(biāo)的狀態(tài)也可以得到。基于該目標(biāo)狀態(tài)，提取新的顏色直方圖特征；

步驟6，將新的顏色直方圖與以前學(xué)習(xí)到的聚類中心進(jìn)行比較，若相似度大于一定值，則將該顏色直方圖歸入與它最相似的聚類中心，并更新該聚類中心；若相似度小于一定值，則新創(chuàng)建一個(gè)聚類中心。通過非參數(shù)在線增量式聚類得到聚類中心后，將這些聚類中心合并成一個(gè)目標(biāo)模板?；谠撝行奈恢锰崛∩舷挛膮^(qū)域特征圖，并學(xué)習(xí)一個(gè)新的跟蹤濾波器，用該跟蹤濾波器更新上一幀的跟蹤濾波器；

步驟7，循環(huán)執(zhí)行步驟4-6，進(jìn)行在線目標(biāo)跟蹤。

另外，該方法主要包括以下幾個(gè)部分，具體來說就是：候選提案產(chǎn)生單元，用于基于先驗(yàn)知識(shí)或者歷史時(shí)空信息產(chǎn)生少量相對(duì)可靠的候選樣本提案；特征提取單元，用于提取每個(gè)候選樣本提案相對(duì)應(yīng)的圖像區(qū)域的特征表達(dá)；觀測(cè)模型判斷單元，用于對(duì)提案特征進(jìn)行分類或者回歸，判斷該提案屬于目標(biāo)的概率或者是否是目標(biāo)；集成學(xué)習(xí)融合單元，用于將多個(gè)觀測(cè)模型判斷單元通過一定的策略進(jìn)行集成學(xué)習(xí)，并對(duì)多個(gè)跟蹤結(jié)果進(jìn)行融合，從而得到當(dāng)前圖像幀目標(biāo)位置信息和外界矩形框信息；在線模型更新單元，用于對(duì)觀測(cè)模型判斷單元進(jìn)行在線更新，以保障模型的魯棒性。

本發(fā)明的提案產(chǎn)生過程針對(duì)目標(biāo)跟蹤過程中有可能出現(xiàn)模型漂移問題，產(chǎn)生少量置信度較高的候選提案，為后面觀測(cè)模型判斷單元提供重新檢測(cè)或校正的可能性。這樣降低了長(zhǎng)期遮擋或者消失-再現(xiàn)問題導(dǎo)致的模板漂移風(fēng)險(xiǎn)。本提案產(chǎn)生過程主要包括目標(biāo)模板生成過程和目標(biāo)空間分布產(chǎn)生過程。

目標(biāo)模板生成過程主要采用非參數(shù)在線聚類方法并生成一個(gè)目標(biāo)模板過程為：對(duì)新的顏色直方圖非參數(shù)在線增量式聚類，得到新的聚類中心。將這些聚類中心按照一定的權(quán)重來合并成一個(gè)目標(biāo)模板。每個(gè)聚類中心的權(quán)重由每個(gè)聚類中的樣本個(gè)數(shù)決定。另外，為了得到更穩(wěn)定的目標(biāo)模板，在生成該目標(biāo)模板之前，先排除權(quán)重較小的聚類中心。對(duì)權(quán)重較大的聚類中心按照權(quán)重相加的方式，并歸一化，從而得到目標(biāo)模板。其中聚類中心的計(jì)算方式如下：

這里wj是第j個(gè)聚類中心的權(quán)重。具體來說，就是在線得到一個(gè)樣本xi后，計(jì)算該樣本與每個(gè)聚類中心cj的相似度。其相似度函數(shù)s(xi,cj)為：

目標(biāo)模板的計(jì)算公式如下：

wi是每個(gè)聚類中心的權(quán)重。

空間分布產(chǎn)生過程主要是對(duì)于下一幀圖像，基于上一幀目標(biāo)跟蹤器預(yù)測(cè)到的目標(biāo)中心位置，劃分多個(gè)柵格，對(duì)每個(gè)柵格提取顏色直方圖特征，將該顏色直方圖特征與由聚類中心生成的模板計(jì)算相似度，得到目標(biāo)空間分布?；谀繕?biāo)的空間分布得到相似度最大的前k個(gè)柵格。

本發(fā)明的特征提取過程是將其他通過數(shù)據(jù)庫(kù)學(xué)習(xí)到的大深度學(xué)習(xí)網(wǎng)絡(luò)用一個(gè)小型深度網(wǎng)絡(luò)進(jìn)行提取特征模擬，在訓(xùn)練階段，監(jiān)督信息是大深度學(xué)習(xí)網(wǎng)絡(luò)每層提取到的特征，用小型深度網(wǎng)絡(luò)盡可能地模擬逼近這些監(jiān)督信息；在測(cè)試階段，用小型深度網(wǎng)絡(luò)提取到的特征即為蒸餾特征。采用小網(wǎng)絡(luò)提取的深度蒸餾特征，具有較強(qiáng)的特征表達(dá)能力和判別能力。

本發(fā)明的觀測(cè)模型訓(xùn)練過程針對(duì)目標(biāo)在不同視頻環(huán)境下在線學(xué)習(xí)相應(yīng)的模型，從而在跟蹤過程中能夠有效的濾除不合理的跟蹤結(jié)果，避免了現(xiàn)有的方法中跟蹤結(jié)果與周圍環(huán)境信息不匹配而導(dǎo)致的跟蹤結(jié)果定位錯(cuò)誤的問題。

本發(fā)明的集成學(xué)習(xí)融合采用了對(duì)歷史中的目標(biāo)外觀信息進(jìn)行聚類，從而得到相對(duì)穩(wěn)定的外觀表達(dá)聚類中心，增強(qiáng)了外觀模型表達(dá)的穩(wěn)定性。

本發(fā)明的更新過程只針對(duì)跟蹤過程中特定有效樣本選擇規(guī)則進(jìn)行模型的訓(xùn)練學(xué)習(xí)，避免了對(duì)所有預(yù)測(cè)到的樣本行計(jì)算，降低了模型更新發(fā)生漂移或跟蹤不準(zhǔn)確的風(fēng)險(xiǎn)。本發(fā)明的方法和相應(yīng)的算法具有較高的合理性以及運(yùn)行效率，降低了復(fù)雜度，能夠達(dá)到實(shí)時(shí)的目標(biāo)跟蹤。

本發(fā)明可廣泛用于視覺安防、機(jī)器視覺跟蹤、人機(jī)接口等領(lǐng)域，是一種具有通用性的智能視覺監(jiān)控的核心方法。

附圖說明

圖1a所示為本發(fā)明的目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu)框圖；

圖1b所示為本發(fā)明目標(biāo)跟蹤系統(tǒng)中候選提案產(chǎn)生單元結(jié)構(gòu)框圖；

圖1c所示為本發(fā)明目標(biāo)跟蹤系統(tǒng)特征提取單元結(jié)構(gòu)框圖；

圖1d所示為本發(fā)明目標(biāo)跟蹤系統(tǒng)觀測(cè)模型判斷單元結(jié)構(gòu)框圖；

圖2所示為本發(fā)明目標(biāo)跟蹤方法的流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。

本發(fā)明對(duì)一個(gè)視頻序列的第一幀某通用目標(biāo)進(jìn)行人工初始化或自動(dòng)初始化(譬如檢測(cè))，然后輸出后續(xù)幀的目標(biāo)軌跡，即目標(biāo)在每一幀中的位置以及輪廓外接矩形框。

更進(jìn)一步的，本發(fā)明基于學(xué)習(xí)到的小深度網(wǎng)絡(luò)提取蒸餾特征，具有較強(qiáng)的表達(dá)能力。

更進(jìn)一步的，本發(fā)明從視頻序列圖像中的歷史時(shí)空目標(biāo)視覺特征中在線學(xué)習(xí)非參數(shù)聚類中心及目標(biāo)聚類模板，提高了目標(biāo)跟蹤對(duì)遮擋等問題的魯棒性，提高了準(zhǔn)確率，降低了錯(cuò)誤率。

更進(jìn)一步的，本發(fā)明對(duì)目標(biāo)在當(dāng)前幀圖像中的空間分布約束進(jìn)行判別，減少了錯(cuò)誤預(yù)測(cè)結(jié)果，進(jìn)一步提高了跟蹤正確率。

更進(jìn)一步的，本發(fā)明對(duì)硬件要求低，算法復(fù)雜度低。

參照?qǐng)D1a所示的本發(fā)明的目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu)示意圖，該系統(tǒng)包含視頻幀圖像獲取裝置、目標(biāo)跟蹤裝置、存儲(chǔ)裝置以及顯示裝置。

圖像獲取裝置用于獲取輸入圖像，例如其可以為一監(jiān)控?cái)z像頭，將獲取一段圖像序列和第一幀初始化的目標(biāo)框傳送至目標(biāo)跟蹤裝置。

目標(biāo)跟蹤裝置用于針對(duì)該圖像序列進(jìn)行處理。跟蹤裝置可設(shè)置在普通pc機(jī)、板卡、圖形處理器或嵌入式處理盒上。目標(biāo)跟蹤裝置包括候選提案產(chǎn)生單元、底層特征提取單元、觀測(cè)模型判斷單元、集成學(xué)習(xí)融合單元以及在線模型更新單元。

候選提案產(chǎn)生單元接收來自圖像獲取裝置的圖像序列和第一幀的目標(biāo)初始框，當(dāng)處理第二幀時(shí)以第一幀的目標(biāo)初始位置為中心，按照一定的策略提取少量候選提案。

如圖1b所示，候選提案產(chǎn)生單元進(jìn)一步包括：在線檢測(cè)濾波單元、目標(biāo)分布概率單元和候選提案輸出單元。

在線檢測(cè)濾波單元主要分析歷史目標(biāo)跟蹤數(shù)據(jù)，并通過在線學(xué)習(xí)得到一個(gè)目標(biāo)外觀表達(dá)濾波器。目標(biāo)分布概率單元主要通過在線檢測(cè)濾波單元計(jì)算目標(biāo)在圖像全局范圍內(nèi)的空間概率分布。

候選提案輸出單元主要基于目標(biāo)概率分布粗略估計(jì)出目標(biāo)最可能存在的幾個(gè)位置，將這些位置作為候選提案。

如圖1c所示，特征提取單元通過蒸餾已有的大深度網(wǎng)絡(luò)模型得到小的特征網(wǎng)絡(luò)模型，從而可以更快速地提取具有較強(qiáng)魯棒性和表達(dá)能力的深度特征。

如圖1d所示，觀測(cè)模型判斷單元主要包括模型參數(shù)、卷積操作和閾值判別器。模型參數(shù)主要通過嶺回歸學(xué)習(xí)得到的。主要過程是將目標(biāo)區(qū)域及其上下文區(qū)域的特征，進(jìn)行傅里葉變換，并基于循環(huán)結(jié)構(gòu)(具體參見joaof.henriques,et.al.high-speedtrackingwithkernelizedcorrelationfilters.pami2015.)進(jìn)行密集采樣，從而快速地學(xué)習(xí)到模型的參數(shù)?？焖贆z測(cè)主要將模型參數(shù)和搜索區(qū)域提取出來的特征進(jìn)行傅里葉變換，然后變換后的模型參數(shù)和特征在頻域空間進(jìn)行卷積操作，從而可以快速得到每一個(gè)位置的分類得分，即目標(biāo)的置信度圖。

閾值判別器，對(duì)置信度圖進(jìn)行分析，超過一定的閾值并且置信度最大的位置，將其判別為目標(biāo)；若置信度圖的最大值小于該閾值，則認(rèn)為當(dāng)前幀的目標(biāo)被遮擋，這時(shí)就不對(duì)觀測(cè)模型進(jìn)行更新。

集成學(xué)習(xí)融合單元對(duì)最終得到的多個(gè)候選目標(biāo)框進(jìn)行最終的決策判別，濾除重合率較高的一些跟蹤結(jié)果，得到最終跟蹤目標(biāo)的位置以及外接矩形信息(具體參見guibozhu,jinqiaowangandhanqinglu,“clusteringensembletracking”,accv,2014)。

在線模型更新單元主要是對(duì)學(xué)習(xí)到的模型函數(shù)按照一定的比例進(jìn)行在線更新。用閾值判別器來判斷是否更新模型參數(shù)，以防止模型出現(xiàn)更新存儲(chǔ)裝置，用于存儲(chǔ)決策融合單元輸出的最終目標(biāo)跟蹤結(jié)果。顯示裝置，可為一顯示屏，用于顯示在該輸入圖像中的最終目標(biāo)跟蹤結(jié)果供用戶觀看。

圖2示出了本發(fā)明一種目標(biāo)跟蹤方法的流程圖，該方法包括以下步驟：

步驟200，啟動(dòng)目標(biāo)跟蹤系統(tǒng)；

步驟201，開始步驟，同時(shí)獲取一系列的幀視頻數(shù)據(jù)，并對(duì)第一幀的目標(biāo)進(jìn)行初始化方框；

步驟202，產(chǎn)生少量候選目標(biāo)提案；

步驟203，對(duì)每個(gè)候選目標(biāo)提案提取特征；

步驟204，觀測(cè)模型判斷單元；

步驟205，判斷是否對(duì)觀測(cè)模型進(jìn)行融合，如果有融合環(huán)節(jié)，則轉(zhuǎn)入步驟206；否則轉(zhuǎn)入步驟207；

步驟206，對(duì)多個(gè)觀測(cè)模型進(jìn)行集成學(xué)習(xí)，從而得到更好的結(jié)果；

步驟207，利用步驟205或者206的計(jì)算結(jié)果計(jì)算目標(biāo)的分類響應(yīng)圖或置信度圖；

步驟208，判斷置信度圖的最大值是否大于某一閾值，如果是，則進(jìn)入在線模型更新單元；否則不更新模型；

步驟209，當(dāng)需要在線模型更新單元時(shí)，基于步驟210的目標(biāo)框輸出對(duì)觀測(cè)模型判斷單元進(jìn)行在線更新；

步驟210，基于步驟207的目標(biāo)置信度圖進(jìn)行計(jì)算，從而輸出目標(biāo)位置和目標(biāo)框；得到目標(biāo)框后，跳轉(zhuǎn)到步驟202，然后對(duì)后續(xù)幀的目標(biāo)進(jìn)行跟蹤預(yù)測(cè)；

步驟211，將歷史的目標(biāo)框輸出，從而得到跟蹤目標(biāo)的軌跡；

步驟212，結(jié)束目標(biāo)跟蹤系統(tǒng)。

上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效，以及部分運(yùn)用的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明創(chuàng)造構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。