本發(fā)明涉及一種自適應(yīng)自糾正的目標(biāo)跟蹤方法，屬于魯棒的目標(biāo)跟蹤的技術(shù)領(lǐng)域。

背景技術(shù)：

目標(biāo)跟蹤是指在視頻圖像序列中對(duì)指定目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行估計(jì)，2012年，zdenekk等提出了一種將跟蹤、檢測、學(xué)習(xí)相結(jié)合的目標(biāo)跟蹤算法[1]，在跟蹤過程中，對(duì)目標(biāo)觀測的數(shù)據(jù)都會(huì)被用于訓(xùn)練一個(gè)分類器，同時(shí)該算法使用基于光流的跟蹤器來不斷地矯正分類器的檢測檢測結(jié)果，在檢測的同時(shí)tld(tld：training-learningdetection，訓(xùn)練-學(xué)習(xí)檢測)使用了基于結(jié)構(gòu)性約束條件的樣本甄別策略，以保證在跟蹤過程中分類器的訓(xùn)練階段的樣本足夠接近真實(shí)情形。雖然tld作為一種單目標(biāo)跟蹤算法一定程度上可以解決長期跟蹤過程中目標(biāo)難以跟蹤的問題，但算法的實(shí)時(shí)性較差，并且在跟蹤的初始階段非常依賴對(duì)目標(biāo)的先驗(yàn)知識(shí)。

長期跟蹤的關(guān)鍵在于算法能夠抵御實(shí)際環(huán)境中可能出現(xiàn)的各種干擾因素，難點(diǎn)就是能夠解決目標(biāo)消失再出現(xiàn)，由于在目標(biāo)消失期間目標(biāo)所發(fā)生的變化是無法從視頻圖像序列中獲取的，也無法通過運(yùn)動(dòng)估計(jì)算法(如光流法)來估計(jì)目標(biāo)的運(yùn)動(dòng)情況，同時(shí)，在跟蹤的過程中還存在目標(biāo)漂移問題，因此，基于上述情況，針對(duì)不同類別的干擾因素分別提出了靜態(tài)外觀模型和自適應(yīng)外觀模型，然后結(jié)合輔助跟蹤算法形成一個(gè)能夠自我糾正的跟蹤算法框架，在各種干擾因素下，實(shí)現(xiàn)高效、實(shí)時(shí)的跟蹤。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是提供一種自適應(yīng)自糾正的目標(biāo)跟蹤方法，解決在長期跟蹤過程中由于環(huán)境和目標(biāo)變化導(dǎo)致的跟蹤丟失問題，并在此基礎(chǔ)上提出了能夠自糾正的跟蹤框架，可以克服現(xiàn)有技術(shù)的不足。

本發(fā)明的技術(shù)方案是：一種自適應(yīng)自糾正的目標(biāo)跟蹤方法，其特征在于：該方法是將目標(biāo)跟蹤中的干擾因素分為環(huán)境因素和目標(biāo)本身因素，根據(jù)分類的干擾因素分別提出靜態(tài)外觀模型和自適應(yīng)外觀模型，再對(duì)靜態(tài)外觀模型和自適應(yīng)外觀模型進(jìn)行去噪然后將其融合，最后通過自糾正的跟蹤框架以提高跟蹤的準(zhǔn)確性，它包括靜態(tài)模塊、自適應(yīng)模塊、去噪模塊及目標(biāo)跟蹤算法模塊；

靜態(tài)模塊始終能夠保留目標(biāo)的初始信息，它是一個(gè)由初始幀目標(biāo)的靜態(tài)外觀模型與當(dāng)前幀目標(biāo)的靜態(tài)外觀模型中所有匹配關(guān)系組成的集合；

自適應(yīng)模塊為適應(yīng)目標(biāo)本身的變化對(duì)每幀中都進(jìn)行更新，當(dāng)前幀的自適應(yīng)外觀模型是由上一幀目標(biāo)區(qū)域中所有關(guān)鍵點(diǎn)附近的區(qū)域塊組成；

去噪模塊使用層次聚類方法去除種類不確定的靜態(tài)外觀模型和自適應(yīng)外觀模型的噪聲，同時(shí)經(jīng)過層次聚類來獲取跟蹤目標(biāo)的中心位置、尺度變化和旋轉(zhuǎn)角度三個(gè)數(shù)據(jù)信息；

目標(biāo)跟蹤算法模塊包括基于靜態(tài)模塊、自適應(yīng)模塊及去噪模塊數(shù)據(jù)信息的主體跟蹤算法和基于感知哈希的輔助跟蹤算法，主體跟蹤算法為輔助跟蹤算法提供合適的更新樣本，輔助跟蹤算法在靜態(tài)外觀模型和自適應(yīng)外觀模型形成的區(qū)域內(nèi)進(jìn)行全局搜索快速鋪?zhàn)ツ繕?biāo)，同時(shí)輔助跟蹤算法設(shè)有靜態(tài)外觀模型提供候選搜索的區(qū)域。

靜態(tài)外觀模型和自適應(yīng)外觀模型的特征描述方式為局部不變特征surf，綜合時(shí)間復(fù)雜度和實(shí)際效果，將歐式距離作為surf特征點(diǎn)的距離計(jì)算方法。

現(xiàn)有技術(shù)比較，本發(fā)明自適應(yīng)自糾正的目標(biāo)跟蹤方法，該方法是將目標(biāo)跟蹤中的干擾因素分為環(huán)境因素和目標(biāo)本身因素，根據(jù)分類的干擾因素分別提出靜態(tài)外觀模型和自適應(yīng)外觀模型，再對(duì)靜態(tài)外觀模型和自適應(yīng)外觀模型進(jìn)行去噪然后將其融合，最后通過自糾正的跟蹤框架以提高跟蹤的準(zhǔn)確性，它包括靜態(tài)模塊、自適應(yīng)模塊、去噪模塊及目標(biāo)跟蹤算法模塊；這樣的方法和上述的四個(gè)模塊，通過申請(qǐng)人的多次試驗(yàn)，結(jié)果表明，該算法與比較經(jīng)典的或當(dāng)前流行的算法比較，具有良好的跟蹤精度，具體表現(xiàn)在靜態(tài)模塊與自適應(yīng)模塊的結(jié)合，因?yàn)樵诒３帜繕?biāo)跟蹤中，自適應(yīng)外觀模型為適應(yīng)目標(biāo)本身的變化，需要在每幀中都進(jìn)行更新，但這樣也會(huì)帶來不好的影響，表現(xiàn)在這樣難免會(huì)納入背景信息，從而導(dǎo)致跟蹤漂移，為解決這一問題，就需要用到靜態(tài)外觀模型，靜態(tài)外觀模型在跟蹤過程中相對(duì)穩(wěn)定，始終能夠保留目標(biāo)的初始信息，從而能夠糾正自適應(yīng)外觀模型的跟蹤結(jié)果，從而提高跟蹤的準(zhǔn)確性；去噪模塊的使用：因?yàn)槿绻麑㈧o態(tài)外觀模型和自適應(yīng)外觀模型的匹配結(jié)果直接融合，由于外觀模型會(huì)不斷引入噪聲，從而影響目標(biāo)特征的表達(dá)，為此，使用層次聚類方法去除種類不確定的外觀模型噪聲，經(jīng)過聚類后的外觀模型可以用來有效地估計(jì)在跟蹤過程中目標(biāo)的尺度變化和旋轉(zhuǎn)信息，提高跟蹤算法的準(zhǔn)確性；輔助跟蹤算法具有利用實(shí)時(shí)性較高的特點(diǎn)，能與基于靜態(tài)模塊、自適應(yīng)模塊及去噪模塊數(shù)據(jù)信息的主體跟蹤算法進(jìn)行相互糾正，跟蹤框架可以實(shí)現(xiàn)長期穩(wěn)定的跟蹤，輔助跟蹤算法在靜態(tài)外觀模型和自適應(yīng)外觀模型形成的區(qū)域內(nèi)進(jìn)行全局搜索快速鋪?zhàn)ツ繕?biāo)，這樣能有效解決運(yùn)動(dòng)目標(biāo)消失再出現(xiàn)時(shí)，再次捕獲的幾率較低的問題；設(shè)有靜態(tài)外觀模型提供候選搜索的區(qū)域，從而降低時(shí)間復(fù)雜度；靜態(tài)外觀模型和自適應(yīng)外觀模型的特征描述方式為局部不變特征surf，綜合時(shí)間復(fù)雜度和實(shí)際效果，將歐式距離作為surf特征點(diǎn)的距離計(jì)算方法，考慮到目標(biāo)受到局部遮擋時(shí)，全局特征的魯棒性較差，這樣能確保良好的追蹤效果。

附圖說明

圖1是本發(fā)明的算法流程圖。

圖2初始幀特征點(diǎn)圖。

圖3不同幀的特征點(diǎn)圖。

圖4糾正后的不同幀特征圖。

圖5跟蹤結(jié)果圖。

具體實(shí)施方式

實(shí)施例1.

如下圖1所示，一種自適應(yīng)自糾正的目標(biāo)跟蹤方法，其特征在于：該方法是將目標(biāo)跟蹤中的干擾因素分為環(huán)境因素和目標(biāo)本身因素，根據(jù)分類的干擾因素分別提出靜態(tài)外觀模型和自適應(yīng)外觀模型，再對(duì)靜態(tài)外觀模型和自適應(yīng)外觀模型進(jìn)行去噪然后將其融合，最后通過自糾正的跟蹤框架以提高跟蹤的準(zhǔn)確性，它包括靜態(tài)模塊、自適應(yīng)模塊、去噪模塊及目標(biāo)跟蹤算法模塊；

靜態(tài)模塊始終能夠保留目標(biāo)的初始信息，它是一個(gè)由初始幀目標(biāo)的靜態(tài)外觀模型與當(dāng)前幀目標(biāo)的靜態(tài)外觀模型中所有匹配關(guān)系組成的集合；

自適應(yīng)模塊為適應(yīng)目標(biāo)本身的變化對(duì)每幀中都進(jìn)行更新，當(dāng)前幀的自適應(yīng)外觀模型是由上一幀目標(biāo)區(qū)域中所有關(guān)鍵點(diǎn)附近的區(qū)域塊組成；

去噪模塊使用層次聚類方法去除種類不確定的靜態(tài)外觀模型和自適應(yīng)外觀模型的噪聲，同時(shí)經(jīng)過層次聚類來獲取跟蹤目標(biāo)的中心位置、尺度變化和旋轉(zhuǎn)角度三個(gè)數(shù)據(jù)信息；

目標(biāo)跟蹤算法模塊包括基于靜態(tài)模塊、自適應(yīng)模塊及去噪模塊數(shù)據(jù)信息的主體跟蹤算法和基于感知哈希的輔助跟蹤算法，主體跟蹤算法為輔助跟蹤算法提供合適的更新樣本，輔助跟蹤算法在靜態(tài)外觀模型和自適應(yīng)外觀模型形成的區(qū)域內(nèi)進(jìn)行全局搜索快速鋪?zhàn)ツ繕?biāo)，同時(shí)輔助跟蹤算法設(shè)有靜態(tài)外觀模型提供候選搜索的區(qū)域。

考慮到目標(biāo)受到局部遮擋時(shí)，全局特征的魯棒性較差，本發(fā)明采用局部不變特征surf作為外觀模型的特征描述方式，綜合時(shí)間復(fù)雜度和實(shí)際效果，將歐式距離作為surf特征點(diǎn)的距離計(jì)算方法。

一，在外觀模型的設(shè)計(jì)上

無論是靜態(tài)外觀模型還是自適應(yīng)外觀模型都不在為關(guān)鍵點(diǎn)設(shè)定活動(dòng)區(qū)域，令每個(gè)關(guān)鍵點(diǎn)都有足夠的自由度，盡可能地感知沒有先驗(yàn)信息的可變對(duì)象的所有變化。

由于跟蹤的初始條件就是初始幀中目標(biāo)的位置和尺度，因此我們使用一個(gè)矩形框米表示這一信息，假定初始邊界框?yàn)閎0。首先對(duì)邊界框區(qū)域進(jìn)行特征點(diǎn)檢測，得到一個(gè)關(guān)鍵點(diǎn)集合：

其中，x為關(guān)鍵點(diǎn)在圖像中的位置。

那么在第t幀中，目標(biāo)信息就可以用邊界框bt來表示，目標(biāo)區(qū)域內(nèi)的關(guān)鍵點(diǎn)集合可以用pt來表示：

由于初始幀與當(dāng)前幀之間的幀數(shù)可以是任意的非負(fù)值，因此為了描述初始幀與之后任意幀中目標(biāo)的關(guān)系，我們針對(duì)初始幀中目標(biāo)的每一個(gè)關(guān)鍵點(diǎn)定義一個(gè)匹配關(guān)系，體現(xiàn)了這兩幀中目標(biāo)的變化情況：

其中，是初始幀中關(guān)鍵點(diǎn)在第t幀中的位置。

那么在跟蹤問題中，我們的目標(biāo)就是在每一幀中，盡可能準(zhǔn)確地求出表征目標(biāo)變化信息的對(duì)應(yīng)關(guān)系集合：

lt＝{m1，m2，m3，...，mn}

怎樣獲取到對(duì)應(yīng)關(guān)系集合就是我們所提出的靜態(tài)-自適應(yīng)外觀模型的任務(wù)。我們通過靜態(tài)外觀模型來獲得與其對(duì)應(yīng)的靜態(tài)對(duì)應(yīng)關(guān)系集合通過自適應(yīng)外觀模型來獲得預(yù)期對(duì)應(yīng)的自適應(yīng)對(duì)應(yīng)關(guān)系集合最后再對(duì)二者按照一定的規(guī)則合并得到lt。

(1)靜態(tài)外觀模型的設(shè)計(jì)

靜態(tài)外觀模型是基于初始幀的目標(biāo)外觀建立的，它是由初始幀中感興趣的目標(biāo)區(qū)域的所有關(guān)鍵點(diǎn)(即)所對(duì)應(yīng)的特征描述子組成。

我們?yōu)殪o態(tài)外觀模型設(shè)計(jì)一個(gè)靜態(tài)對(duì)應(yīng)關(guān)系集合，它是一個(gè)由初始幀目標(biāo)的靜態(tài)外觀模型與當(dāng)前幀目標(biāo)的靜態(tài)外觀模型中所有匹配關(guān)系組成的集合。(補(bǔ)充描述)

在跟蹤過程中，我們針對(duì)初始幀中每一個(gè)關(guān)鍵點(diǎn)都在當(dāng)前幀中進(jìn)行全局搜索以尋找與其匹配的候選關(guān)鍵點(diǎn)要求與初始幀中關(guān)鍵點(diǎn)滿足以下關(guān)系：

即：

要求與初始幀中關(guān)鍵點(diǎn)的絕對(duì)距離小于指定閾值θ，同時(shí)在第t幀中，與的距離相對(duì)其它關(guān)鍵點(diǎn)的距離最近，其中θ和γ均為經(jīng)驗(yàn)值。

此外還需要在當(dāng)前幀的靜態(tài)外觀模型中將那些與初始幀中背景的關(guān)鍵點(diǎn)描述子匹配的候選關(guān)鍵點(diǎn)去掉，最后即可得到靜態(tài)對(duì)應(yīng)關(guān)系集合

表示初始幀與當(dāng)前幀中由靜態(tài)外觀模型所提供的目標(biāo)外觀對(duì)應(yīng)關(guān)系。

(2)自適應(yīng)外觀模型的設(shè)計(jì)

當(dāng)前幀的自適應(yīng)外觀模型不是由當(dāng)前幀的圖像信息建立的，而是由上一幀目標(biāo)區(qū)域中所有關(guān)鍵點(diǎn)附近的區(qū)域塊組成。為了和靜態(tài)對(duì)應(yīng)關(guān)系集合中的表示方式統(tǒng)一，在獲取到每一幀的自適應(yīng)對(duì)應(yīng)關(guān)系結(jié)合后都要將其與初始幀對(duì)應(yīng)，即由上一幀(第t-1幀)的自適應(yīng)對(duì)應(yīng)關(guān)系和當(dāng)前幀(第t幀)得到的

可得到

我們將靜態(tài)對(duì)應(yīng)關(guān)系集合與自適應(yīng)對(duì)應(yīng)關(guān)系集合進(jìn)行比較，由于靜態(tài)模型在跟蹤過程不會(huì)因?yàn)榄h(huán)境的干擾因素而發(fā)生漂移，因此兩集合中，如果針對(duì)同一關(guān)鍵點(diǎn)如果出現(xiàn)不同的結(jié)果，一律否決二者中的自適應(yīng)對(duì)應(yīng)關(guān)系。

將過濾后的靜態(tài)對(duì)應(yīng)關(guān)系集合和自適應(yīng)對(duì)應(yīng)關(guān)系集合進(jìn)行合并，將其稱為對(duì)應(yīng)關(guān)系集合，記作即：

二、針對(duì)目標(biāo)外觀模型的去噪

(一)公式和原理

將靜態(tài)外觀模型和自適應(yīng)外觀模型輸出的對(duì)應(yīng)關(guān)系合并后，難免會(huì)擴(kuò)大目標(biāo)的表示區(qū)域，將一些本應(yīng)為背景的區(qū)域也納入了目標(biāo)區(qū)域中，由于背景噪音的類別不僅未知，而且實(shí)際上遠(yuǎn)多于兩類，本發(fā)明選擇層次聚類方法作為去噪手段。

根據(jù)差異性度量d，針對(duì)對(duì)應(yīng)關(guān)系集合

使用單連接層次聚類方法，設(shè)定差異性度量的閾值t后即可得到聚類結(jié)果。

假設(shè)dij表示對(duì)應(yīng)關(guān)系樣本mi和mj間的差異性度量，dij表示樣本mi和mj所在的簇ci和cj間的差異性度量，則dij應(yīng)為兩簇間最近樣本的距離，即

對(duì)外觀模型的輸出結(jié)果進(jìn)行聚類：

1.首先將每個(gè)樣本作為一簇，簇ci和cj間的最短距離dij＝dij。

2.令t＝0，所有簇間的最短距離可以形成一個(gè)距離矩陣m(t)。

3.尋找m(t)內(nèi)非對(duì)角線上不大于距離閾值t的最小元素，設(shè)為mpq，將cp和cq合并為一個(gè)新簇，記為cr，即cr＝{cp，cq}。

4.計(jì)算新簇cr與其他簇ck的最短距離dkr＝min{dkp，dkq}，對(duì)距離矩陣m(t)進(jìn)行更新，將其第p、q行及p、q列合并成一個(gè)新行新列，對(duì)應(yīng)類cr，新行和新列上的新距離按照dkr＝min{dkp，dkq}進(jìn)行計(jì)算，所得到的矩陣記為m(t+1)。

5.將t+1賦值給t，返回步驟3，直到m(t)中所有元素均大于t或所有樣本聚為一簇時(shí)結(jié)束聚類。

對(duì)

經(jīng)過聚類后，假定最大的簇中包含了所有與感興趣目標(biāo)相關(guān)的對(duì)應(yīng)關(guān)系，而其它簇中的對(duì)應(yīng)關(guān)系都與背景相關(guān)。因此在對(duì)每一幀的跟蹤結(jié)果進(jìn)行估計(jì)時(shí)只需要利用其中的最大簇即可，最大簇為

(二)中心位置、尺度變化和旋轉(zhuǎn)角度三個(gè)數(shù)據(jù)目標(biāo)狀態(tài)估計(jì)

在目標(biāo)跟蹤過程中，對(duì)每一幀的跟蹤結(jié)果由三個(gè)數(shù)據(jù)量組成：

(1)目標(biāo)的中心位置。

使用目標(biāo)位移參數(shù)μ

來表示目標(biāo)中心位置的變化情形，即假定目標(biāo)在初始幀的中心位置為x0，則當(dāng)前幀中目標(biāo)的中心位置可以表示為：xt＝x0+μ

為了準(zhǔn)確地衡量目標(biāo)的中心位置，對(duì)聚類后輸出的最大簇中所有匹配關(guān)系表征的位移參數(shù)之和取均值，即：

式中：

num為最大簇中對(duì)應(yīng)關(guān)系的個(gè)數(shù)，即μi為每個(gè)匹配關(guān)系對(duì)目標(biāo)位移的估計(jì)，即

綜上，每一幀的目標(biāo)中心位置的位移參數(shù)估計(jì)如下：

(2)目標(biāo)的尺度

使用尺度縮放系數(shù)s

來表征目標(biāo)的尺度變化情形，即假定初始幀中目標(biāo)尺度大小為s0，當(dāng)前幀中目標(biāo)的尺度大小為st，則：st＝s×s0

對(duì)尺度系數(shù)進(jìn)行估計(jì)的方法如式如下所示：

式中：

表示在中通過匹配關(guān)系估計(jì)得到的當(dāng)前幀的目標(biāo)尺度，即表示在l0中通過匹配關(guān)系估計(jì)得到的當(dāng)前幀的目標(biāo)尺度，即med表示取中位數(shù)。

綜上，目標(biāo)尺度變化系數(shù)的計(jì)算方法如式：

(3)目標(biāo)的旋轉(zhuǎn)角度(弧度)

使用α來表示，即假定初始幀中目標(biāo)的旋轉(zhuǎn)角度為α0＝0，那么當(dāng)前幀中目標(biāo)的旋轉(zhuǎn)角度為：αt＝α0+α＝α

對(duì)目標(biāo)旋轉(zhuǎn)角度的估計(jì)方法如式：

式中：

表示初始幀中根據(jù)關(guān)鍵點(diǎn)的相對(duì)位置計(jì)算得到的目標(biāo)相對(duì)于水平方向的角度，

即

表示當(dāng)前幀中根據(jù)關(guān)鍵點(diǎn)的相對(duì)位置計(jì)算得到的目標(biāo)相對(duì)于水平方向的角度，

即

med表示取中位數(shù)。

綜上，相對(duì)與初始幀，在當(dāng)前幀中目標(biāo)的旋轉(zhuǎn)角度計(jì)算如式如下：

三、具體過程

如圖2到圖5所示，具體過程分為輸入、目標(biāo)跟蹤、輸出三個(gè)部分。

輸入：目標(biāo)在初始幀t中的位置；目標(biāo)的位置用(x，y，w，h)表示，分別指目標(biāo)在圖像幀的橫向、縱向坐標(biāo)，目標(biāo)矩形框的寬、高。

目標(biāo)跟蹤過程：

(1)靜態(tài)外觀模型-在初始幀提取矩形框的中心，采用surf特征將圖像分為目標(biāo)特征點(diǎn)，背景特征點(diǎn)，構(gòu)成一個(gè)特征庫，如圖2所示；(2)自適應(yīng)外觀模型-通過金字塔lk光流的前向光流(第t-1到t幀)和后向光流(第t到t-l幀)得到t幀目標(biāo)的特征點(diǎn)，在此過程中難免會(huì)納入各種噪聲信息，如圖3；(3)靜態(tài)外觀模型對(duì)自適應(yīng)外觀模型獲取目標(biāo)特征的糾正-1)t幀目標(biāo)的特征點(diǎn)與特征庫進(jìn)行全局匹配；2)t幀目標(biāo)特征與初始幀目標(biāo)特征點(diǎn)局部匹配，剔除不穩(wěn)定的特征點(diǎn)，確定最終的目標(biāo)特征點(diǎn)，作為外觀模型的輸出，用于估計(jì)外觀信息和尺度信息，如圖4；(4)單連接層次聚類的去噪-對(duì)外觀模型的輸出進(jìn)行去噪處理，得到的結(jié)果作為計(jì)算仿射變換矩陣的初始條件，對(duì)目標(biāo)的尺度和旋轉(zhuǎn)角度進(jìn)行有效估計(jì)，實(shí)現(xiàn)跟蹤算法的魯棒性和實(shí)時(shí)性，如圖5；

輸出：下一幀目標(biāo)位置。