本發(fā)明屬于視覺跟蹤領域，涉及一種基于尺度自適應相關濾波和特征點匹配的目標跟蹤算法，解決長時間目標跟蹤問題。

背景技術：

最近幾年，隨著目標跟蹤算法的不斷提出，大部分的跟蹤算法可以很好的解決簡單環(huán)境下單一目標的輕微遮擋問題。然而在更加復雜的情形如嚴重遮擋或者目標離開視野等，依然需要更加健壯的長期、實時跟蹤算法。

現(xiàn)有的基于相關濾波的跟蹤算法已經(jīng)能夠獲得非常高速的處理速度從而保證了目標跟蹤的實時處理要求，不過對于遮擋問題仍然不能很好地避免目標模型被污染并且不能適應目標的尺寸變化。另外，基于特征點匹配的跟蹤算法中如何選取有代表性的特征點來表示目標將直接影響跟蹤的效果，而且基于特征點匹配的跟蹤算法難以達到實時的處理速度、不能很好的剔除游離的點。

技術實現(xiàn)要素：

針對以上問題，本發(fā)明提供一種基于尺度自適應相關濾波和特征點匹配的目標跟蹤算法，該方法能夠判斷目標被遮擋的程度或者是否已經(jīng)消失于視野，進而決定是否更新算法，避免模型被背景信息污染產(chǎn)生漂移現(xiàn)象。此外對于目標重新出現(xiàn)于視野時，本發(fā)明能夠?qū)崿F(xiàn)目標的重新檢測，通過更新相應模塊實現(xiàn)持續(xù)長久穩(wěn)定的目標跟蹤。而且該算法處理速度完全滿足實時處理要求，針對實際復雜場景有非常好的效果。

為了達到上述目的，本發(fā)明的技術方案為：

一種基于尺度自適應相關濾波和特征點匹配的目標跟蹤算法，包括以下步驟：

第一步，建立尺度自適應相關濾波跟蹤模塊CFF，對每一幀圖像進行處理；

第二步，建立基于特征點匹配和光流的跟蹤模塊MTF；

第三步，建立CFF和MTF的協(xié)同處理判定模塊。

本發(fā)明的有益效果為：本發(fā)明能夠有效的長時間進行目標跟蹤，能夠解決嚴重遮擋以及目標離開視野之后目標重現(xiàn)時的再次成功跟蹤問題。將跟蹤問題分解成能夠相互輔助的兩部分CFF和MTF。其中MTF利用初始幀的靜態(tài)信息和處理過程中上一相鄰幀的動態(tài)信息，采用前景特征點的數(shù)量表明遮擋的程度，進而決定是否更新CFF和MTF。同時CFF利用從MTF得到的自適應目標尺寸參數(shù)使得本身就非常優(yōu)秀的相關濾波算法能夠處理目標的尺度變化問題。并且CFF能夠在目標被嚴重遮擋時停止訓練和更新，進一步減少了誤差信息的引入，因此擁有更加卓越的表現(xiàn)。在兩個非常有代表性的大型數(shù)據(jù)集上進行評價，效果表明，能夠利用CFF和MTF模塊來提高跟蹤性能，并且能夠應用到實際場景。

附圖說明

圖1為基于CFF和MTF模塊的算法框架圖；

圖2為具有代表性的前景特征點變化示意圖；(a)為初始幀特征點示意圖；(b)為從被遮擋物重新出現(xiàn)時穩(wěn)定特征點示意圖；(c)為目標旋轉(zhuǎn)時的特征點示意圖；(d)為長時間跟蹤的特征點示意圖；

圖3為算法在OTB數(shù)據(jù)集上的整體性能評價；(a)為精度圖；(b)為成功率圖；

圖4為算法在OTB數(shù)據(jù)集上對遮擋、離開視野兩個屬性的性能評價；(a)為遮擋屬性下的性能評價；(b)為離開視野屬性下的性能評價；

圖5為算法在Vojir數(shù)據(jù)集上基于幀的性能評價；

圖6為算法在Vojir數(shù)據(jù)集上基于序列的性能評價。

具體實施方式

以下對本發(fā)明做進一步說明。

第一步，建立尺度自適應相關濾波跟蹤模塊CFF，對每一幀圖像進行處理

給定初始信息，將初始幀的目標區(qū)域框作為正樣本，采用W×H的圖像塊x_w,h來表達，目標區(qū)域中心周圍循環(huán)移位得到負樣本，采用目標周圍區(qū)域的循環(huán)矩陣采集正負樣本；所述的初始信息包括初始幀和對應的目標區(qū)域框；

a)訓練目標檢測器

采用所述圖像塊訓練得到相關濾波的目標檢測器，即找到回歸函數(shù)f(z)＝ω^Tz，得到如公式(1)所示的最小化平方誤差：

min_ωΣ_w，h|<φ(x_w,h),ω>-y(w,h)|²+λ||w||²。 (1)

其中，φ是通過核函數(shù)κ將線性回歸映射到非線性回歸的映射函數(shù)；<φ(x_w,h),ω>表示φ(x_w,h)和ω的內(nèi)積；ω為回歸函數(shù)的參數(shù)；λ是用來控制過擬合的參數(shù)；y(w,h)是x_w,h的標簽，回歸目標y遵從高斯分布；在非線性特征空間里，ω＝∑_w,hα(w,h)φ(x_w,h)。

b)檢測初始幀之后的下一幀預測位置

給定初始幀的位置，采用步驟a)訓練得到的目標檢測器檢測下一幀運動目標所在位置，采集搜索區(qū)域內(nèi)所有測試樣本，根據(jù)公式(3)得到目標檢測器的響應輸出，其中響應輸出最大的位置即為下一幀運動目標所在位置；所述的測試樣本通過循環(huán)移位得到，進而極大地提高運算效率；所述的搜索區(qū)域為以目標區(qū)域為中心，目標區(qū)域框2.5倍大小的區(qū)域；尺度自適應相關濾波跟蹤利用循環(huán)矩陣(即所述的測試樣本)在傅里葉空間能夠?qū)腔男再|(zhì)將矩陣的運算轉(zhuǎn)化為向量的Hadamad積，即元素的點乘，得到

其中，和代表傅立葉變換和它的逆；(k^x)＝κ(x_w,h,x)；向量α包含所有相關系數(shù)α(w,h)。

為進一步增強跟蹤的性能，采用自適應目標尺度表達目標外觀，引入尺度自適應參數(shù)，采用z＝ζx_w,h表示目標尺度的變化，ζ是目標尺寸的變化系數(shù)；此時計算目標檢測器的響應輸出為：

其中，⊙代表元素的點乘運算；找到響應輸出最大的對應的表示新檢測到的運動目標所在位置；

采用新的運動目標所在位置更新目標檢測器；重復上述步驟處理每一幀圖像；

第二步，建立基于特征點匹配和光流的跟蹤模塊MTF

首先檢測初始幀的所有特征點，并計算其相應特征描述符

其中，和分別代表前景特征點和背景特征點的特征描述符數(shù)據(jù)庫，和代表對應特征點的數(shù)量；d_i為二進制描述符d_i∈{0,1}^d；為坐標，

前景特征點含有固定的索引值，在初始幀之后的每一幀，由特征點靜態(tài)匹配和動態(tài)光流兩種方式得到每一幀對應的特征點K_t；

其中，m為中對應特征點的索引；a代表坐標；為特征點K_t的數(shù)量；

得到K_t的具體步驟為：

b)特征點靜態(tài)匹配

采用BRISK全圖探測特征點，并計算特征描述符

其中，d_k為特征描述符，p_k是絕對坐標，N_D為特征點的數(shù)量；采用公式(7)所示的漢明距離計算每個候選描述符與初始特征描述符中每一個特征描述符之間的距離d，得到最近鄰特征描述符和第二近鄰特征描述符

為了有效剔除異常匹配的特征點，計算和以及根據(jù)公式(8)計算它們的比率r(d_k)，當比率r(d_k)<0.8時，得到成功匹配的特征點，記為匹配特征點得到對應的前景特征點的索引值；公式(8)具體為：

c)動態(tài)光流

每一幀保持一組活躍前景特征點其中p_i^t-1表示特征點在第t-1幀的坐標，而p_i^o是特征點在初始模版中的坐標。

采用LK光流法獲取前一幀特征點在第t幀光流匹配的特征點，并且利用

Forward-Backward策略獲得可靠的特征點提高魯棒性能；移除跟蹤無效的特征點之后，得到跟蹤特征點

d)融合特征點靜態(tài)匹配和動態(tài)光流兩種方式得到的結果

將跟蹤特征點和匹配特征點融合；在融合過程中，如果和對應到初始特征點的索引一致，只保留移除光流跟蹤的得到融合的特征點；如果不一致，和都保留，得到融合的特征點；

再根據(jù)幾何約束策略判定上述融合的特征點為前景特征點或背景特征點，根據(jù)前景特征點的數(shù)量直接判定跟蹤是否成功，即采用公式(9)判斷結果是否可信：當前景特征點數(shù)量超過閾值時，G_C＝True意味著跟蹤結果可信；否則表示結果不可信；

其中，θ_I表示目標成功跟蹤的閾值；N_I為前景特征點的數(shù)量；

第三步，CFF和MTF的協(xié)同處理判定模塊

a)部分或完全遮擋情形：在跟蹤過程中，當前景特征點數(shù)量銳減至閾值以下時，表示發(fā)生部分遮擋或完全遮擋；此時MTF的動態(tài)光流停止工作，即當G_C＝False時，另外還需停止更新CFF模塊，避免CFF模塊引入背景雜亂信息導致漂移；MTF的靜態(tài)匹配需要持續(xù)進行，實現(xiàn)重新跟蹤；

b)目標離開遮擋物重新出現(xiàn)或者目標離開視野之后再次出現(xiàn)在視野中時的情形：MTF的靜態(tài)匹配操作持續(xù)進行，當目標區(qū)域重新出現(xiàn)在視野時，部分目標前景特征點被成功匹配，根據(jù)這些前景特征點得到新的目標位置；采用新的目標位置重新啟動CFF模塊和MTF的動態(tài)光流跟蹤，恢復兩個模塊協(xié)同工作模式。

c)目標穩(wěn)定運行情形：對于目標穩(wěn)定、緩慢運行時經(jīng)歷的輕微形變、旋轉(zhuǎn)情形，將動態(tài)光流得到的新的、穩(wěn)定的特征點逐步添加到在處理過程中如果判斷相鄰幀匹配得到的特征點和初始幀前景特征點為有效的前景特征點，則保留，如果為無效的前景特征點，則刪除，能夠避免無限擴張導致的計算壓力，保證在一個合理的大小水平。

選取當前效果最為顯著并且能夠達到實時處理速度的六個算法進行對比，它們分別是Struck、KCF、TLD、OAB、CT和CMT。

首先是在OTB數(shù)據(jù)集上的評價。利用精度圖和成功率圖這兩個指標來衡量算法的性能。圖3為七個算法的總體性能的定量分析，本發(fā)明提供的算法在兩種指標下能夠排在第三位，并且和第二位非常接近，而且比非常優(yōu)秀的長期跟蹤算法TLD得到更好的跟蹤效果。另外注意到CMT這種單純基于特征點匹配思路的跟蹤算法，在實際場景中并沒有取得非常好的跟蹤效果。這也側(cè)面證明了本發(fā)明提供的算法有效地提高了特征點匹配模塊的跟蹤性能。由于OTB提供了基于屬性的性能評價，因此在圖4中衡量了七個算法在遮擋、離開視野屬性下的表現(xiàn)，本發(fā)明提供的算法獲得排名第二的優(yōu)異成績。

其次是在Vojir數(shù)據(jù)集上的評價。為了能夠充分的在具有嚴重遮擋和離開視野屬性的序列中進行評價，進而衡量本發(fā)明提供的算法在處理這種極具挑戰(zhàn)的情形下的表現(xiàn)。選取更有挑戰(zhàn)性的Vojir跟蹤數(shù)據(jù)集，它是由幾個非常有影響力的論文所采用的數(shù)據(jù)集匯集到一起組成。因此這個數(shù)據(jù)集包含更多復雜的情形，非常適合衡量本發(fā)明提供的算法。依然采用成功率圖進行衡量7個算法的性能。圖5展示了7個算法在Vojir數(shù)據(jù)集上基于幀的性能評價，本發(fā)明提供的算法在這種大范圍實際場景中表現(xiàn)更加突出，具有絕對的優(yōu)勢，一直處于第一名。此外考慮到每一個序列長度并不相同，因此在最終衡量結果中貢獻不一致，即具有較多幀的序列具有較高的貢獻值。因此進一步采用基于序列的衡量方式，圖6展示了7個算法基于序列的性能評價，本發(fā)明提供的算法能夠排在第二位，通過和圖5的結果對比發(fā)現(xiàn)，也側(cè)面證明了本發(fā)明提供的算法更善于處理含有大量幀的序列，即在長時間跟蹤過程中表現(xiàn)更加優(yōu)越。由此可以證明：本發(fā)明提供的算法在長時間目標跟蹤方面具有更優(yōu)越的性能。