1.一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法,其特征在于以下步驟:
第一步,建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF,對(duì)每一幀圖像進(jìn)行處理
給定初始信息,將初始幀的目標(biāo)區(qū)域框作為正樣本,采用W×H的圖像塊xw,h表達(dá),目標(biāo)區(qū)域中心周圍循環(huán)移位得到負(fù)樣本,采用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本;所述的初始信息包括初始幀和對(duì)應(yīng)的目標(biāo)區(qū)域框;
a)訓(xùn)練目標(biāo)檢測(cè)器
采用圖像塊訓(xùn)練得到相關(guān)濾波的目標(biāo)檢測(cè)器,即找到回歸函數(shù)f(z)=ωTz,得到如公式(1)所示的最小化平方誤差:
minω∑w,h|<φ(xw,h),ω>-y(w,h)|2+λ||w||2; (1)
其中,φ是通過核函數(shù)κ將線性回歸映射到非線性回歸的映射函數(shù);<φ(xw,h),ω>表示φ(xw,h)和ω的內(nèi)積;ω為回歸函數(shù)的參數(shù);λ是用來控制過擬合的參數(shù);y(w,h)是xw,h的標(biāo)簽,回歸目標(biāo)y遵從高斯分布;在非線性特征空間里,ω=∑w,hα(w,h)φ(xw,h);
b)檢測(cè)初始幀之后的下一幀預(yù)測(cè)位置
給定初始幀的位置,采用步驟a)訓(xùn)練得到的目標(biāo)檢測(cè)器檢測(cè)下一幀運(yùn)動(dòng)目標(biāo)所在位置,采集搜索區(qū)域內(nèi)所有測(cè)試樣本,根據(jù)公式(3)得到目標(biāo)檢測(cè)器的響應(yīng)輸出,其中響應(yīng)輸出最大的位置即為下一幀運(yùn)動(dòng)目標(biāo)所在位置;所述的測(cè)試樣本通過循環(huán)移位得到;尺度自適應(yīng)相關(guān)濾波跟蹤利用循環(huán)矩陣(即所述的測(cè)試樣本)在傅里葉空間能夠?qū)腔男再|(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的Hadamad積,即元素的點(diǎn)乘,得到:
其中,和代表傅立葉變換和它的逆;(kx)=κ(xw,h,x);向量α包含所有相關(guān)系數(shù)α(w,h);所述的循環(huán)矩陣為測(cè)試樣本;
為增強(qiáng)跟蹤性能,采用自適應(yīng)目標(biāo)尺度表達(dá)目標(biāo)外觀,引入尺度自適應(yīng)參數(shù),采用z=ζxw,h表示目標(biāo)尺度的變化,ζ是目標(biāo)尺寸的變化系數(shù);此時(shí)計(jì)算目標(biāo)檢測(cè)器的響應(yīng)輸出為:
其中,⊙代表元素的點(diǎn)乘運(yùn)算;找到響應(yīng)輸出最大的對(duì)應(yīng)的表示新檢測(cè)到的運(yùn)動(dòng)目標(biāo)所在位置;
采用新的運(yùn)動(dòng)目標(biāo)所在位置更新目標(biāo)檢測(cè)器;重復(fù)上述步驟處理每一幀圖像;
第二步,建立基于特征點(diǎn)匹配和光流的跟蹤模塊MTF
首先檢測(cè)初始幀的所有特征點(diǎn),并計(jì)算其相應(yīng)特征描述符
其中,和分別代表前景特征點(diǎn)和背景特征點(diǎn)的特征描述符數(shù)據(jù)庫,和代表對(duì)應(yīng)特征點(diǎn)的數(shù)量;di為二進(jìn)制描述符di∈{0,1}d;為坐標(biāo),
前景特征點(diǎn)含有固定的索引值,在初始幀之后的每一幀,由特征點(diǎn)靜態(tài)匹配和動(dòng)態(tài)光流兩種方式得到每一幀對(duì)應(yīng)的特征點(diǎn)Kt;
其中,m為中對(duì)應(yīng)特征點(diǎn)的索引;a代表坐標(biāo);為特征點(diǎn)Kt的數(shù)量;
得到Kt的具體步驟為:
a)特征點(diǎn)靜態(tài)匹配
采用BRISK全圖探測(cè)特征點(diǎn),并計(jì)算特征描述符
其中,dk為特征描述符,pk是絕對(duì)坐標(biāo),ND為特征點(diǎn)的數(shù)量;采用公式(7)所示的漢明距離計(jì)算每個(gè)候選描述符與初始特征描述符中每一個(gè)特征描述符之間的距離d,得到最近鄰特征描述符和第二近鄰特征描述符
為了有效剔除異常匹配的特征點(diǎn),計(jì)算和以及根據(jù)公式(8)計(jì)算它們的比率r(dk),由比率r(dk)得到成功匹配的特征點(diǎn),記為匹配特征點(diǎn)得到對(duì)應(yīng)的前景特征點(diǎn)的索引值;公式(8)具體為:
b)動(dòng)態(tài)光流
每一幀保持一組活躍前景特征點(diǎn)其中pit-1表示特征點(diǎn)在第t-1幀的坐標(biāo),而pio是特征點(diǎn)在初始模版中的坐標(biāo);
采用LK光流法獲取前一幀特征點(diǎn)在第t幀光流匹配的特征點(diǎn),并且利用Forward-Backward策略得到特征點(diǎn),提高魯棒性能;移除跟蹤無效的特征點(diǎn)之后,得到跟蹤特征點(diǎn)
c)融合特征點(diǎn)靜態(tài)匹配和動(dòng)態(tài)光流兩種方式得到的結(jié)果
將跟蹤特征點(diǎn)和匹配特征點(diǎn)融合;在融合過程中,如果和對(duì)應(yīng)到初始特征點(diǎn)的索引一致,只保留移除光流跟蹤的得到融合的特征點(diǎn);如果不一致,和都保留,得到融合的特征點(diǎn);
再根據(jù)幾何約束策略判定上述融合的特征點(diǎn)為前景特征點(diǎn)或背景特征點(diǎn),根據(jù)前景特征點(diǎn)的數(shù)量直接判定跟蹤是否成功,即采用公式(9)判斷結(jié)果是否可信:當(dāng)前景特征點(diǎn)數(shù)量超過閾值時(shí),GC=True意味著跟蹤結(jié)果可信;否則表示結(jié)果不可信;
其中,θI表示目標(biāo)成功跟蹤的閾值;NI為前景特征點(diǎn)的數(shù)量;
第三步,CFF和MTF的協(xié)同處理判定模塊
a)部分或完全遮擋情形:在跟蹤過程中,當(dāng)前景特征點(diǎn)數(shù)量銳減至閾值以下時(shí),表示發(fā)生部分遮擋或完全遮擋;此時(shí)MTF的動(dòng)態(tài)光流停止工作,即當(dāng)GC=False時(shí),另外還需停止更新CFF模塊,避免CFF模塊引入背景雜亂信息導(dǎo)致漂移;MTF的靜態(tài)匹配需要持續(xù)進(jìn)行,實(shí)現(xiàn)重新跟蹤;
b)目標(biāo)離開遮擋物重新出現(xiàn)或者目標(biāo)離開視野之后再次出現(xiàn)在視野中時(shí)的情形:MTF的靜態(tài)匹配操作持續(xù)進(jìn)行,當(dāng)目標(biāo)區(qū)域重新出現(xiàn)在視野時(shí),部分目標(biāo)前景特征點(diǎn)被成功匹配,根據(jù)這些前景特征點(diǎn)得到新的目標(biāo)位置;采用新的目標(biāo)位置重新啟動(dòng)CFF模塊和MTF的光流跟蹤,恢復(fù)兩個(gè)模塊協(xié)同工作模式;
c)目標(biāo)穩(wěn)定運(yùn)行情形:對(duì)于目標(biāo)穩(wěn)定、緩慢運(yùn)行時(shí)經(jīng)歷的輕微形變、旋轉(zhuǎn)情形,將動(dòng)態(tài)光流得到的新的、穩(wěn)定的特征點(diǎn)逐步添加到在處理過程中如果判斷相鄰幀匹配得到的特征點(diǎn)和初始幀前景特征點(diǎn)為有效的前景特征點(diǎn),則保留,如果為無效的前景特征點(diǎn),則刪除,能夠避免無限擴(kuò)張導(dǎo)致的計(jì)算壓力,保證在一個(gè)合理的大小水平。
2.根據(jù)權(quán)利要求1所述的一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法,其特征在于,第一步步驟b)中所述的搜索區(qū)域?yàn)橐阅繕?biāo)區(qū)域?yàn)橹行?,目?biāo)區(qū)域框2.5倍大小的區(qū)域。
3.根據(jù)權(quán)利要求1或2所述的一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法,其特征在于,第二步步驟a)中所述的成功匹配的特征點(diǎn)的比率r(dk)<0.8。