![基于空間耦合關(guān)系和歷史模型的目標(biāo)跟蹤方法與流程](http://img.xjishu.com/img/zl/2017/10/222026391207740.gif)
本發(fā)明屬于目標(biāo)跟蹤
技術(shù)領(lǐng)域:
,尤其是一種基于空間耦合關(guān)系和歷史模型的目標(biāo)跟蹤方法。
背景技術(shù):
:目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域研究最為火熱的方向之一,并且在視頻監(jiān)控、自動(dòng)駕駛、人機(jī)交互和虛擬現(xiàn)實(shí)中起到至關(guān)重要的作用。經(jīng)過幾十年的研究,很多目標(biāo)跟蹤的算法被提出,并且取得了非常大的進(jìn)步。然而目標(biāo)跟蹤由于諸多因素的影響,仍然很難應(yīng)用到實(shí)際場景中。部分遮擋、全遮擋或者是背景噪聲都會(huì)導(dǎo)致模型漂移到背景之中,嚴(yán)重地影響著跟蹤算法的性能。利用分類器思想構(gòu)建的跟蹤算法,因?yàn)樵诮r(shí),考慮到了背景因素,因此能夠有效地處理部分遮擋、光照變化和背景噪聲。普通的算法很難處理長期完全遮擋,或者是目標(biāo)移出視野范圍的情況,需要利用對是否跟蹤失敗進(jìn)行檢測,若失敗后,則利用重檢測模塊重新檢測目標(biāo)位置。但是重檢測算法很容易受到相似目標(biāo)的干擾,若有多個(gè)相似目標(biāo)存在,則很難確定目標(biāo)的真實(shí)位置。因此空間環(huán)境相關(guān)性被用來預(yù)測目標(biāo)位置。目標(biāo)跟蹤算法主要分為生成式和判別式兩大類。判別式分類算法利用在線更新的方式訓(xùn)練得到一個(gè)分類器模型,同時(shí)在建模時(shí)考慮到了背景信息,因此在處理很多跟蹤場景時(shí),都有不錯(cuò)的效果。一種基于在線AdaBoost算法的實(shí)時(shí)目標(biāo)跟蹤算法(H.Grabner,M.Grabner,andH.Bischof,“Real-timetrackingviaon-lineboosting.,”inBMVC,2006,vol.1,p.6.)在模型更新時(shí)利用了背景作為負(fù)樣本。此外,一種半監(jiān)督的算法(H.Grabner,C.Leistner,andH.Bischof,“Semisupervisedon-lineboostingforrobusttracking,”inECCV,pp.234–247.Springer,2008.)僅以第一幀標(biāo)記的樣本進(jìn)行跟蹤。Bakenko等人(B.Babenko,M.-H.Yang,andS.Belongie,“Robustobjecttrackingwithonlinemultipleinstancelearning,”TPAMI,vol.33,no.8,pp.1619–1632,2011.)引入多示例學(xué)習(xí)算法到目標(biāo)跟蹤領(lǐng)域,有效地處理了跟蹤時(shí)樣本存在歧義的問題。Henriques等人(J.Henriques,R.Caseiro,P.Martins,andJ.Batista,“High-speedtrackingwithkernelizedcorrelationfilters,”TPAMI,vol.37,no.3,pp.583–596,2015.)則將訓(xùn)練樣本作為一個(gè)循環(huán)矩陣,并且以相關(guān)濾波作為分類器。綜上所述,現(xiàn)有的目標(biāo)跟蹤算法容易出現(xiàn)目標(biāo)漂移到背景區(qū)域的問題,因此,很難確定目標(biāo)的真實(shí)位置,不能適應(yīng)各種環(huán)境變化的情況。技術(shù)實(shí)現(xiàn)要素:本發(fā)明的目的在于彌補(bǔ)現(xiàn)有技術(shù)的不足之處,提供一種設(shè)計(jì)合理、魯棒性良好且擴(kuò)展性強(qiáng)的基于空間耦合關(guān)系和歷史模型的目標(biāo)跟蹤方法。本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實(shí)現(xiàn)的:一種基于空間耦合關(guān)系和歷史模型的目標(biāo)跟蹤方法,包括以下步驟:步驟1、采用多示例學(xué)習(xí)跟蹤算法對跟蹤目標(biāo)建立MIL模型,并在跟蹤的過程中,不斷更新該MIL模型;步驟2、利用跟蹤目標(biāo)的歷史狀態(tài),記錄表達(dá)各個(gè)不同歷史狀態(tài)的目標(biāo)模型,構(gòu)成一個(gè)目標(biāo)模型池;步驟3、對每個(gè)模型分配一權(quán)重因子,針對當(dāng)前幀選擇最佳的目標(biāo)模型并估計(jì)目標(biāo)位置;步驟4、檢測目標(biāo)周邊區(qū)域的關(guān)鍵點(diǎn),找出與跟蹤目標(biāo)有強(qiáng)耦合關(guān)系的物體,利用空間相關(guān)信息預(yù)測目標(biāo)位置;步驟5、融合利用最佳模型估計(jì)出的目標(biāo)位置和利用空間相關(guān)信息預(yù)測出的目標(biāo)位置,得到最終的目標(biāo)位置。所述步驟1的實(shí)現(xiàn)方法包括以下步驟:(1)構(gòu)建Haar特征集F={f1,...,fd},該特征集包含有d個(gè)特征,選擇出一組圖像塊:并計(jì)算每個(gè)圖像塊的特征值,得到MIL模型;(2)利用構(gòu)建的MIL模型估計(jì)目標(biāo)位置概率p(y=1|x),更新目標(biāo)位置該MIL模型包含一組高斯分類器,采用在線Boost算法構(gòu)建強(qiáng)分類器;(3)根據(jù)目標(biāo)的新位置,選擇一組正樣本圖像塊和一組負(fù)樣本圖像塊,計(jì)算樣本的特征值,更新高斯分類器的均值、方差參數(shù),從而更新MIL模型。所述步驟2的實(shí)現(xiàn)方法包括以下步驟:(1)MIL跟蹤算法利用多個(gè)弱分類器構(gòu)建目標(biāo)模型,每個(gè)弱分類器利用高斯分布構(gòu)建,包含4個(gè)重要的參數(shù),分別是正負(fù)樣本的均值和方差,參數(shù)矩陣m被用來表示目標(biāo),如下式所示:m=μ1pμ2p...μdpσ1pσ2p...σdpμ1nμ2n...μdnσ1nσ2n...σdn]]>其中d表示弱分類器的數(shù)量,μ*p,μ*n,σ*p,σ*n分別表示正負(fù)樣本的均值和方差,以此構(gòu)建出目標(biāo)模型池M={m1,...,mn};(2)每一幀目標(biāo)模型更新后,得到一個(gè)新的參數(shù)矩陣模型表示,矩陣余弦相似度被用來衡量兩個(gè)模型的相似度,并根據(jù)相似度的大小,判斷是否需要保存該模型,該矩陣余弦相似度定義如下:ρ(m1,m2)=trace(m1Tm2||m1||F||m2||F)∈[-1,1]]]>其中||m1||F表示矩陣m1的F范數(shù),對于模型mt-1,若ρ(mt-1,m)<θ,則將模型mt-1保存到模型池中,其中θ是設(shè)置的固定的閾值,判斷模型的相似程度。所述步驟3的實(shí)現(xiàn)方法包括以下步驟:(1)、判斷目標(biāo)模型池的大小,若超過了限定值,則刪除目標(biāo)模型池中最相似兩個(gè)模型的后者;(2)、對于第t幀,從構(gòu)建的模型池中選出與當(dāng)前幀最匹配的外觀模型,如下式所示:mt*=margmaxi∈[1,N+1]||ci(x)||∞]]>其中ci(x)是利用模型mi計(jì)算得到的概率置信圖,N是模型池中模型的數(shù)量,||||∞表示無窮范數(shù)。所述步驟4的實(shí)現(xiàn)方法包括以下步驟:(1)SURF特征被用來檢測目標(biāo)周邊區(qū)域的關(guān)鍵點(diǎn),將檢測關(guān)鍵點(diǎn)的區(qū)域限制在寬αw和高αh的矩形范圍內(nèi)且不包括目標(biāo)區(qū)域,其中α表示縮放因子,w和h表示目標(biāo)區(qū)域的寬和高,第t幀上檢測關(guān)鍵點(diǎn)按如下公式得到:Ct={xit,fit,rit=0,nit=0}i=1Nt]]>其中是關(guān)鍵點(diǎn)的位置,fit是對關(guān)鍵點(diǎn)對應(yīng)的描述子,rit是關(guān)鍵點(diǎn)與目標(biāo)中心位置的相對距離,是指該關(guān)鍵點(diǎn)連續(xù)存在的幀數(shù),初始化rit和為0;(2)得到第t幀的一組關(guān)鍵點(diǎn)后,將該組關(guān)鍵點(diǎn)與t-1幀的關(guān)鍵點(diǎn)進(jìn)行匹配,如果滿足下式,則認(rèn)為匹配成功:d(fit,ffnt-1)d(fit,fsnt-1)<ϵ]]>其中,和分別表示關(guān)鍵點(diǎn)在第t幀中最相似和次相似的關(guān)鍵點(diǎn);(3)關(guān)鍵點(diǎn)匹配完成得到一組匹配成功的關(guān)鍵點(diǎn),對于成功匹配的關(guān)鍵點(diǎn),更新這些點(diǎn)的相對距離和匹配次數(shù)如下:rit=rjt-1nit=njt-1+1]]>(4)利用所有匹配次數(shù)的點(diǎn)預(yù)測目標(biāo)位置,認(rèn)為在連續(xù)十幀中都出現(xiàn)的關(guān)鍵點(diǎn),與目標(biāo)有很強(qiáng)的運(yùn)動(dòng)關(guān)聯(lián)性,預(yù)測目標(biāo)位置的公式如下:lts=Σi=1Nmt(xit-rit)Nmt]]>其中是滿足條件所有關(guān)鍵點(diǎn)的個(gè)數(shù)。所述步驟5采用如下融合公式得到最終的目標(biāo)位置:lt=argminli∈L|li-lts|]]>其中L是一組候選目標(biāo)位置的集合。本發(fā)明的優(yōu)點(diǎn)和積極效果是:本發(fā)明融合了跟蹤目標(biāo)在空間上的強(qiáng)耦合關(guān)系和目標(biāo)的歷史狀態(tài)到一種分類式跟蹤算法中。目標(biāo)的歷史狀態(tài)記錄了目標(biāo)的多種變化形態(tài),構(gòu)建一個(gè)歷史模型池,并利用最大后驗(yàn)概率準(zhǔn)則從中選出最適合當(dāng)前幀的模型,從而校正目標(biāo)模型漂移。另外,目標(biāo)的周圍環(huán)境信息可用于輔助目標(biāo)跟蹤,檢測目標(biāo)周圍的關(guān)鍵點(diǎn),并篩選出與目標(biāo)存在強(qiáng)耦合關(guān)系的關(guān)鍵點(diǎn)預(yù)測目標(biāo)位置,可有效解決目標(biāo)被遮擋或者被相似物體干擾導(dǎo)致不能準(zhǔn)確跟蹤的問題。本發(fā)明設(shè)計(jì)合理,以多示例學(xué)習(xí)跟蹤算法為基本的跟蹤模型,保存一組目標(biāo)歷史模型,配合空間上下文信息輔助跟蹤,達(dá)到了出色的跟蹤效果,能夠應(yīng)對各種環(huán)境變化的情況,具有良好的魯棒性和較強(qiáng)的可擴(kuò)展性。附圖說明圖1是包括不同序列使用不同算法跟蹤的結(jié)果圖;圖2是采用不同算法在所有序列上的定量比較結(jié)果圖(左側(cè)為精確率曲線,右側(cè)為成功率曲線)。具體實(shí)施方式以下結(jié)合附圖對本發(fā)明實(shí)施例做進(jìn)一步詳述:一種基于空間耦合關(guān)系和歷史模型的目標(biāo)跟蹤方法,包括以下步驟:步驟1、以多示例學(xué)習(xí)(MIL)跟蹤算法為基本跟蹤模型,對跟蹤目標(biāo)進(jìn)行建立MIL模型,并在跟蹤的過程中,不斷更新該MIL模型,以適應(yīng)目標(biāo)或者環(huán)境的變化。同時(shí),MIL模型利用了分類器的思想,將背景信息考慮模型中,使得算法能夠更加有效地應(yīng)對模型漂移。本步驟的具體實(shí)現(xiàn)方法為:(1)、構(gòu)建Haar特征集F={f1,...,fd},共包含有d個(gè)特征,選擇出一組圖像塊并計(jì)算每個(gè)圖像塊的特征值;(2)、利用構(gòu)建的MIL模型估計(jì)目標(biāo)位置概率p(y=1|x),更新目標(biāo)位置MIL模型包含一組高斯分類器,采用在線Boost算法構(gòu)建強(qiáng)分類器;(3)、根據(jù)目標(biāo)的新位置,選擇一組正樣本圖像塊和一組負(fù)樣本圖像塊,更新目標(biāo)模型。在更新模型時(shí),主要是利用新的正負(fù)樣本,計(jì)算樣本的特征值,更新高斯分類器的均值、方差等參數(shù)。步驟2、隨著時(shí)間的推移,目標(biāo)會(huì)發(fā)生各種形變,也就會(huì)存在多種多樣的形態(tài)。本算法利用目標(biāo)的歷史狀態(tài),記錄表達(dá)各個(gè)不同狀態(tài)的目標(biāo)模型,構(gòu)成一個(gè)目標(biāo)模型池,并將目標(biāo)模型用一個(gè)參數(shù)矩陣來表示,利用相似度準(zhǔn)則來衡量模型是否需要保存。本步驟的具體實(shí)現(xiàn)方法為:(1)、提出一種簡單而有效的模型表示方式。MIL跟蹤算法利用多個(gè)弱分類器構(gòu)建目標(biāo)模型,而每個(gè)弱分類器利用高斯分布構(gòu)建,包含4個(gè)重要的參數(shù),分別是正負(fù)樣本的均值和方差。因此,參數(shù)矩陣被用來表示目標(biāo),如下式所示:m=μ1pμ2p...μdpσ1pσ2p...σdpμ1nμ2n...μdnσ1nσ2n...σdn]]>其中d表示弱分類器的數(shù)量,μ*p,μ*n,σ*p,σ*n分別表示正負(fù)樣本的均值和方差,以此構(gòu)建出模型池M={m1,...,mn}。(2)、利用參數(shù)矩陣表示出目標(biāo)模型后,對于每一幀,模型更新后,都會(huì)得到一個(gè)新的參數(shù)矩陣模型表示,矩陣余弦相似度被用來衡量兩個(gè)模型的相似度,并根據(jù)相似度的大小,判斷是否需要保存該模型。矩陣余弦相似度定義如下:ρ(m1,m2)=trace(m1Tm2||m1||F||m2||F)∈[-1,1]]]>其中||m1||F表示矩陣m1的F范數(shù)。對于模型mt-1,若ρ(mt-1,m)<θ,則將模型mt-1保存到模型池中,其中θ是設(shè)置的固定的閾值,判斷模型的相似程度。模型池會(huì)記錄著目標(biāo)的經(jīng)歷的各種形態(tài),以適應(yīng)目標(biāo)的各種變化。步驟3、針對當(dāng)前幀,選擇最佳的目標(biāo)模型,采用概率最大者作為最佳的模型,為了避免當(dāng)前的模型最可能符合最佳的標(biāo)準(zhǔn),對每個(gè)模型分配一權(quán)重因子,越早的模型,權(quán)重越大。本步驟的具體實(shí)現(xiàn)方法為:(1)、在步驟2中完成了模型池的初步構(gòu)建,但模型池不能無限制的增長,否則系統(tǒng)的運(yùn)行開銷會(huì)過大,導(dǎo)致系統(tǒng)運(yùn)行緩慢,因此限制模型池的大小,若超過了限制的大小,則刪除模型池中最相似的兩個(gè)模型的后者。(2)、對于第t幀,從構(gòu)建的模型池中選出與當(dāng)前幀最匹配的外觀模型,如下式所示:mt*=margmaxi∈[1,N+1]||ci(x)||∞]]>其中ci(x)是利用模型mi計(jì)算得到的概率置信圖,N是模型池中模型的數(shù)量,||||∞表示無窮范數(shù)。步驟4、檢測目標(biāo)周邊區(qū)域的關(guān)鍵點(diǎn),找出與目標(biāo)有強(qiáng)耦合關(guān)系的物體,用于預(yù)測目標(biāo)的位置。當(dāng)目標(biāo)被嚴(yán)重遮擋時(shí),輔助定位目標(biāo)的位置。本步驟的具體實(shí)現(xiàn)方法為:(1)、SURF特征被用來檢測目標(biāo)周邊區(qū)域的關(guān)鍵點(diǎn),將檢測關(guān)鍵點(diǎn)的區(qū)域限制在寬αw和高αh的矩形范圍內(nèi)(但不包括目標(biāo)區(qū)域)。其中α表示縮放因子,w和h表示目標(biāo)區(qū)域的寬和高。第t幀上檢測關(guān)鍵點(diǎn)得到:Ct={xit,fit,rit=0,nit=0}i=1Nt]]>其中是關(guān)鍵點(diǎn)的位置,fit是對關(guān)鍵點(diǎn)對應(yīng)的描述子,rit是關(guān)鍵點(diǎn)與目標(biāo)中心位置的相對距離,是指該關(guān)鍵點(diǎn)連續(xù)存在的幀數(shù)。初始化rit和為0.(2)、得到關(guān)于第t幀的一組關(guān)鍵點(diǎn)后,將該組關(guān)鍵點(diǎn)與t-1幀的關(guān)鍵點(diǎn)進(jìn)行匹配。若滿足下式,則認(rèn)為匹配成功:d(fit,ffnt-1)d(fit,fsnt-1)<ϵ]]>其中,和分別表示關(guān)鍵點(diǎn)在第t幀中最相似和次相似的關(guān)鍵點(diǎn)。(3)、關(guān)鍵點(diǎn)匹配完成,得到一組匹配成功的關(guān)鍵點(diǎn),對于成功匹配的關(guān)鍵點(diǎn),更新這些點(diǎn)的相對距離和匹配次數(shù)如下:rit=rjt-1nit=njt-1+1]]>(4)、利用所有匹配次數(shù)的點(diǎn)預(yù)測目標(biāo)位置,認(rèn)為在連續(xù)十幀中都出現(xiàn)的關(guān)鍵點(diǎn),與目標(biāo)有很強(qiáng)的運(yùn)動(dòng)關(guān)聯(lián)性,預(yù)測目標(biāo)位置的公式如下:lts=Σi=1Nmt(xit-rit)Nmt]]>其中是滿足條件所有關(guān)鍵點(diǎn)的個(gè)數(shù)。步驟5、融合利用最佳模型估計(jì)出的目標(biāo)位置和利用空間相關(guān)信息預(yù)測出的目標(biāo)位置,得到最終的目標(biāo)位置。為了防止目標(biāo)漂移,融合利用兩種方法得到目標(biāo)位置。本步驟所采用的融合公式如下:lt=argminli∈L|li-lts|]]>其中L是一組候選目標(biāo)位置的集合。下面按照本發(fā)明的方法進(jìn)行實(shí)驗(yàn),說明本發(fā)明的效果。測試環(huán)境:VisualStudio2010,MATLAB2014b。測試序列:一共包含了25個(gè)測試序列,分別為bird2,bolt,car2,cardark,coke,coupon,crowds,dancer2,david2,dog,doll,faceocc2,fish,freeman1,football,jogging,man,mhyang,motorRolling,mountainbike,skater,suv,sylvester,walking2,woman。測試指標(biāo):實(shí)驗(yàn)使用了兩種評(píng)價(jià)指標(biāo),分別為CLE和VOR,其中CLE是中心位置誤差,表示跟蹤到的目標(biāo)和真實(shí)目標(biāo)的中心位置的像素距離。因?yàn)镃LE忽略了目標(biāo)大小的影響,作為補(bǔ)充,考慮VOR準(zhǔn)則,VOR定義為跟蹤的目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域的交集與并集的比值。測試結(jié)果如表1、圖1、圖2所示:表1、8個(gè)跟蹤算法在25個(gè)序列上的實(shí)驗(yàn)結(jié)果,CLE<20,VOR>0.5方法KCFSTCStruckSCMASLAMILOAB本專利VOR0.75340.49940.7120.73660.66080.44480.54010.7987CLE0.84670.75250.82930.80950.71760.5620.62740.8597通過上表及圖1、圖2可以看出,采用本發(fā)明進(jìn)行目標(biāo)跟蹤相對于其他方法具有一定的優(yōu)越性。表1給出了CLE<=20和VOR>=0.5時(shí),跟蹤成功的視頻幀的比例。無論是在CLE標(biāo)準(zhǔn)還是VOR標(biāo)準(zhǔn)下,本發(fā)明都取得了最佳的性能,平均跟蹤成功的幀數(shù)達(dá)到了85.97%(CLE)和79.87%(VOR)。圖1給出了四種算法在8個(gè)視頻序列下的跟蹤結(jié)果。在序列suv和woman中,目標(biāo)受到了嚴(yán)重的遮擋,除了我們提出的方法其他的算法都不能成功跟蹤目標(biāo),說明在本發(fā)明中采用的模型校正策略能夠有效地避免模型漂移。序列coupon和cardark的背景較復(fù)雜,存在相似目標(biāo)的干擾。也只有我們提出的算法能夠一直成功定位目標(biāo),本發(fā)明中采用的空間預(yù)測方法能夠有效地排除相似目標(biāo)的干擾。而在序列man和coke中,本發(fā)明涉及的方法一度丟失目標(biāo),但仍然能夠通過本發(fā)明中的重檢測機(jī)制,重新定位目標(biāo)位置。最后,兩個(gè)幀數(shù)大于3000的序列被用來驗(yàn)證本發(fā)明在長期跟蹤中的出色效果。圖2給出了定性的跟蹤結(jié)果比較,可見,本發(fā)明提出的算法在精確率曲線和成功率曲線上都是優(yōu)于其他算法的。本發(fā)明能夠應(yīng)對各種環(huán)境變化的情況,具有良好的魯棒性和較強(qiáng)的可擴(kuò)展性。需要強(qiáng)調(diào)的是,本發(fā)明所述的實(shí)施例是說明性的,而不是限定性的,因此本發(fā)明包括并不限于具體實(shí)施方式中所述的實(shí)施例,凡是由本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的技術(shù)方案得出的其他實(shí)施方式,同樣屬于本發(fā)明保護(hù)的范圍。當(dāng)前第1頁1 2 3