本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種采用surf特征和顏色特征相融合的剛體目標(biāo)跟蹤方法。

背景技術(shù)：

剛體目標(biāo)表面任意一點(diǎn)的運(yùn)動(dòng)都可以代表整體的運(yùn)動(dòng)，使得利用目標(biāo)區(qū)域內(nèi)的特征來(lái)描述目標(biāo)運(yùn)動(dòng)成為可能。已有的剛體目標(biāo)跟蹤方法致力于提取參考圖像目標(biāo)區(qū)域內(nèi)具有不變性的某些特征，并對(duì)提取的特征進(jìn)行量化和描述，如顏色特征、紋理特征、光流特征。局部特征是指在圖像區(qū)域內(nèi)檢測(cè)到的局部具有不變性、可重現(xiàn)性和特異性的特征，能夠在一定程度上抵抗遮擋、尺度、旋轉(zhuǎn)等復(fù)雜變化，并提供對(duì)特征的定量描述。目前，相比其他特征，局部特征在不變性和特異性方面優(yōu)勢(shì)愈發(fā)明顯，使其更加深入的應(yīng)用在目標(biāo)跟蹤中。在當(dāng)前幀到來(lái)時(shí)，首先對(duì)整個(gè)區(qū)域提取局部特征并描述。進(jìn)而，通過(guò)局部特征的匹配找到同上一目標(biāo)內(nèi)局部特征的候選對(duì)應(yīng)集。借助隨機(jī)采樣一致性算法(ransac)，去除不正確的對(duì)應(yīng)特征集，估計(jì)出運(yùn)動(dòng)變換參數(shù)，實(shí)現(xiàn)目標(biāo)跟蹤。圖1給出了基于特征的跟蹤方法框圖，其主要思路在于將跟蹤看成是局部特征匹配問(wèn)題。

目前，surf(speed-uprobustfeature，加速魯棒特征)特征是應(yīng)用較多且效果較為理想的局部特征之一，主要引入積分圖像快速算法，并通過(guò)執(zhí)行加減法運(yùn)算近似得到高斯二階微分的響應(yīng)值。surf算法主要包括特征檢測(cè)和特征描述兩方面。特征檢測(cè)通過(guò)快速計(jì)算每個(gè)特征的尺度和主方向，并且圈定以檢測(cè)點(diǎn)為中心的尺度旋轉(zhuǎn)不變對(duì)稱(chēng)鄰域；特征描述在該不變性鄰域內(nèi)進(jìn)行haar特征計(jì)算，并最終形成64維特征向量。不同圖像之間的surf特征匹配主要是通過(guò)比較特征向量之間的距離實(shí)現(xiàn)的。

運(yùn)動(dòng)模型構(gòu)建是通過(guò)surf特征匹配完成的。假設(shè)x和分別代表不同圖像之間的對(duì)應(yīng)surf特征點(diǎn)，則二者之間有如下的關(guān)系：

其中，w(x,h)是透視變換函數(shù)，h＝(h1,...h8)^t是運(yùn)動(dòng)參數(shù)。具體表示如下：

得出運(yùn)動(dòng)參數(shù)后，將初始幀的目標(biāo)區(qū)域邊界進(jìn)行相應(yīng)的透視變換，得到當(dāng)前幀的目標(biāo)區(qū)域。

在視頻中，場(chǎng)景經(jīng)常會(huì)出現(xiàn)光照、遮擋、視角、仿射等一種或多種變化，對(duì)局部特征的匹配造成了嚴(yán)重的干擾?，F(xiàn)有技術(shù)沿用和靜態(tài)圖像相同的局部特征匹配方法，無(wú)法適應(yīng)發(fā)生劇烈變化的場(chǎng)景，也沒(méi)有體現(xiàn)與場(chǎng)景連續(xù)性變化相對(duì)應(yīng)的自適應(yīng)性。

技術(shù)實(shí)現(xiàn)要素：

視頻序列中，場(chǎng)景經(jīng)常會(huì)出現(xiàn)復(fù)雜變化，如尺度、旋轉(zhuǎn)、光照、遮擋等，對(duì)剛體目標(biāo)跟蹤提出了挑戰(zhàn)，通過(guò)什么策略能夠?qū)δ繕?biāo)區(qū)域的局部特征實(shí)現(xiàn)準(zhǔn)確的描述和匹配，進(jìn)而保證目標(biāo)跟蹤效果的魯棒性、穩(wěn)定性，是本發(fā)明要解決的技術(shù)問(wèn)題。

本發(fā)明采用的技術(shù)方案如下：

一種采用surf特征和顏色特征相融合的剛體目標(biāo)跟蹤方法，其步驟包括：

1)在初始圖像中選定目標(biāo)區(qū)域，在目標(biāo)區(qū)域內(nèi)提取surf特征并建立surf特征描述；

2)在每一個(gè)以surf特征點(diǎn)為中心的局部鄰域內(nèi)構(gòu)建顏色特征；

3)在當(dāng)前圖像到來(lái)時(shí)，首先利用顏色特征尋找初步的目標(biāo)區(qū)域，之后提取surf特征并與初始圖像建立基于特征的匹配，形成匹配點(diǎn)對(duì)；

4)根據(jù)得到的匹配點(diǎn)對(duì)計(jì)算得出運(yùn)動(dòng)參數(shù)，從而確定當(dāng)前圖像的目標(biāo)區(qū)域，實(shí)現(xiàn)目標(biāo)跟蹤。

進(jìn)一步地，在完成對(duì)當(dāng)前幀的跟蹤后，對(duì)surf特征和顏色特征進(jìn)行在線更新，以便于后續(xù)幀的處理，提高后續(xù)跟蹤的自適應(yīng)性。

進(jìn)一步地，步驟1)提取surf特征時(shí)，利用積分圖像計(jì)算hessian矩陣行列式，再通過(guò)選取極值來(lái)定位surf特征點(diǎn)，并通過(guò)調(diào)整方格濾波器的尺寸來(lái)建立尺度空間；在建立surf特征描述時(shí)，surf特征的旋轉(zhuǎn)不變性通過(guò)求取主方向?qū)崿F(xiàn)，并利用積分圖像進(jìn)行haar小波響應(yīng)計(jì)算。

進(jìn)一步地，步驟2)通過(guò)構(gòu)建顏色特征為每個(gè)surf特征br在當(dāng)前幀建立一個(gè)局部區(qū)域，使br僅與該區(qū)域內(nèi)的surf特征建立匹配關(guān)系。

進(jìn)一步地，步驟2)通過(guò)構(gòu)建顏色特征來(lái)選取局部區(qū)域的方法是：對(duì)每一個(gè)surf特征br，通過(guò)對(duì)比其n×n和2n×2n鄰域構(gòu)建顏色特征，篩選出兩部分區(qū)域中具有鑒別力的顏色，建立目標(biāo)顏色數(shù)據(jù)庫(kù)cf和背景顏色數(shù)據(jù)庫(kù)cb；在當(dāng)前幀到來(lái)時(shí)選取局部區(qū)域進(jìn)行特征匹配；如果當(dāng)前幀的顏色重復(fù)性較強(qiáng)，可能會(huì)找到多處局部區(qū)域，此時(shí)特征匹配覆蓋所有選取的局部區(qū)域；如果選取的局部區(qū)域占圖像整體不足設(shè)定的閾值，則放棄選取的區(qū)域，改為選取圖像整體區(qū)域進(jìn)行處理。

進(jìn)一步地，步驟3)進(jìn)行特征匹配的方法是：假設(shè)初始幀目標(biāo)區(qū)域surf特征點(diǎn)集合為b＝{b1,b2,...,br}，對(duì)應(yīng)特征向量描述子{u1,u2,...,ur}；第t幀到來(lái)時(shí)，首先進(jìn)行surf特征檢測(cè)，得到特征點(diǎn)集合對(duì)應(yīng)特征向量描述子vt＝{vt,1,vt,2,...,vt,q}；然后利用特征向量vt,r找到特征br的候選對(duì)應(yīng)點(diǎn)ψt,r，之后按照描述子匹配的可靠性將候選對(duì)應(yīng)點(diǎn)對(duì)進(jìn)行排序，形成基于描述子向量匹配的對(duì)應(yīng)點(diǎn)對(duì)。

進(jìn)一步地，步驟4)通過(guò)隨機(jī)采樣一致性算法即ransac計(jì)算出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)目標(biāo)的定位。

本發(fā)明的關(guān)鍵點(diǎn)包括：

1)基于局部特征匹配解決剛體目標(biāo)跟蹤問(wèn)題；

2)在初始幀和當(dāng)前幀之間對(duì)剛體目標(biāo)構(gòu)建運(yùn)動(dòng)模型；

3)基于surf特征的檢測(cè)、描述和匹配在剛體目標(biāo)跟蹤中的應(yīng)用；

4)構(gòu)建顏色特征，在不犧牲跟蹤效果的前提下降低了計(jì)算量；

5)在線更新使跟蹤保持自適應(yīng)性，保證了方案的系統(tǒng)性和完備性。

本發(fā)明的有益效果如下：

本發(fā)明提出了融合surf特征和顏色特征的剛體目標(biāo)跟蹤方案，通過(guò)在初始幀和當(dāng)前幀之間對(duì)剛體目標(biāo)構(gòu)建運(yùn)動(dòng)模型，使跟蹤誤差無(wú)法累積，避免了漂移的出現(xiàn)；利用復(fù)雜變化下surf特征的可重復(fù)性提出基于特征的匹配方案；構(gòu)建顏色特征，在不犧牲跟蹤效果的前提下降低了計(jì)算量；在線更新使跟蹤保持自適應(yīng)性，保證了算法的系統(tǒng)性和完備性。最終使跟蹤保持對(duì)復(fù)雜變化的自適應(yīng)性，達(dá)到魯棒和穩(wěn)定的效果。

附圖說(shuō)明

圖1是基于特征的跟蹤方法框圖。

圖2是采用surf和顏色特征結(jié)合的跟蹤方案流程圖。

圖3是基于扇形滑動(dòng)窗口的主方向求解示意圖。

圖4是特征描述子表示圖。。

圖5是利用積分圖像進(jìn)行haar小波響應(yīng)計(jì)算示意圖。

圖6是利用顏色特征選取局部匹配區(qū)域示意圖。

圖7是目標(biāo)跟蹤示意圖。

具體實(shí)施方式

下面通過(guò)具體實(shí)施例和附圖，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

本發(fā)明提出了一種新的剛體目標(biāo)跟蹤方案，并根據(jù)初始幀和當(dāng)前幀之間的目標(biāo)變化建立聯(lián)系。由于剛體的內(nèi)部結(jié)構(gòu)具有運(yùn)動(dòng)一致性，該方案利用surf特征匹配來(lái)確定目標(biāo)區(qū)域，將跟蹤看作特征點(diǎn)匹配問(wèn)題。通過(guò)構(gòu)建顏色特征，在當(dāng)前幀圈定待匹配的區(qū)域，將顏色特征和surf特征相結(jié)合，實(shí)現(xiàn)精細(xì)化匹配。在完成對(duì)當(dāng)前幀的跟蹤后，對(duì)surf特征和顏色特征做進(jìn)一步更新，提高后續(xù)跟蹤的自適應(yīng)性。最終使跟蹤保持對(duì)復(fù)雜變化的自適應(yīng)性，達(dá)到魯棒和穩(wěn)定的效果。

本發(fā)明工作流程如圖2。在初始圖像中，選定目標(biāo)區(qū)域，并在區(qū)域內(nèi)提取surf特征和建立特征描述，同時(shí)在每一個(gè)以surf特征點(diǎn)為中心的局部鄰域內(nèi)構(gòu)建顏色特征。在新的圖像到來(lái)之時(shí)，首先利用顏色特征尋找初步的目標(biāo)區(qū)域，之后提取surf特征，再與初始圖像建立基于特征的匹配，形成最終匹配點(diǎn)對(duì)。通過(guò)ransac計(jì)算出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)目標(biāo)的定位。最后，對(duì)surf特征和顏色特征進(jìn)行在線更新，便于后續(xù)幀的處理。

具體實(shí)現(xiàn)方案描述如下：

步驟一：surf特征提取

surf特征提取利用積分圖像計(jì)算hessian矩陣行列式，再通過(guò)選取極值來(lái)定位。具體地，對(duì)圖像i上點(diǎn)x＝(x,y)處，尺度s的hessian矩陣h(x,s)表示為：

以lxx(x,s)為例，代表高斯函數(shù)二階導(dǎo)數(shù)在x＝(x,y)處與圖形i的卷積，具體用方格濾波器(boxfilter)dxx來(lái)近似。通過(guò)引入相關(guān)權(quán)重w，實(shí)現(xiàn)對(duì)hessian矩陣行列式的平衡：

det(happrox)＝dxxdyy-(wdxy)²(4)

對(duì)于surf特征檢測(cè)，建立尺度空間不需要改變?cè)瓐D像尺寸，而是通過(guò)調(diào)整方格濾波器的尺寸來(lái)實(shí)現(xiàn)，與原圖像再進(jìn)行卷積計(jì)算，將方格濾波器的近似表示和積分圖像結(jié)合提升計(jì)算效率，計(jì)算濾波器模板尺寸歸一化det(happrox)。

通過(guò)不同尺寸方格濾波器形成的層(octave)就是對(duì)尺度空間的表達(dá)。興趣點(diǎn)的定位是以候選點(diǎn)為中心的圖像和包括尺度空間在內(nèi)的3×3×3鄰域內(nèi)執(zhí)行非極大值抑制策略，將具有最大或最小值的對(duì)應(yīng)點(diǎn)作為特征點(diǎn)，同時(shí)得到尺度s。

步驟二：surf特征描述

surf特征的旋轉(zhuǎn)不變性是通過(guò)求取主方向(dominantorientation)實(shí)現(xiàn)的，求解過(guò)程仍然利用了積分圖像的計(jì)算優(yōu)勢(shì)。在以特征點(diǎn)為圓心、6σ為半徑的圓內(nèi)，按步長(zhǎng)σ計(jì)算相應(yīng)像素的haar小波響應(yīng)，同時(shí)進(jìn)行尺度歸一化和高斯平滑，得到x方向的響應(yīng)dx和y方向的響應(yīng)dy，再映射到極坐標(biāo)當(dāng)中，如圖3所示。在π/3的扇形滑動(dòng)區(qū)域內(nèi)對(duì)dx和dy進(jìn)行統(tǒng)計(jì)，記錄當(dāng)前窗口i的矢量(wi,θi)：

將區(qū)域內(nèi)最長(zhǎng)向量的角度θ作為主方向：

以特征點(diǎn)為中心，沿主方向取一個(gè)尺寸為20s的矩形窗口，如圖4所示。將20s的窗口劃分成4×4子窗口，每個(gè)子窗口中有5s×5s個(gè)像元。使用尺寸為2s的haar小波對(duì)子窗口圖像進(jìn)行其響應(yīng)值計(jì)算，共進(jìn)行25次采樣，分別得到沿主方向的dy和垂直于主方向的dx。然后，以特征點(diǎn)為中心，對(duì)dy和dx進(jìn)行高斯加權(quán)計(jì)算，其σ＝3.3s。最后，分別對(duì)每個(gè)子塊的響應(yīng)值進(jìn)行統(tǒng)計(jì)，得到每個(gè)子塊的矢量：

v子塊＝[∑dx,∑|dx|,∑dy,∑|dy|]。

由于共有4×4個(gè)子塊，特征描述子共由4×4×4＝64維特征向量組成。在積分圖像上先使用水平和垂直的haar模板求得響應(yīng)值dx和dy，然后根據(jù)主方向旋轉(zhuǎn)dx和dy與主方向保持一致，如圖5所示。為了求得旋轉(zhuǎn)后haar小波響應(yīng)值，首先要得到旋轉(zhuǎn)前圖像的位置。旋轉(zhuǎn)前后圖像的位置關(guān)系，可以通過(guò)點(diǎn)的旋轉(zhuǎn)公式得到

x＝x0-j×s×sin(θ)+i×s×cos(θ)，(9)

y＝y(tǒng)0+j×s×cos(θ)+i×s×sin(θ)。(10)

其中，x0,y0表示對(duì)應(yīng)特征點(diǎn)的位置，s表示對(duì)應(yīng)特征點(diǎn)的尺度，在得到點(diǎn)(j,i)在旋轉(zhuǎn)前對(duì)應(yīng)積分圖像的位置(x,y)后，利用積分圖像與水平、垂直haar小波，求得水平和垂直兩個(gè)方向的響應(yīng)值dx和dy。對(duì)dx和dy進(jìn)行高斯加權(quán)處理，并根據(jù)主方向的角度，對(duì)dx和dy進(jìn)行旋轉(zhuǎn)變換，從而，得到旋轉(zhuǎn)后的dx'和dy'。其計(jì)算公式如下：

dx'＝w(-dx×sin(θ)+dy×cos(θ))，(11)

dy'＝w(dx×cos(θ)+dy×sin(θ))。(12)

步驟三：顏色特征構(gòu)建

為每個(gè)surf特征br在當(dāng)前幀建立一個(gè)局部區(qū)域，使br僅與該區(qū)域內(nèi)的surf特征建立匹配關(guān)系。從直觀上來(lái)看，因?yàn)槠ヅ浞秶目s小，計(jì)算量會(huì)大幅下降。在此過(guò)程中，局部區(qū)域的選取是關(guān)鍵，既不能太大，太大沒(méi)有起到降低計(jì)算量的目的；也不能太小，太小則正確的對(duì)應(yīng)點(diǎn)有可能不在區(qū)域中。如何在減小計(jì)算量的同時(shí)不降低匹配效果，需要進(jìn)一步研究。

本方案通過(guò)構(gòu)建顏色特征來(lái)選取局部區(qū)域，對(duì)每一個(gè)surf特征br，通過(guò)對(duì)比其n×n和2n×2n(n＝40，n也可以是其它數(shù)值)鄰域構(gòu)建顏色特征，篩選出兩部分區(qū)域中具有鑒別力的顏色，建立目標(biāo)顏色數(shù)據(jù)庫(kù)cf和背景顏色數(shù)據(jù)庫(kù)cb，在當(dāng)前幀到來(lái)時(shí)選取局部區(qū)域進(jìn)行特征匹配，如圖6所示。如果當(dāng)前幀的顏色重復(fù)性較強(qiáng)，可能會(huì)找到多處局部區(qū)域，此時(shí)特征匹配覆蓋所有選取的局部區(qū)域。如果選取的局部區(qū)域占圖像整體不足設(shè)定的閾值(如30％)，則放棄選取的區(qū)域，改為選取圖像整體區(qū)域進(jìn)行處理。

步驟四：特征匹配

假設(shè)初始幀目標(biāo)區(qū)域surf特征點(diǎn)集合為b＝{b1,b2,...,br}，對(duì)應(yīng)特征向量描述子{u1,u2,...,ur}。第t幀到來(lái)時(shí)，首先進(jìn)行surf特征檢測(cè)，得到特征點(diǎn)集合對(duì)應(yīng)特征向量描述子vt＝{vt,1,vt,2,...,vt,q}。然后利用特征向量vt,r找到特征br的候選對(duì)應(yīng)點(diǎn)ψt,r，之后按照描述子匹配的可靠性將候選對(duì)應(yīng)點(diǎn)對(duì)進(jìn)行排序，形成基于描述子向量匹配的對(duì)應(yīng)點(diǎn)對(duì)，利用ransac得到初始幀i1和第t幀it目標(biāo)區(qū)域之間的運(yùn)動(dòng)參數(shù)初始值

步驟五：目標(biāo)跟蹤

目標(biāo)跟蹤示意圖如圖7所示，初始幀i1和第t幀it目標(biāo)區(qū)域之間的最終運(yùn)動(dòng)參數(shù)ht,1是基于上述對(duì)應(yīng)點(diǎn)對(duì)計(jì)算得到的，最終確定了當(dāng)前幀的目標(biāo)區(qū)域。

步驟六：在線更新

完成目標(biāo)跟蹤后，需要對(duì)surf特征、顏色進(jìn)行更新，更新流程如表1所示。如果匹配點(diǎn)對(duì)是正確的，利用匹配點(diǎn)作為正樣本，更新surf特征、顏色特征；對(duì)于錯(cuò)誤的匹配點(diǎn)，不做任何更新。

表1在線更新流程

關(guān)于顏色特征的更新，在當(dāng)前幀，圍繞surf特征中心的n×n和2n×2n鄰域，分別統(tǒng)計(jì)目標(biāo)顏色數(shù)據(jù)庫(kù)和周?chē)?n×2n鄰域的背景顏色數(shù)據(jù)庫(kù)對(duì)目標(biāo)顏色數(shù)據(jù)庫(kù)cf和背景顏色數(shù)據(jù)庫(kù)cb進(jìn)行如下更新：

(1)如果同cf存在相近的顏色，則在cf去掉該顏色；

(2)如果的某種顏色是cf和都沒(méi)有的，則將該顏色增加到cf中。

以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，本領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書(shū)所述為準(zhǔn)。