本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于場(chǎng)景變化分類和在線局部特征匹配的剛體目標(biāo)跟蹤方法。

背景技術(shù)：

剛體目標(biāo)表面任意一點(diǎn)的運(yùn)動(dòng)都可以代表整體的運(yùn)動(dòng)，使得利用目標(biāo)區(qū)域內(nèi)的特征來描述目標(biāo)運(yùn)動(dòng)成為可能。已有的剛體目標(biāo)跟蹤方法致力于提取參考圖像目標(biāo)區(qū)域內(nèi)具有不變性的某些特征，并對(duì)提取的特征進(jìn)行量化和描述，如顏色特征、紋理特征、光流特征。局部特征是指在圖像區(qū)域內(nèi)檢測(cè)到的局部具有不變性、可重現(xiàn)性和特異性的特征，能夠在一定程度上抵抗遮擋、尺度、旋轉(zhuǎn)等復(fù)雜變化，并提供對(duì)特征的定量描述。目前，相比其他特征，局部特征在不變性和特異性方面優(yōu)勢(shì)愈發(fā)明顯，使其更加深入的應(yīng)用在目標(biāo)跟蹤中。在當(dāng)前幀到來時(shí)，首先對(duì)整個(gè)區(qū)域提取局部特征并描述。進(jìn)而，通過局部特征的匹配找到同上一目標(biāo)內(nèi)局部特征的候選對(duì)應(yīng)集。借助隨機(jī)采樣一致性算法(ransac，randomsampleconsensus)，去除不正確的對(duì)應(yīng)特征集，估計(jì)出運(yùn)動(dòng)變換參數(shù)，實(shí)現(xiàn)目標(biāo)跟蹤。圖1給出了基于特征的跟蹤方法框圖，其主要思路在于將跟蹤看成是局部特征匹配問題。

目前，surf(speed-uprobustfeature，加速魯棒特征)特征是應(yīng)用較多且效果較為理想的局部特征之一，主要引入積分圖像快速算法，并通過執(zhí)行加減法運(yùn)算近似得到高斯二階微分的響應(yīng)值。surf算法主要包括特征檢測(cè)和特征描述兩方面。特征檢測(cè)通過快速計(jì)算每個(gè)特征的尺度和主方向，并且圈定以檢測(cè)點(diǎn)為中心的尺度旋轉(zhuǎn)不變對(duì)稱鄰域；特征描述在該不變性鄰域內(nèi)進(jìn)行haar特征計(jì)算，并最終形成64維特征向量。不同圖像之間的surf特征匹配主要是通過比較特征向量之間的距離實(shí)現(xiàn)的。

運(yùn)動(dòng)模型構(gòu)建是通過surf特征匹配完成的。假設(shè)x和分別代表不同圖像之間的對(duì)應(yīng)surf特征點(diǎn)，則二者之間有如下的關(guān)系：

其中，w(x,h)是透視變換函數(shù)，h＝(h1,...h8)^t是運(yùn)動(dòng)參數(shù)。具體表示如下：

得出運(yùn)動(dòng)參數(shù)后，將初始幀的目標(biāo)區(qū)域邊界進(jìn)行相應(yīng)的透視變換，得到當(dāng)前幀的目標(biāo)區(qū)域。

視頻中常見的復(fù)雜場(chǎng)景變化主要包括以下3種。

(1)幾何變化。在視頻的感興趣區(qū)域內(nèi)，物體的自身軸轉(zhuǎn)，會(huì)引起視角發(fā)生變化；物體發(fā)生旋轉(zhuǎn)或攝像機(jī)存在轉(zhuǎn)動(dòng)時(shí)，視覺中就會(huì)產(chǎn)生旋轉(zhuǎn)變化；當(dāng)場(chǎng)景和攝像機(jī)之間的相對(duì)距離發(fā)生變化時(shí)，場(chǎng)景中就會(huì)產(chǎn)生尺度變化；當(dāng)上述的變化同時(shí)發(fā)生時(shí)，就會(huì)產(chǎn)生仿射或者透視變化。圖2給出了幾何變化的示例。

(2)灰度變化。當(dāng)光源或者拍攝物體表面反射條件發(fā)生變化時(shí)，會(huì)引起光照的變化，相關(guān)的圖像區(qū)域灰度也會(huì)相應(yīng)變化，對(duì)特征匹配造成影響。此外，當(dāng)感興趣區(qū)域被其他物體遮擋時(shí)，陰影區(qū)域也會(huì)產(chǎn)生灰度變化。

(3)其他變化。當(dāng)物體突然快速運(yùn)動(dòng)或攝像機(jī)劇烈抖動(dòng)時(shí)，場(chǎng)景會(huì)出現(xiàn)模糊現(xiàn)象，會(huì)影響特征檢測(cè)和描述。此外，在區(qū)分目標(biāo)和背景的視頻中，如果背景中包含與目標(biāo)相似的區(qū)域，也會(huì)影響特征的匹配。

在視頻中，場(chǎng)景經(jīng)常會(huì)出現(xiàn)以上的一種或多種變化，對(duì)局部特征的匹配造成了嚴(yán)重的干擾?，F(xiàn)有技術(shù)沿用和靜態(tài)圖像相同的局部特征匹配方法，無法適應(yīng)發(fā)生劇烈變化的場(chǎng)景，也沒有體現(xiàn)與場(chǎng)景連續(xù)性變化相對(duì)應(yīng)的自適應(yīng)性。

技術(shù)實(shí)現(xiàn)要素：

視頻序列中，場(chǎng)景經(jīng)常會(huì)出現(xiàn)復(fù)雜變化，如尺度、旋轉(zhuǎn)、光照、遮擋等，對(duì)剛體目標(biāo)跟蹤提出了挑戰(zhàn)，通過什么策略能夠?qū)δ繕?biāo)區(qū)域的局部特征實(shí)現(xiàn)準(zhǔn)確的描述和匹配，進(jìn)而保證目標(biāo)跟蹤效果的魯棒性、穩(wěn)定性，是本發(fā)明要解決的技術(shù)問題。

本發(fā)明采用的技術(shù)方案如下：

一種基于場(chǎng)景變化分類和在線局部特征匹配的剛體目標(biāo)跟蹤方法，其步驟包括：

1)在初始圖像中選定感興趣的目標(biāo)區(qū)域，并在目標(biāo)區(qū)域檢測(cè)surf特征；

2)對(duì)步驟1)檢測(cè)到的每個(gè)surf特征建立場(chǎng)景描述向量，通過隨機(jī)的場(chǎng)景變化實(shí)現(xiàn)對(duì)場(chǎng)景描述向量的離線學(xué)習(xí)，得到每個(gè)surf特征最能夠適應(yīng)的場(chǎng)景分類信息；

3)為步驟1)檢測(cè)到的每個(gè)surf特征創(chuàng)建分類器；

4)在當(dāng)前圖像到來時(shí)，判斷當(dāng)前圖像的場(chǎng)景分類，從初始圖像中選取最能夠適應(yīng)當(dāng)前場(chǎng)景的surf特征，并將其與當(dāng)前圖像檢測(cè)到的surf特征進(jìn)行基于分類器的匹配，形成匹配點(diǎn)對(duì)；

5)根據(jù)得到的匹配點(diǎn)對(duì)計(jì)算得出運(yùn)動(dòng)參數(shù)，從而確定當(dāng)前圖像的目標(biāo)區(qū)域，實(shí)現(xiàn)目標(biāo)跟蹤。

進(jìn)一步地，上述方法還包括在線更新步驟，即利用正確的匹配點(diǎn)對(duì)信息，更新初始圖像的surf特征相應(yīng)的場(chǎng)景描述向量和分類器，以便于后續(xù)幀的處理。

進(jìn)一步地，步驟1)檢測(cè)surf特征時(shí)，利用積分圖像計(jì)算hessian矩陣行列式，再通過選取極值來定位surf特征點(diǎn)，并通過調(diào)整方格濾波器的尺寸來建立尺度空間；surf特征的旋轉(zhuǎn)不變性通過求取主方向?qū)崿F(xiàn)。

進(jìn)一步地，步驟2)所述場(chǎng)景變化包括幾何變化、灰度變化和其他變化，所述其他變化包括當(dāng)物體突然快速運(yùn)動(dòng)或攝像機(jī)劇烈抖動(dòng)時(shí)，場(chǎng)景出現(xiàn)模糊的現(xiàn)象。

進(jìn)一步地，步驟2)在視頻的初始圖像將surf特征點(diǎn)按照對(duì)幾何變化、灰度變化和其他變化的適應(yīng)程度分為三類，步驟4)在當(dāng)前圖像到來時(shí)，采用能夠適應(yīng)當(dāng)前場(chǎng)景變化的一類surf特征進(jìn)行匹配；在完成匹配后，再利用自組織的方式對(duì)surf特征進(jìn)行動(dòng)態(tài)聚類更新。

進(jìn)一步地，當(dāng)前圖像的surf特征最適合的場(chǎng)景種類，由場(chǎng)景描述向量中的最大值決定。

進(jìn)一步地，步驟5)采用非均衡采樣的ransac算法計(jì)算出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)目標(biāo)的定位。

本發(fā)明的關(guān)鍵點(diǎn)主要包括：a)基于局部特征匹配解決剛體目標(biāo)跟蹤問題；b)在初始幀和當(dāng)前幀之間對(duì)剛體目標(biāo)構(gòu)建運(yùn)動(dòng)模型；c)復(fù)雜變化下surf特征的可重復(fù)性；d)利用分類器來實(shí)現(xiàn)局部特征匹配；e)對(duì)surf特征按照適應(yīng)不同場(chǎng)景變化進(jìn)行分類；f)對(duì)每個(gè)surf特征的場(chǎng)景描述向量進(jìn)行動(dòng)態(tài)聚類更新；g)在線更新使跟蹤保持自適應(yīng)性，保證了算法的系統(tǒng)性和完備性。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

本發(fā)明基于場(chǎng)景變化提出了一種自適應(yīng)的剛體目標(biāo)跟蹤方案，以應(yīng)對(duì)視頻中復(fù)雜的場(chǎng)景變化。該方案將感興趣區(qū)域內(nèi)的surf特征按照適應(yīng)幾何變化、灰度變化和其他變化分為3類。在當(dāng)前幀到來時(shí)，盡量選擇最能夠適應(yīng)當(dāng)前場(chǎng)景變化的surf特征進(jìn)行基于分類器的匹配，再通過非均衡采樣ransac算法更多的選取自適應(yīng)特征匹配對(duì)，求解運(yùn)動(dòng)參數(shù)。根據(jù)運(yùn)動(dòng)參數(shù)對(duì)特征點(diǎn)匹配對(duì)的驗(yàn)證結(jié)果在線更新分類器，通過對(duì)surf特征的場(chǎng)景描述向量進(jìn)行更新實(shí)現(xiàn)特征的動(dòng)態(tài)聚類，使跟蹤能夠保持對(duì)視頻中感興趣區(qū)域出現(xiàn)連續(xù)復(fù)雜變化的自適應(yīng)性。

附圖說明

圖1.現(xiàn)有技術(shù)中基于特征的跟蹤方法框圖。

圖2.幾何變形類別示意圖。

圖3.本發(fā)明方法的工作流程圖。

圖4.不同場(chǎng)景變化下的surf特征檢測(cè)示例圖。

圖5.基于扇形滑動(dòng)窗口的主方向求解示意圖。

圖6.尺度和旋轉(zhuǎn)不變的分類器構(gòu)建示意圖。

圖7.基于場(chǎng)景變化的surf特征動(dòng)態(tài)聚類示意圖。

圖8.面向分類surf特征的非均衡采樣ransac的示意圖。

圖9.目標(biāo)跟蹤示意圖。

具體實(shí)施方式

下面通過具體實(shí)施例和附圖，對(duì)本發(fā)明做進(jìn)一步說明。

本發(fā)明提出了一種自適應(yīng)復(fù)雜場(chǎng)景變化的在線局部特征匹配方案。首先，用分類的理念對(duì)surf特征進(jìn)行匹配，并引入可在線學(xué)習(xí)的分類器；同時(shí)，對(duì)復(fù)雜場(chǎng)景進(jìn)行分類，并對(duì)surf特征在特定場(chǎng)景變化下的不變性進(jìn)行研究，實(shí)現(xiàn)動(dòng)態(tài)聚類；最后結(jié)合聚類的權(quán)重進(jìn)行非均衡采樣的ransac，求解運(yùn)動(dòng)參數(shù)，進(jìn)行在線更新。最終使跟蹤在復(fù)雜的場(chǎng)景變化下具有較好的魯棒性和準(zhǔn)確性。

本發(fā)明的工作流程如圖3所示。在初始圖像中，選定感興趣的目標(biāo)區(qū)域，并在目標(biāo)區(qū)域檢測(cè)surf特征。對(duì)每個(gè)surf特征做如下操作：第一，建立場(chǎng)景描述向量，再通過對(duì)感興趣的區(qū)域進(jìn)行隨機(jī)的幾何變化、灰度變化和其他變化，實(shí)現(xiàn)對(duì)向量的離線學(xué)習(xí)，獲取每個(gè)surf特征最能夠適應(yīng)的場(chǎng)景分類信息；第二，為每個(gè)surf特征創(chuàng)建一個(gè)分類器并作更新。在新的圖像到來時(shí)，判斷當(dāng)前圖像的場(chǎng)景分類，從初始圖像中選取最能夠適應(yīng)當(dāng)前場(chǎng)景的surf特征，并將其與新圖像檢測(cè)到的surf特征進(jìn)行基于分類器的匹配，形成匹配點(diǎn)對(duì)。通過非均衡采樣ransac計(jì)算出運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)對(duì)目標(biāo)的定位。同時(shí)，利用正確的匹配點(diǎn)對(duì)信息，更新初始幀surf特征相應(yīng)的描述向量和分類器，便于后續(xù)幀的處理。

surf特征可以在一定程度上抵抗復(fù)雜的場(chǎng)景變化，但并不是每個(gè)surf特征對(duì)幾何變化、灰度變化和其他變化都具有不變性和可重復(fù)性。特別是場(chǎng)景發(fā)生劇烈變化時(shí)，surf特征的可重復(fù)性不盡相同，且呈現(xiàn)一定規(guī)律。如圖4所示，對(duì)場(chǎng)景發(fā)生幾何變化、光照變化和模糊變化分別進(jìn)行surf特征檢測(cè)(在基準(zhǔn)圖像的圈定區(qū)域內(nèi))，圓心代表surf特征檢測(cè)點(diǎn)，半徑與尺度成正比?？梢钥闯?，一部分特征對(duì)于幾何變化具有明顯的可重復(fù)性，此類特征的周圍區(qū)域相對(duì)平坦；一部分特征對(duì)于光照變化具有抵抗性，此類特征的上下或左右兩側(cè)具有鮮明對(duì)比，光照變化無法掩蓋對(duì)比度；此外，還有一些特征對(duì)模糊變化魯棒。surf特征對(duì)于特定場(chǎng)景變化呈現(xiàn)的規(guī)律性為本方案提出動(dòng)態(tài)聚類的分類模式奠定了理論基礎(chǔ)。

具體實(shí)現(xiàn)方案描述如下：

步驟一：surf特征提取

surf特征提取利用積分圖像計(jì)算hessian矩陣行列式,再通過選取極值來定位。具體地,對(duì)圖像i上點(diǎn)x＝(x,y)處，尺度s的hessian矩陣h(x,s)表示為：

以lxx(x,s)為例，代表高斯函數(shù)二階導(dǎo)數(shù)在x＝(x,y)處與圖形i的卷積，具體用方格濾波器(boxfilter)dxx來近似。通過引入相關(guān)權(quán)重w，實(shí)現(xiàn)對(duì)hessian矩陣行列式的平衡：

det(happrox)＝dxxdyy-(wdxy)²(4)

對(duì)于surf特征檢測(cè)，建立尺度空間不需要改變?cè)瓐D像尺寸，而是通過調(diào)整方格濾波器的尺寸來實(shí)現(xiàn)，與原圖像在進(jìn)行卷積計(jì)算。將方格濾波器的近似表示和積分圖像結(jié)合提升計(jì)算效率,計(jì)算濾波器模板尺寸歸一化det(happrox)。

通過不同尺寸方格濾波器形成的層(octave)就是對(duì)尺度空間的表達(dá)。興趣點(diǎn)的定位是以候選點(diǎn)為中心的圖像和包括尺度空間在內(nèi)的3×3×3鄰域內(nèi)執(zhí)行非極大值抑制策略，將具有最大或最小值的對(duì)應(yīng)點(diǎn)作為特征點(diǎn)，同時(shí)得到尺度s。

surf特征的旋轉(zhuǎn)不變性是通過求取主方向(dominantorientation)實(shí)現(xiàn)的，求解過程仍然利用了積分圖像的計(jì)算優(yōu)勢(shì)。在以特征點(diǎn)為圓心、6σ為半徑的圓內(nèi)，按步長(zhǎng)σ計(jì)算相應(yīng)像素的haar小波響應(yīng)，同時(shí)進(jìn)行尺度歸一化和高斯平滑，得到x方向的響應(yīng)dx和y方向的響應(yīng)dy，再映射到極坐標(biāo)當(dāng)中，如圖5所示。在π/3的扇形滑動(dòng)區(qū)域內(nèi)對(duì)dx和dy進(jìn)行統(tǒng)計(jì)，記錄當(dāng)前窗口i的矢量(wi,θi)：

將區(qū)域內(nèi)最長(zhǎng)向量的角度θ作為主方向：

步驟二：surf特征的分類器構(gòu)建

每個(gè)強(qiáng)分類器c對(duì)應(yīng)一個(gè)surf特征，特征匹配用分類器在每一個(gè)新的surf檢測(cè)點(diǎn)x的匹配分?jǐn)?shù)c(x)來比較，值越大，表示當(dāng)前檢測(cè)點(diǎn)作為對(duì)應(yīng)點(diǎn)的可能性越大。每個(gè)強(qiáng)分類器包括若干弱分類器，按照可靠性篩選后得到的若干弱分類器(selectors)與其對(duì)應(yīng)的權(quán)重一起構(gòu)成了強(qiáng)分類器：

其中，j表示弱分類器的個(gè)數(shù)；αj表示每個(gè)弱分類器所占的權(quán)重；表示對(duì)樣本點(diǎn)x屬性的判斷，與該surf特征尺度和旋轉(zhuǎn)不變鄰域內(nèi)的1個(gè)haar特征對(duì)應(yīng)，haar特征同時(shí)做了尺度和主方向的歸一化，如圖6所示。由弱分類器構(gòu)成的強(qiáng)分類器，同時(shí)具備了尺度和旋轉(zhuǎn)的不變性，能夠滿足圖像匹配的需求。

步驟三：基于場(chǎng)景變化分類的在線surf特征匹配

在視頻的初始幀將surf特征點(diǎn)按照對(duì)幾何變化、灰度變化和其他變化的適應(yīng)程度分為3類，在當(dāng)前幀到來時(shí)，更多的采用能夠適應(yīng)當(dāng)前場(chǎng)景變化的一類surf特征進(jìn)行匹配。在完成匹配后，再利用自組織的方式對(duì)surf特征進(jìn)行動(dòng)態(tài)聚類更新，如圖7所示。所述自組織的方式是指能夠根據(jù)surf特征當(dāng)前的狀態(tài)，通過算法自動(dòng)將其劃分類別，不用人為加以判斷或描述。

在視頻的初始幀i1選取感興趣區(qū)域γ，在γ內(nèi)進(jìn)行surf特征檢測(cè)得到r個(gè)特征點(diǎn)x＝{x1,x2,...,xr}，為每個(gè)特征點(diǎn)xr建立1×3場(chǎng)景描述向量c(xr)＝(c幾何(xr),c灰度(xr),c其他(xr))，初始值為零向量。在初始幀，對(duì)場(chǎng)景描述向量進(jìn)行離線學(xué)習(xí)。通過對(duì)感興趣區(qū)域進(jìn)行隨機(jī)的幾何變化、灰度變化和其他變化，得到30個(gè)樣本數(shù)量(每種變化10個(gè)樣本，帶標(biāo)簽)，并與初始感興趣區(qū)域建立匹配，更新c(xr)。比如，如果特征xr在與某個(gè)發(fā)生了幾何變化的圖像中找到了對(duì)應(yīng)點(diǎn)，則c幾何(xr)的值加1，以此類推。當(dāng)前surf特征最適合的場(chǎng)景種類s(xr)是由場(chǎng)景描述向量中的最大值決定的。如果c(xr)向量中的最大值是c幾何(xr)，則特征xr對(duì)幾何變化最魯棒：s(xr)＝{幾何變化}。當(dāng)視頻的初始幀i1與當(dāng)前幀it的感興趣區(qū)域進(jìn)行特征匹配時(shí)，將it的場(chǎng)景變化st用正確的surf特征匹配中最大百分比所適合的場(chǎng)景來代表。假設(shè)適合幾何變化的surf特征占最多數(shù)，則st＝{幾何變化}。當(dāng)it+1到來時(shí)，則在i1選取所有s(xr)＝{幾何變化}的特征點(diǎn)和50％適應(yīng)其他場(chǎng)景的surf特征，用這些特征建立匹配關(guān)系。

步驟四：非均衡采樣ransac

在建立了對(duì)應(yīng)關(guān)系后，采用基于非均衡采樣ransac算法來計(jì)算透視運(yùn)動(dòng)參數(shù)。傳統(tǒng)的ransac算法每次隨機(jī)選取4組對(duì)應(yīng)點(diǎn)對(duì)來計(jì)算運(yùn)動(dòng)參數(shù)，然而，并不是所有的候選對(duì)應(yīng)點(diǎn)對(duì)都同樣可靠。如果繼續(xù)沿用隨機(jī)抽樣，可能會(huì)因?yàn)樯贁?shù)點(diǎn)對(duì)不可靠影響最優(yōu)解，也會(huì)增加抽樣次數(shù)來追求相對(duì)準(zhǔn)確結(jié)果。在非均衡采樣ransac方案中，每組候選surf特征對(duì)應(yīng)一個(gè)抽樣的權(quán)重，權(quán)重越大采樣的概率越大。如圖8所示，如果當(dāng)前場(chǎng)景變化為幾何變化，則賦予s(xr)＝{幾何變化}的surf特征更大的權(quán)重，因?yàn)檫m應(yīng)當(dāng)前場(chǎng)景的特征點(diǎn)相關(guān)更加可靠。

步驟五：目標(biāo)跟蹤

目標(biāo)跟蹤示意圖如圖9所示，初始幀i1和第t幀it目標(biāo)區(qū)域之間的最終運(yùn)動(dòng)參數(shù)ht,1是利用分類器匹配得到的，最終確定了當(dāng)前幀的目標(biāo)區(qū)域。

步驟六：在線更新

在求解得到運(yùn)動(dòng)參數(shù)后，對(duì)建立對(duì)應(yīng)關(guān)系的特征點(diǎn)對(duì)進(jìn)行驗(yàn)證，對(duì)正確的特征點(diǎn)xr的場(chǎng)景描述向量c(xr)進(jìn)行更新：c幾何(xr)＝c幾何(xr)+1，再更新正確surf特征對(duì)應(yīng)的分類器。

在某一幀，可能會(huì)出現(xiàn)場(chǎng)景變化是幾何、灰度或其他變化的綜合表現(xiàn)，本方案選取的surf特征種類同時(shí)兼顧了各種變化的情況，能夠抵抗此類變化。同時(shí)，通過ransac得到的運(yùn)動(dòng)參數(shù)會(huì)反饋驗(yàn)證匹配對(duì)，在更新場(chǎng)景描述向量的同時(shí)對(duì)當(dāng)前場(chǎng)景最主要的變化給出結(jié)論。

以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，本領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所述為準(zhǔn)。