專利名稱：一種基于移動相機平臺的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及專利分類號G06T—般的圖像數(shù)據(jù)處理或產(chǎn)生；G06I7/00圖像分析，例如從位像到非位像；G06T7/20運動分析。
背景技術(shù)：
現(xiàn)有的目標(biāo)跟蹤算法大多數(shù)是基于靜止的視覺平臺展開的，而現(xiàn)實的監(jiān)控環(huán)境中，很多監(jiān)控相機處于不穩(wěn)定的狀態(tài)，比如船載和車載的監(jiān)控裝置。很多文獻討論了電子穩(wěn)像技術(shù)[6_8]，還有少部分文獻討論了基于電子穩(wěn)像的跟蹤算法[9]。但是這些算法都將穩(wěn)像和跟蹤分開進行處理，這樣做存在幾個不可避免的缺點穩(wěn)像的過程不可避免的會造成視頻圖像信息的損失；先穩(wěn)像再跟蹤將會導(dǎo)致時間上的延遲，無法滿足實時性的要求 ’最重要的缺點是我們無法獲取在原始視頻中的跟蹤結(jié)果。

發(fā)明內(nèi)容
為了克服現(xiàn)有算法中存在的問題，本文提出了一種相機運動狀態(tài)下的實時運動目標(biāo)跟蹤算法。首先，對特征點進行選取，然后，利用光流法進行全局運動估計，得到相機平移運動分量和旋轉(zhuǎn)運動分量；最后，利用全局運動估計的結(jié)果對粒子濾波的運動方程進行修正，選用顏色直方圖作為目標(biāo)的特征模型，實現(xiàn)在相機運動的情況下對移動目標(biāo)的實時跟蹤。為了驗證本文算法的性能，我們選取了多組測試視頻進行實驗。實驗結(jié)果表明，在相機運動的狀態(tài)下，本文的算法能夠準(zhǔn)確快速的跟蹤上運動目標(biāo)，可以達到實時性要求，具有非常好的實用價值。


為了更清楚的說明本發(fā)明的實施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I為本發(fā)明的流程圖
具體實施例方式為使本發(fā)明的實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚完整的描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明的保護范圍。如圖I本發(fā)明的流程圖所示，一種基于移動相機平臺的目標(biāo)跟蹤方法，首先在每一幀圖像中，均勻的選定多個特征點。傳統(tǒng)的穩(wěn)像算法，一般選取每一幀圖像的角點作為特征點。最普遍使用的角點的定義是由Harris提出的[lt^Harris定義的角點是指位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣有兩個最大特征值的地方，本質(zhì)上是以此點為中心，周圍至少存在兩個不同方向的紋理(或者邊緣)。但是，對每一幀圖像都查找角點會帶來一些問題當(dāng)需要角點數(shù)在300個以上時，與光流結(jié)合后實時性較差。作為一個較佳的實施方式，本文在實驗過程中，在每幀圖像中每隔20個像素選取一個點作為特征點。均勻選取特征點的優(yōu)勢在于具有非常好的實時性，對全局運動有很好的代表性；通過對局部運動向量的篩選可以獲得準(zhǔn)確的全局運動的估計。

在選取特征點之后,采用Lucas-Kanade方法[12]來計算每個特征點的光流。由于是均勻的選取特征點，特征點有可能在背景上，也有可能在運動目標(biāo)上。為了準(zhǔn)確的估計全局運動，需要排除運動目標(biāo)對全局運動估計的影響。從理論上分析運動目標(biāo)對光流結(jié)果的影響[13]。首先假設(shè)相機是靜止的。假設(shè)t時刻第i個特征點Pi⑴在相機坐標(biāo)系中的坐標(biāo)是[Xi (t)，y, (t)，Zi (t)]，則該特征點在像平面的坐標(biāo)為[ ,.(0,v,.(/)]=⑴其中，\是與相機分辨率和焦距有關(guān)的系數(shù)。若該特征點在相機坐標(biāo)系中的位移是[(Ixi (t), (Iyi (t), (Izi⑴],則在像平面中的光流為OFXt) = ^,^
dt dt
_ Zi ⑷ Cixt (t)/dt- X1 (r) Clzi (t)/dt
，
Z1 (t)cfyt (t)/dt-yt (t)dzt (t)/dtZ-—-J
zXO(2)從公式(2)可以看出，運動目標(biāo)對光流的影響與運動目標(biāo)的速度和景深有關(guān)，當(dāng)時間間隔非常短時，可以認(rèn)為速度是一定的，則運動目標(biāo)的景深越小，對光流的影響就越大。所以需要從所有特征點中除去與背景光流不一致的特征點，然后再用統(tǒng)計的方法來估計全局運動。將所有特征點的光流運算結(jié)果由小到大排序，得到有序的光流序列#(0 = {Oi7(0}，其中，I < j < N，N 為特征點的總數(shù)。令DA]{t) = OF；+s(t)-OF；(t)⑶表示OF/G)在間隔為5的兩點上光流值的前向差分，優(yōu)選的5 =20。設(shè)/Km(0是/HA)序列的最小值，W對應(yīng)的點為d = 本發(fā)明中，選取的5倍作為閾值，去除大于閾值的特征點。然后，計算篩選后剩余的所有特征點的光流的平均值，作為水平方向上全局運動的估計值，記為
^{t) = ^-±OF{t)
N *=i(4)其中，N'為水平方向上篩選后的特征點的總數(shù)。同理可得，垂直方向上的全局運動的估計值為
圖警忐卜/(0⑶其中，M'為垂 直方向上篩選后的特征點的總數(shù)。步驟S4,首先建立相機的3-D仿射模型t時刻，第i個特征點在相機坐標(biāo)系中的坐標(biāo)，令該特征點在世界坐標(biāo)系中的位置保持不變，相機通過旋轉(zhuǎn)和平移發(fā)生移動，在t+1時刻，該特征點在相機坐標(biāo)系中的位置變?yōu)椋瑒t有[Xi(t+1)，Yi (t+1)，Zi(t+1) ]T= R3*3 (t) * [Xi (t) , Yi (t) , Zi (t) ] t+T3h<1 (t)(6)其中，R3 (t)和1^(0分別是t時刻相機的旋轉(zhuǎn)矩陣和平移矩陣。將公式⑴帶入公式(6)可得相機的3-D仿射模型為
'(r+i)]「4(f) i 12(r) i 13(r)]卜⑴]Tx(f)(7)Vj(r +1) =^~ R1^t) R22(I) R23(X) vt(t) + T(f)
_ ^」Ziki(f) Rn(t)2」卜⑴_忽略相機在像平面以外的旋轉(zhuǎn)，可得簡化的2-D仿射模型rnrml h(^ + 1)l = v^ll(0 ^(0lk(0lJ^(0]⑶
_v,G + l)_ R2l{t) R22(t) Vi (0 _Ty(t)_其中，5=^^，在不考慮景深突變時，s = I。假設(shè)相機在t時刻旋轉(zhuǎn)的角度為
咕+ 1)
, LI (0 9 (0l r cos (0(0) -sin (0( ))
Mt)，則旋轉(zhuǎn)矩陣可以寫為二二 = J丄、」
IAiW 盡2 O)」sin(6>,(0) cos(6>,(0)代入公式⑶可得
「00401 k( + 1)l = rcos(^(0) -Sin (0,. (O)]「《,々)] +「『叫(9)
LV,. (/+I)J sin(a.(o) cos(e,.(/))」卜,.(/)」公式(9)中，相機的平移矩陣[Tx(t)，Ty(t)]T已經(jīng)求得，已知t時刻和t+1特征點在像平面的坐標(biāo)，即可估計出t時刻的旋轉(zhuǎn)矩陣。步驟S5 :運動目標(biāo)的位置可以被看作是狀態(tài)空間上的離散時間馬爾可夫序列。跟蹤目標(biāo)就是要從帶有噪聲的觀測序列Zk中估計目標(biāo)狀態(tài)xk。Sz1:k= Iz1, i = I, . . . , k}為所有已知觀測值,最終需要求得p (Xk| Z1:k)。設(shè)P(XcJzci) = p(XQ)，假設(shè)k_l時刻的分布P (Xlri | Z1^1)已知，則由系統(tǒng)模型可以得到k時刻的先驗概率分布p (Xk I Z1^) = / p (Xk I Xh) p (Xh | Z1^) ClXlri。在得到k時刻新的觀測值Zk后，通過貝葉斯公式更新分布，即可得到后驗概率P(Xk IZ1J = P{Zk^k^fk^lkl)(10)貝葉斯濾波求后驗概率實際上很難實現(xiàn)，一般的工程應(yīng)用中，采用蒙特卡洛方法，用一組具有權(quán)值的粒子表示后驗概率P(xk|z1:k)，其中■(<，/ = 1, #}表示粒子的權(quán)值。p(Xk\Zvk) ^fjOlS(Xk-Xl)(11)
i=\
其中歸一化權(quán)值遞推方程為
.p{zk\x\\p(x\\x\\..mX V , ； V 、!(12)
q{x'k\xi^k)其中14—為建議分布。蒙特卡洛的主要思想，即是用一組符合某概率分布的樣本來代替此概率分布。事實上，計算概率分布只是目標(biāo)跟蹤的中間步驟，既然得到了符合概率分布的樣本，就可以直接通過樣本估計出目標(biāo)的位置，而不必計算具體的概率分布了。這樣，可以將狀態(tài)密度的期望作為實際狀態(tài)對評估
Xk=E[Xk]^jjD[X[(13)
i=\當(dāng)N —^時，足將均方收斂于p(Xk|Z1:k)的真實后驗概率分布。為了避免粒子權(quán)值退化問題，需要采用重采樣方法，通過復(fù)制高權(quán)值粒子并拋棄低權(quán)值粒子的方法來解決這一問題。采用二次自回歸模型作為運動模型，根據(jù)求得的全局運動估計，對運動模型進行修正。首先，選取運動目標(biāo)在像平面中的位置作為狀態(tài)變量，則k時刻的狀態(tài)變量Xk =[Ui (k), Vi (k) Jt0首先，將所求得的全局運動估計轉(zhuǎn)換成目標(biāo)在像平面上位置的修正量Ak:Ai = [COf'(')+[尸叫(14)
sin (0,.( ) cosTy (k)修正后的運動模型為Xk+l -Xk= A1 (^Xk +Ak-Xk^ (15)+ A2 +Ak+ Af1 -Xk^ +Bw其中，X為所有粒子的均值，Bw為系統(tǒng)的隨機噪聲。修正后的運動模型通過調(diào)整粒子的位置，去除了相機運動造成的影響，避免因為相機運動而導(dǎo)致的跟蹤失敗。選用RGB色彩空間的顏色直方圖作為運動目標(biāo)的特征模型來描述運動目標(biāo)，首先，對R、G、B三個通道量化成16級，柱狀圖分格為m = 16X16X16個bins。設(shè)U= {1,2, ...，m}，在初始幀中，給定包含目標(biāo)的粒子，可以得到目標(biāo)的統(tǒng)計直方圖分布模型為& =，其中位置<的顏色概率密度為
f 2 Aqu =C^k —— 8 b[x*^-u(16)
!=1其中，％為初始目標(biāo)中心位置。k(_)是核函數(shù)，核函數(shù)可以保證越遠(yuǎn)離粒子中心的像素，權(quán)值越小，以提高模型的魯棒性。C為使;
權(quán)利要求
1.一種基于移動相機平臺的目標(biāo)跟蹤方法，其特征在于具有如下步驟 獲得場景的視頻，所述視頻包括幀序列，每一幀包括多個像素，對于每一幀，進一步的包括如下步驟 51.在每一幀圖像中，均勻的選定多個特征點； 52.計算每個特征點的光流； 53.利用光流法估計全局運動，得到相機平移運動分量； 54.建立相機的3D仿射模型，結(jié)合所述相機的平移運動分量，得到相機的旋轉(zhuǎn)運動分量; 55.在視頻圖像中選定跟蹤目標(biāo)，使用粒子濾波算法對跟蹤目標(biāo)進行追蹤，在追蹤過程中使用相機的平移運動分量與旋轉(zhuǎn)運動分量對目標(biāo)運動模型進行修正，去除相機自身運動對追S示結(jié)果造成的影響，完成對目標(biāo)的追足示。
2.根據(jù)權(quán)利要求I所述的一種基于移動相機平臺的目標(biāo)跟蹤方法，其特征還在于步驟SI中，在每幀圖像中，每間隔20個像素選取一個像素點作為特征點。
3.根據(jù)權(quán)利要求I所述的一種基于移動相機平臺的目標(biāo)跟蹤方法，其特征還在于所述步驟3具體包括如下步驟 5301.將計算所得的每個特征點的光流運算結(jié)果，由小到大排列，得到有序的光流序列； 5302.由光流序列得到，得到固定間隔的兩點的前向差分序列； 5303.選定差分序列中的最小值，以此最小值設(shè)定閾值，以此閾值從所有特征點中選取有效特征點； 5304.計算有效特征點的光流平均值，得到相機平移運動的分量。
4.根據(jù)權(quán)利要求I所述的一種基于移動相機平臺的目標(biāo)跟蹤方法，其特征還在于所述步驟S5中，選用二次自回歸模型作為運動模型，利用步驟S3和S4中得到的相機平移運動分量和旋轉(zhuǎn)運動分量對二次自回歸模型進行不斷的修正。
全文摘要
本發(fā)明公開了一種基于移動相機平臺的目標(biāo)跟蹤方法，首先，對特征點進行選取，然后，利用光流法進行全局運動估計，得到相機平移運動分量和旋轉(zhuǎn)運動分量；最后，利用全局運動估計的結(jié)果對粒子濾波的運動方程進行修正，選用顏色直方圖作為目標(biāo)的特征模型，實現(xiàn)在相機運動的情況下對移動目標(biāo)的實時跟蹤。實驗結(jié)果表明，在相機運動的狀態(tài)下，本文的算法能夠準(zhǔn)確快速的跟蹤上運動目標(biāo)，可以達到實時性要求，具有非常好的實用價值。
文檔編號G06T7/20GK102622764SQ20121004309
公開日2012年8月1日 申請日期2012年2月23日 優(yōu)先權(quán)日2012年2月23日
發(fā)明者姜明新 申請人:大連民族學(xué)院