專利名稱：一種基于灰度約束的協(xié)方差矩陣跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖象檢測技術(shù)領(lǐng)域，涉及一種可用于實時視頻監(jiān)控的運動目標(biāo)跟蹤方法。
背景技術(shù)：
本發(fā)明中涉及到的背景技術(shù)有
(1) 協(xié)方差矩陣跟蹤算法(見文獻(xiàn)[l]):協(xié)方差矩陣跟蹤算法對輸入視頻序列逐幀找出目標(biāo)區(qū)域的特征，并使用協(xié)方差矩陣對目標(biāo)進行特征建模，然后根據(jù)協(xié)方差矩陣找出最佳特征匹配區(qū)域。這種方法很好的實現(xiàn)了目標(biāo)多特征的融合，對旋轉(zhuǎn)、尺度縮放以及亮度變化都有很強的適應(yīng)性。
(2) Mean shift算法(見文獻(xiàn)[2]) : Mean shift算法是一種非參數(shù)概率密度估計算法， 一般采用直方圖對目標(biāo)進行建模，然后通過相似性度量Bhattacharyya舉數(shù)，最終實現(xiàn)目標(biāo)的匹配和跟蹤。其計算簡單，魯棒性較強，具有良好的實時性，被廣泛應(yīng)用于運動目標(biāo)的跟蹤。.但由于Mean shift方法中核函數(shù)直方圖對目標(biāo)的特征描述比較弱，故在對灰度圖像或者紋理信息較少圖像的目標(biāo)跟蹤時，尤其是當(dāng)目標(biāo)和背景的顏色相近時，不能取得理想的跟蹤結(jié)果。

發(fā)明內(nèi)容
本發(fā)明的目的在于客服現(xiàn)有技術(shù)的上述不足，提供一種高效、魯棒的目標(biāo)跟蹤方法。可以用于各種實時性要求較高的視頻監(jiān)控領(lǐng)域。
為此，本發(fā)明采用如下的技術(shù)方案 一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟
(1) 對于視頻序列的一副圖像，框選一長為M像素，寬為N像素的矩形區(qū)域作為目標(biāo)模型進行跟蹤。
(2) 利用下列公式計算目標(biāo)模型的每個點的灰度值&,并計算目標(biāo)模型的所有
點的灰度值的平均值，& =0.2989 0.5870 0.1140* &A:e[l，...，層]，其中，^為紅色通道的值，G,為綠色通道的值，^為藍(lán)色通道的值；
(3) 提取目標(biāo)模型的每個點的特征向量f^[;c，乂及，G，5，(^，(^]，并計算目
標(biāo)模型的所有點的平均特征向量/^，其中，x,y分別代表一個像素點的jc軸和y軸坐標(biāo)，i ， G， 5分別代表它紅、綠、藍(lán)三個通道的值。(4) 計算目標(biāo)模型的協(xié)方差矩陣Q，CR=^t(ft—^)(f「 ^)T;
層3
(5) 在后繼幀中，以目標(biāo)模型為中心長寬各擴大后得到跟蹤窗口，選取其中任意MxN大小的區(qū)域作為候選目標(biāo)，按照步驟(2丫給出的方法計算候選目標(biāo)的所有點的灰度均值，檢査是否滿足下列灰度約束候選目標(biāo)與目標(biāo)模型的灰度值平均值之差的絕對值比上目標(biāo)模型的灰度均
值小于設(shè)定閾值；
(6) 對于滿足灰度約束的候選目標(biāo)，計算它與目標(biāo)模型的協(xié)方差矩陣的差
異值p(C,，C乂)- J>24(C,,C^)，差異值最小的候選目標(biāo)區(qū)域即
為被跟蹤目標(biāo)的位置，其中，A(c,，c》是協(xié)方差矩陣c,和q.的廣義特征值c7.x4=o a = i...c/ ， ^是協(xié)方差矩陣c,.和c,.的廣義特征向量。
本發(fā)明在傳統(tǒng)的協(xié)方差矩陣跟蹤方法的基礎(chǔ)上，結(jié)合灰度約束和協(xié)方差矩陣的相關(guān)性
度量來計算區(qū)域間的匹配程度，使得在目標(biāo)與背景相似時，目標(biāo)定位更準(zhǔn)確；此外，由
于査找匹配區(qū)域前首先排除了不滿足灰度約束的候選目標(biāo)，因此大幅降低了匹配計算量，有更快的跟蹤速度，實時性更強。
本發(fā)明是對傳統(tǒng)協(xié)方差矩陣跟蹤方法的改進，能很好的實現(xiàn)目標(biāo)多特征的融合，對旋轉(zhuǎn)、尺度縮放以及亮度變化都有很強的適應(yīng)性。與傳統(tǒng)協(xié)方差矩陣跟蹤方法和
meanshift跟蹤方法相比，本發(fā)明有如下優(yōu)點首先，本發(fā)明根據(jù)相鄰幀之間目標(biāo)的灰度值變化較小的特點，利用灰度約束直接排除大部分不滿足要求的候選目標(biāo)，可以大大減少目標(biāo)匹配的計算量，與未采用灰度約束的協(xié)方差矩陣跟蹤相比，跟蹤速度更快(本專利實驗中提高了 53. 16%)。其次，本發(fā)明除了通過協(xié)方差矩陣的相關(guān)性度量來計算區(qū)域間的匹配程度，還同時利用了灰度信息，故在目標(biāo)與背景相似時，目標(biāo)定位比傳統(tǒng)協(xié)方差矩陣跟蹤方法更準(zhǔn)確。而相對mean shift算法來講，由于后者要求被標(biāo)記的物體特征明顯，故在目標(biāo)與背景相似時，本發(fā)明對目標(biāo)定位的準(zhǔn)確率更高。


圖1基于灰度約束的協(xié)方差矩陣跟蹤方法總體流程圖。圖2選取目標(biāo)。
圖3跟蹤目標(biāo)的搜索窗口范圍。圖4標(biāo)出跟蹤目標(biāo)。
圖5是對一段從室外獲取的行人運動的視頻使用本發(fā)明和傳統(tǒng)協(xié)方差矩陣跟蹤方法的實驗結(jié)果比較。其中，由上至下的6幅圖分別對應(yīng)實驗視頻的第1,21,51， 86， 91,116幀。(a)是傳統(tǒng)協(xié)方差矩陣跟蹤的結(jié)果，(b)是本發(fā)明的實驗結(jié)果。
具體實施例方式
本發(fā)明對視頻序列中的每一幀圖像，在協(xié)方差矩陣跟蹤的基礎(chǔ)上加入灰度約束的方法。具體地，本發(fā)明采用協(xié)方差矩陣對跟蹤目標(biāo)進行描述，并利用灰度約束來篩選出候
選目標(biāo)，進而用協(xié)方差矩陣的差異值來判斷候選目標(biāo)和跟蹤目標(biāo)的匹配程度，最后根據(jù)匹配程度對跟蹤目標(biāo)進行定位。
本發(fā)明是基于灰度約束的協(xié)方差矩陣跟蹤方法，圖1為總體流程圖，具體包括以下
步驟
1. 選擇跟蹤目標(biāo)
如圖2所示，在圖像中選擇一個目標(biāo)。圖2中實線矩形區(qū)域為所選中被跟蹤目標(biāo)的初始位置，長為M像素，寬為N像素。此矩形區(qū)域被稱為目標(biāo)模型。
2. 計算目標(biāo)模型的灰度值
按照下面的公式(1)計算圖2矩形區(qū)域中每個點的灰度值&，并按照公式(2)求
出所有點的灰度值的平均值r 。
gA =0.29890.58701140*5t /te[l,…，層](1)
A為紅色通道的值，C^為綠色通道的值，^為藍(lán)色通道的值；MV為目標(biāo)模型中像素點的個數(shù)。
1 層
3.提取目標(biāo)模型的每個點的特征向量f^并計算目標(biāo)模型的所有點的平均特征向量A。
按照公式(3)提取圖2矩形區(qū)域每個點的特征向量fp并且按照公式(6)計算所有點的平均特征向量//,。
二[jc，;;，線AG,，(^] (3)
其中x、 y分別代表一個像素點的的x軸和y軸坐標(biāo)，R、 G、 B分別代表它紅、綠、藍(lán)三個通道的值。G,、 Gy分別是它的x軸和y軸方向灰度的梯度值。設(shè)點(x，y)處的灰
度值為g(x，力，則
G,=g(:c + 1，>0 —g(;c-l，力 (4)Gy + —(5)<formula>formula see original document page 6</formula>
4.計算目標(biāo)模型的協(xié)方差矩陣C^。
用特征點的協(xié)方差矩陣C^來表示MxN的矩形區(qū)域，計算計算目標(biāo)模型的協(xié) 方差矩陣-
1 層
廚tf
其中^是一個點的特征向量，；^是所有點的平均特征向量。
5. 在后繼幀中，搜索窗口 (跟蹤窗口)定義為以目標(biāo)模型為中心的MxhxNxh的
大小，對跟蹤窗口內(nèi)每一個候選目標(biāo)，計算所有點的灰度值之和7;，檢査是否 滿足灰度約束。
圖3所示的大的虛線矩形區(qū)域是MxhxNxh的搜索窗口。對這個范圍內(nèi)的所有 MxN的矩形區(qū)域(即候選目標(biāo)，如圖3中小的虛線矩形區(qū)域)，計算它的灰度 和，并根據(jù)下列的公式(8)檢査是否滿足灰度約束?；叶燃s束是指候選目標(biāo)與目 標(biāo)模型的灰度值平均值之差的絕對值比上目標(biāo)模型的灰度均值要小于已知閾值。 若滿足，該候選目標(biāo)被保留，否則，該候選目標(biāo)被排除，并繼續(xù)掃描下一個候選 目標(biāo)，以此方式遍歷所有的候選目標(biāo)。
(8)
<formula>formula see original document page 6</formula>其中L是候選目標(biāo)的所有點的灰度均值，T是目標(biāo)模型的所有點的灰度均值，S是已 知閾值。如果滿足此公式，Ti被做為候選目標(biāo)保留，否則Ti被排除。
6. 對于所有滿足灰度約束的候選目標(biāo)，按照下列的公式(9)計算它們與目標(biāo)模型 的協(xié)方差矩陣的差異值p(C,，C》。差異值最小的候選目標(biāo)即是跟蹤目標(biāo)的具體位置。
與目標(biāo)模型的協(xié)方差矩陣的差異值(9)最小的候選目標(biāo)就是跟蹤的目標(biāo)，用 實線矩形把它標(biāo)出，如圖4。 ，
《',C》、iX人(C'.,C》 (9)
其中A(Q，c》是協(xié)方差矩陣c,和q的廣義特征值。
A4C,x4-C 0A: = l.j (10) 其中4是協(xié)方差矩陣C,.和的廣義特征值，、是協(xié)方差矩陣q和q的廣義特征向量。
圖5是對一段從室外獲取的行人運動的視頻使用本發(fā)明和傳統(tǒng)協(xié)方差矩陣跟蹤方法 的實驗結(jié)果比較。其中，由上至下的6幅圖分別對應(yīng)實驗視頻的第1,21， 51， 86, 91， 116 幀。(a)是傳統(tǒng)協(xié)方差矩陣跟蹤的結(jié)果，(b)是本發(fā)明的實驗結(jié)果。可以看出在目標(biāo)與背 景差異明顯時，如1，21，51幀，兩種方法的結(jié)果相近，但是當(dāng)目標(biāo)與背景差別較小時， 如挑,91，116幀，當(dāng)人的衣著和周圍顏色區(qū)分不明顯，本發(fā)明有更準(zhǔn)確的空間定位。
此外，在運行速度上本發(fā)明的優(yōu)勢明顯，能達(dá)到實時要求。實驗視頻共138幀，本 發(fā)明運行時間5.703s，跟蹤速度可達(dá)24.2fps，而標(biāo)準(zhǔn)方法運行時間8.734 s，速度為 15.8 fps。本發(fā)明的跟蹤速度提高了 53. 16%。 參考文獻(xiàn) F. Porikli, 0. Tuzel， P. Meer,"使用基于黎曼流形上的均值的模型更新的協(xié)方差矩陣跟 蹤Covariance Tracking using Model Update Based on Means on Riemannian Manifolds", Proc. IEEE Conf. on Computer Vision and Pattern Recognition. New York, NY. [2] D. Comaniciu， V. Ramesh， and P. Meer,"基于核的目標(biāo)跟蹤Kernel-Based Object Tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25， No. 5, 2003, pp. 564-575. 權(quán)利要求
1.一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟(1)對于視頻序列的一副圖像，框選一長為M像素，寬為N像素的矩形區(qū)域矩形區(qū)域作為目標(biāo)模型進行跟蹤。(2)利用下列公式計算目標(biāo)模型的每個點的灰度值gk，并計算目標(biāo)模型的所有點的灰度值的平均值，gk＝0.2989*Rk+0.5870*Gk+0.1140*Bk k∈[1，...，MN]，其中，Rk為紅色通道的值，Gk為綠色通道的值，Bk為藍(lán)色通道的值；(3)提取目標(biāo)模型的每個點的特征向量fk＝[x，y，R，G，B，Gx，Gy]，并計算目標(biāo)模型的所有點的平均特征向量μR，其中，x，y分別代表一個像素點的x軸和y軸坐標(biāo)，R，G，B分別代表它紅、綠、藍(lán)三個通道的值。Gx，Gy分別是它的x軸和y軸方向灰度的梯度值；(4)計算目標(biāo)模型的協(xié)方差矩陣CR， id="icf0001" file="A2009100704200002C1.tif" wi="56" he="10" top= "102" left = "97" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>(5)在后繼幀中，以目標(biāo)模型為中心長寬各擴大后得到跟蹤窗口，選取其中任意M×N大小的區(qū)域作為候選目標(biāo)，按照步驟(2)給出的方法計算候選目標(biāo)的所有點的灰度均值，檢查是否滿足下列灰度約束候選目標(biāo)與目標(biāo)模型的灰度值平均值之差的絕對值比上目標(biāo)模型的灰度均值小于設(shè)定閾值；(6)對于滿足灰度約束的候選目標(biāo)，計算它與目標(biāo)模型的協(xié)方差矩陣的差異值 id="icf0002" file="A2009100704200002C2.tif" wi="60" he="13" top= "150" left = "29" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>差異值最小的候選目標(biāo)區(qū)域即為被跟蹤目標(biāo)的位置，其中，λk(Ci，Cj)是協(xié)方差矩陣Ci和Cj的廣義特征值λkCixk-Cjxk＝0 k＝1...d，xk是協(xié)方差矩陣Ci和Cj的廣義特征向量。
全文摘要
本發(fā)明屬于圖像檢測技術(shù)領(lǐng)域，涉及一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟，對于一副圖像，框選矩形區(qū)域作為目標(biāo)模型進行跟蹤；計算目標(biāo)模型的每個點的灰度值；提取目標(biāo)模型的每個點的特征向量；計算目標(biāo)模型的協(xié)方差矩陣；在后繼幀中，以目標(biāo)模型為中心長寬各擴大后得到跟蹤窗口，選取候選目標(biāo)，檢查是否滿足灰度約束；對于滿足灰度約束的候選目標(biāo)，計算它與目標(biāo)模型的協(xié)方差矩陣的差異值，差異值最小的候選目標(biāo)區(qū)域即為被跟蹤目標(biāo)的位置。本發(fā)明具有目標(biāo)定位更準(zhǔn)確、跟蹤速度更快、實時性更強的優(yōu)點。
文檔編號G06T7/00GK101650829SQ200910070420
公開日2010年2月17日 申請日期2009年9月11日 優(yōu)先權(quán)日2009年9月11日
發(fā)明者煒 張, 操曉春, 李雪威, 王秀錦, 超 鄧 申請人:天津大學(xué)