專(zhuān)利名稱(chēng)：一種基于camshift和卡爾曼濾波的視頻目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種基于CAMSHIFT和卡爾曼濾波的視頻目標(biāo)跟蹤方法。
背景技術(shù)：
隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，運(yùn)動(dòng)視頻目標(biāo)跟蹤技術(shù)已經(jīng)成為武器制導(dǎo)、模式識(shí)另IJ，計(jì)算機(jī)視覺(jué)等領(lǐng)域的重要課題。由于運(yùn)動(dòng)視頻目標(biāo)跟蹤技術(shù)在軍事和民用領(lǐng)域都有廣闊的應(yīng)用前景，國(guó)內(nèi)外有許多學(xué)者從事這一課題的研究，并提出了許多經(jīng)典的目標(biāo)跟蹤算法。運(yùn)動(dòng)視頻目標(biāo)跟蹤把圖像處理、計(jì)算機(jī)視覺(jué)和信息科學(xué)有機(jī)結(jié)合起來(lái)，形成了一種能從 視頻圖像中實(shí)時(shí)地自動(dòng)識(shí)別出目標(biāo)，提取目標(biāo)位置信息，自動(dòng)跟蹤目標(biāo)的技術(shù)。由于現(xiàn)實(shí)環(huán)境具有復(fù)雜性，如目標(biāo)被遮擋、背景中存在與目標(biāo)特征相似的物體、光線亮度的變化、目標(biāo)快速運(yùn)動(dòng)、背景物體的運(yùn)動(dòng)等問(wèn)題，如何提高目標(biāo)跟蹤實(shí)時(shí)性、準(zhǔn)確性和魯棒性，解決復(fù)雜背景下的目標(biāo)跟蹤一直是人們研究的熱點(diǎn)。目前，國(guó)外學(xué)者對(duì)目標(biāo)跟蹤技術(shù)都進(jìn)行了比較深入的研究。1994年，Jim Ivins等人提出用限制性主動(dòng)區(qū)域模型對(duì)彩色圖形序列進(jìn)行快速跟蹤的方法。1995年，YZ. Chen將無(wú)參估計(jì)理論應(yīng)用到目標(biāo)跟蹤領(lǐng)域，提出基于Mean Shift算法的目標(biāo)跟蹤算法。1996年，S. Asaad在機(jī)器人視覺(jué)實(shí)驗(yàn)中運(yùn)用邊緣信息有效進(jìn)行了目標(biāo)跟蹤。1997年，P. Fieguth和D. Terzopouloslg等人進(jìn)行了基于顏色的目標(biāo)跟蹤方法的研究。1998年，M. Kass等人提出用主動(dòng)輪廓模型進(jìn)行目標(biāo)跟蹤。2000年，Y. Zhong等人提出了基于可變形模板進(jìn)行目標(biāo)跟蹤的方法。2001年，Gi-Jeong Jang等人提出用自適應(yīng)顏色模型進(jìn)行目標(biāo)跟蹤，同年Y. Bar-Shalom等人提出基于運(yùn)動(dòng)估計(jì)的估計(jì)跟蹤算法。2003年,Ryuzo Okada等人基于光流的邊緣信息，進(jìn)行了運(yùn)動(dòng)目標(biāo)跟蹤的研究。2007年，R. Venkatesh Babu等提出基于運(yùn)動(dòng)估計(jì)與顏色模型相結(jié)合的跟蹤算法。在Mean Shift跟蹤算法中，通常核窗口由初始跟蹤窗口的大小決定，而且在整個(gè)跟蹤過(guò)程中不再發(fā)生變化。然而，當(dāng)目標(biāo)存在明顯尺度變化的時(shí)候，尤其是當(dāng)目標(biāo)尺寸逐漸增大以至超出核窗寬范圍的時(shí)候，固定不變的核窗寬常常會(huì)導(dǎo)致目標(biāo)的丟失。CAMSH IFT算法作為連續(xù)自適應(yīng)的Mean Shift，通過(guò)自動(dòng)調(diào)節(jié)核窗口大小以及被跟蹤目標(biāo)在圖像中的大小從而可以有效地解決目標(biāo)變形問(wèn)題，但其算法也收斂于局部最大值，并沒(méi)有對(duì)目標(biāo)的相似度做判定。當(dāng)CAMSHIFT的搜索窗口里面包含多個(gè)特征相似候選模型時(shí)，CAMSHIFT算法無(wú)法辨別是否出現(xiàn)干擾，經(jīng)常出現(xiàn)跟蹤精度不夠的問(wèn)題。而且，當(dāng)目標(biāo)運(yùn)動(dòng)物體緩慢地通過(guò)障礙物或進(jìn)行快速無(wú)規(guī)則運(yùn)動(dòng)時(shí)，CAMSHIFT算法將很容易失效，導(dǎo)致目標(biāo)跟蹤丟失。同時(shí)，當(dāng)目標(biāo)瞬間有個(gè)較大的加速度或被遮擋時(shí)，CAMSHIFT跟蹤算法容易失效。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的缺陷，提供一種基于CAMSHIFT和卡爾曼濾波的視頻目標(biāo)跟蹤方法，通過(guò)該方法引入了相似度判定以及重定位技術(shù)，有效地解決了背景干擾，提聞了跟蹤的精度。一種基于CAMSHIFT和卡爾曼濾波的視頻目標(biāo)跟蹤方法，采用卡爾曼濾波方法先預(yù)測(cè)出搜索窗口，再結(jié)合自適應(yīng)局部搜索算法進(jìn)行CAMSHIFT跟蹤，具體步驟如下stepl :該方法以搜索窗口為參數(shù)，使用卡爾曼濾波器預(yù)測(cè)搜索窗口 Win ；st印2 :以Win為參數(shù)調(diào)用CAMSHIFT算法尋找目標(biāo)，返回包含候選模型的窗口targetffin ；step3 :計(jì)算targetWin和目標(biāo)模型的相似度；step4 :若相似度大于給定閾值,貝U轉(zhuǎn)step6 ；step5 :若相似度不大于給定閾值，則將上一幀的目標(biāo)窗口以及卡爾曼濾波器預(yù)測(cè) 的距離代替enlarge作為擴(kuò)大窗口的參數(shù)，調(diào)用自適應(yīng)迭代搜索算法；St印6:返回目標(biāo)窗口。優(yōu)選地，針對(duì)計(jì)算量以及視頻亮度變化不定的問(wèn)題，采用HSV，H為色度分量，S為色彩飽和度分量，V為亮度分量，模型中的色度HUE分量作為跟蹤的特征，采用反向投影圖進(jìn)行處理；讀取視頻每一幀圖像時(shí)，提取其HSV格式中HUE通道的圖像HImg ;初始化搜索窗口，選擇目標(biāo)區(qū)域的大小和位置)，計(jì)算該區(qū)域的顏色直方圖；假定使用m級(jí)量化的直方圖，{xj i = ,..n為目標(biāo)區(qū)域圖像的像素位置，定義c :R2 — {I. . . m}來(lái)表示像素Xi對(duì)應(yīng)的像素值，那么目標(biāo)顏色直方圖分布為
nA =M]
!=1(I)其中u = I,…，m, 8為Kronecker Delta函數(shù)。為使得到的概率分布在
范圍內(nèi)，需將直方圖進(jìn)行縮放
f( 255^ Pu = min -—^,255 ^(2)
II max⑷m對(duì)當(dāng)前幀視頻圖像作反向投影，將Hlmg圖像中Xi對(duì)應(yīng)的像素值u替換為pu，即得到所求的反向投影圖。優(yōu)選地，本方法基于CAMSHIFT思想，先確定當(dāng)前幀的搜索窗口及其質(zhì)心位置，然后調(diào)整搜索窗口的大小，將搜索窗口的中心移動(dòng)到質(zhì)心，如果移動(dòng)距離大于預(yù)設(shè)的閾值，則重新計(jì)算調(diào)整后的窗口質(zhì)心，進(jìn)行新一輪的窗口位置和尺寸更新，直到移動(dòng)窗口的位置小于閾值或迭代次數(shù)超過(guò)一個(gè)最大值，最后將窗口的位置和尺寸作為下一幀運(yùn)算的輸入值，如此循環(huán)迭代；為了計(jì)算反向投影圖中搜索窗口的質(zhì)心，可以通過(guò)如下方法計(jì)算；計(jì)算零階矩j^oo(3)
X ^分別計(jì)算出X和y的一階矩Mio =ZZ xI (x，少)凡=Z Z 少7 (x，少)(4)
X yX y
計(jì)算搜索窗口的質(zhì)心

權(quán)利要求
1.一種基于CAMSHIFT和卡爾曼濾波的視頻目標(biāo)跟蹤方法，其特征在于，該方法采用卡爾曼濾波方法先預(yù)測(cè)出搜索窗口，再結(jié)合自適應(yīng)局部搜索算法進(jìn)行CAMSHIFT跟蹤，具體步驟如下 stepl :該方法以搜索窗口為參數(shù)，使用卡爾曼濾波器預(yù)測(cè)搜索窗口 Win ；step2 以Win為參數(shù)調(diào)用CAMSHIFT算法尋找目標(biāo)，返回包含候選模型的窗口targetffin ； step3 :計(jì)算targetWin和目標(biāo)模型的相似度； step4 :若相似度大于給定閾值,則轉(zhuǎn)step6 ； step5 :若相似度不大于給定閾值，則將上一幀的目標(biāo)窗口以及卡爾曼濾波器預(yù)測(cè)的距離代替enlarge作為擴(kuò)大窗口的參數(shù)，調(diào)·用自適應(yīng)迭代搜索算法；step6 :返回目標(biāo)窗口。
2.如權(quán)利要求I所述的方法，其特征在于，針對(duì)計(jì)算量以及視頻亮度變化不定的問(wèn)題，采用HSV，H為色度分量，S為色彩飽和度分量，V為亮度分量，模型中的色度HUE分量作為·跟蹤的特征，采用反向投影圖進(jìn)行處理； 讀取視頻每一幀圖像時(shí)，提取其HSV格式中HUE通道的圖像HImg ;初始化搜索窗口，選擇目標(biāo)區(qū)域的大小和位置)，計(jì)算該區(qū)域的顏色直方圖；假定使用m級(jí)量化的直方圖，IxJi= ,..n為目標(biāo)區(qū)域圖像的像素位置，定義c =R2 — {I. ..m}來(lái)表示像素xi對(duì)應(yīng)的像素值，那么目標(biāo)顏色直方圖分布為% =TuSlc {xt)-u~] (I) 其中u = 1，…，m，8為Kronecker Delta函數(shù)。為使得到的概率分布在
范圍內(nèi)，需將直方圖進(jìn)行縮放 255 ^,25511(2) I max⑷m 對(duì)當(dāng)前幀視頻圖像作反向投影，將Hlmg圖像中Xi對(duì)應(yīng)的像素值u替換為pu，即得到所求的反向投影圖。
3.如權(quán)利要求I或2所述的方法，其特征在于，本方法基于CAMSHIFT思想，先確定當(dāng)前幀的搜索窗口及其質(zhì)心位置，然后調(diào)整搜索窗口的大小，將搜索窗口的中心移動(dòng)到質(zhì)心，如果移動(dòng)距離大于預(yù)設(shè)的閾值，則重新計(jì)算調(diào)整后的窗口質(zhì)心，進(jìn)行新一輪的窗口位置和尺寸更新，直到移動(dòng)窗口的位置小于閾值或迭代次數(shù)超過(guò)一個(gè)最大值，最后將窗口的位置和尺寸作為下一幀運(yùn)算的輸入值，如此循環(huán)迭代； 為了計(jì)算反向投影圖中搜索窗口的質(zhì)心，可以通過(guò)如下方法計(jì)算； 計(jì)算零階矩 mOO=ZZ7(xJ)(3) X ^ 分別計(jì)算出X和y的一階矩 M10 =ZZ Xl (X，少);M01 = Z Z 少7 (X，少)(4) X yx y 計(jì)算搜索窗口的質(zhì)心
4.如權(quán)利要求I所述的方法，其特征在于，在CAMSHIFT的基礎(chǔ)上，提出了一種重定位窗口的方法，并引入相似度判定的約束，來(lái)獲取更加精確的候選模型；當(dāng)執(zhí)行CAMSHIFT算法，獲得候選模型的窗口 Win時(shí),將其分裂為5個(gè)子窗口 將Win按其寬度的一半和長(zhǎng)度的一半等分為4個(gè)窗口 ；以Win中心點(diǎn)為中心點(diǎn)，以其寬度一半為寬度，其長(zhǎng)度一半為長(zhǎng)度，設(shè)置第5個(gè)窗口 ；通過(guò)相似度度量方法即采用相關(guān)系數(shù)法或者巴氏距離比對(duì)法，分別計(jì)算這五個(gè)窗口的候選模型與目標(biāo)模型的相似度，選出相似度最高的窗口 maxWin，以maxWin作為參數(shù)再調(diào)用CAMSHIFT，返回候選模型。
5.如權(quán)利要求I或4所述的方法，其特征在于，進(jìn)行CAMSHIFT算法時(shí)，由于搜索窗口的擴(kuò)大，導(dǎo)致得到的候選模型窗口尺度大于目標(biāo)模型，往往無(wú)法準(zhǔn)確地定位出目標(biāo)的位置；為了在候選模型窗口中得到目標(biāo)窗口，在重定位方法的基礎(chǔ)上，引入最大相似度閾值和最小相似度閾值，設(shè)計(jì)出一種迭代縮小的技術(shù)；通過(guò)迭代分裂窗口以及迭代進(jìn)行CAMSHIFT的過(guò)程，即可以準(zhǔn)確定位目標(biāo)。
6.如權(quán)利要求I或5所述的方法，其特征在于，用迭代縮小算法的特點(diǎn)，在其基礎(chǔ)上，本方法引入了擴(kuò)大窗口的參數(shù)；每次進(jìn)行迭代縮小算法，若未能使相似度達(dá)到最大相似度閾值即未能準(zhǔn)確找到目標(biāo)，則每次以enlarge的幅度擴(kuò)大搜索窗口，再進(jìn)行迭代縮小算法。
7.如權(quán)利要求I所述的方法，其特征在于，基于卡爾曼濾波器的目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)方法采用目標(biāo)運(yùn)動(dòng)過(guò)程中的任意一點(diǎn)作為起點(diǎn)開(kāi)始預(yù)測(cè)，采用遞歸濾波的方法計(jì)算；利用卡爾曼濾波進(jìn)行狀態(tài)估計(jì)分為三步初始化、預(yù)測(cè)和更新；描述系統(tǒng)的狀態(tài)方程和觀測(cè)方程分別如式(6)和(7)所示X (k) = F (k) X (k-1) +w (k) (6) Z(k) = H(k)X(k)+v(k)(7) 式中1，F(xiàn)(k)和H(k)分別是系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣和觀測(cè)矩陣，w(k)和v(k)分別是滿(mǎn)足正態(tài)分布的過(guò)程噪聲和觀測(cè)噪聲向量，它們是互不相關(guān)的零均值白噪聲序列，即w(k) □ N(0, Q(k)), v(k) □ N(0, R(k)) ；Q(k)為過(guò)程噪聲的協(xié)方差矩陣，R(k)為觀測(cè)噪聲的協(xié)方差矩陣。
全文摘要
本發(fā)明公開(kāi)了一種基于CAMSHIFT和卡爾曼濾波的視頻目標(biāo)跟蹤方法。該方法以搜索窗口為參數(shù)，使用卡爾曼濾波器預(yù)測(cè)搜索窗口Win；以Win為參數(shù)調(diào)用CAMSHIFT算法尋找目標(biāo)，返回包含候選模型的窗口targetWin；計(jì)算targetWin和目標(biāo)模型的相似度；若相似度大于給定閾值，則找到目標(biāo)，返回目標(biāo)窗口；若相似度不大于給定閾值，則將上一幀的目標(biāo)窗口以及卡爾曼濾波器預(yù)測(cè)的距離代替enlarge作為擴(kuò)大窗口的參數(shù)，調(diào)用自適應(yīng)迭代搜索算法。通過(guò)該方法引入了相似度判定以及重定位技術(shù)，有效地解決了背景干擾，提高了跟蹤的精度。
文檔編號(hào)G06K9/00GK102737385SQ201210123039
公開(kāi)日2012年10月17日 申請(qǐng)日期2012年4月24日 優(yōu)先權(quán)日2012年4月24日
發(fā)明者孟思明, 羅笑南, 陳欣 申請(qǐng)人:中山大學(xué)