專利名稱：一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種自適應(yīng)目標(biāo)跟蹤方法，具體涉及一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法。
背景技術(shù)：
運動目標(biāo)的跟蹤是在視頻圖像的每一幅圖像中確定出感興趣的運動目標(biāo)的位置，并把不同幀中同一目標(biāo)對應(yīng)起來。利用光學(xué)傳感器在復(fù)雜背景下探測目標(biāo)，對于民用和軍事領(lǐng)域均具有重要意義，它所涉及的傳感器設(shè)計、信息處理和系統(tǒng)仿真方法一直是科研工作者和工程技術(shù)人員研究的熱點。在地面載臺(如移動式、固定式)對周圍環(huán)境探測的過程中，以及空中載臺(如飛機、飛艇、衛(wèi)星等)對地探測的過程中，常通過光學(xué)探測系統(tǒng)獲得目標(biāo)與背景的圖像以進行目標(biāo)檢測跟蹤與識別或地形環(huán)境信息獲取與感知?？梢姽鈹z像技術(shù)隨著電荷耦合器件(CXD)、CMOS成像器件和數(shù)字圖像處理技術(shù)的發(fā)展，已經(jīng)普及應(yīng)用于各個領(lǐng)域，帶有智能化圖像處理功能的高清晰度可見光攝像視頻報警系統(tǒng)能夠自動識別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠發(fā)出警報和提供有用信息，可應(yīng)用在反恐、突發(fā)事件處置、航空監(jiān)視、交通管理、客戶行為分析等多種場合。20世紀(jì)中后期，可見光攝像機由黑白攝像機發(fā)展到彩色攝像機。近20年來，在安防領(lǐng)域使用的視頻監(jiān)控系統(tǒng)中已大量使用彩色攝像機，借助CCD的優(yōu)點和目前達到的優(yōu)良性能，彩色CCD攝像機成為視頻監(jiān)控系統(tǒng)中的主流。除軍事應(yīng)用外，基于可見光攝像的視頻監(jiān)控技術(shù)正在向高清網(wǎng)絡(luò)化、圖像數(shù)字化、監(jiān)控智能化的方向發(fā)展，新一代帶智能化圖像信息處理功能的CCD監(jiān)視報警系統(tǒng)具有多方面顯著優(yōu)勢，包括:全天候24小時可靠自動監(jiān)控；提高報警精確度，降低誤報和漏報現(xiàn)象，減少無用數(shù)據(jù)量；快速運行圖像處理算法，提高識別響應(yīng)速度；有效利用和擴展視頻資源的用途。傳統(tǒng)的Mean Shift和CamShift算法在簡單背景下能夠取得很好的效果并且具有很好的實時性，從而在對運動目標(biāo)的視頻跟蹤領(lǐng)域得到了廣泛的應(yīng)用。Mean Shift跟蹤算法是一種以目標(biāo)區(qū)域像素值的概率分布為特征的跟蹤算法，因為尋優(yōu)收斂速度快，該算法具有很好的實時性，并且具有一定的魯棒性。在Mean Shift算法中，核窗口起著非常重要的作用。通常核窗口由初始跟蹤窗口決定，并且大小固定不變。但是在對運動目標(biāo)的跟蹤過程中，如果目標(biāo)尺度發(fā)生變化，尤其是目標(biāo)尺度變大超過核窗口時，很容易導(dǎo)致對于目標(biāo)的跟蹤失效。根據(jù)Mean Shift算法的這一缺陷，G.Bradski在Mean Shift算法的基礎(chǔ)上提出了 CamShift算法,這是 一種Mean Shift算法的改進算法。它與Mean Shift算法的最大不同是在跟蹤過程中可以自適應(yīng)調(diào)整核窗口大小，以達到適應(yīng)目標(biāo)尺度的變化。但是無論是Mean Shift算法還是CamShift算法,它們的本質(zhì)都是使用目標(biāo)的顏色概率分布 目息，即直方圖作為跟蹤時的特征，而直方圖是一種較弱的特征，這就導(dǎo)致在復(fù)雜背景或背景中存在大面積干擾色時很容易導(dǎo)致跟蹤失效。且Mean Shift和CamShift算法對目標(biāo)運動軌跡不作任何預(yù)測，在目標(biāo)快速機動或發(fā)生遮擋丟失時，經(jīng)常無法繼續(xù)進行有效的跟蹤。
綜合而言，目前的視頻跟蹤技術(shù)對于運動目標(biāo)跟蹤仍存在一些困難，主要來源于以下方面光照強度和天氣變化對目標(biāo)跟蹤的影響；目標(biāo)外觀變化或發(fā)生旋轉(zhuǎn)、放縮、位移等各種復(fù)雜的變化；目標(biāo)快速運動時跟蹤的穩(wěn)定性問題；運動目標(biāo)的遮擋問題；復(fù)雜的背景干擾等因素的影響；運動目標(biāo)的正確檢測和分割問題；圖像的數(shù)據(jù)融合問題，比如多攝像頭跟蹤；跟蹤的實時性問題等。雖然最近十幾年視頻目標(biāo)跟蹤問題獲得了廣泛的研究并取得了長足的進步，但是由于現(xiàn)實環(huán)境中的許多情況都會影響視頻圖像中對目標(biāo)的可靠觀測，因此設(shè)計出能夠在各種復(fù)雜環(huán)境下準(zhǔn)確、快速、穩(wěn)定地跟蹤視頻目標(biāo)的方法，仍然是一項挑戰(zhàn)性的任務(wù)和急需解決的課題，尤其是可以應(yīng)用于復(fù)雜背景下以及遮擋情況下的運動目標(biāo)跟蹤方法。因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法。

發(fā)明內(nèi)容
為了實現(xiàn)復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤，本發(fā)明提出一種結(jié)合了 Kalman濾波器的復(fù)雜背景及遮擋條件下運動目標(biāo)跟蹤方法。本發(fā)明采用顏色紋理二維直方圖作為目標(biāo)的特征，可以較好的抑制光照的影響；在目標(biāo)反向投影圖的基礎(chǔ)上結(jié)合背景中的運動模板信息，實現(xiàn)一種改進的反向投影圖，可以有效地去除背景中的干擾；采用Kalman濾波器對目標(biāo)的運動進行預(yù)測，增加跟蹤方法的魯棒性，并提高了目標(biāo)快速運動時的跟蹤準(zhǔn)確性；在目標(biāo)發(fā)生遮擋丟失時，用最小二乘擬合目標(biāo)運動軌跡并按目標(biāo)先驗速度進行外推的方法對目標(biāo)運動狀態(tài)進行預(yù)測，在目標(biāo)重新出現(xiàn)后探測到目標(biāo)并繼續(xù)進行跟蹤，有效解決目標(biāo)遮擋問題。為實現(xiàn)上述目的，本發(fā)明利用顏色、紋理、運動信息以及結(jié)合Kalman濾波構(gòu)建Camshift,從而實現(xiàn)復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法?；赩isual Studio2008及0penCV2. O實現(xiàn)了方法的仿真體系。本發(fā)明上述方法包括以下步驟(I)確定所述目標(biāo)及所述視頻圖像的初始幀；(2)獲得所述目標(biāo)的顏色及紋理信息二維直方圖的反向投影，所述反向投影為計算所述目標(biāo)所在區(qū)域的直方圖分布情況在整幅圖像中的匹配程度，與目標(biāo)特征越相似的區(qū)域權(quán)重越大，然后將每個點的灰度值縮放至0-255的范圍得到一幅新的灰度圖像，即為反向投影圖；所述顏色是所述目標(biāo)的圖像色度信息，利用所述顏色的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標(biāo)的所述顏色；所述顏色信息易受到光照條件影響，本方法在光照條件變化時結(jié)合紋理信息；所述紋理是所述目標(biāo)的圖像通過計算灰度共生矩陣得到的灰度圖像，所述紋理采用所述灰度共生矩陣中的紋理特征提取，利用所述灰度圖像中所述目標(biāo)的所述紋理的直方圖，在所述視頻圖像中得到反向投影圖，來表示所述幀圖像的所述紋理；(3)所述目標(biāo)的顏色紋理二維直方圖結(jié)合所述目標(biāo)的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是所述視頻圖像與背景模型圖像作差值得到的前景圖像；(4)對所述目標(biāo)進行遮擋判定，若判定為所述目標(biāo)未被遮擋，采用Kalman濾波器對所述目標(biāo)在下一幀的位置進行預(yù)測，所述預(yù)測的結(jié)果作為下一幀CamShift算法迭代的起點，采用CamShift算法迭代下一幀；若判定為所述目標(biāo)被遮擋，所述Kalman濾波器停止工作，采用基于最小二乘估計的方法進行軌跡預(yù)測，同時對每一預(yù)測位置采用CamShift算法搜索；(5)判斷跟蹤是否結(jié)束，若判定為跟蹤未結(jié)束，獲取視頻跟蹤的當(dāng)前幀，并轉(zhuǎn)至步驟(2);若判定為跟蹤結(jié)束，則方法停止。其中，所述顏色采用HSV色彩模型將色度、飽和度、亮度區(qū)分開來，其中H分量表示色度，S分量表示飽和，V分量表示亮度。更進一步地，所述顏色采用H分量的直方圖及其反向投影圖從而對所述目標(biāo)的所述顏色特征描述。其中，所述紋理采用Gabor濾波器濾波以提取。更進一步地，所述紋理的提取采用的所述灰度共生矩陣中的紋理特征是由每個像素8鄰域的灰度差值產(chǎn)生的，對所述灰度圖像所述每個像素分別取45°、135°、90°、0°方向上的鄰域灰度值差，即:Gl (x, y) =G (x+1, y+1) -G (χ-l, y-1)(I)G2 (χ, y) =G (χ-l, y+1) -G (x+1, y-1)(2)G3 (x, y) =G (x, y+1) -G (x, y-1)(3)G4 (x, y) =G (x+1, y) -G (χ-l, y)(4)其中(x，y)為所述像素坐標(biāo)。得到4個方向上的鄰域灰度值差后，所述紋理的所述每個像素灰度差 值定義為G5 (x, y) = [G1 (x, y) +G2 (x, y) +G3 (x, y) +G4 (χ, y) ] /4 (5)由此得到所述紋理。其中，所述顏色紋理二維直方圖通過是將通常情況下一維單平面圖像的直方圖計算方法擴展到顏色及紋理圖像組成的復(fù)平面的二維情況下；所述目標(biāo)的顏色紋理二維直方圖的反向投影是所述顏色紋理二維直方圖在所述顏色及所述紋理二維復(fù)平面圖像上計算分布匹配情況得到的。其中，所述目標(biāo)的顏色紋理二維直方圖結(jié)合所述目標(biāo)的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是視頻的每幀圖像中經(jīng)過背景模型作差值后的前景圖像。其中，所述目標(biāo)的顏色紋理二維直方圖結(jié)合所述目標(biāo)的運動模板信息，得到擴展的反向投影圖，定義如下:
r,.../Λ — j A/, ,/Λ) M(1.1,k)=l(Wv -&Μ{(,]Λ) = 0(10)其中，P(i，j，k)是所述顏色紋理二維直方圖的反向投影圖，戶(/J，幻是所述擴展的反向投影圖，M(i，j，k)為運動模板信息。其中，所述遮擋判定是通過比較所述目標(biāo)的觀測值與最優(yōu)估計值之間的殘差來判斷目標(biāo)是否被遮擋:r(k) -- x(^ ))2 + (.V(/r) - r(々))2I L”式中，X和y分別為所述目標(biāo)的質(zhì)心在X軸和y軸方向上的坐標(biāo)，k表示第k巾貞，對是)和j>(幻是所述目標(biāo)的估計值，X (k)和y(k)是所述目標(biāo)觀測值，定義一個閾值α，當(dāng)r(k)>a時，即判定所述目標(biāo)發(fā)生遮擋，當(dāng)r(k)〈 α則判定所述目標(biāo)未被遮擋。其中，所述Kalman濾波中對所述目標(biāo)采用勻速運動模型，定義所述目標(biāo)的狀態(tài)向量為 X (k) = [χ (k)，y (k)，vx (k)，vy (k)]，觀測向量為 Z (k) = [vx (k)，Vy (k)]，其中x(k),y(k),vx(k),vy(k)分別為所述目標(biāo)的質(zhì)心在χ軸和y軸方向上的坐標(biāo)和速度，且
權(quán)利要求
1.一種復(fù)雜背景及遮擋條件下的運動的目標(biāo)的跟蹤方法，用于跟蹤視頻圖像中的運動的目標(biāo)，其特征在于，包括步驟: (1)確定所述目標(biāo)及所述視頻圖像的初始幀； (2)獲得所述目標(biāo)的顏色及紋理信息二維直方圖的反向投影，所述顏色是所述目標(biāo)的圖像色度信息，利用所述顏色的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標(biāo)的所述顏色；所述紋理是所述目標(biāo)的圖像通過計算灰度共生矩陣得到的灰度圖像，所述紋理采用所述灰度共生矩陣中的紋理特征提取，利用所述灰度圖像中所述目標(biāo)的所述紋理的直方圖，在所述視頻圖像中得到反向投影圖，來表示所述幀圖像的所述紋理； (3)所述目標(biāo)的顏色紋理二維直方圖結(jié)合所述目標(biāo)的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是所述視頻圖像與背景模型圖像作差值得到的前景圖像； (4)對所述目標(biāo)進行遮擋判定，若判定為所述目標(biāo)未被遮擋，采用Kalman濾波器對所述目標(biāo)在下一幀的位置進行預(yù)測，所述預(yù)測的結(jié)果作為下一幀CamShift算法迭代的起點，采用CamShift算法迭代下一巾貞；若判定為所述目標(biāo)被遮擋，所述Kalman濾波器停止工作，采用基于最小二乘估計的方法進行軌跡預(yù)測，同時對每一預(yù)測位置采用CamShift算法搜索； (5)判斷跟蹤是否結(jié)束，若判定為跟蹤未結(jié)束，獲取視頻跟蹤的當(dāng)前幀，并轉(zhuǎn)至步驟(2);若判定為跟蹤結(jié)束，則方法停止。
2.如權(quán)利要求1所述的一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法，其特征在于，步驟(2)中所述顏色采用HSV色彩模型將所述顏色的色度、飽和度、亮度區(qū)分開來，其中H分量表示色度，S分量表示飽和度，V分量表示亮度。
3.如權(quán)利要求2所述的一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法，其特征在于，利用所述HSV色彩模型的H分量的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標(biāo)的所述顏色。
4.如權(quán)利要求1所述的一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法，其特征在于，步驟(2)中所述紋理的提取采用的所述灰度共生矩陣中的紋理特征是由所述灰度圖像每個像素上下左右及其對角線方向的8個鄰域之間灰度差值產(chǎn)生的，對所述每個像素分別取45。、135。、90。、0。方向上的鄰域灰度值差，即: Gl (X，y) =G (x+1, y+1) -G (χ-l, y-1) G2 (χ, y) =G (χ-1, y+1) -G (x+1, y-1) G3 (x, y) =G (x, y+1) -G (x, y-1) G4 (x, y) =G (x+1, y) -G (x_l, y) 其中(x，y)為所述像素坐標(biāo)。得到4個方向上的鄰域灰度值差后，所述紋理的所述每個像素的灰度差值定義為 G5 (χ, y) = [Gl (χ, y) +G2 (x, y) +G3 (x, y) +G4 (x, y)]/4 由此得到所述紋理。
5.如權(quán)利要求1所述的一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法，其特征在于，步驟(3)中所述目標(biāo)的顏色紋理二維直方圖結(jié)合所述目標(biāo)的運動模板信息，得到擴展的反向投影圖:
6.如權(quán)利要求1所述的一種復(fù)雜背景及遮擋條件下的運動目標(biāo)跟蹤方法，其特征在于，步驟(4)中所述遮擋判定是通過比較所述目標(biāo)的觀測值與最優(yōu)估計值之間的殘差來判斷目標(biāo)是否被遮擋:
全文摘要
本發(fā)明公開了一種多特征結(jié)合Kalman濾波的目標(biāo)跟蹤方法，用于解決復(fù)雜背景環(huán)境以及遮擋情況下的目標(biāo)跟蹤。提出基于顏色、紋理及目標(biāo)運動信息的綜合特征用于改進CamShift算法，并結(jié)合Kalman濾波器對目標(biāo)運動狀態(tài)進行預(yù)測，提高了復(fù)雜背景下運動目標(biāo)的跟蹤穩(wěn)定性和跟蹤精度。顏色信息易受到光照及背景干擾色等因素干擾，引入目標(biāo)紋理特征改善采用單一顏色信息時的缺陷，并繼續(xù)加入目標(biāo)運動信息，進一步排除背景中的干擾。在目標(biāo)發(fā)生遮擋時，通過目標(biāo)遮擋前的先驗信息進行最小二乘擬合及目標(biāo)運動軌跡外推，預(yù)測目標(biāo)運動位置信息，有利于遮擋結(jié)束時對運動目標(biāo)的重新捕獲。
文檔編號G06T5/40GK103077539SQ20131002435
公開日2013年5月1日 申請日期2013年1月23日 優(yōu)先權(quán)日2013年1月23日
發(fā)明者肖剛, 許曉航 申請人:上海交通大學(xué)