專利名稱：運(yùn)動(dòng)目標(biāo)跟蹤方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)，特別是涉及一種智能視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)跟蹤
方法及其系統(tǒng)。
背景技術(shù)：
隨著犯罪水平和威脅的增加，安全已成為世界普遍關(guān)注的問題。視頻監(jiān)控是解決 該問題的方法之一。除了公共安全外，視頻監(jiān)控也能有效地解決一些其他問題，如擁擠城市 車流量、人流量的調(diào)節(jié)。多年來(lái)大型監(jiān)控系統(tǒng)在諸如機(jī)場(chǎng)、銀行、高速公路或城市中心等的 主要場(chǎng)所得到了廣泛地應(yīng)用。 由于傳統(tǒng)的視頻監(jiān)控技術(shù)一般為人工監(jiān)視，存在著易疲勞、易疏忽、反應(yīng)速度慢、 人工費(fèi)用高等諸多不足。因此，近年來(lái)人們逐漸研究一種數(shù)字化、標(biāo)準(zhǔn)化、智能化和IP網(wǎng)絡(luò) 化的智能視頻監(jiān)控技術(shù)。 常規(guī)的智能視頻監(jiān)控技術(shù)都包括一個(gè)運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)。運(yùn)動(dòng)目標(biāo)跟蹤的目的是 在正確檢測(cè)出運(yùn)動(dòng)目標(biāo)的基礎(chǔ)上，確定同一目標(biāo)在不同場(chǎng)景圖像中位置的過(guò)程。
為了實(shí)現(xiàn)跟蹤，可以使用基于運(yùn)動(dòng)分析的方法，如幀間差分法和光流分割法。幀間 差分法是對(duì)相鄰幀圖像作相減運(yùn)算之后，對(duì)結(jié)果圖像取閾值并分割，提取運(yùn)動(dòng)目標(biāo)。這種方 法的缺點(diǎn)是只能根據(jù)幀間像素的強(qiáng)度變化來(lái)檢測(cè)場(chǎng)景中目標(biāo)是否運(yùn)動(dòng)，運(yùn)動(dòng)目標(biāo)信號(hào)的幀 間相關(guān)性和噪聲的幀間相關(guān)性都很弱，難以區(qū)分。光流分割法是通過(guò)目標(biāo)和背景之間的不 同速度來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。這種方法的缺點(diǎn)是不能有效區(qū)分目標(biāo)運(yùn)動(dòng)造成的背景遮擋、顯示 以及孔徑等問題，計(jì)算量大，需要特殊的硬件支持。 為了實(shí)現(xiàn)跟蹤，可以使用圖像匹配方法，如區(qū)域匹配、模型匹配。區(qū)域匹配是把參 考圖像的某一塊整體與實(shí)時(shí)圖像所有可能位置上進(jìn)行疊加，然后計(jì)算某種圖像相似性度量 的相應(yīng)值，其最大相似性相對(duì)應(yīng)的位置就是目標(biāo)的位置。這種方法的缺點(diǎn)是計(jì)算量大，難以 達(dá)到實(shí)時(shí)性要求。模型匹配是根據(jù)模板來(lái)匹配場(chǎng)景圖像中的目標(biāo)。這種方法的缺點(diǎn)是計(jì)算 分析復(fù)雜，運(yùn)算速度慢，模型的更新較為復(fù)雜，實(shí)時(shí)性較差。 綜上所述，目前迫切需要提出更為簡(jiǎn)單、有效、實(shí)時(shí)的運(yùn)動(dòng)目標(biāo)跟蹤方案。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一個(gè)運(yùn)動(dòng)目標(biāo)跟蹤方法及其系統(tǒng)，其可以
得到正確的前景圖像，減少了目標(biāo)檢測(cè)的錯(cuò)誤；進(jìn)一步，可以根據(jù)檢測(cè)結(jié)果進(jìn)行預(yù)測(cè)、匹配、
更新等操作，以濾除虛假運(yùn)動(dòng)目標(biāo)，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的準(zhǔn)確跟蹤。 為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 本發(fā)明提供了一個(gè)運(yùn)動(dòng)目標(biāo)跟蹤方法，所述運(yùn)動(dòng)目標(biāo)跟蹤方法包括 檢測(cè)目標(biāo)，將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)； 預(yù)測(cè)目標(biāo)，估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)； 匹配目標(biāo)，跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；
5
更新目標(biāo)，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。 根據(jù)本發(fā)明，所述檢測(cè)目標(biāo)包括如下步驟 獲取視頻，獲取視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型； 預(yù)處理圖像，消除場(chǎng)景圖像對(duì)背景模型的影響； 標(biāo)記區(qū)域，根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域； 維護(hù)狀態(tài)，判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異
常檢測(cè)； 增強(qiáng)區(qū)域，使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假 區(qū)域； 分裂與合并區(qū)域，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)
行合并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互遮擋問題。
其中，所述預(yù)處理圖像包括濾波處理和全局運(yùn)動(dòng)補(bǔ)償；其中， 所述濾波處理包括對(duì)圖像進(jìn)行噪聲過(guò)濾處理、圖像平滑處理； 所述全局運(yùn)動(dòng)補(bǔ)償，是補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)，在全局運(yùn) 動(dòng)補(bǔ)償中，運(yùn)動(dòng)模型包括平移、旋轉(zhuǎn)、變焦。 通過(guò)下列常規(guī)公式計(jì)算前景所在的矩形區(qū)域周圍正負(fù)5個(gè)像素的區(qū)域亮度差 IDS，得到全局運(yùn)動(dòng)補(bǔ)償中圖像平移的距離Ax、 Ay，公式如下zos = ￡ ￡ (/(』-/(w)C,
義=& y= 其中，sx表示區(qū)域起點(diǎn)x坐標(biāo)，sy表示區(qū)域起點(diǎn)y坐標(biāo)，I(x,y) (t)表示當(dāng)前幀圖像
灰度，I(x,y)(t-1)表示上一幀圖像灰度；同理計(jì)算其它四個(gè)區(qū)域的位置變化量，最后求出平 均的Ax、 Ay ;將圖像按照Ax、 Ay進(jìn)行平移得到補(bǔ)償后的圖像。 其中，所述標(biāo)記區(qū)域包括如下步驟 前景分割，基于背景模型對(duì)場(chǎng)景圖像進(jìn)行分割，以得到前景的二值圖像； 形態(tài)學(xué)處理，使用數(shù)學(xué)形態(tài)學(xué)的方法處理所述的二值圖像，以去除面積較小的虛
假區(qū)域，并填充面積較大的區(qū)域；以及 連通區(qū)域標(biāo)記，用連通域的方法標(biāo)記同一場(chǎng)景中的不同區(qū)域，以區(qū)別不同的目標(biāo) 區(qū)域。 其中，所述維護(hù)狀態(tài)包括狀態(tài)判定和異常檢測(cè)。 所述狀態(tài)判定，是判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理；當(dāng)場(chǎng)景穩(wěn)定 時(shí)間超過(guò)閾值l，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場(chǎng)景改變時(shí)間超過(guò)閾值2，系統(tǒng)由工 作狀態(tài)進(jìn)入初始化狀態(tài)。其中，所述閾值1優(yōu)選為0. 5 2秒之間，所述閾值2優(yōu)選為5 20秒之間。 所述異常檢測(cè)，是在視頻信號(hào)干擾嚴(yán)重，以及有人為的遮擋相機(jī)的情況時(shí)執(zhí)行；根 據(jù)兩次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷，若當(dāng)前幀的背景與背景模型 的邊緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過(guò)閾值4，則認(rèn)為是異常 現(xiàn)象。其中，所述閾值3優(yōu)選為30 50之間，所述閾值4優(yōu)選為6 20秒之間。
其中，所述增強(qiáng)區(qū)域包括陰影檢測(cè)、高亮檢測(cè)、樹濾波。 陰影檢測(cè)，是針對(duì)每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除，若像素值小于所述閾值，則 判定為陰影。 高亮檢測(cè)，是用于檢測(cè)圖像是否處于高亮狀態(tài)，若是，則進(jìn)行亮度補(bǔ)償，亮度補(bǔ)償 使得圖像的像素值的均值為128。 樹檢測(cè)，用于檢測(cè)圖像中的擺動(dòng)樹葉和擺動(dòng)樹葉陰影，并將其從前景圖像中濾除。
擺動(dòng)樹葉的檢測(cè)是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(l)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn) 動(dòng)軌跡點(diǎn)中目標(biāo)對(duì)應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為 該目標(biāo)是擺動(dòng)樹葉；(2)質(zhì)心運(yùn)動(dòng)的振幅，當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過(guò)目標(biāo) 寬度的閾值6時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉。其中，所述閾值5優(yōu)選為5% 15%之間；所 述閾值6優(yōu)選為1. 5 2. 5之間。 擺動(dòng)樹葉陰影的檢測(cè)方法是分別統(tǒng)計(jì)膨脹操作前后該區(qū)域內(nèi)膨脹操作前后像素 值為"1"的點(diǎn)的個(gè)數(shù)，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉 陰影的區(qū)域。其中，所述閾值7優(yōu)選為40% 60%之間。 其中，所述分裂與合并區(qū)域是基于所述增強(qiáng)區(qū)域的處理過(guò)程，判定相鄰兩區(qū)域是 否是同一目標(biāo)區(qū)域；若屬于同一目標(biāo)區(qū)域，則將這兩個(gè)區(qū)域合并；否則，將其分裂；其中，相 鄰兩區(qū)域是指區(qū)域邊緣距離小于閾值8的區(qū)域。其中，所述閾值8優(yōu)選為3 7個(gè)像素之 間。 根據(jù)本發(fā)明，所述預(yù)測(cè)目標(biāo)是根據(jù)目標(biāo)運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì) 算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測(cè)目標(biāo)的下一次位移；其中，
所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為
v = s/t 其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該 目標(biāo)穩(wěn)定運(yùn)動(dòng)的平均速度； 根據(jù)所述平均速度v預(yù)測(cè)的下一次位移為
s' = v A t 其中，A t為預(yù)測(cè)的目標(biāo)時(shí)間，s'為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)A t時(shí)間后的位移。
根據(jù)本發(fā)明，所述匹配目標(biāo)包括跟蹤匹配的穩(wěn)定目標(biāo)和濾除虛假目標(biāo)；其中，
所述跟蹤匹配的穩(wěn)定目標(biāo)是判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配，所述匹配根據(jù)下 述公式中檢測(cè)區(qū)域與目標(biāo)的匹配系數(shù)D來(lái)判定
D = Da*ADa+Db*ADb+Dc*ADc 其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。當(dāng)檢測(cè)區(qū) 域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該檢測(cè)區(qū)域與目標(biāo)匹配。ADa、 ADb、 AD。分別為 Da、Db、Dc對(duì)應(yīng)的權(quán)值系數(shù)。其中，所述閾值9優(yōu)選為0. 7 0. 8之間。
面積匹配系數(shù)Da，是當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值 10時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足面積的匹配，Da取1 ;否則Da取0。其中，所述閾值10優(yōu)選為 40% 60%之間。 直方圖匹配系數(shù)Db，是當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖 的閾值11時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足直方圖的匹配，Db取1 ;否則Db取0。其中，所述閾值 11優(yōu)選為40% 60%之間。
7
距離匹配系數(shù)Dc，根據(jù)檢測(cè)區(qū)域是運(yùn)動(dòng)的還是靜止的兩種情況來(lái)考慮距離匹配系
數(shù)Dc;若當(dāng)前幀圖像與前一幀圖像中檢測(cè)區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)
數(shù)的閾值12時(shí)，則認(rèn)為檢測(cè)區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測(cè)區(qū)域是靜止的。 當(dāng)檢測(cè)區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)
區(qū)域的中心的距離，若該距離小于目標(biāo)所在矩形框的對(duì)角線長(zhǎng)度的閾值13，則認(rèn)為滿足距
離的匹配，Dc取1 ;否則Dc取0。 當(dāng)檢測(cè)區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)區(qū)域的中心的距離，若該距離小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1 ;否則Dc取0。
其中，所述閾值12優(yōu)選為65% 75%之間。所述閾值13優(yōu)選為1. 5 2之間。所述閾值14優(yōu)選為8 12個(gè)像素之間。 濾除虛假目標(biāo)是通過(guò)目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域；其中，軌跡分
析是利用目標(biāo)軌跡信息，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心點(diǎn)變化的平穩(wěn)性。 所述統(tǒng)計(jì)面積變化的平滑性是指統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{areai， area2，...，
areaj ， n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì)面積均值
—— 1 +
area = _ Iarea; 統(tǒng)計(jì)面積方差fl!層^ = 一 J]_"濯) 當(dāng)a^a^ /^>0.5時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除； 所述統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常性
突變，統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過(guò)閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平
穩(wěn)，將該目標(biāo)區(qū)域?yàn)V除。其中，所述閾值15優(yōu)選為40% 60%之間。 根據(jù)本發(fā)明的另一方面，本發(fā)明還提供了一種運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，所述運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)包括 檢測(cè)目標(biāo)模塊，用于將視頻場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)；
預(yù)測(cè)目標(biāo)模塊，用于估計(jì)所述運(yùn)動(dòng)目標(biāo)在下一幀場(chǎng)景圖像中的位置；
匹配目標(biāo)模塊，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；禾口
更新目標(biāo)模塊，用于更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。
其中，所述檢測(cè)目標(biāo)模塊包括 獲取視頻模塊，用于獲取視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型；
預(yù)處理圖像模塊，用于消除場(chǎng)景圖像對(duì)背景模型的影響； 標(biāo)記區(qū)域模塊，用于根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域； 維護(hù)狀態(tài)模塊，用于判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測(cè)； 增強(qiáng)區(qū)域模塊，用于使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；禾口 分裂與合并區(qū)域模塊，用于使用背景模型提供的約束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互遮擋問題。
8
所述匹配目標(biāo)模塊包括跟蹤匹配的穩(wěn)定目標(biāo)模塊，用于判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配；和濾除虛假目標(biāo)模塊，用于濾除虛假區(qū)域。 本發(fā)明的最大優(yōu)點(diǎn)在于實(shí)現(xiàn)了復(fù)雜背景下多目標(biāo)的準(zhǔn)確跟蹤，解決了遮擋、樹葉擺動(dòng)等問題，并且運(yùn)算簡(jiǎn)便，具有很強(qiáng)的實(shí)用性 本發(fā)明的優(yōu)點(diǎn)還在于可以準(zhǔn)確檢測(cè)場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)，包括人、車，同時(shí)可以忽略圖像抖動(dòng)、擺動(dòng)的樹、亮度變化、陰影、雨、雪等干擾因素的影響。 本發(fā)明還可以用于智能視頻監(jiān)控系統(tǒng)中，用以實(shí)現(xiàn)目標(biāo)分類識(shí)別、運(yùn)動(dòng)目標(biāo)警戒、運(yùn)動(dòng)目標(biāo)跟蹤、PTZ跟蹤、自動(dòng)特寫拍攝、目標(biāo)行為檢領(lǐng)U、流量檢領(lǐng)U、擁擠檢領(lǐng)U、遺留物檢領(lǐng)U、被盜物檢測(cè)、煙霧檢測(cè)和火焰檢測(cè)等功能。


圖1為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤方法的結(jié)構(gòu)示意圖； 圖2為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤方法中檢測(cè)目標(biāo)的流程示意圖； 圖3為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤方法中標(biāo)記區(qū)域的流程示意圖； 圖4為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤方法中匹配目標(biāo)的流程示意圖； 圖5為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu)示意圖； 圖6為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中檢測(cè)目標(biāo)模塊的結(jié)構(gòu)示意圖； 圖7為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中匹配目標(biāo)模塊的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
圖l所示為本發(fā)明中運(yùn)動(dòng)目標(biāo)跟蹤方法的結(jié)構(gòu)示意圖，如圖l所示，運(yùn)動(dòng)目標(biāo)跟蹤方法包括 檢測(cè)目標(biāo)IO，將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)； 預(yù)測(cè)目標(biāo)20，估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)； 匹配目標(biāo)30，跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)； 更新目標(biāo)40，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。 首先進(jìn)行第一步檢測(cè)目標(biāo)，即將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)。圖2為本發(fā)明中檢測(cè)目標(biāo)的框架示意圖，如圖2所示。檢測(cè)目標(biāo)10的框架示意圖包括獲取視頻11 :獲取視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型；預(yù)處理圖像12 :消除場(chǎng)景圖像對(duì)背景模型的影響；標(biāo)記區(qū)域13 :根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)14 :判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測(cè)；增強(qiáng)區(qū)域15，使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；分裂與合并區(qū)域16，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互遮擋問題。 首先獲取視頻11的內(nèi)容是通過(guò)視頻獲取設(shè)備實(shí)現(xiàn)，該視頻獲取設(shè)備可以是一個(gè)可見光譜、近紅外或紅外攝像機(jī)。所述近紅外和紅外攝像機(jī)允許在無(wú)額外光線的弱光下應(yīng)用。所述建立背景模型最初以第一幀場(chǎng)景圖像作為背景模型，之后在維護(hù)狀態(tài)14中進(jìn)行更新。 然后預(yù)處理圖像12包括濾波處理和全局運(yùn)動(dòng)補(bǔ)償。所述濾波處理是指對(duì)圖像做噪聲過(guò)濾、平滑等常規(guī)處理，以去除圖像中的噪聲點(diǎn)。濾波處理可以通過(guò)下述文獻(xiàn)實(shí)現(xiàn)，如"圖像去噪混合濾波方法[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10(3)"，"自適應(yīng)中心加權(quán)的改進(jìn)均值濾波算法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，1999，39(9)"。 全局運(yùn)動(dòng)補(bǔ)償是指補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)。在全局運(yùn)動(dòng)補(bǔ)
償中，運(yùn)動(dòng)模型基本上就是反映攝像機(jī)的各種運(yùn)動(dòng)，包括平移、旋轉(zhuǎn)、變焦等。全局運(yùn)動(dòng)補(bǔ)償
的方法是基于區(qū)域塊匹配的運(yùn)動(dòng)補(bǔ)償，在圖像中畫出四個(gè)區(qū)域塊，區(qū)域塊的長(zhǎng)寬在32
64像素之間，要求區(qū)域覆蓋相對(duì)比較固定的背景，比如樓房，或者固定不動(dòng)的背景。 常規(guī)的全局運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄈ缦录僭O(shè)前景所在的矩形區(qū)域大小為mXn，計(jì)算該
區(qū)域周圍正負(fù)5個(gè)像素的區(qū)域亮度差I(lǐng)DS，公式如下 zos= i i (/(w)0)—;,)(卜i)M^ 其中，sx表示區(qū)域起點(diǎn)x坐標(biāo)，sy表示區(qū)域起點(diǎn)y坐標(biāo)，I(x,y) (t)表示當(dāng)前幀圖像
灰度，I(X,y) (t-l)表示上一幀圖像灰度。 這樣可得到最小亮度差所對(duì)應(yīng)區(qū)域的位置，計(jì)算此區(qū)域的位置變化量Ax、 Ay。同理計(jì)算其它四個(gè)區(qū)域的位置變化量，最后求出平均的Ax、 Ay。將圖像按照Ax、 Ay進(jìn)行平移得到補(bǔ)償后的圖像。 圖3為本發(fā)明中標(biāo)記區(qū)域13的流程示意圖，如圖3所示。區(qū)域標(biāo)記13流程的流程具體如下前景分割131、形態(tài)學(xué)處理132、連通區(qū)域標(biāo)記133。 前景分割131是指基于背景模型對(duì)場(chǎng)景圖像進(jìn)行分割，以得到前景的二值圖像。具體地，將場(chǎng)景圖像與背景模型對(duì)應(yīng)的像素值相減，如果該結(jié)果大于設(shè)定的閾值，則記為"1"以表示為前景點(diǎn)；如果小于閾值，則記為"O"以表示為背景點(diǎn)，由此得到前景的二值圖像。 形態(tài)學(xué)處理132是指使用數(shù)學(xué)形態(tài)學(xué)的方法處理所述的二值圖像，即通過(guò)先腐蝕后膨脹，處理所述的二值圖像，以去除面積較小的虛假區(qū)域，并填充面積較大的區(qū)域。其中，腐蝕參數(shù)選的是3X 3模板，膨脹參數(shù)選的是3X 3模板。 連通區(qū)域標(biāo)記133通常是指用連通域的方法標(biāo)記同一場(chǎng)景中的不同區(qū)域，以區(qū)別不同的目標(biāo)區(qū)域。連通區(qū)域標(biāo)記方法可以通過(guò)四連通域方法或八連通域方法實(shí)現(xiàn)。八連/四連通域的連通標(biāo)記的方法是首先，對(duì)形態(tài)學(xué)處理132獲取的圖像施行逐行掃描，找到一個(gè)未標(biāo)記區(qū)域的第一點(diǎn)，標(biāo)記該點(diǎn)；檢查該點(diǎn)的八連/四連域點(diǎn)并標(biāo)記滿足連通性要求的，且尚未被標(biāo)記的點(diǎn)，同時(shí)將新增的標(biāo)記點(diǎn)記錄下來(lái)作為"區(qū)域增長(zhǎng)"的種子點(diǎn)。在后續(xù)的標(biāo)記過(guò)程中，不斷地從記錄種子點(diǎn)的數(shù)組中取出一個(gè)種子，施行上述的操作，如此循環(huán)，直到記錄種子點(diǎn)的數(shù)組為空，一個(gè)連通區(qū)域標(biāo)記結(jié)束。接著再標(biāo)記下一個(gè)未標(biāo)記的區(qū)域，直到形態(tài)學(xué)處理132獲取的圖像的所有連通區(qū)域都被標(biāo)記。 在標(biāo)記區(qū)域13中，單個(gè)區(qū)域與單個(gè)目標(biāo)并不是一一對(duì)應(yīng)的。由于遮擋情況，一個(gè)區(qū)域包含了多個(gè)人或者車；由于前景與背景相似，一個(gè)目標(biāo)可能被過(guò)度分割為多個(gè)區(qū)域；由于光照的影響，區(qū)域中可能包含陰影和高亮區(qū)域；由于一些非感興趣的運(yùn)動(dòng)，如樹葉擺動(dòng)和水波蕩漾等，也會(huì)產(chǎn)生虛假的前景區(qū)域。這些問題都是背景模型方法所固有的，需要在后續(xù)步驟中加以解決。 圖2中維護(hù)狀態(tài)14包括狀態(tài)判定和異常檢測(cè)。
狀態(tài)判定是指判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，并做出相應(yīng)處理。判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)主要是通過(guò)場(chǎng)景穩(wěn)定時(shí)間、場(chǎng)景改變時(shí)間來(lái)判定的。當(dāng)場(chǎng)景穩(wěn)定時(shí)間超過(guò)閾值l，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場(chǎng)景改變時(shí)間超過(guò)閾值2，系統(tǒng)由工作狀態(tài)進(jìn)入初始化狀態(tài)。 所述閾值1優(yōu)選為0. 5 2秒之間。所述閾值2優(yōu)選為5 20秒之間。
當(dāng)處于所述工作狀態(tài)時(shí)，繼續(xù)執(zhí)行下一操作，背景模型不變。當(dāng)處于所述初始化狀態(tài)時(shí)，重新建立背景模型，并在必要時(shí)做出異常檢測(cè)。所述重新建立背景模型期間，可以通過(guò)幀間差分法進(jìn)行區(qū)域檢測(cè)實(shí)現(xiàn)。幀間差分法是通過(guò)兩幀圖像進(jìn)行相減取絕對(duì)值實(shí)現(xiàn)的。
異常檢測(cè)，是在必要時(shí)包括視頻信號(hào)干擾嚴(yán)重，有人為的遮擋相機(jī)等情況執(zhí)行。根據(jù)兩次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷。若當(dāng)前幀的背景與背景模型的邊緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過(guò)閾值4，則認(rèn)為是異?，F(xiàn)象。所述閾值3優(yōu)選為30 50之間。所述閾值4優(yōu)選為6 20秒之間。 圖2中增強(qiáng)區(qū)域15，是使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉
擺動(dòng)的虛假區(qū)域；包括陰影檢測(cè)、高亮檢測(cè)、樹濾波。 陰影檢測(cè)用于檢測(cè)前景圖像中的陰影區(qū)域，包括人、車的陰影，并將檢測(cè)到的陰影區(qū)域?yàn)V除。所述陰影檢測(cè)是針對(duì)每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除。陰影判定規(guī)則如下若像素值小于所述閾值，則判定為陰影。 高亮檢測(cè)用于檢測(cè)圖像是否處于高亮狀態(tài)(高亮狀態(tài)即指圖像中的像素值普遍過(guò)高)，若是則進(jìn)行亮度補(bǔ)償。亮度補(bǔ)償通過(guò)亮度均衡實(shí)現(xiàn)，使得圖像的像素值的均值為128。 樹濾波用于檢測(cè)圖像中的擺動(dòng)的樹葉及其陰影，并將其從前景圖像中濾除。
檢測(cè)擺動(dòng)樹葉是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(1)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn)動(dòng)軌跡點(diǎn)中目標(biāo)對(duì)應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；例如目標(biāo)有10個(gè)軌跡點(diǎn)，這些軌跡點(diǎn)中只有一次對(duì)應(yīng)的區(qū)域是運(yùn)動(dòng)的，則把此目標(biāo)視為擺動(dòng)樹葉，將該目標(biāo)濾除。(2)質(zhì)心運(yùn)動(dòng)的振幅，若某一目標(biāo)的質(zhì)心運(yùn)動(dòng)的振幅是突變的，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉，即當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過(guò)目標(biāo)寬度的閾值6時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)的樹葉，將該目標(biāo)濾除。
所述閾值5優(yōu)選為5% 15%之間；所述閾值6優(yōu)選為1. 5 2. 5之間。
檢測(cè)擺動(dòng)樹葉陰影是通過(guò)檢測(cè)區(qū)域內(nèi)點(diǎn)的密集度來(lái)實(shí)現(xiàn)的，擺動(dòng)樹葉陰影的檢測(cè)方法是分別統(tǒng)計(jì)膨脹操作前后區(qū)域內(nèi)的點(diǎn)的個(gè)數(shù)(即該區(qū)域內(nèi)膨脹操作前后像素值為"1"的點(diǎn)的個(gè)數(shù))，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉陰影的區(qū)域，并將該區(qū)域?yàn)V除。 所述閾值7優(yōu)選為40% 60%之間。 圖2中分裂與合并區(qū)域16是使用背景模型提供的約束以及人和車模型等先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過(guò)于分割和目標(biāo)相互遮擋問題。所述分裂與合并區(qū)域的方法是基于上述增強(qiáng)區(qū)域15處理過(guò)程，判定相鄰兩區(qū)域是同一目標(biāo)區(qū)域，還是不同目標(biāo)區(qū)域。若屬于同一目標(biāo)區(qū)域，則將這兩個(gè)區(qū)域合并；否則，將其分裂。其中，相鄰兩區(qū)
11域是指區(qū)域邊緣距離小于閾值8的區(qū)域，同一個(gè)區(qū)域指標(biāo)記號(hào)一致的區(qū)域，不同目標(biāo)區(qū)域指標(biāo)記號(hào)不一致的區(qū)域。 所述閾值8優(yōu)選為3 7個(gè)像素之間。 本發(fā)明的第二步是預(yù)測(cè)目標(biāo)20，根據(jù)目標(biāo)運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì)算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測(cè)目標(biāo)的下一次位移。其中，所述累加位移就是目標(biāo)運(yùn)動(dòng)的位移的累加和，累加時(shí)間就是目標(biāo)運(yùn)動(dòng)的時(shí)間的累加和。所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為
v = s/t 其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該目標(biāo)穩(wěn)定運(yùn)動(dòng)的平均速度。通過(guò)上述公式便可計(jì)算得到平均速度。
根據(jù)所述平均速度v預(yù)測(cè)的下一次位移為
s' = v A t 其中，At為預(yù)測(cè)的目標(biāo)時(shí)間，s'為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)At時(shí)間后的位移。通過(guò)上述公式便可計(jì)算預(yù)測(cè)到下一次位移。 本發(fā)明的第三步是匹配目標(biāo)30，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)。圖4為本發(fā)明中匹配目標(biāo)的流程示意圖，如圖4所示。匹配目標(biāo)30包括跟蹤匹配的穩(wěn)定目標(biāo)301、和濾除虛假目標(biāo)302。 跟蹤匹配的穩(wěn)定目標(biāo)301是判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配。所述匹配的判定條件為檢測(cè)區(qū)域與目標(biāo)的匹配系數(shù)D的計(jì)算公式如下
D = Da*ADa+Db*ADb+Dc*ADc 其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。當(dāng)檢測(cè)區(qū)域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該檢測(cè)區(qū)域與目標(biāo)匹配。ADa、 ADb、 AD。分別為Da、 Db、 Dc對(duì)應(yīng)的權(quán)值系數(shù)。所述閾值9優(yōu)選為0. 7 0. 8之間。 所述A。a、ADb、A。c的值都在0 1之間，且滿足三者的值的和為1。所述ADa、ADb、ADc的優(yōu)選值分別為O. 2、0. 3、0. 5。 1)面積匹配系數(shù)Da。當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值10時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足面積的匹配，Da取1 ;否則Da取0。
所述閾值10優(yōu)選為40% 60%之間。 2)直方圖匹配系數(shù)Db。當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖的閾值11時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足直方圖的匹配，Db取1 ;否則Db取0。
所述閾值11優(yōu)選為40% 60%之間。 3)距離匹配系數(shù)Dc。分兩種情況來(lái)考慮距離匹配系數(shù)Dc，這兩種情況即檢測(cè)區(qū)域是運(yùn)動(dòng)的還是靜止的。若當(dāng)前幀圖像與前一幀圖像中檢測(cè)區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)數(shù)的閾值12時(shí)，則認(rèn)為檢測(cè)區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測(cè)區(qū)域是靜止的。當(dāng)檢測(cè)區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)區(qū)域的中心的距離，若小于目標(biāo)所在矩形框的對(duì)角線長(zhǎng)度的閾值13，則認(rèn)為滿足距離的匹配，Dc取l ;否則Dc取O。當(dāng)檢測(cè)區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)區(qū)域的中心的距離，若小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1 ;否則Dc取0。
所述閾值12優(yōu)選為65% 75%之間。所述閾值13優(yōu)選為1. 5 2之間。所述閾值14優(yōu)選為8 12個(gè)像素之間。 濾除虛假目標(biāo)是指通過(guò)目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域。其中，軌跡 分析是利用目標(biāo)軌跡信息(包括平面信息和質(zhì)心點(diǎn)信息)，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心 點(diǎn)變化的平穩(wěn)性。 其中，統(tǒng)計(jì)面積變化的平滑性的方法如下統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{areai，
area2， . . . ， areaj ， n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì)面積均值
—— 1 +
"m3f = — 2^am^統(tǒng)計(jì)面積方差,"sd : —》a而，一a艦) 當(dāng)""叫？"""X^時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除。 統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性的方法是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常 性突變，統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過(guò)閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平 穩(wěn)，將該目標(biāo)區(qū)域?yàn)V除。 所述閾值15優(yōu)選為40% 60%之間。 最后一步是進(jìn)行更新目標(biāo)40，根據(jù)目標(biāo)匹配30后的穩(wěn)定目標(biāo)，實(shí)時(shí)的更新跟蹤目 標(biāo)的模型。 本發(fā)明還提供了一種運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，圖5為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu) 示意圖，如圖5所示。運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)包括檢測(cè)目標(biāo)模塊71 、預(yù)測(cè)目標(biāo)模塊72、匹配目標(biāo) 模塊73和更新目標(biāo)模塊74。其中，檢測(cè)目標(biāo)模塊71用于將視頻場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)區(qū) 域從背景中分割出來(lái)，預(yù)測(cè)目標(biāo)模塊72用于估計(jì)所述運(yùn)動(dòng)目標(biāo)在下一幀場(chǎng)景圖像中的位 置，匹配目標(biāo)模塊73用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)，更新目標(biāo)模塊74用于更 新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。 圖6為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中檢測(cè)目標(biāo)模塊的結(jié)構(gòu)示意圖。如圖6所示，檢 測(cè)目標(biāo)模塊71包括獲取視頻模塊711、預(yù)處理圖像模塊712、標(biāo)記區(qū)域模塊713、維護(hù)狀態(tài)模 塊714、增強(qiáng)區(qū)域模塊715和分裂與合并區(qū)域模塊716。其中，獲取視頻模塊711，用于獲取 視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型；預(yù)處理圖像模塊712，用于消除場(chǎng)景圖像對(duì)背 景模型的影響；標(biāo)記區(qū)域模塊713，用于根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出 連通區(qū)域；維護(hù)狀態(tài)模塊714，用于判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并 且在必要時(shí)做異常檢測(cè)；增強(qiáng)區(qū)域模塊715，用于使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除 陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；分裂與合并區(qū)域模塊716，用于使用背景模型提供的約 束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互 遮擋問題。 圖7為本發(fā)明運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中匹配目標(biāo)模塊的結(jié)構(gòu)示意圖。如圖7所示，匹 配目標(biāo)模塊73包括跟蹤匹配的穩(wěn)定目標(biāo)模塊731和濾除虛假目標(biāo)模塊732。其中，跟蹤匹 配的穩(wěn)定目標(biāo)模塊731，用于判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配，濾除虛假目標(biāo)模塊732， 用于濾除虛假區(qū)域。 本發(fā)明的最大優(yōu)點(diǎn)在于實(shí)現(xiàn)了復(fù)雜背景下多目標(biāo)的準(zhǔn)確跟蹤，解決了遮擋、樹葉
擺動(dòng)等問題，并且運(yùn)算簡(jiǎn)便，具有很強(qiáng)的實(shí)用性。
13
本發(fā)明的優(yōu)點(diǎn)還在于可以準(zhǔn)確檢測(cè)場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)，包括人、車，同時(shí)可以 忽略圖像抖動(dòng)、擺動(dòng)的樹、亮度變化、陰影、雨、雪等干擾因素的影響。 本發(fā)明還可以用于智能視頻監(jiān)控系統(tǒng)中，用以實(shí)現(xiàn)目標(biāo)分類識(shí)別、運(yùn)動(dòng)目標(biāo)警戒、 運(yùn)動(dòng)目標(biāo)跟蹤、PTZ跟蹤、自動(dòng)特寫拍攝、目標(biāo)行為檢領(lǐng)U、流量檢領(lǐng)U、擁擠檢領(lǐng)U、遺留物檢領(lǐng)U、 被盜物檢測(cè)、煙霧檢測(cè)和火焰檢測(cè)等功能。 以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)當(dāng) 理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域
中的技術(shù)人員實(shí)踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍 的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善，因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限 制，其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等 同方案。
權(quán)利要求
一種運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述運(yùn)動(dòng)目標(biāo)跟蹤方法包括如下步驟(1)檢測(cè)目標(biāo)，將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)；(2)預(yù)測(cè)目標(biāo)，估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)；(3)匹配目標(biāo)，跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；和(4)更新目標(biāo)，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。
2. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述檢測(cè)目標(biāo)包括如下步驟獲取視頻，獲取視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型； 預(yù)處理圖像，消除場(chǎng)景圖像對(duì)背景模型的影響；標(biāo)記區(qū)域，根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)，判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢增強(qiáng)區(qū)域，使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；分裂與合并區(qū)域，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū)域進(jìn)行合 并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互遮擋問題。
3. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述預(yù)處理圖像包括濾波 處理和全局運(yùn)動(dòng)補(bǔ)償；其中，所述濾波處理包括對(duì)圖像進(jìn)行噪聲過(guò)濾處理、圖像平滑處理；所述全局運(yùn)動(dòng)補(bǔ)償，是補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)，在全局運(yùn)動(dòng)補(bǔ) 償中，運(yùn)動(dòng)模型包括平移、旋轉(zhuǎn)、變焦。
4. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述標(biāo)記區(qū)域包括如下步驟前景分割，基于背景模型對(duì)場(chǎng)景圖像進(jìn)行分割，以得到前景的二值圖像； 形態(tài)學(xué)處理，使用數(shù)學(xué)形態(tài)學(xué)的方法處理所述的二值圖像，以去除面積較小的虛假區(qū) 域，并填充面積較大的區(qū)域；以及連通區(qū)域標(biāo)記，用連通域的方法標(biāo)記同一場(chǎng)景中的不同區(qū)域，以區(qū)別不同的目標(biāo)區(qū)域。
5. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述維護(hù)狀態(tài)包括狀態(tài)判 定和異常檢測(cè)；所述狀態(tài)判定，是判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理；當(dāng)場(chǎng)景穩(wěn)定時(shí)間 超過(guò)閾值1，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場(chǎng)景改變時(shí)間超過(guò)閾值2，系統(tǒng)由工作狀 態(tài)進(jìn)入初始化狀態(tài)；所述異常檢測(cè)，是在視頻信號(hào)干擾嚴(yán)重，以及有人為的遮擋相機(jī)的情況時(shí)執(zhí)行；根據(jù)兩 次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷，若當(dāng)前幀的背景與背景模型的邊 緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過(guò)閾值4，則認(rèn)為是異?，F(xiàn)象。
6. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述增強(qiáng)區(qū)域包括陰影檢 測(cè)、高亮檢測(cè)、樹濾波；其中，陰影檢測(cè)，針對(duì)每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作 為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除，若像素值小于所述閾值，則判定為陰影；高亮檢測(cè)，檢測(cè)圖像是否處于高亮狀態(tài)，若是，則進(jìn)行亮度補(bǔ)償，亮度補(bǔ)償使得圖像的 像素值的均值為128 ;樹濾波，檢測(cè)圖像中的擺動(dòng)樹葉和擺動(dòng)樹葉陰影，并將其從前景圖像中濾除；其中檢測(cè)擺動(dòng)樹葉是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(l)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn)動(dòng)軌跡 點(diǎn)中目標(biāo)對(duì)應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為該目標(biāo) 是擺動(dòng)樹葉；(2)質(zhì)心運(yùn)動(dòng)的振幅，當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過(guò)目標(biāo)寬度的 閾值6時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；檢測(cè)擺動(dòng)樹葉陰影的方法是分別統(tǒng)計(jì)膨脹操作前后該區(qū)域內(nèi)膨脹操作前后像素值為 "1"的點(diǎn)的個(gè)數(shù)，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉陰影的 區(qū)域。
7. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述分裂與合并區(qū)域是基 于所述增強(qiáng)區(qū)域的處理過(guò)程，判定相鄰兩區(qū)域是否是同一目標(biāo)區(qū)域；若屬于同一目標(biāo)區(qū)域， 則將這兩個(gè)區(qū)域合并；否則，將其分裂；其中，相鄰兩區(qū)域是指區(qū)域邊緣距離小于閾值8的 區(qū)域。
8. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述預(yù)測(cè)目標(biāo)是根據(jù)目標(biāo) 運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì)算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測(cè)目 標(biāo)的下一次位移；其中，所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為 v = s/t其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該目標(biāo) 穩(wěn)定運(yùn)動(dòng)的平均速度；根據(jù)所述平均速度V預(yù)測(cè)的下一次位移為 s' = v A t其中，At為預(yù)測(cè)的目標(biāo)時(shí)間，s'為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)At時(shí)間后的位移。
9. 根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述匹配目標(biāo)包括跟蹤匹 配的穩(wěn)定目標(biāo)和濾除虛假目標(biāo)；其中，所述跟蹤匹配的穩(wěn)定目標(biāo)是判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配，所述匹配根據(jù)下述公 式中檢測(cè)區(qū)域與目標(biāo)的匹配系數(shù)D來(lái)判定 D = Da*ADa+Db*ADb+Dc*ADc其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。ADa、 ADb、 ADc分 別為Da、 Db、 Dc對(duì)應(yīng)的權(quán)值系數(shù)，當(dāng)檢測(cè)區(qū)域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該 檢測(cè)區(qū)域與目標(biāo)匹配；濾除虛假目標(biāo)是通過(guò)目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域；其中，軌跡分析是 利用目標(biāo)軌跡信息，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心點(diǎn)變化的平穩(wěn)性。
10. 根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，面積匹配系數(shù)Da，是當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值lO 時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足面積的匹配，Da取1 ;否則Da取0 ;直方圖匹配系數(shù)Db，是當(dāng)檢測(cè)區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖的閾值11時(shí)，則認(rèn)為該檢測(cè)區(qū)域滿足直方圖的匹配，Db取1 ;否則Db取0 ;距離匹配系數(shù)Dc，根據(jù)檢測(cè)區(qū)域是運(yùn)動(dòng)的還是靜止的兩種情況來(lái)考慮距離匹配系數(shù) Dc;若當(dāng)前幀圖像與前一幀圖像中檢測(cè)區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)數(shù) 的閾值12時(shí)，則認(rèn)為檢測(cè)區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測(cè)區(qū)域是靜止的；當(dāng)檢測(cè)區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)區(qū)域的中心的距離，若該距離小于目標(biāo)所在矩形框的對(duì)角線長(zhǎng)度的閾值13，則認(rèn)為滿足距離的匹配，DC取1 ;否則DC取0 ;當(dāng)檢測(cè)區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測(cè)區(qū)域的中心與當(dāng)前幀圖像中檢測(cè)區(qū)域的中心的距離，若該距離小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1 ;否則Dc取0。
11.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，所述統(tǒng)計(jì)面積變化的平滑 性是指統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{area" area2， . . . ， arean} ， n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì) 面積均值統(tǒng)計(jì)面禾只方差 <formula>formula see original document page 4</formula>當(dāng)am^ /">0.5時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除；所述統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常性突變， 統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過(guò)閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平穩(wěn)，將該 目標(biāo)區(qū)域?yàn)V除。
12. —種運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，其特征在于，所述運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)包括 檢測(cè)目標(biāo)模塊，用于將視頻場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)； 預(yù)測(cè)目標(biāo)模塊，用于估計(jì)所述運(yùn)動(dòng)目標(biāo)在下一幀場(chǎng)景圖像中的位置；匹配目標(biāo)模塊，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；禾口 更新目標(biāo)模塊，用于更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。
13. 根據(jù)權(quán)利要求12所述的運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，其特征在于，所述檢測(cè)目標(biāo)模塊包括 獲取視頻模塊，用于獲取視頻內(nèi)容以得到場(chǎng)景圖像，并建立背景模型；預(yù)處理圖像模塊，用于消除場(chǎng)景圖像對(duì)背景模型的影響；標(biāo)記區(qū)域模塊，用于根據(jù)背景模型對(duì)場(chǎng)景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域； 維護(hù)狀態(tài)模塊，用于判定檢測(cè)目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí) 做異常檢測(cè)；增強(qiáng)區(qū)域模塊，用于使用陰影檢測(cè)、高亮檢測(cè)和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的 虛假區(qū)域；禾口分裂與合并區(qū)域模塊，用于使用背景模型提供的約束以及人和車模型的先驗(yàn)知識(shí)對(duì)區(qū) 域進(jìn)行合并和分裂處理，以解決目標(biāo)過(guò)分割和目標(biāo)相互遮擋問題。
14. 根據(jù)權(quán)利要求12所述的運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，其特征在于，所述匹配目標(biāo)模塊包括 跟蹤匹配的穩(wěn)定目標(biāo)模塊，用于判定檢測(cè)區(qū)域與跟蹤目標(biāo)是否匹配；禾口 濾除虛假目標(biāo)模塊，用于濾除虛假區(qū)域。
全文摘要
本發(fā)明提供了一種運(yùn)動(dòng)目標(biāo)跟蹤方法及其系統(tǒng)，所述運(yùn)動(dòng)目標(biāo)跟蹤方法包括檢測(cè)目標(biāo)，將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來(lái)；預(yù)測(cè)目標(biāo)，估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)；匹配目標(biāo)，跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；和更新目標(biāo)，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。本發(fā)明實(shí)現(xiàn)了復(fù)雜背景下多目標(biāo)的準(zhǔn)確跟蹤，解決了遮擋、樹葉擺動(dòng)等問題，并且運(yùn)算簡(jiǎn)便，具有很強(qiáng)的實(shí)用性。
文檔編號(hào)G06T7/20GK101739686SQ20091007743
公開日2010年6月16日 申請(qǐng)日期2009年2月11日 優(yōu)先權(quán)日2009年2月11日
發(fā)明者曾建平, 王 華, 王正, 菅云峰, 黃建 申請(qǐng)人:北京智安邦科技有限公司