專利名稱：運(yùn)動(dòng)目標(biāo)識別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)，特別是涉及一種智能視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)識別方法及系統(tǒng)。

背景技術(shù)：
運(yùn)動(dòng)目標(biāo)識別是智能視頻監(jiān)控系統(tǒng)的關(guān)鍵模塊，其直接影響著后續(xù)處理。通常運(yùn)動(dòng)目標(biāo)識別包括檢測、跟蹤、分類。
檢測的目的是將視頻場景中的運(yùn)動(dòng)目標(biāo)區(qū)域從背景中分割出來。由于光照的變化、背景混亂運(yùn)動(dòng)的干擾、運(yùn)動(dòng)目標(biāo)的影子、攝像機(jī)的抖動(dòng)以及運(yùn)動(dòng)目標(biāo)的自遮擋和互遮擋現(xiàn)象的存在，給運(yùn)動(dòng)目標(biāo)的正確檢測帶來了極大的挑戰(zhàn)。為了實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測，可以使用光流法和幀間差分法。光流法檢測采用了目標(biāo)隨時(shí)間變化的光流特性，可以通過計(jì)算位移向量光流場來初始化目標(biāo)的輪廓，從而使基于輪廓的跟蹤算法有效地檢測和跟蹤目標(biāo)。這種方法的缺點(diǎn)是大多數(shù)光流計(jì)算方法相當(dāng)復(fù)雜，且抗噪性能差，如果沒有特別的硬件裝置，很難應(yīng)用于場景圖像的實(shí)時(shí)性操作。幀間差分法是檢測相鄰兩幀圖像之間變化的最簡單方法，是直接比較兩幀圖像對象像素點(diǎn)像素值的不同，然后通過閾值來提取場景圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域。這種方法的缺點(diǎn)是一般不能完全提取所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，對基于區(qū)域的運(yùn)動(dòng)目標(biāo)跟蹤的魯棒性不強(qiáng)，而且無法檢測出靜止的車輛，對于運(yùn)動(dòng)目標(biāo)的速度有所限制。
跟蹤的目的是在正確檢測出運(yùn)動(dòng)目標(biāo)的基礎(chǔ)上，確定同一目標(biāo)在不同場景圖像中位置的過程。為了實(shí)現(xiàn)跟蹤，可以使用圖像匹配方法，如區(qū)域匹配、模型匹配。區(qū)域匹配是把參考圖像的某一塊整體與實(shí)時(shí)圖像所有可能位置上進(jìn)行疊加，然后計(jì)算某種圖像相似性度量的相應(yīng)值，其最大相似性相對應(yīng)的位置就是目標(biāo)的位置。這種方法的缺點(diǎn)是計(jì)算量大，難以達(dá)到實(shí)時(shí)性要求。模型匹配是根據(jù)模板來匹配場景圖像中的目標(biāo)。這種方法的缺點(diǎn)是計(jì)算分析復(fù)雜，運(yùn)算速度慢，模型的更新較為復(fù)雜，實(shí)時(shí)性較差。
分類的目的是區(qū)分目標(biāo)，如人和車。為了實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)分類，可以使用貝葉斯算法和神經(jīng)網(wǎng)絡(luò)算法。貝葉斯算法是一類利用概率統(tǒng)計(jì)知識進(jìn)行分類的算法，可以運(yùn)用到大型數(shù)據(jù)庫中，且方法簡單、分類準(zhǔn)確率高、速度快。這種方法的缺點(diǎn)是由于貝葉斯定理假設(shè)一個(gè)屬性值對給定類的影響?yīng)毩⒂谄渌鼘傩缘闹?，而此假設(shè)在實(shí)際情況中經(jīng)常是不成立的，因此其分類準(zhǔn)確率可能會(huì)下降。神經(jīng)網(wǎng)絡(luò)算法能夠模擬人類大腦的機(jī)構(gòu)和功能，采用各種學(xué)習(xí)算法從訓(xùn)練樣本中學(xué)習(xí)，并將獲取的知識存儲(chǔ)在網(wǎng)絡(luò)各單元之間的連接權(quán)中，能夠準(zhǔn)確的分類目標(biāo)。神經(jīng)網(wǎng)絡(luò)算法在1998年提出后，又出現(xiàn)許多變形，包括替換的誤差函數(shù)、網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)調(diào)整、學(xué)習(xí)率和要素參數(shù)的動(dòng)態(tài)調(diào)整。近年來，從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則受到越來越多的關(guān)注。這種方法的缺點(diǎn)是由于要使用大量的訓(xùn)練樣本，且在實(shí)際應(yīng)用中要不斷地更新樣本信息，因此運(yùn)算量極大。
綜上所述，目前迫切需要提出更為有效的運(yùn)動(dòng)目標(biāo)識別方案。


發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種運(yùn)動(dòng)目標(biāo)識別方法及系統(tǒng)。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 本發(fā)明提供了一種運(yùn)動(dòng)目標(biāo)識別方法，該方法包括 檢測目標(biāo)，從視頻圖像中提取感興趣的區(qū)域； 跟蹤目標(biāo)，建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)； 分類目標(biāo)，通過分類法對區(qū)域和目標(biāo)進(jìn)行分類，分類法包括區(qū)域分類法和目標(biāo)分類法。
根據(jù)本發(fā)明，所述檢測目標(biāo)包括如下步驟 獲取視頻，獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；預(yù)處理圖像，消除場景圖像對背景模型的影響；標(biāo)記區(qū)域，根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)，判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；增強(qiáng)區(qū)域，使用陰影檢測、高亮檢測和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；以及，分裂與合并區(qū)域，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
其中，所述預(yù)處理圖像包括濾波處理和全局運(yùn)動(dòng)補(bǔ)償。
所述濾波處理包括對圖像進(jìn)行噪聲過濾處理、圖像平滑處理；所述全局運(yùn)動(dòng)補(bǔ)償，是補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)，在全局運(yùn)動(dòng)補(bǔ)償中，運(yùn)動(dòng)模型包括平移、旋轉(zhuǎn)、變焦。
通過下列公式計(jì)算前景所在的矩形區(qū)域周圍正負(fù)5個(gè)像素的區(qū)域亮度差I(lǐng)DS，得到全局運(yùn)動(dòng)補(bǔ)償中圖像平移的距離Δx、Δy，公式如下 其中，sx表示區(qū)域起點(diǎn)x坐標(biāo)，sy表示區(qū)域起點(diǎn)y坐標(biāo)，I(x，y)(t)表示當(dāng)前幀圖像灰度，I(x，y)(t-1)表示上一幀圖像灰度；同理計(jì)算其它四個(gè)區(qū)域的Δx、Δy，最后求出Δx、Δy的平均值；將圖像按照Δx、Δy的平均值進(jìn)行平移得到補(bǔ)償后的圖像。
其中，所述標(biāo)記區(qū)域包括如下步驟 前景分割，基于背景模型對場景圖像進(jìn)行分割，以得到前景的二值圖像；形態(tài)學(xué)處理，使用數(shù)學(xué)形態(tài)學(xué)的方法處理所述的二值圖像，以去除面積較小的虛假區(qū)域，并填充面積較大的區(qū)域；以及連通區(qū)域標(biāo)記，用連通域的方法標(biāo)記同一場景中的不同區(qū)域，以區(qū)別不同的目標(biāo)區(qū)域。其中，所述維護(hù)狀態(tài)包括狀態(tài)判定和異常檢測。
所述狀態(tài)判定，是判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理；當(dāng)場景穩(wěn)定時(shí)間超過閾值1，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場景改變時(shí)間超過閾值2，系統(tǒng)由工作狀態(tài)進(jìn)入初始化狀態(tài)。其中，所述閾值1優(yōu)選為0.5～2秒之間，所述閾值2優(yōu)選為5～20秒之間。
所述異常檢測，是在視頻信號干擾嚴(yán)重，以及有人為的遮擋相機(jī)的情況時(shí)執(zhí)行；根據(jù)兩次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷，若當(dāng)前幀的背景與背景模型的邊緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過閾值4，則認(rèn)為是異?，F(xiàn)象。其中所述閾值3優(yōu)選為30～50之間。所述閾值4優(yōu)選為6～20秒之間。
其中，所述增強(qiáng)區(qū)域包括陰影檢測、高亮檢測、樹濾波。
陰影檢測，針對每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除，若像素值小于所述閾值，則判定為陰影；高亮檢測，檢測圖像是否處于高亮狀態(tài)，若是，則進(jìn)行亮度補(bǔ)償，亮度補(bǔ)償使得圖像的像素值的均值為128；樹濾波，檢測圖像中的擺動(dòng)樹葉和擺動(dòng)樹葉陰影，并將其從前景圖像中濾除。
檢測擺動(dòng)樹葉是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(1)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn)動(dòng)軌跡點(diǎn)中目標(biāo)對應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；(2)質(zhì)心運(yùn)動(dòng)的振幅，當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過目標(biāo)寬度的閾值6時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉。其中，所述閾值5優(yōu)選為5％～15％之間，所述閾值6優(yōu)選為1.5～2.5之間。
檢測擺動(dòng)樹葉陰影的方法是分別統(tǒng)計(jì)膨脹操作前后該區(qū)域內(nèi)膨脹操作前后像素值為“1”的點(diǎn)的個(gè)數(shù)，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉陰影的區(qū)域。其中，所述閾值7優(yōu)選為40％～60％之間。
其中，所述分裂與合并區(qū)域是基于所述增強(qiáng)區(qū)域的處理過程，判定相鄰兩區(qū)域是否是同一目標(biāo)區(qū)域；若屬于同一目標(biāo)區(qū)域，則將這兩個(gè)區(qū)域合并；否則，將其分裂；其中，相鄰兩區(qū)域是指區(qū)域邊緣距離小于閾值8的區(qū)域。其中，所述閾值8優(yōu)選為3～7個(gè)像素之間。
根據(jù)本發(fā)明，所述跟蹤目標(biāo)包括預(yù)測目標(biāo)，用于估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)；匹配目標(biāo)，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；更新目標(biāo)，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。
其中，所述預(yù)測目標(biāo)是根據(jù)目標(biāo)運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì)算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測目標(biāo)的下一次位移。
所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為 v＝s/t 其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該目標(biāo)穩(wěn)定運(yùn)動(dòng)的平均速度； 根據(jù)所述平均速度v預(yù)測的下一次位移為 s′＝v·Δt 其中，Δt為預(yù)測的目標(biāo)時(shí)間，s′為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)Δt時(shí)間后的位移。
其中，所述匹配目標(biāo)包括跟蹤匹配的穩(wěn)定目標(biāo)和濾除虛假目標(biāo)；所述跟蹤匹配的穩(wěn)定目標(biāo)是判定檢測區(qū)域與跟蹤目標(biāo)是否匹配，所述匹配根據(jù)下述公式中檢測區(qū)域與目標(biāo)的匹配系數(shù)D來判定 D＝Da*ADa+Db*ADb+Dc*ADc 其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。當(dāng)檢測區(qū)域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該檢測區(qū)域與目標(biāo)匹配。ADa、ADb、ADc分別為Da、Db、Dc對應(yīng)的權(quán)值系數(shù)。其中，所述閾值9優(yōu)選為0.7～0.8之間。
面積匹配系數(shù)Da，是當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值10時(shí)，則認(rèn)為該檢測區(qū)域滿足面積的匹配，Da取1；否則Da取0。其中，所述閾值10優(yōu)選為40％～60％之間。
直方圖匹配系數(shù)Db，是當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖的閾值11時(shí)，則認(rèn)為該檢測區(qū)域滿足直方圖的匹配，Db取1；否則Db取0。所述閾值11優(yōu)選為40％～60％之間。
距離匹配系數(shù)Dc，根據(jù)檢測區(qū)域是運(yùn)動(dòng)的還是靜止的兩種情況來考慮距離匹配系數(shù)Dc；若當(dāng)前幀圖像與前一幀圖像中檢測區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)數(shù)的閾值12時(shí)，則認(rèn)為檢測區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測區(qū)域是靜止的。
當(dāng)檢測區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若該距離小于目標(biāo)所在矩形框的對角線長度的閾值13，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0。
當(dāng)檢測區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若該距離小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0。
其中，所述閾值12優(yōu)選為65％～75％之間。所述閾值13優(yōu)選為1.5～2之間。所述閾值14優(yōu)選為8～12個(gè)像素之間。
濾除虛假目標(biāo)是通過目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域；其中，軌跡分析是利用目標(biāo)軌跡信息，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心點(diǎn)變化的平穩(wěn)性。
其中，所述統(tǒng)計(jì)面積變化的平滑性是指統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{area1，area2，...，arean}，n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì)面積均值 統(tǒng)計(jì)面積方差 當(dāng)

時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除。
所述統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常性突變，統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平穩(wěn)，將該目標(biāo)區(qū)域?yàn)V除。所述閾值15優(yōu)選為40％～60％之間。
根據(jù)本發(fā)明，所述分類目標(biāo)包括如下步驟提取特征，提取目標(biāo)的空間特征和時(shí)間特征；以及判定類型，判定目標(biāo)的類型。
其中，所述空間特征包括區(qū)域輪廓擬合橢圓的長軸a、區(qū)域輪廓擬合橢圓的短軸b、擬合短軸與水平方向夾角θ、區(qū)域輪廓的類圓性ρ、區(qū)域的緊集度F、區(qū)域的面積A、區(qū)域的上部分與下部分的面積比R。
所述時(shí)間特征為目標(biāo)的速度v。
所述判定類型包括每幀分類和整體分類。
其中，區(qū)域輪廓擬合橢圓的長軸a、區(qū)域輪廓擬合橢圓的短軸b、擬合短軸與水平方向夾角θ通過如下所述的常規(guī)步驟確定 1)計(jì)算輪廓點(diǎn)x，y坐標(biāo)的平均值，公式如下 x0＝meanx，y0＝meany 2)計(jì)算輪廓點(diǎn)x，y坐標(biāo)的方差，協(xié)方差，公式如下 3)計(jì)算最大最小特征值，公式如下 4)計(jì)算長軸、短軸、橢圓傾角，公式如下 區(qū)域輪廓的類圓性ρ通過如下公式確定 其中，c為擬合目標(biāo)區(qū)域的周長，s為擬合目標(biāo)區(qū)域的面積，ρ為擬合目標(biāo)區(qū)域的類圓性。
區(qū)域的緊集度F是指目標(biāo)與目標(biāo)區(qū)域的面積比；其中，所述目標(biāo)是指目標(biāo)所在的矩形區(qū)域里像素值為1的像素點(diǎn)；目標(biāo)區(qū)域是指該矩形區(qū)域中所有的像素點(diǎn)；目標(biāo)與目標(biāo)區(qū)域的面積比為目標(biāo)與目標(biāo)區(qū)域內(nèi)統(tǒng)計(jì)的像素個(gè)數(shù)的比值。
區(qū)域的上部分與下部分的面積比R是指目標(biāo)所在的矩形區(qū)域的上半部分面積與下半部分面積之比；其中，所述上半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以上的所有像素值為1的點(diǎn)的個(gè)數(shù)，下半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以下的所有像素值為1的點(diǎn)的個(gè)數(shù)。
所述每幀分類是根據(jù)區(qū)域輪廓擬合橢圓的長軸、區(qū)域輪廓擬合橢圓的短軸、擬合短軸與水平方向夾角、區(qū)域輪廓的類圓性、區(qū)域的緊集度、區(qū)域的面積、區(qū)域的上部分與下部分的面積比、及目標(biāo)的速度特征，通過概率分類法進(jìn)行每幀分類，以獲得目標(biāo)的歷史分類信息。
所述整體分類是根據(jù)目標(biāo)的歷史分類信息進(jìn)行分類，以判定目標(biāo)的類型。
其中，所述概率分類法是指分別按照人、人群、車、車群、小動(dòng)物類型，賦予區(qū)域輪廓擬合橢圓的長軸、區(qū)域輪廓擬合橢圓的短軸、擬合短軸與水平方向夾角、區(qū)域輪廓的類圓性、區(qū)域的緊集度、區(qū)域的面積、區(qū)域的上部分與下部分的面積比、及目標(biāo)的速度特征等特征不同的權(quán)值；然后分別計(jì)算人、人群、車、車群、小動(dòng)物等類型的特征概率值，并選擇概率值最大的那一類型為目標(biāo)的當(dāng)前幀分類信息。
其中，利用概率分類法通過如下公式(PT)計(jì)算整體特征概率PT PT＝Aap*ap+Abp*bp+Aθp*θp+Aρp*ρp+AFp*Fp+AAp*Ap+ARp*Rp+AVp*Vp 其中，ap表示區(qū)域輪廓擬合橢圓的長軸a的概率，bp表示區(qū)域輪廓擬合橢圓的短軸b的概率，θp表示擬合短軸與水平方向夾角θ的概率，ρp表示區(qū)域輪廓的類圓性ρ的概率，F(xiàn)p表示區(qū)域的緊集度F的概率，Ap表示區(qū)域的面積A的概率，Rp表示區(qū)域的上部分與下部分的面積比的概率R，Vp表示目標(biāo)的運(yùn)動(dòng)速度v的概率。Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp分別為ap、bp、θp、ρp、Fp、Ap、Rp、Vp對應(yīng)的權(quán)值系數(shù)。
當(dāng)

時(shí)，將該幀目標(biāo)被分類為人，否則將該幀目標(biāo)被分類為車，其中，人的類型的整體特征概率為PT1，車的類型的整體特征概率為PT2。
所述人的類型的整體特征概率PT1由下列條件通過公式(PT)計(jì)算得到 當(dāng)a在閾值Tpa內(nèi)時(shí)，ap取1，否則ap取0； 當(dāng)b在閾值Tpb內(nèi)時(shí)，bp取1，否則bp取0； 當(dāng)θ在閾值Tpθ內(nèi)時(shí)，θp取1，否則θp取0； 當(dāng)ρ在閾值Tpρ內(nèi)時(shí)，ρp取1，否則ρp取0； 當(dāng)F在閾值TpF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0； 當(dāng)A在閾值TpA內(nèi)時(shí)，Ap取1，否則Ap取0； 當(dāng)R在閾值TpR內(nèi)時(shí)，Rp取1，否則Rp取0； 當(dāng)v在閾值TpV內(nèi)時(shí)，Vp取1，否則Vp取0。
所述車的類型的的整體特征概率PT2由下列條件通過公式(PT)計(jì)算得到 當(dāng)a在閾值Tba內(nèi)時(shí)，ap取1，否則ap取0； 當(dāng)b在閾值Tbb內(nèi)時(shí)，bp取1，否則bp取0； 當(dāng)θ在閾值Tbθ內(nèi)時(shí)，θp取1，否則θp取0； 當(dāng)ρ在閾值Tbρ內(nèi)時(shí)，ρp取1，否則ρp取0； 當(dāng)F在閾值TbF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0； 當(dāng)A在閾值TbA內(nèi)時(shí)，Ap取1，否則Ap取0； 當(dāng)R在閾值TbR內(nèi)時(shí)，Rp取1，否則Rp取0； 當(dāng)v在閾值TbV內(nèi)時(shí)，Vp取1，否則Vp取0。
所述歷史分類信息是指統(tǒng)計(jì)每幀目標(biāo)的分類信息；若目標(biāo)在歷史分類信息中分類為車的個(gè)數(shù)累加的總和為NUM1，在歷史分類信息中分類為人的個(gè)數(shù)累加的總和為NUM2，若NUM1＞NUM2，則判定該目標(biāo)類型為車；否則，判定該目標(biāo)類型為人。
根據(jù)本發(fā)明的另一方面，本發(fā)明還提供了一種運(yùn)動(dòng)目標(biāo)識別系統(tǒng)，所述運(yùn)動(dòng)目標(biāo)識別系統(tǒng)包括 檢測目標(biāo)模塊，用于從視頻圖像中提取感興趣的區(qū)域；跟蹤目標(biāo)模塊，用于建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)；和分類目標(biāo)模塊，用于通過區(qū)域分類法和目標(biāo)分類法對區(qū)域和目標(biāo)進(jìn)行分類。
其中，所述檢測目標(biāo)模塊包括獲取視頻模塊，用于獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；預(yù)處理圖像模塊，用于消除場景圖像對背景模型的影響；標(biāo)記區(qū)域模塊，用于根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)模塊，用于判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；增強(qiáng)區(qū)域模塊，用于使用陰影檢測、高亮檢測和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；和分裂與合并區(qū)域模塊，用于使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
其中，所述跟蹤目標(biāo)模塊包括預(yù)測目標(biāo)模塊，用于估計(jì)目標(biāo)在下一幀圖像中的位置；匹配目標(biāo)模塊，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；和更新目標(biāo)模塊，用于當(dāng)前幀中穩(wěn)定目標(biāo)的模板更新。
其中，所述分類目標(biāo)模塊包括提取特征模塊，用于提取目標(biāo)的空間特征和時(shí)間特征；和判定類型模塊，用于判定目標(biāo)的類型。
本發(fā)明所提供的運(yùn)動(dòng)目標(biāo)識別方法，具有以下優(yōu)點(diǎn)和特點(diǎn) 1)本發(fā)明的檢測目標(biāo)可以準(zhǔn)確檢測場景圖像中的運(yùn)動(dòng)目標(biāo)，包括人、車，同時(shí)可以忽略圖像抖動(dòng)、擺動(dòng)的樹、亮度變化、陰影、雨、雪等干擾因素的影響。2)本發(fā)明的跟蹤目標(biāo)實(shí)現(xiàn)了復(fù)雜背景下多目標(biāo)的準(zhǔn)確跟蹤，解決了遮擋、樹葉擺動(dòng)等問題，并且運(yùn)算簡便，具有很強(qiáng)的實(shí)用性。3)本發(fā)明的分類目標(biāo)是基于物理空間上的，滿足攝像機(jī)的標(biāo)定，能夠直接接入視頻監(jiān)控系統(tǒng)中，完成自動(dòng)分類功能。特別地，運(yùn)動(dòng)目標(biāo)分類方法能夠?qū)崿F(xiàn)人群與車的準(zhǔn)確分類。4)本發(fā)明的運(yùn)動(dòng)目標(biāo)識別方法能夠智能地識別不同目標(biāo)的性質(zhì)和類別，可應(yīng)用于智能視頻監(jiān)控系統(tǒng)中，用以實(shí)現(xiàn)目標(biāo)分類識別、運(yùn)動(dòng)目標(biāo)警戒、運(yùn)動(dòng)目標(biāo)跟蹤、PTZ跟蹤、自動(dòng)特寫拍攝、目標(biāo)行為檢測、流量檢測、擁擠檢測、遺留物檢測、被盜物檢測、煙霧檢測和火焰檢測等功能。



圖1為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法的框架示意圖； 圖2為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中檢測目標(biāo)的流程示意圖； 圖3為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中標(biāo)記區(qū)域的流程示意圖； 圖4為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中跟蹤目標(biāo)的流程示意圖； 圖5為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中分類目標(biāo)的流程示意圖； 圖6為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中判定類型的流程示意圖； 圖7為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)的結(jié)構(gòu)示意圖； 圖8為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中檢測目標(biāo)模塊的結(jié)構(gòu)示意圖； 圖9為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中跟蹤目標(biāo)模塊的結(jié)構(gòu)示意圖； 圖10為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中分類目標(biāo)模塊的結(jié)構(gòu)示意圖。

具體實(shí)施例方式 下面結(jié)合具體實(shí)施例和附圖進(jìn)一步詳細(xì)說明。
圖1為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法的流程示意圖，如圖1所示，運(yùn)動(dòng)目標(biāo)識別方法包括 檢測目標(biāo)10，從視頻圖像中提取感興趣的區(qū)域；跟蹤目標(biāo)20，建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)；分類目標(biāo)30，通過分類法對區(qū)域和目標(biāo)進(jìn)行分類，分類法包括區(qū)域分類法和目標(biāo)分類法。
首先，第一步進(jìn)行檢測目標(biāo)10，從視頻圖像中提取感興趣的區(qū)域。圖2為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中檢測目標(biāo)的流程示意圖，如圖2所示，檢測目標(biāo)的流程包括 獲取視頻201獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；預(yù)處理圖像202消除場景圖像對背景模型的影響；標(biāo)記區(qū)域203根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)204判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；增強(qiáng)區(qū)域205，使用差分圖像、邊緣圖像、區(qū)域形狀紋理的特征以及跟蹤器反饋數(shù)據(jù)，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；分裂與合并區(qū)域206，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
首先獲取視頻201的內(nèi)容是通過視頻獲取設(shè)備實(shí)現(xiàn)，該視頻獲取設(shè)備可以是一個(gè)可見光譜、近紅外或紅外攝像機(jī)。所述近紅外和紅外攝像機(jī)允許在無額外光線的弱光下應(yīng)用。所述建立背景模型最初以第一幀場景圖像作為背景模型，之后在維護(hù)狀態(tài)204中進(jìn)行更新。
然后預(yù)處理圖像202包括濾波處理和全局運(yùn)動(dòng)補(bǔ)償。
所述濾波處理是指對圖像做噪聲過濾、平滑等常規(guī)處理，以去除圖像中的噪聲點(diǎn)。濾波處理可以通過下述文獻(xiàn)實(shí)現(xiàn)，如“圖像去噪混合濾波方法[J].中國圖象圖形學(xué)報(bào)，2005，10(3)”，“自適應(yīng)中心加權(quán)的改進(jìn)均值濾波算法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，1999，39(9)”。
全局運(yùn)動(dòng)補(bǔ)償是指補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)。在全局運(yùn)動(dòng)補(bǔ)償中，運(yùn)動(dòng)模型基本上就是反映攝像機(jī)的各種運(yùn)動(dòng)，包括平移、旋轉(zhuǎn)、變焦等。全局運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄊ腔趨^(qū)域塊匹配的運(yùn)動(dòng)補(bǔ)償，在圖像中畫出四個(gè)區(qū)域塊，區(qū)域塊的長寬在32-64像素之間，要求區(qū)域覆蓋相對比較固定的背景，比如樓房，或者固定不動(dòng)的背景。
常規(guī)的全局運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄈ缦录僭O(shè)前景所在的矩形區(qū)域大小為m×n，計(jì)算該區(qū)域周圍正負(fù)5個(gè)像素的區(qū)域亮度差I(lǐng)DS，公式如下 其中，sx表示區(qū)域起點(diǎn)x坐標(biāo)，sy表示區(qū)域起點(diǎn)y坐標(biāo)，I(x，y)(t)表示當(dāng)前幀圖像灰度，I(x，y)(t-1)表示上一幀圖像灰度。
這樣可得到最小亮度差所對應(yīng)區(qū)域的位置，計(jì)算此區(qū)域的位置變化量Δx、Δy。同理計(jì)算其它四個(gè)區(qū)域的位置變化量Δx、Δy，最后求出平均的Δx、Δy(即，平均值)。將圖像按照Δx、Δy的平均值進(jìn)行平移得到補(bǔ)償后的圖像。
接著進(jìn)行區(qū)域標(biāo)記203，圖3為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中標(biāo)記區(qū)域的流程示意圖，如圖3所示，標(biāo)記區(qū)域的流程具體如下前景分割213、形態(tài)學(xué)處理223、連通區(qū)域標(biāo)記233。
前景分割213是指基于背景模型對場景圖像進(jìn)行分割，以得到前景的二值圖像。具體地，將場景圖像與背景模型對應(yīng)的像素值相減，如果該結(jié)果大于設(shè)定的閾值，則記為“1”以表示為前景點(diǎn)；如果小于閾值，則記為“0”以表示為背景點(diǎn)，由此得到前景的二值圖像。
形態(tài)學(xué)處理223通常是指使用數(shù)學(xué)形態(tài)學(xué)的方法即通過先腐蝕后膨脹，處理所述的二值圖像，以去除面積較小的虛假區(qū)域，并填充面積較大的區(qū)域。其中，腐蝕參數(shù)選的是3×3模板，膨脹參數(shù)選的是3×3模板。
連通區(qū)域標(biāo)記233通常是指用連通域的方法標(biāo)記同一場景中的不同區(qū)域，以區(qū)別不同的目標(biāo)區(qū)域。連通區(qū)域標(biāo)記方法可以通過四連通域方法或八連通域方法實(shí)現(xiàn)。八連/四連通域的連通標(biāo)記的方法是首先，對形態(tài)學(xué)處理223獲取的圖像施行逐行掃描，找到一個(gè)未標(biāo)記區(qū)域的第一點(diǎn)，標(biāo)記該點(diǎn)；檢查該點(diǎn)的八連/四連域點(diǎn)并標(biāo)記滿足連通性要求的，且尚未被標(biāo)記的點(diǎn)，同時(shí)將新增的標(biāo)記點(diǎn)記錄下來作為“區(qū)域增長”的種子點(diǎn)。在后續(xù)的標(biāo)記過程中，不斷地從記錄種子點(diǎn)的數(shù)組中取出一個(gè)種子，施行上述的操作，如此循環(huán)，直到記錄種子點(diǎn)的數(shù)組為空，一個(gè)連通區(qū)域標(biāo)記結(jié)束。接著再標(biāo)記下一個(gè)未標(biāo)記的區(qū)域，直到形態(tài)學(xué)處理223獲取的圖像的所有連通區(qū)域都被標(biāo)記。
在標(biāo)記區(qū)域203中，單個(gè)區(qū)域與單個(gè)目標(biāo)并不是一一對應(yīng)的。由于遮擋情況，一個(gè)區(qū)域包含了多個(gè)人或者車；由于前景與背景相似，一個(gè)目標(biāo)可能被過度分割為多個(gè)區(qū)域；由于光照的影響，區(qū)域中可能包含陰影和高亮區(qū)域；由于一些非感興趣的運(yùn)動(dòng)，如樹葉擺動(dòng)和水波蕩漾等，也會(huì)產(chǎn)生虛假的前景區(qū)域。這些問題都是背景模型方法所固有的，需要在后續(xù)步驟中加以解決。
圖2中維護(hù)狀態(tài)204包括狀態(tài)判定和異常檢測。
狀態(tài)判定是指判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，并做出相應(yīng)處理。判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)主要是通過場景穩(wěn)定時(shí)間、場景改變時(shí)間來判定的。當(dāng)場景穩(wěn)定時(shí)間超過閾值1，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場景改變時(shí)間超過閾值2，系統(tǒng)由工作狀態(tài)進(jìn)入初始化狀態(tài)。其中，所述閾值1優(yōu)選為0.5～2秒之間，所述閾值2優(yōu)選為5～20秒之間。
當(dāng)處于所述工作狀態(tài)時(shí)，繼續(xù)執(zhí)行下一操作，背景模型不變。當(dāng)處于所述初始化狀態(tài)時(shí)，重新建立背景模型，并在必要時(shí)做出異常檢測。所述重新建立背景模型期間，可以通過幀間差分法進(jìn)行區(qū)域檢測實(shí)現(xiàn)。幀間差分法是通過兩幀圖像進(jìn)行相減取絕對值實(shí)現(xiàn)的。
異常檢測，是在必要時(shí)包括視頻信號干擾嚴(yán)重，有人為的遮擋相機(jī)等情況執(zhí)行。根據(jù)兩次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷。若當(dāng)前幀的背景與背景模型的邊緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過閾值4，則認(rèn)為是異?，F(xiàn)象。其中所述閾值3優(yōu)選為30～50之間。所述閾值4優(yōu)選為6～20秒之間。
圖2中增強(qiáng)區(qū)域205，用于使用差分圖像、邊緣圖像、區(qū)域形狀紋理的特征以及跟蹤器反饋數(shù)據(jù)，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域。增強(qiáng)區(qū)域包括陰影檢測、高亮檢測、樹濾波。
陰影檢測用于檢測前景圖像中的陰影區(qū)域，包括人、車的陰影，并將檢測到的陰影區(qū)域?yàn)V除。所述陰影檢測是針對每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除。陰影判定規(guī)則如下若像素值小于所述閾值，則判定為陰影。
高亮檢測用于檢測圖像是否處于高亮狀態(tài)(高亮狀態(tài)即指圖像中的像素值普遍過高)，若是則進(jìn)行亮度補(bǔ)償。亮度補(bǔ)償通過亮度均衡實(shí)現(xiàn)，使得圖像的像素值的均值為128。
樹濾波用于檢測圖像中的擺動(dòng)的樹葉及其陰影，并將其從前景圖像中濾除。
檢測擺動(dòng)樹葉是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(1)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn)動(dòng)軌跡點(diǎn)中目標(biāo)對應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；例如目標(biāo)有10個(gè)軌跡點(diǎn)，這些軌跡點(diǎn)中只有一次對應(yīng)的區(qū)域是運(yùn)動(dòng)的，則把此目標(biāo)視為擺動(dòng)樹葉，將該目標(biāo)濾除。(2)質(zhì)心運(yùn)動(dòng)的振幅，若某一目標(biāo)的質(zhì)心運(yùn)動(dòng)的振幅是突變的，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉，即當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過目標(biāo)寬度的閾值6倍時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)的樹葉，將該目標(biāo)濾除。其中，所述閾值5優(yōu)選為5％～15％之間，所述閾值6優(yōu)選為1.5～2.5之間。
擺動(dòng)樹葉陰影的檢測是通過檢測區(qū)域內(nèi)點(diǎn)的密集度來實(shí)現(xiàn)的，檢測擺動(dòng)樹葉陰影的方法是分別統(tǒng)計(jì)膨脹操作前后區(qū)域內(nèi)的點(diǎn)的個(gè)數(shù)(即該區(qū)域內(nèi)膨脹操作前后像素值為“1”的點(diǎn)的個(gè)數(shù))，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉陰影的區(qū)域，并將該區(qū)域?yàn)V除。其中，所述閾值7優(yōu)選為40％～60％之間。
圖2中分裂與合并區(qū)域206是使用背景模型提供的約束以及人和車模型等先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過于分割和目標(biāo)相互遮擋問題。所述分裂與合并區(qū)域的方法是基于上述增強(qiáng)區(qū)域205處理過程，判定相鄰兩區(qū)域是同一目標(biāo)區(qū)域，還是不同目標(biāo)區(qū)域。若屬于同一目標(biāo)區(qū)域，則將這兩個(gè)區(qū)域合并；否則，將其分裂。其中，相鄰兩區(qū)域是指區(qū)域邊緣距離小于閾值8的區(qū)域，同一個(gè)區(qū)域指標(biāo)記號一致的區(qū)域，不同目標(biāo)區(qū)域指標(biāo)記號不一致的區(qū)域。其中，所述閾值8優(yōu)選為3～7個(gè)像素之間。
第二步進(jìn)行跟蹤目標(biāo)20，以建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)。圖4為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中跟蹤目標(biāo)的流程示意圖，如圖4所示，跟蹤目標(biāo)的流程包括 預(yù)測目標(biāo)401，用于估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)；匹配目標(biāo)402，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；更新目標(biāo)403，用于當(dāng)前幀中穩(wěn)定目標(biāo)的模板更新。
預(yù)測目標(biāo)401的方法是根據(jù)目標(biāo)運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì)算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測目標(biāo)的下一次位移。其中，所述累加位移就是目標(biāo)運(yùn)動(dòng)的位移的累加和，累加時(shí)間就是目標(biāo)運(yùn)動(dòng)的時(shí)間的累加和。所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為v＝s/t 其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該目標(biāo)穩(wěn)定運(yùn)動(dòng)的平均速度。通過上述公式便可計(jì)算得到平均速度。
根據(jù)所述平均速度v預(yù)測的下一次位移為s′＝v·Δt 其中，Δt為預(yù)測的目標(biāo)時(shí)間，s′為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)Δt時(shí)間后的位移。通過上述公式便可計(jì)算預(yù)測到下一次位移。
匹配目標(biāo)402包括跟蹤匹配的穩(wěn)定目標(biāo)；濾除虛假目標(biāo)。
所述跟蹤匹配的穩(wěn)定目標(biāo)是判定檢測區(qū)域與跟蹤目標(biāo)是否匹配。所述匹配的判定條件為檢測區(qū)域與目標(biāo)的匹配系數(shù)D的計(jì)算公式如下 D＝Da*ADa+Db*ADb+Dc*ADc 其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。當(dāng)檢測區(qū)域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該檢測區(qū)域與目標(biāo)匹配。ADa、ADb、ADc分別為Da、Db、Dc對應(yīng)的權(quán)值系數(shù)。其中，所述閾值9優(yōu)選為0.7～0.8之間。
所述ADa、ADb、ADc的值都在0～1之間，且滿足三者的值的和為1。所述ADa、ADb、ADc的優(yōu)選值分別為0.2、0.3、0.5。
1)面積匹配系數(shù)Da。當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值10時(shí)，則認(rèn)為該檢測區(qū)域滿足面積的匹配，Da取1；否則Da取0。所述閾值10優(yōu)選為40％～60％之間。
2)直方圖匹配系數(shù)Db。當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖的閾值11時(shí)，則認(rèn)為該檢測區(qū)域滿足直方圖的匹配，Db取1；否則Db取0。所述閾值11優(yōu)選為40％～60％之間。
3)距離匹配系數(shù)Dc。分兩種情況來考慮距離匹配系數(shù)Dc，這兩種情況即檢測區(qū)域是運(yùn)動(dòng)的還是靜止的。若當(dāng)前幀圖像與前一幀圖像中檢測區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)數(shù)的閾值12時(shí)，則認(rèn)為檢測區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測區(qū)域是靜止的。當(dāng)檢測區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若小于目標(biāo)所在矩形框的對角線長度的閾值13，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0。當(dāng)檢測區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0。其中，所述閾值12優(yōu)選為65％～75％之間。所述閾值13優(yōu)選為1.5～2之間。所述閾值14優(yōu)選為8～12個(gè)像素之間。
濾除虛假目標(biāo)是通過目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域。其中，軌跡分析是利用目標(biāo)軌跡信息(包括平面信息和質(zhì)心點(diǎn)信息)，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心點(diǎn)變化的平穩(wěn)性。
其中，統(tǒng)計(jì)面積變化的平滑性的方法如下統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{area1，area2，...，arean}，n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì)面積均值 統(tǒng)計(jì)面積方差 當(dāng)

時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除。
統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性的方法是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常性突變，統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平穩(wěn)，將該目標(biāo)區(qū)域?yàn)V除。所述閾值15優(yōu)選為40％～60％之間。
更新目標(biāo)403根據(jù)目標(biāo)匹配402后的穩(wěn)定目標(biāo)，實(shí)時(shí)的更新跟蹤目標(biāo)的模型。其中，目標(biāo)檢測10從每幀視頻圖像中提取感興趣區(qū)域，提供給目標(biāo)跟蹤20做目標(biāo)跟蹤用途，同時(shí)目標(biāo)跟蹤20反饋的目標(biāo)數(shù)據(jù)輔助步驟中目標(biāo)檢測10的算法操作。
第三步是分類目標(biāo)，即通過分類法對區(qū)域和目標(biāo)進(jìn)行分類，分類法包括區(qū)域分類法和目標(biāo)分類法。
圖5為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中分類目標(biāo)的流程示意圖，如圖5所示，分類目標(biāo)30的流程包括提取特征501，提取目標(biāo)的空間特征和時(shí)間特征；和判定類型502，判定目標(biāo)的類型。
特征包括空間特征和時(shí)間特征兩種。所述空間特征包括區(qū)域輪廓擬合橢圓的長軸a、區(qū)域輪廓擬合橢圓的短軸b、擬合短軸與水平方向夾角θ、區(qū)域輪廓的類圓性ρ、區(qū)域的緊集度F、區(qū)域的面積A、區(qū)域的上部分與下部分的面積比R。
所述擬合短軸與水平方向夾角中的擬合短軸即為所述區(qū)域輪廓擬合橢圓的短軸。
所述區(qū)域輪廓擬合橢圓就是根據(jù)區(qū)域輪廓上的數(shù)據(jù)點(diǎn)，通過計(jì)算輪廓上數(shù)據(jù)點(diǎn)的特征矩陣、特征向量以及特征值來擬合橢圓的參數(shù)。假設(shè)橢圓幾何中心(x0，y0)、橢圓長軸傾角θ、橢圓長軸a、橢圓短軸b。確定橢圓長軸傾角θ、橢圓長軸a、橢圓短軸b的步驟如下 1)計(jì)算輪廓點(diǎn)x，y坐標(biāo)的平均值，公式如下 x0＝meanx，y0＝meany 2)計(jì)算輪廓點(diǎn)x，y坐標(biāo)的方差，協(xié)方差，公式如下 3)計(jì)算最大最小特征值，公式如下 4)計(jì)算長軸、短軸、橢圓傾角，公式如下 所述區(qū)域輪廓的類圓性ρ是指擬合目標(biāo)區(qū)域的周長與面積的關(guān)系，該關(guān)系公式為 其中，c為擬合目標(biāo)區(qū)域的周長，s為擬合目標(biāo)區(qū)域的面積，ρ為擬合目標(biāo)區(qū)域的類圓性。由于擬合目標(biāo)的區(qū)域?yàn)榫匦?，因此c為該區(qū)域的長加寬的和的2倍的值，s為該區(qū)域的長乘以寬的值。
所述區(qū)域的緊集度F指的是目標(biāo)與目標(biāo)區(qū)域的面積比。其中，所述目標(biāo)是指實(shí)際的前景圖像，即目標(biāo)所在的矩形區(qū)域里像素值為1的像素點(diǎn)。目標(biāo)區(qū)域是指，該矩形區(qū)域中所有的像素點(diǎn)。目標(biāo)與目標(biāo)區(qū)域的面積比為目標(biāo)與目標(biāo)區(qū)域內(nèi)統(tǒng)計(jì)的像素個(gè)數(shù)的比值。
所述區(qū)域的上部分與下部分的面積比R為目標(biāo)所在的矩形區(qū)域上半部分面積與下半部分面積之比。其中，所述上半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以上的所有像素值為1的點(diǎn)的個(gè)數(shù)，下半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以下的所有像素值為1的點(diǎn)的個(gè)數(shù)。
時(shí)間特征包括目標(biāo)的速度v，目標(biāo)的速度v是指目標(biāo)的速度信息。
圖6為本發(fā)明運(yùn)動(dòng)目標(biāo)識別方法中類型判定502的流程示意圖，如圖6所示，判定類型的流程包括每幀分類601、和整體分類602。
每幀分類601是根據(jù)區(qū)域輪廓擬合橢圓的長軸、區(qū)域輪廓擬合橢圓的短軸、擬合短軸與水平方向夾角、區(qū)域輪廓的類圓性、區(qū)域的緊集度、區(qū)域的面積、區(qū)域的上部分與下部分的面積比、及目標(biāo)的速度特征，通過概率分類法進(jìn)行每幀分類，以獲得目標(biāo)的歷史分類信息。
所述概率分類法的方法是分別按照人、人群、車、車群、小動(dòng)物等類型，賦予區(qū)域輪廓擬合橢圓的長軸、區(qū)域輪廓擬合橢圓的短軸、擬合短軸與水平方向夾角、區(qū)域輪廓的類圓性、區(qū)域的緊集度、區(qū)域的面積、區(qū)域的上部分與下部分的面積比、及目標(biāo)的速度特征等特征不同的權(quán)值；然后分別計(jì)算人、人群、車、車群、小動(dòng)物等類型的特征概率值，并選擇概率值最大的那一類型為目標(biāo)的當(dāng)前幀分類信息。利用概率分類法計(jì)算整體特征概率PT的公式如下 PT＝Aap*ap+Abp*bp+Aθp*θp+Aρp*ρp+AFp*Fp+AAp*Ap+ARp*Rp+AVp*Vp 其中，ap表示區(qū)域輪廓擬合橢圓的長軸a的概率，bp表示區(qū)域輪廓擬合橢圓的短軸b的概率，θp表示擬合短軸與水平方向夾角θ的概率，ρp表示區(qū)域輪廓的類圓性ρ的概率，F(xiàn)p表示區(qū)域的緊集度F的概率，Ap表示區(qū)域的面積A的概率，Rp表示區(qū)域的上部分與下部分的面積比的概率R，Vp表示目標(biāo)的運(yùn)動(dòng)速度v的概率。Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp分別為ap、bp、θp、ρp、Fp、Ap、Rp、Vp對應(yīng)的權(quán)值系數(shù)。
所述權(quán)值系數(shù)Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp的值都在0～1之間，且滿足八者的值的和為1。所述權(quán)值系數(shù)Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp的優(yōu)選值分別為0.2、0.2、0.1、0.1、0.1、0.2、0.1、0.1。
下面以類型人和車為例。
對于類型人，各特征的概率取值如下 當(dāng)a在閾值Tpa內(nèi)時(shí)，ap取1，否則ap取0； 當(dāng)b在閾值Tpb內(nèi)時(shí)，bp取1，否則bp取0； 當(dāng)θ在閾值Tpθ內(nèi)時(shí)，θp取1，否則θp取0； 當(dāng)ρ在閾值Tpρ內(nèi)時(shí)，ρp取1，否則ρp取0； 當(dāng)F在閾值TpF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0； 當(dāng)A在閾值TpA內(nèi)時(shí)，Ap取1，否則Ap取0； 當(dāng)R在閾值TpR內(nèi)時(shí)，Rp取1，否則Rp取0； 當(dāng)v在閾值TpV內(nèi)時(shí)，Vp取1，否則Vp取0。
根據(jù)上述特征的概率取值，計(jì)算屬于類型人的整體特征概率PT1。
其中，所述閾值Tpa優(yōu)選為100～200cm。
所述閾值Tpb優(yōu)選為40～100cm。
所述閾值Tpθ優(yōu)選為0°～10°。
所述閾值Tpρ優(yōu)選為0.5～1。
所述閾值TpF優(yōu)選為0.4～0.7。
所述閾值TpA優(yōu)選為2000～10000cm2。
所述閾值TpR優(yōu)選為0～1。
所述閾值TpV優(yōu)選為0～200cm/s。
對于類型車，各特征的概率取值如下 當(dāng)a在閾值Tba內(nèi)時(shí)，ap取1，否則ap取0； 當(dāng)b在閾值Tbb內(nèi)時(shí)，bp取1，否則bp取0； 當(dāng)θ在閾值Tbθ內(nèi)時(shí)，θp取1，否則θp取0； 當(dāng)ρ在閾值Tbρ內(nèi)時(shí)，ρp取1，否則ρp取0； 當(dāng)F在閾值TbF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0； 當(dāng)A在閾值TbA內(nèi)時(shí)，Ap取1，否則Ap取0； 當(dāng)R在閾值TbR內(nèi)時(shí)，Rp取1，否則Rp取0； 當(dāng)v在閾值TbV內(nèi)時(shí)，Vp取1，否則Vp取0。
根據(jù)上述特征的概率取值，計(jì)算屬于類型車的整體特征概率PT2。
其中，所述閾值Tba優(yōu)選為200～500cm。
所述閾值Tbb優(yōu)選為70～300cm。
所述閾值Tbθ優(yōu)選為20°～90°。
所述閾值Tbρ優(yōu)選為0.1～0.5。
所述閾值TbF優(yōu)選為0.7～1。
所述閾值TbA優(yōu)選為25000～60000cm2。
所述閾值TbR優(yōu)選為0～1。
所述閾值TbV優(yōu)選為200～10000cm/s。
當(dāng)PT1＞PT2時(shí)，將該幀目標(biāo)被分類為人，否則將該幀目標(biāo)被分類為車。
所述歷史分類信息是指統(tǒng)計(jì)每幀目標(biāo)的分類信息。
整體類型602是根據(jù)目標(biāo)的歷史分類信息進(jìn)行分類，以判定目標(biāo)的類型。其方法是根據(jù)目標(biāo)的歷史分類信息中分類的累加數(shù)(即統(tǒng)計(jì)目標(biāo)在歷史分類信息中的每一分類型的個(gè)數(shù)累加的總和)判定目標(biāo)類型。例如，若目標(biāo)在歷史分類信息中分類為車的個(gè)數(shù)累加的總和為NUM1，在歷史分類信息中分類為人的個(gè)數(shù)累加的總和為NUM2，若NUM1＞NUM2，則判定該目標(biāo)類型為車；否則，判定該目標(biāo)類型為人。
圖7為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)的結(jié)構(gòu)示意圖，如圖7所示。運(yùn)動(dòng)目標(biāo)識別系統(tǒng)包括檢測目標(biāo)模塊71、跟蹤目標(biāo)模塊72和分類目標(biāo)模塊73。其中，檢測目標(biāo)模塊71，用于從視頻圖像中提取感興趣的區(qū)域，跟蹤目標(biāo)模塊72，用于建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)，分類目標(biāo)模塊73，用于通過區(qū)域分類法和目標(biāo)分類法對區(qū)域和目標(biāo)進(jìn)行分類。
圖8為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中檢測目標(biāo)模塊的結(jié)構(gòu)示意圖，如圖8所示，檢測目標(biāo)模塊71包括獲取視頻模塊711、預(yù)處理圖像模塊712、標(biāo)記區(qū)域模塊713、維護(hù)狀態(tài)模塊714、增強(qiáng)區(qū)域模塊715和分裂與合并區(qū)域模塊716。其中，獲取視頻模塊711，用于獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；預(yù)處理圖像模塊712，用于消除場景圖像對背景模型的影響；標(biāo)記區(qū)域模塊713，用于根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；維護(hù)狀態(tài)模塊714，用于判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；增強(qiáng)區(qū)域模塊715，用于使用陰影檢測、高亮檢測和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；和分裂與合并區(qū)域模塊716，用于使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
圖9為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中跟蹤目標(biāo)模塊的結(jié)構(gòu)示意圖，如圖9所示，跟蹤目標(biāo)模塊72包括預(yù)測目標(biāo)模塊721、匹配目標(biāo)模塊722和更新目標(biāo)模塊723。其中，預(yù)測目標(biāo)模塊721，用于估計(jì)目標(biāo)在下一幀圖像中的位置；匹配目標(biāo)模塊722，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；和更新目標(biāo)模塊723，用于當(dāng)前幀中穩(wěn)定目標(biāo)的模板更新。
圖10為本發(fā)明運(yùn)動(dòng)目標(biāo)識別系統(tǒng)中分類目標(biāo)模塊的結(jié)構(gòu)示意圖，如圖10所示。分類目標(biāo)模塊73包括提取特征模塊731和判定類型模塊732。其中，提取特征模塊731，用于提取目標(biāo)的空間特征和時(shí)間特征；和判定類型模塊732，用于判定目標(biāo)的類型。
下面介紹按照本發(fā)明的運(yùn)動(dòng)目標(biāo)識別方法的各種功能及應(yīng)用。
1、運(yùn)動(dòng)目標(biāo)檢測 本發(fā)明的目標(biāo)檢測可以準(zhǔn)確檢測場景圖像中的運(yùn)動(dòng)目標(biāo)，包括人、車，同時(shí)可以忽略圖像抖動(dòng)、擺動(dòng)的樹、亮度變化、陰影、雨、雪等干擾因素的影響。
2、運(yùn)動(dòng)目標(biāo)跟蹤 本發(fā)明的目標(biāo)跟蹤實(shí)現(xiàn)了復(fù)雜背景下多目標(biāo)的準(zhǔn)確跟蹤，解決了遮擋、樹葉擺動(dòng)等問題，并且運(yùn)算簡便，具有很強(qiáng)的實(shí)用性。
3、運(yùn)動(dòng)目標(biāo)分類 本發(fā)明的目標(biāo)分類是基于物理空間上的，滿足攝像機(jī)的標(biāo)定，能夠直接接入視頻監(jiān)控系統(tǒng)中，完成自動(dòng)分類功能。
特別地，運(yùn)動(dòng)目標(biāo)分類方法能夠?qū)崿F(xiàn)人群與車的準(zhǔn)確分類。
4、運(yùn)動(dòng)目標(biāo)識別 本發(fā)明的運(yùn)動(dòng)目標(biāo)識別方法能夠智能地識別不同目標(biāo)的性質(zhì)和類別。
運(yùn)動(dòng)目標(biāo)識別方法可應(yīng)用于智能視頻監(jiān)控系統(tǒng)中，用以實(shí)現(xiàn)目標(biāo)分類識別、運(yùn)動(dòng)目標(biāo)警戒、運(yùn)動(dòng)目標(biāo)跟蹤、PTZ跟蹤、自動(dòng)特寫拍攝、目標(biāo)行為檢測、流量檢測、擁擠檢測、遺留物檢測、被盜物檢測、煙霧檢測和火焰檢測等功能。
以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)當(dāng)理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善，因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限制，其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等同方案。
權(quán)利要求
1.一種運(yùn)動(dòng)目標(biāo)識別方法，其特征在于，所述運(yùn)動(dòng)目標(biāo)識別方法包括如下步驟
(1)檢測目標(biāo)，從視頻圖像中提取感興趣的區(qū)域；
(2)跟蹤目標(biāo)，建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)；和
(3)分類目標(biāo)，通過分類法對所述區(qū)域和所述目標(biāo)進(jìn)行分類，分類法包括區(qū)域分類法和目標(biāo)分類法。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測目標(biāo)包括如下步驟
獲取視頻，獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；
預(yù)處理圖像，消除場景圖像對背景模型的影響；
標(biāo)記區(qū)域，根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；
維護(hù)狀態(tài)，判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；
增強(qiáng)區(qū)域，使用陰影檢測、高亮檢測和樹濾波，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；
分裂與合并區(qū)域，使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)處理圖像包括濾波處理和全局運(yùn)動(dòng)補(bǔ)償；其中，
所述濾波處理包括對圖像進(jìn)行噪聲過濾處理、圖像平滑處理；
所述全局運(yùn)動(dòng)補(bǔ)償，是補(bǔ)償由于相機(jī)輕微擺動(dòng)而引起的圖像全局運(yùn)動(dòng)，在全局運(yùn)動(dòng)補(bǔ)償中，運(yùn)動(dòng)模型包括平移、旋轉(zhuǎn)、變焦；
通過下列公式計(jì)算前景所在的矩形區(qū)域周圍正負(fù)5個(gè)像素的區(qū)域亮度差I(lǐng)DS，得到全局運(yùn)動(dòng)補(bǔ)償中圖像平移的距離Δx、Δy，公式如下
其中，sx表示區(qū)域起點(diǎn)x坐標(biāo)，sy表示區(qū)域起點(diǎn)y坐標(biāo)，I(x，y)(t)表示當(dāng)前幀圖像灰度，I(x，y)(t-1)表示上一幀圖像灰度；
同理計(jì)算其它四個(gè)區(qū)域的Δx、Δy，最后求出Δx、Δy的平均值；
將圖像按照Δx、Δy的平均值進(jìn)行平移得到補(bǔ)償后的圖像。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述標(biāo)記區(qū)域包括如下步驟
前景分割，基于背景模型對場景圖像進(jìn)行分割，以得到前景的二值圖像；
形態(tài)學(xué)處理，使用數(shù)學(xué)形態(tài)學(xué)的方法處理所述的二值圖像，以去除面積較小的虛假區(qū)域，并填充面積較大的區(qū)域；以及
連通區(qū)域標(biāo)記，用連通域的方法標(biāo)記同一場景中的不同區(qū)域，以區(qū)別不同的目標(biāo)區(qū)域。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述維護(hù)狀態(tài)包括狀態(tài)判定和異常檢測；其中，
所述狀態(tài)判定，是判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理；當(dāng)場景穩(wěn)定時(shí)間超過閾值1，系統(tǒng)由初始化狀態(tài)進(jìn)入工作狀態(tài)；當(dāng)場景改變時(shí)間超過閾值2，系統(tǒng)由工作狀態(tài)進(jìn)入初始化狀態(tài)；
所述異常檢測，是在視頻信號干擾嚴(yán)重，以及有人為的遮擋相機(jī)的情況時(shí)執(zhí)行；根據(jù)兩次背景的邊緣匹配值及背景初始化成功的最短時(shí)間判斷，若當(dāng)前幀的背景與背景模型的邊緣相匹配的數(shù)值小于閾值3或背景初始化成功的最短時(shí)間超過閾值4，則認(rèn)為是異?，F(xiàn)象。
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述增強(qiáng)區(qū)域包括陰影檢測、高亮檢測、樹濾波；其中，
陰影檢測，針對每個(gè)連通區(qū)域，分別計(jì)算該連通區(qū)域內(nèi)的像素值的均值，并將該均值作為閾值，判定該區(qū)域的陰影區(qū)域，然后將陰影區(qū)域?yàn)V除，若像素值小于所述閾值，則判定為陰影；
高亮檢測，檢測圖像是否處于高亮狀態(tài)，若是，則進(jìn)行亮度補(bǔ)償，亮度補(bǔ)償使得圖像的像素值的均值為128；
樹濾波，檢測圖像中的擺動(dòng)樹葉和擺動(dòng)樹葉陰影，并將其從前景圖像中濾除；其中
檢測擺動(dòng)樹葉是根據(jù)以下兩個(gè)特征之一判定實(shí)現(xiàn)的(1)運(yùn)動(dòng)軌跡跟蹤，當(dāng)運(yùn)動(dòng)軌跡點(diǎn)中目標(biāo)對應(yīng)區(qū)域?qū)儆谶\(yùn)動(dòng)區(qū)域面積的部分小于運(yùn)動(dòng)區(qū)域面積的閾值5時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；(2)質(zhì)心運(yùn)動(dòng)的振幅，當(dāng)相鄰軌跡點(diǎn)中目標(biāo)質(zhì)心的位移變化超過目標(biāo)寬度的閾值6時(shí)，則認(rèn)為該目標(biāo)是擺動(dòng)樹葉；
檢測擺動(dòng)樹葉陰影的方法是分別統(tǒng)計(jì)膨脹操作前后該區(qū)域內(nèi)膨脹操作前后像素值為“1”的點(diǎn)的個(gè)數(shù)，并計(jì)算它們的比值，若該比值小于閾值7，則認(rèn)為該區(qū)域是擺動(dòng)樹葉陰影的區(qū)域。
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分裂與合并區(qū)域是基于所述增強(qiáng)區(qū)域的處理過程，判定相鄰兩區(qū)域是否是同一目標(biāo)區(qū)域；若屬于同一目標(biāo)區(qū)域，則將這兩個(gè)區(qū)域合并；否則，將其分裂；其中，相鄰兩區(qū)域是指區(qū)域邊緣距離小于閾值8的區(qū)域。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述跟蹤目標(biāo)包括如下步驟
預(yù)測目標(biāo)，估計(jì)目標(biāo)的下一幀運(yùn)動(dòng)；
匹配目標(biāo)，跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；
更新目標(biāo)，更新當(dāng)前幀中穩(wěn)定目標(biāo)的模板。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述預(yù)測目標(biāo)是根據(jù)目標(biāo)運(yùn)動(dòng)的累加位移及其相應(yīng)的累加時(shí)間，計(jì)算該目標(biāo)運(yùn)動(dòng)的平均速度，并根據(jù)該速度預(yù)測目標(biāo)的下一次位移；其中，
所述累加位移、累加時(shí)間及平均運(yùn)動(dòng)速度的關(guān)系為
v＝s/t
其中，s為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)多幀后的位移，t為目標(biāo)運(yùn)動(dòng)多幀所需的時(shí)間，v為該目標(biāo)穩(wěn)定運(yùn)動(dòng)的平均速度；
根據(jù)所述平均速度v預(yù)測的下一次位移為
s′＝v·Δt
其中，Δt為預(yù)測的目標(biāo)時(shí)間，s′為目標(biāo)質(zhì)心穩(wěn)定運(yùn)動(dòng)Δt時(shí)間后的位移。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述匹配目標(biāo)包括跟蹤匹配的穩(wěn)定目標(biāo)和濾除虛假目標(biāo)；其中，
所述跟蹤匹配的穩(wěn)定目標(biāo)是判定檢測區(qū)域與跟蹤目標(biāo)是否匹配，所述匹配根據(jù)下述公式中檢測區(qū)域與目標(biāo)的匹配系數(shù)D來判定
D＝Da*ADa+Db*ADb+Dc*ADc
其中，Da為面積匹配系數(shù)，Db為直方圖匹配系數(shù)，Dc為距離匹配系數(shù)。ADa、ADb、ADc分別為Da、Db、Dc對應(yīng)的權(quán)值系數(shù)；當(dāng)檢測區(qū)域與目標(biāo)的匹配系數(shù)D大于閾值9時(shí)，則判定該檢測區(qū)域與目標(biāo)匹配；
濾除虛假目標(biāo)是通過目標(biāo)運(yùn)動(dòng)的軌跡分析，以濾除虛假的目標(biāo)區(qū)域；其中，軌跡分析是利用目標(biāo)軌跡信息，統(tǒng)計(jì)面積變化的平滑性和質(zhì)心點(diǎn)變化的平穩(wěn)性。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，
面積匹配系數(shù)Da，是當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的面積大于目標(biāo)的面積的閾值10時(shí)，則認(rèn)為該檢測區(qū)域滿足面積的匹配，Da取1；否則Da取0；
直方圖匹配系數(shù)Db，是當(dāng)檢測區(qū)域與目標(biāo)相交的區(qū)域的直方圖大于目標(biāo)的直方圖的閾值11時(shí)，則認(rèn)為該檢測區(qū)域滿足直方圖的匹配，Db取1；否則Db取0；
距離匹配系數(shù)Dc，根據(jù)檢測區(qū)域是運(yùn)動(dòng)的還是靜止的兩種情況來考慮距離匹配系數(shù)Dc；若當(dāng)前幀圖像與前一幀圖像中檢測區(qū)域的差分圖像中，前景點(diǎn)的個(gè)數(shù)大于背景點(diǎn)個(gè)數(shù)的閾值12時(shí)，則認(rèn)為檢測區(qū)域是運(yùn)動(dòng)的，否則認(rèn)為該檢測區(qū)域是靜止的；
當(dāng)檢測區(qū)域是運(yùn)動(dòng)時(shí)，計(jì)算當(dāng)前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若該距離小于目標(biāo)所在矩形框的對角線長度的閾值13，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0；
當(dāng)檢測區(qū)域是靜止時(shí)，計(jì)算前一幀圖像中檢測區(qū)域的中心與當(dāng)前幀圖像中檢測區(qū)域的中心的距離，若該距離小于閾值14，則認(rèn)為滿足距離的匹配，Dc取1；否則Dc取0。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述統(tǒng)計(jì)面積變化的平滑性是指統(tǒng)計(jì)目標(biāo)軌跡點(diǎn)上面積集合{area1，area2，...，arean}，n表示軌跡點(diǎn)的個(gè)數(shù)，統(tǒng)計(jì)面積均值
統(tǒng)計(jì)面積方差
當(dāng)
時(shí)，認(rèn)為面積變化不平滑，將該目標(biāo)區(qū)域?yàn)V除；
所述統(tǒng)計(jì)質(zhì)心點(diǎn)變化的平穩(wěn)性是根據(jù)正常目標(biāo)的運(yùn)動(dòng)在方向上不會(huì)產(chǎn)生經(jīng)常性突變，統(tǒng)計(jì)相鄰軌跡點(diǎn)中方向變化的比率，若該比率超過閾值15，則認(rèn)為質(zhì)心點(diǎn)變化不平穩(wěn)，將該目標(biāo)區(qū)域?yàn)V除。
13.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分類目標(biāo)包括如下步驟提取特征，提取目標(biāo)的空間特征和時(shí)間特征；以及判定類型，判定目標(biāo)的類型；
其中，所述空間特征包括區(qū)域輪廓擬合橢圓的長軸a、區(qū)域輪廓擬合橢圓的短軸b、擬合短軸與水平方向夾角θ、區(qū)域輪廓的類圓性ρ、區(qū)域的緊集度F、區(qū)域的面積A、區(qū)域的上部分與下部分的面積比R；
所述時(shí)間特征為目標(biāo)的速度v；
所述判定類型包括每幀分類和整體分類。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，區(qū)域輪廓的類圓性ρ通過如下公式確定
其中，c為擬合目標(biāo)區(qū)域的周長，s為擬合目標(biāo)區(qū)域的面積，ρ為擬合目標(biāo)區(qū)域的類圓性；
區(qū)域的緊集度F，是指目標(biāo)與目標(biāo)區(qū)域的面積比；其中，所述目標(biāo)是指目標(biāo)所在的矩形區(qū)域里像素值為1的像素點(diǎn)；目標(biāo)區(qū)域是指該矩形區(qū)域中所有的像素點(diǎn)；目標(biāo)與目標(biāo)區(qū)域的面積比為目標(biāo)與目標(biāo)區(qū)域內(nèi)統(tǒng)計(jì)的像素個(gè)數(shù)的比值；
區(qū)域的上部分與下部分的面積比R，是指目標(biāo)所在的矩形區(qū)域的上半部分面積與下半部分面積之比；其中，所述上半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以上的所有像素值為1的點(diǎn)的個(gè)數(shù)，下半部分面積指區(qū)域中心點(diǎn)y坐標(biāo)以下的所有像素值為1的點(diǎn)的個(gè)數(shù)。
15.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述每幀分類是根據(jù)區(qū)域輪廓擬合橢圓的長軸、區(qū)域輪廓擬合橢圓的短軸、擬合短軸與水平方向夾角、區(qū)域輪廓的類圓性、區(qū)域的緊集度、區(qū)域的面積、區(qū)域的上部分與下部分的面積比、及目標(biāo)的速度特征，通過概率分類法進(jìn)行每幀分類，以獲得目標(biāo)的歷史分類信息；
所述整體分類是根據(jù)目標(biāo)的歷史分類信息進(jìn)行分類，以判定目標(biāo)的類型。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述概率分類法是指分別按照人、人群、車、車群、小動(dòng)物類型，賦予區(qū)域輪廓擬合橢圓的長軸a、區(qū)域輪廓擬合橢圓的短軸b、擬合短軸與水平方向夾角θ、區(qū)域輪廓的類圓性ρ、區(qū)域的緊集度F、區(qū)域的面積A、區(qū)域的上部分與下部分的面積比R、及目標(biāo)的速度特征v不同的權(quán)值；然后分別計(jì)算人、人群、車、車群、小動(dòng)物類型的特征概率值，并選擇概率值最大的那一類型為目標(biāo)的當(dāng)前幀分類信息；
其中，利用概率分類法通過如下公式(PT)計(jì)算整體特征概率PT
PT＝Aap*ap+Abp*bp+Aθp*θp+Aρp*ρp+AFp*Fp+AAp*Ap+ARp*Rp+AVp*Vp
其中，ap表示區(qū)域輪廓擬合橢圓的長軸a的概率，bp表示區(qū)域輪廓擬合橢圓的短軸b的概率，θp表示擬合短軸與水平方向夾角θ的概率，ρp表示區(qū)域輪廓的類圓性ρ的概率，F(xiàn)p表示區(qū)域的緊集度F的概率，Ap表示區(qū)域的面積A的概率，Rp表示區(qū)域的上與下部分面積比的概率R，Vp表示目標(biāo)的運(yùn)動(dòng)速度v的概率。Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp分別為ap、bp、θp、ρp、Fp、Fp、Rp、Vp對應(yīng)的權(quán)值系數(shù)；
當(dāng)
時(shí)，將該幀目標(biāo)分類為人，否則將該幀目標(biāo)分類為車，其中，人的類型的整體特征概率為PT1，車的類型的整體特征概率為PT2。
17.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述人的類型的整體特征概率PT1由下列條件通過公式(PT)計(jì)算得到
當(dāng)a在閾值Tpa內(nèi)時(shí)，ap取1，否則ap取0；
當(dāng)b在閾值Tpb內(nèi)時(shí)，bp取1，否則bp取0；
當(dāng)θ在閾值Tpθ內(nèi)時(shí)，θp取1，否則θp取0；
當(dāng)ρ在閾值Tpρ內(nèi)時(shí)，ρp取1，否則ρp取0；
當(dāng)F在閾值TpF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0；
當(dāng)A在閾值TpA內(nèi)時(shí)，Ap取1，否則Ap取0；
當(dāng)R在閾值TpR內(nèi)時(shí)，Rp取1，否則Rp取0；
當(dāng)v在閾值TpV內(nèi)時(shí)，Vp取1，否則Vp取0；
所述車的類型的的整體特征概率PT2由下列條件通過公式(PT)計(jì)算得到
當(dāng)a在閾值Tba內(nèi)時(shí)，ap取1，否則ap取0；
當(dāng)b在閾值Tbb內(nèi)時(shí)，bp取1，否則bp取0；
當(dāng)θ在閾值Tbθ內(nèi)時(shí)，θp取1，否則θp取0；
當(dāng)ρ在閾值Tbρ內(nèi)時(shí)，ρp取1，否則ρp取0；
當(dāng)F在閾值TbF內(nèi)時(shí)，F(xiàn)p取1，否則Fp取0；
當(dāng)A在閾值TbA內(nèi)時(shí)，Ap取1，否則Ap取0；
當(dāng)R在閾值TbR內(nèi)時(shí)，Rp取1，否則Rp取0；
當(dāng)v在閾值TbV內(nèi)時(shí)，Vp取1，否則Vp取0。
18.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述歷史分類信息是指統(tǒng)計(jì)每幀目標(biāo)的分類信息；若目標(biāo)在歷史分類信息中分類為車的個(gè)數(shù)累加的總和為NUM1，在歷史分類信息中分類為人的個(gè)數(shù)累加的總和為NUM2，若NUM1＞NUM2，則判定該目標(biāo)類型為車；否則，判定該目標(biāo)類型為人。
19.一種運(yùn)動(dòng)目標(biāo)識別系統(tǒng)，其特征在于，所述運(yùn)動(dòng)目標(biāo)識別系統(tǒng)包括
檢測目標(biāo)模塊，用于從視頻圖像中提取感興趣的區(qū)域；
跟蹤目標(biāo)模塊，用于建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)；和
分類目標(biāo)模塊，用于通過區(qū)域分類法和目標(biāo)分類法對所述區(qū)域和所述目標(biāo)進(jìn)行分類。
20.根據(jù)權(quán)利要求19所述的運(yùn)動(dòng)目標(biāo)識別系統(tǒng)，其特征在于，所述檢測目標(biāo)模塊包括
獲取視頻模塊，用于獲取視頻內(nèi)容以得到場景圖像，并建立背景模型；
預(yù)處理圖像模塊，用于消除場景圖像對背景模型的影響；
標(biāo)記區(qū)域模塊，用于根據(jù)背景模型對場景圖像進(jìn)行前景分割，并標(biāo)記出連通區(qū)域；
維護(hù)狀態(tài)模塊，用于判定檢測目標(biāo)模塊當(dāng)前所處的狀態(tài)，做出相應(yīng)處理，并且在必要時(shí)做異常檢測；
增強(qiáng)區(qū)域模塊，用于使用差分圖像、邊緣圖像、區(qū)域形狀紋理的特征以及跟蹤器反饋數(shù)據(jù)，剔除陰影、高亮和樹葉擺動(dòng)的虛假區(qū)域；和
分裂與合并區(qū)域模塊，用于使用背景模型提供的約束以及人和車模型的先驗(yàn)知識對區(qū)域進(jìn)行合并和分裂處理，以解決目標(biāo)過分割和目標(biāo)相互遮擋問題。
21.根據(jù)權(quán)利要求19所述的運(yùn)動(dòng)目標(biāo)識別系統(tǒng)，其特征在于，所述跟蹤目標(biāo)模塊包括
預(yù)測目標(biāo)模塊，用于估計(jì)目標(biāo)在下一幀圖像中的位置；
匹配目標(biāo)模塊，用于跟蹤匹配的穩(wěn)定目標(biāo)，并濾除虛假目標(biāo)；和
更新目標(biāo)模塊，用于當(dāng)前幀中穩(wěn)定目標(biāo)的模板更新。
22.根據(jù)權(quán)利要求19所述的運(yùn)動(dòng)目標(biāo)識別系統(tǒng)，其特征在于，所述分類目標(biāo)模塊包括
提取特征模塊，用于提取目標(biāo)的空間特征和時(shí)間特征；和
判定類型模塊，用于判定目標(biāo)的類型。
全文摘要
本發(fā)明公開了一種運(yùn)動(dòng)目標(biāo)識別方法及系統(tǒng)，所述運(yùn)動(dòng)目標(biāo)識別方法包括檢測目標(biāo)，從視頻圖像中提取感興趣的區(qū)域；跟蹤目標(biāo)，建立幀與幀之間所提取區(qū)域之間的關(guān)聯(lián)性和一致性，形成目標(biāo)；分類目標(biāo)，通過分類法對區(qū)域和目標(biāo)進(jìn)行分類，分類法包括區(qū)域分類法和目標(biāo)分類法。本發(fā)明實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的檢測、跟蹤和分類，解決了圖像抖動(dòng)、亮度變化、陰影、樹葉擺動(dòng)等問題。
文檔編號G06K9/00GK101739551SQ20091007743
公開日2010年6月16日 申請日期2009年2月11日 優(yōu)先權(quán)日2009年2月11日
發(fā)明者曾建平, 王正, 楊學(xué)超, 袁雪庚, 菅云峰 申請人:北京智安邦科技有限公司