專利名稱：基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種目標(biāo)檢測(cè)與跟蹤方法，尤其涉及一種交通監(jiān)控系統(tǒng)中的實(shí)時(shí)多目 標(biāo)檢測(cè)與跟蹤方法。
背景技術(shù)：
多目標(biāo)運(yùn)動(dòng)物體的檢測(cè)與跟蹤是計(jì)算機(jī)視覺領(lǐng)域一個(gè)非常重要且很具有挑戰(zhàn)性 的問題，有著廣泛的應(yīng)用。在智能交通監(jiān)控系統(tǒng)中，就需要實(shí)時(shí)識(shí)別并跟蹤出現(xiàn)的車輛和行 人。和其它的一些傳感器相比，攝像機(jī)不但價(jià)格便宜，而且安裝方便，所以大多數(shù)的道路上 都安裝有攝像頭，攝像頭拍攝的錄像可以用來統(tǒng)計(jì)車流量、跟蹤車輛行人等等。近十幾年來廣大研究者們提出了很多監(jiān)控錄像中車輛行人的檢測(cè)與跟蹤算法，也 出現(xiàn)了一些這方面的商業(yè)軟件。其中大多數(shù)的算法都是基于減背景法。減背景法首先通過 一段視頻序列估計(jì)出一個(gè)靜態(tài)的背景，然后通過計(jì)算當(dāng)前圖片與背景之間的差異，來檢測(cè) 出屬于前景的物體。為了增加減背景法的穩(wěn)定性，又有研究者提出了高斯混合背景，特征背 景(Eigenbackground)等等。減背景法具有簡(jiǎn)單快速的優(yōu)點(diǎn)，但是卻會(huì)受到遮擋、陰影、光照變化或者相機(jī)抖動(dòng) 等的影響。實(shí)際中，跟蹤目標(biāo)可能會(huì)被遮擋，單純通過減背景得到的結(jié)果難以正確地分割出 所跟蹤的目標(biāo)物體。另一方面，減背景法很難處理光照突然變化以及運(yùn)動(dòng)目標(biāo)停下來的情 況，比如在路口停下來的車輛會(huì)隨著背景的更新最終成為背景的一部分。另外一種方法是 基于特征點(diǎn)的￡艮蹤與聚類，如 ZuWhan Kim. Real time object tracking based on dynamic feature grouping withbackground subtraction. In Proc. IEEE Conf. on Computer Vision and PatternRecognition (CVPR)，2008。這種方法首先提取并跟蹤角點(diǎn)(corner point)，然后根據(jù)角點(diǎn)的位置、運(yùn)動(dòng)軌跡聚類，聚好的類用來代表目標(biāo)物體。由于單個(gè)角點(diǎn) 的跟蹤很不穩(wěn)定，上文又提出了動(dòng)態(tài)聚類的方法首先將角點(diǎn)聚成比較小的類，然后在這個(gè) 基礎(chǔ)上再次聚類。相比減背景法，角點(diǎn)聚類的方法能更好的處理目標(biāo)物體遮擋的情況，然而 由于實(shí)際目標(biāo)的大小不同，聚類很難達(dá)到穩(wěn)定的效果，例如，車輛和行人的大小差很多，如 果車輛和行人在一個(gè)地方同時(shí)出現(xiàn)，聚類的結(jié)果很可能會(huì)和實(shí)際的目標(biāo)物體有偏差。還有一些方法采用基于物體的外表匹配(如粒子濾波)，并結(jié)合一些檢測(cè)方法，例 如 Michael D. Breitenstein,Fabian Reichlin,Bastian Leibe,EstherKoller-Meier and Luc Van Gool Robust Tracking-by-Detection using a DetectorConfidence Particle Filter. IEEE International Conference on Computer Vision(ICCV' 09)，雖然可以達(dá)到 比較好的跟蹤效果，但計(jì)算相對(duì)復(fù)雜，在物體比較多的時(shí)候難以達(dá)到實(shí)時(shí)。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有錄像監(jiān)控中的多目標(biāo)檢測(cè)與跟蹤方法的不足，提供一 種基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法。本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的一種基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法，包括如下步驟1、離線預(yù)處理階段，將目標(biāo)物體劃分成若干區(qū)域，在訓(xùn)練樣例中提取每個(gè)區(qū)域的 特征來訓(xùn)練一個(gè)分類器，并計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置偏移的平均 值和標(biāo)準(zhǔn)差；2、提取當(dāng)前圖片幀中的角點(diǎn)，通過離線訓(xùn)練好的分類器確定角點(diǎn)所屬的區(qū)域，計(jì) 算出對(duì)應(yīng)的目標(biāo)中心位置，即目標(biāo)中心點(diǎn)；3、根據(jù)目標(biāo)中心點(diǎn)的分布情況，快速檢測(cè)出目標(biāo)物體；4、確定角點(diǎn)和目標(biāo)物體之間的對(duì)應(yīng)關(guān)系，在跟蹤角點(diǎn)的基礎(chǔ)上跟蹤物體。進(jìn)一步地，所述的離線預(yù)處理階段，將目標(biāo)物體劃分成若干區(qū)域，在訓(xùn)練樣例中提 取每個(gè)區(qū)域的特征來訓(xùn)練一個(gè)分類器，并計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位 置偏移的平均值和標(biāo)準(zhǔn)差，具體包含以下步驟1)以角點(diǎn)相對(duì)集中的地方為中心，周圍一個(gè)鄰域塊看作是目標(biāo)物體的一個(gè)局部， 把物體分為若干塊，塊與塊之間可以互相重疊，目標(biāo)物體可以不必被這些塊完全覆蓋；2)使用多顆隨機(jī)樹作為分類器，并手工標(biāo)記訓(xùn)練樣例中目標(biāo)物體的各個(gè)區(qū)域塊， 計(jì)算每個(gè)塊的梯度，把梯度塊縮放到一固定大小然后作為特征去訓(xùn)練分類器；3)計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置偏移的平均值和標(biāo)準(zhǔn)差
^其中d;表示目標(biāo)中心到第i個(gè)部分的，是第n個(gè)訓(xùn)練樣
例的屯值，N為訓(xùn)練數(shù)據(jù)的總數(shù)。這里的屯和(^都是一個(gè)2維向量，包含x和y方向。所述的提取當(dāng)前圖片幀中的角點(diǎn)，通過離線訓(xùn)練好的分類器確定角點(diǎn)所屬的區(qū) 域，計(jì)算出對(duì)應(yīng)的目標(biāo)中心位置，即目標(biāo)中心點(diǎn)，具體包含以下步驟1)選取圖片中的角點(diǎn)，提取其周圍的梯度塊并使用隨機(jī)樹分類，得到角點(diǎn)屬于物 體各個(gè)區(qū)域的概率分布；2)選取其中大于\ (A為固定閾值)的項(xiàng)，求出對(duì)應(yīng)的目標(biāo)中心點(diǎn)，用c表示中心 點(diǎn)，f表示角點(diǎn)，pf為f對(duì)應(yīng)的概率分布(其中c和f為2維的向量，包含x和y方向)，則 有cfi = f+dj, if pf(i) > 入下標(biāo)fi表示中心點(diǎn)對(duì)應(yīng)f的第i項(xiàng)，pf (i)為pf的第i項(xiàng)值。同時(shí)定義cfi的概 率 p(Cfi) =pf(i)，以及類型 type(Cfi) =i。所述的根據(jù)目標(biāo)中心點(diǎn)的分布情況，快速檢測(cè)出目標(biāo)物體，具體包含以下步驟1)用1表示一個(gè)大小為30_父30_的窗口(omax = max{| o J,，| oT|}),
按從左到右，從上到下的順序遍歷圖片中所有的w，直到找到一個(gè)w滿足下面的公式 式中的a和0都是固定的參數(shù)。第一個(gè)條件是指W中所有中心點(diǎn)的概率之和要 大于a ；第二個(gè)條件中，{type(C)，C G ff}表示W(wǎng)中所有中心點(diǎn)的類型的集合，其元素個(gè)數(shù) 要大于0 XT，也就是說W至少要包含0 XT個(gè)不同類型的中心點(diǎn)。2)以第一步找到的窗口為起始位置，用mean-shift方法找到局部最大的窗口，所謂局部最大是指這個(gè)窗口包含的中心點(diǎn)概率之和在一個(gè)鄰域內(nèi)是最大的。這個(gè)局部最大的 窗口就作為檢測(cè)到的目標(biāo)物體的位置。3)標(biāo)記找到的窗口，以免重復(fù)檢測(cè)，然后從上次的位置開始繼續(xù)遍歷。所述的確定角點(diǎn)和目標(biāo)物體之間的對(duì)應(yīng)關(guān)系，在跟蹤角點(diǎn)的基礎(chǔ)上跟蹤物體，具 體包含以下步驟1)角點(diǎn)所屬的物體是其概率最大的中心點(diǎn)所屬的物體，用o表示一個(gè)物體，W。表 示物體中心的窗口，則有 2)通過KLT來跟蹤角點(diǎn)，計(jì)算出每個(gè)角點(diǎn)的位移offsetf，并通過下面的式子計(jì)算 目標(biāo)物體的位移 其中
是特征點(diǎn)被連續(xù)跟蹤的幀
數(shù)，跟蹤時(shí)間越長(zhǎng)的特征點(diǎn)具有越大的權(quán)重，同時(shí)為了避免一個(gè)點(diǎn)的權(quán)重變得過大，做了一 個(gè)截?cái)啵?的最大值為0. 25。本發(fā)明的有益效果是一、不需要靜態(tài)的背景圖像，可以通過特征點(diǎn)的分類結(jié)果去掉背景上的點(diǎn)，因而不 易受環(huán)境光照變化、相機(jī)抖動(dòng)等因素的影響；二、具有高效穩(wěn)定的目標(biāo)檢測(cè)算法。檢測(cè)算法類似但又不同于經(jīng)典的目標(biāo)檢測(cè)算 法ISM(Implicit Shape Model)，具有更快的速度，適合于本文的應(yīng)用；三、采用基于局部分塊的目標(biāo)跟蹤策略，能夠魯棒地處理局部遮擋；四、使用了一個(gè)快速的分類器以及快速的特征提取方法，能夠達(dá)到實(shí)時(shí)的速度要 求。


圖1是本發(fā)明的基本流程圖；圖2是本發(fā)明使用的隨機(jī)樹的基本結(jié)構(gòu)；圖3是本發(fā)明中的物體分塊模型；圖4是本發(fā)明中的物體檢測(cè)方法；圖5是本發(fā)明在不同情況下的運(yùn)行時(shí)間；圖6是本發(fā)明實(shí)施例中的2個(gè)序列(a)自行車序列和(b)汽車序列，圖中綠色點(diǎn) 為角點(diǎn)，紅色點(diǎn)為中心點(diǎn)，紅色方框代表檢測(cè)到的目標(biāo)。每個(gè)序列中，第一行圖片為原始序 列的檢測(cè)跟蹤結(jié)果，第二行圖片為第一行中藍(lán)色虛框部分的放大。圖7是本發(fā)明實(shí)施例中的另外3個(gè)序列。綠色點(diǎn)為角點(diǎn)，紅色點(diǎn)為中心點(diǎn)，每個(gè)序 列中不同顏色的方框代表不同類型的目標(biāo)。其中(b)為運(yùn)動(dòng)攝像機(jī)拍攝的序列，在(c)序 列中恢復(fù)了路平面的三維信息，并計(jì)算出運(yùn)動(dòng)速度。
具體實(shí)施例方式本發(fā)明提供了一種穩(wěn)定高效的基于特征點(diǎn)分類的錄像監(jiān)控中實(shí)時(shí)多目標(biāo)檢測(cè)與 跟蹤方法，圖1顯示本發(fā)明的基本流程圖，主要包括如下步驟—、離線預(yù)處理階段，將目標(biāo)物體劃分成若干區(qū)域，在訓(xùn)練樣例中提取每個(gè)區(qū)域的 特征來訓(xùn)練一個(gè)分類器，并計(jì)算出每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置的偏移。具體包含以下步驟1)以角點(diǎn)相對(duì)集中的地方為中心，周圍一個(gè)鄰域塊看作是目標(biāo)物體的一個(gè)局部， 把物體分為若干塊，塊與塊之間可以互相重疊，目標(biāo)物體可以不必被這些塊完全覆蓋。以角 點(diǎn)集中的地方為中心選取塊，使得在線跟蹤的時(shí)候它們有更大的幾率被檢測(cè)到，因?yàn)樵诰€ 跟蹤時(shí)是在角點(diǎn)周圍提取特征并分類的。塊的大小視具體情況而定，一般來說，一個(gè)目標(biāo)物 體通常被分為6-9個(gè)部分，例如在圖3中，我們把自行車分成8個(gè)部分。2)把物體的每個(gè)局部看作一個(gè)類型，提取訓(xùn)練樣例中每個(gè)局部的特征訓(xùn)練一個(gè)
分類器° 本發(fā)明米用 Vincent Lepetit and Pascal Fua. Keypoint Recognitionusing Randomized Tree. IEEE Transactions on Pattern Analysis and MachineIntelligence
Volume 28，Issue9 (September 2006)中的方法創(chuàng)建多顆隨機(jī)樹作為分類器。圖2顯示了 一顆隨機(jī)樹的基本結(jié)構(gòu)，樹的一顆內(nèi)部節(jié)點(diǎn)包含一個(gè)簡(jiǎn)單的測(cè)試用來分割數(shù)據(jù)空間，而樹 的葉子節(jié)點(diǎn)則包含這個(gè)節(jié)點(diǎn)上的數(shù)據(jù)在所有類上的概率分布，這個(gè)概率分布由落在這個(gè)節(jié) 點(diǎn)上的訓(xùn)練數(shù)據(jù)所得。當(dāng)需要分類一個(gè)數(shù)據(jù)的時(shí)候，我們從根結(jié)點(diǎn)開始，做相應(yīng)的測(cè)試，根 據(jù)測(cè)試的結(jié)果，這個(gè)數(shù)據(jù)被分到左子節(jié)點(diǎn)或者右子節(jié)點(diǎn)，最后落在葉子節(jié)點(diǎn)上。根據(jù)葉子節(jié) 點(diǎn)上的概率分布，我們可以確定這個(gè)數(shù)據(jù)所屬的分類。 一顆隨機(jī)樹往往很難達(dá)到精確的分類結(jié)果，本發(fā)明構(gòu)建多顆隨機(jī)樹來劃分?jǐn)?shù)據(jù)空 間，通過把所有隨機(jī)樹的結(jié)果相加取平均，可以得到更穩(wěn)定的結(jié)果。更確切的說，葉子節(jié)點(diǎn) 上所存的概率分布可以表示為Pna,d)(Y(d) = c)(其中c是類標(biāo)簽，d是需要分辨的數(shù)據(jù)， n (l，d)表示數(shù)據(jù)d在第1棵樹上所到達(dá)的葉子節(jié)點(diǎn))，這個(gè)概率的值等于在這個(gè)葉子節(jié)點(diǎn)
中，落在類C上的訓(xùn)練數(shù)據(jù)個(gè)數(shù)除以總的數(shù)據(jù)個(gè)數(shù)，
為了防止葉子節(jié)點(diǎn)上沒有
訓(xùn)練數(shù)據(jù)而出現(xiàn)除零的情況，以上式子可以改為
C最后，我們用以下公式來 在本文中，數(shù)據(jù)是一個(gè)大小為32X32的圖像塊。隨機(jī)樹內(nèi)部節(jié)點(diǎn)的測(cè)試條件只是 簡(jiǎn)單的比較一下兩個(gè)像素叫和叫的值，根據(jù)結(jié)果的不同而選擇左邊或者右邊。用I(d，m) 表示塊d中像素m的值，測(cè)試條件可以表示如下 像素ml和m2的選取有兩種方法一種是經(jīng)典的從上至下，在每個(gè)內(nèi)部節(jié)點(diǎn)，遍歷 ml、m2所有可能的值，選取使訓(xùn)練數(shù)據(jù)期望熵降低最快的值；另一種是完全隨機(jī)的方法，ml
表示數(shù)據(jù)d的分類概率，其中L為隨機(jī)樹的棵數(shù)
和m2的值是完全隨機(jī)選取。本文中選取第二種方法來生成ml、m2的值，因?yàn)檫@種方法要簡(jiǎn) 單快速的多，而且實(shí)驗(yàn)結(jié)果顯示在具有多棵隨機(jī)樹的時(shí)候，分類效果和第一種方法差不多。 本發(fā)明使用了 10棵隨機(jī)樹，每棵樹的最大深度為12。訓(xùn)練流程如下首先手工標(biāo)記訓(xùn)練樣例中目標(biāo)物體的各個(gè)區(qū)域塊，并計(jì)算每個(gè)塊 的梯度，然后把梯度塊縮放到32X32的大小作為特征去訓(xùn)練分類器。這里本發(fā)明使用梯 度作為特征來訓(xùn)練隨機(jī)樹，主要是因?yàn)?、同一類物體的不同實(shí)例，顏色往往會(huì)不一樣， 但是卻有相似的輪廓，所以用梯度會(huì)比用顏色可靠。2、相比于其它的一些特征，如Shape ConteXt、SIFT等，梯度的計(jì)算很容易，更適合于實(shí)時(shí)的計(jì)算要求。并且Shape Context,SIFT 等特征也是基于梯度求得，雖然比較穩(wěn)定，但是畢竟丟失了一些信息。3、使用隨機(jī)樹，使得 對(duì)高維數(shù)據(jù)的操作變的很容易，雖然這里的數(shù)據(jù)有1024(32X32)維，但是使用隨機(jī)樹只需 要幾次簡(jiǎn)單的比較便可得到分類結(jié)果。3)計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置偏移的平均值和標(biāo)準(zhǔn)差
例的Cli值，N為訓(xùn)練數(shù)據(jù)的總數(shù)。這里的屯和(^都是一個(gè)2維向量，包含χ和y方向。二、提取當(dāng)前圖片幀中的角點(diǎn)，通過離線訓(xùn)練好的分類器確定角點(diǎn)所屬的區(qū)域，計(jì) 算出對(duì)應(yīng)的目標(biāo)中心位置，即目標(biāo)中心點(diǎn)。具體包含以下步驟1)根據(jù) Jianbo Shi and Carlo Tomasi. Good Feature to Track. In Proc. IEEEConf. on Computer Vision and Pattern Recognition (CVPR)，1994 中的方法提取圖片 中的角點(diǎn)，然后提取角點(diǎn)周圍的梯度塊并使用隨機(jī)樹分類，得到角點(diǎn)屬于物體各個(gè)區(qū)域的 概率分布；2)選取其中大于λ (λ為固定閾值，一般取值為0.3-0. 5)的項(xiàng)，求出對(duì)應(yīng)的目標(biāo) 中心點(diǎn)，用c表示中心點(diǎn)，f表示角點(diǎn)，Pf為f對(duì)應(yīng)的概率分布(其中c和f為2維的向量， 包含χ和y方向)，則有cfi = f+dj, if pf (i) > λ下標(biāo)fi表示中心點(diǎn)對(duì)應(yīng)f的第i項(xiàng)，pf (i)為pf的第i項(xiàng)值。同時(shí)定義Cfi的概 率 ρ (Cfi) = Pf ⑴，以及類型 type (Cfi) = i。三、根據(jù)目標(biāo)中心點(diǎn)的分布情況，快速檢測(cè)出目標(biāo)物體。具體如下不同的物體實(shí)例因?yàn)樵诖笮?、視角等因素上的差異，使得?jì)算得到的中 心點(diǎn)不會(huì)全部集中在一個(gè)像素上，本發(fā)明提出用一個(gè)窗口來容忍這種差異，根據(jù)窗口中的 中心點(diǎn)分布來判斷此處是否存在目標(biāo)物體，如圖4所示。窗口的大小為3 Omax，其中Omax = max{ oj, ... , στ|}0用W表示一個(gè)大小為3 σ maxX 3 σ max的窗口，當(dāng)且僅當(dāng)滿足下面的 條件時(shí)，我們把W作為一個(gè)檢測(cè)到的目標(biāo)物體 式中的α和β都是固定的參數(shù)。式中的第一個(gè)條件是指W中所有中心點(diǎn)的概率 之和要大于α ；第二個(gè)條件中，{type(C)，C e ff}表示W(wǎng)中所有中心點(diǎn)的類型的集合，其元素個(gè)數(shù)要大于β χτ，也就是說W至少要包含β XT個(gè)不同類型的中心點(diǎn)。α反應(yīng)了對(duì)概 率響應(yīng)的強(qiáng)度要求，一般取值為2.0至3.0 則體現(xiàn)了對(duì)跟蹤目標(biāo)遮擋程度的要求，β越 小，對(duì)跟蹤目標(biāo)完整性要求越低，但相對(duì)的錯(cuò)誤檢測(cè)率也會(huì)變大。從兩個(gè)方面來約束目標(biāo)檢 測(cè)的條件，具有很高的穩(wěn)定性，一些錯(cuò)誤計(jì)算的中心點(diǎn)并不會(huì)影響檢測(cè)結(jié)果。接下來本發(fā)明按下面的步驟來檢測(cè)跟蹤目標(biāo)(1)按從左到右，從上到下的順序遍歷圖片中所有的W，直到找到一個(gè)W滿足公式 上面的公式1。(2)以第一步找到的窗口為起始位置，用mean-shift方法找到局部最大的窗口， 所謂局部最大是指這個(gè)窗口包含的中心點(diǎn)概率之和在一個(gè)鄰域內(nèi)是最大的。這個(gè)局部最大 的窗口就作為檢測(cè)到的目標(biāo)物體的位置。(3)標(biāo)記找到的窗口，以免重復(fù)檢測(cè)，然后從上次的位置開始繼續(xù)遍歷。因?yàn)榘凑諒淖蟮接?，從下到上的順序找到的滿足式(5)的窗口未必是局部最大的 窗口，所以在步驟(2)中我們用mean-shift來進(jìn)一步優(yōu)化。這里的mean-shift是在中心 點(diǎn)概率圖上進(jìn)行的，所謂中心點(diǎn)概率圖，是指它的像素灰度值等于落在該像素上的中心點(diǎn) 的概率之和。在步驟(1)中找到的窗口離局部最大的窗口十分接近，所以mean-shift只需 要經(jīng)過1、2次迭代就可以聚合。我們利用積分直方圖(integral histogram)在0(1)的時(shí)
間內(nèi)完成的計(jì)算，所以對(duì)一張mXn的圖片，檢測(cè)算法的時(shí)間復(fù)雜度是O(mXn)。
cefV四、確定角點(diǎn)和目標(biāo)物體之間的對(duì)應(yīng)關(guān)系，在跟蹤角點(diǎn)的基礎(chǔ)上跟蹤物體。具體包含以下步驟1)角點(diǎn)所屬的物體是其概率最大的中心點(diǎn)所屬的物體，用ο表示一個(gè)物體，W0表 示物體中心的窗口，則有f 2)通過KLT來跟蹤角點(diǎn)，計(jì)算出每個(gè)角點(diǎn)的位移Offsetf,并通過下面的式子計(jì)算 目標(biāo)物體的位移 其中
是特征點(diǎn)被連續(xù)跟蹤的幀
數(shù)，跟蹤時(shí)間越長(zhǎng)的特征點(diǎn)具有越大的權(quán)重，同時(shí)為了避免一個(gè)點(diǎn)的權(quán)重變得過大，做了一 個(gè)截?cái)啵琖f的最大值為0. 25。在跟蹤的過程中，一個(gè)目標(biāo)物體所包含的特征點(diǎn)是動(dòng)態(tài)更新 的，舊的角點(diǎn)在跟蹤的時(shí)候可能會(huì)丟失，同時(shí)也會(huì)有新的角點(diǎn)加入?？梢钥吹剑我鈨蓭?間，只要這個(gè)目標(biāo)物體有一個(gè)特征點(diǎn)能跟的上，整個(gè)目標(biāo)就能跟蹤成功，這使得本發(fā)明對(duì)于 部分遮擋具有很強(qiáng)的魯棒性，我們沒有使用任何顏色信息，僅僅是依靠一些特征角點(diǎn)，這使 得本發(fā)明具有很快的速度，能夠應(yīng)用于實(shí)時(shí)的多目標(biāo)跟蹤。下面根據(jù)實(shí)施例詳細(xì)描述本發(fā)明，本發(fā)明的目的和效果將變得更加明顯。實(shí)施例1
一種的基于特征點(diǎn)分類的錄像監(jiān)控中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法的應(yīng)用實(shí)例如 圖6和圖7所示。在圖6的序列(a)中檢測(cè)并跟蹤自行車，在圖6的序列(b)中檢測(cè)并跟 蹤汽車，結(jié)果表明不僅能在互相遮擋以及擁擠的地方準(zhǔn)確地識(shí)別出目標(biāo)，而且能穩(wěn)定地對(duì) 其進(jìn)行跟蹤。圖7的三個(gè)序列中，本發(fā)明有效地識(shí)別出了各種目標(biāo)，并能準(zhǔn)確地進(jìn)行跟蹤， 其中序列(b)是一個(gè)移動(dòng)攝像機(jī)拍攝的視頻。另外，在序列(c)中，恢復(fù)了地平面的三維 信息，從而還可以實(shí)時(shí)地計(jì)算出跟蹤目標(biāo)的運(yùn)動(dòng)速率。性能方面，表1列出了各個(gè)測(cè)試序 列的運(yùn)行時(shí)間(只用單線程)，最慢的序列也達(dá)到了 26. 48幀每秒，完全符合實(shí)時(shí)的速度要 求。圖5顯示了本發(fā)明在不同圖片大小以及不同目標(biāo)種類個(gè)數(shù)下的運(yùn)行速度?？梢钥闯?， 本發(fā)明在實(shí)際的交通監(jiān)控應(yīng)用中具有很好的效果，不僅能穩(wěn)定并且高效的檢測(cè)及跟蹤各種 目標(biāo)，而且完全符合實(shí)時(shí)的速度要求。
表1測(cè)試序列的運(yùn)行速度
權(quán)利要求
一種基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法，其特征在于，包括如下步驟(1)離線預(yù)處理階段，將目標(biāo)物體劃分成若干區(qū)域，在訓(xùn)練樣例中提取每個(gè)區(qū)域的特征來訓(xùn)練一個(gè)分類器，并計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置偏移的平均值和標(biāo)準(zhǔn)差。(2)提取當(dāng)前圖片幀中的角點(diǎn)，通過離線訓(xùn)練好的分類器確定角點(diǎn)所屬的區(qū)域，計(jì)算出對(duì)應(yīng)的目標(biāo)中心位置，即目標(biāo)中心點(diǎn)。(3)根據(jù)目標(biāo)中心點(diǎn)的分布情況，快速檢測(cè)出目標(biāo)物體。(4)確定角點(diǎn)和目標(biāo)物體之間的對(duì)應(yīng)關(guān)系，在跟蹤角點(diǎn)的基礎(chǔ)上跟蹤物體。
2.根據(jù)權(quán)利要求1中所述的基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方 法，其特征在于，所述步驟(1)具體為(A)以角點(diǎn)相對(duì)集中的地方為中心，周圍一個(gè)鄰域塊看作是目標(biāo)物體的一個(gè)局部，把物 體分為若干塊，塊與塊之間可以互相重疊，目標(biāo)物體可以不必被這些塊完全覆蓋。(B)使用多顆隨機(jī)樹作為分類器，并手工標(biāo)記訓(xùn)練樣例中目標(biāo)物體的各個(gè)區(qū)域塊，計(jì)算 每個(gè)塊的梯度，把梯度塊縮放到一固定大小然后作為特征去訓(xùn)練分類器；(C)計(jì)算所有訓(xùn)練樣例中每個(gè)區(qū)域相對(duì)于目標(biāo)中心位置偏移的平均值和標(biāo)準(zhǔn)差Σ < I Σ (<-d,)2其中Cli表示目標(biāo)中心到第i個(gè)部分的，是第n個(gè)訓(xùn)練樣例的Cli值，N為訓(xùn)練數(shù)據(jù)的 總數(shù)。這里的屯和(^都是一個(gè)2維向量，包含χ和y方向。
3.根據(jù)權(quán)利要求1中所述的基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方 法，其特征在于，所述步驟(2)具體為(A)選取圖片中的角點(diǎn)，提取其周圍的梯度塊并使用隨機(jī)樹分類，得到角點(diǎn)屬于物體各 個(gè)區(qū)域的概率分布；(B)選取其中大于λ(λ為固定閾值)的項(xiàng)，求出對(duì)應(yīng)的目標(biāo)中心點(diǎn)，用c表示中心點(diǎn)， f表示角點(diǎn)，Pf為f對(duì)應(yīng)的概率分布(其中C和f為2維的向量，包含X和y方向)，則有 下標(biāo)fi表示中心點(diǎn)對(duì)應(yīng)f的第i項(xiàng)，Pf (i)為Pf的第i項(xiàng)值。同時(shí)定義Cfi的概率 p(Cfi) = Pf ⑴，以及類型 type (Cfi) = i。
4.根據(jù)權(quán)利要求1中所述的基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方 法，其特征在于，所述步驟(3)具體為(a)用1表示一個(gè)大小為30_父30_的窗口(omax= max{| O1I,... , I στ|})，按從 左到右，從上到下的順序遍歷圖片中所有的W，直到找到一個(gè)W滿足下面的公式 式中的α和β都是固定的參數(shù)。第一個(gè)條件是指W中所有中心點(diǎn)的概率之和要大于 α ；第二個(gè)條件中，{type(C)，c e ff}表示W(wǎng)中所有中心點(diǎn)的類型的集合，其元素個(gè)數(shù)要大 于β XT，也就是說W至少要包含β XT個(gè)不同類型的中心點(diǎn)。(b)以第一步找到的窗口為起始位置，用mean-shift方法找到局部最大的窗口，所謂局部最大是指這個(gè)窗口包含的中心點(diǎn)概率之和在一個(gè)鄰域內(nèi)是最大的。這個(gè)局部最大的窗 口就作為檢測(cè)到的目標(biāo)物體的位置。(C)標(biāo)記找到的窗口，以免重復(fù)檢測(cè)，然后從上次的位置開始繼續(xù)遍歷。
5.根據(jù)權(quán)利要求1中所述基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法， 其特征在于，所述步驟(4)具體為(a)角點(diǎn)所屬的物體是其概率最大的中心點(diǎn)所屬的物體，用0表示一個(gè)物體，W。表示物 體中心的窗口，則有 (b)通過KLT來跟蹤角點(diǎn)，計(jì)算出每個(gè)角點(diǎn)的位移Offsetf,并通過下面的式子計(jì)算目 標(biāo)物體的位移 其中5加咖血卯 '°-25} ’ trackedcount,是特征點(diǎn)被連續(xù)跟蹤的幀數(shù)， 跟蹤時(shí)間越長(zhǎng)的特征點(diǎn)具有越大的權(quán)重，同時(shí)為了避免一個(gè)點(diǎn)的權(quán)重變得過大，做了一個(gè) 截?cái)?，Wf的最大值為0. 25。
全文摘要
本發(fā)明公開了一種基于特征點(diǎn)分類的監(jiān)控錄像中實(shí)時(shí)多目標(biāo)檢測(cè)與跟蹤方法，該方法主要包含兩部分離線預(yù)處理階段，先根據(jù)特征點(diǎn)在目標(biāo)物體上的分布情況，把目標(biāo)物體分為若干部分，提取每個(gè)部分的特征來訓(xùn)練一個(gè)分類器；在線時(shí)，在求得的特征點(diǎn)周圍提取特征，通過訓(xùn)練好的分類器來確定特征點(diǎn)對(duì)應(yīng)的物體部分，并計(jì)算出對(duì)應(yīng)的目標(biāo)中心點(diǎn)，根據(jù)中心點(diǎn)的分布情況來檢測(cè)目標(biāo)，最后在跟蹤特征點(diǎn)的基礎(chǔ)上進(jìn)行目標(biāo)物體的跟蹤。該方法不需要估計(jì)靜態(tài)的背景，因此對(duì)光照變化和相機(jī)的抖動(dòng)也具有很好的魯棒性，并且本方法使用了快速穩(wěn)定的隨機(jī)樹作為分類器，特征點(diǎn)周圍的梯度作為分類數(shù)據(jù)，具有很好的檢測(cè)跟蹤效果，而且能夠滿足實(shí)時(shí)性要求。
文檔編號(hào)H04N7/18GK101901354SQ20101022454
公開日2010年12月1日 申請(qǐng)日期2010年7月9日 優(yōu)先權(quán)日2010年7月9日
發(fā)明者全曉沙, 華煒, 章國(guó)鋒, 鮑虎軍 申請(qǐng)人:浙江大學(xué)