基于信度組合地圖模型的視覺目標(biāo)跟蹤方法
【專利摘要】本發(fā)明涉及計(jì)算機(jī)視頻處理技術(shù)，具體是一種基于信度組合地圖模型的視覺目標(biāo)跟蹤方法。該包括以下步驟：1）建立訓(xùn)練數(shù)據(jù)庫(kù)；2）提取訓(xùn)練數(shù)據(jù)庫(kù)的特征，訓(xùn)練二維析取單元分類器和二維析取分類器；3）建立首幀目標(biāo)物體的信度組合地圖；4）提取當(dāng)前幀背景框的特征；5）得到信度圖；6）定位目標(biāo)，得到若干個(gè)候選窗口；7）將候選窗口的信度組合地圖與前幀保存的信度組合地圖進(jìn)行匹配，得到最佳的目標(biāo)位置信息；8）從組合地圖匹配中得到更新樣本，每五幀更新分類器，信度圖模型，以及跟蹤器狀態(tài)等；9）重復(fù)步驟4）至步驟8）直到視頻結(jié)束。本發(fā)明能夠在計(jì)算機(jī)視覺目標(biāo)跟蹤過程中有效抑制目標(biāo)漂移問題，提高跟蹤器的穩(wěn)定性。
【專利說明】基于信度組合地圖模型的視覺目標(biāo)跟蹤方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視頻處理技術(shù)，具體是一種基于信度組合地圖模型的視覺目標(biāo) 跟蹤方法。

【背景技術(shù)】
[0002] 視覺跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中最具產(chǎn)業(yè)化的部分，并大量應(yīng)用于工業(yè)（例 如，在自動(dòng)化生產(chǎn)線上對(duì)物料進(jìn)行校準(zhǔn)和定位）、軍事（如雷達(dá)領(lǐng)域需要估計(jì)目標(biāo)的位置、 速度等運(yùn)動(dòng)參數(shù)）、民用（如交通系統(tǒng)中視覺跟蹤可以用來控制交通流量）等各產(chǎn)業(yè)中。具 體應(yīng)用包括視頻安全監(jiān)控、智能機(jī)器人、行為分析、人機(jī)交互等。
[0003] 視覺跟蹤是指在視頻中跟蹤一些感興趣的點(diǎn)或物體，獲得目標(biāo)的位置以及運(yùn)動(dòng)軌 跡，可以為后續(xù)處理（如目標(biāo)行為分析，目標(biāo)識(shí)別，圖像檢索等）建立基礎(chǔ)。一般地，當(dāng)給定 一段視頻時(shí)，在首幀用標(biāo)定區(qū)域指定某一物體作為目標(biāo)，視覺跟蹤則是定位目標(biāo)在之后所 有幀中的位置。
[0004] 一般應(yīng)對(duì)視覺跟蹤問題的解決思路可以是建立目標(biāo)的運(yùn)動(dòng)模型定位目標(biāo)，如光流 法、卡爾曼濾波器、粒子濾波器等，也可以是基于學(xué)習(xí)算法得到分類器，利用目標(biāo)定位算法 得到目標(biāo)位置。學(xué)習(xí)算法中的初始正訓(xùn)練集是第一幀中給定目標(biāo)物體特征的樣本集組成， 初始負(fù)訓(xùn)練集是由第一幀背景特征的樣本集組成。用已經(jīng)訓(xùn)練好的分類器分類下一幀的特 征樣本，目標(biāo)物體在下一幀的位置則一般是由優(yōu)化算法得到。近年來基于學(xué)習(xí)法的跟蹤算 法倍受矚目源于它的性能和實(shí)時(shí)可行性。
[0005] 基于學(xué)習(xí)算法的跟蹤器的基本思想是將跟蹤問題看作是二值分類問題，視頻內(nèi)對(duì) 目標(biāo)的跟蹤相當(dāng)于在每一幀對(duì)目標(biāo)物體的檢測(cè)。根據(jù)學(xué)習(xí)策略的不同，跟蹤算法中使用的 學(xué)習(xí)算法可被分成在線學(xué)習(xí)和離線學(xué)習(xí)兩類。在線學(xué)習(xí)算法一次只處理一個(gè)樣本，而離線 學(xué)習(xí)算法需要整個(gè)訓(xùn)練集。由于離線學(xué)習(xí)算法對(duì)目標(biāo)物體外觀變化有相對(duì)局限的適應(yīng)能 力，易產(chǎn)生漂移現(xiàn)象，本發(fā)明主要針對(duì)基于在線學(xué)習(xí)算法的跟蹤器。
[0006] 許多研宄人員提出了基于在線學(xué)習(xí)的跟蹤算法并且取得了相對(duì)不錯(cuò)的結(jié)果。一 些跟蹤器的實(shí)現(xiàn)是基于子空間表示的增量學(xué)習(xí)算法，還有一些是基于分類器。例如，Shai Avidan提出了整體跟蹤，也就是將若干個(gè)弱分類器結(jié)合成一個(gè)強(qiáng)分類器，通過強(qiáng)分類器區(qū) 分背景和目標(biāo)；Danielsson等利用兩種衍生的弱分類器抑制輸出與目標(biāo)物體相對(duì)無關(guān)的 弱分類器的組合。B. Babenko引用boosting算法提出了多示例學(xué)習(xí)為了避免漂移問題。 Jakob Santner描述了一個(gè)結(jié)合模板匹配、在線隨機(jī)森林和光流法的跟蹤器。為了更準(zhǔn)確的 定位目標(biāo)，還有研宄人員提出了在線拉普拉斯排序支持向量機(jī)以及基于稀疏性的區(qū)分式分 類器和生成模型，其主要目的是為了解決目標(biāo)漂移問題。J. Fan等開發(fā)了一個(gè)scribble跟 蹤器，但是它需要用戶特別的涂畫目標(biāo)物體。D. Wang等提出了一個(gè)基于稀疏原型的在線跟 蹤算法，它主要是應(yīng)用稀疏表示方案的主成分分析算法來有效的訓(xùn)練目標(biāo)的外觀模型。從 以上分析可以看出，近年來跟蹤算法的研宄熱點(diǎn)及難點(diǎn)是在如何更準(zhǔn)確地利用跟蹤過程中 產(chǎn)生的新樣本更新跟蹤器適應(yīng)變化的物體外觀同時(shí)避免漂移現(xiàn)象。
[0007] 視覺跟蹤本身是一項(xiàng)十分困難的過程，很多因素影響它的性能。困難之一就是目 標(biāo)物體復(fù)雜突變的運(yùn)動(dòng)，目標(biāo)的突發(fā)運(yùn)動(dòng)可能造成跟蹤的失敗因?yàn)樗`反了一些運(yùn)動(dòng)模型 平滑約束的假設(shè)。目標(biāo)及背景的外觀變化也是影響視覺跟蹤性能的核心因素之一。如果視 覺跟蹤方法中沒有自適應(yīng)目標(biāo)外觀的模型，比如一些基于模板匹配方法的跟蹤方式，那么 在某些場(chǎng)合跟蹤器很可能發(fā)生漂移，而樣本更新時(shí)又選擇了漂移后的目標(biāo)，跟蹤器則不會(huì) 再回到原來目標(biāo)上。跟蹤問題的另一個(gè)挑戰(zhàn)是目標(biāo)的遮擋。如果目標(biāo)被遮擋，目標(biāo)的部分 信息被遮蓋而無法表示，也就是目標(biāo)是用一些不完全信息進(jìn)行表示的，這樣跟蹤器會(huì)很容 易漂移到其他物體或背景。另外，還有許多其他因素限制跟蹤器的性能，比如光照變化，攝 像機(jī)的移動(dòng)等等。目前的跟蹤算法無法保證在復(fù)雜背景下目標(biāo)遮擋及光照變化的實(shí)時(shí)跟蹤 效果，其中最大的一個(gè)瓶頸就是視覺跟蹤的漂移問題。本發(fā)明針對(duì)漂移問題圍繞樣本更新 和重置方案兩個(gè)方面展開研宄。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明所要解決技術(shù)問題是：（1)提出一種方法，使其具有適用于視覺跟蹤的在 線學(xué)習(xí)算法，從而能夠區(qū)分目標(biāo)標(biāo)定區(qū)域內(nèi)目標(biāo)樣本和背景樣本，提高分類器的分類能力； (2)提出一種方法，使其能夠建立信度組合地圖模型，開發(fā)信度組合地圖匹配算法，提出基 于信度組合地圖算法框架的有效樣本更新方案，能夠針對(duì)目標(biāo)的各種不同變化和行為自適 應(yīng)地跟蹤，從而提升后續(xù)跟蹤準(zhǔn)確率；（3)提出一種方法，使其能夠開發(fā)基于滑動(dòng)窗口和信 度組合地圖匹配的目標(biāo)定位算法，設(shè)計(jì)高效的跟蹤器重置方案，與樣本更新方案一起有效 抑制目標(biāo)漂移，提尚跟蹤器的魯棒性。
[0009] 本發(fā)明基于信度組合地圖模型的視覺目標(biāo)跟蹤方法依次包括以下步驟：
[0010] 1)根據(jù)視頻中第一幀的目標(biāo)物體標(biāo)注，建立訓(xùn)練數(shù)據(jù)庫(kù)；
[0011] 2)提取訓(xùn)練數(shù)據(jù)庫(kù)的特征（包括正特征和負(fù)特征），訓(xùn)練二維析取單元分類器和 二維析取分類器（在線學(xué)習(xí)算法）；
[0012] 3)由2)得到的析取分類器判斷首幀物體的信度值，建立首幀目標(biāo)物體的信度組 合地圖；
[0013] 4)針對(duì)下一幀，提取當(dāng)前幀背景框的特征；
[0014] 5)由析取分類器判斷背景框特征的信度，得到信度圖；
[0015] 6)采用滑動(dòng)窗口的方式定位目標(biāo)，得到若干個(gè)候選窗口；
[0016] 7)根據(jù)信度圖建立候選窗口的信度組合地圖，將候選窗口的信度組合地圖與前幀 保存的信度組合地圖進(jìn)行匹配，得到最佳的目標(biāo)位置信息；
[0017] 8)從組合地圖匹配中得到更新樣本，每五幀更新分類器，信度圖模型，以及跟蹤器 狀態(tài)等；
[0018] 9)重復(fù)步驟4)至步驟8)直到視頻結(jié)束。
[0019] 所述步驟1)中，首幀目標(biāo)物體的標(biāo)注是視頻跟蹤的輸入。
[0020] 所述步驟2)中，
[0021] 訓(xùn)練二維析取單元分類器的方法是：
[0022] 所有二維析取單元分類器中使用到的不重復(fù)一維特征數(shù)據(jù)的集合由S = W1, d2, ...，dw}表示，二維析取單元分類器的訓(xùn)練數(shù)據(jù){pf}則是由集合S中兩個(gè)不同一維 特征兩兩組合構(gòu)成的二維數(shù)據(jù)，也就是，&是S的一個(gè)子集，表示為式（I)，

【權(quán)利要求】
1. 一種基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：依次包括以下步驟： 1) 根據(jù)視頻中第一幀的目標(biāo)物體標(biāo)注，建立訓(xùn)練數(shù)據(jù)庫(kù)； 2) 提取訓(xùn)練數(shù)據(jù)庫(kù)的特征，訓(xùn)練二維析取單元分類器和二維析取分類器； 3) 由2)得到的析取分類器判斷首幀物體的信度值，建立首幀目標(biāo)物體的信度組合地 圖； 4) 針對(duì)下一幀，提取當(dāng)前幀背景框的特征； 5) 由析取分類器判斷背景框特征的信度，得到信度圖； 6) 采用滑動(dòng)窗口的方式定位目標(biāo)，得到若干個(gè)候選窗口； 7) 根據(jù)信度圖建立候選窗口的信度組合地圖，將候選窗口的信度組合地圖與前幀保存 的信度組合地圖進(jìn)行匹配，得到最佳的目標(biāo)位置信息； 8) 從組合地圖匹配中得到更新樣本，每五幀更新分類器，信度圖模型，以及跟蹤器狀態(tài) 等； 9) 重復(fù)步驟4)至步驟8)直到視頻結(jié)束。
2. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟1)中，首幀目標(biāo)物體的標(biāo)注是視頻跟蹤的輸入。
3. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟2)中， 訓(xùn)練二維析取單元分類器的方法是： 所有二維析取單元分類器中使用到的不重復(fù)一維特征數(shù)據(jù)的集合由S=W1,d2, ...，dw}表示，二維析取單元分類器的訓(xùn)練數(shù)據(jù){pf}則是由集合S中兩個(gè)不同一維 特征兩兩組合構(gòu)成的二維數(shù)據(jù)，也就是，&是S的一個(gè)子集，表示為式（1)，
第f個(gè)二維析取單元分類器的訓(xùn)練樣本由{pf，y}表示，其中N表示訓(xùn) 練樣本的總量，而y值是1或〇, \和(Iij是弱分類器比和h」中使用的一維數(shù)據(jù)；-夂張 成一個(gè)平面并被劃分為mXm個(gè)單元，由bij,I<i,j<m表示，所有單元的析取式構(gòu)成一 個(gè)二維析取單元分類器，表達(dá)為式（2)，
針對(duì)每個(gè)單元的學(xué)習(xí)算法是計(jì)算單元內(nèi)正特征和負(fù)特征的投票來決定這一單元的分 類屬性，表達(dá)為式（3)，
.I表示一個(gè)集合的勢(shì)，當(dāng)單元bij中正樣本數(shù)目大于負(fù)樣本數(shù)目時(shí)，Cb^表示單元by否則Cbu是一個(gè)空集；是所有正樣本數(shù)量大于負(fù)樣本數(shù)量的單元的并集；如果一 個(gè)新樣本（由Pfi表示）落在這個(gè)并集中任意一個(gè)單元，它則被判定為正樣本； 由于析取單元分類器的訓(xùn)練數(shù)據(jù)的構(gòu)成不唯一，析取單元分類器的種類也不唯一；將 所有兩兩不同一維特征組合而成的二維數(shù)據(jù)構(gòu)成一個(gè)二維數(shù)據(jù)集Pf，假設(shè)該集合的勢(shì)是M， 則搭建M個(gè)二維析取單元分類器。
4. 根據(jù)權(quán)利要求3所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：訓(xùn) 練二維析取分類器的方法是： 二維析取分悉器被宙^為所有二維析取里元分悉器的線神纟日合，弄伏為式（4)，
I,I-en%Dl 其中，=?l〇g,， ，Vw "·I/,化、u而K表示第i個(gè)樣本的權(quán) 2err1Df err2Df= ^wi\A2Dc/(pfl) -V； | ? 值，在訓(xùn)練過程中由式（5)更新，
5. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟4)中，當(dāng)前幀的背景框定義為以目標(biāo)物體為中心兩倍大的區(qū)域，但是當(dāng)物體丟失 時(shí)，背景框定義為整個(gè)幀的區(qū)域。
6. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟6)中，候選窗口的獲取是通過窗口的信度值大于一個(gè)設(shè)定閾值得到的。
7. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟7)中，信度組合地圖的匹配值是基于組合地圖的編輯距離計(jì)算的，編輯距離越小， 信度組合地圖越相似；目標(biāo)定位方法是由當(dāng)前幀與前幀信度組合地圖的匹配度和自適應(yīng)閾 值比較得到的，即： a. 如當(dāng)前幀沒有候選窗口超過閾值，則將背景框擴(kuò)散到整個(gè)幀重新檢測(cè)，如果跟蹤器 仍然沒有找到目標(biāo)物體，將跟蹤器狀態(tài)確定為"丟失"，否則跟蹤器狀態(tài)更新為"找到"； b. 如果有多個(gè)候選窗口超過閾值，取最大信度值的候選窗口為當(dāng)前目標(biāo)，跟蹤器狀態(tài) 更新為"找到"； c. 如果僅有一個(gè)候選窗口超過閾值，則此窗口為當(dāng)前目標(biāo)，跟蹤器狀態(tài)更新為"找到"。
8. 根據(jù)權(quán)利要求1所述的基于信度組合地圖模型的視覺目標(biāo)跟蹤方法，其特征是：所 述步驟8)中，在組合地圖的匹配過程中會(huì)產(chǎn)生匹配對(duì)，當(dāng)匹配對(duì)的信度值大于某一閾值 時(shí)，將當(dāng)前幀中的匹配特征歸為更新樣本庫(kù)；樣本更新過程包括析取分類器的更新、信度圖 模型的更新、閾值的更新。
【文檔編號(hào)】G06T7/20GK104463909SQ201410714033
【公開日】2015年3月25日 申請(qǐng)日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】滕竹, 張 杰, 張寧, 劉峰, 李浥東, 王濤 申請(qǐng)人:北京交通大學(xué)長(zhǎng)三角研究院