專利名稱：一種基于檢測(cè)中支持在線聚類學(xué)習(xí)的對(duì)象跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)圖形圖像技術(shù)領(lǐng)域，特別涉及計(jì)算機(jī)視覺(jué)、模式識(shí)別、機(jī)器學(xué)習(xí)技術(shù)。
背景技術(shù)：
由于對(duì)象跟蹤是眾多計(jì)算機(jī)視覺(jué)應(yīng)用的基本問(wèn)題，如智能視頻分析，視頻監(jiān)控，人機(jī)交互等，因此研究人員對(duì)此做出了大量的工作，但是迄今為止要實(shí)現(xiàn)在無(wú)約束的環(huán)境下長(zhǎng)時(shí)間的可視跟蹤仍然是極具挑戰(zhàn)性的任務(wù)。隨機(jī)計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，基于機(jī)器學(xué)習(xí)特別是在線學(xué)習(xí)的對(duì)象跟蹤方法受到越來(lái)越廣泛的關(guān)注。這是由于(i) 一般情況下，在對(duì)象跟蹤開(kāi)始之前，我們只能獲得十分有限的先驗(yàn)信息用于構(gòu)建跟蹤系統(tǒng)必要的知識(shí)，如對(duì)象表觀，背景信息，運(yùn)動(dòng)模型。大量的對(duì)象和場(chǎng)景知識(shí)在此時(shí)是未知的，但是，為了獲得長(zhǎng)時(shí) 間穩(wěn)定可靠的跟蹤性能，這些未知信息對(duì)于跟蹤系統(tǒng)來(lái)說(shuō)卻是必需的；(ii)對(duì)象跟蹤過(guò)程具有很強(qiáng)的時(shí)序性，且包含很強(qiáng)的時(shí)空關(guān)系，我們可以在跟蹤的過(guò)程中去發(fā)掘和利用這些信息和關(guān)系，從而增強(qiáng)我們的跟蹤系統(tǒng)結(jié)構(gòu)；(iii)機(jī)器學(xué)習(xí)和模式識(shí)別等理論與技術(shù)的發(fā)展，為系統(tǒng)通過(guò)各種學(xué)習(xí)完善其知識(shí)和結(jié)構(gòu)，提供了理論與方法的支撐。跟蹤過(guò)程中在線學(xué)習(xí)的目的在于發(fā)掘未知的數(shù)據(jù)結(jié)構(gòu)，對(duì)它的研究，逐步發(fā)展出一系列自適應(yīng)的對(duì)象跟蹤方法。Graber、Avidan、Collins和Lim等人分別采用不同的自學(xué)習(xí)方式，用接近和遠(yuǎn)離目標(biāo)的樣例更新對(duì)象模型，然而，這種方法一旦預(yù)測(cè)目標(biāo)出錯(cuò)，則跟蹤無(wú)法繼續(xù)。為了克服這個(gè)問(wèn)題，Yu等提出了通過(guò)協(xié)作訓(xùn)練獲得一個(gè)可再生的判別分類器，從而實(shí)現(xiàn)重檢測(cè)和失敗恢復(fù)。因此，對(duì)象跟蹤或者檢測(cè)也被看作是一個(gè)分類問(wèn)題，即通過(guò)訓(xùn)練得到的分類器來(lái)判斷該區(qū)域是目標(biāo)還是背景。目前基于隨機(jī)森林的方法受到越來(lái)越廣泛的關(guān)注，這是由于與其它方法相比隨機(jī)森林能夠快速完成訓(xùn)練和分類，并且可以通過(guò)并行方式進(jìn)行。隨機(jī)森林算法由Breiman提出，是由結(jié)合Bagging技術(shù)的多個(gè)隨機(jī)化的決策樹組成。Shotton等人將其用于語(yǔ)義分割，Lepetit等人將隨機(jī)森林用于實(shí)時(shí)關(guān)鍵點(diǎn)識(shí)別,他們都取得了很好的效果。Leistner等人為了有效降低半監(jiān)督學(xué)習(xí)的復(fù)雜度，利用隨機(jī)森林的計(jì)算效率，分別提出了半監(jiān)督隨機(jī)森林算法，多實(shí)例學(xué)習(xí)隨機(jī)森林算法，以及在線多視圖隨機(jī)森林算法，并成功應(yīng)用在機(jī)器學(xué)習(xí)的各項(xiàng)問(wèn)題。Geurts等人提出極度隨機(jī)森林，即隨機(jī)森林中的測(cè)試閾值也是隨機(jī)生成。隨后，Saffari等人在此基礎(chǔ)上結(jié)合在線Bagging提出了在線隨機(jī)森林，促進(jìn)了隨機(jī)森林的實(shí)時(shí)應(yīng)用。為了進(jìn)一步提高分類速率，Ozuysal提出了隨機(jī)蕨算法，并用于關(guān)鍵點(diǎn)識(shí)別和匹配。隨機(jī)蕨是簡(jiǎn)化的隨機(jī)森林，不同于隨機(jī)森林的逐層生長(zhǎng)和節(jié)點(diǎn)測(cè)試，隨機(jī)蕨由許多的葉節(jié)點(diǎn)組成，每個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)一個(gè)完整的特征值編碼，它的后驗(yàn)概率由該葉節(jié)點(diǎn)所包含的樣例數(shù)量及其類型決定。Kalal等人將隨機(jī)蕨用于在線對(duì)象檢測(cè)和跟蹤，進(jìn)一步驗(yàn)證了隨機(jī)蕨的快速分類能力。但是，與隨機(jī)森林一樣，隨機(jī)蕨在充分發(fā)揮其分類能力之前，需要大量的數(shù)據(jù)作為訓(xùn)練樣例和測(cè)試，因此在對(duì)象跟蹤中隨機(jī)蕨表現(xiàn)出初始分類能力不足而易使跟蹤失敗后難以恢復(fù)；另一方面，隨機(jī)蕨對(duì)測(cè)試樣例的評(píng)價(jià)過(guò)程簡(jiǎn)單的依賴于對(duì)應(yīng)葉節(jié)點(diǎn)中訓(xùn)練樣例的數(shù)量和類型，沒(méi)有考慮特征向量的空間分布狀況，而這在很大程度上影響了隨機(jī)蕨的分類或者檢測(cè)準(zhǔn)確率。因此，本發(fā)明提出一種基于檢測(cè)中支持在線聚類學(xué)習(xí)的對(duì)象跟蹤方法，該方法在隨機(jī)蕨檢測(cè)器的葉節(jié)點(diǎn)中同時(shí)保存目標(biāo)和背景樣例的特征向量，通過(guò)在線聚類學(xué)習(xí)發(fā)掘其分布特性，即根據(jù)得到的聚類中心創(chuàng)建隱含分類，并將其作為核函數(shù)的采樣數(shù)據(jù)點(diǎn)進(jìn)行類型概率密度估計(jì)。由于在檢測(cè)中發(fā)掘未知數(shù)據(jù)的分布特性，因此提高了檢測(cè)器對(duì)目標(biāo)的識(shí)別能力，同時(shí)通過(guò)結(jié)合短時(shí)跟蹤及其時(shí)空約束(目標(biāo)區(qū)域和背景區(qū)域的劃分由跟蹤目標(biāo)當(dāng)前的位置決定，并用于生成在線訓(xùn)練集)，本發(fā)明方法可實(shí)現(xiàn)無(wú)約束環(huán)境下長(zhǎng)時(shí)間實(shí)時(shí)穩(wěn)定的對(duì)象跟蹤任務(wù)。此外，本發(fā)明方法不僅可以用于單目標(biāo)跟蹤，通過(guò)增加和調(diào)整樣例標(biāo)記，還可以擴(kuò)展用于多目標(biāo)的跟蹤。

發(fā)明內(nèi)容

本發(fā)明的目的提供一種基于檢測(cè)中支持在線聚類學(xué)習(xí)的對(duì)象跟蹤方法，它能在無(wú)約束環(huán)境下，有效地實(shí)現(xiàn)長(zhǎng)時(shí)間實(shí)時(shí)穩(wěn)定的對(duì)象跟蹤。本發(fā)明的目的通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)所述方法包括如下內(nèi)容，具體步驟為(I)確定跟蹤目標(biāo)從初始圖像中選擇并確定要跟蹤的目標(biāo)對(duì)象，并加入到在線模型。目標(biāo)選取過(guò)程可以通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取，也可以通過(guò)人機(jī)交互方法手動(dòng)指定。在線模型由目標(biāo)圖像塊組成。(2)初始化檢測(cè)器隨機(jī)蕨可采用任何二元測(cè)試特征(如像素對(duì)比較特征)，即該特征如果滿足某個(gè)條件測(cè)試則編碼為1，否則編碼為O。設(shè)一個(gè)蕨中采用的二元測(cè)試特征的數(shù)量為N，則該蕨包含2N個(gè)葉節(jié)點(diǎn)，每個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)一個(gè)N位的二進(jìn)制編碼值。每個(gè)葉節(jié)點(diǎn)不僅記錄落在該節(jié)點(diǎn)上的樣例類型及其對(duì)應(yīng)的數(shù)量(初始時(shí)為0)，同時(shí)保存樣例的特征向量。設(shè)檢測(cè)器包含蕨的數(shù)量為M，且每個(gè)蕨中采用的二元測(cè)試特征的位置均不相同，則對(duì)每個(gè)樣例數(shù)據(jù)的檢測(cè)將進(jìn)行MXN次測(cè)試計(jì)算。通過(guò)以(I)中確定的目標(biāo)圖像塊為正樣例及其周圍選取的背景圖像塊為負(fù)樣例生成初始訓(xùn)練集，并輸入到檢測(cè)器。這里，引入隱含分類用以描述同一類型下不同特征向量組成的集合。將距離相對(duì)集中的特征向量劃分到同一個(gè)隱含分類，特征向量越分散，隱含分類的數(shù)量將可能更多。因此隱含分類反映了葉節(jié)點(diǎn)中特征向量的分布情況。初始設(shè)置每個(gè)葉節(jié)點(diǎn)中目標(biāo)和背景的隱含分類數(shù)目均為1，且將該類型下的所有樣例劃分到這個(gè)隱含分類。對(duì)每個(gè)隱含分類計(jì)算其分布參數(shù)，包含均值和標(biāo)準(zhǔn)差(同步可得到方差，即標(biāo)準(zhǔn)差的平方)。(3)輸入圖像在實(shí)時(shí)處理情況下，提取通過(guò)攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟蹤的輸入圖像；在離線處理情況，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按照時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像。如果輸入圖像為空，則整個(gè)流程中止。(4)執(zhí)行短時(shí)跟蹤這里短時(shí)跟蹤采用規(guī)則化交叉互相關(guān)的方法(NCC, NormalizedCross-Correlation)。設(shè)候選圖像塊z與在線模型中的第i個(gè)目標(biāo)圖像塊的規(guī)則化交叉互相關(guān)值為vNrc(z，Zi),跟蹤過(guò)程中短時(shí)跟蹤器在以上次確定的目標(biāo)位置為中心的搜索區(qū)域與在線模型中所有圖像塊做比較，搜索使Vn。。值最大的位置作為當(dāng)前預(yù)測(cè)的目標(biāo)位置。設(shè)閾值0 !C。= 0. 8,如果此最大的Vnk; > 0 NCC,則表示目標(biāo)可信,跳轉(zhuǎn)到(5),否則表示目標(biāo)不可信，跳轉(zhuǎn)到(6)。(5)訓(xùn)練檢測(cè)器提取目標(biāo)圖像塊作為正樣例，并在其周圍選取背景圖像塊作為負(fù)樣例，生成在線訓(xùn)練集并輸入到檢測(cè)器，輸入到葉節(jié)點(diǎn)中的訓(xùn)練樣例根據(jù)其原類型并根據(jù)K(K= I)最近鄰方法劃分到對(duì)應(yīng)的隱含分類，即計(jì)算訓(xùn)練樣例的特征向量與隱含分類的均值的歐式距離，將該訓(xùn)練樣例劃分到與其距離值最小的隱含分類。設(shè)S= {3。}。= 1...Y為一個(gè)葉節(jié)點(diǎn)中包含的樣例集合，其中，c為類型標(biāo)記，Y為類型數(shù)目，而足J為該葉節(jié)點(diǎn)中屬于C類的樣例集合，其中，蛘為C類中第i個(gè)樣例，在特征空間中用向量值表示，N為屬于c類的樣例個(gè)數(shù)。設(shè)A/表示S。的第h個(gè)隱含分類，M為該隱含分類包含的樣例個(gè)數(shù),又={i^}A=1 為S。中隱含分類的數(shù)目。訓(xùn)練過(guò)程 中，葉節(jié)點(diǎn)中隱含分類包含的樣例數(shù)量會(huì)逐步增加，當(dāng)該數(shù)量與上次參數(shù)更新時(shí)的樣例數(shù)量的差值超過(guò)一定閾值時(shí)(如超過(guò)10個(gè))，則重新計(jì)算此隱含分類的均值和標(biāo)準(zhǔn)差。設(shè)和中特征向量的均值和標(biāo)準(zhǔn)差分別為和，標(biāo)準(zhǔn)差閾值為0。。如果參數(shù)更新后則在中隨機(jī)選擇2個(gè)樣例作為初始點(diǎn)，根據(jù)向量間歐式距離執(zhí)行K(K = 2)均值聚類操作。該聚類學(xué)習(xí)得到的2個(gè)中心點(diǎn)作為新的隱含分類加入，每個(gè)隱含分類包含聚類結(jié)果中對(duì)應(yīng)的樣例集合，最后刪除原隱含分類。這樣，S。中增加了 I個(gè)隱含分類，而原隱含分類F〗中包含的樣例分別劃分到了兩個(gè)新的隱含分類中。最后重新計(jì)算所有新的隱含分類對(duì)應(yīng)的均值和標(biāo)準(zhǔn)差。具有隱含分類的聚類學(xué)習(xí)過(guò)程如圖I所示，其中M表示分類器中蕨的數(shù)目，N表示對(duì)蕨包含的葉節(jié)點(diǎn)的數(shù)目。在葉節(jié)點(diǎn)的特征空間中，黑色的圓點(diǎn)表示樣例的特征向量，外包圍的區(qū)域表示原類型，外包圍區(qū)域中的圓形區(qū)域?yàn)閷?duì)應(yīng)類型的隱含分類。跳轉(zhuǎn)到(3)。(6)目標(biāo)檢測(cè)檢測(cè)器對(duì)整個(gè)圖像區(qū)域執(zhí)行目標(biāo)檢測(cè)，而對(duì)候選圖像塊的評(píng)價(jià)是通過(guò)對(duì)所有蕨估計(jì)的類型概率求平均值得到。對(duì)每個(gè)蕨計(jì)算樣例的特征編碼值和特征向量值，然后由蕨對(duì)應(yīng)的葉節(jié)點(diǎn)估計(jì)樣例的類型和概率。這里樣例類型指目標(biāo)和背景兩類。特別地，對(duì)于多目標(biāo)的情形樣例類型將具有多個(gè)目標(biāo)類型，每個(gè)目標(biāo)類型對(duì)應(yīng)一個(gè)跟蹤目標(biāo)。采用與前面相同的符號(hào)表示，則候選圖像塊X對(duì)于蕨fk在對(duì)應(yīng)葉節(jié)點(diǎn)中關(guān)于類型c的概率計(jì)算為
Lf { Y — Wi ^ \=c)d，
h=\ d=l i7V ^ J
f ^h\ \1I *>- ~mc Td其中，D表示向量的維數(shù)，尤Kx^mC )d = _L e 2 ^為高斯核函數(shù)，a為
H J 4lK0o
隱含分類h的權(quán)重，這里采用相同的權(quán)重設(shè)置，S卩Cih= 1/L，L為類型c包含的隱含分類的數(shù)目。如果葉節(jié)點(diǎn)中某類型的特征向量數(shù)目為0，則直接設(shè)置該類型的ft(c|r)=0。將計(jì)算得到的所有類型概率歸一化，使得
權(quán)利要求
1. 一種基于檢測(cè)中支持在線聚類學(xué)習(xí)的對(duì)象跟蹤方法，其步驟如下 (a)確定跟蹤目標(biāo) 從初始圖像中選擇并確定要跟蹤的目標(biāo)對(duì)象，并加入到由目標(biāo)圖像塊組成的在線模型，目標(biāo)選取過(guò)程可以通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取，也可以通過(guò)人機(jī)交互方法手動(dòng)指定; (b)初始化檢測(cè)器 隨機(jī)蕨采用任何二元測(cè)試特征，即該特征如果滿足某個(gè)條件測(cè)試則編碼為1，否則編碼為O，設(shè)一個(gè)蕨中采用的二元測(cè)試特征的數(shù)量為N，則該蕨包含2Nf葉節(jié)點(diǎn)，每個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)一個(gè)N位的二進(jìn)制編碼值； (c)輸入圖像 在實(shí)時(shí)處理情況下，提取通過(guò)攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟蹤的輸入圖像；在離線處理情況，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按照時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像，如果輸入圖像為空，則整個(gè)流程中止； (d)執(zhí)行短時(shí)跟蹤 設(shè)候選圖像塊z與在線模型中的第i個(gè)目標(biāo)圖像塊的規(guī)則化交叉互相關(guān)值為(z,Zi)，跟蹤過(guò)程中短時(shí)跟蹤器在以上次確定的目標(biāo)位置為中心的搜索區(qū)域與在線模型中所有圖像塊做比較，搜索使Vircc值最大的位置作為當(dāng)前預(yù)測(cè)的目標(biāo)位置； (e)訓(xùn)練檢測(cè)器 提取目標(biāo)圖像塊作為正樣例，并在其周圍選取背景圖像塊作為負(fù)樣例，生成在線訓(xùn)練集并輸入到檢測(cè)器，輸入到葉節(jié)點(diǎn)中的訓(xùn)練樣例根據(jù)其原類型并根據(jù)K(K= I)最近鄰方法劃分到對(duì)應(yīng)的隱含分類，將該訓(xùn)練樣例劃分到與其距離值最小的隱含分類； (f)目標(biāo)檢測(cè) 檢測(cè)器對(duì)整個(gè)圖像區(qū)域執(zhí)行目標(biāo)檢測(cè)，而對(duì)候選圖像塊的評(píng)價(jià)是通過(guò)對(duì)所有蕨估計(jì)的類型概率求平均值得到，對(duì)每個(gè)蕨計(jì)算樣例的特征編碼值和特征向量值，然后由蕨對(duì)應(yīng)的葉節(jié)點(diǎn)估計(jì)樣例的類型和概率，對(duì)于多目標(biāo)的情形樣例類型將具有多個(gè)目標(biāo)類型，每個(gè)目標(biāo)類型對(duì)應(yīng)一個(gè)跟蹤目標(biāo)；采用與前面相同的符號(hào)表示，則候選圖像塊X對(duì)于蕨fk在對(duì)應(yīng)葉節(jié)點(diǎn)中關(guān)于類型c的概率計(jì)算為 r- D ((Y_mh\ \ A(中ac dV h=l d=\。 J 對(duì)于該候選圖像塊X關(guān)于類型C的概率計(jì)算為 戶(小)=去i i小 其中，M為檢測(cè)器包含的蕨的數(shù)量。而檢測(cè)器對(duì)于該樣例的預(yù)測(cè)類型為使聲(C|x)最大的C，即 C - arg max p (c | x)； ceJ 特別地，如果具有最大概率的類型不只一個(gè)，則可以通過(guò)以下兩種方法進(jìn)一步分析預(yù)測(cè)類型 ①采用蕨計(jì)算后驗(yàn)概率的基本方法，即計(jì)算葉節(jié)點(diǎn)中各類型特征向量數(shù)目的比率，則p~k(c|x)計(jì)算為
全文摘要
一種基于檢測(cè)中支持在線聚類學(xué)習(xí)的對(duì)象跟蹤方法，屬于計(jì)算機(jī)圖形圖像技術(shù)領(lǐng)域。該方法在隨機(jī)蕨檢測(cè)器的葉節(jié)點(diǎn)中同時(shí)保存目標(biāo)和背景樣例的特征向量，通過(guò)在線聚類學(xué)習(xí)發(fā)掘其分布特性，并將其作為核函數(shù)的采樣數(shù)據(jù)點(diǎn)進(jìn)行類型概率密度估計(jì)。從初始圖像中選擇并確定要跟蹤的目標(biāo)對(duì)象，并加入到由目標(biāo)圖像塊組成的在線模型，目標(biāo)選取過(guò)程可以通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)方法自動(dòng)提取。在實(shí)時(shí)處理情況下，提取通過(guò)攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟蹤的輸入圖像。提取目標(biāo)圖像塊作為正樣例和選取背景圖像塊作為負(fù)樣例，生成在線訓(xùn)練集并輸入到檢測(cè)器。對(duì)于多目標(biāo)的情形具有多個(gè)目標(biāo)類型，每個(gè)目標(biāo)類型對(duì)應(yīng)一個(gè)目標(biāo)。主要用于對(duì)象跟蹤的各種場(chǎng)合。
文檔編號(hào)G06K9/62GK102799900SQ20121022998
公開(kāi)日2012年11月28日 申請(qǐng)日期2012年7月4日 優(yōu)先權(quán)日2012年7月4日
發(fā)明者權(quán)偉, 陳錦雄, 于小娟, 余南陽(yáng), 劉彬 申請(qǐng)人:西南交通大學(xué)