專利名稱：一種基于主動場景學習的對象跟蹤方法
技術領域：
本發(fā)明屬于計算機圖形圖像模式識別技術領域，特別涉及機器學習，計算機視覺技術。
背景技術：
在無約束的環(huán)境下，實現(xiàn)長時間的可視跟蹤是眾多計算機視覺應用的關鍵問題，如視頻監(jiān)控，人機交互等。目前，基于機器學習特別是在線學習的跟蹤方法成為該領域研究的熱點，這是由于為了獲得長時間穩(wěn)定可靠的跟蹤性能，跟蹤系統(tǒng)需要能夠適應目標對象的運動變化。跟蹤過程中在線學習的目的在于發(fā)掘未知的數(shù)據(jù)結構，對它的研究，逐步發(fā)展出一系列自適應的對象跟蹤方法。Graber、Avidan、Collins和Lim等人分別采用不同的自學 習方式，用接近和遠離目標的樣例更新對象模型，然而，這種方法一旦預測目標出錯，則跟蹤無法繼續(xù)。為了克服這個問題，Yu等提出了通過協(xié)作訓練獲得一個可再生的判別分類器，從而實現(xiàn)重檢測和失敗恢復。因此，對象跟蹤或者檢測也被看作是一個分類問題，即通過訓練得到的分類器來判斷該區(qū)域是目標還是背景。由于跟蹤的實時性本質(zhì)，基于Boosting自舉方法的分類器和基于隨機森林(隨機蕨)的分類器成為目前主要研究的方法。Viola等人將Boosting應用到實現(xiàn)快速穩(wěn)定的對象檢測任務,這項重要的工作為Boosting在計算機視覺領域的應用鋪平了道路。隨后，Javed等人提出一種協(xié)作訓練的在線Boosting并用于對象檢測，這種方法先在普通場景中離線訓練分類器，然后再對其進行在線調(diào)整。Oza等人提出了通過在弱分類器集合中傳播樣例從而估計其重要度的思想，并且在他的博士論文中證明了在線Boosting在迭代次數(shù)無限大的情況下收斂于離線Boosting,并與之取得相同的結果。為了能夠?qū)za的方法直接用于特征的選擇，Grabner等人提出了關于特征選擇的在線Boosting算法,并成功地將其應用在對象跟蹤任務中。之后，Grabner等人繼續(xù)在此基礎上提出了半監(jiān)督的在線Boosting算法,實現(xiàn)了更加穩(wěn)定的跟蹤效果。Stalder等人通過在半監(jiān)督在線Boosting框架中加入多個分類器,利用多重先驗知識的更新操作，提出了超半監(jiān)督的在線Boosting算法，取得了更好的跟蹤效果。但是，由于Boosting算法對樣例標記噪聲敏感，因此,容易使得Boosting分類器在跟蹤過程中識別能力下降，從而逐漸丟失目標。為了克服這個問題，Babenko等人提出了在線多實例Boosting算法(OMB)，在很大程度上提高了跟蹤性能。另一方面，相對于Boosting，隨機森林能夠快速完成訓練和分類，并且可以通過并行方式進行，這使得它在機器學習領域中得到越來越多的關注。隨機森林算法由Breiman提出，是由結合Bagging技術的多個隨機化的決策樹組成。Bosch等人將隨機森林用于分類問題，Shotton等人將其用于語義分割，Lepetit等人將隨機森林用于實時關鍵點識別,他們都取得了很好的效果。Leistner等人為了有效降低半監(jiān)督學習的復雜度，利用隨機森林的計算效率，分別提出了半監(jiān)督隨機森林算法，多實例學習隨機森林算法，以及在線多視圖隨機森林算法，并成功應用在機器學習的各項問題。Geurts等人提出極度隨機森林，即隨機森林中的測試閾值也是隨機生成。隨后，Saffari等人在此基礎上結合在線Bagging提出了在線隨機森林，并將其應用到對象跟蹤，取得了良好的跟蹤效果。為了進一步提高檢測速率，Ozuysal提出了隨機蕨算法，并用于關鍵點識別和匹配。之后，Kalal等人利用隨機蕨作為在線對象檢測模型，并結合其增長和裁剪學習策略(P-N Learning)，取得了很好的跟蹤效果。但是，隨機森林(蕨)充分的分類能力，需要大量的數(shù)據(jù)作為訓練樣例和測試，這在很大程度上限制了隨機森林(蕨)在對象跟蹤中的應用。而以上這些方法需要共同面對的一個難題是，如何既保證跟蹤系統(tǒng)對目標變化的適應能力，又保證學習的準確性，避免漂移而導致跟蹤失敗。為此，Babenko等提出了袋學習的思想和OMB算法，在很大程度上提高了跟蹤性能。Kalal等提出了 TLD的跟蹤學習框架，在跟蹤過程中進行有約束的學習，即所謂的增長和裁剪學習策略，并進一步提出了 P-N正負樣例學習的思想?；谶@種思想，Kalal等在其跟蹤系統(tǒng)PNT中結合LK跟蹤和隨機蕨檢測，取得了非常好的實時跟蹤效果。然而他們給出的實驗結果表明，特別地，對于場景初始就包含劇烈攝像頭運動的情形，由于LK跟蹤很快失敗，P約束無法標識和學習到足夠多的樣例用于訓練初始的檢測器，所以跟蹤在失敗后難以恢復。
—般情況下，場景越復雜，跟蹤或者檢測就變得越困難，由于計算資源的局限和效率的要求，對象表觀模型不能過于復雜。實際上，除了目標本身以外，背景信息也是十分有用且重要的信息。Yang等采用圖像分割融合方法，通過時空分析發(fā)掘輔助對象作為跟蹤協(xié)助，實現(xiàn)了較穩(wěn)定的跟蹤結果，然而該輔助對象的獲取基于一定的運動假設，因而難以適應更復雜的跟蹤環(huán)境，且計算效率有待進一步的提聞。Grabner等提出通過獲取目標周圍有價值的特征點，借此預測目標的位置，增強了跟蹤的穩(wěn)定性，然而他們進行檢測和匹配所有這些局部特征點的方法計算十分耗時。Fan等提出學習具有較強區(qū)別性的關注區(qū)域用以輔助跟蹤，然而在場景出現(xiàn)劇烈運動時，受這些局部區(qū)域的限制，其計算效率依然不高。Godec等通過對場景進行聚類學習，將背景分類為多個虛擬的類型，取得了較為滿意的跟蹤效果，但是該方法假設背景只是逐步而細微的改變，這在很多跟蹤場合并不成立，因此其應用有限。因此，本發(fā)明提出基于主動場景學習的對象跟蹤方法，該方法基于“跟蹤-學習-檢測”的基本結構，通過對場景的在線學習，主動發(fā)掘背景信息，并融合這些場景信息作為結構化的約束，有效地提高對目標變化的適應能力和模型學習的準確性，從而實現(xiàn)長時間穩(wěn)定快速的對象跟蹤。同時，提出基于光流分析的運動區(qū)域分析和提取方法，并根據(jù)以上結構化的約束，有效地解決由于目標快速運動或者場景劇烈運動導致學習不充分而丟失目標且難以恢復的問題。此外，本發(fā)明方法不僅可以用于單目標跟蹤，通過增加和調(diào)整樣例標記，還可以擴展用于多目標的跟蹤。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于主動場景學習的對象跟蹤方法，它能在無約束環(huán)境下，實現(xiàn)長時間實時穩(wěn)定的對象跟蹤。本發(fā)明實現(xiàn)其發(fā)明目的所采用的技術方案是，一種基于主動場景學習的對象跟蹤方法，所述方法包括如下內(nèi)容(I)在線模型和短時跟蹤在線模型包括目標模型和背景模型，它們均由多個圖像塊組成。目標模型包含學習到的目標圖像塊，而背景模型則包含學習到的背景圖像塊。在線模型更新過程中，將這些圖像塊均規(guī)則化為一個較小的尺寸，如9X9，15X15等。這里，圖像塊越大，則計算量越大。相對于長時間的跟蹤，短時跟蹤只能保證相對較短時間內(nèi)的跟蹤準確性，它的目的在于盡可能的適應目標的變化。這里短時跟蹤采用規(guī)則化交叉互相關與顏色組合的方法(NCC-C, Normalized Cross-Correlation and Color),即通過計算圖像塊之間的規(guī)則化交叉互相關值和顏色直方圖的相似度值，來衡量兩個圖像塊的接近程度。設任意兩個圖像塊Zi, Zj的規(guī)則化交叉互相關值為vNrc (Zi，Zj)，顏色直方圖的相似度值為Vjzi, Zj),則它們的接近程度值Vs (Zi, Zj)計算為
Vg (z^ j Zj) siVncc (Zi，Zj)+bVc(Zi，zj)，其中a，b分別為vNrc和vc的權重，0彡a，b彡I且a+b = I。實際跟蹤過程中，短時跟蹤器在以上次確定的目標位置為中心的搜索區(qū)域，與目標模型中所有圖像塊做比較，搜索使vs值最大的位置作為當前目標的位置。(2)全局檢測為實現(xiàn)實時的全局檢測和提高檢測的分辨能力，采用新的三位二元模式特征(3bitBP)，即分別編碼水平，垂直和對角矩形梯度值，構成3位特征值。為了對一個圖像塊進行特征值編碼，將該圖像塊等分為4X4的小塊，如圖I所示。每4個相鄰且組成正方形的特征構成一個隨機蕨，如圖2所示。其中最后一個隨機蕨由水平和垂直兩個方向平分整個圖像塊后得到的4個矩形特征組成。因此，檢測器包含10個不同的隨機蕨，每個蕨具有3X4 = 12位特征值編碼，即每個蕨包含212 = 4096個葉節(jié)點。圖像塊按照以上的有序劃分，而不是隨機選擇矩形特征，其目的是，有利于跟蹤過程中適應目標尺度的變化，簡化矩形特征調(diào)整過程。此外，每個矩形特征值的計算是通過圖像積分圖來實現(xiàn)。圖像積分圖每幀只需計算一次，然后進行簡單的幾次加減運算即可得到一個特征的值，從而實現(xiàn)快速地計算圖像塊特征值編碼。檢測器訓練過程中，每個蕨接收訓練樣例(圖像塊)并計算其對應的特征值編碼。如果該樣例為正樣例(目標)，則對應葉節(jié)點的正樣例數(shù)加I ;否則，其負樣例(背景)數(shù)加
I。而檢測器對一個測試樣例的評價過程為，每個蕨分別計算該樣例的特征值編碼，計算其對應葉節(jié)點中正樣例所占的比例，將這些蕨返回的比例值求平均。如果該平均值大于0. 5，則該測試樣例預測為正樣例并做相應標記；否則，為負樣例并標記。(3)主動場景學習場景學習的目的在于進一步提高對象檢測的準確性，增強跟蹤系統(tǒng)的穩(wěn)定性。這里場景學習包括目標模型和背景模型的學習和更新，即將學習到的目標圖像塊加入到目標模型，將學習到的背景圖像塊加入到背景模型，以適應跟蹤場景的變化。對于目標模型，短時跟蹤與全局檢測協(xié)同完成目標表觀的學習。首先短時跟蹤過程中，如果vs值高于設定的閾值且規(guī)則化交叉互相關值又小于其對應閾值，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型。而在啟動全局檢測后，目標模型的更新又分為以下兩種情況I)如果短時跟蹤與全局檢測返回的是相同位置，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型；2)如果全局檢測在另一個位置上具有較強的目標響應，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型，并重新始化短時跟蹤器。對于背景模型，其學習過程包括場景變更判斷和背景模型更新兩個部分。(i)場景變更判斷背景模型的更新，只需在場景發(fā)生一定變更時進行。對于相對固定的跟蹤場景，如靜態(tài)場景，背景模型更新不會太頻繁；而相對于復雜的動態(tài)場景，背景模型更新則會經(jīng)常發(fā)生。因此，這里采用以下的場景變更判斷方法，實際情況下，可以選擇其中的任意一種。分塊統(tǒng)計分析將整幅圖像劃分為多個區(qū)域，如劃分為8X8的網(wǎng)格，如圖3所示。計算每塊圖像區(qū)域的像素均值，如果該均值變化超過預設的閾值則認為該圖像區(qū)域已變 更。統(tǒng)計所有這些圖像區(qū)域的變更情況，如果變更區(qū)域所占的比例超過一定的閾值，則認為整個場景已變更，并更新所有圖像區(qū)域的均值。與在線模型一樣，這些圖像區(qū)域均可規(guī)則化為較小的圖像塊，從而加快分析計算的速率。光流統(tǒng)計分析計算每幀圖像各個像素點的運動向量，各個位置的運動向量反應了場景的變更細節(jié)。統(tǒng)計整個圖像的運動向量值及其局部運動向量值，超過一定的閾值則認為整個場景已變更。 分塊光流統(tǒng)計分析此為以上兩種方法的結合，即先對圖像分塊，再在各個分塊區(qū)域分析其光流信息，最后統(tǒng)計所有局部區(qū)域，判斷場景是否變更。(ii)背景模型更新這里，背景模型的更新采用以下的方法。全局固定在整幅圖像區(qū)域選擇一些固定的坐標，作為背景圖像塊選擇位置。如果跟蹤過程中，目標運動到了任意預先設定的位置，則暫時將其排除。全局隨機在整幅圖像區(qū)域，且在目標所在的范圍以外，隨機的選擇一些坐標，作為背景圖像塊選擇位置。定向固定以目標所處位置為中心，將在多個方向上固定一定的距離所取得的坐標，作為背景圖像塊選擇的位置。如果選擇的坐標超出圖像區(qū)域，則暫時將其排除。定向隨機以目標所處位置為中心，在多個方向上，圖像范圍內(nèi)，以隨機產(chǎn)生的距離取得的坐標，作為背景圖像塊選擇位置。以全局隨機為例，如圖4所示，為其中一種可能的背景圖像塊選擇結果。實際情況下，可以選擇其中的任意一種或者它們的組合，不管選擇哪種背景選擇方式，其目的均在于最大程度的學習適應場景的變化。此外，不管哪種方法，背景圖像塊的大小均自動適應目標尺寸的變化，并經(jīng)過規(guī)則化后加入到背景模型。⑷約束方法由于(I)中短時跟蹤器具有較強的目標適應能力，但在長時間的跟蹤過程中，容易過多的吸收背景信息，而逐漸偏離目標(跟蹤漂移)。另一方面，檢測器的訓練學習依賴于該短時跟蹤，跟蹤漂移將降低檢測器的準確率，從而導致跟蹤失敗，甚至無法恢復。因此，背景模型將被用來對短時跟蹤和全局檢測進行結構化約束。這里,約束方法采用K最近鄰聚類方法(KNN, K-Nearest Neighbor),包括目標和背景兩類。設吣=IxJ和魄={yj分別表示目標模型和背景模型。對于候選圖像塊z，設SKffl(z，MT)表示目標模型中與候選圖像塊z的k = n個最接近的圖像塊中最小的那個vs值，同理，Sknn(z, Mb)表示背景模型中與候選圖像塊z的k = n個最接近的圖像塊中最小的^值，按照(I)的接近度計算，它們分別計算為
權利要求
1. 一種基于主動場景學習的對象跟蹤方法，所述方法包括如下內(nèi)容 (1)在線模型和短時跟蹤 在線模型包括目標模型和背景模型，它們均由多個圖像塊組成，目標模型包含學習到的目標圖像塊，而背景模型則包含學習到的背景圖像塊，在線模型更新過程中，將這些圖像塊均規(guī)則化為一個較小的尺寸，如9X9，15X 15等； 設任意兩個圖像塊Zi，Zj的規(guī)則化交叉 互相關值為vNrc(Zi，Zj)，顏色直方圖的相似度值為Vjzi, Zj),則它們的接近程度值Vs (Zi, Zj)計算為 Vg (Zi, Zj) — SVncc (Zi j Zj)+bvc(Zi，Zj)， 其中a，b分別為\cc和V。的權重，O≤a，b≤I且a+b = I。實際跟蹤過程中，短時跟蹤器在以上次確定的目標位置為中心的搜索區(qū)域，與目標模型中所有圖像塊做比較，搜索使^值最大的位置作為當前目標的位置； (2)全局檢測 為實現(xiàn)實時的全局檢測和提高檢測的分辨能力，采用新的三位二元模式特征(3bitBP)，即分別編碼水平，垂直和對角矩形梯度值，構成3位特征值，為了對一個圖像塊進行特征值編碼，將該圖像塊等分為4X4的小塊，每4個相鄰且組成正方形的特征構成一個隨機蕨，其中最后一個隨機蕨由水平和垂直兩個方向平分整個圖像塊后得到的4個矩形特征組成，因此，檢測器包含10個不同的隨機蕨，每個蕨具有3X4 = 12位特征值編碼，即每個蕨包含212 = 4096個葉節(jié)點； 檢測器訓練過程中，每個蕨接收訓練樣例圖像塊并計算其對應的特征值編碼，如果該樣例正樣例為目標，則對應葉節(jié)點的正樣例數(shù)加I ;否則，其負樣例為背景數(shù)加I,而檢測器對一個測試樣例的評價過程為，每個蕨分別計算該樣例的特征值編碼，計算其對應葉節(jié)點中正樣例所占的比例，將這些蕨返回的比例值求平均，如果該平均值大于0. 5，則該測試樣例預測為正樣例并做相應標記；否則，為負樣例并標記； (3)主動場景學習 對于目標模型，短時跟蹤與全局檢測協(xié)同完成目標表觀的學習，首先短時跟蹤過程中，如果vs值高于設定的閾值且規(guī)則化交叉互相關值又小于其對應閾值，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型，而在啟動全局檢測后，目標模型的更新又分為以下兩種情況 1)如果短時跟蹤與全局檢測返回的是相同位置，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型； 2)如果全局檢測在另一個位置上具有較強的目標響應，且滿足(4)的約束條件，則將該位置對應的圖像塊加入到目標模型，并重新始化短時跟蹤器； 對于背景模型，其學習過程包括場景變更判斷和背景模型更新兩個部分 (i)場景變更判斷 背景模型的更新，只需在場景發(fā)生一定變更時進行，對于相對固定的跟蹤場景，如靜態(tài)場景，背景模型更新不會太頻繁；而相對于復雜的動態(tài)場景，背景模型更新則會經(jīng)常發(fā)生；分塊統(tǒng)計分析將整幅圖像劃分為多個區(qū)域，如劃分為8X8的網(wǎng)格，計算每塊圖像區(qū)域的像素均值，如果該均值變化超過預設的閾值則認為該圖像區(qū)域已變更； 光流統(tǒng)計分析計算每幀圖像各個像素點的運動向量，各個位置的運動向量反應了場景的變更細節(jié)，統(tǒng)計整個圖像的運動向量值及其局部運動向量值，超過一定的閾值則認為整個場景已變更； 分塊光流統(tǒng)計分析此為以上兩種方法的結合，即先對圖像分塊，再在各個分塊區(qū)域分析其光流信息，最后統(tǒng)計所有局部區(qū)域，判斷場景是否變更； (ii)背景模型更新 背景模型的更新采用以下的方法。
全局固定在整幅圖像區(qū)域選擇一些固定的坐標，作為背景圖像塊選擇位置。如果跟蹤過程中，目標運動到了任意預先設定的位置，則暫時將其排除； 全局隨機在整幅圖像區(qū)域，且在目標所在的范圍以外，隨機的選擇一些坐標，作為背景圖像塊選擇位置； 定向固定以目標所處位置為中心，將在多個方向上固定一定的距離所取得的坐標，作為背景圖像塊選擇的位置。如果選擇的坐標超出圖像區(qū)域，則暫時將其排除； 定向隨機以目標所處位置為中心，在多個方向上，圖像范圍內(nèi)，以隨機產(chǎn)生的距離取得的坐標，作為背景圖像塊選擇位置； (4)約束方法 約束方法采用最近鄰聚類方法，包括目標和背景兩類 設吣=IxJ和魄={yj分別表示目標模型和背景模型，對于候選圖像塊z，設SraN(z，Mt)表示目標模型中與候選圖像塊z的k = n個最接近的圖像塊中最小的那個vs值，同理，Sknn(z, Mb)表示背景模型中與候選圖像塊z的k = n個最接近的圖像塊中最小的vs值，按照(I)的接近度計算，它們分別計算為
全文摘要
本發(fā)明提供了一種基于主動場景學習的對象跟蹤方法，屬于計算機圖形圖像模式識別技術領域。如何既保證跟蹤系統(tǒng)對目標變化的適應能力，又保證學習的準確性，避免漂移而導致跟蹤失敗是需要共同面對的一個難題。本發(fā)明通過在線模型和短時跟蹤、全局檢測、主動場景學習、約束方法、運動區(qū)域分析和提取等步驟來實現(xiàn)對象跟蹤。通過對場景的在線學習，主動發(fā)掘背景信息，同時，提出基于光流分析的運動區(qū)域分析和提取方法，并根據(jù)以上結構化的約束，有效地解決由于目標快速運動或者場景劇烈運動丟失目標且難以恢復的問題。有效地提高對目標變化的適應能力和模型學習的準確性，從而實現(xiàn)長時間穩(wěn)定快速的對象跟蹤。主要用于對象跟蹤的各種場合。
文檔編號G06K9/62GK102722725SQ201210180170
公開日2012年10月10日 申請日期2012年6月4日 優(yōu)先權日2012年6月4日
發(fā)明者余南陽, 權偉, 陳錦雄 申請人:西南交通大學