專利名稱：面向低幀率視頻的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其是一種面向低幀率視頻的目標(biāo)跟蹤方法。
背景技術(shù)：
在很多的實(shí)際的機(jī)器視覺應(yīng)用中，可利用的資源都是受限制的(例如嵌入式可 視系統(tǒng))。所以，在視頻采集的過程中就會(huì)產(chǎn)生一些低巾貞率(Low Frame Rate)視頻,具體的 原因有如下兩種1)由于視頻采集硬件的延時(shí)或傳輸帶寬的限制，使得視頻采集過程或傳 輸過程掉幀；2)由于CPU處理能力或存儲(chǔ)容量的限制，對所采集的視頻數(shù)據(jù)在時(shí)間維上進(jìn) 行下采樣，從而提高處理速率或降低存儲(chǔ)量。由于低幀率視頻數(shù)據(jù)每秒鐘顯示的圖像數(shù)據(jù)少于10幀，導(dǎo)致其連續(xù)的圖像幀中 目標(biāo)物體的表觀或運(yùn)動(dòng)存在很大的突變。然而，大多經(jīng)典的跟蹤算法都是基于目標(biāo)狀態(tài)的 連續(xù)性假設(shè)，即假定目標(biāo)物體的運(yùn)動(dòng)和表觀在連續(xù)圖像幀間的變化很小。例如，粒子濾波算 法采用在前一幀的跟蹤結(jié)果的基礎(chǔ)上來預(yù)測當(dāng)前幀圖像中的粒子；基于迭代優(yōu)化的跟蹤算 法，如KLT (Kanade-Lucas-Tomasi)、模板匹配算法和均值漂移算法也同樣將基于前一巾貞的 跟蹤結(jié)果作為當(dāng)前幀迭代優(yōu)化的初始值。因此，上述經(jīng)典的跟蹤算法在面向低幀率視頻的 應(yīng)用中無法獲得令人滿意的結(jié)果。國內(nèi)外直接針對低幀率視頻下目標(biāo)跟蹤的研究較少，其中Porikli等人對均值漂 移算法進(jìn)行了拓展，在背景減除的基礎(chǔ)上對運(yùn)動(dòng)顯著區(qū)域采用多核的均值漂移算法，從而 克服了由低幀率所引起的運(yùn)動(dòng)不連續(xù)性以及不可預(yù)測的問題。Li等人提出一種級聯(lián)粒子濾 波算法來解決低幀率視頻下目標(biāo)運(yùn)動(dòng)突變的問題，該算法通過檢測器來學(xué)習(xí)不同時(shí)序周期 上的特征，并將檢測器的響應(yīng)作為重要性分布融入到粒子濾波算法，實(shí)現(xiàn)對低幀率人臉視 頻的有效跟蹤。Carrano等人目標(biāo)運(yùn)動(dòng)的可能性區(qū)域通過背景減除獲得，然后結(jié)合下列四種 特征相關(guān)性系數(shù)、平均像素強(qiáng)度、速度差和角度差，來實(shí)現(xiàn)目標(biāo)模型與運(yùn)動(dòng)可能性區(qū)域的 匹配。另外，Zhang等人采用連續(xù)圖像幀間的差分圖來預(yù)測目標(biāo)的運(yùn)動(dòng)突變，然后利用預(yù)測 的結(jié)果來指導(dǎo)粒子濾波中的樣本傳播過程?？偠灾?，國內(nèi)外現(xiàn)有的研究都是將低幀率視 頻看成目標(biāo)物體的運(yùn)動(dòng)突變。然而，在實(shí)際應(yīng)用中，低幀率視頻所引入的不僅僅是目標(biāo)物體 的運(yùn)動(dòng)突變，還伴隨著目標(biāo)表觀的巨大變化。因此，要實(shí)現(xiàn)低幀率視頻下得魯棒跟蹤，需要 同時(shí)從目標(biāo)物體的表觀模型和運(yùn)動(dòng)搜索框架兩個(gè)方面著手，使其符合低幀率視頻的特性。

發(fā)明內(nèi)容
為了克服低幀率視頻所帶來的目標(biāo)表觀和運(yùn)動(dòng)突變的問題，本發(fā)明提出從以下三 個(gè)方面著手來建立一個(gè)魯棒的面向低幀率視頻的目標(biāo)跟蹤系統(tǒng)1)目標(biāo)表示；2)模型匹 配；3)運(yùn)動(dòng)搜索。首先，提出融合主顏色及其空間分布的表觀模型和交叉顏色比例的匹配 準(zhǔn)則，使得模型有效地處理目標(biāo)表觀和光線的突變；其次，提出基于生物群智能的運(yùn)動(dòng)搜索 方法，從而對運(yùn)動(dòng)突變進(jìn)行有效地跟蹤。為了實(shí)現(xiàn)上述的目的，本發(fā)明采用了以下的技術(shù)方案
建立一個(gè)魯棒的面向低幀率視頻的目標(biāo)跟蹤系統(tǒng)，包括以下的步驟I.融合主顔色及其空間分布信息的目標(biāo)表觀及其更新，主要有以下步驟第一歩，將目標(biāo)區(qū)域像素從RGB轉(zhuǎn)換到rgl顔色空間，再計(jì)算像素顔色的歐氏距 離，從而建立目標(biāo)區(qū)域像素間的權(quán)重圖矩陣；第二歩，利用所建立像素間的圖結(jié)構(gòu)，對像素采用主導(dǎo)集聚類算法可依次獲得目 標(biāo)區(qū)域的主顏色模式，當(dāng)剰余像素個(gè)數(shù)小于一定的閾值，則聚類結(jié)束，并認(rèn)為剰余像素為噪 聲；第三步，提取落在每個(gè)主顏色模式內(nèi)所有像素的包括權(quán)重、均值和方差的空間分 布信息，而且所有像素點(diǎn)的空間位置需要進(jìn)行中心化處理(為了消除絕對位置的影響)；第四步，在每ー幀跟蹤結(jié)束之后，對主顏色模式及其空間分布信息進(jìn)行更新；2.在完成對目標(biāo)區(qū)域模板的“主顔色+空間”表示后，當(dāng)跟蹤系統(tǒng)獲得一個(gè)候選區(qū) 域時(shí)，需要對候選區(qū)域與目標(biāo)模型進(jìn)行相似度匹配。本發(fā)明就提出了基于交叉顔色比例的 匹配準(zhǔn)則，基本步驟如下第一歩，在給定目標(biāo)模板的主顏色模式上利用最近鄰算法確定候選區(qū)域的主顔色 模式，再計(jì)算各自主顔色模式間的交叉比例矩陣；第二步，根據(jù)所建立的不同交叉比例矩陣，計(jì)算兩個(gè)矩陣間的平方和距離作為顏 色模式的匹配誤差；第三步，根據(jù)目標(biāo)模板中主顔色的空間分布信息，計(jì)算候選區(qū)域中對應(yīng)顏色模式 的空間匹配誤差，并與顏色匹配誤差進(jìn)行融合；3.在應(yīng)用退火粒子群優(yōu)化框架前，需要定義ー個(gè)適應(yīng)值函數(shù)來表征樣本粒子與目 標(biāo)模板的匹配程度。為了避免在適應(yīng)值評價(jià)過程中多次計(jì)算圖像的重復(fù)區(qū)域，本發(fā)明設(shè)計(jì) 一種基于參數(shù)積分圖的適應(yīng)值快速計(jì)算方法，具體實(shí)現(xiàn)步驟如下第一歩，根據(jù)粒子群優(yōu)化算法中的最大限制速度參數(shù)來確定潛在樣本粒子所能覆 蓋的最大區(qū)域；第二步，根據(jù)目標(biāo)模板的主顏色模式和最近鄰算法確定該圖像區(qū)域中每個(gè)像素屬 于哪個(gè)主顏色模式，從而獲得整個(gè)圖像區(qū)域像素的標(biāo)簽；第三步，針對每ー個(gè)像素，記錄其標(biāo)簽和空間參數(shù)形成ー個(gè)5維向量，并計(jì)算該5 維向量的積分圖；第四步，對于給定樣本粒子的對應(yīng)區(qū)域，根據(jù)積分圖查找該區(qū)域的模型參數(shù)，井根 據(jù)匹配準(zhǔn)則計(jì)算該粒子的適應(yīng)值；4.對于由低幀率視頻所引起的突變運(yùn)動(dòng)，本發(fā)明設(shè)計(jì)ー種模擬生物群智能的退火 粒子群優(yōu)化框架來捜索。其主要步驟如下第一歩，對上ー幀圖像跟蹤收斂后的個(gè)體最優(yōu)粒子進(jìn)行時(shí)序上的隨機(jī)傳播，以提 高樣本粒子的多祥性，由于個(gè)體最優(yōu)粒子的緊致性，所以不需要對粒子進(jìn)行重采樣；第二步，對樣本粒子進(jìn)行退火優(yōu)化迭代，在迭代過程中需要通過適應(yīng)值評價(jià)更新 粒子群的個(gè)體最優(yōu)粒子和群體最優(yōu)粒子，用以指導(dǎo)粒子群的進(jìn)化迭代過程；第三步，對進(jìn)化的粒子進(jìn)行收斂性判斷，并輸出跟蹤結(jié)果；本發(fā)明的有益效果是I、本發(fā)明所提出的跟蹤算法是ー種面向低幀率視頻的目標(biāo)跟蹤的方法；〔0028〕 2、本發(fā)明提出一種融合主顏色及其空間分布信息的目標(biāo)表觀模型，采用主導(dǎo)集 聚類算法獲得目標(biāo)區(qū)域的主顏色模式，該算法可根據(jù)樣本的“緊致性”自動(dòng)決定類的個(gè)數(shù)， 產(chǎn)生層次清晰的聚類類別，從而保留最具判別性的顏色模式，剔除噪聲像素的影響，并且該 算法的計(jì)算量小，容易滿足實(shí)時(shí)性需求。同時(shí)提取主顏色在空間位置中的分布模式，既可以 保留顏色模型的適應(yīng)性，又提高了模型的判別性。
〔0029〕 3、本發(fā)明提出一種交叉顏色比例的匹配準(zhǔn)則，該準(zhǔn)則較其他準(zhǔn)則(如 811511:1:51(311511*75^系數(shù)、如116狀卜匕讓丨一!'散度等)更為魯棒，具體表現(xiàn)以下兩個(gè)方面該 準(zhǔn)則采用顏色比例可有效消除光照變化的影響計(jì)算距離時(shí)將每個(gè)顏色模式對所有其 他顏色模式考慮進(jìn)來，可減輕背景噪聲像素和遮擋部分像素的影響。
〔0030〕 4本發(fā)明提出的退火粒子群優(yōu)化框架是一個(gè)基于分布重要性采樣的過程，通過粗 采樣和細(xì)采樣兩個(gè)步驟將圖像觀測信息加入到采樣過程中，從而得到的采樣結(jié)果逼近直接 采樣于最佳重要性分布的結(jié)果，也很好的解決了突然運(yùn)動(dòng)的搜索問題。
〔0031〕 5^本發(fā)明提出一種基于積分圖的適應(yīng)值快速計(jì)算方法避免了在評價(jià)過程中多次 計(jì)算圖像的重復(fù)區(qū)域。每個(gè)像素只需一次匹配計(jì)算，即使運(yùn)動(dòng)搜索的迭代次數(shù)增加了，也不 會(huì)增加計(jì)算復(fù)雜度。


〔0032〕 下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明。
〔0033〕 圖1是本發(fā)明的跟蹤系統(tǒng)的整體框架；
具體實(shí)施例方式
〔0034〕 下面通過實(shí)施例對本發(fā)明進(jìn)行具體的描述，只用于對本發(fā)明進(jìn)行進(jìn)一步說明，不 能理解為對本發(fā)明保護(hù)范圍的限定，該領(lǐng)域的技術(shù)人員可根據(jù)上述發(fā)明的內(nèi)容對本發(fā)明作 出一些非本質(zhì)的改進(jìn)和調(diào)整。
〔0035〕 如圖1所示，圖1為本發(fā)明整體框架。本發(fā)明為一種面向低幀率視頻的目標(biāo)跟蹤 方法，本發(fā)明的方法具體運(yùn)行的硬件和編程語言并不限制，用任何語言編寫都可以完成，為 此其它工作模式不再贅述。
〔0036〕 本發(fā)明的實(shí)施例采用一臺(tái)具有3丨26赫茲中央處理器和字節(jié)內(nèi)存的奔騰4計(jì)算 機(jī)并用1社1處語言編制了工作程序，實(shí)現(xiàn)了本發(fā)明的方法，本發(fā)明的面向低幀率視頻的目 標(biāo)跟蹤方法包括以下步驟
〔0037〕 計(jì)算融合主顏色及其空間分布信息的目標(biāo)表觀、交叉顏色比例的匹配準(zhǔn)則的構(gòu) 建、模擬生物群智能的退火粒子群優(yōu)化框架的更新及判斷、基于積分圖的適應(yīng)值快速計(jì)算 等模塊，具體步驟如下所述
〔0038〕(丨)首先將目標(biāo)區(qū)域像素按公式
〔0039〕 1- ^ (^+^)，8 二 以(^+^)，I 二 (^+^)
〔0040〕 進(jìn)行顏色空間的轉(zhuǎn)變；然后再定義像素間的權(quán)重圖如下
〔0041〕 I』二 |2
〔0042〕 其中匕二 (巧，。I》，1，』分別表示第1個(gè)像素和第』個(gè)像素。
〔0043〕 再通過主導(dǎo)集聚類的方法就可以依次得到主顏色模式6、。
(2)計(jì)算落在第1個(gè)顏色模式的所有像素的空間分布模式均值、方差分別如下
權(quán)利要求
1.一種面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，包括以下步驟 (1)在融合主顔色及其空間分布的目標(biāo)表示過程中要將目標(biāo)區(qū)域像素的顔色空間從RGB轉(zhuǎn)換到rgl空間，再采用主導(dǎo)集聚類的方法獲得像素的主顏色模式； (2)對于落在每個(gè)主顏色模式內(nèi)所有像素的包括權(quán)重、均值和方差的空間分布信息進(jìn)行計(jì)算，并與顏色模式信息進(jìn)行融合及更新； (3)對給定目標(biāo)模板的主顏色模式利用最近鄰算法確定候選區(qū)域的主顏色模式，進(jìn)而計(jì)算各主顔色模式間的交叉比例矩陣及顏色模式的匹配誤差； (4)根據(jù)目標(biāo)模板中主顔色的空間分布信息計(jì)算候選區(qū)域中對應(yīng)顏色模式的空間匹配誤差，并且與顔色匹配誤差進(jìn)行融合； (5)在已確定的最大圖像區(qū)域計(jì)算其中每個(gè)像素的標(biāo)簽，并將其與空間參數(shù)構(gòu)成5維向量，再計(jì)算該5維向量的積分圖； (6)根據(jù)積分圖查找給定樣本粒子的對應(yīng)區(qū)域的模型參數(shù)，并根據(jù)匹配準(zhǔn)則計(jì)算該粒子的適應(yīng)值； (7)根據(jù)退火粒子群優(yōu)化的運(yùn)動(dòng)搜索框架對樣本粒子進(jìn)行退火優(yōu)化迭代，同時(shí)還要利用適應(yīng)值評價(jià)更新粒子群的個(gè)體最優(yōu)粒子和全體最優(yōu)粒子，然后對進(jìn)化的粒子進(jìn)行收斂性判斷并輸出跟蹤結(jié)果。
2.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(1)具體包括以下子步驟 首先，目標(biāo)區(qū)域像素顔色空間的轉(zhuǎn)換； 其次，計(jì)算像素顏色的歐氏距離，由此建立像素間的權(quán)重圖矩陣； 最后，由圖結(jié)構(gòu)依次獲得主顏色模式。
3.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(2)具體包括以下子步驟 首先，從權(quán)重、均值、方差三個(gè)方面計(jì)算像素的空間分布模式，而且像素點(diǎn)的位置還要中心化處理； 其次，將空間分布信息與顔色分布信息進(jìn)行融合及更新。
4.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(3)具體包括以下子步驟 首先，確定候選區(qū)域的主顏色模式； 其次，計(jì)算各自主顔色模式間的交叉比例矩陣； 最后，計(jì)算兩個(gè)矩陣間的平方和距離作為顏色模式的匹配誤差。
5.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(4)具體包括以下子步驟 首先，計(jì)算候選區(qū)域中對應(yīng)顏色模式的空間匹配誤差； 其次，將顏色匹配誤差與空間匹配誤差進(jìn)行融合。
6.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(5)具體包括以下子步驟 首先，確定潛在樣本粒子所能覆蓋的最大圖像區(qū)域； 其次，由最大圖像區(qū)域中的每個(gè)像素的主顏色模式可得該區(qū)域像素的標(biāo)簽；最后，計(jì)算由標(biāo)簽和空間參數(shù)構(gòu)成的5維向量的積分圖。
7.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(6)具體包括以下子步驟 首先，根據(jù)積分圖查找給定樣本粒子的對應(yīng)區(qū)域的模型參數(shù)； 其次，根據(jù)匹配準(zhǔn)則計(jì)算該粒子的適應(yīng)值。
8.根據(jù)權(quán)利要求I所述的面向低幀率視頻的目標(biāo)跟蹤方法，其特征在于，所述的步驟(7)具體包括以下子步驟 首先，對前ー幀圖像收斂后的個(gè)體最優(yōu)粒子進(jìn)行時(shí)序上的隨機(jī)傳播； 其次，對樣本粒子進(jìn)行退火優(yōu)化迭代，同時(shí)還要通過適應(yīng)值評價(jià)更新粒子群個(gè)體最優(yōu)粒子和群體最優(yōu)粒子； 最后，對進(jìn)化的粒子進(jìn)行收斂性判斷。
全文摘要
本發(fā)明公開了一種面向低幀率視頻的目標(biāo)跟蹤方法，其包含主要的步驟如下(1)將目標(biāo)區(qū)域用融合主顏色及其空間分布特征的方法表示；(2)對候選區(qū)域與目標(biāo)區(qū)域采用基于交叉顏色比例的匹配準(zhǔn)則進(jìn)行相似度匹配；(3)采用一種基于參數(shù)積分圖的適應(yīng)值函數(shù)來表征樣本粒子與目標(biāo)模板的匹配程度；(4)利用一種模擬生物群智能的退火粒子群優(yōu)化框架來搜索低幀率視頻所引起的突變運(yùn)動(dòng)。本發(fā)明實(shí)現(xiàn)了有效的目標(biāo)跟蹤方法，相對于其他經(jīng)典低幀率跟蹤算法，實(shí)驗(yàn)結(jié)果表明該發(fā)明更加有效和魯棒。
文檔編號G06T7/20GK102663775SQ201210089248
公開日2012年9月12日 申請日期2012年3月30日 優(yōu)先權(quán)日2012年3月30日
發(fā)明者張笑欽 申請人:溫州大學(xué)