本發(fā)明涉及一種目標(biāo)跟蹤方法，具體涉及一種基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)：

目標(biāo)跟蹤方法是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題之一。精確的目標(biāo)跟蹤能為視頻數(shù)據(jù)的進(jìn)一步分析提供可靠的基礎(chǔ)，所以廣泛應(yīng)用于自動(dòng)駕駛、視頻監(jiān)控、無(wú)人機(jī)和人機(jī)交互等重要場(chǎng)合。雖然目標(biāo)跟蹤已經(jīng)取得較大發(fā)展，但是仍然面臨著諸多挑戰(zhàn)制約其性能的提高，比如目標(biāo)的幾何形變、部分遮擋和背景雜亂等。

目前，絕大多數(shù)目標(biāo)跟蹤算法按照目標(biāo)表示方法分類，可以分為基于目標(biāo)整體框模型的跟蹤算法和基于目標(biāo)部件模型的跟蹤算法。其中，前者采用一個(gè)矩形框表示目標(biāo)，強(qiáng)調(diào)對(duì)目標(biāo)整體的表象學(xué)習(xí)，該方法對(duì)光照變化、背景雜亂等情況魯棒，但是在因形變、遮擋或者尺度變化引起的表象劇烈變化時(shí)容易跟蹤失敗，后者采用目標(biāo)部件(像素、超像素或矩形部件等)的集合表示目標(biāo)，主要學(xué)習(xí)其局部結(jié)構(gòu)信息，因?yàn)閱蝹€(gè)目標(biāo)部件鑒別力低，通常需要建立目標(biāo)結(jié)構(gòu)圖來(lái)考慮部件之間的結(jié)構(gòu)信息，將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為圖匹配問(wèn)題。

基于圖模型的跟蹤算法通常包含以下三個(gè)順序模塊：目標(biāo)部件選擇、目標(biāo)部件匹配和目標(biāo)狀態(tài)估計(jì)。其中，目標(biāo)部件選擇是指使用表象模型從背景中區(qū)分出候選目標(biāo)部件，目標(biāo)部件匹配是指根據(jù)表象和結(jié)構(gòu)相似性來(lái)關(guān)聯(lián)相鄰兩幀的部件，目標(biāo)狀態(tài)估計(jì)是指根據(jù)匹配結(jié)果估計(jì)出目標(biāo)狀態(tài)(目標(biāo)中心位置和目標(biāo)尺度)。

但是這樣的順序機(jī)制并不足以實(shí)現(xiàn)在復(fù)雜場(chǎng)景下的魯棒跟蹤。

首先，目標(biāo)部件選擇和后續(xù)兩個(gè)模塊相對(duì)獨(dú)立，使得不精確的表象模型會(huì)直接對(duì)匹配結(jié)果造成負(fù)面影響，進(jìn)而造成跟蹤失敗。

其次，它們并沒(méi)有考慮全局限制，使其在雜亂背景下對(duì)背景噪聲比較敏感。

進(jìn)一步的，該機(jī)制不足以反映這三個(gè)模塊的真實(shí)關(guān)系：

(1)連續(xù)兩幀的部件匹配能為當(dāng)前幀的部件選擇提供補(bǔ)充信息，反之亦然；

(2)部件選擇和匹配提取了局部表象變化，有助于整體目標(biāo)狀態(tài)估計(jì)；

(3)估計(jì)的目標(biāo)狀態(tài)反過(guò)來(lái)能為部件選擇和匹配提供一個(gè)整體約束，取得更高精度。

如果能同時(shí)考慮三個(gè)模塊之間的相互支持和促進(jìn)關(guān)系，將有助于建立更加精確的跟蹤模型。而先前的工作并沒(méi)有考慮這些問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有基于圖模型的跟蹤算法局限于局部表象建模，而不能同時(shí)考慮各模塊相互支持促進(jìn)的不足，本發(fā)明的目的在于提供一種基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法。

為了實(shí)現(xiàn)上述目標(biāo)，本發(fā)明采用如下的技術(shù)方案：

基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法，其特征在于，包括以下步驟：

s0、初始化目標(biāo)模型

根據(jù)第一幀標(biāo)定的目標(biāo)狀態(tài)，得到目標(biāo)尺度兩倍大小的目標(biāo)搜索區(qū)域r，然后將該目標(biāo)搜索區(qū)域r過(guò)分割為一系列顏色相似像素的超像素收集在目標(biāo)框內(nèi)的超像素為正樣本，目標(biāo)框外的超像素為負(fù)樣本，這樣學(xué)習(xí)一個(gè)線性支持向量機(jī)模型作為表象模型m以及相關(guān)濾波器模型f作為整體約束，另外，建立目標(biāo)結(jié)構(gòu)圖模型g＝{v,c}，其中v表示目標(biāo)部件集合，c表示臨近目標(biāo)部件集合關(guān)系組成的邊的集合；

s1、輸入下一視頻幀

根據(jù)上一幀的目標(biāo)狀態(tài)b，確定當(dāng)前幀的目標(biāo)搜索區(qū)域，在目標(biāo)中心位置的兩倍當(dāng)前目標(biāo)尺度搜索，然后將該目標(biāo)搜索區(qū)域過(guò)分割為一系列超像素；

s2、求解目標(biāo)部件標(biāo)簽

給定目標(biāo)模型m,g,f和目標(biāo)狀態(tài)b，則能量最小化函數(shù)可表示為：

其中，e^ps和e^pm分別表示目標(biāo)部件選擇的能量、目標(biāo)部件匹配的能量，和p(lp＝f0)分別表示前景和背景像素占目標(biāo)狀態(tài)矩形框的比例值，λ¹為平衡兩項(xiàng)的系數(shù)；

然后使用圖割算法求解得到目標(biāo)部件標(biāo)簽l；

s3、求解目標(biāo)狀態(tài)

得到目標(biāo)部件標(biāo)簽l以后，聯(lián)合相關(guān)濾波器模型f求解目標(biāo)狀態(tài)b；

s4、更新目標(biāo)模型

根據(jù)求解得到的目標(biāo)部件標(biāo)簽l和目標(biāo)狀態(tài)b更新目標(biāo)模型m,g,f，如下式所示：

其中，e^da表示超像素部件p屬于前景或者背景的概率，e^pm表示目標(biāo)部件匹配的能量，f(b,r)表示搜索區(qū)域r中任意目標(biāo)狀態(tài)b對(duì)應(yīng)的響應(yīng)分?jǐn)?shù)，λ¹為平衡兩項(xiàng)的系數(shù)；

各項(xiàng)相互獨(dú)立，可以分別更新各個(gè)模型，通過(guò)目標(biāo)部件標(biāo)簽l和目標(biāo)狀態(tài)b得到訓(xùn)練樣本，學(xué)習(xí)新的目標(biāo)模型m,g,f；

s5、輸出當(dāng)前幀目標(biāo)狀態(tài)

在步驟s4中，如果能量減小，則接受模型更新，轉(zhuǎn)到步驟s2繼續(xù)迭代優(yōu)化；否則，退出迭代循環(huán)，輸出當(dāng)前幀最優(yōu)的目標(biāo)狀態(tài)，轉(zhuǎn)到步驟s1。

前述的基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法，其特征在于，在步驟s0中，將目標(biāo)搜索區(qū)域r過(guò)分割為一系列顏色相似像素的超像素使用的是simplelineariterativeclustering算法。

前述的基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法，其特征在于，在步驟s3中，求解目標(biāo)狀態(tài)b的方法為：

(1)使用采樣方法得到一系列候選目標(biāo)狀態(tài)；

(2)基于上一幀目標(biāo)尺度選擇當(dāng)前幀的目標(biāo)中心位置；

(3)選出使目標(biāo)函數(shù)能量最小的目標(biāo)尺度。

本發(fā)明的有益之處在于：

(1)相比于之前基于結(jié)構(gòu)圖模型的目標(biāo)跟蹤算法相對(duì)獨(dú)立考慮各模塊的促進(jìn)作用，本發(fā)明將基于圖模型的跟蹤算法的順序組織的模塊在能量最小化框架中統(tǒng)一考慮，能更好挖掘各模塊之間的相互支持關(guān)系，使它們相互約束和促進(jìn)，提升跟蹤效果；

(2)本發(fā)明采用基于輪換迭代的優(yōu)化方法，將原始的多變量?jī)?yōu)化問(wèn)題分解為多個(gè)較易處理的能量最小化子問(wèn)題來(lái)逐一求解，使得學(xué)習(xí)到的目標(biāo)結(jié)構(gòu)圖模型在全局目標(biāo)表象約束下更好地表示目標(biāo)結(jié)構(gòu)的局部變化，提高了目標(biāo)跟蹤精度。

附圖說(shuō)明

圖1是本發(fā)明的基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤示意圖；

圖2是本發(fā)明的基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法流程圖。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作具體的介紹。

參照?qǐng)D1和圖2，本發(fā)明的基于受限結(jié)構(gòu)圖搜索的目標(biāo)跟蹤方法包括以下步驟：

s0、初始化目標(biāo)模型

根據(jù)第一幀標(biāo)定的目標(biāo)狀態(tài)，得到目標(biāo)尺度兩倍大小的目標(biāo)搜索區(qū)域r，然后使用simplelineariterativeclustering算法(slic算法)將該目標(biāo)搜索區(qū)域r過(guò)分割為一系列顏色相似像素的超像素超像素相比于規(guī)則的圖像塊，能更好地保留目標(biāo)邊緣信息，減小背景噪聲。

收集在目標(biāo)框內(nèi)的超像素為正樣本，目標(biāo)框外的超像素為負(fù)樣本，這樣學(xué)習(xí)一個(gè)線性支持向量機(jī)模型作為表象模型m以及相關(guān)濾波器模型f作為整體約束，另外，建立目標(biāo)結(jié)構(gòu)圖模型g＝{v,c}，其中v表示目標(biāo)部件集合，c表示臨近目標(biāo)部件集合關(guān)系組成的邊的集合。

s1、輸入下一視頻幀

根據(jù)上一幀的目標(biāo)狀態(tài)b，確定當(dāng)前幀的目標(biāo)搜索區(qū)域，即在目標(biāo)中心位置的兩倍當(dāng)前目標(biāo)尺度搜索，然后將該目標(biāo)搜索區(qū)域過(guò)分割為一系列超像素。

s2、求解目標(biāo)部件標(biāo)簽

對(duì)于目標(biāo)部件選擇，其目標(biāo)為借助于表象模型m從背景(記作f0)中選擇出目標(biāo)部件為了對(duì)目標(biāo)結(jié)構(gòu)信息進(jìn)行建模，建立一個(gè)目標(biāo)結(jié)構(gòu)圖模型g來(lái)區(qū)分每一個(gè)目標(biāo)部件。為方便起見(jiàn)，使用目標(biāo)部件標(biāo)簽集合來(lái)表達(dá)其狀態(tài)。在此基礎(chǔ)上，相關(guān)濾波器模型f可以為目標(biāo)狀態(tài)b提供一個(gè)全局約束。

終上所述，本發(fā)明建立的能量最小化模型如下式所示：

其中，e^ps、e^pm和e^se分別表示目標(biāo)部件選擇的能量、目標(biāo)部件匹配的能量和目標(biāo)狀態(tài)估計(jì)的能量，λ^se為平衡系數(shù)。

各項(xiàng)具體定義如下：

(1)目標(biāo)部件選擇的能量e^ps的定義為：

其中，e^da表征超像素部件屬于前景或者背景的概率，e^sm確保了標(biāo)簽標(biāo)記的連續(xù)性，λ^b為平衡系數(shù)。

(2)目標(biāo)部件匹配的能量e^pm的定義為：

其中，e^ap衡量超像素部件對(duì)結(jié)構(gòu)圖模型g中目標(biāo)部件的相似性，e^ge衡量目標(biāo)部件的局部結(jié)構(gòu)的相似性，λ^b為平衡系數(shù)。

(3)目標(biāo)狀態(tài)估計(jì)的能量e^se的定義為：

其中，f(b,r)表示搜索區(qū)域r中任意目標(biāo)狀態(tài)b對(duì)應(yīng)的響應(yīng)分?jǐn)?shù)，而和p(lp＝f0)分別表示前景和背景像素占目標(biāo)狀態(tài)矩形框的比例值，λ¹為平衡兩項(xiàng)的系數(shù)。

在給定了目標(biāo)模型m,g,f和目標(biāo)狀態(tài)b之后，本發(fā)明的能量最小化模型可以重新表示為：

由于上述能量最小化模型包含了多類變量，很難同時(shí)優(yōu)化，所以本發(fā)明采用輪換迭代的優(yōu)化方式將優(yōu)化過(guò)程分為三個(gè)階段：

(1)固定目標(biāo)模型m,g,f和目標(biāo)狀態(tài)b，求解目標(biāo)部件標(biāo)簽l；

(2)固定目標(biāo)模型m,g,f和目標(biāo)部件標(biāo)簽l，求解目標(biāo)狀態(tài)b；

(3)固定目標(biāo)狀態(tài)b和目標(biāo)部件標(biāo)簽l，更新目標(biāo)模型m,g,f。

如此三個(gè)階段交替進(jìn)行，直到總能量不再降低而退出迭代循環(huán)，最后計(jì)算得到當(dāng)前幀最優(yōu)的目標(biāo)狀態(tài)b^*(如圖1所示)。

在求解目標(biāo)部件標(biāo)簽l這一步中，我們執(zhí)行的是上述優(yōu)化過(guò)程的第一個(gè)階段，即固定目標(biāo)模型m,g,f和目標(biāo)狀態(tài)b，求解目標(biāo)部件標(biāo)簽l，并具體使用圖割算法求解得到目標(biāo)部件標(biāo)簽l。

s3、求解目標(biāo)狀態(tài)

在求解目標(biāo)狀態(tài)b這一步中，我們執(zhí)行的是上述優(yōu)化過(guò)程的第二個(gè)階段，即得到目標(biāo)部件標(biāo)簽l以后，聯(lián)合相關(guān)濾波器模型f，求解目標(biāo)狀態(tài)b。具體地，采樣一系列候選目標(biāo)狀態(tài)中選擇出最小能量的狀態(tài)，以滿足目標(biāo)公式

求解目標(biāo)狀態(tài)b的方法具體為：

(1)使用采樣方法得到一系列候選目標(biāo)狀態(tài)；

(2)基于上一幀目標(biāo)尺度選擇當(dāng)前幀的目標(biāo)中心位置；

(3)選出使目標(biāo)函數(shù)能量最小的目標(biāo)尺度。

s4、更新目標(biāo)模型

在更新目標(biāo)模型m,g,f這一步中，我們執(zhí)行的是上述優(yōu)化過(guò)程的第三個(gè)階段，即為了適應(yīng)目標(biāo)在運(yùn)動(dòng)過(guò)程中的表象變化，根據(jù)求解得到的目標(biāo)部件標(biāo)簽l和目標(biāo)狀態(tài)b，更新目標(biāo)模型m,g,f，如下式所示：

其中，e^da表示超像素部件p屬于前景或者背景的概率，e^pm表示目標(biāo)部件匹配的能量，f(b,r)表示搜索區(qū)域r中任意目標(biāo)狀態(tài)b對(duì)應(yīng)的響應(yīng)分?jǐn)?shù)，λ¹為平衡兩項(xiàng)的系數(shù)。

各項(xiàng)相互獨(dú)立，可以分別更新各個(gè)模型，具體地，通過(guò)目標(biāo)部件標(biāo)簽l和目標(biāo)狀態(tài)b得到訓(xùn)練樣本，學(xué)習(xí)新的目標(biāo)模型m,g,f。

s5、輸出當(dāng)前幀目標(biāo)狀態(tài)

在步驟s4中，如果能量減小，則接受模型更新，轉(zhuǎn)到步驟s2繼續(xù)迭代優(yōu)化；如果能量不再降低，則退出迭代循環(huán)，輸出當(dāng)前幀最優(yōu)的目標(biāo)狀態(tài)b^*，轉(zhuǎn)到步驟s1。

綜上所述，本發(fā)明通過(guò)建立一個(gè)統(tǒng)一的能量最小化模型，將基于圖模型的目標(biāo)跟蹤算法的各模塊集成到了一起，不僅同時(shí)考慮到了算法各模塊的促進(jìn)作用，而且還挖掘了其相互支持的關(guān)系，最終使得跟蹤效果得到了進(jìn)一步提高。

此外，針對(duì)該能量最小化模型，本發(fā)明采用輪換迭代的優(yōu)化方法對(duì)各變量進(jìn)行求解，基于能量逐漸減小的迭代過(guò)程，可以在全局目標(biāo)表象的約束下搜索得到更加可靠的目標(biāo)結(jié)構(gòu)圖模型用以表達(dá)目標(biāo)部件的表象和結(jié)構(gòu)。

需要說(shuō)明的是，上述實(shí)施例不以任何形式限制本發(fā)明，凡采用等同替換或等效變換的方式所獲得的技術(shù)方案，均落在本發(fā)明的保護(hù)范圍內(nèi)。