本發(fā)明屬于圖像處理、視頻監(jiān)控和計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，特指一種基于有序比對(duì)特征的目標(biāo)跟蹤方法。

背景技術(shù)：

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，智能視覺(jué)監(jiān)控技術(shù)正在成為研究熱點(diǎn)。通過(guò)計(jì)算機(jī)智能地分析從攝像頭中獲取的圖像序列，對(duì)被監(jiān)控場(chǎng)景中的內(nèi)容進(jìn)行理解，實(shí)現(xiàn)對(duì)異常行為的自動(dòng)預(yù)警和報(bào)警。智能視覺(jué)監(jiān)控技術(shù)可以廣泛應(yīng)用于公共安全監(jiān)控、工業(yè)現(xiàn)場(chǎng)監(jiān)控、交通狀態(tài)監(jiān)控等各種監(jiān)控場(chǎng)景中，能夠顯著提高監(jiān)控效率，降低監(jiān)控成本，具有廣泛的研究意義和應(yīng)用前景。

在視頻圖像中進(jìn)行目標(biāo)跟蹤是指在連續(xù)相關(guān)的視頻圖像間，基于形狀、紋理、色彩等有關(guān)特征對(duì)指定目標(biāo)創(chuàng)建對(duì)應(yīng)的匹配關(guān)系，為后續(xù)行為分析提供目標(biāo)軌跡和運(yùn)動(dòng)參數(shù)等信息。它在智能視覺(jué)監(jiān)控技術(shù)中起著至關(guān)重要的作用。

目前常用的跟蹤方法主要有基于區(qū)域信息的跟蹤方法、基于特征信息的跟蹤方法、基于形變模板的跟蹤方法以及基于貝葉斯推斷濾波技術(shù)的跟蹤方法。其中基于濾波技術(shù)的跟蹤方法可以通過(guò)訓(xùn)練方式獲得的狀態(tài)模型適應(yīng)各種復(fù)雜環(huán)境問(wèn)題，并且采用了遞歸的迭代運(yùn)算處理，計(jì)算效率有了很大提高。因此基于濾波技術(shù)的方法受到了各國(guó)學(xué)者廣泛且深入的研究，成為目標(biāo)跟蹤領(lǐng)域的主流方法之一。

基于濾波技術(shù)的跟蹤方法主要包括均值濾波跟蹤、粒子濾波跟蹤、卡爾曼濾波跟蹤等，雖然各種方法很多，但在一些智能視頻的實(shí)際應(yīng)用場(chǎng)景下，其跟蹤效果依然不夠理想，無(wú)法滿足實(shí)際需求。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有跟蹤方法的不足，本發(fā)明其目的在于提出一種基于有序比對(duì)特征的目標(biāo)跟蹤方法。

本發(fā)明的技術(shù)方案是：

一種基于有序比對(duì)特征的目標(biāo)跟蹤方法，包括以下步驟：

S1對(duì)目標(biāo)進(jìn)行視頻拍攝，得到目標(biāo)的視頻序列圖像{P_n(x,y)|n＝1,2,…N}；

S2在視頻序列圖像的第一幀圖像對(duì)目標(biāo)跟蹤進(jìn)行初始化。在第一幀圖像中手工選擇包含目標(biāo)的一個(gè)矩形，記為目標(biāo)矩形A(x,y)。

S3在下一幀圖像進(jìn)行基于有序比對(duì)的目標(biāo)跟蹤，即根據(jù)第n(≥1)幀的目標(biāo)矩形的位置，計(jì)算第n+1幀的跟蹤矩形的位置。

S31選取粒子數(shù)量M＝50，每個(gè)粒子表示一個(gè)跟蹤矩形，且第n+1幀的跟蹤矩形的大小和第n幀的目標(biāo)矩形的大小完全相同，所以每個(gè)粒子用3個(gè)參數(shù)表示即其中表示跟蹤矩形的權(quán)重，表示跟蹤矩形的中心坐標(biāo)，標(biāo)號(hào)m∈{1,…,M}表示粒子的序號(hào)。

已知第n幀的目標(biāo)矩形A(x,y)，中心像素為(x₀,y₀)以及其周圍的背景區(qū)域B(x,y)。接下來(lái)在第n+1幀圖像上，以(x₀,y₀)為中心，隨機(jī)選取50個(gè)位置作為粒子的中心坐標(biāo)：

其中ε₁,ε₂均為[-1,1]內(nèi)的隨機(jī)數(shù)，β是一個(gè)常數(shù)，表示單幀像素偏移的范圍，這里取值50。然后給每個(gè)粒子的權(quán)重賦初值，初始權(quán)重設(shè)為1/M；

根據(jù)上述步驟，每個(gè)粒子的初始權(quán)重和位置信息都已經(jīng)得到。

S32計(jì)算每個(gè)粒子代表的跟蹤矩形和前一幀(即第n幀)的目標(biāo)矩形的相似程度。相似程度越高的粒子賦予較大的權(quán)值，反之權(quán)值較小。

S3.2.1任取一個(gè)粒子記此粒子所表示的跟蹤矩形為TA(x,y)。將目標(biāo)矩形A(x,y)平均分成100個(gè)區(qū)域，每個(gè)區(qū)域大小都一樣，然后在每個(gè)區(qū)域隨機(jī)選擇一個(gè)3×3的圖像小塊，記為{a1(x,y),a2(x,y),…,a100(x,y)}。將跟蹤矩形TA(x,y)按照同樣的方法平均分成100個(gè)區(qū)域，每個(gè)區(qū)域大小都一樣，然后在跟蹤矩形TA(x,y)上相同的位置也可得到100個(gè)3×3的圖像小塊，記為{b1(x,y),b2(x,y),…,b100(x,y)}。其中a_i(x,y)和b_i(x,y)是一一對(duì)應(yīng)的，i∈{1,2,…,100}。

S3.2.2分別對(duì)目標(biāo)矩形A(x,y)上、跟蹤矩形TA(x,y)上所有的3×3圖像小塊進(jìn)行有序比對(duì)編碼；

對(duì)任一3×3的圖像小塊進(jìn)行有序比對(duì)編碼其方法為：通過(guò)度量圖像小塊與其周圍均勻分布的同等大小的八個(gè)矩形區(qū)域之間平均灰度的有序比對(duì)關(guān)系，并用二進(jìn)制編碼把這八個(gè)有序比對(duì)關(guān)系串接成一個(gè)描述子，獲得一個(gè)特征值。

對(duì)目標(biāo)矩形A(x,y)上所有的圖像小塊都采用上述方法進(jìn)行有序比對(duì)編碼，最終可以得到一個(gè)長(zhǎng)度為100的特征向量，然后進(jìn)行歸一化處理得到最終的特征向量，記為YXT1，同樣的對(duì)跟蹤矩形TA(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，也可以得到一個(gè)長(zhǎng)度為100的歸一化特征向量，記為YXT2。

本發(fā)明提出的有序比對(duì)特征的編碼思想借鑒了局部二元模式描述子，但矩形區(qū)域之間的比對(duì)比像素之間的比對(duì)更加穩(wěn)定可靠，因?yàn)橛?jì)算平均灰度也即均值濾波操作，對(duì)圖像噪聲有很好的抑制作用。

a.對(duì)于目標(biāo)矩形A(x,y)上的任一圖像小塊a_i(x,y)，計(jì)算其的灰度均值其中Ω表示圖像小塊a_i(x,y)所有的像素集合。

b.以圖像小塊a_i(x,y)為中心，選擇其周圍均勻分布的八個(gè)的大小為3×3的矩形區(qū)域：記圖像小塊a_i(x,y)的中心像素位置為(x₀,y₀)，那么其周圍八個(gè)大小為3×3的矩形區(qū)域的中心像素分別為(x₀-6,y₀)、(x₀-3,y₀+3)、(x₀,y₀+6)、(x₀+3,y₀+3)、(x₀+6,y₀)、(x₀+3,y₀-3)、(x₀,y₀-6)、(x₀-3,y₀-3)，按照順序計(jì)算這八個(gè)矩形區(qū)域的灰度均值，記為{μ₁,μ₂,…,μ₈}。

c.有序比對(duì)特征以圖像小塊a_i(x,y)的灰度均值μ為閾值，分別將周圍八個(gè)矩形區(qū)域的灰度均值{μ₁,μ₂,…,μ₈}與μ進(jìn)行比較，若大于μ，標(biāo)記為1，否則為0。這樣經(jīng)過(guò)比較會(huì)產(chǎn)生8位二進(jìn)制數(shù)，轉(zhuǎn)化為十進(jìn)制數(shù)所得的值即得到該圖像小塊a_i(x,y)的有序比對(duì)特征值YXT(a_i)。其計(jì)算公式為：

其中

d.按照步驟a至c中的方法對(duì)目標(biāo)矩形A(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，最終可以得到一個(gè)長(zhǎng)度為100的特征向量，然后進(jìn)行歸一化處理得到最終的特征向量，記為YXT1。

e.用步驟a至d中同樣的方法對(duì)跟蹤矩形TA(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，也可以得到一個(gè)長(zhǎng)度為100的歸一化特征向量，記為YXT2。

S3.2.3采用Bhattacharyya系數(shù)計(jì)算它們的相似度，定義如下：

S3.2.4根據(jù)相似度計(jì)算當(dāng)前粒子的觀測(cè)概率密度其中δ是個(gè)常數(shù)。然后更新當(dāng)前粒子的權(quán)重：

S3.2.5對(duì)于所有的50個(gè)粒子都進(jìn)行S3.2.1至S3.2.4的操作，計(jì)算出各粒子新的權(quán)重，然后再進(jìn)行歸一化得到最終權(quán)重

S33所有粒子的權(quán)重都進(jìn)行更新后，通過(guò)權(quán)重對(duì)每個(gè)粒子所代表的跟蹤矩形中心進(jìn)行加權(quán)，可以得到最終的跟蹤矩形中心：

也即獲得目標(biāo)在第n+1幀圖像的位置。

S4從第2幀開始，每一幀都通過(guò)S3中的方法計(jì)算出與之相鄰的前一幀對(duì)應(yīng)的跟蹤參數(shù){(Tx_n,Ty_n)|n＝1,…,N-1}。這樣能夠獲得目標(biāo)在每一幀的跟蹤結(jié)果。

本發(fā)明通過(guò)一種改進(jìn)的粒子濾波方法對(duì)跟蹤參數(shù)進(jìn)行精確估計(jì)，對(duì)每個(gè)粒子進(jìn)行操作時(shí)，采用了有序比對(duì)特征對(duì)圖像塊進(jìn)行編碼，充分利用了圖像塊的紋理特征，因此每個(gè)粒子能夠提供更多的信息，本發(fā)明方法在不需要太多數(shù)目粒子的條件下依然可以達(dá)到很好的跟蹤效果。本發(fā)明提出的方法復(fù)雜度小，實(shí)時(shí)性強(qiáng)，能夠有效的對(duì)目標(biāo)視頻進(jìn)行跟蹤，適用于各種視頻監(jiān)控系統(tǒng)。

附圖說(shuō)明

圖1是本發(fā)明一種基于有序比對(duì)特征的目標(biāo)跟蹤方法的流程圖；

圖2是有序比對(duì)特征的模板示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。

一種基于有序比對(duì)特征的目標(biāo)跟蹤方法，包括以下步驟：

首先通過(guò)攝像設(shè)備對(duì)目標(biāo)進(jìn)行視頻拍攝，得到目標(biāo)的視頻序列圖像{P_n(x,y)|n＝1,2,…N}。在視頻序列圖像的第一幀圖像對(duì)目標(biāo)跟蹤進(jìn)行初始化，告之被跟蹤目標(biāo)的初始位置。在此，通過(guò)手工指定的方式完成，即在第一幀圖像中手工選擇包含目標(biāo)的一個(gè)矩形，記為目標(biāo)矩形A(x,y)。

基于粒子濾波的跟蹤方法是一個(gè)常用的跟蹤框架，粒子濾波器具有較好的平滑性、收斂性和魯棒性，能逼近狀態(tài)的最優(yōu)估計(jì)。理論上，當(dāng)粒子的數(shù)目為無(wú)窮多時(shí)，精度達(dá)到最優(yōu)。但與此同時(shí)，粒子的數(shù)目太多會(huì)嚴(yán)重影響計(jì)算的效率。本發(fā)明借鑒了粒子濾波跟蹤框架的思想，對(duì)其進(jìn)行一定的改進(jìn)，采用有序比對(duì)特征對(duì)目標(biāo)模板進(jìn)行建模，充分學(xué)習(xí)目標(biāo)的紋理結(jié)構(gòu)信息，因此在不需要太多數(shù)目的粒子的條件下依然可以達(dá)到很好的跟蹤效果。

下面詳細(xì)介紹本發(fā)明基于有序比對(duì)的目標(biāo)跟蹤方法。以相鄰兩幀圖像第n(≥1)幀和第n+1幀為例，根據(jù)第n(≥1)幀的目標(biāo)矩形的位置，計(jì)算第n+1幀的跟蹤矩形的位置。

S31為了提高效率，選取粒子數(shù)量M＝50，每個(gè)粒子表示一個(gè)跟蹤矩形，且第n+1幀的跟蹤矩形的大小和第n幀的目標(biāo)矩形的大小完全相同，所以每個(gè)粒子只需要用3個(gè)參數(shù)表示即其中表示跟蹤矩形的權(quán)重，表示跟蹤矩形的中心坐標(biāo)，標(biāo)號(hào)m∈{1,…,M}表示粒子的序號(hào)。

現(xiàn)在已知第n幀的目標(biāo)矩形A(x,y)，中心像素為(x₀,y₀)以及其周圍的背景區(qū)域B(x,y)。接下來(lái)在第n+1幀圖像上，以(x₀,y₀)為中心，隨機(jī)選取50個(gè)位置作為粒子的中心坐標(biāo)：

其中ε₁,ε₂均為[-1,1]內(nèi)的隨機(jī)數(shù)，β是一個(gè)常數(shù)，表示單幀像素偏移的范圍，這里取值50。然后給每個(gè)粒子的權(quán)重賦初值，初始權(quán)重設(shè)為1/M；

根據(jù)上述步驟，每個(gè)粒子的初始權(quán)重和位置信息都已經(jīng)得到。

S32計(jì)算每個(gè)粒子代表的跟蹤矩形和前一幀(即第n幀)的目標(biāo)矩形的相似程度。相似程度越高的粒子賦予較大的權(quán)值，反之權(quán)值較小。下面任取一個(gè)粒子為例說(shuō)明本發(fā)明提出的通過(guò)有序比對(duì)特征求得相似程度和權(quán)重的步驟。

S3.2.1任取一個(gè)粒子記此粒子所表示的跟蹤矩形為TA(x,y)。將目標(biāo)矩形A(x,y)平均分成100個(gè)區(qū)域，每個(gè)區(qū)域大小都一樣，然后在每個(gè)區(qū)域隨機(jī)選擇一個(gè)3×3的圖像小塊，記為{a1(x,y),a2(x,y),…,a100(x,y)}。將跟蹤矩形TA(x,y)按照同樣的方法平均分成100個(gè)區(qū)域，每個(gè)區(qū)域大小都一樣，然后在跟蹤矩形TA(x,y)上相同的位置也可得到100個(gè)3×3的圖像小塊，記為{b1(x,y),b2(x,y),…,b100(x,y)}。其中a_i(x,y)和b_i(x,y)是一一對(duì)應(yīng)的，i∈{1,2,…,100}。

S3.2.2分別對(duì)目標(biāo)矩形A(x,y)上、跟蹤矩形TA(x,y)上所有的3×3圖像小塊進(jìn)行有序比對(duì)編碼。

對(duì)任一3×3的圖像小塊進(jìn)行有序比對(duì)編碼其方法為：通過(guò)度量圖像小塊與其周圍均勻分布的同等大小的八個(gè)矩形區(qū)域之間平均灰度的有序比對(duì)關(guān)系，并用二進(jìn)制編碼把這八個(gè)有序比對(duì)關(guān)系串接成一個(gè)描述子，獲得一個(gè)特征值。

對(duì)目標(biāo)矩形A(x,y)上所有的圖像小塊都采用上述方法進(jìn)行有序比對(duì)編碼，最終可以得到一個(gè)長(zhǎng)度為100的特征向量，然后進(jìn)行歸一化處理得到最終的特征向量，記為YXT1，同樣的對(duì)跟蹤矩形TA(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，也可以得到一個(gè)長(zhǎng)度為100的歸一化特征向量，記為YXT2。

本發(fā)明提出的有序比對(duì)特征的編碼思想借鑒了局部二元模式描述子，但矩形區(qū)域之間的比對(duì)比像素之間的比對(duì)更加穩(wěn)定可靠，因?yàn)橛?jì)算平均灰度也即均值濾波操作，對(duì)圖像噪聲有很好的抑制作用。

a.對(duì)于目標(biāo)矩形A(x,y)上的任一圖像小塊a_i(x,y)，計(jì)算其的灰度均值其中Ω表示圖像小塊a_i(x,y)所有的像素集合。

b.以圖像小塊a_i(x,y)為中心，選擇其周圍均勻分布的八個(gè)的大小為3×3的矩形區(qū)域：記圖像小塊a_i(x,y)的中心像素位置為(x₀,y₀)，那么其周圍八個(gè)大小為3×3的矩形區(qū)域的中心像素分別為(x₀-6,y₀)、(x₀-3,y₀+3)、(x₀,y₀+6)、(x₀+3,y₀+3)、(x₀+6,y₀)、(x₀+3,y₀-3)、(x₀,y₀-6)、(x₀-3,y₀-3)，按照順序計(jì)算這八個(gè)矩形區(qū)域的灰度均值，記為{μ₁,μ₂,…,μ₈}。

c.有序比對(duì)特征以圖像小塊a_i(x,y)的灰度均值μ為閾值，分別將周圍八個(gè)矩形區(qū)域的灰度均值{μ₁,μ₂,…,μ₈}與μ進(jìn)行比較，若大于μ，標(biāo)記為1，否則為0。這樣經(jīng)過(guò)比較會(huì)產(chǎn)生8位二進(jìn)制數(shù)，轉(zhuǎn)化為十進(jìn)制數(shù)所得的值即得到該圖像小塊a_i(x,y)的有序比對(duì)特征值YXT(a_i)。其計(jì)算公式為：

其中如圖2所示，每個(gè)圖像塊大小均為3×3，標(biāo)號(hào)1～8的圖像塊即為需要和圖像小塊a_i(x,y)進(jìn)行比對(duì)的八個(gè)矩形區(qū)域。

d.按照步驟a至c中的方法對(duì)目標(biāo)矩形A(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，最終可以得到一個(gè)長(zhǎng)度為100的特征向量，然后進(jìn)行歸一化處理得到最終的特征向量，記為YXT1。

e.用步驟a至d中同樣的方法對(duì)跟蹤矩形TA(x,y)上所有的圖像小塊進(jìn)行有序比對(duì)編碼，也可以得到一個(gè)長(zhǎng)度為100的歸一化特征向量，記為YXT2。

S3.2.3采用Bhattacharyya系數(shù)計(jì)算它們的相似度，定義如下：

S3.2.4根據(jù)相似度計(jì)算當(dāng)前粒子的觀測(cè)概率密度其中δ是個(gè)常數(shù)。然后更新當(dāng)前粒子的權(quán)重：

S3.2.5對(duì)于所有的50個(gè)粒子都進(jìn)行S3.2.1至S3.2.4中的操作，計(jì)算出各粒子新的權(quán)重，然后再進(jìn)行歸一化得到最終權(quán)重

S33所有粒子的權(quán)重都進(jìn)行更新后，通過(guò)權(quán)重對(duì)每個(gè)粒子所代表的跟蹤矩形中心進(jìn)行加權(quán)，可以得到最終的跟蹤矩形中心：

也即獲得目標(biāo)在第n+1幀圖像的位置。

通過(guò)上述方法，可以計(jì)算出相鄰兩幀圖像之間的跟蹤結(jié)果。這樣從第2幀開始，每一幀都通過(guò)上述步驟計(jì)算出與之相鄰的前一幀對(duì)應(yīng)的跟蹤參數(shù){(Tx_n,Ty_n)|n＝1,…,N-1}。這樣可以獲得目標(biāo)在每一幀的跟蹤結(jié)果。

以上包含了本發(fā)明優(yōu)選實(shí)施例的說(shuō)明，這是為了詳細(xì)說(shuō)明本發(fā)明的技術(shù)特征，并不是想要將發(fā)明內(nèi)容限制在實(shí)施例所描述的具體形式中，依據(jù)本發(fā)明內(nèi)容主旨進(jìn)行的其他修改和變型也受本專利保護(hù)。本發(fā)明內(nèi)容的主旨是由權(quán)利要求書所界定，而非由實(shí)施例的具體描述所界定。