本發(fā)明屬于目標(biāo)檢測跟蹤研究領(lǐng)域，具體為一種在動(dòng)態(tài)背景下弱小動(dòng)目標(biāo)連續(xù)穩(wěn)定跟蹤方法。

背景技術(shù)：

運(yùn)動(dòng)目標(biāo)的跟蹤在軍事、國防以及工業(yè)等領(lǐng)域具有廣泛的應(yīng)用前景，引起了國內(nèi)外廣大科研工作者的濃厚興趣，使之發(fā)展成為計(jì)算機(jī)視覺的一個(gè)熱點(diǎn)領(lǐng)域。目前，典型的運(yùn)動(dòng)目標(biāo)跟蹤方法主要有：幀差法、基于模板匹配的跟蹤方法、基于特征點(diǎn)的跟蹤方法和基于周域統(tǒng)計(jì)特性的跟蹤方法。幀差法適用于背景變化較小的靜態(tài)場景，算法復(fù)雜度低，但對(duì)大目標(biāo)慢動(dòng)情況只能提取目標(biāo)的輪廓?；谀０迤ヅ涞母櫡椒ㄊ孪冉⒌母櫮繕?biāo)模板直接決定了跟蹤的效果，精確有效的目標(biāo)模板比較難獲得，且模板更新過程比較復(fù)雜，實(shí)時(shí)性差?；谔卣鼽c(diǎn)的跟蹤方法由于不用考慮目標(biāo)持征的整體性，所以目標(biāo)跟蹤精度高且魯棒性好，但對(duì)簡單結(jié)構(gòu)特征點(diǎn)不突出的目標(biāo)跟蹤效果不理想?；谥苡蚪y(tǒng)計(jì)特性的跟蹤方法是目前在實(shí)際應(yīng)用中比較多的一種方法，此算法實(shí)現(xiàn)過程簡單，并且程序運(yùn)算速度快。

如何準(zhǔn)確的判斷目標(biāo)的遮擋及準(zhǔn)確定位重新出現(xiàn)的目標(biāo)，是實(shí)現(xiàn)目標(biāo)連續(xù)穩(wěn)定跟蹤的重點(diǎn)。所謂弱小目標(biāo)，是指當(dāng)成像系統(tǒng)和目標(biāo)的相對(duì)位置較遠(yuǎn)時(shí)，雖然目標(biāo)本身可能有幾米甚至十幾米的直徑，但在成像平面內(nèi)僅表現(xiàn)為十幾個(gè)像素的面積。而動(dòng)態(tài)背景下的弱小動(dòng)目標(biāo)，由于攝像機(jī)運(yùn)載平臺(tái)的運(yùn)動(dòng)影響及目標(biāo)自身大小、特征的限制，使其成為運(yùn)動(dòng)目標(biāo)跟蹤問題的一個(gè)難點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供了一種動(dòng)態(tài)背景中弱小動(dòng)目標(biāo)的連續(xù)穩(wěn)定跟蹤方法，該方法能夠?qū)δ繕?biāo)被遮擋或者丟失的狀況進(jìn)行判定，從而實(shí)現(xiàn)了目標(biāo)在背景干擾和遮擋情況下的連續(xù)穩(wěn)定跟蹤。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案為：一種動(dòng)態(tài)背景中弱小動(dòng)動(dòng)目標(biāo)的連續(xù)穩(wěn)定跟蹤方法，包括以下具體步驟：

S1：獲取視頻數(shù)據(jù)，針對(duì)視頻數(shù)據(jù)中的每一幀圖像按照時(shí)間順序進(jìn)行如下S2～S6的跟蹤處理。

S2：在當(dāng)前幀圖像中，獲取待跟蹤動(dòng)目標(biāo)位置坐標(biāo)，對(duì)當(dāng)前幀圖像進(jìn)行閾值分割和形態(tài)學(xué)運(yùn)算，得到多個(gè)連通域，并以包含所述待跟蹤動(dòng)目標(biāo)位置坐標(biāo)的連通域作為目標(biāo)區(qū)域，取該目標(biāo)區(qū)域的外接矩形框?yàn)槟繕?biāo)追蹤框。

若當(dāng)前幀圖像為初始幀，則通過外部輸入獲得該待跟蹤動(dòng)目標(biāo)位置坐標(biāo)，否則直接獲取上一幀圖像跟蹤獲得的目標(biāo)位置坐標(biāo)。

S3：采用貝葉斯框架對(duì)目標(biāo)追蹤框內(nèi)區(qū)域建立當(dāng)前幀圖像的空間上下文模型。

S4：利用所述當(dāng)前幀圖像的空間上下文模型與所述下一幀圖像進(jìn)行卷積計(jì)算獲得下一幀圖像中待跟蹤動(dòng)目標(biāo)出現(xiàn)位置的置信圖，置信度最大的位置即下一幀圖像中的待跟蹤動(dòng)目標(biāo)位置。

S5：基于雙閾值動(dòng)目標(biāo)危機(jī)判定，以確定動(dòng)目標(biāo)是否遮擋或丟失，具體步驟為：

針對(duì)所述下一幀圖像中待跟蹤動(dòng)目標(biāo)出現(xiàn)位置的置信圖的峰值尖銳度PSR，計(jì)算PSR的標(biāo)準(zhǔn)化值R_t。

統(tǒng)計(jì)當(dāng)前幀圖像和下一幀圖像目標(biāo)區(qū)域差值的絕對(duì)值的元素和作為差異值St。

當(dāng)R_t小于第一設(shè)定閾值，S_t小于第二設(shè)定閾值時(shí)，判定待跟蹤動(dòng)目標(biāo)被遮擋或者丟失。

當(dāng)判定待跟蹤動(dòng)目標(biāo)沒有被遮擋或者丟失時(shí)，則輸出下一幀圖像中的動(dòng)目標(biāo)位置，當(dāng)前幀圖像的跟蹤處理過程結(jié)束。

若判定待跟蹤動(dòng)目標(biāo)存在被遮擋或者丟失時(shí)，進(jìn)入步S6。

S6、以S4中得到動(dòng)目標(biāo)位置為中心確定搜索區(qū)域，所述搜索區(qū)域尺寸為預(yù)先設(shè)定值，采用尺度不變特征變換匹配SIFT算法對(duì)下一幀圖像以及下一幀圖像后第k幀圖像進(jìn)行匹配，k為預(yù)設(shè)的幀間隔，然后利用幀差法對(duì)匹配結(jié)果中的搜索區(qū)域進(jìn)行幀差得到二值圖像，若二值圖像中包含動(dòng)目標(biāo)且與待跟蹤動(dòng)目標(biāo)的尺寸限定條件相差在設(shè)定范圍內(nèi)，則以所述二值圖像中動(dòng)目標(biāo)的最小外接矩形作為目標(biāo)追蹤框返回S3，否則增大k值重復(fù)本步驟。

進(jìn)一步地，S3包括如下步驟：

S31：針對(duì)當(dāng)前幀圖像t，針對(duì)動(dòng)目標(biāo)追蹤框，利用置信圖函數(shù)c(x)計(jì)算出動(dòng)目標(biāo)所在幀的置信度圖：

其中，x是動(dòng)目標(biāo)追蹤框內(nèi)的像素值，x*為所述動(dòng)目標(biāo)的點(diǎn)坐標(biāo)對(duì)應(yīng)像素值；b是置信圖函數(shù)中預(yù)設(shè)的規(guī)則化常數(shù)，α是置信圖函數(shù)中預(yù)設(shè)的尺度參數(shù)，β是置信圖函數(shù)中預(yù)設(shè)的形狀參數(shù)；

S32：基于在生物視覺系統(tǒng)中的關(guān)注焦點(diǎn)特性，計(jì)算出當(dāng)前幀圖像的先驗(yàn)概率圖P(c(z)|o)：P(c(z)|o)＝I(z)ω_σ(z-x^*)；

式中的ω_σ為加權(quán)高斯函數(shù)，定義為：

其中，I(z)表示圖像中z坐標(biāo)處像素的灰度值，a是加權(quán)高斯函數(shù)中預(yù)設(shè)的規(guī)則化的常數(shù)，σ是加權(quán)高斯函數(shù)中預(yù)設(shè)的尺度參數(shù)，z為動(dòng)目標(biāo)追蹤框區(qū)域內(nèi)的各像素點(diǎn)的位置坐標(biāo)；

S33：利用所得到的置信度圖和先驗(yàn)概率圖建立動(dòng)目標(biāo)的空間上下文模型

F代表快速傅里葉變換。

優(yōu)選地，第一設(shè)定閾值為2，第二設(shè)定閾值為5。

優(yōu)選地，β＝1。

有益效果：

1、本發(fā)明基于當(dāng)前目標(biāo)位置置信圖來自適應(yīng)更新時(shí)空上下文模型，避免了目標(biāo)輕微遮擋時(shí)產(chǎn)生模型更新錯(cuò)誤，實(shí)現(xiàn)目標(biāo)在背景干擾、輕微遮擋等情況下的穩(wěn)健長時(shí)間跟蹤。本發(fā)明基于目標(biāo)位置置信圖峰值尖銳度PSR和目標(biāo)區(qū)域灰度強(qiáng)度變化信息的目標(biāo)危機(jī)判別函數(shù)，可以對(duì)強(qiáng)干擾、嚴(yán)重遮擋情況下目標(biāo)可能丟失的情況進(jìn)行判別。

2、本發(fā)明中，當(dāng)目標(biāo)嚴(yán)重丟失時(shí)，基于SIFT實(shí)現(xiàn)幀間圖像的匹配，并利用區(qū)域幀差法對(duì)目標(biāo)進(jìn)行重新位置確定，將定位結(jié)果傳送給時(shí)空上下文模型，完成線上目標(biāo)的連續(xù)穩(wěn)定長時(shí)跟蹤。

附圖說明

圖1為發(fā)明流程圖；

圖2為采集的視頻數(shù)據(jù)的初始幀圖像；

圖3為目標(biāo)區(qū)域提取圖像，圖中(a)為截取的目標(biāo)128×128的包含目標(biāo)的處理區(qū)域，(b)為自適應(yīng)分割的模板與目標(biāo)區(qū)域的組合顯示，(c)分割結(jié)果；

圖4為分割目標(biāo)框在初始幀圖像的顯示；

圖5為追蹤丟失時(shí)的圖像及目標(biāo)框的顯示；

圖6為利用SIFT和幀差法重捕獲目標(biāo)及目標(biāo)外接矩形框的顯示；

圖7再次利用本文追蹤方法的追蹤結(jié)果顯示。

具體實(shí)施方式

下面結(jié)合附圖并舉實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)描述。

實(shí)施例：本實(shí)施例提供了一種針對(duì)動(dòng)態(tài)背景中弱小動(dòng)目標(biāo)的連續(xù)穩(wěn)定跟蹤方法，流程如圖1所示，包括以下具體步驟：

S1：獲取視頻數(shù)據(jù)，本實(shí)施例中所獲取的視頻數(shù)據(jù)為利用無人機(jī)自主拍攝，采集視頻的圖像尺寸為720×1280像素的彩色數(shù)據(jù)，無人機(jī)飛行高度為103米，視頻幀頻為100幀/秒。針對(duì)視頻數(shù)據(jù)中的每一幀圖像按照時(shí)間順序進(jìn)行如下處理。本實(shí)施例中所采集的初始幀圖像如圖2所示。

S2：在當(dāng)前幀圖像中，獲取待跟蹤動(dòng)目標(biāo)位置坐標(biāo)，若當(dāng)前幀圖像為初始幀，則通過外部輸入獲得該待跟蹤動(dòng)目標(biāo)位置坐標(biāo)，否則直接獲取上一幀跟蹤獲得的目標(biāo)位置坐標(biāo)即可對(duì)當(dāng)前幀圖像進(jìn)行閾值分割和形態(tài)學(xué)運(yùn)算，得到多個(gè)連通域，并以包含目標(biāo)的點(diǎn)坐標(biāo)的連通域作為目標(biāo)區(qū)域，取該目標(biāo)區(qū)域的外接矩形框?yàn)槟繕?biāo)追蹤框。

本實(shí)施例中，點(diǎn)選目標(biāo)，獲得圖像目標(biāo)上的一個(gè)點(diǎn)坐標(biāo)[x,y]，以點(diǎn)坐標(biāo)周圍128×128的包含目標(biāo)的區(qū)域進(jìn)行目標(biāo)的預(yù)識(shí)別，首先，采用小波低通濾波系數(shù)對(duì)圖像進(jìn)行水平和垂直方向的濾波，通過二者進(jìn)行算數(shù)平方根運(yùn)算，得到區(qū)域的特征圖像；其次對(duì)特征圖像進(jìn)行迭代閾值分割得到分割結(jié)果；通過對(duì)分割結(jié)果進(jìn)行三階卷積平滑處理和空洞填充處理，使目標(biāo)形狀信息更加突出；對(duì)各連通域進(jìn)行標(biāo)記，去除與邊界相連的連通域，并通過面積、長寬比、及離點(diǎn)選坐標(biāo)距離等信息確定目標(biāo)二值圖像區(qū)域，取其外接矩形框?yàn)槟繕?biāo)框。本實(shí)施例中，目標(biāo)區(qū)域提取圖像如圖3所示，圖中(a)為截取的目標(biāo)128×128的包含目標(biāo)的處理區(qū)域，(b)為自適應(yīng)分割的模板與目標(biāo)區(qū)域的組合顯示，(c)分割結(jié)果。圖4為分割目標(biāo)框在初始幀圖像的顯示。

S3：采用貝葉斯框架對(duì)目標(biāo)追蹤框內(nèi)區(qū)域建立其空間上下文模型。

本實(shí)施例中，S3包括S31～S34四個(gè)步驟。

S31：針對(duì)當(dāng)前幀圖像t，針對(duì)目標(biāo)追蹤框，利用置信圖函數(shù)c(x)計(jì)算出目標(biāo)所在幀的置信度圖：

其中，x是目標(biāo)追蹤框內(nèi)的像素值，x*為目標(biāo)的點(diǎn)坐標(biāo)對(duì)應(yīng)像素值；b是置信圖函數(shù)中預(yù)設(shè)的規(guī)則化常數(shù)，α是置信圖函數(shù)中預(yù)設(shè)的尺度參數(shù)，β是置信圖函數(shù)中預(yù)設(shè)的形狀參數(shù)；當(dāng)β＞1時(shí)，其圖形比較平滑，不利于跟蹤過程中目標(biāo)中心點(diǎn)的定位，而當(dāng)β＜1時(shí)，圖形的尖鋒又過于尖銳，會(huì)造成跟蹤器對(duì)噪聲過于敏感。這里取β＝1作為最終的參數(shù)。

S32：基于在生物視覺系統(tǒng)中的關(guān)注焦點(diǎn)特性，計(jì)算出當(dāng)前幀圖像的先驗(yàn)概率圖P(c(z)|o)：

P(c(z)|o)＝I(z)ω_σ(z-x^*) (2)

式中的ω_σ為加權(quán)高斯函數(shù)，定義為：

其中，I(z)表示圖像中z坐標(biāo)處像素的灰度值，a是加權(quán)高斯函數(shù)中預(yù)設(shè)的規(guī)則化的常數(shù)，σ是加權(quán)高斯函數(shù)中預(yù)設(shè)的尺度參數(shù)，z為目標(biāo)追蹤框區(qū)域內(nèi)的各像素點(diǎn)的位置坐標(biāo)；

S33：利用所得到的置信度圖和先驗(yàn)概率圖建立目標(biāo)的空間上下文模型

P(x|c(z),o)＝h^sc(x-z) (3)

將式(2)～(3)代入式(1)中，可以得到

其中，表示卷積操作。卷積操作計(jì)算量大，速度較慢。對(duì)式(4)兩邊同時(shí)進(jìn)行快速傅里葉變換,可以得到

F(c(x))＝F(h^sc(x))*F(I(z)ω_σ(z-x^*)) (5)

其中,F代表快速傅里葉變換,表示對(duì)應(yīng)像素相乘.再對(duì)上述公式進(jìn)行一個(gè)簡單的變換,即可得到空間上下文模型的計(jì)算公式，即

F代表快速傅里葉變換；

S4：利用當(dāng)前幀圖像的空間上下文模型與下一幀圖像進(jìn)行卷積計(jì)算獲得下一幀圖像中目標(biāo)出現(xiàn)位置的置信圖，置信度最大的位置即下一幀圖像中的目標(biāo)位置；

本實(shí)施例中可以采用如下步驟執(zhí)行S4：

S41：在第t+1幀中：當(dāng)?shù)趖+1幀圖像到來之前，首先，根據(jù)第t偵的目標(biāo)中心點(diǎn)，提取空間信息區(qū)域(即目標(biāo)和目標(biāo)所在的位置一定范圍內(nèi)的信息(local context)，Ω_c(X^*)；X為搜索區(qū)域的像素值。

S42：構(gòu)建相應(yīng)的上下文特征集輸入第t+1幀圖像后，利用第t幀的所得到的時(shí)空上下文模型，將其與輸入圖像進(jìn)行卷積運(yùn)算，這樣就能夠得到第t+1峽圖像中目標(biāo)區(qū)域的置信度圖，在置信度圖中，置信度取值最大的位置就是所跟蹤的目標(biāo)中心點(diǎn)所在的位置。用公式表示為：

其中，c_t+1(x)是計(jì)算第t+1幀圖像的置信度圖，由公式(6)推導(dǎo)出來：

由式(8)所得的目標(biāo)位置是主要由空間信息跟蹤的結(jié)果，即新的數(shù)據(jù)圖像中的目標(biāo)位置，基于S4循環(huán)進(jìn)行目標(biāo)的連續(xù)追蹤。

S5：基于雙閾值目標(biāo)危機(jī)判定，以確定目標(biāo)是否遮擋或丟失；

(1)每一幀得到的目標(biāo)位置置信圖峰值尖銳度(PSR)是不一樣的。PSR大小反映了目標(biāo)受遮擋、快速運(yùn)動(dòng)等因素影響的程度，實(shí)驗(yàn)表明目標(biāo)在不同因素影響下PSR有較大區(qū)別，PSR值越大目標(biāo)位置置信度越高。實(shí)驗(yàn)表明：當(dāng)PSR值穩(wěn)定在2.5～4時(shí)跟蹤結(jié)果可信度較高，而低于2.5時(shí)目標(biāo)可能受到遮擋、快速運(yùn)動(dòng)、光照變化等因素的影響，隨著影響程度的增加PSR值也逐步降低。

現(xiàn)有方法中直接采用峰值max表征峰值尖銳度；本發(fā)明中采用峰值max值相對(duì)均值的偏移量來表征峰值尖銳度；通過減去均值、除以方差運(yùn)算，將原有的c_t(x)分布變?yōu)闃?biāo)準(zhǔn)正太分布，使不同幀圖像下的置信區(qū)域(11*11)分布有通用的閾值進(jìn)行位置置信度的判別。

式中，c_t(x)是計(jì)算第t幀圖像的置信度圖；μ和σ分別是置信圖峰值位置周圍11×11鄰域內(nèi)的均值和標(biāo)準(zhǔn)差，R_max表示當(dāng)前所有幀中PSR的最大值，一旦R_t低于閾值R_th(本發(fā)明根據(jù)目標(biāo)框的大小取值為2.0)，表明目標(biāo)遮擋嚴(yán)重。

(2)為了提高遮擋判別的性能，將目標(biāo)所在矩形區(qū)域分成n個(gè)4×4的子塊，通過統(tǒng)計(jì)相鄰幀目標(biāo)框區(qū)域內(nèi)的灰度相關(guān)匹配程度來進(jìn)行目標(biāo)是否遮擋或丟失進(jìn)行判別，公式如下：

式中，p＝1,…,n，對(duì)應(yīng)n個(gè)子塊區(qū)域的塊數(shù)，u和v對(duì)應(yīng)子塊區(qū)域的最大長和寬；f_t+1(i,j)表示t+1幀目標(biāo)區(qū)域圖像中某子塊區(qū)域(i,j)位置的像素灰度值，f_t(i,j)表示t+1幀目標(biāo)區(qū)域圖像中某子塊區(qū)域(i,j)位置的像素灰度值；表示目標(biāo)區(qū)域內(nèi)目標(biāo)灰度特征偏移量，即相鄰幀圖像中目標(biāo)框區(qū)域內(nèi)目標(biāo)的灰度相關(guān)匹配程度；其[0,10]表示微小差異變化，[10,30]表示重度差異變化，30以上表示嚴(yán)重差異變化。

本發(fā)明中，視頻運(yùn)行在且R_t<2.0時(shí)判定目標(biāo)丟失，效果最佳。

其中圖5為追蹤丟失時(shí)的圖像及目標(biāo)框的顯示。

當(dāng)判定待跟蹤動(dòng)目標(biāo)沒有被遮擋或者丟失時(shí)，則輸出下一幀圖像中的目標(biāo)位置；

若判定待跟蹤動(dòng)目標(biāo)存在被遮擋或者丟失時(shí)，進(jìn)入步S6；

S6、以S4中得到動(dòng)目標(biāo)位置為中心確定搜索區(qū)域，搜索區(qū)域尺寸為預(yù)先設(shè)定值，采用尺度不變特征變換匹配算法即SIFT算法對(duì)下一幀圖像以及下一幀圖像后第k幀圖像進(jìn)行匹配，k為預(yù)設(shè)的幀間隔，k的值不必過大，可以根據(jù)幀率的動(dòng)目標(biāo)速度確定，應(yīng)當(dāng)能夠保證動(dòng)目標(biāo)能夠出現(xiàn)，然后利用幀差法對(duì)匹配結(jié)果中的搜索區(qū)域進(jìn)行幀差得到二值圖像，若二值圖像中包含動(dòng)目標(biāo)且與待跟蹤動(dòng)目標(biāo)的尺寸限定條件相差在設(shè)定范圍內(nèi)，則以二值圖像中動(dòng)目標(biāo)的最小外接矩形作為目標(biāo)追蹤框返回S3，否則增大k值重新進(jìn)行匹配，k值增大部分不必過大，可以直接自增k。

上述尺寸限定條件可以為預(yù)先設(shè)定，或者依據(jù)S2中所跟蹤到的目標(biāo)區(qū)域尺寸進(jìn)行設(shè)定。

圖6為利用SIFT算法和幀差法重捕獲目標(biāo)及目標(biāo)外接矩形框的顯示；圖7再次利用本文追蹤方法的追蹤結(jié)果顯示。

綜上，以上僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。