本發(fā)明涉及圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)跟蹤領(lǐng)域，具體涉及基于自適應(yīng)顏色特征和時(shí)空上下文的目標(biāo)跟蹤方法。

背景技術(shù)：

視頻目標(biāo)跟蹤是機(jī)器視覺(jué)領(lǐng)域的基礎(chǔ)問(wèn)題之一，融合了圖像處理、模式識(shí)別、人工智能、自動(dòng)控制等多種不同領(lǐng)域的理論知識(shí)。視頻跟蹤是目標(biāo)識(shí)別、行為識(shí)別等后續(xù)應(yīng)用的基礎(chǔ)，在軍事制導(dǎo)、視覺(jué)導(dǎo)航、智能交通、醫(yī)療診斷等眾多領(lǐng)域有著廣泛的應(yīng)用前景。

在運(yùn)動(dòng)目標(biāo)跟蹤問(wèn)題上的研究，大致可以分為兩種方法：(a)不依賴(lài)先驗(yàn)知識(shí)，直接從圖形序列中檢測(cè)到運(yùn)動(dòng)目標(biāo)，并進(jìn)行目標(biāo)識(shí)別，最終跟蹤感興趣的運(yùn)動(dòng)目標(biāo)；(b)依賴(lài)先驗(yàn)知識(shí)，首先對(duì)運(yùn)動(dòng)目標(biāo)建立模型，然后在后續(xù)圖像序列中實(shí)時(shí)找到相匹配的運(yùn)動(dòng)目標(biāo)。圍繞這兩種方法，產(chǎn)生了很多效果較好目標(biāo)檢測(cè)和跟蹤算法。對(duì)于不依賴(lài)先驗(yàn)知識(shí)的目標(biāo)跟歐洲那個(gè)而言，檢測(cè)是最重要的。目標(biāo)檢測(cè)是將跟蹤目標(biāo)從背景中提取出來(lái)。運(yùn)動(dòng)目標(biāo)跟蹤就是在圖像序列中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過(guò)程，即在序列圖像中進(jìn)行目標(biāo)定位。

實(shí)現(xiàn)目標(biāo)的準(zhǔn)確定位需要以描述目標(biāo)的視覺(jué)特征建立其表觀模型。具有良好可分性的視覺(jué)特征，是實(shí)現(xiàn)對(duì)跟蹤目標(biāo)與視場(chǎng)背景精確分割與提取的關(guān)鍵，因此視覺(jué)特征的選擇是實(shí)現(xiàn)魯棒跟蹤前提。若所選視覺(jué)特征具有較強(qiáng)可分性，即使簡(jiǎn)單的跟蹤算法也能實(shí)現(xiàn)可靠跟蹤。常用的視覺(jué)特征有顏色、邊緣、光流、小波、上下文等。

由于光照、遮擋以及目標(biāo)移動(dòng)旋轉(zhuǎn)縮放引起的目標(biāo)本身變化等因素，進(jìn)行魯棒的跟蹤仍然面對(duì)巨大的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了解決上述問(wèn)題，提供一種基于自適應(yīng)顏色特征和時(shí)空上下文的目標(biāo)跟蹤方法及系統(tǒng)，它具有可實(shí)現(xiàn)有效的多尺度目標(biāo)跟蹤優(yōu)點(diǎn)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

基于自適應(yīng)顏色特征和時(shí)空上下文的目標(biāo)跟蹤方法，包括以下步驟：

步驟(1)：在輸入視頻序列第一幀圖像后，用矩形框選擇跟蹤目標(biāo)；

步驟(2)：計(jì)算第1幀的目標(biāo)置信圖；

步驟(3)：所述跟蹤目標(biāo)置信圖包括上下文先驗(yàn)?zāi)Ｐ秃涂臻g上下文模型；

通過(guò)生物視覺(jué)系統(tǒng)的集中注意力特性和顏色特征對(duì)跟蹤目標(biāo)的局部上下文信息建模，得到上下文先驗(yàn)?zāi)Ｐ?，即先?yàn)概率；

通過(guò)對(duì)上下文先驗(yàn)?zāi)Ｐ拖冗M(jìn)行快速傅里葉變換再進(jìn)行快速傅里葉反變換，得到跟蹤目標(biāo)與跟蹤目標(biāo)周?chē)舷挛男畔⒌目臻g關(guān)系的空間上下文模型，即條件概率；

步驟(4)：根據(jù)步驟(3)的空間上下文模型學(xué)習(xí)更新第t幀的時(shí)空上下文模型；

步驟(5)：利用步驟(4)得到的時(shí)空上下文模型，對(duì)第t+1幀圖像進(jìn)行卷積操作，計(jì)算第t+1幀的目標(biāo)置信圖，并求得目標(biāo)置信圖的最大似然概率位置作為最佳目標(biāo)位置；

步驟(6)：將步驟(4)的最佳目標(biāo)位置作為新的跟蹤目標(biāo)，同時(shí)依據(jù)步驟(5)的到的第t+1幀的目標(biāo)置信圖，然后重復(fù)步驟(3)-(5)，進(jìn)行t+2幀圖像的最佳目標(biāo)位置確定；

從而實(shí)現(xiàn)對(duì)所有幀圖像的最佳目標(biāo)位置確定。

進(jìn)一步的，所述步驟(2)的目標(biāo)置信圖的公式為：

式中，c(x)最大的位置就是目標(biāo)位置，x表示目標(biāo)位置，o表示目標(biāo)出現(xiàn)，特性x^c＝{c(z)}＝{(i(z),z)|z∈ωc(x^*)}表示圖像特性，i(z)表示位置z處的圖像自適應(yīng)顏色特征值，ωc(x^*)表示目標(biāo)位置x^*的局部區(qū)域，p(x|c(z),o)表示條件概率，p(c(z)|o)表示先驗(yàn)概率，b是標(biāo)準(zhǔn)化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。

進(jìn)一步的，所述步驟(3)上下文先驗(yàn)?zāi)Ｐ兔枋龅氖窍闰?yàn)概率，上下文先驗(yàn)?zāi)Ｐ蜑椋?/p>

p(c(z)|o)＝i(z)ωσ(z-x^*)(2)

表示權(quán)重函數(shù)，a表示歸一化參數(shù)，σ表示尺度參數(shù)，通常距離目標(biāo)x^*越近的點(diǎn)對(duì)跟蹤目標(biāo)越重要，權(quán)重越大，i(z)表示z處像素點(diǎn)的自適應(yīng)顏色特征值。

所述自適應(yīng)顏色特征值是：

先將rgb顏色細(xì)化為黑、藍(lán)、棕、灰、綠、橙、粉、紫、紅、白和黃共11種，

然后利用pca(principalcomponentanalysis)將11維降為2維，選擇出比較顯著的兩種顏色：

步驟a)：顏色特征向量的公式為xm×n×k，x是目標(biāo)跟蹤圖像，m為圖像行數(shù)，n為圖像列數(shù)，k為顏色特征數(shù)量，k＝11；

步驟b)：計(jì)算步驟a)中的顏色特征向量中所有像素點(diǎn)顏色特征的均值，并利用均值對(duì)所有像素點(diǎn)的顏色值進(jìn)行中心化，得到中心化的顏色特征向量即每個(gè)像素點(diǎn)顏色信息減去所有像素點(diǎn)顏色信息的均值，均值計(jì)算公式為：

其中，是所有像素點(diǎn)顏色特征的均值，z是像素?cái)?shù)，mn是像素點(diǎn)個(gè)數(shù)，是第z個(gè)像素點(diǎn)的顏色信息；

步驟c)：計(jì)算步驟b)得到中心化的顏色特征向量的協(xié)方差矩陣，公式為：

步驟d)：對(duì)步驟c)中的協(xié)方差矩陣進(jìn)行特征值分解，得到一組降序排列的特征值及對(duì)應(yīng)的特征向量x：

|cz-λe|＝0；(6)

(cz-λe)y＝0；(7)

其中，cz是協(xié)方差矩陣，e是單位矩陣，λ是協(xié)方差矩陣cz的特征值，y是特征值λ對(duì)應(yīng)的特征向量；

步驟e)：根據(jù)步驟d)得到的特征值、特征向量，得到特征矩陣，公式為：

cz是協(xié)方差矩陣，λj是的d1*d2維的對(duì)角矩陣；

步驟f)：依據(jù)降序排列的特征值，選擇前a個(gè)特征值對(duì)應(yīng)的顏色特征主成分，主成分選擇方法為：

bz＝[w1,w2,…,wa]^t；(10)

其中，λj為第j個(gè)特征值,j＝1…m，wi為第i個(gè)特征向量，i＝1…a，a為保留的主成分個(gè)數(shù)，a＝2，0.995的意義是保留的主成分包含原來(lái)特征的99.5％的信息量，bz是主成分投影矩陣；投影矩陣bz作為d2的特征矩陣rz的歸一化特征向量，特征矩陣對(duì)應(yīng)最大特征值。

步驟g)：通過(guò)步驟f)得到的主成分投影矩陣，對(duì)顏色特征進(jìn)行主成分投影，得到主成分分析后的顏色特征向量，主成分映射公式為：

i(z)是主成分投影后的數(shù)據(jù)，bz是主成分投影矩陣。

空間上下文模型是通過(guò)基于上下文先驗(yàn)?zāi)Ｐ秃椭眯艌D在線學(xué)習(xí)得到的，隨著跟蹤的進(jìn)行不斷進(jìn)行更新。

進(jìn)一步的，所述步驟(3)中空間上下文模型描述的是條件概率函數(shù)，具體為：

p(x|c(z),o)＝h^sc(x-z)；(12)

式中，h^sc(x-z)表示目標(biāo)位置x與局部區(qū)域點(diǎn)z之間的相對(duì)距離以及方向關(guān)系的函數(shù)，即目標(biāo)與目標(biāo)的空間上下文的空間關(guān)系。

根據(jù)公式(1)(2)(12)置信圖公式表示如下：

式中，表示卷積符號(hào)；

卷積通過(guò)快速傅里葉變換加速，具體為：

式中，f表示傅里葉變換函數(shù)，表示點(diǎn)積符號(hào)；

通過(guò)兩次傅里葉變換和一次傅里葉反變換學(xué)習(xí)后，空間上下文模型表示為：

式中，f^-1表示傅里葉反變換函數(shù)；

利用空間上下文模型公式(15)學(xué)習(xí)得到時(shí)空上下文模型，時(shí)空上下文模型具體為：

式中，ρ表示學(xué)習(xí)參數(shù)，表示第t幀的時(shí)空上下文模型。

步驟(5)，具體為：

在第t+1幀時(shí)，基于t幀目標(biāo)區(qū)域獲取局部區(qū)域ωc(x^*)，得到特征集，具體為：

x^c＝{c(z)＝(i(z),z)|z∈ωc(x^*)}；(17)

求得t+1幀時(shí)，置信圖最大似然概率位置，具體為：

式中，ct+1(x)具體為：

同時(shí)，更新公式(3)的尺度參數(shù)，具體為：

式中，s′t表示兩幀之間的估計(jì)尺度，ct(·)表示置信圖，st+1表示估計(jì)目標(biāo)尺度，通過(guò)濾波器獲得，表示連續(xù)n幀圖像的估計(jì)尺度的平均值，λ＞0是固定濾波器參數(shù)。

基于自適應(yīng)顏色特征和時(shí)空上下文的目標(biāo)跟蹤方法，包括：

跟蹤目標(biāo)選擇模塊：在輸入視頻序列第一幀圖像后，用矩形框選擇跟蹤目標(biāo)；

第1幀的目標(biāo)置信圖計(jì)算模塊：計(jì)算第1幀的目標(biāo)置信圖；

空間上下文模型計(jì)算模塊：所述跟蹤目標(biāo)置信圖包括上下文先驗(yàn)?zāi)Ｐ秃涂臻g上下文模型；

通過(guò)生物視覺(jué)系統(tǒng)的集中注意力特性和顏色特征對(duì)跟蹤目標(biāo)的局部上下文信息建模，得到上下文先驗(yàn)?zāi)Ｐ?，即先?yàn)概率；

通過(guò)對(duì)上下文先驗(yàn)?zāi)Ｐ拖冗M(jìn)行快速傅里葉變換再進(jìn)行快速傅里葉反變換，得到跟蹤目標(biāo)與跟蹤目標(biāo)周?chē)舷挛男畔⒌目臻g關(guān)系的空間上下文模型，即條件概率；

時(shí)空上下文模型計(jì)算模塊：根據(jù)空間上下文模型學(xué)習(xí)更新第t幀的時(shí)空上下文模型；

最佳目標(biāo)位置確定模塊：利用得到的時(shí)空上下文模型，對(duì)第t+1幀圖像進(jìn)行卷積操作，計(jì)算第t+1幀的目標(biāo)置信圖，并求得目標(biāo)置信圖的最大似然概率位置作為最佳目標(biāo)位置；

所有幀圖像的最佳目標(biāo)位置確定模塊：將最佳目標(biāo)位置作為新的跟蹤目標(biāo)，同時(shí)依據(jù)第t+1幀的目標(biāo)置信圖，然后依次進(jìn)入空間上下文模型計(jì)算模塊、時(shí)空上下文模型計(jì)算模塊和最佳目標(biāo)位置確定模塊，進(jìn)行t+2幀圖像的最佳目標(biāo)位置確定；

從而實(shí)現(xiàn)對(duì)所有幀圖像的最佳目標(biāo)位置確定。

本發(fā)明的有益效果：

(1)本發(fā)明利用稠密的時(shí)空?qǐng)鼍澳Ｐ蛠?lái)進(jìn)行跟蹤，在貝葉斯框架下，利用目標(biāo)和目標(biāo)局部的稠密信息的時(shí)空關(guān)系來(lái)建模，置信圖在被計(jì)算時(shí)考慮了上一幀目標(biāo)的位置的先驗(yàn)信息，這有效的減輕了目標(biāo)位置的模糊。

(2)本發(fā)明使用自適應(yīng)顏色特征描述目標(biāo)，并對(duì)顏色特征進(jìn)行pca降維，去除顏色特征的冗余信息，解決了多通道特征融合問(wèn)題，使得對(duì)目標(biāo)的外觀描述更加精確性和魯棒性，有效應(yīng)對(duì)光照變化，同時(shí)也降低了運(yùn)算難度，提高了運(yùn)算速度。

(3)本發(fā)明通過(guò)連續(xù)兩幀的目標(biāo)最佳位置處的置信值的比值計(jì)算當(dāng)前幀目標(biāo)的估計(jì)尺度，避免引入噪聲和過(guò)度敏感的自適應(yīng)引入連續(xù)多幀的平均估計(jì)尺度，最后通過(guò)濾波獲得最終目標(biāo)估計(jì)尺度，能夠有效地跟蹤尺度變化的目標(biāo)。

附圖說(shuō)明

圖1為本發(fā)明的基本流程示意圖。

圖2(a)為第t幀學(xué)習(xí)空間上下文模型；

圖2(b)為在第t+1幀中檢測(cè)目標(biāo)位置；

圖3為本發(fā)明的顏色特征降維示意圖。

具體實(shí)施方式

下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

如圖1所示，基于自適應(yīng)顏色特征和時(shí)空上下文的目標(biāo)跟蹤方法，包括以下步驟：

步驟(1)：在輸入視頻序列第一幀圖像后，用矩形框選擇跟蹤目標(biāo)；

步驟(2)：計(jì)算第1幀的目標(biāo)置信圖；

步驟(3)：所述跟蹤目標(biāo)置信圖包括上下文先驗(yàn)?zāi)Ｐ秃涂臻g上下文模型；

通過(guò)生物視覺(jué)系統(tǒng)的集中注意力特性和顏色特征對(duì)跟蹤目標(biāo)的局部上下文信息建模，得到上下文先驗(yàn)?zāi)Ｐ停聪闰?yàn)概率；

通過(guò)對(duì)上下文先驗(yàn)?zāi)Ｐ拖冗M(jìn)行快速傅里葉變換再進(jìn)行快速傅里葉反變換，得到跟蹤目標(biāo)與跟蹤目標(biāo)周?chē)舷挛男畔⒌目臻g關(guān)系的空間上下文模型，即條件概率；

步驟(4)：根據(jù)步驟(3)的空間上下文模型學(xué)習(xí)更新第t幀的時(shí)空上下文模型；如圖2(a)所示；

步驟(5)：利用步驟(4)得到的時(shí)空上下文模型，對(duì)第t+1幀圖像進(jìn)行卷積操作，計(jì)算第t+1幀的目標(biāo)置信圖，并求得目標(biāo)置信圖的最大似然概率位置作為最佳目標(biāo)位置；如圖2(b)所示；

步驟(6)：將步驟(4)的最佳目標(biāo)位置作為新的跟蹤目標(biāo)，同時(shí)依據(jù)步驟(5)的到的第t+1幀的目標(biāo)置信圖，然后重復(fù)步驟(3)-(5)，進(jìn)行t+2幀圖像的最佳目標(biāo)位置確定；

從而實(shí)現(xiàn)對(duì)所有幀圖像的最佳目標(biāo)位置確定。

進(jìn)一步的，所述步驟(2)的目標(biāo)置信圖的公式為：

式中，c(x)最大的位置就是目標(biāo)位置，x表示目標(biāo)位置，o表示目標(biāo)出現(xiàn)，特性x^c＝{c(z)}＝{(i(z),z)|z∈ωc(x^*)}表示圖像特性，i(z)表示位置z處的圖像自適應(yīng)顏色特征值，ωc(x^*)表示目標(biāo)位置x^*的局部區(qū)域，p(x|c(z),o)表示條件概率，p(c(z)|o)表示先驗(yàn)概率，b是標(biāo)準(zhǔn)化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。

進(jìn)一步的，所述步驟(3)上下文先驗(yàn)?zāi)Ｐ兔枋龅氖窍闰?yàn)概率，上下文先驗(yàn)?zāi)Ｐ蜑椋?/p>

p(c(z)|o)＝i(z)ωσ(z-x^*)(2)

表示權(quán)重函數(shù)，a表示歸一化參數(shù)，σ表示尺度參數(shù)，通常距離目標(biāo)x^*越近的點(diǎn)對(duì)跟蹤目標(biāo)越重要，權(quán)重越大，i(z)表示z處像素點(diǎn)的自適應(yīng)顏色特征值。

所述自適應(yīng)顏色特征值是：

先將rgb顏色細(xì)化為黑、藍(lán)、棕、灰、綠、橙、粉、紫、紅、白和黃共11種，

然后利用pca(principalcomponentanalysis)將11維降為2維，選擇出比較顯著的兩種顏色：如圖3所示，

步驟a)：顏色特征向量的公式為xm×n×k，x是目標(biāo)跟蹤圖像，m為圖像行數(shù)，n為圖像列數(shù)，k為顏色特征數(shù)量，k＝11；

步驟b)：計(jì)算步驟a)中的顏色特征向量中所有像素點(diǎn)顏色特征的均值，并利用均值對(duì)所有像素點(diǎn)的顏色值進(jìn)行中心化，得到中心化的顏色特征向量即每個(gè)像素點(diǎn)顏色信息減去所有像素點(diǎn)顏色信息的均值，均值計(jì)算公式為：

其中，是所有像素點(diǎn)顏色特征的均值，z是像素?cái)?shù)，mn是像素點(diǎn)個(gè)數(shù)，是第z個(gè)像素點(diǎn)的顏色信息；

步驟c)：計(jì)算步驟b)得到中心化的顏色特征向量的協(xié)方差矩陣，公式為：

步驟d)：對(duì)步驟c)中的協(xié)方差矩陣進(jìn)行特征值分解，得到一組降序排列的特征值及對(duì)應(yīng)的特征向量x：

|cz-λe|＝0；(6)

(cz-λe)y＝0；(7)

其中，cz是協(xié)方差矩陣，e是單位矩陣，λ是協(xié)方差矩陣cz的特征值，y是特征值λ對(duì)應(yīng)的特征向量；

步驟e)：根據(jù)步驟d)得到的特征值、特征向量，得到特征矩陣，公式為：

cz是協(xié)方差矩陣，λj是的d1*d2維的對(duì)角矩陣；

步驟f)：依據(jù)降序排列的特征值，選擇前a個(gè)特征值對(duì)應(yīng)的顏色特征主成分，主成分選擇方法為：

bz＝[w1,w2,…,wa]^t；(10)

其中，λj為第j個(gè)特征值,j＝1…m，wi為第i個(gè)特征向量，i＝1…a，a為保留的主成分個(gè)數(shù)，a＝2，0.995的意義是保留的主成分包含原來(lái)特征的99.5％的信息量，bz是主成分投影矩陣；投影矩陣bz作為d2的特征矩陣rz的歸一化特征向量，特征矩陣對(duì)應(yīng)最大特征值。

步驟g)：通過(guò)步驟f)得到的主成分投影矩陣，對(duì)顏色特征進(jìn)行主成分投影，得到主成分分析后的顏色特征向量，主成分映射公式為：

i(z)是主成分投影后的數(shù)據(jù)，bz是主成分投影矩陣。

空間上下文模型是通過(guò)基于上下文先驗(yàn)?zāi)Ｐ秃椭眯艌D在線學(xué)習(xí)得到的，隨著跟蹤的進(jìn)行不斷進(jìn)行更新。

進(jìn)一步的，所述步驟(3)中空間上下文模型描述的是條件概率函數(shù)，具體為：

p(x|c(z),o)＝h^sc(x-z)；(12)

式中，h^sc(x-z)表示目標(biāo)位置x與局部區(qū)域點(diǎn)z之間的相對(duì)距離以及方向關(guān)系的函數(shù)，即目標(biāo)與目標(biāo)的空間上下文的空間關(guān)系。

根據(jù)公式(1)(2)(12)置信圖公式表示如下：

式中，表示卷積符號(hào)。

卷積通過(guò)快速傅里葉變換加速，具體為：

式中，f表示傅里葉變換函數(shù)，表示點(diǎn)積符號(hào)。

通過(guò)兩次傅里葉變換和一次傅里葉反變換學(xué)習(xí)后，空間上下文模型表示為：

式中，f^-1表示傅里葉反變換函數(shù)。

步驟(4)，利用空間上下文模型公式(15)學(xué)習(xí)得到時(shí)空上下文模型，時(shí)空上下文模型具體為：

式中，ρ表示學(xué)習(xí)參數(shù)，表示第t幀的時(shí)空上下文模型。

步驟(5)，具體為：

在第t+1幀時(shí)，基于t幀目標(biāo)區(qū)域獲取局部區(qū)域ωc(x^*)，得到特征集，具體為：

x^c＝{c(z)＝(i(z),z)|z∈ωc(x^*)}；(17)

求得t+1幀時(shí)，置信圖最大似然概率位置，具體為：

式中，ct+1(x)具體為：

同時(shí)，更新公式(3)的尺度參數(shù)，具體為：

式中，s′t表示兩幀之間的估計(jì)尺度，ct(·)表示置信圖，st+1表示估計(jì)目標(biāo)尺度，通過(guò)濾波器獲得，表示連續(xù)n幀圖像的估計(jì)尺度的平均值，λ＞0是固定濾波器參數(shù)。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以?xún)?nèi)。