本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，更具體地，涉及一種基于顏色和距離聚類的多目標(biāo)跟蹤方法。

背景技術(shù)：

視頻多目標(biāo)跟蹤技術(shù)，即對(duì)一個(gè)視頻序列中給定的多個(gè)運(yùn)動(dòng)目標(biāo)，在每一幀中分別找出其對(duì)應(yīng)的位置和運(yùn)動(dòng)軌跡，持續(xù)到視頻結(jié)束或者目標(biāo)離開視野范圍。多目標(biāo)跟蹤在人工智能領(lǐng)域有著重要價(jià)值，如在公共場(chǎng)合視頻監(jiān)控中檢測(cè)多個(gè)目標(biāo)的動(dòng)態(tài)，在軍事領(lǐng)域，用于導(dǎo)彈防御，海洋監(jiān)視、戰(zhàn)場(chǎng)監(jiān)視。在商業(yè)上，則用于客流量統(tǒng)計(jì)。然而，由于多目標(biāo)間的關(guān)聯(lián)性，背景的復(fù)雜性，使得多目標(biāo)跟蹤實(shí)現(xiàn)相當(dāng)復(fù)雜。目前多目標(biāo)跟蹤算法大體分為兩種：

1)基于檢測(cè)和匹配的方法。這種方法的大致流程為，預(yù)先訓(xùn)練一個(gè)或多個(gè)檢測(cè)器，如基于haar特征的adaboost人頭分類器[1]，然后在每一幀中滑動(dòng)檢測(cè)每一個(gè)區(qū)域的響應(yīng)，得到可能為目標(biāo)的矩形框，然后對(duì)檢測(cè)到的矩形框提取某種特征，比如直方圖特征，再和前一幀的目標(biāo)進(jìn)行匹配，從而確定目標(biāo)。

2)基于模板響應(yīng)的在線學(xué)習(xí)方法。這種方法的流程是，對(duì)每個(gè)目標(biāo)學(xué)習(xí)一種特征作為模板，在下一幀的目標(biāo)鄰域中，計(jì)算對(duì)該模板的響應(yīng)，從而確定出目標(biāo)的位置，同時(shí)更新模板。如kcf(kernelizedcorrelationfilters)[2]等，通過卷積濾波器來實(shí)現(xiàn)的跟蹤。

然而，已有的多目標(biāo)跟蹤技術(shù)尚存在很多不足?；跈z測(cè)和匹配的方法最大的局限在于跟蹤器的好壞很大程度上受檢測(cè)器的質(zhì)量的影響，如果檢測(cè)器檢測(cè)的效果不好，則直接導(dǎo)致跟蹤效果變差，而且很多檢測(cè)器的效率較低，無法滿足實(shí)時(shí)需求。況且，基于檢測(cè)的跟蹤一般只能檢測(cè)到某一類物體，所以跟蹤器也只能跟蹤某一類物體。而基于模板響應(yīng)的在線學(xué)習(xí)方法，雖然速度上可以達(dá)到很快，但是單一的模板無法滿足攝像頭下目標(biāo)的運(yùn)動(dòng)變化，諸如人在攝像頭下的形變等，把預(yù)測(cè)的目標(biāo)位置作為新的訓(xùn)練集去更新模板，容易積累誤差，造成模板的漂移。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種有效的抑制目標(biāo)形變帶來的影響和降低對(duì)檢測(cè)器的依賴程度的基于顏色和距離聚類的多目標(biāo)跟蹤方法。

為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

一種基于顏色和距離聚類的多目標(biāo)跟蹤方法，包括以下步驟：

s1：計(jì)算距離得分；

s2：計(jì)算顏色得分；

s3：加權(quán)得分；

s4：聚類；

s5：目標(biāo)回歸；

s6：更新距離和直方圖模型。

進(jìn)一步地，所述步驟s1的具體過程如下：

對(duì)當(dāng)前幀前景中每一個(gè)像素點(diǎn)，根據(jù)其和前一幀各個(gè)目標(biāo)的距離，計(jì)算其屬于前一幀中各個(gè)目標(biāo)的可能性作為該點(diǎn)的屬于各個(gè)目標(biāo)類別的得分，得分為一個(gè)向量，向量的維數(shù)表示可能的目標(biāo)數(shù)：

d(p)＝||p-cⁿ||²······(3)

對(duì)于一幀圖像xt，應(yīng)用高斯混合背景建模得到運(yùn)動(dòng)區(qū)域的前景掩模mt，mt是一張二值圖像，像素值為1代表的是運(yùn)動(dòng)區(qū)域，0代表的是背景區(qū)域，將把mt里面為1的像素點(diǎn)所對(duì)應(yīng)xt的像素點(diǎn)統(tǒng)稱為前景點(diǎn)，用集合st表示；

t為某一時(shí)刻,我們現(xiàn)有的信息是前一時(shí)刻t-1時(shí)，目標(biāo)的個(gè)數(shù)n，其中cⁿ代表的是第n個(gè)目標(biāo)的中心，每一個(gè)目標(biāo)稱為每一個(gè)類別，對(duì)于前景里某一點(diǎn)p，則d(p)表示的是p和類別中心cⁿ的歐氏距離，函數(shù)g(d)計(jì)算的是p屬于每一個(gè)類別的距離得分，其中g(shù)函數(shù)中3σ等于該視角下目標(biāo)在畫面里面的寬度，對(duì)于某一類別n,如果點(diǎn)p距離類別中心大于3σ，該點(diǎn)屬于該類別的可能性為0，所以距離得分也為0，如果距離小于3σ，則按照高斯函數(shù)計(jì)算其距離得分，fdist(p)表示前景點(diǎn)分別屬于各個(gè)類別的距離得分，用n維列向量表示:

進(jìn)一步地，所述步驟s2的具體過程如下：

對(duì)當(dāng)前幀前景的每一個(gè)像素點(diǎn)，根據(jù)前一幀各個(gè)目標(biāo)的顏色直方圖，計(jì)算該像素點(diǎn)屬于每一個(gè)目標(biāo)的概率，作為此像素點(diǎn)的得分，得分為一個(gè)向量，向量的維數(shù)表示可能的目標(biāo)數(shù):

d(p)＝||p-cⁿ||²······(6)

其中，j表示的是xt的m個(gè)通道中的第j個(gè)通道，h^j(oⁿ)表示的j通道上第n個(gè)類別的顏色直方圖，而b^j(oⁿ)表示的是j通道上點(diǎn)p落在第n個(gè)類別的顏色直方圖對(duì)應(yīng)的那個(gè)bin，所以ρ^j(oⁿ)表示的是，在通道j上點(diǎn)p屬于類別n的概率，然后對(duì)ρ^j(oⁿ)進(jìn)行歸一化，那么fⁿhist(p)代表各個(gè)通道上的概率和，作為該點(diǎn)屬于第個(gè)n類別的概率，d(p)＜3σ的意義和距離得分的一致，用fhist(p)表示點(diǎn)p數(shù)各個(gè)類別的得分，其中是一個(gè)n維向量。

進(jìn)一步地，所述步驟s3的具體過程如下：

對(duì)于每一個(gè)像素點(diǎn)，我們將其距離得分和直方圖得分進(jìn)行加權(quán)求和，得到最后的得分向量，向量的每個(gè)元素代表著該像素屬于對(duì)應(yīng)目標(biāo)類別的得分度量：

score(p)＝(1-α)·fhist(p)+α·fhist(p)···(7)

由此得到每一個(gè)點(diǎn)屬于各類的得分，其中score(p)是n維的向量，其中α取是權(quán)重因子，α優(yōu)選0.7。

進(jìn)一步地，所述步驟s4的具體過程如下：

對(duì)于每個(gè)像素點(diǎn)，取其的得分向量中的最大值作為像素點(diǎn)的最后得分，取其的得分向量中的最大值對(duì)應(yīng)的類別作為該像素點(diǎn)的類別，由此得到兩張關(guān)于像素點(diǎn)的圖，一張是得分圖，一張是類別圖，類別圖和得分圖對(duì)應(yīng)點(diǎn)分別指示該點(diǎn)屬于哪個(gè)類別及其對(duì)應(yīng)的得分：

[sp,n]＝maxn∈[1,n](score(p))···(8)

st(p)＝sp···(9)

sc(p)＝sp···(10)

score(p)中得分最大值所屬的類別作為點(diǎn)p的類別，對(duì)應(yīng)的得分為sp，并構(gòu)建得分圖st，其每個(gè)點(diǎn)p的像素值st(p)正是最大得分，同時(shí)得到對(duì)應(yīng)的類別圖sc，類別圖上每個(gè)點(diǎn)指示該點(diǎn)所屬的類別，對(duì)于得分最大值為0的點(diǎn)，判定其不屬于任何一個(gè)類別，直接踢除此類點(diǎn)。

進(jìn)一步地，所述步驟s5的具體過程如下：

根據(jù)步驟s4所得的類別圖和得分圖，對(duì)于當(dāng)前某一點(diǎn)，計(jì)算屬于以當(dāng)前點(diǎn)為人體中心的人的模板內(nèi)，并且與當(dāng)前點(diǎn)屬于同一類別的點(diǎn)的得分和，作為該點(diǎn)屬于人體中心的得分，由此構(gòu)建人體中心得分圖，并取屬于同一類的像素點(diǎn)中人體中心得分最大的像素點(diǎn)作為人體中心，也就是該類對(duì)應(yīng)目標(biāo)的新位置：

對(duì)得分圖st中屬于同一類別的點(diǎn)，進(jìn)行目標(biāo)回歸，令目標(biāo)大小用矩形模板r表示，則對(duì)于點(diǎn)p，把矩形框r移動(dòng)到以點(diǎn)p為中心的位置，假設(shè)p的類別為cp＝n,計(jì)算矩形框r內(nèi)屬于n類的像素點(diǎn)值之和記為p(p)，表示的點(diǎn)p屬于目標(biāo)中心的概率，cp表示點(diǎn)p的類別：

最后對(duì)于每一類點(diǎn)，尋找p(p)最大的點(diǎn)作為目標(biāo)中心，因此在求解公式(11)時(shí)，使用了非極大值抑制的方法求得極大值，再在極大值中取最大值作為最后的目標(biāo)中心：

式子(12)表示的是以p為中心，對(duì)模板r內(nèi)的與p屬于同一類的像素點(diǎn)積分求和。

進(jìn)一步地，所述步驟s6的具體過程如下：

在新位置根據(jù)人體模板按一定的權(quán)重更新該目標(biāo)的位置信息和顏色直方圖信息：

ht(oⁿ)＝β·ht-1(oⁿ)+(1-β)·ht'(oⁿ)···(14)

其中ht'(oⁿ)表示的是第t幀定位目標(biāo)后目標(biāo)n的直方圖，β是權(quán)重因子，(1-β)則指示學(xué)習(xí)率，β越小，則新的直方圖權(quán)重越大，更新越快，β取值為0.04最佳。

與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

本發(fā)明結(jié)合了前后幀的信息，并減少了模板形變帶來的影響；結(jié)合距離得分和直方圖得分進(jìn)行像素點(diǎn)聚類，并積分定位目標(biāo)位置；不需要每幀在全局區(qū)域檢測(cè)新目標(biāo)，只需要在未定義類標(biāo)的區(qū)域檢測(cè)，減少了對(duì)檢測(cè)器的依賴；同時(shí)結(jié)合前后幀的位置信息和目標(biāo)的直方圖信息通過對(duì)前景點(diǎn)進(jìn)行聚類，并計(jì)算前景點(diǎn)得分，最后定位目標(biāo)位置。從而有效的抑制目標(biāo)的偏移，同時(shí)不斷更新的直方圖特征和位置信息。

附圖說明

圖1為本發(fā)明方法流程圖。

具體實(shí)施方式

附圖僅用于示例性說明，不能理解為對(duì)本專利的限制；

為了更好說明本實(shí)施例，附圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品的尺寸；

對(duì)于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的說明。

實(shí)施例1

如圖1所示，一種基于顏色和距離聚類的多目標(biāo)跟蹤方法，包括以下步驟：

s1：計(jì)算距離得分；

s2：計(jì)算顏色得分；

s3：加權(quán)得分；

s4：聚類；

s5：目標(biāo)回歸；

s6：更新距離和直方圖模型。

進(jìn)一步地，所述步驟s1的具體過程如下：

對(duì)當(dāng)前幀前景中每一個(gè)像素點(diǎn)，根據(jù)其和前一幀各個(gè)目標(biāo)的距離，計(jì)算其屬于前一幀中各個(gè)目標(biāo)的可能性作為該點(diǎn)的屬于各個(gè)目標(biāo)類別的得分，得分為一個(gè)向量，向量的維數(shù)表示可能的目標(biāo)數(shù)：

d(p)＝||p-cⁿ||²······(3)

對(duì)于一幀圖像xt，應(yīng)用高斯混合背景建模得到運(yùn)動(dòng)區(qū)域的前景掩模mt，mt是一張二值圖像，像素值為1代表的是運(yùn)動(dòng)區(qū)域，0代表的是背景區(qū)域，將把mt里面為1的像素點(diǎn)所對(duì)應(yīng)xt的像素點(diǎn)統(tǒng)稱為前景點(diǎn)，用集合st表示；

t為某一時(shí)刻,我們現(xiàn)有的信息是前一時(shí)刻t-1時(shí)，目標(biāo)的個(gè)數(shù)n，其中cⁿ代表的是第n個(gè)目標(biāo)的中心，每一個(gè)目標(biāo)稱為每一個(gè)類別，對(duì)于前景里某一點(diǎn)p，則d(p)表示的是p和類別中心cⁿ的歐氏距離，函數(shù)g(d)計(jì)算的是p屬于每一個(gè)類別的距離得分，其中g(shù)函數(shù)中3σ等于該視角下目標(biāo)在畫面里面的寬度，對(duì)于某一類別n,如果點(diǎn)p距離類別中心大于3σ，該點(diǎn)屬于該類別的可能性為0，所以距離得分也為0，如果距離小于3σ，則按照高斯函數(shù)計(jì)算其距離得分，fdist(p)表示前景點(diǎn)分別屬于各個(gè)類別的距離得分，用n維列向量表示:

進(jìn)一步地，所述步驟s2的具體過程如下：

對(duì)當(dāng)前幀前景的每一個(gè)像素點(diǎn)，根據(jù)前一幀各個(gè)目標(biāo)的顏色直方圖，計(jì)算該像素點(diǎn)屬于每一個(gè)目標(biāo)的概率，作為此像素點(diǎn)的得分，得分為一個(gè)向量，向量的維數(shù)表示可能的目標(biāo)數(shù):

d(p)＝||p-cⁿ||²······(6)

其中，j表示的是xt的m個(gè)通道中的第j個(gè)通道，h^j(oⁿ)表示的j通道上第n個(gè)類別的顏色直方圖，而b^j(oⁿ)表示的是j通道上點(diǎn)p落在第n個(gè)類別的顏色直方圖對(duì)應(yīng)的那個(gè)bin，所以ρ^j(oⁿ)表示的是，在通道j上點(diǎn)p屬于類別n的概率，然后對(duì)ρ^j(oⁿ)進(jìn)行歸一化，那么fⁿhist(p)代表各個(gè)通道上的概率和，作為該點(diǎn)屬于第個(gè)n類別的概率，d(p)＜3σ的意義和距離得分的一致，用fhist(p)表示點(diǎn)p數(shù)各個(gè)類別的得分，其中是一個(gè)n維向量。

進(jìn)一步地，所述步驟s3的具體過程如下：

對(duì)于每一個(gè)像素點(diǎn)，我們將其距離得分和直方圖得分進(jìn)行加權(quán)求和，得到最后的得分向量，向量的每個(gè)元素代表著該像素屬于對(duì)應(yīng)目標(biāo)類別的得分度量：

score(p)＝(1-α)·fhist(p)+α·fhist(p)···(7)

由此得到每一個(gè)點(diǎn)屬于各類的得分，其中score(p)是n維的向量，其中α取是權(quán)重因子，α優(yōu)選0.7。

進(jìn)一步地，所述步驟s4的具體過程如下：

對(duì)于每個(gè)像素點(diǎn)，取其的得分向量中的最大值作為像素點(diǎn)的最后得分，取其的得分向量中的最大值對(duì)應(yīng)的類別作為該像素點(diǎn)的類別，由此得到兩張關(guān)于像素點(diǎn)的圖，一張是得分圖，一張是類別圖，類別圖和得分圖對(duì)應(yīng)點(diǎn)分別指示該點(diǎn)屬于哪個(gè)類別及其對(duì)應(yīng)的得分：

[sp,n]＝maxn∈[1,n](score(p))···(8)

st(p)＝sp···(9)

sc(p)＝sp···(10)

score(p)中得分最大值所屬的類別作為點(diǎn)p的類別，對(duì)應(yīng)的得分為sp，并構(gòu)建得分圖st，其每個(gè)點(diǎn)p的像素值st(p)正是最大得分，同時(shí)得到對(duì)應(yīng)的類別圖sc，類別圖上每個(gè)點(diǎn)指示該點(diǎn)所屬的類別，對(duì)于得分最大值為0的點(diǎn)，判定其不屬于任何一個(gè)類別，直接踢除此類點(diǎn)。

進(jìn)一步地，所述步驟s5的具體過程如下：

根據(jù)步驟s4所得的類別圖和得分圖，對(duì)于當(dāng)前某一點(diǎn)，計(jì)算屬于以當(dāng)前點(diǎn)為人體中心的人的模板內(nèi)，并且與當(dāng)前點(diǎn)屬于同一類別的點(diǎn)的得分和，作為該點(diǎn)屬于人體中心的得分，由此構(gòu)建人體中心得分圖，并取屬于同一類的像素點(diǎn)中人體中心得分最大的像素點(diǎn)作為人體中心，也就是該類對(duì)應(yīng)目標(biāo)的新位置：

對(duì)得分圖st中屬于同一類別的點(diǎn)，進(jìn)行目標(biāo)回歸，令目標(biāo)大小用矩形模板r表示，則對(duì)于點(diǎn)p，把矩形框r移動(dòng)到以點(diǎn)p為中心的位置，假設(shè)p的類別為cp＝n,計(jì)算矩形框r內(nèi)屬于n類的像素點(diǎn)值之和記為p(p)，表示的點(diǎn)p屬于目標(biāo)中心的概率，cp表示點(diǎn)p的類別：

最后對(duì)于每一類點(diǎn)，尋找p(p)最大的點(diǎn)作為目標(biāo)中心，因此在求解公式(11)時(shí)，使用了非極大值抑制的方法求得極大值，再在極大值中取最大值作為最后的目標(biāo)中心：

式子(12)表示的是以p為中心，對(duì)模板r內(nèi)的與p屬于同一類的像素點(diǎn)積分求和。

進(jìn)一步地，所述步驟s6的具體過程如下：

在新位置根據(jù)人體模板按一定的權(quán)重更新該目標(biāo)的位置信息和顏色直方圖信息：

ht(oⁿ)＝β·ht-1(oⁿ)+(1-β)·ht'(oⁿ)···(14)

其中ht'(oⁿ)表示的是第t幀定位目標(biāo)后目標(biāo)n的直方圖，β是權(quán)重因子，(1-β)則指示學(xué)習(xí)率，β越小，則新的直方圖權(quán)重越大，更新越快，β取值為0.04最佳。

相同或相似的標(biāo)號(hào)對(duì)應(yīng)相同或相似的部件；

附圖中描述位置關(guān)系的用于僅用于示例性說明，不能理解為對(duì)本專利的限制；

顯然，本發(fā)明的上述實(shí)施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對(duì)本發(fā)明的實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無需也無法對(duì)所有的實(shí)施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。