本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域,尤其涉及一種改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法,
背景技術(shù):
盡管視頻跟蹤領(lǐng)域已經(jīng)存在很多文獻(xiàn),成功建立了許多有效的目標(biāo)跟蹤算法,但在實(shí)際應(yīng)用中仍然面臨很多困難,例如目標(biāo)的部分或全部遮擋、環(huán)境中的光照變化、目標(biāo)外觀的改變、目標(biāo)運(yùn)動(dòng)的復(fù)雜性,以及背景中的噪聲干擾等因素。因此如何建立一個(gè)有效的模型使得目標(biāo)跟蹤能夠快速、準(zhǔn)確且長(zhǎng)時(shí)間穩(wěn)定是近年來(lái)的熱點(diǎn)問(wèn)題。目前把壓縮感知應(yīng)用到目標(biāo)跟蹤領(lǐng)域是一個(gè)重要的研究方向。2009年,Robust Visual Tracking using L1Minimization跟蹤算法,首次將壓縮感知理論引入到目標(biāo)跟蹤領(lǐng)域中。之后的算法,本質(zhì)上都是在粒子濾波的框架下對(duì)粒子進(jìn)行稀疏表示,之后再對(duì)信號(hào)進(jìn)行重建,計(jì)算量很大。這些跟蹤算法只是在采樣的過(guò)程中由傳統(tǒng)的Nquist采樣定理改進(jìn)為稀疏變換的低速采樣過(guò)程,但是在之后對(duì)信號(hào)進(jìn)行重建時(shí),計(jì)算復(fù)雜度很高,并且信號(hào)重建問(wèn)題至今是CS方向的難點(diǎn)問(wèn)題,所以在工程實(shí)現(xiàn)上,這些跟蹤算法的實(shí)時(shí)性并不好。12年,Kaihua Zhang提出了實(shí)時(shí)性壓縮感知目標(biāo)跟蹤。采用二元分類(lèi)法,將目標(biāo)樣本和背景樣本的特征直接通過(guò)稀疏矩陣來(lái)觀測(cè),觀測(cè)后的稀疏特征不用來(lái)信號(hào)重建,而直接通過(guò)貝葉斯分類(lèi)器來(lái)進(jìn)行分類(lèi),從而確定目標(biāo)。通過(guò)把壓縮感知和目標(biāo)提取結(jié)合在一起,有效減小了算法的復(fù)雜度,提高了跟蹤速度,同時(shí)實(shí)驗(yàn)結(jié)果很魯棒。
盡管壓縮感知算法的效果很魯棒,它依然存在以下幾方面的不足。首先,在跟蹤過(guò)程中,壓縮感知算法始終保持跟蹤尺度固定不變,無(wú)法隨目標(biāo)尺度自適應(yīng)變化,則若跟蹤過(guò)程中若目標(biāo)尺寸發(fā)生劇烈變化,容易導(dǎo)致跟蹤失敗。其次,壓縮跟蹤算法中的隨機(jī)測(cè)量矩陣是隨機(jī)生成的,繼而提取到的低維特征是隨機(jī)的,很難保證提取特征的有效性,從而影響跟蹤結(jié)果的準(zhǔn)確率。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法,旨在解決在跟蹤過(guò)程中壓縮感知算法存在容易導(dǎo)致跟蹤失敗,很難保證提取特征的有效性,影響跟蹤結(jié)果的準(zhǔn)確率的問(wèn)題。
本發(fā)明是這樣實(shí)現(xiàn)的,一種改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法,所述改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法利用歸一化矩形特征作為原始高維圖像特征描述目標(biāo)模型,使得特征對(duì)目標(biāo)尺度變化有較強(qiáng)的適應(yīng)性;利用伸縮窗口采樣,使得算法跟蹤目標(biāo)時(shí)跟蹤窗口能夠隨著目標(biāo)尺寸的變化而變化,實(shí)現(xiàn)對(duì)目標(biāo)的尺度自適應(yīng)性跟蹤;利用互補(bǔ)的隨機(jī)測(cè)量矩陣R2,使得壓縮后的低維特征的紋理信息和灰度信息得到平衡。
進(jìn)一步,所述改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法包括:
在第t幀圖像更新分類(lèi)器階段:
(1)初始化參數(shù),確認(rèn)第t幀圖像的目標(biāo)矩形框位置Xt(x,y,w,h),其中x,y分別為目標(biāo)矩形框左上角在該幀內(nèi)的行、列坐標(biāo),w,h分別為目標(biāo)矩形框的寬和高;
(2)以目標(biāo)位置中心為基準(zhǔn),采集寬、高和目標(biāo)尺寸一致的正、負(fù)樣本;
(3)將采集到的正、負(fù)樣本和一系列的歸一化矩形濾波器卷積,獲得具有尺度不變性的原始高維圖像特征X;
(4)通過(guò)隨機(jī)測(cè)量矩陣R,壓縮樣本的原始高維圖像特征X,得到低維壓縮特征向量V;
(5)通過(guò)構(gòu)建與R互補(bǔ)的隨機(jī)測(cè)量矩陣R2,壓縮樣本的原始高維圖像特征X,得到低維壓縮特征向量V2。V2中表示原圖像的紋理特征和灰度特征和V中表示的原圖像的紋理特征和灰度特征形成概率上的互補(bǔ);
(6)將V和V2分別送入貝葉斯分類(lèi)器中對(duì)其進(jìn)行訓(xùn)練,更新分類(lèi)器參數(shù);
(7)在第t幀圖像確定的目標(biāo)位置Xt周?chē)杉0澹杉瘜?、高和目?biāo)尺寸一致;
(8)將采集到的模板和一系列的歸一化矩形濾波器卷積,獲得具有尺度不變性的原始高維圖像特征X;
(9)通過(guò)隨機(jī)測(cè)量矩陣R,壓縮樣本的原始高維圖像特征X,得到低維特征向量V;
(10)通過(guò)與R互補(bǔ)的隨機(jī)測(cè)量矩陣R2,壓縮樣本的原始高維圖像特征X,得到低維特征向量V2;
(11)將隨機(jī)測(cè)量矩陣V和V2分別送入第t幀訓(xùn)練好的貝葉斯分類(lèi)器中檢測(cè),得到模板的匹配值,匹配值最大的模板確定為該幀的初始跟蹤目標(biāo),標(biāo)記其位置X't+1;
(12)在X't+1附近選擇多種尺寸的模板,壓縮提取其特征,計(jì)算模板相應(yīng)的匹配值,得到當(dāng)前幀最終的最優(yōu)匹配圖像,其位置標(biāo)記為Xt+1;
(13)若t+1不是最后一幀,則令t=t+1,返回第t幀更新分類(lèi)器階段,繼續(xù)檢測(cè)。
進(jìn)一步,所述隨機(jī)測(cè)量矩陣R2為:
其中c表示R矩陣中每行非零元素的個(gè)數(shù)。
進(jìn)一步,在初始目標(biāo)位置X′t+1周?chē)杉0?,確定最終跟蹤目標(biāo)的步驟如下:
(1)在第t+1幀的初始目標(biāo)位置X′t+1=(x′t+1,y′t+1,w′t+1,h′t+1)附近,通過(guò)對(duì)目標(biāo)矩形框進(jìn)行各種尺度縮放、平移變換,產(chǎn)生一序列掃描窗口;窗口的尺度縮放系數(shù)s為1.2,最小掃描窗口大小為40個(gè)像素;窗口的尺度變化等級(jí)為其中,ci表示尺度縮放的等級(jí),與圖像大小(W,H)和初始跟蹤窗大小(w′t+1,h′t+1)有關(guān);跟蹤窗個(gè)數(shù)的選擇公式如下:
(3)將模板提取為具有尺度不變性的原始高維圖像特征;
(3)依據(jù)樣本圖像尺度,對(duì)初始隨機(jī)測(cè)量矩陣R和R2的非零元進(jìn)行調(diào)整,得到尺度Si下的隨機(jī)測(cè)量矩陣RS和R2s;
保持R和R2中的所有非零元數(shù)值不變,非零元所對(duì)應(yīng)的矩陣參數(shù)px(i,t),py(i,t),pw(i,t),ph(i,t)分別變?yōu)樵瓉?lái)的Si倍,并按照四舍五入取整,公式為:
其中i=1,2,…,n;t=1,2,…,ci,n為壓縮特征向量維數(shù),ci為初始隨機(jī)測(cè)量矩陣R和R2中第i行非零元素的個(gè)數(shù);
(6)通過(guò)RS和R2s分別將原始高維圖像特征壓縮為低維特征向量V,V2;
(7)將V,V2送入貝葉斯分類(lèi)器中進(jìn)行分類(lèi);
后驗(yàn)概率與先驗(yàn)概率的關(guān)系如下所示:
先驗(yàn)概率p(y=1)=p(y=0),其中0,1分別表示正、負(fù)樣本,構(gòu)造分類(lèi)器:
根據(jù)高維隨機(jī)向量的隨機(jī)映射幾乎總是服從高斯分布的,4個(gè)概率條件p(vi|y=1),p(v2i|y=1),p(vi|y=0),p(v2i|y=0)為高斯分布,即:
標(biāo)量參數(shù)更新公式為:
其中λ(λ>0)是學(xué)習(xí)參數(shù),根據(jù)極大似然估計(jì)可得:
得到最大的H(v)值,則最有最大匹配值的特征所在模板即為最終的目標(biāo)圖像。
進(jìn)一步,原始高維圖像特征提取過(guò)程如下:
對(duì)于每個(gè)樣本Z∈Rw×h,把Z和W×h個(gè)歸一化的矩形濾波器{h1×1,…,hw×h}卷積,其中:
i,j分別為濾波器的寬和高,Z與每一個(gè)濾波器卷積之后得到的圖像,表示為一個(gè)的列向量;之后再把這W×h個(gè)結(jié)果連結(jié)到一起,構(gòu)成一個(gè)高維的尺度不變的圖像特征X={x1,…,xm}T,m=(wh)2。
本發(fā)明的另一目的在于提供一種利用所述改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法的視頻跟蹤系統(tǒng)。
本發(fā)明的另一目的在于提供一種利用所述改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法的計(jì)算機(jī)。
本發(fā)明的另一目的在于提供一種利用所述改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法的攝像頭。
本發(fā)明提供的改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法,通過(guò)歸一化矩形特征以及伸縮窗口采樣,實(shí)現(xiàn)了對(duì)目標(biāo)的尺度自適應(yīng)性跟蹤;其次,壓縮跟蹤算法中的隨機(jī)測(cè)量矩陣是隨機(jī)生成的,繼而提取到的低維特征是隨機(jī)的,壓縮特征反映原圖像的灰度信息和紋理信息概率不等。本發(fā)明通過(guò)增加互補(bǔ)的隨機(jī)測(cè)量矩陣改進(jìn)壓縮特征,保證提取特征的灰度性和紋理性概率相同,從而提高跟蹤結(jié)果的準(zhǔn)確率。定義邊界框成功率其中RT表示跟蹤過(guò)程中的邊界框,RG表示目標(biāo)實(shí)際位置的邊界框,[·]表示·區(qū)域內(nèi)的像素?cái)?shù)目。設(shè)定一個(gè)閾值t∈[0,1],在某一幀中,當(dāng)s>t時(shí),就認(rèn)為在這一幀中算法成功跟蹤目標(biāo)。設(shè)成功跟蹤的總幀數(shù)M,圖像序列的總幀數(shù)為N,那么成功跟蹤率當(dāng)t取0.5時(shí),圖4對(duì)比了原壓縮感知算法(CT)和本文中改進(jìn)算法的跟蹤成功率。圖中選用的3個(gè)跟蹤視頻deer、jumping、carscaled為目標(biāo)跟蹤數(shù)據(jù)庫(kù)中的標(biāo)準(zhǔn)數(shù)據(jù)。
本發(fā)明提出了改進(jìn)壓縮特征的尺度自適應(yīng)性壓縮跟蹤算法,實(shí)現(xiàn)了對(duì)尺度變化目標(biāo)的穩(wěn)定跟蹤。利用歸一化矩形特征作為原始高維圖像特征描述目標(biāo)模型,使得特征對(duì)目標(biāo)尺度變化有較強(qiáng)的適應(yīng)性。利用伸縮窗口采樣,使得算法跟蹤目標(biāo)時(shí)跟蹤窗口能夠隨著目標(biāo)尺寸的變化而變化,實(shí)現(xiàn)了對(duì)目標(biāo)的尺度自適應(yīng)性跟蹤。利用互補(bǔ)的隨機(jī)測(cè)量矩陣R2,使得壓縮后的低維特征的紋理信息和灰度信息得到了平衡,如圖4所示,提高了跟蹤結(jié)果的準(zhǔn)確率。
附圖說(shuō)明
圖1是本發(fā)明實(shí)施例提供的改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法流程圖。
圖2是本發(fā)明實(shí)施例提供的原始隨機(jī)測(cè)量矩陣R和與它互補(bǔ)的R2示意圖。
圖中:a:填充部分代表非零值所在灰色填充,值為-1;黑色填充,值為+1;b:與R互補(bǔ)的原始隨機(jī)測(cè)量矩陣R2∈Rn×m;R中第i行非零元素全為1或-1,則令R2中非零元素同時(shí)有1和-1;R中第i行非零元素同時(shí)包含1,-1,則令R2中非零元素同時(shí)為1。
圖3是本發(fā)明實(shí)施例提供的隨機(jī)測(cè)量矩陣的尺度轉(zhuǎn)換和低維壓縮特征提取示意圖。
圖4是原壓縮感知算法(CT)和本文中改進(jìn)算法的跟蹤成功率比較。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
下面結(jié)合附圖對(duì)本發(fā)明的應(yīng)用原理作詳細(xì)的描述。
如圖1所示,本發(fā)明實(shí)施例提供的改進(jìn)稀疏矩陣的尺度自適應(yīng)性壓縮跟蹤方法包括以下步驟:
S101:利用歸一化矩形特征作為原始高維圖像特征描述目標(biāo)模型,使得特征對(duì)目標(biāo)尺度變化有較強(qiáng)的適應(yīng)性;
S102:利用伸縮窗口采樣,使得算法跟蹤目標(biāo)時(shí)跟蹤窗口能夠隨著目標(biāo)尺寸的變化而變化,實(shí)現(xiàn)了對(duì)目標(biāo)的尺度自適應(yīng)性跟蹤;
S103:利用互補(bǔ)的隨機(jī)測(cè)量矩陣R2,使得壓縮后的低維特征的紋理信息和灰度信息得到了平衡。
下面結(jié)合具體實(shí)施例對(duì)本發(fā)明的應(yīng)用原理作進(jìn)一步的描述。
參照?qǐng)D1,具體步驟包括在第t幀圖像更新分類(lèi)器和在第(t+1)幀圖像確定跟蹤目標(biāo)兩個(gè)階段。
在第t幀圖像更新分類(lèi)器階段:
(1)初始化參數(shù),確認(rèn)第t幀圖像的目標(biāo)矩形框位置Xt(x,y,w,h),其中x,y分別為目標(biāo)矩形框左上角在該幀內(nèi)的行、列坐標(biāo),w,h分別為目標(biāo)矩形框的寬和高。
在第一幀圖像時(shí),人工標(biāo)記目標(biāo)矩形框位置。
(2)以目標(biāo)位置中心為基準(zhǔn),采集寬、高和目標(biāo)尺寸一致的正、負(fù)樣本。
采樣兩個(gè)樣本集:Dα={z|||l(z)-lt||<α}和Dζ,β={z|ζ<||l(z)-lt||<β}其中,α<ζ<β。
(3)將采集到的正、負(fù)樣本集和一系列的歸一化矩形濾波器卷積,獲得具有尺度不變性的原始高維圖像特征X。
假設(shè)Z∈Rw×h表示寬、高分別為w,h的樣本圖像,將采集到的樣本圖像和一系列歸一化的矩形濾波器{h1×1,…,hw×h}的卷積:
其中,i,j分別為表示歸一化矩形濾波器的寬度和高度,Z與每一個(gè)濾波器卷積之后得到的圖像,表示為一個(gè)的列向量。之后再把這w×h個(gè)結(jié)果連結(jié)到一起,構(gòu)成一個(gè)高維的多尺度圖像特征X={x1,…xw×h,}T,m=(wh)2。
(4)通過(guò)隨機(jī)測(cè)量矩陣R,壓縮樣本的原始高維圖像特征X,得到低維壓縮特征向量V。
R的矩陣元素定義為:
其中ri,j為R的第i行第j個(gè)非零元素。
(5)通過(guò)與R互補(bǔ)的隨機(jī)測(cè)量矩陣R2,壓縮樣本的原始高維圖像特征X,得到低維壓縮特征向量V2。V2中表示原圖像的紋理特征和灰度特征和V中表示的原圖像的紋理特征和灰度特征形成了概率上的互補(bǔ)。
參考附圖2,互補(bǔ)測(cè)量矩陣R2與R中的非零元素位置相同,其數(shù)值定義如下:
其中c表示R矩陣中每行非零元素的個(gè)數(shù)。
(6)將V和V2分別送入貝葉斯分類(lèi)器中對(duì)其進(jìn)行訓(xùn)練,更新分類(lèi)器參數(shù)。
標(biāo)量參數(shù)更新公式為:
其中λ(λ>0)是學(xué)習(xí)參數(shù),根據(jù)極大似然估計(jì)可得,
在第(t+1)幀圖像確定跟蹤目標(biāo):
(7)在第t幀圖像確定的目標(biāo)位置Xt周?chē)杉0澹杉瘜?、高和目?biāo)尺寸一致。
采集半徑為γ,即在t幀跟蹤到的目標(biāo)位置It的周?chē)?也就是滿足Dγ={z|||l(z)-lt||<γ,與It距離小于γ)采樣n個(gè)圖像片。
(8)將采集到的模板和一系列的歸一化矩形濾波器卷積,獲得具有尺度不變性的原始高維圖像特征X。
(9)通過(guò)隨機(jī)測(cè)量矩陣R,壓縮樣本的原始高維圖像特征X,得到低維特征向量V。
(10)通過(guò)與R互補(bǔ)的隨機(jī)測(cè)量矩陣R2,壓縮樣本的原始高維圖像特征X,得到低維特征向量V2。
(11)將隨機(jī)測(cè)量矩陣V和V2分別送入第t幀訓(xùn)練好的貝葉斯分類(lèi)器中檢測(cè),得到模板的匹配值,匹配值最大的模板確定為該幀的初始跟蹤目標(biāo),標(biāo)記其位置X′t+1。
(12)收縮窗口采集模板:在X′t+1附近選擇多種尺寸的模板,壓縮提取其特征,計(jì)算這些模板相應(yīng)的匹配值,從而得到當(dāng)前幀最終的最優(yōu)匹配圖像,其位置標(biāo)記為Xt+1。
在第t+1幀的初始目標(biāo)位置X′t+1=(x′t+1,y′t+1,w′t+1,h′t+1)附近,通過(guò)對(duì)目標(biāo)矩形框進(jìn)行各種尺度縮放、平移變換,產(chǎn)生一序列掃描窗口。窗口的尺度縮放系數(shù)s為1.2,最小掃描窗口大小為40個(gè)像素。窗口的尺度變化等級(jí)為其中,ci表示尺度縮放的等級(jí),與圖像大小(W,H)和初始跟蹤窗大小(w′t+1,h′t+1)有關(guān)。跟蹤窗個(gè)數(shù)的選擇公式如下:
附圖3,將模板和歸一化的矩形濾波器卷積后得到原始高維圖像特征,在將原始高維特征壓縮為低維特征時(shí),原始隨機(jī)測(cè)量矩陣R和R2要隨著模板尺寸的變化進(jìn)行調(diào)整。具體調(diào)整方法為:
保持R和R2中的所有非零元數(shù)值不變,非零元所對(duì)應(yīng)的矩陣參數(shù)px(i,t),py(i,t),pw(i,t),ph(i,t)分別變?yōu)樵瓉?lái)的Si倍,并按照四舍五入取整,公式為
其中i=1,2,…,n;t=1,2,…,ci,n為壓縮特征向量維數(shù),ci為初始隨機(jī)測(cè)量矩陣R和R2中第i行非零元素的個(gè)數(shù)。
將低維特征向量V和V2送入貝葉斯分類(lèi)器中分類(lèi),具體公式為:
得到最大的H(v)值,則該幀模板即為第t+1幀圖像最終跟蹤目標(biāo)。
(13)若t+1不是最后一幀,則令t=t+1,返回第t幀更新分類(lèi)器階段,繼續(xù)檢測(cè)。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。