本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域,更具體地,涉及一種魯棒的實時紅外成像地面運動目標(biāo)跟蹤方法和系統(tǒng)。
背景技術(shù):
紅外成像地面場景運動目標(biāo)的跟蹤在目標(biāo)識別與跟蹤、紅外成像制導(dǎo)等軍事和視頻監(jiān)控領(lǐng)域中應(yīng)用十分廣泛。
常見的運動目標(biāo)跟蹤算法大致可以分為兩類,即“基于目標(biāo)建模、定位”的跟蹤方式和基于“濾波、數(shù)據(jù)關(guān)聯(lián)”的跟蹤方式。“基于目標(biāo)建模、定位”的跟蹤方式在對目標(biāo)進行跟蹤的過程中,對圖像中目標(biāo)的各種假設(shè)的位置進行評估,根據(jù)某個準(zhǔn)測評估出目標(biāo)的位置。此方法一般用于距離不遠、目標(biāo)非點狀目標(biāo)、圖像幀間抖動較大的場合?;凇盀V波、數(shù)據(jù)關(guān)聯(lián)”的跟蹤方式常常使用離散狀態(tài)方程對運動目標(biāo)的各種位置進行預(yù)測,所以描述目標(biāo)運動狀態(tài)的轉(zhuǎn)移狀態(tài)方程的建立對于實現(xiàn)跟蹤過程的穩(wěn)定、精確十分重要。此方法一般用于跟蹤距離較遠、運動呈現(xiàn)一定規(guī)律特性的目標(biāo)。
在許多現(xiàn)實應(yīng)用的情況下目標(biāo)灰度與背景相差較小,目標(biāo)輪廓較為模糊,目標(biāo)的大小無法預(yù)估,目標(biāo)有可能是面狀目標(biāo)、點狀目標(biāo)、線條狀目標(biāo)等,由于地面目標(biāo)的復(fù)雜性和目標(biāo)運動狀態(tài)的不確定性,目標(biāo)在運動的過程中可能出現(xiàn)遮擋、尺寸變化、形態(tài)變化等情況,采用傳統(tǒng)的運動目標(biāo)跟蹤方法在這種情況下容易發(fā)生目標(biāo)失跟的現(xiàn)象。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)的以上缺陷或改進需求,本發(fā)明提供了一種魯棒的實時紅外成像地面運動目標(biāo)跟蹤方法,其目的在于計算當(dāng)前目標(biāo)幀模板與匹配模板的灰度直方圖的相似度,以相似度的大小判斷是否更新匹配模板,縮放當(dāng)前幀目標(biāo)模板尺寸,分別計算其和匹配模板灰度直方圖的卡方相似度,選取最大卡方相似度更新匹配模板,在根據(jù)目標(biāo)運動狀態(tài),采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)的位置,以此位置為中心,在搜索區(qū)域內(nèi)進行模板匹配,以確定目標(biāo)的位置,由此解決目標(biāo)被遮擋、目標(biāo)尺寸變化或目標(biāo)先驗信息未知造成的跟蹤失敗問題的技術(shù)問題。
為實現(xiàn)上述目的,按照本發(fā)明的一個方面,提供了一種魯棒的實時紅外成像地面運動目標(biāo)跟蹤方法,該方法包括以下步驟:
(1)匹配模板自適應(yīng)更新步驟:先計算當(dāng)前幀目標(biāo)模板灰度直方圖與匹配模板灰度直方圖的巴氏距離,如巴氏距離在模板更新范圍內(nèi),則計算當(dāng)前幀目標(biāo)模板和匹配模板灰度直方圖卡方相似度,如卡方相似度大于模板更新閾值,則計算當(dāng)前幀目標(biāo)模板尺寸縮小、不變和放大之后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,選取最大卡方相似度為更新參數(shù)更新匹配模板;
(2)目標(biāo)位置估計步驟:根據(jù)目標(biāo)運動狀態(tài),采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置,以此位置為搜索區(qū)域的中心位置;在搜索區(qū)域內(nèi)移動匹配模板,計算不同區(qū)域的匹配模板和目標(biāo)子圖的相似度,相似度最大且大于匹配閾值的匹配模板位置為目標(biāo)位置,如相似度都小于匹配閾值則以卡爾曼濾波器預(yù)估位置為目標(biāo)位置。
進一步的,所述匹配模板自適應(yīng)更新步驟包含以下子步驟:
(11)分別計算當(dāng)前幀目標(biāo)模板與匹配模板的灰度直方圖,將灰度直方圖歸一化之后計算它們的巴氏距離;
數(shù)字圖像的直方圖是離散函數(shù)
h(ri)=ni,
其中ri是第i級灰度,ni是圖像灰度級為ri的像素個數(shù),一個歸一化直方圖由下式給出:
n為圖像中的像素總數(shù),P(ri)給出了灰度級為ri發(fā)生的概率估計值;
巴氏距離
式中
其中,i是歸一化直方圖分段號,N表示歸一化直方圖中bin的數(shù)目,k表示圖像的代號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
(12)判斷巴氏距離λ是否在模板更新范圍內(nèi),即λ2<λ<λ1是否成立,是則進行步驟(13),否則不更新匹配模板,根據(jù)實際經(jīng)驗,0<λ1<10<λ2<1,優(yōu)選λ1=0.98、λ2=0.88;
(13)計算當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
式中其中,i是歸一化直方圖分段號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
判斷是否卡方相似度是否大于更新模板閾值,即ρ>λ3是否成立,根據(jù)實際經(jīng)驗0<λ3<1,優(yōu)選λ3=0.46;是則更新匹配模板,否則不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told,
其中,Tnew、Tcur、Told分別表示更新后的匹配模板、當(dāng)前圖像幀目標(biāo)模板、匹配模板;β為最大直方圖相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分別表示當(dāng)前幀目標(biāo)模板尺寸縮小a倍、當(dāng)前幀目標(biāo)模板和當(dāng)前幀目標(biāo)模板尺寸擴大b倍后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據(jù)實際經(jīng)驗0.5<a<1、1<b<1.5,優(yōu)選a=0.9、b=1.1。
進一步的,所述目標(biāo)位置估計步驟分為以下子步驟:
(21)根據(jù)當(dāng)前幀目標(biāo)位置和上一幀跟蹤目標(biāo)位置,采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置;
(22)以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為搜索區(qū)域的中心位置,在搜索區(qū)域內(nèi)移動匹配模板,計算目標(biāo)子圖與匹配模板的相似度,判斷是否至少存在一個匹配模板使得他們的相似度大于匹配閾值th,根據(jù)實際經(jīng)驗0<th<1,優(yōu)選th=0.88,是則以相似度取得最大值時的匹配模板位置為估計的目標(biāo)位置,否則以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為估計的目標(biāo)位置,相似度計算公式:
其中i、j是目標(biāo)子圖左上角在被搜索區(qū)域上的坐標(biāo),T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值,Sij(m,n)表示目標(biāo)子圖中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示當(dāng)前匹配點(i,j)到卡爾曼濾波器預(yù)估的目標(biāo)子圖位置的距離
式中分別是濾波器預(yù)估的目標(biāo)子圖位置的橫縱坐標(biāo)值,Dismax表示Dis的最大值。
按照本發(fā)明的另一方面,提供了一種魯棒的實時紅外成像地面運動目標(biāo)跟蹤系統(tǒng),該系統(tǒng)包括以下模塊:
匹配模板自適應(yīng)更新模塊:先計算當(dāng)前幀目標(biāo)模板灰度直方圖與匹配模板灰度直方圖的巴氏距離,如巴氏距離在模板更新范圍內(nèi),則計算當(dāng)前幀目標(biāo)模板和匹配模板灰度直方圖卡方相似度,如卡方相似度大于模板更新閾值,則計算當(dāng)前幀目標(biāo)模板尺寸縮小、不變和放大之后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,選取最大卡方相似度為更新參數(shù)更新匹配模板;
目標(biāo)位置估計模塊:根據(jù)目標(biāo)運動狀態(tài),采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置,以此位置為搜索區(qū)域的中心位置;在搜索區(qū)域內(nèi)移動匹配模板,計算不同區(qū)域的匹配模板和目標(biāo)子圖的相似度,相似度最大且大于匹配閾值的匹配模板位置為目標(biāo)位置,如相似度都小于匹配閾值則以卡爾曼濾波器預(yù)估位置為目標(biāo)位置。
進一步的,所述匹配模板自適應(yīng)更新模塊包含以下子模塊:
巴氏距離計算子模塊,用于分別計算當(dāng)前幀目標(biāo)模板與匹配模板的灰度直方圖,將灰度直方圖歸一化之后計算它們的巴氏距離;
數(shù)字圖像的直方圖是離散函數(shù)
h(ri)=ni,
其中ri是第i級灰度,ni是圖像灰度級為ri的像素個數(shù),一個歸一化直方圖由下式給出:
n為圖像中的像素總數(shù),P(ri)給出了灰度級為ri發(fā)生的概率估計值;
巴氏距離
式中
其中,i是歸一化直方圖分段號,N表示歸一化直方圖中bin的數(shù)目,k表示圖像的代號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
巴氏距離判斷子模塊,用于判斷巴氏距離λ是否在模板更新范圍內(nèi),即λ2<λ<λ1是否成立,是則進行步驟(13),否則不更新匹配模板,根據(jù)實際經(jīng)驗,0<λ1<1,0<λ2<1,優(yōu)選λ1=0.98、λ2=0.88;
匹配模板更新子模塊,用于計算當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
式中其中,i是歸一化直方圖分段號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
判斷是否卡方相似度是否大于更新模板閾值,即ρ>λ3是否成立,根據(jù)實際經(jīng)驗0<λ3<1,優(yōu)選λ3=0.46;是則更新匹配模板,否則不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told,
其中,Tnew、Tcur、Told分別表示更新后的匹配模板、當(dāng)前圖像幀目標(biāo)模板、匹配模板;β為最大直方圖相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分別表示當(dāng)前幀目標(biāo)模板尺寸縮小a倍、當(dāng)前幀目標(biāo)模板和當(dāng)前幀目標(biāo)模板尺寸擴大b倍后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據(jù)實際經(jīng)驗0.5<a<1、1<b<1.5,優(yōu)選a=0.9、b=1.1。
進一步的,所述目標(biāo)位置估計模塊分為以下子模塊:
卡爾曼濾波器預(yù)估子模塊,用于根據(jù)當(dāng)前幀目標(biāo)位置和上一幀跟蹤目標(biāo)位置,采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置;
相似度匹配目標(biāo)位置子模塊,用于以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為搜索區(qū)域的中心位置,在搜索區(qū)域內(nèi)移動匹配模板,計算目標(biāo)子圖與匹配模板的相似度,判斷是否至少存在一個匹配模板使得他們的相似度大于匹配閾值th,根據(jù)實際經(jīng)驗0<th<1,優(yōu)選th=0.88,是則以相似度取得最大值時的匹配模板位置為估計的目標(biāo)位置,否則以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為估計的目標(biāo)位置,相似度計算公式:
其中i、j是目標(biāo)子圖左上角在被搜索區(qū)域上的坐標(biāo),T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值,Sij(m,n)表示目標(biāo)子圖中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示當(dāng)前匹配點(i,j)到卡爾曼濾波器預(yù)估的目標(biāo)子圖位置的距離
式中分別是濾波器預(yù)估的目標(biāo)子圖位置的橫縱坐標(biāo)值,Dismax表示Dis的最大值。
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)特征及有益效果:
(1)本發(fā)明提出的基于模板匹配與卡爾曼濾波的紅外成像地面運動目標(biāo)跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標(biāo)跟蹤過程中被遮擋而造成的跟蹤失敗問題;
(2)本發(fā)明提出的基于模板匹配與卡爾曼濾波的紅外成像地面運動目標(biāo)跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標(biāo)跟蹤過程中由于目標(biāo)與成像器相對運動和姿態(tài)變化而造成目標(biāo)尺寸大小變化時的跟蹤失敗問題
(3)本發(fā)明提出的基于模板匹配與卡爾曼濾波的紅外成像地面運動目標(biāo)跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標(biāo)跟蹤過程中由于目標(biāo)距離、尺寸等先驗信息未知造成的跟蹤失敗問題;
附圖說明
圖1是本發(fā)明的方法流程圖;
圖2是本發(fā)明的匹配模板自適應(yīng)更新步驟流程圖;
圖3是本發(fā)明的目標(biāo)位置估計步驟流程圖。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白,以下結(jié)合附圖及實施例,對本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
如圖1一種魯棒的實時紅外成像地面運動目標(biāo)跟蹤方法的流程圖,其中包含以下步驟:
(1)匹配模板自適應(yīng)更新步驟:先計算當(dāng)前幀目標(biāo)模板灰度直方圖與匹配模板灰度直方圖的巴氏距離,如巴氏距離在模板更新范圍內(nèi),則計算當(dāng)前幀目標(biāo)模板和匹配模板灰度直方圖卡方相似度,如卡方相似度大于模板更新閾值,則計算當(dāng)前幀目標(biāo)模板尺寸縮小、不變和放大之后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,選取最大卡方相似度為更新參數(shù)更新匹配模板;
(2)目標(biāo)位置估計步驟:根據(jù)目標(biāo)運動狀態(tài),采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置,以此位置為搜索區(qū)域的中心位置;在搜索區(qū)域內(nèi)移動匹配模板,計算不同區(qū)域的匹配模板和目標(biāo)子圖的相似度,相似度最大且大于匹配閾值的匹配模板位置為目標(biāo)位置,如相似度都小于匹配閾值則以卡爾曼濾波器預(yù)估位置為目標(biāo)位置。
如圖2匹配模板自適應(yīng)更新步驟包含以下子步驟:
(11)分別計算當(dāng)前幀目標(biāo)模板與匹配模板的灰度直方圖,將灰度直方圖歸一化之后計算它們的巴氏距離;
數(shù)字圖像的直方圖是離散函數(shù)
h(ri)=ni,
其中ri是第i級灰度,ni是圖像灰度級為ri的像素個數(shù),一個歸一化直方圖由下式給出:
n為圖像中的像素總數(shù),P(ri)給出了灰度級為ri發(fā)生的概率估計值;
巴氏距離
式中
其中,i是歸一化直方圖分段號,N表示歸一化直方圖中bin的數(shù)目,k表示圖像的代號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
(12)判斷巴氏距離λ是否在模板更新范圍內(nèi),即λ2<λ<λ1是否成立,是則進行步驟(13),否則不更新匹配模板,根據(jù)實際經(jīng)驗0<λ1<1,0<λ2<1,優(yōu)選λ1=0.98、λ2=0.88;
(13)計算當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
式中其中,i是歸一化直方圖分段號,H1(i)、H2(i)分別表示當(dāng)前幀目標(biāo)模板與匹配模板的歸一化灰度直方圖對應(yīng)區(qū)間的數(shù)值;
判斷是否卡方相似度是否大于更新模板閾值,即ρ>λ3是否成立,其中λ3的范圍是0<λ3<1,優(yōu)選λ3=0.46;是則更新匹配模板,否則不更新匹配模板;匹配模板更新方式如下
Tnew=βTcur+(1-β)Told,
其中,Tnew、Tcur、Told分別表示更新后的匹配模板、當(dāng)前圖像幀目標(biāo)模板、匹配模板;β為最大直方圖相似度
β=max{ρa,ρ,ρb},
其中,ρa、ρ和ρb分別表示當(dāng)前幀目標(biāo)模板尺寸縮小a倍、當(dāng)前幀目標(biāo)模板和當(dāng)前幀目標(biāo)模板尺寸擴大b倍后的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據(jù)實際經(jīng)驗0.5<a<1、1<b<1.5,優(yōu)選a=0.9、b=1.1。
如圖3目標(biāo)位置估計步驟分為以下子步驟:
(21)根據(jù)當(dāng)前幀目標(biāo)位置和上一幀跟蹤目標(biāo)位置,采用卡爾曼濾波器預(yù)估下一幀紅外圖像中目標(biāo)子圖的位置;
(22)以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為搜索區(qū)域的中心位置,在搜索區(qū)域內(nèi)移動匹配模板,計算目標(biāo)子圖與匹配模板的相似度,判斷是否至少存在一個匹配模板使得他們的相似度大于匹配閾值th,根據(jù)實際經(jīng)驗0<th<1,優(yōu)選th=0.88;是則以相似度取得最大值時的匹配模板位置為估計的目標(biāo)位置,否則以卡爾曼濾波器預(yù)測的目標(biāo)子圖位置為估計的目標(biāo)位置,相似度計算公式:
其中i、j是目標(biāo)子圖左上角在被搜索區(qū)域上的坐標(biāo),T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值,Sij(m,n)表示目標(biāo)子圖中第m行第n列的像素灰度值
Sij(m,n)=S(i+m,j+n),
Dis表示當(dāng)前匹配點(i,j)到卡爾曼濾波器預(yù)估的目標(biāo)子圖位置的距離
式中分別是濾波器預(yù)估的目標(biāo)子圖位置的橫縱坐標(biāo)值,Dismax表示Dis的最大值。
以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等,均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。