專利名稱：視頻圖像中目標(biāo)的跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻圖像中目標(biāo)的快速相關(guān)跟蹤方法，該方法屬于圖像處理、影像相關(guān)匹配技術(shù)領(lǐng)域范疇，是一種基于相關(guān)跟蹤技術(shù)來實(shí)現(xiàn)快速跟蹤。
背景技術(shù)：
在國內(nèi)，目標(biāo)跟蹤是一項(xiàng)成熟技術(shù)。但是，采用積相關(guān)算法跟蹤目標(biāo)時，匹配時間有些緊張，特別是在用積相關(guān)匹配算法跟蹤多個目標(biāo)時，匹配時間更為緊張，很難在20ms內(nèi)完成配準(zhǔn)。本發(fā)明方法提出的強(qiáng)相關(guān)匹配算法，可大大提高匹配速度，極大減少匹配時間，使目標(biāo)匹配成為現(xiàn)實(shí)。

發(fā)明內(nèi)容
本發(fā)明的方法的技術(shù)方案如下(1)跟蹤的工作原理(2)跟蹤模式(3)跟蹤的算法


圖1是視線、光軸、基準(zhǔn)線相對位置關(guān)系圖；圖2是實(shí)時圖像與模板圖像圖；圖3是本文明的方法流程圖；具體實(shí)施方式
參見圖3，以下是對本發(fā)明方法作進(jìn)一步說明，其主要部分的具體內(nèi)容如下(1)工作原理跟蹤系統(tǒng)用來對運(yùn)動目標(biāo)進(jìn)行跟蹤。當(dāng)目標(biāo)運(yùn)動時，便出現(xiàn)了目標(biāo)圖像相對于系統(tǒng)測量基準(zhǔn)的偏離量，系統(tǒng)測量元件測量出目標(biāo)圖像匹配點(diǎn)的相對偏離量并輸出相應(yīng)的誤差信號送入跟蹤機(jī)構(gòu)，跟蹤機(jī)構(gòu)便驅(qū)動系統(tǒng)的測量元件向目標(biāo)方向運(yùn)動，消除其相對偏移量，使測量基準(zhǔn)對準(zhǔn)目標(biāo)，以實(shí)現(xiàn)對目標(biāo)的跟蹤。
附圖1說明視線、光軸、基準(zhǔn)線相對位置關(guān)系。
目標(biāo)N與位標(biāo)器之間連線稱為視線，視線、光軸、基準(zhǔn)線之間的夾角分別為QN、Qt。當(dāng)目標(biāo)位于光軸上時，即QN＝Qt，方位探測系統(tǒng)沒有誤差輸出。當(dāng)目標(biāo)運(yùn)動時，目標(biāo)視線偏離光軸，即Qt≠Q(mào)N，系統(tǒng)便輸出與實(shí)調(diào)角ΔQ＝QN-Qt相對應(yīng)的方位誤差信號。將誤差信號送入跟蹤機(jī)構(gòu)，跟蹤機(jī)構(gòu)便驅(qū)動位標(biāo)器向著減少失調(diào)角ΔQ的方向運(yùn)動，當(dāng)QN＝Qt時，位標(biāo)器終止運(yùn)動。由于目標(biāo)在不停地運(yùn)動，可能多次出現(xiàn)失調(diào)角ΔQ時，則系統(tǒng)重復(fù)上述過程，于是系統(tǒng)就自動跟蹤了目標(biāo)。
(2)跟蹤模式跟蹤系統(tǒng)在跟蹤目標(biāo)時，需要從目標(biāo)圖像中提取目標(biāo)位置信息，并計(jì)算出誤差信號去驅(qū)動伺服機(jī)構(gòu)以實(shí)現(xiàn)對目標(biāo)進(jìn)行跟蹤。從目標(biāo)圖像中提取目標(biāo)坐標(biāo)位置信息的方法有波六跟蹤和相關(guān)匹配跟蹤兩大模式類。
波門跟蹤是利用目標(biāo)的開關(guān)特征來提取目標(biāo)位置信息的，根據(jù)跟蹤精度的高低不同，有著各種目標(biāo)位置信息提取方法，如邊角跟蹤法、雙邊緣跟蹤算法、區(qū)域平衡算法、形心跟蹤算法等。
相關(guān)匹配跟蹤是設(shè)成像系統(tǒng)在視場范圍攝取的實(shí)時圖像為r(u，v)；對同一目標(biāo)已經(jīng)先攝取的圖像模板為s(u，v)，這里視頻圖像r(u，v)和s(u，v)的灰度可用〔0-255〕等級來表示，且實(shí)時景物是含有模板圖像s(u，v)對應(yīng)的目標(biāo)圖像。由于圖像r(u，v)與s(u，v)是對同一目標(biāo)在兩個不同時期攝取的圖像，因此它們之間在圖像及目標(biāo)圖像的位置等方向既有關(guān)系又會有所不同?？梢杂孟嚓P(guān)函數(shù)c(x，y)來描寫圖像r(u，v)和s(u，v)之間的相關(guān)程度，即表示為c(x，y)＝∑∑s(u，v)r(a+x，v+y)............................(1)式中s(u，v)表示目標(biāo)圖像模板r(u，v)表示實(shí)時圖像區(qū)域附圖2實(shí)時圖像與模板圖像直觀說明公式說明如下s(u,v)=111111111]]>
r(u,v)=0000001110011100111000000]]>則s(u，v)和r(u，v)的函數(shù)為c(x,y)=0000000012321002464200369630024642001232100000000···(2)]]>從上不難看出，相關(guān)度矩陣c(x，y)呈山峰狀分布，且有一個最大峰位。其最大峰位位置便是圖像r(u，v)與s(u，v)完全重合的位置，即可根據(jù)最大的峰從頭再來找出兩幅圖像的配準(zhǔn)點(diǎn)。
(3)平均絕對差分(MAD)算法基本的相關(guān)算法有兩種，即積相關(guān)法和平均差分(MAD)算法。積相關(guān)法即上面所述的直接相關(guān)法，它是用直接計(jì)算兩幅圖像相關(guān)程度的方法來計(jì)算兩幅圖像之間的位移量，與相關(guān)度的最大值的對應(yīng)點(diǎn)為配準(zhǔn)點(diǎn)。
平均差分(MAD)算法表示式為D(x,y)=1M2Σu=1MΣv=1M|r(u+x,v+y)-s(u,v)|···(3)]]>由式(3)知若模板圖像s(u，v)與半時圖像r(u，v)完全重疊在一起時，且這兩幅圖像又完全相同，則式(3)必然為零。
當(dāng)目標(biāo)在運(yùn)動時，則D(x，y)將開始逐漸增大。與C(x，y)取最大峰值值法相似，在D(x，y)中取零值(最小值)即可判斷出圖像r(u，v)與s(u，v)的配準(zhǔn)點(diǎn)。由于噪聲的存在，在實(shí)際測量中，總是取D(x，y)的最小值處作為圖像匹配的配準(zhǔn)點(diǎn)。
積相關(guān)算法與MAD相比，MAD算法要簡單得多?？筛鶕?jù)實(shí)際工作需要采用積相關(guān)匹配算法或MAD算法。
技術(shù)創(chuàng)新點(diǎn)之一在目標(biāo)跟蹤過程中，為了提高跟著跟蹤匹配速度或者為了跟蹤多外目標(biāo)，在積修養(yǎng)算法或MAD算法基礎(chǔ)之上創(chuàng)新。以積相關(guān)匹配為例，對于積相關(guān)度矩陣式(2)而言， “0”區(qū)域?yàn)椴幌嚓P(guān)區(qū)域，“12321”區(qū)域?yàn)槿跸嚓P(guān)區(qū)域。
“9”為配準(zhǔn)點(diǎn)。因此，可以這樣說，在積相關(guān)度矩陣中，匹配點(diǎn)只有一個“9”其余均是不相關(guān)點(diǎn)，或?yàn)槿跸嚓P(guān)點(diǎn)?？梢娕懦幌嚓P(guān)匹配點(diǎn)和弱相關(guān)匹配點(diǎn)是一個提高相關(guān)匹配速度的有效方法。
技術(shù)創(chuàng)新的點(diǎn)之二采用超像元匹配算法可使匹配精度≤0.5個像素。
權(quán)利要求
1.視頻圖像中目標(biāo)的跟蹤方法，包括下列步驟(1)跟蹤的工作原理(2)跟蹤模式(3)跟蹤的算法。
2.如權(quán)利要求1所述跟蹤的工作原理，由下列方法得出跟蹤系統(tǒng)用來對運(yùn)動目標(biāo)進(jìn)行跟蹤。當(dāng)目標(biāo)運(yùn)動時，便出現(xiàn)了目標(biāo)圖像相對于系統(tǒng)測量基準(zhǔn)的偏離量，系統(tǒng)測量元件測量出目標(biāo)圖像匹配點(diǎn)的相對偏離量并輸出相應(yīng)的誤差信號送入跟蹤機(jī)構(gòu)，跟蹤機(jī)構(gòu)便驅(qū)動系統(tǒng)的測量元件向目標(biāo)方向運(yùn)動，消除其相對偏移量，使測量基準(zhǔn)對準(zhǔn)目標(biāo)，以實(shí)現(xiàn)對目標(biāo)的跟蹤。
3.如權(quán)利要求1所述的跟蹤模式，其方法如下跟蹤系統(tǒng)在跟蹤目標(biāo)時，需要從目標(biāo)圖像中提取目標(biāo)位置信息，并計(jì)算出誤差信號去驅(qū)動伺服機(jī)構(gòu)以實(shí)現(xiàn)對目標(biāo)進(jìn)行跟蹤。從目標(biāo)圖像中提取目標(biāo)坐標(biāo)位置信息的方法有波六跟蹤和相關(guān)匹配跟蹤兩大模式類。波門跟蹤是利用目標(biāo)的開關(guān)特征來提取目標(biāo)位置信息的，根據(jù)跟蹤精度的高低不同，有著各種目標(biāo)位置信息提取方法，如邊角跟蹤法、雙邊緣跟蹤算法、區(qū)域平衡算法、形心跟蹤算法等。設(shè)成像系統(tǒng)在視場范圍攝取的實(shí)時圖像為r(u，v)；對同一目標(biāo)已經(jīng)先攝取的圖像模板為s(u，v)，這里視頻圖像r(u，v)和s(u，v)的灰度可用〔0-255〕等級來表示，且實(shí)時景物是含有模板圖像s(u，v)對應(yīng)的目標(biāo)圖像。由于圖像r(u，v)與s(u，v)是對同一目標(biāo)在兩個不同時期攝取的圖像，因此它們之間在圖像及目標(biāo)圖像的位置等方向既有關(guān)系又會有所不同。可以用相關(guān)函數(shù)c(x，y)來描寫圖像r(u，v)和s(u，v)之間的相關(guān)程度，即表示為c(x，y)＝∑∑s(u，v)r(a+x，v+y)…………………(1)式中s(u，v)表示目標(biāo)圖像模板r(u，v)表示實(shí)時圖像區(qū)域。
4.如權(quán)利要求1所述的跟蹤算法，由下列方法得出基本的相關(guān)算法有兩種，即積相關(guān)法和平均差分(MAD)算法。積相關(guān)法即上面所述的直接相關(guān)法，它是用直接計(jì)算兩幅圖像相關(guān)程度的方法來計(jì)算兩幅圖像之間的位移量，與相關(guān)度的最大值的對應(yīng)點(diǎn)為配準(zhǔn)點(diǎn)。平均差分(MAD)算法表示式為D(x,y)=1M2Σu=1MΣv=1M|r(u+x,v+y)-s(u,v)|···(3)]]>由式(3)知若模板圖像s(u，v)與半時圖像r(u，v)完全重疊在一起時，且這兩幅圖像又完全相同，則式(3)必然為零。當(dāng)目標(biāo)在運(yùn)動時，則D(x，y)將開始逐漸增大。與C(x，y)取最大峰值值法相似，在D(x，y)中取零值(最小值)即可判斷出圖像r(u，v)與s(u，v)的配準(zhǔn)點(diǎn)。由于噪聲的存在，在實(shí)際測量中，總是取D(x，y)的最小值處作為圖像匹配的配準(zhǔn)點(diǎn)。積相關(guān)算法與MAD相比，MAD算法要簡單得多?？筛鶕?jù)實(shí)際工作需要采用積相關(guān)匹配算法或MAD算法。(1)技術(shù)創(chuàng)新點(diǎn)之一在目標(biāo)跟蹤過程中，為了提高跟著跟蹤匹配速度或者為了跟蹤多外目標(biāo)，在積修養(yǎng)算法或MAD算法基礎(chǔ)之上創(chuàng)新。以積相關(guān)匹配為例，對于積相關(guān)度矩陣式(2)而言， “0”區(qū)域?yàn)椴幌嚓P(guān)區(qū)域，“12321”區(qū)域?yàn)槿跸嚓P(guān)區(qū)域?！?”為配準(zhǔn)點(diǎn)。因此，可以這樣說，在積相關(guān)度矩陣中，匹配點(diǎn)只有一個“9”其余均是不相關(guān)點(diǎn)，或?yàn)槿跸嚓P(guān)點(diǎn)。可見排除不相關(guān)匹配點(diǎn)和弱相關(guān)匹配點(diǎn)是一個提高相關(guān)匹配速度的有效方法。(2)技術(shù)創(chuàng)新的點(diǎn)之二采用超像元匹配算法可使匹配精度≤0.5個像素。
全文摘要
本發(fā)明涉及視頻圖像中目標(biāo)的跟蹤方法，該方法包括跟蹤的工作原理、跟蹤模式和跟蹤算法等步驟，有效地實(shí)現(xiàn)視頻圖像中單個目標(biāo)的跟蹤。該方法主要采用攝像機(jī)和計(jì)算機(jī)硬件系統(tǒng)，實(shí)現(xiàn)了本方法，可廣泛用于隧道、發(fā)電站、倉庫、飛機(jī)庫、森林等目標(biāo)檢測或其它類似場合。
文檔編號G06T7/20GK101064836SQ200710105758
公開日2007年10月31日 申請日期2007年5月29日 優(yōu)先權(quán)日2007年5月29日
發(fā)明者王海燕 申請人:王海燕