專利名稱：基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的目標(biāo)跟蹤方法，具體地說，是涉及一種基于
協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法。
背景技術(shù)：
目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的重要研究課題，在視頻監(jiān)控、協(xié)助駕駛、運(yùn)動(dòng)分析、 人機(jī)交互等領(lǐng)域都有著廣泛的應(yīng)用。 目標(biāo)跟蹤經(jīng)常遭遇的困難包括背景的混亂、目標(biāo)被遮擋、目標(biāo)尺寸變化等。目標(biāo)跟 蹤的性能依賴于描述目標(biāo)的特征模型。然而大多數(shù)跟蹤算法都是利用單一特征來描述目 標(biāo)，如顏色、形狀、紋理等。當(dāng)一種特征不足以區(qū)分目標(biāo)與背景的時(shí)候，單一特征在目標(biāo)跟蹤 過程中很容易失效，尤其在復(fù)雜背景下該問題尤為突出。采用多種特征描述目標(biāo)將增強(qiáng)特 征模型的辨別能力，提高目標(biāo)跟蹤的穩(wěn)定性。協(xié)方差矩陣在描述目標(biāo)方面表現(xiàn)出了優(yōu)異的 性能。其主要優(yōu)勢在于可融合多維特征、實(shí)現(xiàn)全局搜索。該方法的具體內(nèi)容請(qǐng)見參考文獻(xiàn) 1 :Fatih Porikli，0ncel Tuzel，Peter Meer. Covariance tracking using model update based on Liealgebra. IEEE CVPR，2006. 快速機(jī)動(dòng)目標(biāo)運(yùn)動(dòng)的速度快，且速度變化較快。因此跟蹤快速機(jī)動(dòng)目標(biāo)除了要克 服背景的混亂、目標(biāo)被遮擋、目標(biāo)尺寸變化等難點(diǎn)外，還要擴(kuò)大搜索窗口的范圍以適應(yīng)目標(biāo) 的快速運(yùn)動(dòng)。同時(shí)，搜索范圍的擴(kuò)大將直接導(dǎo)致計(jì)算量的增加，而整個(gè)應(yīng)用系統(tǒng)除了目標(biāo)跟 蹤還包括目標(biāo)識(shí)別等其他任務(wù)，因此，分配給目標(biāo)跟蹤的處理時(shí)間有限。可以看出，快速機(jī) 動(dòng)目標(biāo)跟蹤方法需要具備以下特點(diǎn)快速、全局搜索、能克服復(fù)雜環(huán)境。

發(fā)明內(nèi)容
本發(fā)明的目的是克服快速機(jī)動(dòng)目標(biāo)跟蹤過程中環(huán)境復(fù)雜、目標(biāo)運(yùn)動(dòng)過快造成的目 標(biāo)匹配穩(wěn)定度低、計(jì)算量大的問題，提供一種快速、穩(wěn)定的應(yīng)用于快速機(jī)動(dòng)目標(biāo)跟蹤的有效 方法。 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方 法，包括 (1)提取圖像像素的幾種特征 包括R(x， y) ， G(x， y) ， B(x， y)三維顏色特征，各顏色分量的邊緣特征EK(x， y)， EG(x， y) ， Eb(x， y)，及像素的幾何位置特征d(x， y)。 [ooog] (2)隨機(jī)采樣 為了提高協(xié)方差矩陣的計(jì)算速度，不統(tǒng)計(jì)圖像區(qū)域內(nèi)的所有像素點(diǎn)，而從中隨機(jī) 抽取一定數(shù)量的樣本，從而獲得與區(qū)域大小無關(guān)的計(jì)算速度。本步驟所抽取的樣本數(shù)N = 100。 (3)構(gòu)造區(qū)域協(xié)方差矩陣 對(duì)于圖像區(qū)域R，利用步驟(1)中所提取的七種特征，考慮隨機(jī)抽取的N個(gè)樣本，構(gòu)造相關(guān)聯(lián)的特征向量fk，進(jìn)而根據(jù)特征向量fk計(jì)算其區(qū)域協(xié)方差矩陣CK。協(xié)方差矩陣是一 個(gè)對(duì)稱矩陣，其對(duì)角線上的元素代表每個(gè)特征的方差，而非對(duì)角線上的元素代表了各個(gè)特 征之間的相關(guān)性。
(4)協(xié)方差矩陣的距離度量 為了尋找與給定目標(biāo)最相似的區(qū)域，需要計(jì)算目標(biāo)模板與候選區(qū)域的協(xié)方差矩陣 間的距離。然而，協(xié)方差矩陣不屬于歐幾里德空間，因此，對(duì)兩個(gè)矩陣相減不能用來測量其 距離。假定特征向量中沒有完全相同的特征，則協(xié)方差矩陣為正定矩陣，因此由兩個(gè)協(xié)方差 矩陣間的廣義特征值的對(duì)數(shù)平方和來計(jì)算其距離P。在每一幀圖像，我們搜索與當(dāng)前目標(biāo) 模板協(xié)方差矩陣距離最小的區(qū)域。這個(gè)最佳匹配位置定位了目標(biāo)在當(dāng)前幀的位置。
(5)遺傳算法 為了克服大范圍全局搜索實(shí)時(shí)性差的弊端，我們引入了遺傳算法來加速搜索過 程。遺傳算法能利用簡單的編碼技術(shù)和繁殖機(jī)制來表現(xiàn)復(fù)雜的現(xiàn)象，從而可以解決非常困 難的問題。而且由于它不受搜索空間限制性假設(shè)的約束，不必要求諸如單調(diào)、連續(xù)等假設(shè)， 因此能以很大的概率快速找到全局最優(yōu)解。本發(fā)明針對(duì)目標(biāo)跟蹤的特點(diǎn)，采用整數(shù)編碼，以 目標(biāo)窗口與候選窗口的協(xié)方差矩陣間的距離值為適應(yīng)度值，采用交叉、變異、選擇、排序等 遺傳操作進(jìn)行遺傳搜索，最后輸出粗匹配的最優(yōu)值。


圖1為本發(fā)明的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法的流程圖； 圖2為本發(fā)明的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法的具體實(shí)現(xiàn)步驟流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
，對(duì)本發(fā)明的快速機(jī)動(dòng)目標(biāo)跟蹤方法作進(jìn)一步的說 明。參考圖1、圖2，本發(fā)明的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法包含以下步驟
步驟10、初始化目標(biāo)模型，利用顏色、邊緣、像素的幾何位置等特征構(gòu)建描述目標(biāo) 的協(xié)方差矩陣模型，本步驟的具體實(shí)現(xiàn)步驟如下 步驟11、在第一幀圖像中捕獲目標(biāo)，選擇要跟蹤的目標(biāo)區(qū)域，以一矩形區(qū)域作為目 標(biāo)模板； 步驟12、提取模板圖像的顏色、邊緣、幾何位置特征。以R(x， y) ， G(x， y) ， B(x， y) 表達(dá)目標(biāo)三維顏色特征，邊緣特征的提取方法是將彩色圖像分解為R， G， B三個(gè)通道的灰度 圖像，針對(duì)每個(gè)通道利用Sobel算子提取其邊緣圖像EK(x， y) ， Ee(x， y) ， EB(x， y) ， X， Y方向 的Sobel梯度可按下式檢測 Axf (x， y) = [f (x_l ， y+1) +2f (x， y+1) +f (x+1 ， y+1)] (1) - [f (x-1 ， y-1) +2f (x， y_l) +f (x+1 ， y_l)] A yf (x， y) = [f (x_l ， y_l) +2f (x_l ， y) +f (x_l ， y+1) ] (2)
- [f (x+1 ， y-1) +2f (x+1 ， y) +f (x+1 ， y+1)]像素的幾何位置特征為^(^力=^/( +>/2), (x' ， y' ) = (x-x。， y-y。)，其中，差矩陣


示
)是像素相對(duì)與區(qū)域中心(x。， y。)的坐標(biāo);
步驟13、依據(jù)步驟12所提取的七維特征隨機(jī)抽取樣本點(diǎn)來計(jì)算圖像區(qū)域的協(xié)方 對(duì)于MXN大小的圖像區(qū)域R，構(gòu)造相關(guān)聯(lián)的特征向量fk
fk= [R(x，y) G(x，y) B(x，y) d(x， y) EK(x， y) EG(x，y) EB(x，y)] (3) 采用均勻分布來實(shí)現(xiàn)隨機(jī)采樣，隨機(jī)變量x的概率密度函數(shù)可以用公式(4)來表 00)=
1 a < JC < 6
"", (4) 則該區(qū)域的協(xié)方差矩陣CK可表示為 cK =^i;(ffc(5) 其中ii K是區(qū)域R中各個(gè)像素點(diǎn)對(duì)應(yīng)特征的均值； 步驟20、利用遺傳算法的快速尋優(yōu)特性克服大范圍廣域搜索實(shí)時(shí)性差的弊端，具 體步驟如下 步驟21、種群初始化。首先對(duì)當(dāng)前幀圖像上的各個(gè)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)的位置信 息進(jìn)行整數(shù)編碼；然后采用抽樣法，以固定間隔在當(dāng)前幀圖像上抽取M個(gè)點(diǎn)，形成初始種群 RiOq， y》，R2(x2， y2) ， . . & (xn， yn) ， i = 0， 1， 2. . . M ;其中x、 y分別為各點(diǎn)的橫坐標(biāo)值和縱 坐標(biāo)值； 步驟22、兩個(gè)區(qū)域協(xié)方差矩陣間的距離由兩個(gè)矩陣的廣義特征值的對(duì)數(shù)平方和來 計(jì)算，如下式 P(c,.，cy)=控/"2;14(<:;,<:》 (6) 其中"k(Ci， Cj)}是矩陣Ci與Cj的廣義特征值，根據(jù)下式計(jì)算l ACi-Cjl =0。 P越小則兩個(gè)協(xié)方差矩陣越相似。本發(fā)明以式(6)為適應(yīng)度函數(shù)來計(jì)算每個(gè)個(gè)體的適應(yīng)度 值； 步驟23、通過選擇、交叉、變異、排序等遺傳操作進(jìn)行遺傳搜索
需要說明的是，理論上來說，在遺傳算法中，交叉操作的作用是主要的，變異操作 的作用是次要的，所以在傳統(tǒng)遺傳操作中變異概率常常小于O. 1。但由于本發(fā)明中交叉操作 和變異操作具有特殊性，變異操作在搜索中起主要作用，故應(yīng)預(yù)設(shè)一個(gè)較大的變異概率，一 般要大于0. 3 ; 步驟24、判斷遺傳操作是否滿足終止條件，即判斷迭代次數(shù)是否超過預(yù)設(shè)值，如果 迭代次數(shù)超過預(yù)設(shè)值，則完成遺傳操作，輸出最佳個(gè)體位置，否則轉(zhuǎn)至步驟22，重復(fù)遺傳操 作過程，迭代次數(shù)預(yù)設(shè)值根據(jù)搜索區(qū)域的大小進(jìn)行確定； 步驟30、在基于遺傳算法的粗匹配的基礎(chǔ)上，在最佳個(gè)體附近進(jìn)行精匹配，以獲得 目標(biāo)精確定位。具體步驟如下 步驟31、以步驟20粗略計(jì)算的目標(biāo)位置為中心，遍歷搜索其10X10的鄰域，在每 一位置劃分出與目標(biāo)相同大小的候選區(qū)域，對(duì)該區(qū)域運(yùn)用步驟12、步驟13的方法求取候選區(qū)域的協(xié)方差矩陣； 步驟32、初始化協(xié)方差矩陣間最小距離為變量Pmin = 99999，設(shè)目標(biāo)最后輸出坐 標(biāo)為0X、0Y，循環(huán)遍歷步驟31所述的每一候選區(qū)域，依據(jù)步驟22所述的協(xié)方差矩陣間度量 準(zhǔn)則，計(jì)算候選區(qū)域與目標(biāo)模板之間的相似度P 。若Pmin> P ，則令Pmin= P ，并將該候 選區(qū)域位置賦給OX和0Y ; 步驟33、步驟32循環(huán)結(jié)束后，輸出OX和0Y。
權(quán)利要求
一種基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，包括如下步驟1)利用顏色、邊緣、像素幾何位置等特征構(gòu)建描述目標(biāo)的協(xié)方差矩陣模型1-1)提取圖像像素的R，G，B三維彩色特征，提取各彩色通道的邊緣特征以及像素的幾何位置特征，用以上七維特征構(gòu)建特征向量fk＝[R(x，y) G(x，y) B(x，y) d(x，y) ER(x，y) EG(x，y) EB(x，y)]1-2)利用隨機(jī)采樣技術(shù)在圖像區(qū)域內(nèi)隨機(jī)抽取N個(gè)采樣點(diǎn)，利用這N個(gè)樣本點(diǎn)的七種特征的方差和相關(guān)性構(gòu)造區(qū)域協(xié)方差矩陣，作為目標(biāo)的特征模型；2)利用遺傳算法的快速尋優(yōu)特性，完成目標(biāo)的粗定位，提高跟蹤方法的實(shí)時(shí)性2-1)首先對(duì)當(dāng)前幀圖像上各個(gè)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)的位置信息進(jìn)行整數(shù)編碼；然后采用抽樣法，對(duì)種群進(jìn)行初始化；2-2)計(jì)算兩個(gè)協(xié)方差矩陣間的距離ρ作為遺傳算法中個(gè)體的適應(yīng)度值；2-3)通過選擇、交叉、變異、排序等遺傳操作進(jìn)行遺傳搜索，當(dāng)?shù)螖?shù)達(dá)到設(shè)定閾值時(shí)，迭代終止，輸出最佳個(gè)體位置，即粗定位；3)在基于遺傳算法的粗匹配的基礎(chǔ)上，在最佳個(gè)體附近鄰域逐點(diǎn)精匹配，從而獲得與目標(biāo)協(xié)方差矩陣最相似的位置，獲得目標(biāo)精確定位。
2. 根據(jù)權(quán)利要求1所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，在 所述的步驟1-1)中，邊緣和幾何位置特征的計(jì)算包括1-1-1)依據(jù)R， G， B三個(gè)顏色通道分別利用Sobel邊緣檢測算子計(jì)算其梯度特征； 1-1-2)利用像素點(diǎn)到區(qū)域中心的距離描述各像素點(diǎn)的幾何位置特征。
3. 根據(jù)權(quán)利要求1所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，在 所述的步驟l-2)中，區(qū)域協(xié)方差矩陣的計(jì)算包括1-2-1)利用均勻分布函數(shù)實(shí)現(xiàn)圖像區(qū)域內(nèi)像素點(diǎn)的隨機(jī)采樣其中fk是步驟1-1)所構(gòu)建的特征向量，P K是區(qū)域R中各個(gè)像素點(diǎn)對(duì)應(yīng)特征的均值。
4. 根據(jù)權(quán)利要求1所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，在 所述的步驟2-l)中，抽樣法的計(jì)算具體如下以固定間隔在當(dāng)前幀圖像上抽取M個(gè)點(diǎn)，形成 初始種群& (x!， y》，R2(x2， y2) ， & (xn， yn) ， i = 0， 1， 2. M ;其中x、 y分別為各點(diǎn)的橫坐 標(biāo)值和縱坐標(biāo)值。
5. 根據(jù)權(quán)利要求1所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，在 所述的步驟2-2)中，協(xié)方差矩陣間的距離測度計(jì)算公式為其中{Ak(Ci，Cj)}是矩陣Ci與Cj的廣義特征值。
6.根據(jù)權(quán)利要求3所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，隨1-2-2)區(qū)域協(xié)方差矩陣的計(jì)算公式為機(jī)采樣的樣本數(shù)選擇為100個(gè)。
7.根據(jù)權(quán)利要求1所述的基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，其特征在于，在 所述的步驟2-3)中，定義了新的遺傳操作算子包括2-3-1)交叉定義交叉算子為直接交換兩個(gè)父代個(gè)體的橫坐標(biāo)或者縱坐標(biāo)，對(duì)兩個(gè)父 代個(gè)體A。 (xa， ya)和B。 (xb， yb)，交叉操作產(chǎn)生兩個(gè)新個(gè)體^ (xa， yb)和新個(gè)體B丄(xb， ya);2-3-2)變異定義變異算子為<formula>formula see original document page 3</formula>x為一個(gè)需要進(jìn)行變異操作的基因，即個(gè)體的橫坐標(biāo)或縱坐標(biāo)；x'為變異后基因，n 為-N' N'之間的一個(gè)隨機(jī)常數(shù)，N'為固定值，根據(jù)待匹配圖像的灰度確定。
全文摘要
本發(fā)明公開了一種基于協(xié)方差矩陣的快速機(jī)動(dòng)目標(biāo)跟蹤方法，包括提取目標(biāo)的顏色、邊緣、像素幾何位置特征構(gòu)建描述目標(biāo)的協(xié)方差矩陣模型；利用遺傳算法的快速尋優(yōu)特性在大范圍窗口內(nèi)粗略搜索目標(biāo)；在遺傳算法獲得的最佳個(gè)體附近鄰域逐點(diǎn)搜索，依據(jù)協(xié)方差矩陣間的距離度量函數(shù)精確定位目標(biāo)。本發(fā)明的基于協(xié)方差矩陣的快速目標(biāo)跟蹤方法融合了多種特征描述目標(biāo)，可在復(fù)雜環(huán)境下穩(wěn)定地跟蹤目標(biāo)，同時(shí)，將遺傳算法的粗匹配與逐點(diǎn)精匹配相結(jié)合，縮短了計(jì)算時(shí)間，保障了大范圍搜索快速機(jī)動(dòng)目標(biāo)的實(shí)時(shí)性。
文檔編號(hào)G06T7/20GK101739687SQ200910175258
公開日2010年6月16日 申請(qǐng)日期2009年11月23日 優(yōu)先權(quán)日2009年11月23日
發(fā)明者張旭光, 胡碩 申請(qǐng)人:燕山大學(xué)