專(zhuān)利名稱(chēng)：基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理領(lǐng)域，特別是涉及視頻目標(biāo)跟蹤中一種基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法。
背景技術(shù)：
基于視頻的運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)智能視頻監(jiān)控領(lǐng)域研究的關(guān)鍵技術(shù)之一。目前國(guó)內(nèi)外學(xué)者主要關(guān)注的問(wèn)題集中在場(chǎng)景擁擠、遮擋、相似特征場(chǎng)景干擾及目標(biāo)外觀變化等情況下的跟蹤魯棒性、準(zhǔn)確性和快速性提高上。基于目標(biāo)內(nèi)容信息的跟蹤方法自報(bào)道以來(lái)，國(guó)內(nèi)外均不斷有改進(jìn)該路線的專(zhuān)利報(bào)道，歸結(jié)大致有三類(lèi)1、特征模型描述方法的改進(jìn)；2、最優(yōu)目標(biāo)位置搜索方法的改進(jìn)；3、目標(biāo)尺度更新方法的改進(jìn)。通常目標(biāo)特征模型由其仿射運(yùn)動(dòng)特征、邊緣和顏色統(tǒng)計(jì)特征等描述。在現(xiàn)有目標(biāo)模型中進(jìn)一步挖掘目標(biāo)獨(dú)特的內(nèi)容信息，采用目標(biāo)空間域和時(shí)間域結(jié)構(gòu)信息及空間結(jié)構(gòu)間關(guān)聯(lián)性描述目標(biāo)特征模型，其目標(biāo)描述力高于經(jīng)典統(tǒng)計(jì)特征描述方法。從模型構(gòu)建上看，目標(biāo)的空間結(jié)構(gòu)關(guān)聯(lián)性具有區(qū)別擁擠背景、相似特征干擾目標(biāo)的能力，從而有利于在復(fù)雜場(chǎng)景中檢測(cè)和識(shí)別被跟蹤目標(biāo)。Zhao Q等在Computer Vision and Image Understanding (2009, 113(2) :273-290)發(fā)表的文章 “Amotion observable representation using colorcorrelogram and its applications to tracking”中，沿五個(gè)方向統(tǒng)計(jì)共生顏色對(duì)建立相關(guān)圖，通對(duì)經(jīng)典顏色直方圖加入空間信息增強(qiáng)目標(biāo)描述力，實(shí)現(xiàn)了部分遮擋跟蹤及運(yùn)動(dòng)方向預(yù)測(cè)。但是該算法較復(fù)雜，不適宜推廣至大目標(biāo)和多目標(biāo)跟蹤。最優(yōu)目標(biāo)位置搜索(或目標(biāo)檢測(cè))是目標(biāo)跟蹤的重要過(guò)程。文獻(xiàn)報(bào)道了多種不同目標(biāo)搜索和匹配方法。不同方法在各自跟蹤過(guò)程中針對(duì)所采用的目標(biāo)特征模型、被跟蹤目標(biāo)被遮擋、外觀模糊、形變等諸多影響因素的不同，均可能據(jù)此優(yōu)化選擇適合自身跟蹤魯棒、穩(wěn)定和實(shí)時(shí)性提高的搜索和匹配算法。如多目標(biāo)數(shù)據(jù)關(guān)聯(lián)算法、Mean shift迭代算法、質(zhì)心轉(zhuǎn)移算法等。Comaniciu D 等在 IEEE Trans on Pattern Analysis and MachineIntelligence (2003，25 (5) : 564-575)發(fā)表的文章 “Kernel-based object tracking” 提出的基于核直方圖的Mean shift算法實(shí)時(shí)性高,并得到推廣,但該算法容易陷入局部極值,從而引起目標(biāo)定位和尺度更新滯后。從目標(biāo)描述機(jī)理上看，目標(biāo)在連續(xù)幀間的尺度變化與其自身結(jié)構(gòu)特征變化規(guī)律具有必然聯(lián)系。而國(guó)內(nèi)外有報(bào)道鄰幀間目標(biāo)顏色質(zhì)心距離的變化可較好體現(xiàn)尺度的變化規(guī)律。Lee SH 等在 Optical Engineering Letters (2011，50 (9) : 1-3)發(fā)表的文章“Scale-adaptive object tracking using color centroids”首次提出混亂場(chǎng)景中基于顏色質(zhì)心對(duì)描述的目標(biāo)檢測(cè)和尺度更新方法，但沒(méi)有給出嚴(yán)重光照變化下的跟蹤實(shí)驗(yàn)結(jié)果。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明提供一種基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，采用顏色空間不均勻量化降低圖像分辨率，在提高跟蹤系統(tǒng)實(shí)時(shí)性同時(shí)，提高了目標(biāo)-背景顏色對(duì)比度；基于邊緣方向角-顏色共生特征建立目標(biāo)關(guān)聯(lián)質(zhì)心模型，以?xún)?yōu)選的共生特征bin質(zhì)心加權(quán)指導(dǎo)目標(biāo)質(zhì)心轉(zhuǎn)移過(guò)程；并根據(jù)相鄰幀目標(biāo)邊緣間距離變化規(guī)律更新目標(biāo)尺度，最終實(shí)現(xiàn)復(fù)雜場(chǎng)景中目標(biāo)持續(xù)、穩(wěn)定和快速跟蹤。技術(shù)方案基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，包括如下步驟1.選擇待跟蹤目標(biāo)，建立目標(biāo)區(qū)域的緊包圍矩形框模型，對(duì)目標(biāo)矩形區(qū)域顏色空間進(jìn)行不均勻量化。2.對(duì)幀間差分算法得到的目標(biāo)運(yùn)動(dòng)區(qū)域進(jìn)行8鄰域填充；在經(jīng)形態(tài)學(xué)膨脹后得到的新目標(biāo)運(yùn)動(dòng)區(qū)域中，利用Canny算子獲取目標(biāo)邊緣輪廓；對(duì)檢測(cè)到的有效邊緣基于Sobel算子計(jì)算邊緣方向角，并對(duì)邊緣方向空間進(jìn)行均勻量化。3.沿垂直和平行兩正交方向，獲取相鄰邊緣像素坐標(biāo)和邊緣方向角；計(jì)算兩點(diǎn)中點(diǎn)坐標(biāo)和中點(diǎn)位置處顏色，建立邊緣-顏色間共生關(guān)系；統(tǒng)計(jì)目標(biāo)邊緣-顏色共生特征質(zhì)心，建立關(guān)聯(lián)模型。4.以上一幀中目標(biāo)最優(yōu)位置作為當(dāng)前幀中目標(biāo)搜索初始點(diǎn)，優(yōu)選置信度高的邊緣-顏色共生特征，并利用其bin質(zhì)心的概率加權(quán)均值計(jì)算目標(biāo)質(zhì)心轉(zhuǎn)移向量，獲得當(dāng)前幀中目標(biāo)最優(yōu)位置。5.在當(dāng)前幀目標(biāo)最優(yōu)位置處，沿垂直和平行兩正交方向統(tǒng)計(jì)相鄰邊緣之間的距離直方圖，按從大到小順序排列直方圖峰值，對(duì)鄰幀間目標(biāo)邊緣距離直方圖的前m個(gè)峰值進(jìn)行距離匹配，其中m ( 5 ;對(duì)匹配成功的距離變化率進(jìn)行概率加權(quán)，獲得當(dāng)前幀目標(biāo)尺度縮放參數(shù)。本發(fā)明采用上述技術(shù)方案，具有以下有益效果首先，利用顏色分量直方圖若干峰值顏色分布確定不均勻量化閾值，有利于在實(shí)現(xiàn)顏色空間降維的同時(shí)，突出目標(biāo)區(qū)域主顏色特征，增強(qiáng)目標(biāo)-背景間顏色差異，達(dá)到量化-分割的目的；在目標(biāo)運(yùn)動(dòng)區(qū)域中選用Canny算子和幀間差分、形態(tài)學(xué)膨脹檢測(cè)邊緣，有助于在低分辨率場(chǎng)景中提取強(qiáng)、弱邊緣，去除背景邊緣影響，提高目標(biāo)特征鑒別力。其次，不采用逐像素特征統(tǒng)計(jì)，僅僅利用目標(biāo)邊緣和與之鄰近的顏色特征建立關(guān)聯(lián)特征稀疏描述，既能有效表征目標(biāo)又有利于提高算法實(shí)時(shí)性；以當(dāng)前幀目標(biāo)邊緣-顏色共生特征變化率確定最可能信賴(lài)的目標(biāo)主特征bin值，并利用質(zhì)心加權(quán)進(jìn)行一步質(zhì)心轉(zhuǎn)移，提聞了跟蹤魯棒性和準(zhǔn)確性。第三，基于鄰幀間目標(biāo)相鄰邊緣間距直方圖峰值匹配，獲得目標(biāo)尺度縮放參數(shù)，保證了在目標(biāo)尺度變大和變小時(shí)的正確跟蹤。


圖1為本發(fā)明實(shí)施例的流程圖；圖2(a)為本發(fā)明實(shí)施例的邊緣-顏色共生特征示例中標(biāo)記的目標(biāo)區(qū)域，用外接矩形框包圍；圖2(b)為本發(fā)明實(shí)施例的邊緣-顏色共生特征示例中顏色不均勻量化圖和邊緣輪廓圖融合的結(jié)果圖；1和2表不水平方向邊緣對(duì),3和4表不垂直方向邊緣對(duì)；圓點(diǎn)表不兩個(gè)邊緣對(duì)的中點(diǎn)，該位置顏色與邊緣點(diǎn)處方向角構(gòu)成邊緣-顏色共生特征；
圖3(a)、圖3(b)、圖3(c)及圖3(d)分別為本發(fā)明實(shí)施例的分辨率為384X288視頻序列的13巾貞、79巾貞、94巾貞和190巾貞的目標(biāo)跟蹤結(jié)果圖；圖4為本發(fā)明圖3視頻序列的第I幀和第4幀的沿水平方向的邊緣距離直方比較圖，其中兩距離直方圖第I峰值匹配成功，第I幀和第2幀分別對(duì)應(yīng)的距離為4和3 ;第I幀的第2峰值和第4幀的第3峰值匹配成功,分別對(duì)應(yīng)的距離為9和8。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，具體實(shí)施步驟為第一，選擇被跟蹤目標(biāo)矩形框區(qū)域，建立目標(biāo)區(qū)域的緊包圍矩形框模型，對(duì)目標(biāo)矩形區(qū)域顏色空間進(jìn)行不均勻量化。不均勻量化具體步驟如下(1)確定各顏色分量直方圖峰值；(2)合并峰值鄰域的分量顏色bin (箱格)，并用一個(gè)給定的灰度級(jí)表示；(3)對(duì)所有顏色分量直方圖的所有主要峰值重復(fù)上述過(guò)程；(4)合并剩余的不屬于任何主峰值鄰域的bin值,并用一個(gè)給定的顏色灰度級(jí)表示。具體為根據(jù)r、g和b顏色分量直方圖確定量化間隔[ks, ks+1] |s = 1,..丨將顏色空間不均勻量化降維。其中ks = gc；s- δ sa, ks+1 = gc；s+ δ s,2，ge，s表示第s個(gè)顏色分量峰值對(duì)應(yīng)的bin值，Ssil和Ss,2為峰值鄰域極限。s的個(gè)數(shù)由直方圖主要波峰數(shù)目決定(如取降維顏色空間X ng X nb = 4 X 4 X 4)。第二，利用Canny算子、幀間差分法、8鄰域自適應(yīng)填充和形態(tài)學(xué)膨脹算子獲取目標(biāo)邊緣
權(quán)利要求
1.一種基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于， 1)選擇被跟蹤目標(biāo)區(qū)域，對(duì)目標(biāo)矩形區(qū)域顏色空間進(jìn)行不均勻量化； 2)提取目標(biāo)邊緣輪廓,并計(jì)算邊緣方向角； 3)沿水平和垂直兩正交方向統(tǒng)計(jì)邊緣-顏色共生特征對(duì)，建立目標(biāo)邊緣-顏色關(guān)聯(lián)質(zhì)心模型； 4)以前一幀目標(biāo)位置作為搜索初始點(diǎn)，根據(jù)當(dāng)前幀中邊緣-顏色共生概率變化率，判斷共生特征的可信賴(lài)性，以可信賴(lài)邊緣-顏色共生特征導(dǎo)出目標(biāo)質(zhì)心轉(zhuǎn)移向量； 5)統(tǒng)計(jì)相鄰幀目標(biāo)邊緣間距離直方圖，按從大到小取邊緣間距離直方圖前m個(gè)峰值進(jìn)行距離匹配，其中m ( 5 ;對(duì)相鄰幀間匹配成功的距離變化率進(jìn)行概率加權(quán)，計(jì)算鄰幀目標(biāo)距離變化率，獲得當(dāng)前幀目標(biāo)尺度縮放參數(shù)。
2.根據(jù)權(quán)利要求1所述的基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于，所述I)中不均勻量化步驟 (a)確定各顏色分量直方圖峰值； (b)合并峰值鄰域的分量顏色bin，并用一個(gè)給定的灰度級(jí)表示； (c)對(duì)所有顏色分量直方圖的所有主要峰值重復(fù)上述過(guò)程； (d)合并剩余的不屬于任何主峰值鄰域的bin值，并用一個(gè)給定的顏色灰度級(jí)表示。
3.根據(jù)權(quán)利要求1所述的基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于，所述2)中使用Canny算子和幀間差分算法檢測(cè)目標(biāo)區(qū)域，獲取目標(biāo)邊緣；利用Sobel算子計(jì)算邊緣方向角。
4.根據(jù)權(quán)利要求1所述的基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于，所述3)中目標(biāo)邊緣-顏色關(guān)聯(lián)質(zhì)心模型為 MU，V和PU,V分別為共生特征對(duì)(U，V)的質(zhì)心和出現(xiàn)概率，
5.根據(jù)權(quán)利要求1所述的基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于，所述4)實(shí)現(xiàn)方法以前一幀目標(biāo)最優(yōu)位置作為當(dāng)前幀中搜索初始點(diǎn)，根據(jù)當(dāng)前幀中邊緣-顏色共生概率變化率
6.根據(jù)權(quán)利要求1所述的基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，其特征在于，所述5)中，根據(jù)公式(7)和⑶分別進(jìn)行距離匹配和尺度縮放參數(shù)^計(jì)算，以M自適應(yīng)更新目標(biāo)尺度ΑΓ1，
全文摘要
本發(fā)明公開(kāi)了一種基于空時(shí)域邊緣和顏色特征關(guān)聯(lián)的目標(biāo)跟蹤方法，包括如下步驟1)選擇被跟蹤目標(biāo)區(qū)域；2)提取目標(biāo)邊緣輪廓，并計(jì)算邊緣方向角；3)沿水平和垂直兩正交方向統(tǒng)計(jì)邊緣-顏色共生特征對(duì)，建立目標(biāo)邊緣-顏色關(guān)聯(lián)質(zhì)心模型；4)選擇高置信度邊緣-顏色對(duì)質(zhì)心進(jìn)行概率加權(quán)，獲得當(dāng)前幀目標(biāo)質(zhì)心轉(zhuǎn)移向量；5)統(tǒng)計(jì)相鄰幀目標(biāo)邊緣間距離直方圖，對(duì)相鄰幀間匹配成功的距離變化率進(jìn)行概率加權(quán)，獲得目標(biāo)尺度縮放參數(shù)。本發(fā)明實(shí)現(xiàn)了擁擠場(chǎng)景、遮擋和目標(biāo)尺度變化情況下的目標(biāo)跟蹤，提高了跟蹤魯棒性、準(zhǔn)確性和實(shí)時(shí)性。在視頻圖像處理領(lǐng)域具有廣泛的應(yīng)用前景，應(yīng)用于智能視頻監(jiān)控、企業(yè)生產(chǎn)自動(dòng)化、智能機(jī)器人等領(lǐng)域。
文檔編號(hào)G06T7/20GK103065331SQ201310014279
公開(kāi)日2013年4月24日 申請(qǐng)日期2013年1月15日 優(yōu)先權(quán)日2013年1月15日
發(fā)明者路紅, 李宏勝, 盛黨紅, 曹未豐, 劉蘭英 申請(qǐng)人:南京工程學(xué)院