基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標跟蹤方法，屬于視頻 圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 目標的視覺特征建模是目標識別和跟蹤領(lǐng)域的關(guān)鍵技術(shù)之一。目前國內(nèi)外學(xué)者主 要關(guān)注的問題集中在目標姿態(tài)和尺度變化、場景光照變化和場景干擾等情況下的目標特征 模型的魯棒性、準確性提高上。
[0003] 基于目標內(nèi)容信息的特征描述方法自報道以來，國內(nèi)外均不斷有改進該路線的專 利報道，歸結(jié)大致有三類:1、基于目標自身空間特征信息的描述方法改進;2、融合目標自身 空間特征和場景空間信息的描述方法改進;3、融合目標自身空間特征、場景空間和時序信 息的描述方法改進。
[0004]通?；谀繕俗陨砜臻g特征的目標模型利用目標獨特的內(nèi)容或結(jié)構(gòu)信息，如色 彩、邊緣和形狀上下文特征等進行描述，在增強目標描述力同時，描述算法的復(fù)雜度直接影 響目標識別和跟蹤系統(tǒng)效率。采用聚類算法以降維色彩空間能有效提高目標外觀色彩內(nèi)容 信息的描述效率，但通常聚類結(jié)果受聚類數(shù)和初始聚類中心等因素影響，導(dǎo)致聚類結(jié)果不 穩(wěn)定性。Bhatia A等在the North Carolina State University博士學(xué)位論文 "Hierarchical Charged Particle Filter for Multiple Target Tracking"（2011:21-37)中，采用類數(shù)自適應(yīng)的DBSCAN算法聚類目標外觀，并通過引入色彩相似度閾值將聚類過 程限制在二維坐標空間，以改善聚類效率。但是當類密度和類間距不均勻時，DBSCAN將面對 類數(shù)目增加、鄰幀間對應(yīng)目標局部區(qū)域聚類效果不穩(wěn)定等問題，導(dǎo)致目標定位精度不高。 [0005]目標所處場景的空間和時序上下文信息能在目標尺度和姿態(tài)變化、場景干擾等情 況下，為目標識別和跟蹤性能的提高提供額外觀測支持。文獻報道了多種基于場景上下文 協(xié)作的目標描述和跟蹤方法。不同方法針對各自的目標對象，均可優(yōu)化選擇適合協(xié)作描述 的輔助目標及其特征參數(shù)、多觀測支持融合算法以提高跟蹤效率。如挖掘多輔助目標算法、 目標支持者學(xué)習算法等。Yang Μ等在IEEE Trans on Pattern Analysis and Machine Intelligence(2009,31(7): 1195-1209)發(fā)表的文章"Context-Aware Visual Tracking"首 次提出在線自動挖掘多輔助目標以協(xié)作提供額外測量值的思想，利用Mean shift選擇與 歷史圖像中具有高共生頻率的片段區(qū)域作為候選輔助目標，并對被跟蹤目標和輔助目標建 立相同的仿射運動觀測模型，在混亂和遮擋場景單目標跟蹤中取得良好跟蹤效果。該方法 主要以目標局部區(qū)域為跟蹤對象，輔助目標來自目標體的其它部位或場景中其它目標，若 跟蹤較大目標、目標整體或多目標，挖掘和多觀測融合決策過程勢必影響跟蹤實時性。
[0006]從連續(xù)幀間目標外觀尺度、姿態(tài)或光照漸變的規(guī)律上看，短時間內(nèi)目標體的一些 局部區(qū)域特征具有直接反映這種漸變規(guī)律的能力。通?；谠隽坑嬎愕淖赃m應(yīng)模型更新方 法，如參考模型與最佳候選模型的線性加權(quán)更新、子空間增量學(xué)習和更新、濾波更新等大多 是基于這樣的機理。Jahandide Η等在Pattern Recognition Letters(2012,33(16) :2192- 2197)發(fā)表的文章 "A Hybrid Motion and Appearance Prediction Model for Robust Visual Object Tracking"中利用KF(Kalman Filter)對目標外觀色彩分布(每個色彩類質(zhì) 心）進行預(yù)測，具有良好光照適應(yīng)性能，相對于逐像素色彩或逐色彩箱格(bin)分配一個KF 進行更新的已有方法，明顯降低了計算量。但是目標外觀尺度和姿態(tài)等變化可能會引起部 分色彩類質(zhì)心位置變化規(guī)律不一致，引起更新誤差。從我們的跟蹤實踐看，挖掘數(shù)量較少但 卻穩(wěn)定的色彩類或色彩子區(qū)域，并據(jù)此獲得高可靠度的模型增量，有利于提高模型更新和 目標軌跡定位的準確性和效率。

【發(fā)明內(nèi)容】

[0007] 目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于聚類子區(qū)域關(guān)聯(lián)的 穩(wěn)定特征挖掘和目標跟蹤方法，根據(jù)目標運動區(qū)域的V(Value)色彩分量直方圖峰輪廓的確 定區(qū)域峰數(shù)目和殘余峰能量自適應(yīng)獲得聚類數(shù)，并利用K-means聚類目標區(qū)域的S (Saturation)和V色彩，在降維色彩空間同時，提高聚類區(qū)域分布的可控制性;對目標建立 基于類的連通子區(qū)域模板、觀測模型和增量模型描述，同時建立目標模板和當前觀測模型 間子區(qū)域關(guān)聯(lián)，以挖掘"模板-觀測"穩(wěn)定子區(qū)域特征對及模板特征變化率;融合各穩(wěn)定子區(qū) 域位移獲得目標當前軌跡，并根據(jù)模板穩(wěn)定特征的加權(quán)平均增量變化率逐幀更新目標模 板，提高穩(wěn)定特征挖掘和軌跡跟蹤的對目標外觀變化和場景干擾的自適應(yīng)性能。
[0008] 技術(shù)方案:為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0009] 步驟一:基于自適應(yīng)背景差分和背景更新，檢測目標運動區(qū)域，提取該區(qū)域的V色 彩分量直方圖峰輪廓，并利用中值濾波平滑不重要的峰;根據(jù)相鄰峰間V色彩差分閾值條件 計算候選峰和區(qū)域峰，并根據(jù)確定區(qū)域峰數(shù)目和余峰能量，獲得聚類數(shù)。
[0010] 步驟二:構(gòu)建目標區(qū)域運動像素的S和V色彩矩陣，并進行K-means聚類;根據(jù)像素 坐標與上述色彩矩陣行間對應(yīng)關(guān)系，重構(gòu)聚類結(jié)果圖像。
[0011] 步驟三:查找對應(yīng)每個類的4或8鄰域連通子區(qū)域，并編號和標記形心位置;建立基 于子區(qū)域形心、面積、平均色彩特征的模板、觀測模型，以及基于面積變化率和色彩變化率 的增量模型描述。
[0012] 步驟四：根據(jù)目標模板與當前觀測模型子區(qū)域間形心、面積和平均色彩距離閾值， 挖掘具有關(guān)聯(lián)對應(yīng)的穩(wěn)定子區(qū)域，獲得"模板-觀測"子區(qū)域穩(wěn)定特征對，以及模板特征變化 率。
[0013] 步驟五:利用穩(wěn)定子區(qū)域面積加權(quán)對應(yīng)子區(qū)域形心位移，獲得當前幀目標位移，再 融合當前檢測區(qū)域中心和上一幀軌跡，獲得目標當前軌跡;通過面積加權(quán)融合穩(wěn)定子區(qū)域 特征變化獲得模板平均增量及其變化率，以逐幀更新目標模板。
[0014] 有益效果:本發(fā)明提供的基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標跟蹤方法， 首先，根據(jù)目標運動區(qū)域的V色彩分量直方圖峰輪廓的確定區(qū)域峰數(shù)目和殘余峰能量獲得 聚類數(shù)，有利于實現(xiàn)自適應(yīng)K-means聚類，并使得連續(xù)幀序列中的目標聚類區(qū)域分布可控 制，有效突出目標外觀結(jié)構(gòu);利用目標區(qū)域S和V色彩分量變化獨立性特點進行聚類，不需要 事先判斷H(Hue)色彩信息，有助于進一步提高聚類效率和自適應(yīng)性。
[0015] 其次，建立基于類的目標連通子區(qū)域模板、觀測模型和增量模型描述，將目標描述 細化到局部特征及其增量變化，有利于在目標尺度和姿態(tài)變化、場景干擾等情況下，利用部 分穩(wěn)定子區(qū)域觀測和增量模型，獲得可靠的目標運動軌跡和模型更新依據(jù);通過關(guān)聯(lián)目標 模板和當前觀測模型間子區(qū)域，挖掘"模板-觀測"局部穩(wěn)定特征對及模板特征變化率，使跟 蹤過程不受初始質(zhì)心隨機性引發(fā)的聚類結(jié)果不穩(wěn)定的影響，提高了跟蹤魯棒性和準確性。
[0016] 第三，加權(quán)融合各穩(wěn)定子區(qū)域位移獲得目標當前位移，賦予面積較大的子區(qū)域較 大的位移表決權(quán)，有利于抑制目標邊緣處穩(wěn)定小區(qū)域由于誤關(guān)聯(lián)引入的計算誤差、降低時 耗和提高目標定位精度;根據(jù)穩(wěn)定特征平均增量變化率逐幀更新目標模板，使不穩(wěn)定子區(qū) 域的特征參數(shù)在無法獲得自身對應(yīng)的子區(qū)域特征對和增量變化率時，也可實現(xiàn)自更新，有 利于提高穩(wěn)定特征挖掘和軌跡跟蹤的對目標外觀變化和場景干擾的自適應(yīng)性。
[0017] 本發(fā)明實現(xiàn)了目標外觀變化和場景干擾等情況下的目標穩(wěn)定特征挖掘和軌跡跟 蹤，提高了跟蹤魯棒性、準確性和實時性。在視頻圖像處理領(lǐng)域具有廣泛的應(yīng)用前景，應(yīng)用 于智能視頻監(jiān)控、視頻圖像理解和工業(yè)視覺伺服控制等領(lǐng)域。
【附圖說明】
[0018] 圖1為本發(fā)明的工作流程圖；
[0019] 圖2為本發(fā)明實施例的自適應(yīng)背景差分檢測到的目標運動區(qū)域圖；
[0020] 圖3為本發(fā)明實施例的V色彩分量直方圖輪廓中值濾波后的結(jié)果圖；
[0021 ]圖4為本發(fā)明實施例的視頻序列230幀和239幀的原圖和目標運動區(qū)域的自適應(yīng)K-means聚類結(jié)果圖；
[0022] 圖5為對應(yīng)圖4(b)和圖4(d)中目標運動區(qū)域的類8鄰域連通子區(qū)域標記結(jié)果圖；
[0023] 圖6本發(fā)明實施例視頻序列的目標模板及局部放大圖；
[0024]圖7為本發(fā)明視頻序列的231幀、235幀、239幀、241幀、243幀的原圖；
[0025] 圖8為圖7對應(yīng)原圖的目標運動區(qū)域聚類和標記結(jié)果圖；
[0026] 圖9為圖8對應(yīng)結(jié)果圖的穩(wěn)定子區(qū)域特征挖掘和目標軌跡跟蹤結(jié)果圖。
【具體實施方式】
[0027] 下面結(jié)合附圖對本發(fā)明作更進一步的說明。
[0028] 如圖1所示，基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標跟蹤方法，具體實施步驟 如下：
[0029] 步驟一:采用閾值和背景更新自適應(yīng)的背景差分算法檢測目標運動區(qū)域;根據(jù)目 標運動區(qū)域V色彩分量直方圖的峰輪廓、候選峰、區(qū)域峰和殘余峰能量，自適應(yīng)獲得聚類數(shù)。 聚類數(shù)計算具體步驟如下：
[0030] la.提取目標運動檢測區(qū)域的V色彩分量直方圖峰輪廓；
[0031 ] lb.利用窗口長為n = 2，ne [2,5]的中值濾波平滑峰輪廓，以突出主峰/Λ其中11 = 1，2~，L1為主峰的數(shù)目；
[0032] 1 c .將大于β倍主峰均值的/；η作為候選峰/尸，如公式（1)，其中β = 1.38，β e [ 1， 1.8]為尺度因子，12 = 1，2-丄2為候選峰數(shù)目；
[0033]
(1)
[0035]
[0034] Id.累加小于主峰均值的/f獲得殘余峰能量SUMt和殘余率RESt，如公式(2)~(3);
[0036]
[0037] le.當相鄰候選峰嚴和?Τ1對應(yīng)的V色彩分量差分滿足時，，和jf'1 均被作為確定區(qū)域峰;當I f -<+卞叫時，保留丨中較大峰作為臨時區(qū)域峰，并將 序號賦值為12+1，即//2+l ，重復(fù)該過程，依次將臨時區(qū)域峰與下一相鄰 峰f1進行比較，并重復(fù)max賦值過程，直到U;、-d>α,成立，此時的較大峰尸…1方 可被作為確定區(qū)域峰；確定區(qū)域峰數(shù)目即為聚類數(shù)Kt。當RESt>a2時，增加一個聚類，ΒΡ & +1。其中閾值cn 2 10，α2 2 〇 · 3，最為優(yōu)選方案:~已[15，20]，a2e [0 · 35，0 · 45]，計算 時可選 αι=15α2 = 0.45。
[0038]步驟二:利用目標區(qū)域運動像素 X處的S和V色彩分量St