專利名稱:融合描述式和判別式建模的目標跟蹤方法
技術領域:
本發(fā)明屬于計算機視覺技術領域,涉及一種對目標進行跟蹤的方法
背景技術:
目標檢測與跟蹤是計算機視覺的主要研究方向之一,它在人機交互、智能監(jiān)視、醫(yī)學圖像分析、移動機器人視覺導航、視頻圖像分析等領域中有著廣泛的應用。 一個準確魯棒的目標跟蹤器對于后續(xù)的分析將產(chǎn)生極大幫助。 現(xiàn)有的目標跟蹤算法,從數(shù)學方法上通??梢苑譃閮深惍a(chǎn)生式方法和判別式方法。產(chǎn)生式方法學習被跟蹤目標的外觀,得到被跟蹤目標外觀的描述性模型。產(chǎn)生式方法通過更新描述式模型來適應被跟蹤目標外觀的變化,而忽略背景對目標的影響。因此,產(chǎn)生式算法在背景和目標比較相似時,跟蹤結果容易偏離真正的目標位置。判別式方法通過學習背景和被跟蹤目標的分類面,獲得對被跟蹤目標外觀和背景外觀的判別性模型。判別式方法通過更新判別式模型,即分類面,來適應被跟蹤目標和背景外觀的變化。判別式方法由于同時關注被跟蹤目標外觀和背景外觀,往往能更有效地從背景中識別出目標。但是現(xiàn)有的判別式方法通常僅僅關注目標和背景的判別性的模型,因而也容易產(chǎn)生模型偏差,而所采用的更新方法又很難體現(xiàn)目標的真實變化,因此經(jīng)常會出現(xiàn)嚴重的"模型飄移"問題,導致被跟蹤目標的丟失。
發(fā)明內(nèi)容
針對現(xiàn)有技術的現(xiàn)狀,本發(fā)明的目的是提出一種結合了描述式(或稱產(chǎn)生式)和判別式目標建模方法優(yōu)點的跟蹤一般物體的方法,使對給出的圖像序列能自動進行對目標的定位與跟蹤,從圖像序列中獲得被跟蹤目標在每一幀圖像中的位置。 為實現(xiàn)以上目的,本發(fā)明提供的一種融合描述式和判別式建模的目標跟蹤方法,基于兩個尺度小圖像塊集合并且用二類支持向量機和一類支持向量機共同對被跟蹤目標建模,該方法包括步驟如下 步驟S1 :對視頻文件的第l幀圖像做初始化處理;即,設幀號t = l,從視頻文件中讀取第1幀圖像,人工或者利用目標檢測算法確定被跟蹤目標及其局部背景在第1幀圖像中的位置,即初始位置;在被跟蹤目標及其局部背景上隨機抽取兩個尺度的小圖像塊集合;按照用戶指定的特征類型計算各小圖像塊的特征;利用兩個尺度的小圖像塊的特征訓練兩對二類支持向量機和一類支持向量機,用第一尺度小圖像塊集合訓練得到的二類支持向量機2-SVC(1, sl)和一類支持向量機l-SVC(l, sl),以及用第二尺度小圖像塊集合訓練得到的二類支持向量機2-SVC(l,s2)和一類支持向量機l-SVC(l,s2)共同構成被跟蹤目標的模型,其中,sl和s2分別表示第一尺度和第二尺度,2-SVC表示為二類支持向量機,l-SVC表示為一類支持向量機; 步驟S2 :確定被跟蹤目標在第t+l幀圖像中的位置;即,從視頻文件中讀取第t+l幀圖像,隨機抽取兩個尺度的小圖像塊集合;計算各小圖像塊的特征;利用基于兩個尺度小圖像塊的被跟蹤目標的模型2-SVC(t, si) 、l-SVC(t, si)和2-SVC(t, s2) 、l-SVC(t, s2)確 定被跟蹤目標在第t+l幀中的位置,并根據(jù)被跟蹤目標在第t+l幀中的位置將被跟蹤目標 模型由2-SVC(t, sl) 、l-SVC(t, sl)和2-SVC(t, s2) 、l-SVC(t, s2)更新為2-SVC(t+l, sl)、 l-SVC(t+l, sl)和2-SVC(t+l, s2)、l-SVC(t+l, s2);輸出被跟蹤目標在第t+l幀圖像中的 位置; 步驟S3 :若第t+l幀不是視頻文件的最后一幀,t = t+l,返回步驟S2,若第t+l幀 是視頻文件的最后一幀,則至步驟S4 ;
步驟S4 :結束目標跟蹤。
其中,對視頻文件的第1幀圖像做初始化處理的具體步驟如下 步驟Sll :設幀號t = l,用目標框和背景框在視頻文件的第1幀圖像中選定需要 被跟蹤的目標以及被跟蹤目標附近的背景的初始位置; 步驟S12 :指定小圖像塊第一尺度,分別在目標框和背景框的環(huán)矩形區(qū)域中隨機 采樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第一尺度小圖像塊集合; 表示圖像中被跟蹤目標的第一尺度小圖像塊是正樣本,表示圖像中被跟蹤目標局部背景的 第一尺度小圖像塊是負樣本; 步驟S13 :指定小圖像塊第二尺度,分別在目標框和背景框的環(huán)形區(qū)域中隨機采 樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第二尺度小圖像塊集合;表 示圖像中被跟蹤目標的第二尺度小圖像塊是正樣本,表示圖像中被跟蹤目標局部背景的第 二尺度小圖像塊是負樣本; 步驟S14 :對一對第一尺度小圖像塊集合中的各小圖像塊,指定一種特征的直方
圖作為各小圖像塊的特征,對各小圖像塊進行計算并得到第一尺度小圖像塊特征; 步驟S15 :對一對第二尺度小圖像塊集合中的各小圖像塊,指定一種特征的直方
圖作為各小圖像塊的特征,對各小小圖像塊的特征進行計算并得到第二尺度小圖像塊特
征; 步驟S16 :利用一對第一尺度小圖像塊集合訓練二類支持向量機,獲得第一尺度 下目標和背景的判別分類面,亦稱第一尺度二類支持向量機2-SVC(1, sl);利用一對第一
尺度小圖像塊集合中表示被跟蹤目標的小圖像塊集合訓練一類支持向量機獲得第一尺度 下目標的描述性特征分布,亦稱第一尺度一類支持向量機l-SVC(l, sl);這一對第一尺度 二類支持向量機2-SVC(l,sl)和第一尺度一類支持向量機l-SVC(l,sl)構成第一幀圖像中 第一尺度下的被跟蹤目標模型; 步驟S17 :利用一對第二尺度小圖像塊集合訓練二類支持向量機,獲得第二尺度 下目標和背景的判別分類面,亦稱第二尺度二類支持向量機2-SVC(1, s2);利用一對第二
尺度小圖像塊集合中表示被跟蹤目標的小圖像塊集合訓練一類支持向量機獲得第二尺度 下目標的描述性特征分布,亦稱第二尺度一類支持向量機l-SVC(l, s2);這一對第二尺度 二類支持向量機2-SVC(l,s2)和第二尺度一類支持向量機l-SVC(l,s2)構成第一幀圖像中 第二尺度下的被跟蹤目標模型。 其中,確定被跟蹤目標在第t+l幀圖像中的位置的具體步驟如下
步驟S21 :讀取被跟蹤目標位置未知的第t+l幀圖像; 步驟S22 :對第t+l幀圖像隨機抽取第一尺度的圖像塊,得到第t+l幀圖像中第一尺度小圖像塊集合; 步驟S23 :計算第t+1幀圖像中第一尺度小圖像塊集合中所有小圖像塊的特征;
步驟S24 :利用在第t幀圖像中在第一尺度小圖像塊集合上訓練得到的二類支持向量機2-SVC(t,sl)和一類支持向量機l-SVC(t,sl)對第t+l幀圖像的第一尺度小圖像塊集合分類; 步驟S25 :取二類支持向量機2-SVC(t, si)和一類支持向量機1-SVC(t, si)對第t+1幀圖像的第一尺度小圖像塊集合分類的輸出值之和作為第t+1幀圖像中每個第一尺度小圖像塊屬于目標的置信度;所有第一尺度小圖像塊的置信度和第一尺度小圖像塊在第t+1幀圖像中的中心像素坐標構成第一尺度圖像塊集合的置信圖; 步驟S26 :利用第一尺度小圖像塊集合的置信圖,在第t+l幀圖像中排除非目標區(qū)域,得到可能目標區(qū)域,在這個可能目標區(qū)域中隨機抽取第二尺度的小圖像塊,得到第t+1幀圖像的第二尺度小圖像塊集合; 步驟S27 :計算第t+1幀圖像中第二尺度小圖像塊集合中所有小圖像塊的特征;
步驟S28 :利用在第t幀圖像中第二尺度小圖像塊集合上訓練得到的二類支持向量機2-SVC(t,s2)和一類支持向量機l-SVC(t,s2)對第t+1幀圖像的第二尺度小圖像塊集合分類; 步驟S29 :取二類支持向量機2-SVC(t, s2)和一類支持向量機1-SVC(t, s2)對第t+1幀圖像的第二尺度小圖像塊集合分類的輸出值之和作為第t+1幀圖像中每個第二尺度小圖像塊屬于目標的置信度;所有第二尺度小圖像塊的置信度和第二尺度小圖像塊在第t+1幀圖像中的中心像素坐標構成第二尺度圖像塊集合的置信圖; 步驟S210 :利用第t+1幀圖像中的第二尺度小圖像塊集合的置信圖,修正第t+1幀圖像中的第一尺度小圖像塊集合的置信圖; 步驟S211 :在修正后的第t+1幀圖像中第一尺度小圖像塊集合的置信圖上,利用均值移動算法確定被跟蹤目標在第t+1幀圖像中的位置,將目標框移至該新位置并輸出顯示; 步驟S212 :根據(jù)第t+1幀圖像中被跟蹤目標的位置重新隨機采樣以獲得一對新的第一尺度小圖像塊集合和一對新的第二尺度小圖像塊集合,利用被跟蹤目標模型2-SVC(t,sl)、l-SVC(t, si)和2-SVC(t, s2)、l-SVC(t, s2)計算新的小圖像塊集合中各小圖像塊屬于被跟蹤目標的置信度,從而確定每個小圖像塊的分類結果,再利用每個圖像塊的分類結果更新得到第t+l幀中被跟蹤目標的模型2-SVC(t+l, sl)、l-SVC(t+l, si)和2-SVC(t+l,s2)、l-SVC(t+l, s2)。 其中,所述非目標區(qū)域是置信度為非正的第一尺度小圖像塊所覆蓋的區(qū)域。 其中,所述利用第二尺度小圖像塊集合的置信圖,修正第一尺度小圖像塊的置信
圖是對所有覆蓋第一尺度小圖像塊中心點的第二尺度小圖像塊的置信度求最大值,如果所
有覆蓋第一尺度小圖像塊中心點的第二尺度小圖像塊的置信度的最大值為非正數(shù),則第一
尺度小圖像塊的置信度為所有覆蓋第一尺度小圖像塊中心點的第二尺度小圖像塊的置信
度的最大值,如果所有覆蓋第一尺度小圖像塊中心點的第二尺度小圖像塊的置信度的最大
值為正數(shù),則第一尺度小圖像塊的置信度與所有覆蓋第一尺度小圖像塊中心點的第二尺度
小圖像塊的置信度的最大值之和為第一尺度小圖像塊的新的置信度。
其中,所述被跟蹤目標的小圖像塊集合由多個具有相同尺度的在目標框中采樣得到的小圖像塊構成。 其中,所述局部背景的小圖像塊集合由多個具有相同尺度的在背景框以內(nèi)目標框以外即環(huán)矩形區(qū)域中采樣得到的小圖像塊組成。 其中,所述兩個尺度小圖像塊包括第一尺度小圖像塊和第二尺度小圖像塊,第一尺度小圖像塊的尺度為固定值,第二尺度小圖像塊的尺度與目標框大小成正比。
其中,所述更新兩個尺度下的二類支持向量機2-SVC(t, sl)、2-SVC(t, s2)和一類支持向量機l-SVC(t,sl)、l-SVC(t,s2)是對在第t幀圖像中學習得到的兩個尺度下的二類支持向量機2-SVC(t, sl)、2-SVC(t, s2)和一類支持向量機l-SVC(t, sl)、l-SVC(t, s2)保留其前k幀圖像中的樣本,去掉前第k+l幀圖像中的樣本,并加入第t+l幀圖像中的新樣本重新訓練二類支持向量機和一類支持向量機得到第t+l幀圖像中的兩個尺度下的二類支持向量機2-SVC(t+l, sl) 、2-SVC(t+l, s2)和一類支持向量機1-SVC(t+l, sl) 、l-SVC(t+l,s2)。 本發(fā)明的有益效果本發(fā)明結合描述式和判別式目標建模方法的優(yōu)點,有效地利用二類支持向量機較強的判別能力區(qū)分出目標和背景,同時為增強克服"模型飄移"問題的能力,用一類支持向量機獲得對目標的描述式模型。本發(fā)明對背景不斷變化,攝像機不固定,目標外觀和尺度不斷發(fā)生變化的情形也適用,且能取得良好的效果。大量的實驗結果表明,本發(fā)明的方法在跟蹤的穩(wěn)定性和精度方面明顯優(yōu)于現(xiàn)有的一些主流方法。本發(fā)明的方法既利用了判別式方法能夠針對一幅圖像最優(yōu)地區(qū)分目標和背景的能力,又利用產(chǎn)生式方法對目標本身的描述更準確的優(yōu)點,使得方法能更好地適應目標和背景的變化,大大減輕了 "模型漂移"問題對方法的不利影響。
圖1是本發(fā)明融合描述式和判別式方法的目標跟蹤方法的流程圖。
圖2是圖1中對視頻文件中第一幀圖像做初始化處理的流程圖。
圖3是圖2中對視頻文件中新取出的第t+l幀圖像的處理流程圖。
圖4是兩個尺度小圖像塊示意圖。 圖5a、圖5b、圖5c是兩個尺度小圖像塊集合的置信圖示意圖。
具體實施例方式
下面結合附圖詳細說明本發(fā)明技術方案中所涉及的各個細節(jié)問題。應指出的是,
所描述的實施例僅旨在便于對本發(fā)明的理解,而對其不起任何限定作用。 請參考圖1示出的本發(fā)明流程圖。 在以下各步驟中,t表示一個視頻文件的幀序號,t = 1表示第1幀圖像,t = 2表示第2幀圖像,以此類推。Sl和s2分別表示第一尺度和第二尺度。 步驟Sl.初始化。圖2示出方法初始化的流程圖,其中,2-SVC(t, sl)、2-SVC(t,s2)和l-SVC(t,sl)、l-SVC(t,s2)分別表示利用從第1幀圖像中隨機采樣得到的小圖像塊集合訓練得到的兩類支持向量機和一類支持向量機,sl和s2分別表示第一和第二尺度。
步驟Sll.設t = 1。用目標框和背景框在視頻文件的第1幀圖像中選定需要被跟蹤的目標以及被跟蹤目標附近的背景。 步驟S12.指定小圖像塊第一尺度,分別在目標框和背景框(環(huán)矩形區(qū)域)中隨機
采樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第一尺度小圖像塊集合。
隨機采樣得到的第一尺度小圖像塊集合0^'由固定大小的小圖像塊(通常是9像素X9像
素至ll像素Xll像素)組成,第一尺度小圖像塊的采樣率為8% 16%,完全位于目標窗
內(nèi)部的小圖像塊被標記為正樣本,其余的小圖像塊被標記為負樣本,如圖4所示。圖4右上
方的橢圓代表第一尺度小圖像塊中的正樣本集合,正樣本均來自中間圖像中的目標窗,右
下方的橢圓代表第一尺度小圖像塊中的負樣本集合,負樣本均來自中間圖像中目標窗以外
的環(huán)矩形圖像區(qū)域。圖中給出的第一尺度小圖像塊的尺度是ll像素Xll像素。 步驟S13.指定小圖像塊第二尺度,分別在目標框和背景框(環(huán)矩形區(qū)域)中隨機
采樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第二尺度小圖像塊集合。
隨機采樣得到的第二尺度小圖像塊集合(PV 由與目標窗大小有關的小圖像塊組成,通常第
二尺度小圖像塊的大小是目標窗尺度的1/8至1/2倍,第二尺度小圖像塊的采樣率為2%
5%,完全位于目標窗內(nèi)部的小圖像塊被標記為正樣本,其余的小圖像塊被標記為負樣本,
如圖4所示。圖4左上方的橢圓代表第二尺度小圖像塊中的正樣本集合,正樣本均來自中
間圖像中的目標窗,左下方的橢圓代表第二尺度小圖像塊中的負樣本集合,負樣本均來自
中間圖像中目標窗以外的環(huán)矩形圖像區(qū)域。圖中給出的第二尺度小圖像塊的尺度是21像
素X21像素。 步驟S14.對一對第一尺度小圖像塊集合中的各小圖像塊,指定一種特征,比如指定顏色或者紋理等的直方圖作為各小圖像塊的特征,計算各小圖像塊的特征,后繼幀也采用同樣的特征。 步驟S15.對一對第二尺度小圖像塊集合中的各小圖像塊,指定一種特征,比如指定顏色或者紋理等的直方圖作為各小圖像塊的特征,計算各小圖像塊的特征,后繼幀也采用同樣的特征。 步驟S16.利用一對第一尺度小圖像塊集合訓練二類支持向量機,獲得第一尺度下目標和背景的判別分類面《'2—SKC(戶),其中P表示小圖像塊。利用第一尺度下表示被跟蹤目標的小圖像塊集合訓練一類支持向量機,獲得第一尺度下目標的描述性模型《"Kc(P),其中P表示小圖像塊。《'n(P)和《Ur(P)構成第一尺度目標模型。 步驟S17.利用一對第二尺度小圖像塊集合訓練二類支持向量機,獲得第二尺度下目標和背景的判別分類面/C2-wc(戶),其中P表示小圖像塊。利用第二尺度下表示被跟蹤目標的小圖像塊集合訓練一類支持向量機,獲得第一尺度下目標的描述性模型《-SKC(P),其中P表示小圖像塊。。《U戶)和《L,(P)構成第二尺度目標模型。 第i尺度下的一類支持向量機和二類支持向量機輸出之和為第i尺度融合分類器
V'(p), (P)=《'2-(P) +《'卜度O), 其中,i G {1,2}。 步驟S2.確定被跟蹤目標在第t+l幀中的位置,并更新目標模型。圖3示出本發(fā)明方法處理新取得的一幀(即第t+l幀)的流程圖,其中,2-SVC(t, sl)、2-SVC(t, s2)和1- SVC(t, sl)、l-SVC(t, s2)分別表示利用從第t幀圖像中隨機采樣得到的小圖像塊集合訓練得到的兩類支持向量機和一類支持向量機,sl和s2分別表示第一二尺度和第二尺度,
2- SVC表示為二類支持向量機,l-SVC表示為一類支持向量機。
步驟S21.讀取第t+l幀圖像。 步驟S22.根據(jù)第t幀圖像中目標窗的位置,在目標位置未知的第t+l幀圖像中的同樣位置及其附近隨機抽取第一尺度小圖像塊集合{^}
/ + 1 c,+,'(、,力)二 步驟S23.計算第t+l幀圖像中第一尺度小圖像塊集合中所有小圖像塊的特征。
步驟S24.利用在第t幀圖像中在第一尺度小圖像塊集合上訓練得到的融合分類器V'("對第t+l幀圖像的第一尺度小圖像塊集合{尸}^分類。 步驟S25.計算第一尺度小圖像塊集合{^}^中每個第一尺度小圖像塊p作為正樣
本的置信度c,+r'
'i, vo)>u
V'(p), _i<VO)<i;-i, V'(p)<_i, 其中(Xp,yp)是小圖像塊p的中心。集合^,+"Xp,力),Xp,;;^構成第t+l幀圖像
中第一尺度小圖像塊置信圖(圖5a) 步驟26 :利用第一尺度小圖像塊集合的置信圖,在第t+l幀圖像中排除非目標區(qū)域,得到可能目標區(qū)域??赡苣繕藚^(qū)域中既有未被第一尺度小圖像塊覆蓋的像素,也有被第一尺度小圖像塊覆蓋并滿足下述不等式的像素
>0, 其中(u, v)是小圖像塊/ e^^覆蓋的像素。注意對于第一尺度小圖像塊的置信圖c,+rn^),如果覆蓋的像素(u, v)不是任何圖像塊pe(j^的中心,那么c, (",v)-0。在這個可能目標區(qū)域中隨機抽取第二尺度的小圖像塊,得到第t+l幀圖像的第二尺度小圖像塊集合^}^ 。 步驟S27.計算第t+l幀圖像中第二尺度小圖像塊集合^d中所有小圖像塊的特征。 步驟S28.利用第t幀圖像針對第二尺小圖像塊的融合分類器V2(p)對第二尺度小圖像塊集合^^分類。 步驟S29.計算第二尺度小圖像塊集合^^中每個第二尺度小圖像塊p作為正樣本的置信度c,+,(、,力),
'1, /0>1; c,+,(、,力)=V2 -1 < V2 (p) < i; 其中(Xp,yp)是小圖像塊p的中心。集合"c,+Z'(、,力),、,力》構成第t+l幀圖像
中第二尺度小圖像塊置信圖(圖5b)。 步驟S210.利用第二尺度小圖像塊置信圖來修正第一尺度小圖像塊置信圖。由于
10第一尺度小圖像塊p可能被多個第二尺度小圖像塊覆蓋,其中覆蓋第一尺度小圖像塊p的
中心(U, V)且具有最大置信度的第二尺度小圖像塊的置信度Cm被用來修正第一尺度小圖像塊p的置信度。 這里,m表示最大值之意。圖5c所示為修正后的第一尺度小圖像塊置信圖。
步驟S211.確定被跟蹤目標在第t+l幀中的位置。在第t+l幀中修正后的第一尺度小圖像塊集合的置信圖&+/'(、,力)上,以第t幀中目標的位置為初始位置,利用均值移動算法得到第t+l幀中目標的位置,具體步驟如下。 步驟S2111設循環(huán)變量k = 0, q。是第t幀圖像中目標窗的中心,( 。,^。)是該中心在第t+l幀圖像中的圖像坐標,qk是第t幀圖像中第k次循環(huán)時目標窗的中心,"^.是在第
t+i幀圖像中以Ov^)為中心的一個半徑為S的圓形鄰域。 步驟S2112 (、,,0 = ^~ Z (VW, 這里,#%表示^1.中具有非零置信度的小圖像片的個數(shù),第t+l幀圖像中的小圖像
片p具有非零置信度,(xp, yp)表示小圖像片p的中心在第t+l幀圖像中的圖像坐標。k =
k+l,循環(huán)執(zhí)行步驟S2. 11. 2,直至收斂。收斂時的(^,3^)即為目標窗在第t+l幀圖像中的中心位置。 步驟S212 :在線更新兩類支持向量機和一類支持向量機。 步驟S2121獲取新樣本。在第t+l幀圖像中隨機采樣,獲得兩種尺度的小圖像塊
集合。利用第一尺度小圖像塊的融合分類器V'(內(nèi)和第二尺度小圖像塊的融合分類器V2 (P)計算第t+l幀圖像中所有第一尺度小圖像塊和第二尺度小圖像塊的置信度,并按下式標記樣本的正負。 這里,Rw表示第t+l幀圖像中的目標窗,若小圖像塊p是第一尺度的,則i = 1,若小圖像塊P是第二尺度的,則i = 2。 步驟S2122去除舊樣本。對于二類支持向量機,由于背景方差往往較大,故只利用第t+l幀圖像的正負樣本更新二類支持向量機。對于一類支持向量機,去除前K幀圖像以前的幀中的正樣本并加入第t+l幀圖像中的正樣本,利用所有這些樣本更新一類支持向量機。這里,K是更新容量參數(shù)。 步驟S3.若第t+l幀不是視頻文件的最后一幀,t = t+l,返回第S2步。否則,至步驟S4。 步驟S4.結束目標跟蹤。 以上所述,僅為本發(fā)明中的具體實施方式
,但本發(fā)明的保護范圍并不局限于此,任
c'">0;其他情況.
小圖像塊p的類標
正樣本'c,+, (Xp,,) > 。且(W」e i ,, / e {1, 2};負樣本, 其它。
11何熟悉該技術的人在本發(fā)明所揭露的技術范圍內(nèi),可理解想到的變換或替換,都應涵蓋在本發(fā)明的包含范圍之內(nèi)。
權利要求
一種融合描述式和判別式建模的目標跟蹤方法,其特征在于,基于兩個尺度小圖像塊集合并且用二類支持向量機和一類支持向量機共同對被跟蹤目標建模,該方法包括步驟如下步驟S1對視頻文件的第1幀圖像做初始化處理設幀號t=1,從視頻文件中讀取第1幀圖像,人工或者利用目標檢測算法確定被跟蹤目標及其局部背景在第1幀圖像中的位置,即初始位置;在被跟蹤目標及其局部背景上隨機抽取兩個尺度的小圖像塊集合;按照用戶指定的特征類型計算各小圖像塊的特征;利用兩個尺度的小圖像塊的特征訓練兩對二類支持向量機和一類支持向量機,用第一尺度小圖像塊集合訓練得到的二類支持向量機為2-SVC(1,s1)和一類支持向量機為1-SVC(1,s1),以及用第二尺度小圖像塊集合訓練得到的二類支持向量機2-為SVC(1,s2)和一類支持向量機為1-SVC(1,s2)共同構成被跟蹤目標的模型,其中,s1和s2分別表示第一尺度和第二尺度,2-SVC表示為二類支持向量機,1-SVC表示為一類支持向量機;步驟S2確定被跟蹤目標在第t+1幀圖像中的位置從視頻文件中讀取第t+1幀圖像,隨機抽取兩個尺度的小圖像塊集合;計算各小圖像塊的特征;利用基于兩個尺度小圖像塊的被跟蹤目標的模型為2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)確定被跟蹤目標在第t+1幀中的位置,并根據(jù)被跟蹤目標在第t+1幀中的位置將被跟蹤目標模型由2-SVC(t,s1)、1-SVC(t,s1)和2-SVC(t,s2)、1-SVC(t,s2)更新為2-SVC(t+1,s1)、1-SVC(t+1,s1)和2-SVC(t+1,s2)、1-SVC(t+1,s2);輸出被跟蹤目標在第t+1幀圖像中的位置;步驟S3若第t+1幀不是視頻文件的最后一幀,t=t+1,返回步驟S2;若第t+1幀是視頻文件的最后一幀,則至步驟S4;步驟S4結束目標跟蹤。
2. 如權利要求1所述的目標跟蹤方法,其特征在于,對視頻文件的第1幀圖像做初始化處理的具體步驟如下步驟Sll :設幀號t = l,用目標框和背景框在視頻文件的第1幀圖像中選定需要被跟蹤的目標以及被跟蹤目標附近的背景的初始位置;步驟S12:指定小圖像塊第一尺度,分別在目標框和背景框的環(huán)矩形區(qū)域中隨機采樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第一尺度小圖像塊集合;表示圖像中被跟蹤目標的第一尺度小圖像塊是正樣本,表示圖像中被跟蹤目標局部背景的第一尺度小圖像塊是負樣本;步驟S13:指定小圖像塊第二尺度,分別在目標框和背景框的環(huán)形區(qū)域中隨機采樣,得到表示圖像中被跟蹤目標及被跟蹤目標局部背景的一對第二尺度小圖像塊集合;表示圖像中被跟蹤目標的第二尺度小圖像塊是正樣本,表示圖像中被跟蹤目標局部背景的第二尺度小圖像塊是負樣本;步驟S14:對一對第一尺度小圖像塊集合中的各小圖像塊,指定一種特征的直方圖作為各小圖像塊的特征,對各小圖像塊進行計算并得到第一尺度小圖像塊特征;步驟S15 :對一對第二尺度小圖像塊集合中的各小圖像塊,指定一種特征的直方圖作為各小圖像塊的特征,對各小小圖像塊的特征進行計算并得到第二尺度小圖像塊特征;步驟S16:利用一對第一尺度小圖像塊集合訓練二類支持向量機,獲得第一尺度下目標和背景的判別分類面,亦稱第一尺度二類支持向量機2-SVC(1, si);利用一對第一尺度小圖像塊集合中表示被跟蹤目標的小圖像塊集合訓練一類支持向量機獲得第一尺度下目標的描述性特征分布,亦稱第一尺度一類支持向量機l-SVC(l, Sl);這一對第一尺度二類支持向量機2-SVC(l,sl)和第一尺度一類支持向量機l-SVC(l,sl)構成第一幀圖像中第一尺度下的被跟蹤目標模型;步驟S17 :利用一對第二尺度小圖像塊集合訓練二類支持向量機,獲得第二尺度下目標和背景的判別分類面,亦稱第二尺度二類支持向量機2-SVC(1, s2);利用一對第二尺度小圖像塊集合中表示被跟蹤目標的小圖像塊集合訓練一類支持向量機獲得第二尺度下目標的描述性特征分布,亦稱第二尺度一類支持向量機l-SVC(l, s2);這一對第二尺度二類支持向量機2-SVC(l,s2)和第二尺度一類支持向量機l-SVC(l,s2)構成第一幀圖像中第二尺度下的被跟蹤目標模型。
3.如權利要求1所述的目標跟蹤方法,其特征在于,確定被跟蹤目標在第t+l幀圖像中的位置的具體步驟如下步驟S21 :讀取被跟蹤目標位置未知的第t+l幀圖像;步驟S22 :對第t+l幀圖像隨機抽取第一尺度的圖像塊,得到第t+l幀圖像中第一尺度小圖像塊集合;步驟S23 :計算第t+l幀圖像中第一尺度小圖像塊集合中所有小圖像塊的特征;步驟S24 :利用在第t幀圖像中在第一尺度小圖像塊集合上訓練得到的二類支持向量機2-SVC(t,sl)和一類支持向量機l-SVC(t,sl)對第t+l幀圖像的第一尺度小圖像塊集合分類;步驟S25 :取二類支持向量機2-SVC(t, sl)和一類支持向量機l-SVC(t, sl)對第t+l幀圖像的第一尺度小圖像塊集合分類的輸出值之和作為第t+l幀圖像中每個第一尺度小圖像塊屬于目標的置信度;所有第一尺度小圖像塊的置信度和第一尺度小圖像塊在第t+l幀圖像中的中心像素坐標構成第一尺度圖像塊集合的置信圖;步驟S26:利用第一尺度小圖像塊集合的置信圖,在第t+l幀圖像中排除非目標區(qū)域,得到可能目標區(qū)域,在這個可能目標區(qū)域中隨機抽取第二尺度的小圖像塊,得到第t+l幀圖像的第二尺度小圖像塊集合;步驟S27 :計算第t+l幀圖像中第二尺度小圖像塊集合中所有小圖像塊的特征;步驟S28 :利用在第t幀圖像中第二尺度小圖像塊集合上訓練得到的二類支持向量機2-SVC(t,s2)和一類支持向量機l-SVC(t,s2)對第t+l幀圖像的第二尺度小圖像塊集合分類;步驟S29 :取二類支持向量機2-SVC(t, s2)和一類支持向量機l-SVC(t, s2)對第t+l幀圖像的第二尺度小圖像塊集合分類的輸出值之和作為第t+l幀圖像中每個第二尺度小圖像塊屬于目標的置信度;所有第二尺度小圖像塊的置信度和第二尺度小圖像塊在第t+l幀圖像中的中心像素坐標構成第二尺度圖像塊集合的置信圖;步驟S210 :利用第t+l幀圖像中的第二尺度小圖像塊集合的置信圖,修正第t+l幀圖像中的第一尺度小圖像塊集合的置信圖;步驟S211 :在修正后的第t+l幀圖像中第一尺度小圖像塊集合的置信圖上,利用均值移動算法確定被跟蹤目標在第t+l幀圖像中的位置,將目標框移至該新位置并輸出顯示;步驟S212 :根據(jù)第t+l幀圖像中被跟蹤目標的位置重新隨機采樣以獲得一對新的第一 尺度小圖像塊集合和一對新的第二尺度小圖像塊集合,利用被跟蹤目標模型2-SVC(t,sl)、 l-SVC(t, sl)和2-SVC(t, s2)、l-SVC(t, s2)計算新的小圖像塊集合中各小圖像塊屬于被 跟蹤目標的置信度,從而確定每個小圖像塊的分類結果,再利用每個圖像塊的分類結果更 新得到第t+l幀中被跟蹤目標的模型2-SVC(t+l, sl) 、l-SVC(t+l, sl)和2-SVC(t+l, s2)、 l-SVC(t+l, s2)。
4. 如權利要求3所述的目標跟蹤方法,其特征在于,所述非目標區(qū)域是置信度為非正 的第一尺度小圖像塊所覆蓋的區(qū)域。
5. 如權利要求3所述的目標跟蹤方法,其特征在于,所述利用第二尺度小圖像塊集合 的置信圖,修正第一尺度小圖像塊的置信圖是對所有覆蓋第一尺度小圖像塊中心點的第二 尺度小圖像塊的置信度求最大值,如果所有覆蓋第一尺度小圖像塊中心點的第二尺度小圖 像塊的置信度的最大值為非正數(shù),則第一尺度小圖像塊的置信度為所有覆蓋第一尺度小圖 像塊中心點的第二尺度小圖像塊的置信度的最大值,如果所有覆蓋第一尺度小圖像塊中心 點的第二尺度小圖像塊的置信度的最大值為正數(shù),則第一尺度小圖像塊的置信度與所有覆 蓋第一尺度小圖像塊中心點的第二尺度小圖像塊的置信度的最大值之和為第一尺度小圖 像塊的新的置信度。
6. 如權利要求1所述的目標跟蹤方法,其特征在于,所述被跟蹤目標的小圖像塊集合 由多個具有相同尺度的在目標框中采樣得到的小圖像塊構成。
7. 如權利要求1所述的目標跟蹤方法,其特征在于,所述局部背景的小圖像塊集合由 多個具有相同尺度的在背景框以內(nèi)目標框以外即環(huán)矩形區(qū)域中采樣得到的小圖像塊組成。
8. 如權利要求1所述的目標跟蹤方法,其特征在于,所述兩個尺度小圖像塊包括第一 尺度小圖像塊和第二尺度小圖像塊,其中第一尺度小圖像塊的尺度為固定值,第二尺度小 圖像塊的尺度與目標框大小成正比。
9. 如權利要求1所述的目標跟蹤方法,其特征在于所述更新兩個尺度下的二類支持 向量機2-SVC(t, sl)、2-SVC(t, s2)和一類支持向量機l-SVC(t, sl)、l-SVC(t, s2)是對在 第t幀圖像中學習得到的兩個尺度下的二類支持向量機2-SVC(t,s 1)、2-SVC(t,s2)和一 類支持向量機l-SVC(t, sl)、l-SVC(t, s2)保留其前k幀圖像中的樣本,去掉前第k+l幀圖 像中的樣本,并加入第t+l幀圖像中的新樣本重新訓練二類支持向量機和一類支持向量機 得到第t+l幀圖像中的兩個尺度下的二類支持向量機2-SVC(t+l,sl)、2-SVC(t+l,s2)和一 類支持向量機l-SVC(t+l, sl) 、l-SVC(t+l, s2)。
全文摘要
本發(fā)明公開一種融合描述式和判別式建模的目標跟蹤方法,包括以下步驟1.t=1,在第1幀圖像中的被跟蹤目標及其鄰近背景上隨機抽取多尺度小圖像塊集合并訓練兩對二類支持向量機和一類支持向量機作為被跟蹤目標的模型;2.在第t+1幀圖像中隨機抽取多尺度小圖像塊集合并通過被跟蹤目標的模型確定第t+1幀圖像中小圖像塊屬于被跟蹤目標的置信度,用新一幀圖像中小圖像塊的置信度及其中心坐標構造置信圖;在置信圖上用均值移動算法獲得被跟蹤目標在新一幀圖像中的新位置;根據(jù)圖像塊置信度和被跟蹤目標的新位置,對當前幀中的小圖像塊分類,并根據(jù)分類結果更新被跟蹤目標的模型;3.若未到視頻文件的結尾,遞增t,返回步驟2;4.終止。
文檔編號G06K9/62GK101777185SQ200910242339
公開日2010年7月14日 申請日期2009年12月9日 優(yōu)先權日2009年12月9日
發(fā)明者唐明, 張靜 申請人:中國科學院自動化研究所