一種在線視頻目標跟蹤方法和裝置制造方法
【專利摘要】本發(fā)明涉及一種在線視頻目標跟蹤方法及裝置,包括以下步驟:獲取在線視頻中的起始幀圖像的圖像特征,建立初始背景模型;獲取下一幀圖像;將初始背景模型與下一幀圖像進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型;獲取前景圖像,并提取前景目標;利用在線學習方法獲得目標特征,對前景目標進行定位,得到前景目標的位置信息;對前景目標的位置進行標記,將標記后的下一幀圖像輸出;組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。本發(fā)明針對實時監(jiān)控視頻進行處理,在第一時間對目標進行跟蹤,無需在獲得全部原始視頻圖像后再進行目標跟蹤,保證了數(shù)據(jù)的實時有效性,也避免了現(xiàn)有跟蹤方式對多目標交叉遮擋之后對準確率的影響。
【專利說明】一種在線視頻目標跟蹤方法和裝置
【技術領域】
[0001]本發(fā)明涉及視頻流的分析與處理領域,特別涉及一種在線視頻目標跟蹤方法和裝置。
【背景技術】
[0002]近年來,隨著數(shù)字媒體技術和智能視頻監(jiān)控技術的高速發(fā)展,公共安全形勢受到社會和公眾的廣泛關注,多媒體和安防視頻數(shù)據(jù)呈爆炸式增長。傳統(tǒng)耗時的簡單原始的靠人工瀏覽方式已遠遠不能滿足人們對視頻信息分析和處理的需求。因此,迫切需要一種處理速度快、目標跟蹤準,且具有良好健壯性的在線視頻目標跟蹤方法和系統(tǒng)。
[0003]目標跟蹤就是在一段圖像序列中的實時找到所感興趣的運動目標,包括其位置、速度及加速度等運動參數(shù)。目標跟蹤是計算機視覺領域研究的熱點問題,隨著計算機技術的發(fā)展而得到迅猛的發(fā)展,目標跟蹤技術也由此得到了長足的進步。上世紀對圖像的處理主要是集中于單幅圖像的處理,即便在動態(tài)圖像序列中跟蹤運動目標,也帶有濃厚的靜態(tài)圖像處理的特點。直到上世紀八十年代BKP Horn等人提出了光流法(Optical Flow,參見 Determining Optical Flow, BKP Horn, BG Schunck, Artificialintelligence, 1981, Elsevier),目標跟蹤研究才真正意義上步入了動態(tài)圖像序列的研究領域。但是由于光流法對計算機處理速度要求極高,在實際應用領域很難滿足實時性的需求。另外,視頻序列存在的噪聲會對光流法跟蹤產(chǎn)生極大的干擾,因此光流法現(xiàn)階段很難應用到實際場合。
[0004]目標跟蹤領域的跟蹤算法層出不窮,在跟蹤效果上能滿足某些應用背景的要求,但缺乏通用性。1975年Fukunaga等人在一篇關于概率密度梯度函數(shù)的估計中首次提出均值偏移(Mean Shift,參見 The Estimation of the Gradient of a DensityFunction, with Applications in Pattern Recognition)概念,Yizong Zheng 于 1995 年在“Mean Shift Mode Seeking and Clustering”一文中拓展了 Mean Shift 的適用范圍。雖然用Mean Shift算法對目標跟蹤有著速度快,并且具有較強的抗干擾能力,但是該算法對不同環(huán)境、不同運動特性的目標進行跟蹤,也會產(chǎn)生一些影響跟蹤穩(wěn)定性的因素。比如對復雜背景下的目標跟蹤,對運動中發(fā)生了形變、縮放、遮擋等情況的目標進行長時間跟蹤時,其跟蹤穩(wěn)定性受到較大的影響。針對這些問題,雖然可以通過合理的目標特征選取、有效地核函數(shù)(Kernel Function具體參見黃繼斌,核函數(shù)的概念、性質(zhì)及其應用,湖北師范學院學報,2007)、帶寬自適應更新、模板更新和遮擋檢測機制進行解決,然而在很多不同的應用環(huán)境下,要做到以上四點并不是件容易的事情。雖然有很多學者針對這些做了很多研究,并在不同程度上解決了上述問題,但要么是算法復雜度難以滿足實時性,要么就是有許多前提條件,從而使實際的跟蹤效果并不理想。在目標跟蹤過程中,直接對場景中的所有目標進行匹配運算,尋找最佳匹配位置,需要處理大量的冗余信息,這樣運算量比較大,而且沒有必要。一類常見的方法是預測運動物體下一幀可能出現(xiàn)的位置,在其相關區(qū)域內(nèi)尋找最優(yōu)點° Kalman 濾波器(Kalman Filter,參見 A New Approach to Linear Filtering andPrediction Problems, RE Kalman, Journal of basic Engineering, 1960)是一個對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小方差估計的算法,它通過狀態(tài)方程和觀測方程來描述一個動態(tài)系統(tǒng),基于系統(tǒng)以前的狀態(tài)序列對下一個狀態(tài)作最優(yōu)估計,預測時具有無偏、穩(wěn)定和最優(yōu)的特點,且具有計算量小、可實時計算的特點,可以準確的預測目標的位置和速度,但其只適合于線性且呈高斯分布的系統(tǒng)。
【發(fā)明內(nèi)容】
[0005]本發(fā)明所要解決的技術問題是提供一種實時獲取在線視頻并對在線視頻中的目標進行在線跟蹤的在線視頻目標跟蹤方法及裝置。
[0006]本發(fā)明解決上述技術問題的技術方案如下:一種在線視頻目標跟蹤方法,包括以下步驟:
[0007]步驟1:獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型;
[0008]步驟2:獲取下一幀圖像,同時轉入步驟3和步驟4 ;
[0009]步驟3:將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型;
[0010]步驟4:獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標;
[0011]步驟5:利用在線學習方法獲得前景目標的目標特征,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息;
[0012]步驟6:根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一巾貞圖像輸出;
[0013]步驟7:重復執(zhí)行步驟2至步驟6,直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
[0014]本發(fā)明的有益效果是:本發(fā)明針對實時監(jiān)控視頻進行處理,在第一時間對目標進行跟蹤,無需在獲得全部原始視頻圖像后再進行目標跟蹤,保證了數(shù)據(jù)的實時有效性,也避免了現(xiàn)有跟蹤方式對多目標交叉遮擋之后對準確率的影響,本發(fā)明采用的算法具有較高的合理性以及運行效率,降低了復雜度,提高了準確率。
[0015]在上述技術方案的基礎上,本發(fā)明還可以做如下改進。
[0016]進一步,所述在線學習方法具體為采用Boosting學習算法和流形學習方法分別獲取前景目標的目標特征,分別得到第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
[0017]進一步,所述圖像特征包括紋理特征。
[0018]進一步,所述步驟3進一步包括:
[0019]步驟3.1:將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算;
[0020]步驟3.2:如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,轉入步驟3.3,否則,將不匹配部分的像素點標記為前景,轉入步驟 3.3 ;
[0021]步驟3.3:根據(jù)標記的前景和背景更新初始背景模型,轉入步驟3.1。
[0022]進一步,一種在線視頻目標跟蹤裝置,包括背景建模單元,目標提取單元,目標特征在線學習單元,目標定位單元和序列標記單元;
[0023]所述背景建模單元,用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型,將下一幀圖像的信息發(fā)送給目標提取單元;
[0024]所述目標提取單元,用于獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標,將前景目標的信息發(fā)送給目標特征在線學習單元;
[0025]所述目標特征在線學習單元,用于接收前景目標的信息,利用在線學習方法獲得前景目標的目標特征,將目標特征的信息發(fā)送給目標定位單元;
[0026]所述目標定位單元,用于接收目標特征的信息,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息,將前景目標的位置信息發(fā)送給序列標記單元;
[0027]所述序列標記單元,用于根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一幀圖像輸出,重復執(zhí)行目標提取單元、目標特征在線學習單元和目標定位單元,直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
[0028]進一步,所述目標特征在線學習單元包括Boosting特征學習單元,流形特征學習單元和加權綜合單元;
[0029]所述Boosting特征學習單元,用于采用Boosting學習算法獲取前景目標的目標特征,得到第一特征,將第一特征發(fā)送給加權綜合單元;
[0030]所述流形特征學習單元,用于采用流形學習方法獲取前景目標的目標特征,得到第二特征,將第二特征發(fā)送給加權綜合單元;
[0031]所述加權綜合單元,用于接收第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
[0032]進一步,所述圖像特征包括紋理特征。
[0033]進一步,所述背景建模單元進一步包括獲取單元,匹配單元,標記單元和更新單元;
[0034]獲取單元,用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的信息和下一幀圖像的信息發(fā)送給匹配單元;
[0035]所述匹配單元,用于接收初始背景模型的信息和下一幀圖像的信息,將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算,所述匹配計算的結果發(fā)送給標記單元;
[0036]所述標記單元,用于接收匹配計算的結果,如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,執(zhí)行更新單元,否則,將不匹配部分的像素點標記為前景,執(zhí)行更新單元;
[0037]所述更新單元,用于根據(jù)標記的前景和背景更新初始背景模型,執(zhí)行匹配單元。
[0038]進一步,所述在線視頻目標跟蹤裝置還包括存儲裝置,顯示裝置和圖像獲取裝置;[0039]所述存儲裝置,用于存儲序列標記單元生成的前景目標的運行軌跡;
[0040]所述顯示裝置,用于顯示序列標記單元生成的前景目標的運行軌跡;
[0041]所述圖像獲取裝置,用于實時的獲取在線視頻,并將在線視頻發(fā)送給背景建模單
J Li ο
【專利附圖】
【附圖說明】
[0042]圖1為本發(fā)明方法步驟流程圖;
[0043]圖2為本發(fā)明裝置結構圖;
[0044]圖3為本發(fā)明輸入輸出效果示意圖。
[0045]附圖中,各標號所代表的部件列表如下:
[0046]1、背景建模單元,1-1、獲取單元,1-2、匹配單元,1-3、標記單元,1_4、更新單元,2、目標提取單元,3、目標特征在線學習單元,3-l、B00Sting特征學習單元,3-2、流形特征學習單元,3-3、加權綜合單元,4、目標定位單元,5、序列標記單元6、存儲裝置,7、顯示裝置,8、圖像獲取裝置。
【具體實施方式】
[0047]以下結合附圖對本發(fā)明的原理和特征進行描述,所舉實例只用于解釋本發(fā)明,并非用于限定本發(fā)明的范圍。
[0048]如圖1所示,為本發(fā)明方法步驟流程圖;圖2為本發(fā)明裝置結構圖;圖3為本發(fā)明輸入輸出效果示意圖。
[0049]實施例1
[0050]一種在線視頻目標跟蹤方法,包括以下步驟:
[0051]步驟1:獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型;
[0052]步驟2:獲取下一幀圖像,同時轉入步驟3和步驟4 ;
[0053]步驟3:將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型;
[0054]步驟4:獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標;
[0055]步驟5:利用在線學習方法獲得前景目標的目標特征,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息;
[0056]步驟6:根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一巾貞圖像輸出;
[0057]步驟7:重復執(zhí)行步驟2至步驟6,直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
[0058]所述在線學習方法具體為采用Boosting學習算法和流形學習方法分別獲取前景目標的目標特征,分別得到第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
[0059]所述圖像特征包括紋理特征。
[0060]所述步驟3進一步包括:[0061]步驟3.1:將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算;
[0062]步驟3.2:如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,轉入步驟3.3,否則,將不匹配部分的像素點標記為前景,轉入步驟 3.3 ;
[0063]步驟3.3:根據(jù)標記的前景和背景更新初始背景模型,轉入步驟3.1。
[0064]一種在線視頻目標跟蹤裝置,包括背景建模單元1,目標提取單元2,目標特征在線學習單元3,目標定位單元4和序列標記單元5 ;
[0065]所述背景建模單元1,用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型,將下一幀圖像的信息發(fā)送給目標提取單元2 ;
[0066]所述目標提取單元2,用于獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標,將前景目標的信息發(fā)送給目標特征在線學習單元3 ;
[0067]所述目標特征在線學習單元3,用于接收前景目標的信息,利用在線學習方法獲得前景目標的目標特征,將目標特征的信息發(fā)送給目標定位單元4 ;
[0068]所述目標定位單元4,用于接收目標特征的信息,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息,將前景目標的位置信息發(fā)送給序列標記單元5 ;
[0069]所述序列標記單元5,用于根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一幀圖像輸出,重復執(zhí)行目標提取單元2、目標特征在線學習單元3和目標定位單元4,直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
[0070]所述目標特征在線學習單元3包括Boosting特征學習單元3-1,流形特征學習單元3-2和加權綜合單元3-3 ;
[0071]所述Boosting特征學習單元3-1,用于采用Boosting學習算法獲取前景目標的目標特征,得到第一特征,將第一特征發(fā)送給加權綜合單元3-3 ;
[0072]所述流形特征學習單元3-2,用于采用流形學習方法獲取前景目標的目標特征,得到第二特征,將第二特征發(fā)送給加權綜合單元3-3 ;
[0073]所述加權綜合單元3-3,用于接收第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
[0074]所述圖像特征包括紋理特征。
[0075]所述背景建模單元I進一步包括獲取單元1-1,匹配單元1-2,標記單元1-3和更新單元1-4 ;
[0076]獲取單元1-1,用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的信息和下一幀圖像的信息發(fā)送給匹配單元1-2 ;
[0077]所述匹配單元1-2,用于接收初始背景模型的信息和下一幀圖像的信息,將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算,所述匹配計算的結果發(fā)送給標記單元1-3 ;[0078]所述標記單元1-3,用于接收匹配計算的結果,如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,執(zhí)行更新單元1-4,否則,將不匹配部分的像素點標記為前景,執(zhí)行更新單元1-4 ;
[0079]所述更新單元1-4,用于根據(jù)標記的前景和背景更新初始背景模型,執(zhí)行匹配單元1-2。
[0080]所述在線視頻目標跟蹤裝置還包括存儲裝置6,顯示裝置7和圖像獲取裝置8 ;
[0081]所述存儲裝置6,用于存儲序列標記單元5生成的前景目標的運行軌跡;
[0082]所述顯示裝置7,用于顯示序列標記單元5生成的前景目標的運行軌跡;
[0083]所述圖像獲取裝置8,用于實時的獲取在線視頻,并將在線視頻發(fā)送給背景建模單元1,圖像獲取裝置8用于實時的獲取視頻圖像,其可例如為一監(jiān)控攝像頭。
[0084]本發(fā)明將視頻圖像中的運動目標進行標注、跟蹤,對運動中發(fā)生了形變、縮放、遮擋等情況的目標能夠進行穩(wěn)定的長時間跟蹤,而且,本發(fā)明對硬件的要求低,算法復雜度低。
[0085]本發(fā)明的在線視頻目標跟蹤裝置用于實時針對當前獲取的每一幀圖像進行在線處理。即,獲取圖像與視頻目標跟蹤同步進行,并非保留全部視頻后在啟動目標跟蹤處理。在線視頻目標跟蹤裝置可設置在一板卡、圖形處理器(Graphics processing unit, GPU)或嵌入式處理盒上。
[0086]本發(fā)明的視頻目標跟蹤包括對單目標和多目標的跟蹤,背景建模單元I接受來自圖像獲取裝置8的圖像,并對收到的每一幀圖像進行前景圖像和背景圖像的分割。
[0087]背景建模單元I可以采用基于紋理的背景建模(具體參見Marko Heikkil, MattiPietikinen, “A Texture-Based Method for Modeling the Background and DetectingMoving 0b jects”,IEEE Trans.Pattern Anal.Machine Intell, 2006)對輸入視頻圖像進行背景建模,得到每一幀圖像的背景圖像,并傳送給目標提取單元2。
[0088]目標提取單元2將每一幀圖像與相應的背景圖像相減,再利用現(xiàn)有技術的圖割算法(具體參見 J.Sun, ff.Zhang, X.Tang, H, Shum, “Background Cut”, ECCV, 2006)得到精確地前景圖像。然后用得到的前景圖像標注目標的可能位置。
[0089]目標特征在線學習單元3用于對目標的特征進行學習,以便對目標進行精確定位。在線 boosting (boosting 算法,具體參見 Y Freund, A Short Introduction toBoosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780,September, 1999.)的特征學習算法在特征學習問題上具有較好的性能,而且boosting算法不僅僅能夠做回歸、分類,而且具有特征選擇的作用。在線boosting特征學習方法主要關注目標與背景以及其他前景之間的差別因素,而沒有關注目標本身的一些特點。由于僅從一個方面考慮目標特點,則很容易受噪聲的影響而導致跟蹤失敗,因此可以考慮從兩個角度協(xié)同學習的方式來達到對目標特征的正確學習。我們采用目標在線流形(Manifoldlearning,具體參見Zhenyue Zhang, Adaptive Manifold Learning, Pattern Analysis andMachine Intelligence, 2012)與boosting特征協(xié)同學習的方法來對目標特征進行學習表述。目標流形由其局部子空間的線性組合來近似,此學習方法更加關注目標本身的特點,對目標特征流形在線的更新學習,具有很好的特性學習性能。
[0090]目標定位單元4,在目標特征在線學習單元3對目標特征進行學習之后,由目標定位單元4利用目標特征對目標進行精確定位。
[0091]序列標記單元5將定位后的目標進行標記,同時對其運動軌跡進行標注。
[0092]存儲裝置6,用于存儲序列標記單元5生成的視頻。
[0093]顯示裝置7,可為一顯示屏,用于播放處理后的視頻供用戶觀看。
[0094]該在線視頻目標跟蹤裝置還可包括一用戶接口,供導出視頻。本發(fā)明所謂運動物體,是指記錄了某個真實的運動目標在連續(xù)幀里出現(xiàn)的顏色信息的圖像。該運動目標例如為人、寵物、能移動的車體等可移動物。運動目標在圖像獲取裝置8拍攝的區(qū)域里走過,通常被圖像獲取裝置8拍攝在連續(xù)的多幀圖像中。
[0095]S卩,針對一幀圖像,同時對其前景圖像和當前背景模型進行處理。
[0096]目標特征在線學習是另一個重要步驟,通過在線學習得到目標的特征,從而可以精確定位目標。在本實施方案中我們采用了目標在線流形與boosting特征協(xié)同學習的方法來對目標特征進行學習表述。
[0097]流形是一個在數(shù)學上有嚴格定義的概念,簡而言之,就是非線性的空間。最簡單的流形就是球面。流形學習算法的就是我們認為數(shù)據(jù)之間的關系是非線性的,就像這些數(shù)據(jù)分布在一個流形上一樣。我們試圖用某些方法把數(shù)據(jù)的維數(shù)降下來。在降維的過程中我們保持數(shù)據(jù)之間的非線性關系。
[0098]Boosting方法是一種用來提高弱分類算法準確度的方法,這種方法通過構造一個預測函數(shù)系列,然后以一定的方式將他們組合成一個預測函數(shù)。它是一種框架算法,主要是通過對樣本集的操作獲得樣本子集,然后用弱分類算法在樣本子集上訓練生成一系列的基分類器。它可以用來提高其他弱分類算法的識別率,也就是將其他的弱分類算法作為基分類算法放于Boosting框架中,通過Boosting框架對訓練樣本集的操作,得到不同的訓練樣本子集,用該樣本子集去訓練生成基分類器;每得到一個樣本集就用該基分類算法在該樣本集上產(chǎn)生一個基分類器,這樣在給定訓練循環(huán)次數(shù)η后,就可產(chǎn)生η個基分類器,然后Boosting框架算法將這η個基分類器進行加權融合,產(chǎn)生一個最后的結果分類器,在這η個基分類器中,每個單個的分類器的識別率不一定很高,但將它們聯(lián)合后的結果有很高的識別率,這樣便提高了該弱分類算法的識別率??偟恼f來Boosting算法的核心思想就是通過對一系列弱學習機的聯(lián)合以便產(chǎn)生出我們所期望的強學習機。
[0099]圖3示出了本發(fā)明的輸入和輸出的效果圖像。如圖所示,當目標(行人)從t_ At時刻進入監(jiān)視范圍開始,系統(tǒng)對其進行跟蹤,直到當前時刻t,并顯示出其當前位置和運動軌跡。
[0100]本發(fā)明的在線視頻目標跟蹤方式針對實時提取的運動物體序列進行處理,保證在第一時間即可對原始視頻圖像進行目標跟蹤,使目標跟蹤達到實時性的需求。
[0101]本發(fā)明對運動中發(fā)生了形變、縮放、遮擋等情況的目標能夠進行穩(wěn)定的長時間跟蹤,使目標跟蹤達到聞準確率的需求。
[0102]本發(fā)明的算法具有較高的合理性以及運行效率,降低了復雜度。
[0103]以上所述僅為本發(fā)明的較佳實施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進等,均應包含在本發(fā)明的保護范圍之內(nèi)。
【權利要求】
1.一種在線視頻目標跟蹤方法,其特征在于,包括以下步驟: 步驟1:獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型; 步驟2:獲取下一幀圖像,同時轉入步驟3和步驟4 ; 步驟3:將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型; 步驟4:獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標; 步驟5:利用在線學習方法獲得前景目標的目標特征,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息; 步驟6:根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一幀圖像輸出; 步驟7:重復執(zhí)行步驟2至步驟6,直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
2.根據(jù)權利要求1所述的在線視頻目標跟蹤方法,其特征在于:所述在線學習方法具體為采用Boosting學習算法和流形學習方法分別獲取前景目標的目標特征,分別得到第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
3.根據(jù)權利要求1所述 的在線視頻目標跟蹤方法,其特征在于:所述圖像特征包括紋理特征。
4.根據(jù)權利要求3所述的在線視頻目標跟蹤方法,其特征在于:所述步驟3進一步包括: 步驟3.1:將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算; 步驟3.2:如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,轉入步驟3.3,否則,將不匹配部分的像素點標記為前景,轉入步驟3.3 ; 步驟3.3:根據(jù)標記的前景和背景更新初始背景模型,轉入步驟3.1。
5.一種在線視頻目標跟蹤裝置,其特征在于:包括背景建模單元(1),目標提取單元(2),目標特征在線學習單元(3),目標定位單元(4)和序列標記單元(5); 所述背景建模單元(1),用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的圖像特征與下一幀圖像的圖像特征進行對比,得到對比結果,根據(jù)對比結果更新初始背景模型,將下一幀圖像的信息發(fā)送給目標提取單元(2); 所述目標提取單元(2),用于獲取下一幀圖像中的前景圖像,在前景圖像中提取前景目標,將前景目標的信息發(fā)送給目標特征在線學習單元(3 ); 所述目標特征在線學習單元(3),用于接收前景目標的信息,利用在線學習方法獲得前景目標的目標特征,將目標特征的信息發(fā)送給目標定位單元(4); 所述目標定位單元(4),用于接收目標特征的信息,根據(jù)目標特征在下一幀圖像中對前景目標進行定位,得到前景目標的位置信息,將前景目標的位置信息發(fā)送給序列標記單元(5); 所述序列標記單元(5),用于根據(jù)前景目標的位置信息在下一幀圖像中對前景目標的位置進行標記,將標記后的下一幀圖像輸出,重復執(zhí)行目標提取單元(2)、目標特征在線學習單元(3)和目標定位單元(4),直至在線視頻輸入完畢,組合所有輸出的下一幀圖像,得到前景目標的運行軌跡。
6.根據(jù)權利要求5所述的在線視頻目標跟蹤裝置,其特征在于:所述目標特征在線學習單元(3)包括Boosting特征學習單元(3-1),流形特征學習單元(3-2)和加權綜合單元(3-3); 所述Boosting特征學習單元(3-1),用于采用Boosting學習算法獲取前景目標的目標特征,得到第一特征,將第一特征發(fā)送給加權綜合單元(3-3); 所述流形特征學習單元(3-2),用于采用流形學習方法獲取前景目標的目標特征,得到第二特征,將第二特征發(fā)送給加權綜合單元(3-3); 所述加權綜合單元(3-3),用于接收第一特征和第二特征,采用加權系數(shù)的方式整合第一特征和第二特征,得到最終的目標特征。
7.根據(jù)權利要求5所述的在線視頻目標跟蹤裝置,其特征在于:所述圖像特征包括紋理特征。
8.根據(jù)權利要求5所述的在線視頻目標跟蹤裝置,其特征在于:所述背景建模單元(I)進一步包括獲取單元(1-1),匹配單元(1-2),標記單元(1-3)和更新單元(1-4); 獲取單元(1-1),用于獲取在線視頻中的起始幀圖像,提取圖像特征,根據(jù)圖像特征建立初始背景模型,獲取下一幀圖像,將初始背景模型的信息和下一幀圖像的信息發(fā)送給匹配單元(1-2); 所述匹配單元(1-2),用于接收初始背景模型的信息和下一幀圖像的信息,將初始背景模型的紋理特征與下一幀圖像的紋理特征進行匹配計算,所述匹配計算的結果發(fā)送給標記單元(1-3); 所述標記單元(1-3),用于接收匹配計算的結果,如果初始背景模型的圖像特征與下一幀圖像的圖像特征匹配,將匹配部分的像素點標記為背景,執(zhí)行更新單元(1-4),否則,將不匹配部分的像素點標記為前景,執(zhí)行更新單元(1-4); 所述更新單元(1-4),用于根據(jù)標記的前景和背景更新初始背景模型,執(zhí)行匹配單元(1-2)。
9.根據(jù)權利要求5所述的在線視頻目標跟蹤裝置,其特征在于:所述在線視頻目標跟蹤裝置還包括存儲裝置(6 ),顯示裝置(7 )和圖像獲取裝置(8 ); 所述存儲裝置(6),用于存儲序列標記單元(5)生成的前景目標的運行軌跡; 所述顯示裝置(7),用于顯示序列標記單元(5)生成的前景目標的運行軌跡; 所述圖像獲取裝置(8),用于實時的獲取在線視頻,并將在線視頻發(fā)送給背景建模單元
(I)。
【文檔編號】G06T7/20GK103440668SQ201310390529
【公開日】2013年12月11日 申請日期:2013年8月30日 優(yōu)先權日:2013年8月30日
【發(fā)明者】葛仕明, 文輝, 陳水仙, 秦偉俊, 孫利民 申請人:中國科學院信息工程研究所