本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法。
背景技術(shù)：
：計(jì)算機(jī)視覺是指利用計(jì)算機(jī)及相關(guān)成像設(shè)備作為硬件基礎(chǔ)收集圖像信息，然后利用計(jì)算機(jī)方法等軟件對(duì)收集到的圖像信息進(jìn)行處理，獲取其中的目標(biāo)或者語(yǔ)義等內(nèi)容，以實(shí)現(xiàn)對(duì)生物視覺系統(tǒng)的仿真模擬。其中成像設(shè)備作為視覺器官的替代用于對(duì)周圍環(huán)境的圖像信息進(jìn)行采集，計(jì)算機(jī)方法則作為人腦的替代對(duì)收集到的信息進(jìn)行加工處理得到其中感興趣的場(chǎng)景信息和內(nèi)容。其中視頻內(nèi)目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域中重要的問題之一，不僅需要攻克的技術(shù)難點(diǎn)較多，而且它還是一系列后續(xù)工作任務(wù)的基礎(chǔ)，如車牌識(shí)別、目標(biāo)行為估計(jì)、運(yùn)動(dòng)估計(jì)、智能交通流量管理及限制等，所以視頻目標(biāo)跟蹤作為一項(xiàng)具有挑戰(zhàn)性的基礎(chǔ)性工作，受到了世界各地研究者的高度關(guān)注和研究。視頻目標(biāo)跟蹤是對(duì)輸入的視頻流的每一幀，通過前向幀積累的目標(biāo)特征信息(如顏色、紋理、形狀等)，再對(duì)新輸入的一幀進(jìn)行采樣分析找出和前向幀的目標(biāo)在當(dāng)前幀中的位置內(nèi)容信息(如坐標(biāo)位置、尺度大小等)，最后對(duì)連續(xù)幀分析到的結(jié)果相關(guān)聯(lián)，從而進(jìn)一步對(duì)目標(biāo)的相關(guān)信息進(jìn)行估計(jì)和獲取，如運(yùn)動(dòng)速度、方向等。截止目前為止，計(jì)算機(jī)視覺已經(jīng)經(jīng)過了半個(gè)世紀(jì)的研究和發(fā)展，已經(jīng)涌現(xiàn)了許許多多高效可靠的方法，并也已應(yīng)用在了人們生活的方方面面。①人機(jī)交互：20世紀(jì)計(jì)算機(jī)被發(fā)明，截止21世紀(jì)，計(jì)算機(jī)已經(jīng)發(fā)展了半個(gè)多世紀(jì)，極大了解放了人類的生物勞動(dòng)。但這之前人類主要用鼠標(biāo)、鍵盤及觸摸板等硬件設(shè)備與計(jì)算機(jī)進(jìn)行交互。隨著科技進(jìn)步，人類迫切希望在不需要直接物理硬件的條件下與計(jì)算機(jī)進(jìn)行交互，操作并控制計(jì)算機(jī)。其中利用成像設(shè)備捕捉人類的肢體語(yǔ)言信號(hào)并利用方法加以分析解讀，借此來(lái)實(shí)現(xiàn)與計(jì)算機(jī)交互。②智能交通監(jiān)控：隨著城市化的加劇和經(jīng)濟(jì)發(fā)展以及城市人口密度的增加，間接促進(jìn)汽車的普及，給城市公共交通帶來(lái)了巨大壓力，對(duì)人們的日常生活也產(chǎn)生了干擾。如何有效的利用道路視頻監(jiān)控分析道路交通壓力，并加以調(diào)節(jié)，合理的對(duì)交通進(jìn)行控制分流也已經(jīng)是一項(xiàng)迫切解決的問題。③視覺導(dǎo)航：近年來(lái)，無(wú)人控制設(shè)備行業(yè)呈現(xiàn)茁壯發(fā)展的局面，包括無(wú)人機(jī)，無(wú)人駕駛汽車等新技術(shù)，新產(chǎn)品的不斷問世。而這些產(chǎn)品需要解決的一個(gè)重要問題就是如何合理有效的解讀出無(wú)人設(shè)備捕獲的圖像信息中包含的各種信息，如此便可針對(duì)各種干擾因素作用下的環(huán)境做出最合理最正確的動(dòng)作反應(yīng)。④違章識(shí)別：在現(xiàn)實(shí)生活中，本已擁擠不堪的馬路不時(shí)有不遵守規(guī)章制度的車輛，如超速、違規(guī)停車等。如果利用道路監(jiān)控系統(tǒng)對(duì)這些違章行為有效的識(shí)別，一方面可以規(guī)范駕駛?cè)藛T，保障人們的生命財(cái)產(chǎn)安全，另一方面又可以有效減少車管所工作人員的工作負(fù)荷。而這需要一個(gè)強(qiáng)大、實(shí)時(shí)、可靠的視頻目標(biāo)跟蹤及運(yùn)動(dòng)估計(jì)方法。此外，精密定位系統(tǒng)、應(yīng)急人員疏散和管理等眾多方面也廣泛需要可靠的視頻目標(biāo)跟蹤技術(shù)，因而開發(fā)一款滿足高魯棒性、實(shí)時(shí)性好的優(yōu)秀方法具有巨大的現(xiàn)實(shí)和生活意義。但由于實(shí)際應(yīng)用中的目標(biāo)跟蹤往往會(huì)受到各種不同因素的干擾，給方法的開發(fā)帶來(lái)巨大的挑戰(zhàn)。STC方法的缺點(diǎn)STC方法框架中，STC方法是一個(gè)純粹的基于線性貝葉斯濾波框架的方法，雖然這個(gè)框架可以方便地通過先序Markov鏈傳播后驗(yàn)概率知識(shí)，同時(shí)不可避免的帶入了跟蹤漂移問題，即易發(fā)生模型漂移。盡管視頻目標(biāo)跟蹤方法已經(jīng)研究發(fā)展了數(shù)十年，并且已有各式各樣的方法被提出，但是目前常見的跟蹤方法依然是基于線性結(jié)構(gòu)模型，其中分為時(shí)間線性結(jié)構(gòu)模型和貝葉斯平均結(jié)構(gòu)模型。時(shí)間線性結(jié)構(gòu)模型是一種比較簡(jiǎn)單且可靠的選擇，因?yàn)樗芎芎玫倪m應(yīng)在線跟蹤類型的框架且后驗(yàn)概率密度傳播也非常簡(jiǎn)單，計(jì)算量小，但是模型過于簡(jiǎn)單，其僅使用了前一幀結(jié)果進(jìn)行概率密度傳播來(lái)估計(jì)新幀的結(jié)果，忽略了目標(biāo)在時(shí)間軸上變化的連貫性，在某些場(chǎng)景下其估計(jì)的結(jié)果會(huì)不可靠，如突然的外觀變化、快速運(yùn)動(dòng)以及遮擋等，因此不能處理復(fù)雜環(huán)境下的目標(biāo)跟蹤。貝葉斯平均結(jié)構(gòu)模型是對(duì)前一種線性結(jié)構(gòu)模型的優(yōu)化結(jié)構(gòu)，該模型同時(shí)使用所有前向幀的概率密度對(duì)新幀進(jìn)行估計(jì)并得到結(jié)果，但卻盲目的對(duì)所有前向幀的概率密度進(jìn)行平均處理，忽略了跟蹤過程中可能引入的誤差，造成誤差累積致使最終丟失目標(biāo)。以上兩種模型均是基于馬爾科夫時(shí)間平滑假設(shè)前提下的結(jié)構(gòu)模型。即認(rèn)為當(dāng)時(shí)間足夠短時(shí)，在時(shí)間上相鄰的兩幀中的目標(biāo)的變化比較微小，包括位置、外觀等，雖然基于這種假設(shè)可以有效的減少在新幀中估計(jì)目標(biāo)位置時(shí)的搜索空間，但是低估了復(fù)雜環(huán)境條件下的目標(biāo)跟蹤可能出現(xiàn)的漂移以及潛在的采樣誤差等。當(dāng)方法繼續(xù)學(xué)習(xí)這些帶有少量誤差的樣本時(shí)，隨著誤差積累，方法的跟蹤過程將不可避免的出現(xiàn)偏差和目標(biāo)漂移，而以上兩種框架均未此進(jìn)行處理，并全盤肯定了前向幀的估計(jì)結(jié)果并加以學(xué)習(xí)。隨著跟蹤過程的繼續(xù)處理，誤差將被逐漸積累直至模板徹底混淆了前景目標(biāo)與背景干擾，致使跟蹤的目標(biāo)出現(xiàn)漂移直至完全丟失。如圖1所示，STC方法屬于基于貝葉斯平均結(jié)構(gòu)模型，因此也存在先天抗漂移能力弱情況。FaceOcc1視頻在STC方法下的跟蹤結(jié)果中，目標(biāo)在受到遮擋時(shí)，STC方法的估計(jì)結(jié)果出現(xiàn)了漂移，而且STC方法不加選擇的全盤學(xué)習(xí)了被背景污染的結(jié)果，使得有部分背景信息被吸收到了目標(biāo)模板中。隨著時(shí)間的推移，STC不斷的學(xué)習(xí)和積累背景信息，直至模板徹底混淆了前景目標(biāo)和背景干擾，最終將背景干擾判定為了前景。這樣出現(xiàn)的結(jié)果就是目標(biāo)在跟蹤過程中出現(xiàn)漂移，然后目標(biāo)一點(diǎn)一點(diǎn)的偏出方法估計(jì)的結(jié)果中心直至完全丟失。時(shí)間線性結(jié)構(gòu)模型和貝葉斯平均模型，這兩種模型存在著先天缺陷：1)首先基于時(shí)間線性結(jié)構(gòu)模型的方法過于簡(jiǎn)單，忽略了待跟蹤目標(biāo)在時(shí)間軸上變化的連貫性，而基于貝葉斯平均模型的方法則盲目的對(duì)所有前向幀的概率密度函數(shù)進(jìn)行了平均；2)其次截止目前為止，還未有完美的方法能夠在每一幀的預(yù)測(cè)估計(jì)都能得到最完美的結(jié)果，尤其在多種干擾并存的復(fù)雜場(chǎng)景下的跟蹤；3)此外還包括潛在的采樣誤差。因此有許多幀的目標(biāo)估計(jì)均會(huì)不可避免的包含背景信息在內(nèi)。而由于這兩種基于時(shí)間平滑假設(shè)的模型均忽視了方法估計(jì)引入的誤差，導(dǎo)致這些誤差信息均會(huì)被學(xué)習(xí)到方法模板中積累，最終引起目標(biāo)跟蹤發(fā)生漂移直至丟失。因STC方法屬于基于貝葉斯平均模型的方法，所以必然存在著同類型模型方法存在的易發(fā)生模型漂移的先天缺陷。技術(shù)實(shí)現(xiàn)要素：本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法。為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，包括如下步驟：S1，用戶指定并給出視頻第一幀初始矩形框的跟蹤目標(biāo)，并用于初始化得到STC常規(guī)模板，然后立即對(duì)該常規(guī)模板進(jìn)行一次快照保存得到第一個(gè)歷史快照模板并將其加入快照模板組中；S2，當(dāng)t幀到來(lái)時(shí)，同時(shí)使用歷史快照模板組和STC常規(guī)模板對(duì)t幀進(jìn)行跟蹤估計(jì)；S3，然后取出快照模板組中估計(jì)得到的最高置信度代入公式中判斷，若歷史快照模板的適應(yīng)性強(qiáng)于常規(guī)模板時(shí)，則將歷史快照模板對(duì)常規(guī)進(jìn)行快照回滾，最后將幀索引值代入公式Indexframe％φ＝＝0中判斷是否達(dá)到了快照采集的間隔閾值來(lái)采集新的快照，從而始終保持準(zhǔn)確跟蹤目標(biāo)。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S1包括：S1-1，打開視頻文件的輸入流in并初始化圖形窗口Window；S1-2，從輸入流in中讀取第一幀F(xiàn)1，并由用戶手工輸入第一幀初始矩形框Rect1＝(x1,y1,width1,height1)，初始化尺度變量更新間隔閾值常量n、快照模板抓取間隔常量φ以及快照模板組容量其中x為目標(biāo)中心橫坐標(biāo)、y為目標(biāo)中心縱坐標(biāo)，width為目標(biāo)寬度、height為目標(biāo)高度；S1-3，使用F1和Rect1初始化STC模型并得到STC常規(guī)模板T1nor；S1-4，對(duì)當(dāng)前STC常規(guī)模板進(jìn)行一次快照保存并加入快照模板組中得到其中，上標(biāo)S1為快照模板組中的第一個(gè)快照，下標(biāo)F1表示該歷史快照模板保存的是第一幀時(shí)刻的快照。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S1-3包括：S1-3-1，初始化尺度參數(shù)σ1＝0.5*(width1+height1)，尺度變量Scale1＝1，局部上下文區(qū)域大小S1-3-2，根據(jù)公式b是一個(gè)規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)，初始化標(biāo)準(zhǔn)置信圖矩陣m(x)，S1-3-3，根據(jù)公式其中F-1代表反FFT變換，得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對(duì)空間關(guān)系，計(jì)算第一幀F(xiàn)1的空間上下文模型并用之初始化第二幀的時(shí)空上下文模型I(x)為像素強(qiáng)度，ω(x-x*)是高斯權(quán)重函數(shù)，x*為目標(biāo)中心坐標(biāo)，β是形狀參數(shù)。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2中歷史快照模板組包括：假設(shè)Ft-1幀已經(jīng)跟蹤完成，當(dāng)前待跟蹤的視頻幀為Ft，t＝2，3，….，n，其中n為待跟蹤視頻最后一幀的序號(hào)，此時(shí)已知t-1幀的目標(biāo)框Rectt-1＝(xt-1,yt-1,widtht-1,heightt-1)，尺度參數(shù)σt-1，尺度變量Scalet-1，其中，STC常規(guī)模板歷史快照模板組所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2還包括：輸入，待跟蹤的第t幀圖像的矩陣數(shù)據(jù)Ft；S2-1，更新尺度參數(shù)σt＝σt-1*Scalet-1；S2-2，使用STC常規(guī)模板組對(duì)t幀進(jìn)行估計(jì)；S2-3，使用歷史快照模板組對(duì)t幀進(jìn)行估計(jì)；S2-4，將常規(guī)置信度和快照模板組最高置信度代入公式中進(jìn)行適應(yīng)性判斷，若STC常規(guī)模板的適應(yīng)性滿足則轉(zhuǎn)入S2-6，否則轉(zhuǎn)入S2-5；S2-5，此時(shí)STC常規(guī)模板的適應(yīng)性已弱于歷史快照模板組中最優(yōu)秀的模板，假設(shè)歷史快照模板組中最優(yōu)秀的是第j個(gè)模板，則使用第j個(gè)歷史快照模板對(duì)STC常規(guī)模板進(jìn)行快照回滾；S2-6，此時(shí)STC常規(guī)模板的適應(yīng)性仍然足夠，采納STC常規(guī)模板對(duì)t幀的估計(jì)結(jié)果作為最終的結(jié)果，分別為和S2-7，更新常規(guī)STC模板和必要的參數(shù)；S2-8、輸出Rectt到外部文件并將其繪制到t幀圖像矩陣Ft上，最后將圖像矩陣Ft繪制到圖形窗口window中，如果t＜n，則更新t＝t+1，并轉(zhuǎn)入S2-1，否則轉(zhuǎn)入S2-9；S2-9、跟蹤結(jié)束。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-2包括：S2-2-1，根據(jù)公式其中I(g)是像素強(qiáng)度，用于表示上下文外觀，以及矩形框Rectt-1計(jì)算上下文先驗(yàn)概率模型S2-2-2，將t幀時(shí)空上下文模型以及上下文先驗(yàn)概率模型代入公式計(jì)算得到置信圖矩陣S2-2-3，將置信度代入公式計(jì)算得到t幀對(duì)應(yīng)的矩形框S2-2-4，根據(jù)公式以及矩形框計(jì)算上下文先驗(yàn)概率模型S2-2-5，將t幀時(shí)空上下文模型以及上下文先驗(yàn)概率模型代入公中計(jì)算得到置信圖矩陣。S2-2-3，將置信度代入公式計(jì)算得到t幀對(duì)應(yīng)的置信度所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-3包括：S2-3-1，依次使用快照模板組中的快照模板對(duì)t幀進(jìn)行估計(jì)并得到對(duì)應(yīng)的置信度和目標(biāo)框S2-3-2，從中找出快照模板組所估計(jì)計(jì)算得到的最高置信度假設(shè)最高置信度模板對(duì)應(yīng)的索引計(jì)數(shù)為j，即Indexmax＝j(luò)，則其對(duì)應(yīng)的目標(biāo)框所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-5包括：S2-5-1，使用第j個(gè)歷史快照模板對(duì)STC常規(guī)模板進(jìn)行重置恢復(fù)，即STC常規(guī)模板S2-5-2，對(duì)第j個(gè)歷史快照模板使用數(shù)加一，并對(duì)快照模板組中快照按最近使用時(shí)間重排序，便于之后按照LRU原則剔除過時(shí)快照模板；S2-5-3，采納第j個(gè)歷史快照模板對(duì)t幀估計(jì)的結(jié)果作為最終的結(jié)果，包括置信度和跟蹤目標(biāo)框結(jié)果，分別為和轉(zhuǎn)入S2-7。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-7包括：S2-7-1，此時(shí)無(wú)論STC模板是否經(jīng)過回滾重置都已經(jīng)是適應(yīng)性最強(qiáng)的模板，只需將其簡(jiǎn)單的學(xué)習(xí)t幀的內(nèi)容特征后即可，其中ρ為學(xué)習(xí)參數(shù)，其值越大表示更新速度越快；S2-7-2，如果t％n＝＝0，使用公式計(jì)算并更新Scalet，否則Scalet＝Scalet-1，其中st′是連續(xù)兩個(gè)相鄰幀之間的估計(jì)尺度，為全部幀平均估計(jì)尺度，σ為尺度參數(shù)，λ為尺度學(xué)習(xí)參數(shù)；S2-7-3，如果t％φ＝＝0，對(duì)STC常規(guī)模板抓取一次快照并將其加入到快照模板組SnapSet中，之后檢查快照模板的數(shù)量是否超出了容量上限若超出限制則采用LRU最近最少使用原則進(jìn)行剔除。所述的基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2還包括：S2A，若S2‐4中公式成立說明STC常規(guī)模板的適應(yīng)性已不如快照模板，或由于STC常規(guī)模板積累了過多的背景信息特征，或目標(biāo)狀態(tài)發(fā)生變化回到一個(gè)歷史上相似的狀態(tài)使得歷史快照模板更加契合，此時(shí)使用快照模板對(duì)STC常規(guī)模板進(jìn)行覆蓋，并對(duì)該快照模板使用計(jì)數(shù)值+1；S2B，否則說明STC常規(guī)模板的適應(yīng)性仍然最好無(wú)需替換，繼續(xù)使用該常規(guī)模板完成t幀的跟蹤；S2C，最后STC常規(guī)模板無(wú)論是否發(fā)生回滾，都已經(jīng)是適應(yīng)性最強(qiáng)的模板，可以繼續(xù)學(xué)習(xí)t幀最新的內(nèi)容特征；所述S3還包括：S3A，若S2‐7‐3中t％φ＝＝0公式成立，則對(duì)STC常規(guī)模板抓取一次快照并加入歷史快照模板組中；S3B，若快照模板組中的數(shù)量超出容量上限則根據(jù)LRU原則進(jìn)行剔除，如此往復(fù)直至完成整個(gè)視頻序列的跟蹤。綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：在Boy視頻序列的實(shí)驗(yàn)中，本發(fā)明所提出的ASTC方法實(shí)現(xiàn)了最好的效果，達(dá)到了95％的成功率，STC和CT的成功率分別為67％和37％，且平均中心坐標(biāo)誤差也同時(shí)優(yōu)于CT的85.38和STC的42。這是由于本發(fā)明提出了一個(gè)新的適用于在線學(xué)習(xí)類型跟蹤的自適應(yīng)結(jié)構(gòu)模型，在一定程度上否定了馬爾科夫時(shí)間平滑假設(shè)，通過保存多個(gè)歷史快照模板同時(shí)對(duì)新幀進(jìn)行預(yù)測(cè)估計(jì)，當(dāng)檢測(cè)到歷史模板比常規(guī)模板具有更佳的適應(yīng)性時(shí)立即進(jìn)行替換，實(shí)現(xiàn)常規(guī)模板的快照回滾，丟棄了之前一段時(shí)間內(nèi)學(xué)習(xí)積累的背景特征，使得更加適合于當(dāng)前時(shí)刻的跟蹤，因而獲得了更好的跟蹤效果。針對(duì)當(dāng)前STC方法中存在的易發(fā)生模型漂移問題進(jìn)行了改進(jìn)，通過采用一種新的自適應(yīng)結(jié)構(gòu)模型，本發(fā)明研究提出了一種改進(jìn)的上下文目標(biāo)跟蹤方法ASTC。由于STC方法使用了貝葉斯平均結(jié)構(gòu)模型，其模型基于Markov時(shí)間平滑假設(shè)，對(duì)于估計(jì)到的每一幀的結(jié)果都全盤采納并學(xué)習(xí)，并且由于潛在的采樣誤差等，極易造成STC方法模板的誤差積累，導(dǎo)致估計(jì)結(jié)果出現(xiàn)漂移直至丟失。而本發(fā)明改進(jìn)方法ASTC所提出的自適應(yīng)結(jié)構(gòu)模型是在適用于離線方法的樹狀結(jié)構(gòu)模型的基礎(chǔ)上，對(duì)在線方法進(jìn)行了適應(yīng)性改進(jìn)，使其不但遵從時(shí)間變化，且不會(huì)過多影響在線方法的實(shí)時(shí)性。自適應(yīng)模型通過保存多個(gè)歷史快照模板，且同時(shí)使用快照組和常規(guī)模板進(jìn)行跟蹤，當(dāng)檢測(cè)到歷史快照模板的適應(yīng)性高于常規(guī)模板時(shí)，立即對(duì)常規(guī)模板進(jìn)行回滾，丟棄之前一段時(shí)間內(nèi)學(xué)習(xí)積累的誤差，以實(shí)現(xiàn)更加魯棒的跟蹤。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。附圖說明本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：圖1是現(xiàn)有技術(shù)中FaceOcc1視頻序列在STC方法下的部分跟蹤結(jié)果截圖；圖2是本發(fā)明基于自適應(yīng)結(jié)構(gòu)的時(shí)空上下文目標(biāo)跟蹤方法(ASTC)流程圖。圖3是本發(fā)明所提出的自適應(yīng)結(jié)構(gòu)模型的圖解模型。具體實(shí)施方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。STC最終將跟蹤問題轉(zhuǎn)化為在置信圖中尋找置信度最高的點(diǎn)作為目標(biāo)中心：m(x)＝P(x|o)(1.1)其中m(x)即為待求置信圖，x∈i2代表了目標(biāo)坐標(biāo)，o代表目標(biāo)外觀表示。公式(1.1)等價(jià)于后驗(yàn)概率P(o|x)因?yàn)镾TC使用了一致的先驗(yàn)概率P(o)用于簡(jiǎn)化目標(biāo)表示。x*作為待跟蹤目標(biāo)中心的坐標(biāo)，則定義當(dāng)前幀的上下文特征集合表示為：Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，其中I(z)表示z坐標(biāo)處的像素強(qiáng)度，Ωc(x*)表示以x*坐標(biāo)為中心，兩倍于原始目標(biāo)框范圍的局部上下文區(qū)域。最后結(jié)合一些概率公式，公式(1.1)的置信圖的計(jì)算可以化簡(jiǎn)表示為m(x)=P(x|o)q=Σc(z)∈XcP(x,c(z)|o)=Σc(z)∈XcP(x|c(z),o)P(c(z)|o)---(1.2)]]>其中條件概率函數(shù)P(x|c(z),o)是對(duì)目標(biāo)坐標(biāo)及它的上下文信息之間的空間關(guān)系進(jìn)行建模，并且這個(gè)建模信息可以幫助我們解決由于對(duì)圖像低層級(jí)處理帶來(lái)的歧義，P(c(z)|o)是對(duì)局部上下文區(qū)域建模得到的上下文先驗(yàn)概率模型，P(x|c(z),o)的主要作用用于連結(jié)目標(biāo)坐標(biāo)和它的空間上下文?？臻g上下文建模在公式(1.2)中的條件概率函數(shù)P(x|c(z),o)被定義為P(x|c(z),o)＝hsc(x-z)(1.3)其中函數(shù)hsc(x-z)代表了目標(biāo)坐標(biāo)x和它的局部上下文坐標(biāo)z之間的相對(duì)空間距離和相對(duì)方向，因此能夠?qū)δ繕?biāo)和它的空間上下文的相對(duì)空間關(guān)系進(jìn)行編碼，作為空間上下文模型。注意到hsc(x-z)不是一個(gè)對(duì)稱的放射函數(shù)，并且它把目標(biāo)及它的局部上下文之間的不同的空間關(guān)系都考慮在內(nèi)。這會(huì)幫助解決當(dāng)有和目標(biāo)相似的背景出現(xiàn)且和目標(biāo)距離較近時(shí)帶來(lái)的歧義性。上下文先驗(yàn)概率模型在公式(1.2)中，上下文先驗(yàn)概率模型是與上下文外觀相關(guān)的，且可以簡(jiǎn)化為P(c(z)|o)＝I(z)ωσ(z-x*)(1.4)其中I(g)是像素強(qiáng)度，用于表示上下文外觀，ωσ(g)是一個(gè)高斯權(quán)重函數(shù)，其定義為ωσ(z-x*)=ae-|z-x*|2σ2---(1.5)]]>其中a是一個(gè)規(guī)范化常數(shù)，σ是尺度參數(shù)。在公式(1.4)中，STC采用該公式進(jìn)行建模是受到生物視覺系統(tǒng)激發(fā)影響，這樣可以對(duì)圖像中心區(qū)域進(jìn)行更精確的分析。越接近目標(biāo)中心x*坐標(biāo)的上下文區(qū)域的點(diǎn)z，就對(duì)預(yù)測(cè)未來(lái)幀的目標(biāo)中心越重要，將被賦予更高的權(quán)重。置信圖根據(jù)對(duì)象坐標(biāo)建模得到的置信圖函數(shù)表示為m(x)=P(x|o)=be-|x-x*α|β---(1.6)]]>其中b是一個(gè)規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。公式(1.6)中的置信圖矩陣m(x)考慮了目標(biāo)坐標(biāo)的先驗(yàn)信息在內(nèi)，可有效處理坐標(biāo)帶來(lái)的歧義性。目標(biāo)坐標(biāo)歧義性經(jīng)常發(fā)生在視頻目標(biāo)跟蹤過程中，這會(huì)極大的影響跟蹤效果。越接近當(dāng)前幀跟蹤位置的坐標(biāo)，越容易發(fā)生歧義。在STC方法中，通過選取一個(gè)合適的形狀參數(shù)β來(lái)解決這個(gè)坐標(biāo)歧義問題。當(dāng)β選取較大時(shí)(如β＝2)會(huì)導(dǎo)致置信圖在目標(biāo)中心附近區(qū)域過度平滑，不能很好的處理坐標(biāo)導(dǎo)致的歧義性。另一方面，當(dāng)β選取較小時(shí)(如β＝0.5)會(huì)導(dǎo)致在目標(biāo)中心附近區(qū)域過度尖銳，導(dǎo)致當(dāng)在學(xué)習(xí)空間上下文模型時(shí)不能得到足夠的正樣本。最終通過實(shí)驗(yàn)驗(yàn)證選取β＝1時(shí)可得到最魯棒的結(jié)果?？臻g上下文模型的計(jì)算基于置信圖函數(shù)(1.6)和上下文先驗(yàn)概率模型(1.4)，STC將公式(1.3)、(1.4)、(1.5)、(1.6)代入公式(1.2)中可以得到m(x)=be-|x-x*α|β=Σz∈Ωc(x*)hsc(x-z)I(z)ωσ(z-x*)=hsc(x)⊗(I(x)ω(x-x*))---(1.7)]]>其中表示卷積運(yùn)算。對(duì)于公式(1.7)，由于卷積運(yùn)算計(jì)算復(fù)雜度較高，運(yùn)算比較耗時(shí)，STC通過使用FFT(FastFourierTransform)變換將運(yùn)算進(jìn)行轉(zhuǎn)換，這樣可以大幅降低計(jì)算復(fù)雜度，節(jié)約時(shí)間。經(jīng)過FFT變換后的公式為F(be-|x-x*α|β)=F(hsc(x))eF(I(x)ω(x-x*))---(1.8)]]>其中F代表FFT運(yùn)算，e代表按對(duì)應(yīng)元素相乘，因此最終的運(yùn)算進(jìn)一步轉(zhuǎn)換為hsc(x)=F-1(F(be-|x-x*α|β)F(I(x)ω(x-x*)))---(1.9)]]>其中F-1代表反FFT變換。這里得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對(duì)空間關(guān)系。STC的跟蹤過程在這之后STC的跟蹤任務(wù)就格式為一個(gè)檢測(cè)的過程。首先STC假定第一幀的目標(biāo)坐標(biāo)已經(jīng)由人為手工劃定且給出。第t幀時(shí)，STC通過公式(1.6)已經(jīng)學(xué)習(xí)得到了空間上下文模型并將其用于更新并得到t+1幀時(shí)空上下文模型如此可減少由于目標(biāo)外觀變化導(dǎo)致的噪聲。然后將t+1幀的時(shí)空上下文模型用于t+1幀目標(biāo)中心位置的偵測(cè)。當(dāng)t+1幀到來(lái)時(shí)，STC根據(jù)t幀的目標(biāo)中心坐標(biāo)在t+1幀上裁剪得到局部上下文區(qū)域并構(gòu)造得到對(duì)應(yīng)的上下文特征集合待求取的t+1幀的目標(biāo)中心坐標(biāo)可以通過求t+1幀置信圖的最大值得到，其公式為xt+1*=argmaxmt+1x∈Ωx(xt*)(x)---(1.10)]]>其中mt+1(x)為t+1幀的置信圖，根據(jù)公式(1.7)可得到其計(jì)算公式為mt+1(x)=Ht+1stc(x)⊗(It+1(x)ωσt(x-xt*))---(1.11)]]>其中時(shí)空上下文模型可由空間上下文模型經(jīng)過低通時(shí)間濾波處理得到，因此可在一定程度上減少因?yàn)橥蝗坏哪繕?biāo)外觀變化而導(dǎo)致t+1幀的像素強(qiáng)度It+1變化，進(jìn)而減少引入的噪聲污染。對(duì)于該公式，同樣可以使用FFT變換加速運(yùn)算，所以最終的計(jì)算公式為mt+1(x)=F-1(F(Ht+1stc(x))eF(It+1(x)ωσt(x-x*)))---(1.12)]]>時(shí)空上下文模型的更新時(shí)空上下文模型的更新公式定義為Ht+1stc=(1-ρ)-Htstc+ρktsc---(1.13)]]>其中參數(shù)ρ為學(xué)習(xí)速率，其值越大表示更新速度越快，保留之前的特征也越少；是由公式(1.9)計(jì)算得到的t幀的空間上下文模型。對(duì)于公式(1.13)而言，相當(dāng)于進(jìn)行了一次低通時(shí)間濾波處理過程，其對(duì)應(yīng)在頻域的處理公式為Hωstc=Fωhωsc---(1.14)]]>其中對(duì)應(yīng)的時(shí)間傅里葉變換公式為時(shí)間濾波函數(shù)Fω可用公式表示為Fω=ρejω-(1-ρ)---(1.15)]]>其中j表示虛數(shù)單位。很容易可以證實(shí)公式(1.15)是一個(gè)低通濾波處理。因此STC可以很好的過濾出由于圖像外觀變化而引入的噪聲，并得到更加魯棒的結(jié)果。尺度更新根據(jù)公式(1.12)可以得到當(dāng)前幀中的目標(biāo)中心坐標(biāo)，但是并不能獲得尺度信息。然而目標(biāo)的尺度也在隨時(shí)發(fā)生在變化，因此公式(1.5)中的尺度參數(shù)σ也應(yīng)該被相應(yīng)的更新。STC提出了自己的尺度更新機(jī)制，其對(duì)應(yīng)公式為st′=mt(xt*)mt-1(xt-1*),s‾t=1nΣi=1nst-i′,st+1=(1-λ)st+λs‾t,σt+1=stσt,---(1.16)]]>其中mt(g)是有公式(1.12)計(jì)算得到的t幀的置信度，st′是連續(xù)兩個(gè)相鄰幀之間的估計(jì)尺度，λ＞0是一個(gè)濾波參數(shù)，類似于公式(1.13)中的學(xué)習(xí)參數(shù)ρ。STC為了增強(qiáng)估計(jì)魯棒性以及減少估計(jì)誤差引入的噪聲，目標(biāo)估計(jì)尺度st+1將使用連續(xù)n個(gè)相鄰幀的平均估計(jì)尺度進(jìn)行一次濾波處理后得到。如圖2所示，基于自適應(yīng)模型的稠密時(shí)空上下文目標(biāo)跟蹤方法ASTC(VisualTrackingusingAdaptiveStructureModelbasedonSpatio-temporalContext)的算法流程圖新模型通過保存固定數(shù)量的歷史模板快照，每當(dāng)新的一幀到來(lái)時(shí)，同時(shí)使用快照模板和常規(guī)模板進(jìn)行估計(jì)，當(dāng)快照模板估計(jì)得到足夠好的結(jié)果時(shí)，即快照模板的適應(yīng)性高于常規(guī)模板，此時(shí)我們認(rèn)為常規(guī)模板可能積累了太多的誤差信息，已經(jīng)不適合繼續(xù)使用用于接下來(lái)的跟蹤，則我們采納快照模板跟蹤得到的結(jié)果并用快照模板對(duì)常規(guī)模板進(jìn)行替換，實(shí)現(xiàn)常規(guī)模板的快照式回滾，相當(dāng)于丟棄了從保存快照時(shí)刻開始到現(xiàn)在的這段時(shí)間間隔內(nèi)的學(xué)習(xí)積累的潛在的背景特征內(nèi)容。此外，針對(duì)模板快照替換準(zhǔn)則，本發(fā)明提出一個(gè)適應(yīng)性公式用于判斷，其公式如下：Csnapmaxk-CnormalkCnormalk>ξ---(1)]]>其中表示快照模板組中對(duì)第k幀估計(jì)得到的最大置信度，是常規(guī)模板對(duì)第k幀估計(jì)得到的置信度，ξ為常數(shù)閾值。該公式表示當(dāng)快照模板組中估計(jì)的最大置信度對(duì)常規(guī)模板估計(jì)的置信度的超出幅度達(dá)到了一定閾值時(shí)即認(rèn)為常規(guī)模板的適應(yīng)性過低，需使用快照模板對(duì)常規(guī)模板進(jìn)行替換。目前本發(fā)明方法采集快照模板策略是設(shè)定一個(gè)間隔常量φ，即每間隔φ幀就對(duì)常規(guī)模板采集一次快照并加入快照模板組，其公式如下：Indexframe％φ＝＝0(2)其中Indexframe表示視頻幀序號(hào)，φ為間隔常量。每當(dāng)快照模板組中的某個(gè)模板被使用于對(duì)常規(guī)模板回滾時(shí)，將對(duì)該快照模板使用計(jì)數(shù)加一或者重排序，便于接下來(lái)的應(yīng)用。由于本發(fā)明的方法主要應(yīng)用于基于在線學(xué)習(xí)類型的框架，因此對(duì)實(shí)時(shí)性要求較高，快照組的容量必須進(jìn)行限制，否則將影響跟蹤的實(shí)時(shí)性。本發(fā)明設(shè)快照模板組的容量為其對(duì)應(yīng)公式為：其中Sizesnap為快照模板組當(dāng)前的大小，是常量，為快照模板組的最大容量限制。當(dāng)新采集的快照模板加入進(jìn)來(lái)使得時(shí)，本發(fā)明根據(jù)LRU(LeastRecentlyUsed，最近最少使用)原則進(jìn)行剔除，這樣可以最大程度的保存最優(yōu)質(zhì)的模板便于必要時(shí)刻用于對(duì)常規(guī)模板進(jìn)行替換。圖3為本發(fā)明提出的自適應(yīng)結(jié)構(gòu)模型的圖解模型。其中設(shè)φ＝1,即快照模板保存間隔為1，快照模板組容量為4。假設(shè)第一幀由手工給定且初始化完畢，此時(shí)快照模板組狀態(tài)為其中s1表示快照模板組中序號(hào)為1，F(xiàn)1表示保存的快照模板只包含第一幀的內(nèi)容特征，常規(guī)模板狀態(tài)為T1nor。當(dāng)?shù)诙絹?lái)時(shí)，常規(guī)模板估計(jì)得到最好的結(jié)果，并將第二幀的結(jié)果進(jìn)行學(xué)習(xí)得到為表示此模板中包含了第一幀和第二幀的特征信息，此時(shí)對(duì)常規(guī)模板進(jìn)行一次快照采集并加入快照模板組中得到第三幀的處理結(jié)果同上，此時(shí)快照模板組和常規(guī)模板的狀態(tài)分別為和第四幀到來(lái)時(shí)，假設(shè)快照模板組中估計(jì)結(jié)果最好的是第二份快照且經(jīng)過公式判斷后證明它的適應(yīng)性比常規(guī)模板要高，此時(shí)進(jìn)行快照替換，替換后的快照模板組再進(jìn)行一次重排序，狀態(tài)為常規(guī)模板狀態(tài)為此時(shí)的常規(guī)模板已經(jīng)發(fā)生了回滾，相當(dāng)于丟棄了第三幀學(xué)習(xí)的內(nèi)容特征，這時(shí)常規(guī)模板能對(duì)第四幀估計(jì)能得到和一樣最好的結(jié)果，之后將第四幀的內(nèi)容學(xué)習(xí)并再次采集快照模板，最后快照模板組和常規(guī)模板的狀態(tài)分別為和當(dāng)?shù)?幀到來(lái)時(shí)，常規(guī)模板完成估計(jì)和學(xué)習(xí)后的狀態(tài)為此時(shí)，所采集一次快照并加入快照模板組中的時(shí)候的狀態(tài)為集合超出了快照模板組的容量上限，根據(jù)LRU原則進(jìn)行一次剔除，剔除后的快照模板組狀態(tài)為如此往復(fù)直至完成所有視頻幀的跟蹤。其中改進(jìn)方法ASTC的形式化描述本發(fā)明改進(jìn)方法ASTC中提出了一個(gè)適用于在線學(xué)習(xí)類型跟蹤方法的新結(jié)構(gòu)模型，稱為自適應(yīng)結(jié)構(gòu)模型。該模型不再拘泥于之前同類方法所基于的Markov時(shí)間平滑假設(shè)，因?yàn)樵摷僭O(shè)存在先天不足，導(dǎo)致基礎(chǔ)方法對(duì)新幀的內(nèi)容不加判斷就進(jìn)行學(xué)習(xí)，極有可能學(xué)習(xí)并積累錯(cuò)誤的背景信息導(dǎo)致跟蹤漂移。所提出的改進(jìn)方法通過保持一定數(shù)量的快照模板組，讓歷史快照模板組和常規(guī)模板同時(shí)對(duì)新幀進(jìn)行跟蹤，當(dāng)某一個(gè)歷史快照模板得到比常規(guī)模板更好的跟蹤結(jié)果時(shí)，立即用該快照模板對(duì)常規(guī)模板進(jìn)行覆蓋實(shí)現(xiàn)快照式回滾，使得常規(guī)模板更佳契合對(duì)當(dāng)前幀的跟蹤，有效增強(qiáng)跟蹤魯棒性。首先第一幀的初始目標(biāo)跟蹤框由用戶指定并給出，并使用該初始信息初始化STC方法并得到對(duì)應(yīng)模板稱之為STC方法的常規(guī)模板，然后立即對(duì)該常規(guī)模板進(jìn)行一次快照保存得到第一個(gè)歷史快照模板并將其加入快照模板組中。當(dāng)t幀到來(lái)時(shí)，同時(shí)使用歷史快照模板組和STC常規(guī)模板對(duì)t幀進(jìn)行跟蹤估計(jì)。然后取出快照模板組中估計(jì)得到的最高置信度代入公式中判斷，若成立說明STC常規(guī)模板的適應(yīng)性已不如該快照模板，或STC常規(guī)模板積累了過多的背景信息特征，或目標(biāo)狀態(tài)發(fā)生變化回到一個(gè)歷史上相似的狀態(tài)使得歷史快照模板更加契合，此時(shí)使用該快照模板對(duì)STC常規(guī)模板進(jìn)行覆蓋，并對(duì)該快照模板使用計(jì)數(shù)值+1；否則說明STC常規(guī)模板的適應(yīng)性仍然最好無(wú)需替換，繼續(xù)使用該常規(guī)模板完成t幀的跟蹤。此時(shí)STC常規(guī)模板無(wú)論是否發(fā)生回滾，都已經(jīng)是適應(yīng)性最強(qiáng)的模板，然后繼續(xù)學(xué)習(xí)t幀最新的內(nèi)容特征。最后將幀索引值代入公式Indexframe％φ＝＝0中判斷是否達(dá)到了快照采集的間隔閾值，若未達(dá)到則繼續(xù)下一幀的跟蹤；若已達(dá)到，則對(duì)STC常規(guī)模板抓取一次快照并加入歷史快照模板組中，若快照模板組中的數(shù)量超出容量上限，則根據(jù)LRU原則進(jìn)行剔除。如此往復(fù)直至完成整個(gè)視頻序列的跟蹤。改進(jìn)方法ASTC的形式化描述如下：初始化：1、根據(jù)指定參數(shù)打開對(duì)應(yīng)視頻文件的輸入流in并初始化圖形窗口Window；2、從輸入流in中讀取第一幀F(xiàn)1，輸入第一幀初始矩形框Rect1＝(x1,y1,width1,height1)，初始化尺度變量更新間隔閾值常量n、快照模板抓取間隔常量φ以及快照模板組容量其中x為目標(biāo)中心橫坐標(biāo)、y為目標(biāo)中心縱坐標(biāo)，width為目標(biāo)寬度、height為目標(biāo)長(zhǎng)度；3、使用F1和Rect1初始化STC模型并得到STC常規(guī)模板T1nor：(1)、初始化尺度參數(shù)σ1＝0.5*(width1+height1)，尺度變量Scale1＝1，局部上下文區(qū)域大小(2)、根據(jù)公式b是一個(gè)規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。初始化標(biāo)準(zhǔn)置信圖矩陣m(x)，(3)、根據(jù)公式其中F-1代表反FFT變換。得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對(duì)空間關(guān)系。計(jì)算第一幀F(xiàn)1的空間上下文模型并用之初始化第二幀的時(shí)空上下文模型I(x)為像素強(qiáng)度，ω(x-x*)是高斯權(quán)重函數(shù)，x*為目標(biāo)中心坐標(biāo)，β是形狀參數(shù)；4、對(duì)當(dāng)前STC常規(guī)模板進(jìn)行一次快照保存并加入快照模板組中得到其中，上標(biāo)S1為快照模板中的序號(hào)，下標(biāo)F1表示該歷史快照模板保存的是第一幀時(shí)刻的快照，跟蹤過程：假設(shè)Ft-1幀已經(jīng)跟蹤完成，當(dāng)前待跟蹤的視頻幀為Ft，t＝2，3，….，n，其中n為待跟蹤視頻最后一幀的序號(hào)。此時(shí)已知t-1幀的目標(biāo)框Rectt-1＝(xt-1,yt-1,widtht-1,heightt-1)，尺度參數(shù)σt-1，尺度變量Scalet-1，STC常規(guī)模板歷史快照模板組輸入：待跟蹤的第t幀圖像的矩陣數(shù)據(jù)Ft；Step1、更新尺度參數(shù)σt＝σt-1*Scalet-1；Step2、使用STC常規(guī)模板組對(duì)t幀進(jìn)行估計(jì)：(1)、根據(jù)公式其中I(g)是像素強(qiáng)度，用于表示上下文外觀，以及矩形框Rectt-1計(jì)算上下文先驗(yàn)概率模型(2)、將t幀時(shí)空上下文模型以及上下文先驗(yàn)概率模型代入公式計(jì)算得到置信圖矩陣(3)、將置信度代入公式計(jì)算得到t幀對(duì)應(yīng)的矩形框(4)、根據(jù)公式以及矩形框計(jì)算上下文先驗(yàn)概率模型(5)、將t幀時(shí)空上下文模型以及上下文先驗(yàn)概率模型代入公式中計(jì)算得到置信圖矩陣(6)、將置信度代入公式計(jì)算得到t幀對(duì)應(yīng)的置信度Step3、使用歷史快照模板組對(duì)t幀進(jìn)行估計(jì)：(1)、依次使用快照模板組中的快照模板對(duì)t幀進(jìn)行估計(jì)并得到對(duì)應(yīng)的置信度和目標(biāo)框(2)、從中找出快照模板組所估計(jì)計(jì)算得到的最高置信度假設(shè)最高置信度模板對(duì)應(yīng)的索引計(jì)數(shù)為j，即Indexmax＝j(luò)，則其對(duì)應(yīng)的目標(biāo)框Step4、將常規(guī)置信度和快照模板組最高置信度代入公式中進(jìn)行適應(yīng)性判斷，若STC常規(guī)模板的適應(yīng)性滿足則轉(zhuǎn)入Step6，否則轉(zhuǎn)入Step5；Step5、此時(shí)STC常規(guī)模板適應(yīng)性已弱于歷史快照模板組中的第j個(gè)模板的適應(yīng)性，對(duì)STC常規(guī)模板進(jìn)行快照回滾：(1)、使用第j個(gè)歷史快照模板對(duì)STC常規(guī)模板進(jìn)行重置恢復(fù)，即STC常規(guī)模板(2)、對(duì)第j個(gè)歷史快照模板使用數(shù)加一，并對(duì)快照模板組中快照按最近使用時(shí)間重排序，便于之后按照LRU原著剔除舊快照模板；(3)、采納第j個(gè)歷史快照模板對(duì)t幀估計(jì)的結(jié)果作為最終的結(jié)果，包括置信度和跟蹤目標(biāo)框結(jié)果，分別為和(4)、轉(zhuǎn)入步驟7；Step6、此時(shí)STC常規(guī)模板的適應(yīng)性仍然足夠，采納STC常規(guī)模板對(duì)t幀的估計(jì)結(jié)果作為最終的結(jié)果，分別為和Step7、更新常規(guī)STC模板和必要的參數(shù)：(1)、此時(shí)無(wú)論STC模板是否經(jīng)過回滾重置都已經(jīng)是適應(yīng)性最強(qiáng)的模板，只需將其簡(jiǎn)單的學(xué)習(xí)t幀的內(nèi)容特征后即可，其中ρ為學(xué)習(xí)參數(shù)，其值越大表示更新速度越快；(2)、如果t％n＝＝0，使用公式計(jì)算并更新Scalet，否則Scalet＝Scalet-1，其中st′是連續(xù)兩個(gè)相鄰幀之間的估計(jì)尺度，為全部幀平均估計(jì)尺度，σ為尺度參數(shù)，λ為尺度學(xué)習(xí)速率；(3)、如果t％φ＝＝0，對(duì)STC常規(guī)模板抓取一次快照并將其加入到快照模板組SnapSet中，之后檢查快照模板的數(shù)量是否超出了容量上限若超出限制則采用LRU最近最少使用原則進(jìn)行剔除；Step8、輸出Rectt到外部文件并將其繪制到t幀圖像矩陣Ft上，最后將圖像矩陣Ft繪制到圖形窗口window中，如果t＜n，則更新t＝t+1，并轉(zhuǎn)入Step1，否則轉(zhuǎn)入Step9；Step9、跟蹤結(jié)束。我們使用了三個(gè)評(píng)價(jià)標(biāo)準(zhǔn)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)判：分別為成功率(SR)、中心坐標(biāo)誤差(CLE)以及幀速(FPS)，前兩者均是與手工標(biāo)注的基準(zhǔn)數(shù)據(jù)對(duì)比得出。SR(successrate)的計(jì)算方法為：首先計(jì)算每一幀跟蹤的得分score，其計(jì)算公式定義為：score=area(Rt∩Rg)area(Rt∪Rg)---(4)]]>其中Rt表示方法在每一幀計(jì)算得出的目標(biāo)框，Rg表示手工標(biāo)注的精確的目標(biāo)框，area(R)為R區(qū)域的面積，當(dāng)score＞0.5時(shí)，我們就認(rèn)為這一幀跟蹤成功；然后使用跟蹤成功的幀數(shù)除以視頻的總幀數(shù)并乘以100％即可得到SR。故而SR越高，即越接近1，表示方法的跟蹤精確性越高，效果越好。CLE(thecenterlocationerror)定義為每一幀方法得到目標(biāo)中心與手工標(biāo)注的目標(biāo)中心的歐式距離，其計(jì)算公式定義為：CLEt=(xt-xgt)2+(yt-ygt)2---(5)]]>其中CLEt表示待計(jì)算的第t幀的中心坐標(biāo)誤差，xt表示方法得到的第t幀結(jié)果的目標(biāo)中心的x坐標(biāo)，xgt表示手工標(biāo)注的第t幀目標(biāo)中心的x坐標(biāo)。該參數(shù)體現(xiàn)了方法在目標(biāo)跟蹤過程中估計(jì)得到的結(jié)果與真實(shí)結(jié)果之間的漂移程度，故而CLE越低，表示方法跟蹤效果越好，穩(wěn)定性越高。一段視頻序列包含了不定長(zhǎng)數(shù)量的視頻幀，其對(duì)應(yīng)的ACLE(theaverateofcenterlocationerror，平均中心坐標(biāo)誤差)的計(jì)算公式為：ACLE=Σi=1nCLEin---(6)]]>其中ACLE即為所求的平均中心坐標(biāo)誤差，n為對(duì)應(yīng)視頻長(zhǎng)度，即視頻幀的總數(shù)。CLE定量展示了每一幀的跟蹤情況，ACLE則展示了一段視頻的整體跟蹤情況。FPS(framepersecond)為方法每秒處理的幀數(shù)，其值越高越好，說明方法的處理速度越快，效率越高，實(shí)時(shí)性越好。注意，本發(fā)明在計(jì)算FPS時(shí)由于代碼未做優(yōu)化，同時(shí)為了利于肉眼觀看及方便幀速計(jì)算，均對(duì)每一幀的處理都加入了一定的延時(shí)，故而FPS只可作為相對(duì)參考對(duì)比，不可作為絕對(duì)參考數(shù)值。提出的基于自適應(yīng)模型的時(shí)空上下文目標(biāo)跟蹤方法(ASTC)、當(dāng)前Spatio-temporalContextTracking(STC)方法和現(xiàn)有CompressiveTracking(CT)方法三個(gè)方法進(jìn)行了對(duì)比?？焖龠\(yùn)動(dòng)、面內(nèi)旋轉(zhuǎn)及運(yùn)動(dòng)模糊Boy視頻序列，在該視頻中待跟蹤目標(biāo)受到了包括快速運(yùn)動(dòng)、面內(nèi)旋轉(zhuǎn)以及運(yùn)動(dòng)模糊等因素的干擾，給目標(biāo)跟蹤帶來(lái)相當(dāng)大的挑戰(zhàn)。在圖像幀中，CT方法的估計(jì)結(jié)果已經(jīng)出現(xiàn)了嚴(yán)重的漂移，至后續(xù)幀，CT方法已經(jīng)徹底丟失了目標(biāo)，再也未能找回并恢復(fù)跟蹤，因此僅實(shí)現(xiàn)了約37％的成功率。對(duì)于STC方法而言，該視頻序列前期并未受到劇烈的干擾，因此跟蹤效果較好，但在#407幀附近發(fā)生了一次極快速的面外旋轉(zhuǎn)及運(yùn)動(dòng)模糊，STC的跟蹤開始出現(xiàn)漂移，截止#416幀已經(jīng)徹底丟失了待跟蹤的目標(biāo)，完全被背景內(nèi)容所吸引，實(shí)現(xiàn)了67％的成功率。Boy視頻序列對(duì)應(yīng)的跟蹤中心坐標(biāo)誤差曲線圖中可以看出，CT和STC分別在對(duì)應(yīng)幀附近出現(xiàn)了跟蹤漂移，而后完全丟失了跟蹤目標(biāo)，并且在干擾結(jié)束后也未能恢復(fù)跟蹤，究其原因在于這兩者方法均基于Markov時(shí)間平滑假設(shè)，完全依賴新幀的跟蹤結(jié)果，不加判斷的學(xué)習(xí)，導(dǎo)致方法模板積累了過多的背景內(nèi)容特征，完全混淆了前景目標(biāo)特征和背景特征。在該視頻序列中，本發(fā)明所提出的ASTC方法實(shí)現(xiàn)了最好的效果，達(dá)到了95％的成功率，且僅為3.1的平均中心坐標(biāo)誤差也同時(shí)優(yōu)于CT的85.38和STC的42。這是由于本發(fā)明提出了一個(gè)新的適用于在線學(xué)習(xí)類型跟蹤的自適應(yīng)結(jié)構(gòu)模型，在一定程度上否定了馬爾科夫時(shí)間平滑假設(shè)，通過保存多個(gè)歷史快照模板同時(shí)對(duì)新幀進(jìn)行預(yù)測(cè)估計(jì)，當(dāng)檢測(cè)到歷史模板比常規(guī)模板具有更佳的適應(yīng)性時(shí)立即進(jìn)行替換，實(shí)現(xiàn)常規(guī)模板的快照回滾，丟棄了之前一段時(shí)間內(nèi)學(xué)習(xí)積累的背景特征，使得更加適合于當(dāng)前時(shí)刻的跟蹤。Boy視頻序列對(duì)應(yīng)的跟蹤中心坐標(biāo)誤差曲線中可以看出本發(fā)明提出的ASTC方法同樣后續(xù)幀附近的強(qiáng)干擾下出現(xiàn)了短暫漂移，但是在干擾結(jié)束后及時(shí)通過歷史快照模板進(jìn)行了修正，因而獲得了更好的跟蹤效果。運(yùn)動(dòng)模糊及背景混亂在Deer視頻序列中，目標(biāo)受到了劇烈的運(yùn)動(dòng)模糊和背景混亂干擾。待跟蹤目標(biāo)為一只小鹿的頭部，而小鹿的整個(gè)身體均是一致的毛色，同時(shí)周圍還有別的同樣紋理特征的干擾鹿，給目標(biāo)跟蹤帶來(lái)了相當(dāng)嚴(yán)峻的考驗(yàn)，因而在該視頻上實(shí)驗(yàn)結(jié)果表明包括CT和STC在內(nèi)的兩個(gè)方法的跟蹤效果均不甚理想，分別只有8％和6％的成功率，而且平均中心坐標(biāo)誤差也分別達(dá)到了150.18和374.38。在#7幀可以明顯看出，STC方法已經(jīng)由于漂移徹底丟失了目標(biāo)，ASTC雖也出現(xiàn)了一定程度的漂移，但到后續(xù)幀時(shí)可以看出，ASTC經(jīng)過歷史快照模板的修正丟棄幀之間學(xué)習(xí)到的錯(cuò)誤背景特征，已經(jīng)重新找回了目標(biāo)并恢復(fù)了正確的跟蹤，而STC由于學(xué)習(xí)并積累了過多了背景內(nèi)容特征，已無(wú)可能恢復(fù)跟蹤。在#11幀附近，由于待跟蹤目標(biāo)的一次快速運(yùn)動(dòng)以及背景混亂，CT方法的跟蹤開始出現(xiàn)漂移，CT方法已丟失了目標(biāo)。而本發(fā)明所提出的ASTC方法由于采用了新的自適應(yīng)結(jié)構(gòu)模型，當(dāng)常規(guī)模板因積累過多背景信息導(dǎo)致適應(yīng)性降低時(shí)，該模型可以通過適應(yīng)性公式檢測(cè)到這種情況，，并及時(shí)用歷史快照模板進(jìn)行了重置回滾，丟棄了積累的錯(cuò)誤背景內(nèi)容特征，增強(qiáng)了跟蹤穩(wěn)定性和魯棒性，實(shí)現(xiàn)了最好的跟蹤效果，達(dá)到了83％的成功率和9.7的平均中心坐標(biāo)誤差。遮擋狀態(tài)遮擋問題是視頻跟蹤領(lǐng)域常談常新的一個(gè)問題，不僅是因?yàn)樗且粋€(gè)最常見的干擾因素，而且它同時(shí)對(duì)跟蹤方法帶來(lái)了巨大的挑戰(zhàn)，因而是當(dāng)前衡量一款跟蹤方法性能和魯棒性的關(guān)鍵要素。FaceOcc1視頻，在該序列中，目標(biāo)不斷受到各種不同程度的遮擋，因此如何處理遮擋過程中的跟蹤以及遮擋后的恢復(fù)是跟蹤方法亟待解決的問題。在FaceOcc1的視頻序列的后續(xù)幀附近發(fā)生了一次時(shí)間較長(zhǎng)且嚴(yán)重的遮擋，從#170幀開始直到后續(xù)幀附近才完全結(jié)束遮擋。在如此長(zhǎng)時(shí)間且嚴(yán)重的遮擋干擾下，完全基于Markov時(shí)間平滑假設(shè)的STC方法由于不間斷的學(xué)習(xí)導(dǎo)致積累過多的遮擋物特征，已經(jīng)將前景目標(biāo)特征與背景特征相混淆，從視頻幀可以看出，STC已經(jīng)被遮擋物的特征所吸引，故而STC方法僅實(shí)現(xiàn)了25％的成功率和327.86的平均中心坐標(biāo)誤差。對(duì)于CT方法而言，該方法同樣基于Markov時(shí)間平滑假設(shè)，故而也容易出現(xiàn)跟蹤漂移問題。在FaceOcc1視頻序列上，在幀與幀期間又發(fā)生了一次長(zhǎng)時(shí)間的嚴(yán)重遮擋。從圖像幀遮擋物開始移出至后續(xù)幀完全移出的過程中，CT的跟蹤結(jié)果被遮擋物的特征所吸引也隨著遮擋物向下移，由于CT方法限定結(jié)果目標(biāo)框必須處于視頻內(nèi)容范圍，因此當(dāng)前跟蹤結(jié)果未能滑出視頻畫面；同樣的從圖像幀期間，遮擋物重新出現(xiàn)，CT再次將遮擋物判定為前景目標(biāo)并跟隨遮擋物上移，歪打正著的估計(jì)出正確結(jié)果；再次在圖像幀期間，CT的跟蹤結(jié)果同樣被遮擋物吸引，又一次隨著遮擋物左移。由此說明同樣基于Markov時(shí)間平滑假設(shè)的CT方法也由于過多學(xué)習(xí)背景特征而混淆了前景目標(biāo)特征和背景遮擋物特征。但由于FaceOcc1視頻序列分辨率較低，待跟蹤目標(biāo)本身較大，且CT方法的結(jié)果目標(biāo)框必須在視頻內(nèi)容內(nèi)，因而即便CT結(jié)果出現(xiàn)漂移也能包含部分正確目標(biāo)區(qū)域不至于導(dǎo)致中心坐標(biāo)誤差過大，或當(dāng)人臉目標(biāo)被嚴(yán)重遮擋時(shí)CT由于正確估計(jì)出遮擋物而歪打正著估計(jì)得到正確的結(jié)果，故此CT的成功率和平均中心坐標(biāo)誤差分別達(dá)到了75％和31.84。對(duì)于FaceOcc1視頻序列，本發(fā)明所提出的ASTC方法取得了最佳的實(shí)驗(yàn)效果，正確率和平均中心坐標(biāo)誤差分別達(dá)到了98％和12.72。究其原因在于ASTC采用了新的自適應(yīng)結(jié)構(gòu)模型，通過對(duì)STC常規(guī)模板結(jié)果進(jìn)行適應(yīng)性檢查，當(dāng)檢測(cè)到STC常規(guī)模板適應(yīng)性弱于歷史快照模板時(shí)，及時(shí)使用歷史快照模板對(duì)STC常規(guī)模板進(jìn)行重置恢復(fù)，使STC常規(guī)模板回滾到歷史上的某一時(shí)刻，丟棄了一段時(shí)間內(nèi)學(xué)習(xí)積累的錯(cuò)誤遮擋物特征，提高了STC常規(guī)模板的適應(yīng)性，使其更加適合當(dāng)前時(shí)刻的跟蹤，有效增強(qiáng)了跟蹤魯棒性。在FaceOcc1視頻序列實(shí)際實(shí)驗(yàn)中發(fā)生常規(guī)模板快照回滾的圖像幀時(shí)刻狀態(tài)。在該狀態(tài)下快照模板組中共保存了4張快照模板，分別在圖像幀時(shí)刻，可以明顯看出，ASTC方法估計(jì)的結(jié)果也同樣由于連續(xù)不斷學(xué)習(xí)遮擋物的特征，被遮擋物所吸引，并隨著遮擋物的移除而向下移。至歷史快照模板估計(jì)到了比STC常規(guī)模板更好的結(jié)果，本發(fā)明所提出的ASTC方法有效抑制了跟蹤漂移，增強(qiáng)了STC常規(guī)模板的魯棒性，提升了跟蹤效果。FaceOcc2視頻序列，從圖像幀可以明顯看出STC被遮擋物所吸引出現(xiàn)漂移直至完全丟失，而CT方法雖較好的估計(jì)到正確目標(biāo)但由于不支持尺度變化導(dǎo)致其成功率并不高，僅為56％，只有本發(fā)明的ASTC方法較好的完成了跟蹤，實(shí)現(xiàn)了98％的成功率。從圖像幀可以看出CT和STC方法均出現(xiàn)了一定程度的漂移，自圖像幀左右開始出現(xiàn)了嚴(yán)重遮擋，STC已完全跟丟且未能在遮擋結(jié)束后恢復(fù)，而本發(fā)明的ASTC則能較好的完成了跟蹤。CT方法已被遮擋物所吸引導(dǎo)致跟蹤丟失，圖像幀再次出現(xiàn)了遮擋并且更為嚴(yán)重，STC開始出現(xiàn)漂移直至丟失，ASTC方法則通過適應(yīng)性檢查及時(shí)修正了常規(guī)模板中積累的誤差，實(shí)現(xiàn)了最好的跟蹤，達(dá)到了86％的成功率和5.32的平均中心坐標(biāo)誤差。光照變化及面內(nèi)外旋轉(zhuǎn)Sylvester視頻序列包含了光照變化、面內(nèi)外旋轉(zhuǎn)以及尺度縮放等多種因素的干擾。CT的跟蹤已發(fā)生漂移并完全丟失目標(biāo)，而STC方法也由于待跟蹤目標(biāo)不斷受到多種因素干擾的情況不能及時(shí)修正模板積累的誤差，出現(xiàn)了明顯的漂移，僅實(shí)現(xiàn)了54％的成功率。對(duì)于本發(fā)明所提出的ASTC方法由于及時(shí)丟棄了常規(guī)模板中積累的誤差并回滾到歷史上更加適合當(dāng)前目標(biāo)狀態(tài)的跟蹤模板，有效提升了成功率，達(dá)到了85％。跟蹤丟失后的目標(biāo)尋回CT方法屬于局部候選搜索方法，其搜索半徑限定在上一幀目標(biāo)中心半徑25個(gè)像素距離的范圍內(nèi)；同樣的對(duì)于STC方法也是局部搜索候選搜索方法，STC方法的搜索范圍是限定在初始目標(biāo)框兩倍大小的局部上下文區(qū)域內(nèi)。因此當(dāng)目標(biāo)重新出現(xiàn)的位置超出了局部搜索范圍是無(wú)可能重新找回目標(biāo)的，CT、STC均被遮擋物所吸引，至圖像幀目標(biāo)重新完整出現(xiàn)后已完全超出了其候選目標(biāo)中心的搜索范圍，是無(wú)可能重新找回，因而CT和STC分別僅實(shí)現(xiàn)了16％和17％的成功率。同樣對(duì)于Jogging2視頻序列，本發(fā)明所提出的ASTC方法實(shí)現(xiàn)了最好的效果，成功率達(dá)到了99％，究其原因在于ASTC完整保存了歷史快照模板的各項(xiàng)參數(shù)信息，包括位置估計(jì)等，有效增大了候選搜索區(qū)域，并通過對(duì)常規(guī)模板進(jìn)行歷史回滾進(jìn)而丟棄了之前學(xué)習(xí)積累的遮擋物的內(nèi)容特征，增強(qiáng)了跟蹤魯棒性，故而實(shí)現(xiàn)了最好的實(shí)驗(yàn)效果。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。當(dāng)前第1頁(yè)1 2 3