本發(fā)明涉及一種多人跟蹤方法。特別是涉及一種基于慢特征分析的多人跟蹤方法。
背景技術(shù)：
：：多目標(biāo)跟蹤已成為過去十年的一個先進(jìn)研究熱點(diǎn)，該技術(shù)具有廣泛的應(yīng)用和發(fā)展前景[1]，如目標(biāo)跟蹤和識別，智能視頻監(jiān)控，交通控制，醫(yī)療診斷和工業(yè)機(jī)器人等。多目標(biāo)跟蹤技術(shù)近年來取得了巨大的成就，但由于圖像的快速變化和對象運(yùn)動的復(fù)雜性，多目標(biāo)跟蹤它也變得非常困難。近年來，提出了許多方法來處理多人跟蹤問題，這些方法主要包含三個關(guān)鍵技術(shù)，對象檢測，軌跡生成和數(shù)據(jù)關(guān)聯(lián)。針對對象檢測，已經(jīng)開發(fā)了許多方法以獲得準(zhǔn)確的結(jié)果。gall等人[2]利用廣義休克變換來處理對象檢測，其中單個對象部分的檢測對整個對象的質(zhì)心的可能位置進(jìn)行概率投票；sermanet等人[3]提出了一種完全連接的層被訓(xùn)練以預(yù)測用于假定單個對象的本地化任務(wù)的框坐標(biāo)；但這些方法沒有帶來大的改進(jìn)。軌跡生成步驟中，可以使用許多傳統(tǒng)的跟蹤算法[4]，包括meanshift和kalman。然而，遮擋條件通常限制這些方法的性能；bae等人應(yīng)用在線提供的檢測來增加可靠的軌跡。wen等人應(yīng)用檢測的空間-時間信息來產(chǎn)生一組可靠的軌跡片段；所有這些方法都用于產(chǎn)生短期軌跡，這使跟蹤結(jié)果很難有的大的改進(jìn)。數(shù)據(jù)關(guān)聯(lián)是跟蹤進(jìn)度中的關(guān)鍵步驟，它決定了最終跟蹤的準(zhǔn)確性。perez等人[5]提出了基于粒子濾波視覺跟蹤器融合三個線索的新方法。其跟蹤由相機(jī)捕獲的圖像序列中的指定對象或感興趣區(qū)域，并且隨著對象的照明，運(yùn)動和位置的變化而實現(xiàn)良好的魯棒性，但是其不考慮用于多個對象跟蹤的自適應(yīng)系統(tǒng)；babenko等人[6]提出了一種新穎的在線多實例學(xué)習(xí)(mil)算法，以避免由于跟蹤器中的微小不精確導(dǎo)致的跟蹤誤差，并且其在對象跟蹤中實現(xiàn)了良好的結(jié)果。然而，它不能很好地處理自適應(yīng)問題。多人跟蹤問題目前面臨的主要挑戰(zhàn)為：在動態(tài)變化的復(fù)雜場景中，多人跟蹤問題受到照明的變化、圖像分辨率和多物體遮擋的影響，使得檢測和跟蹤結(jié)果的魯棒性受到很大制約。技術(shù)實現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是，提供一種能夠提高跟蹤精度，降低計算的復(fù)雜度的基于慢特征分析的多人跟蹤方法。本發(fā)明所采用的技術(shù)方案是：一種基于慢特征分析的多人跟蹤方法，包括如下步驟：1)采用基于部分的可變形模型方法檢測視頻中每幀出現(xiàn)的人；2)獲取視頻中人的運(yùn)動軌跡的特征向量；3)將提取的特征向量作為輸入，采用增量慢特征分析方法訓(xùn)練每個軌跡片段的個體傳遞函數(shù)，通過個體傳遞函數(shù)提取每個軌跡片段的慢特征；4)采用圖匹配方法計算軌跡片段間的匹配分?jǐn)?shù)，得到不同軌跡之間的相似性，其中相似性最大的為最佳匹配的軌跡片段，利用最佳匹配軌跡片段更新個體傳遞函數(shù)；5)重復(fù)步驟2)～步驟4)，直至測試視頻結(jié)束；6)將最佳匹配軌跡片段融合，得到每個跟蹤對象的一個軌跡。步驟1)首先通過背景差分，得到每個視頻幀的運(yùn)動區(qū)域，然后應(yīng)用基于部分的人體檢測器檢測前景中的人體。步驟2)包括：(1)利用時間和空間約束，將視頻中人的運(yùn)動軌跡生成一組可靠的軌跡片段；(2)將生成的軌跡片段平均地分割成八個部分，提取每一部分的方向梯度直方圖和色度飽和度亮度特征；(3)將所有八個部分的特征連接成一個特征向量。步驟3)包括：通過非線性函數(shù)對軌跡片段的特征空間進(jìn)行非線性擴(kuò)展，將慢特征分析轉(zhuǎn)化為線性分析，采用互補(bǔ)的增量主成份分析算法預(yù)處理視頻數(shù)據(jù)和順序輸入的特征向量以計算主成分，采用次要成份分析算法處理慢特征提取，最終得到目標(biāo)函數(shù)最優(yōu)解的線性組合，即每個軌跡片段的慢特征。本發(fā)明的一種基于慢特征分析的多人跟蹤方法，避免了變化的場景和對象遮擋對軌跡生成可靠性的負(fù)面影響，提高了跟蹤精度，降低了計算的復(fù)雜度。具有如下有益效果：1.提出了一種新的跟蹤框架來處理多個對象跟蹤，重新設(shè)計軌跡片的特征提取方法，有效提高最終跟蹤精度；2.對多個對象跟蹤問題首次使用緩慢特征分析，并獲得了明顯的改善；3.所提出的方法具有很強(qiáng)的適應(yīng)性，可以在多視圖場景中用于對象跟蹤。附圖說明圖1是本發(fā)明一種基于慢特征分析的多人跟蹤方法的流程圖；圖2是pets-2012測試集的跟蹤效果圖。具體實施方式下面結(jié)合實施例和附圖對本發(fā)明的一種基于慢特征分析的多人跟蹤方法做出詳細(xì)說明。研究表明：行人可以被看作是一個長時間的運(yùn)動和變化的信號，慢特征分析[7]可以從快速變化的輸入信號中提取緩慢變化的特征或不變的特征，非常適合于提取行人的特征。本發(fā)明提出了一種基于慢特征分析的多人跟蹤方法。如圖1所示，本發(fā)明的一種基于慢特征分析的多人跟蹤方法，包括如下步驟：1)采用基于部分的可變形模型(dpm)方法檢測視頻中每幀出現(xiàn)的人；具體是，首先通過背景差分，得到每個視頻幀的運(yùn)動區(qū)域，然后應(yīng)用基于部分的人體檢測器檢測前景中的人體?；赿pm方法[8]利用根濾波器在檢測區(qū)域上定位人體的各個部分，人體的最終決策分?jǐn)?shù)由所有的部分濾波器和根過濾器的響應(yīng)計算。一個含有n個部分的被檢人體的模型可以用n+2維向量(f0,p1,...,pi,...,pn,b)表示，f0為根濾波器，代表人體的整體輪廓，pi為第i個部分，b表示偏置項。位置(x0,y0)處的檢測分?jǐn)?shù)：其中，n表示人體部分總數(shù)；s(pi)表示第i個部分的分?jǐn)?shù)：s(pi)＝fpi·φ(h,pi)-dpi·φd(dx,dy)其中，fpi表示第i個部分濾波器；φ(h,pi)表示在特征金字塔h級中坐標(biāo)為(x0,y0)處檢測窗口特征向量；dpi表示第i部分實際位置相對于錨點(diǎn)的形變代價；代表形變特征。當(dāng)行人體可以被根濾波器檢測到時，每一個部分濾波器可以用于定位特定的身體部分，并將其得分投入到最終決策分?jǐn)?shù)。2)獲取視頻中人的運(yùn)動軌跡的特征向量x(t)＝[x1(t),...,xd(t)]t；包括：(1)利用時間和空間約束，將視頻中人的運(yùn)動軌跡生成一組可靠的軌跡片段t＝{t1,...,tn}。軌跡片段可以基于上述人體檢測結(jié)果通過逐幀關(guān)聯(lián)生成，檢測結(jié)果可能包括許多故障，例如漂移，遮擋等。因此，實施中只選擇可靠的軌跡片段，當(dāng)連續(xù)幀中人體的邊界框足夠近并且在人體附近沒有額外的邊界框時，軌跡片段被認(rèn)為是可靠的。(2)將生成的軌跡片段平均地分割成八個部分，提取每一部分的方向梯度直方圖(hog)和色度飽和度亮度(hsv)特征；(3)將所有八個部分的特征連接成一個特征向量，即對人體的每個部分應(yīng)用歸一化，將所有八個部分特征連接成一個特征向量x(t)＝[x1(t),...,xd(t)]t。3)將提取的特征向量x(t)＝[x1(t),...,xd(t)]t作為輸入，采用增量慢特征分析(incsfa)方法訓(xùn)練每個軌跡片段的個體傳遞函數(shù)g(x)＝[g1(x),...,gj(x)]t，通過個體傳遞函數(shù)提取每個軌跡片段的慢特征y(t)＝[y1(t),...,yj(t)]t；包括：通過非線性函數(shù)對軌跡片段的特征空間進(jìn)行非線性擴(kuò)展，將慢特征分析轉(zhuǎn)化為線性分析，檢測對象的慢特征可以表示為：yj(t)＝gj(x(t))，其中j∈{1,...,j}，通過sfa方法找到使輸出信號盡可能緩慢變化的瞬時函數(shù)gj(x)。采用互補(bǔ)的增量主成份分析(ccipca)算法預(yù)處理視頻數(shù)據(jù)和順序輸入的特征向量以計算主成分，具體是：采用對時間的一階導(dǎo)數(shù)平方均值的方法來衡量變化的速率，求解變化速率最慢的優(yōu)化問題目標(biāo)函數(shù)為：其中表示輸出信號y關(guān)于時間t的一階導(dǎo)數(shù)，<·>表示時間平均。考慮瞬時函數(shù)gj(x)被約束為一組非線性函數(shù)集h的線性組合，即定義z(t)＝h(x(t))，則目標(biāo)函數(shù)可以表示為：為尋找這樣的h，對z(t)進(jìn)行白化處理：使z(t)的協(xié)方差矩陣成為一個單位矩陣，即<zzt>＝i，同時，白化過程減去了矩陣的平均值，即<z>＝0，白化矩陣s可由主成分分析方法計算得到。下面介紹白化矩陣的具體求解過程：計算函數(shù)可以寫為：其中，u＝x-e[x]，d∈{1,...,d}，e[uut]為特征序列的協(xié)方差期望矩陣，表示廣義特征向量，表示特征值。將特征值排序使得白化過程可表示為其中，是對角矩陣，其每一個元素為和通過ccipca估計得到。具體的估計公式為：通過對矩陣進(jìn)行主成分分析，得到對應(yīng)的j個規(guī)范特征向量和j個最小特征值的集合，進(jìn)行標(biāo)準(zhǔn)化后得到：采用次要成份分析(mca)算法處理慢特征提取，最終得到目標(biāo)函數(shù)最優(yōu)解的線性組合，即每個軌跡片段的慢特征。具體是：定義對于正定矩陣c，其特征向量表示為γi-c，其中，γ＞λ1，λ1為自相關(guān)矩陣的最大特征值?？紤]學(xué)習(xí)速率，采用一種評估合適的學(xué)習(xí)速率的方法[9]如下：w(t)＝1.5w(t-1)-ηcdw(t-1)-η(wt(t-1)w(t-1))w(t-1)其中，ηλ1＝0.5、||w(0)||2≠0、||wt(0)w*||2≠0，是的第一個次分量，可以通過ccipca計算得到；w(0)為第一特征估計，并且精確特征向量附屬于最小特征值。對于任意的d＞1，cd計算公式為：其中，γ需要大于的最大特征值，根據(jù)一般設(shè)置，通過mca可以計算出信號的最大特征值w(t)。最后，軌跡片段提取的慢特征為：y(t)＝z(t)tw(t)。4)采用圖匹配方法(cgm)計算軌跡片段間的匹配分?jǐn)?shù)s(p,q)，得到不同軌跡之間的相似性，其中相似性最大的為最佳匹配的軌跡片段，利用最佳匹配軌跡片段更新個體傳遞函數(shù)g(x)；軌跡片段p與軌跡片段q間匹配分?jǐn)?shù)計算公式為：其中，dscale為比例因子，dscale＝0.1；分?jǐn)?shù)越高，匹配效果越好，選擇最佳匹配結(jié)果更新個體傳遞函數(shù)g(x)。5)重復(fù)步驟2)～步驟4)，直至測試視頻結(jié)束；6)將最佳匹配軌跡片段融合，得到每個跟蹤對象的一個軌跡。下面給出一實例本實例選用pets2012數(shù)據(jù)集來測試跟蹤方法的性能。該數(shù)據(jù)集包括8個視頻序列，這些視頻序列的分辨率是768×576，數(shù)據(jù)集中存在遮擋、擁擠的場景和雜亂的背景，具有一定挑戰(zhàn)性，其所有的視頻序列來自同一個場景在不同的角度，所以數(shù)據(jù)集可以看作是一個多攝像機(jī)跟蹤數(shù)據(jù)集。測試結(jié)果如圖2所示。評估標(biāo)準(zhǔn)不失一般性的，本實例使用標(biāo)準(zhǔn)的clearmot指標(biāo)[10]評估跟蹤結(jié)果，共有三個指標(biāo)ta、dp和da。其中，da和dp用于測試檢測結(jié)果，分?jǐn)?shù)越高越好；ta用于評價跟蹤的實例結(jié)果，分?jǐn)?shù)越高越好；ta和da之間的差異可用于評估匹配結(jié)果，分?jǐn)?shù)越小越好。對比算法實例中將本方法與nie等人提出的方法進(jìn)行對比：nie等人提出的方法：通過相鄰幀中的對象定位結(jié)果之間的逐幀關(guān)聯(lián)生成可靠的軌跡，所產(chǎn)生的軌跡片通過考慮空間和時間約束來相關(guān)聯(lián)，以輸出個人的整個軌跡。實驗結(jié)果由表1可知，sfa可以有效地提高基于傳統(tǒng)視覺特征的跟蹤精度。這是由于sfa可以有效地從原始特征向量提取魯棒性特征，并減少冗余信息，以改善最終跟蹤結(jié)果；由表2可知，本方法勝過比較的方法。這是由于nie等人提出的方法忽略跟蹤對象在時間序列中的形狀變化，本方法充分軌跡的形狀變化并利用平均圖像來提取全局特征。實驗結(jié)果驗證了本方法的可行性與優(yōu)越性。表1datasetshogsfa-hogcnnsfa-cnnpets201234.136.277.378.1表2methodmotamodamodpnieetal[6](％)72.472.875.8sfg+hsv&hsv(％)74.975.175.2本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖，上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。[1]李彤.智能視頻監(jiān)控下的多目標(biāo)跟蹤技術(shù)研究[d].中國科學(xué)技術(shù)大學(xué),2013.[2]juergengallandvictorlempitsky.class-specifichoughforestsforobjectdetection.indecisionforestsforcomputervisionandmedicalimageanalysis,pages143–157.springer,2013.[3]pierresermanet,davideigen,xiangzhang,micha¨elmathieu,robfergus,andyannlecun.overfeat:integratedrecognition,localizationanddetectionusingconvolutionalnetworks.arxivpreprintarxiv:1312.6229,2013.[4]劉守達(dá).基于多目標(biāo)跟蹤及軌跡組合優(yōu)化的視頻摘要[d].廈門大學(xué),2014.[5]p.perez,j.vermaak,anda.blake.datafusionforvisualtrackingwithparticles.proceedingsoftheieee,92(3):495–513,2004.[6]borisbabenko,minghsuanyang,andsergebelongie.robustobjecttrackingwithonlinemultipleinstancelearning.patternanalysisandmachineintelligenceieeetransactionson,33(8):1619–1632,2011.[7]陳婷婷,阮秋琦,安高云.視頻中人體行為的慢特征提取算法[j].智能系統(tǒng)學(xué)報,2015,03:381-386.[8]李斌.基于dpm的交通標(biāo)志檢測算法研究[d].北京交通大學(xué),2015[9].j¨urgenschmidhuberanddanielprelinger.discoveringpredictableclassifications.neuralcomputation,5(4):625–635,1993.[10]r.kasturi,d.b.goldgof,p.soundararajan,andetal.frameworkforperformanceevaluationofface,text,andvehicledetectionandtrackinginvideo:data,metrics,andprotocol.ieeetrans.patternanal.mach.intell.,31(2):319–336,2009.當(dāng)前第1頁12當(dāng)前第1頁12