本發(fā)明屬于計算機視覺處理
技術領域：
，具體涉及一種基于矩陣低秩表示理論的運動目標跟蹤方法。
背景技術：
：在對運動目標進行跟蹤時，對于給定的視頻序列，運動目標跟蹤方法就是對運動目標進行檢測、提取、識別和跟蹤，以獲得較為準確的目標的位置、速度、加速度等參數(shù)信息，并通過進一步的處理，實現(xiàn)對運動目標行為的理解，進而完成更高級別的任務。也可以說是在連續(xù)的圖像幀之間，實現(xiàn)位置、速度、形狀、紋理、色彩等圖像特征的匹配。因此，運動目標跟蹤方法的關鍵在于建立每一幀圖像中候選目標與參考目標之間的對應關系。然而，由于光照變化、運動目標形狀變化、背景變化，以及運動目標被部分遮擋或者完全遮擋等因素的影響，對于給定的圖像序列，運動目標上的特征信息可能會消失一段時間再出現(xiàn)甚至完全消失。對于現(xiàn)有的運動目標跟蹤方法，例如IVT方法和L1T方，通常只考慮相鄰兩幀圖像之間的關系，而忽略了跟蹤過程中整個圖像序列之間的連續(xù)性，當運動目標被部分遮擋或者完全遮擋、受到光照劇烈變化等因素的影響時，跟蹤結果容易出現(xiàn)漂移甚至運動目標丟失。技術實現(xiàn)要素：本發(fā)明的目的在于提出一種基于矩陣低秩表示理論的運動目標跟蹤方法，克服了運動目標受遮擋后跟蹤漂移甚至運動目標丟失的問題，提高運動目標跟蹤的抗遮擋能力，具有較強的魯棒性。為了解決上述技術問題，本發(fā)明提供一種基于矩陣低秩表示理論的運動目標跟蹤方法，使用如公式(1)所示的方法計算運動目標跟蹤過程中所需的運動目標觀測概率，從而實現(xiàn)運動目標跟蹤，p(It|Xt)=exp{-[minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1]}---(1)]]>式(1)中，p(It|Xt)是在粒子濾波理論框架下計算獲得的運動目標觀測概率，It為 t時刻的目標觀測矩陣，Xt＝(xt,yt,st,rt,θt,λt)是用于表示t時刻的目標狀態(tài)的二維仿射參數(shù)，其中xt為x方向偏移量，yt為y方向偏移量，st為目標縮放尺度，rt為目標縱橫比，θt為目標旋轉角度，λt為目標傾斜角度；式(1)中，T＝{T1,T2,...,Tn}m×n(m＞＞n)，是從觀測矩陣I1:n分解出的一個低秩矩陣，即運動目標矩陣，將其作為運動目標模型；式(1)中，S∈{0,1}m×n是從運動目標觀測矩陣I1:n分解出的一個稀疏矩陣，即目標遮擋矩陣，將其作為目標遮擋模型，其定義如公式(2)所示：式(2)中，it表示第t幀圖像中的第i個像素點；式(1)中，函數(shù)表示運動目標觀測矩陣I1:n在線性空間正交投影的正交補空間；||·||F表示Frobenius范數(shù)，||·||*表示核范數(shù)；α、β和γ均為常數(shù)。所述運動目標模型T通過以下方法計算獲得：使用公式(3)通過SOFT-IMPUTE迭代算法求解出運動目標模型T，ϵt=minT12||Ps^⊥(I1:n-T)||F2+α||T||*---(3)]]>公式(3)中，為目標遮擋模型S的估計，εt為運動目標模型和目標遮擋模型的能量之和。所述目標遮擋模型S通過以下方法計算獲得：使用公式(4)通過一階馬爾科夫隨機場圖像分割方法求解目標遮擋模型S，ϵt==Σit[β-12(I1:n-T^)2]Sit+γ||Avec(S)||1+C---(4)]]>公式(4)中，為動目標模型的估計，為一個常數(shù)。進一步，在目標跟中過程中，既可以在輸入每一幀新圖像時對目標觀測矩陣進行更新，也可以在輸入多幀圖像后對目標觀測矩陣進行更新，進而獲得更新后的表示運動目標的低秩矩陣和表示遮擋的稀疏矩陣，然后根據(jù)更新后的運動目標模型和目標模型構成的運動目標觀測概率函數(shù)對目標實現(xiàn)后續(xù)跟蹤；所述目標觀測矩陣更新的方法為，對新 輸入的一幀圖像，刪除目標觀測矩陣中的第一列，將新輸入的該幀圖像作為目標觀測矩陣的最后一列，組成更新后的目標觀測矩陣。本發(fā)明與現(xiàn)有技術相比，其顯著優(yōu)點在于：(1)本發(fā)明將由圖像序列組成的運動目標觀測矩陣分解為一個表示運動目標的低秩矩陣和一個表示遮擋的稀疏矩陣，分別作為運動目標模型和目標遮擋模型，使用運動目標模型和目標遮擋模型建立目標觀測概率最優(yōu)化方程用于計算獲得目標跟蹤所需的目標觀測概率，如此，在目標跟蹤過程中可以用運動目標模型跟蹤目標，同時用目標遮擋模型處理目標的遮擋問題，由于跟蹤信息都儲存在這兩個模型中，在目標被遮擋時，仍然可以用運動目標模型中的目標數(shù)據(jù)對目標進行跟蹤，準確獲得運動目標的位置；(2)本發(fā)明采用SOFT-IMPUTE迭代方法求解獲得運動目標模型，用馬爾科夫隨機場能量迭代方法求解目標遮擋模型，從而獲得運動目標觀測概率，減少了計算量和計算時間；(3)本發(fā)明使用新輸入的圖像對目標觀測矩陣以及運動目標模型和目標遮擋模型進行更新，使用更新后的運動目標模型和目標遮擋模型實施目標更新，該目標觀測矩陣更新方法將新輸入的當前幀圖像的信息與此前多幀圖像的信息聯(lián)系起來，確保了目標跟蹤的準確性。具體實施方式一、本發(fā)明基本思想本發(fā)明在粒子濾波理論框架下提出了一種基于矩陣低秩表示理論的運動目標跟蹤方法，其基本原理是：首先，將由圖像序列組成的運動目標觀測矩陣分解為一個表示運動目標的低秩矩陣和一個表示遮擋的稀疏矩陣，將低秩矩陣作為運動目標模型，將稀疏矩陣作為目標遮擋模型，使用運動目標模型和目標遮擋模型建立目標觀測概率最優(yōu)化方程；然后，使用優(yōu)化算法分別求解出運動目標模型和目標遮擋模型；最后，將求解出的運動目標模型和目標遮擋模型代入目標觀測概率最優(yōu)化方程計算出目標跟蹤所需的運動目標觀測概率，從而實現(xiàn)對運動目標的跟蹤。二、目標觀測矩陣的概念定義目標觀測矩陣為Ι1:n＝{I1,I2,...,In}m×n(m＞＞n)，該矩陣每一個列向量代表一幀圖像；矩陣的列數(shù)為n，行數(shù)m為每幀圖像像素數(shù)，每輸入一幀圖像，目標觀測矩陣增加一列；用It∈I1:n(t∈[1,n])表示圖像序列中的第t幀圖像，第t幀圖像中的第i個像素點用it 表示；對于t時刻的目標狀態(tài)，可以采用二維仿射參數(shù)Xt＝(xt,yt,st,rt,θt,λt)表示；其中xt為x方向偏移量，yt為y方向偏移量，st為目標縮放尺度，rt為目標縱橫比，θt為目標旋轉角度，λt為目標傾斜角度；則運動目標觀測概率如公式(1)所示：p(It|Xt)=exp(-12||It-It-1||F2)---(1)]]>其中，表示表示Frobenius范數(shù)。所述二維仿射參數(shù)Xt＝(xt,yt,st,rt,θt,λt)詳見文獻(R.Szeliski:ComputerVision:AlgorithmsandApplications.Springer.(2010))。在粒子濾波理論框架下根據(jù)運動目標動態(tài)模型，按照高斯分布，生成N個粒子模板，模板大小為32×32，N個粒子代表t時刻的目標N個狀態(tài)。對于每個粒子Xt，定義p(Xt|I1:t-1)表示從開始時刻到t-1時刻所有觀測矩陣I1:t-1＝{I1,I2,...,It-1}的概率分布，則p(Xt|I1:t-1)如公式(2)所示：p(Xt|I1:t-1)＝∫p(Xt|Xt-1)p(Xt-1|I1:t-1)dXt-1(2)式(2)中狀態(tài)轉移模型p(Xt|Xt-1)表示t時刻粒子集合的分布，且該分布服從高斯分布，如公式(3)所示：式(3)中表示協(xié)方差矩陣，其對角元素為各仿射參數(shù)Xt＝(xt,yt,st,rt,θt,λt)的方差。在t時刻，觀測矩陣It的觀測概率可以通過貝葉斯公式獲得，如公式(4)所示：p(Xt|I1:t)=p(It|Xt)p(Xt|I1:t-1)p(It|I1:t-1)---(4)]]>式(4)中p(It|Xt)即為運動目標觀測概率；因為p(It|I1:t-1)為一常數(shù)，因此式(4)等價如式(5)所示：p(Xt|I1:t)∝p(It|Xt)p(Xt|I1:t-1)(5)所述粒子濾波理論框架詳見文獻(A.Doucet,N.deFreitas,andN.Gordon:“SequentialMonteCarloMethodsinPractice”.Springer-Verlag.(2001)2.)。三、運動目標模型和目標遮擋模型概念根據(jù)矩陣的低秩表示理論，可以將運動目標觀測矩陣分解為一個表示運動目標的低秩矩陣和一個表示遮擋的稀疏矩陣，分別作為運動目標模型和目標遮擋模型。定義T＝{T1,T2,...,Tn}m×n(m＞＞n)作為表示運動目標的低秩矩陣，其大小與觀測矩陣I1:n相同；定義S∈{0,1}m×n作為表示目標遮擋的稀疏矩陣，該矩陣為一個二值矩陣，如式(6)所示：定義PS(I1:n)表示觀測矩陣I1:n在線性空間的正交投影，表示其投影的正交補空間，則有式(7)和式(8)：PS(I1:n)(i,t)=0,Sit=0Iit,Sit=1---(7)]]>PS(I1:n)+Ps⊥(I1:n)=I1:n---(8)]]>定義表示L1范數(shù)，表示Frobenius范數(shù)，||X||*表示核范數(shù)。本發(fā)明將觀測矩陣I1:n分解為一個低秩矩陣T和一個稀疏矩陣S，其中，用低秩矩陣T表示運動目標模型，用稀疏矩陣S表示目標遮擋模型，稀疏矩陣S中的0表示未發(fā)生遮擋部分，1表示發(fā)生遮擋部分；此外，定義η表示高斯噪聲，則可以獲得如公式(9)所示由運動目標模型和目標遮擋模型表示的運動目標觀測矩陣：I1:n＝T+S+η(9)1、運動目標模型T通常，當運動目標不發(fā)生遮擋時，運動目標在圖像序列中的灰度值不會發(fā)生明顯的變化。因此，圖像序列中的運動目標區(qū)域是線性相關的?；诰仃嚨牡椭缺硎纠碚?，該部分可以組成一個低秩矩陣T。除了矩陣的低秩性質，本發(fā)明假設運動目標不再受到其他的限制，則有式(10)所示：rank(T)≤K(10)式(10)中，K為矩陣T的秩。2、目標遮擋模型S在許多跟蹤場景中，運動目標經常被部分遮擋或者完全遮擋，而遮擋通常會引起不可預測的跟蹤錯誤。本發(fā)明中用稀疏矩陣S表示目標遮擋模型，遮擋部分的像素值由于發(fā)生變化，因此不滿足表示運動目標的低秩矩陣T，是矩陣低秩理論中的“外點”。通常，根據(jù)先驗知識，遮擋部分應該是稀疏且連續(xù)的區(qū)域。目標遮擋矩陣S中的二值0和1可以通過馬爾科夫隨機場模型獲得，其能量可以通過伊辛模型獲得，能量表達式如式(11)所示：式(11)中，uit和υit,kl為大于0的常數(shù)，Skl表示第l幀圖像中的第k個像素點，且i≠k；t≠l。所述矩陣低秩表示理論詳見文獻(Peng,Y.,Ganesh,A.,Wright,J.,Xu,W.,andMa,Y.RASL:Robustalignmentbysparseandlow-rankdecompositionforlinearlycorrelatedimages.IEEETransactionsonPatternAnalysisandMachineIntelligence.(2011)34(11):2233–2246.)。所述高斯噪聲詳見文獻(N.Oliver,B.Rosario,andA.Pentland:“ABayesianComputerVisionSystemforModelingHumanInteractions,”IEEETrans.PatternAnalysisandMachineIntelligence.(2000)22(8):831-843.)。所述馬爾科夫隨機場模型及馬爾科夫隨機場能量迭代算法詳見文獻(S.GemanandD.Geman:“StochasticRelaxation,GibbsDistributions,andtheBayesianRestorationofImages,”IEEETrans.PatternAnalysisandMachineIntelligence.(1984)6(6):721-741.)。所述伊辛模型詳見文獻(S.Li:MarkovRandomFieldModelinginImageAnalysis.SpringerVerlag.(2009).)。四、目標觀測概率最優(yōu)化方程概念本發(fā)明根據(jù)運動目標模型和目標遮擋模型建立計算運動目標觀測概率的最優(yōu)化方程，用于目標跟蹤。建立過程如下：定義εt表示運動目標模型和目標遮擋模型的能量之和，計算方式如公式(12)所示：s.t.rank(T)≤K為了使式(12)更容易求解，本發(fā)明采用核范數(shù)代替對目標矩陣T秩的限制，得到 最終的能量函數(shù)如公式(13)所示：ϵt=minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1---(13)]]>公式(13)中，A表示馬爾科夫隨機場系數(shù)，α、β和γ為常數(shù)。在粒子濾波理論框架下，運動目標的觀測概率p(It|Xt)可以通過能量函數(shù)獲得，則觀測概率p(It|Xt)的計算方式如公式(14)所示：p(It|Xt)=exp(-ϵt)=exp{-[minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1]}---(14)]]>因此，當求解出公式(14)中的運動目標模型T和目標遮擋模型S后即可以將運動目標模型T和目標遮擋模型S帶入公式(14)計算獲得運動目標的觀測概率，從而實現(xiàn)運動目標跟蹤。五、運動目標模型和目標遮擋模型求解運動目標模型T的求解方法為：假設目標遮擋模型S的估計為則式(14)中運動目標模型T可以使用公式(15)通過SOFT-IMPUTE迭代算法求解，ϵt=minT12||Ps^⊥(I1:n-T)||F2+α||T||*---(15)]]>目標遮擋模型S的求解方法為：因式(13)可以等價如公式(16)所示：ϵt=minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+β||S||1+γ||Avec(S)||1=12Σit(I1:n-T^)2(1-Sit)+βΣitSit+γ||Avec(S)||1=Σit[β-12(I1:n-T^)2]Sit+γ||Avec(S)||1+C---(16)]]>公式(16)中，當運動目標模型的估計確定時，為一個常數(shù)，則標遮擋模型S可以使用式(16)通過一階馬爾科夫隨機場圖像分割方法求解。所述SOFT-IMPUTE迭代算法詳見文獻(B.Recht,M.Fazel,andP.Parrilo: “GuaranteedMinimum-RankSolutionsofLinearMatrixEquationsviaNuclearNormMinimization,”SIAMRev.(2010)52(3):471-501.)。所述馬爾科夫隨機場圖像分割算法詳見文獻(V.KolmogorovandR.Zabih:“WhatEnergyFunctionsCanBeMinimizedviaGraphCuts？”IEEETrans.PatternAnalysisandMachineIntelligence.(2004)26(2):147-159)。六、目標觀測矩陣更新使用本發(fā)明方法對目標跟時，既可以在輸入每一幀新圖像時，也可以在輸入多幀圖像后對目標觀測矩陣、表示運動目標的低秩矩陣和表示遮擋的稀疏矩陣進行更新，然后根據(jù)更新后的運動目標模型和遮擋模型構建新的運動目標觀測概率函數(shù)，使用新的運動目標觀測概率函數(shù)對目標實現(xiàn)后續(xù)跟蹤。對輸入的一幀圖像，如果需要跟新目標觀測矩陣時，則刪除目標觀測矩陣I1:n中的第一列，將新輸入的圖像作為矩陣的最后一列，組成一個更新后的目標觀測矩陣其中，I2:n表示第2幀到第n幀圖像，In+1表示新輸入的圖像。同理，更新后的運動目標模型目標遮擋模型則式(9)可以更新為如式(17)所示：[I2:n,In+1]＝[T2:n,Tn+1]+[S2:n,Sn+1]+η(17)七、執(zhí)行本發(fā)明放的一個流程步驟一，手動選取圖像序列中第一幀圖像中的運動目標，并用表示符號標識出來，例如用紅色長方形框將第一幀圖像中的運動目標框出，作為參考目標；步驟二，初始化目標觀測矩陣Ι1:n；步驟三，輸入后續(xù)圖像序列，對于輸入的圖像序列，判斷判斷當前幀圖像的幀數(shù)與幀數(shù)閾值的關系，如果n＞nth，nth為設定的幀數(shù)閾值，則執(zhí)行步驟5，否則執(zhí)行步驟4；步驟四，采用IVT方法(IncrementalLearningforRobustVisualTrackingAlgorithm)跟蹤運動目標，并用紅色長方形框框出跟蹤到的運動目標。所述IVT(IncrementalLearningforRobustVisualTrackingAlgorithm)方法詳見文獻[RossDA,LimJ,LinRS,etal.:Incrementallearningforrobustvisualtracking[J].InternationalJournalofComputerVision.(2008)77(1-3):125-141.]。步驟五，使用公式(14)所示的方法計算運動目標跟蹤過程中所需的運動目標觀測概率，從而實現(xiàn)運動目標跟蹤。步驟六，更新目標觀測矩陣，然后返回步驟三。當前第1頁1 2 3