一種基于軟分配BoF的目標跟蹤方法
【專利摘要】本發(fā)明公開了一種基于軟分配BoF的目標跟蹤方法。本發(fā)明通過將各個patch的每一種局部特征分配到對應codebook中的多個codeword，并計算其權重得到跟蹤目標和候選目標的BoF表示。然后通過BoF表示的相似度比較，選擇與跟蹤目標最相似的候選目標。區(qū)別于現(xiàn)有目標跟蹤方法，本發(fā)明采用了軟分配策略，提高了BoF表示的健壯性和區(qū)分度，提升了跟蹤方法的精確度，減少了跟蹤失敗的場景，從而獲得更佳的跟蹤結果；其次本發(fā)明在構建codebook時，不僅在跟蹤目標范圍區(qū)進行patch采樣，還在跟蹤目標背景區(qū)進行patch采樣，使codebook兼具描述性和區(qū)分性；最后本發(fā)明采用了自適應大小的圓形patch，通過在候選目標之間共享patch的權重向量，有效地節(jié)約了計算資源。
【專利說明】一種基于軟分配BoF的目標跟蹤方法
【技術領域】
[0001]本發(fā)明涉及一種視覺目標跟蹤的方法，特別涉及采用BoF表示的目標跟蹤方法?！颈尘凹夹g】
[0002]視覺目標跟蹤應用于在視頻序列中解析對象的目標狀態(tài)。它不僅引起了研究的關注，并且在不同應用中起到了關鍵作用。當前的目標跟蹤技術在可控條件下，可以獲得很好的跟蹤結果，但在復雜條件下(如:局部遮擋、光照變化、相近背景色等)，其結果的精確性和健壯性仍存在問題。
[0003]目標跟蹤中最基本的問題之一是:采用哪種類型的視覺表示方法來描述跟蹤目標的時空特征。一個好的視覺表示法既應具有良好的健壯性，以適應跟蹤目標在不同復雜條件下任意的外觀變化；又要具備良好的區(qū)分度，能在幾個外觀特征相近的候選跟蹤目標中，精確找出實際跟蹤目標，并確定其位置。根據特征類型之間的差異，目標跟蹤的視覺表現(xiàn)法可以大致分為兩類:全局特征和局部特征。全局特征抽取跟蹤目標的整體視覺特征，如顏色、形狀、質地等。這類方法計算開銷小，且在可控條件下能提供良好的跟蹤結果。但在某些復雜條件下，其性能不佳。而局部特征更注重于跟蹤目標的局部信息，其結果是跟蹤目標的局部特征集。由于局部信息很容易在復雜條件下保持一致，并且不同的局部信息間互不影響，因此局部特征法在復雜條件下具有極大的優(yōu)勢。然而相對于全局特征，局部特征需要更大的計算開銷。
[0004]近年來出現(xiàn)的BoF (Bag of Features)表示法通過展現(xiàn)局部特征集,提供了一種簡單有力的視覺表現(xiàn)法。由于其簡潔性、健壯性，BoF被廣泛用于包含目標跟蹤在內的許多應用。其基本思路是:
[0005]1.將提取的局部特征(如，采用SIFT特征點提取方式等)進行聚類，并為每個聚類分配一個codeword,從而形成一個包含多個codeword的codebook。使得任意局部特征均能夠根據其相似性，分配到codebook中的一個codeword。
[0006]2.在視頻序列的當前幀中，對跟蹤目標進行patch取樣，并從每個patch中抽取局部特征，并將這些局部特征分配到預定義的codeword中。通過累積codeword的出現(xiàn)次數(shù)，完成跟蹤目標的局部特征量化。
[0007]3.在視頻序列的下一幀中，通過隨機抽樣等方法生成多個候選目標，并采用步驟2中的方法，分別對每個候選目標進行特征量化。并根據量化結果，在候選目標中選擇一個與跟蹤目標之間最相似的，作為這一幀的跟蹤結果。
[0008]在這種基于硬分配的BoF表示法中，每一個局部特征僅被分配到一個與它最相似的codeword。這種硬分配策略可能會產生量化誤差，從而導致跟蹤結果的不精確，乃至失敗。其原因有多種:首先，由于局部特征的抽取范圍有限，可能導致codeword之間的差異很小，從而可能將兩個非常相似的特征分配到不同的codeword ;其次，在選取候選目標時，如果候選目標非常相似(如，擁有相似的紋理和顏色等)，簡單的硬分配策略便無法區(qū)分它們之間的差異；最后，從噪聲中抽取的局部特征無論與最近的codeword多么不相似,也會被硬性分配，從而影響跟蹤結果。
[0009]為了解決以上問題，加權硬分配的改進策略使用到最近codeword的權重來代替出現(xiàn)次數(shù)，以量化局部特征。這種加權硬分配策略雖然能更加精確的描述局部特征和codeword之間的關系,但是由于每個局部特征仍然只分配到一個codeword,兩個相似的局部特征如果被分配到不同的codeword中,其距離仍然會被放大。另一方面，兩個不甚相似的局部特征如果被分配到了同一 codeword，且權重相似，便無法對它們進行區(qū)分。
[0010]綜上所述，無論是傳統(tǒng)的借助codeword出現(xiàn)次數(shù)表示結果的硬分配BoF策略，還是改進后的借助權重表示結果的硬分配BoF策略，在健壯性與較少奇異性兩方面均有待提聞。

【發(fā)明內容】

[0011]本發(fā)明所要解決的問題是BoF表示下的目標跟蹤方法采用硬分配策略會導致量化誤差，從而造成目標跟蹤的不精確甚至失敗。
[0012]為解決上述問題，本發(fā)明采用的方案如下:
[0013]根據本發(fā)明的一種基于軟分配BoF的目標跟蹤方法，包括以下步驟:
[0014]S1:以參照幀中的跟蹤目標為輸入為每一種局部特征構建codebook ；
[0015]S2:根據codebook和對參照幀中的跟蹤目標進行patch局部特征的采樣構建BoF表示，得到參照幀中跟蹤目標的BoF表示；
[0016]S3:根據codebook和對待跟蹤幀中的各候選目標進行patch局部特征的采樣構建BoF表示，得到待跟蹤幀中各候選目標的BoF表示；
[0017]S4:通過對比待跟蹤幀中各候選目標的BoF表示和參照幀中跟蹤目標的BoF表示之間的相似度，選取最相似的候選目標作為跟蹤結果；
[0018]其中，所述步驟SI包括以下步驟:
[0019]Sll:在參照幀內對跟蹤目標進行patch采樣，并提取各patch的各種局部特征；
[0020]S12:采用聚類算法對各patch的每一種局部特征進行聚類；使用codeword表示所得的聚類中心；每一種局部特征得到的多個codeword組成該局部特征的codebook ；
[0021]其特征在于，
[0022]所述步驟S2和S3中所述構建BoF表示包括以下步驟:
[0023]B1:對輸入目標進行patch采樣，并提取輸入目標的各patch的各種局部特征；
[0024]B2:將輸入目標的各patch的每一種局部特征分配到多個codeword ；
[0025]B3:計算輸入目標的各patch的每一種局部特征與各codeword的權重
ω(ftk,i,Ck,j) 得到權重向量
【權利要求】
1.一種基于軟分配BoF的目標跟蹤方法，包括以下步驟: S1:以參照幀中的跟蹤目標為輸入為每一種局部特征構建codebook ； S2:根據codebook和對參照幀中的跟蹤目標進行patch局部特征的采樣構建BoF表示，得到參照幀中跟蹤目標的BoF表示； S3:根據codebook和對待跟蹤幀中的各候選目標進行patch局部特征的采樣構建BoF表示，得到待跟蹤幀中各候選目標的BoF表示； S4:通過對比待跟蹤幀中各候選目標的BoF表示和參照幀中跟蹤目標的BoF表示之間的相似度，選取最相似的候選目標作為跟蹤結果； 其中，所述步驟SI包括以下步驟: S11:在參照幀內對跟蹤目標進行patch采樣，并提取各patch的各種局部特征； S12:采用聚類算法對各patch的每一種局部特征進行聚類；使用codeword表示所得的聚類中心；每一種局部特征得到的多個codeword組成該局部特征的codebook ； 其特征在于， 所述步驟S2和S3中所述構建BoF表示包括以下步驟: B1:對輸入目標進行patch采樣，并提取輸入目標的各patch的各種局部特征； B2:將輸入目標的各patch的每一種局部特征分配到多個codeword ； B3:計算輸入目標的各patch的每一種局部特征與各codeword的權重，得到權重向量
2.如權利要求1所述的基于軟分配BoF的目標跟蹤方法，其特征在于，所述步驟B3計算輸入目標的各patch的每一種局部特征與各codeword的權重ω(/^, Ck,/)中，ω(/^, Ck j)采用如下公式計算:
3.如權利要求1所述的基于軟分配BoF的目標跟蹤方法，其特征在于，所述步驟Sll包括: Sm:獲取參照幀內跟蹤目標的形狀數(shù)據； S112:在參照幀內跟蹤目標范圍區(qū)和跟蹤目標背景區(qū)進行patch采樣，并提取各patch的各種局部特征；跟蹤目標范圍區(qū)和跟蹤目標背景區(qū)采樣的patch數(shù)量均為Np ； 所述的形狀數(shù)據包括:中心坐標、寬、高、旋轉角度；所述的跟蹤目標背景區(qū)為根據跟蹤目標的形狀數(shù)據確定的圓形范圍但不包括跟蹤目標范圍區(qū)內的區(qū)域；跟蹤目標位于該圓形范圍內且位于該圓形范圍的中心；所述的圓形范圍的半徑Rt為:
4.如權利要求1中所述的基于軟分配BoF的目標跟蹤方法，其特征在于，所述的patch形狀為圓形；圓形patch的半徑rt為:
5.如權利要求4所述的基于軟分配BoF的目標跟蹤方法，其特征在于，所述步驟S3包括:S31:根據參照幀內的跟蹤目標確定待跟蹤幀內的候選目標區(qū)域； S32:在待跟蹤幀內的候選目標區(qū)域內進行patch采樣，并提取各patch的各種局部特征，patch采樣數(shù)為iVP; S33:根據所述步驟B2和B3計算各patch在每種局部特征下的權重向量ωftk，i; S34:在待跟蹤幀內的候選目標區(qū)域隨機設定候選目標； S35:將步驟S32中待跟蹤幀內的候選目標區(qū)域內的各patch分配至候選目標； S36:修正候選目標內的patch數(shù)量至Np ； 其中，所述候選目標區(qū)域是以參照幀內跟蹤目標的中心為中心的圓形區(qū)域，其半徑Rt為:
6.—種機器可讀介質，其特征在于，該可讀介質上存儲有指令集，當該指令集被執(zhí)行時，使得該機器可執(zhí)行 權利要求1至5中任一項所述的基于軟分配BoF的目標跟蹤方法。
【文檔編號】G06K9/62GK103902982SQ201410141636
【公開日】2014年7月2日 申請日期:2014年4月9日 優(yōu)先權日:2014年4月9日
【發(fā)明者】貝佳, 任桐煒, 趙志宏, 仇眾演, 于桐, 任重遠 申請人:南京大學