一種視頻多目標跟蹤的方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種視頻多目標跟蹤的方法及裝置，該方法包括：當上一幀跟蹤結果中包含跟蹤目標的位置框時，針對上一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框對應的跟蹤特征點，記錄對應關系和各個跟蹤特征點的位置；根據(jù)上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤特征點在當前幀的位置信息；根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一幀的所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存；輸出跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為當前幀，循環(huán)執(zhí)行上述處理，實現(xiàn)多目標跟蹤。應用本發(fā)明，能夠大幅度提高處理效率和精確度。
【專利說明】-種視頻多目標跟蹤的方法及裝置

【技術領域】
[0001]本發(fā)明涉及視頻監(jiān)控技術，特別涉及一種視頻多目標跟蹤的方法及裝置。

【背景技術】
[0002] 隨著智慧城市建設的不斷推進，已經(jīng)初步形成了國家意義上的大規(guī)模視頻監(jiān)控網(wǎng) 絡。與此同時，大規(guī)模視頻監(jiān)控網(wǎng)絡普及的一個最直接的后果就是產(chǎn)生海量的視頻數(shù)據(jù)。海 量視頻數(shù)據(jù)對傳統(tǒng)的智能視頻分析技術手段提出了巨大的挑戰(zhàn)。
[0003] 智能視頻分析中一項非常重要的任務就是動態(tài)目標捕獲與跟蹤，且視頻檢索、目 標識別、行為分析、視頻濃縮等多項非常重要的應用都需要用到多目標跟蹤技術。
[0004] 現(xiàn)有的多目標跟蹤技術通?？梢苑譃閮纱箢悾旱谝活惙椒ㄊ侵苯咏M合傳統(tǒng)單目標 跟蹤技術，也就是對多各個目標單獨進行跟蹤，只是將獲得的數(shù)據(jù)進行組合。這種方法的算 法比較簡單。但是，這種方法在每增加一個目標的情況下，就會增加對一個目標進行跟蹤的 數(shù)據(jù)運算量，降低了跟蹤的處理速度。因此，這種方法不適用于目標很多的情況，在目標很 多時，存在大量的重復計算，處理速度慢又導致了跟蹤的精確度降低。
[0005] 第二類方法把多個目標作為一個整體來統(tǒng)一處理，利用優(yōu)化方法計算整體最優(yōu)跟 蹤結果。目前，對多個目標整體進行處理的算法相對復雜，處理速度較慢。
[0006] 由于第一類方法中存在大量的重復計算，而第二類方法計算復雜度高，處理速度 較慢，因此這兩類方法很難在工程中實際應用。此外，由于現(xiàn)實世界目標運動情況非常復 雜,現(xiàn)有跟蹤方法通常缺乏選取有效的跟蹤特征來兼顧跟蹤的穩(wěn)定性和精確度。


【發(fā)明內(nèi)容】

[0007] 有鑒于此，本發(fā)明實施例的目的在于提供一種視頻多目標跟蹤的方法及裝置，以 提聞多目標跟蹤的處理速度。
[0008] 為達到上述目的，本發(fā)明實施例公開了一種視頻多目標跟蹤的方法，包括步驟：
[0009] 獲取視頻數(shù)據(jù)的當前幀；
[0010] 當上一幀跟蹤結果中包含跟蹤目標的位置框時，針對上一幀，執(zhí)行：在整體圖像上 分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標的位置框，確定每個跟蹤目標的 位置框分別對應的跟蹤特征點，并記錄對應關系和各個跟蹤特征點的位置；
[0011] 根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤特征點在 當前幀的位置信息；
[0012] 根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一幀的所述對應 關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中；
[0013] 輸出當前幀中各個跟蹤結果后,將視頻數(shù)據(jù)的下一幀確定為當前幀，循環(huán)執(zhí)行上 述處理，實現(xiàn)多目標跟蹤。
[0014] 較佳地，在獲取視頻數(shù)據(jù)的當前幀后，進一步對其中的運動目標建立當前幀的目 標位置框；將當前幀的目標位置框與上一幀的跟蹤結果進行比較，確定是否有新增目標位 置框；當確定當前幀中有新增目標位置框時，進一步將各個新增的目標位置框，確定為跟蹤 目標的位置框，保存至跟蹤結果中；并確定上一幀跟蹤結果中是否包含跟蹤目標的位置框。
[0015] 較佳地，所述跟蹤結果包含各個跟蹤目標的位置框列表，每個跟蹤目標的位置框 列表中存儲了該跟蹤目標在每一幀的位置框。
[0016] 所述將當前幀的目標位置框與上一幀的跟蹤結果進行比較，確定是否有新增目標 位置框，包括：
[0017] 將當前幀的各個目標位置框分別與上一幀的跟蹤結果中各個跟蹤目標的位置框 相交，分別獲得當前幀的各個目標位置框與上一幀的跟蹤結果中各個跟蹤目標的位置框的 重合度，根據(jù)重合度是否滿足預設條件，確定各個目標位置框是否屬于上一幀的跟蹤結果 中各個跟蹤目標，不屬于上一幀的跟蹤結果中各個跟蹤目標的目標位置框為新增的目標位 置框。
[0018] 較佳地，對其中的運動目標建立當前幀的目標位置框，包括：
[0019] 通過背景建模先對當前幀中的各個運動目標畫出各個運動目標的輪廓圖；將各個 輪廓圖之外的圖像，作為背景圖像去除；將去除了背景圖像后的圖像，確定為當前幀的前景 圖并保存；
[0020] 在當前幀的前景圖上，對各個運動目標建立當前幀的目標位置框；
[0021] 當確定當前幀中有新增目標位置框時，進一步對新增目標位置框進行過濾，去除 環(huán)境中運動物體造成的虛假目標位置框，并將前景圖中虛假目標位置框對應的輪廓圖去 除；
[0022] 在所述針對上一幀，對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框分別 對應的跟蹤特征點前，進一步根據(jù)上一幀的前景圖，去除不屬于前景的跟蹤特征點。
[0023] 較佳地，所述根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個 跟蹤特征點在當前幀的位置信息，為：根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光 流法，推算出上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可 信度；將可信度不滿足預設條件的跟蹤特征點去除。
[0024] 本發(fā)明實施例還公開了一種視頻多目標跟蹤的裝置，包括：
[0025] 當前幀獲取單元，獲取視頻數(shù)據(jù)的當前幀；
[0026] 上一幀跟蹤特征點確定單元，當上一幀跟蹤結果中包含跟蹤目標的位置框時，針 對上一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標 的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點，并記錄對應關系和各個跟 蹤特征點的位置；
[0027] 當前幀特征點推算單元，根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上 一幀中各個跟蹤特征點在當前幀的位置信息；
[0028] 跟蹤結果生成單元，根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的 上一幀的所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中；
[0029] 跟蹤結果輸出單元，輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為 當前幀，將該幀返回給當前幀獲取單元，實現(xiàn)多目標跟蹤。
[0030] 較佳地，所述裝置還包括新增目標跟蹤單元；
[0031] 所述新增目標跟蹤單元包括：目標位置框建立子單元、新增目標位置框確定子單 元和新增目標跟蹤結果保存子單元；
[0032] 所述目標位置框建立子單元，在獲取視頻數(shù)據(jù)的當前幀后，對其中的運動目標建 立當前幀的目標位置框；
[0033] 所述新增目標位置框確定子單元，將當前幀的目標位置框與上一幀的跟蹤結果進 行比較，確定是否有新增目標位置框；
[0034] 所述新增目標跟蹤結果保存子單元，當確定當前幀中有新增目標位置框時，進一 步將各個新增的目標位置框，確定為跟蹤目標的位置框，保存至跟蹤結果中，并確定上一幀 跟蹤結果中是否包含跟蹤目標的位置框。
[0035] 較佳地，所述跟蹤結果包含各個跟蹤目標的位置框列表，每個跟蹤目標的位置框 列表中存儲了該跟蹤目標在每一幀的位置框；
[0036] 新增目標位置框確定子單元，包括重合度獲得子單元和確定新子單元；
[0037] 所述重合度獲得子單元，將當前幀的各個目標位置框分別與上一幀的跟蹤結果中 各個跟蹤目標的位置框相交，分別獲得當前幀的各個目標位置框與上一幀的跟蹤結果中各 個跟蹤目標的位置框的重合度；
[0038] 所述確定子單元，根據(jù)重合度是否滿足預設條件，確定各個目標位置框是否屬于 上一幀的跟蹤結果中各個跟蹤目標，不屬于上一幀的跟蹤結果中各個跟蹤目標的目標位置 框為新增的目標位置框。
[0039] 較佳地，所述目標位置框建立子單元，包括去除背景子單元和建立子單元；所述去 除背景子單元，對當前幀中的各個運動目標畫出各個運動目標的輪廓圖；將各個輪廓圖之 外的圖像，作為背景圖像去除；將去除了背景圖像后的圖像，確定為當前幀的前景圖并保 存；所述建立子單元，在當前幀的前景圖上，對各個運動目標建立當前幀的目標位置框； [0040] 所述新增目標位置框確定子單元，進一步對新增目標位置框進行過濾，去除環(huán)境 中運動物體造成的虛假目標位置框，并將前景圖中虛假目標位置框對應的輪廓圖去除；
[0041] 所述上一幀跟蹤特征點確定單元，在確定每個跟蹤目標的位置框分別對應的跟蹤 特征點前，進一步根據(jù)上一幀的前景圖，去除不屬于前景的跟蹤特征點。
[0042] 較佳地，所述當前幀特征點推算單元，包括光流法推算子單元和去除子單元；
[0043] 所述光流法推算子單元，根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光流 法，推算出上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可信 度；
[0044] 所述去除子單元，將可信度不滿足預設條件的跟蹤特征點去除。
[0045] 由上述的技術方案可見，本發(fā)明實施例提供的視頻多目標跟蹤的方法及裝置，具 有如下優(yōu)點：
[0046] (1)非常高效，本發(fā)明實施例在跟蹤當前幀時，通過對上一幀所有跟蹤目標的位置 框，直接獲得每個跟蹤目標的位置框對應的跟蹤特征點，推算出上一幀的所有跟蹤目標的 跟蹤特征點在當前幀的位置，再根據(jù)各個跟蹤特征點與跟蹤目標的對應關系，獲得當前幀 中各個跟蹤目標的位置框。也就是說，不管有多少個目標，通過一次處理，能夠獲得所有跟 蹤目標的跟蹤數(shù)據(jù)，大幅提高了處理的速度和效率。
[0047] (2)精確度高，由于本發(fā)明實施例采用網(wǎng)格獲得跟蹤特征點的跟蹤方式，極大的回 避了之前方法在跟蹤點選取上所遇到的種種問題，即使在非常復雜的情況下也能夠非常穩(wěn) 定的跟蹤多個目標，極大的緩解了之前多目標跟蹤的穩(wěn)定性和精度之間的矛盾。
[0048]當然，實施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時達到以上所述的所有優(yōu) 點。

【專利附圖】

【附圖說明】
[0049]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0050]圖1為根據(jù)本發(fā)明實施例的一種視頻多目標跟蹤的方法的流程圖；
[0051]圖2為根據(jù)本發(fā)明實施例的另一種視頻多目標跟蹤的方法的流程圖；
[0052]圖3為根據(jù)本發(fā)明實施例的再一種視頻多目標跟蹤的方法的流程圖；
[0053]圖4為根據(jù)本發(fā)明實施例的一種視頻多目標跟蹤的裝置的結構示意圖；
[0054]圖5為根據(jù)本發(fā)明實施例的另一種視頻多目標跟蹤的裝置的結構示意圖。

【具體實施方式】
[0055] 下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。
[0056] 本發(fā)明實施例公開了一種視頻多目標跟蹤的方法及裝置，通過一次處理，能夠獲 得所有跟蹤目標的跟蹤數(shù)據(jù)，大幅提高了處理效率和準確率。
[0057] 參見圖1，根據(jù)本發(fā)明實施例的一種視頻多目標跟蹤的方法，包括如下步驟：
[0058] 步驟101，獲取視頻數(shù)據(jù)的當前幀。
[0059] 本步驟就是讀取視頻數(shù)據(jù)的當前幀，如果無法讀取,則結束流程。
[0060] 步驟102,當上一幀跟蹤結果中包含跟蹤目標的位置框時，針對上一幀，執(zhí)行：在 整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標的位置框，確定每個 跟蹤目標的位置框分別對應的跟蹤特征點，并記錄對應關系和各個跟蹤特征點的位置。
[0061] 在實際應用中，還可以對新增的跟蹤目標，直接獲取跟蹤目標的位置框，保存至跟 蹤結果中。
[0062] 步驟103,根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤 特征點在當前幀的位置信息。
[0063] 在實際應用中，本步驟可以根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光 流法，推算出上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可 信度；然后將可信度不滿足預設條件的跟蹤特征點去除。這樣，進一步提高了跟蹤的精確 度。
[0064] 當然，在其他實施例中，還可以采用其他算法，例如：顏色直方圖匹配法、均值偏移 法等等：來推算出上一幀中各個跟蹤特征點在當前幀的位置信息。
[0065] 步驟104,根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一幀的 所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中。
[0066]步驟1〇5,輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為當前幀，返 回執(zhí)行步驟1〇1，循環(huán)執(zhí)行上述處理，實現(xiàn)多目標跟蹤。
[0067]參見圖2,根據(jù)本發(fā)明實施例的另一種視頻多目標跟蹤的方法，包括如下步驟：
[0068] 步驟201，獲取視頻數(shù)據(jù)的當前幀。
[0069] 本步驟與圖1所述步驟101完全相同，這里不再重復。
[0070] 步驟202,對當前幀中的運動目標建立當前幀的目標位置框。
[0071]本步驟中，可以通過背景建模，檢測出當前幀中的所有運動目標。再對檢測出的所 有運動目標建立當前幀的目標位置框。具體方法，可以與現(xiàn)有技術相同。
[0072]步驟203,判斷是否有新增目標位置框，如果有，則執(zhí)行步驟204 ;否則執(zhí)行步驟 206。
[0073]本實施例中，跟蹤結果包含了各個跟蹤目標的位置框列表，每個跟蹤目標的位置 框列表中存儲了該跟蹤目標在每一幀的位置框。
[0074] 實際應用中，可以通過如下方式，判斷是否有新增目標位置框：
[0075]先將當前幀的各個目標位置框分別與上一幀的跟蹤結果中各個跟蹤目標的位置 框相交，分別獲得當前幀的各個目標位置框與上一幀的跟蹤結果中各個跟蹤目標的位置框 的重合度，根據(jù)重合度是否滿足預設條件，例如：重合度大于等于 9〇%或者85%等，確定各個 目標位置框是否屬于上一幀的跟蹤結果中各個跟蹤目標，不屬于上一幀的跟蹤結果中各個 跟蹤目標的目標位置框為新增的目標位置框。
[0076]步驟204,將各個新增的目標位置框，確定為跟蹤目標的位置框，保存至跟蹤結果 中。
[0077] 在其他實施例中，可以先對新增的目標位置框進行過濾，去除掉一些虛假的位置 框，以進一步提尚跟蹤的精確度。
[0078] 步驟205,判斷上一幀跟蹤結果中，是否包含跟蹤目標的位置框，如果是，則執(zhí)行步 驟206 ;否則執(zhí)行步驟210。
[0079] 本步驟中，可以直接判斷是否保存有上一幀的位置框列表，如果有，則上一幀跟蹤 結果中包含跟蹤目標的位置框，否則不包含。
[0080] 步驟2〇6,針對上一幀，在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點； 對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點。
[0081] 理論上講，密集網(wǎng)格越密，跟蹤精確度越高。實際應用中，密集網(wǎng)格一般可以是每 隔5-10個像素高寬，也可以根據(jù)運動目標的大小整體調(diào)整網(wǎng)格高寬。
[0082] 步驟207,記錄對應關系和各個跟蹤特征點的位置。
[0083] 本步驟中，就是記錄了每個跟蹤目標的位置框與各個跟蹤特征點的對應關系，和 各個跟蹤特征點的位置。
[0084] 步驟2〇8,根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤 特征點在當前幀的位置信息。
[0085] 本步驟可以與圖1所述步驟103完全相同，這里不再重復。
[0086] 步驟209,根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一幀的 所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中。
[0087] 本步驟可以與圖1所述步驟104完全相同，這里不再重復。
[0088] 步驟210,輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為當前幀，返 回執(zhí)行步驟201，循環(huán)執(zhí)行上述處理，實現(xiàn)多目標跟蹤。
[0089] 參見圖3,根據(jù)本發(fā)明實施例的再一種視頻多目標跟蹤的方法，包括如下步驟：
[0090] 步驟301，獲取視頻數(shù)據(jù)的當前幀。
[0091] 本步驟與圖1所述步驟101完全相同，這里不再重復。
[0092] 步驟302,對當前幀中的各個運動目標畫出各個運動目標的輪廓圖。
[0093] 步驟3〇3,將各個輪廓圖之外的圖像，作為背景圖像去除；將去除了背景圖像后的 圖像，確定為當前幀的前景圖并保存。
[0094] 需要說明的是，本實施例中的跟蹤目標的輪廓圖，包括跟蹤目標的輪廓線及輪廓 線內(nèi)的圖像。
[0095] 步驟304,在當前幀的前景圖上，對各個運動目標建立當前幀的目標位置框。
[0096] 具體地，上述步驟3〇2?304,可以通過背景建模，檢測出當前幀中的所有運動目 標，畫出各個運動目標的輪廓圖。再將各個輪廓圖之外的圖像，作為背景圖像去除；將去除 了背景圖像后的圖像，確定為當前幀的前景圖并保存。再在當前幀的前景圖上，對各個運動 目標建立當前幀的目標位置框。
[0097] 步驟3〇5,判斷是否有新增目標位置框，如果是，則執(zhí)行步驟3〇6 ;否則執(zhí)行步驟 309。
[0098] 本步驟可以與圖2所示步驟203完全相同，這里不再重復。
[0099] 步驟306,去除虛假目標位置框。
[0100] 本步驟就是對新增目標位置框進行過濾，去除環(huán)境中運動物體造成的虛假目標位 置框，并將前景圖中虛假目標位置框對應的輪廓圖去除。
[0101] 例如：對道路上的行人和交通工具進行視頻跟蹤的情況下，如果當前幀中有被風 吹動的樹葉，或者當前幀中的道路上有積水或道路某側有河流，則會有水流動或被風吹動 產(chǎn)生的波紋，這些樹葉和波紋也是運動目標，在建立新增目標位置框時，有可能被建立了虛 假的目標位置框。
[0102] 在過濾時，可以通過一些預設的算法來去除這些虛假的目標位置框。例如，可以通 過目標位置框的面積與要跟蹤的行人和交通工具在視頻上可能占的面積，去除一些微小的 水的波紋的虛假位置框?；蛘撸ㄟ^目標位置框的面積和位置框中和框外的顏色是否都是 綠色來去除一些樹葉的虛假位置框等等。具體地，本領域技術人員能夠采用現(xiàn)有技術的算 法來實現(xiàn)。
[0103] 步驟307,將各個新增的目標位置框，確定為跟蹤目標的位置框，保存至跟蹤結果 中。
[0104] 本步驟可以與與圖2所示步驟204完全相同，這里不再重復。
[0105]步驟308,判斷上一頓跟蹤結果中，是否包含跟蹤目標的位置框，如果是，則執(zhí)行步 驟309 ;否則執(zhí)行步驟314。
[0106] 步驟309,針對上一幀，在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點； 對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點。 '
[0107] 本步驟與圖2所示步驟206完全相同，這里不再重復。
[0108] 步驟310,去除不屬于前景的跟蹤特征點。
[0109]本步驟就是根據(jù)上一幀的前景圖，將跟蹤特征點與各個跟蹤目標的輪廓圖相重 合，如果出現(xiàn)位于輪廓圖外的跟蹤特征點，則這些跟蹤特征點就是不屬于前景的跟蹤特征 點，在本步驟中被去除。通過本步驟，進一步提高跟蹤的精確度。
[0110] 步驟311?步驟314,與圖2所示步驟207?210,這里不再重復。
[0111]參見圖4,圖4為根據(jù)本發(fā)明實施例的一種視頻多目標跟蹤的裝置的結構示意圖， 該裝置可以與圖1所示實施例相對應，包括：當前幀獲取單元401、上一幀跟蹤特征點確定 單元402、當前幀特征點推算單元403、跟蹤結果生成單元404和跟蹤結果輸出單元405。 [0 112]其中，所述當前幀獲取單元401，獲取視頻數(shù)據(jù)的當前幀。
[0113]所述上一幀跟蹤特征點確定單元402,當上一幀跟蹤結果中包含跟蹤目標的位置 框時，針對上一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有 跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點，并記錄對應關系 和各個跟蹤特征點的位置。
[0114]所述當前幀特征點推算單元403,根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推 算出上一幀中各個跟蹤特征點在當前幀的位置信息。
[0115]所述跟蹤結果生成單元404,根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息 和記錄的上一幀的所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤 結果中。
[0116]所述跟蹤結果輸出單元405,輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀 確定為當前幀，將該幀返回給當前幀獲取單元，實現(xiàn)多目標跟蹤。
[0117]參見圖5,圖5為根據(jù)本發(fā)明實施例的另一種視頻多目標跟蹤的裝置的結構示意 圖，該裝置可以與圖3所示實施例相對應，包括：當前幀獲取單元510、上一幀跟蹤特征點確 定單元520、當前幀特征點推算單元530、跟蹤結果生成單元540、跟蹤結果輸出單元550和 新增目標跟蹤單元560。
[0118] 本實施例中，當前幀獲取單元510，獲取到視頻數(shù)據(jù)的當前幀后，發(fā)送至新增目標 跟蹤單元560。
[0119] 所述新增目標跟蹤單兀560包括：目標位置框建立子單元561、新增目標位置框確 定子單元562和新增目標跟蹤結果保存子單元563。
[0120]所述目標位置框建立子單元561，在獲取視頻數(shù)據(jù)的當前幀后，對其中的運動目標 建立當前幀的目標位置框。
[0121]所述新增目標位置框確定子單元562,將當前幀的目標位置框與上一幀的跟蹤結 果進行比較，確定是否有新增目標位置框。
[0122] 所述新增目標跟蹤結果保存子單元503,當確定當前幀中有新增目標位置框時，進 一步將各個新增的目標位置框，確定為跟蹤目標的位置框，保存至跟蹤結果中；并確定上一 幀跟蹤結果中是否包含跟蹤目標的位置框。
[0123] 所述上一幀跟蹤特征點確定單元520,當上一幀跟蹤結果中包含跟蹤目標的位置 框時，針對上一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有 跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點，并記錄對應關系 和各個跟蹤特征點的位置。
[0124] 本實施例中，所述跟蹤結果可以包含各個跟蹤目標的位置框列表，每個跟蹤目標 的位置框列表中存儲了該跟蹤目標在每一幀的位置框。
[0125]另外，本實施例中的新增目標位置框確定子單元562，可以包括重合度獲得子單元 和確定新子單元（圖5中未示出）。所述重合度獲得子單元，將當前幀的各個目標位置框分 別與上一幀的跟蹤結果中各個跟蹤目標的位置框相交，分別獲得當前幀的各個目標位置框 與上一幀的跟蹤結果中各個跟蹤目標的位置框的重合度。所述確定子單元，根據(jù)重合度是 否滿足預設條件，確定各個目標位置框是否屬于上一幀的跟蹤結果中各個跟蹤目標，不屬 于上一幀的跟蹤結果中各個跟蹤目標的目標位置框為新增的目標位置框。
[0126] 再有，本實施例中的所述目標位置框建立子單元561，可以包括去除背景子單元和 建立子單元（圖5中未示出）。所述去除背景子單元，對當前幀中的各個運動目標畫出各個 運動目標的輪廓圖；將各個輪廓圖之外的圖像，作為背景圖像去除；將去除了背景圖像后 的圖像，確定為當前幀的前景圖并保存。所述建立子單元，在當前幀的前景圖上，對各個運 動目標建立當前幀的目標位置框。
[0127] 還有，本實例中的所述新增目標位置框確定子單元562，還可以進一步對新增目標 位置框進行過濾，去除環(huán)境中運動物體造成的虛假目標位置框，并將前景圖中虛假目標位 置框對應的輪廓圖去除。
[0128] 如圖5所示，本實施例的上一幀跟蹤特征點確定單元520,當上一幀跟蹤結果中包 含跟蹤目標的位置框時，針對上一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一 個特征點；對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點， 并記錄對應關系和各個跟蹤特征點的位置。
[0129] 實際應用中，本實施例的上一幀跟蹤特征點確定單元520,在確定每個跟蹤目標的 位置框分別對應的跟蹤特征點前，可以進一步根據(jù)上一幀的前景圖，去除不屬于前景的跟 蹤特征點。
[0130]圖5中的當前幀特征點推算單元530包括：光流法推算子單元531和去除子單元 532。
[0131]所述光流法推算子單元531，根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光 流法，推算出上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可 信度。
[0132] 所述去除子單元531，將可信度不滿足預設條件的跟蹤特征點去除。
[0133] 本實施例中的跟蹤結果生成單元540和跟蹤結果輸出單元550可以分別與圖4中 的跟蹤結果生成單元404和跟蹤結果輸出單元405相同，這里不再重復。
[0134] 由上述的實施例可見，本發(fā)明實施例提供的這種視頻多目標跟蹤方法及裝置，與 現(xiàn)有技術實時跟蹤的每秒30幀的情況相比，效果非常明顯，大幅提升了跟蹤的處理速度、 效率和精確度，在標清視頻上可以最快處理120幀每秒，同時擴大了跟蹤算法在實際應用 的范圍，能夠處理更加復雜的視頻場景。可見，本發(fā)明實施例提供的這種視頻多目標跟蹤方 法及裝置，可以說是一種超實時的多目標跟蹤技術，可以簡稱為"ZTrack"。
[0135] 本發(fā)明實施例中某一裝置具體可以由**芯片或實體實現(xiàn)，或者由具有某種功能 的產(chǎn)品來實現(xiàn)。
[0136] 為了描述的方便，描述以上裝置是以功能分為各種單元分別描述。當然，在實施本 發(fā)明時可以把各單元的功能在同一個或多個軟件和/或硬件中實現(xiàn)。
[0137] 通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本發(fā)明可 借助軟件加必需的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本發(fā)明的技術方案本質(zhì) 上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品 可以存儲在存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設備 (可以是個人計算機，服務器，或者網(wǎng)絡設備等）執(zhí)行本發(fā)明各個實施例或者實施例的某些 部分所述的方法。 +
[0138] 需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實 體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存 在任何這種實際的關系或者順序。而且，術語"包括"、"包含"或者其任何其他變體意在涵 蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要 素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備 所固有的要素。在沒有更多限制的情況下，由語句"包括一個……"限定的要素，并不排除 在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
[0139]本說明書中的各個實施例均采用相關的方式描述，各個實施例之間相同相似的部 分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統(tǒng)實 施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關之處參見方法實施例 的部分說明即可。
[0140]本發(fā)明可用于眾多通用或專用的計算系統(tǒng)環(huán)境或配置中。例如：個人計算機、服務 器計算機、手持設備或便攜式設備、平板型設備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、置頂 盒、可編程的消費電子設備、網(wǎng)絡PC、小型計算機、大型計算機、包括以上任何系統(tǒng)或設備的 分布式計算環(huán)境等等。
[0141]本發(fā)明可以在由計算機執(zhí)行的計算機可執(zhí)行指令的一般上下文中描述，例如程序 模塊。一般地，程序模塊包括執(zhí)行特定任務或實現(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組 件、數(shù)據(jù)結構等等。也可以在分布式計算環(huán)境中實踐本發(fā)明，在這些分布式計算環(huán)境中，由 通過通信網(wǎng)絡而被連接的遠程處理設備來執(zhí)行任務。在分布式計算環(huán)境中，程序模塊可以 位于包括存儲設備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。
[0142]以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在 本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進等，均包含在本發(fā)明的保護范圍 內(nèi)。
【權利要求】
1. 一種視頻多目標跟蹤的方法，其特征在于，包括步驟： 獲取視頻數(shù)據(jù)的當前幀； 當上一巾貞跟蹤結果中包含跟蹤目標的位置框時，針對上一巾貞，執(zhí)行：在整體圖像上分布 密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標的位置框，確定每個跟蹤目標的位置 框分別對應的跟蹤特征點，并記錄對應關系和各個跟蹤特征點的位置； 根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤特征點在當前 幀的位置信息； 根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一幀的所述對應關系， 生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中； 輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為當前幀，循環(huán)執(zhí)行上述處 理，實現(xiàn)多目標跟蹤。
2. 根據(jù)權利要求1所述的方法，其特征在于： 在獲取視頻數(shù)據(jù)的當前幀后，進一步對其中的運動目標建立當前幀的目標位置框； 將當前幀的目標位置框與上一幀的跟蹤結果進行比較，確定是否有新增目標位置框； 當確定當前幀中有新增目標位置框時，進一步將各個新增的目標位置框，確定為跟蹤 目標的位置框，保存至跟蹤結果中；并確定上一幀跟蹤結果中是否包含跟蹤目標的位置框。
3. 根據(jù)權利要求2所述的方法，其特征在于：所述跟蹤結果包含各個跟蹤目標的位置 框列表，每個跟蹤目標的位置框列表中存儲了該跟蹤目標在每一幀的位置框； 所述將當前幀的目標位置框與上一幀的跟蹤結果進行比較，確定是否有新增目標位置 框，包括： 將當前幀的各個目標位置框分別與上一幀的跟蹤結果中各個跟蹤目標的位置框相交， 分別獲得當前幀的各個目標位置框與上一幀的跟蹤結果中各個跟蹤目標的位置框的重合 度，根據(jù)重合度是否滿足預設條件，確定各個目標位置框是否屬于上一幀的跟蹤結果中各 個跟蹤目標，不屬于上一幀的跟蹤結果中各個跟蹤目標的目標位置框為新增的目標位置 框。
4. 根據(jù)權利要求2所述的方法，其特征在于：對其中的運動目標建立當前幀的目標位 置框，包括： 通過背景建模先對當前幀中的各個運動目標畫出各個運動目標的輪廓圖；將各個輪廓 圖之外的圖像，作為背景圖像去除；將去除了背景圖像后的圖像，確定為當前幀的前景圖并 保存； 在當前幀的前景圖上，對各個運動目標建立當前幀的目標位置框； 當確定當前幀中有新增目標位置框時，進一步對新增目標位置框進行過濾，去除環(huán)境 中運動物體造成的虛假目標位置框，并將前景圖中虛假目標位置框對應的輪廓圖去除； 在所述針對上一幀，對所有跟蹤目標的位置框，確定每個跟蹤目標的位置框分別對應 的跟蹤特征點前，進一步根據(jù)上一幀的前景圖，去除不屬于前景的跟蹤特征點。
5. 根據(jù)權利要求1-4任一項所述的方法，其特征在于： 所述根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀中各個跟蹤特征點在 當前幀的位置信息，為：根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光流法，推算出 上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可信度； 將可信度不滿足預設條件的跟蹤特征點去除。
6· -種視頻多目標跟蹤的裝置，其特征在于，包括： 當前幀獲取單元，獲取視頻數(shù)據(jù)的當前幀； 上一幀跟蹤特征點確定單元，當上一幀跟蹤結果中包含跟蹤目標的位置框時，針對上 一幀，執(zhí)行：在整體圖像上分布密集網(wǎng)格，每個網(wǎng)格對應一個特征點；對所有跟蹤目標的位 置框，確定每個跟蹤目標的位置框分別對應的跟蹤特征點，并記錄對應關系和各個跟蹤特 征點的位置； 當前幀特征點推算單元，根據(jù)記錄的上一幀中各個跟蹤特征點的位置，推算出上一幀 中各個跟蹤特征點在當前幀的位置信息； 跟蹤結果生成單元，根據(jù)推算出的各個跟蹤特征點在當前幀的位置信息和記錄的上一 幀的所述對應關系，生成當前幀中各個跟蹤目標的位置框，分別保存至跟蹤結果中； 跟蹤結果輸出單元，輸出當前幀中各個跟蹤結果后，將視頻數(shù)據(jù)的下一幀確定為當前 幀，將該幀返回給當前幀獲取單元，實現(xiàn)多目標跟蹤。
7. 根據(jù)權利要求6所述的裝置，其特征在于:還包括新增目標跟蹤單元； 所述新增目標跟蹤單元包括：目標位置框建立子單元、新增目標位置框確定子單元和 新增目標跟蹤結果保存子單元； 所述目標位置框建立子單元，在獲取視頻數(shù)據(jù)的當前幀后，對其中的運動目標建立當 前中貞的目標位置框； 所述新增目標位置框確定子單元，將當前幀的目標位置框與上一幀的跟蹤結果進行比 較，確定是否有新增目標位置框； 所述新增目標跟蹤結果保存子單元，當確定當前幀中有新增目標位置框時，進一步將 各個新增的目標位置框，確定為跟蹤目標的位置框，保存至跟蹤結果中，并確定上一幀跟蹤 結果中是否包含跟蹤目標的位置框。
8. 根據(jù)權利要求7所述的裝置，其特征在于：所述跟蹤結果包含各個跟蹤目標的位置 框列表，每個跟蹤目標的位置框列表中存儲了該跟蹤目標在每一幀的位置框； 新增目標位置框確定子單元，包括重合度獲得子單元和確定新子單元； 所述重合度獲得子單元，將當前幀的各個目標位置框分別與上一幀的跟蹤結果中各個 跟蹤目標的位置框相交，分別獲得當前幀的各個目標位置框與上一幀的跟蹤結果中各個跟 蹤目標的位置框的重合度； 所述確定子單元，根據(jù)重合度是否滿足預設條件，確定各個目標位置框是否屬于上一 幀的跟蹤結果中各個跟蹤目標，不屬于上一幀的跟蹤結果中各個跟蹤目標的目標位置框為 新增的目標位置框。
9. 根據(jù)權利要求7所述的裝置，其特征在于： 所述目標位置框建立子單元，包括去除背景子單元和建立子單元；所述去除背景子單 元，對當前幀中的各個運動目標畫出各個運動目標的輪廓圖；將各個輪廓圖之外的圖像，作 為背景圖像去除；將去除了背景圖像后的圖像，確定為當前幀的前景圖并保存；所述建立 子單元，在當前幀的前景圖上，對各個運動目標建立當前幀的目標位置框； 所述新增目標位置框確定子單元，進一步對新增目標位置框進行過濾，去除環(huán)境中運 動物體造成的虛假目標位置框，并將前景圖中虛假目標位置框對應的輪廓圖去除； 所述上一幀跟蹤特征點確定單元，在確定每個跟蹤目標的位置框分別對應的跟蹤特征 點前，進一步根據(jù)上一幀的前景圖，去除不屬于前景的跟蹤特征點。
10.根據(jù)權利要求6-9任一項所述的裝置，其特征在于： 所述當前幀特征點推算單元，包括光流法推算子單元和去除子單元；一 所述光流法推算子單元，根據(jù)記錄的上一幀中各個跟蹤特征點的位置，采用光流法，推 算出上一幀中各個跟蹤特征點在當前幀的位置信息，并給出各個跟蹤特征點的可信度； 所述去除子單元，將可信度不滿足預設條件的跟蹤特征點去除。
【文檔編號】G06T7/00GK104217417SQ201310214114
【公開日】2014年12月17日 申請日期:2013年5月31日 優(yōu)先權日:2013年5月31日
【發(fā)明者】張偉偉 申請人:張偉偉