一種基于層次超圖優(yōu)化的多目標(biāo)跟蹤方法
【專利摘要】本發(fā)明公開了一種多目標(biāo)跟蹤方法，包括：S1.將視頻在時(shí)間域上劃分為時(shí)間段，并對(duì)每段視頻幀進(jìn)行目標(biāo)檢測(cè)，并將檢測(cè)結(jié)果作為疑似目標(biāo)區(qū)域；S2.將步驟S1獲得的各疑似目標(biāo)區(qū)域的位置作為頂點(diǎn)；否則，將每個(gè)時(shí)間段內(nèi)的局部軌跡作為頂點(diǎn)，它們之間的關(guān)系作為邊，建立局部軌跡的姻親關(guān)系圖；S3.在姻親關(guān)系圖中搜索得到多個(gè)密集近鄰類，將屬于一個(gè)密集近鄰類的局部軌跡作為屬于同一個(gè)目標(biāo)的局部軌跡；S4.將屬于同一個(gè)時(shí)間段的單位時(shí)間段聚合為若干個(gè)新的單位時(shí)間段，對(duì)同一新的單位時(shí)間段中的屬于同一密集近鄰類的局部軌跡合并形成合并軌跡；S5.判斷單個(gè)時(shí)間段是否已跨越整個(gè)跟蹤的時(shí)間域，若是，則將當(dāng)前獲得的合并軌跡作為監(jiān)控目標(biāo)的跟蹤軌跡，否則，則返回步驟S2。
【專利說(shuō)明】—種基于層次超圖優(yōu)化的多目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理、模式識(shí)別以及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于層次超圖優(yōu)化的多目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002]多目標(biāo)跟蹤在計(jì)算機(jī)視覺領(lǐng)域是個(gè)重要但困難的問題。現(xiàn)有的跟蹤方法盡管在不同程度上部分解決了跟蹤難點(diǎn)，其在實(shí)際應(yīng)用中的性能往往很難令人滿意。最近，由于物體檢測(cè)技術(shù)的飛速發(fā)展，基于數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤方法逐漸占據(jù)主流。給定每一幀圖像的目標(biāo)檢測(cè)結(jié)果，多目標(biāo)跟蹤問題可以建模為關(guān)聯(lián)不同幀的多個(gè)目標(biāo)檢測(cè)結(jié)果并形成連續(xù)的軌跡的過程。
[0003]在實(shí)際應(yīng)用中，跨時(shí)間域的多個(gè)檢測(cè)結(jié)果之間的關(guān)系(例如其表象或者其所屬軌跡運(yùn)動(dòng)模式的相似性)是非常有效的信息，然而絕大部分已經(jīng)提出的基于數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤方法并沒有考慮這個(gè)信息?，F(xiàn)存的方法主要分為兩大類，一類是只考慮在有限的局部時(shí)間域的檢測(cè)結(jié)果之間的關(guān)系，這一類方法無(wú)法解決目標(biāo)被長(zhǎng)時(shí)間遮擋或者場(chǎng)景中出現(xiàn)近距離且具有相似表象和運(yùn)動(dòng)方式的目標(biāo)所帶來(lái)的跟蹤錯(cuò)誤，因此此類方法的跟蹤性能很難得到保障，尤其是在具有挑戰(zhàn)性的密集場(chǎng)景中并不適用；另一類方法雖然考慮了跨時(shí)間域的多個(gè)檢測(cè)結(jié)果之間的關(guān)系這一信息，但是由于它們往往要求目標(biāo)的檢測(cè)結(jié)果在視頻中每一幀都要出現(xiàn)，因此在沒有目標(biāo)檢測(cè)結(jié)果的幀中，其利用簡(jiǎn)易的方式估計(jì)出目標(biāo)的位置，造成了這類方法對(duì)具有相似表象且做非線性運(yùn)動(dòng)目標(biāo)的跟蹤并不魯棒。因此，綜上所述，如上文提到的兩類方法在一些有限制條件的場(chǎng)景下性能較好，但是對(duì)于一般實(shí)際應(yīng)用的非限制條件場(chǎng)景下，其性能不甚理想，因此考慮跨時(shí)間域的多個(gè)檢測(cè)結(jié)果之間的關(guān)系勢(shì)在必行。

【發(fā)明內(nèi)容】

[0004](一 )要解決的技術(shù)問題
[0005]本發(fā)明所要解決的技術(shù)問題是當(dāng)前的多目標(biāo)跟蹤方法不能處理長(zhǎng)時(shí)間的遮擋問題并且不能有效地鑒別空間位置臨近的表象相似的目標(biāo)的問題。
[0006]( 二 )技術(shù)方案
[0007]為解決上述技術(shù)問題，本發(fā)明提出一種多目標(biāo)跟蹤方法，用于對(duì)視頻中的監(jiān)控目標(biāo)進(jìn)行跟蹤，所述視頻包括多個(gè)視頻巾貞，包括如下步驟:
[0008]S1、將所述視頻在時(shí)間域上劃分為至少兩個(gè)時(shí)間段，如果之前未進(jìn)行過檢測(cè)結(jié)果聚類，則將每個(gè)視頻幀作為單位時(shí)間段，并對(duì)每段視頻幀進(jìn)行目標(biāo)檢測(cè)，以對(duì)各個(gè)視頻幀中可能是監(jiān)控目標(biāo)的區(qū)域使用目標(biāo)檢測(cè)器進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果作為疑似目標(biāo)區(qū)域；否則，將S4得到的單位時(shí)間段作為新的單位時(shí)間段；
[0009]S2、如果之前未進(jìn)行過檢測(cè)結(jié)果聚類，將步驟SI獲得的各疑似目標(biāo)區(qū)域的位置作為頂點(diǎn)；否則，將每個(gè)單位時(shí)間段內(nèi)的局部軌跡作為頂點(diǎn)，它們之間的關(guān)系作為邊，建立局部軌跡的姻親關(guān)系圖；[0010]S3、在所述姻親關(guān)系圖中搜索得到多個(gè)密集近鄰類，將屬于一個(gè)密集近鄰類的局部軌跡作為屬于同一個(gè)目標(biāo)的局部軌跡；
[0011]S4、將所述屬于同一個(gè)時(shí)間段的單位時(shí)間段聚合為若干個(gè)新的單位時(shí)間段，根據(jù)聚類結(jié)果，對(duì)同一新的單位時(shí)間段中的屬于同一密集近鄰類的局部軌跡合并形成合并軌跡；
[0012]S5、判斷上述的單個(gè)時(shí)間段是否已跨越整個(gè)跟蹤的時(shí)間域，若是，則將當(dāng)前獲得的合并軌跡作為監(jiān)控目標(biāo)的跟蹤軌跡，否則，則返回步驟S2。
[0013]一種優(yōu)選實(shí)施方式是，在所述步驟S3中，對(duì)于每個(gè)時(shí)間段里面的局部軌跡段，以其為頂點(diǎn)，建模多個(gè)頂點(diǎn)之間的關(guān)系，從而建立起檢測(cè)框之間的姻親關(guān)系圖，進(jìn)而在這個(gè)姻親關(guān)系圖中搜索得到多個(gè)密集的近鄰類，而屬于這個(gè)密集近鄰的點(diǎn)則是屬于同一個(gè)目標(biāo)的局部軌跡段，將屬于同一密集近鄰的局部軌跡段合并形成更長(zhǎng)的更有局部軌跡段。
[0014]一種優(yōu)選實(shí)施方式是，在所述步驟S4中，使用由粗到精的層次方式，不斷的將較短的目標(biāo)軌跡產(chǎn)生形成較長(zhǎng)的軌跡。
[0015]一種優(yōu)選實(shí)施方式是，在所述步驟S5中，若在這一層中，僅僅只有一個(gè)時(shí)間域了，并且其跨越了整個(gè)時(shí)間段，進(jìn)而在這個(gè)最終的時(shí)間域劃分中進(jìn)行同樣的建立姻親關(guān)系圖并進(jìn)行密集近鄰搜索獲得最終的最優(yōu)目標(biāo)軌跡結(jié)果，則跟蹤完成。
[0016](三)有益效果
[0017]本發(fā)明使用由粗到精的層次方式，不斷的將較短的目標(biāo)軌跡產(chǎn)生形成較長(zhǎng)的軌跡，不僅僅可靠度高而且計(jì)算量大大減小。
[0018]本發(fā)明采用跨時(shí)域多點(diǎn)之間的關(guān)系建立一個(gè)目標(biāo)姻親關(guān)系超圖，這樣包含于局部軌跡中的物理限制信息和運(yùn)動(dòng)信息都能被充分的利用。
【專利附圖】

【附圖說(shuō)明】
[0019]圖1是本發(fā)明的多目標(biāo)跟蹤方法的流程圖；
[0020]圖2是本發(fā)明中的姻親關(guān)系圖和密集近鄰類的示意圖；
[0021]圖3是本發(fā)明中逐層合并時(shí)間段得到合并軌跡的示意圖。
【具體實(shí)施方式】
[0022]本發(fā)明主要提出一種基于層次關(guān)系超圖優(yōu)化的多目標(biāo)跟蹤方法。通過考慮跨時(shí)間域的多個(gè)檢測(cè)結(jié)果之間的關(guān)系這一信息，能夠在事先不知道目標(biāo)數(shù)目的條件下，通過數(shù)據(jù)關(guān)聯(lián)的方法將一個(gè)全局時(shí)間域的檢測(cè)結(jié)果關(guān)聯(lián)起形成目標(biāo)軌跡，從而完成多目標(biāo)跟蹤的任務(wù)。
[0023]本發(fā)明提出將多目標(biāo)跟蹤的任務(wù)視為在姻親關(guān)系(Affinity)圖或超圖上用密集近鄰(Dense Neighborhoods)搜索方法進(jìn)行聚類的問題。超圖(Hypergraph)是傳統(tǒng)圖(Pairwise graph)的推廣形式，即是圖中邊由多個(gè)頂點(diǎn)組成,而不是僅僅兩個(gè)點(diǎn)組成的圖。以下我們將傳統(tǒng)的圖和超圖統(tǒng)一稱為“圖”。姻親關(guān)系圖描述了不同幀(時(shí)間域)中的疑似目標(biāo)區(qū)域(目標(biāo)局部軌跡)屬于同一個(gè)監(jiān)控目標(biāo)的概率，同一監(jiān)控目標(biāo)在不同幀(時(shí)間域)的疑似目標(biāo)區(qū)域在此姻親關(guān)系圖中聚集在一個(gè)密集近鄰區(qū)域。
[0024]與現(xiàn)有的方法不同的是，本發(fā)明考慮了監(jiān)控視頻的整個(gè)時(shí)間域上的疑似目標(biāo)區(qū)域之間的關(guān)聯(lián)。由于監(jiān)控目標(biāo)的表象和運(yùn)動(dòng)模式往往變化很迅速，從而使得同時(shí)處理全部疑似目標(biāo)區(qū)域變得非常困難。因此，本發(fā)明采用“局部到全局”的策略對(duì)疑似目標(biāo)區(qū)域進(jìn)行層次聚類。
[0025]總的來(lái)說(shuō)，首先，本發(fā)明將監(jiān)控視頻在時(shí)間域上分割成若干個(gè)時(shí)間段，在每個(gè)時(shí)間段里對(duì)疑似目標(biāo)區(qū)域(目標(biāo)局部軌跡)的姻親關(guān)系圖進(jìn)行密集近鄰(DenseNeighborhoods)搜索從而構(gòu)建多個(gè)局部軌跡；然后將相鄰的若干時(shí)間段合并形成新的時(shí)間段劃分作為新的一層；以上兩步迭代進(jìn)行直到在一層中只有唯一的部分(即整個(gè)完整的視頻跨度)為止，根據(jù)最后一次的密集近鄰搜索得到的聚類結(jié)果可以得到最終的目標(biāo)軌跡。
[0026]以下通過具體實(shí)施例詳細(xì)描述本發(fā)明，實(shí)施例不作為對(duì)本發(fā)明的保護(hù)范圍的限制。
[0027]圖1是本發(fā)明的多目標(biāo)跟蹤方法的流程圖。所圖1所示，本發(fā)明的多目標(biāo)跟蹤方法包括如下步驟:
[0028]S1、將所述視頻在時(shí)間域上劃分為至少兩個(gè)時(shí)間段，如果之前未進(jìn)行過目標(biāo)檢測(cè)結(jié)果聚類，則將每個(gè)視頻幀作為單位時(shí)間段，并對(duì)每段視頻幀進(jìn)行目標(biāo)檢測(cè)，以對(duì)各個(gè)視頻幀中可能是監(jiān)控目標(biāo)的區(qū)域使用目標(biāo)檢測(cè)器進(jìn)行檢測(cè)，作為疑似目標(biāo)區(qū)域；否則，將S4得到的單位時(shí)間段作為新的單位時(shí)間段。
[0029]在對(duì)視頻進(jìn)行目標(biāo)檢測(cè)時(shí)，我們使用了現(xiàn)有的行人檢測(cè)器提供的檢測(cè)結(jié)果。任何行人檢測(cè)器均可以在這里使用。
[0030]S2、如果之前未進(jìn)行過檢測(cè)結(jié)果聚類，將步驟SI獲得的各疑似目標(biāo)區(qū)域的位置(被視為退.化的局部軌跡)作為頂點(diǎn)；否則，將每個(gè)單位時(shí)間段內(nèi)的局部軌跡作為頂點(diǎn)，它們之間的關(guān)系作為邊，建立局部軌跡的姻親關(guān)系圖。
[0031]姻親關(guān)系圖是指一個(gè)時(shí)間段內(nèi)的局部軌跡兩兩之間的姻親關(guān)系的集合。姻親關(guān)系圖中姻親關(guān)系值的計(jì)算在本發(fā)明中起到了至關(guān)重要的作用，體現(xiàn)了局部軌跡屬于同一個(gè)監(jiān)控目標(biāo)的概率。姻親關(guān)系圖是一個(gè)全圖，它的頂點(diǎn)代表一個(gè)時(shí)間段內(nèi)的局部軌跡(或者為目標(biāo)檢測(cè)結(jié)果)，邊的權(quán)重代表姻親關(guān)系值即是兩者為同一目標(biāo)的相似度值。
[0032]對(duì)于任意的一個(gè)時(shí)間段，我們構(gòu)建一個(gè)姻親關(guān)系圖G=(V，E):G為用來(lái)描述不同局部軌跡之間的關(guān)系的全圖。V=Iv1,...，vn}是圖的節(jié)點(diǎn)集合。E是圖的邊/超邊集合，即
m是邊/超邊中的頂點(diǎn)的數(shù)目。我們用粗體符號(hào)
【權(quán)利要求】
1.一種多目標(biāo)跟蹤方法，用于對(duì)視頻中的監(jiān)控目標(biāo)進(jìn)行跟蹤，所述視頻包括多個(gè)視頻幀，其特征在于，包括如下步驟: 51、將所述視頻在時(shí)間域上劃分為至少兩個(gè)時(shí)間段，如果之前未進(jìn)行過檢測(cè)結(jié)果聚類，則將每個(gè)視頻幀作為單位時(shí)間段，并對(duì)每段視頻幀進(jìn)行目標(biāo)檢測(cè)，以對(duì)各個(gè)視頻幀中可能是監(jiān)控目標(biāo)的區(qū)域使用目標(biāo)檢測(cè)器進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果作為疑似目標(biāo)區(qū)域；否則，將S4得到的單位時(shí)間段作為新的單位時(shí)間段； 52、如果之前未進(jìn)行過檢測(cè)結(jié)果聚類，將步驟SI獲得的各疑似目標(biāo)區(qū)域的位置作為頂點(diǎn)；否則，將每個(gè)單位時(shí)間段內(nèi)的局部軌跡作為頂點(diǎn)，它們之間的關(guān)系作為邊，建立局部軌跡的姻親關(guān)系圖； 53、在所述姻親關(guān)系圖中搜索得到多個(gè)密集近鄰類，將屬于一個(gè)密集近鄰類的局部軌跡作為屬于同一個(gè)目標(biāo)的局部軌跡； 54、將所述屬于同一個(gè)時(shí)間段的單位時(shí)間段聚合為若干個(gè)新的單位時(shí)間段，根據(jù)聚類結(jié)果，對(duì)同一新的單位時(shí)間段中的屬于同一密集近鄰類的局部軌跡合并形成合并軌跡； 55、判斷上述的單個(gè)時(shí)間段是否已跨越整個(gè)跟蹤的時(shí)間域，若是，則將當(dāng)前獲得的合并軌跡作為監(jiān)控目標(biāo)的跟蹤軌跡，否則，則返回步驟S2。
2.如權(quán)利要求1所述的多目標(biāo)跟蹤方法，其特征在于，在所述步驟S3中，對(duì)于每個(gè)時(shí)間段里面的局部軌跡段，以其為頂點(diǎn)，建模多個(gè)頂點(diǎn)之間的關(guān)系，從而建立起檢測(cè)框之間的姻親關(guān)系圖，進(jìn)而在這個(gè)姻親關(guān)系圖中搜索得到多個(gè)密集的近鄰類，而屬于這個(gè)密集近鄰的點(diǎn)則是屬于同一個(gè)目標(biāo)的局部軌跡段，將屬于同一密集近鄰的局部軌跡段合并形成更長(zhǎng)的更有局部軌跡段。
3.如權(quán)利要求1所述的多目標(biāo)跟蹤方法，其特征在于，在所述步驟S4中，使用由粗到精的層次方式，不斷的將較短的目標(biāo)軌跡產(chǎn)生形成較長(zhǎng)的軌跡。
4.如權(quán)利要求1所述的多目標(biāo)跟蹤方法，其特征在于，在所述步驟S5中，若在這一層中，僅僅只有一個(gè)時(shí)間域了，并且其跨越了整個(gè)時(shí)間段，進(jìn)而在這個(gè)最終的時(shí)間域劃分中進(jìn)行同樣的建立姻親關(guān)系圖并進(jìn)行密集近鄰搜索獲得最終的最優(yōu)目標(biāo)軌跡結(jié)果，則跟蹤完成。
【文檔編號(hào)】G06T7/20GK103778647SQ201410051041
【公開日】2014年5月7日 申請(qǐng)日期:2014年2月14日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】李子青, 雷震, 易東, 文瓏銀 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所