一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法
【專利摘要】本發(fā)明公開一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法，設(shè)計(jì)多級關(guān)聯(lián)機(jī)制，通過逐級提取目標(biāo)的多種靜態(tài)特征和動(dòng)態(tài)特征，以及在不同關(guān)聯(lián)等級形成不同的目標(biāo)親和距離模型，從而充分綜合目標(biāo)的多種特征進(jìn)行數(shù)據(jù)關(guān)聯(lián)，提高了關(guān)聯(lián)的精確度；同時(shí)，基于數(shù)據(jù)關(guān)聯(lián)結(jié)果，在同一圖像背景中，逐級將相匹配的目標(biāo)中心點(diǎn)連接，并不斷將所得軌跡片段向兩端擴(kuò)展，最終獲得各個(gè)目標(biāo)的完整運(yùn)動(dòng)軌跡。本發(fā)明通過分級提取目標(biāo)的多種簡單特征，可靠、快速地實(shí)現(xiàn)了單攝像機(jī)視頻中的多目標(biāo)關(guān)聯(lián)與軌跡生成，且計(jì)算量極小。
【專利說明】一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻監(jiān)控及計(jì)算機(jī)視覺【技術(shù)領(lǐng)域】，尤其涉及一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法。
【背景技術(shù)】
[0002]目前，視頻監(jiān)控技術(shù)在公共安全、智能交通、工業(yè)過程等眾多監(jiān)測監(jiān)控中得到了廣泛應(yīng)用，其中，獲取視頻圖像中的目標(biāo)軌跡，以便進(jìn)一步分析目標(biāo)運(yùn)動(dòng)行為，成為了眾多研究者關(guān)注的焦點(diǎn)。
[0003]在通過跟蹤的方式獲取目標(biāo)軌跡的過程中，比較著名的均值漂移、粒子濾波、卡爾曼濾波等方法均存在算法復(fù)雜、計(jì)算量大的問題，因此僅適合于獲取單目標(biāo)軌跡，當(dāng)將其應(yīng)用于多目標(biāo)軌跡獲取時(shí)會速度變慢，不能滿足視頻監(jiān)控的實(shí)時(shí)性要求。
[0004]相對上述算法，數(shù)據(jù)關(guān)聯(lián)的方法通過提取目標(biāo)特征，對視頻圖像中的目標(biāo)檢測結(jié)果進(jìn)行關(guān)聯(lián)匹配，并將最佳匹配結(jié)果相連，從而獲得目標(biāo)軌跡。該方法運(yùn)算簡單，計(jì)算量較小，但生成的目標(biāo)軌跡往往不夠準(zhǔn)確，不能滿足視頻監(jiān)控的精確度要求。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是基于單攝像機(jī)場景中獲取多目標(biāo)軌跡的需求，針對【背景技術(shù)】中的缺陷，提出一種計(jì)算量較小、目標(biāo)軌跡精確度高、圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法。
[0006]本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案:
[0007]—種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法，包括下列步驟:
[0008]步驟I)，對圖像序列中的目標(biāo)進(jìn)行檢測，標(biāo)出每一幀圖像中的目標(biāo)對象；
[0009]步驟2)，設(shè)置用于過濾低親和度組合的第一閾值，對于所有相鄰圖像，將其中一幅圖像中的每一個(gè)目標(biāo)與另一幅圖像中的各個(gè)目標(biāo)進(jìn)行組合，得到所有的相鄰目標(biāo)組合后，計(jì)算各組合中兩個(gè)目標(biāo)中心點(diǎn)的坐標(biāo)距離值，過濾掉相鄰目標(biāo)組合中距離值大于第一閾值的組合；
[0010]步驟3)，對過濾后剩余的所有相鄰目標(biāo)組合進(jìn)行初級關(guān)聯(lián):
[0011]對于每一個(gè)相鄰目標(biāo)組合，計(jì)算其中兩個(gè)目標(biāo)的位置親和度、大小親和度以及顏色親和度，進(jìn)而計(jì)算這兩個(gè)目標(biāo)的親和距離，然后篩選出親和距離小于預(yù)先設(shè)定的第二閾值的組合，并將該組合中的兩個(gè)目標(biāo)連接在一起，得到只有兩個(gè)目標(biāo)節(jié)點(diǎn)的初級軌跡碎片;
[0012]步驟4)，對所得初級軌跡碎片集合以及未被關(guān)聯(lián)的目標(biāo)集合進(jìn)行次級關(guān)聯(lián):
[0013]判斷每一個(gè)初級軌跡碎片兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述初級軌跡碎片的方向向量，以及所述初級軌跡碎片與所述目標(biāo)進(jìn)行匹配時(shí)的匹配向量后，計(jì)算所述初級軌跡碎片與所述目標(biāo)的方向親和度，進(jìn)而計(jì)算出所述初級軌跡碎片和所述存在目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述初級軌跡碎片連接，得到較長的次級軌跡片段；
[0014]步驟5)，對所得次級軌跡片段集合以及未被關(guān)聯(lián)的目標(biāo)集合進(jìn)行三級關(guān)聯(lián):
[0015]判斷每一個(gè)次級軌跡片段兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述次級軌跡片段中目標(biāo)的平均運(yùn)動(dòng)速率，以及所述次級軌跡片段與所述目標(biāo)進(jìn)行匹配時(shí)的匹配運(yùn)動(dòng)速率后，計(jì)算所述次級軌跡片段與所述目標(biāo)的運(yùn)動(dòng)速率親和度，進(jìn)而計(jì)算出所述次級軌跡片段與所述目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述次級軌跡片段連接，得到更長的三級軌跡片段；
[0016]步驟6)，對于所有三級軌跡片段，按照如下方法不斷在其兩端進(jìn)行迭代關(guān)聯(lián)，直到所有圖像中的所有目標(biāo)均被關(guān)聯(lián)，或者所有軌跡片段兩端均不能繼續(xù)匹配到符合要求的目標(biāo):
[0017]判斷軌跡片段兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述軌跡片段中目標(biāo)的平均運(yùn)動(dòng)速率，以及所述軌跡片段與所述目標(biāo)進(jìn)行匹配時(shí)的匹配運(yùn)動(dòng)速率后，計(jì)算所述軌跡片段與所述目標(biāo)的運(yùn)動(dòng)速率親和度，進(jìn)而計(jì)算出所述軌跡片段與所述目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述軌跡片段連接，得到更長的軌跡片段。
[0018]本發(fā)明在數(shù)據(jù)關(guān)聯(lián)過程中，逐級提取目標(biāo)的多種靜態(tài)特征和動(dòng)態(tài)特征，其中的運(yùn)動(dòng)方向特征和運(yùn)動(dòng)速率特征在一般的匹配關(guān)聯(lián)方法中都不能很好的提取和處理，本發(fā)明利用分級關(guān)聯(lián)的方式突破了這一限制，提高了數(shù)據(jù)關(guān)聯(lián)的精確度；此外，本發(fā)明所涉及的多種目標(biāo)特征信息均可通過簡單計(jì)算得到，極大的減小了計(jì)算量，增強(qiáng)了目標(biāo)軌跡生成的實(shí)時(shí)性。
【專利附圖】

【附圖說明】
[0019]圖1是本發(fā)明方法流程圖；
[0020]圖2是初級關(guān)聯(lián)流程圖；
[0021]圖3是次級關(guān)聯(lián)流程圖；
[0022]圖4是三級關(guān)聯(lián)流程圖；
[0023]圖5是多目標(biāo)軌跡生成示意圖。
【具體實(shí)施方式】
[0024]本發(fā)明涉及一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法，通過分級提取目標(biāo)的多種特征，獲得較好的關(guān)聯(lián)匹配結(jié)果；同時(shí)，將相匹配目標(biāo)組合逐級相連，并不斷將所得軌跡片段向兩端擴(kuò)展，最終得到出現(xiàn)在攝像機(jī)監(jiān)控范圍內(nèi)的各個(gè)目標(biāo)的完整運(yùn)動(dòng)軌跡。
[0025]本發(fā)明方法首先對圖像序列中的目標(biāo)做檢測，用矩形框標(biāo)出每一幀圖像中的目標(biāo)對象。由于每幀圖像中均會出現(xiàn)多個(gè)目標(biāo)檢測結(jié)果，假設(shè)t-Ι幀和t幀圖像中分別檢測到η個(gè)和m個(gè)目標(biāo)，則需對這兩幀中檢測到的目標(biāo)一一計(jì)算親和距離值，再進(jìn)行排序，選擇最佳的關(guān)聯(lián)組合，即共需計(jì)算n*m個(gè)親和距離值，如果η和m都很大，其計(jì)算量會變的很大。對此，本發(fā)明方法在進(jìn)行匹配關(guān)聯(lián)之前先對檢測結(jié)果進(jìn)行過濾處理，用計(jì)算量很小的簡單方法去除掉相似度低的目標(biāo)組合。在隨后的初級關(guān)聯(lián)中，本發(fā)明方法提取目標(biāo)的顏色直方圖、目標(biāo)矩形框大小、目標(biāo)矩形框中心點(diǎn)坐標(biāo)、目標(biāo)幀序號等特征信息形成初級目標(biāo)親和距離模型；次級關(guān)聯(lián)中加入了目標(biāo)運(yùn)動(dòng)方向特征形成次級親和距離模型；三級關(guān)聯(lián)中再加入目標(biāo)運(yùn)動(dòng)速率特征形成三級親和距離模型。其中，運(yùn)動(dòng)方向特征和運(yùn)動(dòng)速率特征在一般的匹配關(guān)聯(lián)方法中都不能很好的提取和處理，本發(fā)明方法突破了這一限制。這樣，經(jīng)過多級匹配關(guān)聯(lián)，并將相匹配的目標(biāo)組合連接在一起，最終得到了所有目標(biāo)的運(yùn)動(dòng)軌跡。本發(fā)明方法流程如圖1所不。
[0026]本發(fā)明通過計(jì)算相鄰幀中兩目標(biāo)矩形框中心點(diǎn)坐標(biāo)距離來對目標(biāo)檢測結(jié)果進(jìn)行過濾處理，以極小的計(jì)算量去除相似度低的組合。用公式表示為:
【權(quán)利要求】
1.一種圖像序列目標(biāo)關(guān)聯(lián)及軌跡生成方法，其特征在于包含以下步驟: 步驟I)，對圖像序列中的目標(biāo)進(jìn)行檢測，標(biāo)出每一幀圖像中的目標(biāo)對象； 步驟2)，設(shè)置用于過濾低親和度組合的第一閾值，對于所有相鄰圖像，將其中一幅圖像中的每一個(gè)目標(biāo)與另一幅圖像中的各個(gè)目標(biāo)進(jìn)行組合，得到所有的相鄰目標(biāo)組合后，計(jì)算各組合中兩個(gè)目標(biāo)中心點(diǎn)的坐標(biāo)距離值，過濾掉相鄰目標(biāo)組合中距離值大于第一閾值的組合； 步驟3)，對過濾后剩余的所有相鄰目標(biāo)組合進(jìn)行初級關(guān)聯(lián): 對于每一個(gè)相鄰目標(biāo)組合，計(jì)算其中兩個(gè)目標(biāo)的位置親和度、大小親和度以及顏色親和度，進(jìn)而計(jì)算這兩個(gè)目標(biāo)的親和距離，然后篩選出親和距離小于預(yù)先設(shè)定的第二閾值的組合，并將該組合中的兩個(gè)目標(biāo)連接在一起，得到只有兩個(gè)目標(biāo)節(jié)點(diǎn)的初級軌跡碎片； 步驟4)，對所得初級軌跡碎片集合以及未被關(guān)聯(lián)的目標(biāo)集合進(jìn)行次級關(guān)聯(lián): 判斷每一個(gè)初級軌跡碎片兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述初級軌跡碎片的方向向量，以及所述初級軌跡碎片與所述目標(biāo)進(jìn)行匹配時(shí)的匹配向量后，計(jì)算所述初級軌跡碎片與所述目標(biāo)的方向親和度，進(jìn)而計(jì)算出所述初級軌跡碎片和所述存在目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述初級軌跡碎片連接，得到較長的次級軌跡片段； 步驟5)，對所得次級軌跡片段集合以及未被關(guān)聯(lián)的目標(biāo)集合進(jìn)行三級關(guān)聯(lián): 判斷每一個(gè)次級軌跡片段兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述次級軌跡片段中目標(biāo)的平均運(yùn)動(dòng)速率，以及所述次級軌跡片段與所述目標(biāo)進(jìn)行匹配時(shí)的匹配運(yùn)動(dòng)速率后，計(jì)算所述次級軌跡片段與所述目標(biāo)的運(yùn)動(dòng)速率親和度，進(jìn)而計(jì)算出所述次級軌跡片段與所述目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述次級軌跡片段連接，得到更長的三級軌跡片段； 步驟6)，對于所有三級軌跡片段，按照如下方法不斷在其兩端進(jìn)行迭代關(guān)聯(lián)，直到所有圖像中的所有目標(biāo)均被關(guān)聯(lián)，或者所有軌跡片段兩端均不能繼續(xù)匹配到符合要求的目標(biāo):判斷軌跡片段兩端的相鄰幀圖像中是否存在未被關(guān)聯(lián)的目標(biāo)，若存在未被關(guān)聯(lián)的目標(biāo)，計(jì)算所述軌跡片段中目標(biāo)的平均運(yùn)動(dòng)速率，以及所述軌跡片段與所述目標(biāo)進(jìn)行匹配時(shí)的匹配運(yùn)動(dòng)速率后，計(jì)算所述軌跡片段與所述目標(biāo)的運(yùn)動(dòng)速率親和度，進(jìn)而計(jì)算出所述軌跡片段與所述目標(biāo)的親和距離，然后篩選出親和距離最近的目標(biāo)，最后，將所得目標(biāo)與所述軌跡片段連接，得到更長的軌跡片段。
【文檔編號】G06T7/20GK103914854SQ201410110670
【公開日】2014年7月9日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】王慧斌, 侯江巖, 沈潔, 杜敏 申請人:河海大學(xué)