本發(fā)明涉及計(jì)算機(jī)處理
技術(shù)領(lǐng)域：
，更具體地涉及一種基于多屬性的多目標(biāo)跟蹤方法及裝置。
背景技術(shù)：
：多目標(biāo)跟蹤屬于計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問題，在視頻監(jiān)控、自動(dòng)駕駛、視頻分析等領(lǐng)域有廣泛的應(yīng)用。根據(jù)場(chǎng)景不同，多目標(biāo)跟蹤的評(píng)價(jià)指標(biāo)側(cè)重不同。例如對(duì)于自動(dòng)駕駛，不必過多考慮保持行人編號(hào)不變，實(shí)時(shí)性以及召回率顯得更重要；而對(duì)于足球視頻分析，實(shí)時(shí)性以及召回率則顯得不那么重要，更多側(cè)重于保持每個(gè)運(yùn)動(dòng)員的編號(hào)不要改變。對(duì)于多目標(biāo)跟蹤，通常做法是用整體(batch)模式，即一次觀看整段視頻序列，優(yōu)化得到軌跡。由于這種方法只能處理整段視頻，故無(wú)法應(yīng)用到實(shí)時(shí)監(jiān)控以及自動(dòng)駕駛等需要實(shí)時(shí)處理的領(lǐng)域。另一種做法是延遲(delay)模式，即每幀輸出結(jié)果都可以根據(jù)未來一段時(shí)間的信息進(jìn)行修正。這種做法能夠應(yīng)用在實(shí)時(shí)性要求不高的跟蹤系統(tǒng)中。與以上兩種不同，實(shí)時(shí)(online)模式每一幀的結(jié)果只依賴于過去歷史信息，不能由未來信息修正。這種模式?jīng)]有任何延遲，具有高實(shí)時(shí)性，然而準(zhǔn)確率卻不高，尤其在交叉時(shí)經(jīng)常出錯(cuò)。技術(shù)實(shí)現(xiàn)要素：結(jié)合實(shí)際需求，提出一種基于多屬性的多目標(biāo)跟蹤方法及裝置，具有高實(shí)時(shí)性，且能夠保持目標(biāo)編號(hào)在交叉情況下保持不變。根據(jù)本發(fā)明一方面，提供了一種基于多屬性的多目標(biāo)跟蹤方法，包括：通過目標(biāo)跟蹤方法確定當(dāng)前跟蹤目標(biāo)是否處于復(fù)雜交叉狀態(tài)，所述復(fù)雜交叉狀態(tài)是指所述當(dāng)前跟蹤目標(biāo)在預(yù)定數(shù)量的連續(xù)圖像幀中與其他目標(biāo)發(fā)生重疊；在所述當(dāng)前跟蹤目標(biāo)處于復(fù)雜交叉狀態(tài)時(shí)，依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著屬性、步態(tài)屬性三種信息進(jìn)行再識(shí)別。其中，所述依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著屬性、步態(tài)屬性三種信息進(jìn)行再識(shí)別，包括：按照身高、衣著屬性、步態(tài)屬性三種信息的優(yōu)先級(jí)，滿足預(yù)設(shè)條件的情況下，優(yōu)先使用高優(yōu)先級(jí)的上述三種信息中的一種進(jìn)行再識(shí)別；其中，上述三種信息的優(yōu)先級(jí)順序如下：身高>衣著屬性>步態(tài)屬性。其中，在所述當(dāng)前跟蹤目標(biāo)處于復(fù)雜交叉狀態(tài)時(shí)，依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著、步態(tài)三種信息進(jìn)行再識(shí)別，包括：確定所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)重疊的身高之差是否滿足預(yù)設(shè)身高閾值；在所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)重疊發(fā)生復(fù)雜交叉的目標(biāo)的身高之差滿足預(yù)設(shè)身高閾值時(shí)，利用所述當(dāng)前跟蹤目標(biāo)的身高進(jìn)行識(shí)別。其中，在所述當(dāng)前跟蹤目標(biāo)處于復(fù)雜交叉狀態(tài)時(shí)，依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著、步態(tài)三種信息進(jìn)行再識(shí)別，還包括：在所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的目標(biāo)的身高之差不滿足預(yù)設(shè)身高閾值時(shí)，確定所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的衣著屬性之間的歐式距離是否滿足預(yù)設(shè)距離閾值；在所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的衣著屬性之間的歐式距離滿足預(yù)設(shè)衣著屬性閾值時(shí)，利用所述當(dāng)前跟蹤目標(biāo)的衣著屬性進(jìn)行識(shí)別。其中，在所述當(dāng)前跟蹤目標(biāo)處于復(fù)雜交叉狀態(tài)時(shí)，依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著、步態(tài)三種信息進(jìn)行再識(shí)別，還包括：在所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的目標(biāo)的衣著屬性之間的歐式距離不滿足預(yù)設(shè)距離閾值時(shí)，確定所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的步態(tài)屬性相似度是否滿足預(yù)設(shè)相似度閾值；在所述當(dāng)前跟蹤目標(biāo)以及與所述當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉的步態(tài)屬性相似度滿足預(yù)設(shè)步態(tài)相似度閾值時(shí)，利用所述當(dāng)前跟蹤目標(biāo)的步態(tài)屬性進(jìn)行識(shí)別。其中，在通過目標(biāo)跟蹤方法確定當(dāng)前跟蹤目標(biāo)是否處于復(fù)雜交叉狀態(tài)之前，還包括：計(jì)算當(dāng)前跟蹤目標(biāo)與其他目標(biāo)之間的面積交并比；在所述面積交并比大于預(yù)設(shè)交并比閾值時(shí)，確定當(dāng)前跟蹤目標(biāo)與其他目標(biāo)重疊；獲取所述當(dāng)前跟蹤目標(biāo)在當(dāng)前幀之前預(yù)定數(shù)量幀中的身高、衣著屬性和步態(tài)屬性。其中，所述身高、衣著屬性和步態(tài)屬性分別通過平均高度像素值、顏色直方圖特征值以及步態(tài)特征值確定。其中，在通過目標(biāo)跟蹤方法確定當(dāng)前跟蹤目標(biāo)是否處于復(fù)雜交叉狀態(tài)之前，還包括：使用行人檢測(cè)器在當(dāng)前幀獲取行人的檢測(cè)框，當(dāng)檢測(cè)框在之前預(yù)定數(shù)量圖像幀的一區(qū)域內(nèi)連續(xù)出現(xiàn)，則新建為跟蹤目標(biāo)，初始化卡爾曼濾波器對(duì)當(dāng)前跟蹤目標(biāo)在當(dāng)前幀中使用卡爾曼濾波器獲取預(yù)測(cè)框，將所述預(yù)測(cè)框與當(dāng)前跟蹤目標(biāo)的所述檢測(cè)框進(jìn)行聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)，獲得跟蹤框；所述在通過目標(biāo)跟蹤方法確定當(dāng)前跟蹤目標(biāo)是否處于復(fù)雜交叉狀態(tài)，包括：判斷當(dāng)前跟蹤目標(biāo)的跟蹤框與其他目標(biāo)的跟蹤框是否重疊，若不重疊則給出跟蹤結(jié)果；若重疊，則把當(dāng)前跟蹤目標(biāo)置為“交叉”狀態(tài)；對(duì)“交叉”狀態(tài)的當(dāng)前跟蹤目標(biāo)，當(dāng)跟蹤框不再交叉時(shí)，取消所述當(dāng)前跟蹤目標(biāo)的“交叉”狀態(tài)；若交叉時(shí)間超過預(yù)定數(shù)量值的圖像幀，則確定當(dāng)前跟蹤目標(biāo)發(fā)生復(fù)雜交叉，否則將所述跟蹤框作為所述當(dāng)前跟蹤目標(biāo)的跟蹤結(jié)果。其中，所述對(duì)當(dāng)前跟蹤目標(biāo)在當(dāng)前幀中使用卡爾曼濾波器獲取預(yù)測(cè)框，將所述預(yù)測(cè)框與當(dāng)前跟蹤目標(biāo)的所述檢測(cè)框進(jìn)行聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)，獲得跟蹤框，包括：把當(dāng)前跟蹤目標(biāo)當(dāng)作質(zhì)點(diǎn)，使用卡爾曼濾波器預(yù)測(cè)框與當(dāng)前幀的檢測(cè)框進(jìn)行聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)。根據(jù)本發(fā)明另一方面，提供了一種基于多屬性的多目標(biāo)跟蹤裝置，包括：復(fù)雜交叉確定模塊，被配置為通過目標(biāo)跟蹤方法確定當(dāng)前跟蹤目標(biāo)是否處于復(fù)雜交叉狀態(tài)，所述復(fù)雜交叉狀態(tài)是指所述當(dāng)前跟蹤目標(biāo)在預(yù)定數(shù)量的連續(xù)圖像幀中與其他目標(biāo)發(fā)生重疊；再識(shí)別模塊，被配置為在所述當(dāng)前跟蹤目標(biāo)處于復(fù)雜交叉狀態(tài)時(shí)，依次使用當(dāng)前跟蹤目標(biāo)的身高、衣著屬性、步態(tài)屬性三種信息進(jìn)行再識(shí)別?；谏鲜黾夹g(shù)方案可知，本發(fā)明的方法基于行人的多種屬性，平常未交叉或者簡(jiǎn)單的順勢(shì)交叉，只用人的運(yùn)動(dòng)屬性即可；當(dāng)發(fā)生復(fù)雜交叉，如握手、擁抱、長(zhǎng)時(shí)間遮擋等情況，依次采用身高、衣著、步態(tài)這三種屬性對(duì)分開后的目標(biāo)進(jìn)行再識(shí)別。本發(fā)明的方法利用了行人的多種屬性特征，對(duì)于環(huán)境光照具有魯棒性，在高實(shí)時(shí)性的同時(shí)，保證了交叉時(shí)不改變編號(hào)。附圖說明圖1是本發(fā)明的基于多屬性的多目標(biāo)跟蹤方法的流程圖；圖2(a)-(c)是本發(fā)明的基于多屬性的多目標(biāo)跟蹤方法的示意圖。具體實(shí)施方式以下結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題。應(yīng)當(dāng)指出的是，所描述的實(shí)施例僅旨在便于理解，對(duì)本發(fā)明不起任何限定作用。本發(fā)明公開了一種基于多屬性的多目標(biāo)跟蹤方法，主要包括對(duì)普通簡(jiǎn)單交叉以及復(fù)雜交叉，分別采用不同的屬性特征進(jìn)行多目標(biāo)跟蹤。對(duì)于未交叉或者簡(jiǎn)單順勢(shì)交叉的情況，僅依賴于人的運(yùn)動(dòng)屬性，把人抽象成質(zhì)點(diǎn)，相當(dāng)于二維平面上做質(zhì)點(diǎn)的多目標(biāo)跟蹤。由卡爾曼濾波預(yù)測(cè)出目標(biāo)位置，使用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法對(duì)檢測(cè)框與預(yù)測(cè)框進(jìn)行匹配；對(duì)于復(fù)雜交叉，記錄交叉前若干幀的身高、衣著、步態(tài)等屬性信息，當(dāng)交叉結(jié)束后，根據(jù)這些屬性對(duì)目標(biāo)進(jìn)行再識(shí)別。本方法利用了行人的多種屬性特征，對(duì)于環(huán)境光照等具有魯棒性，在高實(shí)時(shí)性的同時(shí)，保證了交叉時(shí)不改變編號(hào)。如圖1所示，以下詳細(xì)說明本發(fā)明方法涉及的關(guān)鍵步驟。步驟一，使用基于深度學(xué)習(xí)的行人檢測(cè)器獲取高精度的行人檢測(cè)框，當(dāng)未被初始化的檢測(cè)框在t1＝10幀內(nèi)同時(shí)在某一小圓形區(qū)域連續(xù)出現(xiàn)，則新建為新的跟蹤目標(biāo)，求出其四個(gè)狀態(tài)初始化卡爾曼濾波器，下一幀開始使用卡爾曼濾波進(jìn)行預(yù)測(cè)。這種做法可以有效地去除誤檢干擾，這是因?yàn)槎鄶?shù)誤檢并不能穩(wěn)定存在，短時(shí)間在某一小區(qū)域連續(xù)出現(xiàn)的目標(biāo)，基本可以確定是要跟蹤的目標(biāo)。；步驟二，對(duì)各個(gè)目標(biāo)的預(yù)測(cè)框與當(dāng)前幀中檢測(cè)框進(jìn)行聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)，獲得跟蹤框。具體地，分為以下幾個(gè)子步驟：步驟2.1，把人抽象成二維平面內(nèi)的質(zhì)點(diǎn)，則可以用四維狀態(tài)向量表示該目標(biāo)，其中x，y表示目標(biāo)在二維平面內(nèi)的坐標(biāo)，表示目標(biāo)在二維平面內(nèi)的速度，用該狀態(tài)向量初始化卡爾曼濾波器。步驟2.2，對(duì)于新的一幀，基于目標(biāo)的位置和速度信息，卡爾曼濾波可以預(yù)測(cè)出當(dāng)前目標(biāo)在該幀中可能的位置，即為預(yù)測(cè)框。而根據(jù)目標(biāo)檢測(cè)器實(shí)際檢測(cè)到的目標(biāo)位置，稱為檢測(cè)框。預(yù)測(cè)框是當(dāng)前跟蹤的當(dāng)前目標(biāo)的預(yù)測(cè)框，而檢測(cè)框可能有多個(gè)，但是不確定哪個(gè)檢測(cè)框?qū)?yīng)當(dāng)前目標(biāo)；步驟2.3，由于實(shí)際場(chǎng)景的復(fù)雜，預(yù)測(cè)框的位置不一定準(zhǔn)，檢測(cè)框也可能不準(zhǔn)，因此需要綜合檢測(cè)框和預(yù)測(cè)框的結(jié)果，給出最終的跟蹤框。當(dāng)存在多個(gè)目標(biāo)或者有誤檢存在時(shí)，就需要解決哪個(gè)預(yù)測(cè)框和哪個(gè)檢測(cè)框匹配的問題，也就是數(shù)據(jù)關(guān)聯(lián)問題。最簡(jiǎn)單的做法是對(duì)每個(gè)預(yù)測(cè)框，在其周圍找離它最近的檢測(cè)框進(jìn)行匹配。然而這種方法在多目標(biāo)或者有誤檢存在時(shí)經(jīng)常出錯(cuò)，這就需要使用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法。簡(jiǎn)單地說，就是對(duì)預(yù)測(cè)框附近的所有檢測(cè)框都允許按權(quán)值匹配，而不是僅匹配最近的一個(gè)檢測(cè)框。步驟三，判斷目標(biāo)跟蹤框是否重疊，若所有目標(biāo)跟蹤框都不重疊則給出跟蹤結(jié)果；若有至少兩個(gè)目標(biāo)跟蹤框重疊，則把目標(biāo)置為“交叉”狀態(tài)，并存儲(chǔ)此刻之前多幀如t2＝5幀的身高、衣著、步態(tài)信息，交叉人員的這些信息存入“交叉列表”中。判斷重疊需要計(jì)算交并比(iou)，其計(jì)算公式如下：其中，box1，box2分別表示兩個(gè)跟蹤框，分子表示二者的交集，分母表示二者的并集。當(dāng)交并比大于0.3時(shí)，說明發(fā)生了交叉；步驟四，對(duì)“交叉”狀態(tài)的目標(biāo)，當(dāng)交并比小于0.3時(shí)，取消其“交叉”狀態(tài)。若交叉時(shí)間超過閾值t3＝20幀，則發(fā)生復(fù)雜交叉，執(zhí)行步驟五，否則輸出該幀跟蹤結(jié)果。步驟五，對(duì)復(fù)雜交叉的情況，依次使用身高、衣著、步態(tài)三種信息進(jìn)行再識(shí)別，識(shí)別范圍限定在“交叉列表”中的人員。具體地，(1)先考慮身高，當(dāng)身高相差至少1.5倍時(shí)，說明身高是一種有區(qū)分力的屬性，再識(shí)別的過程中高個(gè)子的人對(duì)應(yīng)交叉之前的高個(gè)子的人，結(jié)束判斷，不再使用以下屬性。否則，說明身高判別能力不足，使用以下屬性判斷(2)當(dāng)身高失效時(shí)，考慮衣著屬性。分別求出行人的顏色直方圖的歐式距離，其計(jì)算公式如下：dab＝(ca-cb)(ca-cb)t上式中ca，cb表示a，b兩個(gè)人的顏色直方圖特征，是一維向量，dab為二人的顏色直方圖歐氏距離。當(dāng)歐式距離至少相差0.5時(shí)，說明衣著是一種有區(qū)分力的屬性，再識(shí)別的過程中衣著前后相似的視為同一個(gè)人。否則，說明衣著區(qū)分能力不足，使用以下屬性判斷。(3)當(dāng)身高、衣著都失效時(shí)，考慮步態(tài)屬性。步態(tài)是每個(gè)人固有的生物特征，不受光照影響，具有遠(yuǎn)距離非受控等特點(diǎn)。分別求出每個(gè)人的步態(tài)特征，與交叉之前的步態(tài)特征計(jì)算其余弦相似度，其計(jì)算公式如下：上式中g(shù)a，gb表示a，b兩個(gè)人的步態(tài)特征，是一維向量，sab為二人的步態(tài)相似度。根據(jù)步態(tài)相似度對(duì)交叉前后的行人進(jìn)行匹配。步驟六，對(duì)輸出結(jié)果進(jìn)行后處理，當(dāng)某目標(biāo)連續(xù)t4＝50幀沒有匹配時(shí)，則刪除該目標(biāo)。實(shí)施例為了詳細(xì)說明本發(fā)明的具體實(shí)施方式，以圖2(a)-(c)的復(fù)雜交叉情況為例，說明多屬性解決復(fù)雜交叉的情況。具體步驟如下：(1)第370幀時(shí)，已經(jīng)識(shí)別出兩個(gè)人a，b。兩個(gè)人跟蹤框的“交并比”大于0.3，這兩人進(jìn)入“交叉列表”中，記錄a的平均身高475像素，b的平均身高570像素，同時(shí)記錄兩人的衣著以及步態(tài)特征。(2)370至413幀，兩人發(fā)生推搡，屬于復(fù)雜交叉。(3)第413幀，交叉結(jié)束。此時(shí)兩人的身高為400像素、530像素，身高差別不大，不足以區(qū)分兩人；兩人的顏色直方圖歐式距離為0.63，表明衣著差別足夠區(qū)分。交叉后的1與2分別和交叉前存儲(chǔ)的a與b的顏色直方圖求歐式距離，得到2*2的距離矩陣，如下：ab10.460.720.940.29可知交叉后的1對(duì)應(yīng)交叉前的a，交叉后的2對(duì)應(yīng)交叉前的b。以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁(yè)12