用于球機(jī)控制策略的多目標(biāo)檢測(cè)跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，特別是涉及一種用于球機(jī)控制策略的多目標(biāo)檢測(cè)跟蹤方法。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)視覺(jué)技術(shù)、計(jì)算機(jī)處理能力的提高，以及公共安全防范需求的增加，智能視頻監(jiān)控技術(shù)得到了快速的發(fā)展。智能視頻監(jiān)控主要利用機(jī)器視覺(jué)技術(shù)，主動(dòng)對(duì)視頻場(chǎng)景中的感興趣目標(biāo)進(jìn)行處理、分析和理解，在不需要人為干預(yù)的情況下對(duì)場(chǎng)景中的目標(biāo)進(jìn)行檢測(cè)、跟蹤和識(shí)別，達(dá)到自動(dòng)發(fā)現(xiàn)、自動(dòng)跟蹤和自動(dòng)預(yù)警的目的。
[0003]槍機(jī)、球機(jī)協(xié)同監(jiān)控技術(shù)是智能視頻監(jiān)控技術(shù)的主要發(fā)展方向之一。這種技術(shù)通過(guò)對(duì)高清廣角槍式攝像頭獲得的圖像序列進(jìn)行自動(dòng)分析，發(fā)現(xiàn)多個(gè)活動(dòng)目標(biāo)并進(jìn)行跟蹤，同時(shí)，利用球機(jī)跟蹤策略，實(shí)時(shí)控制高清高速球式攝像頭捕獲槍機(jī)中對(duì)應(yīng)目標(biāo)的清晰視頻。
[0004]傳統(tǒng)的單獨(dú)槍機(jī)或單獨(dú)球機(jī)被動(dòng)式監(jiān)控技術(shù)已經(jīng)不能滿足日益增長(zhǎng)的監(jiān)控需求，現(xiàn)有的技術(shù)主要存在著以下缺陷:
[0005]I)針對(duì)大場(chǎng)景，高復(fù)雜度的槍機(jī)視頻，進(jìn)行多目標(biāo)檢測(cè)跟蹤算法處理時(shí)，目標(biāo)跟蹤的準(zhǔn)確性及精度比較低，導(dǎo)致球機(jī)控制精度較低，使得目標(biāo)無(wú)法在球機(jī)的中心位置；
[0006]2)當(dāng)活動(dòng)目標(biāo)被部分或全部遮擋時(shí)，目標(biāo)ID恢復(fù)困難，當(dāng)多個(gè)目標(biāo)相互合并以及分離時(shí)，目標(biāo)ID無(wú)法恢復(fù)；
[0007]3)多目標(biāo)檢測(cè)跟蹤算法復(fù)雜度較高，無(wú)法滿足實(shí)時(shí)控制球機(jī)的要求。
[0008]導(dǎo)致上述缺陷的原因如下:
[0009]I)監(jiān)控場(chǎng)景較大，目標(biāo)距離槍機(jī)較遠(yuǎn)，目標(biāo)的信息量非常??；
[0010]2)場(chǎng)景非常復(fù)雜(人、機(jī)動(dòng)車、非機(jī)動(dòng)車等)，無(wú)法建立統(tǒng)一的模型，活動(dòng)目標(biāo)運(yùn)動(dòng)隨機(jī)；
[0011]3)系統(tǒng)需要實(shí)時(shí)處理，受限于前端處理器性能，在滿足實(shí)時(shí)性要求的前提下，無(wú)法使用算法復(fù)雜度相對(duì)較高的算法。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的目的就在于為了解決上述問(wèn)題而提供一種用于球機(jī)控制策略的多目標(biāo)檢測(cè)跟蹤方法。
[0013]本發(fā)明通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)上述目的:
[0014]一種用于球機(jī)控制策略的多目標(biāo)檢測(cè)跟蹤方法，包括以下步驟:
[0015]Al:對(duì)獲得的槍機(jī)視頻圖像數(shù)據(jù)進(jìn)行預(yù)處理，首先將圖像縮小，然后對(duì)縮小后的圖像進(jìn)行去噪處理；
[0016]A2:取出預(yù)處理后的圖像，如果取得第I幀圖像，則對(duì)第I幀圖像進(jìn)行進(jìn)行背景模型初始化和多目標(biāo)檢測(cè)跟蹤算法初始化，然后跳轉(zhuǎn)至步驟Al并查找下一幀圖像，如果取得第[2，N]幀圖像，則繼續(xù)執(zhí)行步驟A3 ；
[0017]A3:對(duì)于第[2，N]幀圖像進(jìn)行前景點(diǎn)檢測(cè)，并且更新背景模型；
[0018]A4:采用形態(tài)學(xué)的開(kāi)操作對(duì)獲得的前景點(diǎn)圖像進(jìn)行去噪處理，核尺寸大小為5x5，然后采用形態(tài)學(xué)的閉操作將距離比較近的前景點(diǎn)圖像連到一起；
[0019]A5:聯(lián)通區(qū)域分析，對(duì)前景點(diǎn)圖像進(jìn)行聯(lián)通區(qū)域算法操作，將離散的前景點(diǎn)圖像合并為聯(lián)通的區(qū)域圖像；
[0020]A6:計(jì)算目標(biāo)特征，包括計(jì)算每個(gè)聯(lián)通區(qū)域圖像的面積和質(zhì)心點(diǎn)坐標(biāo)，并統(tǒng)計(jì)每個(gè)聯(lián)通區(qū)域圖像的顏色直方圖，通過(guò)設(shè)置最小及最大面積閾值，過(guò)濾過(guò)大或過(guò)小的目標(biāo)；
[0021]A7:計(jì)算之前幀圖像與當(dāng)前幀圖像所有目標(biāo)的特征相似性，包括面積相似性、顏色直方圖相似性、重合面積比例和運(yùn)動(dòng)估計(jì)；
[0022]AS:多特征相似性融合，利用多特征融合算法將步驟A7中得到的四個(gè)特征相似性歸一化為統(tǒng)一值；
[0023]A9:基于全局的最優(yōu)匹配，通過(guò)歸一化后的特征值，尋找之前幀圖像與當(dāng)前幀圖像之間所有目標(biāo)的最佳匹配對(duì)，并通過(guò)重合面積比例特征，對(duì)合并及分離事件進(jìn)行估計(jì)，在去除分離與合并后的目標(biāo)后，對(duì)剩余的目標(biāo)采用匈牙利算法進(jìn)行全局最優(yōu)匹配；
[0024]AlO:將合并與分離事件的ID進(jìn)行重新整理和分配；
[0025]All:當(dāng)目標(biāo)部分或者全部被遮擋后，重新找回目標(biāo)ID ;
[0026]A12:狀態(tài)更新，將目標(biāo)的狀態(tài)分為初始化狀態(tài)、正常跟蹤狀態(tài)、丟失狀態(tài)和消失狀態(tài)四類，初始化狀態(tài)通過(guò)目標(biāo)穩(wěn)定進(jìn)行判定，當(dāng)目標(biāo)在某一時(shí)段足夠穩(wěn)定，則目標(biāo)進(jìn)行正常跟蹤狀態(tài)，當(dāng)正常跟蹤狀態(tài)下的目標(biāo)突然丟失，則進(jìn)入丟失狀態(tài)，在丟失狀態(tài)下維持T秒時(shí)間內(nèi)，仍然沒(méi)有找回，則進(jìn)入消失狀態(tài)，此時(shí)刪除目標(biāo)ID，認(rèn)為目標(biāo)已經(jīng)離開(kāi)此場(chǎng)景；
[0027]A13:目標(biāo)特征更新，將當(dāng)前幀圖像所有目標(biāo)的特征更新后跳轉(zhuǎn)至步驟Al。
[0028]進(jìn)一步地，步驟Al中縮小后的輸入圖像尺寸為1080P，輸出圖像尺寸為D1。
[0029]進(jìn)一步地，步驟Al中是采用核大小為3x3尺寸的均值濾波器對(duì)縮小后的圖像進(jìn)行去噪處理。
[0030]進(jìn)一步地，步驟A4中的操作可以重復(fù)多次，可以根據(jù)具體的應(yīng)用場(chǎng)景，采用不同大小的核尺寸。
[0031]進(jìn)一步地，步驟A5中的聯(lián)通區(qū)域算法采用8-聯(lián)通區(qū)域算法，同時(shí)生成每個(gè)聯(lián)通區(qū)域唯一標(biāo)識(shí)的mask圖像。
[0032]進(jìn)一步地，相似性、顏色直方圖相似性、重合面積比例和運(yùn)動(dòng)估計(jì)四種特征相似性的計(jì)算方法如下:
[0033]所述面積相似性:l_(AreaO/Areal)，值越小，說(shuō)明面積越相似，AreaO為之前幀某個(gè)目標(biāo)的面積，Areal為當(dāng)前幀某個(gè)目標(biāo)的面積；
[0034]所述顏色直方圖相似性:計(jì)算兩個(gè)直方圖的巴氏距離d(Hl，H2)作為度量直方圖相似度的對(duì)比標(biāo)準(zhǔn)，取值范圍為[0，I]，值越小，說(shuō)明兩個(gè)直方圖越相似；
[0035]所述重合面積比例:計(jì)算當(dāng)前幀每個(gè)目標(biāo)是否與之前幀每個(gè)目標(biāo)有重合，如果有重合，則計(jì)算具體的重合面積與之前幀面積比例；
[0036]所述運(yùn)動(dòng)估計(jì):采用最小二乘法擬合直線，通過(guò)直線方程預(yù)測(cè)目標(biāo)運(yùn)動(dòng)在將來(lái)的第N幀圖像目標(biāo)的位置點(diǎn)。
[0037]進(jìn)一步地，步驟AS中歸一化的方式通過(guò)設(shè)置每個(gè)特征的權(quán)重進(jìn)行，權(quán)重參數(shù)的設(shè)置采用自適應(yīng)的方式獲得，通過(guò)估計(jì)在某個(gè)時(shí)間段內(nèi)某個(gè)特征的穩(wěn)定性來(lái)動(dòng)態(tài)調(diào)整其對(duì)應(yīng)的權(quán)重值，某個(gè)特征越穩(wěn)定，其權(quán)重值越高，否則相反，通過(guò)這種方式，可以動(dòng)態(tài)的調(diào)整每個(gè)特征在全局分配的過(guò)程中所起到的作用。
[0038]進(jìn)一步地，步驟AlO中提到的合并事件相對(duì)簡(jiǎn)單，新建多目標(biāo)對(duì)象，同時(shí)保存每個(gè)子目標(biāo)的數(shù)據(jù)關(guān)聯(lián)，分離事件相對(duì)復(fù)雜，需要對(duì)目標(biāo)ID進(jìn)行重新分配，采用的準(zhǔn)則如下:
[0039]B1:如果分離之前的多目標(biāo)對(duì)象所包含的子目標(biāo)個(gè)數(shù)小于等于當(dāng)前分離出來(lái)的目標(biāo)個(gè)數(shù)，則將分離之前的多目標(biāo)最像所包含的所有子目標(biāo)與分離出來(lái)的目標(biāo)進(jìn)行匹配；
[0040]B2:如果分離之前的多目標(biāo)對(duì)象所包含的子目標(biāo)個(gè)數(shù)大于當(dāng)前分離出來(lái)的目標(biāo)個(gè)數(shù)，則:如果分離出來(lái)的目標(biāo)等于2，則認(rèn)為其中一個(gè)目標(biāo)與分離之前的多目標(biāo)對(duì)象所包含的其中一個(gè)目標(biāo)匹配，另外一個(gè)目標(biāo)與剩余所有目標(biāo)匹配，如果不等于2，則刪除多個(gè)目標(biāo)，重新對(duì)當(dāng)前分離出的目標(biāo)進(jìn)行初始化。
[0041]進(jìn)一步地，步驟A12中T的值介于3-5之間。
[0042]本發(fā)明的有益效果在于:
[0043]I)通過(guò)目標(biāo)特征的相似性計(jì)算，以及全局最優(yōu)分配準(zhǔn)則，可以提高穩(wěn)定目標(biāo)跟蹤的準(zhǔn)確性；
[0044]2)通過(guò)目標(biāo)關(guān)聯(lián)事件的檢測(cè)，建立多目標(biāo)對(duì)象層，可以很好的處理分離以及合并事件，以及對(duì)發(fā)生此事件相關(guān)的目標(biāo)ID重行找回，效果提升顯著；
[0045]3)通過(guò)多特征融合算法，采用自適應(yīng)權(quán)重調(diào)整方式，可以有效的提升相似性精