本發(fā)明屬于目標(biāo)監(jiān)控跟蹤技術(shù)領(lǐng)域，具體涉及一種基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法。

背景技術(shù)：

隨著社會經(jīng)濟(jì)和科學(xué)技術(shù)的發(fā)展，在民用方面，對移動目標(biāo)比如行進(jìn)人群、行駛車流等的實時監(jiān)控、檢測跟蹤等是大型商場、機(jī)場、地鐵、車站、博物館、展覽館等許多重要公共場所在管理和決策方面不可缺少的。為確保系統(tǒng)安全和運(yùn)行效益，國內(nèi)外都在積極地開展面向復(fù)雜運(yùn)動目標(biāo)的監(jiān)控、跟蹤等技術(shù)的研究，以期形成高度智能化的視頻監(jiān)控系統(tǒng)網(wǎng)絡(luò)。在軍事應(yīng)用方面，由于紅外跟蹤系統(tǒng)是被動地接受目標(biāo)的紅外輻射來探測、跟蹤和識別目標(biāo)。其相比于雷達(dá)預(yù)警具有隱蔽性好、抗電磁干擾能力強(qiáng)，以及體積小、重量輕、機(jī)動性強(qiáng)等優(yōu)點，正逐漸成為現(xiàn)代防御體系中的一個重要組成部分，受到各國軍工部門的重視。綜合兩方面而言，基于可見光和紅外圖像的全天候目標(biāo)實時監(jiān)控跟蹤技術(shù)成為了一項更具有實際意義和挑戰(zhàn)的研究課題。

視頻監(jiān)控系統(tǒng)是多媒體技術(shù)、計算機(jī)網(wǎng)絡(luò)、計算機(jī)視覺、模式識別和人工智能等技術(shù)綜合運(yùn)用的產(chǎn)物。從發(fā)展歷程來看，視頻監(jiān)控系統(tǒng)在過去的近五十年里大致經(jīng)歷了三代：第一代模擬視頻監(jiān)控系統(tǒng)，第二代數(shù)字視頻監(jiān)控系統(tǒng)，第三代分布式視頻監(jiān)控系統(tǒng)。近幾年，智能視頻監(jiān)控技術(shù)已引起許多國家的高度重視，它們分別開展了以智能視頻監(jiān)控系統(tǒng)為核心的應(yīng)用技術(shù)研究，比較著名的實驗系統(tǒng)包括：1996年日本學(xué)術(shù)振興會(JSPS)未來研究項目支持的CDV Project著重研究攜帶攝像機(jī)的具有實時圖像處理能力的觀測站和移動機(jī)器人組成的網(wǎng)絡(luò)群，并對動態(tài)變化的真實場景實現(xiàn)實時的分析和理解；1997年美國國防高級研究項目署(DARPA)設(shè)立了以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視覺監(jiān)控重大項目VSAM(Visual Surveillance And Monitoring)，主要研究用于戰(zhàn)場和普通民用環(huán)境監(jiān)控的自動視頻理解技術(shù)；1999年美國馬里蘭大學(xué)的W4系統(tǒng)；2000-2001年佛羅里達(dá)中央大學(xué)(UCF)的KNIGHT系統(tǒng)；2003年意大利摩德納大學(xué)(UNIMO)的SAKBOT系統(tǒng)；2004年IBM的Smart系統(tǒng)；2004年由歐盟出資啟動的，雷丁大學(xué)與法國INRIA等研究機(jī)構(gòu)聯(lián)合實施的機(jī)場智能監(jiān)控項目AVITRACK能夠?qū)νC(jī)坪場景進(jìn)行目標(biāo)跟蹤和異常行為檢測與報警，為機(jī)場保安這一911后的重大 安全課題提供了智能化的解決方案。

目前，美國、歐洲和其他一些國家已經(jīng)開發(fā)出實用的智能視頻監(jiān)控系統(tǒng)。美國的Object Video公司開發(fā)的視頻分析系統(tǒng)可以用于邊境安檢和入侵檢測，可疑人員逗留、物品遺留和異樣物體檢測等。法國CitiLog公司開發(fā)的視頻事件自動檢測系統(tǒng)主要應(yīng)用于智能交通領(lǐng)域，可以對交通擁堵、停駛車輛、逆行車輛、慢行車輛、行人出現(xiàn)和丟棄物品等六種交通事件進(jìn)行檢測。以色列的NiceVision公司的視頻分析儀可以實現(xiàn)對闖入者、車輛、被遺棄物品等的實時檢測。

國內(nèi)對智能視頻監(jiān)控系統(tǒng)的研究起步較晚，研究領(lǐng)域涉及目標(biāo)檢測、分類和人體運(yùn)動分析等。目前，中科院自動化研究所、清華大學(xué)、上海交通大學(xué)等單位正開展視頻目標(biāo)檢測跟蹤和人體運(yùn)動分析等方面研究工作。中科院自動化所模式識別國家重點實驗室借鑒了英國雷丁大學(xué)Views系統(tǒng)的研究經(jīng)驗，自行設(shè)計了交通監(jiān)控原型系統(tǒng)，初步實現(xiàn)了對交通場景視頻中車輛的檢測、定位和跟蹤，跟蹤的結(jié)果經(jīng)過分析和語義解釋可以合成語音進(jìn)行提示，例如當(dāng)車輛逆行或闖入草地時，系統(tǒng)進(jìn)行語音警告。

傳統(tǒng)的目標(biāo)實時監(jiān)控跟蹤技術(shù)主要是利用同源傳感器，局限于單臺攝像機(jī)和單光譜，即用可見光攝像機(jī)來實現(xiàn)。雖然可以減少光線變化和陰影的影響，但算法實現(xiàn)相對復(fù)雜，也沒有考慮到實際運(yùn)用時會發(fā)生比如單一視角造成運(yùn)動目標(biāo)發(fā)生遮擋而導(dǎo)致誤跟蹤、單光譜造成在夜晚或者燈光昏暗的場所中移動目標(biāo)無法被有效檢測識別的問題。若結(jié)合可見光和紅外攝像機(jī)組成立體監(jiān)控系統(tǒng)，充分利用可見光系統(tǒng)提供的灰度信息，和紅外攝像機(jī)提供的溫度信息，提取目標(biāo)的運(yùn)動、空間信息，對復(fù)雜環(huán)境下全天候的目標(biāo)連續(xù)跟蹤實現(xiàn)信息互補(bǔ)是非常有意義的。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法，可提高對可見光圖像和紅外圖像中目標(biāo)的檢測概率，并且能夠多光譜、高效率、全天候地檢測識別出移動目標(biāo)，從而發(fā)揮可見光圖像和紅外圖像各自的優(yōu)點，使跟蹤達(dá)到理想的要求。

為了解決上述技術(shù)問題，本發(fā)明提供一種基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法，包括以下步驟：

步驟1，對可見光圖像和紅外圖像分別進(jìn)行圖像預(yù)處理，去除圖像噪聲和盲元；

步驟2，使用Harris角點檢測法提取可見光圖像和紅外圖像中的角點，使用光流法 來跟蹤檢測出來的角點，并使用RANSAC算法分別對可見光圖像和紅外圖像進(jìn)行配準(zhǔn)；

步驟3，使用MHI方法對經(jīng)過配準(zhǔn)處理的圖像進(jìn)行目標(biāo)檢測，然后使用腐蝕膨脹方法對檢測出的目標(biāo)進(jìn)行形態(tài)學(xué)處理；

步驟4，使用Kalman濾波器對檢測出的目標(biāo)進(jìn)行跟蹤并框出目標(biāo)，然后基于目標(biāo)特征對目標(biāo)進(jìn)行航跡關(guān)聯(lián)，實現(xiàn)對目標(biāo)的實時監(jiān)控。

進(jìn)一步，使用平均中值濾波方法對可見光圖像和紅外圖像進(jìn)行圖像預(yù)處理。

進(jìn)一步，在步驟3所述的MHI方法中，閾值T為自適應(yīng)變化的閾值，在檢測前一時刻的前向MHI圖像中的目標(biāo)輪廓像素值時，通過相鄰幀累計根據(jù)目標(biāo)輪廓像素值的變化不斷調(diào)整閾值T；同時，將前向MHI圖像和后向MHI圖像中像素值較小者作為最終檢測的目標(biāo)圖像。

進(jìn)一步，步驟4中，Kalman濾波器的觀測向量Z(k)如式(1)所示：

Z(k)＝{x_k,y_k,I(k)} (1)

式(1)中，k是目標(biāo)的運(yùn)動矢量，(x_k,y_k)是目標(biāo)的位置，I(k)是目標(biāo)在單幀檢測過程中潛在目標(biāo)的平均灰度值；

進(jìn)行航跡關(guān)聯(lián)時，對于產(chǎn)生關(guān)聯(lián)的航跡i和目標(biāo)j采用如式(2)所示方法計算各部分的濾波殘差

式(2)中，Δx_k,ij,Δy_k,ij是經(jīng)過Kalman濾波處理得到的殘差，ΔI_ij(k)是量測目標(biāo)j灰度的預(yù)測誤差，是濾波殘差；

對于Kalman濾波殘差的距離和灰度殘差采用如式(3)、(4)、(5)所示的方法計算：

式(3)、(4)、(5)中，x_j(k)、y_j(k)和I_j(k)分別是量測目標(biāo)j的水平坐標(biāo)、垂直坐標(biāo)和灰度值，和是航跡i預(yù)測目標(biāo)的水平坐標(biāo)、垂直坐標(biāo)和灰度值；和為經(jīng)過Kalman濾波處理后的預(yù)測值。

本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于，(1)功能擴(kuò)展：傳統(tǒng)的目標(biāo)實時監(jiān)控跟 蹤技術(shù)主要是利用同源傳感器，局限于單臺攝像機(jī)和單光譜，即僅僅用可見光攝像機(jī)來實現(xiàn)，沒有考慮到實際運(yùn)用時會發(fā)生比如單一視角造成運(yùn)動目標(biāo)發(fā)生遮擋而導(dǎo)致誤跟蹤、單光譜造成在夜晚或者燈光昏暗的場所中移動目標(biāo)無法被有效檢測識別的問題。本發(fā)明結(jié)合使用了可見光、紅外攝像機(jī)，因此既能在白天強(qiáng)光也能在黑夜微光條件下使用，并且采用了能適用于可見光、紅外目標(biāo)的檢測跟蹤方法，使本發(fā)明能夠多光譜、高效率、高質(zhì)量地檢測識別出運(yùn)動目標(biāo)，實現(xiàn)運(yùn)動目標(biāo)的監(jiān)控智能化；(2)適用范圍擴(kuò)大：在民用上，比如在重要場所、安防監(jiān)控領(lǐng)域，本發(fā)明不僅可應(yīng)用在交通流量控制領(lǐng)域，還可以擴(kuò)展應(yīng)用于廣場、車站等場所的流量監(jiān)控及違規(guī)行為檢測方面；在軍用上，借助本發(fā)明可進(jìn)行空中目標(biāo)探測尤其是紅外弱小目標(biāo)的探測；(3)運(yùn)用本發(fā)明改進(jìn)的MHI算法和Kalman濾波器，使得對可見光、紅外目標(biāo)的平均檢測率較高，對于弱小目標(biāo)的檢測尺度可達(dá)20像素*20像素；同時本發(fā)明的環(huán)境魯棒性增強(qiáng)，在光照變換、風(fēng)霧影響的前提下，仍舊保持較高的檢測率。

附圖說明

圖1是本發(fā)明基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法的流程示意圖。

圖2是本發(fā)明仿真試驗中使用的原始可見光圖像。

圖3是本發(fā)明仿真試驗中對圖2去除噪聲和盲元后的圖像。

圖4是本發(fā)明仿真試驗中經(jīng)過角點檢測和配準(zhǔn)后的圖像。

圖5是本發(fā)明仿真試驗中經(jīng)過MHI目標(biāo)檢測、腐蝕膨脹后的圖像。

圖6是本發(fā)明仿真試驗中經(jīng)過Kalman濾波器跟蹤目標(biāo)后的圖像。

具體實施方式

容易理解，依據(jù)本發(fā)明的技術(shù)方案，在不變更本發(fā)明的實質(zhì)精神的情況下，本領(lǐng)域的一般技術(shù)人員可以想象出本發(fā)明基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法的多種實施方式。因此，以下具體實施方式和附圖僅是對本發(fā)明的技術(shù)方案的示例性說明，而不應(yīng)當(dāng)視為本發(fā)明的全部或者視為對本發(fā)明技術(shù)方案的限制或限定。

結(jié)合圖1，本發(fā)明基于可見光和紅外圖像的全天候目標(biāo)實時跟蹤方法，步驟如下：

第一步，對原始可見光圖像和紅外圖像進(jìn)行圖像預(yù)處理，去除圖像噪聲和盲元。輸入的可見光圖像如圖2所示。本發(fā)明使用平均中值濾波方法法來分別對可見光圖像和紅外圖像進(jìn)行預(yù)處理，去除噪聲和盲元后的可見光圖像如圖3所示。

第二步，將經(jīng)過預(yù)處理的圖像做配準(zhǔn)處理，即使用Harris角點檢測法提取可見光圖像和紅外圖像中的角點，使用光流法來跟蹤檢測出來的角點，并使用RANSAC算法分別對可見光圖像和紅外圖像進(jìn)行配準(zhǔn)。經(jīng)過角點檢測和配準(zhǔn)后的圖像如圖4所示。本步驟具體過程為：

首先，使用Harris角點檢測法提取可見光圖像和紅外圖像中的角點。Harris角點檢測算子是Moravec角點檢測算子的改進(jìn)，它利用高斯函數(shù)w(x,y)代替了原二值窗口函數(shù)，即對離中心點越近的像素賦于越大的權(quán)重，以減少噪聲影響。如下式所示：

式(1)中，w(x,y)是高斯函數(shù)，I_x是像素灰度值在x方向上的偏導(dǎo)，I_y是像素灰度值在y方向上的偏導(dǎo)，M是角點判定矩陣。

Harris角點檢測法采用了一種新的角點判定方法：角點判定矩陣M的兩個特征向量λ₁和λ₂與矩陣M的主曲率成正比。Harris角點檢測法利用λ₁、λ₂來表征變化最快和最慢的兩個方向，若兩個方向都很大就是角點，一個大一個小就是邊緣，兩個都小就是在變化緩慢的圖像區(qū)域。

其次，使用光流法跟蹤前述提取出的角點。光流法是基于亮度恒定，時間連續(xù)或者是運(yùn)動是“小運(yùn)動”，空間一致，臨近點有相似運(yùn)動三個原則實現(xiàn)的。根據(jù)空間一致原則，本發(fā)明以特征點為中心，選取大小為5*5的窗口，以窗口運(yùn)動替代特征點的運(yùn)動，如果在相鄰兩幀圖像I₁、I₂內(nèi)窗口中的圖像內(nèi)容相同，則在亮度恒定的前提下，有下述光流約束條件成立：

I₁(x,y,t)＝I₂(x',y',t+τ) (2)

式(2)中，t表示某一時刻，τ表示相鄰兩幀圖像的時間間隔。在窗口中的所有像素點坐標(biāo)(x,y)都往同一個方向移動了(dx,dy)，從而得到(x',y')。因此，窗口內(nèi)圖像的匹配的問題可轉(zhuǎn)化為對式(3)尋求最小值的計算：

式(3)中，dx、dy分別是圖像在x、y方向上的速度分量，ε(d)是最小值運(yùn)算結(jié)果。對上式求導(dǎo)，并令其導(dǎo)數(shù)為0，即得出矩陣形式如式(4)所示：

式(4)為光流計算的最終公式，I_t是指像素灰度值關(guān)于t的偏導(dǎo)。

根據(jù)以上計算獲得了第I₁幀圖像中每個角點(x_I1,y_I1)處的光流運(yùn)動向量(dx,dy)，從而確定了第I₂幀圖像中對應(yīng)角點的像素坐標(biāo)為(x_I2,y_I2)。

最后，根據(jù)跟蹤到的角點，使用RANSAC算法對圖像進(jìn)行配準(zhǔn)。具體過程為：

假設(shè)相鄰兩幀圖像中的特征點集D和特征點集D'中相對應(yīng)的特征點對分別表示為i＝1,2,3...N，則計算出特征點對的平均距離D_pq如下式所示：

式(5)中，D_pq為特征點對的平均距離，N為像素數(shù)。

如果則將點對存入集合S中。在集合S中任意提取勢為4的樣本集S₁，S₁中包含四對特征點對其中i＝1,2,3,4，利用四對特征點對構(gòu)造單應(yīng)性矩陣如式(6)所示：

式(6)中，n₁₁、n₁₂、n₁₃、n₂₁、n₂₂、n₂₃、n₃₁、n₃₂分別為單應(yīng)性矩陣的元素，為相鄰兩幀之間的單應(yīng)性矩陣。根據(jù)以上單應(yīng)性矩陣完成對圖像的配準(zhǔn)處理。

第三步，使用本發(fā)明改進(jìn)后的MHI(運(yùn)動歷史圖)方法對經(jīng)過配準(zhǔn)處理后的圖像進(jìn)行目標(biāo)檢測，使用腐蝕膨脹方法對檢測出的目標(biāo)進(jìn)行形態(tài)學(xué)處理。經(jīng)過MHI方法和形態(tài)學(xué)處理后的圖像如圖5所示。

改進(jìn)的MHI方法核心在于圖像通過系統(tǒng)時間轉(zhuǎn)換后對MHI進(jìn)行不斷更新，隨著時間的推進(jìn)，當(dāng)前圖像對應(yīng)的輪廓總是有最大的灰度值，而過去圖像對應(yīng)的輪廓在當(dāng)前MHI中的影響將會越來越小，當(dāng)過去幀圖像與當(dāng)前幀圖像的間隔超過一定閾值時，其影響將被清零。本發(fā)明中MHI方法的步驟如下：

首先，對經(jīng)過圖像預(yù)處理和配準(zhǔn)處理后的圖像做相鄰差分運(yùn)算，通過式(7)獲得差分圖像：

D(τ)＝|I(τ)-I(τ±Δ)| (7)

其次，將差分圖像與閾值對比，計算得出前后向MHI圖像，MHI是一個不斷更新的過程，以前向MHI為例，其計算過程為遞推運(yùn)算。

式(8)是前向MHI圖像的計算公式，式中，H_F(x,y,τ)是指前向MHI圖像，H_F(x,y,τ-1)是指前一時刻的前向MHI圖像，x是指圖像的行，y是指圖像的列，T是指閾值，D(x,y,τ)是指差分圖像。

在本發(fā)明中使用的MHI算法進(jìn)行了相應(yīng)改進(jìn)，首先，將原來固定閾值改為自適應(yīng)變化的閾值T，檢測前一時刻的前向MHI圖像H_F(x,y,τ-1)中的目標(biāo)輪廓像素值時，通過相鄰幀累計根據(jù)目標(biāo)輪廓像素值的變化不斷調(diào)整閾值T，可以區(qū)別處理背景發(fā)生突變的情況和前景目標(biāo)靜止的情況。通過上式遞歸得到前向以及后向MHI圖像：H_F(t)和H_B(t)。

其次，由于原來MHI算法中只能得出前向MHI或者后向MHI圖像的目標(biāo)檢測效果，在本發(fā)明改進(jìn)方法中綜合兩種圖像即前向MHI和后向MHI圖像考慮，將兩種圖像對應(yīng)的像素值較小者作為最終檢測的目標(biāo)圖像，能夠使檢測出的目標(biāo)輪廓更清晰，像素值更精確。具體如下：

隨著時間的推移，歷史圖像的影響將會越來越小，于是目標(biāo)運(yùn)動反方向?qū)纬赏嫌?，本發(fā)明選取前向MHI圖像H_F(t)和后向MHI圖像H_B(t)中的像素較小值作為最終的檢測結(jié)果，即M(t)為最終檢測出的目標(biāo)圖像：

M(t)＝min(medfilt(H_F(t)),medfilt(H_B(t))) (9)

式(9)是最終的檢測目標(biāo)圖像計算公式，medfilt是指中值濾波運(yùn)算，min是指較小值運(yùn)算，M(t)是指最終的檢測結(jié)果。

最后，對經(jīng)過分割后的圖像進(jìn)行腐蝕膨脹。腐蝕模板為5×5的矩形模板，而膨脹模板為7×7的矩形。

第四步，使用改進(jìn)的Kalman濾波器對檢測出的目標(biāo)進(jìn)行跟蹤并框出目標(biāo)，并基于目標(biāo)特征對目標(biāo)進(jìn)行航跡關(guān)聯(lián)，實現(xiàn)對目標(biāo)的實時監(jiān)控。經(jīng)過Kalman濾波器跟蹤目標(biāo)后的圖像如圖6所示。

Kalman濾波算法是一種基于最小方差的最佳線性遞歸濾波算法，它能夠預(yù)測視頻圖 像下一幀區(qū)域的中心位置，更新當(dāng)前幀的目標(biāo)區(qū)域。傳統(tǒng)Kalman濾波器的狀態(tài)方程為式(10)、觀測方程為式(10)：

X(k+1)＝AX(k)+Bw(k) (22)

Z(k)＝HX(k)+v(k) (23)

式中，k是目標(biāo)的運(yùn)動矢量，X(k)＝[x(k) y(k) Δx(k) Δy(k)]^T為狀態(tài)向量，x(k)、y(k)分別為運(yùn)動目標(biāo)中心坐標(biāo)在x軸和y軸的分量。Z(k)＝[x(k) y(k)]^T為觀測向量，x(k)、y(k)表示當(dāng)前幀觀測到的目標(biāo)中心在x軸和y軸的坐標(biāo)分量。為系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣，為系統(tǒng)的控制矩陣，為系統(tǒng)的觀測矩陣，w(k)，v(k)分別為過程噪聲和測量噪聲，它們是均值為零的高斯白噪聲且相互獨立，其協(xié)方差分別為Q,R,T為采樣間隔。

傳統(tǒng)的目標(biāo)跟蹤算法只考慮目標(biāo)的速度和方向信息，本發(fā)明與傳統(tǒng)算法的不同之處在于，本發(fā)明計算目標(biāo)與航跡之間的距離時，還將目標(biāo)灰度信息加入到計算中，能夠使提高目標(biāo)跟蹤的準(zhǔn)確性和有效性。下面是將傳統(tǒng)Kalman濾波器算法改進(jìn)部分，即在觀測向量中加入目標(biāo)的灰度信息I(k)。如下式所示：

Z(k)＝{x_k,y_k,I(k)} (24)

式中，(x_k,y_k)是目標(biāo)的位置，I(k)是目標(biāo)在單幀檢測過程中潛在目標(biāo)的平均灰度值。

對于產(chǎn)生關(guān)聯(lián)的航跡i和目標(biāo)j采用如下方式計算各部分的濾波殘差：

式中，Δx_k,ij,Δy_k,ij是經(jīng)過Kalman濾波算法處理得到的殘差，ΔI_ij(k)是量測目標(biāo)j灰度的預(yù)測誤差，是濾波殘差。

對于Kalman濾波殘差的距離和灰度殘差采用下面的方法計算：

式中，x_j(k)、y_j(k)和I_j(k)分別是量測目標(biāo)j的水平坐標(biāo)、垂直坐標(biāo)和灰度值，和是航跡i預(yù)測目標(biāo)的水平坐標(biāo)、垂直坐標(biāo)和灰度值；和為經(jīng)過Kalman濾波算法處理后的預(yù)測值。