專利名稱：一種魯棒性車輛實時檢測與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種監(jiān)控方法，具體地說，是涉及一種魯棒性車輛實時檢測與跟蹤方法。
背景技術(shù)：
隨著國家在“平安城市”、“平安交通”方面政策的逐漸落實，智能視頻監(jiān)控領(lǐng)域得到快速發(fā)展。目前智能視頻監(jiān)控領(lǐng)域所用車輛檢測系統(tǒng)大多依賴靜態(tài)的背景，通過提取運(yùn)動物體信息進(jìn)行特征判斷并進(jìn)行軌跡預(yù)測，然而實際中的監(jiān)控場景遠(yuǎn)比理論上的復(fù)雜，如攝像頭的抖動和背景的變換都會對檢測造成很大的影響，為了提高檢測精度，現(xiàn)有技術(shù)中常采用復(fù)雜的算法來分離背景，這種處理方式雖然達(dá)到了準(zhǔn)確檢測的目的，卻不能滿足實時性的要求。車輛跟蹤是監(jiān)控系統(tǒng) 中不可缺少的部分，對跟蹤算法的研究一直是近幾年的熱門領(lǐng)域，目前效果比較好的跟蹤算法包括粒子濾波、卡爾曼濾波、MIL(多實例學(xué)習(xí))、TLD(跟蹤-學(xué)習(xí)-檢測)等。然而，由于粒子濾波算法是通過在目標(biāo)周圍生成許多個樣本點，再根據(jù)目標(biāo)匹配找到跟蹤目標(biāo)，因而穩(wěn)定性受限于樣本點的數(shù)目，采樣點太少，跟蹤不穩(wěn)定，采樣點太多，時間復(fù)雜度太高?？柭鼮V波算法主要基于目標(biāo)運(yùn)動狀態(tài)模型實現(xiàn)跟蹤，但實際中的目標(biāo)運(yùn)動因場景的變化隨機(jī)性很高，所以事先設(shè)置的目標(biāo)運(yùn)動模型不具有可變性。MIL及TLD算法對跟蹤有很好的魯棒性，對于長時間跟蹤的穩(wěn)定性要比其它算法都可靠，但是計算量太大，對于單目標(biāo)的跟蹤都低于10幀/S，不適用于實際的監(jiān)控當(dāng)中。對此，車輛監(jiān)控需要同時考慮跟蹤的穩(wěn)定性和實時性才能廣泛應(yīng)用于實際生活當(dāng)中。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種魯棒性車輛實時檢測與跟蹤方法，主要解決現(xiàn)有技術(shù)中存在的車輛跟蹤方法跟蹤不穩(wěn)定，實時性較差，實現(xiàn)較為復(fù)雜，不能滿足人們需求的問題。為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
一種魯棒性車輛實時檢測與跟蹤方法，包括以下步驟:
(1)采用離線訓(xùn)練方式從車輛監(jiān)測視頻圖片中截取車輛頭部或尾部圖片作為正樣本，使用不包含車輛的任意圖片作為負(fù)樣本，并將正、負(fù)樣本按1:2的比例搜集；
(2)提取正、負(fù)樣本的Haar-1ike特征，并使用adaboost算法進(jìn)行離線訓(xùn)練得出對車輛的判斷逐級增強(qiáng)的級聯(lián)分類器；
(3)輸入目標(biāo)圖片，提取目標(biāo)圖片的所有Haar-1ike特征，使用級聯(lián)分類器對目標(biāo)圖片的Haar-1ike特征進(jìn)行檢測識別，并根據(jù)識別出的Haar-1ike特征判斷目標(biāo)圖片中車輛的特征分布信息，并在檢測出車輛時記錄目標(biāo)車輛的車輛信息；
(4)建立跟蹤列表，將目標(biāo)車輛添加入跟蹤列表，采用光流法對跟蹤列表中的車輛進(jìn)行位置預(yù)測，并判定車輛與預(yù)測位置間是否存在遮擋物，若存在遮擋物，則結(jié)合車輛的運(yùn)動信息和LBP紋理直方圖進(jìn)行分析，得出修正后的車輛預(yù)測位置；
(5 )根據(jù)車輛的初始位置和預(yù)測位置進(jìn)行路徑跟蹤。所述步驟(I)中，正樣本圖片的大小為20X2(Tl00X100，負(fù)樣本圖片的大小不小于 20X20。所述步驟(3)中，車輛信息包括車輛初始位置信息和尺寸。所述步驟(3)中，進(jìn)行車輛檢測前先初始化待檢測區(qū)域，在檢測到具有車輛的目標(biāo)圖片時將目標(biāo)圖片劃分為均等的矩形網(wǎng)絡(luò)，計算其LBP紋理直方圖，并將該計算出的LBP紋理直方圖作為步驟(4)中進(jìn)行后續(xù)跟蹤的匹配修正模板。所述步驟(4)中，當(dāng)存在遮擋物時車輛預(yù)測位置的具體計算方法如下:
(4a)設(shè)定車輛能夠接受的被外界最大程度影響下車輛運(yùn)動速度變化量的閾值和車輛預(yù)測位置下與初始目標(biāo)模板的LBP紋理直方圖間的相似度閾值；
(4b)計算前后兩幀間車輛的運(yùn)動速度變化量和當(dāng)前幀中預(yù)測位置下相同尺寸的目標(biāo)與初始目標(biāo)模板的LBP紋理直方圖間的相似度；
(4c)判定計算出的運(yùn)動速度變化量級和相似度ptn與各自已設(shè)定的閾值間的大
小關(guān)系，當(dāng)計算出的運(yùn)動速度變化量和相似度Pl 均大于各自已設(shè)定的閾值時，采
用LBP重采樣的方式對車輛的預(yù)測位置進(jìn)行修正，直至計算出的運(yùn)動速度變化量和相似度η.中的至少一個小于已設(shè)定的閾值。
Ki !I 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
(I)本發(fā)明突破了現(xiàn)有技術(shù)中采用粒子濾波、卡爾曼濾波、MIL(多實例學(xué)習(xí))、TLD(跟蹤-學(xué)習(xí)-檢測)等傳統(tǒng)算法進(jìn)行車輛跟蹤的思維局限，充分利用了光流法的跟蹤穩(wěn)定性，將局部二值模式特征(LBP)應(yīng)用于車輛跟蹤，彌補(bǔ)了光流法在跟蹤過程中受遮擋情況影響的缺點，使車輛跟蹤過程更加魯棒，且經(jīng)驗證后得出，即使隨著跟蹤車輛的增加，本發(fā)明的運(yùn)行速度也不會明顯下降，完全能夠滿足實時跟蹤的要求，且可靠性較高，具有突出的實質(zhì)性特點和顯著進(jìn)步，適合大規(guī)模推廣應(yīng)用。


圖1為本發(fā)明的流程示意圖。圖2為本發(fā)明中級聯(lián)分類器的分布示意圖。圖3為本發(fā)明中LBP紋理直方圖的網(wǎng)絡(luò)劃分示意圖。圖4為本發(fā)明中LBP重采樣示意圖。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步說明，本發(fā)明的實施方式包括但不限于下列實施例。
實施例為了簡單可靠地實現(xiàn)視頻車輛監(jiān)控領(lǐng)域所需的車輛檢測、穩(wěn)定跟蹤、車輛運(yùn)動方向判斷等功能，如圖1所示，本發(fā)明公開了一種魯棒性車輛實時檢測與跟蹤方法，本發(fā)明主要包括兩個部分，即車輛檢測和車輛跟蹤。其中，車輛檢測是車輛跟蹤的前提，本實施例中提供了一種車輛檢測的實現(xiàn)方案，如下:
采用離線訓(xùn)練方式對原有視頻中的車輛進(jìn)行正、負(fù)樣本搜集，即從視頻圖片中截取大小在20X20至100X 100之間的車輛頭部或尾部作為正樣本，正樣本的視頻源可選自實際的交通監(jiān)控；使用不包含車輛的任意圖片作為負(fù)樣本，負(fù)樣本的尺寸最小不能小于20X20，且將正、負(fù)樣本按1:2的比例搜集。如圖2所示，提取已搜集的正、負(fù)樣本的多種Haar-1ike特征，使用成熟的adaboost算法進(jìn)行離線訓(xùn)練得到多級級聯(lián)分類器，本實施例中選用20個分類器，分類器對車輛的判斷性能隨級聯(lián)逐漸增強(qiáng)，只有當(dāng)測試圖片區(qū)域的Haar-1ike特征通過了級聯(lián)分類器的判斷，才能確定該測試圖片中是否包含車輛。進(jìn)行車輛檢測識別時，需輸入目標(biāo)圖片，并使用已訓(xùn)練好的級聯(lián)分類器進(jìn)行特征值判別，即計算目標(biāo)圖片的所有Haar-1ike特征值，將Haar-1ike特征作為目標(biāo)特征，結(jié)合魯棒的adaboost學(xué)習(xí)算法，離線學(xué)習(xí)到普遍車輛的特征概率分布。例如:在實施時從大量高清視頻中搜集8000張正樣本，從網(wǎng)絡(luò)中收 集16000張負(fù)樣本，那么正樣本的數(shù)量足以包含不同車型的車輛，從中提取的Haar-1ike特征能夠完全反映車輛的特征信息，所以對車輛的識別率可以達(dá)到95%，并且可以檢測出最小尺寸為20X20的目標(biāo)車輛，對于復(fù)雜場景和標(biāo)清視頻的圖片仍有很好的檢測效果，達(dá)到了視頻監(jiān)控中對車輛有效檢測的要求，能在實際中廣泛應(yīng)用。在使用本發(fā)明時，需先初始化待檢測區(qū)域，然后對待檢測區(qū)域進(jìn)行車輛檢測，并記錄檢測到的目標(biāo)車輛初始位置信息和尺寸，將每個目標(biāo)劃分成均等的矩形網(wǎng)格，例如如圖3所示劃分成8個16X 16的網(wǎng)格，計算LBP紋理直方圖，并將該直方圖作為目標(biāo)模板的紋理特征用于后續(xù)跟蹤模塊的匹配修正。車輛跟蹤是本發(fā)明的核心部分，本發(fā)明中主要使用光流法作為主要車輛跟蹤算法，并結(jié)合LBP紋理直方圖和車輛運(yùn)動信息來增加跟蹤的魯棒性，使其在長時間跟蹤和被其它物體遮擋的情況下具有很好的穩(wěn)定性。本發(fā)明中提供了一種進(jìn)行車輛跟蹤的實現(xiàn)方法，如下:
首先，采用光流法進(jìn)行位置預(yù)測:
初始化目標(biāo)后，得到上一幀的灰度圖像和車輛列表，將當(dāng)前幀圖像經(jīng)過灰度轉(zhuǎn)換后得到Gn ,此時當(dāng)前幀的車輛位置未知，建立車輛跟蹤列表，將目標(biāo)車輛添加入跟蹤列表，采用光流法對已經(jīng)加入跟蹤列表的車輛進(jìn)行位置預(yù)測，得到每個跟蹤目標(biāo)在當(dāng)前圖片中的候選位置Ct5,由于可能存在跟蹤車輛被其他物體遮擋的情況,則此時的Cr被當(dāng)作候選位置對待，還需要對跟蹤車輛的運(yùn)動信息和LBP紋理直方圖進(jìn)行分析，判斷車輛運(yùn)動是否受到影響，同時保存Gs作為下次位置預(yù)測的輸入;
其次，進(jìn)行車輛運(yùn)動狀態(tài)判斷:
采用光流法跟蹤目標(biāo)時，如果目標(biāo)沒有被遮擋，則目標(biāo)的歷史速度變化都是穩(wěn)定的，基于這個結(jié)論，可以根據(jù)車輛的速度變化再加上現(xiàn)有技術(shù)中的輔助方法便能判斷車輛的運(yùn)動狀態(tài)，本發(fā)明選用結(jié)合LBP紋理直方圖判斷車輛運(yùn)動異常狀況，其方法是計算前后兩幀
間車輛的運(yùn)動速度變化量ΔΥ和當(dāng)前幀中預(yù)測位置下相同尺寸的目標(biāo)與初始目標(biāo)模板的
LBP紋理直方圖間的相似度Pis ；如果ΔΥ和Pi 同時大于某個預(yù)先設(shè)定的閾值，此閾
值的大小表示了系統(tǒng)可以接受的車輛被外界影響的程度，表明現(xiàn)在車輛的運(yùn)動存在異常情況或者被其它物體所遮擋，需要對車輛的預(yù)測位置進(jìn)行修正，修正采用LBP重采樣的方式尋找與目標(biāo)模板最相似的車輛所在的位置，本實施例中提供了一種預(yù)測位置周圍8點重采樣方式，如圖4所示。之后，進(jìn)行LBP修正:
在候選位置Cn所在點周圍確定車輛的最終位置Cd ,根據(jù)歷史速度dx和dy生成8個樣
本點…Ci1-, Cli3},其中，dx和dy即表示以候選位置為中心在X軸和y軸方向上的樣本點偏移量，每個點都作為跟蹤位置的候選點，并生成與目標(biāo)模板大小對應(yīng)的圖片塊Gdy, Gd-.Gd3),按相同方法計算每個圖片塊的LBP紋理直方圖并與目標(biāo)
模板的LBP紋理直方圖計算得到候選相`似度 {pd-.Pd:,Pd- ,pda}.將最相似的樣本
點即 P =作為最終的車輛跟蹤位置，返回新位置信息Cd,同時更新目標(biāo)
模板的LBP紋理直方圖。為了實現(xiàn)連續(xù)觀測，在計算完已跟蹤車輛的最新位置信息后還需判斷是否有新車輛出現(xiàn)，即在檢測區(qū)內(nèi)繼續(xù)對車輛進(jìn)行檢測，根據(jù)目標(biāo)重疊面積信息剔除檢測到并已在跟蹤的車輛，如設(shè)新檢測到的車輛為Ctww，如果 S{CE￡)W.n Cd} > 0.6,則認(rèn)為該檢測車
輛已經(jīng)處于跟蹤狀態(tài)，將其從檢測列表中刪除，將剩余的車輛作為新目標(biāo)，初始化目標(biāo)信息及LBP紋理直方圖，進(jìn)入循環(huán)跟蹤狀態(tài)。為了確認(rèn)本發(fā)明在實際應(yīng)用中的效果，經(jīng)測試后得出本發(fā)明的實時性測試數(shù)據(jù)表，如表I所不:
權(quán)利要求
1.一種魯棒性車輛實時檢測與跟蹤方法，其特征在于，包括以下步驟: (1)采用離線訓(xùn)練方式從車輛監(jiān)測視頻圖片中截取車輛頭部或尾部圖片作為正樣本，使用不包含車輛的任意圖片作為負(fù)樣本，并將正、負(fù)樣本按1:2的比例搜集； (2)提取正、負(fù)樣本的Haar-1ike特征,并使用adaboost算法進(jìn)行離線訓(xùn)練得出對車輛的判斷逐級增強(qiáng)的級聯(lián)分類器； (3)輸入目標(biāo)圖片，提取目標(biāo)圖片的所有Haar-1ike特征，使用級聯(lián)分類器對目標(biāo)圖片的Haar-1ike特征進(jìn)行檢測識別，并根據(jù)識別出的Haar-1ike特征判斷目標(biāo)圖片中車輛的特征分布信息，并在檢測出車輛時記錄目標(biāo)車輛的車輛信息； (4)建立跟蹤列表，將目標(biāo)車輛添加入跟蹤列表，采用光流法對跟蹤列表中的車輛進(jìn)行位置預(yù)測，并判定車輛與預(yù)測位置間是否存在遮擋物，若存在遮擋物，則結(jié)合車輛的運(yùn)動信息和LBP紋理直方圖進(jìn)行分析，得出修正后的車輛預(yù)測位置； (5 )根據(jù)車輛的初始位置和預(yù)測位置進(jìn)行路徑跟蹤。
2.根據(jù)權(quán)利要求1所述的一種魯棒性車輛實時檢測與跟蹤方法，其特征在于，所述步驟(I)中，正樣本圖片的大小為20X2(Tl00X100，負(fù)樣本圖片的大小不小于20X20。
3.根據(jù)權(quán)利要求1所述的一種魯棒性車輛實時檢測與跟蹤方法，其特征在于，所述步驟(3 )中，車輛信息包括車輛初始位置信息和尺寸。
4.根據(jù)權(quán)利要求1所述的一種魯棒性車輛實時檢測與跟蹤方法，其特征在于，所述步驟(3)中，進(jìn)行車輛檢測前先初始化待檢測區(qū)域，在檢測到具有車輛的目標(biāo)圖片時將目標(biāo)圖片劃分為均等的矩形網(wǎng)絡(luò)，計算其LBP紋理直方圖，并將該計算出的LBP紋理直方圖作為步驟(4)中進(jìn)行后續(xù)跟蹤的匹配修正模板。
5.根據(jù)權(quán)利要求4所述的一種魯棒性車輛實時檢測與跟蹤方法，其特征在于，所述步驟(4)中，當(dāng)存在遮擋物時車輛預(yù)測位置的具體計算方法如下: (4a)設(shè)定車輛能夠接受的被外界最大程度影響下車輛運(yùn)動速度變化量的閾值和車輛預(yù)測位置下與初始目標(biāo)模板的LBP紋理直方圖間的相似度閾值； (4b)計算前后兩幀間車輛的運(yùn)動速度變化量if和當(dāng)前幀中預(yù)測位置下相同尺寸的目標(biāo)與初始目標(biāo)模板的LBP紋理直方圖間的相似度ρ|η ； (4c)判定計算出的運(yùn)動速度變化量和相似度Pln與各自已設(shè)定的閾值間的大小關(guān)系，當(dāng)計算出的運(yùn)動速度變化量if和相似度Pln均大于各自已設(shè)定的閾值時，采用LBP重采樣的方式 對車輛的預(yù)測位置進(jìn)行修正，直至計算出的運(yùn)動速度變化量康和相似度p|n中的至少一個小于已設(shè)定的閾值。
全文摘要
本發(fā)明公開了一種魯棒性車輛實時檢測與跟蹤方法，主要解決了現(xiàn)有技術(shù)中存在的車輛跟蹤方法跟蹤不穩(wěn)定，實時性較差，實現(xiàn)較為復(fù)雜，不能滿足人們需求的問題。該一種魯棒性車輛實時檢測與跟蹤方法包括搜集正、負(fù)樣本；提取正、負(fù)樣本特征，并得出級聯(lián)分類器；對目標(biāo)圖片進(jìn)行檢測；建立跟蹤列表，采用光流法對跟蹤列表中的車輛進(jìn)行位置預(yù)測；根據(jù)車輛的初始位置和預(yù)測位置進(jìn)行路徑跟蹤。通過上述方案，本發(fā)明達(dá)到了跟蹤穩(wěn)定且實時性較好，實現(xiàn)相對簡單的目的，具有很高的實用價值和推廣價值。
文檔編號G06K9/46GK103246896SQ201310198589
公開日2013年8月14日 申請日期2013年5月24日 優(yōu)先權(quán)日2013年5月24日
發(fā)明者黃健, 陳龍, 王國金, 郭培超, 周衛(wèi) 申請人:成都方米科技有限公司