專利名稱：基于視頻圖像的目標(biāo)跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別技術(shù)領(lǐng)域，涉及一種可在人群密度較高、背景較復(fù)雜的情況下對(duì)視頻圖像中的目標(biāo)進(jìn)行穩(wěn)定跟蹤的方法及系統(tǒng)，
背景技術(shù)：
基于視頻圖像同時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤具有廣闊的應(yīng)用前景。比如，在公共場(chǎng)合和商業(yè)區(qū)，通過對(duì)視頻圖像中的多個(gè)行人進(jìn)行跟蹤，可以獲取某一時(shí)刻或時(shí)間段在監(jiān)控區(qū)域內(nèi)的行人數(shù)目以及行人的分布情況，同時(shí)對(duì)行人的跟蹤，不但可以得到行人的運(yùn)動(dòng)軌跡， 而且還可以實(shí)現(xiàn)人群流量的階段性統(tǒng)計(jì)數(shù)據(jù)。但是，對(duì)于剛性運(yùn)動(dòng)目標(biāo)比如行人的跟蹤來說，由于剛性運(yùn)動(dòng)目標(biāo)在運(yùn)動(dòng)中形態(tài)多變、個(gè)體之間位移速度差異大、運(yùn)動(dòng)方向無規(guī)則，以及由于個(gè)體密度太大容易導(dǎo)致堵塞等原因，基于視頻圖像同時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤技術(shù)側(cè)重于實(shí)時(shí)性和魯棒性的研究。基于視頻圖像同時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤技術(shù)主要基于目標(biāo)的顯著外觀特征，比如利用行人的人臉、身體輪廓等。例如，為了統(tǒng)計(jì)公交車乘客流量，在車廂頂部架設(shè)有攝像頭，通過該攝像頭采集車門區(qū)域的視頻圖像。根據(jù)建立的皮膚顏色模型來跟蹤視頻圖像中的多張人臉，從而同時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤。除了人臉之外，人的身體輪廓也是多目標(biāo)跟蹤中常用的外觀特征。例如，通過建立的觀測(cè)模型跟蹤視頻圖像中的多個(gè)側(cè)影輪廓，在行人或者背景發(fā)生變化的時(shí)候仍然可以穩(wěn)定的跟蹤。再例如，通過將人體看作若干部分的集合，并提取輪廓方向特征，再使用 boosting訓(xùn)練得到部分模型，結(jié)合貝葉斯推理將各個(gè)部分的檢測(cè)結(jié)果融合成一個(gè)或幾個(gè)行人的模型，以提高行人在被遮擋時(shí)算法的魯棒性。除此之外，可以借助于安裝在建筑物頂部的攝像頭來進(jìn)行視頻圖像抓拍，在一定程度上提高了行人在被遮擋時(shí)算法的魯棒性，但是， 這種方法的應(yīng)用場(chǎng)合有限。再者，還有借助于多攝像頭立體視覺方法來獲得深度信息，從而區(qū)分二維視場(chǎng)中的被遮擋行人，但是，控制多個(gè)攝像頭協(xié)同拍攝的難度較大。再例如，結(jié)合人體形狀、攝像機(jī)模型、圖像曲線等先驗(yàn)知識(shí)構(gòu)建行人模型，再利用貝葉斯框架和馬爾可夫鏈蒙特卡羅(Markov ChainMonte Carlo)方法從人群中分割出個(gè)體的人頭輪廓，從而實(shí)現(xiàn)對(duì)中等密度流動(dòng)人群的計(jì)數(shù)。目前，利用特征點(diǎn)聚類進(jìn)行基于視頻圖像同時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤技術(shù)較顯著外觀特征具有較高的實(shí)時(shí)性和魯棒性?；谔卣鼽c(diǎn)進(jìn)行多目標(biāo)跟蹤技術(shù)中，屬于同一目標(biāo)的特征點(diǎn)在空間上比較接近，而且，這些特征點(diǎn)在運(yùn)動(dòng)模式上具有同步性，因此，通過特征點(diǎn)的跟蹤和軌跡聚類，可以對(duì)目標(biāo)的個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，對(duì)目標(biāo)的軌跡進(jìn)行跟蹤。在此基礎(chǔ)上，結(jié)合人體本身的一些特征如外觀、步態(tài)等，進(jìn)一步提高了實(shí)時(shí)性和魯棒性。這種跟蹤技術(shù)比較適合于目標(biāo)被頻繁遮擋的情況，只要目標(biāo)有未被遮擋的特征點(diǎn)，就可以實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤。但是，一旦目標(biāo)內(nèi)部存在不同的運(yùn)動(dòng)模式時(shí)，采用這種特征點(diǎn)跟蹤技術(shù)容易導(dǎo)致目標(biāo)斷裂。再者，一些表面紋理簡(jiǎn)單、特征點(diǎn)較少的目標(biāo)無法形成特征點(diǎn)聚類，從而也被漏跟蹤。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于視頻圖像的目標(biāo)跟蹤方法及系統(tǒng)，以實(shí)現(xiàn)對(duì)目標(biāo)的有效跟蹤，提高跟蹤的實(shí)時(shí)性和魯棒性。為解決上述技術(shù)問題，本發(fā)明提供了一種基于視頻圖像的目標(biāo)跟蹤方法，該方法包括生成視頻圖像的灰度圖像、基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)、根據(jù)待跟蹤特征點(diǎn)以及存儲(chǔ)的目標(biāo)模板檢測(cè)目標(biāo)，以及根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)。為解決上述技術(shù)問題，本發(fā)明提供了一種基于視頻圖像的目標(biāo)跟蹤系統(tǒng)，該系統(tǒng)包括灰度圖像生成單元，用于生成視頻圖像的灰度圖像；特征點(diǎn)跟蹤單元，用于基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)；目標(biāo)檢測(cè)單元，用于根據(jù)待跟蹤特征點(diǎn)以及目標(biāo)模板檢測(cè)目標(biāo)；目標(biāo)跟蹤單元，用于根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)。本發(fā)明中，對(duì)行人目標(biāo)的待跟蹤特征點(diǎn)進(jìn)行檢測(cè)和跟蹤，并利用行人目標(biāo)與其對(duì)應(yīng)的待跟蹤特征點(diǎn)在運(yùn)動(dòng)上的同步性，從而實(shí)現(xiàn)了對(duì)行人目標(biāo)的有效跟蹤，提高了跟蹤的實(shí)時(shí)性和魯棒性，同時(shí)，利用對(duì)待跟蹤特征點(diǎn)進(jìn)行投票，避免了特征點(diǎn)被誤跟蹤、行人目標(biāo)被漏跟蹤。


圖1為本發(fā)明基于視頻圖像的目標(biāo)跟蹤方法實(shí)施例一的流程圖；圖2為應(yīng)用本發(fā)明方法檢測(cè)出的待跟蹤特征點(diǎn)；圖3為應(yīng)用本發(fā)明方法得到的運(yùn)動(dòng)前景示意圖；圖4為應(yīng)用本發(fā)明方法得到滑窗檢索結(jié)果；圖5為應(yīng)用本發(fā)明方法得到的滑窗合并結(jié)果；圖6為應(yīng)用本發(fā)明方法統(tǒng)計(jì)行人目標(biāo)的效果示意圖；圖7為本發(fā)明基于視頻圖像的目標(biāo)跟蹤系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。圖1為本發(fā)明基于視頻圖像的目標(biāo)跟蹤方法實(shí)施例一的流程圖。如圖1所示，本實(shí)施例中基于視頻圖像的目標(biāo)跟蹤方法包括S101、生成視頻圖像的灰度圖像；本發(fā)明實(shí)施例中以運(yùn)動(dòng)中的行人作為跟蹤對(duì)象，即利用攝像機(jī)拍攝人群密度較高背景較復(fù)雜的場(chǎng)景獲取行人視頻圖像，以灰度圖像作為后續(xù)處理的基礎(chǔ)。因此，在執(zhí)行后續(xù)步驟前，首先通過對(duì)原始的行人視頻圖像進(jìn)行灰度化得到對(duì)應(yīng)的灰度圖像。S102、基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)；由于在視頻圖像中行人目標(biāo)相對(duì)于背景在紋理特征上呈現(xiàn)出差異，比如具有明顯的邊緣輪廓和交點(diǎn)等。而且構(gòu)成同一行人目標(biāo)的這些特征點(diǎn)空間的距離較小，該距離一般小于目標(biāo)的外接框。同時(shí)，在行人目標(biāo)運(yùn)動(dòng)的過程中，構(gòu)成同一行人目標(biāo)的這些特征點(diǎn)呈現(xiàn)出同步運(yùn)動(dòng)趨勢(shì)，與行人目標(biāo)保持同步的運(yùn)動(dòng)。因此，本發(fā)明實(shí)施例中，利用行人目標(biāo)與特征點(diǎn)的這種關(guān)聯(lián)性以實(shí)現(xiàn)對(duì)行人的檢測(cè)和跟蹤。本實(shí)施例中，選定一個(gè)第一特征點(diǎn)鄰域進(jìn)行特征點(diǎn)的檢測(cè)，檢測(cè)出那些易于跟蹤的特征點(diǎn)作為待跟蹤特征點(diǎn)。此處，該第一特征點(diǎn)鄰域可以為包括至少一個(gè)特征點(diǎn)的區(qū)域， 第一特征點(diǎn)鄰域可以預(yù)先設(shè)定，比如為7*7的大小。本實(shí)施例中，基于特征窗口在不同時(shí)刻記錄的圖像的灰度值之差平方和最小的原則檢測(cè)待跟蹤特征點(diǎn)，所以，步驟S102具體包括S112、確定包含第一特征點(diǎn)鄰域的特征窗口 ；S122、使用特征窗口記錄不同時(shí)刻灰度圖像的灰度值；S132、計(jì)算不同時(shí)刻灰度圖像之間的灰度值差值；S142、根據(jù)灰度值差值最小的原則，計(jì)算第一特征點(diǎn)鄰域內(nèi)每個(gè)特征點(diǎn)的系數(shù)矩陣對(duì)應(yīng)的特征根。S152、從各個(gè)特征點(diǎn)對(duì)應(yīng)兩個(gè)特征根中選出較小者，并對(duì)這些較小的特征根進(jìn)行排序得到排序列表；S162、將排序列表中前若干個(gè)特征點(diǎn)作為待跟蹤特征點(diǎn)。利用特征窗口在t時(shí)刻記錄的灰度圖像的灰度值為I (X，0，在丨+1時(shí)刻記錄的灰度圖像的灰度值為J(x，t+τ )，χ代表特征點(diǎn)對(duì)應(yīng)的像素點(diǎn)的二維坐標(biāo)。當(dāng)時(shí)間間隔τ 較小時(shí)，d表示每個(gè)像素點(diǎn)在t時(shí)刻和t+τ時(shí)刻灰度圖像中的像素點(diǎn)平移向量，t時(shí)刻和 t+τ時(shí)刻灰度圖像的灰度值關(guān)系如式(1)J(X, t+ τ ) =I (X-d, t)(1)按照平移向量d平移t+ τ時(shí)刻記錄的灰度圖像的灰度值為J(X，t+ τ )變化得到 t時(shí)刻記錄的灰度圖像的灰度值為I (X，t)，即I (X-d, t)。實(shí)際場(chǎng)景中，由于光照和環(huán)境的變化，t時(shí)刻和t+ τ時(shí)刻的灰度值存在殘差，即如公式⑵所示J(X) = I (X-d)+n (X) (2)式O)中，略去了時(shí)間項(xiàng)，η⑴表示殘差。對(duì)⑵進(jìn)行泰勒級(jí)數(shù)展開得到在t時(shí)刻記錄的灰度圖像的灰度值I (X-d)，如公式 (3)所示
權(quán)利要求
1.一種基于視頻圖像的目標(biāo)跟蹤方法，其特征在于，包括 生成視頻圖像的灰度圖像；基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)； 根據(jù)待跟蹤特征點(diǎn)以及存儲(chǔ)的目標(biāo)模板檢測(cè)目標(biāo)； 根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于第一特征點(diǎn)鄰域從視頻圖像的灰度圖像檢測(cè)待跟蹤特征點(diǎn)包括計(jì)算第一特征點(diǎn)鄰域內(nèi)每個(gè)特征點(diǎn)的系數(shù)矩陣對(duì)應(yīng)的特征根； 從各個(gè)特征點(diǎn)對(duì)應(yīng)兩個(gè)特征根中選出較小者，并對(duì)這些較小的特征根進(jìn)行排序得到排序列表；將排序列表中前若干個(gè)特征點(diǎn)作為待跟蹤特征點(diǎn)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于第一特征點(diǎn)鄰域從視頻圖像的灰度圖像檢測(cè)待跟蹤特征點(diǎn)還包括確定包含第一特征點(diǎn)鄰域的特征窗口； 使用特征窗口記錄不同時(shí)刻灰度圖像的灰度值；根據(jù)記錄到的不同時(shí)刻灰度圖像的灰度值計(jì)算不同時(shí)刻灰度圖像之間的灰度值差值；根據(jù)灰度值差值最小的原則，計(jì)算第一特征點(diǎn)鄰域的系數(shù)矩陣對(duì)應(yīng)的特征根。
4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，根據(jù)待跟蹤特征點(diǎn)以及存儲(chǔ)的目標(biāo)模板檢測(cè)目標(biāo)包括對(duì)灰度圖像進(jìn)行運(yùn)動(dòng)前景檢測(cè)得到運(yùn)動(dòng)前景區(qū)域；利用滑窗對(duì)運(yùn)動(dòng)前景區(qū)域中的第二特征點(diǎn)鄰域進(jìn)行檢測(cè)；確定滑窗所覆蓋的第二特征點(diǎn)鄰域中區(qū)域圖像并提取區(qū)域圖像的紋理特征；利用分類器對(duì)提取的紋理特征進(jìn)行測(cè)試并根據(jù)測(cè)試結(jié)果確定是否是目標(biāo)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對(duì)確定出同一目標(biāo)的多個(gè)滑窗進(jìn)行合并。
6.根據(jù)權(quán)利要求1或4所述的方法，其特征在于，根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)包括根據(jù)同一目標(biāo)在前一時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)計(jì)算目標(biāo)的幾何中心； 相對(duì)于前一時(shí)刻灰度圖像中幾何中心的偏移位置，計(jì)算在當(dāng)前時(shí)刻灰度圖像的目標(biāo)幾何中心推斷值。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)包括根據(jù)同一目標(biāo)在前一時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)以及平移向量得到同一目標(biāo)在當(dāng)前時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)；根據(jù)同一目標(biāo)在當(dāng)前時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)以及偏移位置，得到對(duì)應(yīng)的目標(biāo)幾何中心估計(jì)值；根據(jù)目標(biāo)幾何中心的估計(jì)值以及在前一時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)的權(quán)重對(duì)每一個(gè)待跟蹤特征點(diǎn)投票，并將投票數(shù)最高的待跟蹤特征點(diǎn)對(duì)應(yīng)的目標(biāo)幾何中心的估計(jì)值作為目標(biāo)幾何中心的觀測(cè)值；根據(jù)目標(biāo)幾何中心的觀測(cè)值以及目標(biāo)的狀態(tài)變化模型，計(jì)算在當(dāng)前時(shí)刻灰度圖像的目標(biāo)幾何中心推斷值；根據(jù)目標(biāo)幾何中心推斷值以及目標(biāo)在當(dāng)前時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)更新偏移位置；根據(jù)在前一時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)的權(quán)重、每一個(gè)待跟蹤特征點(diǎn)對(duì)應(yīng)的目標(biāo)幾何中心估計(jì)值、以及目標(biāo)幾何中心推斷值更新在當(dāng)前時(shí)刻灰度圖像中的每一個(gè)待跟蹤特征點(diǎn)的權(quán)重。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，利用拌線對(duì)跟蹤到的目標(biāo)進(jìn)行統(tǒng)計(jì)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括對(duì)檢測(cè)到的待跟蹤特征點(diǎn)進(jìn)行列表統(tǒng)計(jì)得到特征點(diǎn)列表； 對(duì)檢測(cè)到的目標(biāo)進(jìn)行列表統(tǒng)計(jì)得到目標(biāo)的檢測(cè)列表； 對(duì)跟蹤到的目標(biāo)進(jìn)行列表統(tǒng)計(jì)得到目標(biāo)的跟蹤列表。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述目標(biāo)為運(yùn)動(dòng)中的行人。
11.一種基于視頻圖像的目標(biāo)跟蹤系統(tǒng)，其特征在于，包括 灰度圖像生成單元，用于生成視頻圖像的灰度圖像；特征點(diǎn)跟蹤單元，用于基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)； 目標(biāo)檢測(cè)單元，用于根據(jù)待跟蹤特征點(diǎn)以及存儲(chǔ)的目標(biāo)模板檢測(cè)目標(biāo)； 目標(biāo)跟蹤單元，用于根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)。
全文摘要
本發(fā)明公開了一種基于視頻圖像的目標(biāo)跟蹤方法及系統(tǒng)，屬于模式識(shí)別技術(shù)領(lǐng)域。該方法包括生成視頻圖像的灰度圖像、基于第一特征點(diǎn)鄰域從灰度圖像中檢測(cè)待跟蹤特征點(diǎn)、根據(jù)待跟蹤特征點(diǎn)以及存儲(chǔ)的目標(biāo)模板檢測(cè)目標(biāo)，以及根據(jù)對(duì)待跟蹤特征點(diǎn)的統(tǒng)計(jì)分析跟蹤目標(biāo)。本發(fā)明中，對(duì)行人目標(biāo)的待跟蹤特征點(diǎn)進(jìn)行檢測(cè)和跟蹤，并利用行人目標(biāo)與其對(duì)應(yīng)的待跟蹤特征點(diǎn)在運(yùn)動(dòng)上的同步性，從而實(shí)現(xiàn)了對(duì)行人目標(biāo)的有效跟蹤，提高了跟蹤的實(shí)時(shí)性和魯棒性。同時(shí)，利用對(duì)待跟蹤特征點(diǎn)進(jìn)行投票，避免了特征點(diǎn)被誤跟蹤、行人目標(biāo)被漏跟蹤的問題。
文檔編號(hào)G06K9/00GK102385690SQ20101026850
公開日2012年3月21日 申請(qǐng)日期2010年9月1日 優(yōu)先權(quán)日2010年9月1日
發(fā)明者劉昌平, 麻文華, 黃磊 申請(qǐng)人:漢王科技股份有限公司