基于運(yùn)動(dòng)行為模式的多視角室內(nèi)行人跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體地說(shuō)，是涉及行人跟蹤方法，更具體地說(shuō)，是 涉及基于運(yùn)動(dòng)行為模式的多視角室內(nèi)行人跟蹤方法。
【背景技術(shù)】
[0002] 視覺(jué)信息是人體獲得外界信息的主要渠道，其中運(yùn)動(dòng)信息是其重要組成部分，大 量重要的、有意義的視覺(jué)信息包含在運(yùn)動(dòng)中?；谶\(yùn)動(dòng)目標(biāo)分析在實(shí)際應(yīng)用中所具有的重 要價(jià)值，以及在分析基礎(chǔ)上所建立的目標(biāo)分析系統(tǒng)，其性能的好壞關(guān)鍵取決于對(duì)目標(biāo)運(yùn)動(dòng) 信息的提取和分析，因此，對(duì)于運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)的研究具有重要意義。
[0003] 而目標(biāo)跟蹤是通過(guò)分析采集的關(guān)于目標(biāo)運(yùn)動(dòng)情況的數(shù)據(jù)，獲得目標(biāo)的位置，進(jìn)而 得到目標(biāo)的運(yùn)動(dòng)軌跡，是運(yùn)動(dòng)目標(biāo)分析過(guò)程的關(guān)鍵環(huán)節(jié)，屬于計(jì)算機(jī)視覺(jué)中的低層視覺(jué)范 疇，是目標(biāo)行為識(shí)別和場(chǎng)景理解的基礎(chǔ)。在目標(biāo)跟蹤的大多數(shù)場(chǎng)景中行人是跟蹤的主要目 標(biāo)，行人跟蹤已成為了智能視頻分析領(lǐng)域研究的熱點(diǎn)，在視頻監(jiān)控、智能人機(jī)交互、行為分 析等領(lǐng)域有著重要的研究意義和應(yīng)用價(jià)值。
[0004] 目前，行人跟蹤方法主要包括有基于流形學(xué)習(xí)與稀疏表示、基于近正向俯視監(jiān)控 視頻、基于行人檢測(cè)、基于改進(jìn)的隨機(jī)森林、基于HOG-LBP描述等五種跟蹤方法，例如 ：
[0005] 申請(qǐng)?zhí)枮镃N201410489737. 4、名稱為《一種基于流形學(xué)習(xí)與稀疏表示的行人跟蹤 方法》的中國(guó)專利申請(qǐng)公開了下述技術(shù)內(nèi)容：對(duì)采集到的視頻幀進(jìn)行灰度轉(zhuǎn)換，縮小到統(tǒng)一 尺寸；手動(dòng)選定跟蹤的行人目標(biāo)，并記錄目標(biāo)各項(xiàng)參數(shù)，通過(guò)計(jì)算PCA映射矩陣和OLPP映射 矩陣生成目標(biāo)模版；隨機(jī)生成候選粒子，建立系統(tǒng)的觀測(cè)模型和運(yùn)動(dòng)模型，通過(guò)流形學(xué)習(xí)的 方式，在粒子濾波框架下求解最大后驗(yàn)概率估計(jì)；將各候選樣本的運(yùn)動(dòng)模型和觀測(cè)模型代 入后驗(yàn)估計(jì)表達(dá)式，取最大值所對(duì)應(yīng)的樣本為目標(biāo)位置。
[0006] 申請(qǐng)?zhí)枮镃N201210495491. 2、名稱為《一種近正向俯視監(jiān)控視頻行人跟蹤計(jì)數(shù)方 法和裝置》的中國(guó)專利申請(qǐng)公開了下述技術(shù)內(nèi)容：獲取當(dāng)前監(jiān)控場(chǎng)景下的視頻圖像；將獲取 圖像與背景圖像進(jìn)行比較，當(dāng)判定所述視頻圖像為前景圖像時(shí)，對(duì)前景圖像中的各團(tuán)塊進(jìn) 行分割以及組合，得到單個(gè)行人的目標(biāo)團(tuán)塊；根據(jù)檢測(cè)區(qū)內(nèi)各目標(biāo)團(tuán)塊的質(zhì)心坐標(biāo)，進(jìn)行跟 蹤和計(jì)數(shù)。
[0007] 申請(qǐng)?zhí)枮镃N201310311020. 6、名稱為《一種基于行人檢測(cè)和跟蹤的人流監(jiān)控方法》 的中國(guó)專利申請(qǐng)公開了下述技術(shù)內(nèi)容：獲取并解碼攝像頭視頻流得到RGB格式的單幀圖 像；根據(jù)圖像積分通道特征，進(jìn)行由疏到密多尺度識(shí)別，并采用NMS方法組合所有尺度中的 識(shí)別結(jié)果，通過(guò)計(jì)算每個(gè)檢測(cè)結(jié)果區(qū)域和背景區(qū)域差異，刪除差異小的檢測(cè)結(jié)果，得到行人 位置以及對(duì)應(yīng)的置信值；通過(guò)計(jì)算相似度，匹配相鄰幀中檢測(cè)到的行人，從而實(shí)現(xiàn)行人跟蹤 并得到每個(gè)人的運(yùn)動(dòng)軌跡；
[0008] 申請(qǐng)?zhí)枮镃N201310353511. 7、名稱為《一種基于改進(jìn)的隨機(jī)森林的多目標(biāo)跟蹤方 法及裝置》的中國(guó)專利申請(qǐng)公開了下述技術(shù)內(nèi)容：隨機(jī)產(chǎn)生森林訓(xùn)練模塊，用于對(duì)交叉前 的目標(biāo)進(jìn)行訓(xùn)練，建立目標(biāo)分類器；隨機(jī)森林分類模塊，在下一幀用訓(xùn)練好的分類器對(duì)交叉 后的目標(biāo)區(qū)域進(jìn)行分類；目標(biāo)重新定位模塊，對(duì)分類后的塊執(zhí)行聚類操作，形成目標(biāo)位置區(qū) 域。本發(fā)明有效的解決了在多目標(biāo)跟蹤過(guò)程中出現(xiàn)交叉時(shí)出現(xiàn)跟錯(cuò)跟丟的問(wèn)題。
[0009] 申請(qǐng)?zhí)枮镃N 201210046834. 7、名稱為《一種基于HOG-LBP描述的行人跟蹤方法》 的中國(guó)專利申請(qǐng)公開了下述技術(shù)內(nèi)容：建立適應(yīng)HOG-LBP描述器要求的圖像正負(fù)樣本集， 對(duì)已建立的樣本圖像集進(jìn)行批量特征提取,從而建立特征樣本集；通過(guò)SVM對(duì)特征樣本集 進(jìn)行有監(jiān)督訓(xùn)練，建立含有類懲罰因子的軟間隔SVM模型，并得到基于HOG-LBP描述的行人 檢測(cè)器；利用行人檢測(cè)器檢測(cè)結(jié)果，采用粒子濾波跟蹤方法完成行人跟蹤。該方法對(duì)場(chǎng)景中 發(fā)生的運(yùn)動(dòng)交錯(cuò)、遮擋現(xiàn)象以及運(yùn)動(dòng)呈現(xiàn)的非線性特征具有較好的適應(yīng)性和穩(wěn)定性。
[0010] 上述五種方法存在的問(wèn)題概述如下：
[0011] 1)在粒子濾波框架下的跟蹤方法主要依據(jù)大數(shù)定理采用蒙特卡羅方法來(lái)求解貝 葉斯估計(jì)中的積分運(yùn)算，較好的解決了非線性、非高斯分布系統(tǒng)中的目標(biāo)跟蹤問(wèn)題，但上述 方法隨機(jī)生成候選粒子，只保證粒子采樣多樣性，并沒(méi)有選擇更好的參考分布，來(lái)提高采樣 效率，增加了計(jì)算量，且隨機(jī)生成的粒子也沒(méi)有考慮目標(biāo)特有的運(yùn)動(dòng)行為，具有一定的盲目 性；基于流形學(xué)習(xí)與稀疏表示的行人跟蹤方法，在跟蹤前需要手動(dòng)選定行人目標(biāo)和縮小視 頻幀到統(tǒng)一尺寸，這些都限制了跟蹤方法的應(yīng)用。
[0012] 2)對(duì)前景圖像各團(tuán)塊進(jìn)行分割以及組合的方法易受到光照變化、人體被遮擋等因 素的干擾，使得人體區(qū)域分割的不完整，容易出現(xiàn)跟蹤漂移，且該方法只能對(duì)每幀中目標(biāo)進(jìn) 行計(jì)數(shù)，并不能實(shí)現(xiàn)不同幀間目標(biāo)行人的關(guān)聯(lián)，無(wú)法實(shí)現(xiàn)連續(xù)跟蹤。
[0013] 3)上述跟蹤方法中將視覺(jué)跟蹤轉(zhuǎn)化為連續(xù)視頻幀中的目標(biāo)匹配問(wèn)題，其本質(zhì)可以 看作是在一個(gè)連續(xù)局部空間內(nèi)的局部匹配尋優(yōu)問(wèn)題，能夠?qū)崿F(xiàn)對(duì)目標(biāo)的檢測(cè)與跟蹤，但需 要獲取所有尺度圖像進(jìn)行識(shí)別，增加了計(jì)算量，同時(shí)通過(guò)計(jì)算相鄰幀間目標(biāo)的相似度來(lái)匹 配關(guān)聯(lián)不同目標(biāo)行人，在行人相對(duì)較多的場(chǎng)景難以獲得準(zhǔn)確的匹配度，對(duì)跟蹤過(guò)程中行人 的出現(xiàn)和消失情況也無(wú)法有效處理。
[0014] 4)基于改進(jìn)隨機(jī)森林和HOG-LBP描述的行人跟蹤方法局限性表現(xiàn)為：此類方法 均需要建立目標(biāo)分類器，但面臨的主要問(wèn)題有三個(gè)，一是分類器的構(gòu)造需要大量正負(fù)樣本 的學(xué)習(xí)，如何選擇樣本是一個(gè)關(guān)鍵問(wèn)題；二是計(jì)算復(fù)雜度高，計(jì)算量大，難以滿足實(shí)時(shí)需要； 三是需要在目標(biāo)所在區(qū)域的一個(gè)范圍內(nèi)進(jìn)行目標(biāo)搜索，如何優(yōu)化搜索范圍，使得既不因范 圍過(guò)小而影響目標(biāo)跟蹤精度，又不會(huì)因范圍過(guò)大而帶來(lái)搜索效率的下降，仍需要進(jìn)一步的 理論研究。

【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的是提供一種基于運(yùn)動(dòng)行為模式的多視角室內(nèi)行人跟蹤方法，提高行 人跟蹤/[目息的有效性，提1?行人跟蹤的魯棒性及準(zhǔn)確性。
[0016] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案予以實(shí)現(xiàn)：
[0017] 一種基于運(yùn)動(dòng)行為模式的多視角室內(nèi)行人跟蹤方法，其特征在于，所述方法包括 利用狀態(tài)空間模型對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)的過(guò)程和利用觀測(cè)模型對(duì)預(yù)測(cè)的運(yùn)動(dòng)狀態(tài)進(jìn) 行觀測(cè)、獲得跟蹤結(jié)果的過(guò)程；
[0018] 所述利用狀態(tài)空間模型對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)的過(guò)程包括：
[0019] 計(jì)算t時(shí)刻測(cè)試視頻幀中目標(biāo)所受的合力：利用根據(jù)測(cè)試視頻幀的前一視頻幀所 跟蹤到的目標(biāo)在跟蹤場(chǎng)景網(wǎng)格坐標(biāo)中的位置（xt，yt)計(jì)算目標(biāo)與目的地間的驅(qū)動(dòng)力Finn' 目標(biāo)與其他行人間的作用力Fstrc及目標(biāo)與障礙物間的作用力Fphys，計(jì)算測(cè)試視頻幀中目標(biāo) 所受的合力F為：F = FinnOT+Fs°e+Fphys;x ,為目標(biāo)在網(wǎng)格坐標(biāo)中的X坐標(biāo)，y t為目標(biāo)在網(wǎng)格坐 標(biāo)中的y坐標(biāo)，跟蹤場(chǎng)景網(wǎng)格坐標(biāo)是對(duì)跟蹤場(chǎng)景的俯視場(chǎng)景形成的XY平面進(jìn)行網(wǎng)格劃分后 的坐標(biāo)；
[0020] 計(jì)算t時(shí)刻測(cè)試視頻幀中目標(biāo)的概率力：在網(wǎng)格坐標(biāo)中，以目標(biāo)位置（xt，y t)所 在的網(wǎng)格為目標(biāo)網(wǎng)格，計(jì)算網(wǎng)格坐標(biāo)中其他網(wǎng)格對(duì)目標(biāo)網(wǎng)格所產(chǎn)生的概率力FP :FP = {FP1，· · ·，F(xiàn)P*，· · ·，F(xiàn)PP};其中，F(xiàn)P*= F · P % P*為跟蹤場(chǎng)景各攝像頭中其他目標(biāo)區(qū)域根據(jù)網(wǎng) 格坐標(biāo)與視頻圖像像素點(diǎn)坐標(biāo)間的對(duì)應(yīng)關(guān)系對(duì)應(yīng)到網(wǎng)格坐標(biāo)后第*個(gè)網(wǎng)格內(nèi)包含的其他 目標(biāo)區(qū)域面積占該網(wǎng)格面積的比例，P #> 〇, * = 1，2, ...，p，p為具有其他目標(biāo)區(qū)域的網(wǎng)格 數(shù)量；
[0021] 根據(jù)目標(biāo)的概率力對(duì)下一時(shí)刻的目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)：將目標(biāo)抽象 為粒子，t時(shí)刻粒子狀態(tài)定義為；ζ =[X,，J,，?，，Vv νΛ分別表示t時(shí) 刻目標(biāo)在網(wǎng)格坐標(biāo)X坐標(biāo)軸方向的速度和y坐標(biāo)軸方向的速度，則t+1時(shí)刻粒 子狀態(tài)4 +1=[6+1，乃+1，\+1，'. +1，沙，叱預(yù)測(cè)為：χ?+13+Δ，·ν?;，7?+1=^+Δ?_ν Λ， ]pp I I PP I , ~xt+vx ^ -^ΔΓ，vr - + VvJUjT- -，從而獲得 t+1 時(shí)刻目標(biāo)在網(wǎng)格坐 1 2 m " 2 m 標(biāo)下的P個(gè)預(yù)測(cè)位置；其中，Xt+1、yt+1分別為預(yù)測(cè)的t+l時(shí)刻目標(biāo)在網(wǎng)格坐標(biāo)中的X坐標(biāo)和 y坐標(biāo)，L、ν,>+ι分別表示預(yù)測(cè)的t+1時(shí)刻目標(biāo)在網(wǎng)格坐標(biāo)X坐標(biāo)軸方向的速度和y坐標(biāo) 軸方向的速度，Λ t為t+l時(shí)刻和t時(shí)刻的時(shí)間差，F(xiàn)Px、FPy分別為目標(biāo)的概率力FP在網(wǎng)格 坐標(biāo)X坐標(biāo)軸方向上的分力和在y坐標(biāo)軸方向上的分力，m表示目標(biāo)的質(zhì)量,為設(shè)定常數(shù)；
[0022] 利用觀測(cè)模型對(duì)預(yù)測(cè)的運(yùn)動(dòng)狀態(tài)進(jìn)行觀測(cè)、獲得跟蹤結(jié)果的過(guò)程包括：
[0023] 根據(jù)網(wǎng)格坐標(biāo)與視頻圖像像素點(diǎn)坐標(biāo)間的對(duì)應(yīng)關(guān)系，獲得預(yù)測(cè)位置在跟蹤場(chǎng)景內(nèi) 每個(gè)攝像頭的視頻圖像幀中的像素點(diǎn)位置，以像素點(diǎn)位置為中心、形成寬為w、高為h的矩 形區(qū)域作為測(cè)試區(qū)域，每個(gè)預(yù)測(cè)位置對(duì)應(yīng)多個(gè)測(cè)試區(qū)域；
【主權(quán)項(xiàng)】
1. 一種基于運(yùn)動(dòng)行為模式的多視角室內(nèi)行人跟蹤方法，其特征在于，所述方法包括利 用狀態(tài)空間模型對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)的過(guò)程和利用觀測(cè)模型對(duì)預(yù)測(cè)的運(yùn)動(dòng)狀態(tài)進(jìn)行 觀測(cè)、獲得跟蹤結(jié)果的過(guò)程； 所述利用狀態(tài)空間模型對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)的過(guò)程包括： 計(jì)算t時(shí)刻測(cè)試視頻幀中目標(biāo)所受的合力：利用根據(jù)測(cè)試視頻幀的前一視頻幀所跟蹤 到的目標(biāo)在跟蹤場(chǎng)景網(wǎng)格坐標(biāo)中的位置（xt，yt)計(jì)算目標(biāo)與目的地間的驅(qū)動(dòng)力Finn'目標(biāo) 與其他行人間的作用力F stc及目標(biāo)與障礙物間的作