專利名稱：多約束下的多視角監(jiān)控視頻行為檢測(cè)和識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺和模式識(shí)別技術(shù)領(lǐng)域，設(shè)計(jì)了一種稀疏化、結(jié)構(gòu)化和判別性的多約束下的多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別方法，用于對(duì)監(jiān)控視頻中人體目標(biāo)的行為進(jìn)行檢測(cè)和識(shí)別，實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能化管理。
背景技術(shù)：
基于視覺的人體行為識(shí)別是計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的一個(gè)極具挑戰(zhàn)性的研究熱點(diǎn)，并因其在智能監(jiān)控、便捷的人機(jī)交互、數(shù)字娛樂等領(lǐng)域的潛在應(yīng)用受到學(xué)術(shù)界和工業(yè)界的密切關(guān)注。早期的人體行為識(shí)別大多是在可人為控制的特定實(shí)驗(yàn)環(huán)境下進(jìn)行，即通過(guò)固定或控制光照、視角、距離和被關(guān)注對(duì)象位置等外因來(lái)簡(jiǎn)化問(wèn)題，從而提高動(dòng)作識(shí)別的 準(zhǔn)確率。但是，隨著應(yīng)用的不斷推廣，在可控環(huán)境下的現(xiàn)有研究成果往往無(wú)法適應(yīng)于實(shí)際的多樣化需求。當(dāng)前的真實(shí)應(yīng)用系統(tǒng)往往存在嚴(yán)重的遮擋、視角變化和被關(guān)注對(duì)象位置變化等多種外因帶來(lái)的影響，常常通過(guò)多攝像頭監(jiān)控系統(tǒng)的搭建來(lái)采集多視角信息，從而為準(zhǔn)確的人體行為識(shí)別提供幫助。因此，挖掘人體行為的視覺特性，融合多視角信息，研究多視角下的人體行為識(shí)別方法成為當(dāng)前研究熱點(diǎn)。在計(jì)算機(jī)視覺和模式識(shí)別相關(guān)研究領(lǐng)域中，多視角人體行為分析一直是最活躍的研究領(lǐng)域之一。由于三維空間往往較二維圖像包含更多的視覺信息，因此早期研究多是通過(guò)多視角采集的視差圖像進(jìn)行三維空間的重建，并在三維空間進(jìn)行人體行為識(shí)別。由于三維重建計(jì)算復(fù)雜度高，并且理想的三維重建本身存在很強(qiáng)的挑戰(zhàn)性，因此，近些年通過(guò)二維視覺信息的表征和復(fù)雜人體行為模型的構(gòu)建成為該領(lǐng)域主流方法。但是由于目標(biāo)差異較大，同時(shí)，即使相同目標(biāo)的行為也存在差異，這給人體行為識(shí)別帶來(lái)了很大困難。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提供一種稀疏化、結(jié)構(gòu)化和判別性多約束下的多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別方法，用于對(duì)視頻監(jiān)控中目標(biāo)行為進(jìn)行檢測(cè)和識(shí)別，以實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能分析。本發(fā)明提供的稀疏化、結(jié)構(gòu)化和判別性多約束下的多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別方法，用于對(duì)多視角視頻監(jiān)控中目標(biāo)行為進(jìn)行檢測(cè)和識(shí)別，以實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能分析，該方法具體包含以下步驟第I、視頻預(yù)處理針對(duì)多視角視頻中的所有圖像序列，通過(guò)中值濾波進(jìn)行噪聲過(guò)濾；第2、目標(biāo)檢測(cè)首先建立目標(biāo)檢測(cè)模型，用于檢測(cè)多視角視頻中是否出現(xiàn)目標(biāo)即人體；第3、目標(biāo)跟蹤建立目標(biāo)跟蹤模型，用于跟蹤第2步中檢測(cè)到的人體，同時(shí)，對(duì)第2步中檢測(cè)目標(biāo)進(jìn)行判斷，是否存在新的人體；
第4、時(shí)空特征提取根據(jù)圖像序列中檢測(cè)和跟蹤結(jié)果，提取人體目標(biāo)上的時(shí)空興趣點(diǎn)特征，并保存對(duì)應(yīng)的結(jié)果。第5、滑動(dòng)時(shí)間窗及特征歸一化根據(jù)預(yù)先設(shè)定的時(shí)間窗大小，采用“詞袋”方法，對(duì)窗口內(nèi)的所有時(shí)空興趣點(diǎn)特征進(jìn)行投影，并采用窗口內(nèi)興趣點(diǎn)的數(shù)目進(jìn)行歸一化，實(shí)現(xiàn)對(duì)其行為的描述。第6、多約束下的多視角監(jiān)控視頻中行為識(shí)別模型構(gòu)建和推斷，實(shí)現(xiàn)目標(biāo)行為的檢測(cè)和判斷。第7、根據(jù)相鄰滑動(dòng)窗口的檢測(cè)結(jié)果，進(jìn)行結(jié)果融合。針對(duì)多視角中的每個(gè)攝像頭，重復(fù)步驟1-4，直到整個(gè)滑動(dòng)時(shí)間窗內(nèi)的幀都提取 了時(shí)空興趣點(diǎn)后，采用步驟5飛，獲得對(duì)應(yīng)窗口中的行為判定，繼續(xù)滑動(dòng)時(shí)間窗，重復(fù)步驟1-6，若發(fā)現(xiàn)相鄰的時(shí)間窗的行為一致，則采用步驟7，合并相應(yīng)時(shí)間窗的結(jié)果，實(shí)現(xiàn)多視角監(jiān)控視頻的行為判斷和識(shí)別。本發(fā)明的優(yōu)點(diǎn)和有益效果；I)通過(guò)多視角方法實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行監(jiān)控，解決由于遮擋、光照變化以及視角變化等因素帶來(lái)的影響；2)充分分析多視角場(chǎng)景中人體行為特征的內(nèi)在關(guān)聯(lián)特性，通過(guò)稀疏化、結(jié)構(gòu)化和判別性約束的挖掘和相應(yīng)正則項(xiàng)的制定，實(shí)現(xiàn)多視角人體行為識(shí)別目標(biāo)函數(shù)的構(gòu)建，另外，通過(guò)坐標(biāo)下降法實(shí)現(xiàn)對(duì)人體目標(biāo)行為的識(shí)別。3)通過(guò)多約束的最優(yōu)化方法，實(shí)現(xiàn)多視角信息的無(wú)縫融合。


圖I為本發(fā)明的流程圖。圖2為多攝像頭布局的示意圖。圖3為具體過(guò)濾前后的圖像對(duì)比，A為過(guò)濾前的圖像，B為噪聲過(guò)濾后的圖像。圖4為人體檢測(cè)模型的構(gòu)建過(guò)程。圖5為不同動(dòng)作下提取的時(shí)空興趣點(diǎn)示意圖。圖6為基于“詞袋”方法對(duì)時(shí)空興趣點(diǎn)的投影和歸一化流程。圖7為待表征樣本與基的不意圖。圖8為對(duì)應(yīng)圖7中待表征樣本的重建系數(shù)的分布情況，說(shuō)明模型構(gòu)建的合理性。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。實(shí)施例I如圖I所示，為本發(fā)明的一種稀疏化、結(jié)構(gòu)化和判別性的多約束下的多視角視頻監(jiān)控中行為檢測(cè)和識(shí)別方法的操作流程圖，圖2為多攝像頭布局的示意圖，該方法的操作步驟包括步驟10視頻預(yù)處理針對(duì)多視角視頻中的所有圖像序列，通過(guò)中值濾波進(jìn)行噪聲過(guò)濾，具體過(guò)濾前后的圖像對(duì)比如圖3所示；
步驟20目標(biāo)檢測(cè)建立人體目標(biāo)檢測(cè)模型，用于檢測(cè)視頻中是否出現(xiàn)目標(biāo)，具體模型構(gòu)建包括以下幾個(gè)步驟(I)數(shù)據(jù)收集；從INRIA Person Dataset中獲取已標(biāo)注的人體數(shù)據(jù)(1805個(gè)正樣本)，同時(shí),從實(shí)際監(jiān)控視頻中對(duì)人體進(jìn)行標(biāo)注，收取了 3200個(gè)正樣本，總體正樣本數(shù)目約為5000個(gè)。負(fù)樣本也從INRIA Person Dataset和實(shí)際視頻中產(chǎn)生，大約10000個(gè)負(fù)樣本；(2)提取HOG特征針對(duì)所有的正負(fù)樣本，提取HOG特征；(3)模型訓(xùn)練通過(guò)訓(xùn)練數(shù)據(jù)集，訓(xùn)練支持向量機(jī)分類器模型，建立人體檢測(cè)器；(4)模型更新將訓(xùn)練好的分類器應(yīng)用到實(shí)際的監(jiān)控視頻中，為了降低模型的誤報(bào)率，不斷的將誤報(bào)的樣本加入到訓(xùn)練數(shù)據(jù)集中，并重新訓(xùn)練模型，直到查全率和查準(zhǔn)率都達(dá) 到要求時(shí)停止更新。(查全率和查準(zhǔn)率均大于95%)。其中模型構(gòu)建的基本過(guò)程見圖4，具體方法參考N. Dalai, B.Triggs, " Histograms ofOriented Gradients for Human Detection, " 2005IEEEInternational Conference on ComputerVision and Pattern Recognition(CVPR2005), pp.886-893，2005。步驟30目標(biāo)跟蹤針對(duì)每個(gè)攝像頭中每個(gè)目標(biāo)，建立目標(biāo)跟蹤模型，用于跟蹤步驟20中檢測(cè)到的人體，同時(shí)，對(duì)步驟20中檢測(cè)目標(biāo)進(jìn)行判斷，是否存在新的人體；具體包括以下步驟(I)在第一幀中，采用步驟20算法，檢測(cè)人體，在此基礎(chǔ)上，設(shè)定若干初始點(diǎn)，并通過(guò)光流跟蹤算法跟蹤對(duì)應(yīng)點(diǎn)；(2)在第二幀中，同樣，采用步驟20中的人體檢測(cè)器，檢測(cè)人體，并將檢測(cè)的人體與光流跟蹤點(diǎn)進(jìn)行比較，確定最終的人體區(qū)域(將跟蹤和檢測(cè)結(jié)果融合，進(jìn)一步提高了人的檢測(cè)準(zhǔn)確率，達(dá)到97%)；(3)重復(fù)以上步驟；(4)直到連續(xù)8幀以上沒有出現(xiàn)人體，則這次的跟蹤停止，當(dāng)有新的目標(biāo)出現(xiàn)時(shí)，則重新啟動(dòng)跟蹤。具體方法參見Z. Kalal, K. Mikolajczyk, and J. Matas, “Face-TLD: Tracking-Learning-Detection Applied to Faces,，，International Conference onImageProcessingj2010.步驟40時(shí)空特征提取提取時(shí)空興趣點(diǎn)特征，具體包括以下步驟(I)首先通過(guò)不同尺度的高斯函數(shù)對(duì)原始圖像進(jìn)行濾波，并計(jì)算相鄰尺度的濾波圖像的差，然后，對(duì)原始圖像進(jìn)行下采樣，同樣進(jìn)行高斯濾波，從而構(gòu)成金字塔圖像；(2)在金字塔圖像上，尋找空間極值點(diǎn)，同時(shí)，過(guò)濾不穩(wěn)定的極值點(diǎn)；(3)進(jìn)一步地，計(jì)算每點(diǎn)的光流，判斷光流大小，從而決定空間極值點(diǎn)是否為時(shí)空興趣點(diǎn)；(4)針對(duì)所有時(shí)空興趣點(diǎn)，分別計(jì)算對(duì)應(yīng)HOG和HOF特征，從而形成最終的特征描述。圖5給出了檢測(cè)出的時(shí)空興趣點(diǎn)特征,其具體方法參考Ming-yu Chen and AIexHauptmannj MoSIFT:Recognizing Human Actions in Surveillance Videos,CMU-CS-09-161.步驟50滑動(dòng)時(shí)間窗及特征歸一化根據(jù)預(yù)先設(shè)定的時(shí)間窗大小，采用“詞袋”方法，對(duì)窗口內(nèi)的所有時(shí)空興趣點(diǎn)特征進(jìn)行投影，并采用窗口內(nèi)興趣點(diǎn)的數(shù)目進(jìn)行歸一化，實(shí)現(xiàn)對(duì)其行為的描述。其過(guò)程如圖6所不，具體方法見 Jun Yang, Yu-Gang Jiang, Alexander G. Hauptmann etc, Evaluatingbag-of-visual-words representations in scene classification[C], International MultimediaConference, MM’ 07, 2007, 197-206.步驟60多約束下的多視角行為識(shí)別模型構(gòu)建和推斷 構(gòu)建多約束下的多視角視頻監(jiān)控中行為識(shí)別模型，同時(shí)，基于坐標(biāo)下降法的多參數(shù)模型聯(lián)合最優(yōu)推斷，實(shí)現(xiàn)行為類別的判斷，具體包括以下步驟I)多約束下多視角行為識(shí)別模型構(gòu)建針對(duì)單視角行為識(shí)別算法受視角、遮擋、光照、對(duì)象本身位置等因素變化影響明顯的問(wèn)題，通過(guò)稀疏化、結(jié)構(gòu)化和判別性約束正則項(xiàng)構(gòu)建多視角行為識(shí)別目標(biāo)函數(shù)，其具體形式為
權(quán)利要求
1.一種稀疏化、結(jié)構(gòu)化和判別性多約束下的多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別方法，用于對(duì)多視角視頻監(jiān)控中目標(biāo)行為進(jìn)行檢測(cè)和識(shí)別，以實(shí)現(xiàn)對(duì)多視角監(jiān)控視頻的智能分析，其特征在于該方法具體包含以下步驟 第I、視頻預(yù)處理 針對(duì)多視角視頻中的所有圖像序列，通過(guò)中值濾波進(jìn)行噪聲過(guò)濾； 第2、目標(biāo)檢測(cè) 首先建立目標(biāo)檢測(cè)模型，用于檢測(cè)多視角視頻中是否出現(xiàn)目標(biāo)即人體； 第3、目標(biāo)跟蹤 建立目標(biāo)跟蹤模型，用于跟蹤第2步中檢測(cè)到的所有的目標(biāo)，同時(shí)，對(duì)第2步中檢測(cè)目標(biāo)進(jìn)行判斷，是否出現(xiàn)新的人體； 第4、時(shí)空特征提取 根據(jù)圖像序列中檢測(cè)和跟蹤結(jié)果，提取人體目標(biāo)上的時(shí)空興趣點(diǎn)特征，并保存對(duì)應(yīng)的結(jié)果; 第5、滑動(dòng)時(shí)間窗及特征歸一化 根據(jù)預(yù)先設(shè)定的時(shí)間窗大小，采用“詞袋”方法，對(duì)窗口內(nèi)的所有時(shí)空興趣點(diǎn)特征進(jìn)行投影，并采用窗口內(nèi)興趣點(diǎn)的數(shù)目進(jìn)行歸一化，實(shí)現(xiàn)對(duì)其行為的描述； 第6、多約束下的多視角監(jiān)控視頻中行為識(shí)別模型構(gòu)建和推斷，實(shí)現(xiàn)目標(biāo)行為的檢測(cè)和判斷； 第7、根據(jù)相鄰滑動(dòng)窗口的檢測(cè)結(jié)果，進(jìn)行結(jié)果融合 針對(duì)多視角中的每個(gè)攝像頭，重復(fù)步驟1-4，直到整個(gè)滑動(dòng)時(shí)間窗內(nèi)的幀都提取了時(shí)空興趣點(diǎn)后，采用步驟5飛，獲得對(duì)應(yīng)窗口中的行為判定，繼續(xù)滑動(dòng)時(shí)間窗，重復(fù)步驟1-6，若發(fā)現(xiàn)相鄰的時(shí)間窗的行為一致，則采用步驟7，合并相應(yīng)時(shí)間窗的結(jié)果，實(shí)現(xiàn)多視角監(jiān)控視頻的行為判斷和識(shí)別。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于通過(guò)多視角方法解決視頻監(jiān)控中由于遮擋、光照、視角變化等因素帶來(lái)的難題，同時(shí)，充分分析多視角場(chǎng)景中人體行為特征的內(nèi)在關(guān)聯(lián)特性，通過(guò)稀疏化、結(jié)構(gòu)化和判別性約束的挖掘和相應(yīng)正則項(xiàng)的制定，實(shí)現(xiàn)多視角人體行為識(shí)別目標(biāo)函數(shù)的構(gòu)建，其次，通過(guò)坐標(biāo)下降法實(shí)現(xiàn)對(duì)人體目標(biāo)行為的識(shí)別。
全文摘要
本發(fā)明公開了一種基于稀疏化、結(jié)構(gòu)化和判別性多約束下的多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別方法，以實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能分析和管理。具體包含以下步驟(1)視頻預(yù)處理；(2)目標(biāo)檢測(cè)；(3)目標(biāo)跟蹤；(4)時(shí)空特征提取，(5)滑動(dòng)時(shí)間窗及特征歸一化(6)多約束下多視角監(jiān)控視頻中行為檢測(cè)和識(shí)別，(7)相鄰時(shí)間窗結(jié)果的融合。本發(fā)明的優(yōu)點(diǎn)是充分分析多視角場(chǎng)景中人體行為特征的內(nèi)在關(guān)聯(lián)特性，通過(guò)稀疏化、結(jié)構(gòu)化和判別性約束的挖掘和相應(yīng)正則項(xiàng)的制定，實(shí)現(xiàn)多視角人體行為識(shí)別目標(biāo)函數(shù)的構(gòu)建，同時(shí)，通過(guò)坐標(biāo)下降法實(shí)現(xiàn)對(duì)人體目標(biāo)行為的識(shí)別。
文檔編號(hào)H04N7/18GK102945375SQ201210470278
公開日2013年2月27日 申請(qǐng)日期2012年11月20日 優(yōu)先權(quán)日2012年11月20日
發(fā)明者高贊, 張樺, 劉安安, 徐光平, 薛彥兵, 董晨 申請(qǐng)人:天津理工大學(xué)