專利名稱：運(yùn)動目標(biāo)的運(yùn)動模式分類和動作識別的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是圖像處理技術(shù)領(lǐng)域，具體是一種基于光流序列的運(yùn)動目標(biāo)的運(yùn)動模式分類和動作識別的方法。
背景技術(shù)：
運(yùn)動模式(motion pattern)和動作識別(action recognition)是計(jì)算機(jī)視覺與模式識別領(lǐng)域的研究熱點(diǎn)。視頻圖像中對運(yùn)動目標(biāo)的運(yùn)動模式準(zhǔn)確分類和對人的動作進(jìn)行識別在民用和軍用上均具有廣泛的應(yīng)用前景。針對這兩個(gè)問題，國內(nèi)外學(xué)者提出了很多方法，主要方法歸納如下。傳統(tǒng)的運(yùn)動模式分類的方法主要有兩種。第一種是基于軌跡的方法，對目標(biāo)進(jìn)行跟蹤得到軌跡，然后對軌跡進(jìn)行聚類。此類方法的缺點(diǎn)在于必須對目標(biāo)進(jìn)行準(zhǔn)確的跟蹤，而得到的所有軌跡的長度需要相同，才能進(jìn)行聚類。第二種方法是基于光流信息的，可以通過主題模型(topic model),詞袋模型(bagof word)等對光流信息進(jìn)行聚類，從而得到各種運(yùn)動模式。動作識別的主要方法有(I)基于形狀的方法，即通過提取局部特征和全局特征來建立時(shí)空模型，然后聚類；(2)基于外表的方法，即通過對訓(xùn)練視頻里面得到人的外表特征序列，來用隱馬爾科夫模型(以下簡稱為HMM)進(jìn)行訓(xùn)練，得到對應(yīng)的HMM，然后對測試視頻得到相應(yīng)的人的外表特征序列，并用HMM模型來判別屬于哪個(gè)類；(3)基于特征點(diǎn)的方法，即對于訓(xùn)練視頻，通過特征點(diǎn)提取的算法提取特征，然后通過聚類算法得到一個(gè)個(gè)視頻單詞(video words),對于訓(xùn)練視頻,通過支持向量機(jī)(SVM),將各個(gè)訓(xùn)練視頻提取的特征映分離開，來得到各個(gè)類的模型，然后對測試視頻提取的視頻單詞通過支持向量機(jī)來進(jìn)行測試，以判別屬于哪個(gè)類。以上兩個(gè)識別問題里都用到光流信息和軌跡信息。但是光流和軌跡信息是分開使用的。軌跡可以提供目標(biāo)的位置信息，但是必須精確跟蹤，光流可以給出目標(biāo)的運(yùn)動的信息，但是一種局部的運(yùn)動信息。而且人們是將以上兩個(gè)識別問題割裂開來考慮的。經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，J. Yamato等在《IEEE Conference on ComputerVision and Pattern Recognition》 (pp.379-385,1992)上發(fā)表“Recognizing HumanAction in Time Sequential Images Using Hidden Markov Model，，(基于隱馬爾科夫模型的時(shí)間序列圖像的動作識別，IEEE計(jì)算機(jī)視覺與模式識別會議)。該文提出了利用提取人的外表特征來組成一個(gè)時(shí)間序列，然后通過隱馬爾科夫模型來學(xué)習(xí)，得到各個(gè)動作的模 型，然后用來識別。文中的實(shí)驗(yàn)結(jié)果說明該方法具有可行性。但是該方法只能提取人的特征，用來動作識別，而不能提取車或者其它剛體的特征。因此該方法不能推廣到運(yùn)動模式分類。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)中的不足，提供一種基于光流序列的對運(yùn)動目標(biāo)進(jìn)行運(yùn)動模式識別或動作識別的方法，該方法將運(yùn)動模式分類和動作識別這兩類以往被分別處理的問題統(tǒng)一起來，能夠同時(shí)實(shí)現(xiàn)運(yùn)動模式分類和動作識別。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的一種基于光流方向序列運(yùn)動目標(biāo)的運(yùn)動模式識別或動作識別的方法，其特點(diǎn)在于，該方法包括下列步驟①首先提取運(yùn)動目標(biāo)的運(yùn)動軌跡對于剛體目標(biāo)，首先通過混合高斯法對背景建模；對于非剛體目標(biāo)，給出各個(gè)節(jié)點(diǎn)，然后采用均值漂移跟蹤算法，利用目標(biāo)的顏色信息對運(yùn)動目標(biāo)進(jìn)行跟蹤；采用加權(quán)的顏色直方圖來考慮像素的空間位置信息。②計(jì)算軌跡點(diǎn)的光流時(shí)間序列值根據(jù)運(yùn)動目標(biāo)的橫向光流速度和縱向光流速度計(jì)算出光流方向，并將光流方向量化成4個(gè)值并組成時(shí)間序列，當(dāng)相鄰的兩個(gè)值相同時(shí)，則合并成一個(gè)值，獲得光流時(shí)間序列值；③用隱馬爾科夫模型對光流時(shí)間序列進(jìn)行訓(xùn)練，建立運(yùn)動目標(biāo)的隱馬爾科夫模型所述的光流時(shí)間序列，通過隱馬爾科夫理論的學(xué)習(xí)算法，得到相應(yīng)的隱馬爾科夫模型；④重復(fù)步驟①②③分別建立各種運(yùn)動目標(biāo)的隱馬爾科夫模型；⑤對待識別的運(yùn)動目標(biāo)用隱馬爾科夫模型進(jìn)行測試對待測試的運(yùn)動目標(biāo)按步驟①②提取運(yùn)動目標(biāo)的運(yùn)動軌跡，計(jì)算軌跡點(diǎn)的光流時(shí)間序列值，⑥計(jì)算該光流時(shí)間序列值由某個(gè)隱馬爾科夫模型生成的概率，并與設(shè)定的概率閾值進(jìn)行比較，當(dāng)計(jì)算概率大于設(shè)定的閾值，即認(rèn)為測試的光流序列由這個(gè)給定的隱馬爾科夫模型生成，則進(jìn)入步驟⑧；否則進(jìn)入步驟⑦⑦選擇另一個(gè)隱馬爾科夫模型，重復(fù)步驟⑥；⑧待測試的運(yùn)動目標(biāo)屬于所述的隱馬爾科夫模型對應(yīng)的運(yùn)動目標(biāo)的運(yùn)動模式，或所述的隱馬爾科夫模型對應(yīng)的運(yùn)動目標(biāo)的動作，實(shí)現(xiàn)了對所述的運(yùn)動目標(biāo)進(jìn)行運(yùn)動模式識別或動作識別。 所述的運(yùn)動目標(biāo)分為剛體和非剛體，對于剛體，由一個(gè)光流時(shí)間序列組成，對于非剛體，確定動作識別的考察部位即節(jié)點(diǎn)數(shù)K，非剛體的運(yùn)動，看作K個(gè)光流時(shí)間序列組成。本發(fā)明的技術(shù)效果如下本發(fā)明采用了比較魯棒的跟蹤算法來得到目標(biāo)的軌跡，同時(shí)通過計(jì)算光流值來得到目標(biāo)的光流方向。通過對光流方向聚類來得到目標(biāo)的運(yùn)動模式。通過對運(yùn)動模式進(jìn)行訓(xùn)練，可以很方便的對各個(gè)運(yùn)動模式和動作進(jìn)行分類。本發(fā)明通過光流方向來同時(shí)處理運(yùn)動模式分類和動作識別，相比與以往用只用軌跡或者光流信息來處理運(yùn)動模式識別，和用詞袋模型，形狀信息或者外表信息來處理動作識別的方法，更加簡單穩(wěn)健。本發(fā)明可以廣泛應(yīng)用于視頻監(jiān)控系統(tǒng)、視頻會議系統(tǒng)、工業(yè)產(chǎn)品檢測系統(tǒng)、機(jī)器人視覺導(dǎo)航系統(tǒng)、軍事目標(biāo)檢測分類系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場前景和應(yīng)用價(jià)值。


圖I為本發(fā)明處理方法總體框圖。圖2為背景減除法得到的前景圖。圖3為剛體軌跡圖。圖4為非剛體軌跡圖。圖5為計(jì)算的光流圖。 圖6為HMM訓(xùn)練測試流程圖。
具體實(shí)施例方式為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對本發(fā)明的實(shí)施方式作進(jìn)一步描述。本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。本發(fā)明基于光流方向序列運(yùn)動目標(biāo)的運(yùn)動模式識別或動作識別的方法，包括下列步驟(I)提取運(yùn)動目標(biāo)的運(yùn)動軌跡這里分為剛體和非剛體兩種情況來考慮。剛體由于沒有形變，所以可以看做一個(gè)整體來考慮，而非剛體由于形變的原因，各個(gè)部分的相對位置會發(fā)生改變，因而需要對某幾個(gè)部分來分別考慮。對于剛體，可以先通過背景減除法檢測新出現(xiàn)的目標(biāo)，然后通過跟蹤算法來得到目標(biāo)的軌跡。對于非剛體，手動選取運(yùn)動目標(biāo)的K(K = 5，即左手，右手，左腿，右腿，頭部)個(gè)重要部分，對該K個(gè)部分通過跟蹤算法得到K個(gè)軌跡。(2)計(jì)算光流方向?qū)Σ襟E(I)中得到運(yùn)動目標(biāo)的每個(gè)軌跡點(diǎn)，用光流法計(jì)算每個(gè)軌跡點(diǎn)光流值(詳細(xì)步驟見第三節(jié)？)。根據(jù)光流的橫向速度和縱向速度來計(jì)算光流的方向(詳細(xì)步驟見第三節(jié)？)。將光流方向量化為四個(gè)方向，分別用1，2，3，4來表示。將每個(gè)軌跡點(diǎn)的光流方向進(jìn)行合并，即相鄰的兩個(gè)光流方向如果相同，則認(rèn)為是一個(gè)模式。如光流軌跡方向{1，1，1，1,2,2,2,2,3,3}合并成為{1,2,3} o(3)訓(xùn)練樣本對于每個(gè)剛體訓(xùn)練樣本，一條軌跡得到的是一個(gè)樣本模式。然后用隱馬爾科夫模型(HMM)對每個(gè)剛體的每個(gè)模式進(jìn)行訓(xùn)練，得到各個(gè)模式的隱馬爾科夫模型；對于每個(gè)非剛體訓(xùn)練樣本，k個(gè)部分有k個(gè)軌跡，因而是k個(gè)模式的組合；同理對其中的每個(gè)模式進(jìn)行訓(xùn)練，得到每個(gè)模式的隱馬爾科夫模型；這個(gè)非剛體訓(xùn)練樣本是k個(gè)隱馬爾科夫模型的組合。(4)測試樣本對于測試剛體樣本，將樣本軌跡的模式送入到每個(gè)訓(xùn)練樣本的隱馬爾科夫模型里面進(jìn)行測試，如果兩個(gè)運(yùn)動模式的測試值小于某個(gè)閾值(本發(fā)明的實(shí)驗(yàn)里面可以選取為-100)，則將這兩個(gè)運(yùn)動模式歸為一類。依次將所有樣本的模式歸為相應(yīng)的類別之后，即完成了運(yùn)動模式分類的工作。對于測試非剛體樣本，動作識別可以分解為K(K = 5，即左手，右手，左腿，右腿，頭部)個(gè)模式的組合。將樣本軌跡的K個(gè)模式分別送入到每個(gè)訓(xùn)練樣本的k個(gè)隱馬爾科夫模型里面進(jìn)行測試，如果兩個(gè)運(yùn)動模式的測試值小于某個(gè)閾值(本實(shí)施例里面可以選取為-100)，則將這兩個(gè)運(yùn)動模式歸為一類。依次將所有樣本的K個(gè)模式的組合歸為相應(yīng)的類別之后，即完成了動作識別的工作。對運(yùn)動模式識別，我們用NGSIM 數(shù)據(jù)(http://www. ngsim. fhwa. dot, gov/,文章Y. Yang, J. Liu, and M. Shah. Video scene understanding using multi-scale analysis.In ICCV, 2009.) 對動作識別，我們用 weizmann dataset (http: //www. wisdom, weizmann.ac.il/ vision/SpaceTimeActions. html 文章 L. Gorelick, M. Blank, E. Shechtman，M. Irani, and R. Basri, Actions as Space-Time Shapes. In IEEE Transactions onPattern Analysis and Machine Intelligence (PAMI)，29 (12) :2247-2253, December2007.)部分?jǐn)?shù)據(jù)。圖I為本發(fā)明提出的一種通過計(jì)算光流方向來對運(yùn)動模式和動作進(jìn)行識別的總體框圖。各部分具體實(shí)施細(xì)節(jié)如下I、檢測對于剛體，可以通過背景建模，建立出視頻里面的背景，即視頻里面靜止的場景。每輛移動的車屬于前景。當(dāng)建立了背景之后，和新圖片比較，就可以檢測出移動的車，即前景。本方法中，我們只檢測出新進(jìn)入觀測區(qū)域的目標(biāo)，然后用跟蹤算法進(jìn)行跟蹤。由于混合高斯法(GMM)背景建模(見文獻(xiàn)C. Stauffer and E Grimson. Learningpatterns of activity using real-time tracking. PAMI, 22 (8) :747-757, 2000.)對光照變化不敏感，所以我們選擇此方法。以灰度圖像序列為例來解釋GMM背景建模的原理如下令(X1, . . . , XJ = {I (x0, y0, i) :1彡i彡t}為圖像序列I在(xQ，y0)位置的像素時(shí)間序列值。我們將{Xi，. . . , XJ看作是K個(gè)混合高斯分布，則當(dāng)前觀測到的像素值的概率可以表不為P(X1) = IfL1 * IlCXt, |l(t, Ii,)(I)其中K是高斯分布的個(gè)數(shù)，Coi,t是第i個(gè)高斯分量在t時(shí)刻的權(quán)重，U i,t和E i,t分別是第i個(gè)高斯分量在t時(shí)刻的期望和方差，n是高斯概率密度函數(shù)'11 (Xt, IiiSiit.) =-*'X| “!- -⑵
:I TI 二 S 二為了計(jì)算方便，我們一般取= of I。其中O是標(biāo)準(zhǔn)差，I是單位陣。K個(gè)高斯分布按照w / O降序排列，取前面B個(gè)高斯分布表示背景分布，即
/ b \B = argminb I> T |
\i=l /、
其中T為背景閾值，b是所有的背景分布的個(gè)數(shù)。K個(gè)分布的先驗(yàn)權(quán)重調(diào)整如下Oi t= (1-a ) o ^ ^1+a (Mijt) (3)其中a是更新速率，當(dāng)模型匹配時(shí)，Mi, t取1，否則取O。然后權(quán)重歸一化。當(dāng)分布匹配時(shí)，μ和σ的更新如下μ = (1-ρ ) μ W+P Xt (4)
權(quán)利要求
1.一種基于光流方向序列運(yùn)動目標(biāo)的運(yùn)動模式識別或動作識別的方法，其特征在于，該方法包括下列步驟 ①首先提取運(yùn)動目標(biāo)的運(yùn)動軌跡對于剛體目標(biāo)，首先通過混合高斯法對背景建模；對于非剛體目標(biāo)，給出各個(gè)節(jié)點(diǎn)，然后采用均值漂移跟蹤算法，利用目標(biāo)的顏色信息對運(yùn)動目標(biāo)進(jìn)行跟蹤；采用加權(quán)的顏色直方圖來考慮像素的空間位置信息。
②計(jì)算軌跡點(diǎn)的光流時(shí)間序列值根據(jù)運(yùn)動目標(biāo)的橫向光流速度和縱向光流速度計(jì)算出光流方向，并將光流方向量化成4個(gè)值并組成時(shí)間序列，當(dāng)相鄰的兩個(gè)值相同時(shí),則合并成一個(gè)值，獲得光流時(shí)間序列值； ③用隱馬爾科夫模型對光流時(shí)間序列進(jìn)行訓(xùn)練，建立運(yùn)動目標(biāo)的隱馬爾科夫模型 所述的光流時(shí)間序列，通過隱馬爾科夫理論的學(xué)習(xí)算法，得到相應(yīng)的隱馬爾科夫模 型； ④重復(fù)步驟①②③分別建立各種運(yùn)動目標(biāo)的隱馬爾科夫模型； ⑤對待識別的運(yùn)動目標(biāo)用隱馬爾科夫模型進(jìn)行測試 對待測試的運(yùn)動目標(biāo)按步驟①②提取運(yùn)動目標(biāo)的運(yùn)動軌跡，計(jì)算軌跡點(diǎn)的光流時(shí)間序列值， ⑥計(jì)算該光流時(shí)間序列值由某個(gè)隱馬爾科夫模型生成的概率，并與設(shè)定的概率閾值進(jìn)行比較，當(dāng)計(jì)算概率大于設(shè)定的閾值，即認(rèn)為測試的光流序列由這個(gè)給定的隱馬爾科夫模型生成，則進(jìn)入步驟⑧；否則進(jìn)入步驟⑦ ⑦選擇另一個(gè)隱馬爾科夫模型，重復(fù)步驟⑥； ⑧待測試的運(yùn)動目標(biāo)屬于所述的隱馬爾科夫模型對應(yīng)的運(yùn)動目標(biāo)的運(yùn)動模式，或所述的隱馬爾科夫模型對應(yīng)的運(yùn)動目標(biāo)的動作，實(shí)現(xiàn)了對所述的運(yùn)動目標(biāo)進(jìn)行運(yùn)動模式識別或動作識別。
2.根據(jù)權(quán)利要求I所述的運(yùn)動目標(biāo)的運(yùn)動模式識別或動作識別的方法，其特征在于，所述的運(yùn)動目標(biāo)分為剛體和非剛體，對于剛體，由一個(gè)光流時(shí)間序列組成，對于非剛體，確定動作識別的考察部位即節(jié)點(diǎn)數(shù)K，非剛體的運(yùn)動，看作K個(gè)光流時(shí)間序列組成。
全文摘要
一種基于光流方向序列處理運(yùn)動目標(biāo)的運(yùn)動模式識別和動作識別的方法，該方法首先用背景減除法檢測出目標(biāo)，然后用均值漂移跟蹤算法對目標(biāo)進(jìn)行跟蹤，再計(jì)算光流值，分別對剛體和非剛體目標(biāo)得到光流方向，通過量化之后得到光流方向的時(shí)間序列，最后用時(shí)間序列建立隱馬爾科夫模型，再用隱馬爾科夫模型處理運(yùn)動模式識別和動作識別。本發(fā)明通過光流方向，可以同時(shí)來處理運(yùn)動目標(biāo)的運(yùn)動模式識別和動作識別，可廣泛應(yīng)用于視頻監(jiān)控系統(tǒng)、視頻會議系統(tǒng)、工業(yè)產(chǎn)品檢測系統(tǒng)、機(jī)器人視覺導(dǎo)航系統(tǒng)、軍事目標(biāo)檢測分類系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場前景和應(yīng)用價(jià)值。
文檔編號G06K9/62GK102663429SQ20121010607
公開日2012年9月12日 申請日期2012年4月11日 優(yōu)先權(quán)日2012年4月11日
發(fā)明者王勇, 胡士強(qiáng) 申請人:上海交通大學(xué)