專利名稱：基于時(shí)空梯度特征的分部位的人體運(yùn)動(dòng)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及人體運(yùn)動(dòng)識(shí)別方法，可用于虛擬視頻、智能監(jiān)控和姿態(tài)估計(jì)。
背景技術(shù)：
人體運(yùn)動(dòng)識(shí)別是近幾年來計(jì)算機(jī)視覺領(lǐng)域的重大熱點(diǎn)之一，人體運(yùn)動(dòng)識(shí)別在運(yùn)動(dòng)捕獲，人機(jī)交互，視頻監(jiān)控等多領(lǐng)域獲得了初步的應(yīng)用，并具重大的應(yīng)用前景。由于人體運(yùn)動(dòng)的多變性和多樣性，背景的嘈雜以及光照條件，衣服紋理和自身遮擋等多方面的因素嚴(yán)重影響人體運(yùn)動(dòng)的識(shí)別效果，故從視頻圖像中準(zhǔn)確估計(jì)人體姿態(tài)，實(shí)現(xiàn)人體運(yùn)動(dòng)識(shí)別是計(jì)算機(jī)視覺領(lǐng)域長(zhǎng)期存在的問題。目前，人體運(yùn)動(dòng)識(shí)別的方法主要分為三大類基于模型的人體運(yùn)動(dòng)識(shí)別、基于學(xué)習(xí)的人體運(yùn)動(dòng)識(shí)別和基于表現(xiàn)的人體運(yùn)動(dòng)識(shí)別。第一種，基于模型的方法，利用人體結(jié)構(gòu)的先驗(yàn)知識(shí)建立人體模型，然后提取圖像底層特征匹配到模型中，并以運(yùn)動(dòng)規(guī)律加以約束。當(dāng)前比較典型的方法如JuSun采用了基于SIFT描述子和基于Markov模型的識(shí)別方法；Hsuan_Sheng Chen等人采用了基于星形骨架描述輪廓信息的特征表述方法和基于HMM的動(dòng)作識(shí)別方法。這種方法簡(jiǎn)單，容易實(shí)現(xiàn)，但是特征表征能力較弱，信息包含較少，識(shí)別性能低，準(zhǔn)確率不高，且容易受遮擋和人體服裝差異的影響，常作為一種輔助方法。第二種基于學(xué)習(xí)的人體運(yùn)動(dòng)識(shí)別方法該方法首先在訓(xùn)練的視頻圖像和目標(biāo)視頻圖像數(shù)據(jù)庫里提取精確的圖像特征，通過機(jī)器學(xué)習(xí)從一系列訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到一個(gè)分類器，用該分類器來表示人體運(yùn)動(dòng)，然后利用該分類器對(duì)輸入窗口進(jìn)行分類及識(shí)別。如IvanLaptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的識(shí)別方法；SomayehDanafar和Niloofar Cheissari在其論文中采用了基于光流的特征提取方法和基于SVM的運(yùn)動(dòng)識(shí)別方法，其中基于光流的特征是從圖像序列的相鄰幀中提取，另外還有Laptev andLindeberg采用的將Harris角點(diǎn)檢測(cè)拓展到3D進(jìn)行時(shí)空興趣點(diǎn)檢測(cè)實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別的方法。該識(shí)別方法的優(yōu)點(diǎn)與人體模型的方法和模板匹配的方法相比是比較魯棒，檢測(cè)結(jié)果較優(yōu)，但是缺點(diǎn)是運(yùn)動(dòng)信息的計(jì)算過程缺乏對(duì)行為的全局分析，且計(jì)算特征的復(fù)雜度較高，需要很多訓(xùn)練數(shù)據(jù)，通常需要上萬的數(shù)據(jù)。第三種基于表現(xiàn)的方法，無須對(duì)人體建模，直接提取圖像中感興趣區(qū)域的底層二維表觀特征，然后找出區(qū)域特征與人體動(dòng)作的對(duì)應(yīng)關(guān)系進(jìn)行匹配。如Bobick和Davis采用了基于輪廓表征的特征表示方法和基于MHI和MEI模板的識(shí)別方法。這種方法與基于模型的方法相比計(jì)算比較簡(jiǎn)單，缺點(diǎn)是提出的特征對(duì)環(huán)境的動(dòng)態(tài)變化敏感，易受背景變化的影響，對(duì)紋理變化不夠敏感，不能最優(yōu)的表征圖像邊緣，同時(shí)由于人體姿態(tài)的復(fù)雜性，很難構(gòu)造出足夠的模板以處理不同的姿態(tài)，故正確率也不高
發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)上述第二種方法的不足，從人體的結(jié)構(gòu)特性出發(fā)，提出的一種基于時(shí)空梯度特征的分部位的人體運(yùn)動(dòng)識(shí)別方法，以降低圖像特征提取的復(fù)雜度，提高特征的表征能力，有效地提高人體識(shí)別的正確率。為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下步驟:(I)取一個(gè)視頻樣本I,檢測(cè)視頻中的時(shí)空興趣點(diǎn)；(2)根據(jù)Fischler和Elschlager提出的圖結(jié)構(gòu)模型將人體劃分為頭部、左上肢、左下肢、右上肢和右下肢部位；(3)在各人體部位中，提取基于時(shí)空興趣點(diǎn)的時(shí)空塊C，并計(jì)算該時(shí)空塊C中各層的最大梯度Gm ；(4)對(duì)時(shí)空塊C提取基于最大梯度Gm的統(tǒng)計(jì)梯度特征gi，作為該部位的運(yùn)動(dòng)特征fi = gi ;若某一部位包括多個(gè)時(shí)空塊，則取所有時(shí)空塊的統(tǒng)計(jì)梯度特征gi的均值作為該部
位的運(yùn)動(dòng)特征=77^,，其中，N表示部位中時(shí)空塊的個(gè)數(shù)； N(5)檢測(cè)視頻中人體的重心G(XtlJ0)；(6)計(jì)算該視頻樣本I中人體運(yùn)動(dòng)的速度特征r:(7)將人體運(yùn)動(dòng)的各部位的運(yùn)動(dòng)特征&和速度特征;級(jí)聯(lián)得到人體運(yùn)動(dòng)的最終特征，對(duì)于沒有時(shí)空興趣點(diǎn)的部位，用零補(bǔ)齊；(8)將Weizmann數(shù)據(jù)庫按照8:1的比例劃分為訓(xùn)練樣本集X和測(cè)試樣本集T ;按照上述步驟(1Γ(7)分別將訓(xùn)練樣本集X和測(cè)試樣本集T中的所有視頻提取特征，獲得訓(xùn)練樣本特征集X’和測(cè)試樣本特征集Τ’ ；(9)利用SVM算法對(duì)訓(xùn)練樣本特征集X’進(jìn)行訓(xùn)練學(xué)習(xí)得到分類器；將測(cè)試樣本特征集Τ’輸入到分類器，得到各類運(yùn)動(dòng)的分類結(jié)果。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn):I)本發(fā)明利用人體分部位進(jìn)行特征提取的方式，通過計(jì)算各個(gè)部位的特征進(jìn)行人體運(yùn)動(dòng)識(shí)別的方法，特征的表征能力強(qiáng)，有效地提高了人體運(yùn)動(dòng)識(shí)別的正確率。2)本發(fā)明利用檢測(cè)時(shí)空興趣點(diǎn)的方式對(duì)時(shí)空塊進(jìn)行提取統(tǒng)計(jì)梯度特征，不需要對(duì)圖像序列中的人體運(yùn)動(dòng)區(qū)域提取邊緣特征等，較傳統(tǒng)的圖像描述方法維度低，在學(xué)習(xí)訓(xùn)練階段能有效縮減時(shí)間和數(shù)據(jù)計(jì)算量。


圖1是本發(fā)明的流程示意圖；圖2是本發(fā)明仿真使用的數(shù)據(jù)庫的部分序列圖像；圖3是本發(fā)明對(duì)圖2數(shù)據(jù)庫中動(dòng)作wavel視頻進(jìn)行時(shí)空興趣點(diǎn)檢測(cè)后的結(jié)果圖；圖4是本發(fā)明對(duì)圖3中的時(shí)空興趣點(diǎn)提取時(shí)空塊的橫向展開圖；圖5是本發(fā)明對(duì)圖4中的時(shí)空塊進(jìn)行最大梯度計(jì)算后在極坐標(biāo)內(nèi)的顯示圖；圖6是本發(fā)明對(duì)圖2數(shù)據(jù)庫進(jìn)行仿真后的混淆矩陣圖。
具體實(shí)施例方式參照?qǐng)D1，本發(fā)明的具體實(shí)現(xiàn)步驟如下:
步驟一，獲取整個(gè)人體運(yùn)動(dòng)識(shí)別訓(xùn)練樣本集X和測(cè)試樣本集T。(Ia)從WEIZMANN人體數(shù)據(jù)庫提取本發(fā)明試驗(yàn)所需的樣本集，下載地址為http://www.wisdom, weizmann.ac.1l/ vision/SpaceTimeActions.html ；圖 2 給出了數(shù)據(jù)庫中的部分序列圖像；(Ib)將WEIZMANN數(shù)據(jù)庫中的視頻按照8:1的比例構(gòu)建訓(xùn)練樣本集X和測(cè)試樣本集T。步驟二，對(duì)訓(xùn)練樣本集X中視頻，檢測(cè)視頻中的時(shí)空興趣點(diǎn)。(2a)對(duì)原始視頻采用二維Gauss濾波器進(jìn)行降噪，得到濾波后的視頻數(shù)據(jù)L:L = I*g，其中，I表示原始視頻數(shù)據(jù)，L表示濾波后的視頻數(shù)據(jù)，g為高斯平滑核，g的計(jì)算公式為:
權(quán)利要求
1.一種基于時(shí)空梯度特征的分部位的人體運(yùn)動(dòng)識(shí)別方法，包括步驟如下: (1)取一個(gè)視頻樣本I，檢測(cè)視頻中的時(shí)空興趣點(diǎn)； (2)根據(jù)Fischler和Elschlager提出的圖結(jié)構(gòu)模型將人體劃分為頭部、左上肢、左下肢、右上肢和右下肢部位； (3)在各人體部位中，提取基于時(shí)空興趣點(diǎn)的時(shí)空塊C，并計(jì)算該時(shí)空塊C中各層的最大梯度Gm ； (4)對(duì)時(shí)空塊C提取基于最大梯度Gm的統(tǒng)計(jì)梯度特征gi，作為該部位的運(yùn)動(dòng)特征A=gi ;若某一部位包括多個(gè)時(shí)空塊，則取所有時(shí)空塊的統(tǒng)計(jì)梯度特征gi的均值作為該部位的運(yùn)動(dòng)特征
2.根據(jù)權(quán)利要求1所述的人體運(yùn)動(dòng)識(shí)別方法，其中步驟(I)所述的檢測(cè)視頻中的時(shí)空興趣點(diǎn)，是按如下方法進(jìn)行: (Ia)對(duì)原始視頻采用二維Gauss濾波器進(jìn)行降噪，得到濾波后的視頻數(shù)據(jù)L:L = I*g, 其中，I表示原始視頻數(shù)據(jù)，L表示濾波后的視頻數(shù)據(jù)，g為高斯平滑核，g的計(jì)算公式為:1-V" V2f(jr,.v，cr) = ^je:'7'，.其中，x，y為像素坐標(biāo)，σ為空間維度的尺度參數(shù)； (Ib)在時(shí)間維度上進(jìn)行一維Gabor濾波，得到視頻數(shù)據(jù)L在時(shí)間維度上的響應(yīng)數(shù)據(jù)R:
3.根據(jù)權(quán)利要求1所述的人體運(yùn)動(dòng)識(shí)別方法，其中所述步驟(3)中的提取基于時(shí)空興趣點(diǎn)的時(shí)空塊C，是提取以時(shí)空興趣點(diǎn)為中心提取寬度為3*3、長(zhǎng)度為19的視頻時(shí)空塊C。
4.根據(jù)權(quán)利要求1所述的人體運(yùn)動(dòng)識(shí)別方法，其中步驟(4)所述的計(jì)算人體各部位中時(shí)空塊的基于最大梯度Gm的統(tǒng)計(jì)梯度特征gi，按如下步驟進(jìn)行: (4a)對(duì)時(shí)空塊C采用高斯平滑濾波進(jìn)行去噪，并計(jì)算時(shí)空塊中每一層圖像的梯度G ； (4b)計(jì)算G中的最大梯度Gm并記錄Gm的大小r和方向Θ ； (4c)在極坐標(biāo)之內(nèi)，顯示時(shí)空塊中所有最大梯度G111的大小r和方向Θ ； (4d)對(duì)于方向Θ，選擇每30度作為一個(gè)區(qū)域，總共劃分12個(gè)區(qū)域，分別統(tǒng)計(jì)每個(gè)區(qū)域內(nèi)方向Θ的個(gè)數(shù)ne(i)； (4e)對(duì)于大小r，按照大小r值的大小劃分為5個(gè)直方圖區(qū)域，分別統(tǒng)計(jì)每個(gè)區(qū)域中大小r的個(gè)數(shù)nHj)； (4f)計(jì)算每個(gè)區(qū)域內(nèi)大小r和方向Θ分布個(gè)數(shù)的百分比d&)和de(i):
5.根據(jù)權(quán)利要求1所述的人體運(yùn)動(dòng)識(shí)別方法，其中步驟(5)所述的檢測(cè)視頻中人體的重心GUtl, yj,按如下步驟進(jìn)行: (5a)背景剪除:將視頻的圖像序列和背景圖片進(jìn)行差分處理，使用閾值法得到前景圖像區(qū)域和背景圖像區(qū)域，將前景圖像區(qū)域的像素設(shè)為0，背景圖像區(qū)域的像素設(shè)為1，獲得原圖像序列的前景二值圖像m ; (5b)使用形態(tài)學(xué)中膨脹腐蝕的方法，對(duì)原圖像序列的前景二值圖像V填補(bǔ)坑洞， 修補(bǔ)缺失部分，獲得理想的前景二值圖像m’ ； (5c)利用光柵掃描法從前景二值圖像m’中，獲得人體的邊界像素點(diǎn)坐標(biāo)(Xi，yi)； (5d)利用人體邊界像素點(diǎn)坐標(biāo)(Xi，yi)，計(jì)算人體重心坐標(biāo)G(X(l，yQ):
6.根據(jù)權(quán)利要求1所述的人體運(yùn)動(dòng)識(shí)別方法，其中所述步驟￠)中計(jì)算視頻中人體的運(yùn)動(dòng)速度特征卩，按如下公式進(jìn)行:
全文摘要
本發(fā)明提出了一種基于時(shí)空梯度特征的分部位的人體運(yùn)動(dòng)識(shí)別方法，主要解決現(xiàn)有技術(shù)中特征提取復(fù)雜、表征能力弱的問題。其實(shí)現(xiàn)步驟是(1)取一個(gè)樣本視頻I，檢測(cè)視頻中的時(shí)空興趣點(diǎn)；(2)提取人體各部位的N個(gè)時(shí)空塊；(3)計(jì)算時(shí)空塊各層的最大梯度Gm；(4)在極坐標(biāo)系中，將梯度Gm的大小r和方向θ進(jìn)行區(qū)域劃分，計(jì)算每個(gè)區(qū)域內(nèi)大小r和方向θ的百分比dθ(i)和dr(j)，并級(jí)聯(lián)為時(shí)空塊的特征gi；(5)檢測(cè)人體的重心G(x0,y0)并計(jì)算人體運(yùn)動(dòng)的速度特征(6)將各部位的運(yùn)動(dòng)特征和速度特征級(jí)聯(lián)作為最終特征；(7)按上述步驟對(duì)訓(xùn)練集X和測(cè)試集T中所有樣本提取特征，獲得訓(xùn)練樣本特征集X'和測(cè)試樣本特征集T'，并進(jìn)行學(xué)習(xí)訓(xùn)練，獲得分類結(jié)果。本發(fā)明能準(zhǔn)確識(shí)別人體運(yùn)動(dòng)，可用于視頻監(jiān)控、目標(biāo)識(shí)別和運(yùn)動(dòng)識(shí)別的視頻處理。
文檔編號(hào)G06K9/00GK103077383SQ20131000797
公開日2013年5月1日 申請(qǐng)日期2013年1月9日 優(yōu)先權(quán)日2013年1月9日
發(fā)明者韓紅, 張紅蕾, 謝福強(qiáng), 韓啟強(qiáng), 李曉君, 顧建銀 申請(qǐng)人:西安電子科技大學(xué)