一種基于時(shí)間金字塔局部匹配窗口的動作識別方法
【專利摘要】一種基于時(shí)間金字塔局部匹配窗口的動作識別方法，包括如下步驟：1)從立體相機(jī)中獲得場景中人的深度圖序列，從深度圖中提取出3D關(guān)節(jié)點(diǎn)的位置，用姿態(tài)之間的3D位移差作為每幀深度圖的特征表達(dá)；2)用聚類方法對訓(xùn)練集中的描述子進(jìn)行學(xué)習(xí)，得到特征集合，并用它對每個(gè)描述子進(jìn)行特征表達(dá)，從而得到每幀圖像的編碼表示；3)采用基于時(shí)間金字塔的局部匹配模型，對整個(gè)動作圖像序列進(jìn)行動作片段劃分，并得到每個(gè)動作片段的特征直方圖表達(dá)；4)用一個(gè)長向量把所有片段的特征直方圖表達(dá)串聯(lián)起來，就是整個(gè)動作的特征表達(dá)。本發(fā)明有效識別相似的動作、識別率較高。
【專利說明】-種基于時(shí)間金字塔局部匹配窗口的動作識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻識別領(lǐng)域，尤其是一種動作識別方法。

【背景技術(shù)】
[0002] 人體運(yùn)動特征描述是對序列圖像中人體姿態(tài)信息的表達(dá)，它是人體動作識別的重 要組成部分。人體運(yùn)動是鏈?zhǔn)椒莿傮w的運(yùn)動，即身體各部分的運(yùn)動是剛體運(yùn)動，而從整體來 看，人體的運(yùn)動又呈現(xiàn)高度的非線性、非剛體性。
[0003] 人體動作識別主要分為基于時(shí)空的動作識別方法和基于序列的動作識別方法。首 先在訓(xùn)練視頻集中為每一個(gè)動作構(gòu)造對應(yīng)的三維X-Y-T模型，然后通過匹配待識別動作序 列與訓(xùn)練集各動作的三維X-Y-T模型，確定該測試動作的種類。基于時(shí)空的動作識別方法 主要包括以下三類：基于時(shí)空卷的識別方法、基于運(yùn)動軌跡的識別方法、基于時(shí)空局部特征 的識別方法。
[0004] 現(xiàn)有的識別方法存在的缺陷：無法識別相似的動作，識別率較低。


【發(fā)明內(nèi)容】

[0005] 為了克服動作識別方法的無法識別相似的動作，識別率較低的不足，本發(fā)明提供 一種有效識別相似的動作、識別率較高的基于時(shí)間金字塔局部匹配窗口的動作識別方法。
[0006] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0007] -種基于時(shí)間金字塔局部匹配窗口的動作識別方法，包括如下步驟：
[0008] 1)從立體相機(jī)中獲得場景中人的深度圖序列，從深度圖中提取出3D關(guān)節(jié)點(diǎn)的位 置，用姿態(tài)之間的3D位移差作為每幀深度圖的特征表達(dá)；
[0009] 2)用聚類方法對訓(xùn)練集中的描述子進(jìn)行學(xué)習(xí)，得到特征集合，并用它對每個(gè)描述 子進(jìn)行特征表達(dá)，從而得到每幀圖像的編碼表示；
[0010] 3)采用基于時(shí)間金字塔的局部匹配模型，對整個(gè)動作圖像序列進(jìn)行動作片段劃 分，并得到每個(gè)動作片段的特征直方圖表達(dá)；
[0011] 基于時(shí)間金字塔的局部匹配模型的特征匹配過程如下：
[0012] 將整個(gè)動作序列劃分成不同層的動作片段，并分別對每個(gè)動作片段計(jì)算特征直 方圖，假定訓(xùn)練集中有n種動作，每個(gè)動作用聚類方法學(xué)習(xí)得到m個(gè)特征碼字，那么整個(gè) 特征碼本集有M = nm個(gè)特征碼字；對于動作片段中的每一個(gè)姿態(tài)，將其映射到訓(xùn)練得到 的M個(gè)離散的特征碼字中，得到一個(gè)M維的特征向量表達(dá)；假定整個(gè)動作總共劃分為L層， 則第一層的特征表達(dá)維度為M，第二層的特征表達(dá)維度為2M，第L層的特征維度為2mM; 如果用一個(gè)長向量把所有動作片段的特征表達(dá)串聯(lián)起來，則整個(gè)動作序列的特征維度為

【權(quán)利要求】
1. 一種基于時(shí)間金字塔局部匹配窗口的動作識別方法，其特征在于：包括如下步驟： 1) 從立體相機(jī)中獲得場景中人的深度圖序列，從深度圖中提取出3D關(guān)節(jié)點(diǎn)的位置，用 姿態(tài)之間的3D位移差作為每幀深度圖的特征表達(dá)； 2) 用聚類方法對訓(xùn)練集中的描述子進(jìn)行學(xué)習(xí)，得到特征集合，并用它對每個(gè)描述子進(jìn) 行特征表達(dá)，從而得到每幀圖像的編碼表示； 3) 采用基于時(shí)間金字塔的局部匹配模型，對整個(gè)動作圖像序列進(jìn)行動作片段劃分，并 得到每個(gè)動作片段的特征直方圖表達(dá)； 基于時(shí)間金字塔的局部匹配模型的特征匹配過程如下：將整個(gè)動作序列劃分成不同層 的動作片段，并分別對每個(gè)動作片段計(jì)算特征直方圖，假定訓(xùn)練集中有n種動作，每個(gè)動作 用聚類方法學(xué)習(xí)得到m個(gè)特征碼字，那么整個(gè)特征碼本集有M=nm個(gè)特征碼字；對于動作 片段中的每一個(gè)姿態(tài)，將其映射到訓(xùn)練得到的M個(gè)離散的特征碼字中，得到一個(gè)M維的特 征向量表達(dá)；假定整個(gè)動作總共劃分為L層，則第一層的特征表達(dá)維度為M，第二層的特征 表達(dá)維度為2M，第L層的特征維度為2HM;如果用一個(gè)長向量把所有動作片段的特征表達(dá) 串聯(lián)起來，則整個(gè)動作序列的特征維度為
?，最后在動作之間相似度比較 時(shí)，對動作的特征表達(dá)進(jìn)行歸一化，并用金字塔匹配核進(jìn)行計(jì)算； 4) 用一個(gè)長向量把所有片段的特征直方圖表達(dá)串聯(lián)起來，就是整個(gè)動作的特征表達(dá)。
2. 如權(quán)利要求1所述的一種基于時(shí)間金字塔局部匹配窗口的動作識別方法，其特征在 于：所述步驟2)中，采用局部訓(xùn)練，首先用K-means聚類方法單獨(dú)對每一類動作的訓(xùn)練集訓(xùn) 練得到特征集合，然后將從所有動作集中學(xué)習(xí)得到的特征集合組成能夠表征整個(gè)訓(xùn)練集的 動作特征集合，最后將每類動作映射到訓(xùn)練得到的動作特征集合，得到每一類動作模型的 特征直方圖分布圖。
3. 如權(quán)利要求2所述的一種基于時(shí)間金字塔局部匹配窗口的動作識別方法，其特征在 于：所述步驟2)中，對每一個(gè)姿態(tài)描述子進(jìn)行量化編碼。令P為從動作序列中獲得的姿態(tài) 特征描述子，每個(gè)特征描述子的維度為D，總共有N個(gè)特征，則
令訓(xùn)練得到的碼本有M個(gè)碼字，即
編碼方式如下：
s. t. 1TC = 1 其中，C= [Cl，c2,. . .cj表示對應(yīng)特征碼字集F的權(quán)值，*表示元素間相乘，屯是局部 適配因子，選取屯為非線性的表達(dá)式，同時(shí)引入了最近相似距離distMin作為參考；
其中，dist(Pi,F) =[dist(Pi,A)，dist(Pi,f2)，…，dist(Pi,fM) ]，dist(Pi,fj)表示Pi和A之間的歐拉距離，。為用于調(diào)節(jié)權(quán)重的系數(shù)； distMin = min {dist (Pi, f\)，dist (Pi, f2)，...，dist (Pi, fM)}〇
4. 如權(quán)利要求1?3之一所述的一種基于時(shí)間金字塔局部匹配窗口的動作識別方法， 其特征在于：所述步驟4)中，假設(shè)訓(xùn)練集中的動作序列X分成了p個(gè)片段，對應(yīng)的動作片 段特征表達(dá)為％⑴，氏⑴…，UX)，則整個(gè)動作X的特征表達(dá)為：H⑴=[HJX)，HJX)… ，I⑴]。
5. 如權(quán)利要求4所述的一種基于時(shí)間金字塔局部匹配窗口的動作識別方法，其特征 在于：當(dāng)有新的動作序列Y等待分類時(shí)，首先進(jìn)行特征提取，用特征重構(gòu)方法得到特征詞 匯表達(dá)；然后動作片段劃分，用基于時(shí)間金字塔的局部匹配模型得到對應(yīng)片段的特征表達(dá)， HjYhHjY)…，UY);最后依次連接局部特征表達(dá)，整個(gè)動作Y的特征表達(dá)為H(X)= 風(fēng)(Y)，氏(Y)…，Hm(Y)];在分類過程中，通過直方圖相交操作進(jìn)行測試序列與訓(xùn)練集各類 動作的相似度衡量：
從而確定動作序列Y的分類。
【文檔編號】G06K9/62GK104408396SQ201410433290
【公開日】2015年3月11日 申請日期:2014年8月28日 優(yōu)先權(quán)日:2014年8月28日
【發(fā)明者】王鑫, 汪曉妍, 沃波海, 王其超, 管秋, 陳勝勇 申請人:浙江工業(yè)大學(xué)