一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法及系統(tǒng)，本發(fā)明涉及模式識(shí)別領(lǐng)域技術(shù)。該方法包括檢測(cè)視頻的感興趣點(diǎn)，提取該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度，該視頻包括：源視角視頻和目標(biāo)視角視頻；根據(jù)該視頻的該時(shí)序信息將該運(yùn)動(dòng)強(qiáng)度進(jìn)行時(shí)序積累，獲得該視頻的運(yùn)動(dòng)特征描述；根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注，獲得目標(biāo)粗粒度標(biāo)注信息；根據(jù)該源粗粒度標(biāo)注信息和該目標(biāo)粗粒度標(biāo)注信息，通過度量學(xué)習(xí)方法，對(duì)該源視角視頻和該目標(biāo)視角視頻進(jìn)行度量學(xué)習(xí)，獲得跨視角度量方法；通過該跨視角度量方法對(duì)該目標(biāo)視角視頻中的動(dòng)作進(jìn)行動(dòng)作分類，以完成跨視角的動(dòng)作識(shí)別。
【專利說明】一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識(shí)別領(lǐng)域技術(shù)，特別涉及一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著攝像機(jī)成本的降低，以及人們公共安全意識(shí)的提高，視頻監(jiān)控受到越來越多的關(guān)注。但是單一視角具有局限性，受到場(chǎng)景結(jié)構(gòu)的約束，因此多視角的視頻監(jiān)控應(yīng)運(yùn)而生。如圖2所示，有某一視角(源視角)的視頻和動(dòng)作類別數(shù)據(jù)，如何利用這些信息對(duì)另一視角(目標(biāo)視角)的動(dòng)作視頻進(jìn)行分類識(shí)別，通常，主流的動(dòng)作識(shí)別框架如圖3所示。
[0003]跨視角動(dòng)作識(shí)別是計(jì)算機(jī)視覺、圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)、人工智能等多個(gè)學(xué)科的交叉研究領(lǐng)域，具有深遠(yuǎn)理論研究意義和很強(qiáng)實(shí)用價(jià)值，可應(yīng)用于視頻監(jiān)控、運(yùn)動(dòng)訓(xùn)練、醫(yī)療康復(fù)等實(shí)際應(yīng)用領(lǐng)域。
[0004]跨視角動(dòng)作識(shí)別技術(shù)的關(guān)鍵挑戰(zhàn)是相同動(dòng)作在不同視角下具有不同的表觀特征，比如同為踢腿的動(dòng)作，從正對(duì)運(yùn)動(dòng)者、側(cè)對(duì)運(yùn)動(dòng)者和俯視運(yùn)動(dòng)者的視角，得到的視頻數(shù)據(jù)是完全不同的，特別是俯視的視角差異性最大，這樣就提高了動(dòng)作識(shí)別的難度，為解決這一問題，現(xiàn)有的具有視角不變性的動(dòng)作識(shí)別技術(shù)主要從構(gòu)造視角不變特征和跨視角學(xué)習(xí)方法兩個(gè)方面增強(qiáng)對(duì)視角變換的魯棒性。
[0005]特征層面的研究方法多基于表觀信息，一種基于人體關(guān)節(jié)軌跡的視角不變特征，如圖4所示，該方法將人體關(guān)節(jié)結(jié)構(gòu)看成由一系列三點(diǎn)骨架結(jié)構(gòu)組成，根據(jù)不同視角下，三點(diǎn)骨架結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，進(jìn)行跨視角動(dòng)作識(shí)別。一種基于輪廓的視角不變特征，如圖5所示，該方法基于人體輪廓進(jìn)行3D重建，將圖片視角作為隱變量，利用隱馬爾科夫模型實(shí)現(xiàn)動(dòng)作識(shí)別。一種基于時(shí)序自相關(guān)的視角不變特征，該方法從原始視頻中提取H0g、H0f特征，計(jì)算任意兩幀之間的相似度，構(gòu)成自相關(guān)矩陣，描述不同視角下的運(yùn)動(dòng)視頻。
[0006]跨視角學(xué)習(xí)方法主要在構(gòu)建模型和判別分類階段學(xué)習(xí)減少視角差異性的方法。一種構(gòu)建二分圖的學(xué)習(xí)方法，該方法在源視角和目標(biāo)視角分別提取單詞，構(gòu)成二分圖，通過二分圖分割得到跨視角的單詞，根據(jù)該跨視角單詞對(duì)原始視頻重新生成直方圖，得到具有視角不變性的視頻表示。一種構(gòu)建虛擬路徑的方法，該方法在源視角和目標(biāo)視角間建立了多層線性變換，實(shí)現(xiàn)不同視角的遷移。
[0007]根據(jù)目標(biāo)視角包含的信息，以上具有視角不變性的動(dòng)作識(shí)別技術(shù)可以分為三個(gè)模式:對(duì)應(yīng)模式、部分標(biāo)注模式和無標(biāo)注模式。對(duì)應(yīng)模式為訓(xùn)練時(shí)動(dòng)作視頻沒有標(biāo)注，但有不同視角下的對(duì)應(yīng)關(guān)系；部分標(biāo)注模式為目標(biāo)視角部分標(biāo)注，而無標(biāo)注模式為目標(biāo)視角既沒有與源視角的對(duì)應(yīng)關(guān)系，也沒有任何標(biāo)注。這三種模式依次監(jiān)督減弱，難度增加。
[0008]現(xiàn)有的具有視角不變性的動(dòng)作識(shí)別技術(shù)存在以下兩點(diǎn)問題。首先，現(xiàn)有特征多基于表觀信息，且需要良好人體軌跡跟蹤性能，不同視角下相同動(dòng)作的表觀信息差異很大，但是時(shí)序信息相似，時(shí)序信息的視角不變性有待于進(jìn)一步挖掘，同時(shí)，現(xiàn)有學(xué)習(xí)方法大多針對(duì)對(duì)應(yīng)模式和部分標(biāo)注模式，需要較多的監(jiān)督信息，實(shí)際應(yīng)用中目標(biāo)視角不一定有標(biāo)注。
[0009]發(fā)明專利“一種基于局部特征的人體動(dòng)作識(shí)別方法”，該發(fā)明公開了一種基于局部特征的人體動(dòng)作識(shí)別方法，所述方法包括以下步驟:人體檢測(cè)和區(qū)域劃分；從動(dòng)作視頻序列中提取時(shí)空興趣點(diǎn)特征以及相應(yīng)的位置信息；根據(jù)區(qū)域劃分結(jié)果對(duì)時(shí)空興趣點(diǎn)進(jìn)行空間分類；分別獲取訓(xùn)練集和測(cè)試集中每個(gè)特定人體區(qū)域所包含的時(shí)空興趣點(diǎn)；通過聚類算法對(duì)訓(xùn)練集中的每個(gè)特定人體區(qū)域包含的時(shí)空興趣點(diǎn)進(jìn)行聚類，獲取相應(yīng)詞典；通過詞袋模型分別對(duì)訓(xùn)練集和測(cè)試集的每個(gè)特定人體區(qū)域單獨(dú)處理，分別提取訓(xùn)練集和測(cè)試集的每個(gè)特定人體區(qū)域的詞袋特征；采用分類器對(duì)人體動(dòng)作進(jìn)行建模，從而實(shí)現(xiàn)動(dòng)作識(shí)別。但是本發(fā)明通過利用人體局部顯著特性來提高人體動(dòng)作識(shí)別的準(zhǔn)確率，該發(fā)明與本發(fā)明有著明顯不同。


【發(fā)明內(nèi)容】

[0010]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出可以通過利用時(shí)序信息的視角不變性來實(shí)現(xiàn)跨視角動(dòng)作識(shí)別。因此，本發(fā)明提出了一種新的運(yùn)動(dòng)強(qiáng)度時(shí)序累積的動(dòng)作視頻特征，同時(shí)，針對(duì)無標(biāo)注模式缺少監(jiān)督信息的問題，可以利用弱監(jiān)督的跨視角度量學(xué)習(xí)方法解決，該方法首先對(duì)無標(biāo)注的目標(biāo)視角視頻進(jìn)行粗粒度的標(biāo)注，然后利用源視角和目標(biāo)視角的粗粒度標(biāo)注信息進(jìn)行跨視角度量學(xué)習(xí)，得到跨視角的度量方法，并運(yùn)用于最終的分類識(shí)別。
[0011]本發(fā)明提出一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，包括:
[0012]步驟1，檢測(cè)視頻的感興趣點(diǎn)，提取該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度，該視頻包括:源視角視頻和目標(biāo)視角視頻；
[0013]步驟2，根據(jù)該視頻的該時(shí)序信息將該運(yùn)動(dòng)強(qiáng)度進(jìn)行時(shí)序積累，獲得該視頻的運(yùn)動(dòng)特征描述；
[0014]步驟3，根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注，獲得目標(biāo)粗粒度標(biāo)注信息；
[0015]步驟4，根據(jù)該源粗粒度標(biāo)注信息和該目標(biāo)粗粒度標(biāo)注信息，通過度量學(xué)習(xí)方法，對(duì)該源視角視頻和該目標(biāo)視角視頻進(jìn)行度量學(xué)習(xí)，獲得跨視角度量方法；
[0016]步驟5，通過該跨視角度量方法對(duì)該目標(biāo)視角視頻中的動(dòng)作進(jìn)行動(dòng)作分類，以完成跨視角的動(dòng)作識(shí)別。
[0017]所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，該步驟2中該時(shí)序積累的步驟包括:根據(jù)該時(shí)序信息，將該視頻進(jìn)行分段，劃分成多個(gè)時(shí)序段視頻，將每段視頻的運(yùn)動(dòng)強(qiáng)度累加。
[0018]所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，通過以下公式將每段的運(yùn)動(dòng)強(qiáng)度累加:

【權(quán)利要求】
1.一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，其特征在于，包括: 步驟1，檢測(cè)視頻的感興趣點(diǎn)，提取該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度，該視頻包括:源視角視頻和目標(biāo)視角視頻； 步驟2，根據(jù)該視頻的該時(shí)序信息將該運(yùn)動(dòng)強(qiáng)度進(jìn)行時(shí)序積累，獲得該視頻的運(yùn)動(dòng)特征描述； 步驟3，根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注，獲得目標(biāo)粗粒度標(biāo)注信息； 步驟4，根據(jù)該源粗粒度標(biāo)注信息和該目標(biāo)粗粒度標(biāo)注信息，通過度量學(xué)習(xí)方法，對(duì)該源視角視頻和該目標(biāo)視角視頻進(jìn)行度量學(xué)習(xí)，獲得跨視角度量方法； 步驟5，通過該跨視角度量方法對(duì)該目標(biāo)視角視頻中的動(dòng)作進(jìn)行動(dòng)作分類，以完成跨視角的動(dòng)作識(shí)別。
2.如權(quán)利要求1所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，其特征在于，該步驟2中該時(shí)序積累的步驟包括:根據(jù)該時(shí)序信息，將該視頻進(jìn)行分段，劃分成多個(gè)時(shí)序段視頻，將每段視頻的運(yùn)動(dòng)強(qiáng)度累加。
3.如權(quán)利要求2所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，其特征在于，通過以下公式將每段的運(yùn)動(dòng)強(qiáng)度累加:
Si為第i個(gè)時(shí)序段視頻，Pj為該第i個(gè)時(shí)序段視頻的感興趣點(diǎn)，r為該第i個(gè)時(shí)序段視頻的該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度。
4.如權(quán)利要求1所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，其特征在于，該步驟3中對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注的步驟包括: 步驟31，根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，在該源視角視頻上構(gòu)建特征空間模型； 步驟32，將該目標(biāo)視角視頻的運(yùn)動(dòng)特征描述輸入到該特征空間模型，以完成對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注。
5.如權(quán)利要求1或4所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別方法，其特征在于，在該步驟4和該步驟5之間還包括:將該目標(biāo)視角視頻的該運(yùn)動(dòng)特征描述輸入到該特征空間模型。
6.一種基于時(shí)序信息的跨視角動(dòng)作識(shí)別系統(tǒng)，其特征在于，包括: 提取運(yùn)動(dòng)強(qiáng)度模塊，用于檢測(cè)視頻的感興趣點(diǎn)，提取該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度，該視頻包括:源視角視頻和目標(biāo)視角視頻； 獲得運(yùn)動(dòng)特征描述模塊，用于根據(jù)該視頻的該時(shí)序信息將該運(yùn)動(dòng)強(qiáng)度進(jìn)行時(shí)序積累，獲得該視頻的運(yùn)動(dòng)特征描述； 獲得粗粒度標(biāo)注信息模塊，用于根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注，獲得目標(biāo)粗粒度標(biāo)注信息； 獲得跨視角度量方法模塊，用于根據(jù)該源粗粒度標(biāo)注信息和該目標(biāo)粗粒度標(biāo)注信息，通過度量學(xué)習(xí)方法，對(duì)該源視角視頻和該目標(biāo)視角視頻進(jìn)行度量學(xué)習(xí)，獲得跨視角度量方法; 動(dòng)作識(shí)別模塊，用于通過該跨視角度量方法對(duì)該目標(biāo)視角視頻中的動(dòng)作進(jìn)行動(dòng)作分類，以完成跨視角的動(dòng)作識(shí)別。
7.如權(quán)利要求6所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別系統(tǒng)，其特征在于，該獲得運(yùn)動(dòng)特征描述模塊還包括時(shí)序積累模塊:用于根據(jù)該時(shí)序信息，將該視頻進(jìn)行分段，劃分成多個(gè)時(shí)序段視頻，將每段視頻的運(yùn)動(dòng)強(qiáng)度累加。
8.如權(quán)利要求7所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別系統(tǒng)，其特征在于，通過以下公式將每段的運(yùn)動(dòng)強(qiáng)度累加:
Si為第i個(gè)時(shí)序段視頻，Pj為該第i個(gè)時(shí)序段視頻的感興趣點(diǎn)，r為該第i個(gè)時(shí)序段視頻的該感興趣點(diǎn)的運(yùn)動(dòng)強(qiáng)度。
9.如權(quán)利要求6所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別系統(tǒng)，其特征在于，該獲得粗粒度標(biāo)注信息模塊還包括粗粒度標(biāo)注模塊: 用于根據(jù)該運(yùn)動(dòng)特征描述和該源視角視頻的源粗粒度標(biāo)注信息，在該源視角視頻上構(gòu)建特征空間模型；將該目標(biāo)視角視頻的運(yùn)動(dòng)特征描述輸入到該特征空間模型，以完成對(duì)該目標(biāo)視角視頻進(jìn)行粗粒度標(biāo)注。
10.如權(quán)利要求6或9所述的基于時(shí)序信息的跨視角動(dòng)作識(shí)別系統(tǒng)，其特征在于，還包括輸入模塊:用于將該目標(biāo)視角視頻的該運(yùn)動(dòng)特征描述輸入到該特征空間模型。
【文檔編號(hào)】G06K9/62GK104200218SQ201410406317
【公開日】2014年12月10日 申請(qǐng)日期:2014年8月18日 優(yōu)先權(quán)日:2014年8月18日
【發(fā)明者】秦磊, 劉藝, 黃慶明, 成仲煒 申請(qǐng)人:中國科學(xué)院計(jì)算技術(shù)研究所