一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法。該方法首先對(duì)預(yù)先采集包含不同人體行為類(lèi)型的視頻數(shù)據(jù)集提取多種類(lèi)型的視覺(jué)特征表達(dá)，得到多視圖特征數(shù)據(jù)矩陣；接著對(duì)各個(gè)視圖構(gòu)建視圖相關(guān)的視覺(jué)相似圖和幾何拉普拉斯矩陣，以此構(gòu)建求解多視圖特征選擇矩陣與數(shù)據(jù)聚類(lèi)類(lèi)別矩陣的目標(biāo)函數(shù)；然后采用迭代梯度下降法優(yōu)化計(jì)算多視圖特征選擇矩陣，并依據(jù)的行排序結(jié)果得到二值特征選擇矩陣；最后將待識(shí)別視頻數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的多視圖特征數(shù)據(jù)，比較特征選擇后的待識(shí)別數(shù)據(jù)與預(yù)先采集的多視圖特征數(shù)據(jù)之間的距離，將待識(shí)別視頻標(biāo)識(shí)為距離最近的預(yù)采集視頻數(shù)據(jù)人體行為類(lèi)型。本方法計(jì)算速度快，具有較高的識(shí)別準(zhǔn)確率和抗噪聲干擾能力。
【專(zhuān)利說(shuō)明】一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)研究中的無(wú)監(jiān)督學(xué)習(xí)、多視圖學(xué)習(xí)、特征選擇和人體行為識(shí)別這幾個(gè)主題，尤其涉及一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法。
【背景技術(shù)】
[0002]隨著現(xiàn)代計(jì)算機(jī)計(jì)算性能的飛速提升和計(jì)算機(jī)視覺(jué)技術(shù)，尤其是特征提取技術(shù)的發(fā)展，人們對(duì)視頻和圖像處理對(duì)象會(huì)提取不同類(lèi)型的視覺(jué)特征表達(dá)。例如對(duì)圖像而言，常會(huì)提取包括全局特征，如顏色直方圖、紋理特征和輪廓外形特征，以及局部特征，如SIFT、LBP和GLOH等。而對(duì)于視頻對(duì)象，除了外觀特征(如顏色、紋理、邊緣)和運(yùn)動(dòng)特征(如運(yùn)動(dòng)歷史圖和運(yùn)動(dòng)能量圖特征)，還會(huì)提取局部時(shí)刻特征(如STIP特征)。這種對(duì)同一對(duì)象提取多種異構(gòu)類(lèi)型的特征所構(gòu)成的數(shù)據(jù)被稱(chēng)為多視圖數(shù)據(jù)。
[0003]由于傳統(tǒng)的機(jī)器學(xué)習(xí)方法都是針對(duì)處理單一類(lèi)型特征數(shù)據(jù)進(jìn)行設(shè)計(jì)的，因此在處理多視圖數(shù)據(jù)的時(shí)候無(wú)法充分挖掘發(fā)揮多視圖數(shù)據(jù)中不同模特?cái)?shù)據(jù)之間的關(guān)聯(lián)性，因此無(wú)法取得最佳的方法效果。雖然一種簡(jiǎn)單的處理辦法是將這些不同類(lèi)型的特征拼接起來(lái)，構(gòu)成新的單類(lèi)型特征，但是這種方式忽略了不同類(lèi)型特征本身所存在的鑒別能力強(qiáng)弱上的差異性，因此也不是一種理想的處理辦法。為了解決這個(gè)問(wèn)題，多視圖學(xué)習(xí)方法在最近得到興起，并成功應(yīng)用到數(shù)據(jù)聚類(lèi)，分類(lèi)和數(shù)據(jù)降維等應(yīng)用中，顯著地提高了學(xué)習(xí)方法的性能。
[0004]具體到特征選擇應(yīng)用中，傳統(tǒng)的方法,無(wú)論是有監(jiān)督學(xué)習(xí)的Fisher Scores方法和Sparse Mult1- output regression 方法，還是無(wú)監(jiān)督的 Laplacian Score 方法、FeatureRanking和Mult1-Cluster Feature Selection方法,都是面向傳統(tǒng)的單類(lèi)型特征設(shè)計(jì)的，并不是針對(duì)多視圖數(shù)據(jù)。因此在進(jìn)行特征選擇的時(shí)候，傳統(tǒng)的特征選擇方法無(wú)法充分發(fā)揮多視圖特征優(yōu)勢(shì)。
[0005]另外一方面，在基于視頻的人體行為識(shí)別研究中，雖然各種不同類(lèi)型的視覺(jué)特征被不斷提出來(lái)，多特征之間如何進(jìn)行組合和應(yīng)用，在一些文獻(xiàn)中也有關(guān)的研究和討論，但是對(duì)于多特征之間如何進(jìn)行快速有效的特征選擇，這方面的研究相對(duì)比較少。
[0006]針對(duì)上述問(wèn)題，本發(fā)明提出一種無(wú)監(jiān)督多視圖特性選擇的人體行為識(shí)別方法。與上面提到的傳統(tǒng)方法不同，本方法充分利用多視圖數(shù)據(jù)中不同視圖之間的內(nèi)在關(guān)聯(lián)性，通過(guò)對(duì)不同類(lèi)型的特征賦予不同的視圖權(quán)重，從而將多種異構(gòu)類(lèi)型的特征最優(yōu)地組織在一起。于此同時(shí)，本方法還將不同類(lèi)型特征數(shù)據(jù)內(nèi)存在的數(shù)據(jù)空間結(jié)構(gòu)關(guān)系考慮進(jìn)來(lái)，對(duì)不同視圖分別構(gòu)建表征該類(lèi)型數(shù)據(jù)之間空間結(jié)構(gòu)關(guān)系的圖，采用幾何拉普拉斯圖，將數(shù)據(jù)之間的幾何結(jié)構(gòu)關(guān)系引入到目標(biāo)函數(shù)中。通過(guò)對(duì)目標(biāo)函數(shù)中特征選擇矩陣添加12Λ范數(shù)約束，利用U1范數(shù)的行稀疏特性，實(shí)現(xiàn)對(duì)特征分量的排序，進(jìn)而實(shí)現(xiàn)特征選擇的功能。最后，本方法在進(jìn)行識(shí)別的時(shí)候，采用特征選擇后的結(jié)果，在低維特征空間上比較待視頻數(shù)據(jù)與預(yù)先采集的視頻數(shù)據(jù)之間的相似性，可以有效地減少計(jì)算復(fù)雜性，增強(qiáng)方法的抗噪聲干擾能力。將該方法應(yīng)用到基于視頻的人體行為識(shí)別應(yīng)用中，可以快速準(zhǔn)確地對(duì)視頻中的人體行為進(jìn)行識(shí)別。
【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法。
[0008]無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法包括如下步驟:
[0009]I)選用公共人體行為數(shù)據(jù)集KTH作為預(yù)先采集的包含不同人體行為類(lèi)型的視頻數(shù)據(jù)集，選用通過(guò)視頻采集設(shè)備錄取的人體行為視頻作為待識(shí)別的人體行為視頻；
[0010]2)對(duì)預(yù)先采集的包含不同人體行為類(lèi)型的視頻數(shù)據(jù)集提取m種類(lèi)型的視覺(jué)特征表達(dá)，得到該視頻數(shù)據(jù)集所對(duì)應(yīng)的多視圖特征數(shù)據(jù)矩陣X = [X(1), x(2)，...，X(m)]T，其中
^、?，^,…，^叩是第V個(gè)視圖下的特征數(shù)據(jù)矩陣，x:'}是從第i個(gè)視頻數(shù)據(jù)中提取的 第V種類(lèi)型的視覺(jué)特征表達(dá)，η是該視頻數(shù)據(jù)集中所包含的視頻數(shù)目；
[0011]3)對(duì)任意第V個(gè)視圖，構(gòu)建該視圖相關(guān)的視覺(jué)相似圖Aw，定義如下:
[0012]
【權(quán)利要求】
1.一種無(wú)監(jiān)督多視圖特征選擇的人體行為識(shí)別方法，其特征在于包括如下步驟: 1)選用公共人體行為數(shù)據(jù)集KTH作為預(yù)先采集的包含不同人體行為類(lèi)型的視頻數(shù)據(jù)集，選用通過(guò)視頻采集設(shè)備錄取的人體行為視頻作為待識(shí)別的人體行為視頻； 2)對(duì)預(yù)先采集的包含不同人體行為類(lèi)型的視頻數(shù)據(jù)集提取m種類(lèi)型的視覺(jué)特征表達(dá)，得到該視頻數(shù)據(jù)集所對(duì)應(yīng)的多視圖特征數(shù)據(jù)矩陣X= [X(1)，X(2)，...，X(m)]T，其中f〗=是第V個(gè)視圖下的特征數(shù)據(jù)矩陣，是從第i個(gè)視頻數(shù)據(jù)中提取的第V種類(lèi)型的視覺(jué)特征表達(dá)，η是該視頻數(shù)據(jù)集中所包含的視頻數(shù)目； 3)對(duì)任意第V個(gè)視圖，構(gòu)建該視圖相關(guān)的視覺(jué)相似圖Α(ν)，定義如下:
【文檔編號(hào)】G06K9/66GK103577841SQ201310557008
【公開(kāi)日】2014年2月12日 申請(qǐng)日期:2013年11月11日 優(yōu)先權(quán)日:2013年11月11日
【發(fā)明者】肖俊, 馮銀付, 莊越挺, 計(jì)明明, 張鹿鳴 申請(qǐng)人:浙江大學(xué)