本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及視頻圖像中的一種基于非負(fù)矩陣分解的人體動(dòng)作視頻識(shí)別方法。本發(fā)明可用于智能監(jiān)控、視頻檢索、人機(jī)交互、娛樂及體育運(yùn)動(dòng)分析等。

背景技術(shù)：
人體動(dòng)作視頻識(shí)別的目的在于，在成功實(shí)現(xiàn)動(dòng)作跟蹤、特征提取的基礎(chǔ)上，通過分析獲得的人體動(dòng)作視頻特征參數(shù)，自動(dòng)識(shí)別人體動(dòng)作視頻類型。人體動(dòng)作視頻識(shí)別技術(shù)在視覺監(jiān)督、人機(jī)交互、視頻會(huì)議、虛擬現(xiàn)實(shí)等領(lǐng)域均有著廣泛的應(yīng)用前景。目前已經(jīng)有很多種動(dòng)作視頻識(shí)別技術(shù)被提出，特別是目前利用廣泛的基于整體運(yùn)動(dòng)特征的方法。它將人體運(yùn)動(dòng)區(qū)域從背景中分離出來，并對(duì)該區(qū)域的運(yùn)動(dòng)和表述進(jìn)行整體性的描述，如輪廓、剪影、邊緣、光流、梯度等。該方法能夠編碼較多的信息，因此具有較強(qiáng)的表現(xiàn)力，識(shí)別能力強(qiáng)，但是，由于這些方法提取特征復(fù)雜，計(jì)算量大，容易受到背景的影響，而且在場(chǎng)景復(fù)雜的情況下，整體特征的生成需要背景減除和目標(biāo)跟蹤等較多的預(yù)處理，識(shí)別結(jié)果往往不盡如人意。浙江大學(xué)申請(qǐng)的專利“一種基于模板匹配的視點(diǎn)無關(guān)的人體動(dòng)作識(shí)別方法”(專利申請(qǐng)?zhí)枺?00810059129.4，公開號(hào)：CN101216896)中公開了一種基于模板匹配的方法。該方法首先為各個(gè)樣例動(dòng)作計(jì)算運(yùn)動(dòng)歷史圖并提取相應(yīng)極坐標(biāo)特征來構(gòu)造動(dòng)作模板，然后計(jì)算待定識(shí)別動(dòng)作的特征并投射至模板動(dòng)作子空間中得到低維坐標(biāo)，計(jì)算坐標(biāo)與模板球面之間的距離，選擇最近的作為分類結(jié)果。該方法雖然操作簡(jiǎn)單，但是仍然存在的不足是，需要進(jìn)行背景減除，易受到背景環(huán)境的影響，識(shí)別率低。上海交通大學(xué)申請(qǐng)的專利“一種人體動(dòng)作識(shí)別的方法”(專利申請(qǐng)?zhí)枺?01310054812.X，公開號(hào)：CN103164694A)中公開一種計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域的人體動(dòng)作識(shí)別的方法。該方法使用了一種包含時(shí)間和空間信息的特征來表達(dá)當(dāng)前幀人體的運(yùn)動(dòng)狀態(tài)，然后再通過一種圖論半監(jiān)督方法設(shè)計(jì)分類器，從而達(dá)到識(shí)別人體動(dòng)作的目的。該方法雖然在觀察角度不同時(shí)取得較高的識(shí)別率，但是仍然存在的不足是：特征維數(shù)較高，計(jì)算量大，容易受到外部光照變化的影響，適用性不不強(qiáng)。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明目的是針對(duì)上述已有技術(shù)的不足，提出的一種基于非負(fù)矩陣分解的人體動(dòng)作視頻識(shí)別方法。本發(fā)明與現(xiàn)有人體動(dòng)作視頻識(shí)別技術(shù)相比識(shí)別率高，適用性強(qiáng)。實(shí)現(xiàn)本發(fā)明目的的具體思路是，在充分考慮人體動(dòng)作視頻特征提取易受背景環(huán)境、尺度變化的影響且提取的特征維數(shù)較高的情況下，先將輸入的人體動(dòng)作視頻圖像預(yù)處理，采用多尺度2DHarris關(guān)鍵點(diǎn)檢測(cè)算子提取空間興趣點(diǎn)，構(gòu)建由圖像塊組成的立方體，提取每個(gè)立方體的特征向量，相互連接構(gòu)造特征矩陣，再利用特征矩陣來訓(xùn)練出一個(gè)超完備字典，采用正交匹配跟蹤OMP公式，計(jì)算人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量，再采用稀疏重構(gòu)公式，對(duì)人體動(dòng)作視頻測(cè)試集特征矩陣進(jìn)行稀疏重構(gòu)，得到殘差矩陣，最后根據(jù)殘差矩陣元素值對(duì)人體動(dòng)作視頻測(cè)試集進(jìn)行分類。本發(fā)明在特征提取過程中采用檢測(cè)空間興趣點(diǎn)的方法，沒有采用背景分割的方法，從而能準(zhǔn)確的從背景環(huán)境中提取出包含人體動(dòng)作部分的圖像，識(shí)別率高，其次，采用多尺度2DHarris檢測(cè)算子，檢測(cè)空間興趣點(diǎn)不受光照及尺度變化的影響，所以具有更強(qiáng)的適用性。本發(fā)明實(shí)現(xiàn)的具體步驟包括如下：(1)預(yù)處理視頻圖像：(1a)輸入90個(gè)人體動(dòng)作視頻圖像；(1b)在輸入的人體動(dòng)作視頻圖像中，任選80個(gè)人體動(dòng)作視頻圖像作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集，其余的10個(gè)人體動(dòng)作視頻圖像各自作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集；(1c)利用矩陣實(shí)驗(yàn)室matlab的橫向連接字符串strcat函數(shù)，將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的人體動(dòng)作視頻圖像，轉(zhuǎn)換為時(shí)間連續(xù)的單幅圖片序列；(1d)對(duì)單幅圖片序列進(jìn)行隔行采樣，獲得預(yù)處理的降采樣圖片序列；(2)檢測(cè)空間興趣點(diǎn)：(2a)分別將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的降采樣圖片序列等分成8段；(2b)在每段降采樣圖片序列的第一幀圖片中，采用多尺度2DHarris檢測(cè)算子公式，計(jì)算獲得每段降采樣圖片序列的第一幀圖片中所有像素點(diǎn)處的響應(yīng)值；(2c)將每段降采樣圖片序列的第一幀圖片中像素點(diǎn)處的響應(yīng)值大于等于1000的像素點(diǎn)定義為空間興趣點(diǎn)；(3)構(gòu)建立方體：(3a)在每個(gè)空間興趣點(diǎn)所在的第一幀圖片上，截取一個(gè)以空間興趣點(diǎn)為中心，以24個(gè)像素點(diǎn)為邊長(zhǎng)的正方形圖像塊；(3b)沿著人體動(dòng)作視頻的時(shí)域方向，在第一幀圖片之后的所有降采樣圖像序列的相同位置處截取一個(gè)正方形圖像塊，將所提取的正方形圖像塊，按照每幀圖片在人體動(dòng)作視頻中的先后順序排列組成一個(gè)立方體；(4)構(gòu)造特征矩陣：(4a)用一個(gè)二維高斯Gaussian濾波器，分別對(duì)輸入視頻圖像的所有立方體進(jìn)行濾波處理，得到模糊化立方體；(4b)用模糊化立方體中各自所有像素點(diǎn)的灰度值，分別減去該模糊化立方體的像素點(diǎn)的灰度均值，獲得去均值立方體；(4c)計(jì)算所有去均值立方體各自的二階、三階、四階中心距矩陣；(4d)將去均值立方體的二階、三階、四階中心距矩陣分別轉(zhuǎn)換為一個(gè)列向量，將三個(gè)列向量首尾級(jí)聯(lián)，組成一個(gè)列向量a；(4e)對(duì)人體動(dòng)作視頻訓(xùn)練樣本集和測(cè)試樣本集所有去均值立方體，重復(fù)步驟(4d)，得到人體動(dòng)作視頻訓(xùn)練樣本集的所有列向量b和10個(gè)人體動(dòng)作視頻測(cè)試樣本集各自所有列向量；(4f)將人體動(dòng)作視頻訓(xùn)練樣本集的所有列向量b，組成一個(gè)人體動(dòng)作視頻訓(xùn)練集特征矩陣，將10個(gè)人體動(dòng)作視頻測(cè)試樣本集各自所有列向量，分別組成10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣；(5)訓(xùn)練字典：采用下式，對(duì)人體動(dòng)作視頻訓(xùn)練集特征矩陣進(jìn)行分解，得到超完備字典：X≈D×Hs.t.||X-DH||22≤ε其中，X表示人體動(dòng)作視頻訓(xùn)練集特征矩陣，≈表示約等操作，D表示人體動(dòng)作視頻訓(xùn)練集特征矩陣分解得到的超完備字典，H表示人體動(dòng)作視頻訓(xùn)練集特征矩陣分解得到的系數(shù)矩陣，s.t.表示公式的約束條件，||·||2表示取二范數(shù)操作，ε表示滿足約束條件的值；(6)分類：(6a)采用正交匹配跟蹤OMP公式，利用超完備字典，計(jì)算10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣各自的稀疏表示系數(shù)向量；(6b)采用稀疏重構(gòu)公式，分別利用10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣各自的稀疏表示系數(shù)向量，得到10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣各自的稀疏重構(gòu)矩陣；(6c)用人體動(dòng)作視頻測(cè)試集特征矩陣減去該人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏重構(gòu)矩陣，得到一個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣；(6d)對(duì)10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣，重復(fù)步驟(6c)，得到10個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣；(6e)從10個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣中，分別找到每個(gè)殘差矩陣中矩陣元素的最小值，將每個(gè)人體動(dòng)作視頻測(cè)試集歸入與各自殘差矩陣中矩陣元素最小值相對(duì)應(yīng)的人體動(dòng)作視頻的所屬的同一類中。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)：第一，由于本發(fā)明采用檢測(cè)空間興趣點(diǎn)的方法，能準(zhǔn)確的從背景環(huán)境中提取出包含人體動(dòng)作部分的圖像，克服了現(xiàn)有技術(shù)中人體動(dòng)作視頻特征的提取需要進(jìn)行背景減除，易受背景環(huán)境影響，影響識(shí)別結(jié)果的問題，使得本發(fā)明在人體動(dòng)作視頻識(shí)別時(shí)提高了識(shí)別率。第二，由于本發(fā)明采用多尺度2DHarris檢測(cè)算子，檢測(cè)空間興趣點(diǎn)不受光照及尺度變化的影響，克服了現(xiàn)有技術(shù)中提取出的人體動(dòng)作視頻特征容易受到外部光照變化而變化的問題，使得本發(fā)明在人體動(dòng)作視頻識(shí)別時(shí)具有更強(qiáng)的適用性。第三，由于本發(fā)明采用非負(fù)矩陣分解訓(xùn)練字典，能夠降低特征矩陣的維數(shù)，克服了現(xiàn)有技術(shù)中提取的人體動(dòng)作視頻特征維數(shù)較高，計(jì)算復(fù)雜，計(jì)算量大的問題，使得本發(fā)明降低了人體動(dòng)作視頻識(shí)別的計(jì)算量和復(fù)雜度。附圖說明圖1是本發(fā)明的流程圖；圖2是本發(fā)明計(jì)算一個(gè)人體動(dòng)作視頻測(cè)試集殘差矩陣的直方圖；圖3是本發(fā)明的仿真圖；具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述。參照?qǐng)D1，本發(fā)明的具體實(shí)施步驟如下：步驟1，預(yù)處理視頻圖像。第一步，輸入90個(gè)人體動(dòng)作視頻圖像，在輸入的人體動(dòng)作視頻圖像中，任選80個(gè)人體動(dòng)作視頻圖像作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集，其余的10個(gè)人體動(dòng)作視頻圖像各自作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集。所使用的人體動(dòng)作視頻圖像來自于Weizmann人體動(dòng)作識(shí)別數(shù)據(jù)庫(kù)，下載地址為：http://www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html。該數(shù)據(jù)庫(kù)共包含90個(gè)視頻，分別由9個(gè)人執(zhí)行10個(gè)不同的動(dòng)作。第二步，利用矩陣實(shí)驗(yàn)室matlab的橫向連接字符串strcat函數(shù)，將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的人體動(dòng)作視頻圖像，轉(zhuǎn)換為時(shí)間連續(xù)的單幅圖片序列。第三步，對(duì)單幅圖片序列進(jìn)行隔行采樣，獲得預(yù)處理的降采樣圖片序列。步驟2，檢測(cè)空間興趣點(diǎn)。分別將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的降采樣圖片序列等分成8段。在每段降采樣圖片序列的第一幀圖片中，采用多尺度2DHarris檢測(cè)算子公式，計(jì)算獲得每段降采樣圖片序列第一幀圖片中所有像素點(diǎn)處的響應(yīng)值R，多尺度2DHarris檢測(cè)算子公式如下：R＝det(M)-0.04×tr2(M)其中，R表示每段降采樣圖片序列的第一幀圖像像素點(diǎn)響應(yīng)值，det(M)表示莫拉維茨Moravec算子矩陣M的行列式，M表示莫拉維茨Moravec算子矩陣，tr(M)表示莫拉維茨Moravec算子矩陣M的跡。將每段降采樣圖片序列的第一幀圖像像素點(diǎn)響應(yīng)值R大于等于1000的像素點(diǎn)定義為空間興趣點(diǎn)。步驟3，構(gòu)建立方體。在每個(gè)興趣點(diǎn)所在第一幀圖像上，截取一個(gè)以興趣點(diǎn)為中心，以24個(gè)像素點(diǎn)為邊長(zhǎng)的正方形圖像塊。沿著人體動(dòng)作視頻的時(shí)域方向，在第一幀圖像之后的所有圖像序列的相同位置處截取正方形圖像塊，將所提取的正方形圖像塊，按照每幀圖像在人體動(dòng)作視頻中的先后順序排列組成一個(gè)立方體。步驟4，構(gòu)造特征矩陣。第一步，按照下式，用一個(gè)二維高斯Gaussian濾波器，分別對(duì)輸入視頻圖像的所有立方體進(jìn)行濾波處理，得到模糊化立方體：V＝A*G其中，V表示模糊化立方體，A表示立方體，*表示卷積操作，G表示二維高斯Gaussian濾波器。第二步，用模糊化立方體中各自所有像素點(diǎn)的灰度值，分別減去該模糊化立方體的像素點(diǎn)的灰度均值，獲得去均值立方體。第三步，計(jì)算去均值立方體的二階、三階、四階中心距矩陣。按照下式，分別計(jì)算去均值立方體的二階、三階、四階中心距矩陣元素的值：其中，mij表示去均值立方體的r階中心距矩陣中位于i,j位置處的矩陣元素值，r表示去均值立方體中心距矩陣的階數(shù)，r＝2,3,4，i,j分別表示去均值立方體的像素點(diǎn)所處的坐標(biāo)位置值，i＝1,2,...24，j＝1,2,...24，l表示組成去均值立方體的圖像塊個(gè)數(shù)，t表示組成去均值立方體的圖像塊在立方體中的序號(hào)，vijt表示組成去均值立方體的第t個(gè)圖像塊上位于i,j處的像素值。將去均值立方體的二階、三階、四階中心距矩陣元素的值，構(gòu)成去均值立方體的二階、三階、四階中心距矩陣。第四步，將去均值立方體的二階、三階、四階中心距矩陣分別轉(zhuǎn)換為一個(gè)列向量，將三個(gè)列向量首尾級(jí)聯(lián)，組成一個(gè)列向量a。第五步，對(duì)人體動(dòng)作視頻訓(xùn)練樣本集和測(cè)試樣本集所有去均值立方體，重復(fù)第四步，得到人體動(dòng)作視頻訓(xùn)練樣本集的所有列向量b和10個(gè)人體動(dòng)作視頻測(cè)試樣本集各自所有列向量。第六步，將人體動(dòng)作視頻訓(xùn)練樣本集的所有列向量b，組成一個(gè)人體動(dòng)作視頻訓(xùn)練集特征矩陣，將10個(gè)人體動(dòng)作視頻測(cè)試樣本集各自所有列向量，分別組成10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣。步驟5，訓(xùn)練字典。采用下式，對(duì)人體動(dòng)作視頻訓(xùn)練集特征矩陣進(jìn)行分解，得到超完備字典：X≈D×Hs.t.||X-DH||22≤ε其中，X表示人體動(dòng)作視頻訓(xùn)練集特征矩陣，≈表示約等操作，D表示人體動(dòng)作視頻訓(xùn)練集特征矩陣分解得到的超完備字典，H表示人體動(dòng)作視頻訓(xùn)練集特征矩陣分解得到的系數(shù)矩陣，s.t.表示公式的約束條件，||·||2表示取二范數(shù)操作，ε表示滿足約束條件的值。步驟6，分類。第一步，采用正交匹配跟蹤OMP公式，計(jì)算人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量，正交匹配跟蹤OMP公式如下：argmin||T-DZ||2其中，T表示人體動(dòng)作視頻測(cè)試集特征矩陣，D表示超完備字典，Z表示人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量，argmin表示取最小值操作，||·||2表示取二范數(shù)操作。第二步，采用稀疏重構(gòu)公式，利用人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量，得到人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏重構(gòu)矩陣，稀疏重構(gòu)公式如下：C＝D×Z其中，C表示人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏重構(gòu)矩陣，D表示超完備字典，Z表示人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量。第三步，用人體動(dòng)作視頻測(cè)試集特征矩陣減去該人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏重構(gòu)矩陣，得到一個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣。第四步，對(duì)10個(gè)人體動(dòng)作視頻測(cè)試集特征矩陣，重復(fù)第三步，得到10個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣。第五步，從10個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣中，分別找到每個(gè)殘差矩陣中矩陣元素的最小值，將每個(gè)人體動(dòng)作視頻測(cè)試集歸入與各自殘差矩陣中矩陣元素最小值相對(duì)應(yīng)的人體動(dòng)作視頻的所屬的同一類中。下面結(jié)合仿真實(shí)驗(yàn)對(duì)本發(fā)明的效果做進(jìn)一步的描述。1、仿真實(shí)驗(yàn)條件。本發(fā)明的仿真實(shí)驗(yàn)硬件平臺(tái)為：IntelCore2DuoCPUE6550@2.33GHZ、2GBRAM。軟件平臺(tái)為MATLABR2009a。2、實(shí)驗(yàn)內(nèi)容與結(jié)果分析。用人體動(dòng)作視頻測(cè)試集特征矩陣減去該人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏重構(gòu)矩陣，得到一個(gè)與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣。根據(jù)每個(gè)殘差矩陣中矩陣元素的最小值，將人體動(dòng)作視頻測(cè)試集歸入與殘差矩陣中矩陣元素最小值相對(duì)應(yīng)的人體動(dòng)作視頻的所屬的同一類中。圖2是本發(fā)明計(jì)算一個(gè)人體動(dòng)作視頻測(cè)試集殘差矩陣的直方圖。圖2中的橫坐標(biāo)1表示人體動(dòng)作視頻1，橫坐標(biāo)2表示人體動(dòng)作視頻2，橫坐標(biāo)3表示人體動(dòng)作視頻3，橫坐標(biāo)4表示人體動(dòng)作視頻4，橫坐標(biāo)5表示人體動(dòng)作視頻5，橫坐標(biāo)6表示人體動(dòng)作視頻6，橫坐標(biāo)7表示人體動(dòng)作視頻7，橫坐標(biāo)8表示人體動(dòng)作視頻8，橫坐標(biāo)9表示人體動(dòng)作視頻9，橫坐標(biāo)10表示人體動(dòng)作視頻10，縱坐標(biāo)表示與每類人體動(dòng)作視頻相對(duì)應(yīng)的殘差矩陣元素值，由圖2可以看出，與人體動(dòng)作視頻1相對(duì)應(yīng)的殘差矩陣元素值最小，因此將人體動(dòng)作視頻測(cè)試集歸入人體動(dòng)作視頻1所屬的同一類中。通過利用殘差矩陣對(duì)人體動(dòng)作視頻測(cè)試集進(jìn)行分類，將最后的分類結(jié)果進(jìn)行統(tǒng)計(jì)，用混淆矩陣來表示。對(duì)照?qǐng)D3的仿真結(jié)果混淆矩陣圖，每一列表示仿真實(shí)驗(yàn)測(cè)得的人體動(dòng)作視頻測(cè)試樣本集所屬的類別，每一行表示人體動(dòng)作視頻測(cè)試樣本集實(shí)際所屬的類別，其中對(duì)角線上的數(shù)值1.00表示該位置所在行上的人體動(dòng)作視頻測(cè)試樣本集被正確分類為所在列上的人體動(dòng)作視頻所屬的類別，對(duì)角線上的數(shù)值0.00表示該位置所在行上的人體動(dòng)作視頻測(cè)試樣本集被正確分類為所在列上的人體動(dòng)作視頻所屬的類別，第9行第8列的1.00表示人體動(dòng)作視頻測(cè)試集9被錯(cuò)誤分類為人體動(dòng)作視頻8所屬的類別。從利用本發(fā)明方法得到的分類結(jié)果可以看出：總體分類精度達(dá)到90％，主要原因是，利用檢測(cè)空間興趣點(diǎn)方法能準(zhǔn)確的從背景環(huán)境中提取出包含人體動(dòng)作部分的圖像，不受背景環(huán)境的影響，從而能夠提高識(shí)別率，由此可以看出本發(fā)明在識(shí)別背景復(fù)雜且動(dòng)作比較復(fù)雜的人體動(dòng)作視頻時(shí)同樣具有很高的識(shí)別率。