本發(fā)明涉及動作識別領(lǐng)域，尤其涉及一種基于幀間自相似的動作識別方法。
背景技術(shù)：
人體的動作識別在計算機視覺領(lǐng)域中是一個十分重要的課題，是計算機視覺研究中的熱點與難點。它的應(yīng)用十分廣泛與人們的生活息息相關(guān)，例如：數(shù)字娛樂、智能家具、視頻監(jiān)控、以及預(yù)防犯罪事件發(fā)生等。但是，由于人與人之間存在巨大的差異，動作的靈活性和多樣性，攝像機的運動，環(huán)境的不可控性，人與人之間相互遮擋，人與物體之間的相互遮擋，以及復(fù)雜背景等問題的存在，人體動作行為識別依舊是一個十分復(fù)雜并且具有挑戰(zhàn)性的問題。
早期的動作識別主要集中研究如何在可控環(huán)境的單視角下進行動作識別。為了研究此問題，研究人員提出了提取視頻中局部特征將視覺信息轉(zhuǎn)換成可量化的信息，進行動作識別。早期這種方法只考慮從視頻的彩色信息中提取出動作的空間信息，因此識別效果并不理想。接著研究人員提出了可以將局部的空間信息和時間信息相結(jié)合，提出了時空感興趣點和尺度不變換等特征，從而從視頻中提取出更多的動作信息。此類方法的動作識別準(zhǔn)確率能較之前有所提升，但是由于只利用了局部的時空信息，而忽略了動作的全局信息，這種類型的動作識別方法的魯棒性并不理想。
近年來基于深度學(xué)習(xí)的動作識別算法受到許多研究人員的重視。由于此方法是基于復(fù)雜的神經(jīng)網(wǎng)絡(luò)構(gòu)建的學(xué)習(xí)模型，它能通過訓(xùn)練得到一個魯棒性較好的分類模型。目前這些方法主要應(yīng)對于單視角的動作識別，但由于在此類動作識別任務(wù)中許多環(huán)境因素受到人為控制較為簡單，大量的動作識別算法已經(jīng)能在這種動作識別問題中取得理想的效果。
近年來人體動作識別問題更加專注于如何在復(fù)雜的環(huán)境中和不同的視角下進行動作識別。不同于單視角下的動作識別，不同視角下的同一類型的動作樣本具有不同的特點。直接利用已知視角下動作樣本學(xué)習(xí)動作識別模型，很難在另一個視角下的動作識別中取得理想的效果。同時要從所有視角下收集動作樣本來訓(xùn)練一個通用的動作識別模型是不現(xiàn)實的。首先需要訓(xùn)練的動作樣本數(shù)量十分龐大，很難學(xué)習(xí)得到一個具有很好魯棒性的分類模型。其次不同視角下的動作類別不一定一樣，很難保證每個動作類別都有充足的訓(xùn)練樣本。
為了解決此問題，研究人員提出了跨視角學(xué)習(xí)和跨域?qū)W習(xí)等方法，通過學(xué)習(xí)兩個視角下對應(yīng)動作樣本的特征，實現(xiàn)將一個視角下的動作樣本映射到另外一個視角下。此類方法在跨視角動作識別中能取得較為不錯的效果，但在訓(xùn)練過程中還是需要用到測試視角下的動作樣本。在現(xiàn)實中，當(dāng)需要在一個未知視角下進行動作識別時，一般不具有此視角下的動作樣本。
技術(shù)實現(xiàn)要素：
本發(fā)明提供了一種基于幀間自相似的動作識別方法，本發(fā)明通過學(xué)習(xí)動作本身不同階段的自相似特點實現(xiàn)在未知的視角下進行動作識別的目的，詳見下文描述：
一種基于幀間自相似的動作識別方法，所述動作識別方法包括以下步驟：
對處理后的動作樣本提取全局光流特征，并用特征矩陣來表示每一個動作樣本；
根據(jù)動作樣本特征矩陣計算各幀特征之間的自相似性得到自相似矩陣；從自相似矩陣中提取出每一個動作樣本的新的特征向量；
根據(jù)新的特征向量通過支持向量機學(xué)習(xí)分類模型，用學(xué)習(xí)得到的模型對測試樣本的新的特征向量進行動作分類，完成在未知視角下的動作識別任務(wù)。
所述動作識別方法還包括以下步驟：
收集錄制不同視角下人體的運動信息，建立多視角的動作數(shù)據(jù)庫；提取出訓(xùn)練視角下、以及測試視角下的動作樣本；
對提取的動作樣本進行幀長度的統(tǒng)一，使得每個樣本具有相同的視頻幀數(shù)。
所述對提取的動作樣本進行幀長度的統(tǒng)一的步驟具體為：
計算出所有動作樣本的視頻的平均幀數(shù)j，接著對每一個動作樣本視頻按照圖像序列的時間順序等間隔抽取m＝j(luò)/2幀，并重組為視頻作為處理后的動作樣本視頻。
所述對處理后的動作樣本提取全局光流特征，并用特征矩陣來表示每一個動作樣本的步驟具體為：
在得到每一點的光流后將每一幀圖像中所有像素點的光流串聯(lián)得到每一幀圖像的光流特征向量；
將每一幀的光流特征向量按時間順序組合得到動作視頻樣本的特征矩陣。
本發(fā)明提供的技術(shù)方案的有益效果是：
1、通過學(xué)習(xí)動作本身內(nèi)在的自相似特點，利用全局光流特征就能提取得到與視角無關(guān)的動作信息，便于在未知視角下進行動作識別；
2、無需進行復(fù)雜的詞典學(xué)習(xí)和特征編碼即可得到動作樣本的特征向量，節(jié)省了完成動作識別的時間；
3、提出的幀間自相似的動作識別算法流程簡單，易被推廣到現(xiàn)實使用中。
附圖說明
圖1為一種基于幀間自相似的動作識別方法的流程圖。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面對本發(fā)明實施方式作進一步地詳細描述。
為了更好的解決背景技術(shù)中存在的問題，本發(fā)明實施例提出了一種基于幀間自相似的動作識別方法。雖然不同的動作在不同的視角下具有不同的表現(xiàn)形式，但是動作自身的幀間自相似特性不會因為視角的改變而改變。通過提取動作樣本的幀間自相似特征，僅僅利用已知視角的動作樣本就能學(xué)習(xí)得到一個具有較強魯棒性的動作識別模型，此模型可以實現(xiàn)在未知視角下進行動作識別。
實施例1
一種基于幀間自相似的動作識別方法，參見圖1，該動作識別方法包括以下步驟：
101：對處理后的動作樣本提取全局光流特征，并用特征矩陣來表示每一個動作樣本；
102：根據(jù)動作樣本特征矩陣計算各幀特征之間的自相似性得到自相似矩陣；從自相似矩陣中提取出每一個動作樣本的新的特征向量；
103：根據(jù)新的特征向量通過支持向量機學(xué)習(xí)分類模型，用學(xué)習(xí)得到的模型對測試樣本的新的特征向量進行動作分類，完成在未知視角下的動作識別任務(wù)。
其中，該動作識別方法還包括以下步驟：
收集錄制不同視角下人體的運動信息，建立多視角的動作數(shù)據(jù)庫；提取出訓(xùn)練視角下、以及測試視角下的動作樣本；
對提取的動作樣本進行幀長度的統(tǒng)一，使得每個樣本具有相同的視頻幀數(shù)。
其中，上述對提取的動作樣本進行幀長度的統(tǒng)一的步驟具體為：
計算出所有動作樣本的視頻的平均幀數(shù)j，接著對每一個動作樣本視頻按照圖像序列的時間順序等間隔抽取m＝j(luò)/2幀，并重組為視頻作為處理后的動作樣本視頻。
其中，步驟101中的對處理后的動作樣本提取全局光流特征，并用特征矩陣來表示每一個動作樣本的步驟具體為：
在得到每一點的光流后將每一幀圖像中所有像素點的光流串聯(lián)得到每一幀圖像的光流特征向量；
將每一幀的光流特征向量按時間順序組合得到動作視頻樣本的特征矩陣。
綜上所述，本發(fā)明實施例通過提取動作樣本的幀間自相似特征，利用已知視角的動作樣本學(xué)習(xí)得到一個具有較強魯棒性的動作識別模型，實現(xiàn)在未知視角下進行動作識別。
實施例2
下面結(jié)合圖1、表1以及具體的計算公式對實施例1中的方案進行進一步地介紹，詳見下文描述：
201：收集錄制不同視角下人體的運動信息，建立多視角的動作數(shù)據(jù)庫；
錄制時在每個視角下進行單獨的動作錄制，保證所有視角下的動作樣本不具有時間和空間上的直接的關(guān)聯(lián)性，表1給出了建立的數(shù)據(jù)庫的動作列表。
表1動作列表
具體實現(xiàn)時，本發(fā)明實施例對上述具體的動作不做限制，也可以為其他的動作，根據(jù)實際應(yīng)用中的需要進行設(shè)定。
202：分別提取訓(xùn)練視角下、以及測試視角下的動作樣本；
其中，訓(xùn)練視角的動作樣本主要用于進行動作分類模型的訓(xùn)練，測試視角的動作樣本用于動作識別測試。
203：對上述動作樣本進行幀長度的統(tǒng)一，使得每個動作樣本具有相同的視頻幀數(shù)；
首先計算出所有動作樣本的視頻的平均幀數(shù)j，接著對每一個動作樣本視頻按照圖像序列的時間順序等間隔抽取m＝j(luò)/2幀，并重組為視頻作為處理后的動作樣本視頻。
204：對處理后的動作樣本提取全局光流特征，并用特征矩陣來表示每一個動作樣本；
其中，對于一個樣本視頻中每一幀圖像中的點(x,y)，用i(x,y,t)表示此點在t幀時的灰度。在另一幀當(dāng)此點運動到點(x+δx,y+δy)時，其灰度值為i(x+δx,y+δy,t+δt)。而對于同一個點它應(yīng)該滿足式(1)所示的光流約束方程。
i(x,y,t)＝i(x+δx,y+δy,t+δt)(1)
對式(1)使用泰勒公式可以得到：
式(2)等價于式(3)：
ixu+iyv+it＝0(3)
其中，
將式(4)轉(zhuǎn)換為式(5)：
利用最小二乘法通過式(5)得到式(6)求解出對應(yīng)的光流(u,v)：
其中，上述
在得到每一點的光流(u,v)后將每一幀圖像中所有像素點的光流串聯(lián)得到每一幀圖像的光流特征向量o。將每一幀的光流特征向量按時間順序組合得到動作視頻樣本的特征矩陣h＝[o1,o2,…,om]。
205：對步驟204中提取得到的動作樣本特征矩陣計算各幀特征之間的自相似性，獲取自相似矩陣；從自相似矩陣中提取出每一個動作樣本的新的特征向量；
對于特征矩陣中的第i幀和第j幀用其相應(yīng)的光流特征向量oi和oj計算它們的歐幾里德距離dij，距離的值代表了兩幀之間的相似性，值越小相似性越大。當(dāng)i＝j(luò)時即計算當(dāng)前幀同自己的歐幾里德距離，因為兩幀一樣，此距離的值為0。通過計算得到式(7)所示的幀間自相似矩陣。
從式(7)中按從上到下從左到右的順序取出不同幀之間的歐幾里德距離的值，串聯(lián)得到向量d＝[d12,d13,…,d1m,d21,d23,…,dm(m-1)]，此向量即為視頻樣本的幀間自相似特征向量。
其中，d12,d13,…,d1m,d21,d23,…,dm(m-1)為向量中的元素。
206：利用步驟205)得到的訓(xùn)練樣本的新的特征向量通過支持向量機學(xué)習(xí)分類模型，用學(xué)習(xí)得到的模型對測試樣本的新的特征向量進行動作分類，完成在未知視角下的動作識別任務(wù)。
線性支持向量機是一種有監(jiān)督的分類器模型的學(xué)習(xí)方法。在這種分類方法中，原始的特征點
fi(d)＝witd+b(8)
式子中wi是需要學(xué)習(xí)的超平面，d是動作樣本的表征向量，b是偏置向量。通過訓(xùn)練，對于給定的樣本表征向量d，當(dāng)d屬于第i類時應(yīng)該滿足fi(d)＞0，不屬于時則fi(d)＜0。
當(dāng)給定一個測試樣本的表征向量dtest時，將其帶入n個分類函數(shù)并利用決策函數(shù)
其中，fn(dtest)為該測試樣本屬于第n類的概率值。
綜上所述，本發(fā)明實施例通過提取動作樣本的幀間自相似特征，利用已知視角的動作樣本學(xué)習(xí)得到一個具有較強魯棒性的動作識別模型，實現(xiàn)在未知視角下進行動作識別。
本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖，上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。
以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。