基于圖像深度信息的3d高斯空間人體行為識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像深度信息的3D高斯空間人體行為識(shí)別方法?；趫D像深度信息的3D高斯空間人體行為識(shí)別方法包括以下步驟：提取深度信息中的人體骨骼3D坐標(biāo)并對(duì)其進(jìn)行歸一化操作，過(guò)濾對(duì)人體行為識(shí)別率低的關(guān)節(jié)及冗余關(guān)節(jié)；針對(duì)各個(gè)行為構(gòu)建興趣關(guān)節(jié)群，基于高斯距離核對(duì)人體動(dòng)作空間特征進(jìn)行AP聚類(lèi)，獲得行為特征單詞表并對(duì)其進(jìn)行數(shù)據(jù)清理；構(gòu)建人體行為條件隨機(jī)場(chǎng)識(shí)別模型，據(jù)此實(shí)現(xiàn)對(duì)人體行為的分類(lèi)。本發(fā)明對(duì)人體具體方向、骨骼尺寸、空間位置都具有較強(qiáng)的抗干擾性，對(duì)不同實(shí)驗(yàn)個(gè)體引入的動(dòng)作差異有很強(qiáng)的泛化能力，對(duì)不同類(lèi)的相似行為也有很好的識(shí)別能力。
【專(zhuān)利說(shuō)明】基于圖像深度信息的3D高斯空間人體行為識(shí)別方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明涉及機(jī)器視覺(jué)領(lǐng)域，特別涉及一種基于圖像深度信息的3D高斯空間人體行為識(shí)別方法。
【背景技術(shù)】:
[0002]視頻中的人體行為識(shí)別在很多視頻監(jiān)控、人機(jī)交互、視頻恢復(fù)等領(lǐng)域中都有重要的應(yīng)用。盡管在近十年內(nèi)，各國(guó)專(zhuān)家學(xué)者提出了很多方法，在該領(lǐng)域內(nèi)取得了很多激動(dòng)人心的進(jìn)展，但是高精度的人體行為識(shí)別依然是一項(xiàng)極具挑戰(zhàn)的工作。原因之一就是人體行為是一種動(dòng)態(tài)的動(dòng)作時(shí)間序列，各種動(dòng)作分界模糊，即使是同一人其動(dòng)作亦會(huì)變形，甚至各種動(dòng)作相互組合，同時(shí)在動(dòng)作進(jìn)行中可能發(fā)生被遮擋的情況的發(fā)生。人體本身從背景中的分割就是一項(xiàng)艱巨的任務(wù)，進(jìn)一步加劇了行為識(shí)別的難度。
[0003]近幾年推出的深度攝像機(jī)提供了毫米級(jí)的3D深度信息。這在很大程度上降低了人體分割的難度。針對(duì)深度信息，Shotton提出了一種基于隨機(jī)決策森林分類(lèi)器的單像素物體識(shí)別方法(Shotton, J., et al.Real-Time Human Pose Recognition in Parts fromSingle Depth Images, in Computer Vision and Pattern Recognition (CVPR),2011 IEEEConference on.2011.),該方法借鑒了物體識(shí)別理論,采用一種人體部位中間表達(dá)方法將比較困難的動(dòng)作估計(jì)映射為簡(jiǎn)單的面向像素的分類(lèi)問(wèn)題，并采用基于均值漂移的局部最優(yōu)的方法找到各關(guān)節(jié)最優(yōu)估計(jì)?；谠摲椒?，可以直接獲得人體3D骨架關(guān)節(jié)坐標(biāo)。人體動(dòng)作是一種鉸鏈結(jié)構(gòu)，給定如圖1所示的骨架，左圖為深度圖像，右圖為Shotton提出的基于隨機(jī)決策森林分類(lèi)器的單像素物體識(shí)別方法獲取的對(duì)應(yīng)的骨骼圖像，人眼視覺(jué)系統(tǒng)可以輕松判定其動(dòng)作，即使部分關(guān)節(jié)被遮擋。
[0004]但是，基于單目深度信息估計(jì)的3D關(guān)節(jié)帶有很多噪聲，甚至有明顯的錯(cuò)誤，尤其是在遮擋的情況下，如雙手交叉、多個(gè)人體相互觸碰等?；诖?D關(guān)節(jié)推理，依然不能保證人體行為識(shí)別精度。

【發(fā)明內(nèi)容】
:
[0005]本發(fā)明是為了克服上述現(xiàn)有技術(shù)中缺陷，提供了一種魯棒的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:
[0007]基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其步驟為:
[0008]步驟一,針對(duì)每巾貞圖像的深度信息,采用Shotton提出的基于隨機(jī)決策森林分類(lèi)器的單像素物體識(shí)別方法確認(rèn)人體部位并進(jìn)一步獲取人體3D關(guān)節(jié)坐標(biāo)；
[0009]步驟二，將所述人體3D關(guān)節(jié)坐標(biāo)數(shù)據(jù)歸一化；
[0010]步驟三，篩選人體關(guān)節(jié)，過(guò)濾對(duì)人體行為識(shí)別貢獻(xiàn)低的關(guān)節(jié)或冗余關(guān)節(jié)；
[0011]步驟四，分析每類(lèi)行為，基于AP聚類(lèi)算法，統(tǒng)計(jì)每類(lèi)行為中，關(guān)節(jié)空間運(yùn)動(dòng)行程突出的關(guān)節(jié)點(diǎn)，構(gòu)建興趣關(guān)節(jié)群；[0012]步驟五，針對(duì)每類(lèi)行為，基于興趣關(guān)節(jié)群，計(jì)算每個(gè)動(dòng)作的3D高斯空間特征；
[0013]步驟六，采用AP聚類(lèi)算法，構(gòu)建高斯距離核，將投影到人體動(dòng)作空間的3D高斯空間特征聚為η組動(dòng)作分類(lèi)，并獲取代表每組動(dòng)作的聚類(lèi)中心；
[0014]步驟七，針對(duì)每組動(dòng)作，采用每個(gè)動(dòng)作所屬聚類(lèi)中心構(gòu)建行為特征單詞表，并對(duì)每組動(dòng)作進(jìn)行數(shù)據(jù)清理準(zhǔn)備；
[0015]步驟八，構(gòu)建人體行為條件隨機(jī)場(chǎng)模型，訓(xùn)練樣本，得到人體行為識(shí)別模型；
[0016]步驟九，對(duì)新樣本進(jìn)行識(shí)別。
[0017]上述技術(shù)方案中，步驟二中將所述人體3D關(guān)節(jié)坐標(biāo)數(shù)據(jù)歸一化包括骨架肢體矢量尺寸歸一、骨架參考零點(diǎn)歸一和骨架方向歸一。
[0018]其中所述骨架肢體矢量尺寸歸一的步驟包括:
[0019]a)選擇一個(gè)人體3D關(guān)節(jié)坐標(biāo)為標(biāo)準(zhǔn)模型；
[0020]b)保持各樣本肢體段矢量方向不變，將各矢量縮放至標(biāo)準(zhǔn)模型長(zhǎng)度；
[0021]c)以臀部中心為參考點(diǎn)，構(gòu)造關(guān)節(jié)樹(shù)，根據(jù)縮放長(zhǎng)度移動(dòng)各關(guān)節(jié)，移動(dòng)矢量為:
M = MZ這里Adfi是當(dāng)前節(jié)點(diǎn)的第fi個(gè)祖先的移動(dòng)矢量，η為當(dāng)前節(jié)點(diǎn)的祖先個(gè)數(shù)。
[0022]其中所述骨架參考零點(diǎn)歸一的步驟包括:以臀部中心為新坐標(biāo)參考空間零點(diǎn)O'，移動(dòng)骨架。
[0023]其中所述骨架方向歸一的步驟包括:
[0024]a)選擇原坐標(biāo)系X軸，使其與左臀到右臀的矢量平行，以新坐標(biāo)參考空間
零點(diǎn)O'為臀部中心構(gòu)建直線垂直于新的地面參考平面，得到新坐標(biāo)參考空間Z軸；
[0025]b)旋轉(zhuǎn)骨架，將骨架映射到新的坐標(biāo)參考空間。
[0026]上述技術(shù)方案中，步驟三通過(guò)篩選保留對(duì)人體行為識(shí)別貢獻(xiàn)大的關(guān)節(jié)組，保留的關(guān)節(jié)組包括12個(gè)關(guān)節(jié):頭、左/右手肘、左/右手腕、左/右膝蓋、左/右腳腕、左/右臀、臀部中心。
[0027]上述技術(shù)方案中，步驟四通過(guò)AP算法構(gòu)建興趣關(guān)節(jié)群的步驟為:
[0028]a)計(jì)算相鄰幀各個(gè)關(guān)節(jié)的運(yùn)動(dòng)距離，設(shè)在相鄰幀(i幀，i+Ι幀)中某關(guān)節(jié)的坐標(biāo)分力丨」為:(xik，Yik，Zik)，(Xi+1, k，Yi+1, k，Zi+1, k)，則?動(dòng)距尚為:
【權(quán)利要求】
1.基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于，包括下列步驟: 步驟一，針對(duì)每幀圖像的深度信息，采用Shotton提出的基于隨機(jī)決策森林分類(lèi)器的單像素物體識(shí)別方法確認(rèn)人體部位并進(jìn)一步獲取人體3D關(guān)節(jié)坐標(biāo)；步驟二，將所述人體3D關(guān)節(jié)坐標(biāo)數(shù)據(jù)歸一化；步驟三，篩選人體關(guān)節(jié)，過(guò)濾對(duì)人體行為識(shí)別貢獻(xiàn)低的關(guān)節(jié)或冗余關(guān)節(jié)； 步驟四，分析每類(lèi)行為，基于AP聚類(lèi)算法，統(tǒng)計(jì)每一類(lèi)行為中，關(guān)節(jié)空間運(yùn)動(dòng)行程突出的關(guān)節(jié)點(diǎn)，構(gòu)建興趣關(guān)節(jié)群；步驟五，針對(duì)每類(lèi)行為，基于興趣關(guān)節(jié)群，計(jì)算每個(gè)動(dòng)作的3D高斯空間特征； 步驟六，采用AP聚類(lèi)算法，構(gòu)建高斯距離核，將投影到人體動(dòng)作空間的3D高斯空間特征聚為η組動(dòng)作分類(lèi)，并獲取代表每組動(dòng)作的聚類(lèi)中心； 步驟七，針對(duì)每組動(dòng)作，采用每個(gè)動(dòng)作所屬聚類(lèi)中心構(gòu)建行為特征單詞表，并對(duì)每組動(dòng)作進(jìn)行數(shù)據(jù)清理準(zhǔn)備；步驟八，構(gòu)建人體行為條件隨機(jī)場(chǎng)模型，訓(xùn)練樣本，得到人體行為識(shí)別模型；步驟九，對(duì)新樣本進(jìn)行識(shí)別。
2.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟二中將所述人體3D關(guān)節(jié)坐標(biāo)數(shù)據(jù)歸一化包括骨架肢體矢量尺寸歸一、骨架參考零點(diǎn)歸一和骨架方向歸一；其中所述骨架肢體矢量尺寸歸一的步驟包括:a)選擇一個(gè)人體3D關(guān)節(jié)坐標(biāo)為標(biāo)準(zhǔn)模型；b)保持各樣本肢體段矢量方向不變，將各矢量縮放至標(biāo)準(zhǔn)模型長(zhǎng)度；c)以臀部中心為參考點(diǎn)，構(gòu)造關(guān)節(jié)樹(shù)，根據(jù)縮放長(zhǎng)度移動(dòng)各關(guān)節(jié)，移動(dòng)矢量為:
3.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟三通過(guò)篩選保留對(duì)人體行為識(shí)別貢獻(xiàn)大的關(guān)節(jié)組，保留的關(guān)節(jié)組包括12個(gè)關(guān)節(jié):頭、左/右手肘、左/右手腕、左/右膝蓋、左/右腳腕、左/右臀、臀部中心。
4.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟四通過(guò)AP算法構(gòu)建興趣關(guān)節(jié)群的步驟為: a)計(jì)算相鄰幀各個(gè)關(guān)節(jié)的運(yùn)動(dòng)距離，設(shè)在相鄰幀(i幀，i+Ι幀)中某關(guān)節(jié)的坐標(biāo)分別為
5.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟五中每個(gè)動(dòng)作的3D高斯空間特征的計(jì)算過(guò)程為:a)將3D空間劃分為mXnXl(m，n，Ie Z)個(gè)子空間，每個(gè)關(guān)節(jié)必在一個(gè)子空間內(nèi)； b)計(jì)算除臀部中心外的其余11個(gè)關(guān)節(jié)的子空間高斯密度: (1)對(duì)每個(gè)關(guān)節(jié)，計(jì)算其子空間高斯密度，
6.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟六中高斯距離核的構(gòu)造方法為
7.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟六中人體動(dòng)作空間的3D高斯空間特征聚類(lèi)方法為: a)采用上述高斯距離核，計(jì)算各組動(dòng)作高斯密度特征相似度s(X, y)；b)針對(duì)大數(shù)量矩陣,令
8.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟七中行為特征單詞表的構(gòu)造方法為: a)替換原動(dòng)作序列所有樣本為其所屬樣本中心動(dòng)作，得到一組視覺(jué)單詞串； b)清理每個(gè)行為樣本視覺(jué)單詞串，刪除連續(xù)重復(fù)的單詞，以減少不同樣本間時(shí)間偏移造成的影響，得到行為特征單詞表。
9.根據(jù)權(quán)利要求1所述的基于圖像深度信息的3D高斯空間人體行為識(shí)別方法，其特征在于:所述步驟八得到的人體行為識(shí)別模型采用PSS進(jìn)行優(yōu)化:minef ( θ) = -1ogpθ (Y|X)+r(θ),這里
【文檔編號(hào)】G06K9/62GK103810496SQ201410009445
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2014年1月9日 優(yōu)先權(quán)日:2014年1月9日
【發(fā)明者】蔣敏, 孔軍, 唐曉微, 姜克, 鄭憲成 申請(qǐng)人:江南大學(xué)