1.一種基于骨骼關(guān)節(jié)特征和表面特征融合的人體行為識(shí)別方法,包括以下步驟:
步驟1:獲取局部深度關(guān)節(jié)特征:采用人體骨骼關(guān)節(jié)特征來(lái)構(gòu)建人類(lèi)活動(dòng)的局部變化模型;
步驟1.1:獲取深度視頻序列:采用Kinect傳感器獲得帶有深度信息的視頻序列;
步驟1.2:捕捉骨骼并計(jì)算關(guān)節(jié)之間的距離:采用骨骼跟蹤器檢測(cè)所述深度視頻序列中每一幀的關(guān)節(jié)數(shù)量并計(jì)算關(guān)節(jié)之間的距離,這些距離信息構(gòu)成多維向量1;
步驟1.3:獲取關(guān)節(jié)周?chē)狞c(diǎn)云數(shù)量:從所述深度視頻序列的每一幀中獲得3D點(diǎn)云,定位每個(gè)關(guān)節(jié)在點(diǎn)云中的位置,然后圍繞關(guān)節(jié)獲得方形區(qū)域,最后把方形區(qū)域劃分為小的區(qū)域,計(jì)算每個(gè)小區(qū)域中存在的點(diǎn)云數(shù)量,構(gòu)成新的向量2;
步驟1.4:量化關(guān)節(jié)局部特征:將所述深度視頻序列中的每一幀的向量1和向量2進(jìn)行組合,這些組合共同表示出人體行為的局部特征;
步驟2:獲取全局深度表面特征:采用4D空間的法向量分布來(lái)構(gòu)建人類(lèi)活動(dòng)的全局變化模型;
步驟2.1:獲取表面地圖:由Kinect獲取帶有深度信息的視頻序列,每一個(gè)視頻都有T幀圖片序列,每一張圖片都是帶有深度信息的3D點(diǎn)云圖像;
步驟2.2:計(jì)算全局表面特征:在每一幀的3D點(diǎn)云圖像的基礎(chǔ)上增加時(shí)間軸構(gòu)成4D空間,之后將4D空間分成不同的區(qū)域,在每個(gè)區(qū)域中都計(jì)算相應(yīng)的法向量,用4D空間的法向量分布來(lái)表明人體運(yùn)動(dòng)的全局特性;
步驟2.3:量化全局表面特征:通過(guò)對(duì)4D空間中的每個(gè)法向量和每個(gè)封閉型4D圖形上的點(diǎn)進(jìn)行內(nèi)積計(jì)算后,量化相應(yīng)區(qū)域的數(shù)據(jù),構(gòu)成全局表面特征直方圖;
步驟3:訓(xùn)練與融合:為整個(gè)序列收集上述局部深度關(guān)節(jié)特征和全局深度表面特征,并分別對(duì)收集到的上述局部深度關(guān)節(jié)特征和全局深度表面特征進(jìn)行訓(xùn)練SVM模型,得到相應(yīng)局部深度關(guān)節(jié)特征和全局深度表面特征所對(duì)應(yīng)標(biāo)簽的后驗(yàn)概率,然后基于條件概率的最大化將上述兩種特征融合成為一套統(tǒng)一框架。