一種基于圖核的人體行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及一種基于圖核的人體行為識(shí)別（Human ActionRecognition)方法。
【背景技術(shù)】
[0002] 作為計(jì)算機(jī)視覺(jué)的一個(gè)重要領(lǐng)域，人體行為識(shí)別通過(guò)計(jì)算機(jī)對(duì)視序列進(jìn)行語(yǔ)義上 的描述，讓計(jì)算機(jī)可以像人一樣，能夠自動(dòng)地分析和理解視頻序列中所發(fā)生的讓人感興趣 的行為事件。人體行為識(shí)別技術(shù)迅速發(fā)展，被廣泛地應(yīng)用于視頻監(jiān)控、人機(jī)交互、視頻檢索 和病患監(jiān)護(hù)等領(lǐng)域。
[0003] 當(dāng)前主流的人體行為識(shí)別方法大多用局部特征對(duì)人體行為進(jìn)行表示，這類表示方 法主要是通過(guò)視覺(jué)詞包模型（BagofVisualWords)或費(fèi)舍爾向量（FisherVector)實(shí)現(xiàn) 的。首先從視頻序列中提取一系列的具有顯著性運(yùn)動(dòng)變化的時(shí)空興趣點(diǎn)；然后為每一個(gè)時(shí) 空興趣點(diǎn)構(gòu)建一個(gè)具有表達(dá)力的顯著性局部時(shí)空特征，例如3DH〇G特征和3DSITF特征；接 下來(lái)對(duì)得到的局部時(shí)空特征進(jìn)行聚類以產(chǎn)生視覺(jué)詞典，并統(tǒng)計(jì)局部時(shí)空特征關(guān)于視覺(jué)詞典 的零階或高階信息，產(chǎn)生一種長(zhǎng)向量式的整體特征來(lái)描述人體行為。人體行為的分類則是 將得到的人行為整體特征導(dǎo)入分類器中，如支持向量機(jī)（SVM)。利用一部分訓(xùn)練數(shù)據(jù)對(duì)分類 器進(jìn)行訓(xùn)練，學(xué)習(xí)每一個(gè)行為類別的模型，然后利用該分類器對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類。
[0004] 這種基于視覺(jué)詞包模型或費(fèi)舍爾向量的方法通過(guò)統(tǒng)計(jì)局部特征本身的信息，能夠 很大程度上保留局部特征本身的判別力，并且對(duì)噪聲、光照變化、遮擋等具有較強(qiáng)的魯棒 性。同時(shí)這種方法能夠產(chǎn)生一種向量式的人體行為表示特征，能夠有效地利用傳統(tǒng)的基于 統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法，進(jìn)行人體行為的分類。但是這種方法容易忽略局部特征之間的時(shí)空 分布信息。局部特征之間的時(shí)空分布信息的缺失，會(huì)從某種程度上影響人體行為識(shí)別的性 能。

【發(fā)明內(nèi)容】

[0005](一）要解決的技術(shù)問(wèn)題
[0006] 本發(fā)明的目的在于，提出一種基于圖核的人體行為識(shí)別方法，能夠有效地利用局 部特征之間的時(shí)空分布關(guān)系，進(jìn)行人體行為識(shí)別。
[0007](二）技術(shù)方案
[0008] 本發(fā)明提供一種基于圖核的人體行為識(shí)別方法，包括：
[0009]S1，從包含人體行為的視頻序列中提取局部特征，依據(jù)局部特征之間的時(shí)空關(guān)系， 構(gòu)建視頻共生圖和視頻因果圖；
[0010]S2，度量多個(gè)視頻序列中所頻共生圖之間的相似性以及視頻因果圖之間的相似 性；
[0011]S3,將視頻共生圖之間的相似性以及視頻因果圖之間的相似度累加，得到視頻序 列相似度，根據(jù)視頻序列相似度訓(xùn)練支持向量機(jī)，根據(jù)支持向量機(jī)識(shí)別待測(cè)視頻序列中的 人體行為。
[0012] (三）有益效果
[0013] 本發(fā)明提供的基于圖核的人體行為識(shí)別方法，通過(guò)構(gòu)建視頻共生圖和視頻因果圖 對(duì)人體行為進(jìn)行表示，不需要為局部特征構(gòu)建視覺(jué)詞典，就能夠保留局部特征本身的全部 信息，同時(shí)能夠充分利用局部特征之間的時(shí)空分布關(guān)系。另外，以圖核來(lái)度量圖與圖之間的 相似性，將這種圖表示的人體行為表示與傳統(tǒng)的基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法連接起來(lái)，使之 能夠有效地進(jìn)行人體行為識(shí)別。
【附圖說(shuō)明】
[0014] 圖1是本發(fā)明實(shí)施例提供的基于圖核的人體行為識(shí)別方法的流程圖。
[0015] 圖2是本發(fā)明實(shí)施例中視頻共生圖和視頻因果圖的示意圖。
【具體實(shí)施方式】
[0016] 本發(fā)明提供一種基于圖核的人體行為識(shí)別方法，根據(jù)視頻序列中局部特征之間的 時(shí)空關(guān)系，構(gòu)建視頻共生圖和視頻因果圖，度量多個(gè)視頻序列中所頻共生圖之間的相似性 以及視頻因果圖之間的相似性，將視頻共生圖之間的相似性以及視頻因果圖之間的相似度 累加，得到視頻序列相似度，根據(jù)視頻序列相似度訓(xùn)練支持向量機(jī)（SVM)，根據(jù)支持向量機(jī) 識(shí)別待測(cè)視頻序列中的人體行為。本發(fā)明能夠有效地利用局部特征之間的時(shí)空分布關(guān)系， 進(jìn)行人體行為識(shí)別。
[0017] 在一種實(shí)施方式中，構(gòu)建視頻共生圖和視頻因果圖具體包括，檢測(cè)視頻序列的時(shí) 空興趣點(diǎn)，并記錄時(shí)空興趣點(diǎn)的時(shí)空位置，然后計(jì)算不同興趣點(diǎn)之間的空間分布關(guān)系，根據(jù) 時(shí)空興趣點(diǎn)周圍鄰域的三維梯度信息，構(gòu)建3DSIFT特征，以3DSIFT特征作為頂點(diǎn)，以同一 視頻序列中時(shí)空興趣點(diǎn)的空間分布關(guān)系作為邊，構(gòu)建視頻共生圖，以3DSIFT特征作為頂 點(diǎn)，以相鄰視頻序列之間的空間分布關(guān)系作為邊，構(gòu)建視頻因果圖。
[0018] 在一種實(shí)施方式中，分別構(gòu)建基于上下文信息的隨機(jī)游走圖核和基于樹(shù)狀模式的 圖匹配核，通過(guò)隨機(jī)游走圖核及圖匹配核進(jìn)行相似性度量。
[0019] 在一種實(shí)施方式中，構(gòu)建基于上下文信息的隨機(jī)游走圖核包括，根據(jù)頂點(diǎn)核函數(shù) 和邊核函數(shù)分別測(cè)量?jī)蓚€(gè)圖中頂點(diǎn)之間的相似性和邊之間的相似性；計(jì)算頂點(diǎn)位置信息， 構(gòu)建圖的上下文信息矩陣；構(gòu)建兩個(gè)圖的直積圖，利用兩個(gè)圖的頂點(diǎn)相似性和邊相似性來(lái) 計(jì)算直積圖的頂點(diǎn)權(quán)重和邊緣權(quán)重，然后用直積圖的頂點(diǎn)權(quán)重、邊權(quán)重和兩個(gè)圖的上下文 信息矩陣得到直積圖的基于上下文信息的權(quán)重矩陣；對(duì)直積圖的基于上下文信息的權(quán)重矩 陣內(nèi)的元素進(jìn)行累加求和，得到基于上下文信息的不同階次的隨機(jī)游走圖核。
[0020] 在一種實(shí)施方式中，構(gòu)建所述基于樹(shù)狀模式的圖匹配核包括，根據(jù)頂點(diǎn)核函數(shù)和 邊核函數(shù)分別測(cè)量?jī)蓚€(gè)圖的頂點(diǎn)之間的相似性和邊之間的相似性；根據(jù)頂點(diǎn)相似性和邊相 似性，利用動(dòng)態(tài)規(guī)劃算法，遞歸計(jì)算樹(shù)狀模式之間的相似性；根據(jù)樹(shù)狀模式之間的相似性和 位置分布關(guān)系，設(shè)計(jì)帶稀疏項(xiàng)的二次能量函數(shù)，并通過(guò)求解二次能量函數(shù)來(lái)選擇兩個(gè)圖中 正確匹配的樹(shù)狀模式；將兩個(gè)圖中正確匹配的樹(shù)狀模式之間的相似性進(jìn)行累加，得到樹(shù)狀 模式圖匹配核。
[0021] 在一種實(shí)施方式中，當(dāng)圖核采用基于上下文信息的隨機(jī)游走圖核時(shí)，在訓(xùn)練支持 向量機(jī)時(shí)，采用泛化多核學(xué)習(xí)算法學(xué)習(xí)不同階次的隨機(jī)游走圖核的權(quán)重，并學(xué)習(xí)不同行為 類別的模型，采用極小化極大值的算法來(lái)迭代求解核函數(shù)的權(quán)重和所述支持向量機(jī)的拉格 朗日乘子。
[0022] 在一種實(shí)施方式中，當(dāng)圖核采用樹(shù)狀模式圖匹配核時(shí)，在訓(xùn)練支持向量機(jī)時(shí)，直接 通過(guò)視頻序列相似度訓(xùn)練所述支持向量機(jī)。
[0023] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0024] 圖1是本發(fā)明一實(shí)施例提供的基于圖核的人體行為識(shí)別方法的流程圖，如圖1所 示，方法包括：
[0025] S1，從包含人體行為的視頻序列中提取局部特征，依據(jù)局部特征之間的時(shí)空關(guān)系， 構(gòu)建視頻共生圖和視頻因果圖，通過(guò)視頻共生圖和視頻因果圖來(lái)描述一個(gè)視頻序列，不需 要為局部特征構(gòu)建視覺(jué)詞典，就能夠保留局部特征本身的全部信息，同時(shí)能夠充分利用局 部特征之間的時(shí)空分布關(guān)系。
[0026]本實(shí)施例在構(gòu)建視頻共生圖和視頻因果圖時(shí)，采用可線性分離的濾波器對(duì)視頻 序列進(jìn)行濾波，該濾波器在空間維上采用二維高斯濾波器進(jìn)行濾波，在時(shí)間維上采用一維 Gabor濾波器進(jìn)行濾波，并以濾波器響應(yīng)的局部極大值作為時(shí)空興趣點(diǎn)，對(duì)于每一個(gè)時(shí)空興 趣點(diǎn)，從其局部時(shí)空鄰域中提取3DSIFT特征。以局部特征作為頂點(diǎn)，以同幀的局部特征的 時(shí)空分布關(guān)系作為邊構(gòu)建視頻共生圖；以局部特征作為頂點(diǎn)，以相鄰幀間的局部特征的時(shí) 空關(guān)系為邊構(gòu)建視頻因果圖，如圖2所示。視頻共生圖和視頻因果圖的連接矩陣At和八1可 以分別表不為：
[0027]
[0030]其中，（Xi,yi,tj為第i個(gè)時(shí)空興趣點(diǎn)的時(shí)空位置向量，et和e$空間域上的兩 個(gè)閾值。視頻共生圖和視頻因果圖的頂點(diǎn)的屬性為3DSIFT特征描述子向量，其邊的屬性為 兩個(gè)頂點(diǎn)的相對(duì)空間位置信息。
[0031] S2,分別構(gòu)建基于上下文信息的隨機(jī)游走圖核和基于樹(shù)狀模式的圖匹配核，通過(guò) 隨機(jī)游走圖核及圖匹配核，度量多個(gè)視頻序列中視頻共生圖之間的相似性以及視頻因果圖 之間的相似度，以圖核來(lái)度量圖與圖之間的相似性，將這種圖表示的人體行為表示與傳統(tǒng) 的基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法連接起來(lái)，使之能夠有效地進(jìn)行人體行為識(shí)別。
[0032]本實(shí)施例在構(gòu)建基于上下文信息的隨機(jī)游走圖核時(shí)，根據(jù)頂點(diǎn)核函數(shù) <和邊核函 數(shù)分別測(cè)量?jī)蓚€(gè)頂點(diǎn)之間的相似性和兩條邊之間的相似性，其中，這兩種核函數(shù)分別具 有如下形式：
[0033]
[0034] 和
[0035]
[0036] 其屮，
[0037]d和d'分別為頂點(diǎn)v和V'對(duì)應(yīng)的局部特征描述子向量；
[0038] 〇為尺度變量；
[0039] ed為距離閾值；
[0040]attribute(e)表示邊e的屬性值；
[0041] 然后計(jì)算頂點(diǎn)的上下文信息矩陣，其中，第i個(gè)頂點(diǎn)Vi的上下文信息c(i)定義為 在時(shí)空中距離該點(diǎn)最近的m個(gè)頂點(diǎn)；為了比較兩個(gè)圖的相似性，構(gòu)建兩個(gè)圖的直積圖，并計(jì) 算直積圖基于上下文信息的權(quán)重矩陣。給定兩個(gè)圖G=(V，E)和G'=(V'，E')，其中V 和V'分別為兩個(gè)圖的頂點(diǎn)集合，E和E'為這兩個(gè)圖的邊集合。它們的直積圖表可以示為GP =(VP，EP