)，其中VP和EP分別為直積圖的頂點(diǎn)集合和邊緣集合。我們定義ViGV，v't 分別為兩個(gè)圖G和G'的頂點(diǎn)，（Vi，Vj)GE，（v' s)GE'為兩個(gè)圖G和G'的邊，則 Vp，Ep分別具有如下形式：
[0042] VP={(vi,vrr)|viGV,vrrGVr ,kv(Vi，vrr) > 0}
[0043] 和
[0044]EP={((vi,vrr),(vj,vrs))|(Vi，Vj)GE, (vrr,vrs)GEr ,
[0045] ke((Vi，Vj), (vrr,vrs)) > 0}
[0046] 同時(shí)，計(jì)算直積圖的頂點(diǎn)權(quán)重矩陣Wv (ir,ir) =kv (Vi,v'J和邊權(quán)重矩 陣1辦，?=匕（('，乃)，（？r，v's))，由此可以得到直積圖的n-階權(quán)重矩陣 140 = ，另一方面，計(jì)算直積圖的上下文矩陣CP可以表示為：
[0047]
[0048] 那么直積圖的基于上下文信息的權(quán)重矩陣可以表示為
[0049]
[0050] 其中k是一個(gè)常量，表示頂點(diǎn)的上下文信息在權(quán)重矩陣中重要程度；
[0051]對(duì)直積圖的基于上下文信息的權(quán)重矩陣VI/品,進(jìn)行累加求和，得到n-階基于上下 文信息的隨機(jī)游走圖核：
[0052]
[0053] 兩個(gè)圖之間最終的基于上下文信息的隨機(jī)游走圖核表示為不同階次的fcg的線性 加權(quán)：
[0054]
[0055] 本實(shí)施例在構(gòu)建樹狀模式圖匹配核時(shí)，首先根據(jù)頂點(diǎn)核函數(shù)kv和邊核函數(shù)ke分別 測(cè)量?jī)蓚€(gè)頂點(diǎn)之間的相似性和兩條邊之間的相似性，這部分與構(gòu)建基于上下文信息的隨機(jī) 游走圖核時(shí)一致，在此就不再贅述；然后計(jì)算兩個(gè)圖G=(V，E)和G'=(V'，E')中任意 一對(duì)頂點(diǎn)對(duì)的入射鄰域匹配集r(v，v')和出射鄰域匹配集M+(v，v')，它們分別表示為：
[0056]
[0059]其中，5 1v) ={uGV| (u,v)GE}為圖G中頂點(diǎn)v的入射鄰域，8 + (v)={ueV| (v，u)eE}為頂點(diǎn)v的出射鄰域；采用一種動(dòng)態(tài)規(guī)劃的算法來(lái)遞歸的計(jì)算不同高 度的具有相同根頂點(diǎn)入射樹狀模式之間的核函數(shù)和不同高度的具有相同根頂 點(diǎn)的出射樹狀模式之間的核函數(shù)V)，這兩種表示為
[0063] 其中，y和A為控制樹狀模式結(jié)構(gòu)復(fù)雜性的權(quán)重。
[0064] 通過(guò)求解一個(gè)帶稀疏項(xiàng)的二次能量函數(shù)來(lái)計(jì)算樹狀模式之間的匹配程度。樹狀模 式之間一階相似性表示為：
[0065]
[0066] 二階空間相容性表示為：
[0067]
[0068] 其中f(v,u,v'，u')為描述兩對(duì)頂點(diǎn)（v,u)和（V'，u')空間位置關(guān)系的函 數(shù)，用dvu，v,u，表示它們的相對(duì)距離，0VU，V,u，表示角度差異，f(v，u，v'，u')可以表示為：
[0069]
[0070] 基于此，二次能量函數(shù)可以表示為：
[0071]
[0072] 通過(guò)真實(shí)區(qū)域反射算法可以對(duì)上述目標(biāo)函數(shù)進(jìn)行有效求解。
[0073] 兩個(gè)圖之間的最終的樹狀模式圖匹配核通過(guò)以下公式進(jìn)行計(jì)算：
[0074]
[0075]S3,將視頻共生圖之間的相似性以及所述視頻因果圖之間的相似度累加，得到視 頻序列相似度，根據(jù)視頻序列相似度訓(xùn)練支持向量機(jī)，根據(jù)支持向量機(jī)識(shí)別待測(cè)視頻序列 中的人體行為。
[0076] 本實(shí)施例對(duì)于兩段視頻序列S= {G^GJ和S' = {G't，G'J，其中Gt和G'肩 示兩段視頻的共生圖，GjPG'廣示兩段視頻的因果圖，他們之間的相似性k(S，S')可 以通過(guò)步驟S2中的圖核匕進(jìn)行計(jì)算
[0077]k(S,S, )=kg(Gt,G,t)+kg(G1,G,x)
[0078] 當(dāng)圖核采用基于上下文信息的隨機(jī)游走圖核時(shí)，采用泛化多核學(xué)習(xí)算法學(xué)習(xí)不同 階次的隨機(jī)游走圖核的權(quán)重，并學(xué)習(xí)不同行為類別的模型。泛化多核學(xué)習(xí)的對(duì)偶形式如下
[0079]
[0080]
[0081] s.t.lTYa=〇, 〇 ^a^C1；A^ 0
[0082] 其中，
[0083]
[0084] 為正則項(xiàng)表達(dá)式，以上目標(biāo)函數(shù)采用極小化極大值的算法來(lái)迭代求解核函數(shù)的權(quán) 重A和支持向量機(jī)的拉格朗日乘子a。最后根據(jù)以上求得的SVM分類器對(duì)測(cè)試視頻進(jìn)行 分類。
[0085]當(dāng)圖核采用樹狀模式圖匹配核時(shí)，直接將視頻的相似性矩陣導(dǎo)入支持向量機(jī)，支 持向量機(jī)的對(duì)偶形式可以表示為：
[0086]
[0087] s.t.PYa= 〇, 〇 彡a彡Q，A彡 〇
[0088] 可以通過(guò)任意一種SVM求解器進(jìn)行求解。最后根據(jù)所求得的SVM分類器對(duì)測(cè)試視 頻進(jìn)行分類識(shí)別。
[0089] 以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳 細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保 護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于圖核的人體行為識(shí)別方法，其特征在于，包括： Sl，從包含人體行為的視頻序列中提取局部特征，依據(jù)所述局部特征之間的時(shí)空關(guān)系， 構(gòu)建視頻共生圖和視頻因果圖； 52, 度量多個(gè)視頻序列中所述視頻共生圖之間的相似性以及所述視頻因果圖之間的相 似度； 53, 將所述視頻共生圖之間的相似性以及所述視頻因果圖之間的相似度累加，得到視 頻序列相似度，根據(jù)所述視頻序列相似度訓(xùn)練支持向量機(jī)，根據(jù)所述支持向量機(jī)識(shí)別待測(cè) 視頻序列中的人體行為。2. 根據(jù)權(quán)利要求1所述的人體行為識(shí)別方法，其特征在于，所述步驟Sl包括： S11，檢測(cè)所述視頻序列的時(shí)空興趣點(diǎn)，并記錄所述時(shí)空興趣點(diǎn)的時(shí)空位置，然后計(jì)算 不同興趣點(diǎn)之間的空間分布關(guān)系； 512, 根據(jù)所述時(shí)空興趣點(diǎn)周圍鄰域的三維梯度信息，構(gòu)建3DSIFT特征； 513, 以所述3DSIFT特征作為頂點(diǎn)，以同一視頻序列中時(shí)空興趣點(diǎn)的空間分布關(guān)系作 為邊，構(gòu)建視頻共生圖，以所述3DSIFT特征作為頂點(diǎn)，以相鄰視頻序列之間的空間分布關(guān) 系作為邊，構(gòu)建視頻因果圖。3. 根據(jù)權(quán)利要求1所述的人體行為識(shí)別方法，其特征在于，在所述步驟S2中，分別構(gòu)建 基于上下文信息的隨機(jī)游走圖核和基于樹狀模式的圖匹配核，通過(guò)所述隨機(jī)游走圖核及所 述圖匹配核進(jìn)行相似性度量。4. 根據(jù)權(quán)利要求3所述的人體行為識(shí)別方法，其特征在于，構(gòu)建所述基于上下文信息 的隨機(jī)游走圖核包括： S211，根據(jù)頂點(diǎn)核函數(shù)和邊核函數(shù)分別測(cè)量?jī)蓚€(gè)圖中頂點(diǎn)之間的相似性和邊之間的相 似性； 5212, 計(jì)算頂點(diǎn)位置信息，構(gòu)建圖的上下文信息矩陣； 5213, 構(gòu)建兩個(gè)圖的直積圖，利用兩個(gè)圖的頂點(diǎn)相似性和邊相似性來(lái)計(jì)算直積圖的頂 點(diǎn)權(quán)重和邊緣權(quán)重，然后用直積圖的頂點(diǎn)權(quán)重、邊權(quán)重和兩個(gè)圖的上下文信息矩陣得到直 積圖的基于上下文信息的權(quán)重矩陣； 5214, 對(duì)直積圖的基于上下文信息的權(quán)重矩陣內(nèi)的元素進(jìn)行累加求和，得到基于上下 文信息的不同階次的隨機(jī)游走圖核。5. 根據(jù)權(quán)利要求3所述的人體行為識(shí)別方法，其特征在于，構(gòu)建所述基于樹狀模式的 圖匹配核包括： S221，根據(jù)頂點(diǎn)核函數(shù)和邊核函數(shù)分別測(cè)量?jī)蓚€(gè)圖的頂點(diǎn)之間的相似性和邊之間的相 似性； 5222, 根據(jù)所述頂點(diǎn)相似性和邊相似性，利用動(dòng)態(tài)規(guī)劃算法，遞歸計(jì)算樹狀模式之間的 相似性； 5223, 根據(jù)樹狀模式之間的相似性和位置分布關(guān)系，設(shè)計(jì)帶稀疏項(xiàng)的二次能量函數(shù)，并 通過(guò)求解所述二次能量函數(shù)來(lái)選擇兩個(gè)圖中正確匹配的樹狀模式； 5224, 將兩個(gè)圖中正確匹配的樹狀模式之間的相似性進(jìn)行累加，得到樹狀模式圖匹配 核。6. 根據(jù)權(quán)利要求4所述的人體行為識(shí)別方法，其特征在于，當(dāng)圖核采用基于上下文信 息的隨機(jī)游走圖核時(shí)，在所述步驟S3中，采用泛化多核學(xué)習(xí)算法學(xué)習(xí)不同階次的隨機(jī)游走 圖核的權(quán)重，并學(xué)習(xí)不同行為類別的模型，采用極小化極大值的算法來(lái)迭代求解核函數(shù)的 權(quán)重和所述支持向量機(jī)的拉格朗日乘子。7.根據(jù)權(quán)利要求5所述的人體行為識(shí)別方法，其特征在于，當(dāng)圖核采用樹狀模式圖匹 配核時(shí)，在所述步驟S3中，直接通過(guò)視頻序列相似度訓(xùn)練所述支持向量機(jī)。
【專利摘要】本發(fā)明公開了一種基于圖核的人體行為識(shí)別方法，根據(jù)視頻序列中局部特征之間的時(shí)空關(guān)系，構(gòu)建視頻共生圖和視頻因果圖，度量多個(gè)視頻序列中所頻共生圖之間的相似性以及視頻因果圖之間的相似性，將視頻共生圖之間的相似性以及視頻因果圖之間的相似度累加，得到視頻序列相似度，根據(jù)視頻序列相似度訓(xùn)練支持向量機(jī)，根據(jù)支持向量機(jī)識(shí)別待測(cè)視頻序列中的人體行為。本發(fā)明能夠有效地利用局部特征之間的時(shí)空分布關(guān)系，進(jìn)行人體行為識(shí)別。
【IPC分類】G06K9/00
【公開號(hào)】CN104992168
【申請(qǐng)?zhí)枴緾N201510451096
【發(fā)明人】胡衛(wèi)明, 吳保鑫, 原春鋒
【申請(qǐng)人】中國(guó)科學(xué)院自動(dòng)化研究所
【公開日】2015年10月21日
【申請(qǐng)日】2015年7月28日