一種用于視頻分析的人機(jī)交互主題動(dòng)作挖掘方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于視頻分析的人機(jī)交互主題動(dòng)作挖掘方法，屬于圖像處理技術(shù) 領(lǐng)域。
【背景技術(shù)】
[0002] 最近幾年，網(wǎng)絡(luò)的日趨流行，更多的視頻片段信息呈現(xiàn)出來(lái)。相比于文字，視頻中 有更多的信息，也更難以人為主觀的加以區(qū)分和概括。用戶如何能根據(jù)自身的主觀意圖去 挖掘視頻中的內(nèi)在信息，是視頻動(dòng)作挖掘的主要難點(diǎn)。
[0003] 已有技術(shù)中，文獻(xiàn)[Interest point detection and scale selection in space-time, Ivan Laptev and Tony Lindeberg]使用時(shí)空興趣點(diǎn)特征描述子來(lái)檢測(cè)視頻 中運(yùn)動(dòng)劇烈部分，在動(dòng)作識(shí)別中得到了較為廣泛的應(yīng)用，并結(jié)合詞袋模型取得了較好的效 果。該方法并不依賴于預(yù)處理過(guò)程，識(shí)別過(guò)程對(duì)于噪聲、背景混亂和光照的改變都具有較好 的魯棒性，但所識(shí)別的動(dòng)作很難滿足不同主觀性。已有技術(shù)中，文獻(xiàn)[User-driven topic modeling based on interactive nonnegative matrix factorization, Choo J，Lee C，Reddy C K，et al. UTOPIAN]公開(kāi)了一種利用非負(fù)矩陣分解方法，通過(guò)交互的方式，來(lái)挖 掘文本中的主題摘要文字。對(duì)于文本信息而言，一段文本有明確的主題摘要，但對(duì)于視頻來(lái) 說(shuō)，由于用戶的主觀性，很難找到一個(gè)最為精準(zhǔn)的主題，不同的用戶獲得的主題摘要完全依 賴于自身的主觀意圖。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提出一種用于視頻分析的人機(jī)交互主題動(dòng)作挖掘方法，以針對(duì)人 機(jī)交互用戶的主觀意圖來(lái)挖掘視頻中用戶感興趣的主題動(dòng)作，更具有針對(duì)性和準(zhǔn)確性。
[0005] 本發(fā)明提出的用于視頻分析的人機(jī)交互主題動(dòng)作挖掘方法，包括以下步驟：
[0006] (1)提取待分析視頻序列的特征矩陣V，具體過(guò)程如下：
[0007] (1-1)設(shè)待分析視頻序列為I (X，y，t)，其中X，y為第t幀圖像中的像素點(diǎn)在該圖 像中的坐標(biāo)，對(duì)視頻序列I進(jìn)行1?斯卷積，得到1?斯卷積后的視頻圖像序列L :
【主權(quán)項(xiàng)】
1. 一種用于視頻分析的人機(jī)交互主題動(dòng)作挖掘方法，其特征在于該方法包括以下步 驟： (1)提取待分析視頻序列的特征矩陣V，具體過(guò)程如下： (1-1)設(shè)待分析視頻序列為I(X，y，t)，其中X，y為第t幀圖像中的像素點(diǎn)在該圖像中 的坐標(biāo)，對(duì)視頻序列I進(jìn)行_斯卷積，得到_斯卷積后的視頻圖像序列L:
其中，g(T,)?,/;<，A為時(shí)空高斯平滑濾波器：
其中，Oph分別為高斯平滑濾波器中空間和時(shí)間維度的標(biāo)準(zhǔn)差； (1-2)根據(jù)上述步驟（1-1)的L，按照下式計(jì)算得到待分析視頻序列的時(shí)空二階矩矩陣u
其中"為L(zhǎng)在x方向上的偏導(dǎo)，Ly為L(zhǎng)在y方向上的偏導(dǎo)，Lt為L(zhǎng)在t方向上的偏導(dǎo)； (1-3)利用上述步驟（1-2)得到的時(shí)空二階矩矩陣y，構(gòu)造一個(gè)判別函數(shù)R: R=入i入2入3_k(入入2+入3)2， 其中，入i，入2，入3為時(shí)空二階矩矩陣ii的三個(gè)特征值，k為常數(shù)，取值范圍為0.1~ 10 ； (1-4)計(jì)算上述判別函數(shù)R在時(shí)間和坐標(biāo)上的所有正極大值點(diǎn)，所有正極大值點(diǎn)在待 分析視頻序列中的位置，即為時(shí)空興趣點(diǎn)集合{xk,yk,tk, 〇 k,tk}，k= 1,2,…M,其中,M為 時(shí)空興趣點(diǎn)個(gè)數(shù)； (1-5)提取上述步驟（1-4)的時(shí)空興趣點(diǎn)的特征描述子，具體步驟如下： (1-5-1)在上述時(shí)空興趣點(diǎn)的四周得到一個(gè)長(zhǎng)方體區(qū)域（Ax，Ay，At)，Ax=Ay = 2〇1，At=2Tp〇1，Tl分別為上述高斯平滑濾波器中空間和時(shí)間維度的標(biāo)準(zhǔn)差，對(duì)長(zhǎng)方 體區(qū)域（Ax，Ay，At)進(jìn)行歸一化處理，得到長(zhǎng)方體區(qū)域（Ax，Ay，At)的方向梯度直方圖 HOG描述子和光流直方圖HOF描述子； (1-5-2)將方向梯度直方圖HOG描述子和光流直方圖H0F描述子拼接成為H0G/H0F聯(lián) 合描述子，作為時(shí)空興趣點(diǎn)的特征描述子q; (1-6)重復(fù)上述步驟（1-5)，遍歷時(shí)空興趣點(diǎn)集合{xk，yk，tk，〇k，Tk}中的所有時(shí)空興 趣點(diǎn)，提取特征描述子，得到所有時(shí)空興趣點(diǎn)特征描述子集合Q= [^，q2，…，qd]，其中，d為 特征描述子個(gè)數(shù)； (1-7)利用K-均值方法，對(duì)上述特征描述子集合Q進(jìn)行聚類，得到N個(gè)聚類中心向量， 并得到聚類中心向量矩陣B:B= ，…，BN]; (1-8)根據(jù)步驟（1-6)的時(shí)空興趣點(diǎn)特征描述子和步驟（1-7)的聚類中心向量，按照如 下公式計(jì)算編碼向量ci:
?f于任意i，滿足約束條件IICiI|Q= 1，IIciII1，c0， 得到編碼矩陣CNXd:C=[cc2，…，cd]; (1-9)利用上述編碼矩陣CNXd，得到待分析視頻的特征矩陣V:V=CT，特征矩陣V為dXN的非負(fù)矩陣，其中，CT為編碼矩陣CNXd的轉(zhuǎn)置； (2)利用上述步驟（1)得到的待分析視頻的特征矩陣V，提取待處理視頻中的主題動(dòng) 作，具體步驟如下： (2-1)對(duì)特征矩陣V= [Vl，v2，…，Vi，…，vN]，按照公式進(jìn)行歸一化處理，得到歸 一化后的特征矩陣V' =[v' 1>V'2，…，v'i，…，v'N]，V'為dXN的非負(fù)矩陣，其中，N為 聚類數(shù)，即為待分析視頻聚類后的片段個(gè)數(shù)，d為上述特征描述子個(gè)數(shù)，令V=V' ； (2-2)設(shè)定一個(gè)N維向量m，m= [nii，m2,…，nii,…，mN],N為待分析視頻聚類后的片段個(gè) 數(shù)，定義一個(gè)邊緣權(quán)值矩陣Pw:
其中，Np(mi)為與叫距
離為P的所有點(diǎn)的集合，設(shè)P= 1，得到邊緣權(quán)值矩陣 ，Pw 為NXN的方陣； (2-3)利用上述邊緣權(quán)值矩陣Pw，定義一個(gè)對(duì)角矩陣PD，使A,=LA，PD為NXN的對(duì) 角陣； (2-4)設(shè)非負(fù)矩陣V~WH，其中W為dXr的非負(fù)矩陣，H為rXN的非負(fù)矩陣，d為特征 描述子個(gè)數(shù)，N為待分析視頻聚類后的片段個(gè)數(shù)，r為人機(jī)交互中用戶設(shè)定的主題動(dòng)作數(shù)， 利用非負(fù)矩陣分解法，分別得到非負(fù)矩陣W和非負(fù)矩陣H，具體步驟如下： (2-4-1)初始化非負(fù)矩陣W為一個(gè)dXr的隨機(jī)矩陣，每個(gè)元素值取為0到1之間的隨 機(jī)數(shù)，初始化非負(fù)矩陣H為rXN的隨機(jī)矩陣，每個(gè)元素值取為0到1之間的隨機(jī)數(shù)； (2-4-2)設(shè)定一個(gè)約束系數(shù)入，0<入<50,按照如下迭代規(guī)則分別對(duì)W、H進(jìn)行更新， 得到更新后的非負(fù)矩陣W和H: