識(shí)別視頻中人體行為的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別是涉及一種識(shí)別視頻中人體行為的方法和系 統(tǒng)。
【背景技術(shù)】
[0002] 人體行為識(shí)別是通過(guò)計(jì)算機(jī)視覺(jué)方法判斷和識(shí)別視頻中的人正在進(jìn)行的行為，例 如通過(guò)對(duì)視頻中的人體行為進(jìn)行識(shí)別可以知道視頻中的人是在跑動(dòng)或者散步，視頻表示方 法直接影響人體行為識(shí)別的最終效果。
[0003] 傳統(tǒng)的視頻表示方法主要是基于多種時(shí)空局部特征融合的方法，此類(lèi)方法首先 在視頻中抽取局部時(shí)空長(zhǎng)方體塊，然后在原始幀中提取梯度方向直方圖（Histogramof Gradientorientation,HOG)特征，在光流幀中提取光流梯度方向直方圖（Histogram ofFlowgradientorientation,H0F)特征和運(yùn)動(dòng)邊界直方圖（MotionBoundary Hist〇gram，MBH)特征。而在利用這些不同特征的特征融合階段，常用的有兩種方法。一 種是早期融合法，即所有的特征串聯(lián)形成一個(gè)長(zhǎng)特征進(jìn)行編碼和聚合以形成中層的視頻表 示；另一種是后期融合法，即將單種特征進(jìn)行編碼和聚合形成多個(gè)中層視頻表示方法，然后 將中層表示串聯(lián)或者在單個(gè)特征得到分類(lèi)得分后進(jìn)行加權(quán)融合；最后，將中層視頻表示輸 入至分類(lèi)器進(jìn)行人體行為識(shí)別。
[0004] 傳統(tǒng)方法中，在人體行為識(shí)別中提取局部特征(如HOG、H0F和MBH)雖然考慮了表 觀(guān)和運(yùn)動(dòng)信息，但是這種信息只局限在單幀中，其中幀的上下文表觀(guān)及運(yùn)動(dòng)信息被忽略，這 將導(dǎo)致人體行為識(shí)別不夠精確。

【發(fā)明內(nèi)容】

[0005] 基于此，有必要針對(duì)在視頻中對(duì)人體行為識(shí)別不夠精確問(wèn)題，提供一種能精確對(duì) 視頻中的人體行為進(jìn)行識(shí)別的實(shí)現(xiàn)對(duì)視頻中人體行為識(shí)別的方法。
[0006] 此外還有必要提供一種能精確對(duì)視頻中的人體行為進(jìn)行識(shí)別的實(shí)現(xiàn)對(duì)視頻中人 體行為識(shí)別的系統(tǒng)。
[0007] -種識(shí)別視頻中人體行為的方法，所述方法包括：
[0008] 提取目標(biāo)視頻中的特征點(diǎn)；
[0009] 將所述特征點(diǎn)周?chē)鷷r(shí)間和空間鄰域內(nèi)固定的像素點(diǎn)和所述特征點(diǎn)組成點(diǎn)對(duì)；
[0010] 將所述點(diǎn)對(duì)形成時(shí)空3D共生特征，所述時(shí)空3D共生特征包括3D共生梯度方向直 方圖特征、3D共生光流直方圖特征和3D共生運(yùn)動(dòng)邊界直方圖特征；
[0011] 根據(jù)所述時(shí)空3D共生特征提取所述目標(biāo)視頻表示的多視角超向量；
[0012] 將所述多視角超向量帶入支持向量機(jī)分類(lèi)器中對(duì)所述目標(biāo)視頻中的人體行為進(jìn) 行識(shí)別。
[0013] 在其中一個(gè)實(shí)施例中，所述根據(jù)所述點(diǎn)對(duì)形成時(shí)空3D共生特征的步驟為：
[0014] 對(duì)所述點(diǎn)對(duì)進(jìn)行聯(lián)合量化，并統(tǒng)計(jì)所述點(diǎn)對(duì)的梯度方向的特征得到共生矩陣；
[0015] 將所述共生矩陣輔成向量，并串聯(lián)形成時(shí)空3D共生特征。
[0016] 在其中一個(gè)實(shí)施例中，所述根據(jù)所述時(shí)空3D共生特征提取所述目標(biāo)視頻表示的 多視角超向量的步驟為：
[0017] 對(duì)所述時(shí)空3D共生特征中任意兩種特征分別建立混合典型相關(guān)分析模型；
[0018] 從所述混合典型相關(guān)分析模型中提取作為所述目標(biāo)視頻表示的多視角超向量。
[0019] 在其中一個(gè)實(shí)施例中，所述對(duì)所述時(shí)空3D共生特征中任意兩種特征分別建立混 合典型相關(guān)分析模型的步驟為：
[0020] 將所述時(shí)空3D共生特征中任意兩種特征的空間劃分為多個(gè)局部空間；
[0021] 對(duì)所述多個(gè)局部空間依次建立典型相關(guān)分析模型；
[0022] 根據(jù)所述典型相關(guān)分析模型建立混合典型相關(guān)分析模型。
[0023] 在其中一個(gè)實(shí)施例中，所述從所述混合典型相關(guān)分析模型中提取作為所述目標(biāo)視 頻表示的多視角超向量的步驟為：
[0024] 在所述混合典型相關(guān)分析模型中的局部高斯中提取隱變量，并將所述隱變量拼起 來(lái)得到共享信息的超向量；
[0025] 根據(jù)所述混合典型相關(guān)分析模型求所述3D共生特征的獨(dú)立信息的超向量；
[0026] 將所述獨(dú)立信息的超向量和所述共享信息的超向量串聯(lián)起來(lái)，以得到所述目標(biāo)視 頻表示的多視角超向量。
[0027] -種識(shí)別視頻中人體行為的系統(tǒng)，其特征在于，所述系統(tǒng)包括：
[0028] 特征點(diǎn)提取模塊，用于提取目標(biāo)視頻中的特征點(diǎn)；
[0029] 點(diǎn)對(duì)組成模塊，用于將所述特征點(diǎn)周?chē)鷷r(shí)間和空間鄰域內(nèi)固定的像素點(diǎn)和所述特 征點(diǎn)組成點(diǎn)對(duì)；
[0030] 特征形成模塊，用于將所述點(diǎn)對(duì)形成時(shí)空3D共生特征，所述時(shí)空3D共生特征包括 3D共生梯度方向直方圖特征、3D共生光流直方圖特征和3D共生運(yùn)動(dòng)邊界直方圖特征；
[0031] 超向量提取模塊，用于根據(jù)所述時(shí)空3D共生特征提取所述目標(biāo)視頻表示的多視 角超向量；
[0032] 人體行為識(shí)別模塊，用于將所述多視角超向量帶入支持向量機(jī)分類(lèi)器中對(duì)所述目 標(biāo)視頻中的人體行為進(jìn)行識(shí)別。
[0033] 在其中一個(gè)實(shí)施例中，所述特征形成模塊包括：
[0034]共生矩陣獲取單元，用于對(duì)所述點(diǎn)對(duì)進(jìn)行聯(lián)合量化，并統(tǒng)計(jì)所述點(diǎn)對(duì)的梯度方向 的特征得到共生矩陣；
[0035] 時(shí)空3D共生特征形成單元，用于將所述共生矩陣輔成向量，并串聯(lián)形成時(shí)空3D共 生特征。
[0036] 在其中一個(gè)實(shí)施例中，所述超向量提取模塊包括：
[0037] 模型建立單元，用于對(duì)所述時(shí)空3D共生特征中任意兩種特征分別建立混合典型 相關(guān)分析模型；
[0038] 多視圖超向量提取單元，用于從所述模型中提取作為所述目標(biāo)視頻表示的多視角 超向量。
[0039] 在其中一個(gè)實(shí)施例中，所述模型建立單元包括：
[0040] 空間劃分單元，用于將所述時(shí)空3D共生特征中任意兩種特征的空間劃分為多個(gè) 個(gè)局部空間；
[0041] 典型模型建立單元，用于對(duì)所述多個(gè)局部空間依次建立典型相關(guān)分析模型；
[0042] 混合模型建立單元，用于根據(jù)所述典型相關(guān)分析模型建立混合典型相關(guān)分析模 型。
[0043] 在其中一個(gè)實(shí)施例中，所述多視圖超向量提取單元包括：
[0044] 共享信息的超向量獲取單元，用于在所述混合典型相關(guān)分析模型中的局部高斯中 提取隱變量，并將所述隱變量拼起來(lái)得到共享信息的超向量；
[0045] 獨(dú)立信息的超向量獲取單元，用于根據(jù)所述混合典型相關(guān)分析模型求所述3D共 生特征的獨(dú)立信息的超向量；
[0046] 多視角超向量獲取單元，用于將所述獨(dú)立信息的超向量和所述共享信息的超向量 串聯(lián)起來(lái)，以得到所述目標(biāo)視頻表示的多視角超向量。
[0047] 上述實(shí)現(xiàn)對(duì)視頻中人體行為識(shí)別的方法和系統(tǒng)，通過(guò)對(duì)目標(biāo)視頻中的特征點(diǎn)和特 征點(diǎn)周?chē)鷷r(shí)間和空間鄰域內(nèi)的像素點(diǎn)組成點(diǎn)對(duì)，根據(jù)組成的點(diǎn)對(duì)形成時(shí)空3D共生特征，由 于組成的點(diǎn)對(duì)包含目標(biāo)視頻中的特征點(diǎn)周?chē)鷷r(shí)間和空間領(lǐng)域內(nèi)的像素點(diǎn)，使得在時(shí)空3D 共生特征中的局部特征提取過(guò)程中考慮到了特征點(diǎn)時(shí)空上下文信息，因此根據(jù)時(shí)