技術(shù)特征：

1.一種基于時空共生雙流網(wǎng)絡(luò)的視頻圖像分類方法，其特征在于，主要包括數(shù)據(jù)輸入(一)；時空雙流網(wǎng)絡(luò)(二)；融合(三)；SVM分類器(四)。

2.基于權(quán)利要求書1所述的一種基于時空共生雙流網(wǎng)絡(luò)的視頻圖像分類方法，其特征在于，包括采用早融的雙流網(wǎng)絡(luò)結(jié)合時間和空間信息(時空共生)方法，使用猴類的視頻數(shù)據(jù)集，從每個視頻使用更多的幀(即更多的空間數(shù)據(jù))產(chǎn)生一個顯著的精度提高；空間和時間信息的結(jié)合，兩者形成互補(bǔ)，精度達(dá)到65.8％。

3.基于權(quán)利要求書1所述的一種基于時空共生雙流網(wǎng)絡(luò)的視頻圖像分類方法，其特征在于，基于降維的可視化技術(shù)使用t-分布鄰域嵌入算法(t-SNE)得出，通過使用共生的方法較少的分離的集群形成，和分離的集群往往是更緊密的在一起，更好地利用時間信息。

4.基于權(quán)利要求書1所述的數(shù)據(jù)輸入(一)，其特征在于，包括圖像和光流信息，數(shù)據(jù)集由100種猴類視頻集組成；該數(shù)據(jù)集分為訓(xùn)練集和測試集；在一定距離內(nèi)記錄猴類視頻，該數(shù)據(jù)集具有較大的挑戰(zhàn)，如大規(guī)模的相機(jī)運(yùn)動變化和相當(dāng)大的姿態(tài)變化；

對于每一個類(猴種)提供以下數(shù)據(jù)：具有活動注釋的視頻剪輯，聲音剪輯，包圍盒，以及分類和分布位置。

5.基于權(quán)利要求書4所述的測試，每個視頻剪輯采用每秒5幀(FPS)的方式測試，計(jì)算每5幀的光流來計(jì)算效率。

6.基于權(quán)利要求書1所述的時空雙流網(wǎng)絡(luò)(二)，其特征在于，包括時間網(wǎng)絡(luò)，空間網(wǎng)絡(luò)，以及時空共生譯碼。

7.基于權(quán)利要求書6所述的時間網(wǎng)絡(luò)和空間網(wǎng)絡(luò)，其特征在于，包括

(1)時序網(wǎng)絡(luò)使用作為水平流O_x，豎直流O_y和光流的大小O_mag的輸入結(jié)合形成一個單一的光學(xué)特征映射O∈R^h×w×3，其中h×w是特征映射(圖像)的大?。?/p>

(2)空間網(wǎng)絡(luò)使用RGB幀(圖像)作為輸入；

和都使用DCNN結(jié)構(gòu)，由5個卷積層組成S^c1,S^c2,…,S^c5，其次是完全連接層S^fc6；該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過每一個視頻的輸入幀(圖像或光流)是一個單獨(dú)的實(shí)例，使用預(yù)訓(xùn)練網(wǎng)絡(luò)；在進(jìn)行分類時，每一個圖像(或幀的光流)最初被視為獨(dú)立的；對于一個視頻的N_f幀生成N_f分類決定。

8.基于權(quán)利要求書6所述的時空共生譯碼，其特征在于，包括通過共同出現(xiàn)的聯(lián)合的空間和時間特征，使用DCNNs方法通過計(jì)算共生結(jié)合空間和時間網(wǎng)絡(luò)的卷積層，具體地說，讓時空網(wǎng)絡(luò)的第n層的特征映射為和d_n是特征映射的維數(shù)的數(shù)目，計(jì)算特征映射組合

$P_{i,j}=vec\left(S_{i,j}^n{T_{i,j}^n}^T\right)$

和是指位置(i,j)上的空間和時間流的局部特征向量，進(jìn)行矢量化操作，作為位置(i,j)的共生特征；因此，在每個空間位置的共生模式，外積運(yùn)算捕獲的視覺運(yùn)動，最大池應(yīng)用到所有的本地編碼向量；P_i,j創(chuàng)建最后的特征表示最后，L₂標(biāo)準(zhǔn)化應(yīng)用于編碼向量；

時空雙線性DCNN特征結(jié)合fc6時空特征用于雙流早期融合，這使我們能夠結(jié)合局部和全局的空間和時間信息。

9.基于權(quán)利要求書1所述的融合(三)，其特征在于，包括如下步驟：

(1)早期融合

使用兩個獨(dú)立的時序網(wǎng)絡(luò)和空間網(wǎng)絡(luò)S^o和的雙流網(wǎng)絡(luò)用于動作識別，在早期結(jié)合雙流的信息，通過融合fc6輸出，S^fc6和T^fc6，fc6是第一個全連接層，經(jīng)常用來從DCNNs中提取單特征；我們把這個網(wǎng)絡(luò)稱為雙流早融；

(2)進(jìn)行早期融合，采用雙線性DCNN然后融合雙流的方法，空間和時間信息相結(jié)合；

通過完全連接的層的組合原始數(shù)據(jù)預(yù)處理、確定分類計(jì)算對象、在計(jì)算對象上進(jìn)行分類。

10.基于權(quán)利要求書1所述的SVM分類器(四)，其特征在于，包括SVM分類器的原理為：

設(shè)線性可分樣本集和為(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是類別標(biāo)號，則

w·x+b＝0

是SVM分類器的分類面方程；

在分類時，為了使分類面對所有樣本正確分類且分類間隔達(dá)到最大，需要滿足下面兩個條件：

Φ(x)＝min(w^Tw)

y_i(w·x_i+b)-1≥0

通過解此約束優(yōu)化問題就可以得到最優(yōu)分類面，而過兩類樣本中離分類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面上的訓(xùn)練樣本就是使得公式中等號成立的那些特殊樣本，因?yàn)樗鼈冎瘟俗顑?yōu)分類面，因此被稱為支撐向量；將融合輸出作為特征向量輸入到SVM分類器之中，獲得最終分類結(jié)果。