本發(fā)明屬于圖像處理技術(shù)領域，涉及一種視頻序列分類方法，具體涉及一種基于三維主成分分析網(wǎng)絡的視頻序列分類方法，可用于視頻序列特征提取和視頻序列分類。

背景技術(shù)：

隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們可以從各種渠道獲得視頻序列數(shù)據(jù)，其中，視頻序列數(shù)據(jù)包括行為視頻序列、自然視頻序列等，每一類視頻序列都蘊含有極其重要的意義。例如，自然視頻序列中的極光視頻序列，是各種磁層動力學過程最為直觀的電離層蹤跡，合理有效的對極光視頻序列分類對研究各類極光現(xiàn)象及其與磁層動力學過程之間的關系尤為重要。

視頻序列分類是圖像處理和模式識別中非常關鍵的技術(shù)之一，它是利用計算機對視頻序列進行定量分析，根據(jù)視頻序列信息中所反映的不同特征，把不同類別的目標區(qū)分開，從而代替人的視覺判讀。由于海量的視頻序列數(shù)據(jù)太過于龐大，如何對這些視頻序列數(shù)據(jù)進行分類，使人們能夠更加方便的獲取有效的數(shù)據(jù)成為計算機視覺領域里面非常重要同時也非常具有挑戰(zhàn)性的研究熱點之一。

在視頻序列分類中常利用的一種視頻序列分類的手段為，提取視頻序列中的不同圖像特征，把提取到的不同圖像特征連接起來，形成組合圖像特征。然后通過組合圖像特征對支持向量機svm分類器、神經(jīng)網(wǎng)絡等進行訓練，生成訓練好的視頻序列分類器。并利用訓練好的視頻序列分類器對視頻序列分類，得到視頻序列分類的結(jié)果。2013年，yang等人在文章“yangqiuju.auroraleventsdetectionandanalysisbasedonasianduviimages[d].xi’an:xidianuniversity,2013.”中提出基于隱馬爾科夫模型視頻序列分類理論，該方法經(jīng)由隱馬爾科夫模型提取視頻序列單幀圖像特征，并將所有單幀特征進行線性串聯(lián)，實現(xiàn)了對視頻序列的分類，但是該方法假設了視頻序列的不同特征之間是簡單互補的，并未對視頻序列的動態(tài)特征進行提取，分類準確率較低；授權(quán)公告號為cn103971120b，名稱為“基于空時極向局部二值模式的極光圖像序列分類方法”的中國專利，公開了一種基于空時極向局部二值模式的極光圖像序列分類方法，該方法主要是在極光視頻序列上進行研究的，通過對極光視頻序列中的圖像進行旋轉(zhuǎn)、分塊和空時極向局部二值模式st-pvlbp處理，利用極光視頻序列某一極向的空間信息，對極光視頻序列進行特征提取，并利用支持向量機svm分類器實現(xiàn)對極光視頻序列的最終分類，該方法對極光視頻序列分類的效率較高，但是，對極光視頻序列的動態(tài)特征提取不充分，分類準確率欠佳。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對上述已有技術(shù)的不足，提出了一種基于三維主成分分析網(wǎng)絡的視頻序列分類方法，利用三維主成分分析對視頻序列進行特征提取，實現(xiàn)了對不同類別視頻序列的特征表征及分類，用于解決現(xiàn)有技術(shù)中存在的視頻序列動態(tài)特征提取不充分的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案包括如下步驟：

(1)利用三維主成分分析法，提取待分類視頻序列的三維主成分特征s；

(2)提取待分類視頻序列的三維主成分特征s的一階網(wǎng)絡全局特征u：

2a)獲取待分類視頻序列的三維主成分特征s的j個一階分段sj，并提取sj的l1個一階特征向量其中，j表示s的分段序號，且j＝1,2,…,j，j表示一階分段sj的總段數(shù)，d表示一階特征向量的序號，且d＝1,2,…,l1，l1表示一階特征向量的總個數(shù)；

2b)對應每個一階特征向量生成一個一階濾波器矩陣

2c)將一階分段sj的第i幀三維映射與第d個一階濾波器矩陣進行卷積，生成一階單獨特征映射其中，i表示sj的三維映射的幀序號，且i＝1,2,…,a，a表示sj中所含的三維映射的總幀數(shù)；

2d)依次將一階分段sj中除第i幀三維映射以外的三維映射與第d個一階濾波器矩陣進行卷積，生成一階局部特征

2e)對除第d個一階濾波器矩陣以外的一階濾波器矩陣與一階分段sj中除第i幀三維映射以外的三維映射均進行步驟2c)和步驟2d)的操作，生成一階特征

2f)對待分類視頻序列的三維主成分特征s的所有分段sj均進行步驟2a)～步驟2e)的操作，生成一階網(wǎng)絡全局特征

(3)提取待分類視頻序列的三維主成分特征s的二階網(wǎng)絡全局特征r：

3a)從待分類視頻序列的三維主成分特征s的一階網(wǎng)絡全局特征u中選取第j個一階特征并以的第d個一階局部特征為目標，提取的l2個二階特征向量其中，k表示二階特征向量序號，且k＝1,2,…,l2，l2表示二階特征向量總個數(shù)；

3b)對應每個二階特征向量生成一個二階濾波器矩陣

3c)將一階單獨特征與第k個二階濾波器矩陣進行卷積，生成二階單獨特征

3d)依次將一階局部特征中除第i個一階單獨特征以外的一階單獨特征與第k個二階濾波器矩陣進行卷積，生成二階局部特征

3e)將一階特征中除第d個一階局部特征以外的一階局部特征與除第k個二階濾波器矩陣以外的二階濾波器矩陣均進行步驟3c)和步驟3d)的操作，生成二階特征

3f)對一階特征中除第d個一階局部特征以外的一階局部特征進行步驟3a)～步驟3e)的操作，生成二階整合特征

3g)對除第j個一階特征以外的一階特征均進行步驟3a)～步驟3f)的操作，生成二階網(wǎng)絡全局特征

(4)獲取待分類視頻序列的三維主成分分析網(wǎng)絡特征f：從待分類視頻序列的三維主成分特征s的二階網(wǎng)絡全局特征r中提取視頻序列的三維主成分分析網(wǎng)絡特征f，得到視頻序列的三維主成分分析網(wǎng)絡特征f；

(5)對支持向量機svm分類器進行訓練：選取視頻序列數(shù)據(jù)庫中的部分視頻序列作為帶標簽數(shù)據(jù)，對各帶標簽的視頻序列分別執(zhí)行步驟(1)～步驟(4)，得到多個三維主成分分析網(wǎng)絡特征，并利用所有三維主成分分析網(wǎng)絡特征，對支持向量機svm分類器進行訓練，得到訓練后的支持向量機svm分類器；

(6)對視頻序列進行分類：將待分類視頻序列的三維主成分分析網(wǎng)絡特征f輸入到訓練后的支持向量機svm分類器中，得到不同類別視頻序列的分類標簽。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點：

本發(fā)明由于采用了深度學習的思想，將三維主成分分析法經(jīng)過多層卷積拓撲結(jié)構(gòu)連接形成三維主成分分析網(wǎng)絡，以此對視頻序列的特征進行多層表征，使視頻序列的動態(tài)特征得到充分提取，避免了視頻序列空間信息的丟失，與現(xiàn)有技術(shù)相比，有效地提高了視頻序列分類的準確率。

附圖說明

圖1是本發(fā)明的實現(xiàn)流程圖。

具體實施方式

以下結(jié)合附圖和具體實施例，對本發(fā)明的技術(shù)方案和效果進行進一步描述。

參照圖1，基于三維主成分分析網(wǎng)絡的視頻序列分類方法，包括如下步驟：

步驟1，利用三維主成分分析法，提取待分類極光視頻序列的三維主成分特征s。

本實施例適用于行為視頻序列和自然視頻序列，本實例所針對的研究對象為極光視頻序列，其是由我國北極黃河站的全天空攝像儀在黃河站拍攝到的極光視頻序列。利用三維主成分分析法，提取待分類極光視頻序列的三維主成分特征s；

步驟2，提取待分類極光視頻序列的三維主成分特征s的一階網(wǎng)絡全局特征u。

2a)獲取待分類極光視頻序列的三維主成分特征s的j個一階分段sj，并提取sj的l1個一階特征向量

提取極光視頻序列一階特征向量可采用多種現(xiàn)有方法進行，例如三維卷積、二維卷積等方法，本實例采用三維卷積提取sj的l1個一階特征向量步驟如下：

2a1)以m為跨度，n為步長對待分類極光視頻序列的三維主成分特征s進行分段，得到s的j個一階分段sj；

2a2)提取一階分段sj的第i幀三維映射的一階平均矩陣并計算的一階局部均值矩陣

2a3)對一階分段sj中除第i幀三維映射以外的三維映射均進行步驟2a2)的操作，生成一階全局均值矩陣

2a4)對一階全局均值矩陣x和其轉(zhuǎn)置矩陣x^t做乘積，生成一階乘積矩陣p＝xx^t；

2a5)計算一階乘積矩陣p的特征向量，并取前l(fā)1個特征向量作為一階特征向量

2b)對應每個一階特征向量生成一個一階濾波器矩陣

2c)將一階分段sj的第i幀三維映射與第d個一階濾波器矩陣進行卷積，生成一階單獨特征映射其中，i表示sj的三維映射的幀序號，且i＝1,2,…,a，a表示sj中所含的三維映射的總幀數(shù)；

2d)依次將一階分段sj中除第i幀三維映射以外的三維映射與第d個一階濾波器矩陣進行卷積，生成一階局部特征

2e)對除第d個一階濾波器矩陣以外的一階濾波器矩陣與一階分段sj中除第i幀三維映射以外的三維映射均進行步驟2c)和步驟2d)的操作，生成一階特征

2f)對待分類極光視頻序列的三維主成分特征s的所有分段sj均進行步驟2a)～步驟2e)的操作，生成一階網(wǎng)絡全局特征

步驟三，提取待分類極光視頻序列的三維主成分特征s的二階網(wǎng)絡全局特征r。

3a)從待分類極光視頻序列的三維主成分特征s的一階網(wǎng)絡全局特征u中選取第j個一階特征并以的第d個一階局部特征為目標，提取的l2個二階特征向量

提取二階特征向量可采用多種現(xiàn)有方法進行，例如三維卷積、二維卷積等方法，本實例采用三維卷積提取一階特征內(nèi)第d個一階局部特征的二階特征向量步驟如下：

3a1)從待分類極光視頻序列的三維主成分特征s的一階網(wǎng)絡全局特征u中選取第j個一階特征并獲取的第d個一階局部特征

3a2)對一階局部特征提取其一階單獨特征映射的二階平均矩陣并計算的二階局部均值矩陣

3a3)對一階局部特征中除第i個一階單獨特征映射以外的一階單獨特征映射均進行步驟3a2)的操作，生成二階全局均值矩陣

3a4)對二階全局均值矩陣y和其轉(zhuǎn)置矩陣y^t做乘積生成二階乘積矩陣q＝y(tǒng)y^t；

3a5)計算二階乘積矩陣q的特征向量，并取前l(fā)2個特征向量作為二階特征向量

3b)對應每個二階特征向量生成一個二階濾波器矩陣

3c)將一階單獨特征與第k個二階濾波器矩陣進行卷積，生成二階單獨特征

3d)依次將一階局部特征中除第i個一階單獨特征以外的一階單獨特征與第k個二階濾波器矩陣進行卷積，生成二階局部特征

3e)將一階特征中除第d個一階局部特征以外的一階局部特征與除第k個二階濾波器矩陣以外的二階濾波器矩陣均進行步驟3c)和步驟3d)的操作，生成二階特征

3f)對一階特征中除第d個一階局部特征以外的一階局部特征進行步驟3a)～步驟3e)的操作，生成二階整合特征

3g)對除第j個一階特征以外的一階特征均進行步驟3a)～步驟3f)的操作，生成二階網(wǎng)絡全局特征

步驟四，獲取待分類極光視頻序列的三維主成分分析網(wǎng)絡特征f：從待分類極光視頻序列的三維主成分特征s的二階網(wǎng)絡全局特征r中提取極光視頻序列的三維主成分分析網(wǎng)絡特征f，得到極光視頻序列的三維主成分分析網(wǎng)絡特征f。

4a)在二階網(wǎng)絡全局特征r中，選取第j個二階整合特征并將其轉(zhuǎn)化為整合二進制矩陣

4b)對整合二進制矩陣進行分塊直方圖統(tǒng)計，生成整合分塊直方圖

4c)對二階網(wǎng)絡全局特征r中除第j個二階整合特征以外的二階整合特征均進行步驟4a)和步驟4b)的操作，生成極光視頻序列的三維主成分分析網(wǎng)絡特征f＝{f1,f2,…,fj,…,fj}；

步驟五，對支持向量機svm分類器進行訓練：選取極光視頻序列數(shù)據(jù)庫中的部分極光視頻序列作為帶標簽數(shù)據(jù)，對各帶標簽的極光視頻序列分別執(zhí)行步驟(1)～步驟(4)，得到多個三維主成分分析網(wǎng)絡特征，并利用所有三維主成分分析網(wǎng)絡特征，對支持向量機svm分類器進行訓練，得到訓練后的支持向量機svm分類器；

步驟六，對極光視頻序列進行分類：將待分類極光視頻序列的三維主成分分析網(wǎng)絡特征f輸入到訓練后的支持向量機svm分類器中，得到弧狀極光視頻序列、帷幔狀極光視頻序列和輻射狀極光視頻序列的分類標簽。

本發(fā)明的效果通過下面的實驗仿真進一步說明：

1.仿真條件與方法：

硬件平臺為：intelcorei3、2.93ghz、3.45gbram；

軟件平臺為：windows7操作系統(tǒng)下的matlabr2011b；

實驗的數(shù)據(jù)：選用我國北極黃河站的全天空極光數(shù)據(jù)中已經(jīng)建立好的極光數(shù)據(jù)庫，這些數(shù)據(jù)來自2003年11月到2010年12月，共含有917個極光視頻序列，其中，弧狀極光視頻序列309個，輻射狀極光視頻序列444個，帷幔狀極光視頻序列164個。極光視頻序列中每幀極光圖像均為512*512的灰度圖像。

2.仿真內(nèi)容與結(jié)果

用本發(fā)明和現(xiàn)有基于st-pvlbp的極光視頻序列分類方法對上述實驗數(shù)據(jù)進行平均分類準確率對比實驗。

當訓練樣本數(shù)分別為30、60、120、300、600時，現(xiàn)有的st-pvlbp的平均分類準確率分別為83.3％、84.7％、86.7％、87.3％、87.2％，本發(fā)明的平均分類準確率分別為86.5％、87.7％、90.3％、91.7％、92.1％?？梢?，本發(fā)明相較于現(xiàn)有的極光視頻序列分類方法提高了極光視頻序列的分類準確率。