專利名稱：基于模糊概念格的視頻紋理特征提取方法
技術領域：
本發(fā)明屬于圖像處理技術領域，涉及視頻紋理特征提取，可用于目標識別和視頻檢索等視頻處理領域。
背景技術：
紋理是一種不依賴于顏色或亮度，而反映圖像中同質現象的區(qū)域性視覺特征，能夠更好地兼顧圖像宏觀性質與細微結構兩個方面，因此成為目標識別等視頻處理領域中重要的特征之一。目前紋理特征提取方法主要有以下幾種[1] Chun Y. D. Image retrieval using BDIP and BVLC moments. IEEE Transactions on Circuits and Systems for Video Technology，2003，13(9) :951_957。 該方法利用Garbor小波基函數的正交性，可以有效提取紋理特征，消除冗余信息，但采用 Garbor小波算法得到的紋理特征向量維數高，應用于視頻紋理特征提取，計算量大，效率較低；[2]. Biswas S. An adaptive compressed MPEG-2video watermarking scheme. IEEE Transactions on Instrumentation and Measurement. 2005，5 (55) :1853_18610 該方法將圖像進行DCT變換后，利用DCT變換的AC系數能量衡量紋理復雜程度提取紋理特征，應用于視頻紋理特征提取，需要對每個視頻幀進行DCT變換，計算量大，效率偏低。[3]. Haral ick R M，Shanmugam K. . Texture features for image classification. IEEE Transactions on Systems, Man and Cybernetics，1973，3 (6) 610-621。該方法根據像素之間的方向和距離建立灰度共生矩陣，然后提取有意義的14個統(tǒng)計量作為紋理特征向量，能夠從不同角度對紋理進行描述，廣泛應用于SAR圖像分類等圖像檢索中，但計算量大，在海量視頻數據處理中應用很少。[4]. Tamura HiMori S，Yamawaki T. Texture features corresponding to visual perception. IEEE Transactions on SystemsiMan and Cybernetics，1978，8 (6) :460_473o 該方法提出了構成紋理視覺模型的6個紋理屬性，分別是對比度、粒度、方向性、線性、粗糙度和均勻性，更符合人類心理認知，主要應用于圖像的紋理分類，應用于視頻紋理特征提取，計算量大，實際應用很少。綜上所述，由于海量視頻數據量龐大、冗余多，上述圖像紋理提取方法直接應用于視頻紋理特征提取都存在計算量大，效率低，無法滿足視頻實時處理需求。

發(fā)明內容
本發(fā)明目的是針對上述已有技術的不足，提出了一種基于模糊概念格的視頻紋理特征提取方法，大大減小了計算量，實現了視頻紋理特征的快速、準確挖掘。實現本發(fā)明的技術關鍵是針對原始視頻數據，生成基于模糊概念格理論的系列紋理特征關聯規(guī)則，以便快速、準確地挖掘視頻紋理特征。具體步驟包括如下
(1)對原始視頻ν' = ·(、、……, ]進行鏡頭分割，得到鏡頭分割結果Si, i e [1， M1],其中，M1為原始視頻ν'中的鏡頭總數；(2)將第i個鏡頭Si以每9幀分割成視頻段Pl，1 e [1，M2]，選取每個視頻段Pl的第一個視頻幀作為P1的關鍵幀f\，1 e [1，M2]，其中，M2為第i個鏡頭Si中視頻段總數；(3)對第i個鏡頭Si第1個視頻段P1的關鍵幀進行圖像分塊，得到一系列的圖像塊bk，ke [1，1\]，計算每個圖像塊\的灰度共生矩陣(\，1^￡ [1，TJ，其中，1\為關鍵幀 4中8X8大小的圖像塊總數；(4)根據第i個鏡頭Si第1個視頻段P1的關鍵幀的每個圖像塊bk的灰度共生矩陣Gk，計算得到每個圖像塊bk紋理特征向量Wq，qe [1,14]；(5)將鏡頭Si第1個視頻段P1的關鍵幀的所有圖像塊bk，k e [1，T1]作為對象集，將所有圖像塊的紋理特征向量Wq，qe [1,14]作為屬性集，構成關鍵幀的模糊形式背景F ；(6)根據模糊形式背景F，構建鏡頭Si第1個視頻段Pl的關鍵幀的模糊概念格；(7)由鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規(guī)則Rt, t e [1，N9]，其中，N9為紋理關聯規(guī)則總數；(8)根據鏡頭Si第1個視頻段P1的關鍵幀的第t個關聯規(guī)則，提取關鍵幀中具有第t個關聯規(guī)則屬性的圖像塊集合；(9)重復步驟⑶，提取鏡頭Si第1個視頻段P1的關鍵幀f i的其他所有紋理關聯規(guī)則相對應的圖像塊集合；(10)取步驟(9)中鏡頭Si第1個視頻段P1的關鍵幀&提取出的所有圖像塊集合的交集，得到關鍵幀的紋理特征；(11)根據鏡頭&第1個視頻段？1的關鍵幀&的所有紋理關聯規(guī)則，按照步驟(10) 相同方法提取視頻段P1中除關鍵幀以外的其他幀的紋理特征；(12)重復上述步驟(3) (11)，提取第i個鏡頭Si的其他所有視頻段中所有視頻幀的紋理特征；(13)重復上述步驟O) (12)，提取原始視頻ν的所有鏡頭中視頻幀的紋理特征。本發(fā)明具有如下優(yōu)點將模糊概念格理論應用于視頻紋理特征提取，實現了視頻紋理特征的快速、準確挖掘。由于模糊概念格具有良好的繼承性和層次性，十分適合生成關聯規(guī)則，同時灰度共生矩陣能夠從多種維度、精確刻畫紋理特征。本發(fā)明首先利用灰度共生矩陣，形成模糊形式背景，再利用模糊概念格能夠高效處理海量數據的特點，生成一系列紋理關聯規(guī)則，進而快速挖掘出不同類型視頻的紋理特征。實驗結果表明，本發(fā)明能夠快速、準確提取視頻紋理特征，與現有方法相比，大大減小了計算量，適合于任何視頻載體，具有普適性特征。同時，在保證視頻紋理特征準確性的前提下，本發(fā)明隨著原始視頻數據的急劇增加，效率優(yōu)勢更明顯，能夠滿足海量視頻處理的實時性需求。


圖1是本發(fā)明基于模糊概念格的視頻紋理特征提取原理框圖2是主持人類視頻載體suzie. yuv，本發(fā)明與基于DCT變換方法提取的視頻紋理特征結果對比；圖3是自然風景類視頻載體tempete. yuv，本發(fā)明與基于DCT變換方法提取的視頻紋理特征結果對比；圖4是體育類視頻載體Stefan, yuv,本發(fā)明與基于DCT變換方法提取的視頻紋理特征結果對比。
具體實施例方式一、基礎理論介紹1. 1模糊概念格的相關理論模糊概念格是一種基于格理論的聚類分析方法，通過對某一領域特定形式背景下對象和屬性之間的關系進行聚類，從而得到相應的概念結構。在模糊概念格中，概念屬性和對象之間的關系是不確定的模糊關系，例如“年輕人消費水平高”，這里“年輕人”作為對象， 是一個模糊集，“消費水平高”作為屬性只能用隸屬程度來描述，消費水平涉及到收入、衣食住行、家庭負擔、文化娛樂等方面，是一個多屬性的模糊集。目前，國內外學者在模糊概念格的構建算法上做了很多研究，其中，劉宗田、強宇等定義了廣義屬性模糊概念格，提出了一種快速、有效的模糊概念格構建方法。模糊概念格中的基本定義包括如下定義1，模糊形式背景。一個模糊形式背景可表示為F = (0^，1)，其中，0是模糊形式背景F中所有對象的并集，A是模糊形式背景F中所有屬性的并集，映射I稱為隸屬度函數，該隸屬度函數I滿足I e
ο定義2，在模糊形式背景F中，對象集0和屬性集A之間的映射關系可以用屬性映射函數f(0)和對象映射函數g(A)來表示，如下所示/ (O) = {a| Vo e 0,0 < / (O, A) < l}(1)g(A) = {o|Va gA,0<I(0,A)< l}(2)其中，a表示屬性集A中任意一個屬性，ο表示對象集0中任意一個對象。1. 2基于模糊概念格的關聯規(guī)則生成由于模糊概念格具有良好的層次關系和繼承關系，能夠形象化地表示各個概念節(jié)點之間的層次關系，因此十分適用于關聯規(guī)則的生成。關聯規(guī)則是形如4 的表達式，其中，AjPB1均為屬性集，規(guī)則4 表示在數據庫中，具有屬性集A1中所有屬性的對象同時也具有屬性集B1中的所有屬性。根據模糊概念格生成關聯規(guī)則的過程是首先，根據模糊概念格得到所有的頻繁節(jié)點并生成相應的頻繁節(jié)點組，然后，由頻繁節(jié)組生成相應的關聯規(guī)則。關聯規(guī)則4 的支持度表示，數據庫中包含屬性集A1與屬性集&的并集中所有屬性的對象數占整個庫中所有對象的百分比，用來度量關聯規(guī)則4在數據庫中出現的頻率。關聯規(guī)則4的置信度表示，數據庫中包含屬性集A1與屬性集B1的并集中所有屬性的對象數與包含屬性集A1 中所有屬性的對象數的比值，用來度量規(guī)則4 = > A的強度。在實際應用中，通常選擇較大的置信度閾值和較小的支持度閾值。1. 3灰度共生矩陣
灰度共生矩陣是圖像二階組合條件下的概率密度統(tǒng)計特征，反映了不同像素對位置的空間信息，能夠從不同角度對紋理特征進行細致地刻畫?；叶裙采仃囀菑膱D像Q中位置為(Xl，Y1)且灰度級為&的像素點出發(fā)，統(tǒng)計與該像素點距離為d、方向為θ、位置為 (χ2,12)且灰度級為g2的像素點同時出現的概率P (gl，g2，d，θ )?；叶裙采仃嚨亩x如下
權利要求
1.一種基于模糊概念格的視頻紋理特征提取方法，包括如下步驟(1)對原始視頻ν'= ·(、、……,1進行鏡頭分割，得到鏡頭分割結果Si，i e [1，M1],其中，M1為原始視頻ν'中的鏡頭總數；(2)將第i個鏡頭Si以每9幀分割成視頻段Pl，1e [1，M2]，選取每個視頻段Pl的第一個視頻幀作為P1的關鍵幀f\，1 e [1，M2]，其中，M2為第i個鏡頭Si中視頻段總數；(3)對第i個鏡頭Si第1個視頻段P1的關鍵幀進行圖像分塊，得到一系列的圖像塊 bk，ke [1，TJ，計算每個圖像塊bk的灰度共生矩陣(ik，ke [1，TJ，其中，1\為關鍵幀&中 8X8大小的圖像塊總數；(4)根據第i個鏡頭Si第1個視頻段P1的關鍵幀的每個圖像塊bk的灰度共生矩陣 Gk，計算得到每個圖像塊bk紋理特征向量Wq，qe [1,14]；(5)將鏡頭Si第1個視頻段P1的關鍵幀的所有圖像塊bk，ke [1,TJ作為對象集， 將所有圖像塊的紋理特征向量W,，q e [1,14]作為屬性集，構成關鍵幀的模糊形式背景 F；(6)根據模糊形式背景F，構建鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格；(7)由鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規(guī)則 Rt，te [1，N9],其中，N9為紋理關聯規(guī)則總數;(8)根據鏡頭Si第1個視頻段P1的關鍵幀的第t個關聯規(guī)則艮，提取關鍵幀中具有第t個關聯規(guī)則屬性的圖像塊集合；(9)重復步驟(8)，提取鏡頭Si第1個視頻段P1的關鍵幀的其他所有紋理關聯規(guī)則相對應的圖像塊集合；(10)取步驟(9)中鏡頭Si第1個視頻段P1的關鍵幀&提取出的所有圖像塊集合的交集，得到關鍵幀的紋理特征；(11)根據鏡頭Si第1個視頻段P1的關鍵幀的所有紋理關聯規(guī)則，按照步驟(10)相同方法提取視頻段P1中除關鍵幀以外的其他幀的紋理特征；(12)重復上述步驟(3) (11)，提取第i個鏡頭Si的其他所有視頻段中所有視頻幀的紋理特征；(13)重復上述步驟O) (12)，提取原始視頻ν的所有鏡頭中視頻幀的紋理特征。
2.根據權利要求1所述的視頻紋理特征提取方法，其中步驟(6)所述的“根據模糊形式背景F，構建鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格”，按如下步驟進行(6a)計算模糊形式背景F中的每列屬性值的均值，并將該均值作為每列屬性的閾值 e [1，N5]，其中，N5是模糊形式背景F中的屬性總數，模糊形式背景F中小于閾值^^ 的屬性值取0，大于等于閾值^^的屬性值取1，至此已完成了對模糊形式背景F的二值化處理，得到標準形式背景SF;(6b)初始化模糊概念格，生成模糊概念格的根節(jié)點(Φ，A)和頂節(jié)點(0，Φ)，其中，0 是標準形式背景中所有對象的并集，A是標準形式背景中所有屬性的并集；(6c)在模糊概念格中每加入標準形式背景中的一個對象χ*，相應地生成一個新節(jié)點 c'，即c =({/},/({/}),%,疼)，新節(jié)點c'與根節(jié)點之間是父子節(jié)點關系，其中，{χ*}表示對象Ζ的對象集，f({x*})表示對象χ*的屬性集，α工表示新節(jié)點c'中對象集中所有對象在其屬性集的隸屬度均值，該隸屬度均值反映了新節(jié)點c'的平均模糊程度，或表示新節(jié)點 c'的對象集中所有對象在其屬性集上相對隸屬度均值α工的均方差；(6d)從模糊概念格的根節(jié)點(Φ，A)開始，按自下向上深度遍歷方式，將新節(jié)點c'與模糊概念格中所有的已有格節(jié)點進行比較若已有格節(jié)點c的屬性集是新增對象χ*屬性集的子集，即(/她樹(C) 口/({/}))，則將已有格節(jié)點c更新為(exte樹(C)Ug),/ te樹(c),式)，其中，extent (c)表示已有格節(jié)點c的對象集，intent (c)表示已有格節(jié)點c的屬性集，extent (c) U {V}表示已有格節(jié)點c的對象集與對象χ*對象集{V}的并集，α 2表示已有格節(jié)點c對象集中所有對象在其屬性集的隸屬度均值，式表示已有格節(jié)點c的對象集中所有對象在其屬性集上相對隸屬度均值α 2的均方差，此時已有格節(jié)點c與模糊概念格中其他格節(jié)點的關系不變；若已有格節(jié)點c的屬性集與新節(jié)點c'的屬性集有交集，且不等于模糊概念格中任何一個已有格節(jié)點的屬性集，則向上搜索模糊概念格，找到與新節(jié)點c'有相同屬性集且對象集中對象數最多的格節(jié)點c"，格節(jié)點c"稱為產生子節(jié)點，該產生子節(jié)點c"與新節(jié)點C'一起生成新生節(jié)點c"‘，即樹脅/({/}), , )，此時新生節(jié)點c"‘與新節(jié)點c'是父子節(jié)點關系，其中，intent(c)If({V})表示已有格節(jié)點c的屬性集與對象Ζ屬性集的交集，α 3表示新生節(jié)點c"‘對象集中所有對象在其屬性集的隸屬度均值，罵表示新生節(jié)點c"‘的對象集中所有對象在其屬性集上相對隸屬度均值α 3的均方差；(6e)重復步驟(6c) (6d)，直到標準形式背景中所有對象都加入模糊概念格中； (6f)按自下向上方式搜索整個模糊概念格，找出模糊概念格中所有沒有父節(jié)點的格節(jié)點，并由這些格節(jié)點構成模糊概念格中頂節(jié)點(0，Φ)的子節(jié)點。
3.根據權利要求1所述的視頻紋理特征提取方法，其中步驟(7)所述的“由鏡頭Si第 1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規(guī)則”，按如下步驟進行(7a)將模糊概念格中第i4個格節(jié)點 表示成 e [1，N6],其中，N6為模糊概念格中格節(jié)點的總數，bj表示第i4個格節(jié)點 的對象集，表示第14個格節(jié)點 的屬性集，參數％表示第i4個格節(jié)點 的對象集中所有對象在其屬性集的隸屬度均值，該隸屬度均值反映了第i4個格節(jié)點 對象集的平均模糊程度，參數ζ表示第i4個格節(jié)點 的對象集中所有對象在其屬性集上相對隸屬度均值％的均方差；(7b)將模糊概念格中第i4個格節(jié)點 的參數 與設定閾值η進行比較，參數^與設定閾值Y進行比較，如果滿足％> 7且^< 7，則該格節(jié)點 是模糊概念格中的一個頻繁節(jié)點 q ,BP :Cl5 ={{oh}\dh},ah,5h)A5 e [1，N7]，判斷同一個模糊概念格中每個格節(jié)點是否為頻繁節(jié)點時，設定的閾值n和Y是相同的，其中，N7為模糊概念格中頻繁節(jié)點總數，表示第i5個頻繁節(jié)點 5的對象集，·{成j表示第i5個頻繁節(jié)點 5的屬性集，參數％表示第15個頻繁節(jié)點 的對象集中所有對象在其屬性集的隸屬度均值，參數ζ表示第i5個頻繁節(jié)點 5 的對象集中所有對象在其屬性集上相對隸屬度均值％的均方差；(7c)重復步驟(7b)，找出模糊概念格中其他所有的頻繁節(jié)點，即 化，C2, ···, —fy,Gj，其中，N7為模糊概念格中頻繁節(jié)點總數；(7d)用模糊概念格中的頻繁節(jié)點 和頻繁節(jié)點 _5構成模糊概念格的第Ic1個頻繁節(jié)點組e [1，N8]，其中，N8為模糊概念格中頻繁節(jié)點組的總數；(7e)重復步驟(7d)，用模糊概念格中的其他頻繁節(jié)點生成模糊概念格中除第Ic1個頻繁節(jié)點％外，其他所有的頻繁節(jié)點組，即·{《，巧，L U—L ’UNa}·’(7f)對模糊概念格中的第Ic1個頻繁節(jié)點組^iti =( 5, 5)進行判斷，如果頻繁節(jié)點 5 和頻繁節(jié)點之間是父子關系，且滿足
全文摘要
本發(fā)明公開了一種基于模糊概念格的視頻紋理特征提取方法，主要解決現有方法計算量大、效率低、實時性不高的問題。實現步驟(1)將視頻鏡頭分割，將分割后的視頻鏡頭分成視頻段，并將視頻段第一幀作為該視頻段的關鍵幀；(2)將關鍵幀圖像分塊，計算圖像塊的灰度共生矩陣，再基于灰度共生矩陣計算二階矩、熵等14個紋理特征向量；(3)將關鍵幀的圖像塊作為對象集、將圖像塊的紋理特征向量作為屬性集，構成模糊形式背景，構建模糊概念格；(4)由關鍵幀的模糊概念格生成紋理關聯規(guī)則；(5)根據關鍵幀的紋理關聯規(guī)則，提取所在視頻段中所有視頻幀的紋理特征。本發(fā)明能夠快速、準確地提取視頻紋理特征，可用于目標識別、視頻檢索等視頻處理領域。
文檔編號G06K9/46GK102306275SQ20111018008
公開日2012年1月4日 申請日期2011年6月29日 優(yōu)先權日2011年6月29日
發(fā)明者馮向玲, 同鳴, 姬紅兵, 張建龍 申請人:西安電子科技大學