專(zhuān)利名稱(chēng)：一種基于頻譜分析的視頻顯著性處理方法
技術(shù)領(lǐng)域：
本發(fā) 明涉及一種基于頻譜分析的視頻顯著性處理方法，可以應(yīng)用于各類(lèi)軍用或民用的視頻分析處理系統(tǒng)。
背景技術(shù)：
數(shù)字成像技術(shù)的發(fā)展給我們帶來(lái)了豐富的視頻資源，但它同時(shí)也帶來(lái)了視頻數(shù)據(jù)量的急劇增大和如何有效處理的問(wèn)題。視頻顯著性分析技術(shù)能夠幫助人們從大量視覺(jué)信息中迅速找到感興趣的內(nèi)容，忽略次要內(nèi)容，降低信息處理的計(jì)算量，是有效處理海量視頻數(shù)據(jù)的途徑之一。傳統(tǒng)的視頻顯著性計(jì)算模型很多，但這些模型大多依賴(lài)視頻場(chǎng)景的特定特征，模型復(fù)雜，計(jì)算量大，通用性不強(qiáng)。最近也有人提出了基于頻譜分析的視頻顯著性計(jì)算模型，這些模型不依賴(lài)特定特征，通用性強(qiáng)，計(jì)算量小，但其往往只考慮了頻譜中的幅度譜或相位譜中一方面信息，且視頻顯著性通常是以視頻幀的顯著圖形式給出，應(yīng)用不方便?？紤]到頻譜中的幅度譜和相位譜都含有豐富的顯著性信息，Renyi熵可以很好的度量顯著點(diǎn)的空間分布，因此有必要結(jié)合頻域中的幅度譜、相位譜和Renyi熵，進(jìn)行新的視頻顯著性計(jì)算模型的研究。

發(fā)明內(nèi)容
要解決的技術(shù)問(wèn)題為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于頻譜分析的視頻顯著性處理方法。技術(shù)方案—種基于頻譜分析的視頻顯著性處理方法，其特征在于步驟如下步驟I視頻預(yù)處理對(duì)輸入的視頻利用基于運(yùn)動(dòng)特征提取視頻關(guān)鍵幀的方法提取輸入視頻的關(guān)鍵巾貞，得到視頻關(guān)鍵巾貞序列U(V) V = I, ···, N};其中I(v)表示第V個(gè)視頻關(guān)鍵巾貞，N表不視頻關(guān)鍵巾貞的總數(shù)；步驟2計(jì)算空域顯著性和時(shí)域顯著性計(jì)算空域顯著性利用線性變換的方法，將視頻關(guān)鍵幀序列U(V) V = I,…，N}的灰度范圍映射到一個(gè)一致的灰度區(qū)間
或
，得到變換后的視頻關(guān)鍵幀序列{Ig(V) V = 1，…，N}，其中Ig(V)表示第V個(gè)視頻關(guān)鍵幀灰度變換后的結(jié)果，N表示視頻關(guān)鍵幀的總數(shù)；然后按照下述步驟對(duì)灰度變換后的視頻關(guān)鍵幀Ig(V)提取空域顯著圖步驟S1 :對(duì)Ig(V)進(jìn)行傅立葉變換得到幅度譜信息Ag(v) = amplitude (F [Ig (V)])和相位譜信息Pg(v) = angle (F [Ig (V)]);其中F[Ig(v)]表示對(duì)Ig(V)做二維傅立葉變換，amplitude表示對(duì)F[Ig(V)]進(jìn)行取幅度譜運(yùn)算,Ag(V)為視頻關(guān)鍵巾貞Ig(V)的傅立葉變換的幅度譜；angle表示對(duì)F[Ig(v)]進(jìn)行取相位譜運(yùn)算，Pg(V)為視頻關(guān)鍵巾貞Ig(V)的傅立葉變換的相位譜；
步驟b2 :將幅度譜Ag(V)均勻劃分為M2個(gè)子頻帶，再利用公式
對(duì)每一子頻帶的幅度譜和全局的相位譜進(jìn)行傅立葉反
變換；其中F1表示二維傅立葉反變換；4(v)表示第i個(gè)子頻帶的幅度譜；4(v)表示由第i個(gè)子頻帶得到的顯著圖Ki表示第i個(gè)子頻帶顯著圖的歸一化因子；步驟C3:計(jì)算視頻關(guān)鍵幀I (V)的空域顯著圖
權(quán)利要求
1.一種基于頻譜分析的視頻顯著性處理方法，其特征在于步驟如下 步驟 I視頻預(yù)處理對(duì)輸入的視頻利用基于運(yùn)動(dòng)特征提取視頻關(guān)鍵幀的方法提取輸入視頻的關(guān)鍵巾貞，得到視頻關(guān)鍵巾貞序列U(V) I V = I,…，N};其中I(v)表不第V個(gè)視頻關(guān)鍵中貞，N表不視頻關(guān)鍵巾貞的總數(shù)； 步驟2計(jì)算空域顯著性和時(shí)域顯著性 計(jì)算空域顯著性利用線性變換的方法，將視頻關(guān)鍵幀序列U(V) Iv= I,-,N}的灰度范圍映射到一個(gè)一致的灰度區(qū)間[O，I]或[O，255]，得到變換后的視頻關(guān)鍵幀序列{Ig(V) V = 1，…，N}，其中Ig(V)表示第V個(gè)視頻關(guān)鍵幀灰度變換后的結(jié)果，N表示視頻關(guān)鍵幀的總數(shù)；然后按照下述步驟對(duì)灰度變換后的視頻關(guān)鍵幀Ig(V)提取空域顯著圖 步驟S1 :對(duì)Ig(V)進(jìn)行傅立葉變換得到幅度譜信息Ag(v) = amplitude (F [Ig (V)])和相位譜信息Pg(v) = angle (F [Ig (V)]);其中F[Ig(v)]表示對(duì)Ig(V)做二維傅立葉變換，amplitude表示對(duì)F[Ig(V)]進(jìn)行取幅度譜運(yùn)算,Ag(V)為視頻關(guān)鍵巾貞Ig(V)的傅立葉變換的幅度譜；angle表示對(duì)F[Ig(v)]進(jìn)行取相位譜運(yùn)算，Pg(V)為視頻關(guān)鍵巾貞Ig(V)的傅立葉變換的相位譜； 步驟b2 :將幅度譜Ag(V)均勻劃分為M2個(gè)子頻帶，再利用公式對(duì)每一子頻帶的幅度譜和全局的相位譜進(jìn)行傅立葉反(/變換；其中=F1表示二維傅立葉反變換；4(v)表示第i個(gè)子頻帶的幅度譜；4(v)表示由第i個(gè)子頻帶得到的顯著圖Ki表示第i個(gè)子頻帶顯著圖的歸一化因子；M2 . 步驟C3 :計(jì)算視頻關(guān)鍵幀I (V)的空域顯著圖&0) = Σ WjSUv);其中-.Wi表示第i個(gè) 7=1子頻帶顯著圖的權(quán)重；sg(v)表示由第V個(gè)視頻關(guān)鍵幀Ig(V)計(jì)算得到的空域顯著圖；步驟d4 :將步驟c得到的空域顯著圖Sg(V)轉(zhuǎn)化為二值圖像Sbg(V)，轉(zhuǎn)化的分割閾值采用動(dòng)態(tài)閾值，二值圖像Sbg(V)中灰度值為I的點(diǎn)為顯著點(diǎn)；利用公式^sOO = -Iogi-Z Σ -ΥρΣ +Σ ) [■計(jì)算二值圖像 Sbg(V)中顯著點(diǎn)的 Renyi 熵，以I=Ijer(Z)JRenyi熵的熵值為空域顯著值；其中L表示Sbg(V)中顯著點(diǎn)的個(gè)數(shù)，Yi和&分別表示顯著圖中顯著點(diǎn)i和j的位置坐標(biāo)，G(Yi-Yj, Σ片Σ P表示顯著點(diǎn)Ji與八鄰域內(nèi)顯著點(diǎn)Jj的 ^ 2 Λ2 q、混合高斯分布，Σ = % ' w」廠Σ = J 2 w _ I Π" 、表示第V個(gè) I ^2J ， I0 ^2J ，Hs(v)關(guān)鍵幀的空域顯著值，V = 1，...，N，N為關(guān)鍵幀的數(shù)目； 計(jì)算時(shí)域顯著性利用公式/m(v)= H (vj- { (ντ計(jì)算視頻關(guān)鍵幀序列{/( v) I V= I I的運(yùn)動(dòng)信息特征圖序列Um(v) |v = 4，…，N};其中It(v)=r (V) +g (V) +b (V)，τ 是系數(shù)，r (v), g (v)，b (V)表示是 I (V)的 RGB 三個(gè)顏色通道，Im (V)表示第V個(gè)視頻關(guān)鍵幀的運(yùn)動(dòng)信息特征圖；然后按照下述步驟提取Im(V)的時(shí)域顯著圖步驟a2 :對(duì)Im(V)進(jìn)行傅立葉變換，得到Im(V)的幅度譜信息Am(V)=amplitude (F[Im(v)])和相位譜信息 Pm(v) = angle (F[Im(v)]);其中F[Im(v)]表示對(duì)Im(V)做二維傅立葉變換，amplitude表示對(duì)F[Im(V)]進(jìn)行取幅度譜運(yùn)算，Am(V)為第v個(gè)視頻關(guān)鍵幀的運(yùn)動(dòng)信息特征圖的傅立葉變換的幅度譜；angle表示對(duì)F[Im(v)]進(jìn)行取相位譜運(yùn)算，Pffl(V)為第V個(gè)視頻關(guān)鍵幀的運(yùn)動(dòng)信息特征圖的傅立葉變換的相位譜； 步驟b2 :將幅度譜Am(V)均勻劃分為M2個(gè)子頻帶，再利用公式
2.根據(jù)權(quán)利要求I所述基于頻譜分析的視頻顯著性處理方法，其特征在于所述步驟I中基于運(yùn)動(dòng)特征提取視頻關(guān)鍵巾貞的方法如下 步驟a:利用光流法計(jì)算得到每一幀的光流場(chǎng)分量ox(i，j，t)和oy(i，j，t)，其中，ox(i, j, t)是視頻第t幀圖像在像素i，j的光流場(chǎng)的X方向成分分量；oy(i，j, t)是視頻第t幀圖像在像素i，j的光流場(chǎng)的I方向成分分量； 步驟b :將視頻每一幀的每個(gè)像素的光流分量的幅值利用公式
3.根據(jù)權(quán)利要求I所述基于頻譜分析的視頻顯著性處理方法，其特征在于所述動(dòng)態(tài)閾值的設(shè)定為將顯著圖中的灰度值依照從大至小排序得到一個(gè)排序序列，自大向小方向取第5%的點(diǎn)的灰度值為動(dòng)態(tài)閾值。
4.根據(jù)權(quán)利要求I所述基于頻譜分析的視頻顯著性處理方法，其特征在于所述第i個(gè)子頻帶顯著圖的權(quán)重Wi = I。
5.根據(jù)權(quán)利要求I所述基于頻譜分析的視頻顯著性處理方法，其特征在于所述步驟h1和步驟b2中的M = 10。
6.根據(jù)權(quán)利要求I所述基于頻譜分析的視頻顯著性處理方法，其特征在于所述τ=3。
全文摘要
本發(fā)明涉及一種基于頻譜分析的視頻顯著性處理方法。利用運(yùn)動(dòng)信息特征提取視頻關(guān)鍵幀的方法對(duì)輸入視頻提取關(guān)鍵幀，獲得視頻關(guān)鍵幀序列；然后提取視頻關(guān)鍵幀灰度圖像序列和視頻關(guān)鍵幀運(yùn)動(dòng)信息特征圖序列，然后計(jì)算兩者的Renyi熵，并以此Renyi熵度量空域顯著圖中顯著點(diǎn)的分布并將結(jié)果作為空域顯著圖顯著值；最后線性融合視頻關(guān)鍵幀空域顯著圖顯著值和時(shí)域顯著值，得到視頻關(guān)鍵幀整體顯著值。本發(fā)明充分利用了視頻關(guān)鍵幀頻域的幅度譜和相位譜所攜帶的顯著性信息，計(jì)算量小，效果突出；用Renyi熵度量顯著圖中顯著點(diǎn)的分布，并將結(jié)果作為顯著圖的顯著值很好的解決了顯著圖的整體顯著性度量問(wèn)題。本方法可以應(yīng)用于各類(lèi)軍用或民用的視頻分析處理系統(tǒng)。
文檔編號(hào)G06T7/20GK102831621SQ20121028077
公開(kāi)日2012年12月19日 申請(qǐng)日期2012年8月9日 優(yōu)先權(quán)日2012年8月9日
發(fā)明者韓軍偉, 趙世杰, 郭雷, 程塨 申請(qǐng)人:西北工業(yè)大學(xué)