專(zhuān)利名稱(chēng)：用于相同內(nèi)容視頻檢索的視頻指紋方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于相同內(nèi)容視頻檢索的視頻指紋方法，屬于視頻、多媒體信號(hào)處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著多媒體技術(shù)的發(fā)展，特別是互聯(lián)網(wǎng)已成為日常生活不可缺少的一部分，視頻內(nèi)容變得越來(lái)越豐富，同時(shí)盜版視頻也成倍出現(xiàn)。在多媒體版權(quán)保護(hù)中，版權(quán)鑒別者需要從大量的多媒體數(shù)據(jù)中，快速有效地檢測(cè)到可能存在的拷貝并判斷內(nèi)容的所有權(quán)，這就需要對(duì)相同內(nèi)容的視頻進(jìn)行檢索，也就是視頻拷貝檢測(cè)。在對(duì)多媒體對(duì)象檢索中，需要對(duì)視頻中場(chǎng)景、片段進(jìn)行分析和特征提取，并基于這些特征進(jìn)行相似性匹配，進(jìn)而幫助人們快速準(zhǔn)確地找到所需要的多媒體信息。近年來(lái)視頻拷貝檢測(cè)技術(shù)取得了很大發(fā)展，目前已有多種拷貝檢測(cè)方法。其中最主要的是基于內(nèi)容(Content-Based Copy Detection，CBCD)的視頻拷貝檢測(cè)方法。視頻拷貝檢測(cè)的技術(shù)核心是視頻指紋的生成。視頻指紋就是從視頻內(nèi)容中提取出具有魯棒性和區(qū)分性的視頻特征。一種比較典型的方法是基于亮度序列的方法，該方法首先把視頻每幀分成8X8的塊，然后計(jì)算每塊像素亮度分量的均值并對(duì)所有塊的均值排序，由這個(gè)排序后的特征構(gòu)成視頻指紋，順序特征的引入比直接使用像素值計(jì)算指紋的魯棒性強(qiáng)。但這種方法的缺點(diǎn)是對(duì)于幾何變換的攻擊諸如旋轉(zhuǎn)、放縮和剪切的魯棒性較差。另一種比較經(jīng)典的方法是基于時(shí)域的視頻指紋方法，即一般利用不同鏡頭之間持續(xù)的時(shí)間，或者根據(jù)相鄰幀在時(shí)域上的關(guān)系來(lái)構(gòu)造視頻指紋。這種方法與空域里亮度順序方法不同的是，時(shí)域算法不是對(duì)每一幀進(jìn)行塊排序，而是定義了一個(gè)時(shí)域窗口，對(duì)時(shí)域窗口內(nèi)每一幀相同位置的塊進(jìn)行排序，但由于局部變化會(huì)打亂圖像塊間的有序關(guān)系，從而使得這類(lèi)算法性能下降?？紤]到視頻的視覺(jué)內(nèi)容可以看作是時(shí)間上連續(xù)的一系列圖像幀的集合，僅利用時(shí)域或空域信息不能完全表征視頻內(nèi)容，因此將時(shí)空信息結(jié)合起來(lái)是特征提取的研究方向。但目前已有的時(shí)空聯(lián)合方法沒(méi)有將人的視覺(jué)感知加入，同樣在申請(qǐng)專(zhuān)利號(hào)為201110184477. 6的基于魯棒哈希的視頻拷貝檢測(cè)方法專(zhuān)利中沒(méi)有將人的視覺(jué)關(guān)注加入。但是由于人是多媒體信息的最終受用者，因此忽略了人的認(rèn)知對(duì)視頻內(nèi)容的影響，而在本發(fā)明中通過(guò)分別計(jì)算出代表圖像的二值序列特征和視覺(jué)顯著圖的二值序列特征，最后對(duì)二者取同或得到視頻指紋。這樣得到的視頻指紋由于視覺(jué)關(guān)注的加入，使得人眼對(duì)不同區(qū)域的關(guān)注程度也不同，匹配時(shí)賦予每一哈希位相應(yīng)的權(quán)重，這樣全面的視頻分析更符合人的認(rèn)知。

發(fā)明內(nèi)容
本發(fā)明針對(duì)目前視頻指紋生成方法中存在的不足，結(jié)合時(shí)空聯(lián)合特征在表征視頻內(nèi)容上的全面性以及順序特征在魯棒性上的貢獻(xiàn)，以及視覺(jué)關(guān)注區(qū)域即圖像中最能引起用戶(hù)興趣，最能表現(xiàn)圖像內(nèi)容的區(qū)域，這些區(qū)域特征的提出將會(huì)大大提高圖像處理和分析的效率和準(zhǔn)確度，由此提出了一種用于相同內(nèi)容視頻檢索的視頻指紋方法，此方法所提取視頻指紋的魯棒性及區(qū)分性都得到了極大提高與改善。為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種用于相同內(nèi)容視頻檢索的視頻指紋方法，包括以下步驟1)對(duì)視頻進(jìn)行分段首先對(duì)視頻進(jìn)行預(yù)處理，將視頻預(yù)處理為寬度和高度固定尺寸大小的視頻序列；然后對(duì)預(yù)處理后的各視頻序列進(jìn)行分段；2)生成視頻代表圖每一視頻序列分段分別生成相對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖；3)生成順序特征首先對(duì)時(shí)域信息代表圖和視覺(jué)顯著代表圖進(jìn)行分塊，然后根據(jù)特定的順序關(guān)系將圖像塊進(jìn)行排序，并通過(guò)計(jì)算塊與塊的特征差異來(lái)分別得到代表時(shí)域信息代表圖和視覺(jué)顯著代表圖的順序特征；4)生成二值特征序列根據(jù)上述得到的時(shí)域信息代表圖和視覺(jué)顯著代表圖的順序特征，分別生成對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列；5)視頻指紋生成將得到的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列結(jié)合起來(lái)，根據(jù)需要進(jìn)行相應(yīng)的運(yùn)算，最終得到的二值序列為最終的視頻指紋；將視頻處理為固定大小的視頻序列過(guò)程中，根據(jù)需要通過(guò)插值或者下采樣來(lái)獲得指定大小的視頻。對(duì)視頻進(jìn)行分段時(shí)，相鄰視頻段根據(jù)需要有一定部分的重疊或者不重疊。時(shí)域信息代表圖根據(jù)需要由每段視頻中部分或者全部視頻幀疊加得到。視覺(jué)顯著代表圖根據(jù)需要由每段視頻中部分或者全部視頻幀所對(duì)應(yīng)的視覺(jué)顯著圖疊加得到。進(jìn)行圖像塊排序時(shí)的特定關(guān)系根據(jù)需要進(jìn)行指定，按照從左到右從上到下或從下到上從右到左或希爾伯特曲線(xiàn)方式進(jìn)行。所述塊與塊的特征差異根據(jù)需要進(jìn)行指定，這些特征為顏色或亮度或能量中的至少一種。二值特征序列的生成時(shí)，根據(jù)需要對(duì)順序特征中相鄰塊之間的關(guān)系進(jìn)行比較，該關(guān)系為亮度大小關(guān)系比或顏色深淺關(guān)系或能量強(qiáng)弱關(guān)系，根據(jù)比較結(jié)果，生成二值特征序列。視頻指紋生成時(shí)進(jìn)行的運(yùn)算根據(jù)需要選定為任何邏輯運(yùn)算。所述邏輯運(yùn)算為同或、異或、或、與運(yùn)算中的一種。本發(fā)明的有益效果是考慮到視覺(jué)關(guān)注區(qū)域即圖像中最能引起用戶(hù)興趣，最能表現(xiàn)圖像內(nèi)容的區(qū)域，同時(shí)所提取的特征體現(xiàn)了視頻內(nèi)容對(duì)視覺(jué)的刺激性，對(duì)于視頻拷貝檢測(cè)及視頻檢索來(lái)說(shuō)主要是基于視頻內(nèi)容的，有研究表明分析引入人的感覺(jué)認(rèn)知能夠取得一定意義的成功。在此基礎(chǔ)上本發(fā)明充分考慮到了人的視覺(jué)關(guān)注對(duì)所提取特征的影響，以及時(shí)空聯(lián)合的順序特征在對(duì)魯棒性的貢獻(xiàn)上，通過(guò)提取時(shí)空聯(lián)合的順序特征來(lái)構(gòu)成視頻指紋，在保證了本發(fā)明中方法魯棒性的前提下，又有較高的區(qū)分性。


圖1是本發(fā)明方法的框架圖。圖2是生成的時(shí)域代表圖像及其希爾伯特曲線(xiàn)填充。
圖3代表性顯著圖及其希爾伯特曲線(xiàn)填充。圖4是原始視頻幀及經(jīng)過(guò)10種視頻處理后的視頻幀。圖fe是誤碼率以及對(duì)應(yīng)的查全率。圖恥是誤碼率以及對(duì)應(yīng)查準(zhǔn)率。圖6是本發(fā)明方法與其他方法平均比特錯(cuò)誤率的對(duì)比。圖7是不同視頻之間的比特錯(cuò)誤率。
具體實(shí)施例方式下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明。圖1給出了本發(fā)明方法的框架圖，按所示流程，包括如下具體步驟1.視頻進(jìn)行分段首先將視頻固定為任意W*H尺寸大小的視頻序列，其中W指視頻幀的寬度大小，H 指視頻幀的高度大小，為了進(jìn)行實(shí)驗(yàn)分析，這里我們選擇W= 144，H= 176，其中W指視頻幀的寬度大小，H指視頻幀的高度大??；其次對(duì)視頻幀進(jìn)行分段，分段時(shí)可以重疊也可以不重疊，根據(jù)實(shí)驗(yàn)中對(duì)魯棒性的要求以及考慮到幀率為30幀/秒，這里分段時(shí)我們選每部分 30幀，各相鄰部分有50%的重疊。2.生成視頻代表圖時(shí)域信息代表圖和視覺(jué)顯著代表圖的具體生成過(guò)程如下=其中F(m，n, k)為視頻分段后每一部分里第k幀中第(m，η)
k=\
像素的亮度值，(m，η)為視頻幀中像素位置，k為視頻分段后每一部分里第k幀，wk為權(quán)值系數(shù)，選Wk = rk,取指數(shù)形式的權(quán)值系數(shù)，r為通過(guò)實(shí)驗(yàn)選取的固定值，J是每一部分里包含的視頻幀數(shù)，F(xiàn)(m，η)是所生成的時(shí)域信息代表圖的像素亮度值。如下圖2為得到的時(shí)域信息代表圖。=幻其中SM(m，n，k)為視頻分段后每一部分里各幀對(duì)應(yīng)的顯
k=\
著圖的第(m，n)像素的亮度值，(m,n)為顯著圖中像素位置，k為視頻分段后每一部分里第 k幀對(duì)應(yīng)的顯著圖，Wk為權(quán)值系數(shù)，選Wk = rk，取指數(shù)形式的權(quán)值系數(shù)，r為通過(guò)實(shí)驗(yàn)選取的固定值，J是每一部分里包含的視頻幀數(shù)，RSM(m，η)是所生成的視覺(jué)顯著代表圖的像素亮度值。如下圖3為得到的視覺(jué)顯著代表圖。3.生成順序特征對(duì)時(shí)域信息代表圖和視覺(jué)顯著代表圖進(jìn)行分塊，然后根據(jù)特定的順序關(guān)系比如按照從左到右從上到下或從下到上從右到左或希爾伯特曲線(xiàn)方式將圖像塊進(jìn)行排序，這里我們選取希爾伯特曲線(xiàn)順序來(lái)得到順序特征。首先計(jì)算P分位數(shù)Mp:
Γ xI^I ，npgz+ ，叩eZ其中0 < P < 1，[np]表示即的整數(shù)部分，x[np]為η個(gè)
按從小到大排列的灰度值中的第[np]個(gè)值，Mp即為由這η個(gè)元素所確定的ρ分位數(shù)。然后按如下公式計(jì)算三均值M
M = \M0 25 +\M0 5 +^0.75 ^ M0.25, M0.5，Ma 75 分別為 0. 25，0. 5，0. 75 分位數(shù)；4.生成二值特征序列二值特征序列的生成時(shí)，根據(jù)需要對(duì)順序特征中相鄰塊之間的關(guān)系進(jìn)行比較，該關(guān)系為亮度大小關(guān)系比或顏色深淺關(guān)系或能量強(qiáng)弱關(guān)系按如下公式生成時(shí)域信息代表圖的二值特征序列，即圖1中的二值序列1

權(quán)利要求
1.一種用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于，包括以下步驟1)對(duì)視頻進(jìn)行分段首先對(duì)視頻進(jìn)行預(yù)處理，將視頻預(yù)處理為固定大小的視頻序列； 然后對(duì)預(yù)處理后的各視頻序列進(jìn)行分段；2)生成視頻代表圖每一視頻序列分段分別生成相對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖；3)生成順序特征首先對(duì)時(shí)域信息代表圖和視覺(jué)顯著代表圖進(jìn)行分塊，然后根據(jù)特定的順序關(guān)系將圖像塊進(jìn)行排序，并通過(guò)計(jì)算塊與塊的特征差異來(lái)分別得到代表時(shí)域信息代表圖和視覺(jué)顯著代表圖的順序特征；4)生成二值特征序列根據(jù)上述得到的時(shí)域信息代表圖和視覺(jué)顯著代表圖的順序特征，分別生成對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列；5)視頻指紋生成將得到的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列結(jié)合起來(lái)，根據(jù)需要進(jìn)行相應(yīng)的運(yùn)算，最終得到的二值序列為最終的視頻指紋。
2.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于將視頻處理為固定大小的視頻序列過(guò)程中，根據(jù)需要通過(guò)插值或者下采樣來(lái)獲得指定大小的視頻。
3.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于對(duì)視頻進(jìn)行分段時(shí)，為保證其魯棒性，相鄰視頻段根據(jù)需要有一定部分的重疊。
4.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于時(shí)域信息代表圖根據(jù)需要由每段視頻中部分或者全部視頻幀疊加得到。
5.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于視覺(jué)顯著代表圖根據(jù)需要由每段視頻中部分或者全部視頻幀所對(duì)應(yīng)的視覺(jué)顯著圖疊加得到。
6.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于進(jìn)行圖像塊排序時(shí)的特定關(guān)系根據(jù)需要進(jìn)行指定，按照從左到右從上到下或從下到上從右到左或希爾伯特曲線(xiàn)方式進(jìn)行。
7.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于所述塊與塊的特征差異根據(jù)需要進(jìn)行指定，這些特征為顏色或亮度或能量中的至少一種。
8.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于二值特征序列的生成時(shí)，根據(jù)需要對(duì)順序特征中相鄰塊之間的關(guān)系進(jìn)行比較，該關(guān)系為亮度大小關(guān)系比或顏色深淺關(guān)系或能量強(qiáng)弱關(guān)系，根據(jù)比較結(jié)果，生成二值特征序列。
9.根據(jù)權(quán)利要求1所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于視頻指紋生成時(shí)進(jìn)行的運(yùn)算根據(jù)需要選定為任何邏輯運(yùn)算。
10.如權(quán)利要求9所述的用于相同內(nèi)容視頻檢索的視頻指紋方法，其特征在于所述邏輯運(yùn)算為同或、異或、或、與中的一種。
全文摘要
本發(fā)明公開(kāi)了一種用于相同內(nèi)容視頻檢索的視頻指紋方法，此方法所提取視頻指紋的魯棒性及區(qū)分性都得到了極大提高與改善。包括以下步驟1)對(duì)視頻進(jìn)行分段將視頻預(yù)處理為固定大小的視頻序列；然后對(duì)預(yù)處理后的各視頻序列進(jìn)行分段；2)生成視頻代表圖每一視頻序列分段分別生成相對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖；3)生成順序特征分別得到代表時(shí)域信息代表圖和視覺(jué)顯著代表圖的順序特征；4)生成二值特征序列分別生成對(duì)應(yīng)的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列；5)視頻指紋生成將得到的時(shí)域信息代表圖和視覺(jué)顯著代表圖的二值特征序列結(jié)合起來(lái)，根據(jù)需要進(jìn)行相應(yīng)的運(yùn)算，最終得到的二值序列為最終的視頻指紋。
文檔編號(hào)G06K9/00GK102419816SQ20111036887
公開(kāi)日2012年4月18日 申請(qǐng)日期2011年11月18日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者孫建德, 王靜 申請(qǐng)人:山東大學(xué)