基于多特征哈希的視頻拷貝檢測方法
【專利摘要】本發(fā)明公開了一種基于多特征哈希的視頻拷貝檢測方法，主要解決現(xiàn)有視頻拷貝檢測算法不能有效平衡檢測效率和檢測精度的問題。其實現(xiàn)步驟是：(1)提取關鍵幀的塔型梯度方向直方圖PHOG為關鍵幀的全局特征；(2)提取關鍵幀的基于尺度不變特征變換SIFT的加權對比度直方圖為關鍵幀的局部特征；(3)利用相似度保持的多特征哈希學習SPM2H算法建立目標函數(shù)，通過優(yōu)化求解得到L個哈希函數(shù)；(4)利用L個哈希函數(shù)，將數(shù)據(jù)庫視頻關鍵幀和查詢視頻關鍵幀映射為L維的哈希碼；(5)通過特征匹配判斷查詢視頻是否為拷貝視頻。本發(fā)明對多種攻擊具有良好的魯棒性，可用于互聯(lián)網(wǎng)上數(shù)字視頻的版權保護、拷貝控制及數(shù)據(jù)挖掘。
【專利說明】基于多特征哈希的視頻拷貝檢測方法
【技術領域】
[0001]本發(fā)明屬于信息安全【技術領域】，具體的說是一種視頻特征提取和拷貝檢測的方法，該方法能有效抵抗常規(guī)視頻攻擊、幾何攻擊及組合攻擊，可用于互聯(lián)網(wǎng)上數(shù)字視頻的版權保護、視頻內(nèi)容分析及拷貝控制領域。
【背景技術】
[0002]隨著數(shù)字技術的不斷進步和計算機網(wǎng)絡的日益普及，多媒體數(shù)據(jù)正逐漸成為人們獲取信息的重要來源，特別是互聯(lián)網(wǎng)視頻網(wǎng)站越來越多。數(shù)字化的多媒體數(shù)據(jù)獲取容易、復制簡單并且傳播迅速，不僅給多媒體信息的存取提供了極大的便利，而且極大提高了信息表達的效率和準確性，但由此引發(fā)的盜版問題、版權紛爭和數(shù)據(jù)管理也成為日益嚴重的社會問題。例如，拷貝視頻侵犯了數(shù)字視頻版權所有者的權利和經(jīng)濟效益，造成了嚴重的盜版和侵權問題；而一些具有特殊意義的視頻信息，如涉及司法訴訟、政府機要等信息如果遭到惡意攻擊和篡改偽造，則會給司法公正和國家安全帶來極大的危害；同時人們可以隨意地對網(wǎng)絡上的視頻進行復制、編輯和傳播，導致搜索引擎的搜索結(jié)果重復，大大的降低了搜索的效率；而且，隨著視頻網(wǎng)站的增多以及視頻檢索的廣泛應用，這些拷貝視頻正成為“垃圾視頻”，危害著視頻網(wǎng)絡。因此如何在利用多媒體信息和計算機網(wǎng)絡的同時，又可以有效的保護知識產(chǎn)權、保障信息安全和保證搜索精度已成為一個亟需解決的現(xiàn)實問題。視頻拷貝檢測技術是實現(xiàn)數(shù)字視頻版權保護及數(shù)據(jù)庫管理的有效方法，已成為多媒體信息安全領域的一個研究熱點。
[0003]視頻拷貝檢測技術不需要向原始視頻中嵌入任何信息，其提取的特征序列包含了視頻內(nèi)容的足夠信息，在實際應用中可以通過測量查詢視頻與參考視頻之間的距離來判斷查詢視頻是否是參考視頻的拷貝。一個典型的視頻拷貝檢測技術的步驟如下:(I)從原始參考視頻和查詢視頻中提取視頻特征序列；(2)數(shù)據(jù)庫搜索；(3)對參考視頻特征序列和查詢視頻特征序列按照某種度量方式進行比較，若兩者之間的距離小于既定閾值，則認為查詢視頻是拷貝視頻。在以上步驟中，最重要的是提取能夠代表視頻內(nèi)容且對視頻的各種攻擊具有魯棒性的視頻特征，這也是研究者首要考慮的問題。
[0004]近年來，許多專家學者從不同的角度研究視頻拷貝檢測，但依然有兩個問題沒有解決。首先是已存在的大部分方法用單一特征描述視頻內(nèi)容，然而不同的視覺特征有截然不同的描述功能，比如全局特征可以有效地描述視頻的全局信息，但對全局攻擊的魯棒性較弱，局部特征可以有效地描述視頻的局部信息，但對視頻的局部攻擊比較敏感，因此單一特征構(gòu)造的視頻信息無法全面的描述視頻內(nèi)容，缺乏廣泛的魯棒性，然而直接級聯(lián)多種視覺特征會造成維數(shù)災難，降低檢測效率；其次已存在的大部分索引方法旨在提高檢測效率而忽略了檢測精度。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于針對上述已有技術的不足，提出一種基于多特征哈希的視頻拷貝檢測方法，以挖掘不同視覺特征之間的互補性，在保證視頻拷貝檢測精度的同時，提高檢測效率。
[0006]實現(xiàn)本發(fā)明目的的技術方案是:將視頻看作一系列關鍵幀的組合，提取關鍵幀的多種特征，設計有效的目標函數(shù)，學習能夠保持原始空間中相似結(jié)構(gòu)的哈希函數(shù)一即利用多種視覺特征中蘊含的互補信息構(gòu)建多特征哈希，最后利用產(chǎn)生的哈希函數(shù)將數(shù)據(jù)庫及查詢視頻的高維特征進行哈?；幚?，得到有區(qū)分力的哈希碼。哈希碼保留了原始數(shù)據(jù)的相似性，提高視頻拷貝檢測在不同攻擊下的檢索精度和檢索效率。其具體步驟包括如下:
[0007](1)多特征提取步驟:
[0008](1a)給定視頻V，將視頻V分割成一系列連續(xù)的相等長度的視頻鏡頭V =(C1, C2,…，Ci,...，C1），Ci是視頻V的第i個鏡頭，i = 1，2，...，1，1是視頻鏡頭的個數(shù)；
[0009](1b)將每一個視頻鏡頭的幀率統(tǒng)一為每秒30幀，將所有的視頻幀轉(zhuǎn)換為寬度為320，高度為240的灰度圖像；
[0010](1c)對每一個視頻鏡頭進行降6采樣處理，即每6個視頻幀提取一個關鍵幀；
[0011](1d)提取關鍵幀的塔型梯度方向直方圖PHOG為關鍵幀的全局特征；
[0012](1e)利用尺度不變特征變換SIFT檢測算子，提取關鍵幀的特征點，獲得關鍵幀的特征點集，在關鍵幀大小為120X40的中心區(qū)域內(nèi)，選擇特征強度最大的特征點作為圓心，構(gòu)造半徑為R的穩(wěn)定的圓形特征區(qū)域，若該區(qū)域不存在特征點，則選擇關鍵幀的中心為圓心，提取基于尺度不變特征變換SIFT的加權對比度直方圖為關鍵幀的局部特征；
[0013](2)特征映射步驟:
[0014](2a)利用相似度保持的多特征哈希學習SPM2H算法建立目標函數(shù)，通過優(yōu)化求解得到L個哈希函數(shù)h1, h2,..., h1；..., hj , hx是第1個哈希函數(shù)，1 = 1, 2,..., L ；
[0015](2b)對于每個關鍵幀，結(jié)合提取的全局特征和局部特征，由每一個哈希函數(shù)產(chǎn)生一位哈希碼，利用L個哈希函數(shù)，使數(shù)據(jù)庫視頻的關鍵幀和查詢視頻的關鍵幀映射為L維的哈希碼；
[0016](3)特征匹配步驟:
[0017](3a)測量查詢視頻鏡頭Q與數(shù)據(jù)庫中的參考視頻鏡頭P的相似度，表示為:
[0018]
【權利要求】
1.一種基于多特征哈希的視頻拷貝檢測方法，包括: (1)多特征提取步驟: (Ia)給定視頻V，將視頻V分割成一系列連續(xù)的相等長度的視頻鏡頭V= IC1, C2，…,Ci,..., C1I, Ci是視頻V的第i個鏡頭，i = 1，2，...，I，I是視頻鏡頭的個數(shù)； (Ib)將每一個視頻鏡頭的幀率統(tǒng)一為每秒30幀，將所有的視頻幀轉(zhuǎn)換為寬度為320，高度為240的灰度圖像； (Ic)對每一個視頻鏡頭進行降6采樣處理，即每6個視頻幀提取一個關鍵幀； (Id)提取關鍵幀的塔型梯度方向直方圖PHOG為關鍵幀的全局特征； (Ie)利用尺度不變特征變換SIFT檢測算子，提取關鍵幀的特征點，獲得關鍵幀的特征點集，在關鍵幀大小為120X40的中心區(qū)域內(nèi)，選擇特征強度最大的特征點作為圓心，構(gòu)造半徑為R的穩(wěn)定的圓形特征區(qū)域，若該區(qū)域不存在特征點，則選擇關鍵幀的中心為圓心，提取基于尺度不變特征變換SIFT的加權對比度直方圖為關鍵幀的局部特征； (2)特征映射步驟: (2a)利用相似度保持的多特征哈希學習SPM2H算法建立目標函數(shù)，通過優(yōu)化求解得到L個哈希函數(shù)Oi1, h2,…，Ii1,...，hj，hx是第I個哈希函數(shù)，I = I, 2,..., L ； (2b)對于每個關鍵幀，結(jié)合提取的全局特征和局部特征，由每一個哈希函數(shù)產(chǎn)生一位哈希碼，利用L個哈希函數(shù)，使數(shù)據(jù)庫視頻的關鍵幀和查詢視頻的關鍵幀映射為L維的哈希碼； (3)特征匹配步驟: (3a)測量查詢視頻鏡頭Q與數(shù)據(jù)庫中的參考視頻鏡頭P的相似度，表示為:
2.根據(jù)權利要求1所述的基于多特征哈希的視頻拷貝檢測方法，其中步驟(Ie)所述的提取基于尺度不變特征變換SIFT的加權對比度直方圖為關鍵幀的局部特征，按如下步驟進行: (Iel)將圓形特征區(qū)域進行極坐標劃分: 首先，將圓形特征區(qū)域先分成4個角度區(qū)間
3.根據(jù)權利要求1所述的基于多特征哈希的視頻拷貝檢測方法，其中步驟(2a)所述的利用相似度保持的多特征哈希學習SPM2H算法建立目標函數(shù)，按如下步驟進行: (2al)構(gòu)建每種視覺特征下的局部結(jié)構(gòu)信息，即關聯(lián)矩陣:
4.根據(jù)權利要求1所述的基于多特征哈希的視頻拷貝檢測方法，其中步驟(2a)所述的通過優(yōu)化求解得到L個哈希函數(shù)Oi1, h2,…，Ii1,...，hj , hx是第I個哈希函數(shù)，I =。1，2，...L，，按如下步驟進行: (2aa)隨機初始化哈希碼Y= [y? ?，yNL]，定義閾值向量m = [m” m2, ? ? ?，mv, ? ? ?，mj , mv為m的第v列元素,其取值為哈希碼Y的第V列元素的中間值,V = I, 2,..., L, L是哈希碼的維數(shù),yuv為哈希碼Y的第u行第v列元素，u = I, 2,..., N,N是訓練關鍵幀的數(shù)目，如果yuv≥mv,則yuv置為I,如果yuv < mv,則yuv置為-1，依次進行，此時哈希碼Y為二值矩陣； (2ab)計算目標函數(shù)0的初始值為Dm，定義門限閾值T= 10_6，定義最優(yōu)哈希碼為Y。，將初始值Dm與門限閾值T進行比較，如果Dm≥T，則最優(yōu)哈希碼Y0=Y，執(zhí)行步驟(2af)，如果Dm> T，則執(zhí)行步驟(2ac)； (2ac)比較哈希碼Y的第u行第v列元素yuv與第g行第v列元素ygv是否相同，。l^u^N, l^g^N: 如果yuv與ygv相同，則給g加1，返回步驟(2ac)； 如果7^與7口不相同，則(yuv，ygv)有兩種取值情況，即(1,-1)與(-1，I)，對于這兩種取值情況分別計算目標函數(shù)0的值，并比較兩次得到的目標函數(shù)0的值大小，選擇其較小值對應的取值情況來更新(yuv，ygv)，根據(jù)更新后的(yuv，ygv)再更新哈希碼Y ; (2ad)對于哈希碼Y的第u行依次執(zhí)行步驟(2ac) ,1 ^u^N； (2ae)對于哈希碼Y的第v列迭代執(zhí)行步驟(2ac)與步驟(2ad)，直到每次迭代執(zhí)行前目標函數(shù)0的值與迭代執(zhí)行后目標函數(shù)0的值之差小于門限閾值T時，再執(zhí)行哈希碼Y的第v+1列的迭代，直到V = L時，得到最優(yōu)哈希碼Ytl=Y ； (2af)采用線性變換表示哈希函數(shù)Ii1 (Xt): h, (x,) = u{x, +b,, 式中，W1 G Rdxi是轉(zhuǎn)換向量，wf是巧的轉(zhuǎn)置向量，I = 1，2，...，L，Id1是偏移量，' =] e Rclxl是第t個關鍵幀在所有視覺特征下的直接級聯(lián)特征，d是級聯(lián)特征的維數(shù)，表示為:d = Dm，dm是第m種視覺特征的維數(shù)；(2ag)整合通過目標函數(shù)O得到的最優(yōu)哈希碼Ytl及哈希函數(shù)Ii1 (xt)，建立一致性表達式:
【文檔編號】G06F17/30GK103744973SQ201410012758
【公開日】2014年4月23日 申請日期:2014年1月11日 優(yōu)先權日:2014年1月11日
【發(fā)明者】鄧成, 彭海燕, 楊延華, 李潔, 王穎, 高新波 申請人:西安電子科技大學