本發(fā)明屬于大數(shù)據(jù)網(wǎng)絡(luò)安全技術(shù)領(lǐng)域，具體涉及圖像去重方法，可用于對相似圖像進(jìn)行去重。

背景技術(shù)：

互聯(lián)網(wǎng)時(shí)代里，大量用戶將數(shù)據(jù)存儲在云服務(wù)器中，為了節(jié)省這種存儲模式下的磁盤空間以及網(wǎng)絡(luò)帶寬，研究人員提出了很多客戶端去重復(fù)數(shù)據(jù)刪除技術(shù)。針對內(nèi)容相同的文件，無論多少用戶想將該文件存儲在云服務(wù)器上，只有第一位用戶需要上傳，其他用戶直接鏈接到該文件，無需再上傳。據(jù)報(bào)道，商業(yè)應(yīng)用去重復(fù)刪除的比率可達(dá)1:10～l:500，這將節(jié)省最多90％的網(wǎng)絡(luò)帶寬和磁盤空間。

然而，客戶端去重復(fù)數(shù)據(jù)刪除技術(shù)引出了新的安全問題。去重研究者Halevi et al.最近發(fā)現(xiàn)了針對客戶端的去重復(fù)刪除技術(shù)中新的安全攻擊：僅僅通過獲得文件的散列值，攻擊者便可以從服務(wù)器端得到整個(gè)文件。這些攻擊的根本原因是用一個(gè)很短的摘要信息可以表示整個(gè)文件。Halevi et al.針對以上問題首次提出了文件的“所有權(quán)認(rèn)證”技術(shù)，客戶端與服務(wù)器進(jìn)行協(xié)議交互，向服務(wù)器證明自己擁有一個(gè)完全一樣的文件，從而安全地進(jìn)行文件客戶端去重。

隨著圖像的復(fù)制、傳播更加方便快捷，互聯(lián)網(wǎng)上的圖像冗余數(shù)據(jù)不計(jì)其數(shù)。圖像與普通文件的區(qū)別在于其占用存儲空間更大，傳輸需要的網(wǎng)絡(luò)帶寬更多，對圖像去重可以更大程度上節(jié)省存儲空間和網(wǎng)絡(luò)帶寬，提高云存儲服務(wù)器的性能，因此，如何高效、安全地去除重復(fù)圖像就成為云存儲領(lǐng)域中亟待解決的重要問題。

與已有的針對文件的客戶端重復(fù)數(shù)據(jù)刪除技術(shù)不同，圖像去重面臨著諸多新的挑戰(zhàn)。

挑戰(zhàn)1：圖像去重需要支持模糊的重復(fù)檢測。

對于圖像，“重復(fù)”不僅指完全相同，還應(yīng)包括由同一圖像經(jīng)過一組可容忍變換生成的不同副本,這些副本的編碼完全不同，但是從人類視覺感知角度而言，它們是相似的。這類視覺感知相似而編碼不同的重復(fù)圖像在互聯(lián)網(wǎng)上隨處可見，因此，圖像去重復(fù)數(shù)據(jù)刪除技術(shù)需要支持針對這類圖像的去重，即，對于相似圖像，是需要進(jìn)行模糊的重復(fù)檢測的。

但是，現(xiàn)有大多文件客戶端重復(fù)數(shù)據(jù)刪除技術(shù)中都是通過哈希值精確地進(jìn)行重復(fù)檢測，不能對相似圖像進(jìn)行模糊的重復(fù)檢測，僅有的對相似圖像進(jìn)行模糊重復(fù)檢測的研究中還存在采用的感知哈希算法不夠準(zhǔn)確的問題。

挑戰(zhàn)2：圖像去重需要對相似圖像進(jìn)行“所有權(quán)認(rèn)證”。

圖像去重不僅需要支持相似圖像的模糊重復(fù)檢測，而且還需要對相似圖像進(jìn)行“所有權(quán)認(rèn)證”，即，在對客戶端圖像進(jìn)行相似檢測時(shí)，當(dāng)發(fā)現(xiàn)服務(wù)器端確實(shí)存在相似圖像需要去重，此時(shí)，客戶端需要向服務(wù)器證明自己確實(shí)擁有一個(gè)與服務(wù)器端相似但不完全相同的圖像，這是已有的去重研究中沒有遇到過的問題。因此，圖像去重還需要支持相似圖像的“所有權(quán)認(rèn)證”，以保證攻擊者不可以只通過客戶端圖像的相似性檢測就得到服務(wù)器端的整個(gè)圖像。

然而，現(xiàn)有文獻(xiàn)還沒有涉及到相似圖像的“所有權(quán)認(rèn)證”。例如，文件“所有權(quán)認(rèn)證”協(xié)議可以解決文件客戶端去重中攻擊者只利用文件哈希值就能得到整個(gè)文件的問題，但對于相似圖像的客戶端去重,服務(wù)器擁有的圖像與客戶端的圖像視覺感知相似但編碼不同，所以其不再適用。因此，相似圖像的“所有權(quán)認(rèn)證”是所有圖像去重研究中都未曾涉及的、至關(guān)重要并且難以解決的新挑戰(zhàn)。

挑戰(zhàn)3：圖像去重復(fù)需要進(jìn)行圖像質(zhì)量評價(jià)。

為了支持圖像去重，不僅需要判斷圖像相似性進(jìn)行模糊重復(fù)檢測、對相似圖像進(jìn)行所有權(quán)認(rèn)證，而且還需要進(jìn)行圖像質(zhì)量評價(jià)，也就是說，為減少用戶損失，圖像去重時(shí)一般選擇感知質(zhì)量較高的圖像作為服務(wù)器保留圖像，需要時(shí)可以由高質(zhì)量替換成低質(zhì)量，因此，需要一種方法對圖像的感知質(zhì)量進(jìn)行評價(jià)。

然而，當(dāng)前的圖像去重研究中，要么不涉及圖像質(zhì)量評價(jià)，要么采用的圖像質(zhì)量評價(jià)方法不能滿足高效、準(zhǔn)確、符合人眼感知等要求，目前圖像去重領(lǐng)域還沒有成熟的圖像質(zhì)量評價(jià)方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提出一種支持所有權(quán)認(rèn)證的客戶端圖像模糊去重方法，以克服上述已有圖像去重方案存在的不足和所面臨的新挑戰(zhàn)。

本發(fā)明的技術(shù)思路是：通過對現(xiàn)有圖像感知哈希算法的改進(jìn)，以滿足重復(fù)檢測過程中圖像相似性的高準(zhǔn)確度檢查；通過設(shè)計(jì)一種全新的針對相似圖像的“所有權(quán)認(rèn)證”交互過程，以保證只有真正擁有圖像的客戶端才能通過驗(yàn)證進(jìn)行去重；通過采用無參考通用質(zhì)量評價(jià)方法，以完成圖像感知質(zhì)量的評價(jià)和比較。其實(shí)現(xiàn)方案包括如下：

1)重復(fù)檢測步驟：

1a)客戶端讀入待去重的原始圖像W，并將W從RGB圖像轉(zhuǎn)化為灰度圖像，然后將灰度圖像尺寸縮小到64*64，對縮小后的圖像進(jìn)行離散余弦變換，得到64*64的系數(shù)矩陣F；

1b)客戶端選取系數(shù)矩陣F左上角的前8行與前8列，得到8*8的低頻系數(shù)矩陣F’，然后將F’在位置(0,0)處的直流系數(shù)去掉，對其余的系數(shù)計(jì)算平均值A(chǔ)_F’，然后將F’的64個(gè)系數(shù)中大于等于A_F’的設(shè)為1，小于A_F’的設(shè)為0，生成64位的二進(jìn)制感知哈希值，并將其設(shè)定為W的特征標(biāo)簽p；

1c)客戶端分別計(jì)算原始圖像W的散列值τ和質(zhì)量值q，并將該散列值τ和特征標(biāo)簽p以及質(zhì)量值q上傳至服務(wù)器，服務(wù)器收到τ和p后，在數(shù)據(jù)庫中檢索是否有與τ相同的散列值，若是，則對W執(zhí)行傳統(tǒng)的針對相同數(shù)據(jù)的去重流程；若否，則執(zhí)行步驟1d)；

1d)設(shè)相似度閾值t＝5，服務(wù)器分別計(jì)算原始圖像W的特征標(biāo)簽p與服務(wù)器端所有的n個(gè)圖像的特征標(biāo)簽之間的漢明距離，得到n個(gè)漢明距離，依次將這n個(gè)漢明距離與相似度閾值t進(jìn)行比較，若這n個(gè)漢明距離都大于t，則認(rèn)定服務(wù)器端不存在重復(fù)圖像；若在比較的過程中首次出現(xiàn)一個(gè)小于t的漢明距離d，則停止后續(xù)比較，且認(rèn)定d對應(yīng)的特征標(biāo)簽p’是唯一的一個(gè)與p相似的特征標(biāo)簽；

1e)服務(wù)器在數(shù)據(jù)庫中所有的n個(gè)圖像中找到特征標(biāo)簽p’所對應(yīng)的圖像，并將其設(shè)定為原始圖像W的相似圖像W’，重復(fù)檢測結(jié)束；

2)“所有權(quán)認(rèn)證”步驟：

2a)服務(wù)器從輔助數(shù)據(jù)庫中隨機(jī)選定一個(gè)用于幫助服務(wù)器完成認(rèn)證過程的輔助圖像W_aux，將該W_aux的編號發(fā)送給客戶端，分別讀入輔助圖像W_aux和相似圖像W’，獲取W’的尺寸值s’，并將W_aux的尺寸調(diào)整為s’；

2b)服務(wù)器設(shè)定圖像線性混合參數(shù)α＝0.5，通過線性混合算法由相似圖像W’和輔助圖像W_aux產(chǎn)生服務(wù)器端的混合圖像W’₂；

2c)服務(wù)器計(jì)算混合圖像W’₂的感知哈希值，并將該感知哈希值設(shè)定為驗(yàn)證標(biāo)簽v’；

2d)客戶端收到輔助圖像的編號后，從輔助數(shù)據(jù)庫中選定該編號對應(yīng)的輔助圖像W_aux，分別讀入該輔助圖像W_aux與原始圖像W，并獲取W的尺寸值s，將W_aux的尺寸調(diào)整為s；

2e)客戶端設(shè)定圖像線性混合參數(shù)α＝0.5，通過線性混合算法由原始圖像W和輔助圖像W_aux產(chǎn)生客戶端的混合圖像W₂；

2f)客戶端計(jì)算混合圖像W₂的感知哈希值，并將該感知哈希值設(shè)定為證據(jù)標(biāo)簽v，將v上傳至服務(wù)器端；

2g)服務(wù)器收到證據(jù)標(biāo)簽v后，計(jì)算證據(jù)標(biāo)簽v與驗(yàn)證標(biāo)簽v’之間的漢明距離，判斷該漢明距離是否小于相似度閾值t，若是，則認(rèn)證成功；若否，則認(rèn)證失敗；

3)質(zhì)量比較步驟：

3a)收到原始圖像W的質(zhì)量值q后，服務(wù)器從數(shù)據(jù)庫中存儲的n個(gè)圖像質(zhì)量值中找到特征標(biāo)簽p’所對應(yīng)的質(zhì)量值q’，比較q是否大于q’，若是，則認(rèn)定原始圖像W的質(zhì)量比相似圖像W’的質(zhì)量差，執(zhí)行步驟3b)；若否，則認(rèn)定原始圖像W的質(zhì)量比相似圖像W’的質(zhì)量好，執(zhí)行步驟3c)；

3b)服務(wù)器通知客戶端刪除原始圖像W，并將相似圖像W’的鏈接返回給客戶端；

3c)服務(wù)器請求客戶端上傳原始圖像W，并在收到W后刪除相似圖像W’，再將散列值τ、特征標(biāo)簽p、質(zhì)量q和原始圖像W一起存儲在數(shù)據(jù)庫中，然后將W的鏈接返回給客戶端。

本發(fā)明與現(xiàn)有的去重技術(shù)相比具有以下優(yōu)點(diǎn)：

1.本發(fā)明通過對現(xiàn)有的基于離散余弦變換的感知哈希算法DCT-phash進(jìn)行改進(jìn)，提高了DCT-phash算法計(jì)算圖像特征標(biāo)簽的準(zhǔn)確性，一方面減少了重復(fù)檢測過程中將不相似的圖像判斷為相似這種情況的發(fā)生，進(jìn)而降低了用戶的圖像被誤刪的可能性，另一方面減少了重復(fù)檢測過程中將相似的圖像判斷為不相似這種情況的發(fā)生，進(jìn)而提高了系統(tǒng)的去重率；

2.通過利用概率方法對“所有權(quán)認(rèn)證”交互過程進(jìn)行安全性分析，結(jié)果表明，本發(fā)明中的“所有權(quán)認(rèn)證”交互過程達(dá)到了可證安全的安全強(qiáng)度，進(jìn)而防止了惡意攻擊者對數(shù)據(jù)庫中的圖像進(jìn)行非授權(quán)訪問，并且保證了只有真正擁有圖像的客戶端才可以通過認(rèn)證進(jìn)行去重；

3.本發(fā)明中的質(zhì)量比較過程采用無參考通用質(zhì)量評價(jià)算法BQISQUE，一方面可以對多種失真類型的圖像進(jìn)行感知質(zhì)量評價(jià)，從而使得服務(wù)器可以對對多種失真類型的圖像進(jìn)行去重，另一方面該算法的評價(jià)結(jié)果符合人眼感知，從而保證了服務(wù)器可以準(zhǔn)確地選擇感知質(zhì)量較高的圖像作為服務(wù)器端的保留圖像；

4.仿真結(jié)果表明，本發(fā)明的時(shí)間開銷較小，能快速高效地進(jìn)行去重，從而節(jié)省了大量的存儲資源和網(wǎng)絡(luò)帶寬。

附圖說明

圖1為本發(fā)明的實(shí)現(xiàn)總流程圖；

圖2為本發(fā)明中的重復(fù)檢測子流程圖；

圖3為本發(fā)明中的“所有權(quán)認(rèn)證”子流程圖；

圖4為本發(fā)明中的質(zhì)量比較子流程圖。

具體實(shí)施方式

參照圖1，本發(fā)明的實(shí)施步驟如下：

步驟1，對客戶端待去重的原始圖像W進(jìn)行重復(fù)檢測。

參照圖2，本步驟的具體實(shí)現(xiàn)如下：

1a)客戶端從OpenCV函數(shù)庫調(diào)用imread函數(shù)讀入待去重的原始圖像W，并調(diào)用cvtColor函數(shù)將W從RGB圖像轉(zhuǎn)化為灰度圖像，然后調(diào)用resize函數(shù)將灰度圖像尺寸縮小到64*64，調(diào)用dct函數(shù)對縮小后的圖像進(jìn)行離散余弦變換，得到64*64的系數(shù)矩陣F；

1b)客戶端選取系數(shù)矩陣F左上角的前8行與前8列，得到8*8的低頻系數(shù)矩陣F’，F(xiàn)’代表了原始圖像W的低頻信息；再將F’在位置(0,0)處的直流系數(shù)去掉，調(diào)用均值函數(shù)對其余的系數(shù)計(jì)算平均值A(chǔ)_F’；然后將F’的64個(gè)系數(shù)中大于等于A_F’的設(shè)為1，小于A_F’的設(shè)為0，生成64位的二進(jìn)制感知哈希值，將該感知哈希值由二維矩陣從左到右、從上到下轉(zhuǎn)換為一維數(shù)組，并將轉(zhuǎn)換后的一維數(shù)組設(shè)定為W的特征標(biāo)簽p；

1c)客戶端從開源OpenSSL函數(shù)庫中調(diào)用散列函數(shù)SHA1，將原始圖像W作為SHA1函數(shù)的輸入，運(yùn)算得到W的散列值τ；再從圖像質(zhì)量評價(jià)算法BQISQUE的開源網(wǎng)站上獲取該算法的程序，并將原始圖像W作為BQISQUE算法的輸入，運(yùn)算得到W的質(zhì)量值q；

1d)客戶端將散列值τ和質(zhì)量值q以及1b)中得到的特征標(biāo)簽p上傳至服務(wù)器，服務(wù)器收到τ和p后，在數(shù)據(jù)庫中檢索是否有與τ相同的散列值，若是，則采用Halevi et al.提出的PoW方案對W執(zhí)行傳統(tǒng)的針對相同數(shù)據(jù)的去重流程；若否，則執(zhí)行步驟1e)；

1e)設(shè)相似度閾值t＝5，服務(wù)器依次將特征標(biāo)簽p與服務(wù)器端的n個(gè)特征標(biāo)簽p'₁,...,p'_i,...,p'_n代入公式運(yùn)算得到n個(gè)漢明距離，其中p'_i表示第i個(gè)特征標(biāo)簽，1≤i≤n，n表示服務(wù)器端的特征標(biāo)簽的總數(shù)，d(p,p'_i)表示p和p'_i之間的漢明距離，p[j]表示p在第j位的二進(jìn)制值，p'_i[j]表示p'_i在第j位的二進(jìn)制值，1≤j≤m，m表示p和p'_i的二進(jìn)制值的位數(shù)，m＝64；

1f)服務(wù)器依次將1e)中得到的n個(gè)漢明距離與相似度閾值t進(jìn)行比較，若這n個(gè)漢明距離都大于t，則認(rèn)定服務(wù)器端不存在重復(fù)圖像；若在比較的過程中首次出現(xiàn)一個(gè)小于t的漢明距離d，則停止后續(xù)比較，且認(rèn)定d對應(yīng)的特征標(biāo)簽p’是唯一的一個(gè)與p相似的特征標(biāo)簽；

1g)服務(wù)器在數(shù)據(jù)庫所有的n個(gè)圖像中找到與特征標(biāo)簽p’所對應(yīng)的圖像，并將其設(shè)定為原始圖像W的相似圖像W’，重復(fù)檢測結(jié)束。

步驟2，對原始圖像W進(jìn)行“所有權(quán)認(rèn)證”。

參照圖3，本步驟的具體實(shí)現(xiàn)如下：

2a)服務(wù)器調(diào)用隨機(jī)化函數(shù)生成一個(gè)1到k之間的隨機(jī)數(shù)編號r，從輔助數(shù)據(jù)庫中選定編號r對應(yīng)的輔助圖像W_aux用來幫助服務(wù)器完成認(rèn)證過程，將編號r發(fā)送給客戶端；

2b)服務(wù)器從OpenCV函數(shù)庫調(diào)用imread函數(shù)分別讀入輔助圖像W_aux和相似圖像W’，并調(diào)用size函數(shù)獲取W’的尺寸值s’，然后調(diào)用resize函數(shù)將W_aux的尺寸調(diào)整為s’；

2c)服務(wù)器設(shè)定圖像線性混合參數(shù)α＝0.5，通過下式由相似圖像W’和輔助圖像W_aux計(jì)算得到服務(wù)器端的混合圖像W’₂：

W'₂＝αW'+(1-α)W_aux；

2d)服務(wù)器按照如下步驟計(jì)算混合圖像W’₂的感知哈希值：

2d1)從OpenCV函數(shù)庫調(diào)用cvtColor函數(shù)將混合圖像W’₂從RGB圖像轉(zhuǎn)化為灰度圖像，然后調(diào)用resize函數(shù)將灰度圖像尺寸縮小到64*64，調(diào)用dct函數(shù)對縮小后的圖像進(jìn)行離散余弦變換，得到64*64的系數(shù)矩陣G；

2d2)選取系數(shù)矩陣G左上角的前8行與前8列，得到8*8的低頻系數(shù)矩陣G’，G’代表了混合圖像W’₂的低頻信息；再將G’在位置(0,0)處的直流系數(shù)去掉，調(diào)用均值函數(shù)對其余的系數(shù)計(jì)算平均值A(chǔ)_G’；然后將G’的64個(gè)系數(shù)中大于等于A_G’的設(shè)為1，小于A_G’的設(shè)為0，生成64位的混合圖像W’₂的感知哈希值；

2e)服務(wù)器將步驟2d2)中得到的感知哈希值設(shè)定為驗(yàn)證標(biāo)簽v’，用于對客戶端的證據(jù)標(biāo)簽進(jìn)行認(rèn)證；

2f)客戶端收到2a)中服務(wù)器端發(fā)送的的編號r后，從輔助數(shù)據(jù)庫中選定r對應(yīng)的輔助圖像W_aux；

2g)客戶端從OpenCV函數(shù)庫調(diào)用imread函數(shù)分別讀入輔助圖像W_aux與原始圖像W，并調(diào)用size函數(shù)獲取W的尺寸值s，然后調(diào)用resize函數(shù)將W_aux的尺寸調(diào)整為s；

2h)客戶端設(shè)定圖像線性混合參數(shù)α＝0.5，通過下式由原始圖像W和輔助圖像W_aux計(jì)算得到客戶端的混合圖像W₂：

W₂＝αW+(1-α)W_aux；

2i)客戶端按照如下步驟計(jì)算混合圖像W₂的感知哈希值：

2i1)從OpenCV函數(shù)庫調(diào)用cvtColor函數(shù)將混合圖像W₂從RGB圖像轉(zhuǎn)化為灰度圖像，然后調(diào)用resize函數(shù)將灰度圖像尺寸縮小到64*64，調(diào)用dct函數(shù)對縮小后的圖像進(jìn)行離散余弦變換，得到64*64的系數(shù)矩陣H；

2i2)選取系數(shù)矩陣H左上角的前8行與前8列，得到8*8的低頻系數(shù)矩陣H’，H’代表了混合圖像W₂的低頻信息；再將H’在位置(0,0)處的直流系數(shù)去掉，對其余的系數(shù)計(jì)算平均值A(chǔ)_H’；然后將H’的64個(gè)系數(shù)中大于等于A_H’的設(shè)為1，小于A_H’的設(shè)為0，生成64位的混合圖像W₂的感知哈希值；

2j)客戶端將2i2)中得到的感知哈希值設(shè)定為證據(jù)標(biāo)簽v，將v上傳至服務(wù)器端；

2k)服務(wù)器收到證據(jù)標(biāo)簽v后，將v與步驟2e)中得到的驗(yàn)證標(biāo)簽v’代入公式運(yùn)算得到漢明距離d₂，其中d(v,v')表示v和v'之間的漢明距離，v[j]表示v在第j位的二進(jìn)制值，v'[j]表示v'在第j位的二進(jìn)制值，1≤j≤m，m表示v和v'的二進(jìn)制值的位數(shù)，m＝64；

2l)服務(wù)器判斷2k)中得到的漢明距離d₂是否小于1e)中設(shè)定的相似度閾值t，若是，則認(rèn)證成功；若否，則認(rèn)證失敗。

步驟3，對原始圖像W和相似圖像W’進(jìn)行質(zhì)量比較。

參照圖4，本步驟的具體實(shí)現(xiàn)如下：

3a)服務(wù)器收到1c)中客戶端上傳的原始圖像W的質(zhì)量值q后，從數(shù)據(jù)庫中存儲的n個(gè)圖像質(zhì)量值中找到1f)中得到的特征標(biāo)簽p’所對應(yīng)的質(zhì)量值q’；

3b)服務(wù)器比較q是否大于q’，若是，則認(rèn)定原始圖像W的質(zhì)量比相似圖像W’的質(zhì)量差，執(zhí)行步驟3c)；若否，則認(rèn)定原始圖像W的質(zhì)量比相似圖像W’的質(zhì)量好，執(zhí)行步驟3d)；

3c)服務(wù)器通知客戶端刪除原始圖像W，并將相似圖像W’的鏈接返回給客戶端，客戶端收到W’的鏈接后存儲該鏈接并刪除W，以后任何時(shí)候想要再次獲取W’時(shí)，可以通過W’的鏈接從服務(wù)器下載得到W’；

3d)服務(wù)器請求客戶端上傳原始圖像W，客戶端收到請求后，將W上傳至服務(wù)器，服務(wù)器在收到W后刪除相似圖像W’，再將散列值τ、特征標(biāo)簽p、質(zhì)量q和原始圖像W一起存儲在數(shù)據(jù)庫中，然后將W的鏈接返回給客戶端，客戶端收到W的鏈接后存儲該鏈接，以后任何時(shí)候想再次獲取W時(shí)，可以通過W的鏈接從服務(wù)器下載得到W。

以上描述僅是本發(fā)明的一個(gè)具體實(shí)例，并不構(gòu)成對本發(fā)明的任何限制，顯然對于本領(lǐng)域的專業(yè)人員來說，在了解了本發(fā)明內(nèi)容和原理后，都可能在不背離本發(fā)明原理、結(jié)構(gòu)的情況下，進(jìn)行形式和細(xì)節(jié)上的各種修正和改變，但是這些基于本發(fā)明思想的修正和改變?nèi)栽诒景l(fā)明的權(quán)利要求保護(hù)范圍之內(nèi)。