加密數(shù)據(jù)文件存儲和檢索系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息安全技術(shù)領(lǐng)域，具體涉及一種基于云存儲系統(tǒng)的加密數(shù)據(jù)文件存儲和檢索系統(tǒng)及方法。
【背景技術(shù)】
[0002]相比傳統(tǒng)的數(shù)據(jù)文件存儲方式，云存儲技術(shù)具有很多的優(yōu)勢:
(1)成本低廉，傳統(tǒng)方式下，用戶需要購買大量的服務(wù)器、硬盤等基礎(chǔ)設(shè)備，而且還需要定期對設(shè)備進(jìn)行升級，而在云存儲環(huán)境中，用戶不再需要購買這些基礎(chǔ)設(shè)備，一方面節(jié)省了購買基礎(chǔ)設(shè)備的成本，另一方面也減少了維護(hù)的費(fèi)用；
(2)伸縮性好，對于中小企業(yè)來說，前期很難估算需要的存儲容量大小，而云存儲可以很好的解決這一問題，前期可以根據(jù)當(dāng)前需要購買滿足需求的存儲容量，當(dāng)業(yè)務(wù)增長，數(shù)據(jù)量增多時，可以動態(tài)的增加存儲容量而不影響之前的數(shù)據(jù)；
(3)數(shù)據(jù)自動備份，為了數(shù)據(jù)安全，很多用戶都會將數(shù)據(jù)進(jìn)行備份，而備份往往比較繁瑣而且存在備份數(shù)據(jù)安全和完整性保護(hù)問題，云存儲供應(yīng)商一般給數(shù)據(jù)文件提供兩個或兩個以上的副本，充分保證數(shù)據(jù)文件的高可用性，從而將用戶從數(shù)據(jù)備份的煩惱中解救出來；
(4)故障自動切換，傳統(tǒng)的存儲系統(tǒng)升級時，需要將數(shù)據(jù)從舊的存儲中迀移到別的存儲服務(wù)器上，等新的存儲服務(wù)器上線之后，再將數(shù)據(jù)迀移回來，一方面會造成服務(wù)的中斷，另一方面也會帶來數(shù)據(jù)丟失的風(fēng)險，而在云存儲環(huán)境中這些問題都將不復(fù)存在，系統(tǒng)檢測到異常時，會自動將服務(wù)切換到可用的冗余存儲集群上，而不影響正常的服務(wù)，更不會丟失數(shù)據(jù)。
[0003]雖然云存儲具有諸多的優(yōu)勢，但也存在一些不足，尤其突出的一點(diǎn)是越來越多的用戶擔(dān)心:自己的數(shù)據(jù)存儲在由他人管理和控制的云存儲系統(tǒng)環(huán)境中，有可能泄露數(shù)據(jù)的內(nèi)容，給個人和公司帶來損失。目前解決此類問題的方法是將數(shù)據(jù)以加密的形式存儲在云存儲系統(tǒng)中。
[0004]雖然將數(shù)據(jù)文件加密存儲，可以保護(hù)數(shù)據(jù)文件的隱私性和安全性，但是同時也帶來了一個問題:在很多場景下，用戶需要根據(jù)一些特定的內(nèi)容來檢索數(shù)據(jù)文件，如果數(shù)據(jù)文件加密了，就導(dǎo)致無法檢索，或者檢索速度緩慢。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種加密數(shù)據(jù)文件存儲和檢索系統(tǒng)及方法，解決加密數(shù)據(jù)文件檢索困難和檢索速度慢的問題，能夠在數(shù)據(jù)文件處于加密狀態(tài)的基礎(chǔ)上，快速的檢索出所需的加密數(shù)據(jù)文件信息。
[0006]為實現(xiàn)上述目的，本發(fā)明提供一種加密數(shù)據(jù)文件存儲和檢索系統(tǒng)，其特點(diǎn)是，該系統(tǒng)包含:
云存儲系統(tǒng)，其包含服務(wù)器端和存儲設(shè)備;服務(wù)器端包含用戶身份認(rèn)證模塊、內(nèi)容元數(shù)據(jù)提取模塊、元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)文件加密模塊、信息檢索模塊;元數(shù)據(jù)管理系統(tǒng)下接并管理內(nèi)容元數(shù)據(jù)庫、系統(tǒng)元數(shù)據(jù)庫和存儲元數(shù)據(jù)庫;存儲設(shè)備，其用于存儲數(shù)據(jù)文件，數(shù)據(jù)文件包含加密數(shù)據(jù)文件和明文數(shù)據(jù)文件；
客戶端，其包含內(nèi)容元數(shù)據(jù)提取模塊和數(shù)據(jù)文件加密模塊。
[0007]—種加密數(shù)據(jù)文件存儲和檢索方法，其特點(diǎn)是，該方法包含:
客戶端或云存儲系統(tǒng)服務(wù)器端提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)后進(jìn)行加密生成加密數(shù)據(jù)文件，加密數(shù)據(jù)文件及對應(yīng)的內(nèi)容元數(shù)據(jù)分別存儲于云存儲系統(tǒng)的存儲存儲設(shè)備和服務(wù)器端的內(nèi)容元數(shù)據(jù)庫中；內(nèi)容元數(shù)據(jù)包含數(shù)據(jù)文件的屬性信息和內(nèi)容信息，以及數(shù)據(jù)文件在加密狀態(tài)下的文件全局標(biāo)識符；
檢索云存儲系統(tǒng)中存儲的加密數(shù)據(jù)文件時，服務(wù)端的加密數(shù)據(jù)文件檢索模塊通過倒排索引方法，在服務(wù)器端的內(nèi)容元數(shù)據(jù)庫中檢索獲得與檢索關(guān)鍵詞匹配的數(shù)據(jù)文件在加密狀態(tài)下的文件全局標(biāo)識符，列出該文件全局標(biāo)識符對應(yīng)的加密數(shù)據(jù)文件的屬性信息和內(nèi)容信息作為檢索結(jié)果返回。
[0008]上述客戶端提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)后進(jìn)行加密生成加密數(shù)據(jù)文件的方法包含:
客戶端提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)；
客戶端加密已提取內(nèi)容元數(shù)據(jù)的數(shù)據(jù)文件，生成加密數(shù)據(jù)文件；
客戶端將加密數(shù)據(jù)文件及對應(yīng)的內(nèi)容元數(shù)據(jù)上傳至云存儲系統(tǒng)服務(wù)器端。
[0009]上述云存儲系統(tǒng)服務(wù)器端提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)后進(jìn)行加密生成加密數(shù)據(jù)文件的方法包含:
客戶端將數(shù)據(jù)文件上傳至云存儲系統(tǒng)服務(wù)器端；
云存儲系統(tǒng)服務(wù)器端提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)；
云存儲系統(tǒng)服務(wù)器端對已提取內(nèi)容元數(shù)據(jù)的數(shù)據(jù)文件加密，生成加密數(shù)據(jù)文件。
[0010]上述提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)包含:客戶端或云存儲系統(tǒng)服務(wù)器端的內(nèi)容元數(shù)據(jù)提取模塊根據(jù)數(shù)據(jù)文件的特性，對數(shù)據(jù)文件內(nèi)容做初步的分析，提取能體現(xiàn)數(shù)據(jù)文件特性的屬性信息和內(nèi)容信息，并將數(shù)據(jù)文件加密后的文件全局標(biāo)識符添加到內(nèi)容元數(shù)據(jù)中。
[0011]上述提取數(shù)據(jù)文件的內(nèi)容元數(shù)據(jù)后，客戶端可對存儲于云存儲系統(tǒng)服務(wù)器端內(nèi)容元數(shù)據(jù)庫中的內(nèi)容元數(shù)據(jù)進(jìn)行修改。
[0012]上述云存儲系統(tǒng)服務(wù)器端將加密數(shù)據(jù)文件分布式存儲在云存儲系統(tǒng)的存儲設(shè)備，并將內(nèi)容元數(shù)據(jù)存儲于云存儲系統(tǒng)的內(nèi)容元數(shù)據(jù)庫中。
[0013]上述檢索云存儲系統(tǒng)服務(wù)器端中存儲的加密數(shù)據(jù)文件包含:
客戶端發(fā)送包含檢索關(guān)鍵詞的檢索請求，云存儲系統(tǒng)分析檢索請求確定檢索請求中檢索關(guān)鍵詞內(nèi)容的合法性；
云存儲系統(tǒng)的信息檢索模塊通過倒排索引方法對內(nèi)容元數(shù)據(jù)庫進(jìn)行匹配查詢，獲取與檢索關(guān)鍵詞匹配的數(shù)據(jù)文件在加密狀態(tài)下的文件全局標(biāo)識符和文件全局標(biāo)識符對應(yīng)的數(shù)據(jù)文件的屬性信息和內(nèi)容信息作為檢索結(jié)果；
信息檢索模塊將檢索結(jié)果進(jìn)行排序后發(fā)送至客戶端。
[0014]上述客戶端根據(jù)檢索結(jié)果，可選擇下載檢索結(jié)果中所列的文件全局標(biāo)識符對應(yīng)的加密數(shù)據(jù)文件；
若加密數(shù)據(jù)文件是在客戶端加密則云存儲系統(tǒng)直接將加密數(shù)據(jù)文件傳到用戶客戶端，由客戶端進(jìn)行解密；
若加密數(shù)據(jù)文件是在云存儲系統(tǒng)服務(wù)器端加密，則由云存儲系統(tǒng)服務(wù)器端將加密數(shù)據(jù)文件解密后傳到客戶端。
[0015]上述加密數(shù)據(jù)文件的檢索方法還包含倒排索引方法的優(yōu)化方法，該倒排索引方法的優(yōu)化方法包含:
經(jīng)過垂直分割和水平移動，使數(shù)據(jù)文件內(nèi)容元數(shù)據(jù)的倒排索引矩陣的零元素移到矩陣的底部和右部；
再經(jīng)過分塊聚類，將原來的高維稀疏矩陣轉(zhuǎn)變?yōu)槿舾蓚€低維稠密矩陣；
對內(nèi)容元數(shù)據(jù)檢索時，將優(yōu)化的稀疏矩陣中若干個的低維矩陣分別送到云存儲系統(tǒng)中的不同處理單元進(jìn)行并行處理。
[0016]本發(fā)明加密數(shù)據(jù)文件存儲和檢索系統(tǒng)及方法和現(xiàn)有技術(shù)的加密數(shù)據(jù)文件存儲和檢索技術(shù)相比，其優(yōu)點(diǎn)在于，本發(fā)明建立了一種新型的內(nèi)容元數(shù)據(jù)結(jié)構(gòu)，保證用戶從多角度、多方位對加密數(shù)據(jù)文件的檢索，保障了數(shù)據(jù)文件在云存儲環(huán)境中的安全性和隱私性同時，保障了數(shù)據(jù)文件檢索的便利性；
本發(fā)明中數(shù)據(jù)文件都是以加密方式保存在云存儲系統(tǒng)中，即使得到加密的數(shù)據(jù)文件，沒有解密密鑰，數(shù)據(jù)文件也不會泄露；
本發(fā)明設(shè)計一種適合于內(nèi)容元數(shù)據(jù)檢索的新型倒排索引方法，能夠根據(jù)用戶在客戶端提供的關(guān)鍵詞信息在云存儲系統(tǒng)中快速檢索出對應(yīng)的加密數(shù)據(jù)文件，保證了用戶加密數(shù)據(jù)文件檢索的效率和精度，解決了云存儲等大數(shù)據(jù)環(huán)境中的加密數(shù)據(jù)文件檢索難或檢索速度慢的問題；
本發(fā)明對于云存儲系統(tǒng)中的加密數(shù)據(jù)文件和明文數(shù)據(jù)文件的檢索同樣適用，都能達(dá)到快速檢索并返回檢索結(jié)果的目的。
【