技術(shù)特征：

1.一種安全可靠的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于：包括依次連接的前端采集設(shè)備、有線/無(wú)線傳輸設(shè)備和后端數(shù)據(jù)處理設(shè)備；所述的前端采集設(shè)備包括數(shù)據(jù)采集模塊和加密模塊，所述的數(shù)據(jù)采集模塊用于采集數(shù)據(jù)，所述的加密模塊用于對(duì)采集到的數(shù)據(jù)進(jìn)行加密處理；所述的有線/無(wú)線傳輸設(shè)備用于將加密數(shù)據(jù)發(fā)送至后端數(shù)據(jù)處理設(shè)備；所述的后端數(shù)據(jù)處理設(shè)備包括解密模塊、存儲(chǔ)模塊和指紋值數(shù)據(jù)庫(kù)創(chuàng)建模塊，所述的解密模塊用于對(duì)接收到的數(shù)據(jù)進(jìn)行解密處理，所述的存儲(chǔ)模塊實(shí)現(xiàn)將對(duì)象流中的對(duì)象進(jìn)行加密后通過(guò)內(nèi)容比較的方式進(jìn)行分段，得到多個(gè)數(shù)據(jù)片段，并建立對(duì)數(shù)據(jù)片段到對(duì)象的反相引用，或者上傳數(shù)據(jù)片段并將所述指紋值更新至所述指紋值數(shù)據(jù)庫(kù)；所述的指紋值數(shù)據(jù)庫(kù)創(chuàng)建模塊用于獲取大量與待存儲(chǔ)數(shù)據(jù)類型相同的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行與存儲(chǔ)模塊相同的加密后再進(jìn)行不同長(zhǎng)度的分段，得到多組數(shù)據(jù)片段，計(jì)算數(shù)據(jù)片段的指紋值并上傳至指紋值數(shù)據(jù)庫(kù)；

所述的存儲(chǔ)模塊包括：

加密單元：用于對(duì)待存儲(chǔ)的文件進(jìn)行加密，并將加密后得到的對(duì)象發(fā)送至比較組獲取單元；其中，加密前的文件為F＝(d₁,d₂,......,d_N)，是包含N個(gè)消息的串，加密后的文件為F'＝(e₁,e₂,......,e_N+1)，e_i為d_i加密后的消息，其中加密的消息I為初始向量，E_K(i)表示基于密鑰的加密算法，e_N+1表示之前所有加密消息e₁,e₂,......,e_N的密鑰K和哈希的異或函數(shù)，即其中H(i)是加密算法；

比較組獲取單元：用于獲取比較組，所述的比較組為對(duì)象的第m位至m+X位；其中，m為比較組的初始位，m的初始值為0，X為固定步長(zhǎng)；

比較組指紋值計(jì)算單元：用于計(jì)算比較組對(duì)應(yīng)的指紋值；

映射關(guān)系對(duì)應(yīng)表生成單元：用于對(duì)比較組指紋值計(jì)算單元計(jì)算得到的指紋值生成反映所述指紋值與對(duì)應(yīng)的存儲(chǔ)位置的映射關(guān)系對(duì)應(yīng)表；

判斷與處理單元：用于調(diào)用指紋值數(shù)據(jù)庫(kù)，判斷所述指紋值數(shù)據(jù)庫(kù)中是否存在所述指紋值：

(1)如果能夠?qū)?yīng)：則將緩存中的指紋值進(jìn)行更新，將比較組更新為m～m+X+p*n位，同時(shí)返回比較組獲取單元，其中p為m未更新的情況下的能夠?qū)?yīng)的總次數(shù)，n為每次能夠?qū)?yīng)后增加的增加步長(zhǎng)；

(2)如果不能夠?qū)?yīng)，則進(jìn)一步判斷緩存中是否存在指紋值：

如果緩存中存在指紋值，則建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用，同時(shí)清空緩存，將比較組的初始位m更新為m+X+(p-1)*n+1，完成后返回比較組獲取單元；

如果緩存中不存在指紋值，則上傳所述對(duì)象的前X位的數(shù)據(jù)片段，并將對(duì)應(yīng)的指紋值更新至所述指紋值數(shù)據(jù)庫(kù)，將比較組的初始位m更新為m+X+1，完成后返回比較組獲取單元；

結(jié)束判斷單元：用于判斷是否完成整個(gè)對(duì)象的分段，如果是則結(jié)束。

2.根據(jù)權(quán)利要求1所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于：所述的后端數(shù)據(jù)處理設(shè)備還包括：數(shù)據(jù)分析模塊，用于對(duì)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)按照模型進(jìn)行分析。

3.根據(jù)權(quán)利要求1所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于：所述的存儲(chǔ)模塊還包括一個(gè)長(zhǎng)度判斷與數(shù)據(jù)處理單元：如果對(duì)象的最后一位大于m+X，則進(jìn)入比較組獲取單元；否則：直接計(jì)算m位～對(duì)象最后一位的指紋值；按照計(jì)算得到的指紋值生成反映所述指紋值與對(duì)應(yīng)的存儲(chǔ)位置的映射關(guān)系對(duì)應(yīng)表；調(diào)用指紋值數(shù)據(jù)庫(kù)，判斷所述指紋值數(shù)據(jù)庫(kù)中是否存在所述指紋值：如果是，則建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用；如果否，則上傳所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段，并將所述指紋值更新至所述指紋值數(shù)據(jù)庫(kù)。

4.根據(jù)權(quán)利要求1所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于：所述的存儲(chǔ)模塊還包括一個(gè)對(duì)象頭/尾判斷單元：用于判斷對(duì)象頭/尾是否與為指紋值數(shù)據(jù)庫(kù)中常用的數(shù)據(jù)頭/尾，如果是則快速獲取指紋值并建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用，并去掉常用的數(shù)據(jù)頭/尾后進(jìn)入比較組獲取單元。

5.根據(jù)權(quán)利要求1所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于：所述的比較組限制有最大值Y，當(dāng)在能夠?qū)?yīng)的同時(shí)，滿足X+p*n小于等于Y而X+(p+1)*n大于Y，則直接進(jìn)入不能夠?qū)?yīng)并且緩存中存在指紋值的情況。

6.一種安全可靠的大數(shù)據(jù)存儲(chǔ)方法，其特征在于：包括存儲(chǔ)步驟和指紋值數(shù)據(jù)庫(kù)創(chuàng)建步驟，所述的存儲(chǔ)步驟包括以下子步驟：

S1：前端采集設(shè)備的數(shù)據(jù)采集模塊采集數(shù)據(jù)，前端采集設(shè)備的加密模塊對(duì)采集到的數(shù)據(jù)進(jìn)行加密處理；

S2：有線/無(wú)線傳輸設(shè)備將加密數(shù)據(jù)發(fā)送至后端數(shù)據(jù)處理設(shè)備；

S3：后端數(shù)據(jù)處理設(shè)備的解密模塊對(duì)接收到的數(shù)據(jù)進(jìn)行解密處理，后端數(shù)據(jù)處理設(shè)備的存儲(chǔ)模塊對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，包括以下子步驟：

S31：接收待存儲(chǔ)的數(shù)據(jù)，在進(jìn)行加密操作得到對(duì)象后進(jìn)入步驟S32；其中，加密前的文件為F＝(d₁,d₂,......,d_N)，是包含N個(gè)消息的串，加密后的文件為F'＝(e₁,e₂,......,e_N+1)，e_i為d_i加密后的消息，其中加密的消息I為初始向量，E_K(i)表示基于密鑰的加密算法，e_N+1表示之前所有加密消息e₁,e₂,......,e_N的密鑰K和哈希的異或函數(shù)，即其中H(i)是加密算法；

S32：將對(duì)象流中的對(duì)象進(jìn)行通過(guò)內(nèi)容比較的方式進(jìn)行分段，得到多個(gè)數(shù)據(jù)片段，并建立對(duì)數(shù)據(jù)片段到對(duì)象的反相引用，或者上傳數(shù)據(jù)片段并將所述指紋值更新至所述指紋值數(shù)據(jù)庫(kù)，包括以下子步驟：

S321：獲取比較組，所述的比較組為對(duì)象的第m位至m+X位；其中，m為比較組的初始位，m的初始值為0，X為固定步長(zhǎng)；

S322：計(jì)算比較組對(duì)應(yīng)的指紋值；

S323：按照步驟S322計(jì)算得到的指紋值生成反映所述指紋值與對(duì)應(yīng)的存儲(chǔ)位置的映射關(guān)系對(duì)應(yīng)表；

S324：調(diào)用指紋值數(shù)據(jù)庫(kù)，判斷所述指紋值數(shù)據(jù)庫(kù)中是否存在所述指紋值：

(1)如果能夠?qū)?yīng)：

則將緩存中的指紋值進(jìn)行更新，將比較組更新為m～m+X+p*n位，同時(shí)返回步驟S322，其中p為m未更新的情況下的能夠?qū)?yīng)的總次數(shù)，n為每次能夠?qū)?yīng)后增加的增加步長(zhǎng)；

(2)如果不能夠?qū)?yīng)，則對(duì)判斷緩存中是否存在指紋值：

(2-1)如果緩存中存在指紋值，則建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用，同時(shí)清空緩存，將比較組的初始位m更新為m+X+(p-1)*n+1，完成后返回步驟S321；

(2-2)如果緩存中不存在指紋值，則上傳所述對(duì)象的前X位的數(shù)據(jù)片段，并將對(duì)應(yīng)的指紋值更新至所述指紋值數(shù)據(jù)庫(kù)，將比較組的初始位m更新為m+X+1，完成后返回步驟S321；

S33：當(dāng)完成整個(gè)對(duì)象的分段，則結(jié)束；

所述的指紋值數(shù)據(jù)庫(kù)創(chuàng)建步驟包括：獲取大量與待存儲(chǔ)數(shù)據(jù)類型相同的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行與存儲(chǔ)模塊相同的加密后再進(jìn)行不同長(zhǎng)度的分段，得到多組數(shù)據(jù)片段，計(jì)算數(shù)據(jù)片段的指紋值并上傳至指紋值數(shù)據(jù)庫(kù)。

7.根據(jù)權(quán)利要求6所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)方法，其特征在于：還包括步驟S4數(shù)據(jù)分析：對(duì)數(shù)據(jù)處理得到的數(shù)據(jù)按照模型進(jìn)行分析。

8.根據(jù)權(quán)利要求6所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)方法，其特征在于：在步驟S321所述的獲取比較組之前，還包括一個(gè)判斷步驟：如果對(duì)象的最后一位大于m+X，則進(jìn)入步驟S321；否則：

S01：直接計(jì)算m位～對(duì)象最后一位的指紋值；

S02：按照計(jì)算得到的指紋值生成反映所述指紋值與對(duì)應(yīng)的存儲(chǔ)位置的映射關(guān)系對(duì)應(yīng)表；

S03：調(diào)用指紋值數(shù)據(jù)庫(kù)，判斷所述指紋值數(shù)據(jù)庫(kù)中是否存在所述指紋值：如果是，則建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用；如果否，則上傳所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段，并將所述指紋值更新至所述指紋值數(shù)據(jù)庫(kù)。

9.根據(jù)權(quán)利要求6所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)方法，其特征在于：在步驟S31和步驟S32之間還包括一個(gè)對(duì)象頭/尾判斷步驟，用于判斷對(duì)象頭/尾是否與為指紋值數(shù)據(jù)庫(kù)中常用的數(shù)據(jù)頭/尾，如果是則快速獲取指紋值并建立所述指紋值對(duì)應(yīng)的數(shù)據(jù)片段到所述對(duì)象的反向引用，并去掉常用的數(shù)據(jù)頭/尾后進(jìn)入步驟S32。

10.根據(jù)權(quán)利要求6所述的一種安全可靠的大數(shù)據(jù)存儲(chǔ)方法，其特征在于：所述的比較組限制有最大值Y，在步驟S324中，當(dāng)在能夠?qū)?yīng)的同時(shí)，滿足X+p*n小于等于Y而X+(p+1)*n大于Y，則直接進(jìn)入不能夠?qū)?yīng)并且緩存中存在指紋值的情況。