本實(shí)用新型涉及一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置。

背景技術(shù)：

目前對計(jì)算機(jī)單機(jī)進(jìn)行數(shù)據(jù)備份并離線保存的裝置，主要是光盤，磁帶，優(yōu)盤（包括USB硬盤），能熱插拔的存儲裝置，利用計(jì)算機(jī)本身的計(jì)算和控制能力，對需要備份的數(shù)據(jù)拷貝到對應(yīng)裝置介質(zhì)中實(shí)現(xiàn)，該類裝置的主要功能是根據(jù)計(jì)算機(jī)發(fā)出的指令在管理的介質(zhì)中將存放的數(shù)據(jù)進(jìn)行保存，不會對備份數(shù)據(jù)進(jìn)行處理。

然而，現(xiàn)有的技術(shù)只是解決了數(shù)據(jù)的離線存放的問題，但是計(jì)算機(jī)數(shù)據(jù)如果進(jìn)行多次的、頻繁的存放或備份，會帶來以下問題：

1、每次存放或備份的數(shù)據(jù)都需要在存儲介質(zhì)上面產(chǎn)生副本，多次存放或備份會形成很多個副本，這些副本會產(chǎn)生大量的存儲介質(zhì)容量空間使用。

2、對數(shù)據(jù)進(jìn)行多次存放或備份的時候，如果在計(jì)算機(jī)主機(jī)上沒有備份軟件工具預(yù)先處理或者手工干預(yù)，則需要要對備份數(shù)據(jù)內(nèi)容從頭到尾進(jìn)行全量復(fù)制，備份的速度與所要備份的全量數(shù)據(jù)和通道的速度有關(guān)，備份時間=備份數(shù)據(jù)總量/備份通道速率*備份次數(shù)。如果備份的數(shù)據(jù)量大，多次備份的數(shù)據(jù)量就會很大，所需要的時間也會變得很長。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上情形，為了解決上述技術(shù)存在的問題，本實(shí)用新型提出一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，包括數(shù)據(jù)存儲模塊、通信接口控制模塊和通信口取電模塊，所述數(shù)據(jù)存儲模塊包括計(jì)算處理模塊、高速緩存、系統(tǒng)固件、指針數(shù)據(jù)庫和動態(tài)存儲區(qū)域分配模塊，所述數(shù)據(jù)存儲模塊通過數(shù)據(jù)及供電連接線路與通信接口控制模塊和通信口取電模塊分別進(jìn)行數(shù)據(jù)連接和供電連接，所述通信接口控制模塊和通信口取電模塊通過高速通信線纜與欲進(jìn)行數(shù)據(jù)備份保護(hù)的被保護(hù)計(jì)算機(jī)連接。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，所述動態(tài)存儲區(qū)域分配模塊包括存儲待重復(fù)數(shù)據(jù)刪除處理數(shù)據(jù)的數(shù)據(jù)臨時存放區(qū)和存儲重復(fù)數(shù)據(jù)刪除計(jì)算后數(shù)據(jù)的唯一數(shù)據(jù)存放區(qū)。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，還包括供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊，所述數(shù)據(jù)存儲模塊通過數(shù)據(jù)及供電連接線路與供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊連接，所述供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊通過高速通信線纜與欲進(jìn)行數(shù)據(jù)備份保護(hù)的被保護(hù)計(jì)算機(jī)連接。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，所述高速通信線纜為USB/1394/HDMI/DP/Lightning線纜。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，還包括狀態(tài)顯示/人機(jī)交互模塊、對外通信模塊、存儲擴(kuò)展接口和重置/復(fù)位/寫保護(hù)控制開關(guān)，所述狀態(tài)顯示/人機(jī)交互模塊、對外通信模塊、存儲擴(kuò)展接口和重置/復(fù)位/寫保護(hù)控制開關(guān)通過通信/控制連接線路與數(shù)據(jù)存儲模塊連接。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，所述對外通信模塊設(shè)有傳輸緩存模塊。

在根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置中，優(yōu)選地，所述便攜存儲裝置的總重量小于兩公斤。

在采取本實(shí)用新型提出的技術(shù)后，根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，提供了帶計(jì)算能力的便攜存儲裝置，是儲存和計(jì)算一體裝置，在裝置中運(yùn)行了對備份的重復(fù)數(shù)據(jù)進(jìn)行復(fù)制前或復(fù)制后刪除的算法，使得備份數(shù)據(jù)的介質(zhì)存放空間大大降低。結(jié)合復(fù)制前重復(fù)數(shù)據(jù)刪除的技術(shù)，可以將備份通過單機(jī)輸入輸出通道所需要傳送的數(shù)據(jù)量降低。

在采取本實(shí)用新型提出的技術(shù)后，根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，通過本實(shí)用新型裝置的輸出模塊，可以將備份數(shù)據(jù)復(fù)制到其他的對應(yīng)設(shè)備上，從而實(shí)現(xiàn)復(fù)制源頭端去除重復(fù)數(shù)據(jù)，復(fù)制過程通過快速已重刪數(shù)據(jù)的特征從而進(jìn)行精簡了需要復(fù)制的數(shù)據(jù)，提高復(fù)制通道的帶寬使用率。

在采取本實(shí)用新型提出的技術(shù)后，根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，具有自己的中央處理器，有自己的計(jì)算資源、控制系統(tǒng)和算法軟件，無需計(jì)算機(jī)主機(jī)的計(jì)算資源輔助即可完成自動重復(fù)數(shù)據(jù)刪除。無需在被保護(hù)的計(jì)算機(jī)上面安裝任何的代理軟件或工具即可實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除和上傳數(shù)據(jù)。具備將數(shù)據(jù)復(fù)制到其他設(shè)備的能力，并且可選擇在復(fù)制過程中通過預(yù)設(shè)定的加密算法加密傳輸數(shù)據(jù)。

在采取本實(shí)用新型提出的技術(shù)后，根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，精巧便攜，為無源設(shè)備，是通過被保護(hù)計(jì)算機(jī)自己的通訊接口，例如USB直接連接到被保護(hù)的計(jì)算機(jī)，可以在沒有電源的情況下面，從計(jì)算機(jī)上面取電，實(shí)現(xiàn)數(shù)據(jù)備份；也可以配置供電系統(tǒng)和后備電池供電，降低對計(jì)算機(jī)本身供電的依賴。

附圖說明

圖1示出了根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置結(jié)構(gòu)示意圖

圖2示出了根據(jù)本實(shí)用新型實(shí)施例的采用上述帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置的重復(fù)數(shù)據(jù)刪除計(jì)算及處理方法流程圖

圖3示出了根據(jù)本實(shí)用新型實(shí)施例的采用上述帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置的數(shù)據(jù)上傳方法流程圖

具體實(shí)施方式

下面將參照附圖對本實(shí)用新型的各個優(yōu)選的實(shí)施方式進(jìn)行描述。提供以下參照附圖的描述，以幫助對由權(quán)利要求及其等價物所限定的本實(shí)用新型的示例實(shí)施方式的理解。其包括幫助理解的各種具體細(xì)節(jié)，但它們只能被看作是示例性的。因此，本領(lǐng)域技術(shù)人員將認(rèn)識到，可對這里描述的實(shí)施方式進(jìn)行各種改變和修改，而不脫離本實(shí)用新型的范圍和精神。而且，為了使說明書更加清楚簡潔，將省略對本領(lǐng)域熟知功能和構(gòu)造的詳細(xì)描述。

如圖1所示，一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，包括數(shù)據(jù)存儲模塊、通信接口控制模塊和通信口取電模塊，所述數(shù)據(jù)存儲模塊包括計(jì)算處理模塊、高速緩存、系統(tǒng)固件、指針數(shù)據(jù)庫和動態(tài)存儲區(qū)域分配模塊，所述數(shù)據(jù)存儲模塊通過數(shù)據(jù)及供電連接線路與通信接口控制模塊和通信口取電模塊分別進(jìn)行數(shù)據(jù)連接和供電連接，所述通信接口控制模塊和通信口取電模塊通過高速通信線纜與欲進(jìn)行數(shù)據(jù)備份保護(hù)的被保護(hù)計(jì)算機(jī)連接。

所述動態(tài)存儲區(qū)域分配模塊包括存儲待重復(fù)數(shù)據(jù)刪除處理數(shù)據(jù)的數(shù)據(jù)臨時存放區(qū)和存儲重復(fù)數(shù)據(jù)刪除計(jì)算后數(shù)據(jù)的唯一數(shù)據(jù)存放區(qū)。

作為根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，還包括供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊，所述數(shù)據(jù)存儲模塊通過數(shù)據(jù)及供電連接線路與供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊連接，所述供電模塊及掉電保護(hù)模塊和外部供電及后備電池供電模塊通過高速通信線纜與欲進(jìn)行數(shù)據(jù)備份保護(hù)的被保護(hù)計(jì)算機(jī)連接。

所述高速通信線纜為USB/1394/HDMI/DP/Lightning線纜。

作為根據(jù)本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，還包括狀態(tài)顯示/人機(jī)交互模塊、對外通信模塊、存儲擴(kuò)展接口和重置/復(fù)位/寫保護(hù)控制開關(guān)，所述狀態(tài)顯示/人機(jī)交互模塊、對外通信模塊、存儲擴(kuò)展接口和重置/復(fù)位/寫保護(hù)控制開關(guān)通過通信/控制連接線路與數(shù)據(jù)存儲模塊連接。

所述對外通信模塊設(shè)有傳輸緩存模塊。

所述便攜存儲裝置的總重量小于兩公斤，方便攜帶和使用。

如圖2所示，一種采用上述便攜存儲裝置的重復(fù)數(shù)據(jù)刪除計(jì)算及處理方法，其步驟在于，將裝置插入被保護(hù)計(jì)算機(jī)主機(jī)非網(wǎng)絡(luò)或存儲的USB/1394/HDMI/DP/Lightning端口；啟動掉電保護(hù)；與被保護(hù)計(jì)算機(jī)主機(jī)握手通信，判斷接口類型并用對應(yīng)的接口驅(qū)動對接主機(jī)，在主機(jī)上展現(xiàn)存儲設(shè)備；接收到主機(jī)存入的數(shù)據(jù)并存放在計(jì)算區(qū)，所述計(jì)算區(qū)包括被掉電保護(hù)的內(nèi)存或高速存儲；判斷計(jì)算區(qū)是否已滿，若計(jì)算區(qū)未滿，快速分類寫入數(shù)據(jù)類型；判斷是否黑名單類型，若不是黑名單類型，根據(jù)數(shù)據(jù)類型對數(shù)據(jù)塊套用預(yù)設(shè)分段方案的哈希計(jì)算型重復(fù)數(shù)據(jù)刪除比對算法；判斷是否與既有數(shù)據(jù)重復(fù)，若與既有數(shù)據(jù)重復(fù)，刪除/丟棄寫入的塊數(shù)據(jù)；判斷新增數(shù)據(jù)是否已處理完畢，若新增數(shù)據(jù)處理完畢，結(jié)束備份，等待下一筆數(shù)據(jù)塊寫入。

所述判斷計(jì)算區(qū)是否已滿時，若計(jì)算區(qū)已滿，則判斷存儲區(qū)是否已滿，若存儲區(qū)已滿，停止接收新的數(shù)據(jù)，若存儲區(qū)未滿，則在存儲區(qū)申請臨時存儲空間存放溢出數(shù)據(jù)，并快速分類寫入數(shù)據(jù)類型。

所述判斷是否黑名單類型時，若是黑名單類型，讀取該數(shù)據(jù)類型的所有數(shù)據(jù)塊，執(zhí)行非哈希計(jì)算型重復(fù)數(shù)據(jù)刪除比對算法后，再判斷是否與既有數(shù)據(jù)重復(fù)。

所述判斷是否與既有數(shù)據(jù)重復(fù)時，若與既有數(shù)據(jù)不重復(fù)，將數(shù)據(jù)塊指針和重復(fù)數(shù)據(jù)刪除后的唯一數(shù)據(jù)塊分別存放在特征及指針數(shù)據(jù)庫和唯一數(shù)據(jù)塊存放區(qū)。

如圖3所示，一種采用上述便攜存儲裝置的數(shù)據(jù)上傳方法，其步驟在于，觸動開關(guān)或監(jiān)控命令啟動上傳，與計(jì)算機(jī)主機(jī)脫機(jī)并提示要求脫機(jī)，讀取配置文件，連接到配置中的上傳地址，順序讀取特征及指針數(shù)據(jù)庫中的數(shù)據(jù)塊記錄，比對上傳服務(wù)器中的特征及指針數(shù)據(jù)庫，若無重復(fù)，讀取對應(yīng)數(shù)據(jù)塊并上傳，所有數(shù)據(jù)傳輸完畢后，提示傳輸結(jié)束。

根據(jù)上述本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，提供了帶計(jì)算能力的便攜存儲裝置，是儲存和計(jì)算一體裝置，在裝置中運(yùn)行了對備份的重復(fù)數(shù)據(jù)進(jìn)行復(fù)制前或復(fù)制后刪除的算法，使得備份數(shù)據(jù)的介質(zhì)存放空間大大降低。結(jié)合復(fù)制前重復(fù)數(shù)據(jù)刪除的技術(shù)，可以將備份通過單機(jī)輸入輸出通道所需要傳送的數(shù)據(jù)量降低。

根據(jù)上述本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，通過本實(shí)用新型裝置的輸出模塊，可以將備份數(shù)據(jù)復(fù)制到其他的對應(yīng)設(shè)備上，從而實(shí)現(xiàn)復(fù)制源頭端去除重復(fù)數(shù)據(jù)，復(fù)制過程通過快速已重刪數(shù)據(jù)的特征從而進(jìn)行精簡了需要復(fù)制的數(shù)據(jù)，提高復(fù)制通道的帶寬使用率。

根據(jù)上述本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，具有自己的中央處理器，有自己的計(jì)算資源、控制系統(tǒng)和算法軟件，無需計(jì)算機(jī)主機(jī)的計(jì)算資源輔助即可完成自動重復(fù)數(shù)據(jù)刪除。無需在被保護(hù)的計(jì)算機(jī)上面安裝任何的代理軟件或工具即可實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除和上傳數(shù)據(jù)。具備將數(shù)據(jù)復(fù)制到其他設(shè)備的能力，并且可選擇在復(fù)制過程中通過預(yù)設(shè)定的加密算法加密傳輸數(shù)據(jù)。

根據(jù)上述本實(shí)用新型實(shí)施例的一種帶重復(fù)數(shù)據(jù)刪除計(jì)算及處理功能的便攜存儲裝置，精巧便攜，為無源設(shè)備，是通過被保護(hù)計(jì)算機(jī)自己的通訊接口，例如USB直接連接到被保護(hù)的計(jì)算機(jī)，可以在沒有電源的情況下面，從計(jì)算機(jī)上面取電，實(shí)現(xiàn)數(shù)據(jù)備份；也可以配置供電系統(tǒng)和后備電池供電，降低對計(jì)算機(jī)本身供電的依賴。

以上對本實(shí)用新型進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本實(shí)用新型的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本實(shí)用新型的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本實(shí)用新型的思想，在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本實(shí)用新型的限制。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本實(shí)用新型可實(shí)施。當(dāng)然，以上所列的情況僅為示例，本實(shí)用新型并不僅限于此。本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)本實(shí)用新型技術(shù)方案的其他變形或簡化，都可以適當(dāng)?shù)貞?yīng)用于本實(shí)用新型，并且應(yīng)該包括在本實(shí)用新型的范圍內(nèi)。