數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備的制作方法
【專利摘要】本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備，該存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；該存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；第一重復(fù)數(shù)據(jù)刪除集合包含第一數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；第二重復(fù)數(shù)據(jù)刪除集合包括第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；指針用于引用第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；第一數(shù)據(jù)塊是第二數(shù)據(jù)的組成部分，并且第一數(shù)據(jù)塊與第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；首先判斷所述第一數(shù)據(jù)塊的被引用數(shù)量；然后當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
【專利說明】數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明實(shí)施例涉及數(shù)據(jù)存儲(chǔ)技術(shù)，尤其涉及一種數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備。

【背景技術(shù)】
[0002]隨著信息時(shí)代的不斷發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)也在急速增長(zhǎng)，存儲(chǔ)海量數(shù)據(jù)的同時(shí)也隨之帶來了能源消耗高的問題。重復(fù)數(shù)據(jù)刪除技術(shù)可以有效的刪除數(shù)據(jù)中的重復(fù)部分以減少存儲(chǔ)所需空間，多份相同的數(shù)據(jù)之間會(huì)互相引用，由于哈希計(jì)算的隨機(jī)性，為了讀取一份數(shù)據(jù)可能會(huì)涉及到磁盤的全面尋址。
[0003]在現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)中，將數(shù)據(jù)被分為多個(gè)數(shù)據(jù)塊(Chunk)，在存儲(chǔ)時(shí)不考慮數(shù)據(jù)塊的引用關(guān)系，對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行哈希計(jì)算得到各個(gè)數(shù)據(jù)塊的哈希值后將各個(gè)數(shù)據(jù)塊隨機(jī)存儲(chǔ)在不同的磁盤或磁帶當(dāng)中，即一份數(shù)據(jù)的多個(gè)數(shù)據(jù)塊存儲(chǔ)在較多不同的磁盤或磁帶當(dāng)中，因此，在讀取該份數(shù)據(jù)時(shí)，需要對(duì)較多的磁盤或磁帶上電，導(dǎo)致能源消耗過大。


【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備，可以在讀取數(shù)據(jù)時(shí)減少讀取時(shí)需要調(diào)用的磁盤，從而可以降低能源消耗。
[0005]第一方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法，所述存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；所述存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；所述第一重復(fù)數(shù)據(jù)刪除集合包含所述第一數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；所述第二重復(fù)數(shù)據(jù)刪除集合包括所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；所述指針用于引用所述第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，所述第一數(shù)據(jù)塊是所述第二數(shù)據(jù)的組成部分，并且所述第一數(shù)據(jù)塊與所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；所述方法包括:
[0006]判斷所述第一數(shù)據(jù)塊的被引用數(shù)量；
[0007]當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除
^ 由:? 口卞 O
[0008]結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述第一重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第一硬盤中；所述第二重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第二硬盤中；所述第三重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第三硬盤中。
[0009]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述第三硬盤的數(shù)據(jù)訪問速度大于所述第一硬盤的數(shù)據(jù)訪問數(shù)度。
[0010]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，當(dāng)所述第一重復(fù)數(shù)據(jù)刪除集合的數(shù)據(jù)塊的被引用數(shù)量均為I時(shí)，關(guān)閉所述第一硬盤電源。
[0011]第二方面，本發(fā)明實(shí)施例提供一種存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；所述存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；所述第一重復(fù)數(shù)據(jù)刪除集合包含所述第一數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；所述第二重復(fù)數(shù)據(jù)刪除集合包括所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；所述指針用于引用所述第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，所述第一數(shù)據(jù)塊是所述第二數(shù)據(jù)的組成部分，并且所述第一數(shù)據(jù)塊與所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；所述設(shè)備包括:
[0012]判斷單元，用于判斷所述第一數(shù)據(jù)塊的被引用數(shù)量；
[0013]處理單元，用于當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
[0014]結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述處理單元還用于:將所述第一重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第一硬盤中；將所述第二重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第二硬盤中；將所述第三重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第三硬盤中。
[0015]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述第三硬盤的數(shù)據(jù)訪問速度大于所述第一硬盤的數(shù)據(jù)訪問數(shù)度。
[0016]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述處理單元還用于:當(dāng)所述第一重復(fù)數(shù)據(jù)刪除集合的數(shù)據(jù)塊的被引用數(shù)量均為I時(shí)，關(guān)閉所述第一硬盤電源。
[0017]第三方面，本發(fā)明實(shí)施例提供一種存儲(chǔ)設(shè)備，包括中央處理器和存儲(chǔ)器；所述中央處理器和所述存儲(chǔ)器通過總線通信；所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；所述中央處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令，用于執(zhí)行第一方面所述的任一可能的實(shí)現(xiàn)方式。本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法和存儲(chǔ)設(shè)備，該存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；該存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；第一重復(fù)數(shù)據(jù)刪除集合包含第一數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；第二重復(fù)數(shù)據(jù)刪除集合包括第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；指針用于引用第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；第一數(shù)據(jù)塊是第二數(shù)據(jù)的組成部分，并且第一數(shù)據(jù)塊與第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；首先判斷所述第一數(shù)據(jù)塊的被引用數(shù)量；然后當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中?？梢栽谧x取數(shù)據(jù)時(shí)減少讀取時(shí)需要調(diào)用的磁盤，從而可以降低能源消耗。

【專利附圖】

【附圖說明】
[0018]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0019]圖1為本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法的流程示意圖；
[0020]圖2為本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法的效果示意圖；
[0021]圖3為本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法的實(shí)施場(chǎng)景示意圖；
[0022]圖4為本發(fā)明實(shí)施例提供的存儲(chǔ)設(shè)備的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0023]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0024]在介紹本發(fā)明實(shí)施例提供的技術(shù)方案前，先對(duì)本發(fā)明實(shí)施例涉及到的相關(guān)的內(nèi)容以及現(xiàn)有技術(shù)進(jìn)行介紹:
[0025]重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤的備份系統(tǒng)，旨在減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量。通過刪除重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)，可對(duì)存儲(chǔ)容量進(jìn)行有效優(yōu)化。通過判斷待存儲(chǔ)的數(shù)據(jù)塊的指紋，如果備份系統(tǒng)中已經(jīng)存在相同指紋的數(shù)據(jù)塊，則表明待存儲(chǔ)數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，因此，備份系統(tǒng)不再存儲(chǔ)該待存儲(chǔ)數(shù)據(jù)塊，只使用指針指向備份系統(tǒng)中相同指紋的數(shù)據(jù)塊。這樣，當(dāng)訪問該待存儲(chǔ)數(shù)據(jù)塊時(shí)，根據(jù)指針指向的數(shù)據(jù)塊地址，讀取數(shù)據(jù)塊。備份系統(tǒng)中存儲(chǔ)的該數(shù)據(jù)塊被指針指向一次，也稱為被引用一次，或者稱為數(shù)據(jù)塊引用。如果備份系統(tǒng)中不相同指紋的數(shù)據(jù)塊，則存儲(chǔ)該數(shù)據(jù)塊。在重復(fù)數(shù)據(jù)刪除實(shí)現(xiàn)中，通常一個(gè)新的數(shù)據(jù)塊寫入(備份系統(tǒng)中沒有存儲(chǔ)相同的數(shù)據(jù)塊)時(shí)，該新的數(shù)據(jù)塊的引用次數(shù)默認(rèn)為I。本發(fā)明實(shí)施例中，存儲(chǔ)設(shè)備用于實(shí)現(xiàn)上述備份系統(tǒng)的功能。
[0026]現(xiàn)有的數(shù)據(jù)存儲(chǔ)方案中，將數(shù)據(jù)塊與數(shù)據(jù)塊的指紋分開存儲(chǔ)，該指紋為根據(jù)哈希算法為該數(shù)據(jù)塊計(jì)算得到的哈希值。將數(shù)據(jù)塊與數(shù)據(jù)塊的指紋分開存儲(chǔ)的原因是:在數(shù)據(jù)塊待寫入，查找是否存在重復(fù)數(shù)據(jù)塊時(shí)，不需要查找數(shù)據(jù)塊，根據(jù)待寫入數(shù)據(jù)塊的指紋查找是否存在相同的指紋即可?，F(xiàn)有實(shí)現(xiàn)方案中，在數(shù)據(jù)塊下盤存儲(chǔ)時(shí)并不考慮數(shù)據(jù)塊的引用次數(shù)，僅僅將數(shù)據(jù)塊存儲(chǔ)在不同的磁盤或磁帶當(dāng)中。在重復(fù)數(shù)據(jù)刪除技術(shù)的存儲(chǔ)場(chǎng)景中，由于重復(fù)數(shù)據(jù)塊不保存，則存儲(chǔ)的唯一的數(shù)據(jù)塊會(huì)被多個(gè)數(shù)據(jù)塊引用。在數(shù)據(jù)讀取過程中，被引用次數(shù)多的數(shù)據(jù)塊可能會(huì)多次被使用，則保存被引用次數(shù)多的數(shù)據(jù)塊為頻繁上電，或持運(yùn)轉(zhuǎn)，以滿足數(shù)據(jù)塊讀取需求。另外，重復(fù)數(shù)據(jù)刪除過程中，為了提高重復(fù)數(shù)據(jù)刪除效率，會(huì)將相同業(yè)務(wù)產(chǎn)生的數(shù)據(jù)重刪后保存在同一個(gè)重復(fù)數(shù)據(jù)刪除集合中。如郵件服務(wù)器產(chǎn)生的數(shù)據(jù)，重刪除后會(huì)保存在同一個(gè)重復(fù)數(shù)據(jù)刪除集合中。
[0027]本發(fā)明實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法，存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；該存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；第一重復(fù)數(shù)據(jù)刪除集合包含第一數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；第二重復(fù)數(shù)據(jù)刪除集合包括第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；指針用于引用第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，第一數(shù)據(jù)塊是第二數(shù)據(jù)的組成部分，并且第一數(shù)據(jù)塊與第二數(shù)據(jù)在該存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；如圖1所示，該方法包括:
[0028]S101、判斷第一數(shù)據(jù)塊的被引用數(shù)量。
[0029]示例性的，可以判斷第一數(shù)據(jù)塊的指紋信息也即哈希值的引用次數(shù)，具體的判斷過程可以參照現(xiàn)有技術(shù)。
[0030]S102、當(dāng)該被引用數(shù)量超過第一閾值時(shí)，將第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除^ 由:? 口卞 O
[0031]示例性的，假設(shè)第一閾值為20，當(dāng)?shù)谝粩?shù)據(jù)塊的哈希值的引用次數(shù)大于20時(shí)，將第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
[0032]一種實(shí)現(xiàn)方式，可以將第一重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在存儲(chǔ)設(shè)備的第一硬盤中；將第二重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在存儲(chǔ)設(shè)備的第二硬盤中；將第三重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在存儲(chǔ)設(shè)備的第三硬盤中。第三硬盤的數(shù)據(jù)訪問速度大于第一硬盤的數(shù)據(jù)訪問數(shù)度。當(dāng)?shù)谝恢貜?fù)數(shù)據(jù)刪除集合的數(shù)據(jù)塊的被引用數(shù)量均為I時(shí)，關(guān)閉第一硬盤電源。這樣，根據(jù)重復(fù)數(shù)據(jù)刪除集合中數(shù)據(jù)塊被引用次數(shù)，確定不同存儲(chǔ)介質(zhì)的硬盤。這樣，可以使存儲(chǔ)數(shù)據(jù)塊被引次數(shù)較高的重復(fù)數(shù)據(jù)刪除集合的硬盤保持上電，而將存儲(chǔ)數(shù)據(jù)塊被引次數(shù)較低的重復(fù)數(shù)據(jù)刪除集合的硬盤下電?？梢赃_(dá)到節(jié)能的目的。
[0033]另外，需要說明的是，上述實(shí)施例中的第一重復(fù)數(shù)據(jù)刪除集合、第二重復(fù)數(shù)據(jù)刪除集合、第三重復(fù)數(shù)據(jù)刪除集合只是為了區(qū)分不同的數(shù)據(jù)集合，并不是對(duì)數(shù)據(jù)集合進(jìn)行編號(hào)，同時(shí)，第一數(shù)據(jù)、第二數(shù)據(jù)以及第一數(shù)據(jù)塊只是為了區(qū)分不同的數(shù)據(jù)。
[0034]為了使本領(lǐng)域技術(shù)人員能夠更清楚地理解本發(fā)明實(shí)施例提供的技術(shù)方案，下面通過具體的實(shí)施例，結(jié)合圖2對(duì)本發(fā)明的實(shí)施例提供的數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法進(jìn)行詳細(xì)說明:
[0035]示例性的，假設(shè)有五種數(shù)據(jù)，例如，五種數(shù)據(jù)分別來自文件服務(wù)器、郵件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、虛擬桌面服務(wù)器和網(wǎng)站服務(wù)器。在將每種數(shù)據(jù)中的數(shù)據(jù)塊寫入硬盤時(shí)，需要先經(jīng)過重復(fù)數(shù)據(jù)刪除的步驟得到每種數(shù)據(jù)對(duì)應(yīng)的重復(fù)數(shù)據(jù)刪除集合，然后將每份數(shù)據(jù)對(duì)應(yīng)的重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在對(duì)應(yīng)的硬盤中。通常，來自相同服務(wù)器的數(shù)據(jù)重復(fù)率更高，因此，將來處同一個(gè)服務(wù)器的數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除，并將重復(fù)數(shù)據(jù)刪除后得到的數(shù)據(jù)塊保存到同一個(gè)重復(fù)數(shù)據(jù)刪除集合，但在查找重復(fù)數(shù)據(jù)塊時(shí)，則查找存儲(chǔ)的所有數(shù)據(jù)塊的指令，而不限于來自某一特定服務(wù)器的數(shù)據(jù)塊的指紋。其中，對(duì)每種數(shù)據(jù)中的數(shù)據(jù)塊，在進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)，將(例如哈希值)在已存儲(chǔ)的數(shù)據(jù)塊的指紋信息庫(kù)中查找數(shù)據(jù)塊的指紋，如果在已存儲(chǔ)的數(shù)據(jù)塊的指紋信息庫(kù)中沒有發(fā)現(xiàn)相同的指紋，則將該數(shù)據(jù)塊存儲(chǔ)在相應(yīng)的重復(fù)數(shù)據(jù)刪除集合中，如果在已存儲(chǔ)的數(shù)據(jù)塊的指紋信息庫(kù)中發(fā)現(xiàn)該數(shù)據(jù)塊的指紋，則為該數(shù)據(jù)塊生成一個(gè)指針指用已經(jīng)存儲(chǔ)的相同的數(shù)據(jù)塊，并將該指針存儲(chǔ)在相應(yīng)的重復(fù)數(shù)據(jù)刪除集合中，同時(shí)將該已存儲(chǔ)的數(shù)據(jù)塊的引用數(shù)量加I。其中，該指針用于將該數(shù)據(jù)塊與該已存儲(chǔ)的數(shù)據(jù)塊進(jìn)行關(guān)聯(lián)。需要說明的是，上一實(shí)施例中的第一數(shù)據(jù)和第二數(shù)據(jù)可以理解為該五種數(shù)據(jù)中的任意兩種不同的數(shù)據(jù)，一種數(shù)據(jù)對(duì)應(yīng)的重復(fù)數(shù)據(jù)刪除集合中包括有該份數(shù)據(jù)中的唯一數(shù)據(jù)塊以及重復(fù)數(shù)據(jù)塊的指針。
[0036]如圖2所示，上述種份數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除集合為:存儲(chǔ)在硬盤C的重復(fù)數(shù)據(jù)刪除集合(簡(jiǎn)稱為數(shù)據(jù)集合，用DS表示)1、存儲(chǔ)在硬盤D的DS2、存儲(chǔ)在硬盤E的DS3、存儲(chǔ)在硬盤F的DS4以及存儲(chǔ)在硬盤G的DS5。其中，上述實(shí)施例中的第一重復(fù)數(shù)據(jù)刪除集合和第二重復(fù)數(shù)據(jù)刪除集合可以是上述5個(gè)DS中的任意兩個(gè)。前述各個(gè)DS中分別存儲(chǔ)了唯一數(shù)據(jù)塊以及指針。重復(fù)的數(shù)據(jù)塊不再存儲(chǔ)，用指針指向已經(jīng)存儲(chǔ)的唯一數(shù)據(jù)塊，或者說引用已經(jīng)存儲(chǔ)的唯一的數(shù)據(jù)塊。已經(jīng)存儲(chǔ)的唯一數(shù)據(jù)塊可以存儲(chǔ)在同一個(gè)DS中，也可以存儲(chǔ)在不同的DS中。如果第一數(shù)據(jù)中的數(shù)據(jù)塊Ia為重復(fù)的數(shù)據(jù)塊，并且已經(jīng)存儲(chǔ)的唯一數(shù)據(jù)塊Ia則在DS3中，DSl中存儲(chǔ)指針，用于指向DS3中數(shù)據(jù)塊la。DS3中的數(shù)據(jù)塊la(即上述實(shí)施例中的第一數(shù)據(jù)塊)被DSl中的數(shù)據(jù)塊的指針引用的數(shù)量大于閾值20，將數(shù)據(jù)塊Ia遷移出來構(gòu)成DS6 (即上述實(shí)施例中的第三重復(fù)數(shù)據(jù)刪除集合)，并將DS6存儲(chǔ)在硬盤B (即上述實(shí)施例中的第三硬盤)中。同理，判斷其他DS中數(shù)據(jù)塊被引用的次數(shù)以決定數(shù)據(jù)塊是否遷移到新的DS中。同理當(dāng)DS2中的數(shù)據(jù)塊2a被DS5中指針引用的次數(shù)大于閾值20，DS5中的數(shù)據(jù)塊5a被DS2中的指針引次的次數(shù)大于閾值20，則將數(shù)據(jù)塊2a、5a遷移出來構(gòu)成DS7(即上述實(shí)施例中的第三重復(fù)數(shù)據(jù)刪除集合)，并將DS7存儲(chǔ)在硬盤H (即上述實(shí)施例中的第三硬盤)；同理，根據(jù)DS6和DS7中指針的引用次數(shù)可以決定是否將DS6和DS7中的數(shù)據(jù)塊是否遷移到新的DS中。
[0037]一種實(shí)現(xiàn)方式，圖2中的硬盤A、B和H的數(shù)據(jù)訪問速度大于硬盤C、D、E、F、G的訪問速度，硬盤C、D、E、F、G可以關(guān)閉電源。通過圖2可以發(fā)現(xiàn)，如果要讀取DSl的完整的數(shù)據(jù)則只需要加載硬盤A、B和C，如果要讀取DS2的數(shù)據(jù)，只需要加載硬盤A、H和D。
[0038]另外，圖3為本發(fā)明實(shí)施例一個(gè)可能的實(shí)施場(chǎng)景圖，其中，分別來自郵件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器以及文件服務(wù)器的備份數(shù)據(jù)，比如存儲(chǔ)設(shè)備將郵件服務(wù)器的備份數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除后得到的數(shù)據(jù)作為DS1，將存儲(chǔ)設(shè)備數(shù)據(jù)庫(kù)服務(wù)器的備份數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除后得到的數(shù)據(jù)作為DS2，將存儲(chǔ)設(shè)備文件服務(wù)器的備份數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除后得到的數(shù)據(jù)作為DS3，DS1、DS2以及DS3的數(shù)據(jù)存儲(chǔ)在臨時(shí)存儲(chǔ)區(qū)，然后按照上述實(shí)施例中的技術(shù)方案將DS1、DS2以及DS3中的數(shù)據(jù)塊存儲(chǔ)到硬盤中。
[0039]本發(fā)明實(shí)施例提供的存儲(chǔ)設(shè)備00，存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；第一重復(fù)數(shù)據(jù)刪除集合包含第一數(shù)據(jù)在存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；第二重復(fù)數(shù)據(jù)刪除集合包括第二數(shù)據(jù)在存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；指針用于引用第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，第一數(shù)據(jù)塊是第二數(shù)據(jù)的組成部分，并且第一數(shù)據(jù)塊與第二數(shù)據(jù)在存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；如圖4所示，該設(shè)備00包括:
[0040]判斷單元10，用于判斷第一數(shù)據(jù)塊的被引用數(shù)量。
[0041]處理單元20，用于當(dāng)被引用數(shù)量超過第一閾值時(shí)，將第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
[0042]本實(shí)施例用于實(shí)現(xiàn)上述方法實(shí)施例，本實(shí)施例中各個(gè)單元的工作流程和工作原理參見上述方法實(shí)施例中的描述，在此不再贅述。
[0043]本發(fā)明實(shí)施例提供一種存儲(chǔ)設(shè)備，包括中央處理器和存儲(chǔ)器；所述中央處理器和所述存儲(chǔ)器通過總線通信；所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；所述中央處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令，用于實(shí)現(xiàn)上述方法實(shí)施例。本發(fā)明實(shí)施例中的硬盤，具體實(shí)現(xiàn)中，可以指物理硬盤，也可以為邏輯硬盤，即邏輯單元，或者卷等，本發(fā)明實(shí)施例對(duì)此不作限定。同時(shí)本發(fā)明實(shí)施例中用到的C盤等類似的表述方式，并不限定C盤為一塊盤。
[0044]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0045]最后應(yīng)說明的是:以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)塊在存儲(chǔ)設(shè)備中存儲(chǔ)方法，其特征在于，所述存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；所述存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；所述第一重復(fù)數(shù)據(jù)刪除集合包含所述第一數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；所述第二重復(fù)數(shù)據(jù)刪除集合包括所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；所述指針用于引用所述第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，所述第一數(shù)據(jù)塊是所述第二數(shù)據(jù)的組成部分，并且所述第一數(shù)據(jù)塊與所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；所述方法包括: 判斷所述第一數(shù)據(jù)塊的被引用數(shù)量； 當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第一硬盤中；所述第二重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第二硬盤中；所述第三重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第三硬盤中。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第三硬盤的數(shù)據(jù)訪問速度大于所述第一硬盤的數(shù)據(jù)訪問數(shù)度。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)所述第一重復(fù)數(shù)據(jù)刪除集合的數(shù)據(jù)塊的被引用數(shù)量均為I時(shí)，關(guān)閉所述第一硬盤電源。
5.一種存儲(chǔ)設(shè)備，其特征在于，所述存儲(chǔ)設(shè)備用于將第一數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第一重復(fù)數(shù)據(jù)刪除集合；所述存儲(chǔ)設(shè)備用于將第二數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除獲得第二重復(fù)數(shù)據(jù)刪除集合；所述第一重復(fù)數(shù)據(jù)刪除集合包含所述第一數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊；所述第二重復(fù)數(shù)據(jù)刪除集合包括所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊和指針；所述指針用于引用所述第一重復(fù)數(shù)據(jù)刪除集合中的第一數(shù)據(jù)塊；其中，所述第一數(shù)據(jù)塊是所述第二數(shù)據(jù)的組成部分，并且所述第一數(shù)據(jù)塊與所述第二數(shù)據(jù)在所述存儲(chǔ)設(shè)備中存儲(chǔ)的唯一數(shù)據(jù)塊不同；所述設(shè)備包括: 判斷單元，用于判斷所述第一數(shù)據(jù)塊的被引用數(shù)量； 處理單元，用于當(dāng)所述被引用數(shù)量超過第一閾值時(shí)，將所述第一數(shù)據(jù)塊遷移到第三重復(fù)數(shù)據(jù)刪除集合中。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其特征在于，所述處理單元還用于:將所述第一重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第一硬盤中；將所述第二重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第二硬盤中；將所述第三重復(fù)數(shù)據(jù)刪除集合存儲(chǔ)在所述存儲(chǔ)設(shè)備的第三硬盤中。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述第三硬盤的數(shù)據(jù)訪問速度大于所述第一硬盤的數(shù)據(jù)訪問數(shù)度。
8.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述處理單元還用于:當(dāng)所述第一重復(fù)數(shù)據(jù)刪除集合的數(shù)據(jù)塊的被引用數(shù)量均為I時(shí)，關(guān)閉所述第一硬盤電源。
9.一種存儲(chǔ)設(shè)備，其特征在于，包括:中央處理器和存儲(chǔ)器；所述中央處理器和所述存儲(chǔ)器通過總線通信；所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；所述中央處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令，用于執(zhí)行權(quán)利要求1-4任一所述的方法。
【文檔編號(hào)】G06F3/06GK104298614SQ201410526254
【公開日】2015年1月21日 申請(qǐng)日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】李育國(guó) 申請(qǐng)人:華為技術(shù)有限公司