數(shù)據(jù)的處理方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種數(shù)據(jù)的處理方法和系統(tǒng),該方法包括獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗;每隔所述第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間;獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗;每隔第二時(shí)間窗,將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間;其中,第二時(shí)間窗大于第一時(shí)間窗;第二存儲(chǔ)介質(zhì)的性能低于第一存儲(chǔ)介質(zhì)的性能。
【專利說(shuō)明】數(shù)據(jù)的處理方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)備份和歸檔技術(shù),尤其涉及一種數(shù)據(jù)的處理方法和系統(tǒng)。
【背景技術(shù)】
[0002]數(shù)據(jù)中心應(yīng)用時(shí),為業(yè)務(wù)數(shù)據(jù)不被破壞,通常采用備份的方式對(duì)數(shù)據(jù)進(jìn)行保護(hù)。目前主要有全量備份和增量備份兩種備份方式。其中,全量備份的工作原理為每隔一段時(shí)間將需要備份的文件或者磁盤分區(qū)整體做一次備份。增量備份的工作原理為每隔一段時(shí)間將需要備份的文件或者磁盤分區(qū)的變化部分做一次備份。
[0003]另外,近期數(shù)據(jù)備份之后,很大一部分用戶需要將長(zhǎng)期的數(shù)據(jù)進(jìn)行歸檔保存,即將備份的副本數(shù)據(jù)根據(jù)數(shù)據(jù)的年齡等因素,將滿足遷移條件的副本數(shù)據(jù)從高存儲(chǔ)介質(zhì)(較高速的磁盤或者磁帶)遷移到次存儲(chǔ)介質(zhì)(較低速的磁盤或者磁帶)上。
[0004]但是,現(xiàn)有歸檔時(shí)間窗一般與備份時(shí)間窗等同,且固定不變,從而會(huì)形成一定程度上的資源浪費(fèi),例如:歸檔時(shí)使用的中央處理器(Central Processing Unit ;簡(jiǎn)稱-.CPU)和內(nèi)存資源的浪費(fèi)以及歸檔時(shí)間窗和備份時(shí)間窗均過(guò)小而產(chǎn)生的歸檔使使用磁盤空間的耗費(fèi)。同時(shí),也降低了備份和歸檔的速度和效率。其中,歸檔時(shí)間窗是指兩個(gè)相鄰的歸檔時(shí)刻之間的時(shí)間間距;備份時(shí)間窗是指兩個(gè)相鄰的備份時(shí)刻之間的時(shí)間間隔。
【發(fā)明內(nèi)容】
[0005]本發(fā)明提供一種數(shù)據(jù)的處理方法和系統(tǒng),用于有效地提高了硬件資源的利用率,并提高了備份和歸檔過(guò)程中的速度和效率。
[0006]本發(fā)明的第一個(gè)方面是提供一種數(shù)據(jù)的處理方法,包括:
[0007]獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗;
[0008]每隔所述第一時(shí)間窗,觸發(fā)所述第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄所述第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間;
[0009]獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗;
[0010]每隔所述第二時(shí)間窗,將存儲(chǔ)在所述第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將所述第二類增量數(shù)據(jù)從所述第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄所述第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間;
[0011]其中,所述第二時(shí)間窗大于所述第一時(shí)間窗;所述第二存儲(chǔ)介質(zhì)的性能低于所述第一存儲(chǔ)介質(zhì)的性能。
[0012]本發(fā)明的另一個(gè)方面是提供一種數(shù)據(jù)的處理系統(tǒng),包括:數(shù)據(jù)的處理設(shè)備和至少兩個(gè)存儲(chǔ)介質(zhì),其中,所述數(shù)據(jù)的處理設(shè)備包括:
[0013]保存模塊,用于保存存儲(chǔ)介質(zhì)與時(shí)間窗的映射關(guān)系;
[0014]時(shí)間窗獲取模塊,用于獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗;
[0015]數(shù)據(jù)存儲(chǔ)觸發(fā)模塊,用于每隔所述第一時(shí)間窗,觸發(fā)所述第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù);
[0016]記錄模塊,用于記錄所述第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間;
[0017]所述時(shí)間窗獲取模塊還用于獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗;
[0018]數(shù)據(jù)合并處理模塊還用于每隔所述第二時(shí)間窗,將存儲(chǔ)在所述第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù);
[0019]遷移模塊,用于將所述第二類增量數(shù)據(jù)從所述第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中;
[0020]所述記錄模塊還用于記錄所述第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間;
[0021]其中,所述第二時(shí)間窗大于所述第一時(shí)間窗;所述第二存儲(chǔ)介質(zhì)的性能低于所述第一存儲(chǔ)介質(zhì)的性能。
[0022]本發(fā)明的技術(shù)效果是:通過(guò)每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間,每隔第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗,將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于該第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄該第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間,相對(duì)于現(xiàn)有技術(shù)中固定的、且相等的備份時(shí)間窗和歸檔時(shí)間窗,由于該第二時(shí)間窗大于第一時(shí)間窗,從而降低了歸檔的頻度,節(jié)約了系統(tǒng)資源;且在將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中的第二類增量數(shù)據(jù)遷移到第二存儲(chǔ)介質(zhì)時(shí)會(huì)進(jìn)行合并操作,從而有效地減少了數(shù)據(jù)備份和/或歸檔的增量數(shù)據(jù)的總體數(shù)據(jù)量,節(jié)省了備份或者歸檔使用的磁盤空間,因此解決了現(xiàn)有技術(shù)中資源浪費(fèi)的問(wèn)題,提升了備份和/或歸檔的速度和效率。
【專利附圖】
【附圖說(shuō)明】
[0023]圖1為本發(fā)明數(shù)據(jù)備份的處理方法的一個(gè)實(shí)施例的流程圖;
[0024]圖2為數(shù)據(jù)的處理方法應(yīng)用在數(shù)據(jù)的增量備份處理上的一個(gè)原理示意圖;
[0025]圖3為本發(fā)明數(shù)據(jù)的處理方法的另一個(gè)實(shí)施例的流程圖;
[0026]圖4為本發(fā)明數(shù)據(jù)的處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0027]圖1為本發(fā)明數(shù)據(jù)的處理方法的一個(gè)實(shí)施例的流程圖,如圖1所示,本實(shí)施例的執(zhí)行主體為數(shù)據(jù)的處理設(shè)備,則該方法包括:
[0028]步驟101、獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。
[0029]在本實(shí)施例中,時(shí)間窗是指相鄰的存儲(chǔ)時(shí)間之間的時(shí)間間距。
[0030]在本發(fā)明實(shí)施例中,第一存儲(chǔ)介質(zhì)可以對(duì)應(yīng)多個(gè)時(shí)間窗,當(dāng)所述第一存儲(chǔ)介質(zhì)預(yù)設(shè)有多個(gè)時(shí)間窗時(shí),獲取其中一個(gè)時(shí)間窗作為所述第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。具體的,可以根據(jù)具體的用戶需求或者其他條件從多個(gè)時(shí)間窗中選擇其中一個(gè)作為所述第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。
[0031]步驟102、每隔第一時(shí)間窗,觸發(fā)該第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間。[0032]步驟103、獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗。
[0033]步驟104、每隔該第二時(shí)間窗,將存儲(chǔ)在該第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從該第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄該第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間。
[0034]其中,該第二時(shí)間窗大于第一時(shí)間窗;該第二存儲(chǔ)介質(zhì)的性能低于第一存儲(chǔ)介質(zhì)的性能。另外,本發(fā)明并不對(duì)第一預(yù)設(shè)時(shí)間段進(jìn)行限制,可以根據(jù)實(shí)際情況需要任意設(shè)置。
[0035]在本實(shí)施例中,舉例來(lái)說(shuō),第一存儲(chǔ)介質(zhì)可以具體為固態(tài)硬盤(Solid StateDrive ;簡(jiǎn)稱:SSD),第二存儲(chǔ)介質(zhì)可以具體為串行連接小型計(jì)算機(jī)系統(tǒng)接口(SerialAttached Small Computer System Interface ;簡(jiǎn)稱:SAS)硬盤?;蛘撸谝淮鎯?chǔ)介質(zhì)可以為SAS硬盤,第二存儲(chǔ)介質(zhì)可以為串行高級(jí)技術(shù)附件(Serial Advanced TechnologyAttachment ;簡(jiǎn)稱:SATA)硬盤。
[0036]本實(shí)施例中所述的第一存儲(chǔ)介質(zhì)(如SSD)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù)具體是指SSD的控制器獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),本發(fā)明實(shí)施例中所述的第一類增量數(shù)據(jù)是指在第一時(shí)間窗內(nèi),相對(duì)于原始數(shù)據(jù)發(fā)生變化的數(shù)據(jù);
[0037]本發(fā)明實(shí)施例所述的對(duì)所有第一類增量數(shù)據(jù)進(jìn)行合并后生成的第二類增量數(shù)據(jù)是指在第二時(shí)間窗時(shí)刻,該數(shù)據(jù)相對(duì)于原始數(shù)據(jù)的增量數(shù)據(jù)。
[0038]另外,在本實(shí)施例中,數(shù)據(jù)的處理方法可以應(yīng)用在數(shù)據(jù)的備份和/或數(shù)據(jù)的歸檔處理上。舉例來(lái)說(shuō),圖2為數(shù)據(jù)的處理方法應(yīng)用在數(shù)據(jù)的增量備份處理上的一個(gè)原理示意圖,如圖2所示,該原始數(shù)據(jù)具體為磁盤分區(qū),分別包括9個(gè)分區(qū),初始時(shí),9個(gè)分區(qū)中存儲(chǔ)的數(shù)據(jù)分別為a、b、C、d、e、f、g、h和i。另外,第一時(shí)間窗可以具體為第一備份時(shí)間窗,第二時(shí)間窗可以具體為第二備份時(shí)間窗,其中,對(duì)于第一存儲(chǔ)介質(zhì),其對(duì)應(yīng)的第一時(shí)間窗為I天;對(duì)于第二存儲(chǔ)介質(zhì),其對(duì)應(yīng)的第二時(shí)間窗為I周。第一預(yù)設(shè)時(shí)間段也為I周。該數(shù)據(jù)的處理方法的具體實(shí)現(xiàn)方式為:在第一天時(shí),觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù)為al,其中,該al為原始數(shù)據(jù)a的改變/增量數(shù)據(jù),并記錄該al對(duì)應(yīng)的第一存儲(chǔ)時(shí)間(相當(dāng)于備份時(shí)間)。第二天時(shí),觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù)為bl,其中,該bl為原始數(shù)據(jù)b的改變/增量數(shù)據(jù),并記錄該bl對(duì)應(yīng)的第一存儲(chǔ)時(shí)間。后續(xù)依次類推,不再贅述。值得注意的是,第三天時(shí),觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)的原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù)為a2+cl,其中,原始數(shù)據(jù)a變化為a2。
[0039]每隔第二時(shí)間窗,觸發(fā)第二存儲(chǔ)介質(zhì)獲取并存儲(chǔ)第一存儲(chǔ)介質(zhì)中的第二類增量數(shù)據(jù),該第二類增量數(shù)據(jù)為將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二時(shí)間窗的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù)。換言之,將備份在第一存儲(chǔ)介質(zhì)中,且第一類增量數(shù)據(jù)的年齡大于一周的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)備份到第二存儲(chǔ)介質(zhì)中。
[0040]如圖2所示,對(duì)于第二類增量數(shù)據(jù)中數(shù)據(jù)a并非第一天的al,而是第三天的a2,換言之,合并之前,7天的變化總量是8個(gè)變化數(shù)據(jù),合并之后,7天的變化總量?jī)H為7個(gè)變化數(shù)據(jù),因此,當(dāng)將增量數(shù)據(jù)由第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)時(shí),由于第二時(shí)間窗大于第一時(shí)間窗,即第二類增量數(shù)據(jù)總量小于前7天的第一類增量數(shù)據(jù)的總和,因此減少了需要遷移的增量數(shù)據(jù)的總量,相當(dāng)于減少了硬盤、CPU和內(nèi)存等資源的耗費(fèi),提高了整體歸檔的效率。
[0041]在本實(shí)施例中,通過(guò)每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間,每隔第i存儲(chǔ)介質(zhì)對(duì)應(yīng)的第i時(shí)間窗,將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄該第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間,相對(duì)于現(xiàn)有技術(shù)中固定的、且相等的備份時(shí)間窗和歸檔時(shí)間窗,由于該第二時(shí)間窗大于第一時(shí)間窗,從而降低了歸檔的頻度,節(jié)約了系統(tǒng)資源;且在將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中的第二類增量數(shù)據(jù)遷移到第二存儲(chǔ)介質(zhì)時(shí)會(huì)進(jìn)行合并操作,從而有效地減少了數(shù)據(jù)備份和/或歸檔的增量數(shù)據(jù)的總體數(shù)據(jù)量,節(jié)省了備份或者歸檔使用的磁盤空間,因此解決了現(xiàn)有技術(shù)中資源浪費(fèi)的問(wèn)題,提升了備份和/或歸檔的速度和效率。
[0042]值得注意的是,本發(fā)明的并不對(duì)存儲(chǔ)介質(zhì)的數(shù)量進(jìn)行限制,根據(jù)實(shí)際情況的需要,任意設(shè)置不同數(shù)量的存儲(chǔ)介質(zhì)。
[0043]圖3為本發(fā)明數(shù)據(jù)的處理方法的另一個(gè)實(shí)施例的流程圖,以數(shù)據(jù)的處理方法應(yīng)用在數(shù)據(jù)的備份和歸檔的處理上,且存儲(chǔ)介質(zhì)的數(shù)量為4個(gè)為例,詳細(xì)介紹本實(shí)施例的技術(shù)方案,如圖3所示,本實(shí)施例的方法包括:
[0044]步驟201、獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗,并每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),再記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間。
[0045]具體的,在本實(shí)施例中,第一時(shí)間窗為I小時(shí);該第一存儲(chǔ)介質(zhì)為SSD。
[0046]步驟202、獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗,并每隔第二時(shí)間窗,將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄該第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間。
[0047]其中,第二類增量數(shù)據(jù)為將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二時(shí)間窗的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù)。
[0048]具體的,在本實(shí)施例中,該第二存儲(chǔ)介質(zhì)為SAS硬盤。第二時(shí)間窗具體為I天,第一預(yù)設(shè)時(shí)間段為I天。另外,通過(guò)觸發(fā)第一存儲(chǔ)介質(zhì)將第一小時(shí)至第二4小時(shí)獲取并存儲(chǔ)的第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)遷移到第二存儲(chǔ)介質(zhì)中,從而實(shí)現(xiàn)從第一存儲(chǔ)介質(zhì)到第二存儲(chǔ)介質(zhì)的增量數(shù)據(jù)的備份。
[0049]步驟203、獲取第三存儲(chǔ)介質(zhì)對(duì)應(yīng)的第三時(shí)間窗,并每隔第三時(shí)間窗,將存儲(chǔ)在第二存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二預(yù)設(shè)時(shí)間段的所有第二類增量數(shù)據(jù)進(jìn)行合并后生成的第三類增量數(shù)據(jù),并將該第三類增量數(shù)據(jù)從第二存儲(chǔ)介質(zhì)遷移到第三存儲(chǔ)介質(zhì)中,再記錄該第三類增量數(shù)據(jù)對(duì)應(yīng)的第三存儲(chǔ)時(shí)間。
[0050]其中,第三類增量數(shù)據(jù)為將存儲(chǔ)在第二存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第三時(shí)間窗的所有第二類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù)。
[0051]具體的,在本實(shí)施例中,該第三存儲(chǔ)介質(zhì)為SATA硬盤。第三時(shí)間窗具體為I周,第二預(yù)設(shè)時(shí)間段為2天。另外,通過(guò)觸發(fā)第二存儲(chǔ)介質(zhì)將第一天至第7天獲取并存儲(chǔ)的第二類增量數(shù)據(jù)進(jìn)行合并后生成第三類增量數(shù)據(jù),并將該第三類增量數(shù)據(jù)遷移到第三存儲(chǔ)介質(zhì)中,從而實(shí)現(xiàn)從第二存儲(chǔ)介質(zhì)到第三存儲(chǔ)介質(zhì)的增量數(shù)據(jù)的歸檔。
[0052]步驟204、獲取第四存儲(chǔ)介質(zhì)對(duì)應(yīng)的第四時(shí)間窗,并每隔第四時(shí)間窗,將存儲(chǔ)在第三存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第三預(yù)設(shè)時(shí)間段的所有第三類增量數(shù)據(jù)進(jìn)行合并后生成第四類增量數(shù)據(jù),并將該第四類增量數(shù)據(jù)從第三存儲(chǔ)介質(zhì)遷移到第四存儲(chǔ)介質(zhì)中,再記錄該第四類增量數(shù)據(jù)對(duì)應(yīng)的第四存儲(chǔ)時(shí)間。
[0053]其中,第四類增量數(shù)據(jù)為將存儲(chǔ)在第三存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第四時(shí)間窗的所有第三類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù)。
[0054]具體的,在本實(shí)施例中,該第四存儲(chǔ)介質(zhì)為專用SATA硬盤。第四時(shí)間窗具體為I年,第三預(yù)設(shè)時(shí)間段為I月。另外,通過(guò)觸發(fā)第三存儲(chǔ)介質(zhì)將第一周至第一2周獲取并存儲(chǔ)的第三類增量數(shù)據(jù)進(jìn)行合并后生成第四類增量數(shù)據(jù),并將該第四類增量數(shù)據(jù)遷移到第四存儲(chǔ)介質(zhì)中,從而實(shí)現(xiàn)從第三存儲(chǔ)介質(zhì)到第四存儲(chǔ)介質(zhì)的增量數(shù)據(jù)的歸檔。
[0055]另外,在本實(shí)施例中,該第四存儲(chǔ)介質(zhì)可以具體為專用歸檔的SATA硬盤。值得注意的是,該專用歸檔的SATA硬盤只有在歸檔數(shù)據(jù)讀寫時(shí)啟動(dòng),其他時(shí)間可以處于休眠狀態(tài),從而有效地提高了該專用歸檔的SATA硬盤的使用壽命。
[0056]還需要說(shuō)明的是,本實(shí)施例中的第一預(yù)設(shè)時(shí)間段、第二預(yù)設(shè)時(shí)間段和第三預(yù)設(shè)時(shí)間段可以相等也可以不相等,本實(shí)施例中并不限制,除上述舉例說(shuō)明的以外,還可以根據(jù)實(shí)際情況需要任意設(shè)置。
[0057]在本實(shí)施例中,通過(guò)每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間,每隔第i存儲(chǔ)介質(zhì)對(duì)應(yīng)的第i時(shí)間窗,觸發(fā)第i存儲(chǔ)介質(zhì)獲取并存儲(chǔ)第i_l存儲(chǔ)介質(zhì)中的第i類增量數(shù)據(jù),并記錄所述第i類增量數(shù)據(jù)對(duì)應(yīng)的第i存儲(chǔ)時(shí)間,其中,該第i類存儲(chǔ)數(shù)據(jù)為存儲(chǔ)在第1-ι存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第i_l預(yù)設(shè)時(shí)間段的所有第i_l類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù),由于第i時(shí)間窗大于第i_l時(shí)間窗,相對(duì)于現(xiàn)有技術(shù)中固定的、且相等的備份時(shí)間窗和歸檔時(shí)間窗,本發(fā)明減少了數(shù)據(jù)備份和/或歸檔的增量數(shù)據(jù)的數(shù)據(jù)量,因此解決了現(xiàn)有技術(shù)中資源浪費(fèi)的問(wèn)題,提升了備份和/或歸檔的速度和效率,進(jìn)而獲得更低的總所有成本(Total Cost of Ownership ;簡(jiǎn)稱:TC0)以及更高的數(shù)據(jù)保護(hù)效率。其中,i為整數(shù),且i大于等于2。
[0058]更進(jìn)一步,在本發(fā)明的又一個(gè)實(shí)施例中,在上述實(shí)施例的基礎(chǔ)上,該方法還可以進(jìn)一步包括:
[0059]對(duì)該第一時(shí)間窗、第二時(shí)間窗和/或第三時(shí)間窗進(jìn)行更新處理。
[0060]圖4為本發(fā)明數(shù)據(jù)的處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖,如圖4所示,本實(shí)施例的系統(tǒng)包括:數(shù)據(jù)的處理設(shè)備11和至少兩個(gè)存儲(chǔ)介質(zhì)12,在本實(shí)施例中,當(dāng)存儲(chǔ)介質(zhì)12為兩個(gè),且為第一存儲(chǔ)介質(zhì)和第二存儲(chǔ)介質(zhì)時(shí),數(shù)據(jù)的處理設(shè)備11包括:保存模塊111、時(shí)間窗獲取模塊112、數(shù)據(jù)存儲(chǔ)觸發(fā)模塊113、記錄模塊114、數(shù)據(jù)合并處理模塊115和遷移模塊116 ;其中,保存模塊111用于保存存儲(chǔ)介質(zhì)與時(shí)間窗的映射關(guān)系;時(shí)間窗獲取模塊112用于獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗;數(shù)據(jù)存儲(chǔ)觸發(fā)模塊113用于每隔第一時(shí)間窗,觸發(fā)該第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù);記錄模塊114用于記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間;時(shí)間窗獲取模塊112還用于獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗;數(shù)據(jù)合并處理模塊115還用于每隔該第二時(shí)間窗,將存儲(chǔ)在該第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù);遷移模塊116用于將該第二類增量數(shù)據(jù)從所述第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中;記錄模塊114還用于記錄所述第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間。具體的,該第二時(shí)間窗大于第一時(shí)間窗;該第二存儲(chǔ)介質(zhì)的性能低于第一存儲(chǔ)介質(zhì)的性能。
[0061]在本發(fā)明實(shí)施例中,時(shí)間窗獲取模塊112具體用于當(dāng)所述第一存儲(chǔ)介質(zhì)預(yù)設(shè)有多個(gè)時(shí)間窗時(shí),獲取其中一個(gè)時(shí)間窗作為所述第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。
[0062]本實(shí)施例數(shù)據(jù)的處理系統(tǒng)可以執(zhí)行圖1或2所示方法實(shí)施例的技術(shù)方案,其實(shí)現(xiàn)原理相類似,此處不再贅述。
[0063]在本實(shí)施例中,通過(guò)每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間,每隔第i存儲(chǔ)介質(zhì)對(duì)應(yīng)的第i時(shí)間窗,將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將該第二類增量數(shù)據(jù)從第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄該第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間,相對(duì)于現(xiàn)有技術(shù)中固定的、且相等的備份時(shí)間窗和歸檔時(shí)間窗,由于該第二時(shí)間窗大于第一時(shí)間窗,且將存儲(chǔ)在第一存儲(chǔ)介質(zhì)中的第二類增量數(shù)據(jù)遷移到第二存儲(chǔ)介質(zhì),從而有效地減少了數(shù)據(jù)備份和/或歸檔的增量數(shù)據(jù)的總體數(shù)據(jù)量,節(jié)省了備份或者歸檔使用的磁盤空間,因此解決了現(xiàn)有技術(shù)中資源浪費(fèi)的問(wèn)題,提升了備份和/或歸檔的速度和效率。
[0064]進(jìn)一步的,在本發(fā)明另Iv實(shí)施例中,在上述圖4所不實(shí)施例的基礎(chǔ)上,時(shí)間窗犾取模塊112還用于獲取第三存儲(chǔ)介質(zhì)對(duì)應(yīng)的第三時(shí)間窗;數(shù)據(jù)合并處理模塊115還用于每隔該第三時(shí)間窗,將存儲(chǔ)在該第二存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二預(yù)設(shè)時(shí)間段的所有第二類增量數(shù)據(jù)進(jìn)行合并后生成第三類增量數(shù)據(jù);遷移模塊116還用于將該第三類增量數(shù)據(jù)從該第二存儲(chǔ)介質(zhì)遷移到該第三存儲(chǔ)介質(zhì)中;記錄模塊114還用于記錄該第三類增量數(shù)據(jù)對(duì)應(yīng)的第三存儲(chǔ)時(shí)間;其中,該第三時(shí)間窗大于該第二時(shí)間窗;該第三存儲(chǔ)介質(zhì)的性能大于該第二存儲(chǔ)介質(zhì)的性能。
[0065]進(jìn)一步的,該系統(tǒng)中的數(shù)據(jù)的處理設(shè)備11還包括:更新模塊,用于對(duì)該第一時(shí)間窗、第二時(shí)間窗、第三時(shí)間窗、第一預(yù)設(shè)時(shí)間段和/或第二預(yù)設(shè)時(shí)間段進(jìn)行更新處理。
[0066]值得注意的是,本發(fā)明的并不對(duì)存儲(chǔ)介質(zhì)的數(shù)量進(jìn)行限制,根據(jù)實(shí)際情況的需要,任意設(shè)置不同數(shù)量的存儲(chǔ)介質(zhì)。
[0067]在本實(shí)施例中,通過(guò)每隔第一時(shí)間窗,觸發(fā)第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄該第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間,每隔第i存儲(chǔ)介質(zhì)對(duì)應(yīng)的第i時(shí)間窗,觸發(fā)第i存儲(chǔ)介質(zhì)獲取并存儲(chǔ)第i_l存儲(chǔ)介質(zhì)中的第i類增量數(shù)據(jù),并記錄所述第i類增量數(shù)據(jù)對(duì)應(yīng)的第i存儲(chǔ)時(shí)間,其中,該第i類存儲(chǔ)數(shù)據(jù)為存儲(chǔ)在第1-Ι存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第1-Ι預(yù)設(shè)時(shí)間段的所有第1-Ι類增量數(shù)據(jù)進(jìn)行合并后生成的數(shù)據(jù),由于第i時(shí)間窗大于第1-Ι時(shí)間窗,相對(duì)于現(xiàn)有技術(shù)中固定的、且相等的備份時(shí)間窗和歸檔時(shí)間窗,本發(fā)明減少了數(shù)據(jù)備份和/或歸檔的增量數(shù)據(jù)的數(shù)據(jù)量,因此解決了現(xiàn)有技術(shù)中資源浪費(fèi)的問(wèn)題,提升了備份和/或歸檔的速度和效率,進(jìn)而獲得更低的總所有成本(Total Cost of Ownership ;簡(jiǎn)稱:TC0)以及更高的數(shù)據(jù)保護(hù)效率。其中,i為整數(shù),且i大于等于2。
[0068]另外,該存儲(chǔ)介質(zhì)包括如下一種或者幾種:SSD,SAS硬盤,SATA硬盤和專用SATA硬盤。
[0069]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí),執(zhí)行包括上述各方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0070]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)的處理方法,其特征在于,包括: 獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗; 每隔所述第一時(shí)間窗,觸發(fā)所述第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù),并記錄所述第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間; 獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗; 每隔所述第二時(shí)間窗,將存儲(chǔ)在所述第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù),并將所述第二類增量數(shù)據(jù)從所述第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中,再記錄所述第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間; 其中,所述第二時(shí)間窗大于所述第一時(shí)間窗;所述第二存儲(chǔ)介質(zhì)的性能低于所述第一存儲(chǔ)介質(zhì)的性能。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)的處理方法,其特征在于,還包括: 獲取第三存儲(chǔ)介質(zhì)對(duì)應(yīng)的第三時(shí)間窗; 每隔所述第三時(shí)間窗,將存儲(chǔ)在所述第二存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二預(yù)設(shè)時(shí)間段的所有第二類增量數(shù)據(jù)進(jìn)行合并后生成第三類增量數(shù)據(jù),并將所述第三類增量數(shù)據(jù)從所述第二存儲(chǔ)介質(zhì)遷移到所述第三存儲(chǔ)介質(zhì)中,再記錄所述第三類增量數(shù)據(jù)對(duì)應(yīng)的第三存儲(chǔ)時(shí)間; 其中,所述第三時(shí)間窗大于所述第二時(shí)間窗;所述第三存儲(chǔ)介質(zhì)的性能大于所述第二存儲(chǔ)介質(zhì)的性能。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)的處理方法,其特征在于,還包括: 對(duì)所述第一時(shí)間窗、第二時(shí)間窗、第三時(shí)間窗、第一預(yù)設(shè)時(shí)間段和/或第二預(yù)設(shè)時(shí)間段進(jìn)行更新處理。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)的處理方法,其特征在于,所述獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗包括:當(dāng)所述第一存儲(chǔ)介質(zhì)預(yù)設(shè)有多個(gè)時(shí)間窗時(shí),獲取其中一個(gè)時(shí)間窗作為所述第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。
5.一種數(shù)據(jù)的處理系統(tǒng),其特征在于,包括:數(shù)據(jù)的處理設(shè)備和至少兩個(gè)存儲(chǔ)介質(zhì),其中,所述數(shù)據(jù)的處理設(shè)備包括: 保存模塊,用于保存存儲(chǔ)介質(zhì)與時(shí)間窗的映射關(guān)系; 時(shí)間窗獲取模塊,用于獲取第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗; 數(shù)據(jù)存儲(chǔ)觸發(fā)模塊,用于每隔所述第一時(shí)間窗,觸發(fā)所述第一存儲(chǔ)介質(zhì)獲取并存儲(chǔ)原始數(shù)據(jù)對(duì)應(yīng)的第一類增量數(shù)據(jù); 記錄模塊,用于記錄所述第一類增量數(shù)據(jù)對(duì)應(yīng)的第一存儲(chǔ)時(shí)間; 所述時(shí)間窗獲取模塊還用于獲取第二存儲(chǔ)介質(zhì)對(duì)應(yīng)的第二時(shí)間窗; 數(shù)據(jù)合并處理模塊還用于每隔所述第二時(shí)間窗,將存儲(chǔ)在所述第一存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第一預(yù)設(shè)時(shí)間段的所有第一類增量數(shù)據(jù)進(jìn)行合并后生成第二類增量數(shù)據(jù); 遷移模塊,用于將所述第二類增量數(shù)據(jù)從所述第一存儲(chǔ)介質(zhì)遷移到第二存儲(chǔ)介質(zhì)中; 所述記錄模塊還用于記錄所述第二類增量數(shù)據(jù)對(duì)應(yīng)的第二存儲(chǔ)時(shí)間; 其中,所述第二時(shí)間窗大于所述第一時(shí)間窗;所述第二存儲(chǔ)介質(zhì)的性能低于所述第一存儲(chǔ)介質(zhì)的性能。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)的處理系統(tǒng),其特征在于,所述時(shí)間窗獲取模塊還用于獲取第三存儲(chǔ)介質(zhì)對(duì)應(yīng)的第三時(shí)間窗; 所述數(shù)據(jù)合并處理模塊還用于每隔所述第三時(shí)間窗,將存儲(chǔ)在所述第二存儲(chǔ)介質(zhì)中,且增量數(shù)據(jù)的年齡大于第二預(yù)設(shè)時(shí)間段的所有第二類增量數(shù)據(jù)進(jìn)行合并后生成第三類增量數(shù)據(jù); 所述遷移模塊還用于將所述第三類增量數(shù)據(jù)從所述第二存儲(chǔ)介質(zhì)遷移到所述第三存儲(chǔ)介質(zhì)中; 所述記錄模塊還用于記錄所述第三類增量數(shù)據(jù)對(duì)應(yīng)的第三存儲(chǔ)時(shí)間; 其中,所述第三時(shí)間窗大于所述第二時(shí)間窗;所述第三存儲(chǔ)介質(zhì)的性能大于所述第二存儲(chǔ)介質(zhì)的性能。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)的處理系統(tǒng),其特征在于,所述數(shù)據(jù)的處理設(shè)備還包括:更新模塊,用于對(duì)所述第一時(shí)間窗、第二時(shí)間窗、第三時(shí)間窗、第一預(yù)設(shè)時(shí)間段和/或第二預(yù)設(shè)時(shí)間段進(jìn)行更新處理。
8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)的處理系統(tǒng),其特征在于,時(shí)間窗獲取模塊具體用于當(dāng)所述第一存儲(chǔ)介質(zhì)預(yù)設(shè)有多個(gè)時(shí)間窗時(shí),獲取其中一個(gè)時(shí)間窗作為所述第一存儲(chǔ)介質(zhì)對(duì)應(yīng)的第一時(shí)間窗。
9.根據(jù)權(quán)利要求5或6所述的數(shù)據(jù)的處理系統(tǒng),其特征在于,所述存儲(chǔ)介質(zhì)包括如下一種或者幾種:SSD,SAS硬盤,S ATA硬盤和專用SATA硬盤。
【文檔編號(hào)】G06F11/14GK103544075SQ201110459485
【公開日】2014年1月29日 申請(qǐng)日期:2011年12月31日 優(yōu)先權(quán)日:2011年12月31日
【發(fā)明者】彭勃 申請(qǐng)人:華為數(shù)字技術(shù)(成都)有限公司