一種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明屬于計算機存儲備份技術(shù)領(lǐng)域，涉及數(shù)據(jù)備份、重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)存儲，尤其是涉及一種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)時代的進(jìn)一步發(fā)展，世間萬物也在逐漸地信息化數(shù)據(jù)化，計算機中需要存儲的有效數(shù)據(jù)也成倍地增長。如果沒有一個合理有效的方式對數(shù)據(jù)進(jìn)行存儲管理，那么隨著數(shù)據(jù)的基數(shù)增長其存儲和傳輸將會變得極其緩慢，存儲和傳輸將成為負(fù)擔(dān)。
[0003]傳統(tǒng)存儲系統(tǒng)是將對象存儲記錄為元數(shù)據(jù)信息，同時將數(shù)據(jù)寫入磁盤，但是這種方式并不適用于互聯(lián)網(wǎng)環(huán)境。絕對重復(fù)的數(shù)據(jù)及頻繁的重復(fù)存儲極為消耗空間，讀取數(shù)據(jù)的速度也嚴(yán)重依賴于磁盤I/O性能，嚴(yán)重影響整體存儲性能。這種情況下就需要一種可以提升速度的管理方法。
[0004]對于這種大量浪費空間的問題以及存儲數(shù)據(jù)慢的問題，一般解決辦法是使用全局重復(fù)數(shù)據(jù)刪除技術(shù)，這種技術(shù)將存儲的數(shù)據(jù)切分成細(xì)小的數(shù)據(jù)塊，并為每個數(shù)據(jù)塊建立一個唯一的指紋信息，并將指紋信息和數(shù)據(jù)塊存儲在目的端的磁盤上，每當(dāng)一個新塊被切分后便被送去目的端進(jìn)行指紋查詢，指紋不存在則指紋信息與數(shù)據(jù)便被傳輸至目的端。指紋信息由隨機散列產(chǎn)生，相鄰的數(shù)據(jù)塊產(chǎn)生的散列值相差甚遠(yuǎn)，所以在目的端對散列值并不進(jìn)行相鄰存儲，在進(jìn)行指紋查詢的時候采用分流的做法，然而這種做法并不能完美地解決速度慢的問題。隨著數(shù)據(jù)量的增長，指紋在磁盤上進(jìn)行指數(shù)倍的增長，不同的數(shù)據(jù)塊查詢變成了海量小數(shù)據(jù)的隨機1/0，雖然可以通過LRU等緩存算法減少頻繁的隨機1/0，也可采用SSD加速隨機讀寫性能，但是實際上磁盤I/O瓶頸依然是導(dǎo)致速度低下的原因。所以需要一種不依賴于磁盤I/O性便可以解決數(shù)據(jù)的快速存儲的方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種不依賴于磁盤1/0、存儲容量低、數(shù)據(jù)存儲速度快的基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法。
[0006]本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn):
[0007]—種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，包括以下步驟:
[0008]1)創(chuàng)建備份任務(wù)與元數(shù)據(jù)池的一一對應(yīng)關(guān)系，并為每一元數(shù)據(jù)池生成唯一標(biāo)簽；
[0009]2)發(fā)起一備份任務(wù)，將對應(yīng)的元數(shù)據(jù)池加載至對象存儲服務(wù)器的內(nèi)存中；
[0010]3)通過元數(shù)據(jù)池對需要備份的元數(shù)據(jù)進(jìn)行內(nèi)存級數(shù)據(jù)存儲。
[0011 ]所述元數(shù)據(jù)池采用數(shù)據(jù)型結(jié)構(gòu)存儲到對象存儲服務(wù)器中。
[0012]所述內(nèi)存級數(shù)據(jù)存儲具體為:
[0013]301)獲取需要備份的元數(shù)據(jù)信息，對象存儲服務(wù)器判斷內(nèi)存中是否存在與該元數(shù)據(jù)信息對應(yīng)的元數(shù)據(jù)，若是，則直接刪除需要備份的元數(shù)據(jù)，若否，則執(zhí)行步驟302);
[0014]302)將元數(shù)據(jù)信息緩存至元數(shù)據(jù)池的臨時區(qū)域中；
[0015]303)接收需要備份的元數(shù)據(jù)信息及相應(yīng)數(shù)據(jù)塊并存儲至對象文件系統(tǒng)，對象文件系統(tǒng)將數(shù)據(jù)塊寫入磁盤；
[0016]304)將元數(shù)據(jù)池臨時區(qū)域中的元數(shù)據(jù)信息填放至內(nèi)存區(qū)域中；
[0017]305)備份任務(wù)結(jié)束后，另開辟進(jìn)行將元數(shù)據(jù)信息寫入磁盤。
[0018]所述步驟303)中，對象文件系統(tǒng)將數(shù)據(jù)塊寫入磁盤時，同時保存存儲順序或引用順序。
[0019]所述步驟305)中，任務(wù)結(jié)束后，將元數(shù)據(jù)池中的數(shù)據(jù)持久化。
[0020]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0021]1)由于內(nèi)存的存儲量遠(yuǎn)遠(yuǎn)小于物理磁盤，所以不可能無節(jié)制使用，本發(fā)明設(shè)置了不同任務(wù)對應(yīng)不同元數(shù)據(jù)池的任務(wù)策略，達(dá)到實時切換內(nèi)存的效果，避免大數(shù)據(jù)情況下內(nèi)存不夠用的情況。
[0022]2)本發(fā)明根據(jù)任務(wù)將指定的元數(shù)據(jù)池加載至內(nèi)存中，通過全內(nèi)存方式加載至系統(tǒng)中，利用內(nèi)存高吞吐、低延時、速度快的特點，解決當(dāng)前備份存儲系統(tǒng)中重刪服務(wù)器，再通過查詢元數(shù)據(jù)信息時進(jìn)行頻繁的隨機磁盤I/O，造成隨著數(shù)據(jù)量越大、備份存儲速度越慢的問題，從而大幅度的提升備份存儲速度。
[0023]3)本發(fā)明區(qū)分對象文件系統(tǒng)與元數(shù)據(jù)池，將元數(shù)據(jù)信息存入元數(shù)據(jù)池，而數(shù)據(jù)塊存入對象文件系統(tǒng)，同時由對象文件系統(tǒng)記錄數(shù)據(jù)塊的存儲順序，屏蔽元數(shù)據(jù)池全部加載至內(nèi)存掉電引起數(shù)據(jù)丟失的后果，而實際數(shù)據(jù)依然可以有對象文件系統(tǒng)恢復(fù)。
【附圖說明】
[0024]圖1為本發(fā)明的流程示意圖；
[0025]圖2為本發(fā)明的實現(xiàn)原理圖。
【具體實施方式】
[0026]下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。本實施例以本發(fā)明技術(shù)方案為前提進(jìn)行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實施例。
[0027]本實施例提供一種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，適用于對象啟用重復(fù)數(shù)據(jù)刪除功能的備份存儲系統(tǒng)，通過任務(wù)策略將任務(wù)數(shù)據(jù)分流，并將服務(wù)器中的元數(shù)據(jù)數(shù)據(jù)池根據(jù)任務(wù)策略加載至內(nèi)存，從而優(yōu)化存儲效率與速度。如圖1所示，該方法包括以下步驟:
[0028]1)創(chuàng)建備份任務(wù)與元數(shù)據(jù)池的一一對應(yīng)關(guān)系，形成任務(wù)策略，并為每一元數(shù)據(jù)池生成唯一標(biāo)簽，元數(shù)據(jù)池采用數(shù)據(jù)型結(jié)構(gòu)存儲到對象存儲服務(wù)器中；
[0029]2)發(fā)起一備份任務(wù)，將對應(yīng)的元數(shù)據(jù)池加載至對象存儲服務(wù)器的內(nèi)存中；
[0030]3)通過元數(shù)據(jù)池對需要備份的元數(shù)據(jù)進(jìn)行內(nèi)存級數(shù)據(jù)存儲。
[0031]上述存儲方法的實施至少需要一臺生產(chǎn)服務(wù)器和一臺對象存儲服務(wù)器，如圖2所示，生產(chǎn)服務(wù)器內(nèi)部署備份軟件的客戶端程序，對象存儲服務(wù)器內(nèi)部署快速元數(shù)據(jù)存儲模塊和對象文件系統(tǒng)。本實例采用的生產(chǎn)服務(wù)器與對象存儲服務(wù)器操作系統(tǒng)為RedHatEnterprise 5，數(shù)據(jù)為Oracle備份到出數(shù)據(jù)約2TB數(shù)據(jù)量。
[0032]內(nèi)存級數(shù)據(jù)存儲具體為:
[0033]301)客戶端通過網(wǎng)絡(luò)將元數(shù)據(jù)信息發(fā)送至對象存儲服務(wù)器進(jìn)行查詢，快速元數(shù)據(jù)存儲模塊對接收到的元數(shù)據(jù)信息進(jìn)行內(nèi)存級別的查找，判斷內(nèi)存中是否存在與該元數(shù)據(jù)信息對應(yīng)的元數(shù)據(jù)，若是，則直接刪除需要備份的元數(shù)據(jù)，若否，則執(zhí)行步驟302);
[0034]302)快速元數(shù)據(jù)存儲模塊將元數(shù)據(jù)信息緩存至元數(shù)據(jù)池的臨時區(qū)域中；
[0035]303)客戶端接收到對象存儲服務(wù)器的查詢結(jié)果后，將元數(shù)據(jù)信息及相應(yīng)數(shù)據(jù)塊并存儲至對象文件系統(tǒng)，對象文件系統(tǒng)將數(shù)據(jù)塊寫入磁盤，同時保存存儲順序或引用順序；
[0036]304)數(shù)據(jù)存儲完畢通知快速元數(shù)據(jù)存儲模塊將元數(shù)據(jù)池臨時區(qū)域中的元數(shù)據(jù)信息填放至內(nèi)存區(qū)域中；
[0037]305)備份任務(wù)結(jié)束后，另開辟進(jìn)行將元數(shù)據(jù)信息寫入磁盤，將元數(shù)據(jù)池中的數(shù)據(jù)持久化。
【主權(quán)項】
1.一種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，其特征在于，包括以下步驟: 1)創(chuàng)建備份任務(wù)與元數(shù)據(jù)池的一一對應(yīng)關(guān)系，并為每一元數(shù)據(jù)池生成唯一標(biāo)簽； 2)發(fā)起一備份任務(wù)，將對應(yīng)的元數(shù)據(jù)池加載至對象存儲服務(wù)器的內(nèi)存中； 3)通過元數(shù)據(jù)池對需要備份的元數(shù)據(jù)進(jìn)行內(nèi)存級數(shù)據(jù)存儲。2.根據(jù)權(quán)利要求1所述的基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，其特征在于，所述元數(shù)據(jù)池采用數(shù)據(jù)型結(jié)構(gòu)存儲到對象存儲服務(wù)器中。3.根據(jù)權(quán)利要求1所述的基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，其特征在于，所述內(nèi)存級數(shù)據(jù)存儲具體為: 301)獲取需要備份的元數(shù)據(jù)信息，對象存儲服務(wù)器判斷內(nèi)存中是否存在與該元數(shù)據(jù)信息對應(yīng)的元數(shù)據(jù)，若是，則直接刪除需要備份的元數(shù)據(jù)，若否，則執(zhí)行步驟302); 302)將元數(shù)據(jù)信息緩存至元數(shù)據(jù)池的臨時區(qū)域中； 303)接收需要備份的元數(shù)據(jù)信息及相應(yīng)數(shù)據(jù)塊并存儲至對象文件系統(tǒng)，對象文件系統(tǒng)將數(shù)據(jù)塊寫入磁盤； 304)將元數(shù)據(jù)池臨時區(qū)域中的元數(shù)據(jù)信息填放至內(nèi)存區(qū)域中； 305)備份任務(wù)結(jié)束后，另開辟進(jìn)行將元數(shù)據(jù)信息寫入磁盤。4.根據(jù)權(quán)利要求3所述的基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，其特征在于，所述步驟303)中，對象文件系統(tǒng)將數(shù)據(jù)塊寫入磁盤時，同時保存存儲順序或引用順序。5.根據(jù)權(quán)利要求3所述的基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，其特征在于，所述步驟305)中，任務(wù)結(jié)束后，將元數(shù)據(jù)池中的數(shù)據(jù)持久化。
【專利摘要】本發(fā)明涉及一種基于任務(wù)策略的內(nèi)存級數(shù)據(jù)快速存儲方法，包括以下步驟：1)創(chuàng)建備份任務(wù)與元數(shù)據(jù)池的一一對應(yīng)關(guān)系，并為每一元數(shù)據(jù)池生成唯一標(biāo)簽；2)發(fā)起一備份任務(wù)，將對應(yīng)的元數(shù)據(jù)池加載至對象存儲服務(wù)器的內(nèi)存中；3)通過元數(shù)據(jù)池對需要備份的元數(shù)據(jù)進(jìn)行內(nèi)存級數(shù)據(jù)存儲。與現(xiàn)有技術(shù)相比，本發(fā)明通過任務(wù)策略將任務(wù)數(shù)據(jù)分流，并將服務(wù)器中的元數(shù)據(jù)數(shù)據(jù)池根據(jù)任務(wù)策略加載至內(nèi)存，從而優(yōu)化存儲效率與速度，不依賴于磁盤I/O，具有降低存儲容量、加快數(shù)據(jù)存儲速度等優(yōu)點。
【IPC分類】G06F3/06
【公開號】CN105487819
【申請?zhí)枴緾N201510855156
【發(fā)明人】王瀚
【申請人】上海愛數(shù)信息技術(shù)股份有限公司
【公開日】2016年4月13日
【申請日】2015年11月30日