專利名稱：基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法
技術(shù)領(lǐng)域：
本項(xiàng)發(fā)明屬于網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，具體涉及一種網(wǎng)絡(luò)在線備份方法，特別是基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法。
背景技術(shù)：
網(wǎng)絡(luò)在線備份是一種基于網(wǎng)絡(luò)的數(shù)據(jù)備份，也就是說，用戶通過網(wǎng)絡(luò)把數(shù)據(jù)備份到異地的數(shù)據(jù)服務(wù)器上，而不是本地的硬盤上，通過對異地?cái)?shù)據(jù)服務(wù)器的有效管理和保護(hù)，就可以最大程度的保護(hù)用戶數(shù)據(jù)，從而在用戶數(shù)據(jù)丟失的情況下，可以方便的恢復(fù)數(shù)據(jù)，提高數(shù)據(jù)的安全性和容災(zāi)能力。
圖1是基本的網(wǎng)絡(luò)在線備份結(jié)構(gòu)圖。如圖所示，通常網(wǎng)絡(luò)在線備份方法包括兩種不同用途的服務(wù)名字服務(wù)和數(shù)據(jù)服務(wù)。名字服務(wù)是用戶直接通訊的服務(wù)，用于記錄用戶的目錄空間結(jié)構(gòu)、訪問權(quán)限以及管理數(shù)據(jù)服務(wù)，用于響應(yīng)用戶的請求；數(shù)據(jù)服務(wù)向名字服務(wù)注冊，以便向用戶提供空間存儲服務(wù)。
通常網(wǎng)絡(luò)在線備份具有多種數(shù)據(jù)訪問方式，數(shù)據(jù)加密傳輸和存儲，定時備份計(jì)劃，數(shù)據(jù)共享等功能，用來方便用戶的使用。而其核心是保護(hù)數(shù)據(jù)的安全性，目前一般采用冗余的數(shù)據(jù)存儲策略將數(shù)據(jù)服務(wù)器分散在不同的地理位置，保存數(shù)據(jù)的多份拷貝，來避免自然災(zāi)害帶來的數(shù)據(jù)丟失。采用硬盤的冗余策略，即RAID技術(shù)(冗余磁盤陣列技術(shù))，保證硬盤上數(shù)據(jù)的安全。數(shù)據(jù)服務(wù)器存放處采用24*7小時的監(jiān)控，甚至采用空氣過濾系統(tǒng)，防水防火系統(tǒng)，UPS電源保護(hù)等來保證數(shù)據(jù)服務(wù)器的安全。
上述保護(hù)措施對提高數(shù)據(jù)的安全性有很大的作用，但一方面需要有很大的投入，另一方面得到的效果并不足以滿足人們對數(shù)據(jù)安全性和可靠性的要求，而且基于硬件冗余的方法擴(kuò)展性差，添加刪除新的數(shù)據(jù)服務(wù)器往往比較麻煩。隨著對數(shù)據(jù)安全性的要求越來越嚴(yán)格，對系統(tǒng)的擴(kuò)展性的要求越來越高，如何用較低的成本獲得高的數(shù)據(jù)安全性和可靠性，并保證系統(tǒng)的可擴(kuò)展性越來越受到人們的重視，本發(fā)明正是基于解決上述的需要而提出的。

發(fā)明內(nèi)容
為了滿足上述要求，本發(fā)明的目的在于提供一種基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，從而用較低的成本獲得高的備份數(shù)據(jù)安全性和可靠性，并提供良好的擴(kuò)展性。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種通過將文件分解成碎片實(shí)現(xiàn)數(shù)據(jù)分塊冗余以及虛擬化數(shù)據(jù)服務(wù)進(jìn)而達(dá)到用廉價硬件成本獲取高數(shù)據(jù)安全性、可靠性和系統(tǒng)擴(kuò)展性的方法。
本發(fā)明是這樣實(shí)現(xiàn)的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，包括以下部分1.數(shù)據(jù)服務(wù)虛擬化數(shù)據(jù)服務(wù)是一個提供數(shù)據(jù)服務(wù)的個體，提供的數(shù)據(jù)服務(wù)包括文件上傳、下載、刪除等。
數(shù)據(jù)服務(wù)池是多個數(shù)據(jù)服務(wù)的集合，對外是一個整體，使用者并不知道數(shù)據(jù)服務(wù)池內(nèi)部的結(jié)構(gòu)，對使用者是透明的，提供虛擬化的數(shù)據(jù)服務(wù)，并保證服務(wù)的質(zhì)量；對內(nèi)而言，數(shù)據(jù)服務(wù)可自由的加入、退出數(shù)據(jù)服務(wù)池，而不影響使用者。
名字服務(wù)是用戶直接通訊的個體，提供管理服務(wù)，包括用戶空間目錄結(jié)構(gòu)管理，用戶權(quán)限管理，處理用戶請求等。
每個數(shù)據(jù)服務(wù)可位于相同的機(jī)器上，也可以位于不同的機(jī)器上。數(shù)據(jù)服務(wù)只有向數(shù)據(jù)服務(wù)池注冊后才能提供服務(wù)，數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)負(fù)責(zé)管理數(shù)據(jù)服務(wù)的注冊、退出和選擇，為名字服務(wù)提供有保證的數(shù)據(jù)服務(wù)。
圖2是數(shù)據(jù)服務(wù)虛擬化結(jié)構(gòu)圖，如圖所示，該部分主要的方法步驟是1)將多個數(shù)據(jù)服務(wù)組成數(shù)據(jù)服務(wù)池。首先將每個數(shù)據(jù)服務(wù)注冊到數(shù)據(jù)服務(wù)池中，然后分別在每個數(shù)據(jù)服務(wù)上部署各自的服務(wù)監(jiān)控代理，服務(wù)監(jiān)控代理是與數(shù)據(jù)服務(wù)綁定的，可記錄數(shù)據(jù)服務(wù)的運(yùn)行和負(fù)載情況，并監(jiān)控?cái)?shù)據(jù)服務(wù)的運(yùn)行，周期性的將數(shù)據(jù)服務(wù)的信息提供給數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)。
2)部署數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)。數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)與數(shù)據(jù)服務(wù)池綁定，負(fù)責(zé)收集數(shù)據(jù)服務(wù)池中各個數(shù)據(jù)服務(wù)的運(yùn)行負(fù)載信息，并對服務(wù)能力以及服務(wù)能力變化趨勢進(jìn)行綜合的評估，服務(wù)能力的評估包括實(shí)時的能力評估和能力的變化趨勢評估，這樣更能反映總服務(wù)能力的好壞。數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)不斷的收集各個注冊數(shù)據(jù)服務(wù)的信息，動態(tài)的設(shè)置數(shù)據(jù)服務(wù)的服務(wù)能力，例如是否存活，是否可以提供服務(wù)，服務(wù)能力高低，能力變化趨勢預(yù)測等，并等待名字服務(wù)的服務(wù)請求。
3)部署名字服務(wù)，并建立與數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)的聯(lián)系。名字服務(wù)是與用戶直接通訊的，用戶的請求都是由名字服務(wù)處理的。名字服務(wù)根據(jù)用戶的需求向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)送請求，進(jìn)而獲得所需要的服務(wù)。
部署之后，便可提供虛擬化的存儲服務(wù)，當(dāng)用戶向名字服務(wù)請求服務(wù)時，名字服務(wù)向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)出數(shù)據(jù)服務(wù)請求，數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)利用評估的數(shù)據(jù)服務(wù)性能參數(shù)，動態(tài)選擇服務(wù)能力較好的數(shù)據(jù)服務(wù)提供給名字服務(wù)，可按照不同的需要運(yùn)用不同的選擇策略，滿足不同條件下不同用戶的不同需要。例如可提供不同用戶不同的服務(wù)質(zhì)量等。
名字服務(wù)得到數(shù)據(jù)服務(wù)后，進(jìn)而為用戶服務(wù)。對名字服務(wù)和用戶來說，提供的數(shù)據(jù)服務(wù)是數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)提供的，是數(shù)據(jù)服務(wù)池中服務(wù)能力較好的一組數(shù)據(jù)服務(wù)，實(shí)現(xiàn)了數(shù)據(jù)服務(wù)的虛擬化。
如上述步驟建立的數(shù)據(jù)服務(wù)池是一個虛擬的存儲服務(wù)池，對內(nèi)可不斷添加新的數(shù)據(jù)服務(wù)，數(shù)據(jù)服務(wù)也可自由的退出，所有這些都不影響用戶的正常使用，這樣就可以根據(jù)系統(tǒng)負(fù)載動態(tài)的對數(shù)據(jù)服務(wù)能力進(jìn)行調(diào)整，具有良好的擴(kuò)展性，例如可在系統(tǒng)負(fù)載加大時添加新的數(shù)據(jù)服務(wù)，提高系統(tǒng)吞吐量，在系統(tǒng)負(fù)載減小時退出部分?jǐn)?shù)據(jù)服務(wù)，節(jié)省大量的資源開銷。同時由于數(shù)據(jù)服務(wù)池是一個整體，因此只要求數(shù)據(jù)服務(wù)池的整體服務(wù)能力，從而降低對單個數(shù)據(jù)服務(wù)的要求，可以采用廉價的硬件成本得到高的服務(wù)能力，節(jié)省了大量的成本；對外則可保證提供持續(xù)的具有良好服務(wù)能力的數(shù)據(jù)服務(wù)。
2.用戶數(shù)據(jù)分塊冗余用戶所要備份的文件采用數(shù)據(jù)分塊冗余機(jī)制，傳統(tǒng)的提高數(shù)據(jù)可靠性的機(jī)制有副本機(jī)制和硬件RAID冗余機(jī)制。副本機(jī)制是保存文件的多個副本，進(jìn)而在原文件不可用時，利用文件的副本恢復(fù)原文件來保證數(shù)據(jù)的可靠性，但需要浪費(fèi)大量的存儲空間；硬件的RAID冗余機(jī)制是利用奇偶校驗(yàn)機(jī)制來保證數(shù)據(jù)的可靠性，但穩(wěn)定性不高；與前兩者不同，數(shù)據(jù)分塊冗余機(jī)制是將文件分解成多個碎片，隨后將碎片分散，恢復(fù)文件時，不需要全部碎片即可恢復(fù)文件，從而提高了數(shù)據(jù)的安全性和可靠性，對空間的浪費(fèi)較小，穩(wěn)定性也高。
圖3是數(shù)據(jù)分塊冗余示意圖。數(shù)據(jù)分塊冗余機(jī)制的步驟可分為兩部分，一是用戶文件備份部分；二是用戶文件恢復(fù)部分。
用戶文件備份部分的步驟如下1)用戶文件的分解。在用戶向名字服務(wù)請求文件備份服務(wù)后，用戶文件不是直接傳送到服務(wù)器的存儲空間，而是首先將文件分解成多個碎片，并根據(jù)分解的情況，記錄分解參數(shù)，分解參數(shù)包括碎片個數(shù)、碎片大小等信息。
2)數(shù)據(jù)服務(wù)的獲取。由名字服務(wù)向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)出請求，由此可得到一組滿足需要的數(shù)據(jù)服務(wù)。
3)碎片的分發(fā)存儲。將碎片分發(fā)到由步驟2的得到的多個數(shù)據(jù)服務(wù)上去，同時記錄各個碎片的分發(fā)信息，包括碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系等。
4)文件元數(shù)據(jù)的建立與保存。由步驟1得到的分解參數(shù)和步驟3得到的碎片分發(fā)信息，構(gòu)造文件元數(shù)據(jù)信息，文件元數(shù)據(jù)信息描述了文件的基本信息、文件與碎片的對應(yīng)關(guān)系以及碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系。例如文件名、文件大小、文件分解參數(shù)，碎片個數(shù)，碎片存放位置等，在文件恢復(fù)時也要用到。建立文件元數(shù)據(jù)信息之后，將它保存在名字服務(wù)上。至此完成了文件的備份。
用戶文件恢復(fù)的步驟如下1)文件元數(shù)據(jù)的取得。在用戶向名字服務(wù)請求文件恢復(fù)后，從名字服務(wù)上取得該文件的元數(shù)據(jù)，進(jìn)而從元數(shù)據(jù)中取得文件的分解參數(shù)，碎片個數(shù)以及碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系等。
2)碎片的獲取。根據(jù)步驟1得到的碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系，從數(shù)據(jù)服務(wù)上取回碎片。并不需要取回所有的碎片，只需要取回滿足文件恢復(fù)需要數(shù)目的碎片即可。
3)碎片的重組和原文件的恢復(fù)。根據(jù)步驟1得到的分解參數(shù)信息，對碎片進(jìn)行重組，繼而恢復(fù)原文件。
以上是發(fā)明的步驟，該方法的好處是通過數(shù)據(jù)分塊冗余機(jī)制把文件分成碎片，可保證單個碎片是沒有意義的二進(jìn)制流文件，從單個碎片中不能得到原文件的任何可用信息，并且利用單個碎片不能恢復(fù)原文件，因此對原文件的竊聽是不可能的，從而保證了數(shù)據(jù)的安全性。
不同的碎片存放在不同的數(shù)據(jù)服務(wù)上，各個數(shù)據(jù)服務(wù)是獨(dú)立的，恢復(fù)文件需要取得碎片，但并不需要所有的碎片，假定文件分解成n個碎片，則只需要n個碎片中的任意m個碎片(m＜n)即可恢復(fù)原文件，因此允許有限數(shù)量的碎片丟失，卻并不影響原文件的恢復(fù)，從而保證了數(shù)據(jù)的可靠性。
此外碎片的分解參數(shù)是可以調(diào)節(jié)的，碎片數(shù)目也是可調(diào)節(jié)的，碎片數(shù)目越多安全性越高，可根據(jù)實(shí)際的數(shù)據(jù)安全需要和成本的高低來調(diào)節(jié)數(shù)據(jù)分塊冗余的程度，有良好的靈活性。
以上是本發(fā)明兩個部分的方法步驟，可以看到基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，通過數(shù)據(jù)分塊冗余和數(shù)據(jù)服務(wù)虛擬化的結(jié)合使用，大大提高了數(shù)據(jù)的安全性，可靠性，并具有良好的系統(tǒng)可擴(kuò)展性。
根據(jù)本發(fā)明的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，不必借助昂貴的硬件投入、硬件冗余等傳統(tǒng)措施，同樣可以達(dá)到高的數(shù)據(jù)安全性、可靠性，擴(kuò)展性。當(dāng)然在傳統(tǒng)方法的基礎(chǔ)上使用本發(fā)明的方法則可以有更好的效果。


下面結(jié)合附圖對本發(fā)明進(jìn)一步詳細(xì)地說明圖1是基本的網(wǎng)絡(luò)在線備份結(jié)構(gòu)圖；圖2是數(shù)據(jù)服務(wù)虛擬化部分結(jié)構(gòu)圖；圖3是軟件冗余示意圖；圖4是服務(wù)器端的數(shù)據(jù)服務(wù)虛擬化結(jié)構(gòu)圖；圖5是客戶端使用軟件冗余的數(shù)據(jù)流圖。
具體實(shí)施例方式
下面參照本發(fā)明的附圖，更詳細(xì)的描述出本發(fā)明的最佳實(shí)施例。
網(wǎng)絡(luò)在線備份系統(tǒng)一般分為客戶端和服務(wù)器端這兩個部分，其中服務(wù)器端一般又可分為名字服務(wù)器和數(shù)據(jù)服務(wù)器群。本發(fā)明的兩個部分?jǐn)?shù)據(jù)服務(wù)虛擬化可用在服務(wù)器端；數(shù)據(jù)分塊冗余可用在客戶端。
圖4是數(shù)據(jù)服務(wù)虛擬化運(yùn)用在服務(wù)器端的結(jié)構(gòu)圖。如圖所示，數(shù)據(jù)服務(wù)池是一個虛擬的存儲池，可不斷添加新的數(shù)據(jù)服務(wù)，有良好的擴(kuò)展性，有多個數(shù)據(jù)服務(wù)組成，不同的數(shù)據(jù)服務(wù)可位于相同機(jī)器上，也可分布在多臺機(jī)器上。
1.將多個數(shù)據(jù)服務(wù)組成數(shù)據(jù)服務(wù)池。注冊數(shù)據(jù)服務(wù)，并在每個數(shù)據(jù)服務(wù)上部署服務(wù)監(jiān)控代理，它收集運(yùn)行時信息，例如CPU的負(fù)載、磁盤空間、可用內(nèi)存大小、網(wǎng)絡(luò)流量大小、當(dāng)前服務(wù)人數(shù)等信息，并周期性的向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)提交數(shù)據(jù)。
2.部署數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)，它主要有四部分組成，信息收集模塊、性能評估模塊、日志統(tǒng)計(jì)模塊、服務(wù)選擇模塊。
信息收集模塊負(fù)責(zé)周期性的收集池中各個數(shù)據(jù)服務(wù)的當(dāng)前運(yùn)行負(fù)載信息，并將收集到的信息發(fā)送給性能評估模塊和日志統(tǒng)計(jì)模塊。性能評估模塊對數(shù)據(jù)服務(wù)當(dāng)前性能和負(fù)載做實(shí)時的分析和評估，主要的根據(jù)是諸如CPU、內(nèi)存、當(dāng)前服務(wù)個數(shù)、可用內(nèi)存、網(wǎng)絡(luò)流量等對服務(wù)能力影響的大小。分別給各個影響服務(wù)能力的因素賦與不同的影響因子，從而求出總的實(shí)時服務(wù)能力。日志統(tǒng)計(jì)模塊負(fù)責(zé)日志記錄和歷史信息統(tǒng)計(jì)，通過分析歷史負(fù)載和服務(wù)能力信息，得到歷史服務(wù)能力以及歷史能力變化規(guī)律，從而預(yù)測數(shù)據(jù)服務(wù)的服務(wù)能力變化趨勢。
服務(wù)選擇模塊等待名字服務(wù)的服務(wù)選擇請求，它根據(jù)服務(wù)評估模塊提供的實(shí)時服務(wù)能力，結(jié)合日志統(tǒng)計(jì)模塊提供的歷史服務(wù)能力以及服務(wù)能力變化趨勢，評估每一個數(shù)據(jù)服務(wù)的總服務(wù)能力和變化趨勢，以備數(shù)據(jù)服務(wù)選擇時使用。
3.部署名字服務(wù)，并建立與數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)的聯(lián)系，之后等待用戶請求。服務(wù)選擇有多種策略，這里設(shè)定不同的用戶有不同的服務(wù)質(zhì)量等級，當(dāng)名字服務(wù)得到用戶請求后，根據(jù)用戶的服務(wù)質(zhì)量等級向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)送服務(wù)選擇請求，上述的服務(wù)選擇模塊根據(jù)名字服務(wù)的需要，動態(tài)的選擇數(shù)據(jù)服務(wù)，并將之返回給名字服務(wù)，名字服務(wù)將之提供給用戶使用。
圖5是客戶端使用數(shù)據(jù)分塊冗余的數(shù)據(jù)流圖。如圖所示，數(shù)據(jù)分塊冗余可分為四個部分文件分解模塊、碎片分發(fā)模塊、碎片收集模塊、碎片重組模塊。
1.用戶文件的分解。用戶備份的文件首先通過文件分解模塊，該模塊根據(jù)用戶設(shè)定的分解參數(shù)將文件分解為本地的多個碎片，碎片的個數(shù)、大小可以根據(jù)需要做調(diào)節(jié)，以滿足不同冗余度的需要，分解之后要記錄文件分解參數(shù)信息，之后將它們放入碎片分發(fā)任務(wù)隊(duì)列中等待處理。
2.數(shù)據(jù)服務(wù)的獲取。碎片分發(fā)模塊檢測碎片分發(fā)任務(wù)隊(duì)列，一旦發(fā)現(xiàn)有任務(wù)可調(diào)度，便取出任務(wù)，并向名字服務(wù)發(fā)送數(shù)據(jù)服務(wù)請求，名字服務(wù)收到請求后，進(jìn)而請求數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)，獲得經(jīng)過選擇的多個數(shù)據(jù)服務(wù)，并發(fā)送給碎片分發(fā)模塊。
3.碎片的分發(fā)存儲。碎片分發(fā)模塊得到可用的數(shù)據(jù)服務(wù)后，開始碎片分發(fā)。為了保證傳輸過程中的保密性，碎片分發(fā)模塊首先將每個碎片進(jìn)行加密，并進(jìn)行壓縮以節(jié)省帶寬，隨后分別分發(fā)到前面得到的數(shù)據(jù)服務(wù)上，并記錄每個碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系等碎片分發(fā)信息。
4.文件元數(shù)據(jù)的建立與保存。分發(fā)完畢后碎片分發(fā)模塊根據(jù)分解參數(shù)和碎片分發(fā)信息構(gòu)造文件元數(shù)據(jù)信息，其中包括文件名、文件大小、文件所有者、文件分解參數(shù)、碎片個數(shù)、碎片大小、碎片存儲位置等信息，并將之提交給名字服務(wù)，從而完成文件的備份。
當(dāng)用戶恢復(fù)文件時，需要特定數(shù)量的碎片以及文件元數(shù)據(jù)信息，只有當(dāng)兩者獲得之后，才能進(jìn)行文件的重組，需要的模塊有碎片收集模塊和碎片重組模塊。具體的步驟如下1.文件元數(shù)據(jù)的獲取。用戶向名字服務(wù)請求恢復(fù)文件，則碎片收集模塊與名字服務(wù)聯(lián)系，取得需要恢復(fù)文件的元數(shù)據(jù)信息，從而取得碎片分解信息和分解參數(shù)信息，例如碎片的位置、分解算法參數(shù)等。
2.碎片的獲取。碎片收集模塊從各個碎片對應(yīng)的數(shù)據(jù)服務(wù)上取回所需數(shù)量的碎片，這里只需取回恢復(fù)文件所需的碎片個數(shù)，而不需要所有的碎片。之后提交給碎片重組模塊。
3.碎片的重組和原文件的恢復(fù)。碎片重組模塊得到所需碎片和文件元數(shù)據(jù)信息之后，判斷是否可恢復(fù)原文件，及判斷碎片的數(shù)量是否滿足要求，如果不滿足要求，則向用戶報(bào)告恢復(fù)文件失敗，否則利用文件元數(shù)據(jù)信息重組碎片，從而完成文件的恢復(fù)，并提交給用戶。
數(shù)據(jù)服務(wù)虛擬化和數(shù)據(jù)分塊冗余在系統(tǒng)中是結(jié)合在一起的，實(shí)際系統(tǒng)證明，兩者的結(jié)合達(dá)到了理想的效果。此外還可有其他實(shí)施方法，例如可將數(shù)據(jù)服務(wù)池部屬在同一臺機(jī)器上，使得池中不同的數(shù)據(jù)服務(wù)有不同的存儲區(qū)域，例如位于不同的分區(qū)，不同的磁盤上，以達(dá)到讓數(shù)據(jù)服務(wù)彼此之間的錯誤相關(guān)性較小，在客戶端利用數(shù)據(jù)分塊冗余將碎片分散，每個碎片對應(yīng)不同的數(shù)據(jù)服務(wù)，從而達(dá)到了RAID的效果，即使分區(qū)損壞，磁盤損壞，只要剩下的碎片數(shù)目滿足碎片重組的碎片數(shù)量要求即可保證數(shù)據(jù)的恢復(fù)，并且節(jié)省了大量的成本投入。
實(shí)際系統(tǒng)表明，基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法提高了數(shù)據(jù)的安全性、可靠性，提高了系統(tǒng)的擴(kuò)展性，與傳統(tǒng)方法相比，可節(jié)省大量成本，在廉價成本投入條件下，仍能取得令人滿意的效果。此外，本發(fā)明與傳統(tǒng)方法是可兼容的，可以很方便的加入到傳統(tǒng)方法上來，從而獲得更好的效果。
盡管為說明目的公開了本發(fā)明的最佳實(shí)施例和附圖，但是本領(lǐng)域的技術(shù)人員可以理解在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi)，各種替換、變化和修改都是可能的。因此，本發(fā)明不應(yīng)局限于最佳實(shí)施例和附圖所公開的內(nèi)容。
權(quán)利要求
1.一種基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，在數(shù)據(jù)服務(wù)端包括以下步驟1)多個數(shù)據(jù)服務(wù)組成數(shù)據(jù)服務(wù)池；2)部署數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)；3)部署名字服務(wù)，并建立與數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)的聯(lián)系；在用戶端數(shù)據(jù)備份包括以下步驟1)將文件分解成多個碎片，并記錄分解參數(shù)；2)由名字服務(wù)向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)出請求，獲取數(shù)據(jù)服務(wù)；3)將碎片分發(fā)到數(shù)據(jù)服務(wù)上去，同時記錄碎片的分發(fā)信息；4)由分解參數(shù)和碎片分發(fā)信息，構(gòu)造文件元數(shù)據(jù)信息，并將文件元數(shù)據(jù)信息保存在名字服務(wù)上。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于，將備份的文件恢復(fù)時，包括一下步驟1)用戶向名字服務(wù)請求文件恢復(fù)，從名字服務(wù)上獲得該文件的元數(shù)據(jù)信息，進(jìn)而從元數(shù)據(jù)中獲得文件的分解參數(shù)以及碎片與數(shù)據(jù)服務(wù)的對應(yīng)關(guān)系；2)根據(jù)獲得的元數(shù)據(jù)信息，從數(shù)據(jù)服務(wù)上取回碎片；3)根據(jù)得到的分解參數(shù)，對碎片進(jìn)行重組，從而恢復(fù)出原文件。
3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于文件的分解參數(shù)包括碎片個數(shù)和碎片大小。
4.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于將多個數(shù)據(jù)服務(wù)組成數(shù)據(jù)服務(wù)池時，首先將每個數(shù)據(jù)服務(wù)注冊到數(shù)據(jù)服務(wù)池中，然后分別在每個數(shù)據(jù)服務(wù)上部署各自的服務(wù)監(jiān)控代理。
5.根據(jù)權(quán)利要求4所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于部署數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)時，將數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)與數(shù)據(jù)服務(wù)池綁定，數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)收集各個注冊數(shù)據(jù)服務(wù)的信息，并等待名字服務(wù)的服務(wù)請求。
6.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于名字服務(wù)直接與用戶通訊，根據(jù)用戶的需求向數(shù)據(jù)服務(wù)池監(jiān)控服務(wù)發(fā)送請求，進(jìn)而獲得服務(wù)。
7.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于數(shù)據(jù)服務(wù)池對內(nèi)可不斷添加新的數(shù)據(jù)服務(wù)，數(shù)據(jù)服務(wù)也可自由的退出。
8.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于將備份的文件恢復(fù)，從數(shù)據(jù)服務(wù)上取回碎片時，不需要取回所有的碎片。
9.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于不同的碎片存放在不同的數(shù)據(jù)服務(wù)上，各個數(shù)據(jù)服務(wù)是獨(dú)立的。
10.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，其特征在于不同的數(shù)據(jù)服務(wù)可位于相同的機(jī)器上，也可以位于不同的機(jī)器上。
全文摘要
本發(fā)明提供了一種基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，從而用較低的成本獲得高的備份數(shù)據(jù)安全性和可靠性，并提供良好的擴(kuò)展性。本發(fā)明通過將文件分解成碎片實(shí)現(xiàn)數(shù)據(jù)分塊冗余以及虛擬化數(shù)據(jù)服務(wù)進(jìn)而達(dá)到用廉價硬件成本獲取高數(shù)據(jù)安全性、可靠性和系統(tǒng)擴(kuò)展性的方法。基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，通過數(shù)據(jù)分塊冗余和數(shù)據(jù)服務(wù)虛擬化的結(jié)合使用，大大提高了數(shù)據(jù)的安全性，可靠性，并具有良好的系統(tǒng)可擴(kuò)展性。根據(jù)本發(fā)明的基于數(shù)據(jù)分塊冗余和虛擬化存儲的在線備份方法，不必借助昂貴的硬件投入、硬件冗余等傳統(tǒng)措施，同樣可以達(dá)到高的數(shù)據(jù)安全性、可靠性，擴(kuò)展性。
文檔編號G06F11/07GK1633086SQ20051000291
公開日2005年6月29日 申請日期2005年1月26日 優(yōu)先權(quán)日2005年1月26日
發(fā)明者田敬, 張大為, 高乾, 代亞非, 李曉明 申請人:北京大學(xué)