專利名稱：一種用于備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法
技術(shù)領(lǐng)域：
本發(fā)明提出了一種用于備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法，屬于數(shù)據(jù)備份領(lǐng)域。
背景技術(shù)：
傳統(tǒng)的備份系統(tǒng)在備份海量數(shù)據(jù)時(shí)，通常面臨著本地?cái)?shù)據(jù)帶寬大于備份線路數(shù)據(jù)帶寬的 突出矛盾。為了緩解這一矛盾，傳統(tǒng)的備份系統(tǒng)使用了光纖通道技術(shù)(Fiber Channel)及存 儲局域網(wǎng)(Storage Area Network)等遠(yuǎn)程存儲技術(shù)來提高備份線路的帶寬。這些技術(shù)都高度 依賴于價(jià)格十分昂貴的高速專線，使得備份系統(tǒng)的建設(shè)成本十分驚人，而且，這種方法對于 備份線路帶寬的提高十分有限，往往無法趕上本地?cái)?shù)據(jù)帶寬的增長幅度。因此，傳統(tǒng)方法不 能從根本上解決上述矛盾。
中國專利公開號為CN1445672的申請案可以實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)的數(shù)據(jù)鏡像，但當(dāng)本地服務(wù) 器產(chǎn)生海量數(shù)據(jù)變化時(shí)，將會導(dǎo)致嚴(yán)重的性能問題。
針對上述的缺陷，本發(fā)明提出了一種用于備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法， 可用于本地?cái)?shù)據(jù)帶寬大于備份線路數(shù)據(jù)帶寬的備份系統(tǒng)中，尤其是基于Internet的數(shù)據(jù)備份 系統(tǒng)。該方法通過在本地服務(wù)器部署海量數(shù)據(jù)高速緩存器來存儲服務(wù)器的變化數(shù)據(jù)，解決了 本地?cái)?shù)據(jù)帶寬大于備份線路帶寬的突出矛盾。
該方法突破了傳統(tǒng)備份系統(tǒng)依賴高速專線的技術(shù)難題，降低了備份系統(tǒng)對備份線路帶寬 以及穩(wěn)定性的要求，極大地減低了備份系統(tǒng)的建設(shè)成本和使用成本，尤其是使得部署基于 Internet的數(shù)據(jù)備份系統(tǒng)成為可能，具有廣闊的應(yīng)用前景。
發(fā)明內(nèi)容
在詳細(xì)闡述本發(fā)明之前，先做如下定義-
定義1:備份對象r，用來表示本地服務(wù)器上需要備份的對象。
定義2:海量數(shù)據(jù)高速緩存器S，用來存儲備份對象產(chǎn)生的變化數(shù)據(jù)，包含以下兩個(gè) 部分
1) 海量數(shù)據(jù)高速緩存器描述符，包括五個(gè)部分海量數(shù)據(jù)高速緩存器容量
加ze、備份記錄大小ra&、備份記錄數(shù)",、當(dāng)前讀指針rpw、當(dāng)前寫指
針VV/ CW;
2) 備份記錄，包括四個(gè)部分備份對象名to"W、備份數(shù)據(jù)在備份對象上的 位置O力SW、備份數(shù)據(jù)甴to、驗(yàn)證摘要值A(chǔ)。
定義3:定義驗(yàn)證摘要值的計(jì)算公式，/2 = //(tow" + 0j^W + fltoa)，其中A表示驗(yàn)證摘 要值，+表示字符串的連接運(yùn)算，表示發(fā)生數(shù)據(jù)變化的備份對象的名 稱，p訴W表示備份數(shù)據(jù)在備份對象上的位置，^to表示備份數(shù)據(jù)的具體內(nèi) 容，^為散列函數(shù)，可以是MA5、 S/"-7等。
定義4:海量數(shù)據(jù)高速緩存器讀指針的計(jì)算公式，= 0pay +1)%(々& /mh)，其中 /p^'表示讀操作后的海量數(shù)據(jù)高速緩存器當(dāng)前的讀指針的位置，表示讀 操作前的海量數(shù)據(jù)高速緩存器的讀指針的位置。
定義5:海量數(shù)據(jù)高速緩存器寫指針的計(jì)算公式，w/Kw'-(，M + l，Oze/wize)，其 中M^w'表示寫操作后的海量數(shù)據(jù)高速緩存器當(dāng)前的寫指針的位置，wp似表示 寫操作前的海量數(shù)據(jù)高速緩存器的寫指針的位置。
本發(fā)明提出了一種用于數(shù)據(jù)備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法，該方法通過在 本地服務(wù)器上建立海量數(shù)據(jù)高速緩存器S，對服務(wù)器的變化數(shù)據(jù)進(jìn)行緩存，解決了本地?cái)?shù)據(jù) 帶寬大于備份線路帶寬的突出矛盾。
海量數(shù)據(jù)高速緩存器S的組織格式包括海量數(shù)據(jù)高速緩存器描述符和備份記錄兩個(gè)部 分。在對海量數(shù)據(jù)高速緩存器S進(jìn)行初始化時(shí)，首先需要在本地服務(wù)器的磁盤上建立一個(gè)固 定大小的容器文件，然后在其頭部填入海量數(shù)據(jù)高速緩存器描述符的內(nèi)容，包括海量數(shù)據(jù)高 速緩存器容量、備份記錄大小、備份記錄數(shù)、當(dāng)前讀指針、當(dāng)前寫指針等內(nèi)容。當(dāng)備份對象r發(fā)生數(shù)據(jù)變化時(shí)，首先通過定義3的公式計(jì)算出變化數(shù)據(jù)(需備份的數(shù) 據(jù))的摘要值，然后將備份對象名，備份數(shù)據(jù)，備份數(shù)據(jù)在備份對象上的位置以及計(jì)算出的 摘要值封裝成備份記錄i ，再根據(jù)海量數(shù)據(jù)高速緩存器寫指針將i 寫入到海量緩存器 S中，并更新海量數(shù)據(jù)高速緩存器寫指針(使其指向下一個(gè)寫入位置)和備份記錄數(shù) "Wm。當(dāng)需要讀取備份記錄i 時(shí)，首先根據(jù)海量數(shù)據(jù)高速緩存器讀指針r/7M來讀取i ，然后 將i 發(fā)送到遠(yuǎn)程，待發(fā)送完成后，更新海量數(shù)據(jù)高速緩存器讀指針(使其指向下一個(gè)讀
位置)和備份記錄數(shù)TOOT。
具體地，本發(fā)明提出的用于數(shù)據(jù)備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法包括以下步
驟
1) 對海量數(shù)據(jù)高速緩存器進(jìn)行初始化的步驟；
2) 對海量數(shù)據(jù)高速緩存器進(jìn)行寫入的步驟；
3) 對海量數(shù)據(jù)高速緩存器進(jìn)行讀取的步驟。
四

圖1是海量數(shù)據(jù)高速緩存器的組織格式。 圖2是對海量數(shù)據(jù)高速緩存器進(jìn)行初始化的步驟。 圖3是對海量數(shù)據(jù)高速緩存器進(jìn)行寫入的步驟。 圖4是對海量數(shù)據(jù)高速緩存器進(jìn)行讀取的步驟。
五具體實(shí)施例方式
以下結(jié)合附圖詳細(xì)說明本發(fā)明的具體方法。
6圖1是海量數(shù)據(jù)高速緩存器的組織格式。
海量數(shù)據(jù)高速緩存器組織格式如下-
1) 海量數(shù)據(jù)高速緩存器容量/w'M
整數(shù)，表示海量數(shù)據(jù)高速緩存器S的大小。
2) 備份記錄大小"/ze
整數(shù)，表示存儲在海量數(shù)據(jù)高速緩存器S中的備份記錄的大小。
3) 備份記錄數(shù)wwm
整數(shù)，表示海量數(shù)據(jù)高速緩存器S中目前已經(jīng)存儲的備份記錄數(shù)。
4) 當(dāng)前讀指針^7oy
整數(shù)，表示海量數(shù)據(jù)高速緩存器S中當(dāng)前可以讀取備份記錄的位置。
5) 當(dāng)前寫指針w/ws
整數(shù)，表示海量數(shù)據(jù)高速緩存器S中當(dāng)前可以寫入備份記錄的位置。
6) 備份記錄i 為4元組數(shù)據(jù)結(jié)構(gòu)，格式如下
① 備份對象名torgW
字符串，表示備份記錄中保存的數(shù)據(jù)所屬的備份對象的名稱。
② 備份數(shù)據(jù)在備份對象上的位置oi^W
整數(shù)，表示備份對象的變化數(shù)據(jù)在備份對象上的位置。
③ 備份數(shù)據(jù)dflto
二進(jìn)制串，表示備份對象產(chǎn)生的變化數(shù)據(jù)的具體內(nèi)容。
驗(yàn)證摘要值/
整數(shù)，表示根據(jù)定義3計(jì)算出的摘要值。
通過在本地服務(wù)器上部署海量數(shù)據(jù)高速緩存器，備份系統(tǒng)能夠存儲高速存儲本地的變化 數(shù)據(jù)。S越大，可以存儲的變化數(shù)據(jù)越多，那么備份系統(tǒng)容忍通信線路的帶寬限制、速度變 化、傳輸故障等不利因素的能力越強(qiáng)。圖2是對海量數(shù)據(jù)高速緩存器進(jìn)行初始化的步驟。
在對海量數(shù)據(jù)高速緩存器進(jìn)行初始化時(shí)，首先在本地服務(wù)器上創(chuàng)建一個(gè)固定長度的容器 文件，然后往其頭部填入海量數(shù)據(jù)高速緩存器描述符的內(nèi)容。其具體步驟如下-
1) 創(chuàng)建容器文件在本地服務(wù)器上新建一個(gè)容器文件F，用于實(shí)現(xiàn)海量數(shù)據(jù)高速緩存 器；
2) 初始化海量數(shù)據(jù)高速緩存器描述符初始化海量數(shù)據(jù)高速緩存器描述符/，并將/的 內(nèi)容寫入文件F的頭部，具體步驟如下
① 設(shè)置海量數(shù)據(jù)高速緩存器容量海量數(shù)據(jù)高速緩存器容量/^e為容器文件F的 大小減去海量數(shù)據(jù)高速緩存器描述符/的大??；
② 設(shè)置備份記錄大小備份記錄大小為備份記錄各元組長度之和；
③ 設(shè)置備份記錄數(shù)設(shè)置海量數(shù)據(jù)高速緩存器的備份記錄數(shù)m^為0;
④ 設(shè)置當(dāng)前讀指針設(shè)置海量數(shù)據(jù)高速緩存器的當(dāng)前讀指針W^為0;
⑤ 設(shè)置當(dāng)前寫指針設(shè)置海量數(shù)據(jù)高速緩存器的當(dāng)前寫指針M^M為0;
⑥ 保存海量數(shù)據(jù)高速緩存器描述符初始值將海量數(shù)據(jù)高速緩存器描述符/的初 始值寫入到容器文件F的頭部。
圖3是對海量數(shù)據(jù)高速緩存器進(jìn)行寫入的步驟。
當(dāng)備份對象r發(fā)生數(shù)據(jù)變化時(shí)，首先生成相應(yīng)的備份記錄/ ，然后根據(jù)海量數(shù)據(jù)高速緩
存器的當(dāng)前寫指針w;xw將備份記錄i 寫入到海量數(shù)據(jù)高速緩存器S中，具體步驟如下
1) 驗(yàn)證摘要值計(jì)算利用發(fā)生數(shù)據(jù)變化的備份對象名torge/，備份數(shù)據(jù)在備份對象上 的位置o力Se"備份數(shù)據(jù)ifato，根據(jù)定義3計(jì)算驗(yàn)證摘要值/z ;
2) 備份記錄封裝將備份對象名torgW，備份數(shù)據(jù)c/"to，備份數(shù)據(jù)在備份對象上的位置 0。訴W，驗(yàn)證摘要值/z ，封裝成一個(gè)備份記錄i ;
83) 寫入海量數(shù)據(jù)高速緩存器根據(jù)海量數(shù)據(jù)高速緩存器的當(dāng)前寫指針M^W，將備份記 錄i 寫入到海量數(shù)據(jù)高速緩存器S中，具體步驟如下
① 檢測是否有空閑空間如果海量數(shù)據(jù)高速緩存器S已滿，即"腦==/^6/^^為 真，則踏步等待一個(gè)時(shí)間間隔，再繼續(xù)判斷，如果海量數(shù)據(jù)高速緩存器S有足 夠的空閑空間，則下一步；
② 獲取當(dāng)前寫指針從海量數(shù)據(jù)高速緩存器描述符/中讀出海量數(shù)據(jù)高速緩存器 的當(dāng)前寫指針M^^;
③ 計(jì)算寫入偏移量寫入偏移量ws的計(jì)算公式為wy-w;xwxra&e + 5/ze(/)，其 中，Wze^為海量數(shù)據(jù)高速緩存器描述符/的大小；
寫入數(shù)據(jù)根據(jù)寫入偏移量M^，將i 寫入到S中；
4) 更新海量數(shù)據(jù)高速緩存器描述符計(jì)算新的海量數(shù)據(jù)高速緩存器的當(dāng)前寫指針和備 份記錄數(shù)，更新當(dāng)前海量數(shù)據(jù)高速緩存器寫指針和備份記錄數(shù)，具體步驟如下-
① 計(jì)算新的當(dāng)前寫指針的位置根據(jù)定義5，計(jì)算出新的海量數(shù)據(jù)高速緩存器的 當(dāng)前寫指針的位置；
② 計(jì)算新的備份記錄數(shù)備份記錄數(shù)遞增l，即""附=""附+ 1;
③ 更新當(dāng)前寫指針和備份記錄數(shù)將新的當(dāng)前寫指針、備份記錄數(shù)寫入海量數(shù)據(jù) 高速緩存器S的描述符中。
圖4是對海量數(shù)據(jù)高速緩存器進(jìn)行讀取的步驟。
當(dāng)讀取海量數(shù)據(jù)高速緩存器S中的備份記錄/ 時(shí)，首先根據(jù)海量數(shù)據(jù)高速緩存器的當(dāng)前 讀指針^cw來讀取備份記錄i ，在完成備份記錄錯(cuò)誤檢測之后，通過網(wǎng)絡(luò)發(fā)送備份記錄i 到 遠(yuǎn)程，隨后更新海量數(shù)據(jù)高速緩存器描述符，具體步驟如下
1)讀取備份記錄根據(jù)海量數(shù)據(jù)高速緩存器的當(dāng)前讀指針^OS來讀取備份記錄i ，具體 步驟如下
①判斷海量數(shù)據(jù)高速緩存器是否為空如果S不為空，g卩mw^0，則下一步，如 果S為空，則踏步等待一個(gè)時(shí)間間隔，繼續(xù)判斷；② 獲取當(dāng)前讀指針從海量數(shù)據(jù)高速緩存器描述符/中讀出海量數(shù)據(jù)高速緩存器 的當(dāng)前讀指針/pcw;
③ 計(jì)算讀取偏移量讀取偏移量"的計(jì)算公式為"=^cwx"z'ze + w'ze(/)，其 中，W'"印為海量數(shù)據(jù)高速緩存器描述符/的大?。?br> 讀取備份記錄根據(jù)讀取偏移量^，從海量數(shù)據(jù)高速緩存器S中讀取備份記錄
2) 備份記錄錯(cuò)誤檢測根據(jù)定義3計(jì)算備份記錄i 的驗(yàn)證摘要值/z，'并與備份記錄i 中 保存的驗(yàn)證摘要值/z比較來進(jìn)行錯(cuò)誤檢測，其具體步驟如下
① 計(jì)算驗(yàn)證摘要值利用i 的torgW， 必to，根據(jù)定義3計(jì)算驗(yàn)證摘要值
② 判斷備份記錄是否正確如果A^二A，則備份記錄i 是正確的，如果/z^/z， 則說明備份記錄i 出現(xiàn)錯(cuò)誤，則報(bào)錯(cuò)；
3) 網(wǎng)絡(luò)發(fā)送通過網(wǎng)絡(luò)將備份記錄發(fā)送到遠(yuǎn)程；
4) 更新海量數(shù)據(jù)高速緩存器描述符計(jì)算新的海量數(shù)據(jù)高速緩存器的當(dāng)前讀指針和備 份記錄數(shù)，更新當(dāng)前海量數(shù)據(jù)高速緩存器讀指針和備份記錄數(shù)，具體步驟如下
① 計(jì)算新的當(dāng)前讀指針位置根據(jù)定義4，計(jì)算出新的海量數(shù)據(jù)高速緩存器的當(dāng) 前讀指針位置；
② 計(jì)算新的備份記錄數(shù)備份記錄數(shù)遞減l，即mw7-m/w-l;
③ 更新當(dāng)前讀指針和備份記錄數(shù)將新的當(dāng)前讀指針、備份記錄數(shù)寫入海量數(shù)據(jù) 高速緩存器S的描述符中。
10
權(quán)利要求
1.一種用于備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法，其特征在于定義一種海量數(shù)據(jù)高速緩存器的結(jié)構(gòu)，該結(jié)構(gòu)包括以下兩個(gè)部分1)海量數(shù)據(jù)高速緩存器描述符，包括五個(gè)部分海量數(shù)據(jù)高速緩存器容量、備份記錄大小、備份記錄數(shù)、當(dāng)前讀指針、當(dāng)前寫指針；2)備份記錄，包括四個(gè)部分備份對象名、備份數(shù)據(jù)在備份對象上的位置、備份數(shù)據(jù)、驗(yàn)證摘要值；其構(gòu)造方法包括以下步驟對海量數(shù)據(jù)高速緩存器進(jìn)行初始化的步驟；對海量數(shù)據(jù)高速緩存器進(jìn)行寫入的步驟；對海量數(shù)據(jù)高速緩存器進(jìn)行讀取的步驟；其中對海量數(shù)據(jù)高速緩存器進(jìn)行初始化的步驟，包括以下步驟1)創(chuàng)建容器文件的步驟；2)初始化海量數(shù)據(jù)高速緩存器描述符的步驟，包括①設(shè)置海量數(shù)據(jù)高速緩存器容量的步驟；②設(shè)置備份記錄大小的步驟；③設(shè)置備份記錄數(shù)的步驟；④設(shè)置當(dāng)前讀指針的步驟；⑤設(shè)置當(dāng)前寫指針的步驟；⑥保存海量數(shù)據(jù)高速緩存器描述符初始值的步驟；對海量數(shù)據(jù)高速緩存器進(jìn)行寫入的步驟，包括1)驗(yàn)證摘要值計(jì)算的步驟；2)備份記錄封裝的步驟；3)寫入海量數(shù)據(jù)高速緩存器的步驟，包括①檢測是否有空閑空間的步驟；②獲取當(dāng)前寫指針的步驟；③計(jì)算寫入偏移量的步驟；④寫入數(shù)據(jù)的步驟；4)更新海量數(shù)據(jù)高速緩存器描述符的步驟，包括①計(jì)算新的當(dāng)前寫指針位置的步驟；②計(jì)算新的備份記錄數(shù)的步驟；③更新當(dāng)前寫指針和備份記錄數(shù)的步驟；對海量數(shù)據(jù)高速緩存器進(jìn)行讀取的步驟，包括1)讀取備份記錄的步驟，包括①判斷海量緩存器是否為空的步驟；②獲取當(dāng)前讀指針的步驟；③計(jì)算讀取偏移量的步驟；④讀取備份記錄的步驟；2)備份記錄錯(cuò)誤檢測的步驟，包括①計(jì)算驗(yàn)證摘要值的步驟；②判斷備份記錄是否正確的步驟；3)網(wǎng)絡(luò)發(fā)送的步驟；4)更新海量數(shù)據(jù)高速緩存器描述符的步驟，包括①計(jì)算新的當(dāng)前讀指針位置的步驟；②計(jì)算新的備份記錄數(shù)的步驟；③更新當(dāng)前讀指針和備份記錄數(shù)的步驟。
全文摘要
本發(fā)明提出了一種用于備份系統(tǒng)的海量數(shù)據(jù)高速緩存器的構(gòu)造方法，可用于本地?cái)?shù)據(jù)帶寬大于備份線路數(shù)據(jù)帶寬的備份系統(tǒng)中，尤其是基于Internet的數(shù)據(jù)備份系統(tǒng)。該方法通過在本地服務(wù)器部署海量數(shù)據(jù)高速緩存器來存儲服務(wù)器的變化數(shù)據(jù)，解決了本地?cái)?shù)據(jù)帶寬大于備份線路帶寬的突出矛盾，減低了備份系統(tǒng)對備份線路帶寬以及穩(wěn)定性的要求，極大地降低了備份系統(tǒng)的建設(shè)成本和使用成本，具有廣闊的應(yīng)用前景。
文檔編號G06F12/08GK101634968SQ200810045210
公開日2010年1月27日 申請日期2008年1月17日 優(yōu)先權(quán)日2008年1月17日
發(fā)明者濤 李 申請人:四川大學(xué)