一種高可用云存儲(chǔ)方法
【專利摘要】本發(fā)明研究了一種通過(guò)Vandermonde矩陣對(duì)文件進(jìn)行編碼的冗余存儲(chǔ)方法，存儲(chǔ)時(shí)將編碼后分割的多個(gè)數(shù)據(jù)塊分散到多個(gè)存儲(chǔ)服務(wù)節(jié)點(diǎn)上，利用chord環(huán)進(jìn)行快速查找定位文件的數(shù)據(jù)塊，最后通過(guò)對(duì)數(shù)據(jù)塊解碼合并進(jìn)行讀取。該方案能夠?qū)崿F(xiàn)一定程度的自主管理存儲(chǔ)節(jié)點(diǎn)以及聯(lián)合協(xié)作，從而能夠?yàn)樵拼鎯?chǔ)系統(tǒng)提供高可用性、伸縮性、高存儲(chǔ)利用率等特性?？梢詫?shí)現(xiàn)云存儲(chǔ)資源利用率的提升，降低用戶租用成本和應(yīng)用的易擴(kuò)展性。該方案可以應(yīng)用于云計(jì)算和云存儲(chǔ)領(lǐng)域。
【專利說(shuō)明】—種高可用云存儲(chǔ)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云存儲(chǔ)【技術(shù)領(lǐng)域】中的分布式數(shù)據(jù)冗余備份技術(shù)，特別涉及一種云存儲(chǔ)方法、編碼存儲(chǔ)方法、資源快速定位方法及其系統(tǒng)。
【背景技術(shù)】
[0002]隨著云計(jì)算的發(fā)展，越來(lái)越多的企業(yè)和個(gè)人用戶開(kāi)始考慮向云端轉(zhuǎn)移。將計(jì)算外包給云服務(wù)商，降低自身的基礎(chǔ)設(shè)施購(gòu)置，靈活的伸縮需求，減輕了 IT初期配置以及后期維護(hù)的開(kāi)銷，只需要按需向云服務(wù)提供商付費(fèi)即可，為企業(yè)的發(fā)展注入了新的動(dòng)力。
[0003]云計(jì)算盛行于世界各地，其中最重要的并且受歡迎的云服務(wù)是云存儲(chǔ)服務(wù)，例如亞馬遜的S3和微軟的Azure存儲(chǔ)服務(wù)。云存儲(chǔ)向用戶提供數(shù)據(jù)存儲(chǔ)服務(wù)，越來(lái)越多的數(shù)據(jù)將會(huì)被存放在云上，而數(shù)據(jù)的容災(zāi)備份需要大量的冗余存儲(chǔ)空間。
[0004]云存儲(chǔ)是伴隨著云計(jì)算而發(fā)展起來(lái)的，專注于存儲(chǔ)及服務(wù)的理念，云存儲(chǔ)服務(wù)商為用戶提供基于互聯(lián)網(wǎng)的在線存儲(chǔ)服務(wù)，用戶不必?fù)?dān)心存儲(chǔ)空間的大小，存儲(chǔ)設(shè)備的類型，以及存儲(chǔ)的位置，只需要按需付費(fèi)就可以獲得幾乎無(wú)限大的存儲(chǔ)空間。
[0005]隨著存儲(chǔ)需求的迅速增長(zhǎng)，云計(jì)算模式下的存儲(chǔ)系統(tǒng)需要的存儲(chǔ)空間越來(lái)越大。分布式存儲(chǔ)系統(tǒng)將單獨(dú)的存儲(chǔ)資源整合成一個(gè)統(tǒng)一的管理空間，通過(guò)分布式的管理方式實(shí)現(xiàn)的一個(gè)大容量，高可用的存儲(chǔ)系統(tǒng)。分布式的存儲(chǔ)系統(tǒng)具有良好的可伸縮性和并行支持高容量的需求。除了可伸縮性外，云存儲(chǔ)系統(tǒng)還具備一定的容錯(cuò)機(jī)制，與使用同樣的可靠性級(jí)別的設(shè)備相比云存儲(chǔ)系統(tǒng)的成本要少得多。一個(gè)云存儲(chǔ)系統(tǒng)主要包括兩個(gè)組成部分:存儲(chǔ)系統(tǒng)的客戶端以及存儲(chǔ)系統(tǒng)的服務(wù)器端。
[0006]存儲(chǔ)客戶端主要提供計(jì)算能力接口和連接服務(wù)器端節(jié)點(diǎn)上的應(yīng)用程序接口。這些應(yīng)用程序可能位于虛擬機(jī)內(nèi)。而存儲(chǔ)服務(wù)器端主要是負(fù)責(zé)每個(gè)服務(wù)器內(nèi)的資源分配，調(diào)度和管理。在客戶端中主要的核心是云存儲(chǔ)控制器，它作為與所有應(yīng)用程序的接口供給存儲(chǔ)需求。
[0007]在云計(jì)算中，由于其構(gòu)成是大批量的X86廉價(jià)機(jī)，因此組件發(fā)生故障是很正常的事，而不屬于異常。要保障用戶能夠?qū)?shù)據(jù)的隨時(shí)隨地訪問(wèn)，數(shù)據(jù)冗余備份至關(guān)重要。冗余備份技術(shù)保障了數(shù)據(jù)的可用性，在發(fā)生錯(cuò)誤操作時(shí)可以進(jìn)行快速恢復(fù)，最簡(jiǎn)單的方式是將數(shù)據(jù)文件拷貝多份分別進(jìn)行存儲(chǔ)。其數(shù)據(jù)控制過(guò)程主要有以下三點(diǎn):1)，用戶與主節(jié)點(diǎn)進(jìn)行通信查詢所需的數(shù)據(jù)位置，或者自己創(chuàng)建一個(gè)新的數(shù)據(jù)交給主節(jié)點(diǎn)，由主節(jié)點(diǎn)進(jìn)行處理，2)，主節(jié)點(diǎn)將所有副本的信息響應(yīng)給用戶，這時(shí)用戶就可以將數(shù)據(jù)推送到所有的副本。3)，用戶只對(duì)主副本進(jìn)行操作，由主副本對(duì)其他副本進(jìn)行同步，并將最終信息反饋給用戶。
[0008]現(xiàn)有方案缺陷是:
1、危險(xiǎn)性高，網(wǎng)絡(luò)通信高負(fù)載
為文件的每一個(gè)數(shù)據(jù)塊都設(shè)置三個(gè)甚至多個(gè)副本的方法在存儲(chǔ)文件時(shí)，簡(jiǎn)單的為每個(gè)文件的數(shù)據(jù)塊進(jìn)行復(fù)制備份。這種分布式存儲(chǔ)的方法雖然實(shí)現(xiàn)簡(jiǎn)單，但是大大增加了數(shù)據(jù)傳送的任務(wù)量,對(duì)通信鏈路產(chǎn)生高負(fù)荷要求。當(dāng)一個(gè)數(shù)據(jù)塊的多個(gè)副本同時(shí)受到破壞時(shí),整個(gè)文件就失去了完整性，無(wú)法再進(jìn)行恢復(fù)。用戶的多處備份數(shù)據(jù)之間的同步通信也會(huì)產(chǎn)生大量的網(wǎng)絡(luò)請(qǐng)求，數(shù)據(jù)量大時(shí)，會(huì)造成網(wǎng)絡(luò)擁塞等問(wèn)題。
[0009]2、對(duì)存儲(chǔ)空間造成浪費(fèi)
根據(jù)目前的多備份冗余方案，存儲(chǔ)空間的有效利用率最高為33.3% (三副本)。而隨著海量數(shù)據(jù)的增加，數(shù)據(jù)存儲(chǔ)空間將成為云存儲(chǔ)系統(tǒng)的一大瓶頸。如果能夠提高存儲(chǔ)空間的利用率，同時(shí)保證文件的高可用性，將大幅度降低用戶的單位存儲(chǔ)成本消耗。
[0010]3、快速資源定位方法不夠理想
現(xiàn)有技術(shù)中，云存儲(chǔ)資源定位對(duì)單個(gè)數(shù)據(jù)塊的處理不夠理想。當(dāng)用戶取回存儲(chǔ)數(shù)據(jù)時(shí)需要找到一份完整的文件副本，因此需要對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行查找，而每一次的資源定位都是從主節(jié)點(diǎn)到存儲(chǔ)節(jié)點(diǎn)的逐級(jí)檢索，它的時(shí)間復(fù)雜度比較高導(dǎo)致響應(yīng)時(shí)間比較長(zhǎng)，因此在快速定位方面不夠理想。

【發(fā)明內(nèi)容】

[0011]本發(fā)明針對(duì)現(xiàn)有的云存儲(chǔ)方法存儲(chǔ)空間利用率低、冗余量大、網(wǎng)絡(luò)通信高負(fù)載、對(duì)服務(wù)響應(yīng)時(shí)間長(zhǎng)等問(wèn)題，提出了基于Vandermonde矩陣的冗余編碼方法以及基于Chord環(huán)的資源快速定位方法，結(jié)合云存儲(chǔ)的具體操作過(guò)程實(shí)現(xiàn)具備高可用性，低冗余度以及快速響應(yīng)的云存儲(chǔ)方案。
[0012]本發(fā)明為解決上述技術(shù)問(wèn)題，所提供的技術(shù)方案是:一種高可用云存儲(chǔ)方法，由用戶端的云存儲(chǔ)操作模塊向云存儲(chǔ)服務(wù)器端發(fā)送請(qǐng)求，云存儲(chǔ)服務(wù)器端根據(jù)請(qǐng)求進(jìn)行相應(yīng)的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)恢復(fù)或數(shù)據(jù)修改處理，在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)，先將待存儲(chǔ)的源數(shù)據(jù)文件分割成等大的數(shù)據(jù)分塊，然后進(jìn)行冗余編碼，將編碼生成的數(shù)據(jù)塊分發(fā)并傳送到云存儲(chǔ)服務(wù)器的各存儲(chǔ)節(jié)點(diǎn)進(jìn)行存儲(chǔ)；在進(jìn)行數(shù)據(jù)恢復(fù)時(shí)，對(duì)云存儲(chǔ)服務(wù)器存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)塊進(jìn)行檢索，取回一定量的數(shù)據(jù)塊，解碼并合并后得到所需的數(shù)據(jù)文件，所述冗余編碼的方法為:設(shè)源數(shù)據(jù)文件分割后形成的等大數(shù)據(jù)分塊數(shù)量為k, k個(gè)數(shù)據(jù)分塊組成的序列為F= (F1、F2、F3,，，，F(xiàn)k),由Encoder (F) =CF計(jì)算出編
碼后的數(shù)據(jù)塊序列Encoder (F) = (.F1, R2,F3,...,Fk', DlMiDy、DJ，其中，編碼矩陣
【權(quán)利要求】
1.一種高可用云存儲(chǔ)方法，由用戶端的云存儲(chǔ)操作模塊向云存儲(chǔ)服務(wù)器端發(fā)送請(qǐng)求，云存儲(chǔ)服務(wù)器端根據(jù)請(qǐng)求進(jìn)行相應(yīng)的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)恢復(fù)或數(shù)據(jù)修改處理，在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)，先將待存儲(chǔ)的源數(shù)據(jù)文件分割成等大的數(shù)據(jù)分塊，然后進(jìn)行冗余編碼，將編碼生成的數(shù)據(jù)塊分發(fā)并傳送到云存儲(chǔ)服務(wù)器的各存儲(chǔ)節(jié)點(diǎn)進(jìn)行存儲(chǔ)；在進(jìn)行數(shù)據(jù)恢復(fù)時(shí)，對(duì)云存儲(chǔ)服務(wù)器存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)塊進(jìn)行檢索，取回一定量的數(shù)據(jù)塊，解碼并合并后得到所需的數(shù)據(jù)文件，其特征在于:所述冗余編碼的方法為:設(shè)源數(shù)據(jù)文件分割后形成的等大數(shù)據(jù)分塊數(shù)量為k, k個(gè)數(shù)據(jù)分塊組成的序列為F= (FliF2,,Pk),由Encoder (F) =CF計(jì)算出編碼后的數(shù)據(jù)塊序列Encoder (F)=(巧石木…八,其中，編碼矩陣
2.根據(jù)權(quán)利要求1所述的一種高可用云存儲(chǔ)方法，其特征在于:采用基于Chord環(huán)的資源定位方法實(shí)現(xiàn)編碼生成的數(shù)據(jù)塊在各存儲(chǔ)節(jié)點(diǎn)上的分配存儲(chǔ)和檢索。
3.根據(jù)權(quán)利要求1所述的一種高可用云存儲(chǔ)方法，其特征在于:在進(jìn)行數(shù)據(jù)恢復(fù)時(shí)，設(shè)定一個(gè)計(jì)數(shù)器，采用基于Chord環(huán)的資源定位方法對(duì)存儲(chǔ)節(jié)點(diǎn)進(jìn)行檢索并取回?cái)?shù)據(jù)塊，每取回一個(gè)數(shù)據(jù)塊便另計(jì)數(shù)器加1，當(dāng)計(jì)數(shù)器的計(jì)數(shù)值等于源數(shù)據(jù)文件被分割后的數(shù)據(jù)分塊個(gè)數(shù)時(shí)，停止檢索；取回的數(shù)據(jù)塊組成一個(gè)矩陣，其中k為數(shù)據(jù)塊個(gè)數(shù)，z為數(shù)據(jù)塊的數(shù)據(jù)長(zhǎng)度；利用公式Dftz) = r(kM.%2)計(jì)算出源數(shù)據(jù)文件被分割后的數(shù)據(jù)分塊組成的矩陣，將矩陣％@中的各數(shù)據(jù)分塊合并即得到所需的數(shù)據(jù)文件，其中，為編碼矩陣C中所對(duì)應(yīng)的k行序列形成的矩陣的逆矩陣。
4.根據(jù)權(quán)利要求1所述的一種高可用云存儲(chǔ)方法，其特征在于:在進(jìn)行數(shù)據(jù)修改處理時(shí)，將需要修改的數(shù)據(jù)塊單獨(dú)標(biāo)記出，并進(jìn)行冗余編碼計(jì)算，最終將生成的與該數(shù)據(jù)塊對(duì)應(yīng)冗余數(shù)據(jù)塊和該數(shù)據(jù)塊本身單獨(dú)分發(fā)到對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)。
5.根據(jù)權(quán)利要求1、3或4所述的一種高可用云存儲(chǔ)方法，其特征在于:在進(jìn)行數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)恢復(fù)或數(shù)據(jù)修改處理時(shí)，利用公式
【文檔編號(hào)】G06F11/14GK103810061SQ201410040850
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2014年1月28日 優(yōu)先權(quán)日:2014年1月28日
【發(fā)明者】吳慶濤, 張明川, 鄭瑞娟, 魏汪洋, 張旭龍, 汪興, 蔡曉剛, 李晨 申請(qǐng)人:河南科技大學(xué)