專利名稱：一種提高云存儲磁盤空間使用效率的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云計算存儲技術(shù)領(lǐng)域，具體地說是一種提高云存儲磁盤空間使用效率的方法。
背景技術(shù)：
隨著云計算的興起，它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集，向用戶提供服務(wù)。為保證高可用、高可靠和經(jīng)濟性，云計算與云存儲配合，采用分布式存儲的方式來存儲數(shù)據(jù)，采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲多個副本，這就要求云存儲有足夠的空間去保存大量的數(shù)據(jù)；與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、應(yīng)用軟件、接入網(wǎng)、和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。當(dāng)前云計算的推廣應(yīng)用，使得對云存儲空間的需求日益增加，而單純的靠增加磁盤數(shù)量來擴展磁盤空間不僅需要增加成本，并且需要擴大機房空間，同時也增大了系統(tǒng)功耗；這就對提高云存儲的空間使用效率提出了更高的要求。通用云存儲架構(gòu)通常是網(wǎng)絡(luò)數(shù)據(jù)直接發(fā)至存儲節(jié)點，由存儲節(jié)點服務(wù)器設(shè)備直接將數(shù)據(jù)寫入磁盤陣列，或通過軟件對數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除壓縮技術(shù)來節(jié)省磁盤空間，首先這些方法在使用中都或多或少存在一些缺陷，其次這些工作都由存儲節(jié)點設(shè)備CPU來進行處理，會占用CPU資源，從而影響系統(tǒng)性能。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種提高云存儲磁盤空間使用效率的方法。本發(fā)明的目的是按以下方式實現(xiàn)的，系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負(fù)責(zé)存放文件，存儲控制節(jié)點則是負(fù)責(zé)監(jiān)控存儲節(jié)點間容量及負(fù)載的均衡，當(dāng)客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設(shè)備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設(shè)備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設(shè)備磁盤陣列中所占用空間自然就變小了，當(dāng)客戶端需要讀取存儲設(shè)備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡(luò)發(fā)送給客戶端。采用在數(shù)據(jù)用戶與存儲設(shè)備節(jié)點網(wǎng)絡(luò)之間通過FPGA陣列設(shè)備，對發(fā)往存儲節(jié)點的數(shù)據(jù)文件進行壓縮，對從存儲設(shè)備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設(shè)備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設(shè)備中沒有存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設(shè)備節(jié)點CPU的資源，這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設(shè)備中采用Lempel-Ziv (LZ)標(biāo)準(zhǔn)壓縮和解壓技術(shù)，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。本發(fā)明的有益效果是云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。隨著云計算的發(fā)展和網(wǎng)絡(luò)數(shù)據(jù)量的急劇增加，對云存儲的容量急劇加大，，本專利提供一種采用存儲前端對數(shù)據(jù)即時壓縮的方法實現(xiàn)提高云存儲磁盤空間使用效率，在不用增加云存儲中磁盤數(shù)量的情況下，實現(xiàn)存儲能力的大幅提高。


圖I是系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細(xì)地說明。 云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。隨著云計算的發(fā)展和網(wǎng)絡(luò)數(shù)據(jù)量的急劇增加，對云存儲的容量急劇加大，本專利提供一種采用存儲前端對數(shù)據(jù)即時壓縮的方法實現(xiàn)提高云存儲磁盤空間使用效率，在不用增加云存儲中磁盤數(shù)量的情況下，實現(xiàn)存儲能力的大幅提聞。通用云存儲架構(gòu)通常是網(wǎng)絡(luò)數(shù)據(jù)直接發(fā)至存儲節(jié)點，由存儲節(jié)點服務(wù)器設(shè)備直接將數(shù)據(jù)寫入磁盤陣列，或通過軟件對數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除壓縮技術(shù)來節(jié)省磁盤空間，首先這些方法在使用中都或多或少存在一些缺陷，其次這些工作都由存儲節(jié)點設(shè)備CPU來進行處理，會占用CPU資源，從而影響系統(tǒng)性能；本專利采用在數(shù)據(jù)用戶與存儲設(shè)備節(jié)點網(wǎng)絡(luò)之間通過FPGA陣列設(shè)備對發(fā)往存儲節(jié)點的數(shù)據(jù)文件進行壓縮，對從存儲設(shè)備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設(shè)備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設(shè)備中不存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設(shè)備節(jié)點CPU的資源。這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設(shè)備中采用Lempel-Ziv (LZ)等標(biāo)準(zhǔn)壓縮和解壓技術(shù)，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。此方法雖然會增加一些硬件上成本投入，但是從系統(tǒng)性能與長遠(yuǎn)硬件成本節(jié)省上看還是有很大優(yōu)勢。如附圖所示，存儲節(jié)點負(fù)責(zé)存放文件，存儲控制節(jié)點則是負(fù)責(zé)監(jiān)控存儲節(jié)點間容量及負(fù)載的均衡，當(dāng)客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設(shè)備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設(shè)備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設(shè)備磁盤陣列中所占用空間自然就變小了。當(dāng)客戶端需要讀取存儲設(shè)備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡(luò)發(fā)送給客戶端。
本專利適用于云存儲領(lǐng)域，根據(jù)當(dāng)前對云存儲空間需求逐漸增大的情況下，具體提供一種在云 存儲領(lǐng)域中提高云存儲磁盤空間使用效率的方法，通過此方法可以在不增加磁盤數(shù)量的情況下存儲更多數(shù)據(jù)，從而降低云存儲的磁盤成本。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.一種提高云存儲磁盤空間使用效率的方法，其特征在于系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負(fù)責(zé)存放文件，存儲控制節(jié)點則是負(fù)責(zé)監(jiān)控存儲節(jié)點間容量及負(fù)載的均衡，當(dāng)客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設(shè)備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設(shè)備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設(shè)備磁盤陣列中所占用空間自然就變小了，當(dāng)客戶端需要讀取存儲設(shè)備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡(luò)發(fā)送給客戶端； 采用在數(shù)據(jù)用戶與存儲設(shè)備節(jié)點網(wǎng)絡(luò)之間通過FPGA陣列設(shè)備，對發(fā)往存儲節(jié)點的數(shù) 據(jù)文件進行壓縮，對從存儲設(shè)備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設(shè)備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設(shè)備中沒有存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設(shè)備節(jié)點CPU的資源，這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設(shè)備中采用Lempel-Ziv (LZ)標(biāo)準(zhǔn)壓縮和解壓技術(shù)，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。
全文摘要
本發(fā)明提供一種提高云存儲磁盤空間使用效率的方法，系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負(fù)責(zé)存放文件，存儲控制節(jié)點則是負(fù)責(zé)監(jiān)控存儲節(jié)點間容量及負(fù)載的均衡，當(dāng)客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設(shè)備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設(shè)備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設(shè)備磁盤陣列中所占用空間自然就變小了，當(dāng)客戶端需要讀取存儲設(shè)備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡(luò)發(fā)送給客戶端。
文檔編號H04L29/08GK102801802SQ20121027931
公開日2012年11月28日 申請日期2012年8月8日 優(yōu)先權(quán)日2012年8月8日
發(fā)明者劉強, 金長新, 張志強, 趙萌 申請人:浪潮集團有限公司