一種嵌入分層存儲的pb級集群存儲系統(tǒng)的方法
【專利摘要】本發(fā)明提供一種嵌入分層存儲的PB級集群存儲系統(tǒng)的方法，屬于計算機存儲領(lǐng)域，利用分層存儲方案把高頻率訪問的數(shù)據(jù)放在高速存儲介質(zhì)上，而其他的數(shù)據(jù)放在速度較慢一些的介質(zhì)上，利用基于備份的集群存儲機制，按照存儲數(shù)據(jù)的備份個數(shù)，氛圍主備存儲設(shè)備，主存儲設(shè)備具有智能化利用Crush算法實現(xiàn)對數(shù)據(jù)的均衡分布。本發(fā)明優(yōu)化其數(shù)據(jù)存儲基礎(chǔ)架構(gòu)，從而降低成本、提高性能、擴展技術(shù)以滿足不斷增長的存儲需求。
【專利說明】一種嵌入分層存儲的PB級集群存儲系統(tǒng)的方法
[0001]【技術(shù)領(lǐng)域】
本發(fā)明涉及計算機存儲領(lǐng)域，具體涉及一種嵌入分層存儲的PB級集群存儲系統(tǒng)的方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，PB級別的海量數(shù)據(jù)存儲變得越來越重要。在計算機系統(tǒng)中，CPU的運行速度往往要比內(nèi)存速度快上好幾百倍甚至更多，為了更多地榨取CPU的計算能力，就需要在訪問數(shù)據(jù)的速度上進行提升，否則內(nèi)存的速度將成為整個系統(tǒng)的性能短板。因此在這樣的思想下，CPU慢慢發(fā)展出來I級或者2級這樣的存儲緩存。實際也表明，緩存的存在確實對于系統(tǒng)性能的提升起到了巨大的推動作用。
[0003]相應(yīng)的，內(nèi)存的訪問速度又是硬盤訪問速度的幾百倍甚至更多，也是基于CPU類似的指導(dǎo)思想，如何控制存儲以期提高系統(tǒng)的I/o性能，以滿足應(yīng)用對系統(tǒng)提出的更多高I/o的需求成為一種需求，以便于既能滿足PB級海量存儲，又能節(jié)省成本。

【發(fā)明內(nèi)容】

[0004]本方案也是在基于備份的集群存儲系統(tǒng)的方法上，利用智能存儲設(shè)備，提出的PB級集群分層存儲方案。利用分層存儲方案把高頻率訪問的數(shù)據(jù)放在高速存儲介質(zhì)上，而其他的數(shù)據(jù)放在速度較慢一些的介質(zhì)上，這實際上就是提高了系統(tǒng)的吞吐量。
[0005]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
一種嵌入分層存儲的PB級集群存儲系統(tǒng)的方法，包括以下步驟:
1)、在集群存儲系統(tǒng)創(chuàng)建資源池時，首先掃描存儲設(shè)備，將不同的存儲設(shè)備分層，當(dāng)存儲介質(zhì)達到資源池的冗余備份個數(shù)時，將該存儲介質(zhì)加入到相應(yīng)的pool存儲層中；
2)、在該集群存儲系統(tǒng)上，利用pool可以實現(xiàn)對不同介質(zhì)的存儲設(shè)備進行組織，這樣在一個pool存儲資源池中，可以通過目錄樹結(jié)構(gòu)，將某個pool資源池中的不同存儲介質(zhì)分為三層 floorO, f10rl 和 floor2, f10rO 時 SSD 存儲層，f10rl 是 SAS 存儲層，floor2 是SATA存儲層；
3)、每個存儲層都有若干個存儲組組成，每個存儲組可以組織若干個obj對象；
4)、根據(jù)不同的存儲需求，在存儲1/0過程中，選擇不同的存儲層。
[0006]該方案利用基于備份的集群存儲機制，按照存儲數(shù)據(jù)的備份個數(shù)，氛圍主備存儲設(shè)備，主存儲設(shè)備具有智能化利用Crush算法實現(xiàn)對數(shù)據(jù)的均衡分布。
[0007]該方案在整個存儲集群中建立一個pool資源池實現(xiàn)對不同存儲介質(zhì)(SSD、SAS、SATA)的組織，來達到集群分層存儲的目的。在一個pool資源池中，利用不同的存儲介質(zhì)和組織單位，建立SSD、SAS及SATA的不同層級的存儲塊單元，以滿足不同的存儲需求和高性能聞吞吐量應(yīng)用的支持。
[0008]本發(fā)明的一種服務(wù)器自動調(diào)整節(jié)能降噪散熱方法與現(xiàn)有技術(shù)相比，所產(chǎn)生的有益效果是: 通過利用智能存儲設(shè)備實現(xiàn)分層的集群存儲方案，實現(xiàn)在不同的層級之間使用有差別的存儲介質(zhì)，以期在相同成本下，既滿足性能的需要又滿足PB級容量存儲的需要；能夠有效地通過組合使用存儲解決方案來優(yōu)化其數(shù)據(jù)存儲基礎(chǔ)架構(gòu)，從而降低成本、提高性能、擴展技術(shù)以滿足不斷增長的存儲需求。
【專利附圖】

【附圖說明】
[0009]附圖1為PB級集群存儲的分寸存儲方案設(shè)計圖。
【具體實施方式】
[0010]根據(jù)說明書附圖對本發(fā)明做以下詳細(xì)描述:
1、目前主流的存儲設(shè)備主要由SSD、SAS和SATA等存儲介質(zhì)，該集群存儲的分層存儲方案主要考慮以上三種存儲介質(zhì)。在集群存儲系統(tǒng)創(chuàng)建資源池時，首先掃描存儲設(shè)備，將不同的存儲設(shè)備分層，當(dāng)存儲介質(zhì)達到資源池的冗余備份個數(shù)時，將該存儲介質(zhì)加入到相應(yīng)的pool存儲層中。
[0011]2、在該集群存儲系統(tǒng)上，利用pool可以實現(xiàn)對不同介質(zhì)的存儲設(shè)備進行組織，這樣在一個pool存儲資源池中，可以通過目錄樹結(jié)構(gòu)，將某個pool資源池中的不同存儲介質(zhì)分為三層 floorO, f10rl 和 floor2, f10rO 時 SSD 存儲層，f10rl 是 SAS 存儲層，floor2是SATA存儲層。
[0012]3、每個存儲層都有若干個存儲組組成，每個存儲組可以組織若干個obj對象(文件存儲的最小組織單位)。這樣我們以存儲組為單位通過crush算法實現(xiàn)不同的層級的存儲組的備份存儲，避免存儲數(shù)據(jù)的單點故障。
[0013]4、根據(jù)不同的存儲需求，在存儲I/O過程中，選擇不同的存儲層，實現(xiàn)存儲需求。
[0014]在存儲之間也進行分層(或者說緩存)以期提高系統(tǒng)的I/O性能，以滿足應(yīng)用對系統(tǒng)提出的更多高I/o的需求，這樣既能滿足PB級海量存儲，又能節(jié)省成本。
【權(quán)利要求】
1.一種嵌入分層存儲的PB級集群存儲系統(tǒng)的方法，其特征在于包括以下步驟: 1)、在集群存儲系統(tǒng)創(chuàng)建資源池時，首先掃描存儲設(shè)備，將不同的存儲設(shè)備分層，當(dāng)存儲介質(zhì)達到資源池的冗余備份個數(shù)時，將該存儲介質(zhì)加入到相應(yīng)的pool存儲層中； 2)、在該集群存儲系統(tǒng)上，利用pool可以實現(xiàn)對不同介質(zhì)的存儲設(shè)備進行組織，這樣在一個pool存儲資源池中，可以通過目錄樹結(jié)構(gòu)，將某個pool資源池中的不同存儲介質(zhì)分為三層 floorO, f10rl 和 floor2, f10rO 時 SSD 存儲層，f10rl 是 SAS 存儲層，floor2 是SATA存儲層； 3)、每個存儲層都有若干個存儲組組成，每個存儲組可以組織若干個obj對象； 4)、根據(jù)不同的存儲需求，在存儲I/O過程中，選擇不同的存儲層。
【文檔編號】G06F11/14GK103500147SQ201310447407
【公開日】2014年1月8日 申請日期:2013年9月27日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】陳安太 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司