一種基于負(fù)載均衡的文件系統(tǒng)日志模型的制作方法
【專利摘要】本發(fā)明所述基于負(fù)載均衡的文件系統(tǒng)日志模型，包括日志存儲(chǔ)池映射模塊、日志存儲(chǔ)池模塊、日志進(jìn)程池和日志緩沖池四大部分，該模型以負(fù)載檢測(cè)和動(dòng)態(tài)分配為核心，通過整合日志緩沖池、日志進(jìn)程池、日志存儲(chǔ)池、日志存儲(chǔ)池映射模塊，日志信息寫入日志緩沖池后，日志進(jìn)程池中的日志會(huì)采用哈希算法取固定位置的日志，并根據(jù)日志ID計(jì)算出該日志在日志存儲(chǔ)池中的存放位置，當(dāng)需要從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck等檢測(cè)修復(fù)應(yīng)用程序處理需求時(shí)，日志進(jìn)程池中的進(jìn)程會(huì)并行的從日志存儲(chǔ)池中讀取日志來填充日志緩沖池，可以縮短fsck等檢測(cè)修復(fù)程序讀取日志磁盤的時(shí)間，提高效率。
【專利說明】一種基于負(fù)載均衡的文件系統(tǒng)日志模型
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)系統(tǒng)領(lǐng)域，具體涉及一種基于負(fù)載均衡的文件系統(tǒng)日志模型?！颈尘凹夹g(shù)】
[0002]進(jìn)入21世紀(jì)以來，隨著信息時(shí)代的加速，企業(yè)數(shù)據(jù)呈現(xiàn)出爆炸性增長(zhǎng)的趨勢(shì)，特別是移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計(jì)算的發(fā)展更加劇了數(shù)據(jù)的爆炸式增長(zhǎng)。IDC報(bào)告指出，全球數(shù)據(jù)量每年以60%的速度遞增，2010年全球數(shù)據(jù)量達(dá)1.8ZB，2015年將達(dá)到8ZB，2020年將達(dá)到35ZB，標(biāo)志著“大數(shù)據(jù)”時(shí)代的到來。數(shù)據(jù)的大量增長(zhǎng)伴隨著人們對(duì)快速獲取數(shù)據(jù)的渴望，同時(shí)隨著數(shù)據(jù)量的增長(zhǎng)，存放數(shù)據(jù)的存儲(chǔ)系統(tǒng)規(guī)模也越來越大，當(dāng)系統(tǒng)失效時(shí)，隨之而來的數(shù)據(jù)修復(fù)工作規(guī)模也越來越大，要求對(duì)數(shù)據(jù)修復(fù)的時(shí)間也盡可能的少。
[0003]當(dāng)今存儲(chǔ)系統(tǒng)中，很大一部分是文件系統(tǒng)，而基于日志的文件系統(tǒng)已經(jīng)成為主流，寫入時(shí)首先要寫入日志，而后再寫入文件系統(tǒng)，數(shù)據(jù)修復(fù)時(shí)也是依賴文件系統(tǒng)來進(jìn)行修復(fù)。底層的磁盤文件系統(tǒng)，如ext3、ext4等日志和數(shù)據(jù)是存放在同一塊磁盤上的，極大的限制了日志和數(shù)據(jù)的讀寫效率，大型集群文件系統(tǒng)雖然有單獨(dú)的日志盤，但每個(gè)底層數(shù)據(jù)盤附帶一塊日志盤的做法在大量讀寫該數(shù)據(jù)盤上數(shù)據(jù)時(shí)性能不高，且成本很高。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的不足之處，提供一種基于負(fù)載均衡的文件系統(tǒng)日志模型。
[0005]本發(fā)明公開了一種基于負(fù)載均衡的文件系統(tǒng)日志模型，其解決所述技術(shù)問題采用的技術(shù)方案如下:該基于負(fù)載均衡的文件系統(tǒng)日志模型的體系結(jié)構(gòu)包括:日志存儲(chǔ)池映射模塊(I)、日志存儲(chǔ)池模塊(2 )、日志進(jìn)程池(3 )和日志緩沖池(4 )四大部分，其中:
日志存儲(chǔ)池映射模塊(I)是結(jié)構(gòu)的核心,負(fù)責(zé)建立日志ID和日志存儲(chǔ)池中存儲(chǔ)位置的映射關(guān)系以及實(shí)時(shí)監(jiān)測(cè)日志存儲(chǔ)池中設(shè)備負(fù)載及容量信息情況；
日志存儲(chǔ)池模塊(2)主要聚合多個(gè)存儲(chǔ)設(shè)備，構(gòu)建日志存儲(chǔ)池，對(duì)外提供日志讀寫存儲(chǔ)服務(wù)；
日志進(jìn)程池(3)主要檢索日志存儲(chǔ)池映射模塊(I)以及日志緩沖池(4)，根據(jù)日志ID計(jì)算其在日志存儲(chǔ)池(2)中的存儲(chǔ)位置，讀取日志或?qū)⑷罩緦懭肴罩敬鎯?chǔ)池(2);
日志緩沖池(4)主要用于緩存日志信息。
[0006]該基于負(fù)載均衡的文件系統(tǒng)日志模型以負(fù)載檢測(cè)和動(dòng)態(tài)分配為核心，通過整合日志緩沖池、日志進(jìn)程池、日志存儲(chǔ)池、日志存儲(chǔ)池映射模塊，使該模型可以根據(jù)日志系統(tǒng)各日志盤容量及負(fù)載情況動(dòng)態(tài)分配日志任務(wù)，同時(shí)可按需從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck等檢測(cè)修復(fù)應(yīng)用程序處理需求，提高日志寫入及讀取的效率。
[0007]本發(fā)明公開的基于負(fù)載均衡的文件系統(tǒng)日志模型的有益效果是:
通過所述基于負(fù)載均衡的文件系統(tǒng)日志模型，能夠多進(jìn)程處理緩沖池中的日志信息，每個(gè)進(jìn)程都會(huì)根據(jù)日志ID計(jì)算出的存儲(chǔ)位置，直接將日志信息寫入指定存儲(chǔ)位置，提高日志寫入效率，同時(shí)采用日志存儲(chǔ)池的方式，日志分散存儲(chǔ)，可同時(shí)發(fā)出多個(gè)請(qǐng)求，提高日志讀取的效率。
【專利附圖】

【附圖說明】
[0008]附圖1為傳統(tǒng)的日志系統(tǒng)模型圖；
附圖2為本發(fā)明基于負(fù)載均衡的日志系統(tǒng)模型圖。
【具體實(shí)施方式】
[0009]下面結(jié)合附圖，對(duì)本發(fā)明所公開的基于負(fù)載均衡的文件系統(tǒng)日志模型做進(jìn)一步詳細(xì)說明。
[0010]本發(fā)明所述基于負(fù)載均衡的文件系統(tǒng)日志模型的體系結(jié)構(gòu)主要包括:日志存儲(chǔ)池映射模塊(I)、日志存儲(chǔ)池模塊(2 )、日志進(jìn)程池(3 )、日志緩沖池(4 );其中:
日志存儲(chǔ)池映射模塊(I)是結(jié)構(gòu)的核心,負(fù)責(zé)建立日志ID和日志存儲(chǔ)池中存儲(chǔ)位置的映射關(guān)系以及實(shí)時(shí)監(jiān)測(cè)日志存儲(chǔ)池中設(shè)備負(fù)載及容量信息情況；
日志存儲(chǔ)池模塊(2)主要聚合多個(gè)存儲(chǔ)設(shè)備，構(gòu)建日志存儲(chǔ)池，對(duì)外提供日志讀寫存儲(chǔ)服務(wù)；
日志進(jìn)程池(3)檢索日志存儲(chǔ)池映射模塊(I)以及日志緩沖池(4)，根據(jù)日志ID計(jì)算其在日志存儲(chǔ)池(2)中的存儲(chǔ)位置，讀取日志或?qū)⑷罩緦懭肴罩敬鎯?chǔ)池(2);
日志緩沖池(4)的作用為緩存日志信息。
[0011]本發(fā)明的結(jié)構(gòu)區(qū)別于傳統(tǒng)的日志系統(tǒng):現(xiàn)有的日志模型的采用單進(jìn)程方式，讀寫性能低，影響了文件系統(tǒng)讀寫的效率。本發(fā)明的特征在于以負(fù)載檢測(cè)和動(dòng)態(tài)分配為核心，通過整合日志緩沖池、日志進(jìn)程池、日志存儲(chǔ)池、日志存儲(chǔ)池映射模塊，使該模型可以根據(jù)日志系統(tǒng)各日志盤容量及負(fù)載情況動(dòng)態(tài)分配日志任務(wù)，同時(shí)可按需從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck等檢測(cè)修復(fù)應(yīng)用程序處理需求，提高日志寫入及讀取的效率。
[0012]采用本發(fā)明所述基于負(fù)載均衡的文件系統(tǒng)日志模型的具體實(shí)現(xiàn)過程如下:
本發(fā)明提出的一種以負(fù)載檢測(cè)和動(dòng)態(tài)分配為核心，通過整合日志緩沖池、日志進(jìn)程池、
日志存儲(chǔ)池和日志存儲(chǔ)池映射模塊的日志模型，日志信息寫入日志緩沖池后，日志進(jìn)程池中的日志會(huì)采用哈希算法取固定位置的日志，并根據(jù)日志ID計(jì)算出該日志在日志存儲(chǔ)池中的存放位置；當(dāng)需要從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck等檢測(cè)修復(fù)應(yīng)用程序處理需求時(shí)，日志進(jìn)程池中的進(jìn)程會(huì)并行的從日志存儲(chǔ)池中讀取日志來填充日志緩沖池，可以縮短fsck等檢測(cè)修復(fù)程序讀取日志磁盤的時(shí)間，提高效率。
[0013]在本發(fā)明中，所述日志模型的日志存儲(chǔ)池映射模塊、日志存儲(chǔ)池模塊、日志進(jìn)程池、日志緩沖池相結(jié)合，實(shí)時(shí)監(jiān)測(cè)日志存儲(chǔ)池中設(shè)備負(fù)載及容量信息情況，按照日志ID，進(jìn)行哈希計(jì)算，建立日志ID和日志存儲(chǔ)池中存儲(chǔ)位置的映射關(guān)系以及。將日志寫入日志緩沖池，采用進(jìn)程池的方式，多進(jìn)程讀寫日志，提高日志存儲(chǔ)以及日志讀取的效率。
[0014]除去本發(fā)明所述特征技術(shù)之外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種基于負(fù)載均衡的文件系統(tǒng)日志模型，其特征在于，其體系結(jié)構(gòu)包括:日志存儲(chǔ)池映射模塊(1)、日志存儲(chǔ)池模塊(2)、日志進(jìn)程池(3)和日志緩沖池(4)四大部分；該基于負(fù)載均衡的文件系統(tǒng)日志模型以負(fù)載檢測(cè)和動(dòng)態(tài)分配為核心，通過整合日志緩沖池、日志進(jìn)程池、日志存儲(chǔ)池、日志存儲(chǔ)池映射模塊相結(jié)合，使該模型能夠根據(jù)日志系統(tǒng)各日志盤容量及負(fù)載情況動(dòng)態(tài)分配日志任務(wù)，同時(shí)能夠按需從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck檢測(cè)修復(fù)應(yīng)用程序處理需求。
2.根據(jù)權(quán)利要求1所述的基于負(fù)載均衡的文件系統(tǒng)日志模型，其特征在于，日志存儲(chǔ)池映射模塊(I)是結(jié)構(gòu)的核心，負(fù)責(zé)建立日志ID和日志存儲(chǔ)池中存儲(chǔ)位置的映射關(guān)系以及實(shí)時(shí)監(jiān)測(cè)日志存儲(chǔ)池中設(shè)備負(fù)載及容量信息情況。
3.根據(jù)權(quán)利要求2所述的基于負(fù)載均衡的文件系統(tǒng)日志模型,其特征在于，日志存儲(chǔ)池模塊(2)用來聚合多個(gè)存儲(chǔ)設(shè)備，構(gòu)建日志存儲(chǔ)池，對(duì)外提供日志讀寫存儲(chǔ)服務(wù)。
4.根據(jù)權(quán)利要求3所述的基于負(fù)載均衡的文件系統(tǒng)日志模型，其特征在于，日志進(jìn)程池(3)用于檢索日志存儲(chǔ)池映射模塊(I)以及日志緩沖池(4)，根據(jù)日志ID計(jì)算其在日志存儲(chǔ)池(2)中的存儲(chǔ)位置，讀取日志或?qū)⑷罩緦懭肴罩敬鎯?chǔ)池(2)。
5.根據(jù)權(quán)利要求4所述的基于負(fù)載均衡的文件系統(tǒng)日志模型，其特征在于，日志緩沖池(4)用于緩存日志信息。
6.根據(jù)權(quán)利要求5所述的基于負(fù)載均衡的文件系統(tǒng)日志模型，其特征在于，通過整合日志緩沖池、日志進(jìn)程池、日志存儲(chǔ)池和日志存儲(chǔ)池映射模塊，日志信息寫入日志緩沖池后，日志進(jìn)程池中的日志會(huì)采用哈希算法取固定位置的日志，并根據(jù)日志ID計(jì)算出該日志在日志存儲(chǔ)池中的存放位置；當(dāng)需要從日志系統(tǒng)中讀取數(shù)據(jù)滿足fsck檢測(cè)修復(fù)應(yīng)用程序處理需求時(shí)，日志進(jìn)程池中的進(jìn)程會(huì)并行的從日志存儲(chǔ)池中讀取日志來填充日志緩沖池。
【文檔編號(hào)】G06F9/50GK103902382SQ201410111765
【公開日】2014年7月2日 申請(qǐng)日期:2014年3月25日 優(yōu)先權(quán)日:2014年3月25日
【發(fā)明者】王通, 郭鵬, 姜偉麗 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司