一種集群存儲(chǔ)系統(tǒng)的日志收集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)存儲(chǔ)，具體地說(shuō)是一種集群存儲(chǔ)系統(tǒng)的日志收集方法。
【背景技術(shù)】
[0002]隨著的互聯(lián)網(wǎng)的發(fā)展，每一刻都在產(chǎn)生各種各樣的海量數(shù)據(jù)；集群存儲(chǔ)為海量數(shù)據(jù)的存儲(chǔ)提供了解決方案。集群存儲(chǔ)系統(tǒng)的運(yùn)維工作就越來(lái)越被重視；考慮考慮到集群存儲(chǔ)系統(tǒng)的可維護(hù)性，其中非常重要的一點(diǎn)是日志。由于集群存儲(chǔ)系統(tǒng)的log日志一般是記錄在本地的特定目錄下，所以集群存儲(chǔ)系統(tǒng)的Log日志分布在集群的各個(gè)節(jié)點(diǎn)上；運(yùn)維人員要想了解這個(gè)集群的運(yùn)行情況，查詢集群的Log日志時(shí)就會(huì)非常的不方便。
[0003]

【發(fā)明內(nèi)容】

本發(fā)明的技術(shù)任務(wù)是提供一種一種集群存儲(chǔ)系統(tǒng)的日志收集方法，來(lái)解決以上技術(shù)問(wèn)題。
[0004]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:該方法所包含的模塊有日志管理模塊、日志收集模塊、日志代理模塊；
所述的日志管理模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)管理協(xié)調(diào)日志收集模塊和日志代理模塊，該模塊以嵌入式的方式，整合到集群存儲(chǔ)系統(tǒng)的業(yè)務(wù)流程中；
所述的日志收集模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)收集管理多個(gè)日志代理模塊推送來(lái)的數(shù)據(jù)，并將數(shù)據(jù)分類存儲(chǔ)到指定的目錄下，根據(jù)根據(jù)集群的規(guī)模動(dòng)態(tài)配置日志收集模塊的大?。?br> 所述的日志代理模塊運(yùn)行在集群中的各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)收集所在節(jié)點(diǎn)上的集群存儲(chǔ)系統(tǒng)的Log日志，并將日志推送給日志收集模塊。
[0005]所述的每一個(gè)日志代理模塊可監(jiān)聽1024個(gè)文件。
[0006]所述的日志代理模塊配置文件中有發(fā)送日志安全級(jí)別屬性為E2E和SendOnly。
[0007]本發(fā)明的一種集群存儲(chǔ)系統(tǒng)的日志收集方法和現(xiàn)有技術(shù)相比，具有以下有益效果:
1、該方法實(shí)現(xiàn)了將日志收集模塊和日志代理模塊由日志管理模塊統(tǒng)一管理，使得系統(tǒng)便于維護(hù)；
2、該方法可以根據(jù)存儲(chǔ)集群的規(guī)模動(dòng)態(tài)的配置日志代理模塊的多少，來(lái)滿足集群日志收集的需要具有較高的可擴(kuò)展性；
3、該方法提供了兩種級(jí)別的可靠性保障，E2E(數(shù)據(jù)代理模塊發(fā)現(xiàn)有新的日志時(shí)首先將日志數(shù)據(jù)寫到本地磁盤上，當(dāng)日志數(shù)據(jù)傳送成功后，再刪除本地記錄；如果日志數(shù)據(jù)發(fā)送失敗，可以定時(shí)重新發(fā)送)；SendOnly (數(shù)據(jù)代理模塊發(fā)現(xiàn)有新的日志時(shí)，將日志數(shù)據(jù)發(fā)送到接收方后，不會(huì)進(jìn)行確認(rèn))，根據(jù)集群存儲(chǔ)系統(tǒng)的log日志的重要性進(jìn)行設(shè)置日志收集級(jí)另IJ，這樣確保重要的日志收集成功的可靠性。
【具體實(shí)施方式】
[0008]具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0009]本發(fā)明的一種集群存儲(chǔ)系統(tǒng)的日志收集方法，該方法所包含的模塊有日志管理模塊、日志收集模塊、日志代理模塊；所述的日志管理模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)管理協(xié)調(diào)日志收集模塊和日志代理模塊，該模塊以嵌入式的方式，整合到集群存儲(chǔ)系統(tǒng)的業(yè)務(wù)流程中，每一個(gè)日志代理模塊可監(jiān)聽1024個(gè)文件，日志代理模塊配置文件中有發(fā)送日志安全級(jí)別屬性為E2E和SendOnly ;所述的日志收集模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)收集管理多個(gè)日志代理模塊推送來(lái)的數(shù)據(jù)，并將數(shù)據(jù)分類存儲(chǔ)到指定的目錄下，根據(jù)根據(jù)集群的規(guī)模動(dòng)態(tài)配置日志收集模塊的大小；所述的日志代理模塊運(yùn)行在集群中的各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)收集所在節(jié)點(diǎn)上的集群存儲(chǔ)系統(tǒng)的Log日志，并將日志推送給日志收集模塊。
[0010]具體工作原理為:
每一個(gè)日志代理模塊可監(jiān)聽1024個(gè)文件；日志代理模塊將記錄每一個(gè)log日志文件的收集位置。當(dāng)日志文件有新的記錄產(chǎn)生，日志代理模塊根據(jù)收集位置進(jìn)行讀取增量記錄；根據(jù)日志代理模塊的配置文件將日志數(shù)據(jù)發(fā)送到指定的日志收集模塊。一個(gè)日志代理模塊在配置文件中一般指定至少兩個(gè)日志收集模塊，當(dāng)主日志收集在一定的時(shí)間內(nèi)容無(wú)法連接時(shí)，日志代理模塊將連接備用的日志收集模塊。日志代理模塊配置文件中有發(fā)送日志安全級(jí)別屬性E2E和SendOnly。
[0011 ] 當(dāng)日志代理模塊的配置文件中發(fā)送日志安全級(jí)別屬性是E2E的情況，那么日志代理模塊首先將推送的日志內(nèi)容寫入到本地特定的文件中，然后日志的內(nèi)容推送給日志收集模塊；日志收集模塊收到該日志代理模塊推送的日志數(shù)據(jù)，并成功的保存下來(lái)后；將反饋給日志代理模塊日志內(nèi)容保存成功的確認(rèn)信息。當(dāng)日志代理模塊收到確認(rèn)信息后，會(huì)將刪除之前寫入的本地特定文件。如果沒(méi)有收到日志收集模塊的確認(rèn)信息，那么就保留本地特定文件；并繼續(xù)推送日志數(shù)據(jù)。
[0012]當(dāng)日志代理模塊的配置文件中發(fā)送日志安全級(jí)別屬性是SendOnly的情況，那么數(shù)據(jù)代理模塊發(fā)現(xiàn)有新的日志時(shí)，將日志數(shù)據(jù)發(fā)送給日志收集模塊就退出該次日志推送過(guò)程。
[0013]如果日志代理模塊出現(xiàn)問(wèn)題，需要重新啟動(dòng)，日志代理模塊會(huì)根據(jù)重新啟動(dòng)的時(shí)間點(diǎn)減去最大的心跳間隔作為起始點(diǎn)來(lái)進(jìn)行日志重新獲取的時(shí)間點(diǎn)。這樣雖然數(shù)據(jù)有重復(fù)的可能，但能保證日志數(shù)據(jù)的完成性。日志代理模塊重新連接日志收集模塊后，日志收集模塊收到的日志內(nèi)容時(shí)，日志收集模塊進(jìn)行簡(jiǎn)單的數(shù)據(jù)重復(fù)性檢查！即日志收集模塊在寫入日志內(nèi)容前，會(huì)讀出日志文件中的最后一條記錄，進(jìn)行時(shí)間比對(duì)；將大于日志文件中的最后一條日志時(shí)間的日志寫入日志文件，否則認(rèn)為是重復(fù)的數(shù)據(jù)。
[0014]應(yīng)當(dāng)理解，本發(fā)明并不限于上述的【具體實(shí)施方式】。在公開的實(shí)施方式的基礎(chǔ)上，所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征，從而實(shí)現(xiàn)不同的技術(shù)方案。
【主權(quán)項(xiàng)】
1.一種集群存儲(chǔ)系統(tǒng)的日志收集方法，其特征在于該方法所包含的模塊有日志管理模塊、日志收集模塊、日志代理模塊； 所述的日志管理模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)管理協(xié)調(diào)日志收集模塊和日志代理模塊，該模塊以嵌入式的方式，整合到集群存儲(chǔ)系統(tǒng)的業(yè)務(wù)流程中； 所述的日志收集模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)收集管理多個(gè)日志代理模塊推送來(lái)的數(shù)據(jù)，并將數(shù)據(jù)分類存儲(chǔ)到指定的目錄下，根據(jù)根據(jù)集群的規(guī)模動(dòng)態(tài)配置日志收集模塊的大?。? 所述的日志代理模塊運(yùn)行在集群中的各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)收集所在節(jié)點(diǎn)上的集群存儲(chǔ)系統(tǒng)的Log日志，并將日志推送給日志收集模塊。2.根據(jù)權(quán)利要求1所述的一種集群存儲(chǔ)系統(tǒng)的日志收集方法，其特征在于所述的每一個(gè)日志代理模塊可監(jiān)聽1024個(gè)文件。3.根據(jù)權(quán)利要求1所述的一種集群存儲(chǔ)系統(tǒng)的日志收集方法，其特征在于所述的日志代理模塊配置文件中有發(fā)送日志安全級(jí)別屬性為E2E和SendOnly。
【專利摘要】本發(fā)明公開了一種集群存儲(chǔ)系統(tǒng)的日志收集方法，屬于計(jì)算機(jī)存儲(chǔ)領(lǐng)域，該方法所包含的模塊有日志管理模塊、日志收集模塊、日志代理模塊；所述的日志管理模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)管理協(xié)調(diào)日志收集模塊和日志代理模塊，該模塊以嵌入式的方式，整合到集群存儲(chǔ)系統(tǒng)的業(yè)務(wù)流程中；所述的日志收集模塊運(yùn)行在集群中主監(jiān)控器節(jié)點(diǎn)上，負(fù)責(zé)收集管理多個(gè)日志代理模塊推送來(lái)的數(shù)據(jù)，并將數(shù)據(jù)分類存儲(chǔ)到指定的目錄下，根據(jù)集群的規(guī)模動(dòng)態(tài)配置日志收集模塊的大??；所述的日志代理模塊運(yùn)行在集群中的各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)收集所在節(jié)點(diǎn)上的集群存儲(chǔ)系統(tǒng)的Log日志，并將日志推送給日志收集模塊。該方法便于系統(tǒng)維護(hù)和數(shù)據(jù)儲(chǔ)存。
【IPC分類】G06F17/30
【公開號(hào)】CN105095502
【申請(qǐng)?zhí)枴緾N201510529328
【發(fā)明人】方蘭春
【申請(qǐng)人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年11月25日
【申請(qǐng)日】2015年8月26日