1.一種基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,所述系統(tǒng)包括:三個(gè)獨(dú)立的工作端:
日志收集端,負(fù)責(zé)監(jiān)控本地日志文件的變化,及時(shí)把日志文件的最新內(nèi)容收集起來,輸出到日志轉(zhuǎn)發(fā)器暫存;
日志存儲(chǔ)端,接收并存儲(chǔ)從日志轉(zhuǎn)發(fā)器發(fā)送的日志信息;
日志查看分析端,從日志存儲(chǔ)端調(diào)取目標(biāo)日志查看并分析。
2.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,一個(gè)日志轉(zhuǎn)發(fā)器與多個(gè)日志收集端通信連接;一個(gè)日志存儲(chǔ)端與多個(gè)日志查看分析端通信連接。
3.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,所述日志收集端需配置的參數(shù)包括:需要監(jiān)控的文件、監(jiān)控日志輸出的控制臺(tái)、監(jiān)控日志輸出的日志轉(zhuǎn)發(fā)器的端口號(hào)、監(jiān)控日志輸出的日志轉(zhuǎn)發(fā)器的主機(jī)地址、監(jiān)控日志輸出的日志轉(zhuǎn)發(fā)器的數(shù)據(jù)庫編號(hào)、監(jiān)控日志使用的發(fā)布/訂閱模式和監(jiān)控日志發(fā)布的通道名稱。
4.根據(jù)權(quán)利要求3所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,所述日志收集端還包括監(jiān)控日志輸出的日志轉(zhuǎn)發(fā)器的備用主機(jī)地址。
5.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,所述日志收集端收集到日志文件數(shù)據(jù)后,經(jīng)過文件處理后,暫存到日志轉(zhuǎn)換器中。
6.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,所述日志存儲(chǔ)端從日志轉(zhuǎn)發(fā)器讀取日志文本,將讀取的文本修改為format文件后存儲(chǔ),同時(shí),所述日志存儲(chǔ)端設(shè)置了需存儲(chǔ)的日志寫入文件路徑。
7.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)日志監(jiān)控系統(tǒng),其特征在于,所述日志存儲(chǔ)端實(shí)時(shí)或設(shè)置每個(gè)一段時(shí)間間隔從日志轉(zhuǎn)換器中讀取日志文件。
8.根據(jù)權(quán)利要求1所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng),其特征在于,本系統(tǒng)運(yùn)行的環(huán)境為JAVA。
9.一種基于如權(quán)利要求1至8任意一項(xiàng)所述基于Logstash分布式系統(tǒng)的日志監(jiān)控系統(tǒng)的日志監(jiān)控方法,其特征在于,所述方法:
S1,日志收集端實(shí)時(shí)判斷監(jiān)的日志文件是否更新,如果是,則調(diào)取更新的日志文件并暫存到日志轉(zhuǎn)發(fā)器中;如果否,則返回S1,繼續(xù)判斷;
S2,當(dāng)日志存儲(chǔ)端收到日志轉(zhuǎn)發(fā)器暫存更新日志文件的消息后,接收并存儲(chǔ)從日志轉(zhuǎn)發(fā)器發(fā)送的日志信息;所述日志信息包括:日志文件的輸出地址、日志文件內(nèi)容和收集日志文件的日志收集端;
S3,日志查看分析端在接收到日志存儲(chǔ)端存儲(chǔ)了更新日志文件的消息后,從日志存儲(chǔ)端調(diào)取目標(biāo)日志查看并分析;所述日志查看分析端為處于空閑狀態(tài)的日志查看分析端或查看分析任務(wù)最少的日志查看分析端。
10.根據(jù)權(quán)利要求9所述日志監(jiān)控方法,其特征在于,制定任意一個(gè)或多個(gè)日志查看分析端僅查看并分析由預(yù)先指定一個(gè)或多個(gè)日志收集端收集到的日志文件,具體為在步驟S3之前包括以下步驟:
判斷日志存儲(chǔ)端收集到的任意一條日志信息中存儲(chǔ)的日志收集端的唯一序列號(hào),將所述唯一序列號(hào)與預(yù)先存儲(chǔ)的制定查看并分析列表進(jìn)行比對(duì),如果唯一序列號(hào)在查看并分析列表中某個(gè)或某些日志查看分析端的編碼號(hào)對(duì)應(yīng),則將該日志信息發(fā)送到與編碼號(hào)對(duì)應(yīng)的日志查看分析端中;如果在查看并分析列表并不存在所述唯一序列號(hào),則將該日志信息發(fā)送到隨機(jī)選定的日志查看分析端中。