技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明提供了一種日志數(shù)據(jù)采集方法及系統(tǒng),方法包括:預(yù)先將待采集日志數(shù)據(jù)的目標(biāo)區(qū)域劃分為至少兩個(gè)采集區(qū)域,各采集區(qū)域均包括:數(shù)據(jù)中心和至少一個(gè)分支機(jī)構(gòu),日志存儲(chǔ)系統(tǒng)位于所述至少兩個(gè)采集區(qū)域其中之一的第一采集區(qū)域的數(shù)據(jù)中心;采集各分支機(jī)構(gòu)和數(shù)據(jù)中心中的web服務(wù)器的日志數(shù)據(jù),并將采集的各分支機(jī)構(gòu)的日志數(shù)據(jù)傳輸?shù)皆摲种C(jī)構(gòu)所在采集區(qū)域的數(shù)據(jù)中心;各采集區(qū)域的日志數(shù)據(jù)通過第一采集區(qū)域的數(shù)據(jù)中心的Flume一級(jí)接收端存儲(chǔ)至日志存儲(chǔ)系統(tǒng)。本發(fā)明日志采集方案,結(jié)合高可用性、高可靠性、高時(shí)效等特性為一體,提高工作效率。
技術(shù)研發(fā)人員:袁一;沈贇;張學(xué)舟;游楓
受保護(hù)的技術(shù)使用者:中國工商銀行股份有限公司
技術(shù)研發(fā)日:2017.07.12
技術(shù)公布日:2017.11.10