1.一種跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，其特征在于該方法包含：節(jié)點(diǎn)日志發(fā)送至總部外網(wǎng)、日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部?jī)?nèi)網(wǎng)、數(shù)據(jù)庫(kù)中日志數(shù)據(jù)恢復(fù)為原始日志文件；具體步驟如下：
1）節(jié)點(diǎn)日志發(fā)送至總部
應(yīng)用服務(wù)器需要將每日節(jié)點(diǎn)日志發(fā)送到總部，采用外網(wǎng)傳輸方式，服務(wù)器每日定時(shí)執(zhí)行shell腳本，對(duì)服務(wù)器上的日志文件進(jìn)行壓縮等處理，發(fā)送到總部服務(wù)器；
2）日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部?jī)?nèi)網(wǎng)
將日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部?jī)?nèi)網(wǎng)，需要提供日志擺渡程序，將日志存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫(kù)；
3）數(shù)據(jù)庫(kù)中日志數(shù)據(jù)恢復(fù)為原始日志文件
總部?jī)?nèi)網(wǎng)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)，恢復(fù)為原始日志文件，再通過(guò)日志管理工具logstash發(fā)送到大數(shù)據(jù)平臺(tái)。
2.根據(jù)權(quán)利要求1所述的跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，其特征在于：步驟1）中，對(duì)于文件傳輸，采用https協(xié)議進(jìn)行文件傳輸。
3.根據(jù)權(quán)利要求1所述的跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，其特征在于：步驟2）中，由于數(shù)據(jù)要穿過(guò)隔離裝置進(jìn)入內(nèi)網(wǎng)，隔離裝置能否承受大量數(shù)據(jù)的實(shí)時(shí)傳輸存在一定的風(fēng)險(xiǎn)，采取以下措施：
（1)對(duì)數(shù)據(jù)傳輸頻率進(jìn)行限制，日志擺渡程序每隔10s從Kafka緩沖隊(duì)列中讀取日志數(shù)據(jù)，以blob字段的形式存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫(kù)；
（2)對(duì)數(shù)據(jù)傳輸大小進(jìn)行限制，對(duì)日志數(shù)據(jù)以行為單位進(jìn)行分割，控制數(shù)據(jù)大小不超過(guò)2M；
（3）在使用日志管理工具logstash進(jìn)行日志采集時(shí)，對(duì)請(qǐng)求長(zhǎng)度超過(guò)限制或不滿足規(guī)定格式的日志數(shù)據(jù)進(jìn)行過(guò)濾，保證數(shù)據(jù)的有效性和安全性。
4.根據(jù)權(quán)利要求1所述的跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，其特征在于：步驟3）中，開(kāi)設(shè)三個(gè)線程分別對(duì)數(shù)據(jù)庫(kù)中三類日志數(shù)據(jù)進(jìn)行處理，實(shí)時(shí)讀取到3個(gè)日志文件中，標(biāo)識(shí)日志記錄為已讀；由于日志數(shù)據(jù)的增大會(huì)對(duì)數(shù)據(jù)庫(kù)性能產(chǎn)生影響，每3天對(duì)已讀日志數(shù)據(jù)進(jìn)行清理。