本發(fā)明屬于電力系統(tǒng)，涉及電網(wǎng)公司信息內(nèi)外網(wǎng)邏輯強(qiáng)隔離、應(yīng)用服務(wù)多節(jié)點(diǎn)部署背景下服務(wù)器端日志的采集工作，具體地說是一種跨網(wǎng)絡(luò)多節(jié)點(diǎn)日志采集的方法。

背景技術(shù)：

基于國網(wǎng)公司信息系統(tǒng)“分區(qū)、分級(jí)、分域”的總體防護(hù)策略，信息網(wǎng)絡(luò)分為信息內(nèi)網(wǎng)和信息外網(wǎng)。信息內(nèi)網(wǎng)定位為公司信息化“SG186”工程業(yè)務(wù)應(yīng)用承載網(wǎng)絡(luò)和內(nèi)部辦公網(wǎng)絡(luò)，信息外網(wǎng)定位為對(duì)外業(yè)務(wù)網(wǎng)絡(luò)和訪問互聯(lián)網(wǎng)用戶終端網(wǎng)絡(luò)。信息內(nèi)、外網(wǎng)之間實(shí)施強(qiáng)邏輯隔離的措施。由于應(yīng)用服務(wù)器部署在信息外網(wǎng)，而日志數(shù)據(jù)需提交到信息內(nèi)網(wǎng)的大數(shù)據(jù)平臺(tái)進(jìn)行分析，必須對(duì)外網(wǎng)服務(wù)器端的日志文件提供擺渡程序，將其傳輸?shù)叫畔?nèi)網(wǎng)。此外，由于國網(wǎng)公司大多應(yīng)用服務(wù)采用總部網(wǎng)省二級(jí)部署，需要將各網(wǎng)省節(jié)點(diǎn)日志數(shù)據(jù)定時(shí)上報(bào)到總部進(jìn)行分析。

由于國網(wǎng)公司信息內(nèi)外網(wǎng)采用物理強(qiáng)隔離的安全防護(hù)策略，且多數(shù)應(yīng)用服務(wù)采用總部網(wǎng)省兩級(jí)部署，增大了服務(wù)器端日志采集工作的難度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，采用該方法服務(wù)器端日志采集工作簡單方便，安全可靠。

本發(fā)明的目的通過以下技術(shù)方案實(shí)現(xiàn)：

一種跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，其特征在于該方法包含：節(jié)點(diǎn)日志發(fā)送至總部外網(wǎng)、日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)、數(shù)據(jù)庫中日志數(shù)據(jù)恢復(fù)為原始日志文件；具體步驟如下：

1）節(jié)點(diǎn)日志發(fā)送至總部

應(yīng)用服務(wù)器需要將每日節(jié)點(diǎn)日志發(fā)送到總部，采用外網(wǎng)傳輸方式，服務(wù)器每日定時(shí)執(zhí)行shell腳本，對(duì)服務(wù)器上的日志文件進(jìn)行壓縮等處理，發(fā)送到總部服務(wù)器；

2）日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)

將日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)，需要提供日志擺渡程序，將日志存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫；

3）數(shù)據(jù)庫中日志數(shù)據(jù)恢復(fù)為原始日志文件

總部內(nèi)網(wǎng)數(shù)據(jù)庫中的日志數(shù)據(jù)，恢復(fù)為原始日志文件，再通過日志管理工具logstash發(fā)送到大數(shù)據(jù)平臺(tái)。

本發(fā)明步驟1）中，對(duì)于文件傳輸，采用https協(xié)議進(jìn)行文件傳輸。步驟2）中，由于數(shù)據(jù)要穿過隔離裝置進(jìn)入內(nèi)網(wǎng)，隔離裝置能否承受大量數(shù)據(jù)的實(shí)時(shí)傳輸存在一定的風(fēng)險(xiǎn)，采取以下措施：

（1)對(duì)數(shù)據(jù)傳輸頻率進(jìn)行限制，日志擺渡程序每隔10s從Kafka緩沖隊(duì)列中讀取日志數(shù)據(jù)，以blob字段的形式存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫；

（2)對(duì)數(shù)據(jù)傳輸大小進(jìn)行限制，對(duì)日志數(shù)據(jù)以行為單位進(jìn)行分割，控制數(shù)據(jù)大小不超過2M；

（3）在使用日志管理工具logstash進(jìn)行日志采集時(shí)，對(duì)請(qǐng)求長度超過限制或不滿足規(guī)定格式的日志數(shù)據(jù)進(jìn)行過濾，保證數(shù)據(jù)的有效性和安全性。

步驟3）中，開設(shè)三個(gè)線程分別對(duì)數(shù)據(jù)庫中三類日志數(shù)據(jù)進(jìn)行處理，實(shí)時(shí)讀取到3個(gè)日志文件中，標(biāo)識(shí)日志記錄為已讀；由于日志數(shù)據(jù)的增大會(huì)對(duì)數(shù)據(jù)庫性能產(chǎn)生影響，每3天對(duì)已讀日志數(shù)據(jù)進(jìn)行清理。

本發(fā)明基于國網(wǎng)公司應(yīng)用服務(wù)部署的特點(diǎn)，采用該方法服務(wù)器端日志采集工作簡單方便，安全可靠。

附圖說明

圖1是日志采集流程圖。

具體實(shí)施方式

一種跨網(wǎng)絡(luò)多節(jié)點(diǎn)的日志采集方法，如圖1所示，包含：節(jié)點(diǎn)日志發(fā)送至總部外網(wǎng)、日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)、數(shù)據(jù)庫中日志數(shù)據(jù)恢復(fù)為原始日志文件。具體步驟如下：

1）網(wǎng)省節(jié)點(diǎn)日志發(fā)送至總部

網(wǎng)省公司應(yīng)用服務(wù)器需要將每日節(jié)點(diǎn)日志發(fā)送到總部，采用外網(wǎng)傳輸方式，網(wǎng)省公司服務(wù)器每日定時(shí)執(zhí)行shell腳本，對(duì)服務(wù)器上的日志文件進(jìn)行壓縮等處理，發(fā)送到總部服務(wù)器。對(duì)于文件傳輸，可采用https或sftp協(xié)議。由于sftp使用ssh協(xié)議，需總部對(duì)外開放ssh端口，該端口通常是黑客掃描的對(duì)象易造成安全隱患，因而采用https協(xié)議進(jìn)行文件傳輸。

2）日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)

將日志數(shù)據(jù)從總部外網(wǎng)發(fā)送至總部內(nèi)網(wǎng)，需要提供日志擺渡程序，將日志存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫。由于數(shù)據(jù)要穿過隔離裝置進(jìn)入內(nèi)網(wǎng)，隔離裝置能否承受大量數(shù)據(jù)的實(shí)時(shí)傳輸存在一定的風(fēng)險(xiǎn)，采取以下措施：

（1)對(duì)數(shù)據(jù)傳輸頻率進(jìn)行限制。日志擺渡程序每隔10s從Kafka緩沖隊(duì)列中讀取日志數(shù)據(jù)，以blob字段的形式存儲(chǔ)到內(nèi)網(wǎng)數(shù)據(jù)庫。

（2)對(duì)數(shù)據(jù)傳輸大小進(jìn)行限制，對(duì)日志數(shù)據(jù)以行為單位進(jìn)行分割，控制數(shù)據(jù)大小不超過2M。

此外，為避免服務(wù)器受到攻擊后產(chǎn)生的大量無效日志數(shù)據(jù)進(jìn)入內(nèi)網(wǎng)，在使用日志管理工具logstash進(jìn)行日志采集時(shí)，對(duì)請(qǐng)求長度超過限制或不滿足規(guī)定格式的日志數(shù)據(jù)進(jìn)行過濾，保證數(shù)據(jù)的有效性和安全性。

3）數(shù)據(jù)庫中日志數(shù)據(jù)恢復(fù)為原始日志文件

總部內(nèi)網(wǎng)數(shù)據(jù)庫中的日志數(shù)據(jù)，需要恢復(fù)為原始日志文件，再通過日志管理工具logstash發(fā)送到大數(shù)據(jù)平臺(tái)。開設(shè)三個(gè)線程分別對(duì)數(shù)據(jù)庫中三類日志數(shù)據(jù)進(jìn)行處理，實(shí)時(shí)讀取到3個(gè)日志文件中，標(biāo)識(shí)日志記錄為已讀。由于日志數(shù)據(jù)的增大會(huì)對(duì)數(shù)據(jù)庫性能產(chǎn)生影響，可考慮每3天對(duì)已讀日志數(shù)據(jù)進(jìn)行清理。

實(shí)施例

江蘇省電力公司日志搜集具體操作步驟如下：

1.網(wǎng)省節(jié)點(diǎn)服務(wù)器每日定時(shí)發(fā)送日志數(shù)據(jù)到總部外網(wǎng)；

2.采用日志管理工具Logstash對(duì)總部服務(wù)端日志和各網(wǎng)省傳輸過來的日志進(jìn)行實(shí)時(shí)收集，使用Kafka對(duì)日志消息進(jìn)行消費(fèi)；

3.將Kafka中的日志數(shù)據(jù)發(fā)送到總部內(nèi)網(wǎng)數(shù)據(jù)庫；

4.將內(nèi)網(wǎng)數(shù)據(jù)庫中日志數(shù)據(jù)恢復(fù)為原始日志文件；

5.采用日志管理工具Logstash對(duì)總部內(nèi)網(wǎng)的日志進(jìn)行實(shí)時(shí)收集，以發(fā)送到大數(shù)據(jù)平臺(tái)進(jìn)行后續(xù)的日志分析處理。