一種基于大數(shù)據(jù)的信息安全管理運(yùn)維服務(wù)平臺(tái)的數(shù)據(jù)采集處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息安全應(yīng)用技術(shù)領(lǐng)域，尤其涉及非結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)性能、數(shù)據(jù)查詢性能和平臺(tái)高可用性。
【背景技術(shù)】
[0002]本發(fā)明中包含的英文簡(jiǎn)稱如下:
SPL: Search Processing Language搜索處理語(yǔ)言 ETL:Extract, Transform and Load提取、轉(zhuǎn)換和加載技術(shù) SOC: Security Operat1n Center安全管理中心 IDS: Intrus1n Detect1n Systems入侵檢測(cè)系統(tǒng) MIS:Management Informat1n System管理信息系統(tǒng) DMZ:demilitarized zone隔離區(qū)、或非軍事化區(qū) APP: Applicat1n應(yīng)用程序
SNMP:Simple Network Management Protocol簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議 HDFS:Hadoop Distribute File System Hadoop分布式文件系統(tǒng) ODBC:Open Database Connectivity開(kāi)放數(shù)據(jù)庫(kù)互連 WMI:ffindows Management Instrumentat1n Windows管理規(guī)范 0psec:0pen Platform for Security安全開(kāi)放平臺(tái) NAS: Network Attached Storage網(wǎng)絡(luò)附屬存儲(chǔ)
SAN:Storage Area Network and SAN Protocols存儲(chǔ)區(qū)域網(wǎng)絡(luò)及其協(xié)議 IBM: Internat1nal Business Machines Corporat1n!!際商業(yè)機(jī)器公司 MQ:Message Queue消息隊(duì)列
安全生產(chǎn)歷來(lái)是保障各項(xiàng)工作有序開(kāi)展的前提，也是考核各級(jí)領(lǐng)導(dǎo)干部的否決指標(biāo)。網(wǎng)絡(luò)及信息安全管理運(yùn)維體系是各類企業(yè)安全生產(chǎn)工作的重要組成部分。保障網(wǎng)絡(luò)高效穩(wěn)定地運(yùn)行，是企業(yè)一切市場(chǎng)經(jīng)營(yíng)活動(dòng)和正常運(yùn)作的基礎(chǔ)。
[0003]隨著各類企業(yè)信息系統(tǒng)的建設(shè)和完善，有效的提高了勞動(dòng)生產(chǎn)率，降低了運(yùn)營(yíng)成本。一旦企業(yè)各業(yè)務(wù)系統(tǒng)出現(xiàn)安全事件、或發(fā)生故障、或形成性能瓶頸，不能及時(shí)發(fā)現(xiàn)、不能及時(shí)處理、不能及時(shí)恢復(fù)，勢(shì)必直接影響企業(yè)的業(yè)務(wù)運(yùn)行，影響企業(yè)的正常運(yùn)營(yíng)秩序，導(dǎo)致企業(yè)業(yè)務(wù)不能正常開(kāi)展。因此，對(duì)于企業(yè)IT基礎(chǔ)實(shí)施的安全保障就顯得格外重要。
[0004]隨著企業(yè)信息化程度不斷提高。各業(yè)務(wù)系統(tǒng)間聯(lián)系越來(lái)越密切，數(shù)據(jù)交換越來(lái)越頻繁，各系統(tǒng)有著復(fù)雜網(wǎng)絡(luò)或邏輯連接，存在大量數(shù)據(jù)交換，甚至一個(gè)故障可以引發(fā)成為企業(yè)全網(wǎng)故障，一點(diǎn)或一種業(yè)務(wù)系統(tǒng)出現(xiàn)漏洞感染病毒或受到攻擊，將迅速波及其它業(yè)務(wù)系統(tǒng)及網(wǎng)絡(luò)，甚至導(dǎo)致企業(yè)全網(wǎng)癱瘓。
[0005]盡管目前一些企業(yè)的信息安全技術(shù)體系已初步形成，但是隨著系統(tǒng)里存儲(chǔ)的事件越來(lái)越大，查詢速度越來(lái)越慢，用戶的也會(huì)越來(lái)越體驗(yàn)差。[0006 ]目前，各類企業(yè)信息安全運(yùn)維管理平臺(tái)存在以下問(wèn)題:
1、各種信息安全產(chǎn)品和網(wǎng)絡(luò)設(shè)備品種多，分布廣，數(shù)據(jù)量大，缺少統(tǒng)一的數(shù)據(jù)分析管理和風(fēng)險(xiǎn)管理，缺少基于大數(shù)據(jù)的信息安全分析；
2、信息安全產(chǎn)品和網(wǎng)絡(luò)設(shè)備的知識(shí)庫(kù)不統(tǒng)一，缺少統(tǒng)一的解決方案；
3、安全職責(zé)不清，具體職責(zé)未落實(shí)到位；
4、信息安全管理運(yùn)維考核不細(xì)致，缺少部分必要和關(guān)鍵的指標(biāo)；
5、不同安全設(shè)備事件之間甚至同一安全設(shè)備的事件缺少更加高級(jí)智能的分析和匯聚關(guān)聯(lián)，導(dǎo)致數(shù)據(jù)量龐大，不便于對(duì)安全隱患的分析和發(fā)現(xiàn)問(wèn)題，防患于未然；
6、信息安全事件上報(bào)不及時(shí)，故障診斷不及時(shí)，處理效率低，效果差；
7、信息安全事件和資產(chǎn)的漏洞沒(méi)有進(jìn)行必要的關(guān)聯(lián)分析和風(fēng)險(xiǎn)分析，導(dǎo)致很多事件沒(méi)有進(jìn)一步的分析和處理；
8、出現(xiàn)緊急事件沒(méi)有很好的預(yù)警和處理流程，缺乏數(shù)據(jù)在線備份、離線備份和數(shù)據(jù)恢復(fù)工具。
[0007]上述問(wèn)題不同程度地存在企業(yè)已經(jīng)建成的業(yè)務(wù)和網(wǎng)絡(luò)之中，成為企業(yè)今后業(yè)務(wù)安全管理運(yùn)維穩(wěn)定提升的障礙。
[0008]為此，如何利用信息化手段提高企業(yè)安全管理運(yùn)維效益，解決企業(yè)各系統(tǒng)所存在的安全隱患，以及設(shè)計(jì)出基于大數(shù)據(jù)的海量事件處理方法及裝置，優(yōu)化企業(yè)信息安全管理和維護(hù)工作，使得它能夠?yàn)楦黝惼髽I(yè)提供專業(yè)的和高效率的信息安全管理運(yùn)維服務(wù)，即成為尤其是信息安全管理運(yùn)維服務(wù)商必須要解決的一個(gè)重要課題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明在分析了上述各類企業(yè)信息安全管理運(yùn)維服務(wù)平臺(tái)的缺陷和不足之后，提出了一種基于大數(shù)據(jù)的信息安全管理運(yùn)維服務(wù)平臺(tái)的數(shù)據(jù)采集處理方法及裝置，在滿足實(shí)時(shí)采集、實(shí)時(shí)查詢和高可用性的同時(shí)，也能夠提升用戶體驗(yàn)，以及平臺(tái)的可擴(kuò)展性。
[0010]本發(fā)明的核心思想包括:構(gòu)建基于大數(shù)據(jù)的信息安全管理運(yùn)維服務(wù)平臺(tái)的分布式存儲(chǔ)引擎、分布式查詢引擎和半結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)庫(kù)，提升采集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)和數(shù)據(jù)查詢的性能，以及平臺(tái)的高可用性。
[0011]分布式存儲(chǔ)引擎，并行地接收所采集到的數(shù)據(jù)，以及對(duì)所采集到的數(shù)據(jù)能夠?qū)崿F(xiàn)快速“就近存儲(chǔ)”，即選擇最近的存儲(chǔ)節(jié)點(diǎn)快速存儲(chǔ)所采集到的數(shù)據(jù)，或者說(shuō)，將同一個(gè)地點(diǎn)的采集數(shù)據(jù)存儲(chǔ)到最近節(jié)點(diǎn)(或者次最近節(jié)點(diǎn))上；并且，存儲(chǔ)服務(wù)器可以按照時(shí)長(zhǎng)或存儲(chǔ)塊大小的策略進(jìn)行分片，索引服務(wù)器依據(jù)節(jié)點(diǎn)和時(shí)間段(或存儲(chǔ)塊大小)信息建立索引。所采集到的數(shù)據(jù)選擇存儲(chǔ)數(shù)據(jù)庫(kù)時(shí)，首先，考慮選擇最近的節(jié)點(diǎn)(或次最近節(jié)點(diǎn))來(lái)存儲(chǔ)所采集到的數(shù)據(jù);其次，選擇與之采集時(shí)間范圍匹配的索引服務(wù)器之下的數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)所采集到的數(shù)據(jù);或者，選擇與之采集時(shí)間匹配的索引服務(wù)器之下的存儲(chǔ)塊分片，將所采集到的數(shù)據(jù)存儲(chǔ)到所包含的多個(gè)分片所對(duì)應(yīng)的數(shù)據(jù)庫(kù)中。
[0012]進(jìn)一步地，上述方法還包括:索引服務(wù)器，按照預(yù)定的采集數(shù)據(jù)存儲(chǔ)策略建立索引。
[0013]進(jìn)一步地，為了提升和優(yōu)化所采集到數(shù)據(jù)的入庫(kù)性能，需要采用并行處理機(jī)制，例如，使用Hadoop MapReduce或Spark分布式架構(gòu)。
[0014]分布式查詢，根據(jù)查詢請(qǐng)求，分布式查詢引擎首先確定該查詢請(qǐng)求涉及到一個(gè)或多個(gè)節(jié)點(diǎn)上的索引服務(wù)器(或同一個(gè)節(jié)點(diǎn)內(nèi)的多個(gè)索引服務(wù)器或不同節(jié)點(diǎn)的多個(gè)索引服務(wù)器)。如果該查詢請(qǐng)求涉及多個(gè)索引服務(wù)器，則同時(shí)轉(zhuǎn)發(fā)該查詢請(qǐng)求到所述多個(gè)索引服務(wù)器中。各個(gè)索引服務(wù)器將查詢結(jié)果返回給分布式查詢引擎，分布式查詢引擎合并查詢結(jié)果;為了提升查詢性能，需要采用并行查詢機(jī)制，例如，使用Hadoop MapReduce或Spark分布式架構(gòu)。
[0015]半結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)庫(kù)，存儲(chǔ)所采集數(shù)據(jù)的數(shù)據(jù)庫(kù)，采用半結(jié)構(gòu)化的實(shí)時(shí)數(shù)據(jù)庫(kù)，或非結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)庫(kù)。由于傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫(kù)需要事先熟悉全部數(shù)據(jù)，這幾乎不可能，因?yàn)樗杉臄?shù)據(jù)字段數(shù)量是非常之大，而且所采集的數(shù)據(jù)由于設(shè)備老化和升級(jí)等原因其數(shù)據(jù)字段也是動(dòng)態(tài)變化的，事先正確地了解它們往往是不切實(shí)際的。
[0016]進(jìn)一步地，為了保證安全管理運(yùn)維服務(wù)平臺(tái)的高可用性，索引服務(wù)器和存儲(chǔ)采集數(shù)據(jù)的分片，需要存儲(chǔ)多個(gè)副本。例如，索引服務(wù)器存儲(chǔ)兩個(gè)副本，而存儲(chǔ)采集數(shù)據(jù)分片則存儲(chǔ)3個(gè)副本。這多個(gè)副本，既可以在同一個(gè)節(jié)點(diǎn)內(nèi)的不同服務(wù)器上，也可以在不同的節(jié)點(diǎn)的服務(wù)器上。
[0017]本專利針對(duì)目前技術(shù)方案中存在的主要問(wèn)題而提供了一