本發(fā)明涉及網(wǎng)絡(luò)安全威脅預(yù)警技術(shù)領(lǐng)域，尤其涉及一種基于大數(shù)據(jù)分析的威脅預(yù)警監(jiān)測系統(tǒng)、方法及部署架構(gòu)。

背景技術(shù)：

當(dāng)前我國各政府部門和企事業(yè)單位都加大了網(wǎng)絡(luò)安全建設(shè)的投入力度，部署了各種類型的安全設(shè)備或系統(tǒng)，如入侵檢測系統(tǒng)(ids)、入侵防御系統(tǒng)(ips)、防火墻、殺毒軟件等。但這些基于特征規(guī)則的傳統(tǒng)安全設(shè)備只能檢測已知攻擊，漏報和誤報均較高。

安全運營中心(soc)對安全系統(tǒng)的大量日志進行整合，不僅數(shù)據(jù)源單一，而且缺乏提供精準(zhǔn)分析的能力與手段，安全分析人員從這些海量數(shù)據(jù)分析出有效線索無異于大海撈針。因此，soc并未對網(wǎng)絡(luò)安全積極防御起到有效作用。

當(dāng)前情況下，國家電網(wǎng)公司大力推進堅強智能電網(wǎng)和全球能源互聯(lián)網(wǎng)建設(shè)，電網(wǎng)數(shù)字化和智能化程度不斷提高，與此同時，隨著智能化時代的邁入，電網(wǎng)日益受到來自互聯(lián)網(wǎng)的計算機病毒、邏輯炸彈、木馬的攻擊，信息安全防護的難度大幅增加，對電力信息安全和智能電網(wǎng)的發(fā)展提出新的挑戰(zhàn)。電網(wǎng)信息系統(tǒng)安全數(shù)據(jù)的采集和存儲能力、信息系統(tǒng)安全威脅的發(fā)現(xiàn)感知能力、立體化縱深防御能力等方面，都面臨著相比過去傳統(tǒng)信息系統(tǒng)的安全防護體系更高的技術(shù)和管理規(guī)范化要求。尤其是在相關(guān)安全情報數(shù)據(jù)的數(shù)量、速度、種類的迅速膨脹的情況下，海量異構(gòu)數(shù)據(jù)的融合、存儲、管理和利用對傳統(tǒng)的安全分析方法提出了重大的挑戰(zhàn)。

由于網(wǎng)絡(luò)攻擊行為通常分散在各地，攻擊過程由多步驟實施，具有一定的復(fù)雜性，僅靠單個網(wǎng)絡(luò)安全設(shè)備的日志信息無法完全還原出攻擊原貌，這嚴重制約了網(wǎng)絡(luò)安全分析人員評估整個網(wǎng)絡(luò)環(huán)境的運行狀態(tài)以及用戶的活動情況。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的就是為了解決上述問題，提供一種基于大數(shù)據(jù)分析的威脅預(yù)警監(jiān)測系統(tǒng)、方法及部署架構(gòu)，用于多種業(yè)務(wù)場景下的網(wǎng)絡(luò)安全威脅態(tài)勢感知和深度分析，實現(xiàn)從攻擊預(yù)警、攻擊識別到分析取證的綜合能力。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)，包括，

數(shù)據(jù)采集系統(tǒng)模塊，通過網(wǎng)絡(luò)全流量安全分析系統(tǒng)、入侵檢測系統(tǒng)、入侵防御系統(tǒng)及高級持續(xù)性威脅系統(tǒng)對原始網(wǎng)絡(luò)流量進行實時數(shù)據(jù)采集；

數(shù)據(jù)存儲系統(tǒng)模塊，對數(shù)據(jù)采集系統(tǒng)模塊采集的數(shù)據(jù)進行數(shù)據(jù)歸并和數(shù)據(jù)清洗處理后再進行存儲管理，支持分布式文件系統(tǒng)、行式數(shù)據(jù)庫、列式數(shù)據(jù)庫及對象存儲系統(tǒng)存儲；

實時威脅智能分析系統(tǒng)模塊，利用數(shù)據(jù)挖掘、文本分析、流量分析、全文搜索引擎、實時處理對安全數(shù)據(jù)進行深度的分析與挖掘，結(jié)合入侵檢測模型、網(wǎng)絡(luò)異常行為模型和設(shè)備異常行為模型實時甄別未知的安全威脅；

態(tài)勢感知展示系統(tǒng)模塊，采用了數(shù)據(jù)可視化工具庫實時、立體地對安全威脅態(tài)勢進行綜合展示；

后臺管理系統(tǒng)模塊，對整個監(jiān)測系統(tǒng)進行運維監(jiān)控管理。

所述數(shù)據(jù)采集系統(tǒng)模塊還采集威脅情報，從互聯(lián)網(wǎng)上爬取威脅情報；

實時威脅智能分析系統(tǒng)模塊依據(jù)殺傷鏈對威脅情報進行分析，對威脅情報進行載體利用和突防利用、攻擊手法、威脅情報本土化所關(guān)心的行業(yè)領(lǐng)域、目標(biāo)作業(yè)環(huán)境和偏好進行機器學(xué)習(xí)和分析；

態(tài)勢感知展示系統(tǒng)模塊實時展現(xiàn)獲取的威脅情報、apt攻擊報告的數(shù)量、重大互聯(lián)網(wǎng)泄密事件的數(shù)量、重大安全漏洞曝光事件的數(shù)量、惡意文件的數(shù)量、惡意ip的數(shù)量、惡意url的數(shù)量、地圖上動態(tài)顯示所有威脅源或攻擊源國家或地區(qū)、高亮顯示個別國家的威脅情報情況、實時刷新威脅情報事件、對威脅源國家進行top排名展現(xiàn)。

所述實時威脅智能分析系統(tǒng)模塊包括：分析中心模塊、安全日志模塊、可疑文件模塊、威脅情報模塊、前端取證模塊及專家分析模塊。

所述分析中心模塊包括ip行為畫像模塊和數(shù)據(jù)挖掘模塊，

ip行為畫像模塊實現(xiàn)對ip的整體畫像，針對系統(tǒng)中存在的ip地址能搜索出來，查看與該ip相關(guān)的信息，還能鉆取進入二級ip詳細信息頁面；通過提供全域ip鉆取，對ip進行dns請求、威脅情報命中、安全日志和網(wǎng)絡(luò)流量多個維度的分析并持續(xù)鉆?。煌ㄟ^dns請求，能分析域名訪問和c&c外聯(lián)情況，ip命中的威脅情報和安全日志佐證被攻擊情況，網(wǎng)絡(luò)流量為回溯取證提供依據(jù)；

數(shù)據(jù)挖掘模塊實現(xiàn)對攻擊關(guān)聯(lián)圖、攻擊源分布、時序圖、威脅類型分布、威脅情報命中及力導(dǎo)圖中的數(shù)據(jù)進行挖掘。

所述攻擊關(guān)聯(lián)圖整體展示安全日志中關(guān)聯(lián)的內(nèi)部、外部主機ip之間的相關(guān)性；

攻擊源分布展示全球地圖分布上的安全威脅情況，根據(jù)安全日志的源ip的geo地理位置按國家、城市進行聚合統(tǒng)計；

時序圖模塊根據(jù)安全日志中的威脅事件發(fā)生的時間進行聚合；

威脅類型分布能挖掘出安全日志的威脅類型相關(guān)的數(shù)據(jù)；威脅次數(shù)根據(jù)安全日志的威脅類型進行聚合，并與威脅單位進行關(guān)聯(lián)；

力導(dǎo)圖實現(xiàn)了對安全日志中主機ip與威脅ip的關(guān)聯(lián)，根據(jù)主機ip與大數(shù)據(jù)量威脅ip進行關(guān)聯(lián)分析；

威脅情報命中實現(xiàn)了對黑ip、黑域名、黑md5數(shù)據(jù)的挖掘，根據(jù)威脅情報庫與安全日志中的主機ip進行碰撞關(guān)聯(lián)，對被威脅的ip主機數(shù)和威脅次數(shù)進行統(tǒng)計。

所述安全日志功能模塊記錄了所有類型的威脅事件日志，提供關(guān)鍵詞檢索、自定義時間查詢或者實時查詢、標(biāo)簽過濾、刪除事件日志、下載事件數(shù)據(jù)包、日志研判；

可疑文件模塊記錄所有已發(fā)現(xiàn)的可疑的文件，并將這些文件及其靜態(tài)、動態(tài)檢測報告存儲在大數(shù)據(jù)的分布式文件系統(tǒng)之中；

威脅情報模塊支持黑ip、黑域名、黑md5、黑url四類數(shù)據(jù)；對四類數(shù)據(jù)對命中趨勢圖、地理位置分布圖、命中次數(shù)、命中主機ip占比進行分析展示，還實現(xiàn)對這四類數(shù)據(jù)的導(dǎo)入；

前端取證模塊實現(xiàn)數(shù)據(jù)采集系統(tǒng)模塊中不同前端設(shè)備的分開配置操作，進行數(shù)據(jù)包管理、警報配置、行為模型及前端回查；

專家分析模塊為整個系統(tǒng)提供所有關(guān)鍵性數(shù)據(jù)的查詢，包括但不限于：apt威脅事件、惡意文件、tcp會話、udp會話、dns。

所述態(tài)勢感知展示系統(tǒng)模塊采用數(shù)據(jù)可視化工具庫，實時、立體地對安全威脅態(tài)勢進行綜合展示，包括單位威脅態(tài)勢、行業(yè)威脅態(tài)勢、資產(chǎn)安全態(tài)勢、威脅報告管理、運維監(jiān)控、組織管理及系統(tǒng)管理。

所述后臺管理系統(tǒng)包括運維監(jiān)控模塊、組織管理模塊、系統(tǒng)管理模塊；

運維監(jiān)控模塊包括全局監(jiān)控、前端狀態(tài)、運維告警、告警配置；

組織管理模塊包括監(jiān)控單位管理和前端設(shè)備管理模塊；監(jiān)控單位管理模塊對客戶單位進行管理；前端設(shè)備管理模塊對前端設(shè)備進行信息維護；

系統(tǒng)管理模塊包括用戶管理、角色管理、權(quán)限管理、菜單管理、安全審計、配置管理及數(shù)據(jù)字典。

采用所述基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)的方法，包括，

通過網(wǎng)絡(luò)全流量安全分析系統(tǒng)、入侵檢測系統(tǒng)、入侵防御系統(tǒng)及高級持續(xù)性威脅系統(tǒng)對原始網(wǎng)絡(luò)流量進行實時數(shù)據(jù)采集；

對采集的數(shù)據(jù)進行數(shù)據(jù)歸并和數(shù)據(jù)清洗處理后再進行存儲管理，支持分布式文件系統(tǒng)、行式數(shù)據(jù)庫、列式數(shù)據(jù)庫及對象存儲系統(tǒng)存儲；

利用數(shù)據(jù)挖掘、文本分析、流量分析、全文搜索引擎、實時處理對安全數(shù)據(jù)進行深度的分析與挖掘，結(jié)合入侵檢測模型、網(wǎng)絡(luò)異常行為模型和設(shè)備異常行為模型實時甄別未知的安全威脅；

采用數(shù)據(jù)可視化工具庫實時、立體地對安全威脅態(tài)勢進行綜合展示。

一種所述基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)的部署架構(gòu)，包括前端安全設(shè)備采集器，所述前端安全設(shè)備采集器與采集器通信，所述采集器與預(yù)處理服務(wù)器通信，預(yù)處理服務(wù)器匯總采集器上報的數(shù)據(jù)，并對上報數(shù)據(jù)進行統(tǒng)一的范式化處理，對采集的數(shù)據(jù)進行數(shù)據(jù)歸并、數(shù)據(jù)清洗操作，并根據(jù)不同業(yè)務(wù)把數(shù)據(jù)存儲到不同的存儲系統(tǒng)上；

預(yù)處理服務(wù)器與hadoop服務(wù)器通信，預(yù)處理完成的數(shù)據(jù)存放在hadoop服務(wù)器上，并對數(shù)據(jù)進行關(guān)聯(lián)統(tǒng)計與數(shù)據(jù)挖掘，形成結(jié)果數(shù)據(jù)導(dǎo)入檢索引擎，供web服務(wù)器查詢數(shù)據(jù)；

es節(jié)點服務(wù)器對hadoop服務(wù)器形成的結(jié)果數(shù)據(jù)進行海量數(shù)據(jù)的存儲與二次統(tǒng)計，并提供給web服務(wù)器檢索數(shù)據(jù)；

客戶端服務(wù)器針對整個威脅預(yù)警監(jiān)測系統(tǒng)提供運維與監(jiān)控服務(wù)；

web服務(wù)器包括web數(shù)據(jù)庫服務(wù)器和web展示服務(wù)器；web數(shù)據(jù)庫服務(wù)器存放業(yè)務(wù)功能數(shù)據(jù)；web展示服務(wù)器按業(yè)務(wù)功能管理與威脅數(shù)據(jù)分析兩大功能進行數(shù)據(jù)可視化展現(xiàn)；

前端安全設(shè)備采集器包括tsa服務(wù)器、ids服務(wù)器、ips服務(wù)器及apt服務(wù)器。

本發(fā)明的有益效果：

本發(fā)明可以通過數(shù)據(jù)采集器實現(xiàn)對異構(gòu)數(shù)據(jù)源的整合、清洗和范式化處理，實現(xiàn)對多數(shù)據(jù)源數(shù)據(jù)進行全面采集；通過構(gòu)建在hadoop平臺之上，可實現(xiàn)海量數(shù)據(jù)可靠存儲；通過內(nèi)建以機器學(xué)習(xí)和智能分析算法為基礎(chǔ)的多種網(wǎng)絡(luò)安全分析模型，達到實時甄別未知安全威脅；借助大數(shù)據(jù)可視化分析工具與豐富的數(shù)據(jù)展示組件，實現(xiàn)對分析結(jié)果的多維度圖形化直觀展現(xiàn)。

通過構(gòu)建基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)，能夠直觀顯示出企業(yè)網(wǎng)絡(luò)環(huán)境的實時安全狀況、受攻擊情況、攻擊來源等情況，安全分析人員能及時掌握實時及歷史安全威脅狀況。通過此方法及系統(tǒng)實現(xiàn)了對未知威脅進行主動防御，達到了事前規(guī)劃預(yù)防、事中監(jiān)測阻斷、事后追溯整改的目的。

附圖說明

圖1為本發(fā)明監(jiān)測系統(tǒng)的架構(gòu)圖；

圖2為本發(fā)明監(jiān)測系統(tǒng)的部署架構(gòu)圖。

具體實施方式

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明。

如圖1所示，基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)，包括數(shù)據(jù)采集系統(tǒng)模塊、數(shù)據(jù)存儲系統(tǒng)模塊、實時威脅智能分析系統(tǒng)模塊、態(tài)勢感知展示系統(tǒng)模塊、后臺管理系統(tǒng)模塊。

數(shù)據(jù)采集系統(tǒng)模塊是網(wǎng)絡(luò)全流量安全分析系統(tǒng)(tsa)、入侵檢測系統(tǒng)(ids)、入侵防御系統(tǒng)(ips)、高級持續(xù)性威脅系統(tǒng)(apt)等前端安全設(shè)備數(shù)據(jù)采集的服務(wù)器。數(shù)據(jù)采集系統(tǒng)對原始網(wǎng)絡(luò)流量實時采集和儲存，提供最真實的通信信息，并實現(xiàn)tsa、ids、ips、apt等前端安全設(shè)備采集的數(shù)據(jù)上傳。采集數(shù)據(jù)包括威脅情報、ips日志數(shù)據(jù)、apt系統(tǒng)數(shù)據(jù)、ids日志數(shù)據(jù)、網(wǎng)絡(luò)流量等數(shù)據(jù)。數(shù)據(jù)采集系統(tǒng)支持主流安全設(shè)備廠商的相關(guān)安全設(shè)備的無縫對接，支持syslog，http，ftp等10多種標(biāo)準(zhǔn)協(xié)議接口，并支持自定義接口。

數(shù)據(jù)采集模塊中所述的威脅情報來源于威脅情報系統(tǒng)，威脅情報系統(tǒng)主要實現(xiàn)了從互聯(lián)網(wǎng)上爬取威脅情報，也可以從第三方交換威脅情報和廠商獲取的情報進行導(dǎo)入推送。對威脅情報的分析主要依據(jù)殺傷鏈，對威脅情報進行載體利用和突防利用、攻擊手法、威脅情報本土化所關(guān)心的行業(yè)領(lǐng)域、目標(biāo)作業(yè)環(huán)境和偏好等進行了機器學(xué)習(xí)和分析。最終以可視化的方式分類展示。

威脅情報系統(tǒng)主要以實時分析圖進行展示，主要功能包括：實時展現(xiàn)獲取的威脅情報、apt攻擊報告的數(shù)量、重大互聯(lián)網(wǎng)泄密事件的數(shù)量、重大安全漏洞曝光事件的數(shù)量、惡意文件的數(shù)量、惡意ip的數(shù)量、惡意url的數(shù)量、地圖上動態(tài)顯示所有威脅源或攻擊源國家或地區(qū)、可高亮顯示某個國家的威脅情報情況、實時刷新威脅情報事件、對威脅源國家進行top排名展現(xiàn)。

數(shù)據(jù)存儲系統(tǒng)模塊對采集的數(shù)據(jù)進行數(shù)據(jù)歸并和數(shù)據(jù)清洗等處理后再進行存儲管理。數(shù)據(jù)存儲系統(tǒng)支持分布式文件系統(tǒng)(hdfs)，行式數(shù)據(jù)庫(rowdb)，列式數(shù)據(jù)庫(columndb)，對象存儲系統(tǒng)(ceph)四種存儲系統(tǒng)，實現(xiàn)對采集的大量數(shù)據(jù)進行可靠存儲，有效解決了大數(shù)據(jù)分析技術(shù)的可靠存儲需求。

實時威脅智能分析系統(tǒng)模塊利用數(shù)據(jù)挖掘、文本分析、流量分析、全文搜索引擎、實時處理等方式來對安全數(shù)據(jù)進行深度的分析與挖掘，結(jié)合模型庫內(nèi)的入侵檢測模型、網(wǎng)絡(luò)異常行為模型、設(shè)備異常行為模型，實時甄別未知的安全威脅。

實時威脅智能分析系統(tǒng)模塊主要包括：分析中心、安全日志、可疑文件、威脅情報、前端取證、專家分析等模塊。

分析中心模塊主要包括ip行為畫像和數(shù)據(jù)挖掘。

ip行為畫像實現(xiàn)對ip的整體畫像，有助于用戶了解某ip的流量和安全態(tài)勢，針對系統(tǒng)中存在的ip地址都能在該頁面搜索出來，查看與該ip相關(guān)的信息，還可鉆取進入二級ip詳細信息頁面。以ip為維度的分析是增強用戶網(wǎng)絡(luò)安全性的核心，可有效分析外部ip對組織內(nèi)部的攻擊狀況，以及評估內(nèi)部ip受損情況。通過提供全域ip鉆取，用戶可對ip進行多個維度的分析并持續(xù)鉆取，用以發(fā)現(xiàn)攻擊趨勢和線索。ip行為畫像分析最重要的四個維度包括：dns請求、威脅情報命中、安全日志和網(wǎng)絡(luò)流量。通過dns請求，可分析域名訪問和c&c外聯(lián)情況；ip命中的威脅情報和安全日志可進一步佐證被攻擊情況；網(wǎng)絡(luò)流量詳細刻畫了該ip網(wǎng)絡(luò)通訊的會話信息，為回溯取證提供依據(jù)。

數(shù)據(jù)挖掘功能實現(xiàn)對分析中心的數(shù)據(jù)進行挖掘，主要包括：攻擊關(guān)聯(lián)圖、攻擊源分布、時序圖、威脅類型分布、力導(dǎo)圖、威脅情報命中這六個模塊的數(shù)據(jù)進行挖掘。

攻擊關(guān)聯(lián)圖模塊整體展示各安全設(shè)備上報的安全日志中關(guān)聯(lián)的內(nèi)部、外部主機ip之間的相關(guān)性。根據(jù)安全日志的主機ip出現(xiàn)的次數(shù)的topn來展示，如果主機ip有關(guān)聯(lián)則建立威脅連接。每個ip可以點擊進入到ip行為畫像分析的詳細頁面。

攻擊源分布模塊以2d地圖展示了全球地圖分布上的安全威脅情況，根據(jù)安全日志的源ip的geo地理位置按國家、城市進行聚合統(tǒng)計。根據(jù)各城市可挖掘到與該城市的ip發(fā)起的攻擊威脅top圖和發(fā)起威脅次數(shù)。

時序圖模塊根據(jù)安全設(shè)備上報的安全日志中的威脅事件發(fā)生的時間進行聚合。用戶可自定義時間，實現(xiàn)對該時間段內(nèi)發(fā)生的所有威脅事件日志記錄的挖掘。

威脅類型分布模塊可挖掘出tsa、ips、ids等安全設(shè)備上報的安全日志的威脅類型相關(guān)的數(shù)據(jù)。威脅次數(shù)根據(jù)安全日志的威脅類型進行聚合，并與威脅單位進行關(guān)聯(lián)。威脅類型包括特征值警報、web攻擊、黑ip警報、可疑域名、郵件敏感字等。

力導(dǎo)圖模塊實現(xiàn)了對各安全設(shè)備上報的安全日志中主機ip與威脅ip的關(guān)聯(lián)，根據(jù)主機ip與大數(shù)據(jù)量威脅ip進行關(guān)聯(lián)分析?？勺远x內(nèi)部、外部ip顯示的個數(shù)，每個ip以一個圓圈表示，每個ip均可挖掘出該ip相關(guān)的所有信息。

威脅情報命中模塊實現(xiàn)了對黑ip、黑域名、黑md5數(shù)據(jù)的挖掘。比對規(guī)則來源于威脅情報庫的黑名單命中安全日志。根據(jù)威脅情報庫與安全日志中的主機ip進行碰撞關(guān)聯(lián)，根據(jù)被威脅的ip主機數(shù)和威脅次數(shù)進行統(tǒng)計。

安全日志功能模塊記錄了所有前端上報的各種類型的威脅事件日志，提供關(guān)鍵詞檢索、自定義時間查詢或者實時查詢、標(biāo)簽過濾、刪除事件日志、下載事件數(shù)據(jù)包、日志研判等功能。關(guān)鍵詞檢索支持md5、文件名、目標(biāo)ip、目標(biāo)端口、源ip、源端口進行搜索。標(biāo)簽過濾主要包括客戶單位、危險等級、安全設(shè)備、威脅類型。ip地址鉆取實現(xiàn)查詢列表中的源ip地址、目的ip地址中任意ip均可點擊，實現(xiàn)鉆取挖掘到該ip二級詳細信息頁面。刪除事件日志支持單個和批量刪除，刪除后的日志會進入日志回收站。下載事件數(shù)據(jù)包支持單個和批量下載。日志研判可自定義對威脅事件進行研判，主要是對某單位的威脅事件進行事件描述。

可疑文件功能模塊記錄所有已發(fā)現(xiàn)的可疑的文件，并將這些文件及其靜態(tài)、動態(tài)檢測報告存儲在大數(shù)據(jù)的hdfs分布式文件系統(tǒng)之中。該模塊提供關(guān)鍵詞檢索、自定義時間查詢、ip地址鉆取、可疑文件下載等功能。關(guān)鍵詞檢索支持ip地址、文件名稱、惡意代碼、md5值檢索。ip地址鉆取實現(xiàn)查詢列表中的源ip地址、目的ip地址中任意ip均可實現(xiàn)鉆取挖掘到該ip二級詳細信息頁面。

威脅情報功能模塊支持黑ip、黑域名、黑md5、黑url這4類數(shù)據(jù)。這4類數(shù)據(jù)在不同頁面展示，但每一類數(shù)據(jù)頁面所提供的功能完全一致。該模塊主要針對4類數(shù)據(jù)對命中趨勢圖、地理位置分布圖、命中次數(shù)、命中主機ip占比等進行分析展示。還實現(xiàn)對這4類數(shù)據(jù)的導(dǎo)入功能。

前端取證功能模塊實現(xiàn)不同單位的不同前端設(shè)備分開配置操作，目前系統(tǒng)配置的前端設(shè)備主要包括網(wǎng)絡(luò)全流量安全分析系統(tǒng)(tsa)、入侵檢測系統(tǒng)(ids)、入侵防御系統(tǒng)(ips)、高級持續(xù)性威脅系統(tǒng)(apt)，目前支持的功能有數(shù)據(jù)包管理、警報配置、行為模型、前端回查四個功能。

數(shù)據(jù)包管理模塊提供數(shù)據(jù)包手動獲取和數(shù)據(jù)包自動獲取策略配置功能。此模塊可根據(jù)文件名稱和數(shù)據(jù)包開始結(jié)束時間進行查詢，并可下載刪除數(shù)據(jù)包。還可以添加數(shù)據(jù)包獲取任務(wù)，根據(jù)網(wǎng)絡(luò)應(yīng)用、會話、地址、端口、網(wǎng)段、國家、協(xié)議這七個字段來配置任務(wù)，配置策略包括與條件和或條件?；驐l件代表只要滿足條件之一則會捕獲數(shù)據(jù)包，與條件代表必須滿足所有條件才會捕獲數(shù)據(jù)包。

警報配置模塊包括5種警報類型的配置，分別是：流量警報、郵件敏感字警報、可疑ip警報、可疑域名警報、特征值警報。每種警報類型都具有新增、刪除、查看、下載、導(dǎo)入、導(dǎo)出功能。新增警報配置后，可將警報配置下發(fā)至前端。

行為模型模塊提供基于元數(shù)據(jù)的網(wǎng)絡(luò)行為配置，支持100多種元數(shù)據(jù)字段的提取，通過對提取的元數(shù)據(jù)字段使用簡單、輕量級的語法規(guī)則描述語言，可實現(xiàn)各種類型的網(wǎng)絡(luò)行為配置。

前端回查模塊提供3類數(shù)據(jù)的回查，包括：dns查詢、useragent查詢和特征回查。根據(jù)任務(wù)名稱可查看相關(guān)的配置信息，也可以將新增的任務(wù)下發(fā)至前端。

專家分析功能模塊為整個系統(tǒng)提供所有關(guān)鍵性數(shù)據(jù)的查詢，包括但不限于以下類型：apt威脅事件、惡意文件、tcp會話、udp會話、dns。每一類數(shù)據(jù)都有各自查詢的不同邏輯條件，同時還支持各類數(shù)據(jù)的關(guān)聯(lián)查詢，結(jié)果中繼續(xù)查詢。

本發(fā)明中數(shù)據(jù)挖掘處理過程中進行關(guān)聯(lián)分析涉及的安全模型主要包括：關(guān)聯(lián)分析模型、融合分析模型和攻擊要素分析模型。

1、關(guān)聯(lián)分析模型：網(wǎng)絡(luò)中的安全設(shè)備日志都是對進入網(wǎng)絡(luò)的安全事件的流量的刻畫，針對某一個可能的攻擊事件，會產(chǎn)生大量的日志和相關(guān)報警記錄，這些記錄存在著很多的冗余和關(guān)聯(lián)，因此首先要對得到的原始日志進行單源上的關(guān)聯(lián)分析，把海量的原始日志轉(zhuǎn)換為直觀的、能夠為人所理解的、可能對網(wǎng)絡(luò)造成危害的安全事件。基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)采用基于相似度的報警關(guān)聯(lián)分析，可以較好地控制關(guān)聯(lián)后的報警數(shù)量，有利于減少復(fù)雜度。

其處理過程是：

1)首先提取報警日志中的主要屬性，形成原始報警；

2)再通過重復(fù)報警聚合，生成聚合報警；

3)對聚合報警的各個屬性定義相似度的計算方法，并分配權(quán)重；

4)計算兩個聚合報警的相似度，通過與相似度閥值的比較，來決定是否對聚合報警進行超報警；

5)最終輸出屬于同一類報警的地址范圍和報警信息，生成安全事件。

2、融合分析模型：多源日志存在冗余性、互補性等特點，態(tài)勢感知借助數(shù)據(jù)融合技術(shù)，能夠使得多個數(shù)據(jù)源之間取長補短，從而為感知過程提供保障，以便更準(zhǔn)確地生成安全態(tài)勢。經(jīng)過單源日志報警關(guān)聯(lián)過程，分別得到各自的安全事件。而對于來自安全設(shè)備的多源安全事件，采用d-s證據(jù)理論方法進行融合判別，對安全事件的可信度進行評估，進一步提高準(zhǔn)確率，減少誤報。

d-s證據(jù)理論應(yīng)用到安全事件融合的基本思路：首先研究一種切實可行的初始信任分配方法，分配信息度函數(shù)；然后通過d-s的合成規(guī)則，得到融合之后的安全事件的可信度。

3、攻擊要素分析模型：通過對網(wǎng)絡(luò)入口處安全設(shè)備日志的安全分析，得到的只是進入目標(biāo)網(wǎng)絡(luò)的可能的攻擊信息，而真正對網(wǎng)絡(luò)安全狀況產(chǎn)生決定性影響的安全事件，則需要通過綜合分析攻擊知識庫和具體的網(wǎng)絡(luò)環(huán)境進行最終確認。

其處理過程主要分為三個步驟：

1)一是通過對大量網(wǎng)絡(luò)攻擊實例的研究，得到可用的攻擊知識庫，主要包括各種網(wǎng)絡(luò)攻擊的原理、特點，以及它們的作用環(huán)境等；

2)二是分析關(guān)鍵主機上存在的系統(tǒng)漏洞和承載的服務(wù)的可能漏洞，建立當(dāng)前網(wǎng)絡(luò)環(huán)境的漏洞知識庫，分析當(dāng)前網(wǎng)絡(luò)環(huán)境的拓撲結(jié)構(gòu)、性能指標(biāo)等，得到網(wǎng)絡(luò)環(huán)境知識庫；

3)三是通過漏洞知識庫來確認安全事件的有效性，即對當(dāng)前網(wǎng)絡(luò)產(chǎn)生影響的網(wǎng)絡(luò)攻擊事件。在網(wǎng)絡(luò)安全事件生成和攻擊事件確認的過程中，提取出用于對整個網(wǎng)絡(luò)安全態(tài)勢進行評估的態(tài)勢要素，主要包括整個網(wǎng)絡(luò)面臨的安全威脅、分支網(wǎng)絡(luò)面臨的安全威脅、主機受到的安全威脅以及這些威脅的程度。

態(tài)勢感知展示系統(tǒng)模塊采用了多種豐富的數(shù)據(jù)可視化工具庫，實時、立體對安全威脅態(tài)勢進行綜合展示，包括單位威脅態(tài)勢、行業(yè)威脅態(tài)勢、資產(chǎn)安全態(tài)勢、威脅報告管理、運維監(jiān)控、組織管理及系統(tǒng)管理，便于技術(shù)或者管理人員能夠輕松掌握實時及歷史安全威脅狀況。

單位安全態(tài)勢模塊主要是將系統(tǒng)監(jiān)控的所有單位、行業(yè)及其總體相關(guān)的所有威脅數(shù)據(jù)統(tǒng)計值以圖表的形式展現(xiàn)。此模塊劃分為以下3個子功能：單位態(tài)勢、行業(yè)態(tài)勢、總體態(tài)勢。單位態(tài)勢包含單位全局態(tài)勢、月環(huán)比、前端、重點資產(chǎn)4個功能；行業(yè)態(tài)勢包含行業(yè)全局態(tài)勢與月環(huán)比兩個功能；總體態(tài)勢主要是將威脅統(tǒng)計、攻擊類型、行業(yè)威脅比重、攻擊源國家等數(shù)據(jù)值以統(tǒng)計圖表的形式展現(xiàn)。

資產(chǎn)安全態(tài)勢模塊將系統(tǒng)監(jiān)控的重點資產(chǎn)與后臺管理中的重點資產(chǎn)進行整合，并按照攻擊類型和時間對資產(chǎn)被攻擊情況進行展示。此模塊可添加、導(dǎo)入資產(chǎn)信息，并對重點資產(chǎn)被攻擊情況進行自動分析。重點資產(chǎn)和攻擊ip以星圖形式展示，提供設(shè)置網(wǎng)段、重點資產(chǎn)自動分析、ip地址挖掘等功能。設(shè)置網(wǎng)段功能主要是將外網(wǎng)網(wǎng)段中的ip也加入到重點資產(chǎn)識別的范圍。重點資產(chǎn)自動分析功能實現(xiàn)自動識別哪些服務(wù)器屬于某單位的重點資產(chǎn)，識別完成之后可以選擇性的將結(jié)果中的一部分或全部添加進入某單位重點資產(chǎn)目錄。ip地址挖掘能自動對重點資產(chǎn)被攻擊的相關(guān)ip進行ip地址鉆取挖掘。

威脅報告管理模塊提供了定時報告、研判報告、自定義報告這3類報告管理。

定時報告功能主要生成各單位的安全檢測日報與安全檢測月報，支持編輯、導(dǎo)出、刪除、查詢、手動生成報告等功能。

研判報告功能是針對系統(tǒng)中所有頁面研判后生成的報告會集中在該頁面展示，包括安全日志(威脅事件)研判報告、數(shù)據(jù)包研判報告、可疑文件研判報告、自主研判報告；該頁面提供統(tǒng)一的管理，提供刪除、導(dǎo)出、查詢等功能。

自定義報告功能提供自定義報告的集中管理，可以隨意向系統(tǒng)內(nèi)導(dǎo)出需要備份的報告，也可以編輯、查看、刪除系統(tǒng)內(nèi)的報告。

后臺管理系統(tǒng)包括運維監(jiān)控、組織管理、系統(tǒng)管理模塊。

運維監(jiān)控模塊包括全局監(jiān)控、前端狀態(tài)、運維告警、告警配置。全局監(jiān)控頁面中以各類圖表的形式實時監(jiān)控所有服務(wù)器，包括前端服務(wù)器、中心服務(wù)器，中心服務(wù)器指的是本系統(tǒng)的web服務(wù)器。監(jiān)控信息包括：cpu狀態(tài)、內(nèi)存狀態(tài)、磁盤狀態(tài)。前端狀態(tài)頁面中以圖表的形式展示出所有的前端設(shè)備狀態(tài)信息。運維告警功能記錄了所有前端的告警日志，包括前端服務(wù)器的cpu利用率告警、內(nèi)存利用率告警、磁盤空間告警、數(shù)據(jù)傳輸類告警。告警配置頁面提供對各類告警的自定義配置，提供了4類警報信息配置，包括：cpu利用率、內(nèi)存利用率、磁盤空間、離線與數(shù)據(jù)傳輸。

組織管理模塊包括監(jiān)控單位管理和前端設(shè)備管理模塊。監(jiān)控單位管理模塊中可以新增、編輯、刪除單位，支持使用客戶名、行業(yè)檢索客戶單位。前端設(shè)備管理模塊中可以添加、編輯、刪除前端設(shè)備，可查看前端設(shè)備的警報日志；支持使用設(shè)備名稱、所屬客戶檢索前端設(shè)備信息。目前，系統(tǒng)前端設(shè)備主要包括網(wǎng)絡(luò)全流量分析系統(tǒng)tsa、入侵防御系統(tǒng)ips、入侵檢測系統(tǒng)ids、高級持續(xù)性威脅系統(tǒng)apt等安全設(shè)備。

系統(tǒng)管理模塊包括用戶管理、角色管理、權(quán)限管理、菜單管理、安全審計、配置管理、數(shù)據(jù)字典。用戶管理模塊支持新增、編輯、刪除、修改密碼、分配角色等功能。角色管理模塊可以新增、編輯、刪除角色，支持角色和狀態(tài)查詢，每個角色可以分配不同的權(quán)限。權(quán)限管理模塊提供新增、編輯、刪除、查詢功能。菜單管理模塊以樹狀顯示大數(shù)據(jù)威脅預(yù)警監(jiān)測系統(tǒng)和后臺管理系統(tǒng)的菜單目錄，可進一步查看、編輯、新增各級菜單的頁面信息。安全審計模塊記錄了所有用戶在系統(tǒng)中的登錄日志、操作日志與訪問日志；提供日志查詢功能，可以根據(jù)日志類型、操作用戶、菜單選擇、操作ip、開始與結(jié)束時間查詢想要查看的日志記錄。配置管理模塊提供為資產(chǎn)安全等級進行配置具體的值。數(shù)據(jù)字典模塊可以新增、編輯、刪除字典信息；字典包括賬戶狀態(tài)、廠商名稱、行業(yè)類型、日志類型、服務(wù)器類型、權(quán)限狀態(tài)、角色狀態(tài)等。

采用所述基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)的方法，包括，

通過網(wǎng)絡(luò)全流量安全分析系統(tǒng)、入侵檢測系統(tǒng)、入侵防御系統(tǒng)及高級持續(xù)性威脅系統(tǒng)對原始網(wǎng)絡(luò)流量進行實時數(shù)據(jù)采集；

對采集的數(shù)據(jù)進行數(shù)據(jù)歸并和數(shù)據(jù)清洗處理后再進行存儲管理，支持分布式文件系統(tǒng)、行式數(shù)據(jù)庫、列式數(shù)據(jù)庫及對象存儲系統(tǒng)存儲；

利用數(shù)據(jù)挖掘、文本分析、流量分析、全文搜索引擎、實時處理對安全數(shù)據(jù)進行深度的分析與挖掘，結(jié)合入侵檢測模型、網(wǎng)絡(luò)異常行為模型和設(shè)備異常行為模型實時甄別未知的安全威脅；

采用數(shù)據(jù)可視化工具庫實時、立體地對安全威脅態(tài)勢進行綜合展示。

如圖2所示，一種所述基于大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)的部署架構(gòu)，包括，前端服務(wù)器主要分為tsa服務(wù)器、ids服務(wù)器、防火墻等服務(wù)器，每種類型的前端服務(wù)器都為大數(shù)據(jù)分析技術(shù)的威脅預(yù)警監(jiān)測系統(tǒng)提供數(shù)據(jù)來源，供威脅預(yù)警監(jiān)測系統(tǒng)進行數(shù)據(jù)分析與檢索。

采集服務(wù)器負責(zé)對tsa、ids、apt、ips等前端安全服務(wù)器數(shù)據(jù)進行集中收集，并對數(shù)據(jù)進行過濾，緩存，簡單范式化等處理操作。

預(yù)處理服務(wù)器匯總所有采集服務(wù)器上報的數(shù)據(jù)，并對上報數(shù)據(jù)進行統(tǒng)一的范式化處理，對采集的數(shù)據(jù)進行數(shù)據(jù)歸并、數(shù)據(jù)清洗等操作，并根據(jù)不同業(yè)務(wù)把數(shù)據(jù)存儲到不同的存儲系統(tǒng)上。

預(yù)處理完成的數(shù)據(jù)都存放在hadoop服務(wù)器上，并利用hadoop的存儲與分析能力，對數(shù)據(jù)進行關(guān)聯(lián)統(tǒng)計與數(shù)據(jù)挖掘，形成結(jié)果數(shù)據(jù)并導(dǎo)入檢索引擎，供web服務(wù)器查詢數(shù)據(jù)。

es節(jié)點(elasticsearch)服務(wù)器對hadoop服務(wù)器形成的結(jié)果數(shù)據(jù)，進行海量數(shù)據(jù)的存儲與簡單的二次統(tǒng)計，并提供接口給web服務(wù)器檢索數(shù)據(jù)。

客戶端服務(wù)器針對整個威脅預(yù)警監(jiān)測系統(tǒng)，提供自動化運維與監(jiān)控服務(wù)，運維人員通過客戶端服務(wù)器提供的接口去配置與管理系統(tǒng)平臺的任務(wù)調(diào)度與運維監(jiān)控。

web服務(wù)器主要分為web數(shù)據(jù)庫服務(wù)器和web展示服務(wù)器。web數(shù)據(jù)庫服務(wù)器主要是存放威脅預(yù)警監(jiān)測系統(tǒng)的業(yè)務(wù)功能數(shù)據(jù)；web展示服務(wù)器利用業(yè)務(wù)服務(wù)器的基礎(chǔ)數(shù)據(jù)和威脅預(yù)警監(jiān)測系統(tǒng)的數(shù)據(jù)按業(yè)務(wù)功能管理與威脅數(shù)據(jù)分析兩大功能進行數(shù)據(jù)可視化展現(xiàn)。

上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。