基于Apriori算法的安全日志分析方法
【專利摘要】本發(fā)明涉及一種基于Apriori算法的安全日志分析方法，步驟如下：1）步驟S1，定義分析參數(shù)；2）從日志服務(wù)器中取出安全日志，步驟S2；對(duì)日志進(jìn)行分類，形成日志類型集合D={D1，D2，…，Dn}，步驟S3；3）對(duì)集合D進(jìn)行Apriori計(jì)算，獲得支持度值，步驟S4；如果支持度小于設(shè)定的閥值，則重新計(jì)算，步驟S5；4）如果支持度大于等于設(shè)定的閥值，則進(jìn)行Apriori計(jì)算，獲得信任度值，步驟S6；如果信任度小于設(shè)定的閥值，則返回S4重新計(jì)算，步驟S7；5）如果支持度和信任度都大于等于設(shè)定的閥值，將它們歸納為關(guān)聯(lián)事件，步驟S8。本發(fā)明的方法，可以自動(dòng)發(fā)現(xiàn)大量日志中的有關(guān)聯(lián)關(guān)系的日志，為網(wǎng)絡(luò)安全分析與管理提供依據(jù)。
【專利說明】基于Apriori算法的安全日志分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種針對(duì)安全日志的分析方法，將Apriori算法應(yīng)用到安全日志的分析，能實(shí)現(xiàn)從大量不同類型的安全日志中分析出具有關(guān)聯(lián)特性的安全日志，屬于信息【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]目前，計(jì)算機(jī)網(wǎng)絡(luò)往往部署了多種網(wǎng)絡(luò)安全產(chǎn)品，如防火墻、入侵檢測(cè)設(shè)備、防病毒產(chǎn)品、安全審計(jì)產(chǎn)品等，來保障網(wǎng)絡(luò)系統(tǒng)的安全。這些安全產(chǎn)品會(huì)產(chǎn)生大量安全日志，日志服務(wù)器雖然能夠通過采用日志文件、主動(dòng)輪詢、遠(yuǎn)程探測(cè)、被動(dòng)接收、嵌入式Agent等多種方式對(duì)安全設(shè)備產(chǎn)生的日志進(jìn)行收集和統(tǒng)一管理，但不同安全產(chǎn)品產(chǎn)生的日志各不相同，即使是同一個(gè)安全事件引發(fā)各安全產(chǎn)品產(chǎn)生各不相同的日志，包括日志格式不同、事件級(jí)別和類型不同、事件信息內(nèi)容不同，因此每個(gè)安全產(chǎn)品都會(huì)產(chǎn)生大量的安全日志，這為安全管理員的安全分析代理很多的工作量。其中很多安全事件或日志都是由相同的安全攻擊行為產(chǎn)生的，它們之間存在內(nèi)在的關(guān)聯(lián)性，如果能對(duì)各安全產(chǎn)品產(chǎn)生的安全事件進(jìn)行關(guān)聯(lián)分析，將具有關(guān)聯(lián)性的安全日志歸并到一起，就能大大減輕安全事件分析的工作量，提高安全事件處置和響應(yīng)的效率。盡管目前日志服務(wù)器能夠?qū)崿F(xiàn)各種安全日志的管理，但主要側(cè)重于日志的統(tǒng)一采集、存儲(chǔ)、查詢和統(tǒng)計(jì)，日志的分析能力比較弱，尤其缺乏各安全日志之間的關(guān)聯(lián)分析，無法將同一安全事件引發(fā)的多條日志進(jìn)行有效關(guān)聯(lián)分析。由于各安全產(chǎn)品每天產(chǎn)生大量的日志記錄，日志量非常龐大，管理員關(guān)注的信息往往淹沒在大量普通的信息中。Apriori算法是挖掘產(chǎn)生布爾關(guān)聯(lián)規(guī)則所需頻繁項(xiàng)集的基本算法，它利用了一個(gè)層次順序搜索的循環(huán)方法來完成頻繁項(xiàng)集的挖掘工作。這一循環(huán)方法就是利用k-項(xiàng)集來產(chǎn)生(k+l)_項(xiàng)集。具體做法就是:首先找出頻繁1-項(xiàng)集，記為L(zhǎng)1 ;然后利用L1來挖掘L2,即頻繁2-項(xiàng)集；不斷如此循環(huán)下去直到無法發(fā)現(xiàn)更多的頻繁k-項(xiàng)集為止。Apriori算法利用了一個(gè)重要性質(zhì)，又稱為Apriori性質(zhì)(一個(gè)頻繁項(xiàng)集中任一子集也應(yīng)是頻繁項(xiàng)集)來幫助有效縮小頻繁項(xiàng)集的搜索空間。利用Llrl來獲得Lk主要包含連接和刪除兩個(gè)處理步驟:1)連接:設(shè)I1和I2為L(zhǎng)lri中的兩個(gè)項(xiàng)集，IiU]表示Ii中的第j個(gè)項(xiàng)。假設(shè)數(shù)據(jù)庫記錄中各項(xiàng)均已按字典排序。如果(Ul]= 12[1]) Λ…Λ (Uk-2]= l2[k-2]) Λ (Uk-lKlJk-l])，則Llri中I1和I2就可以連接到一起獲得Lk的候選集合Ck。2)刪除:Ck是Lk的一個(gè)超集，Ck中所有頻度不小于最小支持頻度的候選項(xiàng)集就是屬于Lk的頻繁k-項(xiàng)集。在找到所有的頻繁項(xiàng)集后，就可以較為容易獲得相應(yīng)的關(guān)聯(lián)規(guī)則?？梢岳孟旅娴臈l件概率計(jì)算公式來計(jì)算所獲關(guān)聯(lián)規(guī)則的信任度:
【權(quán)利要求】
1.基于Apriori算法的安全日志分析方法，該方法包括以下的步驟: 1)步驟SI，定義分析參數(shù) 支持度:支持度是指安全事件在所有主機(jī)中發(fā)生的頻率； 支持度閾值:支持度閾值就是規(guī)定了挖掘結(jié)果所要求達(dá)到的最小支持度； 信任度:信任度是指不同安全事件同時(shí)發(fā)生的頻率； 信任度閾值:信任度閾值就是規(guī)定了挖掘結(jié)果所要求達(dá)到的最小支持度； 統(tǒng)計(jì)主機(jī)數(shù):分析的安全日志所牽涉的所有主機(jī)的數(shù)目； 2)從日志服務(wù)器中取出安全日志，步驟S2;根據(jù)安全日志的類別屬性，對(duì)日志進(jìn)行分類，形成日志類型集合D={D1，D2，...，Dn}，步驟S3 ； 3)對(duì)集合D進(jìn)行Apriori計(jì)算，獲得支持度值，根據(jù)支持度閥值定義，這些項(xiàng)集的頻度應(yīng)不小于預(yù)先設(shè)置的支持度閥值，步驟S4;如果支持度小于設(shè)定的閥值，則重新根據(jù)Apriori進(jìn)行計(jì)算,步驟S5 ； 4)如果支持度大于等于設(shè)定的閥值，則進(jìn)行Apriori計(jì)算，獲得信任度值，產(chǎn)生相應(yīng)的強(qiáng)關(guān)聯(lián)規(guī)則，步驟S6 ;如果信任度小于設(shè)定的閥值，則返回S4重新根據(jù)Apriori進(jìn)行計(jì)算，步驟S7 ； 5)如果支持度和信任度都大于等于設(shè)定的閥值，則表明安全日志具有關(guān)聯(lián)性，滿足預(yù)定的關(guān)聯(lián)強(qiáng)度，將它們歸納為關(guān)聯(lián)事件，步驟S8。
【文檔編號(hào)】H04L29/06GK103581198SQ201310568041
【公開日】2014年2月12日 申請(qǐng)日期:2013年11月13日 優(yōu)先權(quán)日:2013年11月13日
【發(fā)明者】姜學(xué)峰, 李威, 李健俊, 王正敏 申請(qǐng)人:浙江中煙工業(yè)有限責(zé)任公司