一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，包括運(yùn)用工具從物聯(lián)網(wǎng)中提取事件特征，將所提取的特征按順序組合為相應(yīng)的特征集合，采用主成分分析法對(duì)步驟一中得到的特征集合進(jìn)行特征約簡(jiǎn)，采用Help-Training算法對(duì)約簡(jiǎn)之后的特征進(jìn)行機(jī)器學(xué)習(xí)，將要感知的信息輸入機(jī)器學(xué)習(xí)引擎，輸出為安全事件類(lèi)型，將安全事件類(lèi)型映射為一個(gè)具體態(tài)勢(shì)值，設(shè)置一個(gè)時(shí)間閾值，節(jié)點(diǎn)按照固定的時(shí)間間隔交互信息，在時(shí)間到達(dá)后，節(jié)點(diǎn)采用距離向量算法向鄰近的感知節(jié)點(diǎn)發(fā)送訓(xùn)練數(shù)據(jù)集；本方法采用主成份分析約簡(jiǎn)安全事件屬性特征，降低屬性特征維數(shù)，對(duì)約簡(jiǎn)后的屬性特征采用增量自學(xué)習(xí)方法進(jìn)行數(shù)據(jù)訓(xùn)練，從而減少系統(tǒng)訓(xùn)練時(shí)間，提高系統(tǒng)的泛化能力。
【專(zhuān)利說(shuō)明】一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)安全領(lǐng)域，具體的說(shuō)是涉及一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展以及應(yīng)用的不斷普及，網(wǎng)絡(luò)安全事件的快速感知已成為網(wǎng)絡(luò)技術(shù)人員面臨的一個(gè)極為重要的課題，許多有關(guān)網(wǎng)絡(luò)安全技術(shù)的研究也日趨成熟。網(wǎng)絡(luò)安全態(tài)勢(shì)感知作為網(wǎng)絡(luò)管理員對(duì)網(wǎng)絡(luò)安全狀態(tài)檢測(cè)監(jiān)控的一種技術(shù)，也是目前信息安全的研究熱點(diǎn)之一。開(kāi)展這項(xiàng)研究，對(duì)于提高網(wǎng)絡(luò)系統(tǒng)的應(yīng)急響應(yīng)能力、緩解網(wǎng)絡(luò)攻擊所造成的危害、發(fā)現(xiàn)潛在惡意的入侵行為等具有十分重要的意義。但由于網(wǎng)絡(luò)規(guī)模的增長(zhǎng)，網(wǎng)絡(luò)安全事件特征主要包括以下4點(diǎn):體量巨大(volume)、類(lèi)型繁多(variety)、價(jià)值密度低(value)、快速處理(velocity)。由于這幾大特征,安全態(tài)勢(shì)生成需要綜合分析多種的網(wǎng)絡(luò)安全要素，比如系統(tǒng)漏洞等，而不只是入侵攻擊，網(wǎng)絡(luò)態(tài)勢(shì)感知特征的高維度。
[0003]網(wǎng)絡(luò)態(tài)勢(shì)感知的發(fā)展從研究方向、評(píng)測(cè)指標(biāo)以及關(guān)鍵技術(shù)等方面對(duì)機(jī)器學(xué)習(xí)都提出了新的需求和挑戰(zhàn)，訓(xùn)練實(shí)例的數(shù)量是非常大的，每天匯合大量安全數(shù)據(jù)集。另外，越來(lái)越多的設(shè)備包括傳感器，持續(xù)記錄觀察的數(shù)據(jù)可以作為訓(xùn)練數(shù)據(jù)，這樣的數(shù)據(jù)集可以輕易地達(dá)到幾百TB，輸入數(shù)據(jù)的高維度。主成分分析(PCA)就是設(shè)法將原來(lái)眾多的變量，重新組合為一組新的相互無(wú)關(guān)的綜合變量來(lái)代替原來(lái)變量，即從多個(gè)變量中綜合得到少數(shù)幾個(gè)代表性變量，使其能夠代表原始變量的絕大多數(shù)信息，又互不相關(guān)。處理方法就是將原來(lái)的變量做線性組合，作為新的綜合變量，如果將選取的第一個(gè)線性組合即第一個(gè)綜合變量記為F1,自然希望它盡可能多地反映原來(lái)變量的信息，這里“信息”用方差來(lái)測(cè)量，即方差越大，F(xiàn)1包含的信息越多，因此在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱(chēng)為第一主成分。如果第一主成分不足以代表原來(lái)N個(gè)變量的信息，再考慮選取第二個(gè)線性組合F2,稱(chēng)F2為第二主成分，依此類(lèi)推可以構(gòu)造出第三、四……第P個(gè)主成分。使用約簡(jiǎn)后的特征進(jìn)行學(xué)習(xí)在保證準(zhǔn)確度的情況下可以大大減少學(xué)習(xí)時(shí)間和資源占用率，提高系統(tǒng)響應(yīng)時(shí)間。
[0004]隨著數(shù)據(jù)收集技術(shù)的發(fā)展，獲取大量未標(biāo)注的樣本已經(jīng)相當(dāng)容易，而標(biāo)注樣本需要艱苦的手工勞動(dòng)。顯然，僅使用少量的標(biāo)注樣本，即采用監(jiān)督學(xué)習(xí)方式，那訓(xùn)練出的學(xué)習(xí)模型往往很難有較強(qiáng)的泛化能力；另外，如果僅使用少量標(biāo)注樣本，而放棄使用大量未標(biāo)注樣本的話，則浪費(fèi)了大量的數(shù)據(jù)。半監(jiān)督自訓(xùn)練學(xué)習(xí)方法(Sem1-supervised traininglearning method, SSTLM)就是研究如何綜合利用少量已標(biāo)識(shí)數(shù)據(jù)和大量未標(biāo)識(shí)數(shù)據(jù),獲得具有良好性能和泛化能力的學(xué)習(xí)機(jī)器。半監(jiān)督學(xué)習(xí)的基本思想是已知一個(gè)有標(biāo)注樣本集￡ = 和一個(gè)無(wú)標(biāo)注樣本集U = Ci^iijJL ,%}期望訓(xùn)練得到一個(gè)
模型函數(shù)可以對(duì)樣本X預(yù)測(cè)其標(biāo)注y。這里吟均為維向量為
樣本:《%的標(biāo)注，L是標(biāo)注樣本所包含的樣本個(gè)數(shù),U為未標(biāo)注樣本所包含的樣本數(shù)。半監(jiān)督學(xué)習(xí)中，學(xué)習(xí)器自行利用未標(biāo)注樣本，整個(gè)過(guò)程自動(dòng)完成，僅基于學(xué)習(xí)器自身對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注。
[0005]系統(tǒng)之間的信息交互僅和相鄰的系統(tǒng)節(jié)點(diǎn)交換訓(xùn)練信息。如果兩個(gè)節(jié)點(diǎn)之間的通信只需經(jīng)過(guò)一個(gè)路由器，那么這兩個(gè)節(jié)點(diǎn)是相鄰的，不相鄰的節(jié)點(diǎn)之間不交換信息。交換的信息是當(dāng)前節(jié)點(diǎn)新感知的全部信息，即自己的增量信息。通過(guò)設(shè)置時(shí)間閾值，節(jié)點(diǎn)按照固定的事件交互信息，如每隔I小時(shí)，節(jié)點(diǎn)根據(jù)收到相鄰節(jié)點(diǎn)的信息跟新自己的特征訓(xùn)練庫(kù)。信息交互技術(shù)可以減少節(jié)點(diǎn)特征數(shù)據(jù)的數(shù)量，增加系統(tǒng)的實(shí)時(shí)性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明為了解決現(xiàn)有的安全態(tài)勢(shì)感知方法資源占用率高、處理時(shí)間長(zhǎng)、系統(tǒng)之間無(wú)法實(shí)時(shí)交互信息等問(wèn)題，提出一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，本方法采用主成份分析約簡(jiǎn)安全事件屬性特征，降低屬性特征維數(shù)，對(duì)約簡(jiǎn)后的屬性特征采用增量自學(xué)習(xí)方法進(jìn)行數(shù)據(jù)訓(xùn)練，從而減少系統(tǒng)訓(xùn)練時(shí)間，提高系統(tǒng)的泛化能力。
[0007]本發(fā)明所采用的技術(shù)方案是:一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，所述的方法包括以下步驟:
步驟1、特征提取:通過(guò)系統(tǒng)運(yùn)行日志、漏洞掃描工具、入侵檢測(cè)系統(tǒng)SNORT、VDS、FireWall或內(nèi)嵌在交換機(jī)和路由器中的流量采集器從物聯(lián)網(wǎng)中提取事件特征，將所提取的特征按順序組合為相應(yīng)的特征集合，;
步驟2、特征約簡(jiǎn):采用主成分分析法對(duì)步驟一中得到的特征集合進(jìn)行特征約簡(jiǎn)；
步驟3、機(jī)器學(xué)習(xí) :采用Help-Training算法對(duì)約簡(jiǎn)之后的特征進(jìn)行機(jī)器學(xué)習(xí)；
步驟4、態(tài)勢(shì)感知:將要感知的信息輸入機(jī)器學(xué)習(xí)引擎，輸出為安全事件類(lèi)型，將安全事件類(lèi)型映射為一個(gè)具體態(tài)勢(shì)值；
步驟五、信息交互:設(shè)置一個(gè)時(shí)間閾值，節(jié)點(diǎn)按照固定的時(shí)間間隔交互信息，在時(shí)間到達(dá)后，節(jié)點(diǎn)采用距離向量算法向鄰近的感知節(jié)點(diǎn)發(fā)送訓(xùn)練數(shù)據(jù)集。
[0008]所述的特征約簡(jiǎn)包括以下步驟:
步驟201、數(shù)據(jù)標(biāo)準(zhǔn)化，設(shè)定步驟一中得到的特征集合為X，X的P維屬性特征數(shù)據(jù)信息
X =,Xf)，η個(gè)樣品的數(shù)據(jù)資料陣為:
【權(quán)利要求】
1.一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，其特征在于:所述的方法包括以下步驟: 步驟1、特征提取:通過(guò)系統(tǒng)運(yùn)行日志、漏洞掃描工具、入侵檢測(cè)系統(tǒng)SNORT、VDS、FireWall或內(nèi)嵌在交換機(jī)和路由器中的流量采集器從物聯(lián)網(wǎng)中提取事件特征，將所提取的特征按順序組合為相應(yīng)的特征集合； 步驟2、特征約簡(jiǎn):采用主成分分析法對(duì)步驟一中得到的特征集合進(jìn)行特征約簡(jiǎn)； 步驟3、機(jī)器學(xué)習(xí):采用Help-Training算法對(duì)約簡(jiǎn)之后的特征進(jìn)行機(jī)器學(xué)習(xí)； 步驟4、態(tài)勢(shì)感知:將要感知的信息輸入機(jī)器學(xué)習(xí)引擎，輸出為安全事件類(lèi)型，將安全事件類(lèi)型映射為一個(gè)具體態(tài)勢(shì)值； 步驟5、信息交互:設(shè)置一個(gè)時(shí)間閾值，節(jié)點(diǎn)按照固定的時(shí)間間隔交互信息，在時(shí)間到達(dá)后，節(jié)點(diǎn)采用距離向量算法向鄰近的感知節(jié)點(diǎn)發(fā)送訓(xùn)練數(shù)據(jù)集。
2.如權(quán)利要求1所述的一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，其特征在于:所述的特征約簡(jiǎn)包括以下步驟: 步驟201、數(shù)據(jù)標(biāo)準(zhǔn)化，設(shè)定步驟一中得到的特征集合為X，X的P維屬性特征數(shù)據(jù)信息
3.如權(quán)利要求1所述的一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，其特征在于:所述的Help-Training算法具體包括: 設(shè)定少量已標(biāo)注的樣本集L，大量未標(biāo)注的樣本集U，創(chuàng)建數(shù)據(jù)集I/*，數(shù)據(jù)集I/*初始為空，從未標(biāo)注樣本集U中旋轉(zhuǎn)數(shù)據(jù)添加到I/*中，用已標(biāo)記樣本集￡訓(xùn)練出主分類(lèi)器MC和輔分類(lèi)器AC，創(chuàng)建一個(gè)數(shù)據(jù)集，初始化為空，用AC對(duì)0.中的數(shù)據(jù)進(jìn)行預(yù)測(cè)，選擇置信度最高的[個(gè)數(shù)據(jù)添加到￡.中，用MC對(duì)中的數(shù)據(jù)進(jìn)行標(biāo)注，對(duì)數(shù)據(jù)集重新訓(xùn)練主分類(lèi)器MC和輔分類(lèi)器AC。
4.如權(quán)利要求1所述的一種分布式物聯(lián)網(wǎng)安全態(tài)勢(shì)感知方法，其特征在于:所述的信息交互具體包括: 步驟401、時(shí)間閾值為O時(shí)，節(jié)點(diǎn)采用廣播的方式發(fā)送增量感知信息，并設(shè)置其路由距離為1，當(dāng)數(shù)據(jù)包經(jīng)過(guò)路由器時(shí)將該請(qǐng)求信息的路由距離減1，增量感知信息路由距離為O時(shí)，路由器自動(dòng)丟棄該數(shù)據(jù)包； 步驟402、節(jié)點(diǎn)根據(jù) 收到的增量數(shù)據(jù)和已有的數(shù)據(jù)重新進(jìn)行機(jī)器學(xué)習(xí)。
【文檔編號(hào)】H04L29/06GK103795723SQ201410040847
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年1月28日 優(yōu)先權(quán)日:2014年1月28日
【發(fā)明者】鄭瑞娟, 吳慶濤, 張明川, 魏汪洋, 馬正朝, 李騰昊, 李晨 申請(qǐng)人:河南科技大學(xué)