本發(fā)明涉及網(wǎng)絡(luò)安全技術(shù)應(yīng)用領(lǐng)域，具體而言，涉及一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法、裝置、存儲(chǔ)介質(zhì)和處理器。

背景技術(shù)：

隨著互聯(lián)網(wǎng)的發(fā)展，某些人員(黑客)針對(duì)特定的目標(biāo)來(lái)精心策劃和實(shí)施這種入侵，已達(dá)到商業(yè)或政治目的。高級(jí)長(zhǎng)期威脅往往針對(duì)特定組織或國(guó)家，并要求在長(zhǎng)時(shí)間內(nèi)保持高隱蔽性。高級(jí)長(zhǎng)期威脅包含三個(gè)要素：高級(jí)、長(zhǎng)期、威脅。高級(jí)強(qiáng)調(diào)的是使用復(fù)雜精密的惡意軟件及技術(shù)以利用系統(tǒng)中的漏洞。長(zhǎng)期暗指黑客會(huì)持續(xù)監(jiān)控特定目標(biāo)，并從其獲取數(shù)據(jù)。威脅則指人為參與策劃的攻擊。高級(jí)長(zhǎng)期威脅中，黑客利用惡意軟件在收控主機(jī)上進(jìn)行長(zhǎng)期隱蔽的通訊，控制和信息盜取。高級(jí)長(zhǎng)期威脅中采用的惡意軟件具有隱蔽性和多變性。

目前，傳統(tǒng)的安全產(chǎn)品(如殺毒、入侵檢測(cè)系統(tǒng)(intrusiondetectionsystems，簡(jiǎn)稱ids))，使用的基于已知的簽名技術(shù)，難以有效監(jiān)測(cè)到高級(jí)持續(xù)性威脅(advancedpersistentthreat，簡(jiǎn)稱apt)，使得企業(yè)和機(jī)構(gòu)的信息系統(tǒng)處于高級(jí)持續(xù)性威脅的重大威脅之中。要保護(hù)組織團(tuán)體免于高級(jí)長(zhǎng)期威脅攻擊日益困難。在檢測(cè)高級(jí)長(zhǎng)期威脅的過(guò)程中，目前常用以下兩種檢測(cè)方式：

方式一:傳統(tǒng)的安全產(chǎn)品(如殺毒、ids)是目前常用的防止目高級(jí)長(zhǎng)期威脅的一個(gè)手段。

其中，殺毒軟件和ids使用基于已知知識(shí)的簽名技術(shù)。它們手工分析已知惡意軟件的靜態(tài)特征和網(wǎng)絡(luò)特征，提取字端或字段哈希值作為簽名。檢測(cè)一個(gè)未知文件時(shí)，就已知簽名進(jìn)行比對(duì)。

但是，殺毒軟件和ids對(duì)已知惡意軟件的檢測(cè)比較有效。高級(jí)長(zhǎng)期威脅常常使用針對(duì)性的惡意軟件。這些惡意軟件基本上是未知的，有隱蔽性和多變性。所以殺毒軟件和ids較難發(fā)現(xiàn)。

方式二：利用沙箱技術(shù)來(lái)分析發(fā)現(xiàn)高級(jí)長(zhǎng)期威脅的惡意軟件。

其中，沙箱技術(shù)在虛擬的環(huán)境中執(zhí)行可疑文件(包括惡意軟件)，并抓取該文件在沙箱中的動(dòng)態(tài)執(zhí)行行為。通過(guò)對(duì)可疑文件的動(dòng)態(tài)行為特征來(lái)發(fā)現(xiàn)惡意軟件。

但是，沙箱技術(shù)需要在網(wǎng)絡(luò)流量中抓取文件。需要比較完整的協(xié)議分析和文件提取技術(shù)。另外，這些文件需要好的沙箱技術(shù)進(jìn)行分析。沙箱技術(shù)比較復(fù)雜，實(shí)現(xiàn)上對(duì)性能(特別是內(nèi)存和cpu)也有較高的要求。

針對(duì)上述由于現(xiàn)有技術(shù)中在檢測(cè)高級(jí)長(zhǎng)期威脅攻擊中，存在的檢測(cè)局限性的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法、裝置、存儲(chǔ)介質(zhì)和處理器，以至少解決由于現(xiàn)有技術(shù)中在檢測(cè)高級(jí)長(zhǎng)期威脅攻擊中，存在的檢測(cè)局限性的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法，包括：采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流。

可選的，通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型包括：依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議對(duì)話進(jìn)行分離，得到網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合；依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量，其中，安全流量包括：家族標(biāo)識(shí)；依據(jù)每個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，和安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離對(duì)應(yīng)的頭域信息，獲取頭域信息對(duì)應(yīng)的惡意軟件家族，和安全流量的數(shù)據(jù)流特征，并依據(jù)所有惡意軟件家族的超文本協(xié)議會(huì)話集合和安全流量的數(shù)據(jù)流特征得到檢測(cè)模型。

進(jìn)一步地，可選的，該方法還包括：對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，并且對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流對(duì)應(yīng)的頭域集合進(jìn)行分類(lèi)，得到編號(hào)和建立映射得到對(duì)應(yīng)分類(lèi)的數(shù)據(jù)流特征。

可選的，依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量包括：判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族；其中，判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族包括：依據(jù)單個(gè)超文本協(xié)議會(huì)話中的驗(yàn)證碼判斷是否屬于預(yù)存惡意軟件家族；對(duì)所有超文本協(xié)議會(huì)話,根據(jù)映射，產(chǎn)生網(wǎng)絡(luò)威脅集群；所有映射到惡意軟件家族的所有超文本協(xié)議會(huì)話屬于同一個(gè)網(wǎng)絡(luò)威脅集群，并對(duì)所有超文本協(xié)議會(huì)話分配第一分類(lèi)標(biāo)識(shí)；其中，第一分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于惡意軟件家族；或者，在所有映射到安全流量的所有超文本協(xié)議會(huì)話屬于同一個(gè)安全網(wǎng)絡(luò)流量集群，并對(duì)網(wǎng)絡(luò)威脅集群分配第二分類(lèi)標(biāo)識(shí)；其中，第二分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于安全網(wǎng)絡(luò)集群。

可選的，方法還包括：對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，對(duì)第一分類(lèi)標(biāo)識(shí)的每個(gè)超文本協(xié)議會(huì)話，如果超文本協(xié)議會(huì)話的host或用戶代理user-agent字段是白字段；或者，超文本協(xié)議會(huì)話host字段的域名被域名信譽(yù)系統(tǒng)標(biāo)識(shí)為白域名，則將超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并將超文本協(xié)議會(huì)話加入未知網(wǎng)絡(luò)流量集群，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)；其中，第三分類(lèi)標(biāo)識(shí)，用于表示不能判斷超文本會(huì)話是否是威脅網(wǎng)絡(luò)流量還是安全網(wǎng)絡(luò)流量；或者，若在多個(gè)超文本協(xié)議會(huì)話存在多個(gè)host或用戶代理user-agent字段，且將多個(gè)超文本協(xié)議會(huì)話映射到多個(gè)不同的惡意軟件家族名稱，則將host或用戶代理user-agent字段標(biāo)為未知，并將所有包含host或用戶代理user-agent字段的超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)。

可選的，通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流包括：接收預(yù)設(shè)檢測(cè)數(shù)據(jù)流；依據(jù)檢測(cè)模型對(duì)預(yù)設(shè)檢測(cè)數(shù)據(jù)流進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；其中，對(duì)于網(wǎng)絡(luò)威脅集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為安全，且通過(guò)分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群；對(duì)于網(wǎng)絡(luò)安全集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告為惡意軟件家族，并且手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；對(duì)于網(wǎng)絡(luò)未知集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告惡意軟件家族，并通過(guò)手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；并且如果手工分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群。

進(jìn)一步地，可選的，該方法還包括：依據(jù)已有域名和超文本協(xié)議頭域調(diào)整檢測(cè)模型，在檢測(cè)模型中凈化已有域名和超文本協(xié)議頭域中的數(shù)據(jù)流特征。

根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提供了一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的裝置，包括：采集模塊，用于采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；模型建立模塊，用于通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；調(diào)整模塊，用于通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流。

可選的，模型建立模塊包括：第一分離單元，用于依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議對(duì)話進(jìn)行分離，得到網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合；第二分離單元，用于依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量，其中，安全流量包括：家族標(biāo)識(shí)；模型建立單元，用于依據(jù)每個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，和安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離對(duì)應(yīng)的頭域信息，獲取頭域信息對(duì)應(yīng)的惡意軟件家族，和安全流量的數(shù)據(jù)流特征，并依據(jù)所有惡意軟件家族的超文本協(xié)議會(huì)話集合和安全流量的數(shù)據(jù)流特征得到檢測(cè)模型。

進(jìn)一步地，可選的，該裝置還包括：分類(lèi)模塊，用于對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，并且對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流對(duì)應(yīng)的頭域集合進(jìn)行分類(lèi)，得到編號(hào)和建立映射得到對(duì)應(yīng)分類(lèi)的數(shù)據(jù)流特征。

可選的，第二分離單元，用于判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族；其中，判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族包括：依據(jù)單個(gè)超文本協(xié)議會(huì)話中的驗(yàn)證碼判斷是否屬于預(yù)存惡意軟件家族；對(duì)所有超文本協(xié)議會(huì)話,根據(jù)映射，產(chǎn)生網(wǎng)絡(luò)威脅集群；所有映射到惡意軟件家族的所有超文本協(xié)議會(huì)話屬于同一個(gè)網(wǎng)絡(luò)威脅集群，并對(duì)所有超文本協(xié)議會(huì)話分配第一分類(lèi)標(biāo)識(shí)；其中，第一分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于惡意軟件家族；或者，在所有映射到安全流量的所有超文本協(xié)議會(huì)話屬于同一個(gè)安全網(wǎng)絡(luò)流量集群，并對(duì)網(wǎng)絡(luò)威脅集群分配第二分類(lèi)標(biāo)識(shí)；其中，第二分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于安全網(wǎng)絡(luò)集群。

可選的，該裝置還包括：第一標(biāo)記模塊，用于對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，對(duì)第一分類(lèi)標(biāo)識(shí)的每個(gè)超文本協(xié)議會(huì)話，如果超文本協(xié)議會(huì)話的host或用戶代理user-agent字段是白字段；或者，超文本協(xié)議會(huì)話host字段的域名被域名信譽(yù)系統(tǒng)標(biāo)識(shí)為白域名，則將超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并將超文本協(xié)議會(huì)話加入未知網(wǎng)絡(luò)流量集群，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)；其中，第三分類(lèi)標(biāo)識(shí)，用于表示不能判斷超文本會(huì)話是否是威脅網(wǎng)絡(luò)流量還是安全網(wǎng)絡(luò)流量；或者，第二標(biāo)記模塊，用于若在多個(gè)超文本協(xié)議會(huì)話存在多個(gè)host或用戶代理user-agent字段，且將多個(gè)超文本協(xié)議會(huì)話映射到多個(gè)不同的惡意軟件家族名稱，則將host或用戶代理user-agent字段標(biāo)為未知，并將所有包含host或用戶代理user-agent字段的超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)。

可選的，調(diào)整模塊，用于接收預(yù)設(shè)檢測(cè)數(shù)據(jù)流；依據(jù)檢測(cè)模型對(duì)預(yù)設(shè)檢測(cè)數(shù)據(jù)流進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；其中，對(duì)于網(wǎng)絡(luò)威脅集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為安全，且通過(guò)分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群；對(duì)于網(wǎng)絡(luò)安全集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告為惡意軟件家族，并且手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；對(duì)于網(wǎng)絡(luò)未知集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告惡意軟件家族，并通過(guò)手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；并且如果手工分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群。

進(jìn)一步地，可選的，該裝置還包括：凈化模塊，用于依據(jù)已有域名和超文本協(xié)議頭域調(diào)整檢測(cè)模型，在檢測(cè)模型中凈化已有域名和超文本協(xié)議頭域中的數(shù)據(jù)流特征。

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種存儲(chǔ)介質(zhì)，包括：存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在程序運(yùn)行時(shí)控制存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法。

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種處理器，處理器用于運(yùn)行程序，其中，程序運(yùn)行時(shí)執(zhí)行上述建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法。

在本發(fā)明實(shí)施例中，通過(guò)采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流，達(dá)到了在不依靠物理設(shè)備性能需求滿足對(duì)高級(jí)長(zhǎng)期威脅攻擊檢測(cè)的目的，從而實(shí)現(xiàn)了提升檢測(cè)高級(jí)長(zhǎng)期威脅攻擊準(zhǔn)確率的技術(shù)效果，進(jìn)而解決了由于現(xiàn)有技術(shù)中在檢測(cè)高級(jí)長(zhǎng)期威脅攻擊中，存在的檢測(cè)局限性的技術(shù)問(wèn)題。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法的流程示意圖；

圖2是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)流量并建模的流程示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中檢測(cè)模型有效性的標(biāo)桿系統(tǒng)的流程示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中的防火墻部署網(wǎng)絡(luò)圖；

圖5是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的裝置的流程示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

需要說(shuō)明的是，本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

本申請(qǐng)實(shí)施例涉及的技術(shù)名詞：

惡意軟件(malware)是指通過(guò)特定的程序來(lái)控制另一臺(tái)計(jì)算機(jī)。黑客可以利用惡意軟件遠(yuǎn)程操控該計(jì)算機(jī)，任意毀壞或竊取主機(jī)上的文件和用戶密碼。受控主機(jī)就是被黑客攻破，種植了惡意軟件的電腦。

超文本傳輸協(xié)議(英文：hypertexttransferprotocol，縮寫(xiě)：http)是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。因?yàn)槌谋緜鬏攨f(xié)議應(yīng)用的廣泛性，惡意軟件大量利用超文本傳輸協(xié)議進(jìn)行網(wǎng)絡(luò)通信。

高級(jí)長(zhǎng)期威脅(英語(yǔ)：advancedpersistentthreat，縮寫(xiě)：apt)是指隱匿而持久的電腦入侵過(guò)程。

實(shí)施例一

根據(jù)本發(fā)明實(shí)施例，提供了一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法實(shí)施例，需要說(shuō)明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法的流程示意圖，如圖1所示，該方法包括如下步驟：

步驟s102，采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；

步驟s104，通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；

步驟s106，通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流。

本實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；通過(guò)分析所述網(wǎng)絡(luò)威脅數(shù)據(jù)流和所述網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整所述檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流。最終使得網(wǎng)絡(luò)威脅模型的效果最優(yōu)。

在本發(fā)明實(shí)施例中，通過(guò)采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流，達(dá)到了在不依靠物理設(shè)備性能需求滿足對(duì)高級(jí)長(zhǎng)期威脅攻擊檢測(cè)的目的，從而實(shí)現(xiàn)了提升檢測(cè)高級(jí)長(zhǎng)期威脅攻擊準(zhǔn)確率的技術(shù)效果，進(jìn)而解決了由于現(xiàn)有技術(shù)中在檢測(cè)高級(jí)長(zhǎng)期威脅攻擊中，存在的檢測(cè)局限性的技術(shù)問(wèn)題。

可選的，步驟s104中通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型包括：

step1,依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議對(duì)話進(jìn)行分離，得到網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合；

step2,依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量，其中，安全流量包括：家族標(biāo)識(shí)；

step3,依據(jù)每個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，和安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離對(duì)應(yīng)的頭域信息，獲取頭域信息對(duì)應(yīng)的惡意軟件家族，和安全流量的數(shù)據(jù)流特征，并依據(jù)所有惡意軟件家族的超文本協(xié)議會(huì)話集合和安全流量的數(shù)據(jù)流特征得到檢測(cè)模型。

其中，依據(jù)所述網(wǎng)絡(luò)威脅數(shù)據(jù)流和所述網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議對(duì)話進(jìn)行分離，得到所述網(wǎng)絡(luò)威脅數(shù)據(jù)流和所述網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合；依據(jù)所述網(wǎng)絡(luò)威脅數(shù)據(jù)流和所述網(wǎng)絡(luò)安全數(shù)據(jù)流的所述超文本協(xié)議會(huì)話集合進(jìn)行分離，使得每一個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量(安全流量可以看作一個(gè)家族標(biāo)識(shí))。依據(jù)每一個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集，和所述安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離的相關(guān)的頭域信息，獲取對(duì)應(yīng)所述惡意軟件家族，和所述安全流量，的數(shù)據(jù)流特征，并依據(jù)所有所述惡意軟件家族超文本協(xié)議會(huì)話集合和所述安全流量的數(shù)據(jù)流特征得到所述檢測(cè)模型。

進(jìn)一步地，可選的，本實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法還包括：對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，并且對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流對(duì)應(yīng)的頭域集合進(jìn)行分類(lèi)，得到編號(hào)和建立映射得到對(duì)應(yīng)分類(lèi)的數(shù)據(jù)流特征。

具體的，依據(jù)每一個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集，和所述安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離的相關(guān)的頭域信息，獲取對(duì)應(yīng)所述惡意軟件家族，和所述安全流量，的數(shù)據(jù)流特征。而且，對(duì)所述網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，并且對(duì)應(yīng)的頭域集合進(jìn)行分類(lèi)，編號(hào)，和建立映射得到對(duì)應(yīng)所述分類(lèi)的數(shù)據(jù)流特征。

可選的，步驟s104中step2中的依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量包括：

步驟a，判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族；其中，判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族包括：

步驟b，依據(jù)單個(gè)超文本協(xié)議會(huì)話中的驗(yàn)證碼判斷是否屬于預(yù)存惡意軟件家族；對(duì)所有超文本協(xié)議會(huì)話,根據(jù)映射，產(chǎn)生網(wǎng)絡(luò)威脅集群；所有映射到惡意軟件家族的所有超文本協(xié)議會(huì)話屬于同一個(gè)網(wǎng)絡(luò)威脅集群，并對(duì)所有超文本協(xié)議會(huì)話分配第一分類(lèi)標(biāo)識(shí)；其中，第一分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于惡意軟件家族；

或者，

步驟c，在所有映射到安全流量的所有超文本協(xié)議會(huì)話屬于同一個(gè)安全網(wǎng)絡(luò)流量集群，并對(duì)網(wǎng)絡(luò)威脅集群分配第二分類(lèi)標(biāo)識(shí)；其中，第二分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于安全網(wǎng)絡(luò)集群。

具體的，所述網(wǎng)絡(luò)威脅數(shù)據(jù)流和所述網(wǎng)絡(luò)安全數(shù)據(jù)流的所述超文本協(xié)議會(huì)話集合進(jìn)行分離，使得每一個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量(安全流量可以看作一個(gè)家族標(biāo)識(shí))。包括：

判斷所述單個(gè)超文本協(xié)議會(huì)話是否屬于某個(gè)預(yù)存惡意軟件家族；判斷依據(jù)是，該超文本協(xié)議會(huì)話屬于某個(gè)已知惡意軟件產(chǎn)生<md5>.pcap，其中<md5>是該惡意軟件的md5驗(yàn)證碼。<md5>屬于某個(gè)已知惡意軟件家族。

對(duì)所有超文本協(xié)議會(huì)話,根據(jù)映射，產(chǎn)生網(wǎng)絡(luò)威脅集群。所有映射到某個(gè)惡意軟件家族的所有超文本協(xié)議會(huì)話屬于同一個(gè)網(wǎng)絡(luò)威脅集群，并分配第一分類(lèi)標(biāo)識(shí)。其下標(biāo)為該惡意軟件家族名稱。所述第一分類(lèi)標(biāo)識(shí)，用于表示所述超文本協(xié)議會(huì)話集合屬于所述預(yù)存惡意軟件家族；

或者，

判斷所有映射到安全流量的所有超文本協(xié)議會(huì)話屬于同一個(gè)安全網(wǎng)絡(luò)流量集群，并分配第二分類(lèi)標(biāo)識(shí)。其下標(biāo)為“安全網(wǎng)絡(luò)”。所述第二分類(lèi)標(biāo)識(shí)，用于表示所述超文本協(xié)議會(huì)話集合屬于所述安全網(wǎng)絡(luò)集群；

對(duì)所述網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，其特征在于，對(duì)第一分類(lèi)標(biāo)識(shí)的每一個(gè)超文本協(xié)議會(huì)話，如果：

該超文本協(xié)議會(huì)話的host或user-agent字段是白字段

或者，

該超文本協(xié)議會(huì)話host字段的域名被域名信譽(yù)系統(tǒng)標(biāo)識(shí)為白域名

在判斷結(jié)果為是的情況下，把該超文本協(xié)議會(huì)話從該網(wǎng)絡(luò)威脅集群中剔除，把該超文本協(xié)議會(huì)話加入一個(gè)新的“未知網(wǎng)絡(luò)流量”集群，并分配第三分類(lèi)標(biāo)識(shí)。其中，所述第三分類(lèi)標(biāo)識(shí)，用于表示不能判斷所述超文本會(huì)話是否是威脅網(wǎng)絡(luò)流量還是安全網(wǎng)絡(luò)流量。

或者，

某個(gè)host或user-agent字段在多個(gè)超文本協(xié)議會(huì)話中出現(xiàn)，而且這些超文本協(xié)議會(huì)話被映射到多于5個(gè)不同的惡意軟件家族名稱。那么該host或user-agent字段被標(biāo)為未知。把所有包含該字段的超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并加入第三分類(lèi)標(biāo)識(shí)(“未知網(wǎng)絡(luò)流量”集群)。

可選的，本實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法還包括：

對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，對(duì)第一分類(lèi)標(biāo)識(shí)的每個(gè)超文本協(xié)議會(huì)話，如果超文本協(xié)議會(huì)話的host或用戶代理user-agent字段是白字段；或者，超文本協(xié)議會(huì)話host字段的域名被域名信譽(yù)系統(tǒng)標(biāo)識(shí)為白域名，則將超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并將超文本協(xié)議會(huì)話加入未知網(wǎng)絡(luò)流量集群，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)；其中，第三分類(lèi)標(biāo)識(shí)，用于表示不能判斷超文本會(huì)話是否是威脅網(wǎng)絡(luò)流量還是安全網(wǎng)絡(luò)流量；

或者，

若在多個(gè)超文本協(xié)議會(huì)話存在多個(gè)host或用戶代理user-agent字段，且將多個(gè)超文本協(xié)議會(huì)話映射到多個(gè)不同的惡意軟件家族名稱，則將host或用戶代理user-agent字段標(biāo)為未知，并將所有包含host或用戶代理user-agent字段的超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)。

具體的，網(wǎng)絡(luò)威脅集群(第一分類(lèi)標(biāo)識(shí))和網(wǎng)絡(luò)安全集群(第二分類(lèi)標(biāo)識(shí))，對(duì)于網(wǎng)絡(luò)威脅集群，依據(jù)每一個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集；對(duì)于網(wǎng)絡(luò)安全集群，對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離的相關(guān)的頭域信息，獲取對(duì)應(yīng)所述惡意軟件家族，和所述網(wǎng)絡(luò)安全集群，的數(shù)據(jù)流特征，并依據(jù)所有所述惡意軟件家族超文本協(xié)議會(huì)話集合和所述網(wǎng)絡(luò)安全集群的數(shù)據(jù)流特征得到所述檢測(cè)模型。

可選的，通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流包括：

接收預(yù)設(shè)檢測(cè)數(shù)據(jù)流；

依據(jù)檢測(cè)模型對(duì)預(yù)設(shè)檢測(cè)數(shù)據(jù)流進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；

其中，對(duì)于網(wǎng)絡(luò)威脅集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為安全，且通過(guò)分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群；

對(duì)于網(wǎng)絡(luò)安全集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告為惡意軟件家族，并且手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；

對(duì)于網(wǎng)絡(luò)未知集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告惡意軟件家族，并通過(guò)手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；并且如果手工分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群。

具體的，接收所述預(yù)設(shè)檢測(cè)數(shù)據(jù)流；依據(jù)所述檢測(cè)模型對(duì)所述預(yù)設(shè)檢測(cè)數(shù)據(jù)流進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；對(duì)于網(wǎng)絡(luò)威脅集群(第一分類(lèi)標(biāo)識(shí))，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為安全，而且手工分析該超文本協(xié)議會(huì)話為安全，則把該超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群。

對(duì)于網(wǎng)絡(luò)安全集群(第二分類(lèi)標(biāo)識(shí))，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)志為威脅，而且報(bào)告惡意軟件家族，而且手工分析該超文本協(xié)議會(huì)話為威脅，則把該超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合里，根據(jù)惡意軟件家族的下標(biāo)。

對(duì)于網(wǎng)絡(luò)未知集群(第三分類(lèi)標(biāo)識(shí))，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，而且報(bào)告惡意軟件家族。如果手工分析該超文本協(xié)議會(huì)話為威脅，則把該超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合里，根據(jù)惡意軟件家族的下標(biāo)。如果手工分析該超文本協(xié)議會(huì)話為安全，則把該超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群中。

進(jìn)一步地，可選的，本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法還包括：

依據(jù)已有域名和超文本協(xié)議頭域調(diào)整檢測(cè)模型，在檢測(cè)模型中凈化已有域名和超文本協(xié)議頭域中的數(shù)據(jù)流特征。

綜上，本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法具體如下：

現(xiàn)在，基于高級(jí)長(zhǎng)期威脅的惡意軟件出現(xiàn)的頻率越來(lái)越高。它們對(duì)金融，行政，信息行業(yè)造成極大威脅。

高級(jí)長(zhǎng)期威脅活動(dòng)十分隱蔽，基于高級(jí)長(zhǎng)期威脅的惡意軟件變化多端。但與高級(jí)長(zhǎng)期威脅相關(guān)的命令與控制網(wǎng)絡(luò)流量相當(dāng)而言變化較小?；诰W(wǎng)絡(luò)流量檢測(cè)可以增強(qiáng)對(duì)高級(jí)長(zhǎng)期威脅的發(fā)現(xiàn)和減緩。深入的網(wǎng)絡(luò)分析和比對(duì)有助于發(fā)現(xiàn)高級(jí)長(zhǎng)期威脅活動(dòng)。強(qiáng)大的前臺(tái)和后臺(tái)分析系統(tǒng)和算法的有力的支持了深度網(wǎng)絡(luò)分析的實(shí)現(xiàn)。

本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法如下：

1、建立檢測(cè)模型步驟如下：

step1,收集大量的惡意軟件網(wǎng)絡(luò)流量和正常的網(wǎng)絡(luò)流量；

step2，分析，對(duì)比網(wǎng)絡(luò)流量，并利用機(jī)器學(xué)習(xí)和建模。建模包括惡意軟件的發(fā)現(xiàn)算法和匹配惡意軟件家族的算法。

step3,機(jī)器學(xué)習(xí)建模。如圖2所示，圖2是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中機(jī)器學(xué)習(xí)網(wǎng)絡(luò)流量并建模的流程示意圖。其中，機(jī)器學(xué)習(xí)和建模的功能要點(diǎn)包括：

對(duì)惡意軟件網(wǎng)絡(luò)流量進(jìn)行分類(lèi):

類(lèi)型一，惡意軟件流量里屬于同一惡意軟件家族的被歸為一類(lèi)；

類(lèi)型二，網(wǎng)絡(luò)安全流量的http會(huì)話被歸為一類(lèi)；

類(lèi)型三，對(duì)類(lèi)型一超文本協(xié)議會(huì)話凈化后，標(biāo)識(shí)為未知流量的http會(huì)話被歸為一類(lèi)。

上述學(xué)習(xí)產(chǎn)生的檢測(cè)模型，可以分析未知網(wǎng)絡(luò)流量：

功能一，發(fā)現(xiàn)源地址是否被惡意軟件感染(該源地址是否是受控主機(jī))；

功能二，發(fā)現(xiàn)被什么惡意軟件家族感染；

功能三，評(píng)估受控主機(jī)的嚴(yán)重性和可信度。

2、構(gòu)建一個(gè)標(biāo)桿系統(tǒng)對(duì)模型的有效性進(jìn)行評(píng)估，如圖3所示，圖3是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中檢測(cè)模型有效性的標(biāo)桿系統(tǒng)的流程示意圖。其中，發(fā)現(xiàn)率＝發(fā)現(xiàn)統(tǒng)計(jì)/惡意軟件總數(shù)。該發(fā)現(xiàn)率用于根據(jù)發(fā)現(xiàn)率評(píng)估模型的有效性。

其中，該評(píng)估過(guò)程包括：

step1，惡意軟件流量集合；

step2，惡意軟件元數(shù)據(jù)；

step3，依據(jù)檢測(cè)模型進(jìn)行檢測(cè)，并判斷是否發(fā)現(xiàn)威脅。

3、利用已有的域名，http頭域的名譽(yù)系統(tǒng)，對(duì)建立的模型進(jìn)行調(diào)整和改進(jìn)。

4、對(duì)應(yīng)http頭域的學(xué)習(xí)和建模，評(píng)估和改進(jìn)。

由上可知，本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法的應(yīng)用場(chǎng)景如下：

基于對(duì)通過(guò)二代防火墻對(duì)高級(jí)長(zhǎng)期威脅進(jìn)行發(fā)現(xiàn)和減緩的需求，其中，能有效發(fā)現(xiàn)和減緩高級(jí)長(zhǎng)期威脅；能對(duì)發(fā)現(xiàn)的高級(jí)長(zhǎng)期威脅進(jìn)行有效定位，例如哪一臺(tái)主機(jī)被入侵，主機(jī)上感染了什么惡意軟件的家族；誤判率要低；不影響原來(lái)的網(wǎng)絡(luò)架設(shè)與拓?fù)?；如圖4所示，圖4是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法中的防火墻部署網(wǎng)絡(luò)圖。本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法可以增強(qiáng)發(fā)現(xiàn)高級(jí)長(zhǎng)期威脅進(jìn)行發(fā)現(xiàn)。并減緩高級(jí)長(zhǎng)期威脅產(chǎn)生的傷害。

本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法，應(yīng)用于檢測(cè)高級(jí)持續(xù)性威脅嚴(yán)重威脅企業(yè)和機(jī)構(gòu)的信息系統(tǒng)。一旦關(guān)鍵企業(yè)信息和用戶信息被偷盜，會(huì)給企業(yè)或政府帶來(lái)巨大的經(jīng)濟(jì)、業(yè)務(wù)以及聲譽(yù)損失；目前的解決方案如殺毒軟件和ids對(duì)發(fā)現(xiàn)高級(jí)持續(xù)性威脅不是很有效。對(duì)系統(tǒng)要求很高。本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法可以為企業(yè)、政府以及運(yùn)營(yíng)商提供保護(hù)，最大限度保護(hù)內(nèi)網(wǎng)的安全，即，不改變網(wǎng)絡(luò)拓?fù)?，以及，增加?duì)物流設(shè)備硬件性能需求，以此在提升檢測(cè)效率的同時(shí)，降低設(shè)備部署成本。

本申請(qǐng)實(shí)施例提供的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法，利用大量的惡意軟件流量和正常流量進(jìn)行機(jī)器學(xué)習(xí)和建模；用http協(xié)議里的各種頭域及uri的數(shù)據(jù)歸類(lèi)和分析；用信譽(yù)系統(tǒng)和標(biāo)桿系統(tǒng)對(duì)分析模型進(jìn)行完善；最后完全自動(dòng)的建模，改進(jìn)和發(fā)布系統(tǒng)，進(jìn)而提升對(duì)高級(jí)持續(xù)性威脅攻擊的檢測(cè)效率。

實(shí)施例二

根據(jù)本發(fā)明實(shí)施例，提供了一種應(yīng)用于上述建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法的裝置實(shí)施例，本申請(qǐng)實(shí)施例提供了一種建立檢測(cè)網(wǎng)絡(luò)威脅模型的裝置，圖5是根據(jù)本發(fā)明實(shí)施例的建立檢測(cè)網(wǎng)絡(luò)威脅模型的裝置的流程示意圖，如圖5所示，包括：

采集模塊52，用于采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；模型建立模塊54，用于通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；調(diào)整模塊56，用于通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流。

在本發(fā)明實(shí)施例中，通過(guò)采集網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流；通過(guò)分析網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流之間的區(qū)別，建立檢測(cè)模型；通過(guò)預(yù)設(shè)檢測(cè)數(shù)據(jù)流的檢測(cè)效率調(diào)整檢測(cè)模型的參數(shù)和提供機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流，達(dá)到了在不依靠物理設(shè)備性能需求滿足對(duì)高級(jí)長(zhǎng)期威脅攻擊檢測(cè)的目的，從而實(shí)現(xiàn)了提升檢測(cè)高級(jí)長(zhǎng)期威脅攻擊準(zhǔn)確率的技術(shù)效果，進(jìn)而解決了由于現(xiàn)有技術(shù)中在檢測(cè)高級(jí)長(zhǎng)期威脅攻擊中，存在的檢測(cè)局限性的技術(shù)問(wèn)題。

可選的，模型建立模塊54包括：第一分離單元，用于依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議對(duì)話進(jìn)行分離，得到網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合；第二分離單元，用于依據(jù)網(wǎng)絡(luò)威脅數(shù)據(jù)流和網(wǎng)絡(luò)安全數(shù)據(jù)流的超文本協(xié)議會(huì)話集合進(jìn)行分離，將每個(gè)超文本協(xié)議會(huì)話對(duì)應(yīng)到一個(gè)已知的惡意軟件家族或安全流量，其中，安全流量包括：家族標(biāo)識(shí)；模型建立單元，用于依據(jù)每個(gè)惡意軟件家族對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，和安全流量對(duì)應(yīng)的超文本協(xié)議會(huì)話集，在每一個(gè)超文本協(xié)議會(huì)話中分離對(duì)應(yīng)的頭域信息，獲取頭域信息對(duì)應(yīng)的惡意軟件家族，和安全流量的數(shù)據(jù)流特征，并依據(jù)所有惡意軟件家族的超文本協(xié)議會(huì)話集合和安全流量的數(shù)據(jù)流特征得到檢測(cè)模型。

進(jìn)一步地，可選的，該裝置還包括：分類(lèi)模塊，用于對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，并且對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流對(duì)應(yīng)的頭域集合進(jìn)行分類(lèi)，得到編號(hào)和建立映射得到對(duì)應(yīng)分類(lèi)的數(shù)據(jù)流特征。

可選的，第二分離單元，用于判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族；其中，判斷單個(gè)超文本協(xié)議會(huì)話是否屬于預(yù)存惡意軟件家族包括：依據(jù)單個(gè)超文本協(xié)議會(huì)話中的驗(yàn)證碼判斷是否屬于預(yù)存惡意軟件家族；對(duì)所有超文本協(xié)議會(huì)話,根據(jù)映射，產(chǎn)生網(wǎng)絡(luò)威脅集群；所有映射到惡意軟件家族的所有超文本協(xié)議會(huì)話屬于同一個(gè)網(wǎng)絡(luò)威脅集群，并對(duì)所有超文本協(xié)議會(huì)話分配第一分類(lèi)標(biāo)識(shí)；其中，第一分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于惡意軟件家族；或者，在所有映射到安全流量的所有超文本協(xié)議會(huì)話屬于同一個(gè)安全網(wǎng)絡(luò)流量集群，并對(duì)網(wǎng)絡(luò)威脅集群分配第二分類(lèi)標(biāo)識(shí)；其中，第二分類(lèi)標(biāo)識(shí)，用于表示超文本協(xié)議會(huì)話集合屬于安全網(wǎng)絡(luò)集群。

可選的，該裝置還包括：第一標(biāo)記模塊，用于對(duì)網(wǎng)絡(luò)威脅數(shù)據(jù)流進(jìn)行凈化，對(duì)第一分類(lèi)標(biāo)識(shí)的每個(gè)超文本協(xié)議會(huì)話，如果超文本協(xié)議會(huì)話的host或用戶代理user-agent字段是白字段；或者，超文本協(xié)議會(huì)話host字段的域名被域名信譽(yù)系統(tǒng)標(biāo)識(shí)為白域名，則將超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并將超文本協(xié)議會(huì)話加入未知網(wǎng)絡(luò)流量集群，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)；其中，第三分類(lèi)標(biāo)識(shí)，用于表示不能判斷超文本會(huì)話是否是威脅網(wǎng)絡(luò)流量還是安全網(wǎng)絡(luò)流量；或者，第二標(biāo)記模塊，用于若在多個(gè)超文本協(xié)議會(huì)話存在多個(gè)host或用戶代理user-agent字段，且將多個(gè)超文本協(xié)議會(huì)話映射到多個(gè)不同的惡意軟件家族名稱，則將host或用戶代理user-agent字段標(biāo)為未知，并將所有包含host或用戶代理user-agent字段的超文本協(xié)議會(huì)話從網(wǎng)絡(luò)威脅集群中剔除，并對(duì)超文本協(xié)議會(huì)話添加第三分類(lèi)標(biāo)識(shí)。

可選的，調(diào)整模塊56，用于接收預(yù)設(shè)檢測(cè)數(shù)據(jù)流；依據(jù)檢測(cè)模型對(duì)預(yù)設(shè)檢測(cè)數(shù)據(jù)流進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；其中，對(duì)于網(wǎng)絡(luò)威脅集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為安全，且通過(guò)分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群；對(duì)于網(wǎng)絡(luò)安全集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告為惡意軟件家族，并且手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；對(duì)于網(wǎng)絡(luò)未知集群，如果一個(gè)超文本協(xié)議會(huì)話被檢測(cè)模型標(biāo)記為威脅，且報(bào)告惡意軟件家族，并通過(guò)手工分析超文本協(xié)議會(huì)話為威脅，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)威脅集群中對(duì)應(yīng)的超文本協(xié)議會(huì)話集合，并以惡意軟件家族進(jìn)行標(biāo)記；并且如果手工分析超文本協(xié)議會(huì)話為安全，則將超文本協(xié)議會(huì)話轉(zhuǎn)移到網(wǎng)絡(luò)安全集群。

進(jìn)一步地，可選的，該裝置還包括：凈化模塊，用于依據(jù)已有域名和超文本協(xié)議頭域調(diào)整檢測(cè)模型，在檢測(cè)模型中凈化已有域名和超文本協(xié)議頭域中的數(shù)據(jù)流特征。

實(shí)施例三

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種存儲(chǔ)介質(zhì)，包括：存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在程序運(yùn)行時(shí)控制存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述實(shí)施例一中的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法。

實(shí)施例四

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種處理器，處理器用于運(yùn)行程序，其中，程序運(yùn)行時(shí)執(zhí)行上述實(shí)施例一中的建立檢測(cè)網(wǎng)絡(luò)威脅模型的方法。

上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

在本發(fā)明的上述實(shí)施例中，對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒(méi)有詳述的部分，可以參見(jiàn)其他實(shí)施例的相關(guān)描述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過(guò)其它的方式實(shí)現(xiàn)。其中，以上所描述的裝置實(shí)施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可為個(gè)人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：u盤(pán)、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、移動(dòng)硬盤(pán)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。