本發(fā)明涉及一種基于隱馬爾可夫模型的復(fù)雜網(wǎng)絡(luò)應(yīng)用逆向處理方法。

背景技術(shù)：

當(dāng)今互聯(lián)網(wǎng)上的網(wǎng)絡(luò)流量規(guī)模之大，應(yīng)用服務(wù)之多，通信協(xié)議之復(fù)雜，大大增加了異常檢測、入侵檢測系統(tǒng)以及防火墻等網(wǎng)絡(luò)安全技術(shù)的挑戰(zhàn)性，導(dǎo)致互聯(lián)網(wǎng)面臨著更加嚴(yán)峻的網(wǎng)絡(luò)安全問題。由于黑客都是利用了通信協(xié)議或軟件系統(tǒng)的漏洞、并借助特定的控制-命令協(xié)議以遠(yuǎn)程控制的方式實施網(wǎng)絡(luò)入侵和攻擊，因此，我們必須先于黑客發(fā)現(xiàn)潛在的協(xié)議漏洞并及時打上補(bǔ)丁、全面熟悉黑客使用的控制-命令協(xié)議的規(guī)范、掌握這些協(xié)議中遠(yuǎn)程控制的命令，才能有效防御各種網(wǎng)絡(luò)威脅或者在發(fā)生攻擊時能及時地發(fā)現(xiàn)并阻斷攻擊。為了能達(dá)到這些防御目標(biāo)，我們必須獲得協(xié)議的完整協(xié)議規(guī)范。常見的協(xié)議規(guī)范可以從國際電信聯(lián)盟(ITU)，國際標(biāo)準(zhǔn)化組織(ISO)以及Internet工程任務(wù)組(IETF)等國際標(biāo)準(zhǔn)化組織發(fā)布的標(biāo)準(zhǔn)文檔庫中獲得。一些私有的應(yīng)用或協(xié)議的開發(fā)者，往往會出于商業(yè)機(jī)密、隱私保密等原因而拒絕提供有關(guān)的協(xié)議規(guī)范文檔；網(wǎng)絡(luò)攻擊或惡意軟件的制造者也不愿意公開相應(yīng)的控制-命令協(xié)議規(guī)范。在這種情況下，網(wǎng)絡(luò)管理員或安全專家就必須依賴于協(xié)議逆向工程技術(shù)來重構(gòu)協(xié)議的規(guī)范。協(xié)議逆向工程可自動化地為協(xié)議流量識別、入侵檢測等應(yīng)用提供豐富而準(zhǔn)確的協(xié)議基本組成要素和流量的交互規(guī)律特征。目前協(xié)議逆向工程方面的工作幾乎都是針對一對一交互式的簡單協(xié)議或應(yīng)用。然而，越來越多的網(wǎng)絡(luò)應(yīng)用或網(wǎng)絡(luò)攻擊采用的通信協(xié)議是多參與方、多通道、并行交互式地協(xié)同完成交互任務(wù)?，F(xiàn)有的協(xié)議逆向工程技術(shù)不適用于這種復(fù)雜網(wǎng)絡(luò)應(yīng)用的逆向分析。

技術(shù)實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術(shù)的不足，提供一種基于隱馬爾可夫模型的復(fù)雜網(wǎng)絡(luò)應(yīng)用逆向處理方法。該方法引入耦合的多鏈隱馬爾可夫模型，恢復(fù)復(fù)雜協(xié)議的交互規(guī)律，為有效監(jiān)測和管控復(fù)雜網(wǎng)絡(luò)應(yīng)用提供一種基礎(chǔ)支持技術(shù)。

為了達(dá)到上述目的，本發(fā)明一種基于隱馬爾可夫模型的復(fù)雜網(wǎng)絡(luò)應(yīng)用逆向處理方法，主要包括以下步驟：

第一步、對網(wǎng)絡(luò)流量進(jìn)行采集分類，標(biāo)識出已知流量并隔離出未知流量；

第二步、對未知流量進(jìn)行聚類分析，并對每一個簇的流量分配一個類標(biāo)記；

第三步、對每一類已標(biāo)識的已知流量和未知流量進(jìn)行頻繁項分析，提取流量中的頻繁項集；

第四步、計算頻繁項在流量中的位置方差并根據(jù)位置方差過濾協(xié)議關(guān)鍵詞；

第五步、對網(wǎng)絡(luò)流量進(jìn)行空間連接分析和時間時序分析，得到流量的拓?fù)溥B接圖和連接序列；

第六步，對網(wǎng)絡(luò)流量進(jìn)行社團(tuán)劃分；

第七步，基于多鏈耦合隱馬爾可夫模型的耦合系數(shù)參數(shù)估計。

優(yōu)選地，所述連接序列是指每個連接的報文序列，連接序列中的每個報文序列都用它的報文類型來表示。

優(yōu)選地，所述第六步為采用基于節(jié)點應(yīng)用層特征相似度的Newman快速算法對網(wǎng)絡(luò)流量進(jìn)行社團(tuán)劃分。

對于基于多鏈耦合隱馬爾可夫模型(CHMM)的復(fù)雜網(wǎng)絡(luò)應(yīng)用模型，假設(shè)復(fù)雜網(wǎng)絡(luò)應(yīng)用的參與方狀態(tài)過程服從一個隱馬爾可夫過程，那么網(wǎng)絡(luò)中每一個節(jié)點可以用一個隱馬爾可夫模型來描述。因此，CHMM中耦合的HMM數(shù)目C為網(wǎng)絡(luò)節(jié)點的個數(shù)，也即復(fù)雜網(wǎng)絡(luò)應(yīng)用的參與者個數(shù)。本發(fā)明專利中，所有的隱馬爾可夫鏈具有相同的長度T。假設(shè)CHMM中各隱馬爾可夫模型的狀態(tài)空間都為S＝{1,2,3}，表示網(wǎng)絡(luò)節(jié)點的三種狀態(tài)：發(fā)送數(shù)據(jù)狀態(tài)，接收數(shù)據(jù)狀態(tài)和空閑狀態(tài)。本發(fā)明專利將復(fù)雜網(wǎng)絡(luò)應(yīng)用的報文格式編號，不同的報文格式代表不同的報文類型。而各節(jié)點對應(yīng)的隱馬爾可夫模型的觀測值空間V＝{1,2,...,M}為節(jié)點間出現(xiàn)交換的協(xié)議報文類型。網(wǎng)絡(luò)節(jié)點的初始狀態(tài)分布用來表示，其中表示第c個節(jié)點的初始狀態(tài)為j的概率，并滿足初始狀態(tài)分布描述網(wǎng)絡(luò)節(jié)點在交互開始的時候所處的狀態(tài)。

網(wǎng)絡(luò)節(jié)點之間的狀態(tài)轉(zhuǎn)移概率用表示，其中表示從c'節(jié)點的狀態(tài)i向c節(jié)點的j狀態(tài)轉(zhuǎn)移的概率，并滿足特別地，當(dāng)c'＝c時，表示一個節(jié)點自身隨時間變化的狀態(tài)轉(zhuǎn)移概率。狀態(tài)轉(zhuǎn)移概率矩陣A描述網(wǎng)絡(luò)節(jié)點行為狀態(tài)的轉(zhuǎn)變規(guī)律。

網(wǎng)絡(luò)節(jié)點的觀測概率用來表示，其中表示t時刻第c個節(jié)點接收到從第c'個節(jié)點發(fā)送來的報文類型，表示t時刻觀測第c個HMM的節(jié)點收到的概率，并滿足觀測概率矩陣描述網(wǎng)絡(luò)節(jié)點在不同行為狀態(tài)下交互內(nèi)容或類型的分布特征。

至此，λ＝(π,A,B,Θ)就構(gòu)成一個復(fù)雜網(wǎng)絡(luò)應(yīng)用的協(xié)議交互模型。

而對于節(jié)點應(yīng)用層特征相似度，假設(shè)整個網(wǎng)絡(luò)表示為G＝(V,E)，其中V＝{1,...,N}表示網(wǎng)絡(luò)中節(jié)點的集合，E＝{e_vv'}(v,v'∈V)表示網(wǎng)絡(luò)中節(jié)點間的連接邊。本發(fā)明基于節(jié)點的應(yīng)用層報文特征和節(jié)點間的連通性定義節(jié)點的Jaccard相似度來衡量節(jié)點之間的報文特征相似性。應(yīng)用層報文特征可以用報文中出現(xiàn)的應(yīng)用層協(xié)議關(guān)鍵詞集來表示，而兩個有邊連通的相鄰節(jié)點使用的協(xié)議關(guān)鍵詞集的交集越多，這兩個節(jié)點的應(yīng)用層報文的相似性越大。假設(shè)節(jié)點v的協(xié)議關(guān)鍵詞集為Kv，那么社團(tuán)i與社團(tuán)j之間的報文特征相似度定義為：

本發(fā)明引入耦合的多鏈隱馬爾可夫模型，恢復(fù)復(fù)雜協(xié)議的交互規(guī)律，為有效監(jiān)測和管控復(fù)雜網(wǎng)絡(luò)應(yīng)用提供一種基礎(chǔ)支持技術(shù)。

附圖說明

圖1為本發(fā)明的實施流程示意圖；

圖2為基于應(yīng)用層特征相似度的Newman快速算法示意圖；

圖3為耦合系數(shù)參數(shù)估計流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的優(yōu)選實施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。

參照圖1～3，本發(fā)明實施例一種基于隱馬爾可夫模型的復(fù)雜網(wǎng)絡(luò)應(yīng)用逆向處理方法，主要包括以下步驟：

第一步、對網(wǎng)絡(luò)流量進(jìn)行采集分類，標(biāo)識出已知流量并隔離出未知流量；

第二步、對未知流量進(jìn)行聚類分析，并對每一個簇的流量分配一個類標(biāo)記；

第三步、對每一類已標(biāo)識的已知流量和未知流量進(jìn)行頻繁項分析，提取流量中的頻繁項集；

第四步、計算頻繁項在流量中的位置方差并根據(jù)位置方差過濾協(xié)議關(guān)鍵詞；其方法可以為，設(shè)定一個方差閾值σ_o，位置方差小于σ_o的頻繁項為協(xié)議關(guān)鍵詞；

第五步、對網(wǎng)絡(luò)流量進(jìn)行空間連接分析和時間時序分析，得到流量的拓?fù)溥B接圖和連接序列；所述連接序列是指每個連接的報文序列，連接序列中的每個報文序列都用它的報文類型來表示；

第六步，采用基于節(jié)點應(yīng)用層特征相似度的Newman快速算法對網(wǎng)絡(luò)流量進(jìn)行社團(tuán)劃分；

第七步，基于多鏈耦合隱馬爾可夫模型的耦合系數(shù)參數(shù)估計。

對于基于多鏈耦合隱馬爾可夫模型(CHMM)的復(fù)雜網(wǎng)絡(luò)應(yīng)用模型，假設(shè)復(fù)雜網(wǎng)絡(luò)應(yīng)用的參與方狀態(tài)過程服從一個隱馬爾可夫過程，那么網(wǎng)絡(luò)中每一個節(jié)點可以用一個隱馬爾可夫模型來描述。因此，CHMM中耦合的HMM數(shù)目C為網(wǎng)絡(luò)節(jié)點的個數(shù)，也即復(fù)雜網(wǎng)絡(luò)應(yīng)用的參與者個數(shù)。本發(fā)明專利中，所有的隱馬爾可夫鏈具有相同的長度T。假設(shè)CHMM中各隱馬爾可夫模型的狀態(tài)空間都為S＝{1,2,3}，表示網(wǎng)絡(luò)節(jié)點的三種狀態(tài)：發(fā)送數(shù)據(jù)狀態(tài)，接收數(shù)據(jù)狀態(tài)和空閑狀態(tài)。本發(fā)明專利將復(fù)雜網(wǎng)絡(luò)應(yīng)用的報文格式編號，不同的報文格式代表不同的報文類型。而各節(jié)點對應(yīng)的隱馬爾可夫模型的觀測值空間V＝{1,2,...,M}為節(jié)點間出現(xiàn)交換的協(xié)議報文類型。網(wǎng)絡(luò)節(jié)點的初始狀態(tài)分布用來表示，其中表示第c個節(jié)點的初始狀態(tài)為j的概率，并滿足初始狀態(tài)分布描述網(wǎng)絡(luò)節(jié)點在交互開始的時候所處的狀態(tài)。

網(wǎng)絡(luò)節(jié)點之間的狀態(tài)轉(zhuǎn)移概率用表示，其中表示從c'節(jié)點的狀態(tài)i向c節(jié)點的j狀態(tài)轉(zhuǎn)移的概率，并滿足特別地，當(dāng)c'＝c時，表示一個節(jié)點自身隨時間變化的狀態(tài)轉(zhuǎn)移概率。狀態(tài)轉(zhuǎn)移概率矩陣A描述網(wǎng)絡(luò)節(jié)點行為狀態(tài)的轉(zhuǎn)變規(guī)律。

網(wǎng)絡(luò)節(jié)點的觀測概率用來表示，其中表示t時刻第c個節(jié)點接收到從第c'個節(jié)點發(fā)送來的報文類型，表示t時刻觀測第c個HMM的節(jié)點收到的概率，并滿足觀測概率矩陣描述網(wǎng)絡(luò)節(jié)點在不同行為狀態(tài)下交互內(nèi)容或類型的分布特征。

至此，λ＝(π,A,B,Θ)就構(gòu)成一個復(fù)雜網(wǎng)絡(luò)應(yīng)用的協(xié)議交互模型。

而對于節(jié)點應(yīng)用層特征相似度，假設(shè)整個網(wǎng)絡(luò)表示為G＝(V,E)，其中V＝{1,...,N}表示網(wǎng)絡(luò)中節(jié)點的集合，E＝{e_vv'}(v,v'∈V)表示網(wǎng)絡(luò)中節(jié)點間的連接邊。本發(fā)明基于節(jié)點的應(yīng)用層報文特征和節(jié)點間的連通性定義節(jié)點的Jaccard相似度來衡量節(jié)點之間的報文特征相似性。應(yīng)用層報文特征可以用報文中出現(xiàn)的應(yīng)用層協(xié)議關(guān)鍵詞集來表示，而兩個有邊連通的相鄰節(jié)點使用的協(xié)議關(guān)鍵詞集的交集越多，這兩個節(jié)點的應(yīng)用層報文的相似性越大。假設(shè)節(jié)點v的協(xié)議關(guān)鍵詞集為Kv，那么社團(tuán)i與社團(tuán)j之間的報文特征相似度定義為：

對于第六步中的采用基于節(jié)點應(yīng)用層特征相似度的Newman快速算法對網(wǎng)絡(luò)流量進(jìn)行社團(tuán)劃分，具體算法如圖2所示。具體過程如下：

步驟6.1：輸入網(wǎng)絡(luò)拓?fù)鋱DG＝{V,E}，各節(jié)點的協(xié)議關(guān)鍵詞集{K₁,K₂,...,K_N}。

步驟6.2：算法初始化：

將每個節(jié)點都作為一個社團(tuán)Gopt←{G₁,G₂,...,G_N}，Q_opt←0。

步驟6.3：計算G中各社團(tuán)之間的相似度。

步驟6.4：合并相似度最大的兩個社團(tuán)。

步驟6.5：計算G的模塊度Q。

步驟6.6：當(dāng)Q>_Qopt時，執(zhí)行以下操作：

G_opt←G；Q_opt←Q。

步驟6.7：判斷|G|>1，如果|G|>1，則跳轉(zhuǎn)至步驟6.3。

步驟6.8：輸出網(wǎng)絡(luò)的最佳社團(tuán)劃分G_opt，網(wǎng)絡(luò)最佳劃分時的模塊度Q_opt。

對于第七步中的CHMM模型耦合系數(shù)參數(shù)估計的具體流程如圖3所示。具體過程如下：

步驟7.1：前向后向算法的初始化：

步驟7.2：迭代推導(dǎo)過程：

步驟7.3：耦合系數(shù)的更新公式為：

步驟7.4：判斷是否滿足結(jié)束迭代過程的條件，如果滿足，則結(jié)束，否則跳轉(zhuǎn)至步驟7.2。

其中迭代過程的結(jié)束條件為：迭代次數(shù)超過給定最大迭代次數(shù)N_max，或θ_c'c的增量|Δθ_c'c|小于給定閾值τ_o。

本發(fā)明引入耦合的多鏈隱馬爾可夫模型，恢復(fù)復(fù)雜協(xié)議的交互規(guī)律，為有效監(jiān)測和管控復(fù)雜網(wǎng)絡(luò)應(yīng)用提供一種基礎(chǔ)支持技術(shù)。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求范圍之內(nèi)。