本發(fā)明屬于網(wǎng)絡方法領域,更具體地說,本發(fā)明涉及一種基于本體的并行網(wǎng)絡流量分類方法。
背景技術:
作為管理和優(yōu)化各類網(wǎng)絡資源的關鍵技術,網(wǎng)絡流量分類廣泛應用于網(wǎng)絡監(jiān)控、服務質(zhì)量管理、網(wǎng)絡安全、態(tài)勢分析等領域,是高效實現(xiàn)網(wǎng)絡管理、流量控制以及安全檢測的重要環(huán)節(jié)。隨著Web技術的發(fā)展和企業(yè)信息化需求的不斷提高,許多新型網(wǎng)絡應用模式和需求
應運而生,網(wǎng)絡環(huán)境也升級為高速、大規(guī)模、復雜網(wǎng)絡,隨之而來的網(wǎng)絡流量數(shù)據(jù)呈現(xiàn)出新的特點:海量(數(shù)量驚人、信息豐富)、多源(數(shù)據(jù)源分布在離散的,彼此可以通信的多個網(wǎng)絡節(jié)點上)、異構(格式異構、語法異構、語義異構),致使網(wǎng)絡流量分類面臨嚴峻的挑戰(zhàn)。
技術實現(xiàn)要素:
本發(fā)明所要解決的問題是提供一種基于本體的并行網(wǎng)絡流量分類方法。
為了實現(xiàn)上述目的,本發(fā)明采取的技術方案為:
一種基于本體的并行網(wǎng)絡流量分類方法,包括如下步驟:
(1)參數(shù)的設定
令Ni(1≤i≤n)表示第i個網(wǎng)絡節(jié)點ID,IPi表示第i個網(wǎng)絡節(jié)點的IP,Ii表示第i個網(wǎng)絡節(jié)點的相關信息,F(xiàn)j(1≤j≤m)表示第j條網(wǎng)絡流量標識,Oj表示第j條網(wǎng)絡流量的本體,MNF表示從網(wǎng)絡節(jié)點流量數(shù)據(jù)到網(wǎng)絡流量的映射,RFO表示從網(wǎng)絡流量到網(wǎng)絡流量本體的映射;
(2)啟動對應函數(shù)
根據(jù)每個網(wǎng)絡節(jié)點啟動對應的Map函數(shù),其中,每個Map函數(shù)以鍵值對<Ni, IPi>作為輸入;
(3)傳入結果
Map函數(shù)根據(jù)IPi操作網(wǎng)絡節(jié)點,收集網(wǎng)絡節(jié)點相關信息Ii,并調(diào)用網(wǎng)絡流量采集工具捕獲網(wǎng)絡數(shù)據(jù)包,然后將采集到的所有資源傳入Combiner中間結果;
(4)信息整合成網(wǎng)絡流量
Combiner根據(jù)過濾規(guī)則提取所需網(wǎng)絡流量信息,并將數(shù)據(jù)包整合成網(wǎng)絡流量Fj,以鍵值對<Ii,F(xiàn)j>的形式傳給Reduce函數(shù),此時,傳向Reduce函數(shù)的每個鍵值對就對應著一條完整的網(wǎng)絡流量信息;
(5)自定位
Reduce函數(shù)根據(jù)接收到的鍵值對計算流量統(tǒng)計特征,并用本體語言OWL做統(tǒng)一資源描述,借助本體建模工具Protégé的API,完成網(wǎng)絡流量本體的構建;
(6)流量分類
接著分析網(wǎng)絡流量本體的內(nèi)部結構,將其轉(zhuǎn)換成知識推理的規(guī)則集形式,然后將本體流量實例和規(guī)則集一并輸入并行知識推理引擎,得出分類結果。
優(yōu)選的,所述步驟(6)中并行知識推理引擎是采用Map Reduce作為并行處理技術。
優(yōu)選的,所述Map Reduce作為并行處理技術構建了基于Map Reduce的網(wǎng)絡流量本體構建模型。
優(yōu)選的,所述步驟(6)中并行知識推理的實現(xiàn)步驟為:
①根據(jù)每個計算節(jié)點的性能以及網(wǎng)絡流量本體中所描述的網(wǎng)絡流量實例的數(shù)據(jù)規(guī)模,對已構建好的網(wǎng)絡流量本體進行分割,得到多個網(wǎng)絡流量本體分片Oj,將網(wǎng)絡流量本體分片上傳至Hadoop分布式文件系統(tǒng),并對每一個網(wǎng)絡流量本體分片中描述的網(wǎng)絡流量實例標記為FIl,以鍵值對<FIl,Oj>作為Map函數(shù)的輸入;
②啟動多個Map函數(shù)并行地調(diào)用Jena推理機,利用規(guī)則集S
中的各條規(guī)則對網(wǎng)絡流量本體分片Oj中描述的與網(wǎng)絡流量實例FIl有關的各種信息進行知識推理,得出FIl的類標簽Lk,將<Lk,F(xiàn)Il>作為鍵值對輸出到Reduce函數(shù);
③Reduce函數(shù)根據(jù)Lk按類型合并Fj,形成已分類流量集Ck,至此完成流量本體集到已分類流量集的映射MROC。
優(yōu)選的,所述并行知識推理的實現(xiàn)步驟的前提是參數(shù)的設定。
優(yōu)選的,所述參數(shù)的設定為令Oj(1≤j≤n)表示第j個網(wǎng)絡流量本體分片,F(xiàn)Il(1≤l≤p)表示第l個網(wǎng)絡流量實例標識(對應于第l條網(wǎng)絡流量Fl),S表示推理引擎中的規(guī)則集,Lk(1≤k≤m)表示第k類(指應用類別)流量標簽,Ck表示第k類已分類流量集。
有益效果:本發(fā)明提供了一種基于本體的并行網(wǎng)絡流量分類方法,該方法建立在Map Reduce并行計算架構之上,結合網(wǎng)絡流量本體結構,設計基于Map Reduce的網(wǎng)絡流量本體構建方法,及并行知識推理的網(wǎng)絡流量分類方法,基于Map Reduce的網(wǎng)絡流量本體構建效率明顯高于單機環(huán)境,而且適當增加計算節(jié)點使得加速比線性提升,Map Reduce并行處理技術可以有效地提高網(wǎng)絡流量本體構建的效率及網(wǎng)絡流量的分類效率,可以適應大規(guī)模復雜網(wǎng)絡流量的實時、準確分類。
具體實施方式
一種基于本體的并行網(wǎng)絡流量分類方法,包括如下步驟:
(1)參數(shù)的設定
令Ni(1≤i≤n)表示第i個網(wǎng)絡節(jié)點ID,IPi表示第i個網(wǎng)絡節(jié)點的IP,Ii表示第i個網(wǎng)絡節(jié)點的相關信息,F(xiàn)j(1≤j≤m)表示第j條網(wǎng)絡流量標識,Oj表示第j條網(wǎng)絡流量的本體,MNF表示從網(wǎng)絡節(jié)點流量數(shù)據(jù)到網(wǎng)絡流量的映射,RFO表示從網(wǎng)絡流量到網(wǎng)絡流量本體的映射;
(2)啟動對應函數(shù)
根據(jù)每個網(wǎng)絡節(jié)點啟動對應的Map函數(shù),其中,每個Map函數(shù)以鍵值對<Ni, IPi>作為輸入;
(3)傳入結果
Map函數(shù)根據(jù)IPi操作網(wǎng)絡節(jié)點,收集網(wǎng)絡節(jié)點相關信息Ii,并調(diào)用網(wǎng)絡流量采集工具捕獲網(wǎng)絡數(shù)據(jù)包,然后將采集到的所有資源傳入Combiner中間結果;
(4)信息整合成網(wǎng)絡流量
Combiner根據(jù)過濾規(guī)則提取所需網(wǎng)絡流量信息,并將數(shù)據(jù)包整合成網(wǎng)絡流量Fj,以鍵值對<Ii,F(xiàn)j>的形式傳給Reduce函數(shù),此時,傳向Reduce函數(shù)的每個鍵值對就對應著一條完整的網(wǎng)絡流量信息;
(5)自定位
Reduce函數(shù)根據(jù)接收到的鍵值對計算流量統(tǒng)計特征,并用本體語言OWL做統(tǒng)一資源描述,借助本體建模工具Protégé的API,完成網(wǎng)絡流量本體的構建;
(6)流量分類
接著分析網(wǎng)絡流量本體的內(nèi)部結構,將其轉(zhuǎn)換成知識推理的規(guī)則集形式,然后將本體流量實例和規(guī)則集一并輸入并行知識推理引擎,得出分類結果,并行知識推理引擎是采用Map Reduce作為并行處理技術,所述Map Reduce作為并行處理技術構建了基于Map Reduce的網(wǎng)絡流量本體構建模型,所述并行知識推理的實現(xiàn)步驟為:
①所述參數(shù)的設定為令Oj(1≤j≤n)表示第j個網(wǎng)絡流量本體分片,F(xiàn)Il(1≤l≤p)表示第l個網(wǎng)絡流量實例標識(對應于第l條網(wǎng)絡流量Fl),S表示推理引擎中的規(guī)則集,Lk(1≤k≤m)表示第k類(指應用類別)流量標簽,Ck表示第k類已分類流量集;
②根據(jù)每個計算節(jié)點的性能以及網(wǎng)絡流量本體中所描述的網(wǎng)絡流量實例的數(shù)據(jù)規(guī)模,對已構建好的網(wǎng)絡流量本體進行分割,得到多個網(wǎng)絡流量本體分片Oj,將網(wǎng)絡流量本體分片上傳至Hadoop分布式文件系統(tǒng),并對每一個網(wǎng)絡流量本體分片中描述的網(wǎng)絡流量實例標記為FIl,以鍵值對<FIl,Oj>作為Map函數(shù)的輸入;
③啟動多個Map函數(shù)并行地調(diào)用Jena推理機,利用規(guī)則集S
中的各條規(guī)則對網(wǎng)絡流量本體分片Oj中描述的與網(wǎng)絡流量實例FIl有關的各種信息進行知識推理,得出FIl的類標簽Lk,將<Lk,F(xiàn)Il>作為鍵值對輸出到Reduce函數(shù);
④Reduce函數(shù)根據(jù)Lk按類型合并Fj,形成已分類流量集Ck,至此完成流量本體集到已分類流量集的映射MROC。
本發(fā)明提供了一種基于本體的并行網(wǎng)絡流量分類方法,該方法建立在Map Reduce并行計算架構之上,結合網(wǎng)絡流量本體結構,設計基于Map Reduce的網(wǎng)絡流量本體構建方法,及并行知識推理的網(wǎng)絡流量分類方法,基于Map Reduce的網(wǎng)絡流量本體構建效率明顯高于單機環(huán)境,而且適當增加計算節(jié)點使得加速比線性提升,Map Reduce并行處理技術可以有效地提高網(wǎng)絡流量本體構建的效率及網(wǎng)絡流量的分類效率,可以適應大規(guī)模復雜網(wǎng)絡流量的實時、準確分類。
以上所述僅為本發(fā)明的實施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書內(nèi)容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發(fā)明的專利保護范圍內(nèi)。