一種多態(tài)路由派生方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種多態(tài)路由派生方法及系統(tǒng)，該方法包括：對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述，根據(jù)路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，其中每個(gè)決策階段對(duì)應(yīng)多態(tài)路由派生過(guò)程中基本路由功能單元的選擇決策，然后求解馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略，根據(jù)多態(tài)路由派生策略組合基本路由功能單元，得到多態(tài)路由協(xié)議。本發(fā)明的方法實(shí)現(xiàn)了對(duì)不同的路由服務(wù)需求按照不同的路由派生策略，提供不同的路由協(xié)議，滿(mǎn)足了多樣化業(yè)務(wù)對(duì)網(wǎng)路路由功能的要求。
【專(zhuān)利說(shuō)明】—種多態(tài)路由派生方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及計(jì)算機(jī)網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，更具體地說(shuō)，涉及一種多態(tài)路由派生方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著IP網(wǎng)絡(luò)業(yè)務(wù)形態(tài)的不斷豐富，業(yè)務(wù)對(duì)網(wǎng)絡(luò)的需求也變得越來(lái)越多樣化。而IP網(wǎng)絡(luò)的服務(wù)能力卻是有限和確定的，這就直接導(dǎo)致了業(yè)務(wù)需求與網(wǎng)絡(luò)固有能力之間的差距日益擴(kuò)大，最終將使得網(wǎng)絡(luò)難以支持多樣化的業(yè)務(wù)。同時(shí)，信息網(wǎng)絡(luò)所依賴(lài)的基礎(chǔ)互聯(lián)傳輸和路由結(jié)構(gòu)過(guò)于簡(jiǎn)單，且長(zhǎng)期不變。大量實(shí)踐已經(jīng)證明，現(xiàn)有的信息基礎(chǔ)網(wǎng)絡(luò)路由結(jié)構(gòu)難以滿(mǎn)足多樣化業(yè)務(wù)對(duì)網(wǎng)絡(luò)的高等級(jí)需求。
[0003]因此，現(xiàn)有技術(shù)缺乏一種方案，來(lái)解決現(xiàn)有路由結(jié)構(gòu)過(guò)于簡(jiǎn)單而造成的無(wú)法滿(mǎn)足多樣化業(yè)務(wù)的需求的問(wèn)題。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本申請(qǐng)?zhí)峁┝艘环N多態(tài)路由派生方法及系統(tǒng)，用于解決現(xiàn)有的路由結(jié)構(gòu)過(guò)于簡(jiǎn)單而造成的無(wú)法滿(mǎn)足多樣化業(yè)務(wù)需求的問(wèn)題。
[0005]為了實(shí)現(xiàn)上述目的，現(xiàn)提出的方案如下:
[0006]一種多態(tài)路由派生方法，包括:
[0007]對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述；
[0008]根據(jù)所述路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，其中每個(gè)決策階段對(duì)應(yīng)多態(tài)路由派生過(guò)程中基本路由功能單元的選擇決策；
[0009]求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略；
[0010]根據(jù)所述多態(tài)路由派生策略組合基本路由功能單元,得到多態(tài)路由協(xié)議。
[0011 ] 優(yōu)選地，所述對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述，包括:
[0012]將路由服務(wù)需求劃分為由安全服務(wù)描述、性能服務(wù)描述和功能服務(wù)描述組成的路由服務(wù)需求描述，其中:
[0013]所述安全服務(wù)描述包括安全等級(jí)和安全種類(lèi)；
[0014]所述性能服務(wù)描述包括優(yōu)先級(jí)要求、帶寬要求、時(shí)延要求和丟包要求；
[0015]所述功能服務(wù)描述包括通信模式、路由類(lèi)型、路由標(biāo)識(shí)和通信主體。
[0016]優(yōu)選地，所述根據(jù)所述路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，包括:
[0017]定義系統(tǒng)狀態(tài):
[0018]系統(tǒng)狀態(tài)s定義為路由基本功能單元類(lèi)；
[0019]定義系統(tǒng)的狀態(tài)空間:
[0020]路由基本功能單元類(lèi)的集合構(gòu)成系統(tǒng)的狀態(tài)空間S = {s1; s2, S3***, sm}；
[0021]定義系統(tǒng)的動(dòng)作空間:
[0022]動(dòng)作空間A(S)是當(dāng)前狀態(tài)所對(duì)應(yīng)的路由基本功能單元類(lèi)所有基本路由功能單元的集合；
[0023]定義轉(zhuǎn)移概率:
[0024]定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務(wù)描述的匹配程度，轉(zhuǎn)移概率為所選擇的路由基本功能單元的匹配度與當(dāng)前狀態(tài)所對(duì)應(yīng)的類(lèi)中所有基本路由功能單元的匹配度總和之比，在系統(tǒng)所處的狀態(tài)為Sn，轉(zhuǎn)移概率p(sn+1|sn，a)表示執(zhí)行動(dòng)作a (Sn)到達(dá)狀態(tài)sn+1的概率；
[0025]定義獎(jiǎng)賞函數(shù):
[0026]獎(jiǎng)賞函數(shù)Hs，a)表示在狀態(tài)s時(shí)執(zhí)行動(dòng)作a獲得的獎(jiǎng)勵(lì)，獎(jiǎng)賞函數(shù)r(s，a)定義為:
[0027]r(s, a) = ω 丄.fs (s, a) + ω2.fp(s, a) + co3.fo(s, a),其中 fs(s, a)、fp(s, a)和f0(s, a)分別表示安全利益函數(shù)、性能利益函數(shù)和功能利益函數(shù)，W1, W2和W3分別表示權(quán)重因子。
[0028]優(yōu)選地，所述求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略，包括:
[0029]使用增強(qiáng)學(xué)習(xí)方法求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略。
[0030]優(yōu)選地，所述增強(qiáng)學(xué)習(xí)方法為:
[0031]步驟S1、初始化Q學(xué)習(xí)矩陣；
[0032]步驟S2、設(shè)置學(xué)習(xí)周期；
[0033]步驟S3、設(shè)置初始狀態(tài)S。和終止?fàn)顟B(tài)Sr ；
[0034]步驟S4、基于貪婪策略，從動(dòng)作空間A(S)中選擇并執(zhí)行相應(yīng)的動(dòng)作a(S)；
[0035]步驟35、根據(jù)0矩陣的定義
【權(quán)利要求】
1.一種多態(tài)路由派生方法，其特征在于，包括: 對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述； 根據(jù)所述路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，其中每個(gè)決策階段對(duì)應(yīng)多態(tài)路由派生過(guò)程中基本路由功能單元的選擇決策； 求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略； 根據(jù)所述多態(tài)路由派生策略組合基本路由功能單元，得到多態(tài)路由協(xié)議。
2.根據(jù)權(quán)利要求1所述的多態(tài)路由派生方法，其特征在于，所述對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述，包括: 將路由服務(wù)需求劃分為由安全服務(wù)描述、性能服務(wù)描述和功能服務(wù)描述組成的路由服務(wù)需求描述，其中: 所述安全服務(wù)描述包括安全等級(jí)和安全種類(lèi)； 所述性能服務(wù)描述包括優(yōu)先級(jí)要求、帶寬要求、時(shí)延要求和丟包要求； 所述功能服務(wù)描述包括通信模式、路由類(lèi)型、路由標(biāo)識(shí)和通信主體。
3.根據(jù)權(quán)利要求1所述的多態(tài)路由派生方法，其特征在于，所述根據(jù)所述路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，包括: 定乂系統(tǒng)狀態(tài): 系統(tǒng)狀態(tài)s定義為路由基本功能單兀類(lèi)； 定義系統(tǒng)的狀態(tài)空間: 路由基本功能單元類(lèi)的集合構(gòu)成系統(tǒng)的狀態(tài)空間S = {s1; s2, S3***, sm}； 定義系統(tǒng)的動(dòng)作空間: 動(dòng)作空間A(S)是當(dāng)前狀態(tài)所對(duì)應(yīng)的路由基本功能單元類(lèi)所有基本路由功能單元的集合； 定義轉(zhuǎn)移概率: 定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務(wù)描述的匹配程度，轉(zhuǎn)移概率為所選擇的路由基本功能單元的匹配度與當(dāng)前狀態(tài)所對(duì)應(yīng)的類(lèi)中所有基本路由功能單元的匹配度總和之比，在系統(tǒng)所處的狀態(tài)為Sn，轉(zhuǎn)移概率p(sn+1|sn，a)表示執(zhí)行動(dòng)作a (Sn)到達(dá)狀態(tài)sn+1的概率； 定義獎(jiǎng)賞函數(shù): 獎(jiǎng)賞函數(shù)Hs，a)表示在狀態(tài)s時(shí)執(zhí)行動(dòng)作a獲得的獎(jiǎng)勵(lì)，獎(jiǎng)賞函數(shù)r(s，a)定義為: r(s,a) = ω1.fs(s, a) + ^2.fp(s, α) + ω3其中 fs (s, a) > fp (s, a)和 f0(s, a)分別表示安全利益函數(shù)、性能利益函數(shù)和功能利益函數(shù)，W1^w2和W3分別表示權(quán)重因子。
4.根據(jù)權(quán)利要求3所述的多態(tài)路由派生方法，其特征在于，所述求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略，包括: 使用增強(qiáng)學(xué)習(xí)方法求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略。
5.根據(jù)權(quán)利要求4所述的多態(tài)路由派生方法，其特征在于，所述增強(qiáng)學(xué)習(xí)方法為: 步驟S1、初始化Q學(xué)習(xí)矩陣； 步驟S2、設(shè)置學(xué)習(xí)周期； 步驟S3、設(shè)置初始狀態(tài)Stl和終止?fàn)顟B(tài)； 步驟S4、基于貪婪策略，從動(dòng)作空間A(S)中選擇并執(zhí)行相應(yīng)的動(dòng)作a(s)；步驟S5、根據(jù)Q矩陣的定義％，《) =小，^ +更新Q矩陣；




s'eS 步驟S6、更新當(dāng)前狀態(tài)，判斷當(dāng)前狀態(tài)是否為終止?fàn)顟B(tài)如果是，執(zhí)行步驟S7，否則執(zhí)行步驟S4 ； 步驟S7、判斷是否達(dá)到設(shè)定的學(xué)習(xí)周期數(shù)，如果達(dá)到，則執(zhí)行步驟S8，否則執(zhí)行步驟S3 ； 步驟S8、輸出多態(tài)路由派生策略。
6.一種多態(tài)路由派生系統(tǒng)，其特征在于，包括: 規(guī)范描述單元，用于對(duì)路由服務(wù)需求進(jìn)行規(guī)范和描述，得到路由服務(wù)需求描述； 模型建立單元，用于根據(jù)所述路由服務(wù)需求描述，建立馬爾科夫決策過(guò)程模型，其中每個(gè)決策階段對(duì)應(yīng)多態(tài)路由派生過(guò)程中基本路由功能單元的選擇決策； 模型求解單元，用于求解所 述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略； 組合單元，用于根據(jù)所述多態(tài)路由派生策略組合基本路由功能單元，得到多態(tài)路由協(xié)議。
7.根據(jù)權(quán)利要求6所述的多態(tài)路由派生系統(tǒng)，其特征在于，所述規(guī)范描述單元包括劃分單元，用于將路由服務(wù)需求劃分為由安全服務(wù)描述、性能服務(wù)描述和功能服務(wù)描述組成的路由服務(wù)需求描述，其中: 所述安全服務(wù)描述包括安全等級(jí)和安全種類(lèi)； 所述性能服務(wù)描述包括優(yōu)先級(jí)要求、帶寬要求、時(shí)延要求和丟包要求； 所述功能服務(wù)描述包括通信模式、路由類(lèi)型、路由標(biāo)識(shí)和通信主體。
8.根據(jù)權(quán)利要求6所述的多態(tài)路由派生系統(tǒng)，其特征在于，所述模型建立單元包括: 系統(tǒng)狀態(tài)定義單元，用于定義系統(tǒng)狀態(tài)，系統(tǒng)狀態(tài)s定義為路由基本功能單元類(lèi)； 狀態(tài)空間定義單元，用于定義系統(tǒng)的狀態(tài)空間:路由基本功能單元類(lèi)的集合構(gòu)成系統(tǒng)的狀態(tài)空間 S = (S1, s2, S3***, sm}； 動(dòng)作空間定義單元，用于定義系統(tǒng)的動(dòng)作空間:動(dòng)作空間A(S)是當(dāng)前狀態(tài)所對(duì)應(yīng)的路由基本功能單元類(lèi)所有基本路由功能單元的集合； 轉(zhuǎn)移概率定義單元，用于定義轉(zhuǎn)移概率:定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務(wù)描述的匹配程度，轉(zhuǎn)移概率為所選擇的路由基本功能單元的匹配度與當(dāng)前狀態(tài)所對(duì)應(yīng)的類(lèi)中所有基本路由功能單元的匹配度總和之比，在系統(tǒng)所處的狀態(tài)為Sn,轉(zhuǎn)移概率P (sn+11 sn, a)表示執(zhí)行動(dòng)作a (sn)到達(dá)狀態(tài)sn+1的概率； 獎(jiǎng)賞函數(shù)定義單元，用于定義獎(jiǎng)賞函數(shù):獎(jiǎng)賞函數(shù)r (s，a)表示在狀態(tài)s時(shí)執(zhí)行動(dòng)作a獲得的獎(jiǎng)勵(lì)，獎(jiǎng)賞函數(shù)Hs，a)定義為:
r (s, a) = CO1.fs(s, a) + co2.fp(s, a) + ω3.f0(s, a),其中 fs(s, a)、fp(s, a)和 f0(s, a)分別表示安全利益函數(shù)、性能利益函數(shù)和功能利益函數(shù)，W1^w2和W3分別表示權(quán)重因子。
9.根據(jù)權(quán)利要求8所述的多態(tài)路由派生系統(tǒng)，其特征在于，所述模型求解單元包括: 增強(qiáng)學(xué)習(xí)子單元，用于使用增強(qiáng)學(xué)習(xí)方法求解所述馬爾科夫決策過(guò)程模型，得到多態(tài)路由派生策略。
10.根據(jù)權(quán)利要求9所述的多態(tài)路由派生系統(tǒng)，其特征在于，所述增強(qiáng)學(xué)習(xí)子單元包括:初始化單元，用于初始化Q學(xué)習(xí)矩陣； 第一設(shè)置單元，用于設(shè)置學(xué)習(xí)周期； 第二設(shè)置單元，用于設(shè)置初始化狀態(tài)Stl和終止?fàn)顟B(tài)& ； 動(dòng)作執(zhí)行單元，用于基于貪婪策略，從動(dòng)作空間A(S)中選擇并執(zhí)行相應(yīng)的動(dòng)作a(S)； Q矩陣更新單元，用于根據(jù)Q矩陣的定義= +更新Q矩






s eS陣； 狀態(tài)更新單元，用于更新當(dāng)前狀態(tài)，并判斷當(dāng)前狀態(tài)是否為終止?fàn)顟B(tài)Sp在判斷結(jié)果為非終止?fàn)顟B(tài)時(shí)，返回所述動(dòng)作執(zhí)行單元； 學(xué)習(xí)周期判斷單元，用于在所述狀態(tài)更新單元判斷當(dāng)前狀態(tài)為終止?fàn)顟B(tài)時(shí)，判斷是否達(dá)到設(shè)定的學(xué)習(xí)周期數(shù)，在判斷結(jié)果為未達(dá)到設(shè)定的學(xué)習(xí)周期數(shù)時(shí)，返回所述第二設(shè)置單元; 輸出單元，用于在所述學(xué)習(xí)周期判斷單元判斷達(dá)到設(shè)定的學(xué)習(xí)周期數(shù)時(shí)，輸出多態(tài)路由派生策略。
【文檔編號(hào)】G06F12/08GK104035889SQ201410272550
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2014年6月18日 優(yōu)先權(quán)日:2014年6月18日
【發(fā)明者】伊鵬, 胡宇翔, 王鵬, 申涓, 張巖, 于婧, 趙靚, 卜佑軍 申請(qǐng)人:中國(guó)人民解放軍信息工程大學(xué)