本發(fā)明實(shí)施例涉及網(wǎng)絡(luò)數(shù)據(jù)路由領(lǐng)域，并且更具體地，涉及網(wǎng)絡(luò)控制策略的生成方法、裝置及網(wǎng)絡(luò)控制器，以及其應(yīng)用的網(wǎng)絡(luò)數(shù)據(jù)路由方法及裝置。

背景技術(shù)：

傳統(tǒng)網(wǎng)絡(luò)控制策略生成過程一般是將問題轉(zhuǎn)化為一系列的優(yōu)化問題。優(yōu)化問題的輸入為網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，網(wǎng)絡(luò)中鏈路的帶寬，網(wǎng)絡(luò)的流量矩陣等；而優(yōu)化問題的解則一般為優(yōu)化得到的網(wǎng)絡(luò)端到端的路徑，或者是發(fā)送端的發(fā)送速率等。傳統(tǒng)網(wǎng)絡(luò)控制策略生成方法具有如下的缺陷：1、優(yōu)化問題一般通過線性規(guī)劃或者整數(shù)規(guī)劃得到。受限于線性規(guī)劃或者整數(shù)規(guī)劃的復(fù)雜度，該方法可擴(kuò)展性比較弱，尤其是隨著網(wǎng)元數(shù)量，業(yè)務(wù)類型和流量的不斷增加，優(yōu)化求解將變得過于復(fù)雜而無法求解或求解代價(如計算時間)過大。同時這種通過離線優(yōu)化的方案難以實(shí)現(xiàn)動態(tài)即時的策略調(diào)整。2、當(dāng)網(wǎng)絡(luò)狀態(tài)信息，比如拓?fù)浒l(fā)生變化(節(jié)點(diǎn)增加或減少)，需要重新進(jìn)行優(yōu)化問題求解。重新求解優(yōu)化問題，一方面具有明顯滯后性，另一方面需要大量的人力配置以使優(yōu)化模型適應(yīng)新的場景。這些缺陷使得由傳統(tǒng)網(wǎng)絡(luò)控制策略生成方法生成的網(wǎng)絡(luò)控制策略導(dǎo)致網(wǎng)絡(luò)控制效率低下。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制策略的生成方法、裝置及網(wǎng)絡(luò)控制器，具有自我學(xué)習(xí)功能，能夠自適應(yīng)的動態(tài)調(diào)整控制策略。

第一方面，本發(fā)明實(shí)施例提供，一種網(wǎng)絡(luò)控制策略的生成方法，應(yīng)用于SDN網(wǎng)絡(luò)，所述方法包括：

獲取網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)；

根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況；

接收當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流，對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果；

應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作；

根據(jù)所述控制動作控制所述網(wǎng)絡(luò)，并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信 息；

根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)包括網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)，所述網(wǎng)絡(luò)狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，在所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)狀態(tài)信息之前，所述方法還包括：

發(fā)送狀態(tài)采集命令；

接收根據(jù)所述狀態(tài)采集命令采集得到的網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)；

對應(yīng)地，所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)狀態(tài)信息具體包括：

根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前鏈路情況、網(wǎng)絡(luò)中當(dāng)前網(wǎng)元隊列情況、網(wǎng)絡(luò)當(dāng)前數(shù)據(jù)流分布情況。

結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)狀態(tài)信息還包括網(wǎng)絡(luò)歷史狀態(tài)信息，所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息之前，所述方法還包括：

從數(shù)據(jù)庫獲取網(wǎng)絡(luò)歷史狀態(tài)信息；

對應(yīng)地，所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息包括：根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息和所述網(wǎng)絡(luò)歷史狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息。

結(jié)合第一方面、第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式中任意一種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，

所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息為：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

結(jié)合第一方面、第一方面的第一種可能的實(shí)現(xiàn)方式至第一方面的第三種可能的實(shí)現(xiàn)方式中任意一種可能的實(shí)現(xiàn)方式，在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果，包括：

提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，在第二方面的第五種可能的實(shí)現(xiàn)方式中，所述應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所 述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作為：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t表示所述網(wǎng)絡(luò)狀態(tài)信息，其中l(wèi)_i表示所述數(shù)據(jù)流的標(biāo)簽，其中i表示第i個數(shù)據(jù)流，其中π_t表示所述當(dāng)前網(wǎng)絡(luò)控制策略，其中表示以S_t，l_i作為條件變量的當(dāng)前網(wǎng)絡(luò)控制策略下a的概率分布，其中a為控制變量，在所述控制變量a的概率分布中隨機(jī)采樣得到所述控制動作a_i。

第二方面，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制策略的生成方法，應(yīng)用于SDN網(wǎng)絡(luò)，所述方法包括：

接收網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果；其中，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的；

應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作；所述控制動作用于控制所述網(wǎng)絡(luò)并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息；

接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，其中所述預(yù)測的方法為：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的，其中所述預(yù)處理的方法包括：

提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

第三方面，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制策略的生成方法，應(yīng)用于SDN網(wǎng)絡(luò)，所述方法包括：從所述SDN網(wǎng)絡(luò)接收反饋信息，并將所述反饋信息轉(zhuǎn)發(fā)給控制模塊，用于使所述控制模塊根據(jù)所述反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略；其中，所述反饋信息是根據(jù)上一時刻網(wǎng)絡(luò)運(yùn)行中所述控制模塊發(fā)出的控制動 作對所述網(wǎng)絡(luò)進(jìn)行控制得到的。

第四方面，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制策略的生成裝置，應(yīng)用于SDN網(wǎng)絡(luò)，所述裝置包括：

獲取模塊，用于獲取網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)；

預(yù)測模塊，用于根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況；

流數(shù)據(jù)預(yù)處理模塊，用于接收當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流，對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果；

控制模塊，用于應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作；

執(zhí)行模塊，用于根據(jù)所述控制動作控制所述網(wǎng)絡(luò)，并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息；

所述控制模塊還用于接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

結(jié)合第四方面，在第四方面的第一種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)包括網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)，所述網(wǎng)絡(luò)狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，所述預(yù)測模塊具體用于：

發(fā)送狀態(tài)采集命令；

接收根據(jù)所述狀態(tài)采集命令采集得到的網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)；

根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前鏈路情況、網(wǎng)絡(luò)中當(dāng)前網(wǎng)元隊列情況、網(wǎng)絡(luò)當(dāng)前數(shù)據(jù)流分布情況。

結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式，在第四方面的第二種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)狀態(tài)信息還包括網(wǎng)絡(luò)歷史狀態(tài)信息，所述預(yù)測模塊還用于：從數(shù)據(jù)庫獲取網(wǎng)絡(luò)歷史狀態(tài)信息；并根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息和所述網(wǎng)絡(luò)歷史狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息。

結(jié)合第四方面、第四方面的第一種可能的實(shí)現(xiàn)方式或第四方面的第二種可能的實(shí)現(xiàn)方式中任意一種可能的實(shí)現(xiàn)方式，在第四方面的第三種可能的實(shí)現(xiàn)方式中，所述預(yù)測模塊具體用于：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

結(jié)合第四方面、第四方面的第一種可能的實(shí)現(xiàn)方式至第四方面的第三種可能的實(shí)現(xiàn)方式中任意一種可能的實(shí)現(xiàn)方式，在第四方面的第四種可能的實(shí)現(xiàn)方式中，所述流數(shù)據(jù)預(yù)處理模塊包括：

提取單元，用于提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包 長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

挖掘分析單元，用于通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

標(biāo)識單元，用于根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

結(jié)合第四方面的第四種可能的實(shí)現(xiàn)方式，在第四方面的第五種可能的實(shí)現(xiàn)方式中，所述控制模塊具體用于：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t表示所述網(wǎng)絡(luò)狀態(tài)信息，其中l(wèi)_i表示所述數(shù)據(jù)流的標(biāo)簽，其中i表示第i個數(shù)據(jù)流，其中π_t表示所述當(dāng)前網(wǎng)絡(luò)控制策略，其中表示以S_t，l_i作為條件變量的當(dāng)前網(wǎng)絡(luò)控制策略下a的概率分布，其中a為控制變量，在所述控制變量a的概率分布中隨機(jī)采樣得到所述控制動作a_i。

第五方面，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制策略的生成裝置，應(yīng)用于SDN網(wǎng)絡(luò)，所述裝置包括：

接收模塊，用于接收網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果；其中，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的；

控制模塊，用于應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作，所述控制動作用于控制所述網(wǎng)絡(luò)并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息；

所述控制模塊還用于接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

結(jié)合第五方面，在第五方面的第一種可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的具體為：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

結(jié)合第五方面或第五方面的第一種可能的實(shí)現(xiàn)方式，在第五方面的第二種可能的實(shí)現(xiàn)方式中，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的具體包括：

提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處 理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

第六方面，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制器，應(yīng)用于SDN網(wǎng)絡(luò)，用于從所述SDN網(wǎng)絡(luò)接收反饋信息，并將所述反饋信息轉(zhuǎn)發(fā)給控制模塊，用于使所述控制模塊根據(jù)所述反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略；其中，所述反饋信息是根據(jù)上一時刻網(wǎng)絡(luò)運(yùn)行中所述控制模塊發(fā)出的控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的。

本發(fā)明中根據(jù)網(wǎng)絡(luò)狀態(tài)信息預(yù)測網(wǎng)絡(luò)下一時刻狀態(tài)信息，并對當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果，從而應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作，根據(jù)該控制動作控制所述網(wǎng)絡(luò)以得到反饋信息，所述反饋信息是根據(jù)所述控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的，最后根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對本發(fā)明實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是部署本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法的數(shù)據(jù)傳輸網(wǎng)絡(luò)架構(gòu)圖；

圖2是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200的示意性流程圖；

圖3是本發(fā)明實(shí)施例提供的執(zhí)行網(wǎng)絡(luò)控制策略的生成方法200的結(jié)構(gòu)圖示例；

圖4是本發(fā)明實(shí)施例提供的執(zhí)行網(wǎng)絡(luò)控制策略的生成方法200的另一結(jié)構(gòu)圖示例；

圖5是本發(fā)明實(shí)施例提供的執(zhí)行網(wǎng)絡(luò)控制策略的生成方法200的又一結(jié)構(gòu)圖示例；

圖6是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法600的示意性流程圖；

圖7是本發(fā)明實(shí)施例提供的執(zhí)行網(wǎng)絡(luò)控制策略的生成方法600的結(jié)構(gòu)圖示例；

圖8是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法800的示意性流程圖；

圖9是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成裝置900的結(jié)構(gòu)框圖；

圖10是本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成裝置1000的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都應(yīng)屬于本發(fā)明保護(hù)的范圍。

本發(fā)明所提供的網(wǎng)絡(luò)控制策略的生成方法可以在如圖1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)100中部署和實(shí)施。所述數(shù)據(jù)傳輸網(wǎng)絡(luò)100包括有中央控制服務(wù)器110，源服務(wù)器120，網(wǎng)絡(luò)交換機(jī)130，傳輸網(wǎng)絡(luò)140，客戶端設(shè)備150，預(yù)測服務(wù)器160，及訓(xùn)練服務(wù)器170。

所述中央控制服務(wù)器110為所述傳輸網(wǎng)絡(luò)100的核心處理設(shè)備，其分別與網(wǎng)絡(luò)交換機(jī)130，傳輸網(wǎng)絡(luò)140，客戶端設(shè)備150，預(yù)測服務(wù)器160及訓(xùn)練服務(wù)器170相互連接，用于與網(wǎng)絡(luò)交換機(jī)130，傳輸網(wǎng)絡(luò)140，訓(xùn)練服務(wù)器170及預(yù)測服務(wù)器160進(jìn)行信息交流，指令傳遞及網(wǎng)絡(luò)數(shù)據(jù)傳輸。同時，源服務(wù)器120，網(wǎng)絡(luò)交換機(jī)130，傳輸網(wǎng)絡(luò)140，客戶端設(shè)備150，訓(xùn)練服務(wù)器170及預(yù)測服務(wù)器160之間可以根據(jù)不同的業(yè)務(wù)需求及功能需求相互連接，進(jìn)行信息及指令的交互。以下，將詳細(xì)介紹各個設(shè)備的功能及組成。

中央控制服務(wù)器110主要由處理器、存儲器及數(shù)據(jù)接口等主要部件組成，處理器主要通過調(diào)用存儲在存儲設(shè)備中的處理程序以完成相應(yīng)處理功能，而數(shù)據(jù)接口則主要負(fù)責(zé)中央服務(wù)器110內(nèi)部的各個器件之間以及中央處理服務(wù)器110與外部組件之間的數(shù)據(jù)收發(fā)。所述的處理器，可以是通用處理器、數(shù)字信號處理器(Digital Signal Processor，DSP)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現(xiàn)成可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件?？梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明以下實(shí)施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開的方法中的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成，或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存取存儲器(Random Access Memory，RAM)、閃存、只讀存儲器(Read-Only Memory，ROM)、可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領(lǐng)域成熟的存儲介質(zhì)中。

所述中央控制服務(wù)器110通過數(shù)據(jù)接口接受網(wǎng)絡(luò)交互機(jī)130上報的路由請求，該路由請求中包括了將要路由的當(dāng)前數(shù)據(jù)流信息，并將所述路由請求中的當(dāng)前數(shù)據(jù)流信息通過數(shù)據(jù)接口發(fā)送至預(yù)測服務(wù)器160。預(yù)測服務(wù)器160根據(jù)當(dāng)前數(shù)據(jù)流的信息，將網(wǎng)絡(luò)下一時刻狀態(tài)信息作為預(yù)測結(jié)果發(fā)送給中央控制服務(wù)器110，中央控制服務(wù)器110的中央處理器將調(diào)用存儲器中預(yù)存的處理程序，根據(jù)預(yù)測服務(wù)器160返回的預(yù)測結(jié)果及調(diào)用的存儲器中存儲的當(dāng)前網(wǎng)絡(luò)控制策略，生成控制動作該控制動作中包含與當(dāng)前數(shù)據(jù)流的類型匹配的最優(yōu)的傳輸路徑，隨后，中央控制服務(wù)器110將根據(jù)所述最優(yōu)的傳輸路徑配置針對當(dāng)前數(shù)據(jù)流的路由，并將配置好的路由發(fā)送給網(wǎng)絡(luò)交換機(jī)130。此外，所述中央控制服務(wù)器110還用于通過其數(shù)據(jù)接口收集由所述網(wǎng)絡(luò)交換機(jī)130上報的已經(jīng)完成路由的歷史數(shù)據(jù)流信息，并根據(jù)路由前數(shù)據(jù)和路由后數(shù)據(jù)得到反饋信息，并將反饋信息發(fā)送給訓(xùn)練服務(wù)器170，訓(xùn)練服務(wù)器170根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

源服務(wù)器120主要由處理器、存儲器及數(shù)據(jù)接口等主要部件組成，處理器主要用于通過數(shù)據(jù)接口將存儲在存儲器內(nèi)的數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)交換機(jī)130及傳輸網(wǎng)絡(luò)140發(fā)送給客戶端設(shè)備150。

網(wǎng)絡(luò)交換機(jī)130，其主要任務(wù)是對新進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流，即當(dāng)前數(shù)據(jù)流，提取數(shù)據(jù)流第一個數(shù)據(jù)包的報頭，并上報給中央控制服務(wù)器110，等待并根據(jù)中央控制服務(wù)器110計算和配置的路由對當(dāng)前數(shù)據(jù)流的數(shù)據(jù)包進(jìn)行轉(zhuǎn)發(fā)。同時，網(wǎng)絡(luò)交換機(jī)130還將收集已完成路由的歷史數(shù)據(jù)流信息的收集，并上報給中央控制服務(wù)器110。

傳輸網(wǎng)絡(luò)140，其由傳輸線纜和多個網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成，主要用于根據(jù)網(wǎng)絡(luò)交換機(jī)130的指令進(jìn)行數(shù)據(jù)傳輸。

客戶端設(shè)備150，由處理器、存儲器及數(shù)據(jù)接口等主要部件組成，處理器主要用于將客戶的數(shù)據(jù)請求通過數(shù)據(jù)接口及網(wǎng)絡(luò)交換機(jī)130發(fā)送至源服務(wù)器120，并將源服務(wù)器120通過網(wǎng)絡(luò)交換機(jī)130及傳輸網(wǎng)絡(luò)140發(fā)送的數(shù)據(jù)內(nèi)容存儲在存儲器中。

預(yù)測服務(wù)器160，可以是獨(dú)立的處理設(shè)備，例如由獨(dú)立的處理器，存儲器，數(shù)據(jù)接口組成，所述處理器主要用于調(diào)用存儲在所述存儲器中的處理程序?qū)νㄟ^數(shù)據(jù)接口接收到的當(dāng)前數(shù)據(jù)流的信息進(jìn)行處理，以對網(wǎng)絡(luò)下一時刻狀態(tài)信息進(jìn)行預(yù)測，并將預(yù)測得到的網(wǎng)絡(luò)下一時刻狀態(tài)信息通過數(shù)據(jù)接口發(fā)送至中央控制服務(wù)器110。其中，所述當(dāng)前數(shù)據(jù)流的信息來自于中央控制服務(wù)器110。此外，預(yù)測服務(wù)器160，也可以是依附于中央控制服務(wù)器110的一個工作單元，即與中央控制服務(wù)器110共用相同存儲器，數(shù)據(jù)接口，但 采用不同的處理器，此時，預(yù)測服務(wù)器160與所述中央控制服務(wù)器110之間的數(shù)據(jù)傳輸主要通過中央控制服務(wù)器110內(nèi)部的數(shù)據(jù)總線完成。此外，所述預(yù)測服務(wù)器160也可以和中央控制服務(wù)器110共用相同的處理器，所述共用的方式可以是通過利用處理器中不同的處理資源進(jìn)行同步(并行處理)或者異步(分時處理)數(shù)據(jù)處理，或者是利用處理器中相同的處理資源進(jìn)行異步(分時處理)處理。此外，所述預(yù)測服務(wù)器160也可以通過虛擬機(jī)來實(shí)現(xiàn)，即由中央控制服務(wù)器110利用自身的處理器，存儲器，數(shù)據(jù)接口，通過調(diào)用存儲在存儲器中的程序模擬出具有完整的硬件系統(tǒng)功能的、運(yùn)行在一個完全隔離環(huán)境中的完整計算機(jī)系統(tǒng)，該計算機(jī)系統(tǒng)可以獨(dú)立完成所有預(yù)測服務(wù)器160所需完成的工作而不影響中央控制服務(wù)器110自身的運(yùn)行。可以理解，所述預(yù)測服務(wù)器160可以進(jìn)一步簡化為存儲在中央控制服務(wù)器110的存儲器中的一個軟件程序，該軟件程序由中央控制服務(wù)器110在適合的時機(jī)調(diào)用，以實(shí)現(xiàn)上述的網(wǎng)絡(luò)下一時刻狀態(tài)信息預(yù)測功能。

訓(xùn)練服務(wù)器170，可以是獨(dú)立的處理設(shè)備，由處理器、存儲器及數(shù)據(jù)接口等主要部件組成，所述處理器主要用于根據(jù)接收到的反饋信息對調(diào)用的存儲于所述存儲器中的當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略，，并將該下一時刻網(wǎng)絡(luò)控制策略存儲在存儲器中供下一次循環(huán)的調(diào)用。與預(yù)測服務(wù)器160相同，所述訓(xùn)練服務(wù)器170也可以是依附于中央控制服務(wù)器110的一個工作單元，即與中央控制服務(wù)器110共用相同存儲器，數(shù)據(jù)接口，但采用不同的處理器，此時，訓(xùn)練服務(wù)器170與中央控制服務(wù)器110之間的數(shù)據(jù)傳輸主要通過中央控制服務(wù)器110內(nèi)部的數(shù)據(jù)總線完成。此外，訓(xùn)練服務(wù)器170也可以和中央控制服務(wù)器110共用相同的處理器，所述共用的方式可以是通過利用處理器的不同的處理資源進(jìn)行同步(并行處理)或者異步(分時處理)的數(shù)據(jù)處理，或者是利用處理器中相同的處理資源進(jìn)行異步(分時處理)數(shù)據(jù)處理。此外，訓(xùn)練服務(wù)器170也可以通過虛擬機(jī)來實(shí)現(xiàn)，即由中央控制服務(wù)器110利用自身的處理器，存儲器，數(shù)據(jù)接口，通過調(diào)用存儲在所述存儲器中的程序模擬出具有完整的硬件系統(tǒng)功能的、運(yùn)行在一個完全隔離環(huán)境中的完整計算機(jī)系統(tǒng)，該計算機(jī)系統(tǒng)可以獨(dú)立完成所有訓(xùn)練服務(wù)器170所需完成的工作。可以理解，訓(xùn)練服務(wù)器170可以進(jìn)一步簡化為存儲在中央控制服務(wù)器110的存儲器中的一個軟件程序，該軟件程序由所述中央控制服務(wù)器110在適合的時機(jī)調(diào)用，以實(shí)現(xiàn)上述的對當(dāng)前網(wǎng)絡(luò)控制策略的實(shí)時調(diào)整及實(shí)時更新。

以上為實(shí)現(xiàn)本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)流類型檢測的硬件環(huán)境，但需要注意的是，上述硬件環(huán)境并不是執(zhí)行本發(fā)明的唯一方式，其可以根據(jù)硬件資源，以及業(yè)務(wù)需求，即數(shù)據(jù)傳輸需求動態(tài)的調(diào)整，例如將央控制服務(wù)器110，網(wǎng)絡(luò)交換機(jī)130，預(yù)測服務(wù)器160及訓(xùn)練服務(wù) 器170集中在一個數(shù)據(jù)控制中心，以提高處理效率。

即，本發(fā)明的方法可以基于上述的應(yīng)用環(huán)境來進(jìn)行部署及實(shí)施。以下將結(jié)合附圖來介紹本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)流類型檢測方法。

實(shí)施例一：

圖2是根據(jù)本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200的示意性流程圖。該網(wǎng)絡(luò)控制策略的生成方法200應(yīng)用于SDN網(wǎng)絡(luò)。

S201，獲取網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)。

所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)是用于表示網(wǎng)絡(luò)狀態(tài)的原始數(shù)據(jù)。

S203，根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況。

需要說明書的，我們從具有低層次物理含義的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)中估計出具有高層次物理含義的網(wǎng)絡(luò)狀態(tài)信息，這個網(wǎng)絡(luò)狀態(tài)信息是帶有時效性的，即t時刻(我們可以稱之為當(dāng)前時刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況；在t-1時刻(我們可以稱之為歷史時刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t-1時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況；在t+1時刻(我們可以稱之為下一時刻或?qū)頃r刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t+1時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況，此處不再贅述。

S205，接收當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流，對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果。

具體的，所述預(yù)處理可以包括但不限于通過聚類、分類、回歸或因果分析等方式進(jìn)行處理。

S207，應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作。

S209，根據(jù)所述控制動作控制所述網(wǎng)絡(luò)，并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息。

S211，根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

需要說明的是，本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200中雖然以S201、S203、S205……等依次增大的數(shù)字進(jìn)行步驟描述，但這些數(shù)字并不對本方案中的具體步驟順序進(jìn)行限制，例如，在本方案中S203與S205就沒有這樣的順序限制，它們可以同時發(fā)生，也可以S203早于S205，還可以S203晚于S205發(fā)生。即本發(fā)明實(shí)施例中的步驟順序只與數(shù)據(jù)流的走向相關(guān)，不與描述的先后相關(guān)。

本發(fā)明實(shí)施例根據(jù)網(wǎng)絡(luò)狀態(tài)信息預(yù)測網(wǎng)絡(luò)下一時刻狀態(tài)信息，并對當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果，從而應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作，根據(jù)該控制動作控制所述網(wǎng)絡(luò)以得到反饋信息，所述反饋信息是根據(jù)所述控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的，最后根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。在下一次網(wǎng)絡(luò)數(shù)據(jù)過來時，循環(huán)此過程，最后基于下一次的反饋信息對本次實(shí)時調(diào)整后得到的下一時刻網(wǎng)絡(luò)控制策略再進(jìn)行相應(yīng)地實(shí)時調(diào)整，并由此循環(huán)下去。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

具體的，上述實(shí)施例可以在圖3所示的結(jié)構(gòu)上實(shí)現(xiàn)。例如，在控制系統(tǒng)300中，通過周期性的或者隨機(jī)觸發(fā)的向網(wǎng)絡(luò)中發(fā)出采集網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令(圖中用線段①表示)，SDN控制器基于命令收集這些網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令并轉(zhuǎn)發(fā)(圖中用線段②表示)給相應(yīng)的處理裝置，由相應(yīng)的處理裝置根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計出網(wǎng)絡(luò)狀態(tài)信息，并由網(wǎng)絡(luò)狀態(tài)信息預(yù)測出網(wǎng)絡(luò)下一時刻的狀態(tài)信息，值得說明的是，對應(yīng)于網(wǎng)絡(luò)下一時刻的狀態(tài)信息，此處的網(wǎng)絡(luò)狀態(tài)信息用于描述與下一時刻不同的網(wǎng)絡(luò)狀態(tài)信息，比如網(wǎng)絡(luò)歷史時刻狀態(tài)信息或者網(wǎng)絡(luò)當(dāng)前狀態(tài)信息。同時的，或者早于，或者晚于網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)收集及網(wǎng)絡(luò)狀態(tài)信息估計等動作的時序，SDN控制器將進(jìn)入網(wǎng)絡(luò)的當(dāng)前數(shù)據(jù)流實(shí)時的轉(zhuǎn)發(fā)(圖中用線段③表示)給另一個相應(yīng)的處理裝置，這個相應(yīng)的處理裝置對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理從而得到數(shù)據(jù)流預(yù)處理結(jié)果，之所以要強(qiáng)調(diào)數(shù)據(jù)流預(yù)處理的動作與網(wǎng)絡(luò)狀態(tài)信息估計及網(wǎng)絡(luò)下一時刻狀態(tài)信息預(yù)測動作的先后順序可以是同時，或早于或晚于，是因?yàn)樵诂F(xiàn)實(shí)方案的運(yùn)行中，原本對此處并不做額外限定，因此無論以何順序執(zhí)行上述動作均在本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)，不再贅述。網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信 息及數(shù)據(jù)流預(yù)處理結(jié)果作為控制模塊的輸入信息，并且，控制模塊將調(diào)用緩存設(shè)備中或存儲器中的當(dāng)前網(wǎng)絡(luò)控制策略，利用網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信息及數(shù)據(jù)流預(yù)處理結(jié)果這些信息根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，并將該控制動作輸出給SDN控制器(圖中用線段④表示)，SDN控制器根據(jù)該控制動作對網(wǎng)絡(luò)執(zhí)行具體的控制命令。網(wǎng)絡(luò)將根據(jù)該控制動作產(chǎn)生的控制效果作為反饋信息反饋(圖中用線段⑤表示)給SDN控制器，SDN控制器將該反饋信息轉(zhuǎn)發(fā)(圖中用線段⑤表示)給控制模塊，控制模塊根據(jù)反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略，并由控制模塊的緩存設(shè)備對該實(shí)時的網(wǎng)絡(luò)控制策略進(jìn)行緩存或?qū)⑵浯鎯υ诖鎯ζ髦辛舸乱淮窝h(huán)的備用。這樣，第一次循環(huán)生成的控制動作是針對該次循環(huán)時刻或時期下網(wǎng)絡(luò)所需要的最優(yōu)的控制動作，這個控制動作被執(zhí)行之后產(chǎn)生本次反饋信息，由反饋信息得到的下一時刻網(wǎng)絡(luò)控制策略，這個下一時刻網(wǎng)絡(luò)控制策略將作為下一次循環(huán)中的當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)入下一次循環(huán)，由此展開接下來第二次循環(huán)，第三次循環(huán)，第四次循環(huán)……以保證在每一個當(dāng)前時刻都有針對該當(dāng)前時刻下的網(wǎng)絡(luò)狀態(tài)及數(shù)據(jù)流信息進(jìn)行最優(yōu)的控制從而提高整個控制系統(tǒng)的控制效率，不再贅述。

值得說明的是，上述圖3所示的結(jié)構(gòu)是本方法的一種示例，并不作為唯一的結(jié)構(gòu)限制，凡是依本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200進(jìn)行網(wǎng)絡(luò)控制策略的生成或網(wǎng)絡(luò)控制等，就應(yīng)該被納入本發(fā)明保護(hù)范圍內(nèi)，不再贅述。

具體的，如S203步驟所解釋，網(wǎng)絡(luò)狀態(tài)信息是帶有時效性的，對應(yīng)地，網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)也應(yīng)該是帶有時效性的，即可以有當(dāng)前時刻的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)及網(wǎng)絡(luò)狀態(tài)信息，還可以有歷史時刻的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)和網(wǎng)絡(luò)狀態(tài)信息。

具體來看，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)包括網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)，所述網(wǎng)絡(luò)狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，在上述實(shí)施例提供的方法的基礎(chǔ)上，本發(fā)明實(shí)施例提供另一種可選的實(shí)施方式：

在S203根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)狀態(tài)信息之前，所述方法還包括：

發(fā)送狀態(tài)采集命令；

接收根據(jù)所述狀態(tài)采集命令采集得到的網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)；

對應(yīng)地，S203、所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)狀態(tài)信息具體包括：

根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前鏈路情況、網(wǎng)絡(luò)中當(dāng)前網(wǎng)元隊列情況、網(wǎng)絡(luò)當(dāng)前數(shù)據(jù)流分布情況。

如上所述，所述網(wǎng)絡(luò)狀態(tài)信息還可以包括網(wǎng)絡(luò)歷史狀態(tài)信息(同理，所述網(wǎng)絡(luò)狀態(tài) 數(shù)據(jù)也還可以包括網(wǎng)絡(luò)歷史狀態(tài)數(shù)據(jù))，所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息之前，所述方法還可以包括：

從數(shù)據(jù)庫獲取網(wǎng)絡(luò)歷史狀態(tài)信息；這里的數(shù)據(jù)庫可以是預(yù)存在存儲器中數(shù)據(jù)信息。

對應(yīng)地，所述根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息包括：根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息和所述網(wǎng)絡(luò)歷史狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息。

具體的，根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)網(wǎng)絡(luò)狀態(tài)信息預(yù)測網(wǎng)絡(luò)下一時刻狀態(tài)信息可以通過如下方式實(shí)現(xiàn)：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

其中，需要說明的是，根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息的方法，現(xiàn)實(shí)中比較常見，我們通過舉例來說明，例如：我們可以根據(jù)采集到的交換機(jī)端口計數(shù)器數(shù)據(jù)，估計交換機(jī)的鏈路利用率；又比如可以通過采集到的交換機(jī)隊列計數(shù)器數(shù)據(jù)，估計交換機(jī)延遲；再比如通過采集到的交換機(jī)流表數(shù)據(jù)，估計網(wǎng)絡(luò)中的活躍數(shù)據(jù)流數(shù)量等等。具體的估計方法細(xì)節(jié)此處無需贅述，本領(lǐng)域相關(guān)技術(shù)人員應(yīng)該理解。

具體的，上述方案可以在圖4所示的結(jié)構(gòu)上實(shí)現(xiàn)，例如，SDN控制器實(shí)時的、或周期性的、亦或由事件觸發(fā)型的向網(wǎng)絡(luò)發(fā)出網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)采集命令(圖中用線段①表示)，SDN控制器收集該采集得到的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)D_t并將D_t轉(zhuǎn)發(fā)(圖中用線段②表示)給相應(yīng)的處理裝置，在圖4的示例中我們叫它狀態(tài)估計器，該狀態(tài)估計器根據(jù)D_t估計出網(wǎng)絡(luò)狀態(tài)信息S_t，此處的S_t用來表示網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，S_t作為狀態(tài)預(yù)測器的輸入(在另一種實(shí)施例中S_t和來自數(shù)據(jù)庫中的網(wǎng)絡(luò)歷史狀態(tài)信息S_t-1,S_t-2,...一起作為狀態(tài)預(yù)測器的輸入)，狀態(tài)預(yù)測器根據(jù)上述輸入信息進(jìn)行預(yù)測得到網(wǎng)絡(luò)下一時刻狀態(tài)信息具體的預(yù)測方法可以為上述方法，此處的f具體表示的函數(shù)形式此處不做限定。值得說明的是，我們根據(jù)當(dāng)前時刻或根據(jù)當(dāng)前時刻及歷史時刻的網(wǎng)絡(luò)狀態(tài)信息預(yù)測得到不一定只能是下一時刻的網(wǎng)絡(luò)狀態(tài)信息，即上文所述的網(wǎng)絡(luò)下一時刻狀態(tài)信息，還有可能是下兩個時刻，三個時刻……，我們可以管這個狀態(tài)信息叫做未來時刻的狀態(tài)信息，其預(yù)測思路與預(yù)測下一時刻的思路一致，另外，如圖4所示，我們將估計得到的S_t存儲在數(shù)據(jù)庫中，具體可以存儲在數(shù)據(jù)庫緩存設(shè)備中或存儲器中，以形成下一時刻的網(wǎng)絡(luò)歷史狀態(tài)信息留待備用。

值得說明的是，上述圖4所示的結(jié)構(gòu)是本方法的一種示例，并不作為唯一的結(jié)構(gòu)限制，凡是依本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200進(jìn)行網(wǎng)絡(luò)控制策略的生成或網(wǎng)絡(luò)控制等，就應(yīng)該被納入本發(fā)明保護(hù)范圍內(nèi)，不再贅述。

具體的，S205、對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果可以按如下方法實(shí) 施：

提取所述數(shù)據(jù)流的特征，所述特征包括但不限于數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果，該預(yù)處理結(jié)果可以是標(biāo)簽本身，此處所述的標(biāo)簽可以是標(biāo)識，或者別的相關(guān)的用于區(qū)分流類型和/或流間關(guān)系的標(biāo)記。

具體的，所述步驟S207，應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作具體可以以下述方式實(shí)現(xiàn)：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t表示所述網(wǎng)絡(luò)狀態(tài)信息，其中l(wèi)_i表示所述數(shù)據(jù)流的標(biāo)簽，其中i表示第i個數(shù)據(jù)流，其中π_t表示所述當(dāng)前網(wǎng)絡(luò)控制策略，其中表示以S_t，l_i作為條件變量的當(dāng)前網(wǎng)絡(luò)控制策略下a的概率分布，其中a為控制變量，在所述控制變量a的概率分布中隨機(jī)采樣得到所述控制動作a_i。

具體的，上述方案可以在圖5所示的結(jié)構(gòu)上實(shí)現(xiàn)，例如，SDN控制器將當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流轉(zhuǎn)發(fā)給相應(yīng)的處理裝置，在圖5示例中我們叫它特征提取模塊，特征提取模塊提取所述數(shù)據(jù)流的特征，并利用提取的特征進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理。具體可以如下操作：

對數(shù)據(jù)流進(jìn)行特征提取，具體可以通過X_i＝F(f_i)進(jìn)行特征提取，其中f_i表示第i個數(shù)據(jù)流，F(xiàn)表示特征提取函數(shù)，X_i表示從數(shù)據(jù)流i中提取到的特征向量。將提取到的特征用x表示。x是一個高維的向量，如下所示：X＝{x₁,x₂...x_n}^T。

例如，一個從數(shù)據(jù)流中提取到的特征中，其所包含的時空信息可以包括但不限于：

源端地址(Source IP)，32位二進(jìn)制串；目的端地址(Destination IP)，32位二進(jìn)制串；服務(wù)器端口(Server Port)，16位二進(jìn)制串；客戶端端口(Client Port)，16位二進(jìn)制串；傳輸協(xié)議(Protocol)，類別類型；發(fā)送時間(Starting time)，實(shí)數(shù)類型；數(shù)據(jù)包長度序列(Packet length)，整數(shù)類型；數(shù)據(jù)包到達(dá)時間間隔序列(Packet inter-arrival time)：實(shí)數(shù)類型等。

所述預(yù)處理的具體方法包括：關(guān)于數(shù)據(jù)流的時空數(shù)據(jù)挖掘和/或因果關(guān)系挖掘。

其中，所述時空數(shù)據(jù)挖掘具體包括但不限于：

聚類(Clustering)：以數(shù)據(jù)流提取的特征全集或者是部分特征集合，作為特征向量，代表該數(shù)據(jù)流，對特征向量進(jìn)行聚類，可以獲得數(shù)據(jù)流的時空信息。比如，通過聚類，可以獲得協(xié)同流信息(Co-flow information)，即是可以分析哪一些數(shù)據(jù)流可能屬于同一個任務(wù)。

分類(Classification)：數(shù)據(jù)流往往可以根據(jù)其本身的性質(zhì)，進(jìn)行分類。比如，根據(jù)數(shù)據(jù)流長度(flow size)或者持續(xù)時間(duration)，可以將數(shù)據(jù)流分為大象流(elephant flow)和老鼠流(mice flow)。又比如，根據(jù)數(shù)據(jù)流產(chǎn)生的應(yīng)用，可以將數(shù)據(jù)流分為視頻流(video stream)，數(shù)據(jù)備份(data backup)等等。通過離線人工標(biāo)簽的方式，我們可以獲得訓(xùn)練數(shù)據(jù)，根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練分類器(Classifier)。利用分類器，在線實(shí)時地對數(shù)據(jù)流進(jìn)行分類。

回歸(Regression)：回歸與分類有類似的地方，即是根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到函數(shù)g，函數(shù)g將特征作為輸入，函數(shù)g輸出數(shù)據(jù)流某個特征，比如我們可以建立一個回歸模型，利用數(shù)據(jù)流的特征，估計數(shù)據(jù)流的長度。

其中，所述因果關(guān)系挖掘包括但不限于：

因果分析(Causal analysis)：數(shù)據(jù)流之間可能還存在因果關(guān)系。比如，某些客戶端可能通過向服務(wù)器端發(fā)送一些請求，而服務(wù)器端則相應(yīng)地做出響應(yīng)。在這種情形下，客戶端發(fā)送到服務(wù)器端以及服務(wù)器端發(fā)送到客戶端的數(shù)據(jù)流存在因果關(guān)系。假設(shè)我們研究網(wǎng)絡(luò)中頻繁交流的IP地址對(Source IP,Destination IP)之間發(fā)送的數(shù)據(jù)流之間是否有因果關(guān)系，我們可以將研究的時間劃分為多個時間段，定義為t時間段內(nèi)，從SourceIP發(fā)送到DestinnaItPio的數(shù)據(jù)流數(shù)量。我們研究與τ≥0是否有因果關(guān)系：

通過上述處理，得到處理結(jié)果，并根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到即圖中所示標(biāo)簽l_i，即所述數(shù)據(jù)流預(yù)處理結(jié)果。

值得說明的是，上述圖5所示的結(jié)構(gòu)是本方法的一種示例，并不作為唯一的結(jié)構(gòu)限制，凡是依本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法200進(jìn)行網(wǎng)絡(luò)控制策略的生成或網(wǎng)絡(luò)控制等，就應(yīng)該被納入本發(fā)明保護(hù)范圍內(nèi)，不再贅述。

實(shí)施例二：

圖6是根據(jù)本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法600的示意性流程圖。該網(wǎng)絡(luò)控制策略的生成方法600應(yīng)用于SDN網(wǎng)絡(luò)。

S601，接收網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果。

其中，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的。

S603，應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作。

所述控制動作用于控制所述網(wǎng)絡(luò)并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息。

S605，接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

具體的，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，其中所述預(yù)測的方法具體可以為：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

具體的，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的，其中所述預(yù)處理的方法具體可以為：

提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽，得到所述數(shù)據(jù)流預(yù)處理結(jié)果。

本發(fā)明實(shí)施例通過接收網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果，從而基于網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻狀態(tài)信息和數(shù)據(jù)流預(yù)處理結(jié)果，并根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，所述控制動作用于控制所述網(wǎng)絡(luò)以得到根據(jù)所述控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的反饋信息，最后，接收所述反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。在下一次網(wǎng)絡(luò)數(shù)據(jù)過來 時，循環(huán)此過程，最后基于下一次的反饋信息對本次實(shí)時調(diào)整后的網(wǎng)絡(luò)控制策略再進(jìn)行實(shí)時調(diào)整得到再下一個時刻網(wǎng)絡(luò)控制策略，并由此循環(huán)下去。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

具體的，上述實(shí)施例可以在圖3所示的結(jié)構(gòu)上實(shí)現(xiàn)。例如，在控制系統(tǒng)300中完整的方案實(shí)現(xiàn)過程應(yīng)該是：通過周期性的或者隨機(jī)觸發(fā)的向網(wǎng)絡(luò)中發(fā)出采集網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令，SDN控制器基于命令收集這些網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令并轉(zhuǎn)發(fā)給相應(yīng)的處理裝置，由相應(yīng)的處理裝置根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計出網(wǎng)絡(luò)狀態(tài)信息，并由網(wǎng)絡(luò)狀態(tài)信息預(yù)測出網(wǎng)絡(luò)下一時刻的狀態(tài)信息，值得說明的是，對應(yīng)于網(wǎng)絡(luò)下一時刻的狀態(tài)信息，此處的網(wǎng)絡(luò)狀態(tài)信息用于描述與下一時刻不同的網(wǎng)絡(luò)狀態(tài)信息，比如網(wǎng)絡(luò)歷史時刻狀態(tài)信息或者網(wǎng)絡(luò)當(dāng)前狀態(tài)信息。同時的，或者早于，或者晚于網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)收集及網(wǎng)絡(luò)狀態(tài)信息估計等動作的時序，SDN控制器將進(jìn)入網(wǎng)絡(luò)的當(dāng)前數(shù)據(jù)流實(shí)時的轉(zhuǎn)發(fā)給另一個相應(yīng)的處理裝置，這個相應(yīng)的處理裝置對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理從而得到數(shù)據(jù)流預(yù)處理結(jié)果，之所以要強(qiáng)調(diào)數(shù)據(jù)流預(yù)處理的動作與網(wǎng)絡(luò)狀態(tài)信息估計及網(wǎng)絡(luò)下一時刻狀態(tài)信息預(yù)測動作的先后順序可以是同時，或早于或晚于，是因?yàn)樵诂F(xiàn)實(shí)方案的運(yùn)行中，原本對此處并不做額外限定，因此無論以何順序執(zhí)行上述動作均在本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)，不再贅述。網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信息及數(shù)據(jù)流預(yù)處理結(jié)果作為控制模塊的輸入信息，并且，控制模塊將調(diào)用緩存設(shè)備中或存儲器中的當(dāng)前網(wǎng)絡(luò)控制策略，利用網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信息及數(shù)據(jù)流預(yù)處理結(jié)果這些信息根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，并將該控制動作輸出給SDN控制器，SDN控制器根據(jù)該控制動作對網(wǎng)絡(luò)執(zhí)行具體的控制命令。網(wǎng)絡(luò)將根據(jù)該控制動作產(chǎn)生的控制效果作為反饋信息反饋給SDN控制器，SDN控制器將該反饋信息轉(zhuǎn)發(fā)給控制模塊，控制模塊根據(jù)反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略，并由控制模塊的緩存設(shè)備對該下一時刻網(wǎng)絡(luò)控制策略進(jìn)行緩存或?qū)⑵浯鎯υ诖鎯ζ髦辛舸乱淮窝h(huán)的備用。這樣，第一次循環(huán)生成的控制動作是針對該次循環(huán)時刻或時期下網(wǎng)絡(luò)所需要的最優(yōu)的控制動作，這個控制動作被執(zhí)行之后產(chǎn)生本次反饋信息，由反饋信息得到下一時刻網(wǎng)絡(luò)控制 策略，這個下一時刻網(wǎng)絡(luò)控制策略將作為下一次循環(huán)中的當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)入下一次循環(huán)，由此展開接下來第二次循環(huán)，第三次循環(huán)，第四次循環(huán)……以保證在每一個當(dāng)前時刻都有針對該當(dāng)前時刻下的網(wǎng)絡(luò)狀態(tài)及數(shù)據(jù)流信息進(jìn)行最優(yōu)的控制從而提高整個控制系統(tǒng)的控制效率，不再贅述。本發(fā)明實(shí)施例所提供的方法執(zhí)行主體可以是結(jié)構(gòu)300中的控制模塊。

更具體的，上述方案還可以在圖7所示的結(jié)構(gòu)上實(shí)現(xiàn)，例如，控制模塊接收網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息以及數(shù)據(jù)流預(yù)處理結(jié)果，根據(jù)調(diào)用的策略π_t及接收的信息生成控制動作a_i，具體的通過如下方式進(jìn)行：其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t表示所述網(wǎng)絡(luò)狀態(tài)信息，其中l(wèi)_i表示所述數(shù)據(jù)流的標(biāo)簽，其中i表示第i個數(shù)據(jù)流，其中π_t表示所述當(dāng)前網(wǎng)絡(luò)控制策略，其中表示以S_t，l_i作為條件變量的當(dāng)前網(wǎng)絡(luò)控制策略下a的概率分布，其中a為控制變量，在所述控制變量a的概率分布中隨機(jī)采樣得到所述控制動作a_i，所述控制動作a_i服從的概率分布。具體的，可以如圖中所示采用Q學(xué)習(xí)的方法，或MDP(馬爾科夫決策過程)，或POMDP(部分可觀察馬爾科夫決策過程)進(jìn)行?？刂苿幼鱝_i被發(fā)送給SDN控制器，用于使SDN控制器去執(zhí)行該控制動作。網(wǎng)絡(luò)在接受控制動作a_i，從狀態(tài)s_t轉(zhuǎn)移到實(shí)際的狀態(tài)s_t+1時，反饋給控制模塊該控制動作所產(chǎn)生的回報R_t＝R(s_t,a_i,s_t+1)，我們把該回報叫做反饋信息。進(jìn)一步的，控制模塊根據(jù)該反饋信息相應(yīng)地對策略π_t進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略：π_t+1＝L(π_t,R_t)，其中L表示利用反饋對策略進(jìn)行調(diào)整的學(xué)習(xí)算法，其中π_t+1為下一時刻網(wǎng)絡(luò)控制策略。具體的，S為有限網(wǎng)絡(luò)狀態(tài)信息集合，A為有限控制動作集合，J(π)表示衡量策略優(yōu)越性的目標(biāo)函數(shù)，P(s_t+1|s_t,a_t)為系統(tǒng)在動作a_t的作用下，從狀態(tài)s_t轉(zhuǎn)移到狀態(tài)s_t+1的概率，R(s_t,a_t,s_t+1)為系統(tǒng)從狀態(tài)s_t轉(zhuǎn)移到s_t+1獲得的回報，π(a|s)為策略函數(shù)，表示在網(wǎng)絡(luò)狀態(tài)信息所描述的網(wǎng)絡(luò)狀態(tài)s采用控制動作a的概率，μ_π(s)為在策略π下狀態(tài)s的分布，則最佳的策略可以由如下的有限制優(yōu)化問題獲得：

假設(shè)在初始化的時候，我們通過離線收集到的數(shù)據(jù)：

(s₀,a₀,s′₀,R₀),(s₁,a₁,s′₁,R₁),…,(s_n,a_n,s′_n,R_n)

并學(xué)習(xí)得到初始化的網(wǎng)絡(luò)控制策略π₀，系統(tǒng)在初始化運(yùn)轉(zhuǎn)的時候通過網(wǎng)絡(luò)控制策略π₀控制網(wǎng)絡(luò)運(yùn)行，等收集足夠多新的數(shù)據(jù)集時，我們用新的數(shù)據(jù)集，重新學(xué)習(xí)得到新的網(wǎng)絡(luò)控制策略π₁，如此不斷循環(huán)(這個循環(huán)的過程可以離線進(jìn)行也可以在線進(jìn)行)，直到我們認(rèn)為一個足夠好的網(wǎng)絡(luò)控制策略可以被當(dāng)作上述方法200或600中的當(dāng)前網(wǎng)絡(luò)控制策略，則進(jìn)入上述提供的實(shí)施例中的第一個循環(huán)。

可選的，如圖7所示，在本方案實(shí)施例中，我們可以將該反饋信息存儲在控制模塊的緩存設(shè)備中或存儲器中，此處不做贅述。

值得說明的是，上述圖3和圖7所示的結(jié)構(gòu)是本方法的示例，并不作為唯一的結(jié)構(gòu)限制，凡是依本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法600進(jìn)行網(wǎng)絡(luò)控制策略的生成或網(wǎng)絡(luò)控制等，就應(yīng)該被納入本發(fā)明保護(hù)范圍內(nèi)，不再贅述。

實(shí)施例三：

圖8是根據(jù)本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成方法800的示意性流程圖。該網(wǎng)絡(luò)控制策略的生成裝置800應(yīng)用于SDN網(wǎng)絡(luò)。

S801，從所述網(wǎng)絡(luò)接收反饋信息。

S803，將所述反饋信息轉(zhuǎn)發(fā)給控制模塊，用于使所述控制模塊根據(jù)所述反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

本發(fā)明實(shí)施例接收反饋信息，并將所述反饋信息轉(zhuǎn)發(fā)給控制模塊，用于使所述控制模塊根據(jù)所述反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。在下一次網(wǎng)絡(luò)數(shù)據(jù)過來時，循環(huán)此過程，最后基于下一次的反饋信息對本次實(shí)時調(diào)整后網(wǎng)絡(luò)控制策略再進(jìn)行實(shí)時調(diào)整得到再下一個時刻網(wǎng)絡(luò)控制策略，并由此循環(huán)下去。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

具體的，上述實(shí)施例可以在圖3所示的結(jié)構(gòu)上實(shí)現(xiàn)。例如，在控制系統(tǒng)300中完整 的方案實(shí)現(xiàn)過程應(yīng)該是：通過周期性的或者隨機(jī)觸發(fā)的向網(wǎng)絡(luò)中發(fā)出采集網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令，SDN控制器基于命令收集這些網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)命令并轉(zhuǎn)發(fā)給相應(yīng)的處理裝置，由相應(yīng)的處理裝置根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計出網(wǎng)絡(luò)狀態(tài)信息，并由網(wǎng)絡(luò)狀態(tài)信息預(yù)測出網(wǎng)絡(luò)下一時刻的狀態(tài)信息，值得說明的是，對應(yīng)于網(wǎng)絡(luò)下一時刻的狀態(tài)信息，此處的網(wǎng)絡(luò)狀態(tài)信息用于描述與下一時刻不同的網(wǎng)絡(luò)狀態(tài)信息，比如網(wǎng)絡(luò)歷史時刻狀態(tài)信息或者網(wǎng)絡(luò)當(dāng)前狀態(tài)信息。同時的，或者早于，或者晚于網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)收集及網(wǎng)絡(luò)狀態(tài)信息估計等動作的時序，SDN控制器將進(jìn)入網(wǎng)絡(luò)的當(dāng)前數(shù)據(jù)流實(shí)時的轉(zhuǎn)發(fā)給另一個相應(yīng)的處理裝置，這個相應(yīng)的處理裝置對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理從而得到數(shù)據(jù)流預(yù)處理結(jié)果，之所以要強(qiáng)調(diào)數(shù)據(jù)流預(yù)處理的動作與網(wǎng)絡(luò)狀態(tài)信息估計及網(wǎng)絡(luò)下一時刻狀態(tài)信息預(yù)測動作的先后順序可以是同時，或早于或晚于，是因?yàn)樵诂F(xiàn)實(shí)方案的運(yùn)行中，原本對此處并不做額外限定，因此無論以何順序執(zhí)行上述動作均在本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)，不再贅述。網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信息及數(shù)據(jù)流預(yù)處理結(jié)果作為控制模塊的輸入信息，并且，控制模塊將調(diào)用緩存設(shè)備中或存儲器中的當(dāng)前網(wǎng)絡(luò)控制策略，利用網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻的狀態(tài)信息及數(shù)據(jù)流預(yù)處理結(jié)果這些信息根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，并將該控制動作輸出給SDN控制器，SDN控制器根據(jù)該控制動作對網(wǎng)絡(luò)執(zhí)行具體的控制命令。網(wǎng)絡(luò)將根據(jù)該控制動作產(chǎn)生的控制效果作為反饋信息反饋給SDN控制器，SDN控制器將該反饋信息轉(zhuǎn)發(fā)給控制模塊，控制模塊根據(jù)反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略，并由控制模塊的緩存設(shè)備對該下一時刻網(wǎng)絡(luò)控制策略進(jìn)行緩存或?qū)⑵浯鎯υ诖鎯ζ髦辛舸乱淮窝h(huán)的備用。這樣，第一次循環(huán)生成的控制動作是針對該次循環(huán)時刻或時期下網(wǎng)絡(luò)所需要的最優(yōu)的控制動作，這個控制動作被執(zhí)行之后產(chǎn)生本次反饋信息，由反饋信息得到下一時刻網(wǎng)絡(luò)控制策略，這個下一時刻網(wǎng)絡(luò)控制策略將作為下一次循環(huán)中的當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)入下一次循環(huán)，由此展開接下來第二次循環(huán)，第三次循環(huán)，第四次循環(huán)……以保證在每一個當(dāng)前時刻都有針對該當(dāng)前時刻下的網(wǎng)絡(luò)狀態(tài)及數(shù)據(jù)流信息進(jìn)行最優(yōu)的控制從而提高整個控制系統(tǒng)的控制效率，不再贅述。本發(fā)明實(shí)施例所提供的方法執(zhí)行主體可以是結(jié)構(gòu)300中的SDN控制器。

實(shí)施例四：

圖9是根據(jù)本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成裝置900的結(jié)構(gòu)框圖。該網(wǎng)絡(luò)控制策略的生成裝置900應(yīng)用于SDN網(wǎng)絡(luò)。

獲取模塊901，用于獲取網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)。

所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)是用于表示網(wǎng)絡(luò)狀態(tài)的原始數(shù)據(jù)。

預(yù)測模塊903，用于根據(jù)所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)估計網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所述網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況。

需要說明書的，我們從具有低層次物理含義的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)中估計出具有高層次物理含義的網(wǎng)絡(luò)狀態(tài)信息，這個網(wǎng)絡(luò)狀態(tài)信息是帶有時效性的，即t時刻(我們可以稱之為當(dāng)前時刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況；在t-1時刻(我們可以稱之為歷史時刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t-1時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況；在t+1時刻(我們可以稱之為下一時刻或?qū)頃r刻)下的網(wǎng)絡(luò)狀態(tài)信息描述的是t+1時刻的網(wǎng)絡(luò)鏈路情況、網(wǎng)絡(luò)中網(wǎng)元隊列情況、網(wǎng)絡(luò)數(shù)據(jù)流分布等情況，此處不再贅述。

流數(shù)據(jù)預(yù)處理模塊905，用于接收當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流，對所述數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果。

控制模塊907，用于應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作。

執(zhí)行模塊909，用于根據(jù)所述控制動作控制所述網(wǎng)絡(luò)，并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息。

所述控制模塊907還用于接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

值得說明的是，執(zhí)行模塊909與獲取模塊901的關(guān)系，可以是同一個硬件來實(shí)現(xiàn)，也可以是不同硬件實(shí)現(xiàn)。獲取模塊901可以由獨(dú)立的軟件實(shí)現(xiàn)，執(zhí)行模塊909可以為設(shè)置在SDN控制器內(nèi)的功能單元。

本發(fā)明實(shí)施例根據(jù)網(wǎng)絡(luò)狀態(tài)信息預(yù)測網(wǎng)絡(luò)下一時刻狀態(tài)信息，并對當(dāng)前進(jìn)入所述網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到數(shù)據(jù)流預(yù)處理結(jié)果，從而基于網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻狀態(tài)信息和數(shù)據(jù)流預(yù)處理結(jié)果，根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，根據(jù)該控制動作控制所述網(wǎng)絡(luò)以得到反饋信息，所述反饋信息是根據(jù)所述控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的，最后根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。在下一次網(wǎng)絡(luò)數(shù)據(jù)過來時，循環(huán)此過程，最后基于下一次的反饋信息對本次實(shí)時調(diào)整后的網(wǎng)絡(luò)控制策略再進(jìn)行實(shí)時調(diào)整得到再下一個時刻網(wǎng)絡(luò)控制策略，并由此 循環(huán)下去。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

具體的，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)可以包括網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)，相應(yīng)的，所述網(wǎng)絡(luò)狀態(tài)信息可以包括網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，則上述預(yù)測模塊903具體可以用于：發(fā)送狀態(tài)采集命令；接收根據(jù)所述狀態(tài)采集命令采集得到的網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)；并根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)數(shù)據(jù)估計所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息，所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息包括網(wǎng)絡(luò)當(dāng)前鏈路情況、網(wǎng)絡(luò)中當(dāng)前網(wǎng)元隊列情況、網(wǎng)絡(luò)當(dāng)前數(shù)據(jù)流分布情況。

具體的，所述網(wǎng)絡(luò)狀態(tài)信息還可以包括網(wǎng)絡(luò)歷史狀態(tài)信息(相應(yīng)的，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)還可以包括網(wǎng)絡(luò)歷史狀態(tài)數(shù)據(jù))，則所述預(yù)測模塊903還用于：從數(shù)據(jù)庫獲取網(wǎng)絡(luò)歷史狀態(tài)信息；并根據(jù)所述網(wǎng)絡(luò)當(dāng)前狀態(tài)信息和所述網(wǎng)絡(luò)歷史狀態(tài)信息預(yù)測所述網(wǎng)絡(luò)下一時刻狀態(tài)信息。

具體的，所述預(yù)測模塊具體可以用于執(zhí)行運(yùn)算；

其中表示預(yù)測的所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

作為一種可選的實(shí)施方案，所述流數(shù)據(jù)預(yù)處理模塊905具體可以包括：

提取單元，用于提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

挖掘分析單元，用于通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

標(biāo)識單元，用于根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

作為一種可選的實(shí)施方案，所述控制模塊具體可以用于進(jìn)行如下操作：

其中表示所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t表示所述網(wǎng)絡(luò)狀態(tài)信息，其中l(wèi)_i表示所述數(shù)據(jù)流的標(biāo)簽，其中i表示第i個數(shù)據(jù)流，其中π_t表示所述當(dāng)前網(wǎng)絡(luò)控制策略，其中表示以S_t，l_i作為條件變量的當(dāng)前網(wǎng)絡(luò)控制策略下a的概率分布，其中a為控制變量，在所述控制變量a的概率分布中隨機(jī)采樣得到所述控制動作a_i。

實(shí)施例五：

圖10是根據(jù)本發(fā)明實(shí)施例提供的網(wǎng)絡(luò)控制策略的生成裝置1000的結(jié)構(gòu)框圖。

接收模塊1001，用于接收網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果；其中，所述網(wǎng)絡(luò)狀態(tài)信息用于描述所述網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路情況、所述網(wǎng)絡(luò)中網(wǎng)元隊列情況、所屬網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)流分布情況，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述 網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的，所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的。

控制模塊1003，用于應(yīng)用當(dāng)前網(wǎng)絡(luò)控制策略根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息、所述網(wǎng)絡(luò)下一時刻狀態(tài)信息以及所述數(shù)據(jù)流預(yù)處理結(jié)果生成控制動作，所述控制動作用于控制所述網(wǎng)絡(luò)并得到經(jīng)所述控制動作控制的所述網(wǎng)絡(luò)的反饋信息。

所述控制模塊1003還用于接收所述網(wǎng)絡(luò)的反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。

本發(fā)明實(shí)施例通過接收網(wǎng)絡(luò)狀態(tài)信息，網(wǎng)絡(luò)下一時刻狀態(tài)信息，數(shù)據(jù)流預(yù)處理結(jié)果，從而基于網(wǎng)絡(luò)狀態(tài)信息、網(wǎng)絡(luò)下一時刻狀態(tài)信息和數(shù)據(jù)流預(yù)處理結(jié)果，并根據(jù)當(dāng)前網(wǎng)絡(luò)控制策略生成控制動作，所述控制動作用于控制所述網(wǎng)絡(luò)以得到根據(jù)所述控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的反饋信息，最后，接收所述反饋信息，并根據(jù)所述反饋信息對所述當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略。在下一次網(wǎng)絡(luò)數(shù)據(jù)過來時，循環(huán)此過程，最后基于下一次的反饋信息對本次實(shí)時調(diào)整后的網(wǎng)絡(luò)控制策略再進(jìn)行與當(dāng)時的網(wǎng)絡(luò)狀態(tài)信息及數(shù)據(jù)流情況相應(yīng)地實(shí)時調(diào)整，并由此循環(huán)下去。這樣，網(wǎng)絡(luò)控制策略總是動態(tài)的根據(jù)當(dāng)前的數(shù)據(jù)及網(wǎng)絡(luò)情況進(jìn)行實(shí)時的優(yōu)化和調(diào)整，即本文所稱自適應(yīng)。每一個時刻都有針對本時刻網(wǎng)絡(luò)及數(shù)據(jù)所需要的最優(yōu)的網(wǎng)絡(luò)控制策略，根據(jù)實(shí)時更新的網(wǎng)絡(luò)控制策略對網(wǎng)絡(luò)進(jìn)行控制以此提高網(wǎng)絡(luò)控制效率。

其中，所述網(wǎng)絡(luò)下一時刻狀態(tài)信息是根據(jù)所述網(wǎng)絡(luò)狀態(tài)信息進(jìn)行預(yù)測得到的具體為：

其中表示預(yù)測的所述網(wǎng)絡(luò)下一時刻狀態(tài)信息，其中S_t-τ表示所述網(wǎng)絡(luò)狀態(tài)信息，且0≤τ≤L；其中L為所述網(wǎng)絡(luò)狀態(tài)信息的時間窗口長度，其中f為線性函數(shù)或非線性函數(shù)。

所述數(shù)據(jù)流預(yù)處理結(jié)果是對當(dāng)前進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行預(yù)處理得到的具體包括：

提取所述數(shù)據(jù)流的特征，所述特征包括數(shù)據(jù)包報頭五元組、數(shù)據(jù)包長度序列或數(shù)據(jù)包到達(dá)時間間隔序列；

通過所述特征對所述數(shù)據(jù)流進(jìn)行時空數(shù)據(jù)挖掘處理和/或因果關(guān)系分析處理，得到處理結(jié)果；

根據(jù)所述處理結(jié)果對所述數(shù)據(jù)流打標(biāo)簽得到所述數(shù)據(jù)流的標(biāo)簽，所述數(shù)據(jù)流的標(biāo)簽為所述數(shù)據(jù)流預(yù)處理結(jié)果。

實(shí)施例五：

本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)控制器，應(yīng)用于SDN網(wǎng)絡(luò)，其特征在于，用于從所述SDN網(wǎng)絡(luò)接收反饋信息，并將所述反饋信息轉(zhuǎn)發(fā)給控制模塊，用于使所述控制模塊根據(jù)所述反饋信息對當(dāng)前網(wǎng)絡(luò)控制策略進(jìn)行實(shí)時調(diào)整得到下一時刻網(wǎng)絡(luò)控制策略；其中，所述反饋信息是根據(jù)上一時刻網(wǎng)絡(luò)運(yùn)行中所述控制模塊發(fā)出的控制動作對所述網(wǎng)絡(luò)進(jìn)行控制得到的。

需要說明的是，上述所有裝置實(shí)施例中提供的裝置都可以用于實(shí)現(xiàn)上述所有方法實(shí)施例中的方法，同理，上述所有方法實(shí)施例中提供的方法都可以在上述所有裝置實(shí)施例中提供的裝置上運(yùn)行。方法實(shí)施例中詳述的方案中細(xì)節(jié)信息可以用于解釋裝置實(shí)施例中相應(yīng)特征。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實(shí)施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的幾個實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨(dú)物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時，可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說 對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)，因此本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。