云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法
【專利摘要】本發(fā)明提供了一種云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法，所要解決的技術(shù)問題是：云環(huán)境下的負(fù)載均衡問題。該方法包括：每個(gè)計(jì)算節(jié)點(diǎn)都有一個(gè)窗口記錄最近的任務(wù)到達(dá)信息，窗口的大小可以通過分析當(dāng)前窗口動(dòng)態(tài)的改變，通過當(dāng)前窗口的任務(wù)信息可以對(duì)未來的任務(wù)強(qiáng)度作出預(yù)測(cè)，任務(wù)分配時(shí)考慮每個(gè)計(jì)算節(jié)點(diǎn)預(yù)測(cè)出的未來任務(wù)強(qiáng)度。本發(fā)明的方案利用任務(wù)的局部特性而不是全局的歷史任務(wù)信息對(duì)未來任務(wù)的強(qiáng)度進(jìn)行預(yù)測(cè)，可以得到更精確與實(shí)時(shí)的預(yù)測(cè)結(jié)果進(jìn)而降低計(jì)算任務(wù)的響應(yīng)時(shí)間。
【專利說明】云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種分布式動(dòng)態(tài)負(fù)載均衡方法，具體涉及一種云環(huán)境下意識(shí)到用戶周 期性資源需求的動(dòng)態(tài)負(fù)載均衡方法。

【背景技術(shù)】
[0002] 近年來云計(jì)算憑借其方便經(jīng)濟(jì)的服務(wù)模式，越來越受到包括個(gè)人，單位政府部門 及企業(yè)的青睞。直觀的來講，云計(jì)算是這樣的一種服務(wù)模式：用戶通過使用諸如亞馬遜 (Amazon EC2)，微軟（Microsoft Azure)和谷歌（Google App)等云平臺(tái)按需的提交自己 的應(yīng)用請(qǐng)求，包括計(jì)算，存儲(chǔ)，流量等各種資源，這些云服務(wù)提供商然后以虛擬機(jī)的形式分 配相應(yīng)的資源給這些提交資源申請(qǐng)的用戶，用戶只需要為他們所占用的資源按時(shí)間付費(fèi)即 可。
[0003] 衡量一個(gè)云平臺(tái)運(yùn)行效率的指標(biāo)有很多，其中一個(gè)重要的指標(biāo)是降低計(jì)算任務(wù)的 響應(yīng)時(shí)間，即不要讓提交任務(wù)的用戶為了得到計(jì)算結(jié)果等待過長的時(shí)間?，F(xiàn)如今的云平臺(tái) 大多采用負(fù)載均衡策略來解決這個(gè)問題，即將計(jì)算任務(wù)均勻分配到各個(gè)計(jì)算節(jié)點(diǎn)上。如果 每個(gè)計(jì)算節(jié)點(diǎn)上的任務(wù)數(shù)均衡，那么所有任務(wù)的平均響應(yīng)時(shí)間必然大大降低。
[0004] 傳統(tǒng)的負(fù)載均衡方法分為靜態(tài)負(fù)載均衡與動(dòng)態(tài)負(fù)載均衡。靜態(tài)負(fù)載均衡僅僅考慮 系統(tǒng)負(fù)載的當(dāng)前狀態(tài)來調(diào)整各計(jì)算中心的負(fù)載，從而達(dá)到當(dāng)前狀態(tài)下系統(tǒng)中所有節(jié)點(diǎn)負(fù)載 均衡的目標(biāo)。靜態(tài)負(fù)載均衡方法雖然能夠很好的滿足某個(gè)時(shí)刻的負(fù)載均衡目，但是它沒有 考慮系統(tǒng)未來的負(fù)載情況。假如在下一時(shí)刻，由于系統(tǒng)中會(huì)有新的任務(wù)到達(dá)同時(shí)又有舊的 任務(wù)離開（任務(wù)完成之后就會(huì)離開系統(tǒng)），系統(tǒng)原有的負(fù)載狀態(tài)就會(huì)被打破，新一輪負(fù)載均 衡又要重新執(zhí)行，頻繁的調(diào)用負(fù)載均衡會(huì)大大增加系統(tǒng)的計(jì)算耗費(fèi)和任務(wù)遷移時(shí)的網(wǎng)絡(luò)帶 寬耗費(fèi)。動(dòng)態(tài)負(fù)載均衡，則利用歷史任務(wù)的信息預(yù)測(cè)未來任務(wù)強(qiáng)度，根據(jù)預(yù)測(cè)出的未來任務(wù) 強(qiáng)度進(jìn)行當(dāng)前狀態(tài)的負(fù)載均衡，這能夠在一定程度上緩解未來負(fù)載不均衡的情況，從而能 夠減少系統(tǒng)用于負(fù)載均衡的計(jì)算耗費(fèi)和任務(wù)遷移時(shí)的網(wǎng)絡(luò)帶寬耗費(fèi)。然而傳統(tǒng)的動(dòng)態(tài)負(fù)載 均衡利用的是全局的歷史信息由于，即未來負(fù)載的預(yù)測(cè)值往往是通過當(dāng)前負(fù)載與上一時(shí)刻 預(yù)測(cè)值的加權(quán)求和得到。而實(shí)際上來講，每個(gè)云系統(tǒng)未來的任務(wù)強(qiáng)度往往只與該系統(tǒng)歷史 中的一個(gè)局部時(shí)間段相關(guān)，基于全局信息的預(yù)測(cè)可能導(dǎo)致預(yù)測(cè)結(jié)果的延遲效應(yīng)，即預(yù)測(cè)結(jié) 果的變化延遲于實(shí)際負(fù)載的變化，進(jìn)而使得預(yù)測(cè)結(jié)果不夠精確與實(shí)時(shí)。因?yàn)樵破脚_(tái)下的任 務(wù)到達(dá)強(qiáng)度隨時(shí)間會(huì)經(jīng)常變化，這種不精確與不實(shí)時(shí)有可能使得動(dòng)態(tài)負(fù)載均衡方法的效果 比靜態(tài)更差。
[0005] 從另一個(gè)角度來講，傳統(tǒng)云環(huán)境下的負(fù)載均衡中一般都有個(gè)中心調(diào)度者，任務(wù)需 求首先是提交到中心調(diào)度管理器，然后由中心調(diào)度者進(jìn)行分配任務(wù)兼顧負(fù)載均衡，也就是 說云平臺(tái)下的負(fù)載均衡方法一般是中心式+靜態(tài)的。當(dāng)節(jié)點(diǎn)規(guī)模較大時(shí)，這種方式負(fù)載均 衡的計(jì)算代價(jià)就會(huì)很高。


【發(fā)明內(nèi)容】

[0006] 本方法所要解決的技術(shù)問題是：負(fù)載均衡問題，即將用戶的資源請(qǐng)求均勻的分布 到云系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)上。
[0007] 本發(fā)明提出了一種基于用戶周期性資源需求規(guī)律的分布式動(dòng)態(tài)負(fù)載均衡方法，即 利用任務(wù)的局部特性而不是全局的歷史任務(wù)信息對(duì)未來任務(wù)的強(qiáng)度進(jìn)行預(yù)測(cè)，可以得到更 精確與實(shí)時(shí)的預(yù)測(cè)結(jié)果進(jìn)而降低計(jì)算任務(wù)的響應(yīng)時(shí)間，同時(shí)用于負(fù)載均衡的計(jì)算代價(jià)也較 低。
[0008] 考慮如下情況，某一節(jié)點(diǎn)當(dāng)前負(fù)載很低，但是在未來的一段時(shí)間內(nèi)會(huì)突發(fā)性的到 達(dá)很多計(jì)算請(qǐng)求。如果這時(shí)采用了傳統(tǒng)的靜態(tài)負(fù)載均衡方法，那么該節(jié)點(diǎn)會(huì)收到許多鄰居 節(jié)點(diǎn)轉(zhuǎn)交的計(jì)算請(qǐng)求，同時(shí)在未來的一段時(shí)間該節(jié)點(diǎn)本身會(huì)收到許多來自用戶的突發(fā)性計(jì) 算請(qǐng)求，這樣就會(huì)導(dǎo)致該節(jié)點(diǎn)從一個(gè)輕載狀態(tài)很快變成了重載狀態(tài)。相反，如果我們能夠預(yù) 測(cè)出該節(jié)點(diǎn)在未來會(huì)突發(fā)性的到達(dá)很多計(jì)算請(qǐng)求，我們就可以作一些預(yù)防措施，例如提前 拒絕鄰居節(jié)點(diǎn)的轉(zhuǎn)交請(qǐng)求，以讓該節(jié)點(diǎn)有足夠的能力容納未來到達(dá)的計(jì)算請(qǐng)求。如果采用 傳統(tǒng)的動(dòng)態(tài)負(fù)載均衡方法，它往往是將當(dāng)前的負(fù)載與當(dāng)前負(fù)載預(yù)測(cè)值做一個(gè)加權(quán)求和作為 下一時(shí)刻可能的任務(wù)需求強(qiáng)度，這種預(yù)測(cè)會(huì)產(chǎn)生延遲效應(yīng)，即如果將來的任務(wù)強(qiáng)度發(fā)生了 劇烈的變化（從很高到很低或很低到很高），就需要很長的時(shí)間才能將預(yù)測(cè)到實(shí)際任務(wù)強(qiáng) 度值。究其原因就是這種方法使用的是歷史任務(wù)的全局信息，而往往由歷史的局部信息更 能反映未來的趨勢(shì)。
[0009] 下面給出一個(gè)簡單的例子具體解釋上述情況，為了簡化描述，我們將所有計(jì)算任 務(wù)所需資源數(shù)目視為相同。云環(huán)境中節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)淙鐖D1所示，為一個(gè)簡單的云系統(tǒng)實(shí) 例，其中，圓形表示計(jì)算節(jié)點(diǎn)，正方形表示每個(gè)節(jié)點(diǎn)的負(fù)載，矩形表示該節(jié)點(diǎn)未來到達(dá)的資 源需求情況。圖1中有5個(gè)計(jì)算節(jié)點(diǎn)，分別為B 1, a2, a3, a4, a5，每條邊表示對(duì)應(yīng)邊上的兩個(gè) 節(jié)點(diǎn)可以直接通信，通信需要耗費(fèi)一定的帶寬代價(jià)，距離越短通信代價(jià)越低，反之，越高。每 個(gè)節(jié)點(diǎn)上的矩形窗口表示的是將來用戶的計(jì)算請(qǐng)求任務(wù)到達(dá)狀況，〇表示無計(jì)算任務(wù)到達(dá)， 1表示有一個(gè)計(jì)算任務(wù)到達(dá)。記當(dāng)前時(shí)刻為t，針對(duì)，其任務(wù)窗口為0000100010,則表示 t+Ι?t+4時(shí)間內(nèi)沒有用戶的直接計(jì)算任務(wù)到達(dá)，t+5時(shí)刻會(huì)有一個(gè)用戶的計(jì)算任務(wù)到達(dá)， 以此類推。每個(gè)節(jié)點(diǎn)旁的正方形中的數(shù)字代表當(dāng)前該節(jié)點(diǎn)上的計(jì)算任務(wù)數(shù)，即負(fù)載數(shù)?，F(xiàn) 假設(shè)a 2有一個(gè)計(jì)算任務(wù)由于資源不夠而無法由自己完成，因此它必須將其轉(zhuǎn)交給其鄰居節(jié) 點(diǎn)ai、a 3或a4。如果根據(jù)傳統(tǒng)的靜態(tài)負(fù)載均衡方法，發(fā)現(xiàn)當(dāng)前a3的負(fù)載最低，然后就將a 2上 過載的任務(wù)轉(zhuǎn)交給a3執(zhí)行。然而通過觀察任務(wù)窗口可以發(fā)現(xiàn)，a3在未來5個(gè)時(shí)間步內(nèi)會(huì)有 連續(xù)的新的計(jì)算請(qǐng)求到達(dá)。如果假設(shè)每個(gè)任務(wù)都需要較長的時(shí)間來執(zhí)行，那么5個(gè)時(shí)間步 后a 3的負(fù)載由0激增到8,而其他幾個(gè)節(jié)點(diǎn)的負(fù)載均較低。因此傳統(tǒng)的靜態(tài)負(fù)載均衡在這 種情況下不太適用。如果采用傳統(tǒng)的動(dòng)態(tài)負(fù)載均衡方法，當(dāng)預(yù)測(cè)a 3任務(wù)窗口內(nèi)第6、7、8個(gè) 時(shí)間步的負(fù)載時(shí)，仍然會(huì)保持較高的預(yù)測(cè)值，因?yàn)榍?個(gè)時(shí)間步均有任務(wù)到達(dá)，這時(shí)會(huì)導(dǎo)致 不太傾向把任務(wù)分配給這個(gè)預(yù)測(cè)出的重載節(jié)點(diǎn)，而實(shí)際上第6、7、8個(gè)時(shí)間步該節(jié)點(diǎn)根本 沒任務(wù)到達(dá)（延遲效應(yīng)），這就會(huì)產(chǎn)生預(yù)測(cè)不準(zhǔn)的情形。因此，傳統(tǒng)的全局動(dòng)態(tài)負(fù)載均衡方 法在這種情況表現(xiàn)也不是很好。這時(shí)如果我們只考慮最近三個(gè)時(shí)間步這個(gè)局部信息，那么 會(huì)很快地發(fā)現(xiàn)任務(wù)到達(dá)強(qiáng)度已經(jīng)顯著降低，進(jìn)而就可以快速而及時(shí)地調(diào)整預(yù)測(cè)值，得到更 精準(zhǔn)與實(shí)時(shí)的預(yù)測(cè)結(jié)果。
[0010] 基于此，本發(fā)明主要提出了一種基于用戶周期性資源需求規(guī)律的動(dòng)態(tài)負(fù)載均衡方 法。所謂用戶周期性資源需求規(guī)律也就是用戶請(qǐng)求任務(wù)的局部特性，即任務(wù)的到達(dá)過程不 是完全隨機(jī)的，而是從一個(gè)局部一個(gè)局部的到達(dá)的。一個(gè)局部的任務(wù)流是指在一段時(shí)間內(nèi) 突發(fā)性到達(dá)的許多計(jì)算任務(wù)的集合。符合任務(wù)局部性原理的任務(wù)流是按如下方式到達(dá)：在 一段時(shí)間內(nèi)到達(dá)一批任務(wù)（局部），接著一段時(shí)間很少有任務(wù)到達(dá)（空閑期），再過一段時(shí) 間又有大批任務(wù)到達(dá)，如此循環(huán)往復(fù)。云環(huán)境下的任務(wù)流是符合這種任務(wù)的到達(dá)規(guī)律的。 例如，從9:00a. m?12:00 a. m是各大公司的上班時(shí)間，各大公司會(huì)有大量的云請(qǐng)求發(fā)往云 服務(wù)器（資源需求波峰期），這是一個(gè)局部，接著〇:〇〇 p. m?2:00 p. m屬于員工的吃飯與 午休時(shí)間,這時(shí)很少會(huì)有云請(qǐng)求發(fā)往云服務(wù)器（資源需求波谷期），然后2:00 p.m?5:00 P.m又屬于正常工作時(shí)間，這時(shí)又會(huì)有大量的運(yùn)請(qǐng)求，此時(shí)就是到達(dá)另外一個(gè)局部。
[0011] 由于云環(huán)境下的任務(wù)請(qǐng)求一般具有局部性原理，那么我們就可以利用這一特性來 更精確地預(yù)測(cè)未來的任務(wù)到達(dá)強(qiáng)度。每個(gè)節(jié)點(diǎn)維護(hù)一個(gè)最近η個(gè)時(shí)間步內(nèi)的任務(wù)到達(dá)序 列，如果這η個(gè)時(shí)間步的任務(wù)到達(dá)很頻繁，那么我們有理由相信當(dāng)前正處于一個(gè)任務(wù)局部 內(nèi)，此時(shí)可以預(yù)測(cè)未來一段時(shí)間內(nèi)仍會(huì)有較多的任務(wù)到達(dá)；反之說明當(dāng)前并不處于某個(gè)任 務(wù)局部內(nèi)，可以預(yù)測(cè)將來也不會(huì)有很多任務(wù)到達(dá)。這種預(yù)測(cè)方式相較于以往的全局預(yù)測(cè)更 精確與實(shí)時(shí)。
[0012] 通常情況下每個(gè)局部的大小是不同的，因此我們選擇觀察的任務(wù)窗口的大小也需 要?jiǎng)討B(tài)調(diào)整。預(yù)測(cè)未來的任務(wù)強(qiáng)度與窗口大小η調(diào)整規(guī)則如下 ：
[0013] 1)每個(gè)節(jié)點(diǎn)維護(hù)一個(gè)窗口 ：即剛才提到的最近η個(gè)時(shí)間步內(nèi)的任務(wù)到達(dá)序列，0表 示沒有任務(wù)到達(dá)，1表示有任務(wù)到達(dá)。因此窗口可以表示為Lb1，…，b n]，bie {〇，1}。
[0014] 2)計(jì)算出當(dāng)前窗口內(nèi)的平均任務(wù)到達(dá)強(qiáng)違

【權(quán)利要求】
1. 一種云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法，其特征在于：該方 法包括：每個(gè)計(jì)算節(jié)點(diǎn)都有一個(gè)窗口記錄最近的任務(wù)到達(dá)信息，窗口的大小可以通過分析 當(dāng)前窗口動(dòng)態(tài)的改變，通過當(dāng)前窗口的任務(wù)信息可以對(duì)未來的任務(wù)強(qiáng)度作出預(yù)測(cè)，任務(wù)分 配時(shí)考慮每個(gè)計(jì)算節(jié)點(diǎn)預(yù)測(cè)出的未來任務(wù)強(qiáng)度。
2. 根據(jù)權(quán)利要求1所述的云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法， 其特征是：每個(gè)計(jì)算節(jié)點(diǎn)都有一個(gè)窗口記錄最近的任務(wù)到達(dá)信息，云系統(tǒng)中的每個(gè)計(jì)算節(jié) 點(diǎn)都可以獨(dú)立地接受來自用戶的計(jì)算請(qǐng)求，對(duì)每個(gè)時(shí)間點(diǎn)，如果一個(gè)計(jì)算節(jié)點(diǎn)收到一個(gè)用 戶請(qǐng)求，那么其會(huì)把1插入當(dāng)前窗口的頭部表示當(dāng)前有一個(gè)任務(wù)到達(dá)；否則插入O ;處于窗 口尾部的時(shí)間點(diǎn)會(huì)從窗口中刪除，注意窗口只會(huì)記錄外界到達(dá)的任務(wù)序列而不會(huì)記錄從鄰 居節(jié)點(diǎn)轉(zhuǎn)移過來的任務(wù)序列。
3. 根據(jù)權(quán)利要求1所述的云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法， 其特征是：窗口的大小可以通過分析當(dāng)前窗口動(dòng)態(tài)的改變；一旦一個(gè)窗口序列被更新，那 么將啟動(dòng)窗口大小的改變方法；計(jì)算出當(dāng)前窗口內(nèi)的平均任務(wù)到達(dá)強(qiáng)度A，如果 入彡〇或入彡3(〇,3￡(〇，1)，[1>3)，表示當(dāng)前窗口內(nèi)的任務(wù)到達(dá)強(qiáng)度很高或很 低，此時(shí)無需更改窗口大??；如果α < λ < β，表示當(dāng)前窗口內(nèi)的任務(wù)到達(dá)強(qiáng)度適中，此 時(shí)把當(dāng)前窗口分為兩半，分別求出前后兩半窗口的平均任務(wù)到達(dá)強(qiáng)度\1和λ 2;如果A1/ λ 2彡k*或者λ / λ 2 < Ι/k，表示前后兩半窗口的任務(wù)到達(dá)強(qiáng)度差別很大，即相差了 k倍 以上，此時(shí)不需要改變窗口大??；如果Ι/k < λ夕λ 2 < k，此時(shí)計(jì)算出當(dāng)前窗口內(nèi)連續(xù)出現(xiàn) 超過5個(gè)1的序列個(gè)數(shù)m，其中，連續(xù)5個(gè)1可以說明一個(gè)局部；如果m彡Θ，說明出現(xiàn)了至 少Θ個(gè)連續(xù)5個(gè)1的序列，此時(shí)需要減小窗口大小以獲得更精確的預(yù)測(cè)效果，我們將窗口 大小變?yōu)樵瓉淼囊话胍詮拇翱谥袆h除較早的那些任務(wù)序列，n = n/2 ;如果m〈 Θ，說明當(dāng)前 窗口內(nèi)并沒有出現(xiàn)多個(gè)連續(xù)1的序列，此時(shí)需要增加窗口大小，將窗口大小變?yōu)樵瓉淼膬?倍以容納未來的任務(wù)到達(dá)序列，η = n*2。
4. 根據(jù)權(quán)利要求3所述的云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法， 優(yōu)先地：Θ取3。
5. 根據(jù)權(quán)利要求1所述的云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均 衡方法，其特征是：通過當(dāng)前窗口的任務(wù)信息可以對(duì)未來的任務(wù)強(qiáng)度作出預(yù)測(cè)；預(yù) 測(cè)出的下一時(shí)間步的任務(wù)到達(dá)強(qiáng)度，其中％為匕的權(quán)重并且Oi < ω沖Σ二ιΜ=^ = 1,2，...，》-1) (%的設(shè)定具體可由實(shí)驗(yàn)環(huán)境而定）。即對(duì)某一窗口內(nèi) 的時(shí)間點(diǎn)其歷史越悠久，對(duì)預(yù)測(cè)未來任務(wù)強(qiáng)度的貢獻(xiàn)越低。
6. 根據(jù)權(quán)利要求1所述的云環(huán)境下意識(shí)到用戶周期性資源需求的動(dòng)態(tài)負(fù)載均衡方法， 其特征是：任務(wù)分配時(shí)考慮每個(gè)節(jié)點(diǎn)預(yù)測(cè)出的任務(wù)強(qiáng)度；任務(wù)轉(zhuǎn)交時(shí)選擇的鄰居節(jié)點(diǎn)next 為next = arg Iiiaxi ^eiIri/(Ci · Ii · λ pi)}，其中Nei表示當(dāng)前節(jié)點(diǎn)的鄰居集合，!Ti表示鄰 居i的資源數(shù)，C i表示當(dāng)前節(jié)點(diǎn)到鄰居i的通信代價(jià)，λ pi表示鄰居i預(yù)測(cè)出的任務(wù)到達(dá)強(qiáng) 度。
【文檔編號(hào)】H04L29/08GK104378412SQ201410546682
【公開日】2015年2月25日 申請(qǐng)日期:2014年10月15日 優(yōu)先權(quán)日:2014年10月15日
【發(fā)明者】蔣嶷川, 費(fèi)超, 王萬元 申請(qǐng)人:東南大學(xué)