存儲調(diào)度方法和系統(tǒng)、作業(yè)調(diào)度方法和系統(tǒng)及管理節(jié)點的制作方法
【專利摘要】本發(fā)明提出了一種根據(jù)路徑可用帶寬進行調(diào)度的存儲調(diào)度方法和作業(yè)調(diào)度方法，還提出了與之相對應的管理節(jié)點、存儲調(diào)度系統(tǒng)和作業(yè)調(diào)度系統(tǒng)。本發(fā)明根據(jù)存儲調(diào)度算法將數(shù)據(jù)塊存儲在路徑可用帶寬加權(quán)均值最大的數(shù)據(jù)節(jié)點列表，避免了網(wǎng)絡擁塞并縮短了數(shù)據(jù)塊存儲的網(wǎng)絡傳輸時間。本發(fā)明根據(jù)路徑可用帶寬信息為數(shù)據(jù)節(jié)點分配優(yōu)選作業(yè)進行處理，提升了作業(yè)的本地化概率，并且減少了作業(yè)總完成時間。
【專利說明】 存儲調(diào)度方法和系統(tǒng)、作業(yè)調(diào)度方法和系統(tǒng)及管理節(jié)點
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計算【技術(shù)領(lǐng)域】，尤其涉及一種云計算任務調(diào)度中的存儲調(diào)度方法和系統(tǒng)、作業(yè)調(diào)度方法和系統(tǒng)及管理節(jié)點。
【背景技術(shù)】
[0002]隨著搜索引擎、社交網(wǎng)站、電子商務等數(shù)據(jù)密集型互聯(lián)網(wǎng)應用的迅猛發(fā)展，基于分布式基礎(chǔ)架構(gòu)的海量數(shù)據(jù)處理平臺(如Had00p、MapReduCe、分布式文件系統(tǒng)、數(shù)據(jù)定義存儲等)被廣泛關(guān)注。在這些平臺上，不僅需要支持大容量文件(TB級、PB級)存儲/下載、快速檢索，還需要執(zhí)行機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析等大規(guī)模數(shù)據(jù)處理作業(yè)，還需要快速響應交互式用戶請求，因此，云計算平臺需要分發(fā)執(zhí)行多個數(shù)據(jù)密集型的并行作業(yè)。當前作業(yè)調(diào)度算法往往從保證作業(yè)間公平分享數(shù)據(jù)中心計算資源存儲的同時，通過加強作業(yè)的數(shù)據(jù)本地性(即把任務調(diào)度于輸入數(shù)據(jù)所在的數(shù)據(jù)節(jié)點以減少網(wǎng)絡傳輸開銷)來提升系統(tǒng)性能和作業(yè)吞吐率。
[0003]這類任務調(diào)度算法存在如下缺點:1、遠程數(shù)據(jù)存儲和讀取過程中，分布式文件系統(tǒng)因未感知平臺內(nèi)的網(wǎng)絡路徑可用帶寬信息，任務調(diào)度算法為作業(yè)所選擇的數(shù)據(jù)節(jié)點可能會因網(wǎng)絡質(zhì)量差，導致數(shù)據(jù)存取時間延長，用戶體驗很差；2、數(shù)據(jù)中心工作負荷、網(wǎng)絡負荷等環(huán)境因素隨時可能變化，而現(xiàn)有的延遲調(diào)度算法的等待時間閾值是用戶提交作業(yè)時設(shè)定的，不能適應數(shù)據(jù)中心負荷的變化，雖有改進的算法，如時間閾值動態(tài)變化，但計算公式復雜，計算負荷較大，不適合大容量分布式系統(tǒng)，導致實用性降低。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提出一種云計算任務調(diào)度中的存儲調(diào)度方法和系統(tǒng)、作業(yè)調(diào)度方法和系統(tǒng)及管理節(jié)點，夠提高云計算系統(tǒng)的執(zhí)行性能。
[0005]為了達到上述目的，本發(fā)明提出了一種存儲調(diào)度方法，包括:
[0006]管理節(jié)點獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬；
[0007]當管理節(jié)點接收到來自客戶端的數(shù)據(jù)塊存儲請求時，根據(jù)存儲調(diào)度算法預選出η組數(shù)據(jù)節(jié)點，每組數(shù)據(jù)節(jié)點中包括m個數(shù)據(jù)節(jié)點，其中，n、m為預先設(shè)定的整數(shù)；
[0008]管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值；
[0009]并將計算得到的路徑可用帶寬加權(quán)均值最大的一組數(shù)據(jù)節(jié)點作為發(fā)起數(shù)據(jù)塊存儲請求的數(shù)據(jù)塊的存儲節(jié)點。
[0010]優(yōu)選地，所述m為3，每組數(shù)據(jù)節(jié)點中，包括第二數(shù)據(jù)節(jié)點、第三數(shù)據(jù)節(jié)點和第四數(shù)據(jù)節(jié)點，第三數(shù)據(jù)節(jié)點和第四數(shù)據(jù)節(jié)點處于同一機架，第二數(shù)據(jù)節(jié)點與第三數(shù)據(jù)節(jié)點處于不同機架；
[0011]所述管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值包括:
[0012]計算每組數(shù)據(jù)節(jié)點中所述客戶端到所述第二數(shù)據(jù)節(jié)點之間的第一網(wǎng)絡路徑的路徑可用帶寬；
[0013]計算每組數(shù)據(jù)節(jié)點中所述第二數(shù)據(jù)節(jié)點到第三數(shù)據(jù)節(jié)點之間的第二網(wǎng)絡路徑的路徑可用帶寬；
[0014]計算每組數(shù)據(jù)節(jié)點中所述第三數(shù)據(jù)節(jié)點到第四數(shù)據(jù)節(jié)點之間的第三網(wǎng)絡路徑的路徑可用帶寬；
[0015]將每組數(shù)據(jù)節(jié)點中三條網(wǎng)絡路徑的路徑可用帶寬進行加權(quán)平均計算路徑可用帶寬加權(quán)均值。
[0016]優(yōu)選地，所述每組數(shù)據(jù)節(jié)點中所述第一網(wǎng)絡路徑和所述第二網(wǎng)絡路徑的加權(quán)系數(shù)均為0.4，所述第三網(wǎng)絡路徑的加權(quán)系數(shù)為0.2。
[0017]本發(fā)明還提出一種作業(yè)調(diào)度方法，包括:
[0018]管理節(jié)點獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬；
[0019]當?shù)谝粩?shù)據(jù)節(jié)點空閑并向管理節(jié)點請求新任務時，管理節(jié)點選擇一個作業(yè)；
[0020]當所選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務，但有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務時，
[0021]管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，計算第一數(shù)據(jù)節(jié)點所在的機架內(nèi)含有所述選擇的作業(yè)所需數(shù)據(jù)塊的第一待選數(shù)據(jù)節(jié)點和第一數(shù)據(jù)節(jié)點間的路徑可用帶寬均值Btemp，并計算路徑可用帶寬比值Y ;所述第一待選數(shù)據(jù)節(jié)點為一個或一個以上。
[0022]優(yōu)選地，所述第一待選數(shù)據(jù)節(jié)點和所述第一數(shù)據(jù)節(jié)點的路徑可用帶寬均值Btraip為:
[0023]B
[0024]其中，η為所述第一待選數(shù)據(jù)節(jié)點的個數(shù)；i表示機架；j表示端口辦』，Bi,J2,……，Byn為所述第一待選數(shù)據(jù)節(jié)點的路徑可用帶寬；
[0025]所述路徑可用帶寬比值Y為:
【權(quán)利要求】
1.一種存儲調(diào)度方法，其特征在于，包括: 管理節(jié)點獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬； 當管理節(jié)點接收到來自客戶端的數(shù)據(jù)塊存儲請求時，根據(jù)存儲調(diào)度算法預選出η組數(shù)據(jù)節(jié)點，每組數(shù)據(jù)節(jié)點中包括m個數(shù)據(jù)節(jié)點,其中，n、m為預先設(shè)定的整數(shù)； 管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值； 并將計算得到的路徑可用帶寬加權(quán)均值最大的一組數(shù)據(jù)節(jié)點作為發(fā)起數(shù)據(jù)塊存儲請求的數(shù)據(jù)塊的存儲節(jié)點。
2.如權(quán)利要求1所述的存儲調(diào)度方法，其特征在于，所述m為3，每組數(shù)據(jù)節(jié)點中，包括第二數(shù)據(jù)節(jié)點、第三數(shù)據(jù)節(jié)點和第四數(shù)據(jù)節(jié)點，第三數(shù)據(jù)節(jié)點和第四數(shù)據(jù)節(jié)點處于同一機架，第二數(shù)據(jù)節(jié)點與第三數(shù)據(jù)節(jié)點處于不同機架； 所述管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值包括: 計算每組數(shù)據(jù)節(jié)點中 所述客戶端到所述第二數(shù)據(jù)節(jié)點之間的第一網(wǎng)絡路徑的路徑可用帶寬； 計算每組數(shù)據(jù)節(jié)點中所述第二數(shù)據(jù)節(jié)點到第三數(shù)據(jù)節(jié)點之間的第二網(wǎng)絡路徑的路徑可用帶寬； 計算每組數(shù)據(jù)節(jié)點中所述第三數(shù)據(jù)節(jié)點到第四數(shù)據(jù)節(jié)點之間的第三網(wǎng)絡路徑的路徑可用帶寬； 將每組數(shù)據(jù)節(jié)點中三條網(wǎng)絡路徑的路徑可用帶寬進行加權(quán)平均計算路徑可用帶寬加權(quán)均值。
3.如權(quán)利要求2所述的存儲調(diào)度方法，其特征在于，所述每組數(shù)據(jù)節(jié)點中所述第一網(wǎng)絡路徑和所述第二網(wǎng)絡路徑的加權(quán)系數(shù)均為0.4，所述第三網(wǎng)絡路徑的加權(quán)系數(shù)為0.2。
4.一種作業(yè)調(diào)度方法，其特征在于，包括: 管理節(jié)點獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬； 當?shù)谝粩?shù)據(jù)節(jié)點空閑并向管理節(jié)點請求新任務時，管理節(jié)點選擇一個作業(yè)； 當所選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務，但有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務時， 管理節(jié)點根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，計算第一數(shù)據(jù)節(jié)點所在的機架內(nèi)含有所述選擇的作業(yè)所需數(shù)據(jù)塊的第一待選數(shù)據(jù)節(jié)點和第一數(shù)據(jù)節(jié)點間的路徑可用帶寬均值Btemp，并計算路徑可用帶寬比值Y ;所述第一待選數(shù)據(jù)節(jié)點為一個或一個以上。
5.如權(quán)利要求4所述的作業(yè)調(diào)度方法，其特征在于，所述第一待選數(shù)據(jù)節(jié)點和所述第一數(shù)據(jù)節(jié)點的路徑可用帶寬均值Btanp為: B, =Iy k d }；
temp ” L U3” O， ， IjnX， 其中，η為所述第一待選數(shù)據(jù)節(jié)點的個數(shù)；i表示機架；j表示端口 Ay1, Bij J2,......,Biijn為所述第一待選數(shù)據(jù)節(jié)點的路徑可用帶寬；所述路徑可用帶寬比值Y為:
6.如權(quán)利要求4所述的作業(yè)調(diào)度方法，其特征在于，當所述選擇的作業(yè)的輪空次數(shù)滿足第一條件時，該方法還包括: 所述管理節(jié)點選擇所述第一待選數(shù)據(jù)節(jié)點中路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 所述管理節(jié)點將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行； 其中，第一條件為:Countk≤(1- Y ) X1 ; 其中，Countk為所述選擇的作業(yè)的輪空次數(shù)，X1為所述第一數(shù)據(jù)節(jié)點可以申請到數(shù)據(jù)


塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的概率為
7.如權(quán)利要求4所述的作業(yè)調(diào)度方法，其特征在于，當所選擇出的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲在第一數(shù)據(jù)節(jié)點的任務時，該方法還包括: 所述管理節(jié)點將所述任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行。
8.如權(quán)利要求4所述的作業(yè)調(diào)度方法，其特征在于，當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)滿足第二條件時，該方法還包括: 所述管理節(jié)點選擇其他機架中含有所述選擇的作業(yè)所需數(shù)據(jù)塊所在的第二待選數(shù)據(jù)節(jié)點的路徑中路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 所述管理節(jié)點將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行； 其中，第二條件為
9.如權(quán)利要求4所述的作業(yè)調(diào)度方法，其特征在于，當所述選擇的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第一條件；或者當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第二條件時，該方法還包括:所述管理節(jié)點將所述選擇的作業(yè)的輪空次數(shù)加I。
10.根據(jù)權(quán)利要求4~9任意一項所述的作業(yè)調(diào)度方法，所述管理節(jié)點選擇一個作業(yè)的方法包括: 所述管理節(jié)點根據(jù)各作業(yè)在系統(tǒng)中運行的任務數(shù)對作業(yè)進行升序排列； 所述管理節(jié)點在作業(yè)隊列中查找第一個含有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的作業(yè)，將該作業(yè)調(diào)整至同一級別的最高位置； 所述管理節(jié)點從作業(yè)隊列中由上到下選擇一個作業(yè)。
11.一種管理節(jié)點，其特征在于，至少包括: 獲取模塊，用于獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬； 預選模塊，用于當接收到來自客戶端的數(shù)據(jù)塊存儲請求時，根據(jù)存儲調(diào)度算法預選出η組數(shù)據(jù)節(jié)點，每組數(shù)據(jù)節(jié)點中包括m個數(shù)據(jù)節(jié)點，其中，m、η為預先設(shè)定的整數(shù)； 計算模塊，用于根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值；將計算得到的路徑可用帶寬均值最大的一組數(shù)據(jù)節(jié)點作為發(fā)起數(shù)據(jù)塊存儲請求的數(shù)據(jù)塊的存儲節(jié)點。
12.—種管理節(jié)點，其特征在于，至少包括: 獲取模塊，用于獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬； 選擇模塊，用于當接收到來自第一數(shù)據(jù)節(jié)點的新任務請求時，選擇一個作業(yè)； 返回模塊，用于當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務，但有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務時，根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，計算所述數(shù)據(jù)節(jié)點所在的機架內(nèi)含有所述作業(yè)所需數(shù)據(jù)塊的第一待選數(shù)據(jù)節(jié)點和所述第一數(shù)據(jù)節(jié)點的路徑可用帶寬均值BtMP，并計算路徑可用帶寬比值Y，所述第一待選數(shù)據(jù)節(jié)點為一個或一個以上。
13.根據(jù)權(quán)利要求12所述的管理節(jié)點，當所述選擇的作業(yè)的輪空次數(shù)滿足第一條件時，所述返回模塊，還用于: 選擇所述第一待選數(shù)據(jù)節(jié)點中路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行； 其中，第一條件為:Countk≥(1- Y ) X1 ; 其中，Countk為所述選擇的作業(yè)的輪空次數(shù)，X1為所述第一數(shù)據(jù)節(jié)點可以申請到數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的概率為
14.根據(jù)權(quán)利要求12所述的管理節(jié)點，當所選擇的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務時，所述返回模塊，還用于: 將所述任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行。
15.根據(jù)權(quán)利要求12所述的管理節(jié)點，當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)滿足第二條件時，所述返回模塊，還用于: 選擇其他機架中含有所述選擇的作業(yè)所需數(shù)據(jù)塊所在的各數(shù)據(jù)節(jié)點的路徑中路徑可用帶寬最大的第二待選數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行； 其中，第二條件為:Countk≥X2 ； 其中，X2為所述第一數(shù)據(jù)節(jié)點可以申請到數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的概率為pk=1-(1-nr/m)2的申請次數(shù)，N為所述選擇的作業(yè)中尚未處理的任務數(shù)，R為文件分塊的備份數(shù)，M為物理機集群數(shù)。
16.根據(jù)權(quán)利要求12所述的管理節(jié)點，當所述選擇的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第一條件；或者當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第二條件時，所述返回模塊，還用于: 將所述選擇的作業(yè)的輪空次數(shù)加I。
17.根據(jù)權(quán)利要求12~16任意一項所述的管理節(jié)點，所述選擇模塊，還用于: 當接收到來自所述第一數(shù)據(jù)節(jié)點的新任務請求時，根據(jù)各作業(yè)在系統(tǒng)中運行的任務數(shù)對作業(yè)進行升序排列； 在作業(yè)隊列中查找第一個含有尚未處理的數(shù)據(jù)塊存儲在第一數(shù)據(jù)節(jié)點的任務的作業(yè)，將該作業(yè)調(diào)整至同一級別的最高位置； 從作業(yè)隊列中由上到下選擇一個作業(yè)。
18.根據(jù)權(quán)利要求12~16任意一項所述的管理節(jié)點，還包括: 預選模塊，用于當接收到來自客戶端的數(shù)據(jù)塊存儲請求時，根據(jù)存儲調(diào)度算法預選出η組數(shù)據(jù)節(jié)點，每組數(shù)據(jù)節(jié)點中包括m個數(shù)據(jù)節(jié)點，其中，m、η為預先設(shè)定的整數(shù)； 計算模塊，用于根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值；將計算得到的路徑可用帶寬均值最大的一組數(shù)據(jù)節(jié)點作為發(fā)起數(shù)據(jù)塊存儲請求的數(shù)據(jù)塊的存儲節(jié)點。
19.一種存儲調(diào)度系統(tǒng)，其特征在于，至少包括: 管理節(jié)點，用于獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬；；當接收到來自客戶端的數(shù)據(jù)塊存儲請求時，根據(jù)存儲調(diào)度算法預選出η組數(shù)據(jù)節(jié)點，每組數(shù)據(jù)節(jié)點中包括m個數(shù)據(jù)節(jié)點，其中，n、m為預先設(shè)定的整數(shù)；根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，分別計算每組數(shù)據(jù)節(jié)點的路徑可用帶寬加權(quán)均值；將計算得到的路徑可用帶寬加權(quán)均值最大的一組數(shù)據(jù)節(jié)點作為發(fā)起數(shù)據(jù)塊存儲請求的數(shù)據(jù)塊的存儲節(jié)占.至少一個數(shù)據(jù)節(jié)點，用于存儲來自客戶端的數(shù)據(jù)塊。
20.一種作業(yè)調(diào)度系統(tǒng)，其特征在于，至少包括: 管理節(jié)點，用于獲取網(wǎng)絡節(jié)點各端口的網(wǎng)絡流量統(tǒng)計信息，并換算出各數(shù)據(jù)節(jié)點的路徑可用帶寬；；用于當接收到來自第一數(shù)據(jù)節(jié)點的新任務請求時，選擇一個作業(yè)；當所選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務，但有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務時，根據(jù)獲得的各數(shù)據(jù)節(jié)點的路徑可用帶寬，計算所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)含有所述作業(yè)所需數(shù)據(jù)塊的第一待選數(shù)據(jù)節(jié)點和所述第一數(shù)據(jù)節(jié)點的路徑可用帶寬均值BtMP，并根據(jù)計算路徑可用帶寬比值Y，所述第一待選數(shù)據(jù)節(jié)點為一個或一個以上； 至少一個數(shù)據(jù)節(jié)點，用于向所述管理節(jié)點請求新任務。
21.根據(jù)權(quán)利要求20所述的作業(yè)調(diào)度系統(tǒng)，其特征在于，當所述選擇的作業(yè)的輪空次數(shù)滿足第一條件時，所述管理節(jié)點，還用于: 選擇所述第一待選數(shù)據(jù)節(jié)點中路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行； 其中，第一條件為:Countk≥(1- Y ) X1 ; 其中，Countk為所述選擇的作業(yè)的輪空次數(shù)，X1為所述第一數(shù)據(jù)節(jié)點可以申請到數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的概率為
22.根據(jù)權(quán)利要求21所述的作業(yè)調(diào)度系統(tǒng)，其特征在于，當所選擇出的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲在第一數(shù)據(jù)節(jié)點的任務時，所述管理節(jié)點，還用于: 將所述任務返回給所述第一數(shù)據(jù)節(jié)點執(zhí)行。
23.根據(jù)權(quán)利要求21所述的作業(yè)調(diào)度系統(tǒng)，當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)滿足第二條件時，所述管理節(jié)點還用于: 選擇其他機架中含有所述選擇的作業(yè)所需數(shù)據(jù)塊所在的第二待選數(shù)據(jù)節(jié)點的路徑中路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為所述第一數(shù)據(jù)節(jié)點的數(shù)據(jù)源； 設(shè)置所述選擇的作業(yè)的輪空次數(shù)為O ; 將所述路徑可用帶寬最大的數(shù)據(jù)節(jié)點作為數(shù)據(jù)源的任務返回給所述第一數(shù)據(jù)節(jié)點； 其中，第二條件為:Countk≥X2 ； 其中，X2為所述第一數(shù)據(jù)節(jié)點可以申請到數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的概
率率
24.根據(jù)權(quán)利要求21所述的作業(yè)調(diào)度系統(tǒng)，當所述選擇的作業(yè)中有尚未處理的數(shù)據(jù)塊存儲的數(shù)據(jù)節(jié)點與所述第一數(shù)據(jù)節(jié)點處于同一機架的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第一條件；或者當所述選擇的作業(yè)中沒有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點所在的機架內(nèi)的任務，且所述選擇的作業(yè)的輪空次數(shù)不滿足第二條件時，所述管理節(jié)點還用于: 將所述選擇的作業(yè)的輪空次數(shù)加I。
25.根據(jù)權(quán)利要求21~24任意一項所述的作業(yè)調(diào)度系統(tǒng)，所述管理節(jié)點還用于: 當接收到來自所述第一據(jù)數(shù)據(jù)節(jié)點的新任務請求時，根據(jù)各作業(yè)在系統(tǒng)中運行的任務數(shù)對作業(yè)進行升序排列； 在作業(yè)隊列中查找第一個含有尚未處理的數(shù)據(jù)塊存儲在所述第一數(shù)據(jù)節(jié)點的任務的作業(yè)，將該作業(yè)調(diào)整至同一級別的最高位置； 從作業(yè)隊列中由上到 下選擇一個作業(yè)。
【文檔編號】H04L29/08GK103617083SQ201310534978
【公開日】2014年3月5日 申請日期:2013年10月31日 優(yōu)先權(quán)日:2013年10月31日
【發(fā)明者】左奇, 戚晨, 王東, 王志坤, 曲文武 申請人:中興通訊股份有限公司