技術(shù)特征：

1.一種結(jié)合負(fù)載均衡的工作流回填方法，其特征在于，包括以下步驟：

1)對(duì)任務(wù)特性的劃分

先對(duì)任務(wù)進(jìn)行分類，采用kmeans聚類方式將任務(wù)劃分成CPU資源消耗型或者IO資源消耗型，主要是標(biāo)識(shí)任務(wù)類型，聚類的類別數(shù)k的確定，這里采用一種失真度的度量方式來確定聚類類別數(shù)k，如下式(1)和式(2)所示：

$f\left(k\right)=\left\{\begin{array}{cc}1& k=1\\ s_k/{\mathrm{\α}}_k{s}_{k-1}& s_{k-1}\≠0,k\>1\\ 1& s_{k-1}=0,k\>1\end{array}\right.---\left(1\right)$

${\mathrm{\α}}_k=\left\{\begin{array}{cc}1-3/4N_d& k=2,N_d\>1\\ {\mathrm{\α}}_{k-1}+\frac{1-{\mathrm{\α}}_{k-1}}{6}& k\>2,N_d\>1\end{array}\right.---\left(2\right)$

式中，s_k為聚成k類的總失真度s_k＝∑_k∑_i(x_i-x_k)²，x_i第i個(gè)輸入數(shù)據(jù)，x_k為第k個(gè)中心點(diǎn)，α_k為權(quán)重，N_d為輸入數(shù)據(jù)維數(shù)，α_k-1和s_k-1分別是聚k-1類的權(quán)值和失真度，f(k)則表示聚成k類的失真度比例；通過不斷的選擇k取值，獲取f(k)-k的變化曲線，然后找出變化曲線最低點(diǎn)，最低點(diǎn)即類別k理想情況；在最低點(diǎn)處，失真度s_k達(dá)到最?。煌ㄟ^式(1)、(2)確定k，最后再依據(jù)下式(3)計(jì)算每個(gè)數(shù)據(jù)的類型信息；

$f\left(x_i\right)=\left\{\begin{array}{cc}0.001& if(x_i-c_1)(c_k-c_1)\<0\\ \frac{(x_i-c_1)(c_k-c_1)}{\left|\right|c_k-c_1\left|\right|}& \\ 1& if(x_i-c_1)(c_k-c_1)\>\left|\right|c_k-c_1\left|\right|\end{array}\right.---\left(3\right)$

式中，x_i表示第i個(gè)數(shù)據(jù)點(diǎn)，c_k表示第k個(gè)聚類中心點(diǎn)，f(x_i)表示映射的任務(wù)類別信息值；任務(wù)模型根據(jù)任務(wù)基本屬性CPU、IO以及任務(wù)類別信息值f(x_i)這3屬性在模擬平臺(tái)上產(chǎn)生任務(wù)；

2)對(duì)回填策略的改進(jìn)

主要對(duì)算法層面進(jìn)行改進(jìn)，使回填算法能夠適應(yīng)工作流；在對(duì)傳統(tǒng)回填算法改進(jìn)上增加了工作流調(diào)度方式、工作流輸入方式即輸入任務(wù)和任務(wù)偏序關(guān)系；還包含了對(duì)工作流調(diào)度方案的改進(jìn)，主要是對(duì)回填調(diào)度算法改進(jìn)以及工作流單位和普通單個(gè)任務(wù)的競(jìng)爭(zhēng)約束規(guī)則；改進(jìn)回填算法執(zhí)行流程：在模擬平臺(tái)上先根據(jù)任務(wù)2個(gè)資源屬性即CPU、IO數(shù)據(jù)以及類別信息值，結(jié)合平臺(tái)設(shè)置相關(guān)參數(shù)產(chǎn)生任務(wù)，然后再根據(jù)任務(wù)之間的偏序關(guān)系生成任務(wù)流，具體是利用鄰接矩陣，建立DAG來保存任務(wù)流信息，最后增加了設(shè)置任務(wù)優(yōu)先級(jí)操作，對(duì)任務(wù)優(yōu)先級(jí)進(jìn)行設(shè)置，將任務(wù)提交至等待隊(duì)列；在等待隊(duì)列中首先選擇可調(diào)度任務(wù)，掃描等待隊(duì)列，從隊(duì)列頭開始調(diào)度，查看任務(wù)資源需求是否得到滿足，然后對(duì)任務(wù)流檢測(cè)，如果是任務(wù)流，則檢測(cè)父級(jí)任務(wù)是否完成，如果能夠調(diào)度則提交給調(diào)度器，否則將任務(wù)進(jìn)行回填處理，將任務(wù)提交至回填子程序，最后對(duì)任務(wù)運(yùn)行時(shí)間的精確預(yù)測(cè)操作，尋找回填間隙，如果能夠回填，則重新提交給任務(wù)流檢測(cè)子程序，如果不能回填，則將任務(wù)仍放入等待隊(duì)列，開啟下一個(gè)任務(wù)；

對(duì)任務(wù)運(yùn)行時(shí)間的預(yù)測(cè)，主要是利用前后N條歷史數(shù)據(jù)來獲取限定，根據(jù)下式(4)、(5)預(yù)測(cè)任務(wù)運(yùn)行時(shí)間；

$t_j=\underset{i=1}{\overset{N}{\Σ}}{w}_i*r_j/{\mathrm{JRR}}_i---\left(4\right)$

$w_i=1/(r_i/{\mathrm{JRR}}_i-1)/\underset{i}{\Σ}1/(r_i/{\mathrm{JRR}}_i-1)---\left(5\right)$

式中，t_j為任務(wù)j的預(yù)測(cè)運(yùn)行時(shí)間，w_i為權(quán)值，r_i為任務(wù)i的實(shí)際運(yùn)行時(shí)間，JRR_i為任務(wù)i的請(qǐng)求運(yùn)行時(shí)間，N為歷史數(shù)據(jù)條數(shù)；回填策略的好壞直接受任務(wù)預(yù)測(cè)時(shí)間準(zhǔn)確性影響，通過式(4)獲取任務(wù)的精確任務(wù)運(yùn)行時(shí)間，能夠很好的改善回填效果；

對(duì)于工作流任務(wù)和普通任務(wù)之間的競(jìng)爭(zhēng)規(guī)則，提出以下3條對(duì)工作流和普通任務(wù)之間競(jìng)爭(zhēng)關(guān)系的約束：

a、普通任務(wù)和工作流比較，設(shè)置工作流和普通任務(wù)熵閾值，如果低于閾值，則提高普通任務(wù)優(yōu)先級(jí)，普通任務(wù)和工作流同等對(duì)待，否則工作流優(yōu)先級(jí)高于普通任務(wù)，如果只調(diào)度工作流，忽略該約束；

b、工作流任務(wù)的選擇則需要判斷前驅(qū)即所有直接父級(jí)任務(wù)已經(jīng)結(jié)束，否則不能作回填；

c、工作流任務(wù)符合b點(diǎn)之間的比較排序，不同優(yōu)先級(jí)隊(duì)列任務(wù)，高優(yōu)先級(jí)要先高于低優(yōu)先級(jí)，同優(yōu)先級(jí)則無差別對(duì)待；

對(duì)于約束a作相應(yīng)的解釋，如果調(diào)度普通任務(wù)和工作流任務(wù)混合場(chǎng)景，則要設(shè)置普通任務(wù)和任務(wù)流的優(yōu)先級(jí)，否則忽略本約束；這里定義了工作流任務(wù)和普通任務(wù)之間的熵s＝-P_wf log P_wf-P_g logP_g，其中P_wf表示工作流任務(wù)比例，P_g表示普通任務(wù)比例，并且P_g+P_wf＝1，熵值S表現(xiàn)工作流任務(wù)和普通任務(wù)之間的均勻程度，所以熵值偏小，說明普通任務(wù)或工作流任務(wù)占比不均勻；設(shè)置熵閾值L，能夠保證普通任務(wù)和工作流任務(wù)都能夠得到調(diào)度，而不會(huì)出現(xiàn)工作流得到充分調(diào)度，普通任務(wù)得不到調(diào)度的情況；如果S<L并且P_wf<0.5，則提升任務(wù)流優(yōu)先級(jí)，S<L并且P_g<0.5，則提升普通任務(wù)優(yōu)先級(jí)，如果S>L，優(yōu)先工作流；

3)回填任務(wù)的投遞

回填任務(wù)投遞需要遵循2條策略：一是作業(yè)需求的處理器數(shù)目小于當(dāng)前的空閑處理器數(shù)，并且需要在陰影時(shí)間即從當(dāng)前時(shí)間到任務(wù)開始回填的這段時(shí)間之前預(yù)期結(jié)束；二是任務(wù)隊(duì)列排序不僅要考慮bml，該bml為backfilling matching level，是在等待隊(duì)列中影響選擇回填任務(wù)的一個(gè)因子，具體定義見下式(6)，還要考慮各個(gè)資源主機(jī)或者虛擬機(jī)的負(fù)載和任務(wù)類別屬性的匹配程度定義cml，該cml為class matching level，是在等待隊(duì)列中影響回填任務(wù)選擇主機(jī)的一個(gè)因子，具體定義見下式(7)，利用如下兩個(gè)公式計(jì)算兩個(gè)匹配因子：

$bml=\frac{1}{(1+time\_level)}*\frac{1}{(1+cores\_level)}---\left(6\right)$

$cml=\frac{1}{(load-class\_level)}---\left(7\right)$

式中，cores_level＝request_cores/free_cores，time_level＝pre_runtime/shado w_time，request_cores為請(qǐng)求的核數(shù)，free_cores為當(dāng)前空閑的核數(shù)，pre_runtime為任務(wù)預(yù)測(cè)運(yùn)行時(shí)間，shadow_time為陰影時(shí)間，即當(dāng)前時(shí)間到任務(wù)回填開始時(shí)間；回填任務(wù)投遞給主機(jī)，考慮主機(jī)負(fù)載情況，再結(jié)合任務(wù)特性，給要投遞的任務(wù)尋找合適的主機(jī)，尋找規(guī)則是負(fù)載高主機(jī)選擇IO消耗型，負(fù)載低則選擇CPU消耗型，從而達(dá)到負(fù)載均衡的目的。