一種云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，屬于云計(jì)算資源調(diào)度
技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 基于分布式計(jì)算特別是網(wǎng)格計(jì)算的發(fā)展，產(chǎn)生了一種新型服務(wù)計(jì)算模型：云計(jì)算 (Cloud Computing)。云計(jì)算是一種能夠通過(guò)網(wǎng)絡(luò)以便利的、按需的方式訪問(wèn)一個(gè)可配置的 計(jì)算資源共享池的模式，這個(gè)資源共享池能以最少的管理開(kāi)銷(xiāo)和最少的與供應(yīng)商的交互， 迅速配置、提供或釋放資源。云計(jì)算的主要優(yōu)勢(shì)在于：能夠迅速地降低硬件成本和提升計(jì)算 能力以及存儲(chǔ)容量等；用戶(hù)可以以極低的成本投入獲得極高的計(jì)算品質(zhì)，而不用再投資購(gòu) 買(mǎi)昂貴的硬件設(shè)備，進(jìn)行頻繁的保養(yǎng)與升級(jí)。
[0003] 由于上述優(yōu)點(diǎn)，許多公司和研宄機(jī)構(gòu)都嘗試將其實(shí)時(shí)分析、在線廣告以及科學(xué)計(jì) 算應(yīng)用等迀移到現(xiàn)有的商業(yè)云中，以解決數(shù)據(jù)量大規(guī)模增長(zhǎng)時(shí)的數(shù)據(jù)處理問(wèn)題。實(shí)現(xiàn)計(jì)算 或存儲(chǔ)任務(wù)與所購(gòu)買(mǎi)資源之間的合理映射對(duì)于用戶(hù)來(lái)說(shuō)是巨大的挑戰(zhàn)。云的自縮放性質(zhì) (根據(jù)應(yīng)用的體量隨時(shí)獲取或釋放合適類(lèi)型和數(shù)量的資源，按照被使用的情況計(jì)費(fèi)）提供 了更加靈活的資源供應(yīng)方案。過(guò)低的資源配置會(huì)導(dǎo)致系統(tǒng)性能的下降，造成截止期的拖延； 而過(guò)高的資源配置會(huì)造成空閑的時(shí)間槽，增加了不必要的開(kāi)銷(xiāo)。因此，用戶(hù)需要提出一種合 理的資源自縮放策略以在保證系統(tǒng)性能的前提下節(jié)省租金開(kāi)銷(xiāo)。
[0004] 分析和科學(xué)計(jì)算應(yīng)用是基于商業(yè)云的一類(lèi)重要應(yīng)用，通常需要求解大量的數(shù)據(jù)。 為了降低執(zhí)行時(shí)間，可對(duì)數(shù)據(jù)進(jìn)行劃分，用并行任務(wù)求解。同時(shí)，這些應(yīng)用也都是由多個(gè)順 序步驟以及并行和順序任務(wù)之間的數(shù)據(jù)傳輸組成的。這類(lèi)包含并行和順序任務(wù)的應(yīng)用可用 工作流進(jìn)行建模。同時(shí)，這些應(yīng)用大多有截止期。因此，為了尋求資源租用開(kāi)銷(xiāo)和工作流完 工時(shí)間之間的平衡，云用戶(hù)需要將工作流任務(wù)分派到適合類(lèi)型和數(shù)目的VM實(shí)例上去。
[0005] 然而，由于在實(shí)際應(yīng)用中，云環(huán)境的租用通常采用小時(shí)計(jì)費(fèi)模式，并且需要考慮軟 件準(zhǔn)備時(shí)間、數(shù)據(jù)傳輸時(shí)間、復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)以及任務(wù)的多樣性等因素，資源供應(yīng)和調(diào)度問(wèn) 題就很難解決。
[0006] 目前已有方法和項(xiàng)目專(zhuān)注于解決云環(huán)境下復(fù)雜因素的工作流調(diào)度問(wèn)題。然而這些 方法并沒(méi)有考慮云計(jì)算環(huán)境中突發(fā)需求和限制情況下的動(dòng)態(tài)調(diào)整策略，也很少考慮到實(shí)際 應(yīng)用中大規(guī)模數(shù)據(jù)傳輸時(shí)間、軟件單元切換時(shí)間等制約因素，因此不能夠應(yīng)用與本發(fā)明所 討論的背景中。

【發(fā)明內(nèi)容】

[0007] 發(fā)明目的：針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題與不足，本發(fā)明提供一種云環(huán)境下的工作 流應(yīng)用彈性資源供應(yīng)方法，以在保證系統(tǒng)性能的前提下減少虛擬機(jī)租金。
[0008] 技術(shù)方案：一種云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，包括以下步驟：
[0009] A.工作流截至期劃分：計(jì)算工作流中的各任務(wù)在各虛擬機(jī)類(lèi)型上的執(zhí)行時(shí)間和 代價(jià)，以在不違反工作流截止期前提下最小化虛擬機(jī)總租賃成本為目標(biāo)，不考慮區(qū)間計(jì)費(fèi) 的約束，將工作流問(wèn)題簡(jiǎn)化為整數(shù)規(guī)劃問(wèn)題，并求解得到每個(gè)任務(wù)選擇的虛擬機(jī)類(lèi)型，確定 任務(wù)執(zhí)行時(shí)間；依據(jù)工作流截止期、任務(wù)間先序關(guān)系和任務(wù)執(zhí)行時(shí)間，確定各任務(wù)截止期；
[0010] B.根據(jù)優(yōu)先級(jí)規(guī)則進(jìn)行任務(wù)調(diào)度：按照任務(wù)在工作流中的深度由小到大依次調(diào) 度任務(wù)，對(duì)于每個(gè)任務(wù)根據(jù)其截止期，基于優(yōu)先級(jí)規(guī)則，計(jì)算所有虛擬機(jī)時(shí)間槽的優(yōu)先級(jí)， 將任務(wù)分配到具有最高優(yōu)先級(jí)的虛擬機(jī)時(shí)間槽，所述優(yōu)先級(jí)規(guī)則包括最少的新租賃時(shí)間區(qū) 間優(yōu)先，最低的總處理代價(jià)優(yōu)先，以及最佳的任務(wù)處理時(shí)間與時(shí)間槽長(zhǎng)度的匹配程度優(yōu)先。
[0011] 所述步驟A中各任務(wù)在各虛擬機(jī)類(lèi)型上的執(zhí)行時(shí)間的包括數(shù)據(jù)傳輸時(shí)間、虛擬機(jī) 與軟件準(zhǔn)備時(shí)間。
[0012] 所述步驟A中依據(jù)工作流截止期、任務(wù)間先序關(guān)系和任務(wù)執(zhí)行時(shí)間，確定各任務(wù) 截止期的具體步驟包括：
[0013] S1.對(duì)任務(wù)集合V中各任務(wù)V，將r/MM初始化為數(shù)據(jù)傳輸時(shí)間、VM準(zhǔn)備時(shí)間、軟件 準(zhǔn)備時(shí)間和任務(wù)執(zhí)行時(shí)間之和，計(jì)算每個(gè)任務(wù)的最早開(kāi)始時(shí)間ESTV、最早結(jié)束時(shí)間EFT V* 最晚結(jié)束時(shí)間LFTV;
[0014] S2.采用關(guān)鍵路徑生成方法迭代生成初始關(guān)鍵路徑CP，CPti]表示CP的第i個(gè)任 務(wù)；
[0015] S3.判斷CP是否為空，若為空，轉(zhuǎn)步驟S10;否則，轉(zhuǎn)步驟S4;
[0016] S4.計(jì)算CP的總時(shí)間浮動(dòng)
【主權(quán)項(xiàng)】
1. 一種云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，該方法包括以下步 驟： A. 工作流截至期劃分：計(jì)算工作流中的各任務(wù)在各虛擬機(jī)類(lèi)型上的執(zhí)行時(shí)間和代價(jià)， 以在不違反工作流截止期前提下最小化虛擬機(jī)總租賃成本為目標(biāo)，不考慮區(qū)間計(jì)費(fèi)的約 束，將工作流問(wèn)題簡(jiǎn)化為整數(shù)規(guī)劃問(wèn)題，并求解得到每個(gè)任務(wù)選擇的虛擬機(jī)類(lèi)型，確定任 務(wù)執(zhí)行時(shí)間；依據(jù)工作流截止期、任務(wù)間先序關(guān)系和任務(wù)執(zhí)行時(shí)間，確定各任務(wù)截止期； B. 根據(jù)優(yōu)先級(jí)規(guī)則進(jìn)行任務(wù)調(diào)度：按照任務(wù)在工作流中的深度由小到大依次調(diào)度任 務(wù)，對(duì)于每個(gè)任務(wù)根據(jù)其截止期，基于優(yōu)先級(jí)規(guī)則，計(jì)算所有虛擬機(jī)時(shí)間槽的優(yōu)先級(jí)，將任 務(wù)分配到具有最高優(yōu)先級(jí)的虛擬機(jī)時(shí)間槽，所述優(yōu)先級(jí)規(guī)則包括最少的新租賃時(shí)間區(qū)間優(yōu) 先，最低的總處理代價(jià)優(yōu)先，以及最佳的任務(wù)處理時(shí)間與時(shí)間槽長(zhǎng)度的匹配程度優(yōu)先。
2. 如權(quán)利要求1所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 步驟A中各任務(wù)在各虛擬機(jī)類(lèi)型上的執(zhí)行時(shí)間的包括數(shù)據(jù)傳輸時(shí)間、虛擬機(jī)與軟件準(zhǔn)備時(shí) 間。
3. 如權(quán)利要求1所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 步驟A中依據(jù)工作流截止期、任務(wù)間先序關(guān)系和任務(wù)執(zhí)行時(shí)間，確定各任務(wù)截止期的具體 步驟包括：
51. 對(duì)任務(wù)集合V中各任務(wù)V，將初始化為數(shù)據(jù)傳輸時(shí)間、VM準(zhǔn)備時(shí)間、軟件準(zhǔn)備 時(shí)間和任務(wù)執(zhí)行時(shí)間之和，計(jì)算每個(gè)任務(wù)的最早開(kāi)始時(shí)間ESTv、最早結(jié)束時(shí)間EFTv和最晚 結(jié)束時(shí)間LFTv;
52. 采用關(guān)鍵路徑生成方法迭代生成初始關(guān)鍵路徑CP，CPm表示CP的第i個(gè)任務(wù)；
53. 判斷CP是否為空，若為空，轉(zhuǎn)步驟SlO ;否則，轉(zhuǎn)步驟S4 ;
54. 計(jì)算CP的總時(shí)間浮動(dòng)
其中，CP，= CP/Vfi!7{CPm} ;，1 是 CP 的長(zhǎng)度；
55. 判斷是否大于0,若大于0,轉(zhuǎn)步驟S6 ;否則，轉(zhuǎn)步驟S12 ;
56. 初始化i = 1 ;
57. 判斷i < 1，若是，轉(zhuǎn)步驟S8 ;否則，轉(zhuǎn)步驟Sll ;
58. 對(duì)CP中的任務(wù)CPK]，判斷CPw是否屬于固定任務(wù)集合Vfix，其中固定任務(wù)集合V fix 為時(shí)間浮動(dòng)滿(mǎn)足EfTv + r/toai = LF7；的所有任務(wù)C組成的集合；若屬于，轉(zhuǎn)步驟SlO ;
59. 計(jì)算CPU]被分配的浮動(dòng)
更新其時(shí)間 浮動(dòng)
更新其后繼任務(wù)的最早開(kāi)始和最早結(jié)束時(shí)間； S10.更新 i = i+1 ; SI 1.更新V中所有任務(wù)的最晚結(jié)束時(shí)間和Vfix,轉(zhuǎn)步驟S4 ;
512. 生成下一個(gè)關(guān)鍵路徑CP，轉(zhuǎn)步驟S3 ;
513. 設(shè)置每個(gè)任務(wù)的任務(wù)截止期\為￡^7^
4. 如權(quán)利要求1所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 步驟B中，包括： BI.初始化已準(zhǔn)備好的任務(wù)集Θ為僅包含開(kāi)始任務(wù)的集合{vj，計(jì)算6中各任務(wù)的最 早開(kāi)始時(shí)間； B2.根據(jù)已準(zhǔn)備好的任務(wù)集Θ中各任務(wù)的深度劃分Θ為各子集，選擇深度最小的子集 Θ s，對(duì)其中的任務(wù)根據(jù)執(zhí)行時(shí)間進(jìn)行非升序排序，選取其中第一個(gè)任務(wù)Lt作為即將進(jìn)行調(diào) 度的任務(wù)；若v t為空，轉(zhuǎn)步驟B5 ; B3.對(duì)于當(dāng)前任務(wù)vt，將其選中的虛擬機(jī)類(lèi)型的一個(gè)實(shí)例暫時(shí)添加至所述云環(huán)境中已 租用的虛擬機(jī)實(shí)例集合I中；根據(jù)任務(wù)的最早開(kāi)始時(shí)間和截止期，得出\當(dāng)前可用的時(shí)間 槽集合; B4.根據(jù)優(yōu)先級(jí)規(guī)則，計(jì)算出任務(wù)\在中每個(gè)時(shí)間槽slot上的優(yōu)先級(jí)值，包括根 據(jù)最少的新租賃時(shí)間區(qū)間優(yōu)先規(guī)則得到的把^&，根據(jù)最低的總處理代價(jià)優(yōu)先規(guī)則得到的 ，以及根據(jù)最佳的任務(wù)處理時(shí)間與時(shí)間槽長(zhǎng)度的匹配程度優(yōu)先規(guī)則得到的 通過(guò)將於。詠，Hi,&和砥。響按設(shè)定權(quán)重整合，得到 '在slot上的最終優(yōu)先級(jí)值，選取 其中具有最高優(yōu)先級(jí)的時(shí)間槽Slots，將任務(wù)Vt分配給slot s;移除I中未使用的VM實(shí)例； 更新已準(zhǔn)備好的任務(wù)集Θ，如果Θ不為空，轉(zhuǎn)步驟B2; B5.任務(wù)與虛擬機(jī)時(shí)間槽匹配結(jié)束，退出。
5. 如權(quán)利要求4所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 Hit,Pt的計(jì)算方法為：1)計(jì)算vt在slot類(lèi)型虛擬機(jī)上所需要的計(jì)費(fèi)區(qū)間的個(gè)數(shù)，加上1， 得到所需的最大區(qū)間數(shù)；2)將\在slot上導(dǎo)致的實(shí)際新租賃時(shí)間片的個(gè)數(shù)除以步驟1)中 得到的最大區(qū)間數(shù)，從而得到略_。
6. 如權(quán)利要求4所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 ^sLotlVt 的計(jì)算方法為： 首先，根據(jù)slot所在虛擬機(jī)類(lèi)型，得出Vt的任務(wù)執(zhí)行時(shí)間； 然后，查看是否是新租賃的虛擬機(jī)，如果是，則將虛擬機(jī)加載時(shí)間添加到任務(wù)執(zhí)行時(shí)間 上；如果是已經(jīng)有的虛擬機(jī)實(shí)例，則查看slot上是否有Vt需要的軟件，如果沒(méi)有，則將軟件 的下載和安裝時(shí)間添加到任務(wù)執(zhí)行時(shí)間上； 最后，計(jì)算所有前序任務(wù)數(shù)據(jù)傳輸?shù)皆搒lot上的總時(shí)間，并添加到任務(wù)執(zhí)行時(shí)間上， 得出Vt在該slot上的總處理時(shí)間，歸一化后得到
7. 如權(quán)利要求4所述的云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，其特征在于，所述 通過(guò)計(jì)算Vt分配到slot后任務(wù)兩段浪費(fèi)的時(shí)間得到，具體計(jì)算方法為：1)獲取^在 slot上所占用連續(xù)計(jì)費(fèi)區(qū)間的集合；2)計(jì)算Vt在所占用計(jì)費(fèi)區(qū)間上的兩端浪費(fèi)之和；3)將 浪費(fèi)之和除以?xún)杀兜挠?jì)費(fèi)區(qū)間長(zhǎng)度，得到
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種云環(huán)境下的工作流應(yīng)用彈性資源供應(yīng)方法，考慮了基于時(shí)間區(qū)間的按需收費(fèi)模型、數(shù)據(jù)傳輸時(shí)間、虛擬機(jī)啟動(dòng)時(shí)間和軟件安裝（下載）時(shí)間等。本發(fā)明所公開(kāi)的基于多規(guī)則的啟發(fā)式方法（MRH）主要包括：A）子任務(wù)截止期劃分；B）基于多規(guī)則的子任務(wù)與虛擬機(jī)時(shí)間槽的匹配方法；步驟A的主要特點(diǎn)是通過(guò)刪除原問(wèn)題的按區(qū)間計(jì)費(fèi)的約束，將原問(wèn)題簡(jiǎn)化，然后求解該問(wèn)題的整數(shù)規(guī)劃模型，得出每個(gè)子任務(wù)的截止期。步驟B其主要特點(diǎn)是提出三個(gè)考慮多因素的優(yōu)先級(jí)規(guī)則，將任務(wù)與匹配到合適的虛擬機(jī)空閑時(shí)間槽。本發(fā)明通過(guò)恰當(dāng)?shù)淖尤蝿?wù)截止期劃分和多規(guī)則的時(shí)間槽匹配方法，充分降低整個(gè)工作流應(yīng)用的資源租賃成本。
【IPC分類(lèi)】G06F9-50, G06F9-455
【公開(kāi)號(hào)】CN104536806
【申請(qǐng)?zhí)枴緾N201410829648
【發(fā)明人】李小平, 蔡志成, 陳湉
【申請(qǐng)人】東南大學(xué)
【公開(kāi)日】2015年4月22日
【申請(qǐng)日】2014年12月26日