一種云工作流作業(yè)調(diào)度方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云計算領(lǐng)域，具體涉及一種云工作流作業(yè)調(diào)度方法。
【背景技術(shù)】
[0002] 工作流調(diào)度是工作流研究中的重要問題之一，也一直得到了學(xué)術(shù)界的深入研究和 工業(yè)界的廣泛實踐。面向云計算環(huán)境的工作流的調(diào)度方法與傳統(tǒng)工作流和網(wǎng)格工作流的調(diào) 度方法存在著很大的區(qū)別。云工作流運行時，如何根據(jù)云計算環(huán)境和云服務(wù)QoS模型，將云 資源高效、靈活地分配到工作流的計算任務(wù)中是云工作流調(diào)度中需要解決的問題，而現(xiàn)有 的云工作流調(diào)度方法普遍存在著成本高、誤碼率高、反應(yīng)速度慢等問題，云工作流調(diào)度能力 亟待提尚。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是解決現(xiàn)有技術(shù)的缺陷，提供一種云工作流作業(yè)調(diào)度方法，采用的 技術(shù)方案如下：
[0004] 一種云工作流作業(yè)調(diào)度方法，包括：
[0005] S1.對每一個云工作流作業(yè)，根據(jù)其DAG流程圖進行分解，得到多個相互獨立的子 云工作流作業(yè)；
[0006] S2.估計每一子云工作流作業(yè)的執(zhí)行時間；
[0007] S3.子云工作流作業(yè)進入等待隊列；
[0008] S4.根據(jù)SLA約束分配子云工作流作業(yè)的優(yōu)先級；
[0009] S5.利用強化學(xué)習(xí)對子云工作流進行調(diào)度。
[0010] 分解后的云工作流作業(yè)成為相互獨立的子云工作流作業(yè)，以子云工作流作業(yè)為基 本的處理對象，這些相互獨立的子云工作流作業(yè)隨后進入等待隊列，根據(jù)SLA約束分配子 云工作流作業(yè)的優(yōu)先級，優(yōu)先級高的子云工作流作業(yè)先進行調(diào)度，最后，強化學(xué)習(xí)通過與環(huán) 境不斷的交互和試錯，利用環(huán)境反饋的評價信號實現(xiàn)決策的優(yōu)化。本發(fā)明能夠有效提高調(diào) 度效率、降低調(diào)度成本。
[0011] 作為優(yōu)選，本發(fā)明使用細(xì)粒度的云計算模型進行云工作流作業(yè)調(diào)度，所述細(xì)粒度 的云計算模型包括作業(yè)調(diào)度子模塊、作業(yè)執(zhí)行子模塊和作業(yè)傳輸子模塊，所述作業(yè)調(diào)度子 模塊包括等待隊列和作業(yè)分配器，所述作業(yè)執(zhí)行子模塊包括若干個子隊列以及與子隊列對 應(yīng)的虛擬機，所述作業(yè)傳輸子模塊包括全局隊列和作業(yè)傳輸器，所述等待隊列接收子云工 作流作業(yè)，所述作業(yè)分配器將等待隊列中的子云工作流作業(yè)分配給子隊列，所述虛擬機執(zhí) 行子云工作流作業(yè)，所述全局隊列接收虛擬機執(zhí)行完畢后的作業(yè)結(jié)果，所述作業(yè)傳輸器將 作業(yè)結(jié)果反饋給用戶。
[0012] 本發(fā)明結(jié)合隊列理論設(shè)計了細(xì)粒度的云計算系統(tǒng)模型，該模型由相互作用并協(xié)同 工作的多個子模塊構(gòu)成，以子云工作流作業(yè)作為基本的處理對象，按照該對象在模型中的 處理過程，將總的響應(yīng)時間分為三部分，分別對應(yīng)作業(yè)調(diào)度子模塊、作業(yè)執(zhí)行子模塊和作業(yè) 傳輸子模塊，能夠準(zhǔn)確分析動態(tài)變化的云計算環(huán)境性能，將云資源高效、靈活地分配到工作 流的計算任務(wù)中，有效提高調(diào)度效率、降低調(diào)度成本。
[0013] 作為優(yōu)選，所述強化學(xué)習(xí)以：
化目標(biāo)進行學(xué)習(xí)，其中
為用戶任務(wù)響應(yīng)時間，

為作業(yè)傳輸子模塊 作業(yè)的到達率，μ ttsm為作業(yè)傳輸子模塊作業(yè)的服務(wù)率，P i為當(dāng)前作業(yè)分配給虛擬機i的概 率。
[0014] 在細(xì)粒度的云計算系統(tǒng)模型中，以子云工作流作業(yè)作為基本的處理對象，按照該 對象在模型中的處理過程，將總的響應(yīng)時間分成了 rttssm、rttesm和rtttsm三部分，那么對于任 何一個子云工作流作業(yè)，我們可以單獨分析該響應(yīng)時間的組成，從而能夠準(zhǔn)確分析動態(tài)變 化的云計算環(huán)境性能。本發(fā)明在各虛擬機資源占有量不變的約束下，以作業(yè)響應(yīng)時間最小 化為優(yōu)化目標(biāo)，通過云工作流作業(yè)的合理調(diào)度，提高了資源利用率和服務(wù)質(zhì)量。
[0015] 作為優(yōu)選，所述強化學(xué)習(xí)以當(dāng)前云計算平臺中的虛擬機資源為狀態(tài)空間，以作業(yè) 調(diào)度動作為動作空間，以當(dāng)前作業(yè)執(zhí)行時間為立即回報。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：本發(fā)明能夠準(zhǔn)確分析動態(tài)變化的云計算環(huán) 境性能，將云資源高效、靈活地分配到工作流的計算任務(wù)中。同時，本發(fā)明在各虛擬機資源 占有量不變的約束下，以作業(yè)響應(yīng)時間最小化為優(yōu)化目標(biāo)，通過利用強化學(xué)習(xí)對云工作流 作業(yè)進行合理的調(diào)度，提高了資源利用率和服務(wù)質(zhì)量。
【附圖說明】
[0017] 圖1是本發(fā)明的流程圖；
[0018] 圖2是本發(fā)明細(xì)粒度的云計算模型的結(jié)構(gòu)示意圖；
[0019] 圖3是本發(fā)明將云工作流作業(yè)進行分解的示意圖。
【具體實施方式】
[0020] 下面結(jié)合附圖和實施例對本發(fā)明作進一步詳細(xì)描述。
[0021] 實施例：
[0022] 如圖1所示，一種云工作流作業(yè)調(diào)度方法，包括：
[0023] S1.對每一個云工作流作業(yè)，根據(jù)其DAG流程圖進行分解，得到多個相互獨立的子 云工作流作業(yè)；
[0024] S2.估計每一子云工作流作業(yè)的執(zhí)行時間；
[0025] S3.子云工作流作業(yè)進入等待隊列；
[0026] S4.根據(jù)SLA約束分配子云工作流作業(yè)的優(yōu)先級；
[0027] S5.利用強化學(xué)習(xí)對子云工作流進行調(diào)度。
[0028] 分解后的云工作流作業(yè)成為相互獨立的子云工作流作業(yè)，以子云工作流作業(yè)為基 本的處理對象，這些相互獨立的子云工作流作業(yè)隨后進入等待隊列，根據(jù)SLA約束分配子 云工作流作業(yè)的優(yōu)先級，優(yōu)先級高的子云工作流作業(yè)先進行調(diào)度，最后，強化學(xué)習(xí)通過與環(huán) 境不斷的交互和試錯，利用環(huán)境反饋的評價信號實現(xiàn)決策的優(yōu)化。
[0029] 本實施例使用細(xì)粒度的云計算模型進行云工作流作業(yè)調(diào)度，所述細(xì)粒度的云計算 模型包括作業(yè)調(diào)度子模塊、作業(yè)執(zhí)行子模塊和作業(yè)傳輸子模塊，所述作業(yè)調(diào)度子模塊包括 等待隊列和作業(yè)分配器，所述作業(yè)執(zhí)行子模塊包括若干個子隊列以及與子隊列對應(yīng)的虛擬 機，所述作業(yè)傳輸子模塊包括全局隊列和作業(yè)傳輸器，所述等待隊列接收子云工作流作業(yè)， 所述作業(yè)分配器將等待隊列中的子云工作流作業(yè)分配給子隊列，所述虛擬機執(zhí)行子云工作 流作業(yè)，所述全局隊列接收虛擬機執(zhí)行完畢后的作業(yè)結(jié)果，所述作業(yè)傳輸器將作業(yè)結(jié)果反 饋給用戶。
[0030] 本實施例結(jié)合隊列理論設(shè)計了細(xì)粒度的云計算系統(tǒng)模型，該模型由相互作用并協(xié) 同工作的多個子模塊構(gòu)成，以子云工作流作業(yè)作為基本的處理對象，按照該對象在模型中 的處理過程，將總的響應(yīng)時間分為三部分，分別對應(yīng)作業(yè)調(diào)度子模塊、作業(yè)執(zhí)行子模塊和作 業(yè)傳輸子模塊，能夠準(zhǔn)確分析動態(tài)變化的云計算環(huán)境性能，將云資源高效、靈活地分配到工 作流的計算任務(wù)中，有效提高調(diào)度效率、降低調(diào)度成本。
[0031] 所述強化學(xué)習(xí)以：
標(biāo)進行學(xué)習(xí)，其中，rttot= rt tssm+rttesm+rtttsn%用戶任務(wù)響應(yīng)時間，

,λ 為作業(yè)傳輸子模塊 作業(yè)的到達率，μ ttsm為作業(yè)傳輸子模塊作業(yè)的服務(wù)率，P i為當(dāng)前作業(yè)分配給虛擬機i的概 率。
[0032] 在細(xì)粒度的云計算系統(tǒng)模型中，以子云工作流作業(yè)作為基本的處理對象，按照該 對象在模型中的處理過程，將總的響應(yīng)時間分成了 rttssm、rttesm和rtttsm三部分，那么對于任 何一個子云工作流作業(yè)，我們可以單獨分析該響應(yīng)時間的組成，從而能夠準(zhǔn)確分析動態(tài)變 化的云計算環(huán)境性能。
[0033] 所述強化學(xué)習(xí)以當(dāng)前云計算平臺中的虛擬機資源為狀態(tài)空間，以作業(yè)調(diào)度動作為 動作空間，以當(dāng)前作業(yè)執(zhí)行時間為立即回報。
[0034] 如圖3所示，以醫(yī)學(xué)圖像分析工作流應(yīng)用為例，步驟S1對云工作流作業(yè)進行分解 的過程為：第一次歸納
[0036] 進一步分析可發(fā)現(xiàn)，分支（b)，（c)，（d)，（e)都需要經(jīng)過節(jié)點（1)和節(jié)點（2)，則可 進一步歸納為
[0038] 從第一次歸納和進一步歸納的結(jié)果可見，（b)、（c)、（d)、（e)均需要步驟（2)，那么 這一步的執(zhí)行結(jié)果可被（b)、（c)、（d)、（e)共享，這樣就合并了作業(yè)的執(zhí)行過程。
[0039] 本實施例的云工作流調(diào)度方法能夠準(zhǔn)確分析動態(tài)變化的云計算環(huán)境性能，將云資 源高效、靈活地分配到工作流的計算任務(wù)中，通過云工作流作業(yè)的合理調(diào)度，提高了資源利 用率和服務(wù)質(zhì)量。
【主權(quán)項】
1. 一種云工作流作業(yè)調(diào)度方法，其特征在于，包括：51. 對每一個云工作流作業(yè)，根據(jù)其DAG流程圖進行分解，得到多個相互獨立的子云工 作流作業(yè)；52. 估計每一子云工作流作業(yè)的執(zhí)行時間；53. 子云工作流作業(yè)進入等待隊列；54. 根據(jù)SLA約束分配子云工作流作業(yè)的優(yōu)先級；55. 利用強化學(xué)習(xí)對子云工作流進行調(diào)度。2. 根據(jù)權(quán)利要求1所述的一種云工作流作業(yè)調(diào)度方法，其特征在于，使用細(xì)粒度的云 計算模型進行云工作流作業(yè)調(diào)度，所述細(xì)粒度的云計算模型包括作業(yè)調(diào)度子模塊、作業(yè)執(zhí) 行子模塊和作業(yè)傳輸子模塊，所述作業(yè)調(diào)度子模塊包括等待隊列和作業(yè)分配器，所述作業(yè) 執(zhí)行子模塊包括若干個子隊列以及與子隊列對應(yīng)的虛擬機，所述作業(yè)傳輸子模塊包括全局 隊列和作業(yè)傳輸器，所述等待隊列接收子云工作流作業(yè)，所述作業(yè)分配器將等待隊列中的 子云工作流作業(yè)分配給子隊列，所述虛擬機執(zhí)行子云工作流作業(yè)，所述全局隊列接收虛擬 機執(zhí)行完畢后的作業(yè)結(jié)果，所述作業(yè)傳輸器將作業(yè)結(jié)果反饋給用戶。3. 根據(jù)權(quán)利要求2所述的一種云工作流作業(yè)調(diào)度方法，其特征在于，所述強 化學(xué)習(xí)以：為優(yōu)化目標(biāo)進行 學(xué)習(xí)，其中為用戶任務(wù)響應(yīng)時間，為作業(yè)傳輸子模塊 作業(yè)的到達率，μ ttsm為作業(yè)傳輸子模塊作業(yè)的服務(wù)率，P i為當(dāng)前作業(yè)分配給虛擬機i的概 率。4. 根據(jù)權(quán)利要求3所述的一種云工作流作業(yè)調(diào)度方法，其特征在于，所述強化學(xué)習(xí)以 當(dāng)前云計算平臺中的虛擬機資源為狀態(tài)空間，以作業(yè)調(diào)度動作為動作空間，以當(dāng)前作業(yè)執(zhí) 行時間為立即回報。
【專利摘要】本發(fā)明公開一種云工作流作業(yè)調(diào)度方法，包括：對每一個云工作流作業(yè)，根據(jù)其DAG流程圖進行分解，得到多個相互獨立的子云工作流作業(yè);估計每一子云工作流作業(yè)的執(zhí)行時間；子云工作流作業(yè)進入等待隊列；根據(jù)SLA約束分配子云工作流作業(yè)的優(yōu)先級;利用強化學(xué)習(xí)對子云工作流進行調(diào)度。本發(fā)明提高了云計算系統(tǒng)中資源利用率和服務(wù)質(zhì)量。
【IPC分類】G06F9/48, G06F9/455
【公開號】CN105354085
【申請?zhí)枴緾N201510733199
【發(fā)明人】崔得龍, 彭志平, 柯文德, 左敬龍
【申請人】廣東石油化工學(xué)院
【公開日】2016年2月24日
【申請日】2015年10月30日