的特性表示意圖。
【具體實(shí)施方式】
[0032] 本發(fā)明通過(guò)基于業(yè)務(wù)特性的資源評(píng)估算法和動(dòng)態(tài)調(diào)度機(jī)制，解決多系統(tǒng)的復(fù)雜業(yè) 務(wù)環(huán)境下云計(jì)算平臺(tái)的資源管理的問(wèn)題。以下結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0033] 如圖1所示，本發(fā)明提供一種云計(jì)算平臺(tái)作業(yè)調(diào)度方法實(shí)施例，包括以下步驟：
[0034] 步驟101，對(duì)接收到的作業(yè)進(jìn)行解析，獲得作業(yè)的特征參數(shù)；
[0035] 步驟102,根據(jù)作業(yè)的特征參數(shù)計(jì)算作業(yè)的資源需求；
[0036] 步驟103,根據(jù)作業(yè)的資源需求及云計(jì)算平臺(tái)資源剩余信息為作業(yè)分配資源；
[0037] 步驟104,將資源分配結(jié)果發(fā)送到云計(jì)算平臺(tái)執(zhí)行作業(yè)。
[0038] 上述方法實(shí)施例，通過(guò)對(duì)作業(yè)所需資源的估算，結(jié)合云計(jì)算平臺(tái)資源占用情況，對(duì) 云計(jì)算平臺(tái)的作業(yè)進(jìn)行統(tǒng)一的實(shí)時(shí)動(dòng)態(tài)調(diào)度，達(dá)到資源自動(dòng)化管理分配的目標(biāo)，均衡云計(jì) 算平臺(tái)負(fù)載，提高現(xiàn)有資源的利用率，保證業(yè)務(wù)處理的有序性，實(shí)現(xiàn)自動(dòng)合理的資源分配。
[0039] 本實(shí)施例中，作業(yè)的資源需求包括計(jì)算能力需求和/或存儲(chǔ)需求。上述步驟102 具體包括：
[0040](1)根據(jù)以下公式計(jì)算作業(yè)的計(jì)算能力需求：
[0041]
【主權(quán)項(xiàng)】
1. 一種云計(jì)算平臺(tái)作業(yè)調(diào)度方法，其特征在于，包括： 對(duì)接收到的作業(yè)進(jìn)行解析，獲得所述作業(yè)的特征參數(shù)； 根據(jù)所述作業(yè)的特征參數(shù)計(jì)算所述作業(yè)的資源需求； 根據(jù)所述作業(yè)的資源需求及云計(jì)算平臺(tái)資源剩余信息為所述作業(yè)分配資源； 將資源分配結(jié)果發(fā)送到云計(jì)算平臺(tái)執(zhí)行作業(yè)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述作業(yè)的資源需求包括計(jì)算能力需求 和/或存儲(chǔ)需求；根據(jù)所述作業(yè)的特征參數(shù)計(jì)算所述作業(yè)的資源需求包括： 根據(jù)以下公式計(jì)算所述作業(yè)的計(jì)算能力需求：
其中，X1為所述作業(yè)的計(jì)算能力需求；η為作業(yè)對(duì)應(yīng)的業(yè)務(wù)類型的數(shù)量；A為所述作業(yè) 對(duì)應(yīng)的業(yè)務(wù)流程的數(shù)據(jù)分析流程數(shù)；Bl為單數(shù)據(jù)流的平均映射Map數(shù)；Cl為Map任務(wù)的平 均耗時(shí)；Dl為單個(gè)CPU內(nèi)核的Map任務(wù)并發(fā)數(shù)；B2為單數(shù)據(jù)流的平均規(guī)約（Reduce)數(shù)；C2 為Reduce任務(wù)的平均耗時(shí)；D2為單個(gè)CPU內(nèi)核的Reduce任務(wù)并發(fā)數(shù)；E為作業(yè)運(yùn)行時(shí)間要 求；F為云計(jì)算平臺(tái)能力冗余系數(shù)； 根據(jù)以下公式計(jì)算所述作業(yè)的存儲(chǔ)需求：
其中，X2為所述作業(yè)的存儲(chǔ)需求；Y為作業(yè)對(duì)應(yīng)的業(yè)務(wù)類型的數(shù)量;A'為單周期數(shù)據(jù) 大?。粸榇鎯?chǔ)因子；C'為數(shù)據(jù)存儲(chǔ)周期；D'為壓縮比；E'為存儲(chǔ)使用率；F'為單臺(tái)設(shè) 備的存儲(chǔ)能力。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述作業(yè)的資源需求及云計(jì)算平臺(tái) 資源剩余信息為所述作業(yè)分配資源包括： 根據(jù)所述作業(yè)的計(jì)算能力需求和/或存儲(chǔ)需求及云計(jì)算平臺(tái)資源剩余信息為所述作 業(yè)分配資源； 生成資源分配結(jié)果包括新作業(yè)隊(duì)列，所述業(yè)務(wù)執(zhí)行隊(duì)列包括以下信息：作業(yè)執(zhí)行語(yǔ)句 /腳本、所述作業(yè)的優(yōu)先級(jí)、所述作業(yè)的執(zhí)行依賴條件、時(shí)間要求和所述作業(yè)的計(jì)算能力需 求和/或存儲(chǔ)需求。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括： 獲取作業(yè)發(fā)起系統(tǒng)的特性信息及運(yùn)行中的作業(yè)隊(duì)列信息；所述業(yè)發(fā)起系統(tǒng)的特性信息 包括：作業(yè)列表、資源占用、優(yōu)先級(jí)、調(diào)度頻率及依賴條件； 進(jìn)一步根據(jù)所述作業(yè)發(fā)起系統(tǒng)的特性信息及運(yùn)行中作業(yè)隊(duì)列信息為所述作業(yè)分配資 源。
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，將資源分配結(jié)果發(fā)送到云計(jì)算平臺(tái)進(jìn)行 作業(yè)執(zhí)行包括： 根據(jù)所述新作業(yè)隊(duì)列更新當(dāng)前作業(yè)隊(duì)列； 將更新后的當(dāng)前作業(yè)隊(duì)列提交到云計(jì)算平臺(tái)進(jìn)行執(zhí)行。
6. -種云計(jì)算平臺(tái)作業(yè)調(diào)度裝置，其特征在于，包括： 作業(yè)解析模塊，用于對(duì)接收到的作業(yè)進(jìn)行解析，獲得所述作業(yè)的特征參數(shù)； 資源計(jì)算模塊，用于根據(jù)所述作業(yè)的特征參數(shù)計(jì)算所述作業(yè)的資源需求； 資源分配模塊，用于根據(jù)所述作業(yè)的資源需求及云計(jì)算平臺(tái)資源剩余信息為所述作業(yè) 分配資源； 作業(yè)發(fā)送模塊，用于將資源分配結(jié)果發(fā)送到云計(jì)算平臺(tái)執(zhí)行作業(yè)。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述作業(yè)的資源需求包括計(jì)算能力需求 和/或存儲(chǔ)需求；所述資源計(jì)算模塊，用于根據(jù)以下公式計(jì)算所述作業(yè)的計(jì)算能力需求：
其中，X1為所述作業(yè)的計(jì)算能力需求；η為作業(yè)對(duì)應(yīng)的業(yè)務(wù)類型的數(shù)量；A為所述作業(yè) 對(duì)應(yīng)的業(yè)務(wù)流程的數(shù)據(jù)分析流程數(shù)；Bl為單數(shù)據(jù)流的平均映射Map數(shù)；Cl為Map任務(wù)的平 均耗時(shí)；Dl為單個(gè)CPU內(nèi)核的Map任務(wù)并發(fā)數(shù)；B2為單數(shù)據(jù)流的平均規(guī)約（Reduce)數(shù)；C2 為Reduce任務(wù)的平均耗時(shí)；D2為單個(gè)CPU內(nèi)核的Reduce任務(wù)并發(fā)數(shù)；E為作業(yè)運(yùn)行時(shí)間要 求；F為云計(jì)算平臺(tái)能力冗余系數(shù)； 根據(jù)以下公式計(jì)算所述作業(yè)的存儲(chǔ)需求： ,At ^ Rt ^
Tt 其中，X2為所述作業(yè)的存儲(chǔ)需求；Y為作業(yè)對(duì)應(yīng)的業(yè)務(wù)類型的數(shù)量;A'為單周期數(shù)據(jù) 大小；為存儲(chǔ)因子；C'為數(shù)據(jù)存儲(chǔ)周期；D'為壓縮比；E'為存儲(chǔ)使用率；F'為單臺(tái)設(shè) 備的存儲(chǔ)能力。
8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述資源分配模塊包括： 分配子模塊，用于根據(jù)所述作業(yè)的計(jì)算能力需求和/或存儲(chǔ)需求及云計(jì)算平臺(tái)資源剩 余信息為所述作業(yè)分配資源； 生成子模塊，用于生成資源分配結(jié)果包括新作業(yè)隊(duì)列，所述業(yè)務(wù)執(zhí)行隊(duì)列包括以下信 息：作業(yè)執(zhí)行語(yǔ)句/腳本、所述作業(yè)的優(yōu)先級(jí)、所述作業(yè)的執(zhí)行依賴條件、時(shí)間要求和所述 作業(yè)的計(jì)算能力需求和/或存儲(chǔ)需求。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述資源分配模塊還包括： 獲取子模塊，用于獲取作業(yè)發(fā)起系統(tǒng)的特性信息及運(yùn)行中的作業(yè)隊(duì)列信息；所述業(yè)發(fā) 起系統(tǒng)的特性信息包括：作業(yè)列表、資源占用、優(yōu)先級(jí)、調(diào)度頻率及依賴條件； 所述分配子模塊，用于進(jìn)一步根據(jù)所述作業(yè)發(fā)起系統(tǒng)的特性信息及運(yùn)行中作業(yè)隊(duì)列信 息為所述作業(yè)分配資源。
10. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述作業(yè)發(fā)送模塊，用于根據(jù)所述新作 業(yè)隊(duì)列更新當(dāng)前作業(yè)隊(duì)列；將更新后的當(dāng)前作業(yè)隊(duì)列提交到云計(jì)算平臺(tái)進(jìn)行執(zhí)行。
【專利摘要】本發(fā)明公開(kāi)了一種云計(jì)算平臺(tái)作業(yè)調(diào)度方法及裝置。其中該方法包括：對(duì)接收到的作業(yè)進(jìn)行解析，獲得所述作業(yè)的特征參數(shù)；根據(jù)所述作業(yè)的特征參數(shù)計(jì)算所述作業(yè)的資源需求；根據(jù)所述作業(yè)的資源需求及云計(jì)算平臺(tái)資源剩余信息為所述作業(yè)分配資源；將資源分配結(jié)果發(fā)送到云計(jì)算平臺(tái)執(zhí)行作業(yè)。
【IPC分類】H04L29-08
【公開(kāi)號(hào)】CN104735095
【申請(qǐng)?zhí)枴緾N201310697757
【發(fā)明人】何淼, 曾鍵, 陳剛
【申請(qǐng)人】中國(guó)移動(dòng)通信集團(tuán)四川有限公司
【公開(kāi)日】2015年6月24日
【申請(qǐng)日】2013年12月18日