用于分布式環(huán)境的異步任務(wù)管理裝置及方法
【專利摘要】本發(fā)明提出了用于分布式環(huán)境的異步任務(wù)管理裝置及方法。其中，所述方法包括：基于訓(xùn)練樣本以及預(yù)定的任務(wù)類型和對(duì)應(yīng)的規(guī)模參數(shù)集合建立任務(wù)規(guī)模評(píng)估模型；基于所述任務(wù)規(guī)模評(píng)估模型確定針對(duì)異步任務(wù)請(qǐng)求的目標(biāo)計(jì)算節(jié)點(diǎn)，并將所述異步任務(wù)請(qǐng)求傳送到所述目標(biāo)計(jì)算節(jié)點(diǎn)以執(zhí)行相關(guān)的異步任務(wù)。
【專利說(shuō)明】用于分布式環(huán)境的異步任務(wù)管理裝置及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及異步任務(wù)管理裝置及方法，更具體地，涉及用于分布式環(huán)境的異步任 務(wù)管理裝置及方法。

【背景技術(shù)】
[0002] 目前，隨著計(jì)算機(jī)和網(wǎng)絡(luò)應(yīng)用的日益廣泛以及不同領(lǐng)域的業(yè)務(wù)種類的日益豐富， 基于分布式環(huán)境的異步任務(wù)管理裝置及方法變得越來(lái)越重要。
[0003] 現(xiàn)有的異步任務(wù)管理裝置及方法的基本工作原理如下：基于每個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載 情況進(jìn)行任務(wù)分配以達(dá)到各個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載均衡。
[0004] 然而，現(xiàn)有的異步任務(wù)管理裝置及方法存在如下問(wèn)題：在計(jì)算節(jié)點(diǎn)存在差異并且 計(jì)算能力不同的情況下，可能存在計(jì)算能力過(guò)度分配或者分配不足的情況，即計(jì)算能力較 弱的計(jì)算節(jié)點(diǎn)分配到規(guī)模較大的任務(wù)，從而導(dǎo)致任務(wù)的執(zhí)行時(shí)間過(guò)長(zhǎng)，而計(jì)算能力較強(qiáng)的 計(jì)算節(jié)點(diǎn)可能分配不到任務(wù)或者分配到規(guī)模較小的任務(wù)，從而導(dǎo)致任務(wù)分配不足，由此從 整體上而言各個(gè)異步任務(wù)的完成時(shí)間難于達(dá)到最優(yōu)。
[0005] 因此，存在如下需求：提供能夠優(yōu)化異步任務(wù)分配并具有高的異步任務(wù)執(zhí)行效率 的用于分布式環(huán)境的異步任務(wù)管理裝置及方法。


【發(fā)明內(nèi)容】

[0006] 為了解決上述現(xiàn)有技術(shù)方案所存在的問(wèn)題，本發(fā)明提出了能夠優(yōu)化異步任務(wù)分配 并具有高的異步任務(wù)執(zhí)行效率的用于分布式環(huán)境的異步任務(wù)管理裝置及方法。
[0007] 本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0008] -種用于分布式環(huán)境的異步任務(wù)管理裝置，所述用于分布式環(huán)境的異步任務(wù)管理 裝置包括：
[0009] 預(yù)處理單元，所述預(yù)處理單元基于訓(xùn)練樣本以及預(yù)定的任務(wù)類型和對(duì)應(yīng)的規(guī)模參 數(shù)集合建立任務(wù)規(guī)模評(píng)估模型；
[0010] 異步任務(wù)管理單元，所述異步任務(wù)管理單元在所述任務(wù)規(guī)模評(píng)估模型已被建立后 接收來(lái)自外部的異步任務(wù)請(qǐng)求，并基于所述任務(wù)規(guī)模評(píng)估模型確定目標(biāo)計(jì)算節(jié)點(diǎn)以及將所 述異步任務(wù)請(qǐng)求傳送到所述目標(biāo)計(jì)算節(jié)點(diǎn)以執(zhí)行相關(guān)的異步任務(wù)。
[0011] 在上面所公開的方案中，優(yōu)選地，每一個(gè)預(yù)定的任務(wù)類型具有與其相對(duì)應(yīng)的規(guī)模 參數(shù)的集合。
[0012] 在上面所公開的方案中，優(yōu)選地，以如下公式表示所述任務(wù)規(guī)模評(píng)估模型：
[0013] FT = f (Type, C, params) (4)
[0014] 其中，F(xiàn)T是任務(wù)的規(guī)模，Type是任務(wù)類型，C是計(jì)算節(jié)點(diǎn)的計(jì)算能力，params是任 務(wù)的規(guī)模參數(shù)集合，即所述任務(wù)規(guī)模評(píng)估模型的輸入為任務(wù)類型、計(jì)算節(jié)點(diǎn)的計(jì)算能力以 及任務(wù)的規(guī)模參數(shù)集合，所述任務(wù)規(guī)模評(píng)估模型的輸出是所評(píng)估的任務(wù)規(guī)模。
[0015] 在上面所公開的方案中，優(yōu)選地，以如下方式評(píng)估每個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算能力：
[0016] 假設(shè)分布式環(huán)境中具有η個(gè)計(jì)算節(jié)點(diǎn)，則根據(jù)如下公式評(píng)估計(jì)算節(jié)點(diǎn)的實(shí)際計(jì)算 能力：
[0017]

【權(quán)利要求】
1. 一種用于分布式環(huán)境的異步任務(wù)管理裝置，所述用于分布式環(huán)境的異步任務(wù)管理裝 置包括： 預(yù)處理單元，所述預(yù)處理單元基于訓(xùn)練樣本以及預(yù)定的任務(wù)類型和對(duì)應(yīng)的規(guī)模參數(shù)集 合建立任務(wù)規(guī)模評(píng)估模型； 異步任務(wù)管理單元，所述異步任務(wù)管理單元在所述任務(wù)規(guī)模評(píng)估模型已被建立后接收 來(lái)自外部的異步任務(wù)請(qǐng)求，并基于所述任務(wù)規(guī)模評(píng)估模型確定目標(biāo)計(jì)算節(jié)點(diǎn)以及將所述異 步任務(wù)請(qǐng)求傳送到所述目標(biāo)計(jì)算節(jié)點(diǎn)以執(zhí)行相關(guān)的異步任務(wù)。
2. 根據(jù)權(quán)利要求1所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，每一個(gè) 預(yù)定的任務(wù)類型具有與其相對(duì)應(yīng)的規(guī)模參數(shù)的集合。
3. 根據(jù)權(quán)利要求2所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，以如下 公式表示所述任務(wù)規(guī)模評(píng)估模型： FT = f (Type, C, params) (4) 其中，F(xiàn)T是任務(wù)的規(guī)模，Type是任務(wù)類型，C是計(jì)算節(jié)點(diǎn)的計(jì)算能力，params是任務(wù)的 規(guī)模參數(shù)集合，即所述任務(wù)規(guī)模評(píng)估模型的輸入為任務(wù)類型、計(jì)算節(jié)點(diǎn)的計(jì)算能力以及任 務(wù)的規(guī)模參數(shù)集合，所述任務(wù)規(guī)模評(píng)估模型的輸出是所評(píng)估的任務(wù)規(guī)模。
4. 根據(jù)權(quán)利要求3所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，以如下 方式評(píng)估每個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算能力： 假設(shè)分布式環(huán)境中具有n個(gè)計(jì)算節(jié)點(diǎn)，則根據(jù)如下公式評(píng)估計(jì)算節(jié)點(diǎn)的實(shí)際計(jì)算能 力：
其中&為計(jì)算節(jié)點(diǎn)的硬件參數(shù)(例如CPU類型、內(nèi)存大小等等)、\為權(quán)重(其可按任 務(wù)需求的不同而被設(shè)置為不同的值）； 對(duì)上面公式得到的節(jié)點(diǎn)計(jì)算能力按下面的公式進(jìn)行歸一化處理，以得到計(jì)算節(jié)點(diǎn)的計(jì) 算能力Q :
其中，C'_是所有節(jié)點(diǎn)實(shí)際計(jì)算能力最大值，C'min是所有節(jié)點(diǎn)實(shí)際計(jì)算能力的最小值。
5. 根據(jù)權(quán)利要求4所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，基于訓(xùn) 練樣本以如下方式獲得任務(wù)的運(yùn)算規(guī)模以由此建立任務(wù)規(guī)模評(píng)估模型： 在同一計(jì)算機(jī)上運(yùn)行不同任務(wù)類型的異步任務(wù)樣本(其具有不同的規(guī)模參數(shù)集合）以 獲得異步任務(wù)樣本的運(yùn)行時(shí)間T，并對(duì)異步任務(wù)樣本的運(yùn)行時(shí)間進(jìn)行線性處理且按照如下 公式進(jìn)行歸一化，以獲得異步任務(wù)樣本的運(yùn)算規(guī)模：
其中，F(xiàn)T是任務(wù)規(guī)模，Tmin是所有運(yùn)行時(shí)間的最小值，Tmax是所有運(yùn)行時(shí)間的最大值。
6. 根據(jù)權(quán)利要求5所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，所述預(yù) 處理單元能夠在空閑時(shí)間周期性地基于訓(xùn)練樣本訓(xùn)練并修正所述任務(wù)規(guī)模評(píng)估模型。
7. 根據(jù)權(quán)利要求6所述的用于分布式環(huán)境的異步任務(wù)管理裝置，其特征在于，所述異 步任務(wù)管理單元以如下方式基于所述任務(wù)規(guī)模評(píng)估模型確定目標(biāo)計(jì)算節(jié)點(diǎn)：（1)解析接收 到的異步任務(wù)請(qǐng)求以獲取與所述異步任務(wù)請(qǐng)求相關(guān)聯(lián)的異步任務(wù)的任務(wù)類型和規(guī)模參數(shù) 集合；（2)將所獲取的任務(wù)類型和規(guī)模參數(shù)集合作為所述任務(wù)規(guī)模評(píng)估模型的輸入以獲得 與所述異步任務(wù)請(qǐng)求相關(guān)聯(lián)的異步任務(wù)的任務(wù)規(guī)模；（3)獲取空閑的計(jì)算節(jié)點(diǎn)列表，并將 所獲得任務(wù)規(guī)模與空閑的計(jì)算節(jié)點(diǎn)列表中的計(jì)算節(jié)點(diǎn)的計(jì)算能力進(jìn)行匹配，以及將其計(jì)算 能力與任務(wù)規(guī)模相減的絕對(duì)值最小的計(jì)算節(jié)點(diǎn)確定為目標(biāo)計(jì)算節(jié)點(diǎn)；（4)如果未找到匹配 的目標(biāo)計(jì)算節(jié)點(diǎn)，則周期性地執(zhí)行步驟（3 )直至目標(biāo)計(jì)算節(jié)點(diǎn)被確定。
8. -種用于分布式環(huán)境的異步任務(wù)管理方法，所述用于分布式環(huán)境的異步任務(wù)管理方 法包括下列步驟： (A1)基于訓(xùn)練樣本以及預(yù)定的任務(wù)類型和對(duì)應(yīng)的規(guī)模參數(shù)集合建立任務(wù)規(guī)模評(píng)估模 型； (A2)基于所述任務(wù)規(guī)模評(píng)估模型確定針對(duì)異步任務(wù)請(qǐng)求的目標(biāo)計(jì)算節(jié)點(diǎn)，并將所述異 步任務(wù)請(qǐng)求傳送到所述目標(biāo)計(jì)算節(jié)點(diǎn)以執(zhí)行相關(guān)的異步任務(wù)。
【文檔編號(hào)】G06F9/46GK104346214SQ201310325203
【公開日】2015年2月11日 申請(qǐng)日期:2013年7月30日 優(yōu)先權(quán)日:2013年7月30日
【發(fā)明者】趙金濤, 邱雪濤 申請(qǐng)人:中國(guó)銀聯(lián)股份有限公司