下的計(jì)算任務(wù)1、2、3、4和集群節(jié)點(diǎn)N下的計(jì)算任務(wù)6、7、8、9作為待調(diào)度計(jì)算任務(wù)，通過(guò)本方法的劃分操作，得到的兩個(gè)優(yōu)化后的任務(wù)子集，即圖5示出的集群節(jié)點(diǎn)M調(diào)度后，對(duì)應(yīng)由計(jì)算任務(wù)2、4、6、8組成的任務(wù)子集和圖6示出的集群節(jié)點(diǎn)N調(diào)度后，對(duì)應(yīng)由計(jì)算任務(wù)1、3、5、7組成的任務(wù)子集。通過(guò)優(yōu)化劃分，集群節(jié)點(diǎn)M和N的在一定的時(shí)間點(diǎn)下，如圖中所述一周的多個(gè)時(shí)間點(diǎn)下，集群資源得到了很好的平衡互補(bǔ)，緩解了集群節(jié)點(diǎn)在一些時(shí)間點(diǎn)下壓力過(guò)大，而在另一些時(shí)間點(diǎn)下壓力過(guò)小，帶來(lái)的資源分配不足或資源浪費(fèi)的問(wèn)題。在此，通過(guò)本方案訴述的劃分操作，具體的劃分操作優(yōu)化效果體現(xiàn)在圖5中，其中，調(diào)度后計(jì)算任務(wù)2和4在一周2、4、6日壓力負(fù)荷相對(duì)較小，在一周1、3、5、7日壓力負(fù)荷相對(duì)較大，而劃分到M集群節(jié)點(diǎn)的計(jì)算任務(wù)6和8在一周2、4、6日壓力負(fù)荷相對(duì)較大，在一周1、3、5、7日壓力負(fù)荷相對(duì)較??；同樣，圖6中，計(jì)算任務(wù)5和7在一周2、4、6日壓力負(fù)荷相對(duì)較大，在一周1、3、5、7日壓力負(fù)荷相對(duì)較小，而劃分到N集群節(jié)點(diǎn)的計(jì)算任務(wù)I和3在一周2、4、6日壓力負(fù)荷相對(duì)較小，在一周1、3、5、7日壓力負(fù)荷相對(duì)較大。相比調(diào)度前的集群節(jié)點(diǎn)M和N的壓力負(fù)荷情況，調(diào)度后一個(gè)集群節(jié)點(diǎn)下的各個(gè)計(jì)算任務(wù)的壓力負(fù)荷的累計(jì)值維持在所述節(jié)點(diǎn)閾值信息之下的，基于各個(gè)計(jì)算任務(wù)的壓力負(fù)荷的高低平衡達(dá)到了資源利用的優(yōu)化結(jié)果。
[0094]進(jìn)一步，基于所述多個(gè)計(jì)算任務(wù)的重新調(diào)度劃分得到新的任務(wù)子集，將其下的計(jì)算任務(wù)對(duì)應(yīng)的時(shí)間維度下的任務(wù)負(fù)荷信息作為基礎(chǔ)數(shù)據(jù)存儲(chǔ)在所述集群對(duì)應(yīng)的控制系統(tǒng)中，作為歷史計(jì)算任務(wù)，為之后的目標(biāo)計(jì)算任務(wù)的調(diào)度提供可參考信息數(shù)據(jù)。
[0095]對(duì)于本領(lǐng)域技術(shù)人員而言，顯然本申請(qǐng)不限于上述示范性實(shí)施例的細(xì)節(jié)，而且在不背離本申請(qǐng)的精神或基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本申請(qǐng)。因此，無(wú)論從哪一點(diǎn)來(lái)看，均應(yīng)將實(shí)施例看作是示范性的，而且是非限制性的，本申請(qǐng)的范圍由所附權(quán)利要求而不是上述說(shuō)明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本申請(qǐng)內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。此夕卜，顯然“包括” 一詞不排除其他單元或步驟，單數(shù)不排除復(fù)數(shù)。裝置權(quán)利要求中陳述的多個(gè)單元或裝置也可以由一個(gè)單元或裝置通過(guò)軟件或者硬件來(lái)實(shí)現(xiàn)。第一，第二等詞語(yǔ)用來(lái)表示名稱，而并不表示任何特定的順序。
【主權(quán)項(xiàng)】
1.一種用于在集群中調(diào)度計(jì)算任務(wù)的方法，包括: 獲取集群中待調(diào)度的多個(gè)計(jì)算任務(wù)； 根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)。2.根據(jù)權(quán)利要求1所述的方法，其中，該方法還包括: 將所述任務(wù)子集分配至對(duì)應(yīng)的所述集群節(jié)點(diǎn)，并在所述集群節(jié)點(diǎn)中執(zhí)行所述任務(wù)子集中的所述計(jì)算任務(wù)。3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)包括: 根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息，并結(jié)合所述集群對(duì)應(yīng)的節(jié)點(diǎn)資源閾值信息，將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)。4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)包括: 根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息，并結(jié)合所述集群對(duì)應(yīng)的節(jié)點(diǎn)資源閾值信息，執(zhí)行劃分操作直至將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)； 其中，所述劃分操作包括: 在所述多個(gè)計(jì)算任務(wù)中取一待劃分的所述計(jì)算任務(wù)作為第一計(jì)算任務(wù)； 確定一個(gè)或多個(gè)候選任務(wù)子集，其中，所述候選任務(wù)子集包括所述第一計(jì)算任務(wù)及所述多個(gè)計(jì)算任務(wù)中至少一個(gè)其他待劃分的所述計(jì)算任務(wù)，所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息滿足所述節(jié)點(diǎn)資源閾值信息； 從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集。5.根據(jù)權(quán)利要求4所述的方法，其中，所述從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集包括: 確定所述候選任務(wù)子集的子集相關(guān)信息； 根據(jù)所述子集相關(guān)信息從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集。6.根據(jù)權(quán)利要求4或5所述的方法，其中，所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息滿足所述節(jié)點(diǎn)資源閾值信息包括: 所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息按維度分別滿足所述節(jié)點(diǎn)資源閾值信息。7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其中，所述根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)還包括: 根據(jù)所述集群的任務(wù)計(jì)算日志信息，確定多個(gè)歷史計(jì)算任務(wù)的任務(wù)銷信息； 根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。8.根據(jù)權(quán)利要求7所述的方法，其中，根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息包括: 根據(jù)所述計(jì)算任務(wù)的任務(wù)相關(guān)信息，從所述多個(gè)歷史計(jì)算任務(wù)中篩選與所述計(jì)算任務(wù)相匹配的優(yōu)選歷史計(jì)算任務(wù)； 根據(jù)所述優(yōu)選歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。9.根據(jù)權(quán)利要求7所述的方法，其中，根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息包括: 通過(guò)根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)相關(guān)信息對(duì)所述多個(gè)歷史計(jì)算任務(wù)進(jìn)行聚類處理，確定每個(gè)計(jì)算任務(wù)聚類所對(duì)應(yīng)的任務(wù)開(kāi)銷信息； 根據(jù)所述計(jì)算任務(wù)的任務(wù)相關(guān)信息，確定與所述計(jì)算任務(wù)相匹配的優(yōu)選計(jì)算任務(wù)聚類； 根據(jù)所述優(yōu)選計(jì)算任務(wù)聚類的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。10.一種用于在集群中調(diào)度計(jì)算任務(wù)的設(shè)備，包括: 第一裝置，用于獲取集群中待調(diào)度的多個(gè)計(jì)算任務(wù)； 第二裝置，用于根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)。11.根據(jù)權(quán)利要求10所述的設(shè)備，其中，該設(shè)備還包括: 第三裝置，用于將所述任務(wù)子集分配至對(duì)應(yīng)的所述集群節(jié)點(diǎn)，并在所述集群節(jié)點(diǎn)中執(zhí)行所述任務(wù)子集中的所述計(jì)算任務(wù)。12.根據(jù)權(quán)利要求10或11所述的設(shè)備，其中，所述第二裝置用于: 根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息，并結(jié)合所述集群對(duì)應(yīng)的節(jié)點(diǎn)資源閾值信息，將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)。13.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述第二裝置用于: 根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息，并結(jié)合所述集群對(duì)應(yīng)的節(jié)點(diǎn)資源閾值信息，執(zhí)行劃分操作直至將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)； 其中，所述劃分操作包括: 在所述多個(gè)計(jì)算任務(wù)中取一待劃分的所述計(jì)算任務(wù)作為第一計(jì)算任務(wù)； 確定一個(gè)或多個(gè)候選任務(wù)子集，其中，所述候選任務(wù)子集包括所述第一計(jì)算任務(wù)及所述多個(gè)計(jì)算任務(wù)中至少一個(gè)其他待劃分的所述計(jì)算任務(wù)，所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息滿足所述節(jié)點(diǎn)資源閾值信息； 從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集。14.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集包括: 確定所述候選任務(wù)子集的子集相關(guān)信息； 根據(jù)所述子集相關(guān)信息從所述一個(gè)或多個(gè)候選任務(wù)子集中優(yōu)選確定所述任務(wù)子集。15.根據(jù)權(quán)利要求13或14所述的設(shè)備，其中，所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息滿足所述節(jié)點(diǎn)資源閾值信息包括: 所述候選任務(wù)子集中各所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息的累計(jì)信息按維度分別滿足所述節(jié)點(diǎn)資源閾值信息。16.根據(jù)權(quán)利要求10至15中任一項(xiàng)所述的設(shè)備，其中，所述第二裝置還用于: 根據(jù)所述集群的任務(wù)計(jì)算日志信息，確定多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息； 根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。17.根據(jù)權(quán)利要求16所述的設(shè)備，其中，根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息包括: 根據(jù)所述計(jì)算任務(wù)的任務(wù)相關(guān)信息，從所述多個(gè)歷史計(jì)算任務(wù)中篩選與所述計(jì)算任務(wù)相匹配的優(yōu)選歷史計(jì)算任務(wù)； 根據(jù)所述優(yōu)選歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。18.根據(jù)權(quán)利要求16所述的設(shè)備，其中，根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息包括: 通過(guò)根據(jù)所述多個(gè)歷史計(jì)算任務(wù)的任務(wù)相關(guān)信息對(duì)所述多個(gè)歷史計(jì)算任務(wù)進(jìn)行聚類處理，確定每個(gè)計(jì)算任務(wù)聚類所對(duì)應(yīng)的任務(wù)開(kāi)銷信息； 根據(jù)所述計(jì)算任務(wù)的任務(wù)相關(guān)信息，確定與所述計(jì)算任務(wù)相匹配的優(yōu)選計(jì)算任務(wù)聚類； 根據(jù)所述優(yōu)選計(jì)算任務(wù)聚類的任務(wù)開(kāi)銷信息確定所述計(jì)算任務(wù)的任務(wù)負(fù)荷信息。
【專利摘要】本申請(qǐng)的目的是提供一種用于在集群中調(diào)度計(jì)算任務(wù)的方法與設(shè)備；獲取集群中待調(diào)度的多個(gè)計(jì)算任務(wù)；根據(jù)所述計(jì)算任務(wù)所對(duì)應(yīng)的任務(wù)負(fù)荷信息將所述多個(gè)計(jì)算任務(wù)劃分為多個(gè)任務(wù)子集，其中，各任務(wù)子集分別對(duì)應(yīng)于所述集群中一個(gè)集群節(jié)點(diǎn)。與現(xiàn)有技術(shù)相比，本申請(qǐng)通過(guò)基于集群中待調(diào)度的多個(gè)計(jì)算任務(wù)對(duì)應(yīng)的任務(wù)負(fù)荷信息，將每個(gè)所述計(jì)算任務(wù)都劃分到一個(gè)對(duì)應(yīng)于某個(gè)集群節(jié)點(diǎn)的任務(wù)子集中，從而，為所述集群中待調(diào)度的多個(gè)計(jì)算任務(wù)找到了最佳匹配組合，從而最大化利用整個(gè)集群的資源，實(shí)現(xiàn)更加合理的系統(tǒng)資源調(diào)度策略。
【IPC分類】G06F9/50
【公開(kāi)號(hào)】CN105700948
【申請(qǐng)?zhí)枴?br>【發(fā)明人】王奎
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司
【公開(kāi)日】2016年6月22日
【申請(qǐng)日】2014年11月24日