一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法
【專利摘要】提出一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法，首先需要判定慢任務(wù)，然后選取快節(jié)點(diǎn)執(zhí)行慢任務(wù)的備份任務(wù)，在執(zhí)行選定的慢任務(wù)的備份任務(wù)時(shí)保證集群系統(tǒng)的負(fù)載均衡。提出的所述方法通過(guò)設(shè)計(jì)了合理簡(jiǎn)單的慢任務(wù)確定方法及選取快節(jié)點(diǎn)執(zhí)行備份任務(wù)的策略，優(yōu)化了作業(yè)執(zhí)行性能。這種策略不僅考慮了作業(yè)執(zhí)行性能，也考慮了集群中負(fù)載均衡現(xiàn)象。該方法避免了集群負(fù)載失衡現(xiàn)象的發(fā)生，提高了Hadoop集群整體的性能。
【專利說(shuō)明】—種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)負(fù)載均衡【技術(shù)領(lǐng)域】，具體涉及一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法。

【背景技術(shù)】
[0002]在數(shù)據(jù)量劇增的網(wǎng)絡(luò)時(shí)代，Hadoop集群已經(jīng)成為并行處理的研究系統(tǒng)，Hadoop平臺(tái)是通過(guò)并行化處理框架MapReduce實(shí)現(xiàn)應(yīng)用程序開(kāi)發(fā)，并且并行化技術(shù)對(duì)開(kāi)發(fā)者是透明的，便于開(kāi)發(fā)者編寫(xiě)并行化程序，只需滿足MapReduce框架即可。
[0003]任務(wù)調(diào)度算法是Hadoop平臺(tái)上的核心技術(shù)之一，算法的主要功能是對(duì)任務(wù)執(zhí)行的順序及系統(tǒng)的計(jì)算資源進(jìn)行合理的控制與分配。任務(wù)調(diào)度策略的優(yōu)劣直接影響到Hadoop集群整個(gè)系統(tǒng)的執(zhí)行性能和系統(tǒng)資源利用率的情況。現(xiàn)有的調(diào)度算法有FIFO，公平調(diào)度算法、計(jì)算容量調(diào)度算法和推測(cè)式算法。FIFO調(diào)度機(jī)制是所有的作業(yè)被統(tǒng)一提交到一個(gè)隊(duì)列中，Hadoop按照提交的先后順序依次運(yùn)行這些作業(yè)，但是該算法不能滿足不同應(yīng)用場(chǎng)景的需求。公平調(diào)度算法和計(jì)算能力調(diào)度算法可以按照應(yīng)用需求對(duì)用戶或應(yīng)用程序分組，不同的分組分配不同的資源量，同時(shí)通過(guò)添加各種約束條件防止單個(gè)用戶或者應(yīng)用程序獨(dú)占資源。但由于公平調(diào)度算法負(fù)載不均衡，影響了系統(tǒng)的響應(yīng)時(shí)間，同時(shí)配置文件的配置影響整個(gè)系統(tǒng)的性能。計(jì)算能力調(diào)度算法中隊(duì)列設(shè)置和隊(duì)列組無(wú)法自動(dòng)進(jìn)行及存在的局部最優(yōu)現(xiàn)象影響系統(tǒng)整體性能的提聞。
[0004]MapReduce模型將作業(yè)分解成任務(wù)，然后并行的運(yùn)行任務(wù)，以使作業(yè)的整體執(zhí)行時(shí)間少于各個(gè)任務(wù)順序執(zhí)行的時(shí)間。這使得作業(yè)執(zhí)行時(shí)間對(duì)運(yùn)行緩慢的任務(wù)很敏感，因?yàn)橹贿\(yùn)行一個(gè)緩慢的任務(wù)會(huì)使得整個(gè)作業(yè)所用的時(shí)間遠(yuǎn)長(zhǎng)于執(zhí)其它任務(wù)的時(shí)間。當(dāng)一個(gè)作業(yè)由幾百或幾千任務(wù)組成時(shí)，可能就出現(xiàn)了個(gè)別任務(wù)運(yùn)行緩慢，從而導(dǎo)致整個(gè)作業(yè)運(yùn)行緩慢。當(dāng)系統(tǒng)發(fā)現(xiàn)執(zhí)行比預(yù)期慢的任務(wù)(慢是系統(tǒng)認(rèn)為的)，它會(huì)在另外的機(jī)器上重新啟動(dòng)一個(gè)相同的任務(wù)，這樣兩個(gè)任務(wù)同時(shí)執(zhí)行，哪個(gè)先結(jié)束，就會(huì)kill掉慢的那一個(gè)。
[0005]推測(cè)式算法是根據(jù)作業(yè)中任務(wù)的進(jìn)度推測(cè)執(zhí)行任務(wù)的過(guò)程。本發(fā)明對(duì)于Hadoop中自帶的推測(cè)式算法進(jìn)行優(yōu)化改進(jìn)，提出了一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度算法，該算法在能夠保證任務(wù)運(yùn)行的時(shí)間性能，同時(shí)避免了集群負(fù)載失衡的現(xiàn)象，提高了 Hadoop集群整體的性能。


【發(fā)明內(nèi)容】

[0006]為了實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明提出的一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法，包括:
[0007]S1:判定任務(wù)是否為慢任務(wù)，將確定的慢任務(wù)的備份任務(wù)放入慢任務(wù)隊(duì)列；
[0008]S2:判定集群中的哪些節(jié)點(diǎn)為快節(jié)點(diǎn)；
[0009]S3:從慢任務(wù)隊(duì)列中選取所述慢任務(wù)的備份任務(wù)，在負(fù)載低的快節(jié)點(diǎn)中執(zhí)行所述慢任務(wù)的備份任務(wù)。
[0010]特別地，所述步驟SI具體為:
[0011]Sll:根據(jù)任務(wù)的運(yùn)行進(jìn)度和運(yùn)行時(shí)間計(jì)算該任務(wù)的剩余執(zhí)行時(shí)間；
[0012]S12:根據(jù)步驟Sll計(jì)算的所述剩余執(zhí)行時(shí)間確定所述任務(wù)是否為慢任務(wù)；
[0013]S13:判定所述慢任務(wù)的備份任務(wù)數(shù)量是否大于設(shè)定的上限，如果不是，則將所述慢任務(wù)的備份任務(wù)放置入慢任務(wù)隊(duì)列。
[0014]特別地,所述步驟Sll具體為:
[0015]假設(shè)任務(wù)當(dāng)前執(zhí)行進(jìn)度為A，任務(wù)已運(yùn)行的時(shí)間為t，則可以計(jì)算出該任務(wù)的剩余執(zhí)行時(shí)間為tl = t/A-t。
[0016]特別地，所述步驟S2具體為:
[0017]S21:判斷節(jié)點(diǎn)隊(duì)列中的隊(duì)頭節(jié)點(diǎn)是否為快節(jié)點(diǎn)；如果是則執(zhí)行步驟S22，否則執(zhí)行步驟S25 ；
[0018]S22:判斷所述隊(duì)頭節(jié)點(diǎn)上當(dāng)前運(yùn)行的任務(wù)數(shù)是否超出集群中所有節(jié)點(diǎn)上運(yùn)行的任務(wù)總數(shù)的平均值一定數(shù)值；如果否，則執(zhí)行步驟S23 ;如果是，則執(zhí)行步驟S24 ；
[0019]S23:選擇該隊(duì)頭節(jié)點(diǎn)執(zhí)行所述慢任務(wù)的備份任務(wù)，將該隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束；
[0020]S24:將所述隊(duì)頭節(jié)點(diǎn)更新為所述節(jié)點(diǎn)隊(duì)列中的隊(duì)尾節(jié)點(diǎn)，返回步驟S21 ；
[0021]S25:將所述隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束。
[0022]特別地，所述步驟S21中判斷快節(jié)點(diǎn)的原則是:
[0023]如果慢任務(wù)在某節(jié)點(diǎn)上出現(xiàn)很少，則該節(jié)點(diǎn)被判斷為快節(jié)點(diǎn)。
[0024]本發(fā)明的有益效果是:本發(fā)明采用的是Hadoop集群中推測(cè)式的特點(diǎn)，設(shè)計(jì)一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法。通過(guò)設(shè)計(jì)了合理簡(jiǎn)單的慢任務(wù)確定方法及選取快節(jié)點(diǎn)執(zhí)行備份任務(wù)的策略優(yōu)化了作業(yè)執(zhí)行性能，這種策略不僅考慮了作業(yè)執(zhí)行性能，也考慮了集群中負(fù)載均衡現(xiàn)象。該調(diào)度方法避免了集群負(fù)載失衡現(xiàn)象的發(fā)生，提高了 Hadoop集群整體的性能。

【專利附圖】

【附圖說(shuō)明】
[0025]圖1是本發(fā)明提出的推測(cè)式Hadoop調(diào)度方法整體流程圖；
[0026]圖2是本發(fā)明提出的慢任務(wù)選定流程圖；
[0027]圖3是本發(fā)明提出的快節(jié)點(diǎn)執(zhí)行備份任務(wù)流程圖。

【具體實(shí)施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案更加清楚明白，下面給出本發(fā)明的【具體實(shí)施方式】，結(jié)合附圖及實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明。
[0029]本發(fā)明的目的是針對(duì)Hadoop集群中調(diào)度器優(yōu)化不友好的特點(diǎn)，設(shè)計(jì)基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法。在Hadoop集群中的推測(cè)式方法的慢任務(wù)選取及備份任務(wù)啟動(dòng)的節(jié)點(diǎn)有所優(yōu)化。對(duì)于推測(cè)式方法中慢任務(wù)的選取要有合理的策略，該策略不能使得備份任務(wù)過(guò)多也不能選擇不合理的備份任務(wù)。
[0030]在選取備份任務(wù)啟動(dòng)節(jié)點(diǎn)方面，需要判定在集群中的哪些節(jié)點(diǎn)是快節(jié)點(diǎn)，哪些是慢節(jié)點(diǎn)，然后將慢任務(wù)備份在快節(jié)點(diǎn)上，同時(shí)要保證集群的負(fù)載均衡，保證Hadoop集群任務(wù)運(yùn)行的效率。
[0031]本發(fā)明的目的是這樣實(shí)現(xiàn)的，一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法首先需要判定慢任務(wù)，然后選取快節(jié)點(diǎn)執(zhí)行慢任務(wù)的備份任務(wù)，在執(zhí)行選定的滿任務(wù)的備份任務(wù)時(shí)保證集群系統(tǒng)的負(fù)載均衡。
[0032]在判定慢任務(wù)時(shí)，為了使得推測(cè)更準(zhǔn)確，不能隨機(jī)的選取任務(wù)為其啟動(dòng)備份任務(wù)，只有確定為慢任務(wù)時(shí)才會(huì)啟動(dòng)備份任務(wù)。判定慢任務(wù)的方法是依據(jù)任務(wù)的剩余時(shí)間決定的，假設(shè)任務(wù)進(jìn)度為A，任務(wù)運(yùn)行時(shí)間為t，則可以計(jì)算出該任務(wù)的剩余時(shí)間為tl = t/A-t。根據(jù)任務(wù)的進(jìn)度及運(yùn)行時(shí)間估算出任務(wù)的剩余完成時(shí)間?；谑Ｓ嗤瓿蓵r(shí)間的多少對(duì)任務(wù)進(jìn)行排序，選取剩余完成時(shí)間最大的任務(wù)作為慢任務(wù)。
[0033]在選取快節(jié)點(diǎn)執(zhí)行慢任務(wù)的備份任務(wù)時(shí)，首先需要判定哪些節(jié)點(diǎn)是快節(jié)點(diǎn)。判定的標(biāo)準(zhǔn)是依據(jù)慢任務(wù)所在的節(jié)點(diǎn)進(jìn)行累計(jì)，如果慢任務(wù)在某節(jié)點(diǎn)上出現(xiàn)很多，則該節(jié)點(diǎn)被認(rèn)定為慢節(jié)點(diǎn)；相反，慢任務(wù)很少出現(xiàn)的節(jié)點(diǎn)被認(rèn)定為快節(jié)點(diǎn)。在慢任務(wù)隊(duì)列中選慢任務(wù)，在節(jié)點(diǎn)隊(duì)列中選取節(jié)點(diǎn)時(shí)首先判定該節(jié)點(diǎn)是否為快節(jié)點(diǎn)，如果為快節(jié)點(diǎn)，則再判定該快節(jié)點(diǎn)的任務(wù)負(fù)載是否在可運(yùn)行任務(wù)的范圍內(nèi)，如果都滿足條件才可以將所述選取的慢任務(wù)安排到該快節(jié)點(diǎn)上執(zhí)行，否則會(huì)將該快節(jié)點(diǎn)放入節(jié)點(diǎn)隊(duì)列的隊(duì)尾。
[0034]下面參照附圖，具體描述本發(fā)明提出的一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法。
[0035]首先部署分布式集群環(huán)境，基于操作系統(tǒng)centos6.3按照官方文檔安裝hadoop組件。然后將hdfs等服務(wù)開(kāi)啟。
[0036]實(shí)施例1:
[0037]參見(jiàn)圖1，其示出了本發(fā)明提出的推測(cè)式Hadoop調(diào)度方法整體流程圖。所述方法包括:
[0038]S1:方法啟動(dòng)，判定任務(wù)是否為慢任務(wù)；
[0039]依據(jù)任務(wù)的剩余執(zhí)行時(shí)間來(lái)判斷任務(wù)是否為慢任務(wù)，具體為:假設(shè)任務(wù)當(dāng)前執(zhí)行進(jìn)度為A，任務(wù)已運(yùn)行的時(shí)間為t，則可以計(jì)算出該任務(wù)的剩余時(shí)間為tl = t/A-t。根據(jù)任務(wù)的進(jìn)度及已運(yùn)行的時(shí)間估算出任務(wù)的剩余完成時(shí)間，基于剩余完成時(shí)間多少將任務(wù)排序，選取剩余完成時(shí)間最長(zhǎng)的任務(wù)作為慢任務(wù)；將慢任務(wù)的備份任務(wù)放置入慢任務(wù)隊(duì)列。
[0040]S2:判定集群中的哪些節(jié)點(diǎn)為快節(jié)點(diǎn)；
[0041]判定的標(biāo)準(zhǔn)具體為:如果慢任務(wù)在某節(jié)點(diǎn)上出現(xiàn)很多，則該節(jié)點(diǎn)被認(rèn)定為慢節(jié)點(diǎn)；相反，慢任務(wù)很少出現(xiàn)的節(jié)點(diǎn)被認(rèn)定為快節(jié)點(diǎn)。
[0042]S3:從慢任務(wù)隊(duì)列中選取慢任務(wù)的備份任務(wù)，在負(fù)載低的快節(jié)點(diǎn)中執(zhí)行所述慢任務(wù)的備份任務(wù)。
[0043]在慢任務(wù)隊(duì)列中選取慢任務(wù)，在節(jié)點(diǎn)隊(duì)列中選取首節(jié)點(diǎn)，判定該首節(jié)點(diǎn)是否為快節(jié)點(diǎn)，如果為快節(jié)點(diǎn)，則再判定該快節(jié)點(diǎn)的任務(wù)負(fù)載是否在可運(yùn)行任務(wù)的范圍內(nèi)，如果都滿足條件才可以將所述選取的慢任務(wù)的備份任務(wù)安排到該快節(jié)點(diǎn)上執(zhí)行，否則將該快節(jié)點(diǎn)放入節(jié)點(diǎn)隊(duì)列的隊(duì)尾，再次選擇節(jié)點(diǎn)隊(duì)列中的首節(jié)點(diǎn)執(zhí)行上述判斷。
[0044]基于上述描述，在執(zhí)行慢任務(wù)的備份任務(wù)過(guò)程中需要3個(gè)步驟，一是用合理的策略確定慢任務(wù)，二是確定集群中的快節(jié)點(diǎn)，三是依據(jù)集群節(jié)點(diǎn)的負(fù)載狀況分配慢任務(wù)的備份任務(wù)在快節(jié)點(diǎn)中執(zhí)行，從而提高Hadoop集群執(zhí)行任務(wù)的性能。
[0045]實(shí)施例2:
[0046]本發(fā)明提出的確定慢任務(wù)的步驟流程如圖2所示，包括如下步驟:
[0047]Sll:根據(jù)任務(wù)的運(yùn)行進(jìn)度和運(yùn)行時(shí)間計(jì)算該任務(wù)的剩余執(zhí)行時(shí)間；
[0048]具體為:假設(shè)任務(wù)當(dāng)前執(zhí)行進(jìn)度為A，任務(wù)已運(yùn)行的時(shí)間為t，則可以計(jì)算出該任務(wù)的剩余時(shí)間為tl = t/A-t。
[0049]S12:根據(jù)步驟Sll計(jì)算的所述剩余執(zhí)行時(shí)間確定慢任務(wù)；
[0050]具體為:基于計(jì)算的各個(gè)任務(wù)的剩余完成時(shí)間多少將任務(wù)排序，選取剩余完成時(shí)間最長(zhǎng)的任務(wù)作為慢任務(wù)。
[0051]S13:判定所述慢任務(wù)的備份任務(wù)數(shù)是否大于設(shè)定的上限；如果是，則流程結(jié)束；如果不是，則將所述慢任務(wù)的備份任務(wù)放置入慢任務(wù)隊(duì)列，流程結(jié)束。
[0052]實(shí)施例3:
[0053]選擇快節(jié)點(diǎn)執(zhí)行慢任務(wù)的備份任務(wù)的流程圖如附圖3所示，包括如下流程:
[0054]S21:判斷節(jié)點(diǎn)隊(duì)列中的隊(duì)頭節(jié)點(diǎn)是否為快節(jié)點(diǎn)；如果是則執(zhí)行步驟S22，否則執(zhí)行步驟S25 ；
[0055]在集群系統(tǒng)中，將所有集群節(jié)點(diǎn)信息放置在隊(duì)列中形成節(jié)點(diǎn)隊(duì)列；在選擇集群系統(tǒng)中的節(jié)點(diǎn)執(zhí)行所述慢任務(wù)的備份任務(wù)時(shí)，判斷當(dāng)前節(jié)點(diǎn)隊(duì)列中的隊(duì)頭節(jié)點(diǎn)是否為快節(jié)點(diǎn)。
[0056]本步驟根據(jù)如下原則判斷慢節(jié)點(diǎn)和快節(jié)點(diǎn):如果慢任務(wù)在某節(jié)點(diǎn)上出現(xiàn)很多，則該節(jié)點(diǎn)被判斷為慢節(jié)點(diǎn)；相反，慢任務(wù)很少出現(xiàn)的節(jié)點(diǎn)被判斷為快節(jié)點(diǎn)。
[0057]S22:判斷所述隊(duì)頭節(jié)點(diǎn)上當(dāng)前運(yùn)行的任務(wù)數(shù)是否大于集群中所有節(jié)點(diǎn)上運(yùn)行的任務(wù)數(shù)的平均值的20% ;如果否，則執(zhí)行步驟S23 ;如果是，則執(zhí)行步驟S24 ；
[0058]S23:選擇該隊(duì)頭節(jié)點(diǎn)執(zhí)行慢任務(wù)的備份任務(wù)，將該隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束；
[0059]S24:將所述隊(duì)頭節(jié)點(diǎn)更新為所述節(jié)點(diǎn)隊(duì)列中的隊(duì)尾節(jié)點(diǎn)，返回步驟S21 ；
[0060]S25:將所述隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束。
[0061]在執(zhí)行備份任務(wù)時(shí)需要根據(jù)慢任務(wù)隊(duì)列信息確定集群每個(gè)節(jié)點(diǎn)是快節(jié)點(diǎn)還是慢節(jié)點(diǎn)，判斷依據(jù)是統(tǒng)計(jì)每個(gè)節(jié)點(diǎn)中出現(xiàn)的慢任務(wù)的個(gè)數(shù)，按照個(gè)數(shù)的大小排列設(shè)定為慢節(jié)點(diǎn)或快節(jié)點(diǎn)。然后在節(jié)點(diǎn)隊(duì)列中選取隊(duì)頭節(jié)點(diǎn)判定是否為快節(jié)點(diǎn)，如果是快節(jié)點(diǎn)則繼續(xù)判定該隊(duì)頭節(jié)點(diǎn)負(fù)載情況，若是負(fù)載較小的節(jié)點(diǎn)，則將該備份任務(wù)在該隊(duì)頭節(jié)點(diǎn)上執(zhí)行并將該隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，否則該隊(duì)頭節(jié)點(diǎn)更新尾節(jié)點(diǎn)隊(duì)列的隊(duì)尾節(jié)點(diǎn)。如果判定的隊(duì)頭節(jié)點(diǎn)不是快節(jié)點(diǎn)，則將該隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除。
[0062]上述的調(diào)度方法完成后，與集群中原有的LATE調(diào)度器進(jìn)行對(duì)比試驗(yàn)，在集群中執(zhí)行wordcount作業(yè)來(lái)測(cè)試調(diào)度方法，測(cè)試的文本為1.5GB。實(shí)驗(yàn)結(jié)果如下表I所示表明該方法具有很好的性能，改善了整個(gè)Hadoop集群的性能。
[0063]表I基于負(fù)載均衡的推測(cè)式方法與LATE方法比較結(jié)果
[0064]

【權(quán)利要求】
1.一種基于負(fù)載均衡的推測(cè)式Hadoop調(diào)度方法，其特征在于，包括: 51:判定任務(wù)是否為慢任務(wù)，將確定的慢任務(wù)的備份任務(wù)放入慢任務(wù)隊(duì)列； 52:判定集群中的哪些節(jié)點(diǎn)為快節(jié)點(diǎn)； 53:從慢任務(wù)隊(duì)列中選取所述慢任務(wù)的備份任務(wù)，在負(fù)載低的快節(jié)點(diǎn)中執(zhí)行所述慢任務(wù)的備份任務(wù)。
2.如權(quán)利要求1所述的方法，其特征在于: 所述步驟SI具體為: 511:根據(jù)任務(wù)的運(yùn)行進(jìn)度和運(yùn)行時(shí)間計(jì)算該任務(wù)的剩余執(zhí)行時(shí)間； 512:根據(jù)步驟Sll計(jì)算的所述剩余執(zhí)行時(shí)間確定所述任務(wù)是否為慢任務(wù)； 513:判定所述慢任務(wù)的備份任務(wù)數(shù)量是否大于設(shè)定的上限，如果不是，則將所述慢任務(wù)的備份任務(wù)放置入慢任務(wù)隊(duì)列。
3.如權(quán)利要求2所述的方法，其特征在于，所述步驟Sll具體為: 假設(shè)任務(wù)當(dāng)前執(zhí)行進(jìn)度為A，任務(wù)已運(yùn)行的時(shí)間為t，則可以計(jì)算出該任務(wù)的剩余執(zhí)行時(shí)間為tl = t/A-t。
4.如權(quán)利要求1所述的方法，其特征在于: 所述步驟S2具體為: S21:判斷節(jié)點(diǎn)隊(duì)列中的隊(duì)頭節(jié)點(diǎn)是否為快節(jié)點(diǎn)；如果是則執(zhí)行步驟S22，否則執(zhí)行步驟 S25 ； S22:判斷所述隊(duì)頭節(jié)點(diǎn)上當(dāng)前運(yùn)行的任務(wù)數(shù)是否超出集群中所有節(jié)點(diǎn)上運(yùn)行的任務(wù)總數(shù)的平均值一定數(shù)值；如果否，則執(zhí)行步驟S23 ;如果是，則執(zhí)行步驟S24 ； S23:選擇該隊(duì)頭節(jié)點(diǎn)執(zhí)行所述慢任務(wù)的備份任務(wù)，將該隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束； 524:將所述隊(duì)頭節(jié)點(diǎn)更新為所述節(jié)點(diǎn)隊(duì)列中的隊(duì)尾節(jié)點(diǎn)，返回步驟S21 ； 525:將所述隊(duì)頭節(jié)點(diǎn)從節(jié)點(diǎn)隊(duì)列中刪除，流程結(jié)束。
5.如權(quán)利要求4所述的方法，其特征在于，所述步驟S21中判斷快節(jié)點(diǎn)的原則是: 如果慢任務(wù)在某節(jié)點(diǎn)上出現(xiàn)很少，則該節(jié)點(diǎn)被判斷為快節(jié)點(diǎn)。
【文檔編號(hào)】G06F9/50GK104199739SQ201410425841
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2014年8月26日 優(yōu)先權(quán)日:2014年8月26日
【發(fā)明者】郭美思, 吳楠 申請(qǐng)人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司