一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高性能計(jì)算領(lǐng)域，具體涉及一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法。
【背景技術(shù)】
[0002]在高性能計(jì)算領(lǐng)域，高速計(jì)算網(wǎng)的網(wǎng)絡(luò)延遲對(duì)課題的性能影響還是很明顯的，而在硬件設(shè)備相同的情況下，網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)拓?fù)涫蔷o密相關(guān)的。當(dāng)系統(tǒng)中的網(wǎng)絡(luò)拓?fù)溆捎诟鞣N軟硬件變化而產(chǎn)生變化時(shí)，對(duì)用戶來(lái)說(shuō)是透明的，而這時(shí)若作業(yè)資源調(diào)度還是按原始的網(wǎng)絡(luò)拓?fù)鋭澐钟?jì)算資源池進(jìn)行調(diào)度，將使節(jié)點(diǎn)間的通訊延遲產(chǎn)生變化，通常情況下都會(huì)使延遲增加，從而使課題運(yùn)行性能下降。
[0003]根據(jù)現(xiàn)有技術(shù)，在高性能計(jì)算系統(tǒng)中，作業(yè)資源調(diào)度一般為用戶課題請(qǐng)求分配資源時(shí)，都是在同一計(jì)算資源池內(nèi)優(yōu)先分配的。在高速計(jì)算網(wǎng)的網(wǎng)絡(luò)拓?fù)洳蛔兊那闆r下，這種資源調(diào)度策略是不存在問(wèn)題的，但是如果網(wǎng)絡(luò)拓?fù)湓谙到y(tǒng)運(yùn)行過(guò)程中發(fā)生變化，將導(dǎo)致當(dāng)前的計(jì)算資源池內(nèi)的節(jié)點(diǎn)間通訊將發(fā)生跨網(wǎng)絡(luò)分區(qū)訪問(wèn)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)中存在的高速計(jì)算的網(wǎng)絡(luò)拓?fù)鋾?huì)因?yàn)樾阅芑驑I(yè)務(wù)的需求、系統(tǒng)硬件故障進(jìn)行動(dòng)態(tài)的調(diào)整，由此導(dǎo)致同一批節(jié)點(diǎn)上運(yùn)行相同程序時(shí)的通訊延遲增大，從而使得課題性能下降的缺陷，提供一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，能夠保證系統(tǒng)課題性能不受網(wǎng)絡(luò)拓?fù)涓淖兊挠绊憽?br>[0005]根據(jù)本發(fā)明，提供了一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，其特征在于，當(dāng)系統(tǒng)計(jì)算網(wǎng)絡(luò)的系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化時(shí)，通過(guò)主動(dòng)推送把變化后的最新的網(wǎng)絡(luò)拓?fù)湫畔l(fā)送到作業(yè)資源調(diào)度服務(wù)，調(diào)度暫停服務(wù)并啟動(dòng)計(jì)算資源池重構(gòu)功能，構(gòu)建完新的計(jì)算資源池后，再調(diào)度恢復(fù)服務(wù)。
[0006]優(yōu)選地，所述基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法包括:
[0007]通過(guò)系統(tǒng)計(jì)算網(wǎng)絡(luò)的網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化；
[0008]網(wǎng)絡(luò)監(jiān)控向作業(yè)資源調(diào)度服務(wù)推送網(wǎng)絡(luò)拓?fù)渥兓畔?，包括最新的網(wǎng)絡(luò)拓?fù)洌?br>[0009]作業(yè)資源調(diào)度收到網(wǎng)絡(luò)拓?fù)渥兓畔?，?duì)最新的拓?fù)湫畔⑦M(jìn)行預(yù)處理，依據(jù)網(wǎng)絡(luò)各節(jié)點(diǎn)的拓?fù)潢P(guān)系形成臨時(shí)計(jì)算資源池信息；
[0010]與當(dāng)前計(jì)算資源池匹配是否需要進(jìn)行計(jì)算資源池重構(gòu)，如果需要進(jìn)行計(jì)算資源池重構(gòu)則則凍結(jié)作業(yè)資源調(diào)度服務(wù)，暫停系統(tǒng)的作業(yè)資源調(diào)度，保證系統(tǒng)服務(wù)數(shù)據(jù)的一致性；啟動(dòng)快速計(jì)算資源池重構(gòu)，使用臨時(shí)計(jì)算資源池替換正式計(jì)算資源池;在資源池重構(gòu)結(jié)束后，形成新的計(jì)算資源池;隨后解凍作業(yè)資源調(diào)度服務(wù)，利用新的計(jì)算資源池繼續(xù)響應(yīng)系統(tǒng)的各種作業(yè)資源調(diào)度請(qǐng)求;然后恢復(fù)凍結(jié)的系統(tǒng)的作業(yè)資源調(diào)度。
[0011]優(yōu)選地，如果需要進(jìn)行計(jì)算資源池重構(gòu)則則凍結(jié)作業(yè)資源調(diào)度服務(wù)，直接恢復(fù)凍結(jié)的系統(tǒng)的作業(yè)資源調(diào)度。
[0012]本發(fā)明要解決高性能計(jì)算系統(tǒng)上可變網(wǎng)絡(luò)拓?fù)湎碌淖鳂I(yè)資源動(dòng)態(tài)調(diào)度問(wèn)題，使得在網(wǎng)絡(luò)拓?fù)湓诎l(fā)生變化的時(shí)候，作業(yè)資源調(diào)度能及時(shí)地發(fā)現(xiàn)、響應(yīng)，并以最新的網(wǎng)絡(luò)拓?fù)渲貥?gòu)計(jì)算資源池，保證每個(gè)計(jì)算資源池中的資源都滿足全帶寬的網(wǎng)絡(luò)全交換。
【附圖說(shuō)明】
[0013]結(jié)合附圖，并通過(guò)參考下面的詳細(xì)描述，將會(huì)更容易地對(duì)本發(fā)明有更完整的理解并且更容易地理解其伴隨的優(yōu)點(diǎn)和特征，其中:
[0014]圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法的流程圖。
[0015]需要說(shuō)明的是，附圖用于說(shuō)明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可能并非按比例繪制。并且，附圖中，相同或者類(lèi)似的元件標(biāo)有相同或者類(lèi)似的標(biāo)號(hào)。
【具體實(shí)施方式】
[0016]為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實(shí)施例和附圖對(duì)本發(fā)明的內(nèi)容進(jìn)行詳細(xì)描述。
[0017]高性能計(jì)算系統(tǒng)一般提供的作業(yè)資源調(diào)度策略都是以保證課題運(yùn)行性能為前提，優(yōu)先分配計(jì)算資源池內(nèi)的計(jì)算節(jié)點(diǎn)，但該方法具有一定的局限性。在傳統(tǒng)的高新能計(jì)算系統(tǒng)中，系統(tǒng)的高速計(jì)算網(wǎng)絡(luò)拓?fù)涫遣蛔兊模鄬?duì)應(yīng)的計(jì)算資源池也是不變的，但隨著技術(shù)的發(fā)展，系統(tǒng)的網(wǎng)絡(luò)拓?fù)鋾?huì)根據(jù)用戶的性能和業(yè)務(wù)需求或硬件故障和更換而發(fā)生變化，而這種變化對(duì)傳統(tǒng)的作業(yè)資源調(diào)度服務(wù)是未知的。此時(shí)，還是采用傳統(tǒng)的作業(yè)資源調(diào)度策略，以原有計(jì)算資源池進(jìn)行資源分配，將導(dǎo)致課題運(yùn)行中在進(jìn)行網(wǎng)絡(luò)通訊時(shí)發(fā)生跨網(wǎng)絡(luò)分區(qū)的消息傳遞，增加課題的通訊開(kāi)銷(xiāo)，降低課題的運(yùn)行性能。
[0018]本發(fā)明提出的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法即針對(duì)高性能計(jì)算系統(tǒng)上的作業(yè)資源調(diào)度策略，當(dāng)系統(tǒng)計(jì)算網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浒l(fā)生變化時(shí)，通過(guò)主動(dòng)推送把變化后的最新的網(wǎng)絡(luò)拓?fù)湫畔l(fā)送到作業(yè)資源調(diào)度服務(wù)，調(diào)度暫停服務(wù)并啟動(dòng)計(jì)算資源池重構(gòu)功能，構(gòu)建完新的計(jì)算資源池后，再調(diào)度恢復(fù)服務(wù)。
[0019]下面將描述本發(fā)明的具體優(yōu)選實(shí)施例。
[0020]圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法的流程圖。
[0021]如圖1所示，根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法包括:
[0022]第一步驟S1:通過(guò)系統(tǒng)計(jì)算網(wǎng)絡(luò)的網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化；
[0023]第二步驟S2:網(wǎng)絡(luò)監(jiān)控向作業(yè)資源調(diào)度服務(wù)推送網(wǎng)絡(luò)拓?fù)渥兓畔ⅲㄗ钚碌木W(wǎng)絡(luò)拓?fù)洌?br>[0024]第三步驟S3:作業(yè)資源調(diào)度收到網(wǎng)絡(luò)拓?fù)渥兓畔?，?duì)最新的拓?fù)湫畔⑦M(jìn)行預(yù)處理，依據(jù)網(wǎng)絡(luò)各節(jié)點(diǎn)的拓?fù)潢P(guān)系形成臨時(shí)計(jì)算資源池信息；
[0025]第四步驟S4:與當(dāng)前計(jì)算資源池進(jìn)行匹配，判斷是否需要進(jìn)行計(jì)算資源池重構(gòu)，如果不需要進(jìn)行計(jì)算資源池重構(gòu)則跳轉(zhuǎn)第九步驟S9，如果需要進(jìn)行計(jì)算資源池重構(gòu)則則進(jìn)入第五步驟S5;
[0026]第五步驟S5:凍結(jié)作業(yè)資源調(diào)度服務(wù)，暫停系統(tǒng)的作業(yè)資源調(diào)度，保證系統(tǒng)服務(wù)數(shù)據(jù)的一致性；
[0027]第六步驟S6:啟動(dòng)快速計(jì)算資源池重構(gòu)，使用臨時(shí)計(jì)算資源池替換正式計(jì)算資源池；
[0028]第七步驟S7:資源池重構(gòu)結(jié)束，形成新的計(jì)算資源池；
[0029]第八步驟S8:解凍作業(yè)資源調(diào)度服務(wù)，利用新的計(jì)算資源池繼續(xù)響應(yīng)系統(tǒng)的各種作業(yè)資源調(diào)度請(qǐng)求；
[0030]第九步驟S9:恢復(fù)系統(tǒng)正常服務(wù)，即恢復(fù)在第五步驟S5凍結(jié)的系統(tǒng)的作業(yè)資源調(diào)度。
[0031]根據(jù)上面所述流程可以看到，在該方法中，需要對(duì)系統(tǒng)作業(yè)資源調(diào)度服務(wù)進(jìn)行凍結(jié)，將影響系統(tǒng)服務(wù)質(zhì)量，而影響程度就由計(jì)算資源池重構(gòu)的速度決定。而如何提高重構(gòu)速度，關(guān)鍵點(diǎn)就在第三步驟S3中的預(yù)處理，它可為之后的快速計(jì)算資源池重構(gòu)提供數(shù)據(jù)基礎(chǔ)。由于預(yù)處理時(shí)是不凍結(jié)系統(tǒng)服務(wù)的，不影響系統(tǒng)的正常運(yùn)行，而重構(gòu)是只需要進(jìn)行內(nèi)存數(shù)據(jù)替換，這很好的解決了系統(tǒng)動(dòng)態(tài)重構(gòu)計(jì)算資源池的快速問(wèn)題。
[0032]本發(fā)明的優(yōu)點(diǎn)在于針對(duì)網(wǎng)絡(luò)拓?fù)涓淖円鹫n題性能下降的問(wèn)題，結(jié)合“網(wǎng)絡(luò)拓?fù)浔O(jiān)測(cè)”和“計(jì)算資源池重構(gòu)”功能，“網(wǎng)絡(luò)拓?fù)浔O(jiān)測(cè)”針對(duì)系統(tǒng)網(wǎng)絡(luò)拓?fù)涞淖兓瑢?shí)時(shí)探測(cè)并向作業(yè)資源調(diào)度匯報(bào)，“計(jì)算資源池重構(gòu)”針對(duì)系統(tǒng)計(jì)算資源池的快速重構(gòu)，當(dāng)資源調(diào)度接受到網(wǎng)絡(luò)拓?fù)涓淖兺ㄖ獣r(shí)，以最新的網(wǎng)絡(luò)拓?fù)鋵?duì)計(jì)算資源池進(jìn)行快速重構(gòu)。另外，該技術(shù)在作業(yè)資源調(diào)度中實(shí)現(xiàn)，對(duì)用戶程序完全透明。本發(fā)明結(jié)合“網(wǎng)絡(luò)拓?fù)浔O(jiān)測(cè)”和“計(jì)算資源池重構(gòu)”功能，實(shí)現(xiàn)作業(yè)資源調(diào)度對(duì)網(wǎng)絡(luò)拓?fù)渥兓膶?shí)時(shí)響應(yīng)。
[0033]為了更好地說(shuō)明本發(fā)明，下面對(duì)本文中提到的術(shù)語(yǔ)做出簡(jiǎn)要解釋。
[0034]資源調(diào)度:采用各種調(diào)度策略為用戶課題分配滿足用戶要求的計(jì)算資源。
[0035]網(wǎng)絡(luò)拓?fù)?本文中描述的網(wǎng)絡(luò)拓?fù)渲傅氖歉咝阅苡?jì)算系統(tǒng)中，高速計(jì)算網(wǎng)為計(jì)算節(jié)點(diǎn)間通訊提供的拓?fù)渌惴ā?br>[0036]網(wǎng)絡(luò)分區(qū):一個(gè)網(wǎng)絡(luò)分區(qū)內(nèi)所有節(jié)點(diǎn)滿足網(wǎng)絡(luò)全交換要求，各個(gè)網(wǎng)絡(luò)分區(qū)之間網(wǎng)絡(luò)帶寬降低、延遲增加。
[0037]計(jì)算資源池:以高性能計(jì)算系統(tǒng)中計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)溥M(jìn)行構(gòu)建的計(jì)算資源池，資源池內(nèi)滿足滿帶寬的網(wǎng)絡(luò)全交換要求。
[0038]需要說(shuō)明的是，除非特別指出，否則說(shuō)明書(shū)中的術(shù)語(yǔ)“第一”、“第二”、“第三”等描述僅僅用于區(qū)分說(shuō)明書(shū)中的各個(gè)組件、元素、步驟等，而不是用于表示各個(gè)組件、元素、步驟之間的邏輯關(guān)系或者順序關(guān)系等。
[0039]可以理解的是，雖然本發(fā)明已以較佳實(shí)施例披露如上，然而上述實(shí)施例并非用以限定本發(fā)明。對(duì)于任何熟悉本領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明技術(shù)方案范圍情況下，都可利用上述揭示的技術(shù)內(nèi)容對(duì)本發(fā)明技術(shù)方案作出許多可能的變動(dòng)和修飾，或修改為等同變化的等效實(shí)施例。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，其特征在于，當(dāng)系統(tǒng)計(jì)算網(wǎng)絡(luò)的系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化時(shí)，通過(guò)主動(dòng)推送把變化后的最新的網(wǎng)絡(luò)拓?fù)湫畔l(fā)送到作業(yè)資源調(diào)度服務(wù)，調(diào)度暫停服務(wù)并啟動(dòng)計(jì)算資源池重構(gòu)功能，構(gòu)建完新的計(jì)算資源池后，再調(diào)度恢復(fù)服務(wù)。2.根據(jù)權(quán)利要求1所述的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，其特征在于包括: 通過(guò)系統(tǒng)計(jì)算網(wǎng)絡(luò)的網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化； 網(wǎng)絡(luò)監(jiān)控向作業(yè)資源調(diào)度服務(wù)推送網(wǎng)絡(luò)拓?fù)渥兓畔ⅲㄗ钚碌木W(wǎng)絡(luò)拓?fù)洌?作業(yè)資源調(diào)度收到網(wǎng)絡(luò)拓?fù)渥兓畔?，?duì)最新的拓?fù)湫畔⑦M(jìn)行預(yù)處理，依據(jù)網(wǎng)絡(luò)各節(jié)點(diǎn)的拓?fù)潢P(guān)系形成臨時(shí)計(jì)算資源池信息； 與當(dāng)前計(jì)算資源池匹配是否需要進(jìn)行計(jì)算資源池重構(gòu)，如果需要進(jìn)行計(jì)算資源池重構(gòu)則則凍結(jié)作業(yè)資源調(diào)度服務(wù)，暫停系統(tǒng)的作業(yè)資源調(diào)度，保證系統(tǒng)服務(wù)數(shù)據(jù)的一致性;啟動(dòng)快速計(jì)算資源池重構(gòu)，使用臨時(shí)計(jì)算資源池替換正式計(jì)算資源池;在資源池重構(gòu)結(jié)束后，形成新的計(jì)算資源池;隨后解凍作業(yè)資源調(diào)度服務(wù)，利用新的計(jì)算資源池繼續(xù)響應(yīng)系統(tǒng)的各種作業(yè)資源調(diào)度請(qǐng)求;然后恢復(fù)凍結(jié)的系統(tǒng)的作業(yè)資源調(diào)度。3.根據(jù)權(quán)利要求1或2所述的基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，其特征在于，如果需要進(jìn)行計(jì)算資源池重構(gòu)則則凍結(jié)作業(yè)資源調(diào)度服務(wù)，直接恢復(fù)凍結(jié)的系統(tǒng)的作業(yè)資源調(diào)度。
【專利摘要】一種基于可變網(wǎng)絡(luò)拓?fù)涞牟⑿凶鳂I(yè)資源調(diào)度方法，包括：通過(guò)系統(tǒng)計(jì)算網(wǎng)絡(luò)的網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)系統(tǒng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化；網(wǎng)絡(luò)監(jiān)控向作業(yè)資源調(diào)度服務(wù)推送網(wǎng)絡(luò)拓?fù)渥兓畔?，包括最新的網(wǎng)絡(luò)拓?fù)?；作業(yè)資源調(diào)度收到網(wǎng)絡(luò)拓?fù)渥兓畔ⅲ瑢?duì)最新的拓?fù)湫畔⑦M(jìn)行預(yù)處理，依據(jù)網(wǎng)絡(luò)各節(jié)點(diǎn)的拓?fù)潢P(guān)系形成臨時(shí)計(jì)算資源池信息；與當(dāng)前計(jì)算資源池匹配是否需要進(jìn)行計(jì)算資源池重構(gòu)，如果需要進(jìn)行計(jì)算資源池重構(gòu)則凍結(jié)作業(yè)資源調(diào)度服務(wù)，暫停系統(tǒng)的作業(yè)資源調(diào)度，保證系統(tǒng)服務(wù)數(shù)據(jù)的一致性；啟動(dòng)快速計(jì)算資源池重構(gòu)，使用臨時(shí)計(jì)算資源池替換正式計(jì)算資源池；形成新的計(jì)算資源池；隨后解凍作業(yè)資源調(diào)度服務(wù)，利用新的計(jì)算資源池繼續(xù)響應(yīng)系統(tǒng)的各種作業(yè)資源調(diào)度請(qǐng)求。
【IPC分類(lèi)】G06F9/50
【公開(kāi)號(hào)】CN105468456
【申請(qǐng)?zhí)枴緾N201510828332
【發(fā)明人】錢(qián)宇, 劉睿濤, 龔道永, 劉沙
【申請(qǐng)人】無(wú)錫江南計(jì)算技術(shù)研究所
【公開(kāi)日】2016年4月6日
【申請(qǐng)日】2015年11月24日