本發(fā)明涉及云計算技術(shù)領(lǐng)域，尤其是計算資源的調(diào)度方法、調(diào)度中心及調(diào)度系統(tǒng)。

背景技術(shù)：

近年來，伴隨著高性能計算機(jī)技術(shù)逐漸發(fā)展成熟，在科研、生產(chǎn)、教育等領(lǐng)域高性能計算需求快速增長，越來越多用戶使用超算資源提交作業(yè)，在這種情況下，如何合理地分配云端計算資源就成為一個關(guān)鍵的問題。

目前較為常見的調(diào)度算法是基于私有計算資源，根據(jù)現(xiàn)有資源空閑節(jié)點數(shù)、核數(shù)、內(nèi)存、CPU型號等一些常見的硬件資源配置，讓用戶在提交作業(yè)時自行選擇資源。然而用戶群大都只關(guān)注作業(yè)的運行性能和結(jié)果，為了快速得到作業(yè)計算結(jié)果，在提交作業(yè)時會選擇多核資源，這就造成了資源浪費、作業(yè)提交參數(shù)配置不合理，作業(yè)提交(運行)失敗等不良后果。另一方面，用戶自行選擇計算資源時，需要用戶具備超級計算知識，學(xué)習(xí)成本太高。

因此，需要一種方便、高效的超算資源的調(diào)度方法，能夠自動合理地匹配出合適的計算資源，保證作業(yè)的正常執(zhí)行。

技術(shù)實現(xiàn)要素：

為此，本發(fā)明提供了計算資源的調(diào)度方法、調(diào)度中心及調(diào)度系統(tǒng)，以力圖解決或者至少緩解上面存在的至少一個問題。

根據(jù)本發(fā)明的一個方面，提供了一種計算資源的調(diào)度方法，該方法在調(diào)度中心中執(zhí)行，調(diào)度中心與性能計算中心、超級計算中心和客戶端相連接，以便進(jìn)行計算資源調(diào)度，包括步驟：接收由客戶端發(fā)送的提交指令，其中提交指令是客戶端響應(yīng)于用戶提交作業(yè)的請求而生成的，提交指令包含所提交作業(yè)的作業(yè)類型和計算規(guī)模；根據(jù)所提交作業(yè)的作業(yè)類型，從作業(yè)性能表中檢索作業(yè)類型相同的第一數(shù)目條作業(yè)運行性能記錄，其中，作業(yè)性能表包括多條作業(yè)運行性能記錄，每條作業(yè)運行記錄由性能計算中心根據(jù)超級計算中心中運行的作業(yè)的性能數(shù)據(jù)計算生成，且每條作業(yè)運行性能記錄包括作業(yè)標(biāo)識、作業(yè)類型、執(zhí)行作業(yè)的超級計算中心標(biāo)識、執(zhí)行作業(yè)的集群標(biāo)識、作業(yè)計算規(guī)模、計算節(jié)點信息和作業(yè)運行性能特征值，第一數(shù)目條作業(yè)運行性能記錄按照作業(yè)運行性能特征值從高到低的順序排序；從第一數(shù)目條作業(yè)運行性能記錄中選取具有相同集群標(biāo)識的至少一條記錄，至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模；以及將作業(yè)提交至所述至少一條記錄包含的計算節(jié)點信息所指示的計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，從第一數(shù)目條作業(yè)運行性能記錄中選取具有相同集群標(biāo)識的至少一條記錄的步驟包括：根據(jù)所提交作業(yè)的計算規(guī)模，針對集群標(biāo)識來逐條作業(yè)運行性能記錄地累計作業(yè)計算規(guī)模的總和，直到具有相同集群標(biāo)識的至少一條記錄的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模為止。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，作業(yè)運行性能記錄還包括執(zhí)行作業(yè)的計算節(jié)點的單節(jié)點核數(shù)，針對集群標(biāo)識來逐條作業(yè)運行性能記錄地累計作業(yè)計算規(guī)模的總和的步驟包括：根據(jù)所提交作業(yè)的計算規(guī)模和每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)，計算出在相應(yīng)集群提交該作業(yè)所需的計算節(jié)點數(shù)目；以及累計所計算得到的計算節(jié)點數(shù)目，直到具有相同集群標(biāo)識的至少一條記錄的計算節(jié)點數(shù)目總和不少于該集群提交該作業(yè)所需的計算節(jié)點數(shù)目為止。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，在計算出相應(yīng)集群所需的計算節(jié)點數(shù)目之后、累計所計算得到的計算節(jié)點數(shù)目之前，還包括步驟：根據(jù)作業(yè)運行性能記錄中執(zhí)行作業(yè)的計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)判斷每個計算節(jié)點的性能；若某個計算節(jié)點的性能低于閾值，則從第一數(shù)目條記錄中刪除該計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，還包括步驟：實時監(jiān)測超級計算中心的計算節(jié)點狀態(tài)；當(dāng)監(jiān)測到第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常時，從第一數(shù)目條記錄中刪除該計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，還包括步驟：若第一數(shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)?？偤筒粷M足所提交作業(yè)的計算規(guī)模，則在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄，重復(fù)上述選取、提交的步驟。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，第一數(shù)目為10。

可選地，在根據(jù)本發(fā)明的調(diào)度方法中，從作業(yè)性能表中檢索作業(yè)類型相同的第一數(shù)目條作業(yè)運行性能記錄的步驟還包括：從作業(yè)性能表中檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄。

根據(jù)本發(fā)明的另一方面，提供了一種適于執(zhí)行計算資源調(diào)度方法的調(diào)度中心，調(diào)度中心與性能計算中心、超級計算中心和客戶端相連接，以便進(jìn)行計算資源調(diào)度，調(diào)度中心包括：連接管理模塊，適于接收由客戶端發(fā)送的提交指令，其中提交指令是客戶端響應(yīng)于用戶提交作業(yè)的請求而生成的，提交指令包含所提交作業(yè)的作業(yè)類型和計算規(guī)模；檢索模塊，適于根據(jù)所提交作業(yè)的作業(yè)類型，從作業(yè)性能表中檢索作業(yè)類型相同的第一數(shù)目條作業(yè)運行性能記錄，第一數(shù)目條作業(yè)運行性能記錄按照作業(yè)運行性能特征值從高到低的順序排序，其中，作業(yè)性能表包括多條作業(yè)運行性能記錄，每條作業(yè)運行性能記錄由所述性能計算中心根據(jù)超級計算中心中運行的作業(yè)的性能數(shù)據(jù)計算生成，且每條作業(yè)運行性能記錄包括作業(yè)標(biāo)識、作業(yè)類型、執(zhí)行作業(yè)的超級計算中心標(biāo)識、集群標(biāo)識、作業(yè)計算規(guī)模、計算節(jié)點信息和作業(yè)運行性能特征值；匹配模塊，適于從第一數(shù)目條作業(yè)運行性能記錄中選取具有相同集群標(biāo)識的至少一條記錄，至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模；以及連接管理模塊還適于將作業(yè)提交至所述至少一條記錄包含的計算節(jié)點信息所指示的計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，匹配模塊還適于根據(jù)所提交作業(yè)的計算規(guī)模，針對集群標(biāo)識來逐條作業(yè)運行性能記錄地累計作業(yè)計算規(guī)模的總和，直到具有相同集群標(biāo)識的至少一條記錄的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模為止。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，作業(yè)運行性能記錄還包括執(zhí)行作業(yè)的計算節(jié)點的單節(jié)點核數(shù)，匹配模塊還包括：計算單元，適于根據(jù)所提交作業(yè)的計算規(guī)模和每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)，計算出在相應(yīng)集群提交該作業(yè)所需的計算節(jié)點數(shù)目；以及匹配模塊還適于累計所計算得到的計算節(jié)點數(shù)目，直到具有相同集群標(biāo)識的至少一條記錄的計算節(jié)點數(shù)目總和不少于該集群提交該作業(yè)所需的計算節(jié)點數(shù)目為止。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，匹配模塊還包括：性能判斷單元，適于根據(jù)作業(yè)運行性能記錄中執(zhí)行作業(yè)的計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)判斷每個計算節(jié)點的性能；匹配模塊還適于在某個計算節(jié)點的性能低于閾值時，從所述第一數(shù)目條記錄中刪除該計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，還包括：集群監(jiān)控模塊，適于實時監(jiān)測超級計算中心的計算節(jié)點狀態(tài)；匹配模塊還適于在監(jiān)測到第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常時，從第一數(shù)目條記錄中刪除該計算節(jié)點。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，檢索模塊還適于在第一數(shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)模總和不滿足所提交作業(yè)的計算規(guī)模時，在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄；匹配模塊還適于從第一數(shù)目和第二數(shù)目條作業(yè)運行性能記錄的總和中選取具有相同集群標(biāo)識的至少一條記錄，至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，第一數(shù)目為10。

可選地，在根據(jù)本發(fā)明的調(diào)度中心中，檢索模塊還適于從作業(yè)性能表中檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄。

根據(jù)本發(fā)明的又一方面，還提供了一種計算資源的調(diào)度系統(tǒng)，包括：超級計算中心，具有至少一個集群，適于運行客戶端提交的作業(yè)；性能計算中心，適于根據(jù)作業(yè)運行的性能數(shù)據(jù)計算作業(yè)運行性能特征值，生成作業(yè)性能表，其中作業(yè)性能表適于關(guān)聯(lián)存儲作業(yè)標(biāo)識、作業(yè)類型、執(zhí)行作業(yè)的超級計算中心標(biāo)識、執(zhí)行作業(yè)的集群標(biāo)識、作業(yè)計算規(guī)模、計算節(jié)點信息和作業(yè)運行性能特征值，作為一條作業(yè)運行性能記錄；客戶端，適于響應(yīng)于用戶提交作業(yè)的請求，發(fā)送提交指令給調(diào)度中心，其中提交指令中包含作業(yè)類型和計算規(guī)模；以及如上所述的調(diào)度中心。

可選地，在根據(jù)本發(fā)明的調(diào)度系統(tǒng)中，計算節(jié)點信息還包括計算節(jié)點的單節(jié)點核數(shù)。

可選地，在根據(jù)本發(fā)明的調(diào)度系統(tǒng)中，性能計算中心還適于實時采集超級計算中心中作業(yè)運行的原始數(shù)據(jù)，以實時計算作業(yè)運行的性能數(shù)據(jù)。

可選地，在根據(jù)本發(fā)明的調(diào)度系統(tǒng)中，作業(yè)運行性能數(shù)據(jù)是以該作業(yè)占用的所有計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)為主、結(jié)合CPU或GPU、內(nèi)存、磁盤、IO、微架構(gòu)數(shù)據(jù)的使用率計算得出。

可選地，在根據(jù)本發(fā)明的調(diào)度系統(tǒng)中，根據(jù)作業(yè)運行的性能數(shù)據(jù)計算作業(yè)運行性能特征值的步驟包括：選取作業(yè)運行的性能數(shù)據(jù)的中值作為該作業(yè)運行性能特征值。

根據(jù)本發(fā)明的計算資源的調(diào)度方案，基于超級計算中心上各集群歷史運行作業(yè)的性能記錄進(jìn)行計算資源的分配，同時參照所提交的待運行作業(yè)的作業(yè)類型和計算規(guī)模，能夠快速檢索到性能良好且能夠正好運行該作業(yè)的計算節(jié)點，在保證高效匹配的同時，避免了資源的浪費。

附圖說明

為了實現(xiàn)上述以及相關(guān)目的，本文結(jié)合下面的描述和附圖來描述某些說明性方面，這些方面指示了可以實踐本文所公開的原理的各種方式，并且所有方面及其等效方面旨在落入所要求保護(hù)的主題的范圍內(nèi)。通過結(jié)合附圖閱讀下面的詳細(xì)描述，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。遍及本公開，相同的附圖標(biāo)記通常指代相同的部件或元素。

圖1示出了根據(jù)本發(fā)明一個實施例的計算資源的調(diào)度系統(tǒng)100的示意圖；

圖2示出了根據(jù)本發(fā)明一個實施例的計算資源的調(diào)度方法200的流程圖；以及

圖3示出了根據(jù)本發(fā)明一個實施例的調(diào)度中心130的示意圖。

具體實施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1示出了根據(jù)本發(fā)明一個實施例的計算資源的調(diào)度系統(tǒng)100的示意圖。如圖1所示，該系統(tǒng)100包括多個超級計算中心110、性能計算中心120、調(diào)度中心130和多個客戶端140，且超級計算中心110分別與性能計算中心120和調(diào)度中心130相連接，性能計算中心120和調(diào)度中心130相連接，調(diào)度中心130和多個客戶端140相連接。

根據(jù)一種實現(xiàn)方式，每個超級計算中心110包含至少一個集群，每個集群又包括多個計算節(jié)點，超級計算中心110通過這些計算節(jié)點運行各種作業(yè)(或應(yīng)用)，完成計算任務(wù)。

性能計算中心120包括數(shù)據(jù)采集模塊和性能分析模塊，如圖1所示。

數(shù)據(jù)采集模塊適于實時采集超級計算中心110中作業(yè)運行的原始數(shù)據(jù)，例如，硬件資源配置信息、節(jié)點性能數(shù)據(jù)、節(jié)點應(yīng)用作業(yè)數(shù)據(jù)、節(jié)點進(jìn)程數(shù)據(jù)以及函數(shù)級數(shù)據(jù)。而后交由性能分析模塊。

性能分析模塊適于根據(jù)采集到的原始數(shù)據(jù)實時計算作業(yè)運行的性能數(shù)據(jù)，然后將該性能數(shù)據(jù)與作業(yè)標(biāo)識、作業(yè)類型、執(zhí)行作業(yè)的超級計算中心標(biāo)識、執(zhí)行作業(yè)的集群標(biāo)識、作業(yè)計算規(guī)模、計算節(jié)點信息等關(guān)聯(lián)存儲?？蛇x地，計算節(jié)點信息除了表征執(zhí)行該作業(yè)的計算節(jié)點(計算節(jié)點個數(shù)、計算節(jié)點列表)及計算節(jié)點的單節(jié)點核數(shù)外，還可以包括計算節(jié)點的節(jié)點配置(計算節(jié)點的物理配置信息)、作業(yè)執(zhí)行時是否獨占計算節(jié)點等信息。

其中，作業(yè)運行性能數(shù)據(jù)是以該作業(yè)占用的所有計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)(Flops)為主、結(jié)合CPU或GPU、內(nèi)存、磁盤、IO、微架構(gòu)數(shù)據(jù)的使用率計算得出，作業(yè)運行性能數(shù)據(jù)的值越高，表明作業(yè)運行的性能越好。根據(jù)本發(fā)明的一個實施例，微架構(gòu)數(shù)據(jù)包括例如實時每秒浮點運算次數(shù)、每秒浮點運算次數(shù)的峰值、CPU浮點有效計算率、X87指令集執(zhí)行比率、代碼向量化比率、256位AVX指令集執(zhí)行比率、每指令執(zhí)行的周期、最后一級緩存未命中的比率、IOPS數(shù)據(jù)分析、PCIe流量分析、內(nèi)存讀寫速率、每塊Ethernet網(wǎng)卡的接收速率、每塊Ethernet網(wǎng)卡的發(fā)送速率等。

當(dāng)一個作業(yè)運行結(jié)束時，性能分析模塊根據(jù)實時記錄地若干性能數(shù)據(jù)計算出該作業(yè)運行的性能特征值，并與上述信息(即，作業(yè)標(biāo)識、作業(yè)類型、執(zhí)行作業(yè)的超級計算中心標(biāo)識、執(zhí)行作業(yè)的集群標(biāo)識、作業(yè)計算規(guī)模、計算節(jié)點信息等)一并關(guān)聯(lián)存儲，作為一條作業(yè)運行性能記錄。由多條作業(yè)運行的運行記錄組成作業(yè)性能表。根據(jù)本發(fā)明的實施例，選取實時記錄的性能數(shù)據(jù)的中值作為該作業(yè)運行性能特征值。其中，中值也稱中位數(shù)，即將n個數(shù)據(jù)按值的大小升序或者降序排列，當(dāng)n為偶數(shù)時，中值為第n/2位數(shù)和第(n+2)/2位數(shù)的平均數(shù)；當(dāng)n為奇數(shù)時，中值為第(n+1)/2位數(shù)的值。例如，若有5個數(shù)據(jù)為：2,3,5,4,1，那么這5個數(shù)據(jù)的中值為3；若有6個數(shù)據(jù)為：2,3,5,4,6,1，那么這6個數(shù)據(jù)的中值為3.5。

可選地，根據(jù)實時記錄的性能數(shù)據(jù)分析出作業(yè)運行的性能數(shù)據(jù)的最大值、最小值，一并記錄在該條作業(yè)運行性能記錄中。如表1示例性地示出了作業(yè)性能表(應(yīng)當(dāng)注意，下表數(shù)據(jù)僅是示意性的，并不代表實際應(yīng)用中作業(yè)運行數(shù)據(jù))：

表1作業(yè)性能表示例

客戶端140適于響應(yīng)于用戶提交作業(yè)的請求，發(fā)送提交指令給調(diào)度中心130，其中，提交指令中包含作業(yè)類型和計算規(guī)模。

調(diào)度中心130在接收到來自客戶端140的提交指令后，根據(jù)作業(yè)類型和計算規(guī)模，按照一系列規(guī)則從性能計算中心120的作業(yè)性能表中匹配出符合要求的作業(yè)運行性能記錄，并將該作業(yè)提交至匹配到的記錄所指示的計算節(jié)點上。

綜上，本調(diào)度系統(tǒng)基于超級計算中心上歷史運行作業(yè)的性能記錄進(jìn)行計算資源的分配，同時參照所提交的待運行作業(yè)的作業(yè)類型和計算規(guī)模，能夠快速檢索到性能良好且能夠正好運行該作業(yè)的計算節(jié)點，在保證高效匹配的同時，避免了資源的浪費。

下面將重點介紹調(diào)度中心130執(zhí)行計算資源調(diào)度方法的過程，該方法200的執(zhí)行流程如圖2所示。

該方法始于步驟S210，接收由客戶端140發(fā)送的提交指令，如前所述，該提交指令包含所提交作業(yè)的作業(yè)類型和計算規(guī)模?？蛇x地，提交指令還可以包含其他設(shè)置信息，如用戶可以設(shè)置該作業(yè)運行時是否獨占計算節(jié)點。

隨后在步驟S220中，根據(jù)所提交作業(yè)的作業(yè)類型，從作業(yè)性能表中檢索作業(yè)類型相同的第一數(shù)目(如，10)條作業(yè)運行性能記錄。根據(jù)本發(fā)明的實施例，將作業(yè)類型相同的多條作業(yè)運行性能記錄按照作業(yè)運行性能特征值從高到低的順序排序，從中選取前10條記錄。

優(yōu)選地，也可以從作業(yè)性能表中直接檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄，在犧牲一些計算節(jié)點運行性能的前提下，縮小匹配范圍，以期提高后續(xù)匹配計算節(jié)點的效率。

隨后在步驟S230中，從第一數(shù)目條作業(yè)運行性能記錄中選取具有相同集群標(biāo)識的至少一條記錄，至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

由于不同的集群具有不同的單節(jié)點核數(shù)，故提交作業(yè)至不同的集群所需的計算節(jié)點數(shù)也不同，因而，要先根據(jù)所提交作業(yè)的計算規(guī)模和每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)，計算出在相應(yīng)集群提交該作業(yè)所需的計算節(jié)點數(shù)目。根據(jù)本發(fā)明的實施例，用所提交作業(yè)的計算規(guī)模除以每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)(即，每個集群的單節(jié)點核數(shù))，并將算出的值向上取整，就得到相應(yīng)集群提交該作業(yè)所需的計算節(jié)點的數(shù)目。例如，設(shè)所提交作業(yè)的計算規(guī)模為100，某一集群的單節(jié)點核數(shù)為12，則算得該集群提交該作業(yè)所需的計算節(jié)點數(shù)目為9。

然后，針對集群標(biāo)識來逐條作業(yè)運行性能記錄地累計作業(yè)計算規(guī)模的總和，也就是累計每個集群的計算節(jié)點數(shù)目，直到具有相同集群標(biāo)識的至少一條記錄的計算節(jié)點數(shù)目總和不少于該集群提交該作業(yè)所需的計算節(jié)點數(shù)目，就認(rèn)為具有相同集群標(biāo)識的至少一條記錄的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

如表2所示，假設(shè)表2列出了第一數(shù)目條作業(yè)運行性能記錄，設(shè)待提交作業(yè)的作業(yè)類型為T1，計算規(guī)模為120，那么根據(jù)表2中的記錄，可以得出，若在超級計算中心1的集群A上提交該作業(yè)，需10(120/12)個計算節(jié)點，而第一條記錄中共9個計算節(jié)點，依序往下，第三條記錄與第一條記錄具有相同的集群標(biāo)識，故累計第一條記錄和第三條記錄的計算節(jié)點數(shù)目，共16個計算節(jié)點，大于10，就判斷此時具有相同集群標(biāo)識的兩條記錄的作業(yè)計算規(guī)模總和滿足所提交作業(yè)的計算規(guī)模。

表2第一數(shù)目條作業(yè)運行性能記錄示例

根據(jù)本發(fā)明的實施例，考慮到在檢索出的第一數(shù)目條作業(yè)運行性能記錄中，會存在性能特征值很大，但性能數(shù)據(jù)最小值很小的情況，如表1中第3條記錄所示，這種情況下，可能執(zhí)行該作業(yè)的單個計算節(jié)點的性能過低，故在上述累計每個集群的計算節(jié)點數(shù)目的步驟之前，還包括從第一數(shù)目條記錄中過濾掉性能較低的計算節(jié)點的步驟：

可選地，根據(jù)作業(yè)運行性能記錄中執(zhí)行作業(yè)的計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)判斷每個計算節(jié)點的性能，若某個計算節(jié)點的性能低于閾值，則從第一數(shù)目條記錄中刪除該計算節(jié)點。

根據(jù)本發(fā)明的又一實施例，超級計算中心的計算節(jié)點狀態(tài)可能會隨時發(fā)生變化，為保證性能匹配的準(zhǔn)確度和有效性，會實時監(jiān)測超級計算中心的計算節(jié)點狀態(tài)，故除了上述從第一數(shù)目條記錄中過濾掉性能較低的計算節(jié)點的步驟外，還可以包括從第一數(shù)目條記錄中過濾掉狀態(tài)異常的計算節(jié)點的步驟：

當(dāng)監(jiān)測到第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常時，從第一數(shù)目條記錄中刪除該計算節(jié)點?？蛇x地，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值、計算節(jié)點溫度過高、計算節(jié)點磁盤空間已滿等。

根據(jù)本發(fā)明的實施方式，若第一數(shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)模總和不滿足所提交作業(yè)的計算規(guī)模，則在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄(即，重復(fù)步驟S220)，可選地，第二數(shù)目也可以設(shè)為10。例如，從作業(yè)運行性能記錄中依序選取第11-20條記錄，與之前的10條記錄合并，重新執(zhí)行步驟S230，直到選取出滿足所提交作業(yè)的計算規(guī)模的至少一條記錄為止。

隨后在步驟S240中，將該作業(yè)提交至所選取的至少一條記錄包含的計算節(jié)點信息所指示的計算節(jié)點上。

根據(jù)一種實施方式，若作業(yè)性能表中正好存在相同作業(yè)類型、相同計算規(guī)模的至少一條記錄，且至少一條記錄的作業(yè)運行性能特征值不低，可以優(yōu)先檢索出所述記錄，經(jīng)計算節(jié)點過濾后，若至少一條記錄中的計算節(jié)點數(shù)目總和不少于對應(yīng)集群提交該作業(yè)所需的計算節(jié)點數(shù)目，則可以確定上述計算節(jié)點為執(zhí)行該作業(yè)的計算節(jié)點。

參照上文所述，根據(jù)該調(diào)度方法200，能夠根據(jù)超級計算中心各集群運行作業(yè)的運行性能特征值，結(jié)合用戶提交作業(yè)的作業(yè)類型和計算規(guī)模，自動地匹配出能夠運行所提交作業(yè)、且性能良好的計算節(jié)點。進(jìn)一步地，監(jiān)測每個計算節(jié)點的狀態(tài)，過濾掉性能太差或者狀態(tài)異常的計算節(jié)點，以確保執(zhí)行作業(yè)的計算節(jié)點性能最優(yōu)。

圖3示出了根據(jù)本發(fā)明一個實施例的調(diào)度中心130的示意圖。如圖3所示，調(diào)度中心130包括：連接管理模塊132、檢索模塊134和匹配模塊136。其中，連接管理模塊132分別與檢索模塊134和匹配模塊136相耦接，檢索模塊134與匹配模塊136相耦接。各模塊所執(zhí)行的操作如下所述。

連接管理模塊132適于接收由客戶端140發(fā)送的提交指令，如前文所示，提交指令是客戶端響應(yīng)于用戶提交作業(yè)的請求而生成的，提交指令包含所提交作業(yè)的作業(yè)類型和計算規(guī)模。可選地，提交指令還可以包含其他設(shè)置信息，如用戶可以設(shè)置該作業(yè)運行時是否獨占計算節(jié)點。

檢索模塊134適于根據(jù)所提交作業(yè)的作業(yè)類型，從性能計算中心120的作業(yè)性能表(如表1所示)中檢索作業(yè)類型相同的第一數(shù)目條作業(yè)運行性能記錄(根據(jù)本發(fā)明的實施例，第一數(shù)目為10)，第一數(shù)目條作業(yè)運行性能記錄按照作業(yè)運行性能特征值從高到低的順序排序。

優(yōu)選地，檢索模塊134還適于從作業(yè)性能表中檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄，在犧牲一些計算節(jié)點運行性能的前提下，縮小匹配范圍，以期提高后續(xù)匹配計算節(jié)點的效率。

匹配模塊136適于從第一數(shù)目條作業(yè)運行性能記錄中選取具有相同集群標(biāo)識的至少一條記錄，且至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

根據(jù)本發(fā)明的實施方式，匹配模塊136被配置為根據(jù)所提交作業(yè)的計算規(guī)模，針對集群標(biāo)識來逐條作業(yè)運行性能記錄地累計作業(yè)計算規(guī)模的總和。具體地，匹配模塊136還包括計算單元1362(如圖3所示)，計算單元1362適于根據(jù)所提交作業(yè)的計算規(guī)模和每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)，計算出在相應(yīng)集群提交該作業(yè)所需的計算節(jié)點數(shù)目。根據(jù)本發(fā)明的一個實施例，用所提交作業(yè)的計算規(guī)模除以每條作業(yè)運行性能記錄中計算節(jié)點的單節(jié)點核數(shù)(即，每個集群的單節(jié)點核數(shù))，并將算出的值向上取整，就得到相應(yīng)集群提交該作業(yè)所需的計算節(jié)點的數(shù)目。例如，設(shè)所提交作業(yè)的計算規(guī)模為120，某一集群的單節(jié)點核數(shù)為13，則算得該集群提交該作業(yè)所需的計算節(jié)點數(shù)目為10。

計算單元1362算出計算節(jié)點數(shù)目后，匹配模塊136還適于累計所計算得到的計算節(jié)點數(shù)目，直到具有相同集群標(biāo)識的至少一條記錄的計算節(jié)點數(shù)目總和不少于該集群提交該作業(yè)所需的計算節(jié)點數(shù)目為止，就認(rèn)為具有相同集群標(biāo)識的至少一條記錄的作業(yè)計算規(guī)模總和滿足所提交作業(yè)的計算規(guī)模。關(guān)于匹配模塊136匹配記錄的過程，可見上文中關(guān)于表3的描述，此處不再贅述。

根據(jù)本發(fā)明的實施例，考慮到在檢索出的第一數(shù)目條作業(yè)運行性能記錄中，會存在性能特征值很大，但性能數(shù)據(jù)最小值很小的情況，如表1中第3條記錄所示，這種情況下，可能執(zhí)行該作業(yè)的單個計算節(jié)點的性能過低，故匹配模塊136還包括性能判斷單元1364。性能判斷單元1364適于判斷每個計算節(jié)點的性能，例如根據(jù)作業(yè)運行性能記錄中執(zhí)行作業(yè)的計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)(Flops)來判斷每個計算節(jié)點的性能。并將性能判斷的結(jié)果返回給匹配模塊136，匹配模塊136適于在某個計算節(jié)點的性能低于閾值時，就從第一數(shù)目條記錄中刪除該計算節(jié)點。

根據(jù)本發(fā)明的又一實施例，超級計算中心110中的計算節(jié)點狀態(tài)可能會隨時發(fā)生變化。舉一個例子，計算節(jié)點node1在執(zhí)行作業(yè)1時Flops值很高，即，計算節(jié)點node1的性能很好，但是在作業(yè)1執(zhí)行完畢后，因為某些原因計算節(jié)點node1關(guān)機(jī)了，若性能計算中心120上的作業(yè)性能表未及時更新，調(diào)度中心130端就有可能誤匹配到node1，影響作業(yè)執(zhí)行的效率。故，調(diào)度中心130還包括集群監(jiān)控模塊138，與匹配模塊136相耦接，如圖3所示。

該集群監(jiān)控模塊138適于實時監(jiān)測超級計算中心110的計算節(jié)點狀態(tài)，并將監(jiān)測到的狀態(tài)結(jié)果反饋給匹配模塊136。

匹配模塊136還適于在接收到由集群監(jiān)控模塊138反饋的第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常的消息時，就從第一數(shù)目條記錄中刪除該計算節(jié)點。

可選地，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值、計算節(jié)點溫度過高、計算節(jié)點磁盤空間已滿等。

當(dāng)?shù)谝粩?shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)?？偤筒粷M足所提交作業(yè)的計算規(guī)模時，檢索模塊134適于在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄。根據(jù)本發(fā)明的實施例，第二數(shù)目可以繼續(xù)設(shè)為10。

匹配模塊136適于從第一數(shù)目和第二數(shù)目條作業(yè)運行性能記錄的總和(也就是前20條記錄)中選取具有相同集群標(biāo)識的至少一條記錄，且至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

連接管理模塊132還適于將該作業(yè)提交至匹配模塊136最終選取出的至少一條記錄包含的計算節(jié)點信息所指示的計算節(jié)點。

應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循具體實施方式的權(quán)利要求書由此明確地并入該具體實施方式，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。

本領(lǐng)域那些技術(shù)人員應(yīng)當(dāng)理解在本文所公開的示例中的設(shè)備的模塊或單元或組件可以布置在如該實施例中所描述的設(shè)備中，或者可替換地可以定位在與該示例中的設(shè)備不同的一個或多個設(shè)備中。前述示例中的模塊可以組合為一個模塊或者此外可以分成多個子模塊。

本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。

本發(fā)明還一并公開了：

A5、如A4所述的方法，還包括步驟：實時監(jiān)測超級計算中心的計算節(jié)點狀態(tài)；當(dāng)監(jiān)測到第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常時，從第一數(shù)目條記錄中刪除該計算節(jié)點。

A6、如A5所述的方法，其中，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值。

A7、如A1-6中任一項所述的方法，還包括步驟：若第一數(shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)模總和不滿足所提交作業(yè)的計算規(guī)模，則在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄，重復(fù)上述選取、提交的步驟。

A8、如A1-7中任一項所述的方法，其中，第一數(shù)目為10。

A9、如A1-8中任一項所述的調(diào)度方法，其中從作業(yè)性能表中檢索作業(yè)類型相同的第一數(shù)目條作業(yè)運行性能記錄的步驟還包括：從作業(yè)性能表中檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄。

B14、如B13所述的調(diào)度中心，還包括：集群監(jiān)控模塊，適于實時監(jiān)測超級計算中心的計算節(jié)點狀態(tài)；匹配模塊還適于在監(jiān)測到第一數(shù)目條記錄中某一計算節(jié)點狀態(tài)異常時，從第一數(shù)目條記錄中刪除該計算節(jié)點。

B15、如B14所述的調(diào)度中心，其中，計算節(jié)點狀態(tài)異常包括：計算節(jié)點關(guān)機(jī)、計算節(jié)點沒有聯(lián)網(wǎng)、計算節(jié)點已被占用、計算節(jié)點資源利用率高于預(yù)定值。

B16、如B10-15中任一項所述的調(diào)度中心，其中，檢索模塊還適于在第一數(shù)目條記錄中具有相同集群標(biāo)識的至少一條記錄所包含的作業(yè)計算規(guī)模總和不滿足所提交作業(yè)的計算規(guī)模時，在第一數(shù)目條作業(yè)運行性能記錄的基礎(chǔ)上，繼續(xù)從作業(yè)性能表中檢索出第二數(shù)目條作業(yè)運行性能記錄；匹配模塊還適于從第一數(shù)目和第二數(shù)目條作業(yè)運行性能記錄的總和中選取具有相同集群標(biāo)識的至少一條記錄，至少一條記錄包含的作業(yè)計算規(guī)?？偤蜐M足所提交作業(yè)的計算規(guī)模。

B17、如B10-16中任一條所述的調(diào)度中心，其中，述第一數(shù)目為10。

B18、如B10-17中任一項所述的調(diào)度中心，其中，檢索模塊還適于從作業(yè)性能表中檢索作業(yè)類型相同、且計算規(guī)模相同的第一數(shù)目條作業(yè)運行記錄。

C21、如C19或20所述的調(diào)度系統(tǒng)，其中，性能計算中心還適于實時采集超級計算中心中作業(yè)運行的原始數(shù)據(jù)，以實時計算作業(yè)運行的性能數(shù)據(jù)。

C22、如C19-21中任一項所述的調(diào)度系統(tǒng)，其中，作業(yè)運行性能數(shù)據(jù)是以該作業(yè)占用的所有計算節(jié)點每秒所執(zhí)行的浮點運算次數(shù)為主、結(jié)合CPU或GPU、內(nèi)存、磁盤、IO、微架構(gòu)數(shù)據(jù)的使用率計算得出。

C23、如C19-22中任一項所述的調(diào)度系統(tǒng)，其中，根據(jù)作業(yè)運行的性能數(shù)據(jù)計算作業(yè)運行性能特征值的步驟包括：選取作業(yè)運行的性能數(shù)據(jù)的中值作為該作業(yè)運行性能特征值。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。

此外，所述實施例中的一些在此被描述成可以由計算機(jī)系統(tǒng)的處理器或者由執(zhí)行所述功能的其它裝置實施的方法或方法元素的組合。因此，具有用于實施所述方法或方法元素的必要指令的處理器形成用于實施該方法或方法元素的裝置。此外，裝置實施例的在此所述的元素是如下裝置的例子：該裝置用于實施由為了實施該發(fā)明的目的的元素所執(zhí)行的功能。

如在此所使用的那樣，除非另行規(guī)定，使用序數(shù)詞“第一”、“第二”、“第三”等等來描述普通對象僅僅表示涉及類似對象的不同實例，并且并不意圖暗示這樣被描述的對象必須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。

盡管根據(jù)有限數(shù)量的實施例描述了本發(fā)明，但是受益于上面的描述，本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員明白，在由此描述的本發(fā)明的范圍內(nèi)，可以設(shè)想其它實施例。此外，應(yīng)當(dāng)注意，本說明書中使用的語言主要是為了可讀性和教導(dǎo)的目的而選擇的，而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此，在不偏離所附權(quán)利要求書的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍，對本發(fā)明所做的公開是說明性的，而非限制性的，本發(fā)明的范圍由所附權(quán)利要求書限定。