專利名稱：集群系統(tǒng)的業(yè)務(wù)調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機技術(shù)，尤其涉及一種在集群系統(tǒng)中的進行業(yè)務(wù)調(diào)度的方法。
背景技術(shù)：
高性能計算一直是國內(nèi)外科技界，甚至政府十分重視的高科技領(lǐng)域。它不僅同科學技術(shù)與國民經(jīng)濟的發(fā)展密切有關(guān)，而且還直接影響到國家的國防能力和國家安全。在近年來出現(xiàn)的支持高性能計算的計算機系統(tǒng)中，集群系統(tǒng)作為一種易擴充、性價比高的方案得到廣泛采納。應用程序的需求是無限的、不斷變化的，集群系統(tǒng)可以有效地支持更廣泛的工作負載。2007年11月在國外權(quán)威網(wǎng)站上公布的T0P500高性能計算機中，集群系統(tǒng)占據(jù)了 81. 20%。在集群系統(tǒng)中，良好的調(diào)度可以高效利用集群資源，使集群中全部匯集起來的處理能力高效地在眾多用戶間分配。作業(yè)調(diào)度是一個很復雜的問題，調(diào)度算法是一個應用相關(guān)(Application-specific)的問題，具體應用的特性在很大程度上影響和決定著調(diào)度系統(tǒng)的性能。調(diào)度系統(tǒng)對于不同類型的應用應當采用不同的調(diào)度策略，只有在充分考慮作業(yè)及資源特性的基礎(chǔ)上提出的調(diào)度算法才能夠獲得較高的系統(tǒng)性能。要想在并行化能力上有較大提高，則必須付出昂貴的硬件代價和設(shè)計出復雜的算法。并行作業(yè)調(diào)度中最主要的兩個算法是Backfilling算法和Gang調(diào)度算法。 Backfilling算法是FCFS算法的改進，它允許調(diào)度器不按作業(yè)到達順序運行，當資源無法滿足前面大作業(yè)的運行要求時，它讓一些小作業(yè)先運行在當前空閑的處理器上(稱為回填)以提高資源利用率。后來很多算法在其基礎(chǔ)上進行了改進，出現(xiàn)了 EASY (Extensible Argonne SchedulingsYstem)Backfilling 算法、保守 Backfilling 算法和基于 Backfilling算法的“擴履適足”的改進算法。Gang調(diào)度的思想是將作業(yè)作為一個整體進行調(diào)度。每臺機器上為作業(yè)提供一個相同的環(huán)境，一個作業(yè)的所有進程一起運行。Gang調(diào)度算法是基于并行程序間會有頻繁的同步而提出的，避免各并行進程由于運行步調(diào)不一致而等待所造成的等待時間。成對Gang調(diào)度算法、緩沖協(xié)同調(diào)度算法是對Gang調(diào)度算法的改進。還有很多其他調(diào)度算法，如BestFit算法、自適應算法、遺傳算法、基于經(jīng)濟學的資源調(diào)度算法和基于QOS的調(diào)度算法等，每個算法都有自己的優(yōu)缺點，滿足特定的應用需求。如此而言，上述算法的一個共同的缺點就是通用性不高，都僅局限在一個局部領(lǐng)域。

發(fā)明內(nèi)容
本發(fā)明旨在提出一種針對綜合業(yè)務(wù)的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法。根據(jù)本發(fā)明，提出一種集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，包括下述的步驟根據(jù)集群系統(tǒng)中計算設(shè)備的硬件特性將集群系統(tǒng)劃分成數(shù)個區(qū)域，為每一個區(qū)域計算區(qū)域分類參數(shù)；集群系統(tǒng)接收到業(yè)務(wù)，為該業(yè)務(wù)計算業(yè)務(wù)分類參數(shù)；CN 102541652 A
將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域；在該區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)。其中的硬件特性包括處理器速度、存儲器容量、內(nèi)存容量、網(wǎng)絡(luò)傳輸速度、網(wǎng)絡(luò)安全等級、系統(tǒng)可靠性、附加硬件種類。其中計算區(qū)域分類參數(shù)包括根據(jù)該區(qū)域中所有的計算設(shè)備的處理器速度計算處理器平均速度；根據(jù)該區(qū)域中所有的計算設(shè)備的存儲器容量計算存儲器總?cè)萘?；根?jù)該區(qū)域中所有的計算設(shè)備的內(nèi)存容量計算內(nèi)存平均容量；根據(jù)該區(qū)域的網(wǎng)絡(luò)傳輸速度和網(wǎng)絡(luò)安全等級計算數(shù)據(jù)傳輸速度；根據(jù)該區(qū)域中所有的計算設(shè)備和網(wǎng)絡(luò)的可靠性計算可靠性參數(shù)；根據(jù)該區(qū)域中附加硬件的種類計算傾向業(yè)務(wù)參數(shù)。其中計算業(yè)務(wù)分類參數(shù)包括根據(jù)該業(yè)務(wù)的運算規(guī)模計算處理器速度指標和內(nèi)存指標；根據(jù)該業(yè)務(wù)的數(shù)據(jù)規(guī)模計算存儲器指標；根據(jù)該業(yè)務(wù)的運算分布性計算數(shù)據(jù)傳輸指標；根據(jù)該業(yè)務(wù)的可靠性要求計算可靠性指標；根據(jù)該業(yè)務(wù)的種類計算傾向指標。將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域包括 將業(yè)務(wù)分類參數(shù)中的處理器速度指標、存儲器指標、內(nèi)存指標、數(shù)據(jù)傳輸指標和可靠性指標分別與區(qū)域分類參數(shù)中的處理器平均速度、存儲器總?cè)萘?、?nèi)存平均容量、數(shù)據(jù)傳輸速度和可靠性參數(shù)進行比較，計算每一項的偏差值并將偏差值累加得到總偏差值；將業(yè)務(wù)分類參數(shù)中的傾向指標與區(qū)域分類參數(shù)中的傾向業(yè)務(wù)參數(shù)比較，如果兩者相符，得到傾向值為 0.5，如果兩者不相符，得到傾向值為1 ；將總偏差值與傾向值相乘，得到業(yè)務(wù)分類參數(shù)與區(qū)域分類參數(shù)的接近度。其中，在區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)包括監(jiān)控一個區(qū)域內(nèi)所有計算設(shè)備的負載流量，將業(yè)務(wù)分配給具有最低負載流量的計算設(shè)備。該集群系統(tǒng)的業(yè)務(wù)調(diào)度方法還包括為每個業(yè)務(wù)設(shè)置優(yōu)先級，當集群系統(tǒng)接收到多個業(yè)務(wù)時，根據(jù)業(yè)務(wù)的優(yōu)先級，優(yōu)先處理具有高優(yōu)先級的業(yè)務(wù)。本發(fā)明的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法能夠為每一項業(yè)務(wù)尋找最適合的硬件設(shè)備來加以運行，同時，在這些合適的硬件設(shè)備中又尋找最空閑的設(shè)備，使得每項業(yè)務(wù)都能夠在最短的時間內(nèi)被集群系統(tǒng)中最合適的設(shè)備執(zhí)行，提高了集群能夠的整體運行效率。


圖1是根據(jù)本發(fā)明的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法的流程圖。
具體實施例方式研究表明，在集群系統(tǒng)中，對業(yè)務(wù)運行有影響的因素可以歸結(jié)為兩大類軟件環(huán)境和硬件資源。軟件環(huán)境主要指特定程序運行所需的運行環(huán)境、編譯器和工具庫，如科學與工禾呈計算軟件包 PETSc (Porta ble ExetensibleTookit for Scientific Computing)、 BLAS (Basic Linear AlgebraSubprograms)等等。不同的業(yè)務(wù)可能要求不同的軟件環(huán)境，只有滿足了執(zhí)行所需的軟件需求作業(yè)才能運行。同一個作業(yè)在不同配置的計算機上運行的運行時間不同。CPU主頻高、內(nèi)存大、硬盤大的結(jié)點運行作業(yè)的速度就比較快。并行作業(yè)計算時往往要把完成的作業(yè)分布到各個處理結(jié)點并行執(zhí)行，各結(jié)點間會有大量的通信，所以網(wǎng)絡(luò)速度對運行也有影響。通過在不同配置機器上運行不同作業(yè)測試作業(yè)與資源的具體聯(lián)系，證明CPU頻率對計算密集型的作業(yè)的影響很大，通信速度對通信密集型作業(yè)影響很大。在調(diào)度時若根據(jù)作業(yè)特點選擇相應結(jié)點運行可以取得很好的調(diào)度效果。很多調(diào)度算法的實施是僅基于估計的作業(yè)運行時間，但是作業(yè)運行時間很難準確給定，雖然有研究使用建模方式提高估計的準確性或采用獎勵的辦法提高用戶估計的準確性，但平均精確度還是沒有明顯提高，所以僅基于估計的作業(yè)運行時間的調(diào)度方法是不精確的。實驗證明硬件資源對作業(yè)的影響很大，軟件和硬件的匹配很大程度上決定了系統(tǒng)的工作效率。于是，本發(fā)明針對軟件和硬件的匹配程度，提出一種集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，參考圖1所示，該方法包括S10.根據(jù)集群系統(tǒng)中計算設(shè)備的硬件特性將集群系統(tǒng)劃分成數(shù)個區(qū)域，為每一個區(qū)域計算區(qū)域分類參數(shù)。Sll.集群系統(tǒng)接收到業(yè)務(wù)，為該業(yè)務(wù)計算業(yè)務(wù)分類參數(shù)。S12.將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域。S13.在該區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)。其中，本發(fā)明的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法中使用的計算設(shè)備的硬件特性包括處理器速度、存儲器容量、內(nèi)存容量、網(wǎng)絡(luò)傳輸速度、網(wǎng)絡(luò)安全等級、系統(tǒng)可靠性、附加硬件種類。在步驟SlO中，計算區(qū)域分類參數(shù)包括如下的幾個方面根據(jù)該區(qū)域中所有的計算設(shè)備的處理器速度計算處理器平均速度；根據(jù)該區(qū)域中所有的計算設(shè)備的存儲器容量計算存儲器總?cè)萘浚桓鶕?jù)該區(qū)域中所有的計算設(shè)備的內(nèi)存容量計算內(nèi)存平均容量；根據(jù)該區(qū)域的網(wǎng)絡(luò)傳輸速度和網(wǎng)絡(luò)安全等級計算數(shù)據(jù)傳輸速度；根據(jù)該區(qū)域中所有的計算設(shè)備和網(wǎng)絡(luò)的可靠性計算可靠性參數(shù)；根據(jù)該區(qū)域中附加硬件的種類計算傾向業(yè)務(wù)參數(shù)。步驟Sll中，計算業(yè)務(wù)分類參數(shù)包括如下的幾個方面根據(jù)該業(yè)務(wù)的運算規(guī)模計算處理器速度指標和內(nèi)存指標；根據(jù)該業(yè)務(wù)的數(shù)據(jù)規(guī)模計算存儲器指標；根據(jù)該業(yè)務(wù)的運算分布性計算數(shù)據(jù)傳輸指標；根據(jù)該業(yè)務(wù)的可靠性要求計算可靠性指標；根據(jù)該業(yè)務(wù)的種類計算傾向指標。步驟S12中，將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域的實現(xiàn)過程如下首先將業(yè)務(wù)分類參數(shù)中的處理器速度指標、存儲器指標、內(nèi)存指標、數(shù)據(jù)傳輸指標和可靠性指標分別與區(qū)域分類參數(shù)中的處理器平均速度、存儲器總?cè)萘?、?nèi)存平均容量、數(shù)據(jù)傳輸速度和可靠性參數(shù)進行比較，計算每一項的偏差值并將偏差值累加得到總偏差值。 在一個實施例中，所有的偏差值計算都采用標準化的算法，即以業(yè)務(wù)分類參數(shù)中的各項為基準值1，計算區(qū)域分類參數(shù)中的各項與之的百分比偏差，得到的偏差值累加得到總偏差值。
之后將業(yè)務(wù)分類參數(shù)中的傾向指標與區(qū)域分類參數(shù)中的傾向業(yè)務(wù)參數(shù)比較，如果兩者相符，得到傾向值為0. 5，如果兩者不相符，得到傾向值為1。由于有些業(yè)務(wù)需要特殊的硬件處理，或者說具備特殊硬件的計算設(shè)備對于該種業(yè)務(wù)的處理能力能夠提高很多。于是， 在本發(fā)明的實施例中，如果業(yè)務(wù)分類參數(shù)中的傾向指標與區(qū)域分類參數(shù)中的傾向業(yè)務(wù)參數(shù)相符，例如都為“圖形處理”、或者都為“安全傳輸”，就賦予傾向值為0. 5，如果不相符，則得到傾向值為1。將總偏差值與傾向值相乘，得到業(yè)務(wù)分類參數(shù)與區(qū)域分類參數(shù)的接近度。數(shù)值越小，表示業(yè)務(wù)分類參數(shù)與區(qū)域分類參數(shù)越接近，也就意味著該區(qū)域中的計算設(shè)備適合于處理該項業(yè)務(wù)。于是該業(yè)務(wù)就被調(diào)度被該區(qū)域。通過步驟S10-S12，一項業(yè)務(wù)就被分配給了具備最適合處理該業(yè)務(wù)的硬件資源的區(qū)域，后一個要求是在該區(qū)域中尋找能最快處理該業(yè)務(wù)的計算設(shè)備。在步驟S13中，在區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)包括監(jiān)控一個區(qū)域內(nèi)所有計算設(shè)備的負載流量，將業(yè)務(wù)分配給具有最低負載流量的計算設(shè)備。具有最低負載流量的計算設(shè)備擁有最多的空閑資源，因此最有可能能夠最快速地處理業(yè)務(wù)。于是，集群系統(tǒng)接收到的業(yè)務(wù)被分配給區(qū)域之后，在步驟S13中被繼續(xù)調(diào)度給該區(qū)域中最為空閑的計算設(shè)備。對于集群系統(tǒng)這樣的大規(guī)模系統(tǒng)來說，一次性接收到多個業(yè)務(wù)是十分常見的，在這種情況下，應該如何安排處理業(yè)務(wù)的順序。在本發(fā)明的一個實施例中，為每個業(yè)務(wù)設(shè)置優(yōu)先級，當集群系統(tǒng)接收到多個業(yè)務(wù)時，根據(jù)業(yè)務(wù)的優(yōu)先級，優(yōu)先處理具有高優(yōu)先級的業(yè)務(wù)。本發(fā)明的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法能夠為每一項業(yè)務(wù)尋找最適合的硬件設(shè)備來加以運行，同時，在這些合適的硬件設(shè)備中又尋找最空閑的設(shè)備，使得每項業(yè)務(wù)都能夠在最短的時間內(nèi)被集群系統(tǒng)中最合適的設(shè)備執(zhí)行，提高了集群能夠的整體運行效率。
權(quán)利要求
1.一種集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，包括根據(jù)集群系統(tǒng)中計算設(shè)備的硬件特性將集群系統(tǒng)劃分成數(shù)個區(qū)域，為每一個區(qū)域計算區(qū)域分類參數(shù)；集群系統(tǒng)接收到業(yè)務(wù)，為該業(yè)務(wù)計算業(yè)務(wù)分類參數(shù)；將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域；在該區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)。
2.如權(quán)利要求1所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，所述硬件特性包括 處理器速度、存儲器容量、內(nèi)存容量、網(wǎng)絡(luò)傳輸速度、網(wǎng)絡(luò)安全等級、系統(tǒng)可靠性、附加硬件種類。
3.如權(quán)利要求2所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，所述計算區(qū)域分類參數(shù)包括根據(jù)該區(qū)域中所有的計算設(shè)備的處理器速度計算處理器平均速度； 根據(jù)該區(qū)域中所有的計算設(shè)備的存儲器容量計算存儲器總?cè)萘浚?根據(jù)該區(qū)域中所有的計算設(shè)備的內(nèi)存容量計算內(nèi)存平均容量； 根據(jù)該區(qū)域的網(wǎng)絡(luò)傳輸速度和網(wǎng)絡(luò)安全等級計算數(shù)據(jù)傳輸速度； 根據(jù)該區(qū)域中所有的計算設(shè)備和網(wǎng)絡(luò)的可靠性計算可靠性參數(shù)； 根據(jù)該區(qū)域中附加硬件的種類計算傾向業(yè)務(wù)參數(shù)。
4.如權(quán)利要求3所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，所述計算業(yè)務(wù)分類參數(shù)包括根據(jù)該業(yè)務(wù)的運算規(guī)模計算處理器速度指標和內(nèi)存指標； 根據(jù)該業(yè)務(wù)的數(shù)據(jù)規(guī)模計算存儲器指標； 根據(jù)該業(yè)務(wù)的運算分布性計算數(shù)據(jù)傳輸指標； 根據(jù)該業(yè)務(wù)的可靠性要求計算可靠性指標； 根據(jù)該業(yè)務(wù)的種類計算傾向指標。
5.如權(quán)利要求4所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，所述將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域包括將業(yè)務(wù)分類參數(shù)中的處理器速度指標、存儲器指標、內(nèi)存指標、數(shù)據(jù)傳輸指標和可靠性指標分別與區(qū)域分類參數(shù)中的處理器平均速度、存儲器總?cè)萘?、?nèi)存平均容量、數(shù)據(jù)傳輸速度和可靠性參數(shù)進行比較，計算每一項的偏差值并將偏差值累加得到總偏差值；將業(yè)務(wù)分類參數(shù)中的傾向指標與區(qū)域分類參數(shù)中的傾向業(yè)務(wù)參數(shù)比較，如果兩者相符，得到傾向值為0. 5，如果兩者不相符，得到傾向值為1 ；將總偏差值與傾向值相乘，得到業(yè)務(wù)分類參數(shù)與區(qū)域分類參數(shù)的接近度。
6.如權(quán)利要求1所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，還包括為每個業(yè)務(wù)設(shè)置優(yōu)先級，當集群系統(tǒng)接收到多個業(yè)務(wù)時，根據(jù)業(yè)務(wù)的優(yōu)先級，優(yōu)先處理具有高優(yōu)先級的業(yè)務(wù)。
7.如權(quán)利要求1所述的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，其特征在于，在區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)包括監(jiān)控一個區(qū)域內(nèi)所有計算設(shè)備的負載流量，將業(yè)務(wù)分配給具有最低負載流量的計算設(shè)備。
全文摘要
本發(fā)明揭示了一種集群系統(tǒng)的業(yè)務(wù)調(diào)度方法，包括根據(jù)集群系統(tǒng)中計算設(shè)備的硬件特性將集群系統(tǒng)劃分成數(shù)個區(qū)域，為每一個區(qū)域計算區(qū)域分類參數(shù)；集群系統(tǒng)接收到業(yè)務(wù)，為該業(yè)務(wù)計算業(yè)務(wù)分類參數(shù)；將該業(yè)務(wù)調(diào)度給具有最接近該業(yè)務(wù)的業(yè)務(wù)分類參數(shù)的區(qū)域分類參數(shù)的區(qū)域；在該區(qū)域內(nèi)尋找最空閑的計算設(shè)備處理該業(yè)務(wù)。本發(fā)明的集群系統(tǒng)的業(yè)務(wù)調(diào)度方法能夠為每一項業(yè)務(wù)尋找最適合的硬件設(shè)備來加以運行，同時，在這些合適的硬件設(shè)備中又尋找最空閑的設(shè)備，使得每項業(yè)務(wù)都能夠在最短的時間內(nèi)被集群系統(tǒng)中最合適的設(shè)備執(zhí)行，提高了集群能夠的整體運行效率。
文檔編號G06F9/50GK102541652SQ201010580750
公開日2012年7月4日 申請日期2010年12月9日 優(yōu)先權(quán)日2010年12月9日
發(fā)明者張麗曉 申請人:上海杉達學院