專利名稱：一種分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明屬于分布式計(jì)算領(lǐng)域，更準(zhǔn)確地說是一種可用于電力系統(tǒng)分析計(jì)算但不僅 限于此的分布式計(jì)算管理平臺(tái)的多應(yīng)用功能異步并發(fā)調(diào)度方法。
背景技術(shù)：
在分布式計(jì)算領(lǐng)域，特別是需要進(jìn)行大量計(jì)算的領(lǐng)域，例如在電力系統(tǒng)安全穩(wěn)定 分析領(lǐng)域，隨著電網(wǎng)規(guī)模日益擴(kuò)大，尤其在線應(yīng)用方面，穩(wěn)定分析計(jì)算的實(shí)時(shí)響應(yīng)速度已成 為問題的焦點(diǎn)。目前，分布式計(jì)算技術(shù)被公認(rèn)為是解決大規(guī)模、復(fù)雜電網(wǎng)在線分析計(jì)算實(shí)時(shí) 性的有效的技術(shù)手段之一。分布式計(jì)算技術(shù)通過網(wǎng)絡(luò)構(gòu)建分布式計(jì)算管理平臺(tái)，充分利用多臺(tái)計(jì)算機(jī)的并行 處理能力，在規(guī)定的計(jì)算周期內(nèi)，通過靜態(tài)、暫態(tài)、動(dòng)態(tài)安全穩(wěn)定分析計(jì)算，實(shí)現(xiàn)電網(wǎng)安全穩(wěn) 定性的實(shí)時(shí)監(jiān)視、分析和控制。但是，目前已實(shí)現(xiàn)的分布式計(jì)算管理平臺(tái)有的只支持在一個(gè) 應(yīng)用功能內(nèi)部多計(jì)算任務(wù)的異步并發(fā)，有的只支持多個(gè)應(yīng)用功能同步并發(fā)，但是在一個(gè)計(jì) 算周期內(nèi)，在還有計(jì)算任務(wù)等待調(diào)度的情況下無法保證計(jì)算完成的計(jì)算節(jié)點(diǎn)都能立刻觸發(fā) 新的調(diào)度，造成計(jì)算資源的閑置浪費(fèi)，也延長了整個(gè)系統(tǒng)的計(jì)算周期。文獻(xiàn)一《基于大規(guī)模并行處理的電網(wǎng)在線綜合預(yù)警方法和系統(tǒng)》(申請(qǐng)?zhí)?CN200810168189. X)披露了一種應(yīng)用于電力系統(tǒng)的大規(guī)模分布式并行處理實(shí)現(xiàn)方法。各個(gè) 計(jì)算節(jié)點(diǎn)進(jìn)行在線并行計(jì)算準(zhǔn)備；管理節(jié)點(diǎn)向各個(gè)計(jì)算節(jié)點(diǎn)廣播在線運(yùn)行計(jì)算數(shù)據(jù)；計(jì)算 節(jié)點(diǎn)根據(jù)在線運(yùn)行計(jì)算數(shù)據(jù)進(jìn)行穩(wěn)定計(jì)算；計(jì)算節(jié)點(diǎn)根據(jù)判斷條件對(duì)穩(wěn)定計(jì)算結(jié)果進(jìn)行判 另U，以進(jìn)行綜合預(yù)警。文獻(xiàn)二《分布式并行計(jì)算平臺(tái)系統(tǒng)及其計(jì)算任務(wù)分配方法》(申請(qǐng)?zhí)?CN200810239104. 2)披露了一種分布式并行計(jì)算平臺(tái)的計(jì)算任務(wù)分配方法。該方法中在線 調(diào)度服務(wù)器接收外部的計(jì)算輸入文件，形成在線和離線的任務(wù)分配方案，并下發(fā)到計(jì)算節(jié) 點(diǎn)，同時(shí)進(jìn)行計(jì)算結(jié)果的回收。其重要特征在于在線調(diào)度服務(wù)器一次接收且只接收一個(gè)在 線計(jì)算請(qǐng)求，處理完上一批在線計(jì)算任務(wù)后才能接收下一個(gè)計(jì)算請(qǐng)求；計(jì)算任務(wù)分配信息 總表在計(jì)算任務(wù)提交時(shí)統(tǒng)一確定，計(jì)算任務(wù)的分配按照計(jì)算任務(wù)數(shù)目和CPU核數(shù)一次全部 分配完畢，計(jì)算節(jié)點(diǎn)過濾自身相關(guān)的計(jì)算任務(wù)后自動(dòng)進(jìn)行計(jì)算。文獻(xiàn)三《應(yīng)用級(jí)異步任務(wù)調(diào)度系統(tǒng)和方法》(申請(qǐng)?zhí)朇N201010217283. 7)披露了 一種異步任務(wù)調(diào)度的方法。該方法中采用數(shù)據(jù)服務(wù)裝置存放異步任務(wù)的參數(shù)信息和處理結(jié) 果，異步任務(wù)應(yīng)用裝置接收到異步任務(wù)請(qǐng)求時(shí)進(jìn)行特征識(shí)別，按任務(wù)特征字在數(shù)據(jù)服務(wù)裝 置中進(jìn)行檢索，減少相同特征任務(wù)的重復(fù)處理，減少資源消耗，提高系統(tǒng)性能。上述發(fā)明專利不支持綜合考慮多個(gè)應(yīng)用功能的時(shí)序關(guān)系，實(shí)現(xiàn)多個(gè)應(yīng)用功能的計(jì) 算任務(wù)異步并發(fā)計(jì)算；不能結(jié)合不同應(yīng)用功能的計(jì)算任務(wù)的耗時(shí)特點(diǎn)差異，自動(dòng)選擇相應(yīng) 的調(diào)度策略，減少調(diào)度開銷時(shí)間，從而縮短整個(gè)系統(tǒng)的計(jì)算周期。因此，迫切需要設(shè)計(jì)一種 分布式計(jì)算管理平臺(tái)，能夠支持電力系統(tǒng)多應(yīng)用功能的異步并發(fā)調(diào)度方法，實(shí)現(xiàn)計(jì)算資源 的充分利用，縮短計(jì)算周期。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，克服現(xiàn)有技術(shù)的缺點(diǎn)，提供一種分布式計(jì)算多應(yīng) 用功能異步并發(fā)調(diào)度的方法，支持對(duì)多個(gè)應(yīng)用功能按照各自獨(dú)立的計(jì)算任務(wù)調(diào)度粒度形成 計(jì)算作業(yè)，實(shí)現(xiàn)多個(gè)應(yīng)用功能的異步并發(fā)調(diào)度，充分利用計(jì)算機(jī)群的計(jì)算資源，縮短計(jì)算所 耗費(fèi)的時(shí)間。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下
1)分布式計(jì)算管理平臺(tái)管理節(jié)點(diǎn)接收到計(jì)算數(shù)據(jù)后，根據(jù)系統(tǒng)的計(jì)算流程，啟動(dòng)相應(yīng) 的應(yīng)用功能程序；
2)每個(gè)啟動(dòng)的應(yīng)用功能向分布式計(jì)算管理平臺(tái)提交計(jì)算任務(wù)信息， 假定某個(gè)應(yīng)用功能的計(jì)算任務(wù)數(shù)目為m個(gè)，每個(gè)計(jì)算任務(wù)的預(yù)計(jì)執(zhí)行時(shí)間 為PTi (1彡i彡m)，假定系統(tǒng)中具
有η個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)j可同時(shí)運(yùn)行巧(1 ^ j ^ η)個(gè)計(jì)算任務(wù)(即計(jì)算進(jìn)程數(shù)
目)，每個(gè)計(jì)算作業(yè)的分布式計(jì)算管理平臺(tái)的調(diào)度開銷時(shí)間為，(主要包括通信時(shí)間和數(shù)據(jù)
處理時(shí)間)，選擇的計(jì)算任務(wù)調(diào)度粒度乃滿足式(1)
權(quán)利要求
1.一種分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，包括以下步驟1)分布式計(jì)算管理平臺(tái)管理節(jié)點(diǎn)接收到計(jì)算數(shù)據(jù)后，根據(jù)系統(tǒng)的計(jì)算流程，啟動(dòng)相應(yīng) 的應(yīng)用功能程序；每個(gè)啟動(dòng)的應(yīng)用功能向分布式計(jì)算管理平臺(tái)提交計(jì)算任務(wù)信息，根據(jù)其計(jì)算任務(wù)數(shù)目 以及每個(gè)計(jì)算任務(wù)的預(yù)計(jì)執(zhí)行時(shí)間，再結(jié)合計(jì)算機(jī)群的規(guī)模和計(jì)算節(jié)點(diǎn)的性能配置以及每 次計(jì)算作業(yè)的調(diào)度開銷時(shí)間，確定該應(yīng)用功能的計(jì)算任務(wù)的調(diào)度粒度；3)分布式計(jì)算管理平臺(tái)根據(jù)各個(gè)應(yīng)用功能的計(jì)算優(yōu)先級(jí)，將每個(gè)應(yīng)用功能的計(jì)算任務(wù) 序列添加到分布式計(jì)算管理平臺(tái)的計(jì)算任務(wù)調(diào)度序列中；分布式計(jì)算管理平臺(tái)按照計(jì)算節(jié)點(diǎn)“空閑優(yōu)先觸發(fā)調(diào)度”的原則，對(duì)計(jì)算任務(wù)調(diào)度序 列，按照其預(yù)計(jì)執(zhí)行時(shí)間和調(diào)度粒度形成分配到該計(jì)算節(jié)點(diǎn)的計(jì)算作業(yè)(同一應(yīng)用功能計(jì) 算任務(wù)的集合)，將隊(duì)列中計(jì)算任務(wù)進(jìn)行組合，依次分配給計(jì)算機(jī)群中處于空閑狀態(tài)的各個(gè) 計(jì)算節(jié)點(diǎn)；5)當(dāng)計(jì)算節(jié)點(diǎn)計(jì)算完成后，向管理節(jié)點(diǎn)傳送計(jì)算結(jié)果，管理節(jié)點(diǎn)感知后，回收合并相 應(yīng)的計(jì)算結(jié)果，同時(shí)將已回送計(jì)算結(jié)果的計(jì)算節(jié)點(diǎn)置為空閑狀態(tài)，并觸發(fā)新的計(jì)算節(jié)點(diǎn)空 閑調(diào)度，直到所有已提交計(jì)算任務(wù)的應(yīng)用功能的計(jì)算作業(yè)都調(diào)度完畢；對(duì)于回收到計(jì)算結(jié) 果的計(jì)算作業(yè)，判斷其所屬的應(yīng)用功能的所有計(jì)算作業(yè)的計(jì)算結(jié)果是否都已經(jīng)返回若尚 未完全返回，轉(zhuǎn)4)；若都已返回，則向該應(yīng)用功能返回計(jì)算結(jié)果和完成信息，同時(shí)根據(jù)系統(tǒng) 的計(jì)算流程判斷是否有后續(xù)的應(yīng)用功能滿足啟動(dòng)條件，若有則啟動(dòng)滿足啟動(dòng)條件的應(yīng)用功 能，轉(zhuǎn)2)；若沒有滿足啟動(dòng)條件的應(yīng)用功能，且其它滿足啟動(dòng)條件的應(yīng)用功能都計(jì)算完成 后，本次流程計(jì)算結(jié)束。
2.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法， 其特征在于，步驟2)中多個(gè)應(yīng)用功能可以根據(jù)其計(jì)算任務(wù)的特性，以及計(jì)算 機(jī)群的規(guī)模及特點(diǎn)，單獨(dú)向分布式計(jì)算管理平臺(tái)設(shè)置其計(jì)算任務(wù)的調(diào)度粒度 τ S用功能的計(jì)算任務(wù)粒度由公式(1)、(2) (3)計(jì)算得出；
3.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，其特征在于，步 驟4)中各個(gè)應(yīng)用功能根據(jù)其提交的計(jì)算任務(wù)和調(diào)度粒度信息，形成各個(gè)應(yīng)用功能的計(jì)算作 業(yè)序列；公式(4)要求每個(gè)計(jì)算作業(yè)包含的計(jì)算任務(wù)數(shù)量應(yīng)大于等于分配到的計(jì)算節(jié)點(diǎn)上運(yùn)行計(jì)算進(jìn)程數(shù)目A (1 ^ k ^ η)(最后一個(gè)作業(yè)除外)，在滿足公式(4)的基礎(chǔ)上，公式 (5)是對(duì)每個(gè)計(jì)算作業(yè)預(yù)計(jì)執(zhí)行時(shí)間的約束條件；
4.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，其特征在于，步 驟5)中多個(gè)應(yīng)用功能可以異步并發(fā)地與分布式計(jì)算管理平臺(tái)進(jìn)行計(jì)算任務(wù)和計(jì)算結(jié)果的 交互；當(dāng)應(yīng)用功能滿足其啟動(dòng)條件時(shí)，可以向分布式計(jì)算管理平臺(tái)提交計(jì)算任務(wù)，分布式計(jì) 算管理平臺(tái)按照提交計(jì)算任務(wù)的各個(gè)應(yīng)用功能的計(jì)算優(yōu)先級(jí)進(jìn)行排隊(duì)，對(duì)同一應(yīng)用功能的 多個(gè)計(jì)算任務(wù)按照調(diào)度粒度形成計(jì)算作業(yè)調(diào)度序列，對(duì)計(jì)算節(jié)點(diǎn)資源按照先空閑先調(diào)度原 則進(jìn)行資源分配；當(dāng)某個(gè)應(yīng)用功能的所有計(jì)算任務(wù)都完成計(jì)算時(shí)，其計(jì)算結(jié)果可以立刻返 回，實(shí)現(xiàn)計(jì)算數(shù)據(jù)和計(jì)算結(jié)果的異步并發(fā)交互，從而充分利用計(jì)算資源。
全文摘要
本發(fā)明屬分布式計(jì)算領(lǐng)域，提出一種多個(gè)應(yīng)用功能的異步并發(fā)調(diào)度的方法，應(yīng)用于分布式計(jì)算管理平臺(tái)中。分布式計(jì)算管理平臺(tái)綜合各個(gè)應(yīng)用功能的計(jì)算任務(wù)的耗時(shí)特性和數(shù)量以及計(jì)算機(jī)群節(jié)點(diǎn)的規(guī)模和性能信息，通過為各個(gè)應(yīng)用功能獨(dú)立設(shè)置合適的計(jì)算作業(yè)調(diào)度粒度，形成各個(gè)應(yīng)用功能的計(jì)算作業(yè)，添加到分布式計(jì)算管理平臺(tái)的調(diào)度序列中，實(shí)現(xiàn)多個(gè)應(yīng)用功能的計(jì)算任務(wù)異步并發(fā)提交、多個(gè)應(yīng)用功能的計(jì)算作業(yè)的統(tǒng)一調(diào)度計(jì)算和多個(gè)應(yīng)用功能的計(jì)算結(jié)果異步回收，從而充分利用計(jì)算機(jī)群的計(jì)算能力，縮短計(jì)算時(shí)間。
文檔編號(hào)G06F9/48GK102063336SQ201110005759
公開日2011年5月18日 申請(qǐng)日期2011年1月12日 優(yōu)先權(quán)日2011年1月12日
發(fā)明者盧耀華, 張勁中, 徐健, 徐泰山, 方勇杰, 洪姍姍, 王勝明, 許劍冰, 邵偉 申請(qǐng)人:南京南瑞集團(tuán)公司, 國網(wǎng)電力科學(xué)研究院