本發(fā)明涉及一種數(shù)值模擬作業(yè)調(diào)度管理計算資源優(yōu)化技術(shù)領(lǐng)域,具體是指數(shù)值模擬作業(yè)管理計算資源智能過濾及反饋優(yōu)化方法。
背景技術(shù):
數(shù)值模擬作業(yè)計算后端計算資源優(yōu)化技術(shù)是南海西部盆地油藏數(shù)值模擬工作得以有效開展的關(guān)鍵技術(shù)之一。
現(xiàn)有的數(shù)值模擬作業(yè)管理技術(shù)多為優(yōu)先級固定的節(jié)點調(diào)度管理,或為節(jié)點隨機調(diào)度管理,但計算節(jié)點受多方面不可控的因素影響,各種因素都有可能導(dǎo)致存在壞節(jié)點的情況,因而導(dǎo)致數(shù)值模擬作業(yè)整體的計算成功率下降,而節(jié)點隨機調(diào)度管理,雖可以減輕壞節(jié)點對整體的影響,卻不能有效的提高計算效率。油藏數(shù)值模擬用戶多次反映作業(yè)計算不規(guī)律的出現(xiàn)失敗的情況,實為后端計算資源質(zhì)量下降的問題,極大的降低了科研工作的效率,為此,亟需一種能有效提高后端計算資源質(zhì)量的作業(yè)管理調(diào)度方法。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于克服上述已有技術(shù)的不足,提供一種通用性強且可靠性高的數(shù)值模擬作業(yè)管理計算資源智能過濾及反饋優(yōu)化方法。
為了實現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案是:一種智能數(shù)值模擬作業(yè)管理與反饋方法,其特征在于:包括下列步驟:
s1:計算節(jié)點安裝驅(qū)動后,持續(xù)采樣節(jié)點狀態(tài)信息發(fā)送到數(shù)據(jù)庫,采集的狀態(tài)信息包括節(jié)點的處理器使用率、后臺作業(yè)進(jìn)程、網(wǎng)絡(luò)連接情況和網(wǎng)絡(luò)存儲情況;
s2:服務(wù)器程序從數(shù)據(jù)庫獲取各計算節(jié)點的優(yōu)先級及狀態(tài)信息,排除異常節(jié)點后按各節(jié)點優(yōu)先級排列,組合成等候調(diào)度的計算資源,節(jié)點異常情況包括網(wǎng)絡(luò)連接異常、網(wǎng)絡(luò)存儲未掛載、節(jié)點硬件異常;
s3:用戶使用客戶端程序?qū)?shù)值模擬作業(yè)計算請求發(fā)送到數(shù)據(jù)庫,作業(yè)計算請求信息含有作業(yè)路徑信息;
s4:服務(wù)器程序從數(shù)據(jù)庫讀取用戶的作業(yè)計算請求,在計算資源足夠的情況下,將作業(yè)優(yōu)先指派到優(yōu)先級高的計算節(jié)點上計算;
s5:作業(yè)計算結(jié)束后,客戶端程序通過分析作業(yè)日志,根據(jù)作業(yè)完成情況不同會有不同的作業(yè)日志標(biāo)志,獲得作業(yè)完成情況,分為作業(yè)計算完成和作業(yè)計算失敗兩種情況;
s6:客戶端程序根據(jù)作業(yè)完成情況進(jìn)行反饋,若作業(yè)計算完成,提高計算所用節(jié)點優(yōu)先級,若作業(yè)計算失敗,降低所用節(jié)點優(yōu)先級,更新數(shù)據(jù)庫中節(jié)點的優(yōu)先級。
進(jìn)一步地,所述步驟s2中,所述服務(wù)器程序通過智能分析節(jié)點的各種狀態(tài)信息,若判定為異常節(jié)點,對異常的節(jié)點具備過濾排除功能。
進(jìn)一步地,在所述步驟s4中,所述服務(wù)器程序具備以優(yōu)先級加權(quán)調(diào)度節(jié)點的管理功能,對優(yōu)先級高的節(jié)點優(yōu)先調(diào)用,優(yōu)先級低的節(jié)點少調(diào)用或標(biāo)記為冗余節(jié)點不調(diào)用。
進(jìn)一步地,在所述步驟s6中,所述客戶端程序根據(jù)作業(yè)完成情況進(jìn)行反饋的方法具體是:客戶端程序給用戶顯示作業(yè)日志的同時,通過同步分析作業(yè)日志,根據(jù)日志中特殊的多個標(biāo)志字段,綜合判斷形成作業(yè)完成情況,分為作業(yè)計算完成和作業(yè)計算失敗兩種情況,對這兩種情況執(zhí)行不同的操作來改變數(shù)據(jù)庫中節(jié)點的優(yōu)先級,數(shù)據(jù)庫中優(yōu)先級字段為整形數(shù)據(jù),優(yōu)先級數(shù)值大,則優(yōu)先級高;具體操作方法如下:若作業(yè)計算完成,則所用節(jié)點優(yōu)先級加1;若作業(yè)計算失敗,分兩種情況,當(dāng)所用節(jié)點優(yōu)先級大于0,則優(yōu)先級減半再減1,當(dāng)優(yōu)先級小于等于0,則優(yōu)先級減1。
本發(fā)明的有益效果是:利用本發(fā)明的方法,通過異常計算節(jié)點智能過濾、作業(yè)完成情況反饋優(yōu)化、計算節(jié)點以優(yōu)先級加權(quán)調(diào)度管理,可以有效的避免作業(yè)反復(fù)送到異常節(jié)點上計算,逐步提高計算效率高的節(jié)點優(yōu)先級,從而提高數(shù)值模擬作業(yè)整體的計算成功率以及效率,有效的提高科研人員的工作效率,具有較強的通用性。本發(fā)明為數(shù)值模擬作業(yè)管理技術(shù)計算資源調(diào)度管理技術(shù)提供了更穩(wěn)定更可靠的方法。
附圖說明
下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)說明。
圖1為本發(fā)明的流程方框圖。
具體實施方式
本發(fā)明一種智能數(shù)值模擬作業(yè)管理與反饋方法,其特征在于:包括下列步驟:
s1:計算節(jié)點安裝驅(qū)動后,持續(xù)采樣節(jié)點狀態(tài)信息發(fā)送到數(shù)據(jù)庫,采集的狀態(tài)信息包括節(jié)點的處理器使用率、后臺作業(yè)進(jìn)程、網(wǎng)絡(luò)連接情況和網(wǎng)絡(luò)存儲情況;
s2:服務(wù)器程序從數(shù)據(jù)庫獲取各計算節(jié)點的優(yōu)先級及狀態(tài)信息,排除異常節(jié)點后按各節(jié)點優(yōu)先級排列,組合成等候調(diào)度的計算資源,節(jié)點異常情況包括網(wǎng)絡(luò)連接異常、網(wǎng)絡(luò)存儲未掛載、節(jié)點硬件異常;
s3:用戶使用客戶端程序?qū)?shù)值模擬作業(yè)計算請求發(fā)送到數(shù)據(jù)庫,作業(yè)計算請求信息含有作業(yè)路徑信息;
s4:服務(wù)器程序從數(shù)據(jù)庫讀取用戶的作業(yè)計算請求,在計算資源足夠的情況下,將作業(yè)優(yōu)先指派到優(yōu)先級高的計算節(jié)點上計算;
s5:作業(yè)計算結(jié)束后,客戶端程序通過分析作業(yè)日志,根據(jù)作業(yè)完成情況不同會有不同的作業(yè)日志標(biāo)志,獲得作業(yè)完成情況,分為作業(yè)計算完成和作業(yè)計算失敗兩種情況;
s6:客戶端程序根據(jù)作業(yè)完成情況進(jìn)行反饋,若作業(yè)計算完成,提高計算所用節(jié)點優(yōu)先級,若作業(yè)計算失敗,降低所用節(jié)點優(yōu)先級,更新數(shù)據(jù)庫中節(jié)點的優(yōu)先級。
進(jìn)一步地,所述步驟s2中,所述服務(wù)器程序通過智能分析節(jié)點的各種狀態(tài)信息,若判定為異常節(jié)點,對異常的節(jié)點具備過濾排除功能。
進(jìn)一步地,在所述步驟s4中,所述服務(wù)器程序具備以優(yōu)先級加權(quán)調(diào)度節(jié)點的管理功能,對優(yōu)先級高的節(jié)點優(yōu)先調(diào)用,優(yōu)先級低的節(jié)點少調(diào)用或標(biāo)記為冗余節(jié)點不調(diào)用。
進(jìn)一步地,在所述步驟s6中,所述客戶端程序根據(jù)作業(yè)完成情況進(jìn)行反饋的方法具體是:客戶端程序給用戶顯示作業(yè)日志的同時,通過同步分析作業(yè)日志,根據(jù)日志中特殊的多個標(biāo)志字段,綜合判斷形成作業(yè)完成情況,分為作業(yè)計算完成和作業(yè)計算失敗兩種情況,對這兩種情況執(zhí)行不同的操作來改變數(shù)據(jù)庫中節(jié)點的優(yōu)先級,數(shù)據(jù)庫中優(yōu)先級字段為整形數(shù)據(jù),優(yōu)先級數(shù)值大,則優(yōu)先級高;具體操作方法如下:若作業(yè)計算完成,則所用節(jié)點優(yōu)先級加1;若作業(yè)計算失敗,分兩種情況,當(dāng)所用節(jié)點優(yōu)先級大于0,則優(yōu)先級減半再減1,當(dāng)優(yōu)先級小于等于0,則優(yōu)先級減1。
以上內(nèi)容僅用以說明本發(fā)明的技術(shù)方案,本領(lǐng)域的普通技術(shù)人員對本發(fā)明的技術(shù)方案進(jìn)行的簡單修改或者等同替換,均不脫離本發(fā)明技術(shù)方案的實質(zhì)和范圍。