本發(fā)明屬于計(jì)算機(jī)應(yīng)用，具體涉及一種基于lstm-gat的項(xiàng)目作業(yè)資源預(yù)測(cè)方法。

背景技術(shù)：

1、作業(yè)資源管理軟件在對(duì)集群內(nèi)節(jié)點(diǎn)的資源收集與處理以及在對(duì)作業(yè)調(diào)度和資源管理定制策略時(shí)，如果只是考慮到作業(yè)提交當(dāng)時(shí)的資源情況，那么對(duì)整個(gè)系統(tǒng)的了解只是停留在整個(gè)系統(tǒng)歷史和當(dāng)前的資源使用情況，而對(duì)整個(gè)系統(tǒng)未來一段時(shí)間的資源利用情況以及對(duì)發(fā)生的狀況沒有一定的分析和估計(jì)，從而無法預(yù)知系統(tǒng)可能會(huì)出現(xiàn)的意外情況。對(duì)項(xiàng)目所需資源的需求預(yù)測(cè)是進(jìn)行快速資源配置進(jìn)而實(shí)現(xiàn)資源管理及智能調(diào)度的有效解決方法。近年來，資源預(yù)測(cè)算法和系統(tǒng)對(duì)于在集群中進(jìn)行恰當(dāng)?shù)馁Y源分配變得不可或缺。

2、已有的預(yù)測(cè)算法，例如多層感知器模型(mlp)，作為神經(jīng)網(wǎng)絡(luò)的最簡(jiǎn)單形式，也有使用深度信念網(wǎng)絡(luò)(dbn)，以及圖卷積網(wǎng)絡(luò)(gcn)和長(zhǎng)短期記憶網(wǎng)絡(luò)(lstm)的混合深度學(xué)習(xí)框架，最近的一些研究也關(guān)注較長(zhǎng)期的預(yù)測(cè)，例如，深度學(xué)習(xí)堆疊自編碼器方法，或采用lstm神經(jīng)網(wǎng)絡(luò)捕捉長(zhǎng)期時(shí)間依賴性。mlp模型缺點(diǎn)在于其太過簡(jiǎn)單，一旦數(shù)據(jù)集不是線性可分，其應(yīng)用就要受到極大限制。dbn模型因?yàn)槠涫且粋€(gè)概率模型，預(yù)測(cè)準(zhǔn)確率不高。圖卷積網(wǎng)絡(luò)(gcn)和長(zhǎng)短期記憶網(wǎng)絡(luò)(lstm)的混合深度學(xué)習(xí)框架訓(xùn)練速度很慢，并且需要大量的計(jì)算資源，有時(shí)候會(huì)出現(xiàn)過擬合現(xiàn)象。深度學(xué)習(xí)堆疊自編碼器方法往往需要大量數(shù)據(jù)，訓(xùn)練時(shí)間也長(zhǎng)，需要調(diào)整大量超參數(shù)。lstm神經(jīng)網(wǎng)絡(luò)并行處理上存在劣勢(shì)，計(jì)算費(fèi)時(shí)。

3、圖注意力網(wǎng)絡(luò)(gat)的出現(xiàn)修改了gcn中的卷積操作，通過關(guān)注節(jié)點(diǎn)的鄰居來計(jì)算圖中每個(gè)節(jié)點(diǎn)的隱藏表示，從而對(duì)圖數(shù)據(jù)結(jié)構(gòu)執(zhí)行節(jié)點(diǎn)分類，因此gat執(zhí)行g(shù)cn的功能，同時(shí)使自己適應(yīng)網(wǎng)絡(luò)中的最重要的特定特性。gat還承諾了高效的、可并行的操作，應(yīng)用于不同程度的圖節(jié)點(diǎn)，并適用于歸納學(xué)習(xí)問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決公知技術(shù)中存在的以上不足，本發(fā)明旨在提供一種基于lstm-gat的項(xiàng)目作業(yè)資源預(yù)測(cè)方法，以達(dá)到提高資源的使用效率，減少項(xiàng)目排隊(duì)等待時(shí)間，對(duì)項(xiàng)目所需資源進(jìn)行有效預(yù)測(cè)的目的。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案如下：

3、一種基于lstm-gat的項(xiàng)目作業(yè)資源預(yù)測(cè)方法，該方法包括依次進(jìn)行的以下步驟：

4、p1、計(jì)算項(xiàng)目作業(yè)資源需求間的標(biāo)準(zhǔn)化互信息，利用標(biāo)準(zhǔn)化互信息度量項(xiàng)目作業(yè)的相關(guān)性，通過閾值法構(gòu)造項(xiàng)目作業(yè)資源利用網(wǎng)絡(luò)；

5、p2、利用門控循環(huán)單元網(wǎng)絡(luò)學(xué)習(xí)每個(gè)項(xiàng)目作業(yè)在項(xiàng)目作業(yè)資源利用時(shí)間窗內(nèi)的狀態(tài)，確定項(xiàng)目作業(yè)的類型；

6、p3、將相同類型的項(xiàng)目作業(yè)視作一個(gè)單獨(dú)的類別，每個(gè)類別建立一個(gè)全連接網(wǎng)絡(luò)；

7、p4、使用圖注意力網(wǎng)絡(luò)學(xué)習(xí)相同類型項(xiàng)目作業(yè)之間的相互關(guān)系，將資源利用時(shí)間窗內(nèi)的狀態(tài)作為初始狀態(tài)輸入到圖注意力網(wǎng)絡(luò)中，同時(shí)將項(xiàng)目資源利用間的邊關(guān)系輸入到圖注意力網(wǎng)絡(luò)中；

8、p5、圖注意力網(wǎng)絡(luò)學(xué)習(xí)類別內(nèi)項(xiàng)目作業(yè)資源利用之間的注意力權(quán)重后，再利用注意力權(quán)重來聚合同一個(gè)類別內(nèi)的信息，并通過激活函數(shù)relu進(jìn)行修正，得到每個(gè)項(xiàng)目作業(yè)通過圖注意力網(wǎng)絡(luò)加權(quán)修正后的類別內(nèi)狀態(tài)；

9、p6、將每個(gè)類別單獨(dú)作為一個(gè)節(jié)點(diǎn)，構(gòu)造類別全連接網(wǎng)絡(luò)，使用基于前饋神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制來學(xué)習(xí)每個(gè)類別內(nèi)項(xiàng)目作業(yè)的注意力權(quán)重，并通過每個(gè)類別內(nèi)的所有項(xiàng)目作業(yè)的已加權(quán)的類別內(nèi)狀態(tài)聚合出每個(gè)類別的類別間狀態(tài)；

10、p7、將所有類別的類別間狀態(tài)輸入到圖注意力網(wǎng)絡(luò)中，通過類別間相互加權(quán)聚合得到加權(quán)修正后的類別間狀態(tài)；

11、p8、將項(xiàng)目資源利用的加權(quán)修正后的類別內(nèi)狀態(tài)和加權(quán)修正后的類別間狀態(tài)進(jìn)行拼接，再經(jīng)過線性變換以及激活函數(shù)的修正，將經(jīng)過線性變換以及激活函數(shù)修正后的狀態(tài)信息作為最終的項(xiàng)目資源利用狀態(tài)信息，項(xiàng)目在時(shí)間窗內(nèi)產(chǎn)生的最終特征為：

12、

13、其中，為項(xiàng)目s所屬類別，wf為可學(xué)習(xí)的參數(shù)矩陣，為項(xiàng)目s在圖注意力網(wǎng)絡(luò)中的權(quán)重，為項(xiàng)目s在前饋神經(jīng)網(wǎng)絡(luò)中的權(quán)重，τi(πc)為類別πc在資源利用時(shí)間窗內(nèi)到加權(quán)修正后的類別間狀態(tài)，當(dāng)項(xiàng)目屬于多個(gè)類別時(shí)，τi(πc)取項(xiàng)目s所屬多個(gè)類別的類別間狀態(tài)的平均值。

14、作為限定，所述步驟p1中采用數(shù)值分析法計(jì)算作業(yè)資源需求間的標(biāo)準(zhǔn)化互信息，且計(jì)算方法按如下步驟依次進(jìn)行：

15、a1)項(xiàng)目i的參數(shù)特征si[s1,s2,…sn]對(duì)應(yīng)的項(xiàng)目參數(shù)區(qū)間為[minsi,maxsi]，將項(xiàng)目參數(shù)特征區(qū)間等分為k個(gè)子區(qū)間，計(jì)算項(xiàng)目i的參數(shù)特征si落在第k個(gè)子區(qū)間的頻數(shù)fi,k，用頻率近似概率pi,k：

16、

17、其中，d是樣本容量，則si的熵為：

18、

19、a2)設(shè)項(xiàng)目j的參數(shù)特征sj[s1,s2,…sn]對(duì)應(yīng)的項(xiàng)目參數(shù)區(qū)間為[minsj,maxsj]，對(duì)于聯(lián)合熵，將[minsi,maxsi]*[minsj,maxsj]劃分為k*k個(gè)子區(qū)間，計(jì)算項(xiàng)目i和項(xiàng)目j的聯(lián)合收益率(si,sj)落在子區(qū)間(k,l)的頻數(shù)fi,j,k,l，用頻率近似概率pi,j,k,l：

20、

21、聯(lián)合收益率(si,sj)的聯(lián)合熵為：

22、

23、將h(si)和h(si,sj)代入標(biāo)準(zhǔn)化互信息的計(jì)算公式，得到標(biāo)準(zhǔn)化互信息的近似值，以此來表示項(xiàng)目之間的相關(guān)性。

24、作為第二種限定，所述步驟p1中的閾值法是通過調(diào)整閾值，控制對(duì)網(wǎng)絡(luò)信息的過濾，當(dāng)兩個(gè)項(xiàng)目參數(shù)之間的標(biāo)準(zhǔn)化互信息不超過閾值時(shí)，則刪除兩個(gè)項(xiàng)目參數(shù)節(jié)點(diǎn)之間對(duì)應(yīng)的邊。

25、作為第三種限定，所述步驟p2中每個(gè)項(xiàng)目作業(yè)在項(xiàng)目作業(yè)資源利用時(shí)間窗內(nèi)的狀態(tài)表示為：

26、hi＝lstm(vi)

27、vi＝{vi1,vi2,...,vin}，

28、其中，hi為項(xiàng)目i在項(xiàng)目資源利用時(shí)間窗內(nèi)的輸出狀態(tài)，vi代表項(xiàng)目i在項(xiàng)目資源利用時(shí)間窗內(nèi)的輸入?yún)?shù)狀態(tài)。

29、作為第四種限定，所述步驟p5中的類別內(nèi)項(xiàng)目作業(yè)之間的注意力權(quán)重表示為：

30、

31、每個(gè)項(xiàng)目作業(yè)通過圖注意力網(wǎng)絡(luò)加權(quán)修正后的類別內(nèi)狀態(tài)表示為：

32、gs＝gat(s)＝relu(∑s'∈γ(s)βss'whs')，

33、其中βss'代表在項(xiàng)目資源利用時(shí)間窗內(nèi)項(xiàng)目s'對(duì)項(xiàng)目s的注意力權(quán)重，gs代表項(xiàng)目s通過圖注意力網(wǎng)絡(luò)加權(quán)修正后的類別內(nèi)狀態(tài)，gat代表圖注意力網(wǎng)絡(luò)，γ(s)代表項(xiàng)目s的所有相鄰項(xiàng)目及其自身，w是可學(xué)習(xí)的共享線性變換矩陣，r是可學(xué)習(xí)的共享關(guān)注機(jī)制，rt是矩陣r的轉(zhuǎn)置，h為項(xiàng)目資源利用時(shí)間窗內(nèi)的輸出狀態(tài)，項(xiàng)目s和項(xiàng)目s'是項(xiàng)目i中的兩個(gè)相鄰項(xiàng)目。

34、作為第五種限定，所述步驟p6中每個(gè)類別內(nèi)項(xiàng)目作業(yè)的注意力權(quán)重為：

35、

36、其中，表示類別πc中項(xiàng)目的注意力權(quán)重，是類別πc對(duì)應(yīng)的可學(xué)習(xí)的參數(shù)矩陣；

37、每個(gè)類別的類別間狀態(tài)為：

38、

39、其中，為第πc個(gè)類別在資源利用時(shí)間窗內(nèi)的類別間狀態(tài)；

40、

41、其中，為類別πc中包含的所有項(xiàng)目作業(yè)，|πc|為類別πc中所包含的項(xiàng)目作業(yè)個(gè)數(shù)，是類別πc中所有項(xiàng)目作業(yè)的集合。

42、作為第六種限定，所述步驟p7中將所有類別的類別間狀態(tài)輸入到圖注意力網(wǎng)絡(luò)中，通過類別間相互加權(quán)聚合得到加權(quán)修正后的類別間狀態(tài)，可以用公式表示為：

43、

44、其中，

45、是類別π對(duì)類別πc的注意力權(quán)重，wπ是類別π的可學(xué)習(xí)的共享線性變換矩陣，rπ是類別π的可學(xué)習(xí)的共享關(guān)注機(jī)制，是類別π的可學(xué)習(xí)的共享關(guān)注機(jī)制的轉(zhuǎn)置，gπ是類別全連接網(wǎng)絡(luò)，π'是不同于類別π的一種類別。

46、作為第七種限定，所述步驟p1中的項(xiàng)目作業(yè)資源包括節(jié)點(diǎn)數(shù)、cpu、gpu、存儲(chǔ)、完成時(shí)間。

47、由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，所取得的有益效果是：

48、(1)本發(fā)明方法實(shí)現(xiàn)了更好的管理資源與項(xiàng)目，提高資源的使用效率，減少項(xiàng)目排隊(duì)等待時(shí)間，對(duì)項(xiàng)目所需資源進(jìn)行有效的預(yù)測(cè)；

49、(2)本發(fā)明方法輔助實(shí)現(xiàn)智能化的任務(wù)調(diào)度，根據(jù)申請(qǐng)員提交的歷史表單，分析數(shù)據(jù)，建立預(yù)測(cè)模型，預(yù)測(cè)每個(gè)任務(wù)(作業(yè))所需要的節(jié)點(diǎn)數(shù)、cpu、gpu、存儲(chǔ)、完成時(shí)間等。

50、綜上所述，本發(fā)明可以提高資源的使用效率，減少項(xiàng)目排隊(duì)等待時(shí)間，實(shí)現(xiàn)了對(duì)項(xiàng)目所需資源進(jìn)行有效的預(yù)測(cè)。