一種預(yù)測任務(wù)資源等待時間的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種預(yù)測任務(wù)資源等待時間的方法及系統(tǒng)，本發(fā)明涉及大規(guī)模計算系統(tǒng)資源管理，優(yōu)化及分配，特別涉及一種預(yù)測任務(wù)資源等待時間方法及系統(tǒng)，該方法包括獲取歷史任務(wù)記錄，刪除該歷史任務(wù)記錄中存在依賴關(guān)系的任務(wù)記錄，生成新歷史任務(wù)記錄；通過自相關(guān)函數(shù)，獲取該新歷史任務(wù)記錄中與帶預(yù)測時間段具有相關(guān)性的時間段內(nèi)的任務(wù)記錄，生成任務(wù)記錄集合；設(shè)置任務(wù)資源等待時間閾值，獲取該任務(wù)記錄集合中任務(wù)資源等待時間超過該任務(wù)資源等待時間閾值的任務(wù)記錄的個數(shù)，并根據(jù)該任務(wù)記錄集合中任務(wù)記錄的總量，通過貝葉斯方法預(yù)測該待預(yù)測時間段內(nèi)的任務(wù)資源等待時間。本發(fā)明可以預(yù)測計算系統(tǒng)資源的可使用性，優(yōu)化任務(wù)調(diào)度。
【專利說明】一種預(yù)測任務(wù)資源等待時間的方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及大規(guī)模計算系統(tǒng)（包括超級計算及云計算）資源管理，優(yōu)化及分配，特 別涉及一種預(yù)測任務(wù)資源等待時間方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在針對大規(guī)模計算系統(tǒng)資源使用的刻畫，預(yù)測，優(yōu)化，及分配的過程中，現(xiàn)有的許 多方案采用基于模型的方法。具體來說，研宄人員首先選取一種或幾種和系統(tǒng)資源使用 相關(guān)的維度進行數(shù)據(jù)跟蹤觀察（例如作業(yè)的剩余運行時間，作業(yè)在系統(tǒng)隊列中的排隊時 間，等等），然后應(yīng)用某種相關(guān)概率模型來刻畫此種維度數(shù)據(jù)的概率分布，接下來，研宄人 員應(yīng)用此種模型所呈現(xiàn)的概率分布性質(zhì)進行針對該系統(tǒng)未來表現(xiàn)的預(yù)測，從而實現(xiàn)資源優(yōu) 化及合理分配，例如，Downey應(yīng)用對數(shù)均勾分布（loguniformdistribution)來測量作 業(yè)剩余運行時間，Brevik及其合作者提出了二項方法批量預(yù)測的概念（BinomialMethod BatchPredictor(BMBP))來刻畫系統(tǒng)隊列等待時間，Li及其合作者應(yīng)用混合高斯模型 (Gaussian-mixturemodel)來描述某段特定時間內(nèi)系統(tǒng)全部作業(yè)的運行時間分布。
[0003] 基于特定概率模型來刻畫資源分布的方法在處理大型計算系統(tǒng)管理以及大數(shù)據(jù) 處理的實際應(yīng)用當(dāng)中會存在如下的一些實際問題：海量數(shù)據(jù)的歷史負載記錄在實際應(yīng)用中 很難服從某種特定的概率分布，實際上，通過檢驗不同的實際數(shù)據(jù)，大數(shù)據(jù)的歷史負載記錄 不但不服從單一的某種概率分布，甚至不易用混合概率分布模型來刻畫；一些常用的概率 模型（例如二項分布模型（binomialmodel)及其衍生模型）中關(guān)于用戶在短時間間隔內(nèi) 提交的作業(yè)性質(zhì)彼此獨立的假設(shè)現(xiàn)實中往往并不成立，事實上，通過對實際超級計算機歷 史負載數(shù)據(jù)的具體研宄，我們發(fā)現(xiàn)大部分用戶會在短時間內(nèi)多次提交內(nèi)容類似，參數(shù)相當(dāng) 的作業(yè)，因此用此類概率模型進行資源消耗的評估和預(yù)測往往是不準確的。


【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種預(yù)測任務(wù)資源等待時間方法及系統(tǒng)。
[0005] 本發(fā)明提出一種預(yù)測任務(wù)資源等待時間的方法，包括：
[0006] 步驟1，獲取歷史任務(wù)記錄，刪除該歷史任務(wù)記錄中存在依賴關(guān)系的任務(wù)記錄，生 成新歷史任務(wù)記錄；
[0007] 步驟2,通過自相關(guān)函數(shù)，獲取該新歷史任務(wù)記錄中與待預(yù)測時間段具有相關(guān)性的 時間段內(nèi)的任務(wù)記錄，生成任務(wù)記錄集合；
[0008] 步驟3,設(shè)置任務(wù)資源等待時間閾值，獲取該任務(wù)記錄集合中任務(wù)資源等待時間 超過該任務(wù)資源等待時間閾值的任務(wù)記錄的個數(shù)，并根據(jù)該任務(wù)記錄集合中任務(wù)記錄的總 量，通過貝葉斯方法預(yù)測該待預(yù)測時間段內(nèi)的任務(wù)資源等待時間。
[0009] 所述的預(yù)測任務(wù)資源等待時間的方法，該步驟1的具體步驟包括：
[0010] 步驟11，判斷該歷史任務(wù)記錄中的任務(wù)記錄是否存在依賴關(guān)系；
[0011] 步驟12,若存在則刪除存在依賴關(guān)系的任務(wù)記錄。
[0012] 所述的預(yù)測任務(wù)資源等待時間的方法，該步驟11包括：
[0013] 步驟21，選擇時間臨界點t*和空間臨界點X*;
[0014] 步驟22,如果該歷史任務(wù)記錄中的兩個任務(wù)記錄的提交時間間隔在時間臨界點 t*之內(nèi)并且參數(shù)選取的臨近程度在空間間隔X*之內(nèi)，且配對的密度高于該歷史任務(wù)記錄 中除該兩個任務(wù)記錄的配對的密度，則該兩個任務(wù)記錄在（t*，X*)尺度之內(nèi)具有依賴關(guān) 系。
[0015] 所述的預(yù)測任務(wù)資源等待時間的方法，該步驟12包括：
[0016] 步驟31，將該歷史任務(wù)記錄中的任務(wù)記錄按提交時間由小到大進行排列；
[0017] 步驟32,從提交時間最小的任務(wù)記錄開始，刪除該提交時間最小的該任務(wù)記錄至 接下來t*時間內(nèi)所有和該提交時間最小的該任務(wù)記錄的參數(shù)選擇臨近程度小于X*的任務(wù) 記錄；
[0018] 步驟33,更新該歷史任務(wù)記錄并重復(fù)該步驟22,直至遍歷該歷史任務(wù)記錄，更新 該歷史任務(wù)記錄。
[0019] 所述的預(yù)測任務(wù)資源等待時間的方法，該步驟3中該貝葉斯方法的公式為：

【權(quán)利要求】
1. 一種預(yù)測任務(wù)資源等待時間的方法，其特征在于，包括： 步驟1，獲取歷史任務(wù)記錄，刪除該歷史任務(wù)記錄中存在依賴關(guān)系的任務(wù)記錄，生成新 歷史任務(wù)記錄； 步驟2,通過自相關(guān)函數(shù)，獲取該新歷史任務(wù)記錄中與待預(yù)測時間段具有相關(guān)性的時間 段內(nèi)的任務(wù)記錄，生成任務(wù)記錄集合； 步驟3,設(shè)置任務(wù)資源等待時間閾值，獲取該任務(wù)記錄集合中任務(wù)資源等待時間超過該 任務(wù)資源等待時間閾值的任務(wù)記錄的個數(shù)，并根據(jù)該任務(wù)記錄集合中任務(wù)記錄的總量，通 過貝葉斯方法預(yù)測該待預(yù)測時間段內(nèi)的任務(wù)資源等待時間。
2. 如權(quán)利要求1所述的預(yù)測任務(wù)資源等待時間的方法，其特征在于，該步驟1的具體步 驟包括： 步驟11，判斷該歷史任務(wù)記錄中的任務(wù)記錄是否存在依賴關(guān)系； 步驟12,若存在則刪除存在依賴關(guān)系的任務(wù)記錄。
3. 如權(quán)利要求2所述的預(yù)測任務(wù)資源等待時間的方法，其特征在于，該步驟11包括： 步驟21，選擇時間臨界點t*和空間臨界點X* ; 步驟22,如果該歷史任務(wù)記錄中的兩個任務(wù)記錄的提交時間間隔在時間臨界點t*之 內(nèi)并且參數(shù)選取的臨近程度在空間間隔X*之內(nèi)，且配對的密度高于該歷史任務(wù)記錄中除 該兩個任務(wù)記錄的配對的密度，則該兩個任務(wù)記錄在尺度之內(nèi)具有依賴關(guān)系。
4. 如權(quán)利要求2所述的預(yù)測任務(wù)資源等待時間的方法，其特征在于，該步驟12包括： 步驟31，將該歷史任務(wù)記錄中的任務(wù)記錄按提交時間由小到大進行排列； 步驟32,從提交時間最小的任務(wù)記錄開始，刪除該提交時間最小的該任務(wù)記錄至接下 來t*時間內(nèi)所有和該提交時間最小的該任務(wù)記錄的參數(shù)選擇臨近程度小于X*的任務(wù)記 錄； 步驟33,更新該歷史任務(wù)記錄并重復(fù)該步驟22,直至遍歷該歷史任務(wù)記錄，更新該歷 史任務(wù)記錄。
5. 如權(quán)利要求1所述的預(yù)測任務(wù)資源等待時間的方法，其特征在于，該步驟3中該貝葉 斯方法的公式為：
其中為該任務(wù)資源等待時間超過該任務(wù)資源等待時間閾值的該任務(wù)記錄的 該個數(shù)，隊〇2為該任務(wù)記錄集合中該任務(wù)記錄的該總量，Pmik是為該待預(yù)測時間段內(nèi)任 務(wù)資源等待時間超過該任務(wù)資源等待時間閾值的任務(wù)概率。
6. -種預(yù)測任務(wù)資源等待時間的系統(tǒng)，其特征在于，包括： 生成新歷史任務(wù)記錄模塊，用于獲取歷史任務(wù)記錄，刪除該歷史任務(wù)記錄中存在依賴 關(guān)系的任務(wù)記錄，生成新歷史任務(wù)記錄； 生成任務(wù)記錄集合，用于通過自相關(guān)函數(shù)，獲取該新歷史任務(wù)記錄中與待預(yù)測時間段 具有相關(guān)性的時間段內(nèi)的任務(wù)記錄，生成任務(wù)記錄集合； 預(yù)測模塊，用于設(shè)置任務(wù)資源等待時間閾值，獲取該任務(wù)記錄集合中任務(wù)資源等待時 間超過該任務(wù)資源等待時間閾值的任務(wù)記錄的個數(shù)，并根據(jù)該任務(wù)記錄集合中任務(wù)記錄的 總量，通過貝葉斯方法預(yù)測該待預(yù)測時間段內(nèi)的任務(wù)資源等待時間。
7. 如權(quán)利要求6所述的預(yù)測任務(wù)資源等待時間的系統(tǒng)，其特征在于，該生成新歷史任 務(wù)記錄模塊還包括： 判斷模塊，判斷該歷史任務(wù)記錄中的任務(wù)記錄是否存在依賴關(guān)系； 刪除依賴關(guān)系模塊，若存在則刪除存在依賴關(guān)系的任務(wù)記錄。
8. 如權(quán)利要求7所述的預(yù)測任務(wù)資源等待時間的系統(tǒng)，其特征在于，該判斷模塊的具 體作用包括：選擇時間臨界點t*和空間臨界點X* ;如果該歷史任務(wù)記錄中的兩個任務(wù)記 錄的提交時間間隔在時間臨界點t*之內(nèi)并且參數(shù)選取的臨近程度在空間間隔X*之內(nèi)，且 配對的密度高于該歷史任務(wù)記錄中除該兩個任務(wù)記錄的配對的密度，則該兩個任務(wù)記錄在 (t*，X*)尺度之內(nèi)具有依賴關(guān)系。
9. 如權(quán)利要求7所述的預(yù)測任務(wù)資源等待時間的系統(tǒng)，其特征在于，該刪除依賴關(guān)系 模塊的具體作用包括：將該歷史任務(wù)記錄中的任務(wù)記錄按提交時間由小到大進行排列；從 提交時間最小的任務(wù)記錄開始，刪除該提交時間最小的該任務(wù)記錄至接下來t*時間內(nèi)所 有和該提交時間最小的該任務(wù)記錄的參數(shù)選擇臨近程度小于X*的任務(wù)記錄；更新該歷史 任務(wù)記錄并重復(fù)該步驟22,直至遍歷該歷史任務(wù)記錄，更新該歷史任務(wù)記錄。
10. 如權(quán)利要求6所述的預(yù)測任務(wù)資源等待時間的系統(tǒng)，其特征在于，該預(yù)測模塊中該 貝葉斯方法的公式為：
其中為該任務(wù)資源等待時間超過該任務(wù)資源等待時間閾值的該任務(wù)記錄的 該個數(shù)，隊〇2為該任務(wù)記錄集合中該任務(wù)記錄的該總量，Pmik是為該待預(yù)測時間段內(nèi)任 務(wù)資源等待時間超過該任務(wù)資源等待時間閾值的任務(wù)概率。
【文檔編號】G06F9/50GK104516784SQ201410796248
【公開日】2015年4月15日 申請日期:2014年12月18日 優(yōu)先權(quán)日:2014年7月11日
【發(fā)明者】尤海航, 邢飛 申請人:中國科學(xué)院計算技術(shù)研究所