一種云數(shù)據(jù)中心的負(fù)載預(yù)測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)中心性能監(jiān)控預(yù)測領(lǐng)域，主要涉及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域相關(guān) 技術(shù)。具體來講，主要是提出了一種在云計算數(shù)據(jù)中心通過多種性能特征融合，并加上人工 干預(yù)的方式，對數(shù)據(jù)中心的負(fù)載做出一個準(zhǔn)確的預(yù)測的方法，更加適用于情況愈發(fā)復(fù)雜多 變的云數(shù)據(jù)中心。
【背景技術(shù)】
[0002] 當(dāng)今時代是一個大數(shù)據(jù)的時代。據(jù)統(tǒng)計，2013年時，全球的互聯(lián)網(wǎng)每天就會產(chǎn)生 IEB的數(shù)據(jù)（即10億GB)，并且隨著時間的推移，數(shù)據(jù)的增長速度只會越來越快。這些數(shù)據(jù) 中蘊(yùn)藏著巨大的價值，要利用它們首先要存儲它們。而傳統(tǒng)的數(shù)據(jù)中心已經(jīng)不能滿足相應(yīng) 的要求，相比于傳統(tǒng)的數(shù)據(jù)中心，云數(shù)據(jù)中心具有高度的虛擬化，更大的規(guī)?；芾淼淖?動化，綠色節(jié)能化等優(yōu)勢。但是，相對應(yīng)的，云數(shù)據(jù)中心由于它的種種特性導(dǎo)致它的狀態(tài)更 加的多變。對于云數(shù)據(jù)中心狀態(tài)的要求不僅限于它的狀態(tài)監(jiān)控，對于它狀態(tài)的預(yù)測也成為 一個熱門話題。如果我們擁有一個好的預(yù)測方法，就可以將部分物力資源做更好的規(guī)劃。如 果預(yù)計到未來負(fù)載量較少，可以通過資源調(diào)度將部分資源集中在某些服務(wù)器上，讓剩余空 閑的服務(wù)器關(guān)閉服務(wù)以節(jié)省資源。
[0003] 對數(shù)據(jù)中心熱點(diǎn)的預(yù)測實(shí)際上就是對數(shù)據(jù)中心服務(wù)器負(fù)載的時間序列曲線的趨 勢預(yù)測。針對這個問題，目前國內(nèi)外已經(jīng)有很多關(guān)于負(fù)載預(yù)測領(lǐng)域的研究，期望通過不同的 方式來提高預(yù)測的準(zhǔn)確性。之前的大部分預(yù)測工作的算法集中在回歸，移動平均，噪聲濾波 等，對于傳統(tǒng)的數(shù)據(jù)中心它們被證明了擁有不錯的預(yù)測效果。但是對于多變的云數(shù)據(jù)中心 大多卻不再適用。
[0004] 近些年出現(xiàn)的機(jī)器學(xué)習(xí)，主要研究了計算機(jī)如何模擬人的思考學(xué)習(xí)行為，使得預(yù) 測這一領(lǐng)域又有了新的發(fā)展。機(jī)器學(xué)習(xí)發(fā)展到21世紀(jì)初期，出現(xiàn)了"大數(shù)據(jù)"的概念，隨 著數(shù)據(jù)量越來越大，許多傳統(tǒng)的方法漸顯出一些弊端，或是分析結(jié)果不對，或是收斂速度太 慢。2006年，多倫多大學(xué)的Hinton教授和他的團(tuán)隊(duì)發(fā)表文章，提出了一種基于深度信念網(wǎng) 絡(luò)的快速學(xué)習(xí)算法，拉開了深度學(xué)習(xí)的大門。深度學(xué)習(xí)相比與傳統(tǒng)的機(jī)器學(xué)習(xí)，更專注于 提取數(shù)據(jù)中的特征表示，因此也更適用于沒有標(biāo)簽的數(shù)據(jù)。這種學(xué)習(xí)方式叫做無監(jiān)督的學(xué) 習(xí)。因?yàn)橄啾扔谟袠?biāo)簽的數(shù)據(jù)，大量無標(biāo)簽的數(shù)據(jù)更容易獲得，如果盡量提取這些無標(biāo)簽數(shù) 據(jù)中的有效信息，也就是深度學(xué)習(xí)的核心，因此深度學(xué)習(xí)也是一種更接近于人腦的學(xué)習(xí)機(jī) 制。所以將深度學(xué)習(xí)的思路應(yīng)用到云數(shù)據(jù)中心的負(fù)載預(yù)測上會提高很多精度。
[0005] 但是縱使是深度學(xué)習(xí)也不能完全解決生活中所存在的很多問題，特別是云數(shù)據(jù)中 心中存在著大量不確定的情況難以預(yù)知。比如某網(wǎng)站某日晚十點(diǎn)要開放預(yù)售某位歌星的演 唱會門票，人自然而然會想到，等到搶票通道開放的時候必然會造成服務(wù)器負(fù)載突然增高， 但是這一點(diǎn)計算機(jī)無法預(yù)知，因此人機(jī)交互的預(yù)測可能會更加符合未來的預(yù)測模式。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)存絕大部分云數(shù)據(jù)中心架構(gòu)，創(chuàng)造性地提出了一種帶人工干預(yù)的特 征融合式預(yù)測算法，很好地解決了目前云數(shù)據(jù)中心多變性難以掌控的局限性。本算法采用 深度學(xué)習(xí)算法提取特征并將多種性能指標(biāo)進(jìn)行融合，并加入人工干預(yù)來輔助預(yù)測，將大大 提高預(yù)測的精度。同時算法模塊間依賴性小，可以放在分布式系統(tǒng)上進(jìn)行，大大提高了運(yùn)行 所需的時間。
[0007] 本發(fā)明的發(fā)明目的通過以下技術(shù)方案實(shí)現(xiàn)：
[0008] -種云數(shù)據(jù)中心的負(fù)載預(yù)測方法，其特點(diǎn)在于，該方法包括如下步驟：
[0009] 步驟1，采集預(yù)測云數(shù)據(jù)中心的歷史數(shù)據(jù)，并進(jìn)行歸一化處理；
[0010] 步驟2,計算CPU歷史數(shù)據(jù)與其余各性能指標(biāo)的相關(guān)性，相關(guān)性大于閾值Φ的性能 指標(biāo)加入集合A。
[0011] 步驟3，時間窗口提?。弘S機(jī)抽取時間窗口，時間窗口長度根據(jù)實(shí)際情況來設(shè)定， 其中時間窗口前一部分作為預(yù)測的輸入，后一部分作為訓(xùn)練時的預(yù)測輸出；
[0012] 步驟4,特征提?。河萌龑幼跃幋a神經(jīng)網(wǎng)絡(luò)對于CPU歷史數(shù)據(jù)集合A中各性能指標(biāo) 進(jìn)行壓縮得到各性能指標(biāo)特征；
[0013] 這里限定自編碼神經(jīng)網(wǎng)絡(luò)為一個只有一個隱含層的三層神經(jīng)網(wǎng)絡(luò)，將通過神經(jīng)網(wǎng) 絡(luò)變換之后的輸出向量設(shè)置為與輸出這個網(wǎng)絡(luò)的向量一致的向量。并且限定中間隱含層的 單元數(shù)為輸入層單元數(shù)的60%。
[0014] 步驟5,特征融合：將步驟4得到的各性能指標(biāo)特征進(jìn)行拼接后，輸入到自編碼神 經(jīng)網(wǎng)絡(luò)中，做進(jìn)一步壓縮，最終得到一個共同的壓縮特征；
[0015] 步驟6,添加人工干預(yù)：在同樣的時間窗口上，人對于可能預(yù)知要發(fā)生熱點(diǎn)，及熱 點(diǎn)的程度做出自己的判斷。即在時間序列上加入人為權(quán)值。這種操作通常直接通過簡單的 點(diǎn)擊操作即可完成。加入權(quán)重根據(jù)下式獲得：
[0017] 其中X、σ i、〇 2是人為設(shè)定的參數(shù)，分別代表了峰值和左右兩側(cè)收斂的速度；
[0018] 步驟7,監(jiān)督學(xué)習(xí)。CPU本身經(jīng)過特征提取后的特征向量，共享特征向量和輸出時 間段的人工干預(yù)數(shù)值向量進(jìn)行拼接，作為輸入，滑動窗口后一部分序列值作為輸出，使用神 經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在訓(xùn)練過程中，需要控制人工干預(yù)所產(chǎn)生的影響，加入稀疏因子。將神經(jīng) 網(wǎng)絡(luò)代價函數(shù)作出修改，如下式：
[0020] 其中，t代表了 CPU特征向量長度，s代表了共享特征向量長度^代表了第i層單 元數(shù)。
[0021] 步驟8,預(yù)測。根據(jù)前面網(wǎng)絡(luò)訓(xùn)練所得到的各種參數(shù)，在實(shí)際操作過程中需要監(jiān)控 一段時間CPU的運(yùn)行狀態(tài)，同樣的進(jìn)行特征提取和融合最后輸入到最終模型進(jìn)行預(yù)測，得 到預(yù)測結(jié)果。
[0022] 使用數(shù)據(jù)的特征代替數(shù)據(jù)本身的數(shù)值來進(jìn)行預(yù)測，所述的歷史數(shù)據(jù)包括CPU歷史 數(shù)據(jù)、Memory歷史數(shù)、Disk歷史數(shù)據(jù)和網(wǎng)絡(luò)I/O歷史數(shù)據(jù)。同時預(yù)測加入人工干預(yù)模型。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是通過特征提取的手段可以發(fā)現(xiàn)潛在的變化 信號，從而更加準(zhǔn)確地掌握變化的方向。同時又加入人工干預(yù)的手段更加貼合實(shí)際需求，在 實(shí)際應(yīng)用中可以提高約5-10%的預(yù)測準(zhǔn)確率。
【附圖說明】
[0024] 圖1性能指標(biāo)特征融合示意圖
[0025] 圖2神經(jīng)網(wǎng)絡(luò)訓(xùn)練預(yù)測示意圖
[0026] 圖3本發(fā)明方法流程圖
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0028] 以預(yù)測數(shù)據(jù)中心的CPU為例，其余性能（如Memory，Disk，網(wǎng)絡(luò)I/O等）指標(biāo)類 似。一種云數(shù)據(jù)中心的負(fù)載預(yù)測方法，主要包括一次深度學(xué)習(xí)特征提取，一次多性能指標(biāo)融 合以及人工干預(yù)。具體步驟如下：
[0029] 步驟1，采集數(shù)據(jù)。由于數(shù)據(jù)中心服務(wù)內(nèi)容各不相同，所以預(yù)測不同數(shù)據(jù)中心負(fù) 載需要采集相對應(yīng)的歷史數(shù)據(jù)。數(shù)據(jù)采集涉及的相關(guān)技術(shù)這里不做詳述，收集對象包括 CPU (可能有多個CPU)，Memory，Disk，網(wǎng)絡(luò)I/O等。監(jiān)控時長越久