一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例公開了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝置，涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，包括步驟：采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第一類性能指標(biāo)數(shù)據(jù)序列O；根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列O和隱式馬爾科夫模型的最優(yōu)值λ1，計(jì)算P(O|λ1)；判斷所述P(O|λ1)是否小于預(yù)設(shè)閾值；若為是，確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)；若為否，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài)。應(yīng)用本發(fā)明實(shí)施例，利用隱式馬爾科夫模型對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能檢測(cè)，提高了檢測(cè)準(zhǔn)確率。
【專利說(shuō)明】
一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝置。
【背景技術(shù)】
[0002] 近半個(gè)世紀(jì)以來(lái)，"大數(shù)據(jù)"這個(gè)概念已經(jīng)應(yīng)用到各領(lǐng)域中，成為一種可以改變世 界的新的動(dòng)力。為了更有效的利用數(shù)據(jù)，研究者們開發(fā)了大數(shù)據(jù)平臺(tái)，用來(lái)計(jì)算社會(huì)所產(chǎn)生 的越來(lái)越多的數(shù)據(jù)信息。但是在大數(shù)據(jù)平臺(tái)運(yùn)行中，很多性能問(wèn)題，如CPU(Central Processing Unit，中央處理器)異常、內(nèi)存異常等，會(huì)影響我們得到精準(zhǔn)的數(shù)據(jù)。
[0003] 為了解決大數(shù)據(jù)平臺(tái)運(yùn)行中存在的性能問(wèn)題，建立了大數(shù)據(jù)平臺(tái)性能檢測(cè)方法。 大數(shù)據(jù)平臺(tái)性能檢測(cè)方法的基本流程如下：
[0004] 通過(guò)導(dǎo)入的性能指標(biāo)數(shù)據(jù)，如CPU利用率、內(nèi)存利用率、磁盤讀寫率以及網(wǎng)絡(luò)帶寬 等，建立正常狀態(tài)下的性能模型；
[0005] 采集大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的性能指標(biāo)數(shù)據(jù)；
[0006] 根據(jù)已建立好的性能模型和采集到的性能指標(biāo)數(shù)據(jù)，判斷是否存在異常，如果采 集到的性能指標(biāo)數(shù)據(jù)符合性能模型，則說(shuō)明無(wú)異常；如果采集到的性能指標(biāo)數(shù)據(jù)不符合性 能模型，則說(shuō)明存在異常；
[0007]如果存在異常，則根據(jù)采集到的性能指標(biāo)數(shù)據(jù)，計(jì)算每?jī)蓚€(gè)性能指標(biāo)的第一MIC (Maximal Information Coefficient，最大信息系數(shù)）值；
[0008] 根據(jù)第一MIC值、第二MIC值和預(yù)先設(shè)定的MIC閾值，得到第一特征值；其中，第二 MIC值為大數(shù)據(jù)平臺(tái)在正常運(yùn)行狀態(tài)下的每?jī)蓚€(gè)性能指標(biāo)的MIC值;第一特征值由二進(jìn)制數(shù) 組構(gòu)成；
[0009] 根據(jù)第一特征值和特征庫(kù)中存儲(chǔ)的第二特征值，在特征庫(kù)中查找異常原因；其中， 特征庫(kù)由異常原因和第二特征值組成;第二特征值由二進(jìn)制數(shù)組構(gòu)成，第二特征值是根據(jù) 第二MIC值、第三MIC值和預(yù)先設(shè)定的MIC閾值得到的；第三MIC值為大數(shù)據(jù)平臺(tái)在給定的異 常運(yùn)行狀態(tài)下的每?jī)蓚€(gè)性能指標(biāo)的MIC值；
[0010] 如果特征庫(kù)中沒(méi)有與第一特征值匹配的第二特征值，則通過(guò)人工判斷異常原因， 并將該第一特征值和對(duì)應(yīng)的異常原因添加到特征庫(kù)中。
[0011] 下面針對(duì)兩個(gè)性能指標(biāo)X和Y，簡(jiǎn)單介紹一下MIC值的計(jì)算步驟：
[0012]步驟一：網(wǎng)格劃分
[0013] 將X的所有數(shù)據(jù)排成序列X'，將Y的所有數(shù)據(jù)排成序列Y'，X'和Y'組成集合D，集合D 是一個(gè)有序?qū)Φ挠邢藜?，給定一個(gè)格子G，根據(jù)D中的序列對(duì)劃分G的單元格，允許出現(xiàn)空 格子，劃分后格子G在X方向總共有η列，在y方向總共有m行。其中，集合D的樣本容量為b，n〈 13〇.6且111〈13〇.6。
[0014] 步驟二:計(jì)算互信息
[0015] 根據(jù)如下公式計(jì)算X和Y的互信息：
[0016]
[0017] 其中，1^1<11，1^^<111，？(燦)表示落在第11列的序列對(duì)的個(gè)數(shù)占所有序列對(duì)個(gè)數(shù) 的比例，P(yk)表示落在第k行的序列對(duì)的個(gè)數(shù)占所有序列對(duì)個(gè)數(shù)的比例，p( Xh，yk)表示落在 第h列第k行的序列對(duì)的個(gè)數(shù)占所有序列對(duì)個(gè)數(shù)的比例。
[0018] 步驟三:獲得最大互信息
[0019] 因?yàn)閱卧竦牧袑挕⑿芯喽疾皇枪潭ǖ?，所以?dāng)n、m固定時(shí)，格子G仍有很多種不同 的劃分方法。不同的劃分方法會(huì)導(dǎo)致計(jì)算所得的I(X;Y)不同。對(duì)于一組n、m來(lái)說(shuō)，所有I(X; ￥)中的最大值稱為最大互信息，記為11^1{1(乂 ;￥)}。
[0020] 步驟四：計(jì)算特征矩陣
[0021 ]根據(jù)如下公式計(jì)算特征矩陣M(D)n,m:
[0022]
[0023] 步驟五：獲得MIC值
[0024] 由于η和m在取值范圍內(nèi)可以有多個(gè)取值，所以不同的n、m會(huì)導(dǎo)致計(jì)算得到的特征 矩陣M(D)n,m不同，所有的特征矩陣M(D) n,m中的最大值即為MIC值，計(jì)算公式如下：
[0025] MIC(D) =max{M(D)n,m}
[0026] 以上是MIC值的計(jì)算過(guò)程。
[0027] 在現(xiàn)有的大數(shù)據(jù)平臺(tái)性能檢測(cè)方法中，建立正常情況下的性能模型所利用的是 ARIMA(Autoregressive Integrated Moving Average Model，自回歸積分滑動(dòng)平均模型）， 因?yàn)锳RIMA模型是一種時(shí)間序列預(yù)測(cè)模型，時(shí)間序列預(yù)測(cè)模型是根據(jù)時(shí)間序列的過(guò)去值及 現(xiàn)在值來(lái)預(yù)測(cè)未來(lái)值，所以當(dāng)性能指標(biāo)為線性關(guān)系時(shí)，利用AR頂A模型建立的大數(shù)據(jù)平臺(tái)性 能檢測(cè)方法的檢測(cè)準(zhǔn)確率較高;但是當(dāng)性能指標(biāo)為非線性關(guān)系時(shí)，利用ARIM模型建立的大 數(shù)據(jù)平臺(tái)性能檢測(cè)方法的檢測(cè)準(zhǔn)確率較低。

【發(fā)明內(nèi)容】

[0028] 本發(fā)明實(shí)施例公開了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝置，用于提高檢測(cè)準(zhǔn)確 率。技術(shù)方案如下：
[0029] 本發(fā)明實(shí)施例公開了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法，所述方法包括步驟：
[0030] 采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第一類性能指 標(biāo)數(shù)據(jù)序列〇;所述第一類性能指標(biāo)數(shù)據(jù)序列〇是所述第一類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排 列而成的序列；
[0031 ]根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的最優(yōu)值λ?，計(jì)算P(〇 I λ 1);其中，Ρ(〇|λ1)為基于所述最優(yōu)值λ?得到所述第一類性能指標(biāo)數(shù)據(jù)序列〇的概率，所述最 優(yōu)值λ?是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初始值λ2是利用隱式馬爾科夫 模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列〇'得到的;所述第二類性能指標(biāo)數(shù)據(jù)序列〇'是采集的所 述大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列；
[0032]判斷所述P(0 I λ?)是否小于預(yù)設(shè)閾值;若為是，確定所述大數(shù)據(jù)平臺(tái)處于異常狀 態(tài);若為否，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài);其中，所述預(yù)設(shè)閾值為Ρ(〇'|λ?)和ρ(0' |λ 2)的差值，Ρ(〇'|λ?)為基于所述最優(yōu)值λ?得到所述第二類性能指標(biāo)數(shù)據(jù)序列0'的概率，P (0 ' I λ2)為基于所述初始值λ2得到所述第二類性能指標(biāo)數(shù)據(jù)序列0 '的概率。
[0033] 優(yōu)選的，所述計(jì)算P(0 I λ?)所利用的公式為：
[0034]
[0035]其中，I < i <Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);T表示采集所述第一類性 能指標(biāo)數(shù)據(jù)的時(shí)間段;aT(i)表示在隱式馬爾科夫模型為最優(yōu)值λ?時(shí)，T時(shí)刻滿足狀態(tài)i，且T 時(shí)刻及T時(shí)刻之前滿足所述第一類性能指標(biāo)數(shù)據(jù)序列0的概率。
[0036] 優(yōu)選的，計(jì)算所述Ρ(0' |λ1)和所述Ρ(〇' |λ2)所利用的公式為：
[0037]
[0038] 其中，計(jì)算所述Ρ(0' |λ?)時(shí)，上式中的λ = λ1;計(jì)算所述ρ(0' |λ2)時(shí)，上式中的λ = λ 2；
[0039] I < i < Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù)；I < t < Τ'，Τ'表示采集所述第二 類性能指標(biāo)數(shù)據(jù)的時(shí)間段;〇'= (Cr1OY^crr);
[0040] at(i)表示在隱式馬爾科夫模型為λ時(shí)，t時(shí)刻滿足狀態(tài)i，且t時(shí)刻及t時(shí)刻之前滿 足第一觀察值序列(〇' 1〇'2-〇\)的概率;仏(1)表示在隱式馬爾科夫模型為1時(shí)4時(shí)刻滿足 狀態(tài)i，且t時(shí)刻以后滿足第二觀察值序列(0 ' t+1〇 ' ?+2···0 ' r)的概率。
[0041] 優(yōu)選的，所述最優(yōu)值λ?為:基于前向后向算法，由隱式馬爾科夫模型的初始值λ2訓(xùn) 練得到的。
[0042] 優(yōu)選的，所述初始值λ2為:基于Baum-Welch算法，利用隱式馬爾科夫模型根據(jù)所述 第二類性能指標(biāo)數(shù)據(jù)序列〇'得到的。
[0043] 優(yōu)選的，所述方法還包括：
[0044] 在確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)之后，根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0 計(jì)算性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的第一最大信息系數(shù)MIC值；
[0045]根據(jù)所述第一 MIC值、第二MIC值和預(yù)先設(shè)定的MIC閾值，得到第一特征值;所述第 二MIC值是根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0'得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每 兩個(gè)性能指標(biāo)的MIC值；
[0046]根據(jù)所述第一特征值和第二特征值，判斷異常原因；所述第二特征值是根據(jù)所述 第二MIC值、第三MIC值和所述預(yù)先設(shè)定的MIC閾值得到的，所述第三MIC值是根據(jù)第三類性 能指標(biāo)數(shù)據(jù)序列得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的MIC值;所述第 三類性能指標(biāo)數(shù)據(jù)序列是采集的所述大數(shù)據(jù)平臺(tái)在預(yù)先設(shè)定的異常運(yùn)行狀態(tài)下的第三類 性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列。
[0047]優(yōu)選的，所述大數(shù)據(jù)平臺(tái)為Hadoop集群。
[0048] 本發(fā)明實(shí)施例還公開了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置，所述裝置包括：
[0049] 采集模塊，用于采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲 得第一類性能指標(biāo)數(shù)據(jù)序列〇;所述第一類性能指標(biāo)數(shù)據(jù)序列〇是所述第一類性能指標(biāo)數(shù)據(jù) 按照時(shí)間順序排列而成的序列；
[0050] 第一計(jì)算模塊，用于根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的 最優(yōu)值λ?，計(jì)算P(0 I λ?);其中，p(〇 I λ?)為基于所述最優(yōu)值λ?得到所述第一類性能指標(biāo)數(shù)據(jù) 序列0的概率，所述最優(yōu)值λ?是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初始值λ2 是利用隱式馬爾科夫模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列〇'得到的;所述第二類性能指標(biāo)數(shù) 據(jù)序列〇'是采集的所述大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列 而成的序列；
[0051] 第一判斷模塊，用于判斷所述p(01 λ?)是否小于預(yù)設(shè)閾值;其中，所述預(yù)設(shè)閾值為P (〇' Ιλ?)和ρ(〇' |λ2)的差值，Ρ(0' |λ?)為基于所述最優(yōu)值λ?得到所述第二類性能指標(biāo)數(shù)據(jù) 序列0'的概率，p(0' I λ2)為基于所述初始值λ2得到所述第二類性能指標(biāo)數(shù)據(jù)序列0'的概 率；
[0052] 確定模塊，用于在所述第一判斷模塊判斷為是的情況下，確定所述大數(shù)據(jù)平臺(tái)處 于異常狀態(tài);在所述第一判斷模塊判斷為否的情況下，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài)。 [0053]由上述的技術(shù)方案可見(jiàn)，本發(fā)明實(shí)施例提供一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝 置，采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第一類性能指標(biāo)數(shù) 據(jù)序列0;根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的最優(yōu)值λ?，計(jì)算ρ(ο|λ 1);判斷所述ρ(〇|λ?)是否小于預(yù)設(shè)閾值;若為是，確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài);若為 否，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài)。
[0054] 可見(jiàn)，本發(fā)明實(shí)施例中，利用隱式馬爾科夫模型對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能檢測(cè)。隱式 馬爾科夫模型是一個(gè)統(tǒng)計(jì)模型，是基于概率分布的模型，相對(duì)于ARIMA時(shí)間序列預(yù)測(cè)模型來(lái) 說(shuō)，準(zhǔn)確率較高。因此，應(yīng)用本發(fā)明實(shí)施例，提高了大數(shù)據(jù)平臺(tái)性能檢測(cè)的準(zhǔn)確率。
【附圖說(shuō)明】
[0055] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0056] 圖1為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法的流程示意圖；
[0057] 圖2為本發(fā)明實(shí)施例提供的另一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法的流程示意圖；
[0058] 圖3為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置的結(jié)構(gòu)示意圖；
[0059] 圖4為本發(fā)明實(shí)施例提供的另一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0060] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0061] 為了提高檢測(cè)準(zhǔn)確率，本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法及裝 置。
[0062] 下面首先對(duì)本發(fā)明實(shí)施例所提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法進(jìn)行介紹。
[0063] 需要說(shuō)明的是，本發(fā)明實(shí)施例所提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法的執(zhí)行主 體可以為一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置。
[0064] 圖1為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法的流程示意圖，該方 法可以包括如下步驟：
[0065] S101:采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第一類 性能指標(biāo)數(shù)據(jù)序列〇;
[0066] 其中，所述第一類性能指標(biāo)數(shù)據(jù)序列0是所述第一類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序 排列而成的序列。
[0067] 本領(lǐng)域技術(shù)人員可以理解的是，性能指標(biāo)數(shù)據(jù)是指CPU利用率、內(nèi)存利用率、磁盤 讀寫率以及網(wǎng)絡(luò)帶寬等可以表示大數(shù)據(jù)平臺(tái)性能狀態(tài)的數(shù)據(jù)。在所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行 狀態(tài)下，在不同時(shí)刻采集所述大數(shù)據(jù)平臺(tái)的性能指標(biāo)數(shù)據(jù)，將這些數(shù)據(jù)按照時(shí)間順序排列， 即可獲得第一類性能指標(biāo)數(shù)據(jù)序列〇。其中，該第一類性能指標(biāo)數(shù)據(jù)序列〇所針對(duì)的性能指 標(biāo)數(shù)據(jù)可以根據(jù)實(shí)際情況設(shè)定。
[0068]在本發(fā)明的一個(gè)較佳實(shí)施例中，所述大數(shù)據(jù)平臺(tái)為Hadoop集群。Hadoop集群是一 個(gè)開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)，是目前使用較廣的一種大數(shù)據(jù)平臺(tái)。
[0069] S102:根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的最優(yōu)值λ?，計(jì)算 Ρ(〇|λ1);
[0070] 其中，P(0 I λ?)為基于所述最優(yōu)值λ?得到所述第一類性能指標(biāo)數(shù)據(jù)序列〇的概率， 所述最優(yōu)值λ?是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初始值λ2是利用隱式馬 爾科夫模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列〇'得到的;所述第二類性能指標(biāo)數(shù)據(jù)序列〇'是采 集的所述大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列。
[0071] 隱式馬爾科夫模型是一個(gè)統(tǒng)計(jì)模型，用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫 過(guò)程。馬爾可夫模型是馬爾可夫過(guò)程的模型化，它把一個(gè)總隨機(jī)過(guò)程看成一系列狀態(tài)的不 斷轉(zhuǎn)移。馬爾可夫模型的特性主要用"轉(zhuǎn)移概率"來(lái)表示，后一狀態(tài)出現(xiàn)的概率決定于其前 出現(xiàn)過(guò)的狀態(tài)次序。隱式馬爾可夫模型就是將上述的馬爾可夫模型的概念擴(kuò)展到一個(gè)雙重 隨機(jī)過(guò)程，即一個(gè)隨機(jī)過(guò)程包含一個(gè)不可見(jiàn)從屬隨機(jī)過(guò)程，它只能通過(guò)另一套可以產(chǎn)生觀 察序列的隨機(jī)過(guò)程才能觀察到。
[0072] 在所述大數(shù)據(jù)平臺(tái)正常狀態(tài)下，在不同時(shí)刻采集所述大數(shù)據(jù)平臺(tái)的性能指標(biāo)數(shù) 據(jù)，將這些數(shù)據(jù)按照時(shí)間順序排列，即可獲得第二類性能指標(biāo)數(shù)據(jù)序列0'。利用隱式馬爾科 夫模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列〇'可以得到隱式馬爾科夫模型的初始值入2。
[0073] 在本發(fā)明的一個(gè)具體實(shí)施例中，所述初始值λ2可以為:基于Baum-Welch算法，利用 隱式馬爾科夫模型根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0'得到的。其中，Baum-Welch算法目 前已多有報(bào)道，本領(lǐng)域技術(shù)人員可以根據(jù)已有的報(bào)道知曉Baum-Welch算法的具體內(nèi)容，該 算法對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是公知的，本發(fā)明在此不進(jìn)行贅述。
[0074] 當(dāng)獲得了初始值λ2后，即可根據(jù)隱式馬爾科夫模型訓(xùn)練得到最優(yōu)值λ?。
[0075] 在本發(fā)明的一個(gè)具體實(shí)現(xiàn)方式中，所述最優(yōu)值λ?可以為:基于前向后向算法，由隱 式馬爾科夫模型的初始值λ2訓(xùn)練得到的。所述前向后向算法是一種已知模型和序列求概率 的算法。具體的訓(xùn)練過(guò)程如下所示：
[0076] 設(shè)at(i)為向前變量，它表示t時(shí)刻滿足狀態(tài)i，且t時(shí)刻及t時(shí)刻之前滿足第一觀察 值序列(〇'1〇'2~〇\)的概率，初始值為_1(〇'1)，然后通過(guò)歸納法計(jì)算^ +1(兒計(jì)算公式如 下所示：
[0077]
[0078] 其中，31康示狀態(tài)i下取所有觀察值的概率分布，W(T1)表示狀態(tài)i下出現(xiàn)0'啲概 率，aij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率。bj (0 ' t+1)表示觀察值0 ' t+1在狀態(tài)j中出現(xiàn)的概率，N 表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù)。
[0079]設(shè)0t(i)為向后變量，它表示t時(shí)刻滿足狀態(tài)i，且t時(shí)刻以后滿足第二觀察值序列 (0'*+10'*+2-_0、，）的概率，初始值枷，（1)為1，然后通過(guò)歸納法計(jì)算^(1)，計(jì)算公式如下所 示：
[0080；
[0081 ]其中，Τ'表示采集所述第二類性能指標(biāo)數(shù)據(jù)的時(shí)間段。
[0084] 定義變量γ t(i)表示t時(shí)刻呈現(xiàn)狀態(tài)i的概率，使用向前變量和向后變量表示該變 量如下-
[0082] 定義變量^(1，」)為t時(shí)刻處于狀態(tài)i，t+l時(shí)刻處于狀態(tài)j的概率，使用向前變量和 向后變看妄τττ彳女看'f/Π下.
[0083]
[0085]
[0086] 通過(guò)上述變量，可以得到從其他所有狀態(tài)轉(zhuǎn)移到狀態(tài)i的次數(shù)的期望值： 產(chǎn)(〇，從狀態(tài)i轉(zhuǎn)移出去的次數(shù)的期望值：Σ:1 MO，以及從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的次數(shù)
的期望1
[0087]
[0088]
[0089]
[0090] 其中，M表示每個(gè)狀態(tài)的觀察事件數(shù)，k'表示當(dāng)前時(shí)刻的觀察結(jié)果。
[0091] 通過(guò)不斷迭代計(jì)算上式，直到兩次計(jì)算得到的參數(shù)差值小于10-5,則停止迭代，說(shuō) 明訓(xùn)練完成，最后一次計(jì)算得到的5、石以及&^')，即組成了隱式馬爾科夫模型的最優(yōu)值 入1〇
[0092] 根據(jù)SlOl獲得的所述第一類性能指標(biāo)數(shù)據(jù)序列0和訓(xùn)練得到的隱式馬爾科夫模型 的最優(yōu)值λ?，計(jì)算ρ(ο|λ?)。
[0093] 具體的，所沭計(jì)筧P(〇 I λ?)所利用的公式可以為：
[0094]
[0095]其中，I < i <N，N表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);T表示采集所述第一類性 能指標(biāo)數(shù)據(jù)的時(shí)間段;aT(i)表示在隱式馬爾科夫模型為最優(yōu)值λ?時(shí)，T時(shí)刻滿足狀態(tài)i，且T 時(shí)刻及T時(shí)刻之前滿足所述第一類性能指標(biāo)數(shù)據(jù)序列0的概率。
[0096] S103:判斷所述Ρ(0|λ1)是否小于預(yù)設(shè)閾值，如果是，觸發(fā)S104,否則，觸發(fā)S105;
[0097] 其中，所述預(yù)設(shè)閾值為Ρ(0' |λ1)和Ρ(〇' |λ2)的差值，Ρ(0' |λ1)為基于所述最優(yōu)值λ 1得到所述第二類性能指標(biāo)數(shù)據(jù)序列〇'的概率，Ρ(〇'|λ2)為基于所述初始值λ2得到所述第 二類性能指標(biāo)數(shù)據(jù)序列〇'的概率。
[0098] 具體的，計(jì)算所述Ρ(0' |λ1)和所述Ρ(〇' |λ2)所利用的公式可以為：
[0099]
[0100] 其中，計(jì)算所述Ρ(0' |λ?)時(shí)，上式中的λ = λ1;計(jì)算所述ρ(0' |λ2)時(shí)，上式中的λ = λ 2；
[0101 ] I < i < Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);I < t < Τ'，Τ'表示采集所述第二 類性能指標(biāo)數(shù)據(jù)的時(shí)間段;〇'= (Cr1OY^crr);
[0102] at(i)表示在隱式馬爾科夫模型為λ時(shí)，t時(shí)刻滿足狀態(tài)i，且t時(shí)刻及t時(shí)刻之前滿 足第一觀察值序列(〇' 1〇'2-〇\)的概率;仏(1)表示在隱式馬爾科夫模型為1時(shí)4時(shí)刻滿足 狀態(tài)i，且t時(shí)刻以后滿足第二觀察值序列(0 ' t+1〇 ' ?+2···0 ' r)的概率。
[0103] S104:確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)；
[0104] S105:確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài)。
[0105] 由以上可見(jiàn)，本發(fā)明實(shí)施例中，利用隱式馬爾科夫模型對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能檢 測(cè)。隱式馬爾科夫模型是一個(gè)統(tǒng)計(jì)模型，是基于概率分布的模型，相對(duì)于ARIMA時(shí)間序列預(yù) 測(cè)模型來(lái)說(shuō)，準(zhǔn)確率較高。因此，應(yīng)用本發(fā)明圖1所示實(shí)施例，提高了大數(shù)據(jù)平臺(tái)性能檢測(cè)的 準(zhǔn)確率。
[0106] 圖2為本發(fā)明實(shí)施例提供的另一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法的流程示意圖，與 前述實(shí)施例相比，本實(shí)施例中，在確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)之后，還包括：
[0107] S106:根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0計(jì)算性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中 每?jī)蓚€(gè)性能指標(biāo)的第一最大信息系數(shù)MIC值；
[0108] 例如，大數(shù)據(jù)平臺(tái)有三個(gè)性能指標(biāo):CPU利用率、內(nèi)存利用率和I0(Input/0utput， 輸入輸出）讀寫率。根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列〇分別計(jì)算CPU利用率與內(nèi)存利用率 的MIC值、內(nèi)存利用率和IO讀寫率的MIC值，以及CPU利用率和IO讀寫率的MIC值。
[0109] MIC值的計(jì)算方法對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是公知的，本發(fā)明在此不進(jìn)行贅述。
[0110] S107:根據(jù)所述第一 MIC值、第二MIC值和預(yù)先設(shè)定的MIC閾值，得到第一特征值；
[0111] 其中，所述第二MIC值是根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0'得到的性能指標(biāo)數(shù) 據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的MIC值。
[0112] 在實(shí)際應(yīng)用中，所述第一特征值可以由二進(jìn)制數(shù)組構(gòu)成，具體的，可以通過(guò)如下方 式獲得：
[0113] 針對(duì)每?jī)蓚€(gè)性能指標(biāo)，獲得所述第一 MIC值和所述第二MIC值的差值；
[0114] 當(dāng)上述差值大于預(yù)先設(shè)定的MIC閾值時(shí)，標(biāo)記值為1;反之，標(biāo)記值為0;
[0115] 將所有的標(biāo)記值按照預(yù)定順序組成一個(gè)二進(jìn)制數(shù)組，該數(shù)組即為第一特征值。
[0116] 例如，大數(shù)據(jù)平臺(tái)有三個(gè)性能指標(biāo):CPU利用率，內(nèi)存利用率和IO讀寫率，設(shè)正常狀 態(tài)下的第二MIC值如下:CPU利用率與內(nèi)存利用率的第二MIC值為0.821，CPU利用率和IO讀寫 率的第二MIC值為0.834，內(nèi)存利用率和IO讀寫率的第二MIC值為0.745;當(dāng)前狀態(tài)下的第一 MIC值如下：CPU利用率與內(nèi)存利用率的第一MIC值為0.521，CPU利用率和IO讀寫率的第一 MIC值為0.655，內(nèi)存利用率和IO讀寫率的第一MIC值為0.733，預(yù)先設(shè)定的MIC閾值為0.15， 則第一特征值為(1，1，〇)。
[0117] S108:根據(jù)所述第一特征值和第二特征值，判斷異常原因；
[0118] 其中，所述第二特征值是根據(jù)所述第二MIC值、第三MIC值和所述預(yù)先設(shè)定的MIC閾 值得到的，所述第三MIC值是根據(jù)第三類性能指標(biāo)數(shù)據(jù)序列得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性 能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的MIC值;所述第三類性能指標(biāo)數(shù)據(jù)序列是采集的所述大數(shù)據(jù)平 臺(tái)在預(yù)先設(shè)定的異常運(yùn)行狀態(tài)下的第三類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列。
[0119] 在實(shí)際應(yīng)用中，與所述第一特征值相對(duì)應(yīng)，所述第二特征值也可以由二進(jìn)制數(shù)組 構(gòu)成，具體的，可以通過(guò)如下方式獲得：
[0120]針對(duì)每?jī)蓚€(gè)性能指標(biāo)，獲得所述第二MIC值和所述第三MIC值的差值；
[0121] 當(dāng)上述差值大于預(yù)先設(shè)定的MIC閾值時(shí)，標(biāo)記值為1;反之，標(biāo)記值為0;
[0122] 將所有的標(biāo)記值按照預(yù)定順序組成一個(gè)二進(jìn)制數(shù)組，該數(shù)組即為第二特征值。
[0123] 例如，大數(shù)據(jù)平臺(tái)有三個(gè)性能指標(biāo):CPU利用率，內(nèi)存利用率和IO讀寫率，設(shè)正常狀 態(tài)下的第二MIC值如下:CPU利用率與內(nèi)存利用率的第二MIC值為0.821，CPU利用率和IO讀寫 率的第二MIC值為0.834，內(nèi)存利用率和IO讀寫率的第二MIC值為0.745;在預(yù)先設(shè)定的CPU異 常狀態(tài)下，采集第三類性能指標(biāo)數(shù)據(jù)，按照時(shí)間順序排列而成，得到第三類性能指標(biāo)數(shù)據(jù)序 列，然后計(jì)算得到第三MIC值如下：CPU利用率與內(nèi)存利用率的第三MIC值為0.515，CPU利用 率和IO讀寫率的第三MIC值為0.623，內(nèi)存利用率和IO讀寫率的第三MIC值為0.721，預(yù)先設(shè) 定的MIC閾值為0.15,則第二特征值為(1，1，0)，對(duì)應(yīng)的異常原因?yàn)镃PU異常。
[0124] 本領(lǐng)域技術(shù)人員可以理解的是，在預(yù)先設(shè)定不同的異常運(yùn)行狀態(tài)下，可以得到不 同的第二特征值，每個(gè)第二特征值對(duì)應(yīng)一個(gè)異常原因。
[0125] 根據(jù)S106獲得的第一特征值，在所有的第二特征值中進(jìn)行查找，查找到與第一特 征值匹配的第二特征值后，該第二特征值對(duì)應(yīng)的異常原因即為所述大數(shù)據(jù)平臺(tái)的異常原 因。
[0126] 例如，上述S106獲得的第一特征值為（I，1，0)，第二特征值（I，1，0)對(duì)應(yīng)的異常原 因是CHJ異常，那么由此可以判斷大數(shù)據(jù)平臺(tái)的異常原因是CPU異常。
[0127] 由以上可見(jiàn)，應(yīng)用圖2所示實(shí)施例，不僅提高了大數(shù)據(jù)平臺(tái)的性能檢測(cè)準(zhǔn)確率，而 且在確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)之后，還可以判斷出具體的異常原因，以便解決大 數(shù)據(jù)平臺(tái)的性能問(wèn)題。
[0128] 相應(yīng)于上述方法實(shí)施例，本發(fā)明實(shí)施例還提供了一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝 置。圖3為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置的結(jié)構(gòu)示意圖，與圖1所示 的流程相對(duì)應(yīng)，包括采集模塊301、第一計(jì)算模塊302、第一判斷模塊303、確定模塊304;
[0129]其中，所述采集模塊301，用于采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能 指標(biāo)數(shù)據(jù)，獲得第一類性能指標(biāo)數(shù)據(jù)序列〇;所述第一類性能指標(biāo)數(shù)據(jù)序列〇是所述第一類 性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列；
[0130]所述第一計(jì)算模塊302,用于根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫 模型的最優(yōu)值λ?，計(jì)算P(0 I λ?);其中，p(〇 I λ?)為基于所述最優(yōu)值λ?得到所述第一類性能指 標(biāo)數(shù)據(jù)序列0的概率，所述最優(yōu)值λ?是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初 始值λ2是利用隱式馬爾科夫模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列0'得到的;所述第二類性能 指標(biāo)數(shù)據(jù)序列〇'是采集的所述大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順 序排列而成的序列；
[0131]所述第一判斷模塊303,用于判斷所述Ρ(0|λ1)是否小于預(yù)設(shè)閾值;其中，所述預(yù)設(shè) 閾值為ρ(0' |λ?)和ρ(0' |λ2)的差值，Ρ(0' Ιλ?)為基于所述最優(yōu)值λ?得到所述第二類性能指 標(biāo)數(shù)據(jù)序列0'的概率，Ρ(〇' |λ2)為基于所述初始值λ2得到所述第二類性能指標(biāo)數(shù)據(jù)序列0' 的概率；
[0132] 所述確定模塊304,用于在所述第一判斷模塊303判斷為是的情況下，確定所述大 數(shù)據(jù)平臺(tái)處于異常狀態(tài);在所述第一判斷模塊303判斷為否的情況下，確定所述大數(shù)據(jù)平臺(tái) 處于正常狀態(tài)。
[0133] 由以上可見(jiàn)，本發(fā)明實(shí)施例中，利用隱式馬爾科夫模型對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能檢 測(cè)。隱式馬爾科夫模型是一個(gè)統(tǒng)計(jì)模型，是基于概率分布的模型，相對(duì)于ARIMA時(shí)間序列預(yù) 測(cè)模型來(lái)說(shuō)，準(zhǔn)確率較高。因此，應(yīng)用本發(fā)明圖3所示實(shí)施例，提高了大數(shù)據(jù)平臺(tái)性能檢測(cè)的 準(zhǔn)確率。
[0134] 具體的，所述第一計(jì)算模塊302計(jì)算Ρ(0|λ1)所利用的公式為：
[0135]
[0136] 其中，I < i <Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);T表示采集所述第一類性 能指標(biāo)數(shù)據(jù)的時(shí)間段;aT(i)表示在隱式馬爾科夫模型為最優(yōu)值λ?時(shí)，T時(shí)刻滿足狀態(tài)i，且T 時(shí)刻及T時(shí)刻之前滿足所述第一類性能指標(biāo)數(shù)據(jù)序列0的概率。
[0137] 具體的，計(jì)算所述Ρ(0' |λ1)和所述Ρ(〇' |λ2)所利用的公式為：
[0138]
[0139] 其中，計(jì)算所述Ρ(0' |λ1)時(shí)，上式中的λ = λ1;計(jì)算所述Ρ(〇' |λ2)時(shí)，上式中的λ = λ 2;
[0140] I < i < Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);I < t < Τ'，Τ'表示采集所述第二 類性能指標(biāo)數(shù)據(jù)的時(shí)間段;〇'= (Cr1OY^crr);
[0141] at(i)表示在隱式馬爾科夫模型為λ時(shí)，t時(shí)刻滿足狀態(tài)i，且t時(shí)刻及t時(shí)刻之前滿 足第一觀察值序列(〇' 1〇'2-〇\)的概率;仏(1)表示在隱式馬爾科夫模型為1時(shí)4時(shí)刻滿足 狀態(tài)i，且t時(shí)刻以后滿足第二觀察值序列(0 ' t+1〇 ' ?+2···0 ' r)的概率。
[0142] 具體的，所述最優(yōu)值λ?為:基于前向后向算法，由隱式馬爾科夫模型的初始值λ2訓(xùn) 練得到的。
[0143] 具體的，所述初始值λ2為:基于Baum-Welch算法，利用隱式馬爾科夫模型根據(jù)所述 第二類性能指標(biāo)數(shù)據(jù)序列〇'得到的。
[0144] 更進(jìn)一步的，基于圖3所述的裝置實(shí)施例，如圖4所示，本發(fā)明實(shí)施例所提供的一種 大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置，還可以包括:第二計(jì)算模塊305、獲得模塊306、第二判斷模塊 307；
[0145] 其中，所述第二計(jì)算模塊305,用于在確定模塊304確定所述大數(shù)據(jù)平臺(tái)處于異常 狀態(tài)之后，根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0計(jì)算性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)?個(gè)性能指標(biāo)的第一最大信息系數(shù)MIC值；
[0146] 所述獲得模塊306,用于根據(jù)所述第一 MIC值、第二MIC值和預(yù)先設(shè)定的MIC閾值，得 到第一特征值;所述第二MIC值是根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0 '得到的性能指標(biāo)數(shù) 據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的MIC值；
[0147] 所述第二判斷模塊307,用于根據(jù)所述第一特征值和第二特征值，判斷異常原因； 所述第二特征值是根據(jù)所述第二MIC值、第三MIC值和所述預(yù)先設(shè)定的MIC閾值得到的，所述 第三MIC值是根據(jù)第三類性能指標(biāo)數(shù)據(jù)序列得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè) 性能指標(biāo)的MIC值;所述第三類性能指標(biāo)數(shù)據(jù)序列是采集的所述大數(shù)據(jù)平臺(tái)在預(yù)先設(shè)定的 異常運(yùn)行狀態(tài)下的第三類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列。
[0148] 具體的，在實(shí)際應(yīng)用中，所述大數(shù)據(jù)平臺(tái)可以為Hadoop集群。
[0149] 需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí) 體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存 在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)"包括"、"包含"或者其任何其他變體意在涵蓋 非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要 素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備 所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句"包括一個(gè)……"限定的要素，并不排除在 包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0150] 本說(shuō)明書中的各個(gè)實(shí)施例均采用相關(guān)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見(jiàn)即可，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于裝置實(shí) 施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例 的部分說(shuō)明即可。
[0151] 本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施方式中的全部或部分步驟是可 以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中， 這里所稱得的存儲(chǔ)介質(zhì)，如:R0M/RAM、磁碟、光盤等。
[0152] 以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在 本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍 內(nèi)。
【主權(quán)項(xiàng)】
1. 一種大數(shù)據(jù)平臺(tái)的性能檢測(cè)方法，其特征在于，所述方法包括步驟： 采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第一類性能指標(biāo)數(shù) 據(jù)序列0;所述第一類性能指標(biāo)數(shù)據(jù)序列0是所述第一類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而 成的序列； 根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的最優(yōu)值λ?，計(jì)算p(01 λ?); 其中，Ρ(0|λ?)為基于所述最優(yōu)值λ?得到所述第一類性能指標(biāo)數(shù)據(jù)序列ο的概率，所述最優(yōu) 值λ1是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初始值λ2是利用隱式馬爾科夫模 型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列0'得到的;所述第二類性能指標(biāo)數(shù)據(jù)序列0'是采集的所述 大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列； 判斷所述Ρ(〇|λ1)是否小于預(yù)設(shè)闊值;若為是，確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài);若 為否，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài);其中，所述預(yù)設(shè)闊值為Ρ(〇' |λ1)和Ρ(0' |λ2)的差 值，Ρ(0'|λ?)為基于所述最優(yōu)值λ?得到所述第二類性能指標(biāo)數(shù)據(jù)序列0'的概率，ρ(〇' |λ2) 為基于所述初始值λ2得到所述第二類性能指標(biāo)數(shù)據(jù)序列0'的概率。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算Ρ(01 λ1)所利用的公式為：其中，1含i含Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù);Τ表示采集所述第一類性能指 標(biāo)數(shù)據(jù)的時(shí)間段;ατ(υ表示在隱式馬爾科夫模型為最優(yōu)值λ1時(shí)，Τ時(shí)刻滿足狀態(tài)i，且Τ時(shí)刻 及T時(shí)刻之前滿足所述第一類性能指標(biāo)數(shù)據(jù)序列0的概率。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，計(jì)算所述P(0' |λ1)和所述P(〇' |λ2)所利用 的公式為：其中，計(jì)算所述P(〇'|M)時(shí)，上式中的λ = λ1;計(jì)算所述Ρ(〇' |λ2)時(shí)，上式中的λ = λ2; 1. i含Ν，Ν表示所述大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài)個(gè)數(shù)；1含t含Τ'，Τ'表示采集所述第二類性 能指標(biāo)數(shù)據(jù)的時(shí)間段;〇'=(〇'ι〇'2···0'τ，）； at(i)表示在隱式馬爾科夫模型為λ時(shí)，t時(shí)刻滿足狀態(tài)i，且t時(shí)刻及t時(shí)刻之前滿足第一 觀察值序列(0'l0'2…0't)的概率;βt(i)表示在隱式馬爾科夫模型為λ時(shí)，t時(shí)刻滿足狀態(tài)i， 且t時(shí)刻W后滿足第二觀察值序列(0' t+iO'*+2···0'τ'）的概率。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述最優(yōu)值λ1為:基于前向后向算法，由隱 式馬爾科夫模型的初始值λ2訓(xùn)練得到的。5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始值λ2為:基于Baum-Welch算法，利 用隱式馬爾科夫模型根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0'得到的。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 在確定所述大數(shù)據(jù)平臺(tái)處于異常狀態(tài)之后，根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列的十算 性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的第一最大信息系數(shù)MIC值； 根據(jù)所述第一 MIC值、第二MIC值和預(yù)先設(shè)定的MIC闊值，得到第一特征值;所述第二MIC 值是根據(jù)所述第二類性能指標(biāo)數(shù)據(jù)序列0'得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè) 性能指標(biāo)的MIC值； 根據(jù)所述第一特征值和第二特征值，判斷異常原因；所述第二特征值是根據(jù)所述第二 MIC值、第ΞΜΚ值和所述預(yù)先設(shè)定的MIC闊值得到的，所述第ΞΜΚ值是根據(jù)第Ξ類性能指 標(biāo)數(shù)據(jù)序列得到的性能指標(biāo)數(shù)據(jù)所對(duì)應(yīng)性能指標(biāo)中每?jī)蓚€(gè)性能指標(biāo)的MIC值;所述第Ξ類 性能指標(biāo)數(shù)據(jù)序列是采集的所述大數(shù)據(jù)平臺(tái)在預(yù)先設(shè)定的異常運(yùn)行狀態(tài)下的第Ξ類性能 指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成的序列。7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述大數(shù)據(jù)平臺(tái)為化doop集群。8. -種大數(shù)據(jù)平臺(tái)的性能檢測(cè)裝置，其特征在于，所述裝置包括： 采集模塊，用于采集所述大數(shù)據(jù)平臺(tái)當(dāng)前運(yùn)行狀態(tài)下的第一類性能指標(biāo)數(shù)據(jù)，獲得第 一類性能指標(biāo)數(shù)據(jù)序列0;所述第一類性能指標(biāo)數(shù)據(jù)序列0是所述第一類性能指標(biāo)數(shù)據(jù)按照 時(shí)間順序排列而成的序列； 第一計(jì)算模塊，用于根據(jù)所述第一類性能指標(biāo)數(shù)據(jù)序列0和隱式馬爾科夫模型的最優(yōu) 值λ1，計(jì)算P(0 I λ?);其中，p(〇 I λ?)為基于所述最優(yōu)值λ?得到所述第一類性能指標(biāo)數(shù)據(jù)序列 0的概率，所述最優(yōu)值λ1是由隱式馬爾科夫模型的初始值λ2訓(xùn)練得到的，所述初始值λ2是利 用隱式馬爾科夫模型根據(jù)第二類性能指標(biāo)數(shù)據(jù)序列0'得到的;所述第二類性能指標(biāo)數(shù)據(jù)序 列0'是采集的所述大數(shù)據(jù)平臺(tái)正常狀態(tài)下的第二類性能指標(biāo)數(shù)據(jù)按照時(shí)間順序排列而成 的序列； 第一判斷模塊，用于判斷所述Ρ(〇|λ?)是否小于預(yù)設(shè)闊值;其中，所述預(yù)設(shè)闊值為ρ(0' 入1)和Ρ(0' |λ2)的差值，Ρ(0' |λ?)為基于所述最優(yōu)值λ1得到所述第二類性能指標(biāo)數(shù)據(jù)序列 0'的概率，ρ(0'|λ2)為基于所述初始值λ2得到所述第二類性能指標(biāo)數(shù)據(jù)序列0'的概率； 確定模塊，用于在所述第一判斷模塊判斷為是的情況下，確定所述大數(shù)據(jù)平臺(tái)處于異 常狀態(tài);在所述第一判斷模塊判斷為否的情況下，確定所述大數(shù)據(jù)平臺(tái)處于正常狀態(tài)。
【文檔編號(hào)】G06F11/34GK105843733SQ201610154556
【公開日】2016年8月10日
【申請(qǐng)日】2016年3月17日
【發(fā)明人】王穎, 邱雪松, 李佳聰, 郭少勇
【申請(qǐng)人】北京郵電大學(xué)