專利名稱：一種基于支持向量機(jī)的網(wǎng)格監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明是一種新型的網(wǎng)格資源監(jiān)控方法，本方法對(duì)節(jié)點(diǎn)性能數(shù)據(jù)變化量與相應(yīng)的輪詢周期進(jìn)行SVM學(xué)習(xí)，由SVM構(gòu)造出的回歸函數(shù)，根據(jù)此回歸函數(shù)以及某次性能數(shù)據(jù)變化預(yù)測(cè)下一次輪詢周期。解決了傳統(tǒng)網(wǎng)格資源監(jiān)控方式固定周期地讀取各個(gè)節(jié)點(diǎn)的信息的不足，使目錄服務(wù)中存儲(chǔ)的性能數(shù)據(jù)更加準(zhǔn)確，降低了資源消耗，本技術(shù)屬于網(wǎng)格計(jì)算技術(shù)領(lǐng)域。

背景技術(shù)：
網(wǎng)格計(jì)算作為一個(gè)重要的新領(lǐng)域，已經(jīng)獲得了全球范圍的廣泛關(guān)注。將網(wǎng)格中眾多的跨越不同自治域，在地理上分布的異構(gòu)的計(jì)算機(jī)和資源組織起來(lái)，是國(guó)內(nèi)外研究的重點(diǎn)。利用網(wǎng)格，人們可以像用電一樣，接通開關(guān)，就可以方便地使用資源。
網(wǎng)格是一個(gè)廣域范圍內(nèi)的無(wú)縫集成和協(xié)同計(jì)算環(huán)境，各類資源在網(wǎng)格中被整合應(yīng)用。網(wǎng)格中的資源包括計(jì)算資源、存儲(chǔ)資源、通信資源、軟件資源、信息資源、知識(shí)資源等。而在網(wǎng)格技術(shù)中，監(jiān)控系統(tǒng)是一個(gè)重要組成部分。監(jiān)控系統(tǒng)可以幫助資源管理者分析系統(tǒng)性能，及時(shí)發(fā)現(xiàn)問(wèn)題，合理配置資源；為網(wǎng)格中的其它服務(wù)提供需要的信息，幫助用戶選擇最合適的資源。
在傳統(tǒng)的網(wǎng)格環(huán)境中，網(wǎng)格的監(jiān)控方式是通過(guò)監(jiān)控系統(tǒng)不斷地向資源發(fā)出信息請(qǐng)求，當(dāng)資源狀態(tài)發(fā)生新的改變后，監(jiān)控系統(tǒng)將請(qǐng)求獲得的資源狀態(tài)更新到自己的存儲(chǔ)設(shè)備中，將資源狀態(tài)信息保存起來(lái)。然而在實(shí)際網(wǎng)格應(yīng)用中，有些資源使用效率是比較高的，資源狀態(tài)的小幅度改變并不會(huì)對(duì)網(wǎng)格應(yīng)用產(chǎn)生影響，這樣的狀態(tài)改變對(duì)網(wǎng)格系統(tǒng)而言是完全可以忽略不計(jì)的。如果周期性地去檢測(cè)所有資源，必然會(huì)造成對(duì)網(wǎng)格系統(tǒng)資源開銷的巨大浪費(fèi)，尤其是對(duì)一些使用率較低的設(shè)備，在沒(méi)有使用的情況下還要對(duì)其進(jìn)行定時(shí)掃描，浪費(fèi)大量的監(jiān)控資源。而且網(wǎng)格資源具有的動(dòng)態(tài)性，即資源可以動(dòng)態(tài)地加入或退出，故對(duì)網(wǎng)格資源進(jìn)行監(jiān)控也要考慮到動(dòng)態(tài)性，監(jiān)控必須實(shí)時(shí)。
目前一些組織已經(jīng)開發(fā)了網(wǎng)格監(jiān)控系統(tǒng)，比如NWS，MDS等。但這些資源監(jiān)控系統(tǒng)都是采用固定周期的輪詢策略采集資源當(dāng)前性能的性能數(shù)據(jù)。這樣就會(huì)存在之前所敘述的問(wèn)題。因此研究一種新型網(wǎng)格資源監(jiān)控方法具有重要意義。


發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明的目的是提供一種基于支持向量機(jī)的網(wǎng)格監(jiān)控方法，與過(guò)去使用的監(jiān)控方法不同，本方法引入了基于SVM的機(jī)器學(xué)習(xí)方法，對(duì)性能數(shù)據(jù)的變化與輪詢周期進(jìn)行分析與判斷，估計(jì)下一次輪詢周期。使用本發(fā)明提出的方法可以解決固定輪詢周期所引起的系統(tǒng)性能下降或監(jiān)控實(shí)時(shí)性不強(qiáng)的問(wèn)題。
技術(shù)方案；本發(fā)明是一種改進(jìn)性的監(jiān)控方法，通過(guò)引入SVM思想而提出的，其原理是以輪詢時(shí)間與一段時(shí)間內(nèi)相應(yīng)的性能數(shù)據(jù)平均變化量作為樣本數(shù)據(jù)，選取一定量的樣本，通過(guò)SVM訓(xùn)練樣本數(shù)據(jù)得到一個(gè)回歸函數(shù)，然后對(duì)下一次得到的性能數(shù)據(jù)變化量進(jìn)行回歸函數(shù)分析，得到一個(gè)新的輪詢周期，以分析結(jié)果確定是否需要改變當(dāng)前的輪詢周期。解決了網(wǎng)格監(jiān)控系統(tǒng)中由于固定周期性監(jiān)控所引起的系統(tǒng)開銷以及實(shí)時(shí)性不強(qiáng)等問(wèn)題。
本發(fā)明的一種基于支持向量機(jī)的網(wǎng)格監(jiān)控方法包含以下步驟 步驟1)信息采集者采集性能數(shù)據(jù)，包括主機(jī)名、處理器、內(nèi)存、cpu利用率、時(shí)鐘速度、物理內(nèi)存總量、虛擬內(nèi)存、可用磁盤空間等信息， 步驟2)將從不同類型的數(shù)據(jù)采集者收集到的數(shù)據(jù)交給適配器模塊處理，將不同格式的數(shù)據(jù)做標(biāo)準(zhǔn)轉(zhuǎn)化， 步驟3)將采集到的性能數(shù)據(jù)定時(shí)匯總到目錄服務(wù)中，供用戶使用， 步驟4)設(shè)置最大輪詢周期Tmax，最小輪詢周期Tmin，令所有輪詢周期都是Tmin的整數(shù)倍，按照不同周期采集樣本性能信息，把資源的利用率的變化量作為評(píng)價(jià)網(wǎng)格監(jiān)控事件的參數(shù)，包括CPU利用率變化量，帶寬利用率變化量，內(nèi)存利用率變化量，I/O利用率變化量， 步驟5)在檢測(cè)器中定義2個(gè)數(shù)組x[n]和t[n]，分別用來(lái)存儲(chǔ)從當(dāng)前時(shí)間到T＝10*Tmax時(shí)間內(nèi)，輪詢時(shí)間和對(duì)應(yīng)的性能數(shù)據(jù)變化量的平均值；x[i]表示按照輪詢周期t[i]進(jìn)行輪詢，至T時(shí)刻得到的性能數(shù)據(jù)變化量的均值，即

其中x[i]k表示以固定輪詢周期t[i]進(jìn)行輪詢時(shí)，第k次輪詢得到的性能數(shù)據(jù)與k-1次輪詢得到的性能數(shù)據(jù)之間的變化量， 步驟6)設(shè)置初始輪詢周期T＝Tmin，采集樣本性能信息，包括節(jié)點(diǎn)的CPU利用率，帶寬利用率，內(nèi)存利用率，I/O利用率各項(xiàng)信息，計(jì)算每次輪詢樣本性能數(shù)據(jù)的變化率，到T時(shí)刻每個(gè)節(jié)點(diǎn)的平均變化率就是x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，表示m個(gè)節(jié)點(diǎn)；其中，x1k1表示(0，T)時(shí)間內(nèi)，輪詢周期為T＝T1＝Tmin時(shí)，第k個(gè)節(jié)點(diǎn)的第一個(gè)性能屬性CPU利用率的平均變化量， 步驟7)設(shè)置輪詢周期T＝2*Tmin...Tmax，重復(fù)步驟6，直到T＝Tmax，得到轉(zhuǎn)步驟8； 步驟8)將得到的性能數(shù)據(jù)變化率進(jìn)行歸一化處理， 歸一化公式為X1ki＝(x1ki-x1min)/(x1max-x1min)，其中X1ki為歸一化后的值，x1ki為實(shí)測(cè)值，x1max為x1ki中最大的，x1min為x1ki中最小的， 步驟9)對(duì)經(jīng)過(guò)歸一化預(yù)處理之后的向量，進(jìn)行加權(quán)處理，性能信息中的每一項(xiàng)對(duì)網(wǎng)格性能變化的反應(yīng)程度不同，令Wi，i＝1，2，3，4分別為CPU利用率變化率、帶寬利用率變化率、內(nèi)存利用率變化率、I/O利用率變化率各項(xiàng)的權(quán)值，將各個(gè)輪詢時(shí)刻測(cè)量得到的各項(xiàng)性能的平均變化率求平均值，即 i＝1，2，3，4，可計(jì)算i＝1，2，3，4。
步驟10)對(duì)訓(xùn)練樣本進(jìn)行SVM訓(xùn)練，通過(guò)選取不同的訓(xùn)練參數(shù)C，σ，配合樣本訓(xùn)練數(shù)據(jù)進(jìn)行SVM訓(xùn)練，得到若干組與不同訓(xùn)練參數(shù)一一對(duì)應(yīng)的訓(xùn)練結(jié)果，即求解式(2) 得到支持向量和相應(yīng)的參數(shù)

得到回歸函數(shù)如下 其中K(x，xi)為核函數(shù)， 再把得到的不同訓(xùn)練結(jié)果分別用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，記錄下檢驗(yàn)效果，以效果最好的一組結(jié)果對(duì)應(yīng)的訓(xùn)練參數(shù)C，σ為選取的參數(shù)， 步驟11)得到回歸函數(shù)xi為第i個(gè)訓(xùn)練樣本的輸入，即相應(yīng)的輪詢周期下，某個(gè)節(jié)點(diǎn)的性能數(shù)據(jù)變化量，yi為第i個(gè)訓(xùn)練樣本的輸出，即相應(yīng)的輪詢周期， 步驟12)確定新的輪詢周期T＝Tmin； 步驟13)按照新周期輪詢，得到性能數(shù)據(jù)變化率 x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m表示m個(gè)節(jié)點(diǎn)。經(jīng)過(guò)歸一化處理后，得到m個(gè)4維向量， 步驟14)將m個(gè)4維向量x′[1k]的每個(gè)屬性進(jìn)行加權(quán)處理后后，送到SVM控制器中進(jìn)行分析，由回歸函數(shù)得到分析結(jié)果yk，k＝1...m，取yk的平均值

將該平均值作為新的輪詢周期T， 步驟15)將x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，代替 x[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，計(jì)算新的性能變化平均值 x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m。在新周期下，重新進(jìn)行支持向量機(jī)學(xué)習(xí)， 步驟16)依照第一次輪詢的情況，類推。按照新的輪詢周期

輪詢，由步驟13，得到性能數(shù)據(jù)變化量，經(jīng)過(guò)步驟14，得到新的輪詢時(shí)間。在步驟14中，用新得到的性能數(shù)據(jù)變化量代替之前樣本里相應(yīng)的向量，計(jì)算新的性能數(shù)據(jù)變化量的平均值，并重新訓(xùn)練SVM，步驟17)以后，即以此類推。
有益效果本發(fā)明是一種新型的網(wǎng)格監(jiān)控方法，主要用于解決網(wǎng)格資源監(jiān)控的效率問(wèn)題，通過(guò)使用本發(fā)明提出的方法可以避免采用固定周期輪詢監(jiān)控的不足，可以使監(jiān)控的數(shù)據(jù)更加準(zhǔn)確，并且降低資源消耗。提高了資源監(jiān)控的靈活性。下面給出具體的說(shuō)明。
基于SVM的網(wǎng)格監(jiān)控，既做到了實(shí)時(shí)性的監(jiān)控，又做到了更加有效的利用資源。過(guò)去的固定周期輪詢策略存在不足周期固定、缺乏靈活性。如果輪詢頻率太高，系統(tǒng)的大部分時(shí)間和資源消耗在查詢之中，大大增加了系統(tǒng)的負(fù)擔(dān)，那么系統(tǒng)性能就會(huì)下降；如果輪詢效率太低，系統(tǒng)地實(shí)時(shí)狀況不能得到及時(shí)反映。而且，網(wǎng)格資源變化幅度不穩(wěn)定，如在白天變化幅度大，固定的周期降低了性能數(shù)據(jù)的準(zhǔn)確性。相反，在夜間變化幅度平緩，固定的周期增加了節(jié)點(diǎn)負(fù)擔(dān)。為了解決這個(gè)問(wèn)題，通過(guò)構(gòu)造一個(gè)基于SVM的控制器，每次監(jiān)控的性能數(shù)據(jù)通過(guò)SVM控制器，根據(jù)決策模塊決定是否要更改輪詢周期。這種算法增加了資源監(jiān)控的自適應(yīng)性和實(shí)時(shí)性。



圖1是該系統(tǒng)體系結(jié)構(gòu)圖。圖中包括信息提供者，適配器，SVM控制器，索引服務(wù)。
圖2是基于SVM的網(wǎng)格監(jiān)控方法的流程圖。

具體實(shí)施例方式 一、體系結(jié)構(gòu) 圖1給出了一個(gè)運(yùn)用這種方法的監(jiān)控系統(tǒng)的設(shè)計(jì)體系結(jié)構(gòu)，它的功能部件主要包括信息提供器(Information Provider)，適配器(Adapter)，SVM控制器，索引服務(wù)器。
下面我們給出幾個(gè)具體部分的說(shuō)明 信息提供器在監(jiān)控節(jié)點(diǎn)上運(yùn)行的信息收集源，收集各種類型的資源狀態(tài)信息。包括Globus發(fā)行的GRAM和可以與MDS集成的外部信息提供者如Ganglia或Hawkeye。
適配器不同的信息采集器之間存在著差異。適配器的作用就是消除這些差異，從不同類型的信息采集器中獲取數(shù)據(jù)，然后交給SVM控制器部件處理。適配器使得在選擇信息提供者時(shí)有很好的靈活性。
SVM控制器將適配器傳來(lái)信息進(jìn)行SVM數(shù)據(jù)標(biāo)準(zhǔn)化處理，通過(guò)經(jīng)SVM學(xué)習(xí)得出回歸函數(shù)，根據(jù)下次性能數(shù)據(jù)的變化程度判斷是否需要更改輪詢周期。
索引服務(wù)器主要是用于存放所收集到的系統(tǒng)信息，以供客戶端請(qǐng)求使用。
二、SVM控制器的方法流程 1、SVM的基本思想 支持向量機(jī)是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法，在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)。
支持向量機(jī)從本質(zhì)上講是一種前向神經(jīng)網(wǎng)絡(luò)，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，在使訓(xùn)練樣本分類誤差極小化的前提下，盡量提高分類器的泛化推廣能力。從實(shí)施的角度，訓(xùn)練支持向量機(jī)的核心思想等價(jià)于求解一個(gè)線性約束的二次規(guī)劃問(wèn)題，從而構(gòu)造一個(gè)超平面作為決策平面，使得特征空間中兩類模式之間的距離最大，而且它能保證得到的解為全局最優(yōu)解，并巧妙地利用原空間的核函數(shù)取代高維特征空間中的點(diǎn)積運(yùn)算。
SVM的基本思想是通過(guò)一個(gè)非線性映射，把輸入空間的數(shù)據(jù)映射到一個(gè)高維特征空間中去，然后在此空間中應(yīng)用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則構(gòu)造最優(yōu)決策函數(shù)，并巧妙地利用原空間的核函數(shù)取代高維特征空間中的點(diǎn)積運(yùn)算。
2、SVM控制器介紹 在網(wǎng)格環(huán)境中，監(jiān)控系統(tǒng)按照固定的周期不斷地向資源狀態(tài)信息發(fā)出請(qǐng)求，當(dāng)新的信息產(chǎn)生時(shí)，監(jiān)控系統(tǒng)中的狀態(tài)就要更新。若更新太慢，會(huì)導(dǎo)致目錄服務(wù)器中的性能數(shù)據(jù)過(guò)期，所以定期的輪詢?nèi)菀滓鸶逻^(guò)快或過(guò)慢的問(wèn)題，需要制定有效的輪詢策略，在性能數(shù)據(jù)變化幅度劇烈的時(shí)候，縮短輪詢周期，在性能數(shù)據(jù)變化幅度平緩的時(shí)候，增加輪詢周期。所以我們需要設(shè)計(jì)一種新的方案來(lái)實(shí)時(shí)地根據(jù)網(wǎng)格負(fù)載的變化而改變輪詢周期。
當(dāng)網(wǎng)格系統(tǒng)將任務(wù)分發(fā)到一個(gè)節(jié)點(diǎn)進(jìn)行執(zhí)行，在節(jié)點(diǎn)上就會(huì)產(chǎn)生一系列事件，每個(gè)事件的產(chǎn)生都會(huì)對(duì)監(jiān)控節(jié)點(diǎn)的資源狀態(tài)發(fā)生或多或少的影響，比如節(jié)點(diǎn)的CPU利用率以及內(nèi)存利用率等都會(huì)發(fā)生變化。
把資源的利用率作為評(píng)價(jià)網(wǎng)格監(jiān)控事件的參數(shù)，具有較強(qiáng)的通用性。主要包括CPU利用率，帶寬利用率，內(nèi)存利用率，I/O利用率。
通過(guò)事先構(gòu)造的SVM的回歸函數(shù)，由資源利用率的改變得到相應(yīng)所需要的輪詢周期，與實(shí)際設(shè)置的輪詢周期相比較，判斷如何更改輪詢周期，下一次即按照更改后的輪詢周期進(jìn)行監(jiān)測(cè)。
整個(gè)控制器的工作過(guò)程分為兩個(gè)階段訓(xùn)練階段和檢測(cè)階段。
首先，最大輪詢周期Tmax，最小輪詢周期Tmin； 在訓(xùn)練階段，設(shè)置觀察時(shí)間T＝N*Tmax，為了確保準(zhǔn)確性，加大樣本數(shù)據(jù)的可靠性，N可以適當(dāng)取得大一點(diǎn)。先后設(shè)置[Tmin，Tmax]內(nèi)n個(gè)輪詢周期Ti，i＝1...n。從當(dāng)前時(shí)刻開始，分別以Ti輪詢，每輪詢一次，都會(huì)得到此次輪詢周期內(nèi)資源性能的變化率，計(jì)算T時(shí)間內(nèi)，以Ti輪詢的資源性能數(shù)據(jù)變化率的平均值(x1i，x2i，x3i，x4i)。得到n個(gè)向量x[i]＝{x1i，x2i，x3i，x4i}，i＝1...n，y[i]＝Ti。對(duì)向量?jī)?nèi)各屬性進(jìn)行歸一化處理，即得到n個(gè)樣本。然后訓(xùn)練支持向量機(jī)。
在線性回歸的情況下，對(duì)于訓(xùn)練樣本集{(x1，y1)，...(xn，yn)}，xi∈Rn，yi∈R，要在線性函數(shù)集{f(x)|f(x)＝w*x+b}中尋找滿足約束的參數(shù)w和b。考慮到在實(shí)際應(yīng)用中存在一定的擬合誤差，此處引入松弛因子ξi和

，即求約束條件下的式(1)。
引入Lagrange對(duì)偶原理，求解式(1)。其對(duì)偶問(wèn)題如下 求解式(2)得到支持向量和相應(yīng)的參數(shù)

從而獲得最佳擬合函數(shù) 實(shí)際中非線性情況大量存在，內(nèi)積回旋的方法很好地解決了這個(gè)問(wèn)題，通過(guò)選擇的非線性映射，將輸入向量x映射到高維特征空間中，在高維空間構(gòu)建最優(yōu)線性擬合函數(shù)，從而達(dá)到在原空間中的非線性函數(shù)擬合的效果。具體形式為 利用核函數(shù)來(lái)代替內(nèi)積Φ(x)·Φ(xi)，可得非線性回歸函數(shù) 核函數(shù)K(xi，x)一般取RBF核函數(shù)。
通過(guò)選取不同的訓(xùn)練參數(shù)C，σ，配合選定的樣本訓(xùn)練數(shù)據(jù)進(jìn)行SVM訓(xùn)練，從而得到若干組與不同訓(xùn)練參數(shù)一一對(duì)應(yīng)的訓(xùn)練結(jié)果。再把得到的不同訓(xùn)練結(jié)果分別用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，記錄下檢驗(yàn)效果，以效果最好的一組結(jié)果對(duì)應(yīng)的訓(xùn)練參數(shù)為選取的參數(shù)。
在檢測(cè)階段，將各個(gè)節(jié)點(diǎn)的資源性能變化率進(jìn)行歸一化處理后，根據(jù)回歸函數(shù)式(5)得到期望的輪詢周期T，并將結(jié)果提交給決策系統(tǒng)作出最后的判斷，得到下一次監(jiān)測(cè)的輪詢周期。
3、基于SVM的網(wǎng)格資源監(jiān)控流程 步驟1設(shè)置最大輪詢周期Tmax，最小輪詢周期Tmin，令所有輪詢周期都是Tmin的整數(shù)倍。
步驟2在檢測(cè)器中定義2個(gè)數(shù)組x[n]和t[n]，分別用來(lái)存儲(chǔ)從當(dāng)前時(shí)間到T＝10*Tmax時(shí)間內(nèi)，輪詢時(shí)間和對(duì)應(yīng)的性能數(shù)據(jù)變化量的平均值。x[i]表示按照輪詢周期t[i]進(jìn)行輪詢，至T時(shí)刻得到的性能數(shù)據(jù)變化量的均值。即

。其中x[i]k表示以固定輪詢周期t[i]進(jìn)行輪詢時(shí)，第k次輪詢得到的性能數(shù)據(jù)與k-1次輪詢得到的性能數(shù)據(jù)之間的變化量。
步驟3設(shè)置初始輪詢周期T＝Tmin。采集樣本性能信息，包括節(jié)點(diǎn)的CPU利用率，帶寬利用率，內(nèi)存利用率，I/O利用率各項(xiàng)信息。計(jì)算每次輪詢樣本性能數(shù)據(jù)的變化率。到T時(shí)刻每個(gè)節(jié)點(diǎn)在以輪詢周期T＝T1＝Tmin輪詢時(shí)，平均變化率就是x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，表示m個(gè)節(jié)點(diǎn)。其中，x1k1表示(0，T)時(shí)間內(nèi)，輪詢周期為T＝T1＝Tmin時(shí)，第k個(gè)節(jié)點(diǎn)的第一個(gè)性能屬性CPU利用率的平均變化量。
步驟4設(shè)置輪詢周期T＝2*Tmin...Tmax，重復(fù)步驟3，直到T＝Tmax，得到轉(zhuǎn)步驟5； 步驟5將得到的性能數(shù)據(jù)變化率進(jìn)行歸一化處理。
歸一化公式為X1ki＝(x1ki-x1min)/(x1max-x1min)，其中X1ki為歸一化后的值，x1ki為實(shí)測(cè)值，x1max為x1ki中最大的，x1min為x1ki中最小的。
步驟6對(duì)經(jīng)過(guò)歸一化預(yù)處理之后的向量，進(jìn)行加權(quán)處理。因?yàn)椋阅苄畔⒅械拿恳豁?xiàng)對(duì)網(wǎng)格性能變化的反應(yīng)程度不同。令Wi，i＝1，2，3，4分別為CPU利用率變化率、帶寬利用率變化率、內(nèi)存利用率變化率、I/O利用率變化率各項(xiàng)的權(quán)值。將各個(gè)輪詢時(shí)刻測(cè)量得到的各項(xiàng)性能的平均變化率求平均值，即 i＝1，2，3，4，可計(jì)算i＝1，2，3，4。
步驟7對(duì)訓(xùn)練樣本進(jìn)行SVM訓(xùn)練。通過(guò)選取不同的訓(xùn)練參數(shù)C，σ，配合樣本訓(xùn)練數(shù)據(jù)進(jìn)行SVM訓(xùn)練，從而得到若干組與不同訓(xùn)練參數(shù)一一對(duì)應(yīng)的訓(xùn)練結(jié)果。即求解式(2) 得到支持向量和相應(yīng)的參數(shù)

得到回歸函數(shù)如下 K(x，xi)為核函數(shù)， 再把得到的不同訓(xùn)練結(jié)果分別用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，記錄下檢驗(yàn)效果，以效果最好的一組結(jié)果對(duì)應(yīng)的訓(xùn)練參數(shù)C，σ為選取的參數(shù)。
步驟8得到回歸函數(shù)xi為第i個(gè)訓(xùn)練樣本的輸入，即相應(yīng)的輪詢周期下，節(jié)點(diǎn)的性能數(shù)據(jù)變化量，yi為第i個(gè)訓(xùn)練樣本的輸出，即相應(yīng)的輪詢周期。
步驟9確定新的輪詢周期T＝Tmin； 步驟10按照新周期輪詢，得到性能數(shù)據(jù)變化率x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m表示m個(gè)節(jié)點(diǎn)。經(jīng)過(guò)歸一化處理后，得到m個(gè)4維向量。
步驟11將m個(gè)4維向量x′[1k]的每個(gè)屬性進(jìn)行加權(quán)處理后，送到SVM控制器中進(jìn)行分析，由回歸函數(shù)得到分析結(jié)果yk，k＝1...m，取yk的平均值

將該平均值作為新的輪詢周期T。
步驟12將x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，代替 x[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，計(jì)算新的性能變化平均值 x[1k]＝{x1k1，x2k1，x3k1，x4k1，k＝1...m。在新周期下，重新進(jìn)行支持向量機(jī)學(xué)習(xí)。
步驟13轉(zhuǎn)步驟10，按照第一次的情況類推。
實(shí)例 (1)信息采集者采集性能數(shù)據(jù)，包括主機(jī)名、處理器、內(nèi)存、CPU利用率、時(shí)鐘速度、物理內(nèi)存總量、虛擬內(nèi)存、可用磁盤空間等信息； (2)將從不同類型的數(shù)據(jù)采集者收集到的數(shù)據(jù)交給適配器模塊處理，將不同格式的數(shù)據(jù)做標(biāo)準(zhǔn)轉(zhuǎn)化； (3)將采集到的性能數(shù)據(jù)定時(shí)匯總到目錄服務(wù)中，供用戶使用。
(4)設(shè)置最大輪詢周期Tmax，最小輪詢周期Tmin，令所有輪詢周期都是Tmin的整數(shù)倍，按照不同周期采集樣本性能信息。把資源的利用率的變化量作為評(píng)價(jià)網(wǎng)格監(jiān)控事件的參數(shù)，包括CPU利用率變化量，帶寬利用率變化量，內(nèi)存利用率變化量，I/O利用率變化量。
(5)在檢測(cè)器中定義2個(gè)數(shù)組x[n]和t[n]，分別用來(lái)存儲(chǔ)從當(dāng)前時(shí)間到T＝10*Tmax時(shí)間內(nèi)，輪詢時(shí)間和對(duì)應(yīng)的性能數(shù)據(jù)變化量的平均值。x[i]表示按照輪詢周期t[i]進(jìn)行輪詢，至T時(shí)刻得到的性能數(shù)據(jù)變化量的均值。即

其中x[i]k表示以固定輪詢周期t[i]進(jìn)行輪詢時(shí)，第k次輪詢得到的性能數(shù)據(jù)與k-1次輪詢得到的性能數(shù)據(jù)之間的變化量。
(6)設(shè)置初始輪詢周期T＝Tmin。采集樣本性能信息，包括節(jié)點(diǎn)的CPU利用率，帶寬利用率，內(nèi)存利用率，I/O利用率各項(xiàng)信息。計(jì)算每次輪詢樣本性能數(shù)據(jù)的變化率。到T時(shí)刻每個(gè)節(jié)點(diǎn)的平均變化率就是x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，表示m個(gè)節(jié)點(diǎn)。其中，x1k1表示(0，T)時(shí)間內(nèi)，輪詢周期為T＝T1＝Tmin時(shí)，第k個(gè)節(jié)點(diǎn)的第一個(gè)性能屬性CPU利用率的平均變化量。
(7)設(shè)置輪詢周期T＝2*Tmin...Tmax，重復(fù)步驟6，直到T＝Tmax，得到 (8)轉(zhuǎn)步驟8； (9)將得到的性能數(shù)據(jù)變化率進(jìn)行歸一化處理。
歸一化公式為X1ki＝(x1ki-x1min)/(x1max-x1min)，其中X1ki為歸一化后的值，x1ki為實(shí)測(cè)值，x1max為x1ki中最大的，x1min為x1ki中最小的。
對(duì)經(jīng)過(guò)歸一化預(yù)處理之后的向量，進(jìn)行加權(quán)處理。因?yàn)椋阅苄畔⒅械拿恳豁?xiàng)對(duì)網(wǎng)格性能變化的反應(yīng)程度不同。令Wi，i＝1，2，3，4分別為CPU利用率變化率、帶寬利用率變化率、內(nèi)存利用率變化率、I/O利用率變化率各項(xiàng)的權(quán)值。將各個(gè)輪詢時(shí)刻測(cè)量得到的各項(xiàng)性能的平均變化率求平均值，即 i＝1，2，3，4，可計(jì)算i＝1，2，3，4。
(10)對(duì)訓(xùn)練樣本進(jìn)行SVM訓(xùn)練。通過(guò)選取不同的訓(xùn)練參數(shù)C，σ，配合樣本訓(xùn)練數(shù)據(jù)進(jìn)行SVM訓(xùn)練，得到若干組與不同訓(xùn)練參數(shù)一一對(duì)應(yīng)的訓(xùn)練結(jié)果。即求解式(2) 得到支持向量和相應(yīng)的參數(shù)

得到回歸函數(shù)如下 其中K(x，xi)為核函數(shù)， 得到支持向量和相應(yīng)的參數(shù)

再把得到的不同訓(xùn)練結(jié)果分別用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，記錄下檢驗(yàn)效果，以效果最好的一組結(jié)果對(duì)應(yīng)的訓(xùn)練參數(shù)C，σ為選取的參數(shù)。
(11)得到回歸函數(shù)xi為第i個(gè)訓(xùn)練樣本的輸入，即相應(yīng)的輪詢周期下，某個(gè)節(jié)點(diǎn)的性能數(shù)據(jù)變化量，yi為第i個(gè)訓(xùn)練樣本的輸出，即相應(yīng)的輪詢周期。
(12)確定新的輪詢周期T＝Tmin； (13)按照新周期輪詢，得到性能數(shù)據(jù)變化率 x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m表示m個(gè)節(jié)點(diǎn)。經(jīng)過(guò)歸一化處理后，得到m個(gè)4維向量。
(14)將m個(gè)4維向量x′[1k]的每個(gè)屬性進(jìn)行加權(quán)處理后后，送到SVM控制器中進(jìn)行分析，由回歸函數(shù)得到分析結(jié)果yk，k＝1...m，取yk的平均值

將該平均值作為新的輪詢周期T。
(15)將x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，代替 x[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，計(jì)算新的性能變化平均值 x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m。在新周期下，重新進(jìn)行支持向量機(jī)學(xué)習(xí)。
(16)依照第一次輪詢的情況，類推。按照新的輪詢周期

輪詢，由步驟13，得到性能數(shù)據(jù)變化量。經(jīng)過(guò)步驟14，得到新的輪詢時(shí)間。在步驟14中，用新得到的性能數(shù)據(jù)變化量代替之前樣本里相應(yīng)的向量，計(jì)算新的性能數(shù)據(jù)變化量的平均值，并重新訓(xùn)練SVM。
(17)以后，即以此類推。
權(quán)利要求
1.一種基于支持向量機(jī)的網(wǎng)格監(jiān)控方法，其特征在于該方法包含以下步驟
步驟1)信息采集者采集性能數(shù)據(jù)，包括主機(jī)名、處理器、內(nèi)存、cpu利用率、時(shí)鐘速度、物理內(nèi)存總量、虛擬內(nèi)存、可用磁盤空間等信息，
步驟2)將從不同類型的數(shù)據(jù)采集者收集到的數(shù)據(jù)交給適配器模塊處理，將不同格式的數(shù)據(jù)做標(biāo)準(zhǔn)轉(zhuǎn)化，
步驟3)將采集到的性能數(shù)據(jù)定時(shí)匯總到目錄服務(wù)中，供用戶使用，
步驟4)設(shè)置最大輪詢周期Tmax，最小輪詢周期Tmin，令所有輪詢周期都是Tmin的整數(shù)倍，按照不同周期采集樣本性能信息，把資源的利用率的變化量作為評(píng)價(jià)網(wǎng)格監(jiān)控事件的參數(shù)，包括CPU利用率變化量，帶寬利用率變化量，內(nèi)存利用率變化量，I/O利用率變化量，
步驟5)在檢測(cè)器中定義2個(gè)數(shù)組x[n]和t[n]，分別用來(lái)存儲(chǔ)從當(dāng)前時(shí)間到T＝10*Tmax時(shí)間內(nèi)，輪詢時(shí)間和對(duì)應(yīng)的性能數(shù)據(jù)變化量的平均值；x[i]表示按照輪詢周期t[i]進(jìn)行輪詢，至T時(shí)刻得到的性能數(shù)據(jù)變化量的均值，即
其中x[i]k表示以固定輪詢周期t[i]進(jìn)行輪詢時(shí)，第k次輪詢得到的性能數(shù)據(jù)與k-1次輪詢得到的性能數(shù)據(jù)之間的變化量，
步驟6)設(shè)置初始輪詢周期T＝Tmin，采集樣本性能信息，包括節(jié)點(diǎn)的CPU利用率，帶寬利用率，內(nèi)存利用率，I/O利用率各項(xiàng)信息，計(jì)算每次輪詢樣本性能數(shù)據(jù)的變化率，到T時(shí)刻每個(gè)節(jié)點(diǎn)的平均變化率就是x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，表示m個(gè)節(jié)點(diǎn)；其中，x1k1表示(0，T)時(shí)間內(nèi)，輪詢周期為T＝T1＝Tmin時(shí)，第k個(gè)節(jié)點(diǎn)的第一個(gè)性能屬性CPU利用率的平均變化量，
步驟7)設(shè)置輪詢周期T＝2*Tmin...Tmax，重復(fù)步驟6，直到T＝Tmax，得到轉(zhuǎn)步驟8；
步驟8)將得到的性能數(shù)據(jù)變化率進(jìn)行歸一化處理，
歸一化公式為X1ki＝(x1ki-x1min)/(x1max-x1min)，其中X1ki為歸一化后的值，x1ki為實(shí)測(cè)值，x1max為x1ki中最大的，x1min為x1ki中最小的，
步驟9)對(duì)經(jīng)過(guò)歸一化預(yù)處理之后的向量，進(jìn)行加權(quán)處理，性能信息中的每一項(xiàng)對(duì)網(wǎng)格性能變化的反應(yīng)程度不同，令Wi，i＝1，2，3，4分別為CPU利用率變化率、帶寬利用率變化率、內(nèi)存利用率變化率、I/O利用率變化率各項(xiàng)的權(quán)值，將各個(gè)輪詢時(shí)刻測(cè)量得到的各項(xiàng)性能的平均變化率求平均值，
步驟10)對(duì)訓(xùn)練樣本進(jìn)行SVM訓(xùn)練，通過(guò)選取不同的訓(xùn)練參數(shù)C，σ，配合樣本訓(xùn)練數(shù)據(jù)進(jìn)行SVM訓(xùn)練，得到若干組與不同訓(xùn)練參數(shù)一一對(duì)應(yīng)的訓(xùn)練結(jié)果，即求解式(2)
得到支持向量和相應(yīng)的參數(shù)
得到回歸函數(shù)如下
其中K(x，xi)為核函數(shù)，
再把得到的不同訓(xùn)練結(jié)果分別用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，記錄下檢驗(yàn)效果，以效果最好的一組結(jié)果對(duì)應(yīng)的訓(xùn)練參數(shù)C，σ為選取的參數(shù)，
步驟11)得到回歸函數(shù)xi為第i個(gè)訓(xùn)練樣本的輸入，即相應(yīng)的輪詢周期下，某個(gè)節(jié)點(diǎn)的性能數(shù)據(jù)變化量，yi為第i個(gè)訓(xùn)練樣本的輸出，即相應(yīng)的輪詢周期，
步驟12)確定新的輪詢周期T＝Tmin；
步驟13)按照新周期輪詢，得到性能數(shù)據(jù)變化率
x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m表示m個(gè)節(jié)點(diǎn)。經(jīng)過(guò)歸一化處理后，得到m個(gè)4維向量，
步驟14)將m個(gè)4維向量x′[1k]的每個(gè)屬性進(jìn)行加權(quán)處理后后，送到SVM控制器中進(jìn)行分析，由回歸函數(shù)得到分析結(jié)果yk，k＝1...m，取yk的平均值
將該平均值作為新的輪詢周期T，
步驟15)將x′[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，代替x[1k]1＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m，計(jì)算新的性能變化平均值x[1k]＝{x1k1，x2k1，x3k1，x4k1}，k＝1...m。在新周期下，重新進(jìn)行支持向量機(jī)學(xué)習(xí)，
步驟16)依照第一次輪詢的情況，類推。按照新的輪詢周期
輪詢，由步驟13，得到性能數(shù)據(jù)變化量，經(jīng)過(guò)步驟14，得到新的輪詢時(shí)間。在步驟14中，用新得到的性能數(shù)據(jù)變化量代替之前樣本里相應(yīng)的向量，計(jì)算新的性能數(shù)據(jù)變化量的平均值，并重新訓(xùn)練SVM，
步驟17)以后，即以此類推。
全文摘要
一種基于支持向量機(jī)的網(wǎng)格監(jiān)控方法是一種新型的網(wǎng)格監(jiān)控方法。該系統(tǒng)采用SVM方法，對(duì)傳感器等傳來(lái)的性能信息進(jìn)行特征提取，數(shù)據(jù)處理標(biāo)準(zhǔn)化后，得到一系列樣本數(shù)據(jù)，進(jìn)行支持向量機(jī)學(xué)習(xí)測(cè)試，構(gòu)造出一個(gè)回歸函數(shù)，此后將新監(jiān)測(cè)到的性能數(shù)據(jù)變化量經(jīng)過(guò)SVM控制器分析，預(yù)測(cè)期望的輪詢周期，從而決定是否需要更改輪詢周期。下一次即按照預(yù)測(cè)的輪詢周期進(jìn)行監(jiān)控，并不斷調(diào)整輪詢周期。使資源實(shí)時(shí)性與負(fù)載得到了很好的平衡。解決了網(wǎng)格監(jiān)控系統(tǒng)中由于固定周期性監(jiān)控所引起的系統(tǒng)性能下降或監(jiān)控實(shí)時(shí)性不強(qiáng)的問(wèn)題，使目錄服務(wù)中存儲(chǔ)的性能數(shù)據(jù)更加準(zhǔn)確，降低了資源消耗。
文檔編號(hào)G06K9/62GK101442561SQ20081024402
公開日2009年5月27日 申請(qǐng)日期2008年12月12日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者王汝傳, 解永娟, 雄 付, 任勛益, 松 鄧, 季一木, 侃 易, 楊明慧, 勇 鄧 申請(qǐng)人:南京郵電大學(xué)