數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法
【專利摘要】本發(fā)明涉及一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的分析、處理及分類方法。一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，實(shí)現(xiàn)步驟如下：在數(shù)據(jù)庫(kù)集群服務(wù)器中配置全局?jǐn)?shù)據(jù)服務(wù)器；并在每臺(tái)服務(wù)器上配置監(jiān)控代理實(shí)例；通過(guò)每個(gè)監(jiān)控代理實(shí)例每隔一定時(shí)間獲取當(dāng)前服務(wù)器的數(shù)據(jù)信息，匯總至全局?jǐn)?shù)據(jù)服務(wù)器，并建立數(shù)據(jù)庫(kù)表；全局?jǐn)?shù)據(jù)服務(wù)器根據(jù)每個(gè)服務(wù)器的LOAD，QPS，TPS指標(biāo)，按主機(jī)名，時(shí)間信息進(jìn)行分類匯總，獲取一定時(shí)間段內(nèi)所有主機(jī)的各項(xiàng)監(jiān)控?cái)?shù)據(jù)信息；結(jié)合關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)，按時(shí)間范圍進(jìn)行一次數(shù)據(jù)讀取，得到一組數(shù)據(jù)集A；然后采用一次數(shù)據(jù)庫(kù)讀取操作加大小桶方法，將小桶名字中指標(biāo)部分相同的桶放入對(duì)應(yīng)的指標(biāo)大桶，從而實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)。
【專利說(shuō)明】數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的分析、處理及分類方法，應(yīng)用于數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)。
【背景技術(shù)】
[0002]數(shù)據(jù)庫(kù)集群是利用多臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，構(gòu)成一個(gè)虛擬單一數(shù)據(jù)庫(kù)邏輯映像，和單數(shù)據(jù)庫(kù)系統(tǒng)一樣，都可以向客戶端提供透明的數(shù)據(jù)服務(wù)。隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)庫(kù)集群的規(guī)模越來(lái)越大，集群系統(tǒng)的性能監(jiān)控與分析就顯的尤為重要，即需要對(duì)整個(gè)集群整體的運(yùn)行情況有個(gè)直觀的了解，又需要對(duì)集群中各臺(tái)服務(wù)器的運(yùn)行情況有個(gè)快速，清晰，準(zhǔn)確的查看和定位。
[0003]傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)為二維數(shù)據(jù)庫(kù)，要通過(guò)其實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群的數(shù)據(jù)分類以及關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)，如要按LOAD，QPS, TPS字段加主機(jī)名加時(shí)間段進(jìn)行，需要將條件拆為二維方式的SQL語(yǔ)句，多次執(zhí)行。存在計(jì)算時(shí)間長(zhǎng)，處理效率不高的缺點(diǎn)，不利于快速高效的實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行分類，不利于實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)，不能夠方便、快捷地實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的調(diào)用，影響高性能計(jì)算機(jī)數(shù)據(jù)處理效率。
[0004]因此，如果能夠提出一種計(jì)算方法簡(jiǎn)單、運(yùn)算速度快的數(shù)據(jù)分類方法，必然能夠提高高性能計(jì)算機(jī)數(shù)據(jù)處理效率，提高計(jì)算機(jī)性能。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對(duì)現(xiàn)有技術(shù)不足，提出了一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類的方法，在關(guān)系型數(shù)據(jù)庫(kù)基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)的三維分類，能夠快速高效的實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)。
[0006]本發(fā)明所采用的技術(shù)方案是:
一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，實(shí)現(xiàn)步驟如下:
1)在數(shù)據(jù)庫(kù)集群服務(wù)器中的每臺(tái)服務(wù)器上配置一個(gè)監(jiān)控代理實(shí)例，
在數(shù)據(jù)庫(kù)集群服務(wù)器中配置全局?jǐn)?shù)據(jù)服務(wù)器用于收集和顯示各個(gè)監(jiān)控代理實(shí)例的數(shù)
據(jù)；
2)每個(gè)監(jiān)控代理實(shí)例每隔一定時(shí)間獲取一次當(dāng)前服務(wù)器的LOAD，QPS,TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率，匯總至全局?jǐn)?shù)據(jù)服務(wù)器，并建立數(shù)據(jù)庫(kù)表；
3)全局?jǐn)?shù)據(jù)服務(wù)器根據(jù)每個(gè)服務(wù)器的LOAD，QPS,TPS指標(biāo)，按主機(jī)名，時(shí)間信息進(jìn)行分類匯總，獲取一定時(shí)間段內(nèi)所有主機(jī)的各項(xiàng)監(jiān)控?cái)?shù)據(jù)信息；
4)結(jié)合關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)，在關(guān)系型數(shù)據(jù)庫(kù)中取數(shù)據(jù)時(shí)按時(shí)間范圍進(jìn)行一次數(shù)據(jù)讀取，得到一組數(shù)據(jù)集A ;
5)處理獲取到的數(shù)據(jù)集A時(shí)，首先以指標(biāo)字段名建立多個(gè)指標(biāo)大桶，順序讀取從關(guān)系型數(shù)據(jù)庫(kù)中獲取的數(shù)據(jù)集A ； 6)用數(shù)據(jù)集A中的主機(jī)名加指標(biāo)字段名建立主機(jī)指標(biāo)小桶；
讀取數(shù)據(jù)集A中的數(shù)據(jù)，將主機(jī)名和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入對(duì)應(yīng)的主機(jī)指標(biāo)小桶
中；
如果不存在對(duì)應(yīng)的主機(jī)指標(biāo)小桶，則以時(shí)間信息和指標(biāo)字段名創(chuàng)建新的主機(jī)指標(biāo)小桶，并將時(shí)間信息和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入所述主機(jī)指標(biāo)小桶中；
7)讀取數(shù)據(jù)集A中的所有數(shù)據(jù)到主機(jī)指標(biāo)小桶中，將主機(jī)指標(biāo)小桶名字中指標(biāo)部分相同的主機(jī)指標(biāo)小桶放入對(duì)應(yīng)的指標(biāo)大桶，指標(biāo)大桶中包含了各主機(jī)指標(biāo)小桶的詳細(xì)信息；
這樣就實(shí)現(xiàn)了以指標(biāo)字段為第一維條件，以指標(biāo)字段加主機(jī)名為第二維條件，以時(shí)間信息為三維條件的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的三維分類。
[0007]所述的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，每個(gè)監(jiān)控代理實(shí)例每隔2到5秒獲取一次當(dāng)前服務(wù)器的LOAD，QPS, TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率信息；全局?jǐn)?shù)據(jù)服務(wù)器建立數(shù)據(jù)庫(kù)表的結(jié)構(gòu)包括字段和類型，所述字段包括主機(jī)名，檢測(cè)時(shí)間，服務(wù)器負(fù)載，磁盤每秒讀取次數(shù)，磁盤每秒寫入次數(shù)，磁盤每秒讀取的扇區(qū)數(shù)，磁盤每秒寫入的扇區(qū)數(shù)，磁盤1隊(duì)列大小，磁盤等待比例，Db插入次數(shù)，Db更新次數(shù)，Db刪除次數(shù)，Db查詢次數(shù)，緩存命中率，全局?jǐn)?shù)據(jù)服務(wù)器通過(guò)建立數(shù)據(jù)庫(kù)表將之按類型歸類。
[0008]本發(fā)明的積極有益效果:
1、本發(fā)明數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，基于集群整體與個(gè)體都需要統(tǒng)計(jì)與分析的需求，在關(guān)系型數(shù)據(jù)庫(kù)基礎(chǔ)上，采用一次數(shù)據(jù)庫(kù)讀取操作加大小桶方法，實(shí)現(xiàn)了數(shù)據(jù)的三維分類，方便實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)。相當(dāng)于給集群系統(tǒng)加入了“儀表盤”+ “聽診器”，方法簡(jiǎn)單可靠，運(yùn)算速度快。
[0009]2、本發(fā)明數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，分析結(jié)果準(zhǔn)確可靠，分類結(jié)果簡(jiǎn)單明了，可以方便的讓web界面進(jìn)行圖形化展示，按照集群指標(biāo)，集群主機(jī)名，時(shí)間信息進(jìn)行畫圖，即能展示集群整體運(yùn)行情況，又能方便的查看集群中各臺(tái)服務(wù)器的指標(biāo)信息。
【具體實(shí)施方式】
[0010]本發(fā)明數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，基于集群整體與個(gè)體都需要統(tǒng)計(jì)與分析的需求，在關(guān)系型數(shù)據(jù)庫(kù)基礎(chǔ)上，采用一次數(shù)據(jù)庫(kù)讀取操作加大小桶方法，實(shí)現(xiàn)了數(shù)據(jù)的三維分類，方便實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群服務(wù)器關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)。
[0011]下面通過(guò)【具體實(shí)施方式】，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0012]實(shí)施例1
本實(shí)施例的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，其實(shí)現(xiàn)步驟如下:
1)在數(shù)據(jù)庫(kù)集群服務(wù)器中的每臺(tái)服務(wù)器上配置一個(gè)監(jiān)控代理實(shí)例，在數(shù)據(jù)庫(kù)集群服務(wù)器中配置全局?jǐn)?shù)據(jù)服務(wù)器用于收集和顯示各個(gè)監(jiān)控代理實(shí)例的數(shù)據(jù)；
2)每個(gè)監(jiān)控代理實(shí)例每隔一定時(shí)間獲取一次當(dāng)前服務(wù)器的LOAD，QPS,TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率，匯總至全局?jǐn)?shù)據(jù)服務(wù)器，并建立數(shù)據(jù)庫(kù)表；
3)全局?jǐn)?shù)據(jù)服務(wù)器根據(jù)每個(gè)服務(wù)器的LOAD，QPS,TPS指標(biāo)，按主機(jī)名，時(shí)間信息進(jìn)行分類匯總，獲取一定時(shí)間段內(nèi)所有主機(jī)的各項(xiàng)監(jiān)控?cái)?shù)據(jù)信息；
4)結(jié)合關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)，在關(guān)系型數(shù)據(jù)庫(kù)中取數(shù)據(jù)時(shí)按時(shí)間范圍進(jìn)行一次數(shù)據(jù)讀取，得到一組數(shù)據(jù)集A ;5)處理獲取到的數(shù)據(jù)集A時(shí)，首先以指標(biāo)字段名建立多個(gè)指標(biāo)大桶，順序讀取從關(guān)系型數(shù)據(jù)庫(kù)中獲取的數(shù)據(jù)集A ；
6)用數(shù)據(jù)集A中的主機(jī)名加指標(biāo)字段名建立主機(jī)指標(biāo)小桶；
讀取數(shù)據(jù)集A的數(shù)據(jù)，將主機(jī)名和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入對(duì)應(yīng)的主機(jī)指標(biāo)小桶
中；
如果不存在對(duì)應(yīng)的主機(jī)指標(biāo)小桶，則以時(shí)間信息和指標(biāo)字段名創(chuàng)建新的主機(jī)指標(biāo)小桶，并將時(shí)間信息和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入所述主機(jī)指標(biāo)小桶中；
7)讀取數(shù)據(jù)集A中的所有數(shù)據(jù)到主機(jī)指標(biāo)小桶中，將主機(jī)指標(biāo)小桶名字中指標(biāo)部分相同的主機(jī)指標(biāo)小桶放入對(duì)應(yīng)的指標(biāo)大桶，指標(biāo)大桶中包含了各主機(jī)指標(biāo)小桶的詳細(xì)信息；
這樣就實(shí)現(xiàn)了以指標(biāo)字段為第一維條件，以指標(biāo)加主機(jī)名為第二維條件，以時(shí)間信息為三維條件的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的三維分類。
[0013]實(shí)施例2 本實(shí)施例的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，與實(shí)施例1的不同之處在于:步驟2)、步驟3)中，每個(gè)監(jiān)控代理實(shí)例每隔2到5秒獲取一次當(dāng)前服務(wù)器的LOAD，QPS, TPS,網(wǎng)絡(luò)I/0，磁盤1/0，內(nèi)存使用率，CPU使用率信息；全局?jǐn)?shù)據(jù)服務(wù)器建立數(shù)據(jù)庫(kù)表的結(jié)構(gòu)包括字段和類型，所述字段包括主機(jī)名，檢測(cè)時(shí)間，服務(wù)器負(fù)載，磁盤每秒讀取次數(shù)，磁盤每秒寫入次數(shù)，磁盤每秒讀取的扇區(qū)數(shù)，磁盤每秒寫入的扇區(qū)數(shù)，磁盤1隊(duì)列大小，磁盤等待比例，Db插入次數(shù)，Db更新次數(shù)，Db刪除次數(shù)，Db查詢次數(shù)，緩存命中率，然后通過(guò)全局?jǐn)?shù)據(jù)服務(wù)器建立數(shù)據(jù)庫(kù)表將之按類型歸類。
[0014]實(shí)施例3
本實(shí)施例的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的三維分類和關(guān)鍵性指標(biāo)的監(jiān)控與統(tǒng)計(jì)的步驟如下:
1、在服務(wù)器集群系統(tǒng)中配置一臺(tái)用于數(shù)據(jù)收集及數(shù)據(jù)展示的全局?jǐn)?shù)據(jù)服務(wù)器；在服務(wù)器集群系統(tǒng)中的每臺(tái)服務(wù)器上配置一個(gè)監(jiān)控代理實(shí)例；
2、監(jiān)控代理實(shí)例每3分鐘獲取一次當(dāng)前服務(wù)器的LOAD，QPS,TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率，匯總至全局?jǐn)?shù)據(jù)收集服務(wù)器，全局?jǐn)?shù)據(jù)服務(wù)器建立數(shù)據(jù)庫(kù)表。所述數(shù)據(jù)庫(kù)表結(jié)構(gòu)及說(shuō)明如下:
【權(quán)利要求】
1.一種數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，實(shí)現(xiàn)步驟如下: 1)在數(shù)據(jù)庫(kù)集群服務(wù)器中的每臺(tái)服務(wù)器上配置一個(gè)監(jiān)控代理實(shí)例，在數(shù)據(jù)庫(kù)集群服務(wù)器中配置全局?jǐn)?shù)據(jù)服務(wù)器用于收集和顯示各個(gè)監(jiān)控代理實(shí)例的數(shù)據(jù)； 2)每個(gè)監(jiān)控代理實(shí)例每隔一定時(shí)間獲取一次當(dāng)前服務(wù)器的LOAD，QPS,TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率，匯總至全局?jǐn)?shù)據(jù)服務(wù)器，并建立數(shù)據(jù)庫(kù)表； 3)全局?jǐn)?shù)據(jù)服務(wù)器根據(jù)每個(gè)服務(wù)器的LOAD，QPS，TPS指標(biāo)，按主機(jī)名，時(shí)間信息進(jìn)行分類匯總，獲取一定時(shí)間段內(nèi)所有主機(jī)的各項(xiàng)監(jiān)控?cái)?shù)據(jù)信息； 4)結(jié)合關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)，在關(guān)系型數(shù)據(jù)庫(kù)中取數(shù)據(jù)時(shí)按時(shí)間范圍進(jìn)行一次數(shù)據(jù)讀取，得到一組數(shù)據(jù)集A ; 5)處理獲取到的數(shù)據(jù)集A時(shí)，首先以指標(biāo)字段名建立多個(gè)指標(biāo)大桶，順序讀取從關(guān)系型數(shù)據(jù)庫(kù)中獲取的數(shù)據(jù)集A ； 6)用數(shù)據(jù)集A中的主機(jī)名加指標(biāo)字段名建立主機(jī)指標(biāo)小桶； 讀取數(shù)據(jù)集A中的數(shù)據(jù)，將主機(jī)名和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入對(duì)應(yīng)的主機(jī)指標(biāo)小桶中； 如果不存在對(duì)應(yīng)的主機(jī)指標(biāo)小桶，則以時(shí)間信息和指標(biāo)字段名創(chuàng)建新的主機(jī)指標(biāo)小桶，并將時(shí)間信息和指標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)值放入所述主機(jī)指標(biāo)小桶中； 7)讀取數(shù)據(jù)集A中的所有數(shù)據(jù)到主機(jī)指標(biāo)小桶中，將主機(jī)指標(biāo)小桶名字中指標(biāo)部分相同的主機(jī)指標(biāo)小桶放入對(duì)應(yīng)的指標(biāo)大桶，指標(biāo)大桶中包含了各主機(jī)指標(biāo)小桶的詳細(xì)信息； 這樣就實(shí)現(xiàn)了以指標(biāo)字段為第一維條件，以指標(biāo)字段加主機(jī)名為第二維條件，以時(shí)間信息為三維條件的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)的三維分類。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)據(jù)分類方法，其特征在于:每個(gè)監(jiān)控代理實(shí)例每隔2到5秒獲取一次當(dāng)前服務(wù)器的LOAD，QPS, TPS,網(wǎng)絡(luò)1/0，磁盤1/0，內(nèi)存使用率，CPU使用率信息；全局?jǐn)?shù)據(jù)服務(wù)器建立數(shù)據(jù)庫(kù)表的結(jié)構(gòu)包括字段和類型，所述字段包括主機(jī)名，檢測(cè)時(shí)間，服務(wù)器負(fù)載，磁盤每秒讀取次數(shù)，磁盤每秒寫入次數(shù)，磁盤每秒讀取的扇區(qū)數(shù)，磁盤每秒寫入的扇區(qū)數(shù)，磁盤1隊(duì)列大小，磁盤等待比例，Db插入次數(shù)，Db更新次數(shù)，Db刪除次數(shù)，Db查詢次數(shù)，緩存命中率，全局?jǐn)?shù)據(jù)服務(wù)器通過(guò)建立數(shù)據(jù)庫(kù)表將之按類型歸類。
【文檔編號(hào)】G06F17/30GK103902739SQ201410161990
【公開日】2014年7月2日 申請(qǐng)日期:2014年4月22日 優(yōu)先權(quán)日:2014年4月22日
【發(fā)明者】李國(guó)強(qiáng), 王露, 涂新行 申請(qǐng)人:鄭州悉知信息技術(shù)有限公司