本發(fā)明涉及計(jì)算機(jī)，具體來(lái)說(shuō)，涉及一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法。

背景技術(shù)：

1、系統(tǒng)運(yùn)維監(jiān)視的一個(gè)重要環(huán)節(jié)是it平臺(tái)基礎(chǔ)運(yùn)行特征收集，傳統(tǒng)的it平臺(tái)運(yùn)維監(jiān)視大多通過(guò)定時(shí)程序從各服務(wù)器上收集一些基礎(chǔ)的負(fù)載指標(biāo)，如cpu使用率、內(nèi)存使用率、swap使用情況等。這些監(jiān)視信息可以在一定程度上反映單臺(tái)服務(wù)器的負(fù)載使用情況，但是針對(duì)風(fēng)云三號(hào)衛(wèi)星應(yīng)用集群式的運(yùn)行模式，單個(gè)服務(wù)器負(fù)載指標(biāo)不能反映應(yīng)用整體集群資源使用情況。為了能準(zhǔn)確反映各應(yīng)用集群的整體負(fù)載情況，需要實(shí)時(shí)采集風(fēng)云三號(hào)衛(wèi)星各應(yīng)用運(yùn)行集群的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)以及相關(guān)應(yīng)用的關(guān)鍵屬性監(jiān)視信息，制定集群各類指標(biāo)采集策略和采集頻率，實(shí)現(xiàn)應(yīng)用集群it平臺(tái)各項(xiàng)指標(biāo)的整體使用率和應(yīng)用關(guān)鍵特征運(yùn)行情況等多維度的融合監(jiān)視

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法及系統(tǒng)，對(duì)各應(yīng)用集群整體情況和應(yīng)用運(yùn)行關(guān)鍵指標(biāo)進(jìn)行全方位數(shù)據(jù)采集，獲取集群各類指標(biāo)采集策略和采集頻率，實(shí)現(xiàn)應(yīng)用集群it平臺(tái)各項(xiàng)指標(biāo)的整體使用率和應(yīng)用關(guān)鍵特征運(yùn)行情況多維度的融合監(jiān)視。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

3、第一方面，一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，所述方法包括：

4、獲取各應(yīng)用集群it平臺(tái)運(yùn)行指標(biāo)；

5、對(duì)運(yùn)行指標(biāo)進(jìn)行提取，以得到特征指標(biāo)；

6、對(duì)特征指標(biāo)進(jìn)行采集，以得到采集指標(biāo)；

7、根據(jù)采集指標(biāo)，確定采集頻率和采集狀態(tài)，以得到運(yùn)行指標(biāo)的狀態(tài)信息；

8、根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；

9、將封裝整合的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)。

10、進(jìn)一步的，獲取各應(yīng)用集群it平臺(tái)運(yùn)行指標(biāo)，包括：

11、通過(guò)對(duì)多集群內(nèi)所有節(jié)點(diǎn)的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)指標(biāo)進(jìn)行匯總，獲取應(yīng)用集群的各項(xiàng)整體運(yùn)行指標(biāo)。

12、進(jìn)一步的，對(duì)運(yùn)行指標(biāo)進(jìn)行提取，以得到特征指標(biāo)，包括：

13、通過(guò)配置采集插件來(lái)捕獲關(guān)鍵特征指標(biāo)，包括中間件信息、中間件服務(wù)狀態(tài)、應(yīng)用數(shù)據(jù)庫(kù)信息、數(shù)據(jù)庫(kù)高可用節(jié)點(diǎn)間網(wǎng)絡(luò)通信、應(yīng)用關(guān)鍵端口狀態(tài)、資源調(diào)度各作業(yè)隊(duì)列狀態(tài)、資源調(diào)度服務(wù)狀態(tài)、資源調(diào)度數(shù)據(jù)庫(kù)狀態(tài)和監(jiān)視數(shù)據(jù)匯聚組件狀態(tài)。

14、進(jìn)一步的，對(duì)特征指標(biāo)進(jìn)行采集，以得到采集指標(biāo)，包括：

15、通過(guò)對(duì)特征指標(biāo)進(jìn)行應(yīng)用，獲取不同指標(biāo)的應(yīng)用運(yùn)行特征；

16、根據(jù)不同指標(biāo)的應(yīng)用運(yùn)行特征，采取對(duì)應(yīng)的采集策略進(jìn)行采集，以得到采集指標(biāo)。

17、進(jìn)一步的，根據(jù)采集指標(biāo)，確定采集頻率和采集狀態(tài)，以得到運(yùn)行指標(biāo)的狀態(tài)信息，包括：

18、根據(jù)采集指標(biāo)，以獲取采集指標(biāo)頻率和采集狀態(tài)，其中，cpu、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)和應(yīng)用關(guān)鍵特征的采集指標(biāo)頻率為30秒；

19、根據(jù)指標(biāo)頻率和采集狀態(tài)，采用并發(fā)策略讀取各運(yùn)行指標(biāo)的狀態(tài)信息，以獲取每個(gè)指標(biāo)的狀態(tài)信息。

20、進(jìn)一步的，根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝整合處理，以得到封裝整合處理的數(shù)據(jù)，包括：

21、根據(jù)狀態(tài)信息，收集各類原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，以得到預(yù)處理數(shù)據(jù)；

22、對(duì)預(yù)處理數(shù)據(jù)進(jìn)行封裝和核查，以得到核查后數(shù)據(jù)；

23、對(duì)核查后數(shù)據(jù)進(jìn)行轉(zhuǎn)換和整合，以得到封裝整合的數(shù)據(jù)。

24、進(jìn)一步的，將封裝整合的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)，包括：

25、對(duì)封裝整合的數(shù)據(jù)進(jìn)行過(guò)濾、轉(zhuǎn)換和計(jì)算處理，以得到處理數(shù)據(jù)；

26、對(duì)處理數(shù)據(jù)進(jìn)行聚合匯總，以得到匯總數(shù)據(jù)。

27、第二方面，一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集系統(tǒng)，包括：

28、獲取模塊，用于獲取各應(yīng)用集群it平臺(tái)運(yùn)行指標(biāo)；對(duì)運(yùn)行指標(biāo)進(jìn)行提取，以得到特征指標(biāo)；對(duì)特征指標(biāo)進(jìn)行采集，以得到采集指標(biāo)。

29、處理模塊，用于根據(jù)采集指標(biāo)，確定采集頻率和采集狀態(tài)，以得到運(yùn)行指標(biāo)的狀態(tài)信息；根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；將封裝整合的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)。

30、第三方面，一種計(jì)算設(shè)備，包括：

31、一個(gè)或多個(gè)處理器；

32、存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)所述的方法。

33、第四方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的方法。

34、本發(fā)明的上述方案至少包括以下有益效果：

35、對(duì)多集群內(nèi)所有節(jié)點(diǎn)的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)指標(biāo)進(jìn)行匯總，確保了數(shù)據(jù)的全面性，通過(guò)配置采集插件來(lái)捕獲關(guān)鍵特征指標(biāo)，包括中間件信息、數(shù)據(jù)庫(kù)狀態(tài)、資源調(diào)度狀態(tài)，提高數(shù)據(jù)采集的準(zhǔn)確性；根據(jù)不同的采集指標(biāo)，采取對(duì)應(yīng)的采集策略，并設(shè)定合理的采集頻率，確保數(shù)據(jù)采集的高效性和實(shí)時(shí)性，采用并發(fā)策略讀取各運(yùn)行指標(biāo)的狀態(tài)信息，提高了數(shù)據(jù)采集的效率；根據(jù)不同的應(yīng)用運(yùn)行特征采取對(duì)應(yīng)的采集策略，體現(xiàn)良好的靈活性，通過(guò)封裝整合處理原始數(shù)據(jù)，并支持對(duì)數(shù)據(jù)的過(guò)濾、轉(zhuǎn)換和計(jì)算處理，能夠適應(yīng)不同規(guī)模和復(fù)雜度的應(yīng)用集群監(jiān)視需求；通過(guò)全方位數(shù)據(jù)采集和指標(biāo)整合，能夠進(jìn)行全面的應(yīng)用集群運(yùn)行狀態(tài)分析。

技術(shù)特征：

1.一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，獲取各應(yīng)用集群it平臺(tái)運(yùn)行指標(biāo)，包括：

3.根據(jù)權(quán)利要求2所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，對(duì)運(yùn)行指標(biāo)進(jìn)行提取，以得到特征指標(biāo)，包括：

4.根據(jù)權(quán)利要求3所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，對(duì)特征指標(biāo)進(jìn)行采集，以得到采集指標(biāo)，包括：

5.根據(jù)權(quán)利要求4所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，根據(jù)采集指標(biāo)，確定采集頻率和采集狀態(tài)，以得到運(yùn)行指標(biāo)的狀態(tài)信息，包括：

6.根據(jù)權(quán)利要求5所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝整合處理，以得到封裝整合處理的數(shù)據(jù)，包括：

7.根據(jù)權(quán)利要求6所述的基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，將封裝整合的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)，包括：

8.一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

9.一種計(jì)算設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提供一種基于多維度融合的應(yīng)用集群監(jiān)視數(shù)據(jù)采集方法及系統(tǒng)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，所述方法包括：獲取各應(yīng)用集群IT平臺(tái)運(yùn)行指標(biāo)；對(duì)運(yùn)行指標(biāo)進(jìn)行提取，以得到特征指標(biāo)；對(duì)特征指標(biāo)進(jìn)行采集，以得到采集指標(biāo)；根據(jù)采集指標(biāo)，確定采集頻率和采集狀態(tài)，以得到運(yùn)行指標(biāo)的狀態(tài)信息；根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；將封裝整合的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)。本發(fā)明對(duì)各應(yīng)用集群整體情況和應(yīng)用運(yùn)行關(guān)鍵指標(biāo)進(jìn)行全方位數(shù)據(jù)采集，獲取集群各類指標(biāo)采集策略和采集頻率，實(shí)現(xiàn)應(yīng)用集群IT平臺(tái)各項(xiàng)指標(biāo)的整體使用率和應(yīng)用關(guān)鍵特征運(yùn)行情況多維度的融合監(jiān)視。

技術(shù)研發(fā)人員：張璽,林曼筠,趙現(xiàn)綱,范存群,國(guó)鵬,張戰(zhàn)云,衛(wèi)蘭,薛依琪,常翔宇
受保護(hù)的技術(shù)使用者：國(guó)家衛(wèi)星氣象中心（國(guó)家空間天氣監(jiān)測(cè)預(yù)警中心）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19