數(shù)據(jù)運維監(jiān)控方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施例涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)運維監(jiān)控方法及裝置。
【背景技術(shù)】
[0002]隨著計算機和網(wǎng)絡(luò)通信的發(fā)展，數(shù)據(jù)承載和數(shù)據(jù)應(yīng)用迅速普及，針對數(shù)據(jù)服務(wù)、業(yè)務(wù)應(yīng)用的運維也顯得日益重要。數(shù)據(jù)中心的運維范圍包含兩個層面，針對CPU、硬盤、網(wǎng)絡(luò)等通用數(shù)據(jù)的運維，以及針對各業(yè)務(wù)應(yīng)用的私有數(shù)據(jù)的運維。
[0003]在針對私有業(yè)務(wù)應(yīng)用數(shù)據(jù)的運維層面，傳統(tǒng)的實現(xiàn)方式是針對每種業(yè)務(wù)應(yīng)用數(shù)據(jù)均經(jīng)過數(shù)據(jù)指標定義、數(shù)據(jù)監(jiān)控和統(tǒng)計展示分析、數(shù)據(jù)采集、數(shù)據(jù)清洗和數(shù)據(jù)展示界面等開發(fā)步驟，隨著業(yè)務(wù)應(yīng)用的逐步擴展，每種業(yè)務(wù)數(shù)據(jù)均重復(fù)上述開發(fā)工作而投入的工作量逐步增大，最終導(dǎo)致人力成本逐步提升而難以支撐。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例提供一種數(shù)據(jù)運維監(jiān)控方法及裝置，減少人工開發(fā)操作，實現(xiàn)對業(yè)務(wù)應(yīng)用數(shù)據(jù)的自動化運維監(jiān)控，提供運維支撐效率。
[0005]第一方面，本發(fā)明實施例還提供一種數(shù)據(jù)運維監(jiān)控裝置，包括:
[0006]基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊，用于提供基礎(chǔ)元數(shù)據(jù)的監(jiān)控管理，對外提供基礎(chǔ)元數(shù)據(jù)配置引擎和基礎(chǔ)元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括數(shù)據(jù)庫表與字段的監(jiān)控管理、元數(shù)據(jù)對象與對象屬性的監(jiān)控管理、界面與界面元素的監(jiān)控管理和查詢視圖的監(jiān)控管理中的至少一種；
[0007]統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊，用于提供對統(tǒng)計元數(shù)據(jù)的監(jiān)控管理，對外提供統(tǒng)計元數(shù)據(jù)管理界面和統(tǒng)計元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括主題監(jiān)控管理、主題模型監(jiān)控管理、公有維度監(jiān)控管理、私有維度監(jiān)控管理、維度層級監(jiān)控管理、度量監(jiān)控管理和度量方式監(jiān)控管理中的至少一種。
[0008]第二方面，本發(fā)明實施例提供了一種數(shù)據(jù)運維監(jiān)控方法，包括:
[0009]提供基礎(chǔ)元數(shù)據(jù)的監(jiān)控管理，對外提供基礎(chǔ)元數(shù)據(jù)配置引擎和基礎(chǔ)元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括數(shù)據(jù)庫表與字段的監(jiān)控管理、元數(shù)據(jù)對象與對象屬性的監(jiān)控管理、界面與界面元素的監(jiān)控管理和查詢視圖的監(jiān)控管理中的至少一種；
[0010]提供對統(tǒng)計元數(shù)據(jù)的監(jiān)控管理，對外提供統(tǒng)計元數(shù)據(jù)管理界面和統(tǒng)計元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括主題監(jiān)控管理、主題模型監(jiān)控管理、公有維度監(jiān)控管理、私有維度監(jiān)控管理、維度層級監(jiān)控管理、度量監(jiān)控管理和度量方式監(jiān)控管理中的至少一種。
[0011]本發(fā)明實施例通過基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊提供基礎(chǔ)元數(shù)據(jù)的監(jiān)控管理功能，并對外提供基礎(chǔ)元數(shù)據(jù)配置引擎和基礎(chǔ)元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括數(shù)據(jù)庫表與字段的監(jiān)控管理、元數(shù)據(jù)對象與對象屬性的監(jiān)控管理、界面與界面元素的監(jiān)控管理和查詢視圖的監(jiān)控管理中的至少一種；通過統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊提供對統(tǒng)計元數(shù)據(jù)的監(jiān)控管理，并對外提供統(tǒng)計元數(shù)據(jù)管理界面和統(tǒng)計元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括主題監(jiān)控管理、主題模型監(jiān)控管理、公有維度監(jiān)控管理、私有維度監(jiān)控管理、維度層級監(jiān)控管理、度量監(jiān)控管理和度量方式監(jiān)控管理中的至少一種。本發(fā)明實施例所述提供的裝置能夠減少人工開發(fā)操作，實現(xiàn)對業(yè)務(wù)應(yīng)用數(shù)據(jù)的自動化運維監(jiān)控，提供運維支撐效率。
【附圖說明】
[0012]圖1A為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置的結(jié)構(gòu)示意圖；
[0013]圖1B為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置中的基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊所執(zhí)行的操作流程示意圖；
[0014]圖1C為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置中的統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊所執(zhí)行的操作流程示意圖；
[0015]圖1D為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置中的任務(wù)調(diào)度過程示意圖；
[0016]圖1E為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置中的角色控制流程示意圖；
[0017]圖2為本發(fā)明實施例二提供的數(shù)據(jù)運維監(jiān)控方法的流程示意圖。
【具體實施方式】
[0018]下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0019]實施例一
[0020]圖1A為本發(fā)明實施例一提供的數(shù)據(jù)運維監(jiān)控裝置的結(jié)構(gòu)示意圖，如圖1A所示，具體包括:基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊11和統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊12 ;
[0021]所述基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊11用于提供基礎(chǔ)元數(shù)據(jù)的監(jiān)控管理，對外提供基礎(chǔ)元數(shù)據(jù)配置引擎和基礎(chǔ)元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括數(shù)據(jù)庫表與字段的監(jiān)控管理、元數(shù)據(jù)對象與對象屬性的監(jiān)控管理、界面與界面元素的監(jiān)控管理和查詢視圖的監(jiān)控管理中的至少一種；
[0022]所述統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊12用于提供對統(tǒng)計元數(shù)據(jù)的監(jiān)控管理，對外提供統(tǒng)計元數(shù)據(jù)管理界面和統(tǒng)計元數(shù)據(jù)管理引擎；所述監(jiān)控管理包括主題監(jiān)控管理、主題模型監(jiān)控管理、公有維度監(jiān)控管理、私有維度監(jiān)控管理、維度層級監(jiān)控管理、度量監(jiān)控管理和度量方式監(jiān)控管理中的至少一種。
[0023]具體來說，如圖1B所示，所述基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊11是對基礎(chǔ)監(jiān)控數(shù)據(jù)的管理，具體包括數(shù)據(jù)庫表(例如，支持關(guān)系型數(shù)據(jù)庫與非關(guān)系型的數(shù)據(jù)庫)與字段的管理、元數(shù)據(jù)對象與對象屬性的管理、界面與界面元素的管理、查詢視圖的管理。并以RESTFUL軟件架構(gòu)風格的形式對外提供元數(shù)據(jù)配置引擎、元數(shù)據(jù)管理引擎。
[0024]如圖1C所示，所述統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊12是針對統(tǒng)計主題、維度與度量的管理，包括主題管理、主題模型管理、公有維度管理、私有維度管理、維度層級管理、度量管理、度量方式管理。一方面以RESTFUL接口形式對外提供統(tǒng)計元數(shù)據(jù)管理界面，另一方面提供統(tǒng)計元數(shù)據(jù)管理引擎，將統(tǒng)計元數(shù)據(jù)配置信息傳給ETL引擎。
[0025]本實施例通過基礎(chǔ)元數(shù)據(jù)監(jiān)控管理模塊提供基礎(chǔ)元數(shù)據(jù)的監(jiān)控管理功能，并對外提供基礎(chǔ)元數(shù)據(jù)配置引擎和基礎(chǔ)元數(shù)據(jù)管理引擎；通過統(tǒng)計元數(shù)據(jù)監(jiān)控管理模塊提供對統(tǒng)計元數(shù)據(jù)的監(jiān)控管理，并對外提供統(tǒng)計元數(shù)據(jù)管理界面和統(tǒng)計元數(shù)據(jù)管理引擎。本實施例所述提供的裝置能夠減少人工開發(fā)操作，實現(xiàn)對業(yè)務(wù)應(yīng)用數(shù)據(jù)的自動化運維監(jiān)控，提供運維支撐效率。
[0026]示例性的，在上述實施例的基礎(chǔ)上，所述裝置還包括:主題表管理模塊13 ;
[0027]所述主題表管理模塊13用于提供主題表初始索引配置、主題表自動創(chuàng)建、自動升級、數(shù)據(jù)留存、版本管理與版本恢復(fù)功能和支持關(guān)系型數(shù)據(jù)庫中的至少一種功能；針對主題表的訪問歷史記錄進行分析和索引優(yōu)化。
[0028]具體的，所述主題表管理模塊13基于上述統(tǒng)計元數(shù)據(jù)管理引擎，進行主題表的管理，同時提供主題表自動創(chuàng)建、自動升級、數(shù)據(jù)留存、版本管理與版本恢復(fù)功能，并支持各種關(guān)系型數(shù)據(jù)庫。還提供主題表初始索引配置功能，并提供針對主題表的訪問歷史記錄與分析，自動或人工進行索引后期優(yōu)化。提供主題表其他層面性能優(yōu)化與分析功能。
[0029]示例性的，在上述實施例的基礎(chǔ)上，所述裝置還包括:數(shù)據(jù)處理模塊14 ;
[0030]所述數(shù)據(jù)處理模塊14用于采用商業(yè)智能平臺SpagoBI的抽取轉(zhuǎn)換加載ETL組件對數(shù)據(jù)進行抽取和清洗；采用商業(yè)智能平臺SpagoBI的商業(yè)智能BI組件對數(shù)據(jù)采用統(tǒng)計圖表進行展現(xiàn)。
[0031]具體的，所述數(shù)據(jù)處理模塊14基于商業(yè)智能平臺SpagoBI的抽取轉(zhuǎn)換加載ETL組件實現(xiàn)實現(xiàn)基礎(chǔ)元數(shù)據(jù)的獲取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)歸并、數(shù)據(jù)存儲、數(shù)據(jù)流轉(zhuǎn)監(jiān)控等功能，達到數(shù)據(jù)清洗的自動化。并對源碼進行修改，將ETL工具與元數(shù)據(jù)、主題表配置進行整合，提供給用戶界面級配置工具，降低配置開發(fā)難度與人員水平。
[0032]示例性的，在上述實施例的基礎(chǔ)上，所述裝置還包括:任務(wù)管理模塊15 ;
[0033]所述任務(wù)管理模塊15用于提供任務(wù)管理配置、任務(wù)調(diào)度和任務(wù)監(jiān)控功能；所述任務(wù)管理配置包括任務(wù)執(zhí)行實體管理、任務(wù)執(zhí)行實體歸類管理、任務(wù)輪訓時長管理、任務(wù)重試管理及任務(wù)執(zhí)行日志管理中的至少一種，所述任務(wù)調(diào)度包括多線程任務(wù)處理和/或任務(wù)追趕，所述任務(wù)監(jiān)控包括監(jiān)控任務(wù)啟動、任務(wù)停止、任務(wù)暫停、任務(wù)重試一次、任務(wù)執(zhí)行日志、歷史日志異常自動獲取、自動統(tǒng)計和主動分析中的至少一種。
[0034]具體的，第一方面，所述任務(wù)管理模塊15提供任務(wù)基礎(chǔ)數(shù)據(jù)的管理配置，包括任務(wù)執(zhí)行實體管理、任務(wù)執(zhí)行實體歸類管理、任務(wù)輪訓時長管理、任務(wù)重試管理及任務(wù)執(zhí)行日志管理。
[0035]第二方面，所述任務(wù)管理模塊15基于待處理資源管理單元、線程池管理單元和應(yīng)用服務(wù)管理單元進行多線程任務(wù)處理和任務(wù)追趕等操作。如圖1D所示，為任務(wù)調(diào)度處理過程，所述待處理資源管理單元用于描述待處理資源，所述應(yīng)用服務(wù)管理單元用于根據(jù)所述線程池中的線程數(shù)據(jù)為服務(wù)器分配線程，所述線程池管理單元用于為每個待處理資源描述分配運行的線程數(shù)，經(jīng)過所述待處理資源管理單元、線程池管理單元和應(yīng)用服務(wù)管理單元的處理，即可形成執(zhí)行任務(wù)，即所述執(zhí)行任務(wù)包括每個待處理資源描述對應(yīng)的線程和運行服務(wù)器，通過任務(wù)管理引擎單元將所述執(zhí)行任務(wù)傳送至任務(wù)管理服務(wù)單元，同時所述任務(wù)管理服務(wù)單元根據(jù)待處理資源集合，得到每個待處理資源與對應(yīng)的線程和運行服務(wù)器的對應(yīng)關(guān)系，將其放置到緩存中的任務(wù)隊列中，任務(wù)處理引擎間隔調(diào)用任務(wù)隊列中的待處理資源，將所述待處理資源分配到對應(yīng)的服務(wù)器上，啟動對應(yīng)的線程運行，最終得到數(shù)據(jù)處理結(jié)果O
[0036]第三方面，所述任務(wù)管理模塊15提供任務(wù)監(jiān)控功能，提供任務(wù)啟動、停止、暫停、重試一次等操作，并監(jiān)控任務(wù)執(zhí)行日志，監(jiān)控歷史日志異常自動獲取、自動統(tǒng)計和主動分析功能。
[0037]示例性的，在上述實施例的基礎(chǔ)上，所述裝置還包括:權(quán)限控制管理模塊16 ;
[0038]所述權(quán)限控制管理模塊16用于提供權(quán)限控制管理，所述權(quán)限控制管理包括用戶、用戶組、角色、員工、功能的配置及數(shù)據(jù)權(quán)限、角色分級中的至少一種。
[0039]具體