數(shù)據(jù)的監(jiān)控方法及裝置的制造方法
【專利摘要】本發(fā)明提出了一種數(shù)據(jù)的監(jiān)控方法及裝置，該數(shù)據(jù)的監(jiān)控方法包括：監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息；將熱度信息、分布信息、流向信息進行圖形展示。本發(fā)明通過以圖形的方式將獲取到的數(shù)據(jù)的熱度信息、分布信息以及流向信息進行展示，從而能夠更加直觀的展示數(shù)據(jù)的自身規(guī)律，使數(shù)據(jù)分析變得更加高效、準確。
【專利說明】
數(shù)據(jù)的監(jiān)控方法及裝置
技術領域
[0001]本發(fā)明涉及數(shù)據(jù)監(jiān)控領域，具體來說，涉及一種數(shù)據(jù)的監(jiān)控方法及裝置。
【背景技術】
[0002]當前隨著數(shù)據(jù)的海量增長和大數(shù)據(jù)技術越來越成熟、越多的數(shù)據(jù)被整合起來并加以利用。越來越多的數(shù)據(jù)中心數(shù)據(jù)平臺都逐漸開始建設與完善。而數(shù)據(jù)價值的展現(xiàn)則越來越趨于普及化及專業(yè)化。對于不同業(yè)務數(shù)據(jù)的分析展示當前都有比較成熟的技術，應用于不同的業(yè)務場景，成熟的分析展示方式已經(jīng)大量涌現(xiàn)。
[0003]現(xiàn)有的數(shù)據(jù)分析多應用于數(shù)據(jù)的業(yè)務內(nèi)容價值，對于數(shù)據(jù)本身很少有涉獵的內(nèi)容，而對于數(shù)據(jù)中心這種業(yè)務場景關注的可能并不是數(shù)據(jù)內(nèi)容的信息，更多的反而是各應用系統(tǒng)抽取存儲的數(shù)據(jù)的本身的規(guī)律。
[0004]針對相關技術中的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0005]針對相關技術中的問題，本發(fā)明提出一種數(shù)據(jù)的監(jiān)控方法及裝置，能夠。
[0006]本發(fā)明的技術方案是這樣實現(xiàn)的:
[0007]根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)的監(jiān)控方法。
[0008]該監(jiān)控方法包括:
[0009]監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息；
[0010]將熱度信息、分布信息、流向信息進行圖形展示。
[0011]在一個優(yōu)選的實施例中，熱度信息包括以下至少之一:
[0012]數(shù)據(jù)的表熱度信息、應用系統(tǒng)數(shù)據(jù)信息、平臺數(shù)據(jù)熱度信息。
[0013]在一個優(yōu)選的實施例中，分布信息包括以下至少之一:
[0014]數(shù)據(jù)的表容量信息、應用系統(tǒng)容量信息、平臺數(shù)據(jù)容量信息。
[0015]在一個優(yōu)選的實施例中，獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息包括:
[0016]對數(shù)據(jù)的訪問次數(shù)和/或訪問量進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取熱度信息；
[0017]對數(shù)據(jù)的容量信息和/或記錄數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取分布信息；
[0018]對數(shù)據(jù)的訪問者信息進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取流向信息。
[0019]在一個優(yōu)選的實施例中，圖形展示的方式包括以下至少之一:
[0020]條形圖、餅圖、折線圖、數(shù)據(jù)流向圖。
[0021]根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)的監(jiān)控裝置。
[0022]該監(jiān)控裝置包括:
[0023]獲取模塊，用于監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息；
[0024]展示模塊，用于將熱度信息、分布信息、流向信息進行圖形展示。
[0025]在一個優(yōu)選的實施例中，熱度信息包括以下至少之一:
[0026]數(shù)據(jù)的表熱度信息、應用系統(tǒng)數(shù)據(jù)信息、平臺數(shù)據(jù)熱度信息。
[0027]在一個優(yōu)選的實施例中，分布信息包括以下至少之一:
[0028]數(shù)據(jù)的表容量信息、應用系統(tǒng)容量信息、平臺數(shù)據(jù)容量信息。
[0029]在一個優(yōu)選的實施例中，獲取模塊包括:
[0030]熱度信息獲取模塊，用于對數(shù)據(jù)的訪問次數(shù)和/或訪問量進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取熱度ig息；
[0031]分布信息獲取模塊，用于對數(shù)據(jù)的容量信息和/或記錄數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取分布信息；
[0032]流向信息獲取模塊，用于對數(shù)據(jù)的訪問者信息進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取流向
?目息O
[0033]在一個優(yōu)選的實施例中，圖形展示的方式包括以下至少之一:
[0034]條形圖、餅圖、折線圖、數(shù)據(jù)流向圖。
[0035]本發(fā)明通過以圖形的方式將獲取到的數(shù)據(jù)的熱度信息、分布信息以及流向信息進行展示，從而能夠更加直觀的展示數(shù)據(jù)的自身規(guī)律，使數(shù)據(jù)分析變得更加高效、準確。
【附圖說明】
[0036]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0037]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控方法的圖形展示圖；
[0038]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控方法的圖形展示圖；
[0039]圖3是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控方法的圖形展示圖；
[0040]圖4是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控方法的圖形展示圖；
[0041 ]圖5是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控方法的流程圖；
[0042]圖6是根據(jù)本發(fā)明實施例的數(shù)據(jù)的監(jiān)控裝置的框圖。
【具體實施方式】
[0043]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0044]對數(shù)據(jù)中心的數(shù)據(jù)價值分析，主要非為三個方面的考慮，分別為數(shù)據(jù)的熱度、數(shù)據(jù)分布狀態(tài)及數(shù)據(jù)在各系統(tǒng)中的流向，以下將對三個方面分析展示的價值進行及實現(xiàn)方式做具體闡述:
[0045]1.數(shù)據(jù)熱度
[0046]數(shù)據(jù)價值:數(shù)據(jù)熱度反映了數(shù)據(jù)在數(shù)據(jù)中心的被利用情況，一定程度的影響著數(shù)據(jù)價值高低。通過反映出數(shù)據(jù)的活躍度能夠幫助數(shù)據(jù)中心分析人員快速定位僵尸數(shù)據(jù)及熱點數(shù)據(jù)，結合其他的數(shù)據(jù)性能指標能夠給予裁斷，如增加活躍數(shù)據(jù)讀取性能、迀移僵尸數(shù)據(jù)等。
[0047]實現(xiàn)方法:數(shù)據(jù)活躍度的監(jiān)控實現(xiàn)，主要是以表做最小的監(jiān)控單位，并定時對表的訪問信息(訪問次數(shù)、訪問量)做統(tǒng)計，最終按照應用系統(tǒng)數(shù)據(jù)，平臺數(shù)據(jù)做歸檔，算出表熱度、應用系統(tǒng)數(shù)據(jù)熱度及平臺數(shù)據(jù)熱度。使用統(tǒng)計圖表的方式分別展現(xiàn)平臺、系統(tǒng)、特定數(shù)據(jù)表的數(shù)據(jù)被其它各應用系統(tǒng)的訪問熱度及歷史變化。
[0048]信息采集過程:對于結構化數(shù)據(jù)庫OracleRac的表數(shù)據(jù)熱度采集必須在盡量不影響性能的情況下盡量真實地記錄表的訪問次數(shù)?；谶@種考慮，Oracle Rac活躍度統(tǒng)計放棄使用了對性能影響較大的Oracle Rac審計日志功能，選擇了一種能夠基本反映出表訪問次數(shù)的方式，其主要的實現(xiàn)方式為定時將sql緩存區(qū)中的數(shù)據(jù)進行抽取并存入分析數(shù)據(jù)庫，通過sql語句中關聯(lián)表及影響記錄數(shù)來統(tǒng)計各表的在這段時間的訪問次數(shù)及訪問記錄數(shù)。
[0049]對于非結構化數(shù)據(jù)庫IBMP的表活躍度統(tǒng)計采取了抽取檢索模塊的調(diào)用日志信息的方式。通過對客戶端檢索服務記錄信息的分解獲取查詢的表的訪問信息及檢索結果集信息。
[0050]展示方式:數(shù)據(jù)熱度展現(xiàn)方式主要是通過條形圖和折線圖，其中條形圖展示當前熱度狀態(tài)，能夠過濾的條件主要包括:訪問應用系統(tǒng)、被訪問應用系統(tǒng)、被訪問表、被訪問平臺、統(tǒng)計指標(記錄數(shù)、次數(shù))。折線圖要展示的為數(shù)據(jù)熱度的歷史變化，能夠過濾的條件主要包括:訪問應用系統(tǒng)、被訪問應用系統(tǒng)、被訪問表、被訪問平臺、統(tǒng)計指標(記錄數(shù)、次數(shù))及時間區(qū)間。
[0051]2.數(shù)據(jù)分布
[0052]數(shù)據(jù)價值:數(shù)據(jù)分布指標反映了各應用系統(tǒng)在數(shù)據(jù)中心的存儲狀態(tài)及數(shù)據(jù)構成，通過該信息數(shù)據(jù)中心分析人員能夠快速了解各應用系統(tǒng)的數(shù)據(jù)存儲規(guī)律及各層存儲單元的容量信息。
[0053]實現(xiàn)方法:數(shù)據(jù)分布的監(jiān)控實現(xiàn)主要通過定時采集各應用系統(tǒng)映射平臺用戶的所屬表的容量信息(記錄數(shù)、容量)，并定期對采集記錄按照應用系統(tǒng)容量、表容量、平臺容量做歸檔。展示方面通過散點圖、餅圖、條形圖來展現(xiàn)系統(tǒng)、表、平臺的容量狀態(tài)及歷史變化。
[0054]信息采集過程:結構化數(shù)據(jù)庫OracleRac，為遵守不影響性能原則并未使用直接查詢的方式而是使用了定時刷新系統(tǒng)試圖的各表信息的方式獲取各表的容量及記錄數(shù)。
[0055]非結構化數(shù)據(jù)庫IBMP的分布信息獲取采用了獲取數(shù)據(jù)文件容量及元數(shù)據(jù)估算的方式獲取各表容量及記錄數(shù)。
[0056]展示方式:數(shù)據(jù)分布主要使用了散點圖、餅圖和條形圖作為數(shù)據(jù)的展示。其中數(shù)據(jù)分布散點圖(如圖1所示)通過點的顏色(在圖1中以不同類型的填充線代表不同的顏色)表示應用系統(tǒng)、一個點代表了一個表或一個文件夾、點的大小代表了數(shù)據(jù)的容量信息，需要過濾的條件包括:指標(容量、記錄數(shù))、平臺。在一個優(yōu)選的實施例中，展示方式可以為餅圖，如圖2所示。餅圖展示了系統(tǒng)的組成信息，圖中的一種顏色(在圖2中以不同類型的填充線代表不同的顏色)代表一個文件夾，從餅圖中可直接獲取到表或文件夾在存儲中心占用的比例，在另一個實施例中，圖中的一種顏色可代表一個表，過濾條件包括:指標(容量、記錄數(shù))、平臺、應用系統(tǒng)。在另一個優(yōu)選的實施例中，展示方式還可以為條形圖，如圖3所示。條形圖展示了各應用系統(tǒng)的容量對比，在條形圖中，一個條形代表一個表或文件夾，以及該表所應用的系統(tǒng)，條形圖展示了該表在存儲中心的存儲單元的容量，過濾條件包括:指標(容量、記錄數(shù))、平臺、應用系統(tǒng)。
[0057]3.數(shù)據(jù)流向:
[0058]數(shù)據(jù)價值:通過數(shù)據(jù)流向指標展示了數(shù)據(jù)中心中各應用系統(tǒng)數(shù)據(jù)交互的情況，能夠協(xié)助平臺分析師了解各應用系統(tǒng)之間的關系，大體描述出生產(chǎn)者和消費者的數(shù)據(jù)生命周期。
[0059]實現(xiàn)方法:數(shù)據(jù)流向的監(jiān)控實現(xiàn)與數(shù)據(jù)熱度展示類似，都使用表的訪問信息數(shù)據(jù)，與其不同的是需要統(tǒng)計信息還需要分別記錄不同訪問者的信息，以便能夠清楚數(shù)據(jù)訪問者和擁有者，并通過流向統(tǒng)計圖來展示出各數(shù)據(jù)流向關系。
[0060]信息采集:與熱點數(shù)據(jù)獲取方式類似，采集OracI e的緩存信息及IBMP的檢索日志分析出各應用系統(tǒng)用戶訪問表的記錄。
[0061]展示方式:通過流向圖對數(shù)據(jù)流向進行展示，不同的點為不同的應用系統(tǒng)，點的閃爍的光芒大小為系統(tǒng)的活躍度，系統(tǒng)與系統(tǒng)之間的連線為訪問信息，箭頭方向充數(shù)據(jù)提供者到數(shù)據(jù)使用者，連線的粗細代表數(shù)據(jù)量的大小、連線的閃爍速度代表交互次數(shù)。統(tǒng)計圖形式如圖4所示，在圖4中，一個圓代表一個應用系統(tǒng)，并且這些應用系統(tǒng)均運行于存儲中心上，其中，各個圓之間的連線代表應用系統(tǒng)之間的數(shù)據(jù)使用關系。
[0062]根據(jù)本發(fā)明的實施例，提供了一種數(shù)據(jù)的監(jiān)控方法。
[0063 ]如圖5所示，根據(jù)本發(fā)明實施例的監(jiān)控方法，包括:
[0064]步驟S501，監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息。在一個優(yōu)選的實施例中，數(shù)據(jù)可以為結構化數(shù)據(jù)庫中的數(shù)據(jù)。在另一個優(yōu)選的實施例中，數(shù)據(jù)可以為非結構化數(shù)據(jù)庫中的數(shù)據(jù)。
[0065]步驟S503，將熱度信息、分布信息、流向信息進行圖形展示。具體的，在一個優(yōu)選的實施例中，圖形展示的方法包括但不限于以下至少之一:條形圖、折線圖、餅圖、數(shù)據(jù)流向圖。
[0066]根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)的監(jiān)控裝置。
[0067 ]如圖6所示，根據(jù)本發(fā)明實施例的監(jiān)控裝置，包括:
[0068]獲取模塊61，用于監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息；
[0069]展示模塊62，用于將熱度信息、分布信息、流向信息進行圖形展示。
[0070]在一個優(yōu)選的實施例中，熱度信息包括以下至少之一:
[0071]數(shù)據(jù)的表熱度信息、應用系統(tǒng)數(shù)據(jù)信息、平臺數(shù)據(jù)熱度信息。
[0072]在一個優(yōu)選的實施例中，分布信息包括以下至少之一:
[0073]數(shù)據(jù)的表容量信息、應用系統(tǒng)容量信息、平臺數(shù)據(jù)容量信息。
[0074]在一個優(yōu)選的實施例中，獲取模塊包括:
[0075]熱度信息獲取模塊(未示出)，該模塊用于對數(shù)據(jù)的訪問次數(shù)和/或訪問量進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取熱度信息；
[0076]分布信息獲取模塊(未示出)，該模塊用于對數(shù)據(jù)的容量信息和/或記錄數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取分布信息；
[0077]流向信息獲取模塊(未示出)，該模塊用于對數(shù)據(jù)的訪問者信息進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取流向信息。
[0078]在一個優(yōu)選的實施例中，圖形展示的方式包括以下至少之一:
[0079]條形圖、餅圖、折線圖。
[0080]綜上所述，借助于本發(fā)明的上述技術方案，通過對數(shù)據(jù)的熱度信息、分布信息以及流向信息進行監(jiān)控及顯示，從而能夠更直觀的展示出數(shù)據(jù)的訪問熱度及歷史變化、存儲狀態(tài)及數(shù)據(jù)構成、以及數(shù)據(jù)的交互情況，進而反映出數(shù)據(jù)的自身規(guī)律，使數(shù)據(jù)分析變得更加高效、準確。
[0081]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【主權項】
1.一種數(shù)據(jù)的監(jiān)控方法，其特征在于，包括: 監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息； 將所述熱度信息、所述分布信息、所述流向信息進行圖形展示。2.根據(jù)權利要求1所述的監(jiān)控方法，其特征在于，所述熱度信息包括以下至少之一: 所述數(shù)據(jù)的表熱度信息、應用系統(tǒng)數(shù)據(jù)信息、平臺數(shù)據(jù)熱度信息。3.根據(jù)權利要求1所述的監(jiān)控方法，其特征在于，所述分布信息包括以下至少之一: 所述數(shù)據(jù)的表容量信息、應用系統(tǒng)容量信息、平臺數(shù)據(jù)容量信息。4.根據(jù)權利要求1所述的監(jiān)控方法，其特征在于，獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息包括: 對所述數(shù)據(jù)的訪問次數(shù)和/或訪問量進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述熱度信息； 對所述數(shù)據(jù)的容量信息和/或記錄數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述分布信息； 對所述數(shù)據(jù)的訪問者信息進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述流向信息。5.根據(jù)權利要求1所述的監(jiān)控方法，其特征在于，所述圖形展示的方式包括以下至少之 條形圖、餅圖、折線圖、數(shù)據(jù)流向圖。6.一種數(shù)據(jù)的監(jiān)控裝置，其特征在于，包括: 獲取模塊，用于監(jiān)控并獲取數(shù)據(jù)的熱度信息、分布信息以及流向信息； 展示模塊，用于將所述熱度信息、所述分布信息、所述流向信息進行圖形展示。7.根據(jù)權利要求6所述的監(jiān)控裝置，其特征在于，所述熱度信息包括以下至少之一: 所述數(shù)據(jù)的表熱度信息、應用系統(tǒng)數(shù)據(jù)信息、平臺數(shù)據(jù)熱度信息。8.根據(jù)權利要求6所述的監(jiān)控裝置，其特征在于，所述分布信息包括以下至少之一: 所述數(shù)據(jù)的表容量信息、應用系統(tǒng)容量信息、平臺數(shù)據(jù)容量信息。9.根據(jù)權利要求6所述的監(jiān)控裝置，其特征在于，獲取模塊包括: 熱度信息獲取模塊，用于對所述數(shù)據(jù)的訪問次數(shù)和/或訪問量進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述熱度信息； 分布信息獲取模塊，用于對所述數(shù)據(jù)的容量信息和/或記錄數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述分布信息； 流向信息獲取模塊，用于對所述數(shù)據(jù)的訪問者信息進行統(tǒng)計，根據(jù)統(tǒng)計結果獲取所述流向ig息。10.根據(jù)權利要求6所述的監(jiān)控裝置，其特征在于，所述圖形展示的方式包括以下至少之一: 條形圖、餅圖、折線圖、數(shù)據(jù)流向圖。
【文檔編號】G06F17/30GK105930370SQ201610227558
【公開日】2016年9月7日
【申請日】2016年4月13日
【發(fā)明人】解元, 郭慶, 謝瑩瑩, 惠潤海, 宋懷明
【申請人】曙光信息產(chǎn)業(yè)(北京)有限公司