專利名稱：一種基于中間表的分布式報表系統的制作方法
技術領域：
本發(fā)明是一種基于中間表的分布式報表系統，屬于計算機系統集成及應用技術領域，用于網絡安全集中管理平臺軟件中大事件量報表處理技術。
背景技術：
隨著網絡環(huán)境的發(fā)展，規(guī)模的擴大，網絡安全集中管理平臺軟件系統的應用也越來越廣泛和深入。這類軟件系統通常都會通過收取網絡環(huán)境中各種設備的運行、訪問或告警日志，包括各種路由器、交換機、防火墻、VPN、存儲設備等，來分析、預告和展現網絡環(huán)境中的安全程度。而由于網絡環(huán)境各種設備的不斷增加，設備類型的不斷豐富，網絡安全集中管理平臺軟件系統所需要收集的日志記錄數量也快速增長。由于日志記錄數量之大，不可能要求管理員逐一對每一條日志都進行查看分析， 那么作為管理員如何能夠掌握日志的基本情況從而了解網絡環(huán)境的狀態(tài)和安全水平呢？查看統計分析報表就是一個必然的需求。所謂統計分析報表，也就是說并不是對日志記錄的簡單羅列的明細報表，而是根據管理員指定的一些條件(分組統計、排序、過濾條件等)，對原始的日志記錄進行分析，之后呈現出統計結果的報表才是有意義的。對近似海量數據的統計分析從來都不是一件輕松的任務，對日志記錄的分析同樣如此。由于日志記錄的數量巨大，以往對原始記錄的統計分析總是會有諸多的限制，往往在統計的速度與實時性之間不能兼顧。如果要求盡快得到統計結果，那么分析的原始數據時間范圍就不能太大，往往只能是幾小時內的數據；如果要求實時性盡量高，那么可能就需要較長的時間進行統計，如果分析的字段較多這個時間往往可能會超過一天。另外，由于日志記錄往往都具有較多的字段，在統計分析時也往往會限制使用的字段，通常不會將事件所有的字段作為可選擇統計字段，而僅是將若干通用和普遍認為重要的字段納入可統計的范圍，從而保證一定的統計效率和時間。

發(fā)明內容
本發(fā)明正是針對上述現有技術狀況而設計提供了一種基于中間表的分布式報表系統，其目的是提高在大規(guī)模事件處理的環(huán)境下報表系統的處理效率。本發(fā)明通過采用引入中間表對原始的大規(guī)模事件進行實時的分階段統計的方式解決在大規(guī)模事件處理環(huán)境下對原始事件生成統計報表性能不佳的問題。通過預定義一些通用的中間表，對原始事件進行分類和實時統計，在生成統計報表時直接使用中間表中的統計數據，通過減少輸入數據的規(guī)模，從而大大減少生成報表的時間和對系統資源的占用。本發(fā)明的目的是通過以下技術方案來實現的該種基于中間表的分布式報表系統，包括作為宿主的服務器和網絡設備，其特征在于該系統包括中間表管理單元A、報表運行管理單元B和管理平臺服務單元C，其中中間表管理單元A包括中間表文件管理模塊，本模塊負責對存儲于文件系統中的中間表描述文件進行讀取，并存儲于內存中，以供其他模塊使用； 中間表初始化模塊，本模塊由報表運行管理單元觸發(fā)，負責將中間表文件管理模塊加載的所有中間表描述文件的內容轉化為計算機能夠理解的對象形式，逐個初始化，本豐吳塊會將初始化后的所有的中間表對象保存在內存中，在系統運彳丁中隨時調用；中間表對象中定義如下內容屬性說明表名中間表在數據庫中建表使用的名稱；名稱在管理中心系統平臺中識別中間表的名稱；運行間隔中間表進行一次統計與下一次統計之間的時間，單位為分鐘，最小值為 I分鐘；包含的字段中間表中所包含的全部字段，管理中心系統平臺根據中間表制作報表時，所能使用的字段范圍；所有選擇作為中間表的字段都會在組裝統計SQL語句時被用作分組字段，并創(chuàng)建索引；每個中間表會自動包括事件量、發(fā)送流量、接收流量和總流量作為每次統計的統計值保存在中間表中，并提供給制作報表時使用；條件中間表進行統計時選擇的事件范圍；中間表建表模塊，本模塊負責組裝中間表定義的建表SQL語句，并執(zhí)行建表過程，也即執(zhí)行創(chuàng)建表SQL語句，在數據庫中創(chuàng)建對應的數據表；中間表統計模塊，本模塊負責組裝中間表的統計SQL語句，在報表系統的調度過程中，被報表運行管理單元調用，執(zhí)行統計工作，并將統計結果寫入中間表對應的數據庫中的數據表中，也即執(zhí)行統計SQL語句；管理平臺服務單元B作為報表系統的支撐單元存在，并不直接完成報表系統的功能，而是提供報表系統所需要的部分基礎功能，它包括文件系統訪問模塊，本模塊提供訪問計算機文件系統的統一接口和方法，提供的方法有讀取文件、存儲文件和刪除文件；本模塊用于中間表文件管理模塊調用文件系統中的中間表表述文件，以規(guī)范報表系統對文件系統的使用；數據庫訪問模塊，本模塊提供訪問數據庫的統一接口和方法,避免將獲取數據庫連接的信息(用戶名、密碼、地址等)散落在報表系統的各處，造成保密信息的泄露和更改數據庫信息時的不便，提供的方法有創(chuàng)建數據庫表和向數據庫表中插入數據；報表運行管理單元C是報表系統的核心組成部分，通過調度中間表管理單元A中的中間表初始化管理模塊、中間表建表模塊、中間表統計模塊和管理平臺服務單元B的數據庫訪問模塊，完成調用中間表管理單元進行初始化、周期性調用中間表管理單元的中間表統計模塊執(zhí)行中間表統計動作、通過管理平臺服務單元訪問中間表對應的數據庫表提供報表數據。報表運行管理單兀C包含一個分布式部署管理模塊,該模塊用于注冊和管理分布部署的局部報表系統。該種分布式報表處理機制，即可以通過將各個不同的中間表分布部署在不同的服務器上進行處理和統計，從而將負載分攤到各個不同的服務器上，從而在不降低報表系統處理能力的前提下，能夠有效的降低報表系統對管理中心的系統平臺所在的服務器的系統資源的占用。本發(fā)明所述報表系統主要作為安全管理平臺系統的一個服務模塊出現，也可以獨立于管理平臺系統單獨運行，用于提供報表的統計、運行、存儲服務。不論管理平臺還是獨立報表服務平臺最終均安裝于高性能硬件主機內，以服務器方式運行于網絡中。另外，本發(fā)明系統還可以通過分布式部署管理模塊與局部報表系統進行數據的流傳，該局部報表系統是本發(fā)明系統在分布式部署時的子系統，可以將一個局部報表系統看作一個完整的基于中間表的報表系統，結構與本發(fā)明系統相同。本發(fā)明所述基于中間表的報表系統的主要設計原理即為通過持續(xù)地周期性地使用具有代表性的中間表對原始事件進行統計，當需要生成報表時，直接在中間表中計算獲取最終數據，以此來獲得生成報表所需的實時性與性能之間最好的平衡。本發(fā)明技術方案的積極效果是 本發(fā)明所述系統的實現，在一定程度上可以較好地解決大規(guī)模事件報表在實時性和統計速度之間的矛盾。由于采用中間表的統計方式，每隔一段較短的時間，系統即會在后臺自動按照中間表的設計進行中間統計運算，從而有效保證了數據的實時性；另一方面，由于進行了中間統計運算，將大規(guī)模的源事件數據進行了有效的統計合并，縮減了報表運行時的數據規(guī)模，從而可以有效地改善報表的統計時間。另外，由于中間表的設計幾乎不受太多限制，因此用戶可以根據實際的需要設計不同的中間表，從而使得參與統計分析的事件屬性大大增加，而不受人為的限制。


圖I為本發(fā)明系統的組成示意2為本發(fā)明系統的初始化流程的軟件流程3為本發(fā)明系統的統計調度流程的軟件流程4為本發(fā)明系統的報表生成流程的軟件流程5為本發(fā)明系統的分布式部署流程的軟件流程6為本發(fā)明系統的局部報表系統注冊流程的軟件流程圖
具體實施例方式以下將結合附圖和實施例對本發(fā)明系統作進一步地詳述參見附圖I所示，該種基于中間表的分布式報表系統，包括作為宿主的服務器和網絡設備，其特征在于該系統包括中間表管理單元A、報表運行管理單元B和管理平臺服務單元C，其中中間表管理單元A包括中間表文件管理模塊1，本模塊負責對存儲于文件系統中的中間表描述文件進行讀取，并存儲于內存中，以供其他模塊使用；中間表初始化模塊2，本模塊由報表運行管理單元觸發(fā)，負責將中間表文件管理模塊I加載的所有中間表描述文件的內容轉化為計算機能夠理解的對象形式，逐個初始化，本豐吳塊會將初始化后的所有的中間表對象保存在內存中，在系統運彳丁中隨時調用；
中間表對象中定義如下內容屬性說明表名中間表在數據庫中建表使用的名稱；名稱在管理中心系統平臺中識別中間表的名稱；運行間隔中間表進行一次統計與下一次統計之間的時間，單位為分鐘，最小值為I分鐘；包含的字段中間表中所包含的全部字段，管理中心系統平臺根據中間表制作報表時，所能使用的字段范圍；所有選擇作為中間表的字段都會在組裝統計SQL語句時被用作分組字段，并創(chuàng)建 索引；每個中間表會自動包括事件量、發(fā)送流量、接收流量和總流量作為每次統計的統計值保存在中間表中，并提供給制作報表時使用；條件中間表進行統計時選擇的事件范圍；中間表建表模塊3，本模塊負責組裝中間表定義的建表SQL語句，并執(zhí)行建表過程，也即執(zhí)行創(chuàng)建表SQL語句，在數據庫中創(chuàng)建對應的數據表；中間表統計模塊4，本模塊負責組裝中間表的統計SQL語句，在報表系統的調度過程中，被報表運行管理單元調用，執(zhí)行統計工作，并將統計結果寫入中間表對應的數據庫中的數據表中，也即執(zhí)行統計SQL語句；管理平臺服務單元B包括文件系統訪問模塊5，本模塊提供訪問計算機文件系統的統一接口和方法，提供的方法有讀取文件、存儲文件和刪除文件；本模塊用于中間表文件管理模塊I調用文件系統中的中間表表述文件8，以規(guī)范報表系統對文件系統的使用；數據庫訪問模塊6，本模塊提供訪問數據庫9的統一接口和方法，提供的方法有創(chuàng)建數據庫表和向數據庫表中插入數據；報表運行管理單元C通過調度中間表管理單元A中的中間表初始化管理模塊2、中間表建表模塊3、中間表統計模塊4和管理平臺服務單元B的數據庫訪問模塊6，完成調用中間表管理單元進行初始化、周期性調用中間表管理單元的中間表統計模塊執(zhí)行中間表統計動作、通過管理平臺服務單元訪問中間表對應的數據庫表提供報表數據。 報表運行管理單兀C包含一個分布式部署管理模塊7,該模塊7用于注冊和管理分布部署的局部報表系統?；谥虚g表的分布式報表系統使用Java編程語言實現，以軟件的形式作為安全管理平臺系統的一個服務模塊出現，同時也可以獨立于管理平臺系統單獨運行。不論管理平臺還是獨立報表服務平臺，最終管理平臺和報表系統均安裝于高性能的硬件計算機主機內，以服務器方式運行于網絡中。報表系統需要輔以安全管理平臺系統提供防火墻、IDS、主機、應用系統、網絡設備等發(fā)送的、經過安全管理平臺引擎歸一化處理后的事件作為源數據進行運算和統計。如圖2 6所示，本發(fā)明所述基于中間表的報表系統的工作過程是由初始化流程、統計調度流程、報表生成流程和分布式部署流程組成。
初始化流程初始化流程在報表系統啟動時，或報表系統隨管理平臺一同啟動時進行。I.讀取中間表描述文件2解析中間表描述文件，并存儲在內存中3.根據中間表定義，創(chuàng)建中間表對應的真實數據表流程圖見圖2所示。統計調度流程統計調度流程也即報表系統的核心流程，即按照中間表定義的字段和輪詢間隔循環(huán)進行統計，統計調度流程每間隔一分鐘，檢查內存中每一個中間表定義，執(zhí)行如下的過 程:I.從內存中讀取中間表定義；2.檢查中間表定義的輪詢間隔是否已經到達，如果還沒有則忽略本中間表；3.如果已經到輪詢間隔，則從中間表定義中獲取統計方法定義；4.針對原始事件表，執(zhí)行統計方法，將統計結果寫入中間表對應的真實數據表中；5.本中間表本次統計調度完成，執(zhí)行下一中間表的統計調度如上述，統計調度流程每間隔一分鐘檢查執(zhí)行一次中間表統計調度，故也即中間表的最小輪詢間隔為一分鐘。流程圖見附圖3所示。報表系統的目的是生成有關于事件的統計報表，也即報表應統計并顯示依據某一個或某幾個字段條件計算的事件量、發(fā)送流量、接受流量或總流量這幾個重要的數據指標，因此每個中間表會自動包括事件量、發(fā)送流量、接收流量和總流量作為每次統計的統計值保存在中間表中，并在每次統計調度時自動計算這4個字段的值。舉例說明一個中間表的統計調度流程，用以解釋步驟4中具體的統計設計。假定本中間表包含字段源地址、等級、動作、事件量、發(fā)送流量、接受流量、總流量在本次統計與上次統計之間的時間段內，系統接收并保存了數條原始事件，如下
權利要求
1.一種基于中間的表分布式報表系統，包括作為宿主的服務器和網絡設備，其特征在于該系統包括中間表管理單元A、報表運行管理單元B和管理平臺服務單元C，其中 中間表管理單元A包括 中間表文件管理模塊(I)，本模塊負責對存儲于文件系統中的中間表描述文件進行讀取，并存儲于內存中，以供其他模塊使用； 中間表初始化模塊(2)，本模塊由報表運行管理單元觸發(fā)，負責將中間表文件管理模塊(I)加載的所有中間表描述文件的內容轉化為計算機能夠理解的對象形式，逐個初始化，本豐吳塊會將初始化后的所有的中間表對象保存在內存中，在系統運彳丁中隨時調用； 中間表對象中定義如下內容 屬性說明 表名中間表在數據庫中建表使用的名稱； 名稱在管理中心系統平臺中識別中間表的名稱； 運行間隔中間表進行一次統計與下一次統計之間的時間，單位為分鐘，最小值為I分鐘； 包含的字段中間表中所包含的全部字段，管理中心系統平臺根據中間表制作報表時，所能使用的字段范圍； 所有選擇作為中間表的字段都會在組裝統計SQL語句時被用作分組字段，并創(chuàng)建索弓I ; 每個中間表會自動包括事件量、發(fā)送流量、接收流量和總流量作為每次統計的統計值保存在中間表中，并提供給制作報表時使用； 條件中間表進行統計時選擇的事件范圍； 中間表建表模塊(3)，本模塊負責組裝中間表定義的建表SQL語句，并執(zhí)行建表過程，也即執(zhí)行創(chuàng)建表SQL語句，在數據庫中創(chuàng)建對應的數據表； 中間表統計模塊(4)，本模塊負責組裝中間表的統計SQL語句，在報表系統的調度過程中，被報表運行管理單元調用，執(zhí)行統計工作，并將統計結果寫入中間表對應的數據庫中的數據表中，也即執(zhí)行統計SQL語句； 管理平臺服務單元B包括 文件系統訪問模塊(5)，本模塊提供訪問計算機文件系統的統一接口和方法，提供的方法有讀取文件、存儲文件和刪除文件； 本模塊用于中間表文件管理模塊(I)調用文件系統中的中間表表述文件(8)，以規(guī)范報表系統對文件系統的使用； 數據庫訪問模塊(6)，本模塊提供訪問數據庫(9)的統一接口和方法，提供的方法有創(chuàng)建數據庫表和向數據庫表中插入數據； 報表運行管理單元C通過調度中間表管理單元A中的中間表初始化管理模塊(2)、中間表建表模塊(3)、中間表統計模塊(4)和管理平臺服務單元B的數據庫訪問模塊(6)，完成調用中間表管理單元進行初始化、周期性調用中間表管理單元的中間表統計模塊執(zhí)行中間表統計動作、通過管理平臺服務單元訪問中間表對應的數據庫表提供報表數據。
2.根據權利要求I所述的基于中間表的分布式報表系統，其特征在于報表運行管理單兀C包含一個分布式部署管理模塊(7),該模塊(7)用于注冊和管理分布部署的局部報表系統(10)。
全文摘要
本發(fā)明是一種基于中間表的分布式報表系統，本發(fā)明通過采用引入中間表對原始的大規(guī)模事件進行實時的分階段統計的方式解決在大規(guī)模事件處理環(huán)境下對原始事件生成統計報表性能不佳的問題。通過預定義一些通用的中間表，對原始事件進行分類和實時統計，在生成統計報表時直接使用中間表中的統計數據，通過減少輸入數據的規(guī)模，從而大大減少生成報表的時間和對系統資源的占用。
文檔編號G06F17/30GK102929899SQ20111046191
公開日2013年2月13日 申請日期2011年12月31日 優(yōu)先權日2011年12月31日
發(fā)明者朱震 申請人:網神信息技術(北京)股份有限公司