本發(fā)明涉及移動(dòng)通信網(wǎng)中網(wǎng)管系統(tǒng)技術(shù)，尤其涉及一種移動(dòng)通信網(wǎng)管數(shù)據(jù)時(shí)效提升方法。提供一種實(shí)時(shí)、高效、低成本、便于維護(hù)的數(shù)據(jù)匯總方法，用以滿足移動(dòng)通信網(wǎng)管對(duì)數(shù)據(jù)及時(shí)性、完整性日益苛刻要求。
背景技術(shù)：
移動(dòng)通信中，信令、測量、性能等數(shù)據(jù)設(shè)備端上報(bào)的都是原始數(shù)據(jù)，這些數(shù)據(jù)量大、類型繁多，傳統(tǒng)處理方法基本是先把數(shù)據(jù)入庫到數(shù)據(jù)庫，定時(shí)執(zhí)行匯總，輸出匯總結(jié)果。由于完整性要求，傳統(tǒng)處理方法制定定時(shí)策略時(shí)需要考慮原始數(shù)據(jù)是否都到齊，定時(shí)延遲較大從而導(dǎo)致匯總動(dòng)作執(zhí)行較晚，導(dǎo)致數(shù)據(jù)延遲大。所有數(shù)據(jù)到齊后再進(jìn)行匯總，由于數(shù)據(jù)量大、類型繁多等原因，導(dǎo)致匯總過程漫長、硬件資源峰值占用高，對(duì)數(shù)據(jù)庫硬件要求高，從而導(dǎo)致投資成本高、匯總效率低。預(yù)定匯總時(shí)刻，如果部分?jǐn)?shù)據(jù)仍然無法到齊，該次匯總將會(huì)導(dǎo)致數(shù)據(jù)不完整，需要補(bǔ)匯。對(duì)于匯總時(shí)刻的完整性檢查和補(bǔ)匯動(dòng)作的操作，都要消耗大量的人力物力。
傳統(tǒng)處理方法的特點(diǎn)，導(dǎo)致數(shù)據(jù)從原始數(shù)據(jù)接入到結(jié)果數(shù)據(jù)的呈現(xiàn)周期長、成本高、效率低。在網(wǎng)管日常生產(chǎn)支撐對(duì)數(shù)據(jù)要求日益苛刻的當(dāng)下，傳統(tǒng)處理方法面臨諸多挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)要素：
為了解決以上問題，本發(fā)明提出了一種移動(dòng)通信網(wǎng)管數(shù)據(jù)時(shí)效提升方法。將原來數(shù)據(jù)到齊后再整體統(tǒng)計(jì)的策略改為入場計(jì)數(shù)、緩存累加、狀態(tài)標(biāo)注、滿足推送的策略，從而達(dá)到低成本的實(shí)時(shí)匯總，同時(shí)縮小補(bǔ)匯范圍甚至避免補(bǔ)匯發(fā)生。
本發(fā)明技術(shù)方案如下：
一種移動(dòng)通信網(wǎng)管數(shù)據(jù)時(shí)效提升方法，包括
1.1維護(hù)一個(gè)發(fā)布訂閱消息系統(tǒng)；
1.2維護(hù)一個(gè)內(nèi)存緩存系統(tǒng)；
1.3維護(hù)一個(gè)系統(tǒng)配置信息列表或者配置信息文件；
1.4依據(jù)配置信息啟動(dòng)消息訂閱；
1.5依據(jù)配置信息流式收集主題信息；
1.6依據(jù)配置信息更新內(nèi)存緩存系統(tǒng)累加器中緩存數(shù)據(jù)以及數(shù)據(jù)狀態(tài)；
1.7依據(jù)配置信息將滿足條件的數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)；
1.8依據(jù)配置信息過期不完整數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)。
步驟1.1中的發(fā)布訂閱消息系統(tǒng)用于接收發(fā)布者按主題發(fā)布的原始數(shù)據(jù)消息，包括數(shù)據(jù)歸屬網(wǎng)元、數(shù)據(jù)歸屬時(shí)間、各項(xiàng)具體指標(biāo)值等信息。
步驟1.2中的內(nèi)存緩存系統(tǒng)用于緩存各主題數(shù)據(jù)按照時(shí)空粒度累加的指標(biāo)值。
步驟1.3中的配置信息包括主題、原始網(wǎng)元粒度、原始空間粒度、各類指標(biāo)項(xiàng)及累加方式、匯總網(wǎng)元粒度、匯總空間粒度、匯總結(jié)果輸出方式、緩存最大時(shí)限等信息。
步驟1.4中的啟動(dòng)消息訂閱，按照配置信息中的數(shù)據(jù)主題啟動(dòng)消息訂閱，訂閱關(guān)注主題。
步驟1.5中的流式收集主題信息，按照配置信息中的各類指標(biāo)累加方式以流的方式進(jìn)行時(shí)空粒度匯總。
步驟1.6中的更新內(nèi)存緩存系統(tǒng)累加器，按照配置信息，將收集到的主題信息更新到緩存系統(tǒng)相應(yīng)的累加器，并更新對(duì)應(yīng)的狀態(tài)。
步驟1.7中的滿足條件數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，監(jiān)控內(nèi)存緩存系統(tǒng)累加器，講狀態(tài)滿足要求的數(shù)據(jù)按照配置信息要求持久化到數(shù)據(jù)庫或者文件系統(tǒng)。
步驟1.8中的過期不完整數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，按照配置信息緩存最大時(shí)限，將內(nèi)存緩存系統(tǒng)累加器中超過時(shí)限且不完整的數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，并發(fā)出告警信息。
本發(fā)明的有益效果是
采用本發(fā)明所述方法，與現(xiàn)有技術(shù)相比，可以實(shí)時(shí)、高效、低成本、便于維護(hù)的匯總數(shù)據(jù)。實(shí)時(shí)是指發(fā)明中的方法流式處理原始數(shù)據(jù)，累加各類指標(biāo)項(xiàng)。高效是指累加器中數(shù)據(jù)一旦達(dá)到時(shí)空要求立即持久化供上層應(yīng)用使用，而非傳統(tǒng)方式中的所有數(shù)據(jù)到達(dá)后才能批量處理。低成本是指采用入場計(jì)數(shù)、緩存累加策略后所需存儲(chǔ)、cpu等硬件資源相比傳統(tǒng)方式少，降低了硬件投資成本。便于維護(hù)是兩方面，一、新增匯總項(xiàng)目時(shí)，只需調(diào)整配置信息即可完成；二、可以通過告警信息，主動(dòng)獲取數(shù)據(jù)不完整信息，人工或者機(jī)器自動(dòng)維護(hù)處理不完整數(shù)據(jù)。
附圖說明
圖1是本發(fā)明的數(shù)據(jù)流程示意圖。
具體實(shí)施方式
下面對(duì)本發(fā)明的內(nèi)容進(jìn)行更加詳細(xì)的闡述：
本發(fā)明主要包括：
1.1維護(hù)一個(gè)發(fā)布訂閱消息系統(tǒng)；
1.2維護(hù)一個(gè)內(nèi)存緩存系統(tǒng)；
1.3維護(hù)一個(gè)系統(tǒng)配置信息列表或者配置信息文件；
1.4依據(jù)配置信息啟動(dòng)消息訂閱；
1.5依據(jù)配置信息流式收集主題信息；
1.6依據(jù)配置信息更新內(nèi)存緩存系統(tǒng)累加器中緩存數(shù)據(jù)以及數(shù)據(jù)狀態(tài)；
1.7依據(jù)配置信息將滿足條件的數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)；
1.8依據(jù)配置信息過期不完整數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)。
步驟1.1中的發(fā)布訂閱消息系統(tǒng)用于接收發(fā)布者按主題發(fā)布的原始數(shù)據(jù)消息，包括數(shù)據(jù)歸屬網(wǎng)元、數(shù)據(jù)歸屬時(shí)間、各項(xiàng)具體指標(biāo)值等信息。
步驟1.2中的內(nèi)存緩存系統(tǒng)用于緩存各主題數(shù)據(jù)按照時(shí)空粒度累加的指標(biāo)值。
步驟1.3中的配置信息包括主題、原始網(wǎng)元粒度、原始空間粒度、各類指標(biāo)項(xiàng)及累加方式、匯總網(wǎng)元粒度、匯總空間粒度、匯總結(jié)果輸出方式、緩存最大時(shí)限等信息。
步驟1.4中的啟動(dòng)消息訂閱，按照配置信息中的數(shù)據(jù)主題啟動(dòng)消息訂閱，訂閱關(guān)注主題。
步驟1.5中的流式收集主題信息，按照配置信息中的各類指標(biāo)累加方式以流的方式進(jìn)行時(shí)空粒度匯總。
步驟1.6中的更新內(nèi)存緩存系統(tǒng)累加器，按照配置信息，將收集到的主題信息更新到緩存系統(tǒng)相應(yīng)的累加器，并更新對(duì)應(yīng)的狀態(tài)。
步驟1.7中的滿足條件數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，監(jiān)控內(nèi)存緩存系統(tǒng)累加器，講狀態(tài)滿足要求的數(shù)據(jù)按照配置信息要求持久化到數(shù)據(jù)庫或者文件系統(tǒng)。
步驟1.8中的過期不完整數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，按照配置信息緩存最大時(shí)限，將內(nèi)存緩存系統(tǒng)累加器中超過時(shí)限且不完整的數(shù)據(jù)主動(dòng)持久化到數(shù)據(jù)庫或者文件系統(tǒng)，并發(fā)出告警信息。
本發(fā)明適用于移動(dòng)通信系統(tǒng)中各類原數(shù)據(jù)量量大、頻率高，匯總算法主要針對(duì)時(shí)間粒度進(jìn)行的場景。本方法提供完善的日志信息，使用方法簡單，通過添加配置信息、適配數(shù)據(jù)源接口即可添加匯總?cè)蝿?wù)，對(duì)維護(hù)人員的要求低，維護(hù)成本低，生產(chǎn)效率高，滿足數(shù)據(jù)文件量大、實(shí)時(shí)性要求高等特點(diǎn)的數(shù)據(jù)匯總要求。