本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)。

背景技術(shù)：

近年，隨著通信技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)逐漸改變著人類(lèi)的生產(chǎn)生活方式，人們對(duì)網(wǎng)絡(luò)的依賴程度越來(lái)越高。對(duì)電信運(yùn)營(yíng)商而言，終端產(chǎn)生的信令數(shù)據(jù)規(guī)模也越來(lái)越大。數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)帶來(lái)了進(jìn)一步的挑戰(zhàn)。如何快速有效的發(fā)現(xiàn)網(wǎng)絡(luò)信令數(shù)據(jù)中所蘊(yùn)含的價(jià)值，成為了電信運(yùn)營(yíng)商亟待解決的問(wèn)題。

隨著信令數(shù)據(jù)規(guī)模越來(lái)越大，傳統(tǒng)的數(shù)據(jù)處理模式暴露出了很多問(wèn)題：

首先，采用傳統(tǒng)的集中存儲(chǔ)和集中計(jì)算的方式已經(jīng)無(wú)法滿足日益增長(zhǎng)的海量數(shù)據(jù)所帶來(lái)的挑戰(zhàn)；

其次，傳統(tǒng)數(shù)據(jù)庫(kù)讀寫(xiě)性能已無(wú)法滿足大數(shù)據(jù)的存儲(chǔ)和分析要求；

第三，傳統(tǒng)的離線分析技術(shù)處理時(shí)延比較大，無(wú)法及時(shí)有效的挖掘和利用數(shù)據(jù)中蘊(yùn)含的價(jià)值，無(wú)法及時(shí)定位問(wèn)題、調(diào)整資源配置，使數(shù)據(jù)失去了時(shí)效性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)，解決現(xiàn)有技術(shù)無(wú)法滿足對(duì)海量網(wǎng)絡(luò)信令數(shù)據(jù)的實(shí)時(shí)分析處理的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法，包括以下步驟：

采集網(wǎng)絡(luò)信令數(shù)據(jù)；

將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組；

將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算；

讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并；

將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組；

讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并。

所述多種維度包括全網(wǎng)、地市、小區(qū)、網(wǎng)元、設(shè)備和熱點(diǎn)中的一個(gè)或多個(gè)。

所述多種時(shí)間粒度包括分1分鐘、5分鐘和1小時(shí)的一個(gè)或多個(gè)。

所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟，包括：

根據(jù)指標(biāo)算法，采用分布式流計(jì)算系統(tǒng)計(jì)算各類(lèi)實(shí)時(shí)指標(biāo)的值；

將計(jì)算得到的所述實(shí)時(shí)指標(biāo)生成鍵值對(duì)key-value形式的數(shù)據(jù)；

將鍵key相同的所述實(shí)時(shí)指標(biāo)的值value進(jìn)行緩沖合并。

所述實(shí)時(shí)指標(biāo)包括：用戶數(shù)指標(biāo)；所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟，包括：

先對(duì)用戶IMSI號(hào)碼反轉(zhuǎn)，并對(duì)反轉(zhuǎn)的IMSI號(hào)碼計(jì)算哈希值；取哈希值的前8個(gè)字節(jié)，并用HyperLogLog算法對(duì)用戶數(shù)進(jìn)行去重統(tǒng)計(jì)，得到用戶數(shù)指標(biāo)的值。

所述將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組步驟，包括：按小區(qū)維度分組。

所述鍵key為維度標(biāo)識(shí)、維度、時(shí)間粒度、時(shí)間的組合。

所述讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)相匹配的數(shù)據(jù)進(jìn)行增量合并步驟，包括：

微批量讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)小區(qū)維度相同的數(shù)據(jù)進(jìn)行增量合并。

所述讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并，包括：

微批量讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并。

所述實(shí)時(shí)指標(biāo)還包括業(yè)務(wù)量指標(biāo)；所述業(yè)務(wù)量指標(biāo)包括流量、http成功率、http時(shí)延。

在執(zhí)行所述將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組步驟前，根據(jù)數(shù)據(jù)類(lèi)型，過(guò)濾所述網(wǎng)絡(luò)信令數(shù)據(jù)中的無(wú)用字段。

所述采集網(wǎng)絡(luò)信令數(shù)據(jù)步驟，包括：

基于消息通知機(jī)制，采集網(wǎng)絡(luò)信令數(shù)據(jù)。

將所述讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并步驟

和所述讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并步驟

所得到的數(shù)據(jù)合并結(jié)果，均以異步微批量的方式寫(xiě)入分布式緩存中；外部應(yīng)用可隨時(shí)的從分布式緩存中讀取所述合并的結(jié)果數(shù)據(jù)，進(jìn)行包括實(shí)時(shí)性能預(yù)警、區(qū)域場(chǎng)景保障、實(shí)時(shí)人流監(jiān)控的分析和使用。

對(duì)應(yīng)于本發(fā)明提供的上述方法，本發(fā)明還提供了一種基于網(wǎng)絡(luò)信令的實(shí)時(shí)處理保障系統(tǒng)，其特征在于，包括：數(shù)據(jù)采集模塊、第一分組模塊、計(jì)算模塊、第一合并模塊、第二分組模塊、第二合并模塊、分布式緩存模塊；

所述數(shù)據(jù)采集模塊，用于采集網(wǎng)絡(luò)信令數(shù)據(jù)；

所述第一分組模塊，用于將所述過(guò)濾后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度分組；

所述計(jì)算模塊，用于將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算；

所述第一合并模塊，用于讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并；

所述第二分組模塊，用于將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組；

所述第二合并模塊，用于讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并；

所述分布式緩存模塊，用于緩存所述增量合并的數(shù)據(jù)結(jié)果。

通過(guò)采用本發(fā)明提供的一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)，

由于本方案在采集網(wǎng)絡(luò)信令數(shù)據(jù)時(shí)，采用的是消息通知機(jī)制，當(dāng)有數(shù)據(jù)生成時(shí)，則發(fā)送通知消息,采集系統(tǒng)收到通知后立即開(kāi)始采集，避免在采集程序中通過(guò)掃描等其它機(jī)制時(shí)發(fā)生數(shù)據(jù)的時(shí)延，從而可降低數(shù)據(jù)采集過(guò)程的時(shí)延；

由于內(nèi)存中的對(duì)象經(jīng)過(guò)網(wǎng)絡(luò)傳輸時(shí)需要先進(jìn)行序列化,再將對(duì)象轉(zhuǎn)換成可傳輸?shù)亩M(jìn)制數(shù)據(jù).根據(jù)這一點(diǎn)，本方案根據(jù)數(shù)據(jù)類(lèi)型過(guò)濾網(wǎng)絡(luò)信令數(shù)據(jù)中的無(wú)效字段，從而減小網(wǎng)絡(luò)信令中的字段數(shù)，網(wǎng)絡(luò)信令中的字段數(shù)減少，則序列化過(guò)程中需要序列化的字段數(shù)也相應(yīng)地減少，需要序列化的字段數(shù)減少則序列化后的二進(jìn)制數(shù)據(jù)也相應(yīng)地減少；因此，本方案根據(jù)數(shù)據(jù)類(lèi)型過(guò)濾網(wǎng)絡(luò)信令數(shù)據(jù)中的無(wú)效字段，減小了數(shù)據(jù)傳輸中的序列化開(kāi)銷(xiāo)和網(wǎng)絡(luò)開(kāi)銷(xiāo)；

由于小區(qū)維度的數(shù)據(jù)相較于上層維度的數(shù)據(jù),具有在單位時(shí)間內(nèi)隨機(jī)，分散的特點(diǎn)，不會(huì)出現(xiàn)單位時(shí)間如1秒內(nèi)，數(shù)據(jù)集中在某幾個(gè)小區(qū)的情況，因此數(shù)據(jù)維度越細(xì),越隨機(jī)分散數(shù)據(jù)，越能夠保證數(shù)據(jù)的均勻分布；本方案正是根據(jù)這一點(diǎn)，將數(shù)據(jù)流按小區(qū)維度分組，使數(shù)據(jù)在各模塊處理單元上均勻分布，避免了高并發(fā)下由于數(shù)據(jù)單點(diǎn)、熱點(diǎn)集中而造成系統(tǒng)瓶頸；

且本方案將數(shù)據(jù)流按小區(qū)維度分組，使同一小區(qū)數(shù)據(jù)的讀寫(xiě)操作都在同一模塊處理單元內(nèi)進(jìn)行,避免出現(xiàn)多個(gè)模塊處理單元操作同一份數(shù)據(jù)的情況,從而保證按小區(qū)維度分組后對(duì)小區(qū)數(shù)據(jù)合并時(shí)數(shù)據(jù)的一致性；

同樣地，本方案將數(shù)據(jù)流按鍵按key分組，使同一鍵key數(shù)據(jù)分到同一處理單元，不會(huì)出現(xiàn)相同key的數(shù)據(jù)被多個(gè)模塊處理單元操作的情況，從而第二次分組后對(duì)數(shù)據(jù)合并時(shí)保證數(shù)據(jù)一致性。

另外，由于本方案根據(jù)指標(biāo)算法，通過(guò)分布式流計(jì)算系統(tǒng)，分全網(wǎng)、地市、小區(qū)、網(wǎng)元、設(shè)備和熱點(diǎn)等多種維度和1分鐘、5分鐘和1小時(shí)等多種時(shí)間粒度計(jì)算去重用戶數(shù)、業(yè)務(wù)量指標(biāo)，并將計(jì)算的指標(biāo)以鍵值對(duì)key-value形式在本地內(nèi)存中緩沖合并，因此提高了系統(tǒng)吞吐量、降低了網(wǎng)絡(luò)開(kāi)銷(xiāo)和分布式緩存系統(tǒng)的負(fù)荷；

此外還有，本方案采用微批量讀取，增量合并，微批量異步寫(xiě)入的方式，將本地緩存的數(shù)據(jù)同分布式緩存中的數(shù)據(jù)做合并，其中，微批量操作不同于批量操作，批量操作在提升性能的同時(shí)會(huì)較大地增大處理時(shí)延，而微批量操作在提升性能時(shí),不會(huì)造成較大的時(shí)延；因此，以上微批量讀取，增量合并，微批量異步寫(xiě)入的方式在保證系統(tǒng)吞吐量的同時(shí)降低數(shù)據(jù)處理時(shí)延。

附圖說(shuō)明

圖1是本發(fā)明提供的一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法的流程圖；

圖2是本發(fā)明實(shí)施例提供的一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方法做進(jìn)一步的詳細(xì)描述。

如圖1所示，本發(fā)明提供的一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法的具體過(guò)程為：

S101：采集網(wǎng)絡(luò)信令數(shù)據(jù)；

基于消息通知機(jī)制，通過(guò)數(shù)據(jù)采集服務(wù)實(shí)時(shí)從數(shù)據(jù)源采集包括GN信令、Iups信令、LTE信令和Volte信令在內(nèi)的各種網(wǎng)絡(luò)信令；當(dāng)有網(wǎng)絡(luò)信令數(shù)據(jù)生成時(shí),數(shù)據(jù)采集服務(wù)則根據(jù)通知消息立即開(kāi)始采集數(shù)據(jù)，并將采集到的這些網(wǎng)絡(luò)信令數(shù)據(jù)保存到在分布式文件系統(tǒng)中；以上基于消息通知機(jī)制，通過(guò)數(shù)據(jù)采集服務(wù)實(shí)時(shí)采集網(wǎng)絡(luò)信令數(shù)據(jù)的過(guò)程降低了數(shù)據(jù)采集的時(shí)延。

S102：將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度分組；

從分布式文件系統(tǒng)中讀取網(wǎng)絡(luò)信令數(shù)據(jù)，并基于指標(biāo)算法設(shè)定的可用于計(jì)算實(shí)時(shí)指標(biāo)的數(shù)據(jù)類(lèi)型，過(guò)濾所述網(wǎng)絡(luò)信令數(shù)據(jù)中的無(wú)用字段，保留有用字段，降低后續(xù)步驟過(guò)程中，數(shù)據(jù)傳輸和處理時(shí)的序列化開(kāi)銷(xiāo)和網(wǎng)絡(luò)開(kāi)銷(xiāo)。：

將過(guò)濾后的數(shù)據(jù)按照最細(xì)的維度即按小區(qū)維度進(jìn)行分組，使數(shù)據(jù)均勻地分布,便于后續(xù)步驟執(zhí)行實(shí)時(shí)指標(biāo)計(jì)算和數(shù)據(jù)合并的處理，避免高并發(fā)下由于數(shù)據(jù)單點(diǎn)、熱點(diǎn)集中而造成系統(tǒng)瓶頸，拖慢處理流程。

S103：將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算；

所要計(jì)算的實(shí)時(shí)指標(biāo)包括：用戶數(shù)指標(biāo)和業(yè)務(wù)量指標(biāo)；用戶數(shù)指標(biāo)為去重用戶數(shù)；業(yè)務(wù)量指標(biāo)包括：流量、http成功率和http時(shí)延；其中，每一種實(shí)時(shí)指標(biāo)都有相應(yīng)的指標(biāo)算法來(lái)計(jì)算；

根據(jù)各指標(biāo)算法，采用分布式流計(jì)算系統(tǒng)，先分全網(wǎng)、地市、小區(qū)、設(shè)備、熱點(diǎn)等多種維度和1分鐘、5分鐘、小時(shí)等多種時(shí)間粒度，計(jì)算所述的各類(lèi)實(shí)時(shí)指標(biāo)的值；

再將計(jì)算得到的各個(gè)實(shí)時(shí)指標(biāo)生成鍵值對(duì)key-value的數(shù)據(jù)形式，其中，鍵key是維度標(biāo)識(shí)+維度+時(shí)間粒度+時(shí)間的組合，值value實(shí)時(shí)指標(biāo)的值；

最后，將鍵key相同的實(shí)時(shí)指標(biāo)值value緩沖合并在本地內(nèi)存中；

以下是各實(shí)時(shí)指標(biāo)的計(jì)算過(guò)程：

用戶數(shù)指標(biāo)值的計(jì)算：

計(jì)算用戶數(shù)指標(biāo)的值，先對(duì)用戶IMSI號(hào)碼進(jìn)行反轉(zhuǎn)，然后對(duì)反轉(zhuǎn)的IMSI號(hào)碼計(jì)算哈希值，取哈希值的前8個(gè)字節(jié)，并用HyperLogLog算法去重統(tǒng)計(jì)

生成用戶數(shù)指標(biāo)的鍵值對(duì)key-value；

將鍵key相同的用戶數(shù)指標(biāo)的值value值進(jìn)行合并；

計(jì)算業(yè)務(wù)量指標(biāo)的值：

流量:對(duì)于LTE信令數(shù)據(jù)和GN信令數(shù)據(jù)中的每條信令記錄,取上行流量和下行流量字段,計(jì)算上行流量+下行流量；

http成功率:http成功率為http請(qǐng)求次數(shù)與http成功次數(shù)的比值；

http時(shí)延:http時(shí)延為http響應(yīng)時(shí)長(zhǎng)與http成功次數(shù)的比值；

分別生成流量、http成功率、http時(shí)延的鍵值對(duì)key-value；

將鍵key相同的流量的值value值進(jìn)行合并；將鍵key相同的http成功率的值value值進(jìn)行合并；將鍵key相同的http時(shí)延的值value值進(jìn)行合并；

S104：讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并；

微批量讀分布式緩存中的小區(qū)維度數(shù)據(jù)，并同緩存在本地內(nèi)存中的小區(qū)維度的實(shí)時(shí)指標(biāo)做增量合并，將合并的結(jié)果以異步微批量的方式寫(xiě)入分布式緩存中；其中，所述微批量及后續(xù)步驟中的微批量操作都是指批量操作和單獨(dú)操作的折中操作方式，一般進(jìn)行批量操作時(shí)讀取的數(shù)據(jù)量為100-1000個(gè)不等,而微批量為10-100個(gè)不等，因此微批量操作的數(shù)據(jù)量一般為批量操作的數(shù)據(jù)量的十分之一左右；采用這種微批量操作的方式在于在提升性能時(shí),不會(huì)造成較大的時(shí)延。

S105：將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組；

將本地緩存中經(jīng)實(shí)時(shí)指標(biāo)計(jì)算后生成的鍵值對(duì)key-value形式的實(shí)時(shí)指標(biāo)按照鍵key做分組。

S106：讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并；

微批量讀取分布式緩存中與本地內(nèi)存中實(shí)時(shí)指標(biāo)key相同的數(shù)據(jù)做增量合并，并將合并的結(jié)果以異步微批量的方式寫(xiě)入分布式緩存中。

通過(guò)以上步驟的具體實(shí)施，將網(wǎng)絡(luò)信令數(shù)據(jù)進(jìn)行處理得到的實(shí)時(shí)指標(biāo)寫(xiě)入分布式緩存中，供外部應(yīng)用隨時(shí)從分布式緩存中讀取實(shí)時(shí)指標(biāo)，進(jìn)行包括實(shí)時(shí)性能預(yù)警、區(qū)域場(chǎng)景保障、實(shí)時(shí)人流監(jiān)控的分析和使用。

如圖2所示，相應(yīng)于以上方法實(shí)施例，本發(fā)明提供的一種基于網(wǎng)絡(luò)信令的實(shí)時(shí)處理保障系統(tǒng)實(shí)施例如下：

本系統(tǒng)包括數(shù)據(jù)采集模塊、第一分組模塊、計(jì)算模塊、第一合并模塊、第二分組模塊、第二合并模塊、分布式緩存模塊；

數(shù)據(jù)采集模塊，用于采集網(wǎng)絡(luò)信令數(shù)據(jù)；

采用ETL數(shù)據(jù)采集服務(wù)，實(shí)時(shí)采集包括GN信令、Iups信令、LTE信令和Volte信令在內(nèi)的各種網(wǎng)絡(luò)信令數(shù)據(jù)，保存到在HDFS分布式文件系統(tǒng)中，并發(fā)送通知消息，通知第一分組模塊進(jìn)行處理數(shù)據(jù)；

第一分組模塊，用于將所述過(guò)濾后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度分組；

讀取通知消息，按通知消息讀取HDFS分布式文件系統(tǒng)中的網(wǎng)絡(luò)信令數(shù)據(jù)，根據(jù)各類(lèi)實(shí)時(shí)指標(biāo)的算法中設(shè)定的數(shù)據(jù)類(lèi)型，過(guò)濾所述網(wǎng)絡(luò)信令數(shù)據(jù)中的無(wú)用字段，僅保留有用字段，然后按小區(qū)維度進(jìn)行分組，并將分組后的數(shù)據(jù)發(fā)送至計(jì)算模塊；

計(jì)算模塊，用于將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算；

接收按小區(qū)維度分組后的網(wǎng)絡(luò)信令數(shù)據(jù)，根據(jù)流量、http成功率、http時(shí)延等各類(lèi)實(shí)時(shí)指標(biāo)的計(jì)算方法，通過(guò)分布式流計(jì)算系統(tǒng)，分全網(wǎng)、地市、小區(qū)、設(shè)備、熱點(diǎn)等多種維度和1分鐘、5分鐘、小時(shí)等多種時(shí)間粒度，計(jì)算所述的相應(yīng)的各類(lèi)實(shí)時(shí)指標(biāo)的值，并將計(jì)算得到的各類(lèi)實(shí)時(shí)指標(biāo)以鍵值對(duì)key-value的形式在本地內(nèi)存中緩沖合并；

第一合并模塊，用于用于讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并；

微批量讀分布式緩存中的小區(qū)維度數(shù)據(jù)，并同本地內(nèi)存中的小區(qū)維度的實(shí)時(shí)指標(biāo)做增量合并，將合并的結(jié)果以異步微批量的方式寫(xiě)入分布式緩存中；

第二分組模塊，用于將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組；；

將本地緩存中經(jīng)實(shí)時(shí)指標(biāo)計(jì)算后生成的鍵值對(duì)key-value形式的實(shí)時(shí)指標(biāo)按照鍵key做分組，并將分組后的數(shù)據(jù)發(fā)送至第二合并模塊；

第二合并模塊，用于讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并；

微批量讀取分布式緩存中與本地內(nèi)存中實(shí)時(shí)指標(biāo)key相同的數(shù)據(jù)做增量合并，將合并的結(jié)果以異步微批量的方式寫(xiě)入分布式緩存中。

分布式緩存模塊，用于緩存所述增量合并的數(shù)據(jù)結(jié)果；

采用Redis分布式緩存服務(wù)，將來(lái)自第一合并模塊和第二合并模塊的數(shù)據(jù)進(jìn)行分布式緩存，并供外部應(yīng)用隨時(shí)讀取，進(jìn)行包括實(shí)時(shí)性能預(yù)警、區(qū)域場(chǎng)景保障、實(shí)時(shí)人流監(jiān)控的分析和使用。

通過(guò)上述技術(shù)方案，可實(shí)現(xiàn)對(duì)海量網(wǎng)絡(luò)信令數(shù)據(jù)的實(shí)時(shí)處理實(shí)時(shí)分析。目前該技術(shù)方案可實(shí)現(xiàn)平均每分鐘1億條信令數(shù)據(jù)的實(shí)時(shí)處理，每分鐘4億次緩存交互操作，數(shù)據(jù)處理時(shí)延控制在秒級(jí)。目前實(shí)時(shí)數(shù)據(jù)已實(shí)現(xiàn)全市維度、小區(qū)維度、熱點(diǎn)維度、業(yè)務(wù)維度和設(shè)備維度等的實(shí)時(shí)性能預(yù)警、實(shí)時(shí)區(qū)域保障、實(shí)時(shí)人流分析等。

以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。