1.一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法,其特征在于,包括以下步驟:
采集網(wǎng)絡(luò)信令數(shù)據(jù);
將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組;
將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算;
讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并;
將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組;
讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述多種維度包括全網(wǎng)、地市、小區(qū)、網(wǎng)元、設(shè)備和熱點(diǎn)中的一個(gè)或多個(gè)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述多種時(shí)間粒度包括分1分鐘、5分鐘和1小時(shí)的一個(gè)或多個(gè)。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟,包括:
根據(jù)指標(biāo)算法,采用分布式流計(jì)算系統(tǒng)計(jì)算各類實(shí)時(shí)指標(biāo)的值;
將計(jì)算得到的所述實(shí)時(shí)指標(biāo)生成鍵值對key-value形式的數(shù)據(jù);
將鍵key相同的所述實(shí)時(shí)指標(biāo)的值value進(jìn)行緩沖合并。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述實(shí)時(shí)指標(biāo)包括用戶數(shù)指標(biāo);所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟,包括:
先對用戶IMSI號(hào)碼反轉(zhuǎn),并對反轉(zhuǎn)的IMSI號(hào)碼計(jì)算哈希值;取哈希值的前8個(gè)字節(jié),并用HyperLogLog算法對用戶數(shù)進(jìn)行去重統(tǒng)計(jì),得到用戶數(shù)指標(biāo)的值。
6.根據(jù)權(quán)利要求1、3、4或5任一權(quán)利要求所述的方法,其特征在于,所述將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組步驟,包括:按小區(qū)維度分組。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述鍵key為維度標(biāo)識(shí)、維度、時(shí)間粒度、時(shí)間的組合。
8.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)相匹配的數(shù)據(jù)進(jìn)行增量合并步驟,包括:
微批量讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)小區(qū)維度相同的數(shù)據(jù)進(jìn)行增量合并。
9.根據(jù)權(quán)利要求1或7任一權(quán)利要求所述的方法,其特征在于,所述讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并,包括:
微批量讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并。
10.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述實(shí)時(shí)指標(biāo)還包括業(yè)務(wù)量指標(biāo);所述業(yè)務(wù)量指標(biāo)包括流量、http成功率、http時(shí)延。
11.根據(jù)權(quán)利要求1所述的方法,其特征在于,在執(zhí)行所述將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組步驟前,根據(jù)數(shù)據(jù)類型,過濾所述網(wǎng)絡(luò)信令數(shù)據(jù)中的無用字段。
12.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述采集網(wǎng)絡(luò)信令數(shù)據(jù)步驟,包括:
基于消息通知機(jī)制,采集網(wǎng)絡(luò)信令數(shù)據(jù)。
13.根據(jù)權(quán)利要求1、3至5、7至8、10至12任一權(quán)利要求所述的方法,其特征在于,
將所述讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并步驟
和所述讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并步驟
所得到的數(shù)據(jù)合并結(jié)果,均以異步微批量的方式寫入分布式緩存中;外部應(yīng)用可隨時(shí)的從分布式緩存中讀取所述合并的結(jié)果數(shù)據(jù),進(jìn)行包括實(shí)時(shí)性能預(yù)警、區(qū)域場景保障、實(shí)時(shí)人流監(jiān)控的分析和使用。
14.一種基于網(wǎng)絡(luò)信令的實(shí)時(shí)處理保障系統(tǒng),其特征在于,包括:數(shù)據(jù)采集模塊、第一分組模塊、計(jì)算模塊、第一合并模塊、第二分組模塊、第二合并模塊、分布式緩存模塊;
所述數(shù)據(jù)采集模塊,用于采集網(wǎng)絡(luò)信令數(shù)據(jù);
所述第一分組模塊,用于將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度分組;
所述計(jì)算模塊,用于將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算;
所述第一合并模塊,用于讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并;
所述第二分組模塊,用于將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組;
所述第二合并模塊,用于讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并;
所述分布式緩存模塊,用于緩存所述增量合并的數(shù)據(jù)結(jié)果。