本發(fā)明涉及分布式大數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其涉及一種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)方法，以及4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)系統(tǒng)。

背景技術(shù)：

中國專利申請(申請?zhí)枺?01210356134.8)提供了一種對PS域大流量網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)測分析方法及裝置，申請的一個大的監(jiān)測系統(tǒng)，而對于信令面和用戶面關(guān)聯(lián)的地方，僅僅說了句將信令面和用戶面通過關(guān)聯(lián)關(guān)鍵字進(jìn)行關(guān)聯(lián)，沒有具體說明是什么關(guān)鍵字，如何進(jìn)行管理。其注重用戶上網(wǎng)的檢測系統(tǒng)，而沒有對信令面和用戶面的關(guān)聯(lián)方法進(jìn)行描述。

中國專利申請(申請?zhí)枺?01510708161.0)提供了一種將4G和3G網(wǎng)絡(luò)的信令流程進(jìn)行關(guān)聯(lián)的方法，在4G回落到3G時，需要將4G和3G的信息進(jìn)行關(guān)聯(lián)起來，以標(biāo)記是同一個人的行為。而沒有關(guān)于4G中信令面和用戶面是如何關(guān)聯(lián)的。其與本申請描述的關(guān)聯(lián)發(fā)生在不同的區(qū)域。

現(xiàn)有的關(guān)聯(lián)方法一般為：數(shù)據(jù)關(guān)聯(lián)模塊把用戶面數(shù)據(jù)到Redis中找到其對應(yīng)的信令面數(shù)據(jù)，組成一條完整的上網(wǎng)記錄。因此，如何設(shè)計出快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源，成為技術(shù)人員需要考慮的問題。

技術(shù)實現(xiàn)要素：

為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明要解決的技術(shù)問題是提供了一種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)方法，其能夠?qū)崿F(xiàn)快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源，簡單快捷，易于實現(xiàn)，識別準(zhǔn)確率高，從而快速的將信令面和用戶面數(shù)據(jù)合成出一條條用戶的上網(wǎng)記錄。

本發(fā)明的技術(shù)方案是：這種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)方法，該方法包括以下步驟：

(1)拷貝接收到用戶上網(wǎng)的全部信令面和用戶面的數(shù)據(jù)，通過對報文包頭初步解析分出是信令面還是用戶面的數(shù)據(jù)，分配給對應(yīng)的解析模塊；

(2)信令面有PDP的創(chuàng)建，更新，刪除動作，信令面解析服務(wù)器解析每條信令里所包含的各個字段，把解析出來的值和當(dāng)前信令的狀態(tài)發(fā)到Gtkafka，等待后續(xù)報文進(jìn)來進(jìn)行后續(xù)處理；

(3)該用戶發(fā)生用戶面上網(wǎng)行為時，用戶面解析服務(wù)器收到對應(yīng)的數(shù)據(jù)報文；解析出用戶請求的具體業(yè)務(wù)，報文帶有的teid以及SGW的IP和端口；把這些信息作為一條記錄發(fā)送到數(shù)據(jù)解析層數(shù)據(jù)總線Gtkafka；

(4)關(guān)聯(lián)模塊實時從Gtkafka上取到一條數(shù)據(jù)，判斷是信令面數(shù)據(jù)還是用戶面數(shù)據(jù)，如果是信令面數(shù)據(jù)執(zhí)行步驟(5)，否則執(zhí)行步驟(6)；

(5)到Redis中新增或者更新或者刪除該用戶上網(wǎng)的信令面記錄；跳轉(zhuǎn)到步驟(7)；

(6)去Redis中去查，如果查到對應(yīng)的信令面記錄，向GtKafka返回OK和關(guān)聯(lián)后的數(shù)據(jù)，GtKafka把關(guān)聯(lián)后的數(shù)據(jù)寫入Kafka；如果查不到，向GtKafka返回FALSE，GtKafka則將該用戶記錄丟棄；

(7)結(jié)束。

本發(fā)明通過teid以及SGW的IP和端口，快速實現(xiàn)信令面數(shù)據(jù)和用戶面數(shù)據(jù)的關(guān)聯(lián)，所以能夠?qū)崿F(xiàn)快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源，簡單快捷，易于實現(xiàn)，識別準(zhǔn)確率高，從而快速的將信令面和用戶面數(shù)據(jù)合成出一條條用戶的上網(wǎng)記錄。

還提供了一種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)系統(tǒng)，該系統(tǒng)包括：

數(shù)據(jù)分發(fā)模塊，其配置來從網(wǎng)絡(luò)上收到用戶上網(wǎng)報文，分析是信令面數(shù)據(jù)還是用戶面數(shù)據(jù)；

信令面數(shù)據(jù)解析模塊，其配置來接到報文后，按照3GPP的規(guī)范，對各個接口的數(shù)據(jù)按照對應(yīng)協(xié)議的規(guī)范，對報文進(jìn)行解析；

用戶面數(shù)據(jù)解析模塊，其配置來按照3GPP的規(guī)范，對用戶數(shù)據(jù)按照GTPU協(xié)議的規(guī)范，對報文進(jìn)行解析，包括訪問主機(jī)名Host、統(tǒng)一資源定位符URL、用戶代理UserAgent、源地址、目的地址；

用戶關(guān)聯(lián)模塊，其配置來從GtKafka上實時讀取到每條記錄，如果該記錄是用戶面數(shù)據(jù)，就用數(shù)據(jù)中攜帶的teid以及SGW的IP和端口到Redis中去查，如果查到對應(yīng)的信令面記錄，用戶關(guān)聯(lián)模塊就向數(shù)據(jù)解析層數(shù)據(jù)總線GtKafka返回OK和對應(yīng)的信令數(shù)據(jù)，GtKafka把關(guān)聯(lián)后的數(shù)據(jù)寫入Kafka；如果查不到，用戶關(guān)聯(lián)模塊向GtKafka返回FALSE，GtKafka則將該用戶記錄丟棄。

附圖說明

圖1所示為根據(jù)本發(fā)明的4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)方法的流程圖。

具體實施方式

首先給出與本發(fā)明相關(guān)的一些名詞說明。

3GPP TS 29.274V12.6.0GTPV2協(xié)議規(guī)范請參見

http://wenku.baidu.com/link？url＝-oaQF6MQeBNYdIzZFlXfryfPE7Q8hBsN_iuEckzAzwR3a_kw9lf-K91rx2K5s0hFHkB-lHxZ8BDxYMi4XeKe4qDdGVRdHFdYY1RqQk6uxaS

3GPP TS 36.413V11.4.0(2013-06)LTE協(xié)議規(guī)范請參見

http://wenku.baidu.com/link？url＝f8dOdOF0RSc3_EsUqMmyMUbLBXADi4ehGHtYsqdqo5JXcvkFgkIR-SG5TIHWIStE1IuofCeq2tgI1bPFqSgOvKGK25o2WenU5upWlHQdkh3

GTP協(xié)議Teid請參見http://blog.csdn.net/baixue6269/article/details/7775813

Redis是一個高性能的key-value數(shù)據(jù)庫。

GtKafka是數(shù)據(jù)解析層數(shù)據(jù)總線。

teid(Tunnel Endpoint Identifier，隧道標(biāo)識號)是由GTP隧道的接收端分配本地TEID值，供GTP隧道的發(fā)起方使用。通過GTP-C消息在隧道的兩個端點間交換TEID(包含在FTEID內(nèi))值。通過IP地址，端口號，以及TEID值就可以唯一確定一個GTP的隧道。

SGWIP(Serving GateWay，服務(wù)網(wǎng)關(guān))是移動通信網(wǎng)絡(luò)EPC中的重要網(wǎng)元。EPC網(wǎng)絡(luò)實際上是原3G核心網(wǎng)PS域的演進(jìn)版本，而SGW的功能和作用與原3G核心網(wǎng)SGSN網(wǎng)元的用戶面相當(dāng)，即在新的EPC網(wǎng)絡(luò)中，控制面功能和媒體面功能分離更加徹底。

PGW(Public Data Network Gateway)PDN網(wǎng)關(guān)是移動通信網(wǎng)絡(luò)EPC中的重要網(wǎng)元。負(fù)責(zé)管理3GPP和non-3GPP間的數(shù)據(jù)路由。移動終端如果要訪問網(wǎng)絡(luò)，就一定要經(jīng)過PGW網(wǎng)元，才能接入到公用數(shù)據(jù)網(wǎng)。

Imei(International Mobile Equipment Identity)是國際移動設(shè)備身份碼，是手機(jī)設(shè)備的唯一串號。

Imsi(IMSI：International Mobile Subscriber Identification)是國際移動用戶識別碼，是手機(jī)號的唯一標(biāo)識。

現(xiàn)有的關(guān)聯(lián)方法是，數(shù)據(jù)關(guān)聯(lián)模塊把用戶面數(shù)據(jù)到Redis中找到其對應(yīng)的信令面數(shù)據(jù)，組成一條完整的上網(wǎng)記錄。因此，如何設(shè)計出快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源，成為技術(shù)人員需要考慮的問題。

本系統(tǒng)對移動4G的信令面和數(shù)據(jù)面接口上的數(shù)據(jù)進(jìn)行深度加工，把信令面和用戶面通過Teid和SGW的IP和端口號，進(jìn)行關(guān)聯(lián)起來。以讓用戶面的數(shù)據(jù)找到對應(yīng)的用戶信息(手機(jī)號，Imei，imsi，小區(qū)等)，以方便進(jìn)行各類業(yè)務(wù)的統(tǒng)計。

隨著4G(LTE)網(wǎng)絡(luò)的商用，移動終端的高速上網(wǎng)已經(jīng)實現(xiàn)，移動終端的智能化和多樣性，移動上網(wǎng)已經(jīng)是當(dāng)前最通用的上網(wǎng)渠道?；ヂ?lián)網(wǎng)已經(jīng)成為人們獲取信息、交流溝通的主要方式，每年產(chǎn)生的商業(yè)價值巨大。而作為互聯(lián)網(wǎng)接入管道的電信運營商，卻在面臨著巨大的挑戰(zhàn)。運營商掌握著龐大的用戶數(shù)據(jù)和四通八達(dá)的用戶管道，但因為缺少用戶數(shù)據(jù)積累、挖掘、分析的專業(yè)工具，缺少將數(shù)據(jù)轉(zhuǎn)換為價值的有效變現(xiàn)渠道，運營商難以參與利潤豐厚的網(wǎng)絡(luò)營銷市場。

本大數(shù)據(jù)采集分析平臺是位于總體架構(gòu)的前端，負(fù)責(zé)信令報文和數(shù)據(jù)報文的采集與分析。數(shù)據(jù)采集系統(tǒng)在完成數(shù)據(jù)加工處理以后，按照約定格式保存到數(shù)據(jù)交換系統(tǒng)中。流處理平臺和批處理平臺分別各自從數(shù)據(jù)交換系統(tǒng)中讀取，結(jié)合各自業(yè)務(wù)需求開展數(shù)據(jù)分析和挖掘。本系統(tǒng)對移動4G的信令面和用戶面接口上的數(shù)據(jù)進(jìn)行深度加工，把信令面和用戶面通過teid和SGW的IP和端口，進(jìn)行關(guān)聯(lián)起來。以讓用戶面的數(shù)據(jù)找到對應(yīng)的用戶信息(手機(jī)號，imei，imsi，小區(qū)等)，以方便進(jìn)行各類業(yè)務(wù)的統(tǒng)計。

如圖1所示，這種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)方法，該方法包括以下步驟：

(1)拷貝接收到用戶上網(wǎng)的全部信令面和用戶面的數(shù)據(jù)，通過對報文包頭初步解析分出是信令面還是用戶面的數(shù)據(jù)，分配給對應(yīng)的解析模塊；

(2)信令面有PDP的創(chuàng)建，更新，刪除動作，信令面解析服務(wù)器解析每條信令里所包含的各個字段，把解析出來的值和當(dāng)前信令的狀態(tài)發(fā)到Gtkafka，等待后續(xù)報文進(jìn)來進(jìn)行后續(xù)處理；

(3)該用戶發(fā)生用戶面上網(wǎng)行為時，用戶面解析服務(wù)器收到對應(yīng)的數(shù)據(jù)報文；解析出用戶請求的具體業(yè)務(wù)，報文帶有的teid以及SGW的IP和端口；把這些信息作為一條記錄發(fā)送到數(shù)據(jù)解析層數(shù)據(jù)總線Gtkafka；

(4)關(guān)聯(lián)模塊實時從Gtkafka上取到一條數(shù)據(jù)，判斷是信令面數(shù)據(jù)還是用戶面數(shù)據(jù)，如果是信令面數(shù)據(jù)執(zhí)行步驟(5)，否則執(zhí)行步驟(6)；

(5)到Redis中新增或者更新或者刪除該用戶上網(wǎng)的信令面記錄；跳轉(zhuǎn)到步驟(7)；

(6)去Redis中去查，如果查到對應(yīng)的信令面記錄，向GtKafka返回OK和關(guān)聯(lián)后的數(shù)據(jù)，GtKafka把關(guān)聯(lián)后的數(shù)據(jù)寫入Kafka；如果查不到，向GtKafka返回FALSE，GtKafka則將該用戶記錄丟棄；

(7)結(jié)束。

本發(fā)明通過teid以及SGW的IP和端口，快速實現(xiàn)信令面數(shù)據(jù)和用戶面數(shù)據(jù)的關(guān)聯(lián)，所以能夠?qū)崿F(xiàn)快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源，簡單快捷，易于實現(xiàn)，識別準(zhǔn)確率高，從而快速的將信令面和用戶面數(shù)據(jù)合成出一條條用戶的上網(wǎng)記錄。

另外，所述步驟(1)中，通過分光或者鏡像的方式，拷貝接收到用戶上網(wǎng)的全部信令面和用戶面的數(shù)據(jù)。

另外，所述步驟(3)中，具體業(yè)務(wù)是Http，P2P，郵件，或聊天工具等上網(wǎng)業(yè)務(wù)。

本領(lǐng)域普通技術(shù)人員可以理解，實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，包括上述實施例方法的各步驟，而所述的存儲介質(zhì)可以是：ROM/RAM、磁碟、光盤、存儲卡等。因此，與本發(fā)明的方法相對應(yīng)的，本發(fā)明還同時包括一種4G移動數(shù)據(jù)信令面和用戶面的關(guān)聯(lián)系統(tǒng)，該系統(tǒng)通常以與方法各步驟相對應(yīng)的功能模塊的形式表示。使用該方法的系統(tǒng)，該系統(tǒng)包括：

數(shù)據(jù)分發(fā)模塊，其配置來從網(wǎng)絡(luò)上收到用戶上網(wǎng)報文，分析是信令面數(shù)據(jù)還是用戶面數(shù)據(jù)；

信令面數(shù)據(jù)解析模塊，其配置來接到報文后，按照3GPP的規(guī)范，對各個接口的數(shù)據(jù)按照對應(yīng)協(xié)議的規(guī)范，對報文進(jìn)行解析；

用戶面數(shù)據(jù)解析模塊，其配置來按照3GPP的規(guī)范，對用戶數(shù)據(jù)按照GTPU協(xié)議的規(guī)范，對報文進(jìn)行解析，包括訪問主機(jī)名Host、統(tǒng)一資源定位符URL、用戶代理UserAgent、源地址、目的地址；

用戶關(guān)聯(lián)模塊，其配置來從GtKafka上實時讀取到每條記錄，如果該記錄是用戶面數(shù)據(jù)，就用數(shù)據(jù)中攜帶的teid以及SGW的IP和端口到Redis中去查，如果查到對應(yīng)的信令面記錄，用戶關(guān)聯(lián)模塊就向數(shù)據(jù)解析層數(shù)據(jù)總線GtKafka返回OK和對應(yīng)的信令數(shù)據(jù)，GtKafka把關(guān)聯(lián)后的數(shù)據(jù)寫入Kafka；如果查不到，用戶關(guān)聯(lián)模塊向GtKafka返回FALSE，GtKafka則將該用戶記錄丟棄。

另外，所述信令面數(shù)據(jù)解析模塊中，信令面解析服務(wù)器區(qū)分出是隧道的創(chuàng)建/更新/刪除的請求，或者創(chuàng)建/更新/刪除的響應(yīng)；信令面解析服務(wù)器保存請求的數(shù)據(jù)；響應(yīng)的數(shù)據(jù)來到后，跟請求的數(shù)據(jù)進(jìn)行匹配，如果匹配上，就把請求和響應(yīng)組成一條全量的數(shù)據(jù)，發(fā)送到數(shù)據(jù)解析層數(shù)據(jù)總線Gtkafka。

另外，所述用戶面數(shù)據(jù)解析模塊中，用戶面解析服務(wù)器把解析出來的數(shù)據(jù)，發(fā)送到Gtkafka。

另外，所述用戶關(guān)聯(lián)模塊中，接收到數(shù)據(jù)后，判斷是信令面數(shù)據(jù)還是用戶面數(shù)據(jù)，如果都不是則丟棄；如果是信令面的數(shù)據(jù)就進(jìn)入信令面的處理流程：保存，更新或者刪除一條這條記錄。

本發(fā)明的有益效果如下：

1.能實現(xiàn)快速保存/查詢/刪除信令面數(shù)據(jù)和快速查詢用戶面數(shù)據(jù)的方法，節(jié)省內(nèi)存等系統(tǒng)資源；

2.簡單快捷，易于實現(xiàn)，識別準(zhǔn)確率高，從而快速的將信令面和用戶面數(shù)據(jù)合成出一條條用戶的上網(wǎng)記錄。

以上所述，僅是本發(fā)明的較佳實施例，并非對本發(fā)明作任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬本發(fā)明技術(shù)方案的保護(hù)范圍。