本發(fā)明涉及手機(jī)客戶(hù)端技術(shù)領(lǐng)域，尤其涉及一種基于手機(jī)客戶(hù)端軟件動(dòng)態(tài)特征庫(kù)的識(shí)別應(yīng)用智能分析引擎。

背景技術(shù)：

近些年來(lái)移動(dòng)互聯(lián)網(wǎng)特別是LTE-4G高速發(fā)展背景下。各種P2P、VoIP、流媒體、OTT應(yīng)用、音視頻聊天、互動(dòng)在線(xiàn)游戲和虛擬現(xiàn)實(shí)等網(wǎng)絡(luò)新業(yè)務(wù)層出不窮。運(yùn)營(yíng)商為實(shí)現(xiàn)“智能管道”的大戰(zhàn)略目標(biāo)，產(chǎn)生了“對(duì)管道的流量精準(zhǔn)識(shí)別”與“運(yùn)營(yíng)、管理流量中附加值”的巨大市場(chǎng)需求。而傳統(tǒng)識(shí)別的市場(chǎng)上現(xiàn)有的普通報(bào)文檢測(cè)以及傳統(tǒng)的DPI產(chǎn)品已經(jīng)不能滿(mǎn)足前述業(yè)務(wù)需求。本智能分析引擎而立足于運(yùn)營(yíng)商全量的網(wǎng)絡(luò)通信數(shù)據(jù)即實(shí)際流量，利用手機(jī)終端自動(dòng)實(shí)時(shí)分析客戶(hù)端軟件與應(yīng)用流量關(guān)系，形成動(dòng)態(tài)的精準(zhǔn)識(shí)別基礎(chǔ)特征庫(kù)，與運(yùn)營(yíng)商網(wǎng)絡(luò)管道海量大數(shù)據(jù)結(jié)合進(jìn)行云端側(cè)業(yè)務(wù)流量關(guān)聯(lián)識(shí)別，并在精準(zhǔn)識(shí)別的基礎(chǔ)上利用客戶(hù)端海量大數(shù)據(jù)行為特點(diǎn)構(gòu)建特征智能挖掘算法，動(dòng)態(tài)化收斂客戶(hù)端與業(yè)務(wù)流量的精準(zhǔn)對(duì)應(yīng)關(guān)系，形成基于手機(jī)客戶(hù)端軟件動(dòng)態(tài)特征的精準(zhǔn)識(shí)別應(yīng)用智能分析引擎。

目前對(duì)于手機(jī)客戶(hù)端應(yīng)用識(shí)別的方法主要有以下三種

1、基于端口的網(wǎng)絡(luò)流量業(yè)務(wù)識(shí)別方法：不同應(yīng)用在網(wǎng)絡(luò)的流量傳輸是在相應(yīng)的網(wǎng)絡(luò)端口進(jìn)行的，本方法核心思想為通過(guò)檢測(cè)流量的端口號(hào)，并與應(yīng)用注冊(cè)的端口號(hào)對(duì)應(yīng)，實(shí)現(xiàn)業(yè)務(wù)的識(shí)別。如web應(yīng)用對(duì)應(yīng)80端口，DNS端口號(hào)為53，F(xiàn)TP(20,21)，e-mail(25,110)等。

2、基于數(shù)據(jù)包的網(wǎng)絡(luò)數(shù)據(jù)流量識(shí)別方法：即深度包檢測(cè)(DPI)網(wǎng)絡(luò)數(shù)據(jù)流量識(shí)別技術(shù)，基于IP端口與網(wǎng)絡(luò)數(shù)據(jù)包，采集移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)應(yīng)用層內(nèi)容，通過(guò)對(duì)數(shù)據(jù)包的應(yīng)用層負(fù)載特征如IP數(shù)據(jù)包的源地址、源端口、目的地址、目的端口以及協(xié)議類(lèi)型，進(jìn)行檢測(cè)分析，找出特征字，進(jìn)而判斷并識(shí)別業(yè)務(wù)流

3、基于業(yè)務(wù)數(shù)據(jù)流的網(wǎng)絡(luò)數(shù)據(jù)流量識(shí)別技術(shù)：該方法是數(shù)據(jù)流的宏觀(guān)特征進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，包括單位時(shí)間數(shù)據(jù)流數(shù)目、數(shù)據(jù)流的位速率、流大小以及流的生存周期(數(shù)據(jù)流的開(kāi)始和結(jié)束時(shí)間之差)，通過(guò)機(jī)器學(xué)習(xí)與對(duì)比，實(shí)現(xiàn)業(yè)務(wù)流的識(shí)別。

現(xiàn)有技術(shù)的缺點(diǎn)及本申請(qǐng)?zhí)岚敢鉀Q的技術(shù)問(wèn)題

方法一缺點(diǎn)：只能識(shí)別固定端口的應(yīng)用，對(duì)于新型動(dòng)態(tài)分配端口的應(yīng)用類(lèi)型如基于P2P協(xié)議的應(yīng)用，識(shí)別率將無(wú)法保證。方法二缺點(diǎn)：無(wú)法對(duì)數(shù)據(jù)流量進(jìn)行精準(zhǔn)且高效快速的定位，特別是對(duì)于應(yīng)用間互相調(diào)用發(fā)生的業(yè)務(wù)流，無(wú)法追溯到真正產(chǎn)生數(shù)據(jù)流量的應(yīng)用。該方法亦無(wú)法識(shí)別加密算法應(yīng)用、端口可變應(yīng)用、隱藏在合法端口之后的隧道應(yīng)用、IP地址可變應(yīng)用和交互式應(yīng)用等應(yīng)用類(lèi)型。方法三缺點(diǎn)：準(zhǔn)確度和識(shí)別率較低，對(duì)于業(yè)務(wù)流的統(tǒng)計(jì)效率較低。當(dāng)發(fā)生丟包情況時(shí)，對(duì)識(shí)別的結(jié)果有一定的影響。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的一種基于手機(jī)客戶(hù)端軟件動(dòng)態(tài)特征庫(kù)的識(shí)別應(yīng)用智能分析引擎。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

一種基于手機(jī)客戶(hù)端軟件動(dòng)態(tài)特征庫(kù)的識(shí)別應(yīng)用智能分析引擎，包括如下步驟：

S1：抓取業(yè)務(wù)流量IP包并快速解碼,為了能夠?qū)崟r(shí)對(duì)比當(dāng)前進(jìn)程網(wǎng)絡(luò)記錄，需要對(duì)ip數(shù)據(jù)包進(jìn)行捕獲并快速解碼，獲取數(shù)據(jù)包的內(nèi)容，數(shù)據(jù)包常規(guī)的傳輸路徑依次為網(wǎng)卡、設(shè)備驅(qū)動(dòng)層、數(shù)據(jù)鏈路層、IP層、傳輸層、最后到達(dá)應(yīng)用程序，當(dāng)一個(gè)數(shù)據(jù)包到達(dá)網(wǎng)絡(luò)接口時(shí)，libpcap首先利用已經(jīng)創(chuàng)建的Socket從鏈路層驅(qū)動(dòng)程序中獲得該數(shù)據(jù)包的拷貝，通過(guò)Tap函數(shù)將數(shù)據(jù)包發(fā)給BPF過(guò)濾器，BPF過(guò)濾器根據(jù)已經(jīng)定義好的過(guò)濾規(guī)則對(duì)數(shù)據(jù)包進(jìn)行逐一匹配，匹配成功則放入內(nèi)核緩沖區(qū)，并傳遞給用戶(hù)緩沖區(qū)，匹配失敗則直接丟棄；

S2：提取系統(tǒng)中進(jìn)程的網(wǎng)絡(luò)調(diào)用記錄,通過(guò)libpcap編程檢查獲得活動(dòng)tcp/udp端口，通過(guò)函數(shù)pcap_lookupdev查找活動(dòng)網(wǎng)絡(luò)設(shè)備，發(fā)現(xiàn)可用的網(wǎng)卡和端口，如果當(dāng)前有多個(gè)網(wǎng)卡，函數(shù)就會(huì)返回一個(gè)網(wǎng)絡(luò)設(shè)備名的指針列表，按行解析/proc/net/tcp，獲取當(dāng)前活躍的TCP連接情況及其inode值，/proc/net/tcp文件中存儲(chǔ)的主要信息包括：本地地址，本地端口，遠(yuǎn)程地址，遠(yuǎn)程端口，鏈接狀態(tài)，發(fā)送隊(duì)列，接收隊(duì)列，UID，inode等信息，提取該文件中有數(shù)據(jù)傳輸時(shí)的inode字段值。查找數(shù)據(jù)傳輸對(duì)應(yīng)的活動(dòng)應(yīng)用進(jìn)程，通過(guò)inotify可以使如文件增加、修改、刪除等事件實(shí)時(shí)為用戶(hù)所獲知，且不需要對(duì)被監(jiān)視的目標(biāo)打開(kāi)文件描述符fd，最后，通過(guò)進(jìn)程網(wǎng)絡(luò)記錄文件與IP包內(nèi)容的對(duì)應(yīng)比較，完成業(yè)務(wù)流的精準(zhǔn)識(shí)別；

S3：動(dòng)態(tài)挖掘客戶(hù)端軟件流量業(yè)務(wù)

1)、根據(jù)現(xiàn)有原始數(shù)據(jù)，獲取socket類(lèi)業(yè)務(wù)中未識(shí)別的IP、端口、流量等統(tǒng)計(jì)信息，組成未識(shí)別表，

2)、提取包含2個(gè)IP以上的IP段，在規(guī)則庫(kù)中查找該ip段和端口對(duì)應(yīng)的業(yè)務(wù)類(lèi)型(一個(gè)，多個(gè)或未知)，當(dāng)做該段ip的疑似業(yè)務(wù)類(lèi)型，ip&端口對(duì)應(yīng)1個(gè)業(yè)務(wù)、多個(gè)業(yè)務(wù)兩類(lèi)數(shù)據(jù)組成A表，流程3、4、5描述的是以每個(gè)唯一規(guī)則為基礎(chǔ)，循環(huán)多次遍歷原始表，最后匯總成表E的過(guò)程，此處歸納為一個(gè)小結(jié)進(jìn)行敘述，

3)流程3，原始數(shù)據(jù)中統(tǒng)計(jì)使用某個(gè)唯一規(guī)則的用戶(hù)，產(chǎn)生該唯一規(guī)則業(yè)務(wù)的用戶(hù)列表(表B)，

4)流程4，統(tǒng)計(jì)原始數(shù)據(jù)中，列表B中用戶(hù)使用過(guò)的IP地址及端口，當(dāng)用戶(hù)量大于該類(lèi)業(yè)務(wù)總用戶(hù)量的1％(閥值可調(diào))時(shí)，生成IP地址以及端口列表(列表C)，

5)流程5，對(duì)比列表A，列表C，提取兩表交集中的IP地址、端口，生成列表D，

6)流程6：一個(gè)IP段對(duì)應(yīng)一個(gè)業(yè)務(wù)的情況，規(guī)則直接輸出唯一規(guī)則即可，一個(gè)IP段對(duì)應(yīng)多個(gè)業(yè)務(wù)的情況，需要將多個(gè)業(yè)務(wù)的分析數(shù)據(jù)進(jìn)行匯總統(tǒng)計(jì)，提煉出唯一規(guī)則與公共規(guī)則，完成動(dòng)態(tài)化收斂挖掘應(yīng)用業(yè)務(wù)的算法；

S4：智能分析引擎技術(shù)實(shí)現(xiàn)，識(shí)別引擎設(shè)計(jì)框架結(jié)構(gòu)根據(jù)主架構(gòu)，本采集識(shí)別的設(shè)計(jì)居于采集層，底端是由數(shù)據(jù)源組成的信令平臺(tái)數(shù)據(jù)源，頂端是采集識(shí)別后數(shù)據(jù)輸出后的KAFKA數(shù)據(jù)中心中間件后再同步到數(shù)據(jù)共享層。在采集層的設(shè)計(jì)上，主要分成手機(jī)客戶(hù)端識(shí)別模塊和特征庫(kù)兩大塊，特征庫(kù)是識(shí)別的規(guī)則基礎(chǔ)，識(shí)別模塊則是依賴(lài)于規(guī)則基礎(chǔ)對(duì)話(huà)單數(shù)據(jù)進(jìn)行遞進(jìn)式的識(shí)別，識(shí)別流程分別有手機(jī)客戶(hù)端流量識(shí)別流程、網(wǎng)頁(yè)門(mén)戶(hù)流量識(shí)別流程、PC應(yīng)用流量識(shí)別流程、后臺(tái)進(jìn)程開(kāi)銷(xiāo)流量識(shí)別流程和其他流量識(shí)別流程，在設(shè)計(jì)上考慮了不同業(yè)務(wù)的識(shí)別順序有一定差異以及業(yè)務(wù)公用情況，涵蓋終端上網(wǎng)行為廣度與深度識(shí)別。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明專(zhuān)利利用手機(jī)終端自動(dòng)實(shí)時(shí)分析客戶(hù)端軟件與應(yīng)用流量關(guān)系，形成動(dòng)態(tài)的精準(zhǔn)識(shí)別基礎(chǔ)特征庫(kù)，與運(yùn)營(yíng)商網(wǎng)絡(luò)管道海量大數(shù)據(jù)結(jié)合進(jìn)行云端側(cè)業(yè)務(wù)流量關(guān)聯(lián)識(shí)別，并在精準(zhǔn)識(shí)別的基礎(chǔ)上利用客戶(hù)端海量大數(shù)據(jù)行為特點(diǎn)構(gòu)建特征智能挖掘算法，動(dòng)態(tài)化收斂客戶(hù)端與業(yè)務(wù)流量的精準(zhǔn)對(duì)應(yīng)關(guān)系，來(lái)構(gòu)建手機(jī)客戶(hù)端軟件應(yīng)用業(yè)務(wù)分析引擎，突破傳統(tǒng)DPI無(wú)法及時(shí)準(zhǔn)確識(shí)別并出關(guān)聯(lián)明細(xì)業(yè)務(wù)流量的缺點(diǎn)，同時(shí)不依賴(lài)人工模式，全程自動(dòng)化并支持智能溯源與分析，具有自動(dòng)化、成本低高效益特點(diǎn)的技術(shù)方案。

附圖說(shuō)明

圖1為本發(fā)明業(yè)務(wù)精準(zhǔn)識(shí)別原理圖；

圖2為本發(fā)明動(dòng)態(tài)挖掘客戶(hù)端軟件流量業(yè)務(wù)原理圖；

圖3為本發(fā)明智能分析引擎技術(shù)流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

實(shí)施例1

一種基于手機(jī)客戶(hù)端軟件動(dòng)態(tài)特征庫(kù)的識(shí)別應(yīng)用智能分析引擎，包括如下步驟：

S1：抓取業(yè)務(wù)流量IP包并快速解碼,為了能夠?qū)崟r(shí)對(duì)比當(dāng)前進(jìn)程網(wǎng)絡(luò)記錄，需要對(duì)ip數(shù)據(jù)包進(jìn)行捕獲并快速解碼，獲取數(shù)據(jù)包的內(nèi)容，數(shù)據(jù)包常規(guī)的傳輸路徑依次為網(wǎng)卡、設(shè)備驅(qū)動(dòng)層、數(shù)據(jù)鏈路層、IP層、傳輸層、最后到達(dá)應(yīng)用程序，當(dāng)一個(gè)數(shù)據(jù)包到達(dá)網(wǎng)絡(luò)接口時(shí)，l ibpcap首先利用已經(jīng)創(chuàng)建的Socket從鏈路層驅(qū)動(dòng)程序中獲得該數(shù)據(jù)包的拷貝，通過(guò)Tap函數(shù)將數(shù)據(jù)包發(fā)給BPF過(guò)濾器，BPF過(guò)濾器根據(jù)已經(jīng)定義好的過(guò)濾規(guī)則對(duì)數(shù)據(jù)包進(jìn)行逐一匹配，匹配成功則放入內(nèi)核緩沖區(qū)，并傳遞給用戶(hù)緩沖區(qū)，匹配失敗則直接丟棄；

S2：提取系統(tǒng)中進(jìn)程的網(wǎng)絡(luò)調(diào)用記錄,通過(guò)l ibpcap編程檢查獲得活動(dòng)tcp/udp端口，通過(guò)函數(shù)pcap_lookupdev查找活動(dòng)網(wǎng)絡(luò)設(shè)備，發(fā)現(xiàn)可用的網(wǎng)卡和端口，如果當(dāng)前有多個(gè)網(wǎng)卡，函數(shù)就會(huì)返回一個(gè)網(wǎng)絡(luò)設(shè)備名的指針列表，按行解析/proc/net/tcp，獲取當(dāng)前活躍的TCP連接情況及其inode值，/proc/net/tcp文件中存儲(chǔ)的主要信息包括：本地地址，本地端口，遠(yuǎn)程地址，遠(yuǎn)程端口，鏈接狀態(tài)，發(fā)送隊(duì)列，接收隊(duì)列，UID，inode等信息，提取該文件中有數(shù)據(jù)傳輸時(shí)的inode字段值。查找數(shù)據(jù)傳輸對(duì)應(yīng)的活動(dòng)應(yīng)用進(jìn)程，通過(guò)inotify可以使如文件增加、修改、刪除等事件實(shí)時(shí)為用戶(hù)所獲知，且不需要對(duì)被監(jiān)視的目標(biāo)打開(kāi)文件描述符fd，最后，通過(guò)進(jìn)程網(wǎng)絡(luò)記錄文件與IP包內(nèi)容的對(duì)應(yīng)比較，完成業(yè)務(wù)流的精準(zhǔn)識(shí)別；

S3：動(dòng)態(tài)挖掘客戶(hù)端軟件流量業(yè)務(wù)

1)、根據(jù)現(xiàn)有原始數(shù)據(jù)，獲取socket類(lèi)業(yè)務(wù)中未識(shí)別的IP、端口、流量等統(tǒng)計(jì)信息，組成未識(shí)別表，

2)、提取包含2個(gè)IP以上的IP段，在規(guī)則庫(kù)中查找該ip段和端口對(duì)應(yīng)的業(yè)務(wù)類(lèi)型(一個(gè)，多個(gè)或未知)，當(dāng)做該段ip的疑似業(yè)務(wù)類(lèi)型，ip&端口對(duì)應(yīng)1個(gè)業(yè)務(wù)、多個(gè)業(yè)務(wù)兩類(lèi)數(shù)據(jù)組成A表，流程3、4、5描述的是以每個(gè)唯一規(guī)則為基礎(chǔ)，循環(huán)多次遍歷原始表，最后匯總成表E的過(guò)程，此處歸納為一個(gè)小結(jié)進(jìn)行敘述，

3)流程3，原始數(shù)據(jù)中統(tǒng)計(jì)使用某個(gè)唯一規(guī)則的用戶(hù)，產(chǎn)生該唯一規(guī)則業(yè)務(wù)的用戶(hù)列表(表B)，

4)流程4，統(tǒng)計(jì)原始數(shù)據(jù)中，列表B中用戶(hù)使用過(guò)的IP地址及端口，當(dāng)用戶(hù)量大于該類(lèi)業(yè)務(wù)總用戶(hù)量的1％(閥值可調(diào))時(shí)，生成IP地址以及端口列表(列表C)，

5)流程5，對(duì)比列表A，列表C，提取兩表交集中的IP地址、端口，生成列表D，

6)流程6：一個(gè)IP段對(duì)應(yīng)一個(gè)業(yè)務(wù)的情況，規(guī)則直接輸出唯一規(guī)則即可，一個(gè)IP段對(duì)應(yīng)多個(gè)業(yè)務(wù)的情況，需要將多個(gè)業(yè)務(wù)的分析數(shù)據(jù)進(jìn)行匯總統(tǒng)計(jì)，提煉出唯一規(guī)則與公共規(guī)則，完成動(dòng)態(tài)化收斂挖掘應(yīng)用業(yè)務(wù)的算法；

S4：智能分析引擎技術(shù)實(shí)現(xiàn)，識(shí)別引擎設(shè)計(jì)框架結(jié)構(gòu)根據(jù)主架構(gòu)，本采集識(shí)別的設(shè)計(jì)居于采集層，底端是由數(shù)據(jù)源組成的信令平臺(tái)數(shù)據(jù)源，頂端是采集識(shí)別后數(shù)據(jù)輸出后的KAFKA數(shù)據(jù)中心中間件后再同步到數(shù)據(jù)共享層。在采集層的設(shè)計(jì)上，主要分成手機(jī)客戶(hù)端識(shí)別模塊和特征庫(kù)兩大塊，特征庫(kù)是識(shí)別的規(guī)則基礎(chǔ)，識(shí)別模塊則是依賴(lài)于規(guī)則基礎(chǔ)對(duì)話(huà)單數(shù)據(jù)進(jìn)行遞進(jìn)式的識(shí)別，識(shí)別流程分別有手機(jī)客戶(hù)端流量識(shí)別流程、網(wǎng)頁(yè)門(mén)戶(hù)流量識(shí)別流程、PC應(yīng)用流量識(shí)別流程、后臺(tái)進(jìn)程開(kāi)銷(xiāo)流量識(shí)別流程和其他流量識(shí)別流程，在設(shè)計(jì)上考慮了不同業(yè)務(wù)的識(shí)別順序有一定差異以及業(yè)務(wù)公用情況，涵蓋終端上網(wǎng)行為廣度與深度識(shí)別。

本發(fā)明專(zhuān)利利用手機(jī)終端自動(dòng)實(shí)時(shí)分析客戶(hù)端軟件與應(yīng)用流量關(guān)系，形成動(dòng)態(tài)的精準(zhǔn)識(shí)別基礎(chǔ)特征庫(kù)，與運(yùn)營(yíng)商網(wǎng)絡(luò)管道海量大數(shù)據(jù)結(jié)合進(jìn)行云端側(cè)業(yè)務(wù)流量關(guān)聯(lián)識(shí)別，并在精準(zhǔn)識(shí)別的基礎(chǔ)上利用客戶(hù)端海量大數(shù)據(jù)行為特點(diǎn)構(gòu)建特征智能挖掘算法，動(dòng)態(tài)化收斂客戶(hù)端與業(yè)務(wù)流量的精準(zhǔn)對(duì)應(yīng)關(guān)系，來(lái)構(gòu)建手機(jī)客戶(hù)端軟件應(yīng)用業(yè)務(wù)分析引擎，突破傳統(tǒng)DPI無(wú)法及時(shí)準(zhǔn)確識(shí)別并出關(guān)聯(lián)明細(xì)業(yè)務(wù)流量的缺點(diǎn)，同時(shí)不依賴(lài)人工模式，全程自動(dòng)化并支持智能溯源與分析，具有自動(dòng)化、成本低高效益特點(diǎn)的技術(shù)方案。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)，本智能分析引擎利用手機(jī)終端自動(dòng)實(shí)時(shí)分析客戶(hù)端軟件與應(yīng)用流量關(guān)系，形成動(dòng)態(tài)的精準(zhǔn)識(shí)別特征庫(kù)進(jìn)行業(yè)務(wù)應(yīng)用的精準(zhǔn)識(shí)別，該思想具有創(chuàng)新性，是技術(shù)關(guān)鍵點(diǎn)，應(yīng)予以保護(hù)。