的策略，將報文緩存器中的報文準確 發(fā)送出去。心跳機制流量管理模塊包括實時流量管理、歷史流量管理、用戶管理以及策略下 發(fā)管理。需要與心跳機制流量識別模塊、心跳機制流量控制模塊以數(shù)據(jù)庫模塊進行交互。
[0119]實時流量管理：查看心跳機制各類應用的實時流量曲線圖、某IP的實時流量曲線 圖或是某協(xié)議的實時流量曲線圖。
[0120] 歷史流量管理：查看歷史流量的全部流量曲線圖、某IP的歷史流量曲線圖或是某 協(xié)議的歷史流量曲線圖。
[0121] 用戶管理：用于管理不同權(quán)限的用戶，添加用戶，刪除用戶。
[0122] 策略下發(fā)管理：用于下發(fā)限流阻斷的策略、以及流量信息記錄的時間間隔。某IP 的阻斷或限流，某協(xié)議的阻斷或限流，IP和協(xié)議的阻斷或限流，修改當前的阻斷限流策略以 及流量記錄時間間隔。
[0123] 如圖7所示，本發(fā)明公開了一種流量數(shù)據(jù)篩選裝置，包括：
[0124]數(shù)據(jù)獲取模塊100，用于依靠探針通過分析端口獲取各應用軟件心跳機制流量數(shù) 據(jù)，獲取流量數(shù)據(jù)的標簽數(shù)據(jù)；
[0125] 數(shù)據(jù)處理模塊200,用于根據(jù)標簽數(shù)據(jù)對所述流量數(shù)據(jù)進行半監(jiān)督聚類處理后送 入數(shù)據(jù)倉庫；
[0126] 映射整合模塊300,用于將數(shù)據(jù)倉庫內(nèi)的各種數(shù)據(jù)實體映射成虛擬數(shù)據(jù)層中的表， 進行數(shù)據(jù)加工整合。
[0127] 其中：數(shù)據(jù)處理模塊200包括：
[0128] 度量值設置子模塊210,用于對先驗信息中滿足Must-retention約束的數(shù)據(jù)對 (ei,ej)設置相似性度量值：s(i,j)=0&s(j,i)=l，對先驗信息中滿足Cannot-retention約 束的數(shù)據(jù)對（ei，ej)設置相似性度量值：s(i，j)=0&s(j，i)=0 ;
[0129] 相似度調(diào)整子模塊220,用于對不包含在先驗信息中的數(shù)據(jù)對的相似度進行調(diào)整 ： (ei ,ej )^{M U〇^>s(i, j) = max(s(i, j),s(i,k)+s(k, j));
[0130] 修正子模塊230,用于在Cannot-retention集中對相似性的調(diào)整結(jié)果進行局部修 正。
[0131] 其中：各應用軟件心跳機制流量數(shù)據(jù)包括：流量數(shù)據(jù)報文抽取、信息拆解-應用業(yè) 務識別、心跳機制粗細跟蹤、心跳頻率、心跳機制IP包的數(shù)據(jù)。
[0132] 其中：流量數(shù)據(jù)篩選裝置還包括：
[0133] 數(shù)據(jù)整理模塊400,用于完成數(shù)據(jù)質(zhì)量檢驗、質(zhì)量缺陷確認、數(shù)據(jù)返工組成的步 驟；
[0134] 其中，數(shù)據(jù)質(zhì)量檢驗包括單數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗和多數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗。
[0135] 其中：數(shù)據(jù)處理模塊200,還用于對樣本約束傳遞性進行預處理，表現(xiàn)為反映樣本 間相似關(guān)系的約束條件，將約束條件作為聚類目標的直接作用的聚類算法。
[0136] 本發(fā)明的流量數(shù)據(jù)篩選裝置，對基于心跳機制的各應用進行數(shù)據(jù)選取、數(shù)據(jù)集成、 數(shù)據(jù)整理和數(shù)據(jù)規(guī)約，提高了各應用軟件心跳機制流量數(shù)據(jù)篩選的有效性，為后續(xù)的流量 數(shù)據(jù)分析提供了可靠保障。
[0137] 本發(fā)明能有多種不同形式的【具體實施方式】，上面以圖2-圖7為例結(jié)合附圖對本發(fā) 明的技術(shù)方案作舉例說明，這并不意味著本發(fā)明所應用的具體實例只能局限在特定的流程 或?qū)嵤├Y(jié)構(gòu)中，本領(lǐng)域的普通技術(shù)人員應當了解，上文所提供的具體實施方案只是多種 優(yōu)選用法中的一些示例，任何體現(xiàn)本發(fā)明權(quán)利要求的實施方式均應在本發(fā)明技術(shù)方案所要 求保護的范圍之內(nèi)。
[0138] 最后應說明的是：以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明， 盡管參照前述實施例對本發(fā)明進行了詳細的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可 以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的 保護范圍之內(nèi)。
【主權(quán)項】
1. 一種流量數(shù)據(jù)篩選方法，其特征在于，包括： 依靠探針通過分析端口獲取各應用軟件心跳機制流量數(shù)據(jù)，獲取所述流量數(shù)據(jù)的標簽 數(shù)據(jù)； 根據(jù)所述標簽數(shù)據(jù)對所述流量數(shù)據(jù)進行半監(jiān)督聚類處理后送入數(shù)據(jù)倉庫； 將所述數(shù)據(jù)倉庫內(nèi)的各種數(shù)據(jù)實體映射成虛擬數(shù)據(jù)層中的表，進行數(shù)據(jù)加工整合。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述標簽數(shù)據(jù)對所述流量數(shù)據(jù) 進行半監(jiān)督聚類處理包括： 對先驗信息中滿足Must-retention約束的數(shù)據(jù)對（ei，ej)設置相似性度量值： s(i, j)=0&s(j, i)=l ； 對先驗信息中滿足Cannot-retention約束的數(shù)據(jù)對（ei,ej)設置相似性度量值： s(i, j)=0&s(j, i)=0 ； 對不包含在先驗信息中的數(shù)據(jù)對的相似度進行調(diào)整：（ei，ej )^M U C}^>s(i, j) = max(s(i, j),s(i,k)+s(k, j)); 在Cannot-retention集中對相似性的調(diào)整結(jié)果進行局部修正。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述各應用軟件心跳機制流量數(shù)據(jù)包 括：流量數(shù)據(jù)報文抽取、信息拆解-應用業(yè)務識別、心跳機制粗細跟蹤、心跳頻率、心跳機制 IP包的數(shù)據(jù)。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：由數(shù)據(jù)質(zhì)量檢驗、質(zhì)量缺陷確認、 數(shù)據(jù)返工組成的數(shù)據(jù)整理步驟； 其中，所述數(shù)據(jù)質(zhì)量檢驗包括單數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗和多數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述半監(jiān)督聚類處理還包括：對樣本約束 傳遞性進行預處理，表現(xiàn)為反映樣本間相似關(guān)系的約束條件，將所述約束條件作為聚類目 標的直接作用的聚類算法。
6. -種流量數(shù)據(jù)篩選裝置，其特征在于，包括： 數(shù)據(jù)獲取模塊，用于依靠探針通過分析端口獲取各應用軟件心跳機制流量數(shù)據(jù)，獲取 所述流量數(shù)據(jù)的標簽數(shù)據(jù)； 數(shù)據(jù)處理模塊，用于根據(jù)所述標簽數(shù)據(jù)對所述流量數(shù)據(jù)進行半監(jiān)督聚類處理后送入數(shù) 據(jù)倉庫； 映射整合模塊，用于將所述數(shù)據(jù)倉庫內(nèi)的各種數(shù)據(jù)實體映射成虛擬數(shù)據(jù)層中的表，進 行數(shù)據(jù)加工整合。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊包括： 度量值設置子模塊，用于對先驗信息中滿足Must-retention約束的數(shù)據(jù)對（ei，ej)設 置相似性度量值：s (i, j)=0&s(j, i)=l，對先驗信息中滿足Cannot-retention約束的數(shù)據(jù) 對（ei，e j)設置相似性度量值：s (i，j) =0&s (j，i) =0 ; 相似度調(diào)整子模塊，用于對不包含在先驗信息中的數(shù)據(jù)對的相似度進行調(diào)整： (ei ,ej )? {Μ U C}^>s(i, j) = max(s(i, j),s(i,k)+s(k, j)); 修正子模塊，用于在Cannot-retention集中對相似性的調(diào)整結(jié)果進行局部修正。
8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述各應用軟件心跳機制流量數(shù)據(jù)包括： 流量數(shù)據(jù)報文抽取、信息拆解-應用業(yè)務識別、心跳機制粗細跟蹤、心跳頻率、心跳機制IP 包的數(shù)據(jù)。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括： 數(shù)據(jù)整理模塊，用于完成數(shù)據(jù)質(zhì)量檢驗、質(zhì)量缺陷確認、數(shù)據(jù)返工組成的步驟； 其中，所述數(shù)據(jù)質(zhì)量檢驗包括單數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗和多數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢驗。
10. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊，還用于對樣本約束 傳遞性進行預處理，表現(xiàn)為反映樣本間相似關(guān)系的約束條件，將所述約束條件作為聚類目 標的直接作用的聚類算法。
【專利摘要】本發(fā)明公開了一種流量數(shù)據(jù)篩選方法和裝置，其中，該裝置包括：數(shù)據(jù)獲取模塊，用于依靠探針通過分析端口獲取各應用軟件心跳機制流量數(shù)據(jù)，獲取流量數(shù)據(jù)的標簽數(shù)據(jù)；數(shù)據(jù)處理模塊，用于根據(jù)標簽數(shù)據(jù)對所述流量數(shù)據(jù)進行半監(jiān)督聚類處理后送入數(shù)據(jù)倉庫；映射整合模塊，用于將數(shù)據(jù)倉庫內(nèi)的各種數(shù)據(jù)實體映射成虛擬數(shù)據(jù)層中的表，進行數(shù)據(jù)加工整合。本發(fā)明的流量數(shù)據(jù)篩選方法和裝置，對基于心跳機制的各應用進行數(shù)據(jù)選取、數(shù)據(jù)集成、數(shù)據(jù)整理和數(shù)據(jù)規(guī)約，提高了各應用軟件心跳機制流量數(shù)據(jù)篩選的有效性，為后續(xù)的流量數(shù)據(jù)分析提供了可靠保障。
【IPC分類】H04L12-24, H04L12-26
【公開號】CN104734894
【申請?zhí)枴緾N201310700077
【發(fā)明人】包靜, 包嘉琪, 張錦, 李岳峰, 林禮虎, 何帆, 王臣京
【申請人】中國移動通信集團甘肅有限公司
【公開日】2015年6月24日
【申請日】2013年12月18日