一種基于規(guī)則路由的數(shù)據(jù)流實時分類方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于規(guī)則路由的數(shù)據(jù)流實時分類方法及系統(tǒng)。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的迅猛發(fā)展，公司業(yè)務(wù)數(shù)據(jù)的種類和數(shù)量不斷增多。在數(shù)據(jù)總線中如 何對數(shù)據(jù)流進(jìn)行高效地識別與分類，是大數(shù)據(jù)處理中一個亟待解決的問題。
[0003] 數(shù)據(jù)流分類是指系統(tǒng)能夠按照一定的過濾規(guī)則對接收到的數(shù)據(jù)流進(jìn)行業(yè)務(wù)識別 及分類，以便系統(tǒng)能夠根據(jù)不同的數(shù)據(jù)流類別進(jìn)行相應(yīng)的后續(xù)業(yè)務(wù)處理。其中，數(shù)據(jù)流分類 規(guī)則一般都是基于數(shù)據(jù)流中的多個字段特征形成的。分類規(guī)則如何進(jìn)行描述和存儲、分類 方法流程如何設(shè)計是影響數(shù)據(jù)流分類性能的重要因素。
[0004] 目前對數(shù)據(jù)流進(jìn)行分類的方法主要有以下幾種：
[0005] 1)過濾規(guī)則用程序語言實現(xiàn)。這種方法實現(xiàn)比較直接，但由于規(guī)則寫死在程序中， 導(dǎo)致規(guī)則無法進(jìn)行靈活的通用配置。如果出現(xiàn)了具有新特征的數(shù)據(jù)源，或者規(guī)則特征發(fā)生 變更，通常需要重新編程才能對這些數(shù)據(jù)流加以識別和分類；
[0006] 2)使用腳本定制過濾規(guī)則。該方法比程序?qū)崿F(xiàn)更加靈活，但腳本定制風(fēng)格各異，規(guī) 則可讀性不高，用戶在使用該方法定制過濾規(guī)則時，仍然有較大的規(guī)則學(xué)習(xí)成本，不利于規(guī) 則進(jìn)行擴展。

【發(fā)明內(nèi)容】

[0007] 針對上述技術(shù)問題，本發(fā)明所要解決的技術(shù)問題是提供一種基于數(shù)據(jù)流特征，采 用路由方式，能夠有效針對數(shù)據(jù)流實現(xiàn)實時過濾分類的基于規(guī)則路由的數(shù)據(jù)流實時分類方 法。
[0008] 與此相應(yīng)，針對上述技術(shù)問題，本發(fā)明還要解決的技術(shù)問題是提供一種結(jié)構(gòu)簡潔， 用于實現(xiàn)本發(fā)明設(shè)計基于規(guī)則路由的數(shù)據(jù)流實時分類方法的基于規(guī)則路由的數(shù)據(jù)流實時 分類系統(tǒng)。
[0009] 本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計了一種基于規(guī)則路 由的數(shù)據(jù)流實時分類方法，首先分別獲取指定進(jìn)行路由分類處理的各類數(shù)據(jù)流的特征，以 此分別定義該各類數(shù)據(jù)流的分類特征規(guī)則，作為各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則，用于區(qū)分 各類目標(biāo)數(shù)據(jù)流，同時，分別為各類目標(biāo)數(shù)據(jù)流指定路由目標(biāo)；然后，針對實時獲得的各個 待處理數(shù)據(jù)流，分別進(jìn)行如下步驟操作：
[0010] 步驟001.將待處理數(shù)據(jù)流與各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則分別進(jìn)行匹配操作， 若匹配不成功，則該待處理數(shù)據(jù)流不屬于指定進(jìn)行路由分類處理的數(shù)據(jù)流種類，該待處理 數(shù)據(jù)流的操作結(jié)束；若匹配成功，則進(jìn)入步驟002 ;
[0011] 步驟002.根據(jù)該待處理數(shù)據(jù)流匹配成功的目標(biāo)數(shù)據(jù)流分類特征規(guī)則，獲取該目 標(biāo)數(shù)據(jù)流所對應(yīng)的路由目標(biāo)，將該待處理數(shù)據(jù)流根據(jù)該路由目標(biāo)進(jìn)行分類輸出。
[0012] 作為本發(fā)明的一種優(yōu)選技術(shù)方案：根據(jù)獲得的指定進(jìn)行路由分類處理的各類數(shù)據(jù) 流的特征，通過類SQL語言分別定義該各類數(shù)據(jù)流的分類特征規(guī)則，作為各類目標(biāo)數(shù)據(jù)流 分類特征規(guī)則；
[0013] 在所述針對實時獲得的各個待處理數(shù)據(jù)流分別進(jìn)行的操作中，步驟001之前還包 括步驟000如下：
[0014] 步驟000.根據(jù)定義目標(biāo)數(shù)據(jù)流分類特征規(guī)則的類SQL語言，采用指定數(shù)據(jù)模型將 待處理數(shù)據(jù)流的格式轉(zhuǎn)化為類SQL語言可以識別的數(shù)據(jù)格式，進(jìn)入步驟001。
[0015] 作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟001中，針對待處理數(shù)據(jù)流與各類目 標(biāo)數(shù)據(jù)流分類特征規(guī)則分別進(jìn)行的匹配操作，具體包括如下步驟：
[0016] 步驟00101.根據(jù)樹的數(shù)據(jù)結(jié)構(gòu)形式，分別針對各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則進(jìn) 行構(gòu)造，獲得分別對應(yīng)各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則的各個分類樹，其中，各個分類樹的葉 子節(jié)點代表目標(biāo)數(shù)據(jù)流分類特征規(guī)則中的子特征，中間節(jié)點代表各子節(jié)點的復(fù)合特征，根 部節(jié)點代表了目標(biāo)數(shù)據(jù)流分類特征規(guī)則所對應(yīng)的路由目標(biāo)；進(jìn)入步驟00102 ;
[0017] 步驟00102.將待處理數(shù)據(jù)流分別與各個分類樹進(jìn)行匹配操作，其中，待處理數(shù)據(jù) 流由葉子節(jié)點開始進(jìn)行匹配操作，若葉子節(jié)點匹配成功，則向上與該葉子節(jié)點對應(yīng)的父節(jié) 點進(jìn)行匹配，以此類推，直至根節(jié)點進(jìn)行匹配操作，上述過程中，若全部匹配成功，則該待處 理數(shù)據(jù)流符合當(dāng)前與之進(jìn)行匹配操作的規(guī)則樹，進(jìn)入步驟002 ;若出現(xiàn)匹配不成功的節(jié)點， 則該待處理數(shù)據(jù)流不符合當(dāng)前與之進(jìn)行匹配操作的規(guī)則樹，該待處理數(shù)據(jù)流與該規(guī)則樹的 匹配操作結(jié)束。
[0018] 本發(fā)明所述一種基于規(guī)則路由的數(shù)據(jù)流實時分類方法采用以上技術(shù)方案與現(xiàn)有 技術(shù)相比，具有以下技術(shù)效果：本發(fā)明設(shè)計的基于規(guī)則路由的數(shù)據(jù)流實時分類方法，基于數(shù) 據(jù)流特征，靈活配置目標(biāo)數(shù)據(jù)流分類特征規(guī)則，采用過濾方式，針對來自不同源、不同類型 的數(shù)據(jù)流實現(xiàn)匹配操作，區(qū)分獲得各類指定進(jìn)行路由分類處理的數(shù)據(jù)流，最終針對數(shù)據(jù)流 實現(xiàn)實時高效過濾分類，有效提高了數(shù)據(jù)流實際應(yīng)用的工作效率，并且具有很強的可擴展 性。
[0019] 與此相應(yīng)，本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計了一種 實現(xiàn)本發(fā)明所述基于規(guī)則路由的數(shù)據(jù)流實時分類方法的系統(tǒng)，包括規(guī)則定義模塊、規(guī)則庫、 事件過濾模塊和路由分類模塊，其中：
[0020] 規(guī)則定義模塊，用于根據(jù)獲得的指定進(jìn)行路由分類處理的各類數(shù)據(jù)流的特征，分 別定義該各類數(shù)據(jù)流的分類特征規(guī)則，作為各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則，以及分別為各 類目標(biāo)數(shù)據(jù)流指定路由目標(biāo)；
[0021] 規(guī)則庫，用于存儲各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則，以及其對應(yīng)的路由目標(biāo)；
[0022] 事件過濾模塊，用于將待處理數(shù)據(jù)流與各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則分別進(jìn)行匹 配操作；
[0023] 路由分類模塊，用于根據(jù)事件過濾模塊針對待處理數(shù)據(jù)流的匹配操作結(jié)果，執(zhí)行 對應(yīng)的分類操作。
[0024] 作為本發(fā)明的一種優(yōu)選技術(shù)方案：還包括預(yù)處理模塊，其中：
[0025] 規(guī)則定義模塊，用于根據(jù)獲得的指定進(jìn)行路由分類處理的各類數(shù)據(jù)流的特征，通 過類SQL語言分別定義該各類數(shù)據(jù)流的分類特征規(guī)則，作為各類目標(biāo)數(shù)據(jù)流分類特征規(guī) 貝1J，以及分別為各類目標(biāo)數(shù)據(jù)流指定路由目標(biāo)；
[0026] 預(yù)處理模塊，用于根據(jù)定義目標(biāo)數(shù)據(jù)流分類特征規(guī)則的類SQL語言，采用指定數(shù) 據(jù)模型將待處理數(shù)據(jù)流的格式轉(zhuǎn)化為類SQL語言可以識別的數(shù)據(jù)格式。
[0027] 本發(fā)明所述一種基于規(guī)則路由的數(shù)據(jù)流實時分類系統(tǒng)采用以上技術(shù)方案與現(xiàn)有 技術(shù)相比，具有以下技術(shù)效果：本發(fā)明設(shè)計的基于規(guī)則路由的數(shù)據(jù)流實時分類系統(tǒng)，結(jié)構(gòu)簡 潔，能夠快速實現(xiàn)本發(fā)明所述基于規(guī)則路由的數(shù)據(jù)流實時分類方法的實際應(yīng)用，能夠顯著 提高針對數(shù)據(jù)流進(jìn)行實時過濾分類操作的工作效率。
【附圖說明】
[0028] 圖1為本發(fā)明設(shè)計基于規(guī)則路由的數(shù)據(jù)流實時分類方法的流程示意圖；
[0029] 圖2為本發(fā)明設(shè)計基于規(guī)則路由的數(shù)據(jù)流實時分類系統(tǒng)的模塊結(jié)構(gòu)示意圖；
[0030] 圖3為本發(fā)明設(shè)計中目標(biāo)數(shù)據(jù)流分類特征規(guī)則的樹結(jié)構(gòu)示意圖；
[0031] 圖4為本發(fā)明設(shè)計基于規(guī)則路由的數(shù)據(jù)流實時分類的示意圖。
【具體實施方式】
[0032] 下面結(jié)合說明書附圖針對本發(fā)明的【具體實施方式】作進(jìn)一步詳細(xì)的說明。
[0033] 如圖1和圖2所示，本發(fā)明設(shè)計的一種基于規(guī)則路由的數(shù)據(jù)流實時分類方法及系 統(tǒng)在實際應(yīng)用過程當(dāng)中，首先分別獲取指定進(jìn)行路由分類處理的各類數(shù)據(jù)流的特征，規(guī)則 定義模塊以此通過類SQL語言分別定義該各類數(shù)據(jù)流的分類特征規(guī)則，作為各類目標(biāo)數(shù)據(jù) 流分類特征規(guī)則，用于區(qū)分各類目標(biāo)數(shù)據(jù)流，同時，規(guī)則定義模塊分別為各類目標(biāo)數(shù)據(jù)流指 定路由目標(biāo)，經(jīng)規(guī)則定義模塊定義、指定的各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則及其路由目標(biāo)存 儲于規(guī)則庫當(dāng)中，上述設(shè)計中，采用類SQL語言作為各類目標(biāo)數(shù)據(jù)流分類特征規(guī)則的定義 語言，語言的語法和語義均高層和直觀，易于理解，方便用戶書寫事件處理表達(dá)式，語言表 達(dá)性和機器執(zhí)行性達(dá)到了較好的平衡。
[0034] 接下來，針對實時獲得的各個待處理數(shù)據(jù)流，分別進(jìn)行如下步驟操作：
[0035] 步驟000.預(yù)處理模塊根據(jù)定義目標(biāo)數(shù)據(jù)流分類特征規(guī)則的類SQL語言，采用指定 數(shù)據(jù)模型將待處理數(shù)據(jù)流的格式轉(zhuǎn)化為類SQL語言可以識別的數(shù)據(jù)格式，進(jìn)入步驟001。