基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)及方法，所述系統(tǒng)包括用戶編輯器、數(shù)據(jù)采集適配器、核心處理系統(tǒng)和輸出適配器，用戶編輯器用于編輯商業(yè)智能邏輯來定義查詢目標(biāo)，數(shù)據(jù)采集適配器用以根據(jù)查詢目標(biāo)從數(shù)據(jù)源采集數(shù)據(jù)并發(fā)送給核心處理系統(tǒng)，核心處理系統(tǒng)用以對采集的數(shù)據(jù)進(jìn)行分析處理，輸出適配器用以將核心處理系統(tǒng)分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示；所述方法能夠根據(jù)查詢目標(biāo)對事件流進(jìn)行實時有效地分析和處理。本發(fā)明采用CEP引擎技術(shù)，能夠?qū)崟r地對數(shù)據(jù)進(jìn)行過濾、關(guān)聯(lián)、匹配和整合等產(chǎn)生用戶有價值的信息，不僅僅具有價格和服務(wù)優(yōu)勢，而且數(shù)據(jù)挖掘架構(gòu)相對簡單，具有低延遲、高輸出和易擴(kuò)展性。
【專利說明】基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理【技術(shù)領(lǐng)域】,具體地說是一種基于CEP技術(shù)的RTLogic (RealTime Logic，實時邏輯)大數(shù)據(jù)處理系統(tǒng)及方法。

【背景技術(shù)】
[0002]隨著中國互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，特別是移動互聯(lián)網(wǎng)的這幾年的迅猛發(fā)展，政府企業(yè)的信息化等等企業(yè)產(chǎn)生了海量的數(shù)據(jù)。2011年大數(shù)據(jù)得到我國政府和IT行業(yè)的重視，稱之為大數(shù)據(jù)市場的元年。越來越多的企業(yè)意識到，如何利用這些海量的數(shù)據(jù)，將看似雜亂的數(shù)據(jù)經(jīng)過處理轉(zhuǎn)化為企業(yè)有價值的東西，是大數(shù)據(jù)時代企業(yè)在市場的競爭中保持優(yōu)勢的關(guān)鍵。
[0003]現(xiàn)有的大數(shù)據(jù)處理技術(shù)主要有Hadoop處理方法，Hadoop處理方法是采用MapReduce技術(shù)，在傳統(tǒng)的數(shù)據(jù)分析方法的基礎(chǔ)上針對大數(shù)據(jù)創(chuàng)立的一種方法，是基于批量處理的，但是Hadoop處理方法主要是針對歷史數(shù)據(jù)的，它存在以下幾點不足:
[0004](I) Hadoop處理方法無法對事件之間進(jìn)行關(guān)聯(lián)，匹配處理，也就是說，Hadoop處理方法無法對復(fù)雜事件進(jìn)行處理；
[0005](2)Hadoop處理方法受設(shè)計和實現(xiàn)的局限，只能處理歷史數(shù)據(jù)，無法滿足某些行業(yè)實時業(yè)務(wù)處理需求；
[0006](3) Hadoop處理方法采用分布式計算方法處理海量數(shù)據(jù)，卻實現(xiàn)不了某些業(yè)務(wù)對時間滑動窗口的處理要求；
[0007](4)Hadoop處理方法沒有實時大數(shù)據(jù)的可視化技術(shù)，無法給用戶直觀動態(tài)圖像顯示；
[0008](5) Hadoop處理方法無法集成R語言，以便數(shù)據(jù)的數(shù)理統(tǒng)計。
[0009]RTLogic (Real Time Logic,實時邏輯)技術(shù)正是能夠做到大數(shù)據(jù)商業(yè)智能(business intelligence)的目標(biāo),能夠滿足對大數(shù)據(jù)進(jìn)行實時處理的要求。


【發(fā)明內(nèi)容】

[0010]針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)及方法，它能夠滿足對大數(shù)據(jù)進(jìn)行實時處理的要求。
[0011]本發(fā)明解決其技術(shù)問題采取的技術(shù)方案是:一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，包括用戶編輯器、數(shù)據(jù)采集適配器、核心處理系統(tǒng)和輸出適配器，所述的用戶編輯器、數(shù)據(jù)采集適配器和輸出適配器分別與核心處理系統(tǒng)相連，所述用戶編輯器用于編輯商業(yè)智能邏輯來定義查詢目標(biāo)，所述數(shù)據(jù)采集適配器用以根據(jù)查詢目標(biāo)從數(shù)據(jù)源采集數(shù)據(jù)并發(fā)送給核心處理系統(tǒng)，所述核心處理系統(tǒng)用以對采集的數(shù)據(jù)進(jìn)行分析處理，所述輸出適配器用以將核心處理系統(tǒng)分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示；所述核心處理系統(tǒng)包括CEP引擎、python適配器、R適配器和CQL適配器，所述CEP引擎用以對數(shù)據(jù)采集適配器采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器；所述的python適配器、R適配器和CQL適配器分別與用戶編輯器相連。
[0012]優(yōu)選地，所述用戶編輯器支持python語言和R語言，能夠滿足對策略的方便導(dǎo)入。
[0013]優(yōu)選地，所述數(shù)據(jù)采集適配器支持JMS、TibcoRV, EMS、SNMP, Socket、SMTP、RSS和HTTP數(shù)據(jù)源。
[0014]優(yōu)選地，所述核心處理系統(tǒng)還包括規(guī)則引擎，所述規(guī)則引擎用以將CEP引擎分析處理后的數(shù)據(jù)作進(jìn)一步處理后發(fā)送給輸出適配器。
[0015]優(yōu)選地，所述CEP引擎包括事件產(chǎn)生器、處理器、通道合成器和事件消費者，用以實現(xiàn)模式匹配。
[0016]本發(fā)明還提供了一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，其特征是，包括以下步驟:
[0017]通過用戶編輯器定義查詢目標(biāo)；
[0018]數(shù)據(jù)采集適配器采集數(shù)據(jù)并將采集到的數(shù)據(jù)轉(zhuǎn)化為可識別事件對象后發(fā)送給核心處理系統(tǒng)；
[0019]核心處理系統(tǒng)對采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器；
[0020]輸出適配器將分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示。
[0021 ] 優(yōu)選地，上述方法中所述用戶編輯器采用python語言或R語言通過CQL編輯商業(yè)智能邏輯來定義查詢目標(biāo)。
[0022]優(yōu)選地，上述方法中所述數(shù)據(jù)采集適配器采集數(shù)據(jù)的數(shù)據(jù)源包括JMS、TibcoRV,EMS、SNMP、Socket、SMTP、RSS 和 HTTP 數(shù)據(jù)源。
[0023]優(yōu)選地，上述方法中所述核心處理系統(tǒng)根據(jù)查詢目標(biāo)對事件流進(jìn)行實時有效地分析和處理。
[0024]本發(fā)明的有益效果:本發(fā)明采用CEP(complex events processing,復(fù)雜事件處理)引擎技術(shù)，能夠?qū)崟r地對數(shù)據(jù)進(jìn)行過濾、關(guān)聯(lián)、匹配和整合等產(chǎn)生用戶有價值的信息。跟現(xiàn)有的技術(shù)產(chǎn)品比較，本發(fā)明不僅僅具有價格和服務(wù)優(yōu)勢，在技術(shù)上也有以下優(yōu)點:
[0025](I)、嵌入R語言支持?jǐn)?shù)理統(tǒng)計，數(shù)據(jù)挖掘等各種計算模型，架構(gòu)相對簡單；
[0026](2)、支持地理空間分析，提供高性能的空間分析能力和空間數(shù)據(jù)處理能力；
[0027](3)、低延遲，高輸出(每秒可分析處理幾萬到幾十萬事件)；
[0028](4)、支持Python語言，滿足有編程經(jīng)驗的高級用戶定義更復(fù)雜的匹配事件；
[0029](5)、方便的拖拉式的可視化界面；
[0030](6)、實時的可視化(visualizat1n)；
[0031](7)、自主優(yōu)化的CEP核心處理算法；
[0032](8)、易擴(kuò)展性。

【專利附圖】

【附圖說明】
[0033]圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖；
[0034]圖2為本發(fā)明的方法流程圖；
[0035]圖3為本發(fā)明所述CEP引擎的結(jié)構(gòu)示意圖。

【具體實施方式】
[0036]為能清楚說明本方案的技術(shù)特點，下面通過【具體實施方式】，并結(jié)合其附圖，對本發(fā)明進(jìn)行詳細(xì)闡述。下文的公開提供了許多不同的實施例或例子用來實現(xiàn)本發(fā)明的不同結(jié)構(gòu)。為了簡化本發(fā)明的公開，下文中對特定例子的部件和設(shè)置進(jìn)行描述。此外，本發(fā)明可以在不同例子中重復(fù)參考數(shù)字和/或字母。這種重復(fù)是為了簡化和清楚的目的，其本身不指示所討論各種實施例和/或設(shè)置之間的關(guān)系。應(yīng)當(dāng)注意，在附圖中所圖示的部件不一定按比例繪制。本發(fā)明省略了對公知組件和處理技術(shù)及工藝的描述以避免不必要地限制本發(fā)明。
[0037]如圖1所示，本發(fā)明的一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，它包括用戶編輯器、數(shù)據(jù)采集適配器、核心處理系統(tǒng)和輸出適配器，所述的用戶編輯器、數(shù)據(jù)采集適配器和輸出適配器分別與核心處理系統(tǒng)相連，所述用戶編輯器支持python語言和R語言，用于編輯商業(yè)智能邏輯來定義查詢目標(biāo)；所述數(shù)據(jù)采集適配器支持JMS、TibcoRV, EMS、SNMP,Socket、SMTP、RSS和HTTP數(shù)據(jù)源，用以根據(jù)查詢目標(biāo)從數(shù)據(jù)源采集數(shù)據(jù)并發(fā)送給核心處理系統(tǒng)；所述核心處理系統(tǒng)用以對采集的數(shù)據(jù)進(jìn)行分析處理，所述輸出適配器用以將核心處理系統(tǒng)分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示。所述核心處理系統(tǒng)包括CEP引擎、python適配器、R適配器、CQL適配器和規(guī)則引擎，所述CEP引擎用以對數(shù)據(jù)采集適配器采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器；所述的python適配器、R適配器和CQL適配器分別與用戶編輯器相連；所述規(guī)則引擎用以將CEP引擎分析處理后的數(shù)據(jù)作進(jìn)一步處理后發(fā)送給輸出適配器。
[0038]如圖2所示，本發(fā)明還提供了一種基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，它包括以下步驟:
[0039](I)通過用戶編輯器采用python語言或R語言通過CQL編輯商業(yè)智能邏輯來定義查詢目標(biāo)；
[0040](2)數(shù)據(jù)采集適配器可以從 JMS、TibcoRV, EMS、SNMP, Socket、SMTP、RSS 和 HTTP等數(shù)據(jù)源中采集數(shù)據(jù)并將采集到的數(shù)據(jù)轉(zhuǎn)化為可識別事件對象后發(fā)送給核心處理系統(tǒng)；
[0041](3)核心處理系統(tǒng)根據(jù)查詢目標(biāo)對采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器；
[0042](4)輸出適配器將分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示。
[0043]下面對本發(fā)明進(jìn)行詳細(xì)闡述:
[0044]本發(fā)明的設(shè)計從大的方面講，有幾大模塊組成:數(shù)據(jù)采集適配器、核心處理系統(tǒng)(CORE)、用戶編輯器(STUD1)和輸出適配器，系統(tǒng)框架如圖1所示。
[0045]一、數(shù)據(jù)采集適配器和輸出適配器
[0046]數(shù)據(jù)采集適配器和輸出適配器在設(shè)計上都是采用適配器抽象化方法，也就是把采集的具體數(shù)據(jù)都抽象成核心處理系統(tǒng)可識別的事件對象(Event Object)。
[0047]數(shù)據(jù)采集適配器可以支持JMS、TibcoRV, EMS、SNMP, Socket、SMTP、RSS 和 HTTP 等多種數(shù)據(jù)源，因為核心系統(tǒng)抽象化數(shù)據(jù)接口，未來可以根據(jù)客戶的實際情況和需求擴(kuò)充用戶自己的數(shù)據(jù)采集方式。
[0048]輸出適配器是用戶在核心處理系統(tǒng)分析后產(chǎn)生的事件又采取的后續(xù)動作，根據(jù)用戶意見的需要，主要包括Spreadsheet上的動態(tài)數(shù)據(jù)顯示、在分布式系統(tǒng)中接其他的子系統(tǒng)、輸出報表功能以及實時動態(tài)數(shù)據(jù)的可視化鄧功能。同樣，客戶需要什么樣的功能將由客戶決定。
[0049]本申請通過輸出適配器支持大數(shù)據(jù)實時可視化技術(shù)，根據(jù)導(dǎo)入策略的不同，實現(xiàn)了利用動態(tài)圖像的方式顯示數(shù)據(jù)的變化規(guī)律，給用戶直觀結(jié)果。
[0050]二、用戶編輯器
[0051]用戶編輯器支持python語言，集成R語言，方便用戶將編輯商業(yè)智能邏輯，還可以使用R語言對數(shù)據(jù)進(jìn)行統(tǒng)計分析。用戶利用用戶編輯器可以方便的使用Python語言或者R語言編輯自己需要的業(yè)務(wù)邏輯，編輯好的腳本程序可以保存，將來通過Adaptor動態(tài)導(dǎo)入系統(tǒng)引擎中執(zhí)打。
[0052]用戶編輯器是用戶跟系統(tǒng)交互的工具，用戶編輯器可以直接編輯CQL查詢，CQL是類似SQL的語言，跟SQL非常的相似，熟悉SQL的用戶很容易寫出帶有時間段的查詢語句來。
[0053]用戶編輯器不但允許用戶手工編輯腳本，查詢語句，我們提供的方便拖拉式的編輯器還允許對CQL，R和Python都不熟悉的用戶采用拖拉的方式編輯腳本和查詢。方便用戶對業(yè)務(wù)的維護(hù)。
[0054]三、核心處理系統(tǒng)
[0055]核心處理系統(tǒng)是數(shù)據(jù)分析處理的引擎，是系統(tǒng)最核心的模塊，它包括兩個處理模塊和兩個Adaptors，其結(jié)構(gòu)圖如圖1所示。兩個處理模塊中，一個是復(fù)雜事件處理引擎(CEPEngine)，另一個是基于規(guī)則的規(guī)則引擎(Rule Engine)。而復(fù)雜事件處理引擎是我們核心處理的模塊，而規(guī)則引擎則是用戶根據(jù)自己的需要對由復(fù)雜事件處理引擎處理后的事件進(jìn)行再處理的模塊，是可選的，非必須執(zhí)行的模塊。
[0056]1、復(fù)雜事件處理CEP
[0057]傳統(tǒng)的數(shù)據(jù)處理分析方法是先將有限的數(shù)據(jù)存儲起來，存儲的方式或者是數(shù)據(jù)庫或者是文件，然后根據(jù)需要對存儲的數(shù)據(jù)進(jìn)行分析，比如用SQL查詢對數(shù)據(jù)庫查詢。數(shù)據(jù)是靜態(tài)的，而查詢是動態(tài)的。但是顯然這樣的數(shù)據(jù)分析方式不符合象算法交易系統(tǒng)這樣的實時數(shù)據(jù)分析的要求。而CEP的技術(shù)理念剛好與之相反。查詢是預(yù)先定義好的，而數(shù)據(jù)是不斷的變化的，是無限的數(shù)據(jù)集合。CEP的核心是對事件流進(jìn)行實時有效地分析和處理。本申請所述的事件(Event)是系統(tǒng)中事務(wù)活動的一個記錄，比如在算法交易系統(tǒng)通常是指一次價格的變化或者一則與影響股市或經(jīng)濟(jì)的新聞。每個事件都由一個時間屬性，既該事件發(fā)生的時間。事件之間有各種關(guān)系:時間先后的關(guān)系，因果關(guān)系，聚合關(guān)系(事件A是事件B和C的聚合)。CEP對簡單的事件進(jìn)行分析和匹配，并產(chǎn)生更高層的復(fù)雜事件，比如說，一個買進(jìn)事件和一個賣出事件可以聚合成一個交易組合(Transact1n)。多個復(fù)雜事件可能被進(jìn)一步地聚合成更高層的事件，如一組買賣組合可能匹配特定模式，或者識別一個觸發(fā)交易的市場變化。
[0058]CEP引擎是基于事件驅(qū)動框架(EDA)的，是整個平臺的核心部分，是對事件進(jìn)行過濾，轉(zhuǎn)換，模式匹配等算法實現(xiàn)的關(guān)鍵。CEP的內(nèi)部結(jié)構(gòu)是由策略導(dǎo)入器解釋策略后生成的若干Agent組成，這些Agent共同協(xié)調(diào)實現(xiàn)上述過濾，轉(zhuǎn)換，模式匹配算法的處理器。算法實現(xiàn)有多個Agent而不是一個Agent的好處是系統(tǒng)容易擴(kuò)展，比如將來可以對不同的策略并行處理，也可以擴(kuò)展成云計算等等。CEP內(nèi)核結(jié)構(gòu)圖如圖3所示。
[0059]模式匹配算法是所有算法中最難實現(xiàn)，也最復(fù)雜的算法。我們的實現(xiàn)方式是，策略導(dǎo)入后經(jīng)過解釋生成相應(yīng)NFA狀態(tài)機(jī)，運行在Agent上。為了能夠很好的處理策略，CEP內(nèi)核需要能夠解釋自定義的查詢語言CQL，CQL類似SQL，但是增加符合實時數(shù)據(jù)處理的一些特點，比如滑動窗口用以規(guī)定策略數(shù)據(jù)分析的時間段等。
[0060]CEP引擎的整個系統(tǒng)采用事件驅(qū)動的模式EDA實現(xiàn)組件之間和組件內(nèi)部的通信，EDA的特點是允許并發(fā)執(zhí)行，不需要等待，這在組件之間以及各個Agent之間有使用Cal Iback非常重要，大大提高了響應(yīng)時間。
[0061]2、規(guī)則引擎 Rule Engine
[0062]Rule Engine是CEP Engine的輔助部分，非系統(tǒng)的關(guān)鍵，它能幫助某些用戶在數(shù)據(jù)處理完后附加的新行為，某些行業(yè)的用戶愿意采用的技術(shù)，本申請在設(shè)計上附加這一可選功能。
[0063]用鑒于目前市場上rule engine產(chǎn)品已經(jīng)比較完善,我們采用市場上知名度高的JBoss的規(guī)則引擎Drools。
[0064]3、數(shù)據(jù)流適配器
[0065]數(shù)據(jù)流適配器包括R適配器、Python適配器和CQL適配器，數(shù)據(jù)流適配器是數(shù)據(jù)準(zhǔn)備工作的模塊，它的功能是將數(shù)據(jù)流轉(zhuǎn)換成能被CEP引擎能識別和處理的事件序列。事件的定義和預(yù)處理是在此模塊實現(xiàn)，根據(jù)我們的設(shè)計，定義事件可以有兩種方式，一是用Metadata方式，也就是用XML語言描述方式，適配器在讀入數(shù)據(jù)流的時候根據(jù)XML對事件的定義將數(shù)據(jù)流轉(zhuǎn)換成事件序列。另一種方式就是直接定義具體事件類繼承我們的抽象事件類，數(shù)據(jù)流直接映射到具體定義的事件對象上。
[0066]策略導(dǎo)入模塊是處理用戶自定義策略的模塊，具體說來就是根據(jù)用戶編寫的策略進(jìn)行解釋，解釋成CEP處理核需要的Agent (處理器)，生成CEP內(nèi)核可以識別的NFA(非確定性有限自動機(jī))等等。我們這里支持用戶用Python腳本語言生成的策略，Python動態(tài)解釋型的編程語言，簡單靈活強(qiáng)大又比較容易上手，對于非程序員的用戶來說，既要寫出復(fù)雜的業(yè)務(wù)邏輯，有不需要學(xué)習(xí)非常復(fù)雜的比如C，JAVA編程語言，Python是很好的選擇。我們采用業(yè)界通用的Jython庫集成Python腳本語言。Python Adaptor可以無縫將用戶的業(yè)務(wù)邏輯集成到核心系統(tǒng)里解釋執(zhí)行。
[0067]R語言是一種數(shù)據(jù)統(tǒng)計分析和制圖的編程語言，統(tǒng)計分析上實用，是使用很廣泛的一種語言。將R整合在我們RTLogic里將滿足許多金融，生物，環(huán)境等行業(yè)的統(tǒng)計分析的需求。
[0068]本發(fā)明采用CEP引擎(complex events processing,復(fù)雜事件處理)技術(shù),能夠?qū)崟r地對數(shù)據(jù)進(jìn)行過濾、關(guān)聯(lián)、匹配和整合等產(chǎn)生用戶有價值的信息。跟傳統(tǒng)的數(shù)據(jù)分析軟件不同，本發(fā)明是針對實時數(shù)據(jù)的處理分析平臺，有效地解決了信息流的相關(guān)性分析技術(shù)，發(fā)現(xiàn)實時數(shù)據(jù)的內(nèi)在規(guī)律，解決了客戶關(guān)于對滑動時間窗口的業(yè)務(wù)需求，實現(xiàn)真正意義上的實時商業(yè)智能；本發(fā)明方便用戶預(yù)先定義好業(yè)務(wù)需求和處理方式，自動地對實時采集或者實時收到的數(shù)據(jù)進(jìn)行分析處理，并能自動產(chǎn)生后續(xù)的業(yè)務(wù)行為，這樣的處理由于不需要存儲，也就避免了傳統(tǒng)的數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)大小限制，滿足了大數(shù)據(jù)時代實時處理的要求；本發(fā)明還實現(xiàn)了大數(shù)據(jù)的動態(tài)圖像顯示，方便用戶直觀數(shù)據(jù)的動態(tài)趨勢和內(nèi)在規(guī)律；本發(fā)明集成了強(qiáng)大的統(tǒng)計語言R，對大數(shù)據(jù)做數(shù)理統(tǒng)計。
[0069]本發(fā)明涉及到金融，證券，政府，電信，教育，醫(yī)療，企業(yè)等快速處理實時處理大數(shù)據(jù)的業(yè)務(wù)領(lǐng)域，如金融行業(yè)的銀行業(yè)務(wù)，要求對企業(yè)實現(xiàn)動態(tài)放款行為，解決客戶急需貸款因為提交各種資料而延誤放款時間，錯過商機(jī)的情況；證券行業(yè)的股票交易業(yè)務(wù)要求在極短的時間內(nèi)解決對不同的實時數(shù)據(jù)進(jìn)行處理并做出買或者賣的指示；政府的公安系統(tǒng)要求對鎖定目標(biāo)的信息進(jìn)行實時處理分析，加快網(wǎng)上辦案的速度；電信行業(yè)運營商實時的網(wǎng)絡(luò)信號或者產(chǎn)生的日志文件；互聯(lián)網(wǎng)電商企業(yè)要求每秒客戶訪問和訂單信息，游戲公司的實時在線玩家信息處理和分析等等。
[0070]以上所述只是本發(fā)明的優(yōu)選實施方式，對于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也被視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，包括用戶編輯器、數(shù)據(jù)采集適配器、核心處理系統(tǒng)和輸出適配器，所述的用戶編輯器、數(shù)據(jù)采集適配器和輸出適配器分別與核心處理系統(tǒng)相連，所述用戶編輯器用于編輯商業(yè)智能邏輯來定義查詢目標(biāo)，所述數(shù)據(jù)采集適配器用以根據(jù)查詢目標(biāo)從數(shù)據(jù)源采集數(shù)據(jù)并發(fā)送給核心處理系統(tǒng)，所述核心處理系統(tǒng)用以對采集的數(shù)據(jù)進(jìn)行分析處理，所述輸出適配器用以將核心處理系統(tǒng)分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示；所述核心處理系統(tǒng)包括CEP引擎、python適配器、R適配器和CQL適配器，所述CEP引擎用以對數(shù)據(jù)采集適配器采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器；所述的python適配器、R適配器和CQL適配器分別與用戶編輯器相連。
2.根據(jù)權(quán)利要求1所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，所述用戶編輯器支持python語言和R語言。
3.根據(jù)權(quán)利要求1所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，所述數(shù)據(jù)采集適配器支持 JMS、TibcoRV, EMS、SNMP, Socket、SMTP、RSS 和 HTTP 數(shù)據(jù)源。
4.根據(jù)權(quán)利要求1至3任一項所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，所述核心處理系統(tǒng)還包括規(guī)則引擎，所述規(guī)則引擎用以將CEP引擎分析處理后的數(shù)據(jù)作進(jìn)一步處理后發(fā)送給輸出適配器。
5.根據(jù)權(quán)利要求1至3任一項所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理系統(tǒng)，其特征是，所述CEP引擎包括事件產(chǎn)生器、處理器、通道合成器和事件消費者，用以實現(xiàn)模式匹配。
6.基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，其特征是，包括以下步驟: 通過用戶編輯器定義查詢目標(biāo)； 數(shù)據(jù)采集適配器采集數(shù)據(jù)并將采集到的數(shù)據(jù)轉(zhuǎn)化為可識別事件對象后發(fā)送給核心處理系統(tǒng)； 核心處理系統(tǒng)對采集的數(shù)據(jù)進(jìn)行分析處理，并將分析處理后的數(shù)據(jù)發(fā)送給輸出適配器； 輸出適配器將分析處理后的數(shù)據(jù)發(fā)送給監(jiān)視器進(jìn)行顯示。
7.根據(jù)權(quán)利要求6所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，其特征是，所述用戶編輯器采用python語言或R語言通過CQL編輯商業(yè)智能邏輯來定義查詢目標(biāo)。
8.根據(jù)權(quán)利要求6所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，其特征是，所述數(shù)據(jù)采集適配器采集數(shù)據(jù)的數(shù)據(jù)源包括JMS、TibcoRV, EMS、SNMP, Socket、SMTP、RSS和HTTP數(shù)據(jù)源。
9.根據(jù)權(quán)利要求6所述的基于CEP技術(shù)的RTLogic大數(shù)據(jù)處理方法，其特征是，所述核心處理系統(tǒng)根據(jù)查詢目標(biāo)對事件流進(jìn)行實時有效地分析和處理。
【文檔編號】G06F17/30GK104199889SQ201410421858
【公開日】2014年12月10日 申請日期:2014年8月25日 優(yōu)先權(quán)日:2014年8月25日
【發(fā)明者】于泳勝 申請人:山東瀚天信息技術(shù)有限公司