本發(fā)明涉及大數(shù)據(jù)處理技術(shù)，尤其涉及一種流式數(shù)據(jù)分析的動(dòng)態(tài)建模。

背景技術(shù)：

在大數(shù)據(jù)分析過(guò)程中或者大數(shù)據(jù)應(yīng)用過(guò)程中，因?yàn)榇嬖谘芯康倪^(guò)程或者對(duì)數(shù)據(jù)的關(guān)注點(diǎn)的變化，對(duì)數(shù)據(jù)常常要進(jìn)行多次多維度分析，這是一個(gè)需求不斷變化的過(guò)程，常用大數(shù)據(jù)分析手段，是提前構(gòu)造好模型，再進(jìn)一步觀察分析結(jié)果，缺乏靈活性、時(shí)效性。

技術(shù)實(shí)現(xiàn)要素：

為了解決以上問(wèn)題，本發(fā)明提出了一種流式數(shù)據(jù)分析的動(dòng)態(tài)建模。構(gòu)建動(dòng)態(tài)建模方法，為不斷變化的需求提供數(shù)據(jù)支撐；解決大數(shù)據(jù)分析過(guò)程中模型的動(dòng)態(tài)構(gòu)建過(guò)程，而且把這一過(guò)程應(yīng)用在流計(jì)算領(lǐng)域。

在流式數(shù)據(jù)分析的過(guò)程動(dòng)態(tài)構(gòu)建計(jì)算模型。流式數(shù)據(jù)分析是指在進(jìn)行多種數(shù)據(jù)來(lái)源的數(shù)據(jù)分析過(guò)程中，由數(shù)據(jù)產(chǎn)生驅(qū)動(dòng)或者有秒級(jí)的定時(shí)調(diào)度驅(qū)動(dòng)的數(shù)據(jù)分析過(guò)程，在這個(gè)過(guò)程中，由來(lái)源數(shù)據(jù)到分析結(jié)果之間的數(shù)據(jù)計(jì)算邏輯和數(shù)據(jù)轉(zhuǎn)化關(guān)系在系統(tǒng)運(yùn)行中可以進(jìn)行變更，這種變更可以實(shí)時(shí)生效，在變更生效的這一刻起，流式數(shù)據(jù)分析已經(jīng)按照新的數(shù)據(jù)計(jì)算邏輯和數(shù)據(jù)轉(zhuǎn)化關(guān)系進(jìn)行計(jì)算。上述在系統(tǒng)運(yùn)行中對(duì)數(shù)據(jù)計(jì)算邏輯和數(shù)據(jù)轉(zhuǎn)化關(guān)系在系統(tǒng)運(yùn)行中可以進(jìn)行變更，這種變更可以實(shí)時(shí)生效,并實(shí)時(shí)影響流式數(shù)據(jù)分析為本發(fā)明的核心特征。

本發(fā)明的技術(shù)方案是

一種流式數(shù)據(jù)分析的動(dòng)態(tài)建模，

主要包含三個(gè)組件：流數(shù)據(jù)接入組件、模型動(dòng)態(tài)構(gòu)建組件、數(shù)據(jù)輸出組件，其中：

流數(shù)據(jù)接入組件：實(shí)現(xiàn)從多數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到結(jié)構(gòu)化的內(nèi)存表中；

模型動(dòng)態(tài)構(gòu)建組件：實(shí)現(xiàn)模型描述文件的動(dòng)態(tài)變更和讀取，根據(jù)模型描述文件動(dòng)態(tài)構(gòu)建計(jì)算模型，并對(duì)結(jié)構(gòu)化的內(nèi)存表進(jìn)行數(shù)據(jù)加工，加工后的數(shù)據(jù)調(diào)用數(shù)據(jù)輸出組件輸出；

數(shù)據(jù)輸出組件：數(shù)據(jù)輸出組件負(fù)責(zé)數(shù)據(jù)的輸出，有三種方式：輸出到內(nèi)存、輸出到數(shù)據(jù)庫(kù)、輸出到內(nèi)存并定時(shí)持久化到數(shù)據(jù)庫(kù)。

進(jìn)一步的，

多數(shù)據(jù)源導(dǎo)入是預(yù)留了數(shù)據(jù)導(dǎo)入適配器開(kāi)發(fā)接口，業(yè)務(wù)需要從哪種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)，需要開(kāi)發(fā)相應(yīng)的適配器；結(jié)構(gòu)化的內(nèi)存表的結(jié)構(gòu)是根據(jù)業(yè)務(wù)的特點(diǎn)定義的。

進(jìn)一步的，

模型動(dòng)態(tài)構(gòu)建組件提供基于java的模型變更工具，在需要對(duì)模型進(jìn)行變化時(shí)，負(fù)責(zé)讀取模型數(shù)據(jù)、與操作者交互變更模型數(shù)據(jù)、保存模型數(shù)據(jù)到計(jì)算集群；動(dòng)態(tài)構(gòu)建計(jì)算模型的過(guò)程是實(shí)時(shí)在線，定時(shí)秒級(jí)調(diào)度的，每次調(diào)度首先拉取計(jì)算集群中的所有動(dòng)態(tài)模型，并構(gòu)建計(jì)算模型，之后對(duì)結(jié)構(gòu)化的內(nèi)存表數(shù)據(jù)，按照模型描述進(jìn)行處理，處理過(guò)程輸出到數(shù)據(jù)輸出組件。

進(jìn)一步的，

數(shù)據(jù)輸出組件中的輸出到內(nèi)存是指流數(shù)據(jù)接入組件的結(jié)構(gòu)以json形式保存在內(nèi)存中，在其他系統(tǒng)需要數(shù)據(jù)結(jié)果時(shí)，能夠直接讀取結(jié)果；輸出到內(nèi)存并定時(shí)持久化到數(shù)據(jù)庫(kù)數(shù)據(jù)的存儲(chǔ)結(jié)果和讀取方式都不變，只是定時(shí)調(diào)度結(jié)果保存到數(shù)據(jù)庫(kù)中，防止數(shù)據(jù)丟失；輸出到數(shù)據(jù)庫(kù)并不管數(shù)據(jù)的讀取，只是把數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)中。

本發(fā)明的有益效果是

在大數(shù)據(jù)分析過(guò)程中或者大數(shù)據(jù)應(yīng)用過(guò)程中,更改模型重新進(jìn)行計(jì)算往往帶來(lái)巨大的成本，利用本發(fā)明可以直接節(jié)約掉這一塊成本，并且在時(shí)效性、有效性等多個(gè)方面帶來(lái)巨大的收益。

具體實(shí)施方式

下面對(duì)本發(fā)明的內(nèi)容進(jìn)行更加詳細(xì)的闡述：

本發(fā)明包含三個(gè)主要組件：1、流數(shù)據(jù)接入組件、2、模型動(dòng)態(tài)構(gòu)建組件、3、數(shù)據(jù)輸出組件，

各組件分別說(shuō)明如下：

1、流數(shù)據(jù)接入組件：流數(shù)據(jù)接入組件，實(shí)現(xiàn)從多數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到結(jié)構(gòu)化的內(nèi)存表中。

多數(shù)據(jù)源導(dǎo)入是預(yù)留了數(shù)據(jù)導(dǎo)入適配器開(kāi)發(fā)接口，業(yè)務(wù)需要從哪種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)，需要開(kāi)發(fā)相應(yīng)的適配器；結(jié)構(gòu)化的內(nèi)存表的結(jié)構(gòu)是根據(jù)業(yè)務(wù)的特點(diǎn)定義的。需要注意的是數(shù)據(jù)來(lái)源是相對(duì)固定的，不會(huì)根據(jù)需求的變化，產(chǎn)生變化，所以流數(shù)據(jù)接入組件并不能動(dòng)態(tài)構(gòu)建，而且隨著導(dǎo)入的業(yè)務(wù)數(shù)據(jù)種類的增多，進(jìn)行增量更新

2、模型動(dòng)態(tài)構(gòu)建組件：此組件是本發(fā)明的核心組件，實(shí)現(xiàn)模型描述文件的動(dòng)態(tài)變更和讀取，根據(jù)模型描述文件動(dòng)態(tài)構(gòu)建計(jì)算模型，并對(duì)結(jié)構(gòu)化的內(nèi)存表進(jìn)行數(shù)據(jù)加工，加工后的數(shù)據(jù)調(diào)用數(shù)據(jù)輸出組件輸出。

此組件提供基于java的模型變更工具，在需要對(duì)模型進(jìn)行變化時(shí)，負(fù)責(zé)讀取模型數(shù)據(jù)、與操作者交互變更模型數(shù)據(jù)、保存模型數(shù)據(jù)到計(jì)算集群；動(dòng)態(tài)構(gòu)建計(jì)算模型的過(guò)程是實(shí)時(shí)在線，定時(shí)秒級(jí)調(diào)度的，每次調(diào)度首先拉取計(jì)算集群中的所有動(dòng)態(tài)模型，并構(gòu)建計(jì)算模型，之后對(duì)結(jié)構(gòu)化的內(nèi)存表數(shù)據(jù)，按照模型描述進(jìn)行處理，處理過(guò)程輸出到數(shù)據(jù)輸出組件。

3、數(shù)據(jù)輸出組件：數(shù)據(jù)輸出組件負(fù)責(zé)數(shù)據(jù)的輸出，有三種方式：輸出到內(nèi)存、輸出到數(shù)據(jù)庫(kù)、輸出到內(nèi)存并定時(shí)持久化到數(shù)據(jù)庫(kù)。

輸出到內(nèi)存是指流數(shù)據(jù)接入組件的結(jié)構(gòu)僅僅以json形式保存在內(nèi)存中，在其他系統(tǒng)需要數(shù)據(jù)結(jié)果時(shí)，能夠直接讀取結(jié)果；輸出到內(nèi)存并定時(shí)持久化到數(shù)據(jù)庫(kù)數(shù)據(jù)的存儲(chǔ)結(jié)果和讀取方式都不變，只是定時(shí)調(diào)度結(jié)果保存到數(shù)據(jù)庫(kù)中，防止數(shù)據(jù)丟失；輸出到數(shù)據(jù)庫(kù)并不管數(shù)據(jù)的讀取，只是把數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)中。

本發(fā)明是在流式數(shù)據(jù)分析的過(guò)程動(dòng)態(tài)構(gòu)建計(jì)算模型。在這個(gè)過(guò)程中，由來(lái)源數(shù)據(jù)到分析結(jié)果之間的數(shù)據(jù)計(jì)算邏輯和數(shù)據(jù)轉(zhuǎn)化關(guān)系在系統(tǒng)運(yùn)行中可以進(jìn)行變更。在變更生效的這一刻起，流式數(shù)據(jù)分析已經(jīng)按照新的數(shù)據(jù)計(jì)算邏輯和數(shù)據(jù)轉(zhuǎn)化關(guān)系進(jìn)行計(jì)算。