1.一種流式大數(shù)據(jù)的處理方法,其特征在于,包括:
在流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的目標流式大數(shù)據(jù);
生成用于記錄所述目標流式大數(shù)據(jù)的記錄信息,其中,所述記錄信息保存在增量日志中;
利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理,其中,所述調(diào)度執(zhí)行引擎通過所述增量日志確定所述目標流式大數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理包括:
發(fā)送指令至所述調(diào)度執(zhí)行引擎,以指示所述調(diào)度執(zhí)行引擎調(diào)用任務(wù)處理框架處理所述目標流式大數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述任務(wù)處理框架用于按照預(yù)設(shè)計算模型對所述目標流式大數(shù)據(jù)進行處理。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述預(yù)設(shè)計算模型包括以下至少之一:
第一模型,應(yīng)用于新增數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)進行匯總和存儲;
第二模型,應(yīng)用于刪除數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)執(zhí)行去除操作,并存儲所述去除操作的結(jié)果;
第三模型,應(yīng)用于修改數(shù)據(jù)場景,在所述目標流式大數(shù)據(jù)的度量值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化的度量值所在的字段,或者為發(fā)生變化的度量值增加字段;在所述目標流式大數(shù)據(jù)的維度值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化前的維度值,并新增發(fā)生變化后的維度值。
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取發(fā)生變化的目標流式大數(shù)據(jù)包括:
監(jiān)控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)是否發(fā)生變化;
在所述控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的所述目標流式大數(shù)據(jù)。
6.一種流式大數(shù)據(jù)的處理裝置,其特征在于,包括:
獲取單元,用于在流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的目標流式大數(shù)據(jù);
生成單元,用于生成用于記錄所述目標流式大數(shù)據(jù)的記錄信息,其中,所述記錄信息保存在增量日志中;
處理單元,用于利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理,其中,所述調(diào)度執(zhí)行引擎通過所述增量日志確定所述目標流式大數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述處理單元還用于發(fā)送指令至所述調(diào)度執(zhí)行引擎,以指示所述調(diào)度執(zhí)行引擎調(diào)用任務(wù)處理框架處理目標流式大數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述任務(wù)處理框架用于按照預(yù)設(shè)計算模型對所述目標流式大數(shù)據(jù)進行處理。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述預(yù)設(shè)計算模型包括以下至少之一:
第一模型,應(yīng)用于新增數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)進行匯總和存儲;
第二模型,應(yīng)用于刪除數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)執(zhí)行去除操作,并存儲所述去除操作的結(jié)果;
第三模型,應(yīng)用于修改數(shù)據(jù)場景,在所述目標流式大數(shù)據(jù)的度量值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化的度量值所在的字段,或者為發(fā)生變化的度量值增加字段;在所述目標流式大數(shù)據(jù)的維度值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化前的維度值,并新增發(fā)生變化后的維度值。
10.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述獲取單元包括:
監(jiān)控模塊,用于監(jiān)控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)是否發(fā)生變化;
獲取模塊,用于在所述控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的所述目標流式大數(shù)據(jù)。