亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

流式大數(shù)據(jù)的處理方法和裝置與流程

文檔序號:12598702閱讀:來源:國知局

技術(shù)特征:

1.一種流式大數(shù)據(jù)的處理方法,其特征在于,包括:

在流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的目標流式大數(shù)據(jù);

生成用于記錄所述目標流式大數(shù)據(jù)的記錄信息,其中,所述記錄信息保存在增量日志中;

利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理,其中,所述調(diào)度執(zhí)行引擎通過所述增量日志確定所述目標流式大數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理包括:

發(fā)送指令至所述調(diào)度執(zhí)行引擎,以指示所述調(diào)度執(zhí)行引擎調(diào)用任務(wù)處理框架處理所述目標流式大數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述任務(wù)處理框架用于按照預(yù)設(shè)計算模型對所述目標流式大數(shù)據(jù)進行處理。

4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述預(yù)設(shè)計算模型包括以下至少之一:

第一模型,應(yīng)用于新增數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)進行匯總和存儲;

第二模型,應(yīng)用于刪除數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)執(zhí)行去除操作,并存儲所述去除操作的結(jié)果;

第三模型,應(yīng)用于修改數(shù)據(jù)場景,在所述目標流式大數(shù)據(jù)的度量值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化的度量值所在的字段,或者為發(fā)生變化的度量值增加字段;在所述目標流式大數(shù)據(jù)的維度值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化前的維度值,并新增發(fā)生變化后的維度值。

5.根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取發(fā)生變化的目標流式大數(shù)據(jù)包括:

監(jiān)控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)是否發(fā)生變化;

在所述控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的所述目標流式大數(shù)據(jù)。

6.一種流式大數(shù)據(jù)的處理裝置,其特征在于,包括:

獲取單元,用于在流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的目標流式大數(shù)據(jù);

生成單元,用于生成用于記錄所述目標流式大數(shù)據(jù)的記錄信息,其中,所述記錄信息保存在增量日志中;

處理單元,用于利用調(diào)度執(zhí)行引擎對所述目標流式大數(shù)據(jù)進行處理,其中,所述調(diào)度執(zhí)行引擎通過所述增量日志確定所述目標流式大數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述處理單元還用于發(fā)送指令至所述調(diào)度執(zhí)行引擎,以指示所述調(diào)度執(zhí)行引擎調(diào)用任務(wù)處理框架處理目標流式大數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述任務(wù)處理框架用于按照預(yù)設(shè)計算模型對所述目標流式大數(shù)據(jù)進行處理。

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述預(yù)設(shè)計算模型包括以下至少之一:

第一模型,應(yīng)用于新增數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)進行匯總和存儲;

第二模型,應(yīng)用于刪除數(shù)據(jù)場景,用于按照統(tǒng)計函數(shù)對所述目標流式大數(shù)據(jù)執(zhí)行去除操作,并存儲所述去除操作的結(jié)果;

第三模型,應(yīng)用于修改數(shù)據(jù)場景,在所述目標流式大數(shù)據(jù)的度量值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化的度量值所在的字段,或者為發(fā)生變化的度量值增加字段;在所述目標流式大數(shù)據(jù)的維度值發(fā)生變化的情況下,所述第三模型用于刪除發(fā)生變化前的維度值,并新增發(fā)生變化后的維度值。

10.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述獲取單元包括:

監(jiān)控模塊,用于監(jiān)控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)是否發(fā)生變化;

獲取模塊,用于在所述控數(shù)據(jù)倉庫中的流式大數(shù)據(jù)發(fā)生變化的情況下,獲取發(fā)生變化的所述目標流式大數(shù)據(jù)。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1