亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)表生成方法及設(shè)備與流程

文檔序號:12119476閱讀:來源:國知局

技術(shù)特征:

1.一種數(shù)據(jù)表生成方法,其特征在于,包括:

根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù);

根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置;

根據(jù)所述數(shù)據(jù)表任務(wù)以及所述調(diào)度信息執(zhí)行建表語句以及初始化腳本,以生成數(shù)據(jù)表。

2.如權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)表具體為基礎(chǔ)層全量表,在根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù)之前,還包括:

根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本。

3.如權(quán)利要求2所述的方法,其特征在于,在根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本之前,還包括:

將所述增量表同步至數(shù)據(jù)倉庫,并獲取所述增量表的所述結(jié)構(gòu)元數(shù)據(jù)信息。

4.如權(quán)利要求1所述的方法,其特征在于,所述任務(wù)模板具體為merge任務(wù)模板,根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù),具體為:

根據(jù)增量表結(jié)構(gòu)元數(shù)據(jù)信息和批量merge任務(wù)模板成merge任務(wù)代碼;

將所述merge任務(wù)代碼作為所述數(shù)據(jù)表任務(wù)上傳至預(yù)設(shè)的代碼庫。

5.如權(quán)利要求4所述的方法,其特征在于,根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置,具體為:

根據(jù)所述merge任務(wù)模板生成與所述數(shù)據(jù)表任務(wù)對應(yīng)的前置依賴節(jié)點、任務(wù)輸出名、調(diào)度任務(wù)基線、調(diào)度任務(wù)owner。

6.一種數(shù)據(jù)表生成設(shè)備,其特征在于,包括:

生成模塊,用于根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù);

配置模塊,用于根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置;

執(zhí)行模塊,用于根據(jù)所述數(shù)據(jù)表任務(wù)以及所述調(diào)度信息執(zhí)行建表語句以及初始化腳本,以生成數(shù)據(jù)表。

7.如權(quán)利要求1所述的設(shè)備,其特征在于,所述數(shù)據(jù)表具體為基礎(chǔ)層全量表,還包括:

初始化模塊,用于根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本。

8.如權(quán)利要求7所述的設(shè)備,其特征在于,還包括:

同步模塊,用于將所述增量表同步至數(shù)據(jù)倉庫,并獲取所述增量表的所述結(jié)構(gòu)元數(shù)據(jù)信息。

9.如權(quán)利要求6所述的設(shè)備,其特征在于,

所述生成模塊,具體用于根據(jù)增量表結(jié)構(gòu)元數(shù)據(jù)信息和批量merge任務(wù)模板成merge任務(wù)代碼,并將所述merge任務(wù)代碼作為所述數(shù)據(jù)表任務(wù)上傳至預(yù)設(shè)的代碼庫。

10.如權(quán)利要求9所述的設(shè)備,其特征在于,

所述配置模塊,具體用于根據(jù)所述merge任務(wù)模板生成與所述數(shù)據(jù)表任務(wù)對應(yīng)的前置依賴節(jié)點、任務(wù)輸出名、調(diào)度任務(wù)基線、調(diào)度任務(wù)owner。

當前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1