1.一種數(shù)據(jù)表生成方法,其特征在于,包括:
根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù);
根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置;
根據(jù)所述數(shù)據(jù)表任務(wù)以及所述調(diào)度信息執(zhí)行建表語句以及初始化腳本,以生成數(shù)據(jù)表。
2.如權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)表具體為基礎(chǔ)層全量表,在根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù)之前,還包括:
根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本。
3.如權(quán)利要求2所述的方法,其特征在于,在根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本之前,還包括:
將所述增量表同步至數(shù)據(jù)倉庫,并獲取所述增量表的所述結(jié)構(gòu)元數(shù)據(jù)信息。
4.如權(quán)利要求1所述的方法,其特征在于,所述任務(wù)模板具體為merge任務(wù)模板,根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù),具體為:
根據(jù)增量表結(jié)構(gòu)元數(shù)據(jù)信息和批量merge任務(wù)模板成merge任務(wù)代碼;
將所述merge任務(wù)代碼作為所述數(shù)據(jù)表任務(wù)上傳至預(yù)設(shè)的代碼庫。
5.如權(quán)利要求4所述的方法,其特征在于,根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置,具體為:
根據(jù)所述merge任務(wù)模板生成與所述數(shù)據(jù)表任務(wù)對應(yīng)的前置依賴節(jié)點、任務(wù)輸出名、調(diào)度任務(wù)基線、調(diào)度任務(wù)owner。
6.一種數(shù)據(jù)表生成設(shè)備,其特征在于,包括:
生成模塊,用于根據(jù)增量表的結(jié)構(gòu)元數(shù)據(jù)信息以及預(yù)設(shè)的任務(wù)模板生成當前的數(shù)據(jù)表任務(wù);
配置模塊,用于根據(jù)所述任務(wù)模板對所述數(shù)據(jù)表任務(wù)的調(diào)度信息進行配置;
執(zhí)行模塊,用于根據(jù)所述數(shù)據(jù)表任務(wù)以及所述調(diào)度信息執(zhí)行建表語句以及初始化腳本,以生成數(shù)據(jù)表。
7.如權(quán)利要求1所述的設(shè)備,其特征在于,所述數(shù)據(jù)表具體為基礎(chǔ)層全量表,還包括:
初始化模塊,用于根據(jù)所述結(jié)構(gòu)元數(shù)據(jù)信息生成與所述數(shù)據(jù)表對應(yīng)的建表語句以及所述數(shù)據(jù)初始化腳本。
8.如權(quán)利要求7所述的設(shè)備,其特征在于,還包括:
同步模塊,用于將所述增量表同步至數(shù)據(jù)倉庫,并獲取所述增量表的所述結(jié)構(gòu)元數(shù)據(jù)信息。
9.如權(quán)利要求6所述的設(shè)備,其特征在于,
所述生成模塊,具體用于根據(jù)增量表結(jié)構(gòu)元數(shù)據(jù)信息和批量merge任務(wù)模板成merge任務(wù)代碼,并將所述merge任務(wù)代碼作為所述數(shù)據(jù)表任務(wù)上傳至預(yù)設(shè)的代碼庫。
10.如權(quán)利要求9所述的設(shè)備,其特征在于,
所述配置模塊,具體用于根據(jù)所述merge任務(wù)模板生成與所述數(shù)據(jù)表任務(wù)對應(yīng)的前置依賴節(jié)點、任務(wù)輸出名、調(diào)度任務(wù)基線、調(diào)度任務(wù)owner。