層的數(shù)據(jù)，通過拉鏈的方式加工到本層中；通用數(shù)據(jù)層，用于根據(jù)業(yè)務主題，將基礎層數(shù)據(jù)通過業(yè)務邏輯加工成主題數(shù)據(jù)；聚合數(shù)據(jù)層，用于按維度，將基礎層或通用層數(shù)據(jù)通過匯總邏輯加工成聚合數(shù)據(jù)；維度數(shù)據(jù)層，用于從源系統(tǒng)中抽取維度相關數(shù)據(jù)，存入到本層中；臨時數(shù)據(jù)層，用于臨時數(shù)據(jù)加工、存儲的層。
[0044]示例性的，新建通用數(shù)據(jù)層的表名和字段名，并新建聚合數(shù)據(jù)層的表名和字段名。
[0045]步驟22、梳理數(shù)據(jù)模型的上下層依賴關系，制作模型表間、字段間的映射關系和驅動規(guī)則。
[0046]示例性的，基礎數(shù)據(jù)層是通用數(shù)據(jù)層和聚合數(shù)據(jù)層的下層數(shù)據(jù)模型，將基礎數(shù)據(jù)中業(yè)務主題相同的數(shù)據(jù)加工到通用數(shù)據(jù)層，將基礎數(shù)據(jù)庫中的10張表格中的數(shù)據(jù)合并成聚合數(shù)據(jù)層中的一張表格中。
[0047]步驟23、通過元數(shù)據(jù)模型、映射關系和驅動規(guī)則，生成數(shù)據(jù)加工腳本。
[0048]如圖4所示，通過基礎數(shù)據(jù)層對應的元數(shù)據(jù)、映射關系和驅動規(guī)則，將基礎數(shù)據(jù)層的數(shù)據(jù)通過業(yè)務邏輯加工成主題數(shù)據(jù)的第一數(shù)據(jù)加工腳本，以及按維度將基礎數(shù)據(jù)層的數(shù)據(jù)，通過匯總邏輯加工成聚合數(shù)據(jù)的第二數(shù)據(jù)加工腳本。
[0049]步驟24、將元數(shù)據(jù)模型對應的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，調度系統(tǒng)建立生成相應的調度任務。
[0050]如圖4所示，將基礎數(shù)據(jù)層對應的元數(shù)據(jù)和第一數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，調度系統(tǒng)產(chǎn)生第一調度任務，將基礎數(shù)據(jù)層對應的元數(shù)據(jù)和第二數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，調度系統(tǒng)產(chǎn)生第二調度任務。
[0051]步驟25、調度系統(tǒng)為調度任務分配節(jié)點，并將調度任務對應的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本發(fā)送到分配的節(jié)點上，使所述節(jié)點執(zhí)行分配到的調度任務。
[0052]示例性的，調度系統(tǒng)為第一調度任務和第二調度任務分配節(jié)點，并將基礎數(shù)據(jù)層以及各調度任務分配到對應的節(jié)點上，所述節(jié)點執(zhí)行分配到的調度任務。
[0053]本實施例提供的基于元數(shù)據(jù)驅動調度系統(tǒng)的方法，支持元數(shù)據(jù)模型對調度系統(tǒng)的驅動，從而達到數(shù)據(jù)模型新建、修改、刪除的功能，減輕巨大的表間依賴工作量，減少人工參與程度；通過元數(shù)據(jù)驅動，可以保留數(shù)據(jù)模型歷史關系，追溯模型變更歷史；使調度系統(tǒng)不依賴人工參與，確保各層模型的依賴更加準確、上下層關系更加清晰、數(shù)據(jù)準確及時。
[0054]第三實施例
[0055]圖5是本發(fā)明第三實施例中提供的一種基于元數(shù)據(jù)驅動調度系統(tǒng)的裝置的結構示意圖，該裝置可以內置在數(shù)據(jù)倉庫的服務器內部。如圖5所示，所述基于元數(shù)據(jù)驅動調度系統(tǒng)的裝置包括配置項獲取單元31、腳本生成單元32和數(shù)據(jù)同步單元33。
[0056]其中，配置項獲取單元31用于獲取元數(shù)據(jù)模型的配置項；
[0057]腳本生成單元32用于依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本；
[0058]數(shù)據(jù)同步單元33用于將所述元數(shù)據(jù)模型對應的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應的調度任務，并控制執(zhí)行所述調度任務。
[0059]可選的，所述腳本生成單元32具體用于:
[0060]將預設的數(shù)據(jù)加工腳本模板中的模型參數(shù)替換為獲取的元數(shù)據(jù)模型，將所述數(shù)據(jù)加工腳本模板中的配置項參數(shù)替換為獲取的配置項數(shù)據(jù)，生成數(shù)據(jù)加工腳本。
[0061]可選的，所述數(shù)據(jù)同步單元33包括:
[0062]數(shù)據(jù)同步子單元，用于將元數(shù)據(jù)模型的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)創(chuàng)建調度任務并為所述調度任務分配節(jié)點；
[0063]數(shù)據(jù)發(fā)送子單元，用于將調度任務對應的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本發(fā)送到分配的節(jié)點上，使所述節(jié)點執(zhí)行分配到的調度任務。
[0064]可選的，所述裝置還包括:
[0065]結果獲取單元，用于在控制執(zhí)行所述調度任務之后，獲取所述調度任務的執(zhí)行結果，并將獲取的執(zhí)行結果作為所述元數(shù)據(jù)模型的上層元數(shù)據(jù)模型的元數(shù)據(jù)。
[0066]可選的，在檢測到用戶修改元數(shù)據(jù)模型或元數(shù)據(jù)模型的配置項時，依據(jù)修改后的元數(shù)據(jù)模型和配置項創(chuàng)建新的數(shù)據(jù)加工腳本，并向調度系統(tǒng)發(fā)送新的數(shù)據(jù)加工腳本，使調度系統(tǒng)創(chuàng)建并控制執(zhí)行新的調度任務。
[0067]上述裝置可執(zhí)行本發(fā)明任意實施例所提供的方法，具備執(zhí)行方法相應的功能模塊和有益效果。
[0068]上所述僅為本發(fā)明實施例的優(yōu)選實施例，并不用于限制本發(fā)明實施例，對于本領域技術人員而言，本發(fā)明實施例可以有各種改動和變化。凡在本發(fā)明實施例的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本發(fā)明實施例的保護范圍之內。
【主權項】
1.一種基于元數(shù)據(jù)驅動調度系統(tǒng)的方法，其特征在于，包括: 獲取元數(shù)據(jù)模型的配置項； 依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本； 將所述元數(shù)據(jù)模型對應的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應的調度任務，并控制執(zhí)行所述調度任務。2.根據(jù)權利要求1所述的方法，其特征在于，所述依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本，包括: 將預設的數(shù)據(jù)加工腳本模板中的模型參數(shù)替換為獲取的元數(shù)據(jù)模型，將所述數(shù)據(jù)加工腳本模板中的配置項參數(shù)替換為獲取的配置項數(shù)據(jù)，生成數(shù)據(jù)加工腳本。3.根據(jù)權利要求1所述的方法，其特征在于，所述將所述元數(shù)據(jù)模型對應的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應的調度任務，并控制執(zhí)行所述調度任務，包括: 將元數(shù)據(jù)模型的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)創(chuàng)建調度任務并為所述調度任務分配節(jié)點； 將調度任務對應的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本發(fā)送到分配的節(jié)點上，使所述節(jié)點執(zhí)行分配到的調度任務。4.根據(jù)權利要求1-3任一項所述的方法，其特征在于，控制執(zhí)行所述調度任務之后，還包括: 獲取所述調度任務的執(zhí)行結果，并將獲取的執(zhí)行結果作為所述元數(shù)據(jù)模型的上層元數(shù)據(jù)模型的元數(shù)據(jù)。5.根據(jù)權利要求1-3任一項所述的方法，其特征在于， 在檢測到用戶修改元數(shù)據(jù)模型或元數(shù)據(jù)模型的配置項時，依據(jù)修改后的元數(shù)據(jù)模型和配置項創(chuàng)建新的數(shù)據(jù)加工腳本，并向調度系統(tǒng)發(fā)送新的數(shù)據(jù)加工腳本，使調度系統(tǒng)創(chuàng)建并控制執(zhí)行新的調度任務。6.一種基于元數(shù)據(jù)驅動調度系統(tǒng)的裝置，其特征在于，包括: 配置項獲取單元，用于獲取元數(shù)據(jù)模型的配置項； 腳本生成單元，用于依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本； 數(shù)據(jù)同步單元，用于將所述元數(shù)據(jù)模型對應的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應的調度任務，并控制執(zhí)行所述調度任務。7.根據(jù)權利要求6所述的裝置，其特征在于，所述腳本生成單元具體用于: 將預設的數(shù)據(jù)加工腳本模板中的模型參數(shù)替換為獲取的元數(shù)據(jù)模型，將所述數(shù)據(jù)加工腳本模板中的配置項參數(shù)替換為獲取的配置項數(shù)據(jù)，生成數(shù)據(jù)加工腳本。8.根據(jù)權利要求6所述的裝置，其特征在于，所述數(shù)據(jù)同步單元包括: 數(shù)據(jù)同步子單元，用于將元數(shù)據(jù)模型的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)創(chuàng)建調度任務并為所述調度任務分配節(jié)點； 數(shù)據(jù)發(fā)送子單元，用于將調度任務對應的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本發(fā)送到分配的節(jié)點上，使所述節(jié)點執(zhí)行分配到的調度任務。9.根據(jù)權利要求6-8任一項所述的裝置，其特征在于，還包括: 結果獲取單元，用于在控制執(zhí)行所述調度任務之后，獲取所述調度任務的執(zhí)行結果，并將獲取的執(zhí)行結果作為所述元數(shù)據(jù)模型的上層元數(shù)據(jù)模型的元數(shù)據(jù)。10.根據(jù)權利要求6-8任一項所述的裝置，其特征在于， 在檢測到用戶修改元數(shù)據(jù)模型或元數(shù)據(jù)模型的配置項時，依據(jù)修改后的元數(shù)據(jù)模型和配置項創(chuàng)建新的數(shù)據(jù)加工腳本，并向調度系統(tǒng)發(fā)送新的數(shù)據(jù)加工腳本，使調度系統(tǒng)創(chuàng)建并控制執(zhí)行新的調度任務。
【專利摘要】本發(fā)明屬于數(shù)據(jù)處理技術領域，涉及一種基于元數(shù)據(jù)驅動調度系統(tǒng)的方法及裝置。該方法包括：獲取元數(shù)據(jù)模型的配置項；依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本；將所述元數(shù)據(jù)模型對應的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調度系統(tǒng)中，使調度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應的調度任務，并控制執(zhí)行所述調度任務。該方法通過元數(shù)據(jù)驅動調度任務，減少了人工參與度，簡化了調度系統(tǒng)的驅動操作，提高了數(shù)據(jù)處理效率。
【IPC分類】G06F17/30
【公開號】CN104899284
【申請?zhí)枴緾N201510303165
【發(fā)明人】孫冬
【申請人】北京京東尚科信息技術有限公司, 北京京東世紀貿(mào)易有限公司
【公開日】2015年9月9日
【申請日】2015年6月5日