一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，涉及一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法及裝置。
【背景技術(shù)】
[0002]伴隨著大數(shù)據(jù)時代的降臨，數(shù)據(jù)倉庫慢慢轉(zhuǎn)成分布式架構(gòu)，以滿足爆發(fā)式增長的計算及存儲的要求。由于分布式數(shù)據(jù)一般都是使用列式存儲，并以文件的形式保存，提高了大數(shù)據(jù)的存儲及計算性能。
[0003]數(shù)據(jù)倉庫中的各層級的數(shù)據(jù)模型通過調(diào)度系統(tǒng)來驅(qū)動，保證數(shù)據(jù)模型的及時性、完整性和準確性?，F(xiàn)有的驅(qū)動調(diào)度系統(tǒng)的方法中，人工參與配置，由于數(shù)據(jù)倉庫的各層模型的表，數(shù)據(jù)量巨大，配置項繁多，使得人工配置的工作量巨大，導(dǎo)致現(xiàn)有的驅(qū)動調(diào)度系統(tǒng)的方法的操作繁瑣，且效率低下。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提出一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法及裝置，以簡化調(diào)度系統(tǒng)的驅(qū)動操作，提高數(shù)據(jù)處理效率。
[0005]一方面，本發(fā)明實施例提供一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法，包括:
[0006]獲取元數(shù)據(jù)模型的配置項；
[0007]依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本；
[0008]將所述元數(shù)據(jù)模型對應(yīng)的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調(diào)度系統(tǒng)中，使調(diào)度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應(yīng)的調(diào)度任務(wù)，并控制執(zhí)行所述調(diào)度任務(wù)。
[0009]另一方面，本發(fā)明實施例提供一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的裝置，包括:
[0010]配置項獲取單元，用于獲取元數(shù)據(jù)模型的配置項；
[0011]腳本生成單元，用于依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本；
[0012]數(shù)據(jù)同步單元，用于將所述元數(shù)據(jù)模型對應(yīng)的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調(diào)度系統(tǒng)中，使調(diào)度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應(yīng)的調(diào)度任務(wù)，并控制執(zhí)行所述調(diào)度任務(wù)。
[0013]本發(fā)明實施例通過獲取元數(shù)據(jù)模型的配置項，并依據(jù)元數(shù)據(jù)模型和配置項生成數(shù)據(jù)加工腳本，且將元數(shù)據(jù)模型對應(yīng)的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調(diào)度系統(tǒng)中，使調(diào)度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應(yīng)的調(diào)度任務(wù)，并控制執(zhí)行所述調(diào)度任務(wù)，即該方法通過元數(shù)據(jù)驅(qū)動調(diào)度任務(wù)，減少了人工參與度，簡化了調(diào)度系統(tǒng)的驅(qū)動操作，提高了數(shù)據(jù)處理效率。
【附圖說明】
[0014]此處所說明的附圖用來提供對本發(fā)明實施例的進一步理解，構(gòu)成本發(fā)明實施例的一部分，并不構(gòu)成對本發(fā)明實施例的限定。在附圖中:
[0015]圖1是本發(fā)明第一實施例中提供的一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法的實現(xiàn)流程圖；
[0016]圖2是本發(fā)明第二實施例中提供的一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法的實現(xiàn)流程圖；
[0017]圖3是本發(fā)明第二實施例中提供的一種數(shù)據(jù)倉庫的數(shù)據(jù)模型層級圖；
[0018]圖4是本發(fā)明第二實施例中提供的一種數(shù)據(jù)倉庫的元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法的不意圖；
[0019]圖5是本發(fā)明第三實施例中提供的一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0020]下面結(jié)合附圖及具體實施例對本發(fā)明實施例進行更加詳細與完整的說明?？梢岳斫獾氖?，此處所描述的具體實施例僅用于解釋本發(fā)明實施例，而非對本發(fā)明實施例的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明實施例相關(guān)的部分而非全部內(nèi)容。
[0021]第一實施例:
[0022]圖1是本發(fā)明第一實施例中提供的一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法的實現(xiàn)流程圖，該方法可以由基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的裝置執(zhí)行，其中該裝置可以由軟件和/或硬件實現(xiàn)，可作為數(shù)據(jù)倉庫的服務(wù)器的一部分被內(nèi)置在數(shù)據(jù)倉庫的服務(wù)器內(nèi)部。如圖1所示，該實現(xiàn)流程包括:
[0023]步驟11、獲取元數(shù)據(jù)模型的配置項。
[0024]基于電子商務(wù)的分布式數(shù)據(jù)倉庫可以分為多個層級的元數(shù)據(jù)模型。其中，元數(shù)據(jù)模型的配置項可以包括元數(shù)據(jù)模型中不同表格或字段之間的映射關(guān)系，以及數(shù)據(jù)抓取規(guī)則和任務(wù)調(diào)度的時間分配規(guī)則和節(jié)點分配規(guī)則等各層級元數(shù)據(jù)模型的驅(qū)動規(guī)則。示例性的，依據(jù)用戶操作，獲取用戶根據(jù)需要設(shè)置的元數(shù)據(jù)模型的配置項。
[0025]步驟12、依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本。
[0026]其中，數(shù)據(jù)加工腳本為對元數(shù)據(jù)模型對應(yīng)的元數(shù)據(jù)作數(shù)據(jù)處理的腳本。數(shù)據(jù)加工腳本的類型可以包括存儲過程，事務(wù)，索引，觸發(fā)器和函數(shù)等。示例性的，依據(jù)元數(shù)據(jù)模型和用戶設(shè)置的配置項，生成數(shù)據(jù)加工腳本。
[0027]可選的，所述依據(jù)所述元數(shù)據(jù)模型和所述配置項，生成數(shù)據(jù)加工腳本，包括:將預(yù)設(shè)的數(shù)據(jù)加工腳本模板中的模型參數(shù)替換為獲取的元數(shù)據(jù)模型，將所述數(shù)據(jù)加工腳本模板中的配置項參數(shù)替換為獲取的配置項數(shù)據(jù)，生成數(shù)據(jù)加工腳本。由于數(shù)據(jù)加工腳本由元數(shù)據(jù)模型和配置項決定，因此本實施例在用戶需要創(chuàng)建新的數(shù)據(jù)加工腳本時，只需修改元數(shù)據(jù)模型的配置項即可，無需人工創(chuàng)建并編輯數(shù)據(jù)加工腳本。
[0028]步驟13、將所述元數(shù)據(jù)模型對應(yīng)的元數(shù)據(jù)和生成的數(shù)據(jù)加工腳本同步到調(diào)度系統(tǒng)中，使調(diào)度系統(tǒng)產(chǎn)生與所述元數(shù)據(jù)模型對應(yīng)的調(diào)度任務(wù)，并控制執(zhí)行所述調(diào)度任務(wù)。
[0029]其中，調(diào)度系統(tǒng)用于產(chǎn)生并控制執(zhí)行元數(shù)據(jù)模型對應(yīng)的調(diào)度任務(wù)。示例性的，調(diào)度系統(tǒng)根據(jù)接收的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本產(chǎn)生調(diào)度任務(wù)，并控制執(zhí)行調(diào)度任務(wù)，相比于現(xiàn)有的驅(qū)動調(diào)度系統(tǒng)的方法中人工創(chuàng)建調(diào)度任務(wù)，減少了人工參與程度。
[0030]可選的，步驟13包括:
[0031]A、將元數(shù)據(jù)模型的元數(shù)據(jù)和數(shù)據(jù)加工腳本同步到調(diào)度系統(tǒng)中，使調(diào)度系統(tǒng)創(chuàng)建調(diào)度任務(wù)，并為所述調(diào)度任務(wù)分配節(jié)點。
[0032]其中，節(jié)點為數(shù)據(jù)倉庫的服務(wù)器中的數(shù)據(jù)處理節(jié)點。示例性的，調(diào)度系統(tǒng)依據(jù)接收的元數(shù)據(jù)和數(shù)據(jù)加工腳本創(chuàng)建調(diào)度任務(wù)，并為調(diào)度任務(wù)分配節(jié)點。
[0033]B、將調(diào)度任務(wù)對應(yīng)的元數(shù)據(jù)模型和數(shù)據(jù)加工腳本發(fā)送到分配的節(jié)點上，使所述節(jié)點執(zhí)行分配到的調(diào)度任務(wù)。
[0034]可選的，控制執(zhí)行所述調(diào)度任務(wù)之后，還包括:獲取所述調(diào)度任務(wù)的執(zhí)行結(jié)果，并將獲取的執(zhí)行結(jié)果作為所述元數(shù)據(jù)模型的上層元數(shù)據(jù)模型的元數(shù)據(jù)。
[0035]示例性的，將獲取的執(zhí)行結(jié)果作為上層元數(shù)據(jù)模型的元數(shù)據(jù)，以在獲得用戶設(shè)置的上層元數(shù)據(jù)模型的配置項時，生成上層元數(shù)據(jù)模型的數(shù)據(jù)加工腳本，并通過調(diào)度系統(tǒng)產(chǎn)生上層元數(shù)據(jù)模型的調(diào)度任務(wù)，且調(diào)度系統(tǒng)控制執(zhí)行上層元數(shù)據(jù)模型的調(diào)度任務(wù)，得到上層元數(shù)據(jù)模型的執(zhí)行結(jié)果。因此，該方法中上下層級模型的依賴關(guān)系準確，清晰。
[0036]可選的，在檢測到用戶修改元數(shù)據(jù)模型或元數(shù)據(jù)模型的配置項時，依據(jù)修改后的元數(shù)據(jù)模型和配置項創(chuàng)建新的數(shù)據(jù)加工腳本，并向調(diào)度系統(tǒng)發(fā)送新的數(shù)據(jù)加工腳本，使調(diào)度系統(tǒng)創(chuàng)建并控制執(zhí)行新的調(diào)度任務(wù)。
[0037]示例性的，在用戶對元數(shù)據(jù)模型執(zhí)行修改、刪除操作時，修改相應(yīng)的元數(shù)據(jù)模型的配置項，驅(qū)動調(diào)度系統(tǒng)依據(jù)修改后的配置項產(chǎn)生新的調(diào)度任務(wù)，并控制新的調(diào)度任務(wù)執(zhí)行。
[0038]本發(fā)明提供的方法，只需修改元數(shù)據(jù)模型和元數(shù)據(jù)模型的配置項就能夠產(chǎn)生新的調(diào)度任務(wù)，相比于現(xiàn)有的驅(qū)動調(diào)度系統(tǒng)的方法，無需用戶人工編輯數(shù)據(jù)加工腳本，人工在調(diào)度系統(tǒng)中創(chuàng)建調(diào)度任務(wù)，也無需人工為調(diào)度任務(wù)分配節(jié)點，即，該方法相比于現(xiàn)有技術(shù)減少了人工參與度，降低了出錯率，通過調(diào)度系統(tǒng)執(zhí)行的任務(wù)關(guān)系更加清晰、數(shù)據(jù)更加準確，執(zhí)行更加穩(wěn)定。
[0039]第二實施例
[0040]本實施例在上述實施例的基礎(chǔ)上，提供了一種基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法。
[0041]圖2是本發(fā)明第二實施例中提供的一種數(shù)據(jù)倉庫的數(shù)據(jù)采集方法的實現(xiàn)流程圖。如圖2所示，所述基于元數(shù)據(jù)驅(qū)動調(diào)度系統(tǒng)的方法包括:
[0042]步驟21、新建元數(shù)據(jù)模型，構(gòu)建數(shù)據(jù)模型的表名、字段名。
[0043]如圖3所示，基于電子商務(wù)的分布式數(shù)據(jù)倉庫，通過hadoop平臺，利用hive作為數(shù)據(jù)庫工具，可以將元數(shù)據(jù)模型分為如下層級:緩沖數(shù)據(jù)層(Buffering Data Model，BDM)、基礎(chǔ)數(shù)據(jù)層(Fundamental Data Model，F(xiàn)DM)、通用數(shù)據(jù)層(General Data Model，GDM)、聚合數(shù)據(jù)層(Aggregative Data Model，ADM)、維度數(shù)據(jù)庫(Dimens1n Data Base，DDB)、計算中間庫/臨時數(shù)據(jù)庫(Temporary Data Base，TDB)。其中，緩沖數(shù)據(jù)層，用于從源系統(tǒng)將數(shù)據(jù)抽取到本層，數(shù)據(jù)以文件的形式入到hadoop本地；基礎(chǔ)數(shù)據(jù)層，用于將緩沖