專利名稱：云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域中云計(jì)算與業(yè)務(wù)支撐技術(shù)，具體地，涉及云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)調(diào)度方法及裝置。
背景技術(shù)：
隨著用戶數(shù)量的不斷增長(zhǎng)和業(yè)務(wù)量的不斷增加，業(yè)務(wù)支撐系統(tǒng)中的經(jīng)營(yíng)分析系統(tǒng)的性能凸顯不足，作為經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)處理核心結(jié)構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)，其數(shù)據(jù)處理能力也面臨著越來越大的壓力。ETL是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)，ETL即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、裝載(Load)的過程。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的且隨時(shí)間不斷變化的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過程。在數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建中，ETL貫穿于項(xiàng)目始終，它 是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的生命線，包括了數(shù)據(jù)清洗、整合、轉(zhuǎn)換、加載等各個(gè)過程。在現(xiàn)有技術(shù)中，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理過程與云計(jì)算平臺(tái)的數(shù)據(jù)處理過程是作為兩套不同的數(shù)據(jù)處理模式而獨(dú)立工作的?，F(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)ETL處理流程如下I)將數(shù)據(jù)文件放置在ETL加載服務(wù)器；2)通過ETL加載服務(wù)器將數(shù)據(jù)文件裝載至數(shù)據(jù)倉(cāng)庫(kù)；3)在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)進(jìn)行數(shù)據(jù)的處理(清洗、轉(zhuǎn)換、匯總、關(guān)聯(lián)等)?，F(xiàn)有的云計(jì)算平臺(tái)數(shù)據(jù)ETL處理流程如下I)將數(shù)據(jù)文件放置在云計(jì)算平臺(tái)；2)利用云計(jì)算平臺(tái)對(duì)數(shù)據(jù)文件進(jìn)行處理(清洗、轉(zhuǎn)換、匯總、關(guān)聯(lián)等)；3)將處理完成的數(shù)據(jù)以文本方式導(dǎo)出。

發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中經(jīng)營(yíng)分析系統(tǒng)中數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理能力不足的缺陷，提出一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的方法及裝置。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法。根據(jù)本發(fā)明實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，包括I)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)；2)根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；3)根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。在上述技術(shù)方案中，方法還可以包括4)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)；5)根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；6)根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。在上述技術(shù)方案中，在所述步驟I)之前還可以包括7)對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。在上述技術(shù)方案中，在所述步驟4)之前還可以包括8)對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。在上述技術(shù)方案中，步驟I)具體可以包括
11)對(duì)觸發(fā)配置文件進(jìn)行掃描處理；12)讀取觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系；13)根據(jù)觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)。在上述技術(shù)方案中，步驟I)進(jìn)一步可以包括步驟14)實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)觸發(fā)配置文件的修改進(jìn)行響應(yīng)。在上述技術(shù)方案中，步驟4)具體可以包括41)對(duì)依賴配置文件進(jìn)行掃描處理；42)讀取依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系；43)根據(jù)依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)。在上述技術(shù)方案中，步驟4)進(jìn)一步可以包括步驟44)實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)依賴配置文件的修改進(jìn)行響應(yīng)。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法。根據(jù)本發(fā)明實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，包括I)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)；2)根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；3)根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。在上述技術(shù)方案中，方法還可以包括4)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)；5)根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；6)根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。在上述技術(shù)方案中，在所述步驟I)之前還可以包括7)對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。在上述技術(shù)方案中，在步驟4)之前還可以包括
8)對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。在上述技術(shù)方案中，所述步驟I)具體可以包括11)對(duì)觸發(fā)配置文件進(jìn)行掃描處理；12)讀取觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系；13)根據(jù)觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)。在上述技術(shù)方案中，步驟I)進(jìn)一步可以包括步驟14)實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)觸發(fā)配置文件的修改進(jìn)行響應(yīng)。
在上述技術(shù)方案中，所述步驟4)具體可以包括41)對(duì)依賴配置文件進(jìn)行掃描處理；42)讀取依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系；43)根據(jù)依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)。在上述技術(shù)方案中，步驟4)進(jìn)一步可以包括步驟44)實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)依賴配置文件的修改進(jìn)行響應(yīng)。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一個(gè)方面，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置。根據(jù)本發(fā)明實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置，包括虛擬任務(wù)模塊，用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)；狀態(tài)更新模塊，用于根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；任務(wù)運(yùn)行模塊，用于根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。在上述技術(shù)方案中，虛擬任務(wù)模塊，還可以用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)；狀態(tài)更新模塊，還可以用于根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；任務(wù)運(yùn)行模塊，還可以用于根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。在上述技術(shù)方案中，裝置還可以包括配置模塊，用于對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。在上述技術(shù)方案中，配置模塊，還可以用于對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。在上述技術(shù)方案中，虛擬任務(wù)模塊具體可以包括觸發(fā)掃描子模塊，用于對(duì)觸發(fā)配置文件進(jìn)行掃描處理；觸發(fā)讀取子模塊，用于讀取觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系;虛擬觸發(fā)子模塊，用于根據(jù)觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)。在上述技術(shù)方案中，所述虛擬任務(wù)模塊進(jìn)一步可以包括觸發(fā)響應(yīng)子模塊，用于實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)觸發(fā)配置文件的修改進(jìn)行響應(yīng)。在上述技術(shù)方案中，虛擬任務(wù)模塊具體可以包括依賴掃描子模塊，用于對(duì)依賴配置文件進(jìn)行掃描處理；依賴讀取子模塊，用于讀取依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系；虛擬依賴子模塊，用于根據(jù)依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)。 在上述技術(shù)方案中，虛擬任務(wù)模塊進(jìn)一步可以包括依賴響應(yīng)子模塊，用于實(shí)時(shí)掃描依賴配置文件，使用戶對(duì)依賴配置文件的修改進(jìn)行響應(yīng)。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一個(gè)方面，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置。根據(jù)本發(fā)明實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置，包括虛擬任務(wù)模塊，用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)；狀態(tài)更新模塊，用于根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；任務(wù)運(yùn)行模塊，用于根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。在上述技術(shù)方案中，虛擬任務(wù)模塊，還可以用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)；狀態(tài)更新模塊，還可以用于根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；任務(wù)運(yùn)行模塊，還可以用于根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。在上述技術(shù)方案中，裝置還可以包括配置模塊，用于對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。在上述技術(shù)方案中，配置模塊，還可以用于對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。在上述技術(shù)方案中，虛擬任務(wù)模塊具體可以包括觸發(fā)掃描子模塊，用于對(duì)觸發(fā)配置文件進(jìn)行掃描處理；觸發(fā)讀取子模塊，用于讀取觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系;虛擬觸發(fā)子模塊，用于根據(jù)觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)。在上述技術(shù)方案中，虛擬任務(wù)模塊進(jìn)一步可以包括
觸發(fā)響應(yīng)子模塊，用于實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)觸發(fā)配置文件的修改進(jìn)行響應(yīng)。在上述技術(shù)方案中，虛擬任務(wù)模塊具體可以包括依賴掃描子模塊，用于對(duì)依賴配置文件進(jìn)行掃描處理；
依賴讀取子模塊，用于讀取依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系；虛擬依賴子模塊，用于根據(jù)依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在z 計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)。在上述技術(shù)方案中，虛擬任務(wù)模塊進(jìn)一步可以包括依賴響應(yīng)子模塊，用于實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)依賴配置文件的修改進(jìn)行響應(yīng)。本發(fā)明各實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法和裝置，涉及到云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間雙向的任務(wù)觸發(fā)調(diào)度，首先在數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)，根據(jù)云計(jì)算平臺(tái)和/或數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)，更新對(duì)應(yīng)的虛擬觸發(fā)任務(wù)的狀態(tài)，最后根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)的與所述虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行，從而實(shí)現(xiàn)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間任務(wù)的雙向調(diào)度，有利于兩者選擇合適的數(shù)據(jù)處理模式處理數(shù)據(jù)，增強(qiáng)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的處理能力，提高了數(shù)據(jù)的處理效率。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中圖I為根據(jù)本發(fā)明實(shí)施例一云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖；圖2為根據(jù)本發(fā)明實(shí)施例一云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖；圖3為根據(jù)本發(fā)明實(shí)施例二云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖；圖4為根據(jù)本發(fā)明實(shí)施例二云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖；圖5為根據(jù)本發(fā)明實(shí)施例三云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖；圖6為根據(jù)本發(fā)明實(shí)施例三云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖；圖7為根據(jù)本發(fā)明實(shí)施例一云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖8為根據(jù)本發(fā)明實(shí)施例二云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖；圖9為根據(jù)本發(fā)明實(shí)施例三云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖；圖10為根據(jù)本發(fā)明實(shí)施例四云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖；圖11為根據(jù)本發(fā)明實(shí)施例五云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖；圖12為圖11實(shí)施例的任務(wù)觸發(fā)調(diào)度的工作流程圖；圖13為圖11實(shí)施例的任務(wù)依賴調(diào)度的工作流程圖；圖14為根據(jù)本發(fā)明實(shí)施例六云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度裝置的示意圖；圖15為圖14實(shí)施例的任務(wù)觸發(fā)調(diào)度的工作流程圖；
圖16為圖14實(shí)施例的任務(wù)依賴調(diào)度的工作流程圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法與裝置，主要涉及經(jīng)營(yíng)分析系統(tǒng)中的數(shù)據(jù)倉(cāng)庫(kù)與云計(jì)算平臺(tái)之間任務(wù)的交互調(diào)度運(yùn)行。在數(shù)據(jù)倉(cāng)庫(kù)與云計(jì)算平臺(tái)中，各任務(wù)的運(yùn)行包括觸發(fā)關(guān)系和依賴關(guān)系，具體為I)、觸發(fā)關(guān)系一個(gè)任務(wù)的運(yùn)行，必須有另外一個(gè)任務(wù)進(jìn)行觸發(fā)，例如，A任務(wù)運(yùn)行完成后觸發(fā)B任務(wù)；2)、依賴關(guān)系如上例，A任務(wù)觸發(fā)B任務(wù)后，B任務(wù)不一定立即開始運(yùn)行，而是處于等待狀態(tài)；因?yàn)锽任務(wù)可能還依賴C/D/E三個(gè)任務(wù)，如果C/D/E的狀態(tài)滿足后，才結(jié)束等待狀態(tài)，開始運(yùn)行。本發(fā)明的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法與裝置，其數(shù)據(jù)倉(cāng)庫(kù)與云計(jì)算平臺(tái)的觸發(fā)關(guān)系與依賴關(guān)系都是雙向I)云計(jì)算平臺(tái)的任務(wù)既可以依賴數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)，也可以觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)；2)數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)既可以依賴云計(jì)算平臺(tái)的任務(wù)，也可以觸發(fā)云計(jì)算平臺(tái)的任務(wù)。方法實(shí)施例根據(jù)本發(fā)明實(shí)施例，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，圖I為根據(jù)本發(fā)明實(shí)施例一云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖，圖2為根據(jù)本發(fā)明實(shí)施例一云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖，其中，圖I為云計(jì)算平臺(tái)任務(wù)觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的情形，圖2為數(shù)據(jù)倉(cāng)庫(kù)任務(wù)觸發(fā)云計(jì)算平臺(tái)任務(wù)的情形。需要說明的是，圖I與圖2說明了任務(wù)調(diào)度方法的兩種流程情形，兩種流程可以同步運(yùn)行，可以異步運(yùn)行，也可以交叉運(yùn)行，兩種流程還可以僅運(yùn)行一種流程。如圖1、2所示，本實(shí)施例包括步驟S102 :根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)；相應(yīng)地，步驟S202:根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)；步驟S104 :根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；相應(yīng)地，步驟S204 :根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；步驟S106 :根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行；相應(yīng)地，步驟S206:根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。本實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，涉及到云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間雙向的任務(wù)觸發(fā)調(diào)度，首先在數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)，根據(jù)云計(jì)算平臺(tái)和/或數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)，更新對(duì)應(yīng)的虛擬觸發(fā)任務(wù)的狀態(tài)，最后根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)的與所述虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行，從而實(shí)現(xiàn)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間任務(wù)的雙向調(diào)度， 有利于兩者選擇合適的數(shù)據(jù)處理模式處理數(shù)據(jù)，增強(qiáng)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的處理能力，提高了數(shù)據(jù)的處理效率。需要說明的是，無(wú)論是在數(shù)據(jù)倉(cāng)庫(kù)還是在云計(jì)算平臺(tái)中，任務(wù)A必須在得到任務(wù)B(僅一個(gè))的觸發(fā)后才能運(yùn)行，在得到任務(wù)B的觸發(fā)后，如果任務(wù)A有依賴任務(wù)(可以為多個(gè))，任務(wù)A將掃描該依賴任務(wù)，在該依賴任務(wù)的狀態(tài)也滿足后，任務(wù)A將開始運(yùn)行，如果任務(wù)A無(wú)依賴任務(wù)，任務(wù)A在得到任務(wù)B的觸發(fā)后立即開始運(yùn)行；換句話說，數(shù)據(jù)倉(cāng)庫(kù)與云計(jì)算平臺(tái)的任務(wù)運(yùn)行，必須要得到另外任務(wù)的觸發(fā)，在有依賴任務(wù)時(shí)，還需同時(shí)滿足該依賴任務(wù)的狀態(tài)，具體參見方法實(shí)施例二。根據(jù)本發(fā)明實(shí)施例，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，圖3為根據(jù)本發(fā)明實(shí)施例二云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖，圖4為根據(jù)本發(fā)明實(shí)施例二云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖，其中，圖3為云計(jì)算平臺(tái)任務(wù)觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)、云計(jì)算平臺(tái)任務(wù)依賴數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的情形，圖4為數(shù)據(jù)倉(cāng)庫(kù)任務(wù)觸發(fā)云計(jì)算平臺(tái)任務(wù)、數(shù)據(jù)倉(cāng)庫(kù)任務(wù)依賴云計(jì)算平臺(tái)任務(wù)的情形。需要說明的是，圖3與圖4說明了任務(wù)調(diào)度方法的兩種流程情形，兩種流程可以同步運(yùn)行，可以異步運(yùn)行，也可以交叉運(yùn)行，兩種流程還可以僅運(yùn)行一種流程。如圖3、4所示，本實(shí)施例包括步驟S302 :根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)；相應(yīng)地，步驟S402:根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)；步驟S304 :根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)；相應(yīng)地，步驟S404:根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)；步驟S306 :根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；相應(yīng)地，步驟S406:根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；步驟S308 :根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；相應(yīng)地，步驟S408:根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬依賴任務(wù)的狀態(tài)；步驟S310 :根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行；相應(yīng)地，步驟S410:根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行；步驟S312 :根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬依賴任務(wù) 具有依賴關(guān)系的任務(wù)； 相應(yīng)地，步驟S412:根據(jù)虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。需要說明的是，在圖3的流程中，步驟S302、S306、S310與圖I流程中的步驟S102、S104、S106——對(duì)應(yīng)，屬于云計(jì)算平臺(tái)任務(wù)觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的情形；步驟S304、S308、S312屬于在圖I流程基礎(chǔ)上增加的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)依賴云計(jì)算平臺(tái)任務(wù)的情形；上述兩種情形彼此獨(dú)立，可以同步運(yùn)行，可以異步運(yùn)行，可以交叉運(yùn)行，也可以僅運(yùn)行任務(wù)觸發(fā)的方式而不運(yùn)行任務(wù)依賴的方式。同理，在圖4的流程中，步驟S402、S406、S410與圖2流程中的步驟S202、S204、S206 一一對(duì)應(yīng)，屬于數(shù)據(jù)倉(cāng)庫(kù)任務(wù)觸發(fā)云計(jì)算平臺(tái)任務(wù)的情形；步驟S404、S408、S412屬于在圖2流程基礎(chǔ)上增加的云計(jì)算平臺(tái)任務(wù)依賴數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的情形；上述兩種情形彼此獨(dú)立，可以同步運(yùn)行，可以異步運(yùn)行，可以交叉運(yùn)行，也可以僅運(yùn)行任務(wù)觸發(fā)的方式而不運(yùn)行任務(wù)依賴的方式。本實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，在方法實(shí)施例一的基礎(chǔ)上，不僅涉及到云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間雙向的任務(wù)觸發(fā)調(diào)度，還涉及到云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間雙向的任務(wù)依賴調(diào)度，首先在數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)，根據(jù)云計(jì)算平臺(tái)和/或數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)，更新對(duì)應(yīng)的虛擬依賴任務(wù)的狀態(tài)，最后根據(jù)所述虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)和/或云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)，從而實(shí)現(xiàn)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間任務(wù)的雙向調(diào)度，有利于兩者選擇合適的數(shù)據(jù)處理模式處理數(shù)據(jù)，增強(qiáng)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的處理能力，提高了數(shù)據(jù)的處理效率。根據(jù)本發(fā)明實(shí)施例，提供了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，圖5為根據(jù)本發(fā)明實(shí)施例三云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第一流程圖，圖6為根據(jù)本發(fā)明實(shí)施例三云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)調(diào)度方法的第二流程圖，其中，圖5為云計(jì)算平臺(tái)任務(wù)觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)、云計(jì)算平臺(tái)任務(wù)依賴數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的情形，圖6為數(shù)據(jù)倉(cāng)庫(kù)任務(wù)觸發(fā)云計(jì)算平臺(tái)任務(wù)、數(shù)據(jù)倉(cāng)庫(kù)任務(wù)依賴云計(jì)算平臺(tái)任務(wù)的情形。需要說明的是，圖5與圖6說明了任務(wù)調(diào)度方法的兩種流程情形，兩種流程可以同步運(yùn)行，可以異步運(yùn)行，也可以交叉運(yùn)行，兩種流程還可以僅運(yùn)行一種流程。如圖5、6所示，本實(shí)施例包括
步驟S502 :對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件；由于數(shù)據(jù)倉(cāng)庫(kù)任務(wù)調(diào)度關(guān)系的存儲(chǔ)機(jī)制與云計(jì)算平臺(tái)任務(wù)調(diào)度關(guān)系的存儲(chǔ)機(jī)制不一定相同，因此，以配置文件的方式對(duì)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置。如表I所示，觸發(fā)配置文件JOB TRIGGER, ini，該配置文件只配置跨云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的觸發(fā)關(guān)系所涉及的任務(wù)，該配置文件包含以下字段內(nèi)容>任務(wù)名稱jobname ；>任務(wù)所觸發(fā)的任務(wù)名稱trigger_jobname ；>描述 -description ；>是否讀取該觸發(fā)關(guān)系enable(l為需要讀取該觸發(fā)關(guān)系，0為不需要讀取該觸發(fā)關(guān)系)。表I
權(quán)利要求
1.一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，其特征在于，包括 1)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)； 2)根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬觸發(fā)任務(wù)的狀態(tài)； 3)根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，方法還包括 4)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)； 5)根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬依賴任務(wù)的狀態(tài)； 6)根據(jù)所述虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，在所述步驟I)之前還包括 7)對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述步驟4)之前還包括 8)對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟I)具體包括 11)對(duì)所述觸發(fā)配置文件進(jìn)行掃描處理； 12)讀取所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系； 13)根據(jù)所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟I)進(jìn)一步包括步驟 14)實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)所述觸發(fā)配置文件的修改進(jìn)行響應(yīng)。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟4)具體包括 41)對(duì)所述依賴配置文件進(jìn)行掃描處理； 42)讀取所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系； 43)根據(jù)所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟4)進(jìn)一步包括步驟 44)實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)所述依賴配置文件的修改進(jìn)行響應(yīng)。
9.一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法，其特征在于，包括 1)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)； 2)根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬觸發(fā)任務(wù)的狀態(tài)； 3)根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)所述云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，方法還包括 4)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)；5)根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬依賴任務(wù)的狀態(tài)； 6)根據(jù)所述虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行所述云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，在所述步驟I)之前還包括 7)對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，在所述步驟4)之前還包括 8)對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述步驟I)具體包括 11)對(duì)所述觸發(fā)配置文件進(jìn)行掃描處理； 12)讀取所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系； 13)根據(jù)所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述步驟I)進(jìn)一步包括步驟 14)實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)所述觸發(fā)配置文件的修改進(jìn)行響應(yīng)。
15.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟4)具體包括 41)對(duì)所述依賴配置文件進(jìn)行掃描處理； 42)讀取所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系； 43)根據(jù)所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述步驟4)進(jìn)一步包括步驟 44)實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)所述依賴配置文件的修改進(jìn)行響應(yīng)。
17.—種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置，其特征在于，包括 虛擬任務(wù)模塊，用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)； 狀態(tài)更新模塊，用于根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬觸發(fā)任務(wù)的狀態(tài)； 任務(wù)運(yùn)行模塊，用于根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于， 所述虛擬任務(wù)模塊，還用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)； 所述狀態(tài)更新模塊，還用于根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬依賴任務(wù)的狀態(tài)； 所述任務(wù)運(yùn)行模塊，還用于根據(jù)所述虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。
19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，裝置還包括 配置模塊，用于對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述配置模塊，還用于對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。
21.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述虛擬任務(wù)模塊具體包括 觸發(fā)掃描子模塊，用于對(duì)所述觸發(fā)配置文件進(jìn)行掃描處理； 觸發(fā)讀取子模塊，用于讀取所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系； 虛擬觸發(fā)子模塊，用于根據(jù)所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于，所述虛擬任務(wù)模塊進(jìn)一步包括 觸發(fā)響應(yīng)子模塊，用于實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)所述觸發(fā)配置文件的修改進(jìn)行響應(yīng)。
23.根據(jù)權(quán)利要求20所述的裝置，其特征在于，所述虛擬任務(wù)模塊具體包括 依賴掃描子模塊，用于對(duì)所述依賴配置文件進(jìn)行掃描處理； 依賴讀取子模塊，用于讀取所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系； 虛擬依賴子模塊，用于根據(jù)所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬依賴任務(wù)。
24.根據(jù)權(quán)利要求23所述的裝置，其特征在于，所述虛擬任務(wù)模塊進(jìn)一步包括 依賴響應(yīng)子模塊，用于實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)所述依賴配置文件的修改進(jìn)行響應(yīng)。
25.—種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度裝置，其特征在于，包括 虛擬任務(wù)模塊，用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)； 狀態(tài)更新模塊，用于根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬觸發(fā)任務(wù)的狀態(tài)； 任務(wù)運(yùn)行模塊，用于根據(jù)所述虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)所述云計(jì)算平臺(tái)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。
26.根據(jù)權(quán)利要求25所述的裝置，其特征在于， 所述虛擬任務(wù)模塊，還用于根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)； 所述狀態(tài)更新模塊，還用于根據(jù)獲取的數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的運(yùn)行狀態(tài)信息，更新所述虛擬依賴任務(wù)的狀態(tài)； 所述任務(wù)運(yùn)行模塊，還用于根據(jù)所述虛擬依賴任務(wù)更新后的狀態(tài)，運(yùn)行所述云計(jì)算平臺(tái)內(nèi)與該虛擬依賴任務(wù)具有依賴關(guān)系的任務(wù)。
27.根據(jù)權(quán)利要求26所述的裝置，其特征在于，裝置還包括 配置模塊，用于對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系進(jìn)行配置，獲取觸發(fā)配置文件。
28.根據(jù)權(quán)利要求27所述的裝置，其特征在于， 所述配置模塊，還用于對(duì)所述云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系進(jìn)行配置，獲取依賴配置文件。
29.根據(jù)權(quán)利要求27所述的裝置，其特征在于，所述虛擬任務(wù)模塊具體包括 觸發(fā)掃描子模塊，用于對(duì)所述觸發(fā)配置文件進(jìn)行掃描處理； 觸發(fā)讀取子模塊，用于讀取所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系； 虛擬觸發(fā)子模塊，用于根據(jù)所述觸發(fā)配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬觸發(fā)任務(wù)。
30.根據(jù)權(quán)利要求29所述的裝置，其特征在于，所述虛擬任務(wù)模塊進(jìn)一步包括 觸發(fā)響應(yīng)子模塊，用于實(shí)時(shí)掃描所述觸發(fā)配置文件，使用戶對(duì)所述觸發(fā)配置文件的修改進(jìn)行響應(yīng)。
31.根據(jù)權(quán)利要求28所述的裝置，其特征在于，所述虛擬任務(wù)模塊具體包括 依賴掃描子模塊，用于對(duì)所述依賴配置文件進(jìn)行掃描處理； 依賴讀取子模塊，用于讀取所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系； 虛擬依賴子模塊，用于根據(jù)所述依賴配置文件中云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)依賴關(guān)系，在所述云計(jì)算平臺(tái)內(nèi)建立虛擬依賴任務(wù)。
32.根據(jù)權(quán)利要求31所述的裝置，其特征在于，所述虛擬任務(wù)模塊進(jìn)一步包括 依賴響應(yīng)子模塊，用于實(shí)時(shí)掃描所述依賴配置文件，使用戶對(duì)所述依賴配置文件的修改進(jìn)行響應(yīng)。
全文摘要
本發(fā)明公開了一種云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的方法及裝置，其中，該方法包括1)根據(jù)云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間的任務(wù)觸發(fā)關(guān)系，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)建立虛擬觸發(fā)任務(wù)；2)根據(jù)獲取的云計(jì)算平臺(tái)任務(wù)的運(yùn)行狀態(tài)信息，更新虛擬觸發(fā)任務(wù)的狀態(tài)；3)根據(jù)虛擬觸發(fā)任務(wù)更新后的狀態(tài)，觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)與該虛擬觸發(fā)任務(wù)具有觸發(fā)關(guān)系的任務(wù)運(yùn)行。本發(fā)明各實(shí)施例的云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)間任務(wù)的調(diào)度方法和裝置，實(shí)現(xiàn)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)之間任務(wù)的雙向調(diào)度，有利于兩者選擇合適的數(shù)據(jù)處理模式處理數(shù)據(jù)，增強(qiáng)了云計(jì)算平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)任務(wù)的處理能力，提高了數(shù)據(jù)的處理效率。
文檔編號(hào)G06F9/46GK102750179SQ20111010370
公開日2012年10月24日 申請(qǐng)日期2011年4月22日 優(yōu)先權(quán)日2011年4月22日
發(fā)明者吳明, 龐詠, 曹雪峰, 李祎 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)河北有限公司