一種etl調(diào)度的實(shí)現(xiàn)方法及裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例公開(kāi)了一種ETL調(diào)度的實(shí)現(xiàn)方法及裝置;其中,所述方法包括:建立待執(zhí)行任務(wù)的依賴關(guān)系,基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量;獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急程度;基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù);確定滿足第一預(yù)設(shè)條件且所述第三參數(shù)最大時(shí),執(zhí)行最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。
【專利說(shuō)明】
-種ETL調(diào)度的實(shí)現(xiàn)方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)技術(shù),具體設(shè)及一種6化調(diào)度的實(shí)現(xiàn)方法及裝置。
【背景技術(shù)】
[0002] 隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)分析受到了廣泛的重視。作為數(shù)據(jù)分析的基礎(chǔ)工作, 數(shù)據(jù)抽取、轉(zhuǎn)換和加載巧化,Extract-Transform-Load)也越來(lái)越繁重。特別當(dāng)數(shù)據(jù)來(lái)源廣 泛,數(shù)據(jù)格式各異,數(shù)據(jù)內(nèi)容千差萬(wàn)別時(shí),E化的組織合理與否一定程度上影響數(shù)據(jù)分析的 及時(shí)性。
[0003] 現(xiàn)有技術(shù)的問(wèn)題在于忽略了系統(tǒng)計(jì)算資源的有限性,沒(méi)有提及調(diào)度任務(wù)在時(shí)間維 度的分布,特別是當(dāng)任務(wù)數(shù)量巨大時(shí),對(duì)于某一時(shí)刻如何從多個(gè)任務(wù)中選擇并啟動(dòng)一個(gè)最 佳的任務(wù),相關(guān)技術(shù)中,對(duì)于該問(wèn)題,尚無(wú)有效解決方案。W至于雖然應(yīng)用服務(wù)器資源得到 了充分運(yùn)用,但調(diào)度任務(wù)沒(méi)能按規(guī)定的時(shí)間點(diǎn)完成,無(wú)法滿足業(yè)務(wù)上的需求。
【發(fā)明內(nèi)容】
[0004] 為解決現(xiàn)有存在的技術(shù)問(wèn)題,本發(fā)明實(shí)施例提供一種6化調(diào)度的實(shí)現(xiàn)方法及裝 置,實(shí)現(xiàn)6化調(diào)度的優(yōu)化,提升ETL的調(diào)度效率。 陽(yáng)〇化]為達(dá)到上述目的,本發(fā)明實(shí)施例的技術(shù)方案是運(yùn)樣實(shí)現(xiàn)的:
[0006] 本發(fā)明實(shí)施例提供了一種6化調(diào)度的實(shí)現(xiàn)方法,所述方法包括:
[0007] 建立待執(zhí)行任務(wù)的依賴關(guān)系,基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參 數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量;
[0008] 獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急 程度;
[0009] 基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù);
[0010] 確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時(shí),執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任 務(wù)。
[0011] 上述方案中,所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù)鏈路任務(wù)的計(jì)算量總和;
[0012] 所述第一參數(shù)滿足表達(dá)式為:ΣΣP燈l,Ti)ti{i聲j,i,je(l,2,3,...,n)};
[0013] 其中,ΣΡ(Τι,Τ,Η,α聲j,i,j e (l,2,3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計(jì)算量;P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn) 行;Ρ化,Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運(yùn)行時(shí)間的平均值;
[0014] 所述第二參數(shù)滿足表達(dá)式為
[0015] 其中,t。胃為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間。
[0016] 上述方案中,所述基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參 數(shù)泡括:
[0017] 所述第Ξ參數(shù)Stask。滿足表達(dá)式為:
[0018]
[0019] 其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。
[0020] 上述方案中,所述滿足第一預(yù)設(shè)條件,包括:
[0021] 當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運(yùn)行量;
[0022] 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值;
[0023] 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的中央處理器CPU的使用率小于 100%。
[0024] 上述方案中,所述任務(wù)最遲起始執(zhí)行時(shí)間tse滿足表達(dá)式為:
[00巧]tse〇= te η tn; 陽(yáng)0%] 其中,te。表示任務(wù)η要求完成的最終時(shí)間;Τ。表示任務(wù)η的歷史運(yùn)行時(shí)間的平均 值;
[0027] 其中,所述表示任務(wù)η要求完成的最終時(shí)間te。滿足表達(dá)式為: 陽(yáng)028] te〇= Max ( Σ P (T i, Tj) t j U 聲 j, i, j e (1, 2, 3, . . .,η)})。
[0029] 上述方案中,所述執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)之前,所述方法還包括:判斷當(dāng) 前時(shí)間是否晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間;確定所述當(dāng)前時(shí)間晚 于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所述最大的第Ξ參數(shù)對(duì)應(yīng)的任 務(wù)。
[0030] 本發(fā)明實(shí)施例還提供了一種6化調(diào)度的實(shí)現(xiàn)裝置,所述裝置包括:建立單元、第一 獲取單元、第二獲取單元、生成單元和執(zhí)行單元;其中,
[0031] 所述建立單元,用于建立待執(zhí)行任務(wù)的依賴關(guān)系;
[0032] 所述第一獲取單元,用于基于所述建立單元建立的所述依賴關(guān)系獲得所述待執(zhí)行 任務(wù)的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量;
[0033] 所述第二獲取單元,用于獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表 征所述待執(zhí)行任務(wù)的緊急程度;
[0034] 所述生成單元,用于基于所述第一獲取單元獲得的所述第一參數(shù)和所述第二獲取 單元獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù);
[0035] 所述執(zhí)行單元,用于確定滿足第一預(yù)設(shè)條件且所述生成單元生成的所述第Ξ參數(shù) 最大時(shí),執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0036] 上述方案中,所述第一獲取單元獲取的所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù)鏈 路任務(wù)的計(jì)算量總和;
[0037] 所述第一參數(shù)滿足表達(dá)式為:Σ Σ Ρ 燈1,Tj) tj {i 聲 j,i,j e (1,2, 3,...,η)};
[0038] 其中,EP(Ti,T,)t,{i聲j,i,j e (l,2,3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計(jì)算量;P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn) 行;Ρ化,Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運(yùn)行時(shí)間的平均值;
[0039] 所述第二獲取單元獲取的所述第二參數(shù)滿足表達(dá)式為
[0040] 其中,t。胃為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間。
[0041] 上述方案中,所述生成單元生成的所述第Ξ參數(shù)Stask。滿足表達(dá)式為:
[0042]
[0043] 其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。 陽(yáng)044] 上述方案中,所述執(zhí)行單元,用于確定當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量的 總和小于預(yù)設(shè)任務(wù)運(yùn)行量;和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O帶 寬小于允許占用的I/O帶寬的極限值;和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的中 央處理器CPU的使用率小于100%時(shí),且所述生成單元生成的所述第Ξ參數(shù)最大時(shí),執(zhí)行最 大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0045] 上述方案中,所述任務(wù)最遲起始執(zhí)行時(shí)間tse滿足表達(dá)式為:
[0046] tse〇= te η tn;
[0047] 其中,te。表示任務(wù)η要求完成的最終時(shí)間;Τ。表示任務(wù)η的歷史運(yùn)行時(shí)間的平均 值;
[0048] 其中,所述表示任務(wù)η要求完成的最終時(shí)間te。滿足表達(dá)式為: 陽(yáng)049] te〇= Max ( Σ P (T i, Tj) t j U 聲 j, i, j e (1, 2, 3, . . .,η)})。
[0050] 上述方案中,所述執(zhí)行單元,還用于執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)之前,判斷當(dāng) 前時(shí)間是否晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間;確定所述當(dāng)前時(shí)間晚 于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所述最大的第Ξ參數(shù)對(duì)應(yīng)的任 務(wù)。
[0051] 本發(fā)明實(shí)施例提供的6化調(diào)度的實(shí)現(xiàn)方法及裝置,通過(guò)建立待執(zhí)行任務(wù)的依賴關(guān) 系,基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí) 行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量;獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征 所述待執(zhí)行任務(wù)的緊急程度;基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ 參數(shù);確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時(shí),執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。如 此,采用本發(fā)明實(shí)施例的技術(shù)方案,基于任務(wù)之間的依賴關(guān)系,通過(guò)任務(wù)的緊急程度和所述 任務(wù)的后續(xù)依賴任務(wù)的運(yùn)行時(shí)間運(yùn)兩個(gè)維度對(duì)6化調(diào)度進(jìn)行優(yōu)化,在保證任務(wù)即時(shí)運(yùn)行的 情況下充分利用資源,避免了后續(xù)的任務(wù)無(wú)法按時(shí)完成,一方面解決了分析系統(tǒng)數(shù)據(jù)處理 的及時(shí)性問(wèn)題,為業(yè)務(wù)部口提供服務(wù),盡早發(fā)現(xiàn)生產(chǎn)經(jīng)營(yíng)中存在的問(wèn)題,及時(shí)調(diào)整策略,適 應(yīng)市場(chǎng);另一方面可W在滿足生產(chǎn)需求的前提下,充分發(fā)揮經(jīng)營(yíng)分析系統(tǒng)產(chǎn)能,減少系統(tǒng)建 設(shè)投入;此外,還會(huì)明顯降低人工維護(hù)系統(tǒng)、組織安排調(diào)度所投入的人力成本,提升復(fù)雜調(diào) 度系統(tǒng)的易用性。
【附圖說(shuō)明】
[0052] 圖1為本發(fā)明實(shí)施例的mi調(diào)度的實(shí)現(xiàn)方法的流程示意圖;
[0053] 圖2為本發(fā)明實(shí)施例中任務(wù)間的依賴關(guān)系示意圖;
[0054] 圖3為本發(fā)明實(shí)施例的mi調(diào)度的實(shí)現(xiàn)裝置的組成結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0055] 下面結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0056] 本發(fā)明實(shí)施例提供了一種mi調(diào)度的實(shí)現(xiàn)方法。圖1為本發(fā)明實(shí)施例的mi調(diào)度 的實(shí)現(xiàn)方法的流程示意圖;如圖1所示,所述方法包括:
[0057] 步驟101 :建立待執(zhí)行任務(wù)的依賴關(guān)系,基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù) 的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量。
[0058] 本實(shí)施例中,首先建立依賴關(guān)系模型,所述依賴關(guān)系模型為待執(zhí)行的所有任務(wù)之 間的依賴關(guān)系模型。任務(wù)間存在著錯(cuò)綜復(fù)雜的依賴關(guān)系,一個(gè)調(diào)度可被多個(gè)任務(wù)依賴,一個(gè) 任務(wù)可能需要依賴多個(gè)任務(wù)。一方面,當(dāng)一個(gè)任務(wù)完成時(shí),會(huì)通知后續(xù)任務(wù)開(kāi)始執(zhí)行。另一 方面,當(dāng)前置任務(wù)全部完成時(shí),當(dāng)前任務(wù)才能夠開(kāi)始執(zhí)行。另外,整個(gè)任務(wù)鏈條由起始任務(wù) 完成后的接口數(shù)據(jù)到達(dá)時(shí)觸發(fā)執(zhí)行。圖2為本發(fā)明實(shí)施例中任務(wù)間的依賴關(guān)系示意圖;如 圖2所示,任務(wù)1被后續(xù)多個(gè)任務(wù)所依賴,任務(wù)8的生成取決于前置任務(wù)1、任務(wù)4、任務(wù)5 和任務(wù)6。
[0059] 具體的,化sk。為待運(yùn)行的第η個(gè)任務(wù),則化sk。與其運(yùn)行時(shí)間W及自身與其他任 務(wù)的依賴關(guān)系相關(guān);Task。滿足的表達(dá)式如公式(1)所示: W60] Taskn= {Tn,Rn} (D
[0061] 其中,Τ。表示任務(wù)η的歷史運(yùn)行時(shí)間的平均值;R。表示任務(wù)η與其他任務(wù)的關(guān)系;
[0062] 其中,滿足的表達(dá)式如公式似所示:
[0063] Rn= {Ρ (Τ m, Τη) I m, η e (1, 2,. . . , Ζ), m 聲 η} 似 W64] 其中,當(dāng)P(Tm, Τ。)= 1時(shí),表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能 開(kāi)始運(yùn)行;當(dāng)Ρ (Tm,Τ。)= 0時(shí),表示任務(wù)η不依賴任務(wù)m。
[0065] 本步驟中,所述待執(zhí)行任務(wù)的第一參數(shù)為所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算 量,即后續(xù)鏈路任務(wù)的計(jì)算量總和;W圖2中所述的任務(wù)5為例,所述任務(wù)5的后續(xù)任務(wù)包 括任務(wù)6、任務(wù)8、任務(wù)9和任務(wù)10,則所述任務(wù)5的后續(xù)總?cè)蝿?wù)的計(jì)算量為所述任務(wù)6、任 務(wù)8、任務(wù)9和任務(wù)10的計(jì)算量;當(dāng)所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量越大,說(shuō)明為所 述待執(zhí)行任務(wù)預(yù)留的執(zhí)行時(shí)間應(yīng)該越長(zhǎng),則所述待執(zhí)行任務(wù)應(yīng)盡早執(zhí)行?;谏鲜鲆蕾嚹?型,所述第一參數(shù)滿足公式(3)所示:
[0066] Σ Σ P 化,Tj) t j a 聲 j,i,j e (1,2, 3,...,η)} 做
[0067] 其中,ΣΡ(Τι,Τ,Η,α聲j,i,j e (l,2,3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計(jì)算量;P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn) 行;Ρ化,Tj) = 0表示任務(wù)η不依賴任務(wù)m ;tj為任務(wù)j的歷史運(yùn)行時(shí)間的平均值。其中, 所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù)的計(jì)算量與后續(xù)鏈路任務(wù)的的歷史平均運(yùn)行時(shí)間t,相關(guān), 則可W理解為,所述后續(xù)鏈路任務(wù)的計(jì)算量為所述后續(xù)鏈路任務(wù)的運(yùn)行時(shí)間。
[0068] 步驟102 :獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征所述待執(zhí)行 任務(wù)的緊急程度。
[0069] 本實(shí)施例中,所述表征所述待執(zhí)行任務(wù)的緊急程度的第二參數(shù)如公式(4)表示:
[0070]
(4)
[00川公式(4)中,t。胃為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間,則tse-t。胃為所 述任務(wù)最遲起始執(zhí)行時(shí)間與當(dāng)前時(shí)間之間的時(shí)間差,所述時(shí)間差越小,說(shuō)明對(duì)應(yīng)任務(wù)需執(zhí) 行的緊急程度越大;相應(yīng)的所述時(shí)間差越小,則公式(4)表征的所述第二參數(shù)的數(shù)值則越 大。
[0072] 本實(shí)施例中,每一個(gè)任務(wù)的完成時(shí)間存在最終期限;任務(wù)可早于所述最終期限完 成,但不可晚于所述最終期限完成。結(jié)合步驟101中所述的依賴關(guān)系模型,所述最終期限Te 的表達(dá)式如公式(5)所示:
[0073] Te = {tei, ?θ2, te], . . . , tej 妨
[0074] 其中,te。表示任務(wù)η要求完成的最終時(shí)間,即所述任務(wù)η不能晚于te。完成,否則 后續(xù)的任務(wù)將無(wú)法按時(shí)完成。則某一任務(wù)的后續(xù)任務(wù)所需的運(yùn)行時(shí)間總和為: W75] Σ P(T,,Tj)tj{i ^ j,i, j e (1,2, 3,...,η)} (6)
[0076] 其中,公式化)中所示的1至η表示所述任務(wù)后的1至η個(gè)任務(wù)。則所述任務(wù)η 要求完成的最終時(shí)間te。為所述任務(wù)η后續(xù)各任務(wù)的運(yùn)行時(shí)間之和的最大值;則te。的表達(dá) 式如公式(7)所示: 陽(yáng)077] ten= Max ( Σ P 燈 1,Tj) t j a 聲 j,i,j e (1,2, 3, . . .,η)}) (7)
[0078] 基于公式(7),則所述任務(wù)最遲起始執(zhí)行時(shí)間tse的表達(dá)式如公式(8)所示: 陽(yáng)0巧]tse〇= te n_tn 做
[0080] 其中,tse。表不任務(wù)η最遲起始執(zhí)行時(shí)間;te。表不任務(wù)η要求完成的最終時(shí)間; Τ。表示任務(wù)η的歷史運(yùn)行時(shí)間的平均值。
[0081] 步驟103 :基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù)。
[0082] 本實(shí)施例中,所述基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參 數(shù)泡括:
[0083] 所述第Ξ參數(shù)Stask滿足的表達(dá)式如公式(9)所示:
[0084]
(9)
[00化]其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù),可根據(jù)實(shí)際情況或經(jīng)驗(yàn)值預(yù)先設(shè)定;Staskn 為任務(wù)η的第Ξ參數(shù);一--為步驟102中生成的所述第二參數(shù);Σ Σ Ρ化,Τ,) .tse - tmw t, a聲j,i,j e (1,2, 3,...,η)}為步驟101中獲得的所述第一參數(shù)。
[0086] 從公式巧)中可W看出,所述第Ξ參數(shù)與表征待執(zhí)行任務(wù)的緊急程度的第二參數(shù) 和表征待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量的第一參數(shù)相關(guān);所述第二參數(shù)越大,說(shuō)明當(dāng)前 時(shí)間距離所述待實(shí)行任務(wù)的最遲起始執(zhí)行時(shí)間越近,即緊急程度越大;所述第一參數(shù)越大, 說(shuō)明所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù)的總的計(jì)算量越大,需要的時(shí)間也越多;因此,對(duì)于所 有待執(zhí)行任務(wù),獲得每個(gè)待執(zhí)行任務(wù)的Stask值,將獲得的Stask值由大到小排列,Stask值 越大,對(duì)應(yīng)的任務(wù)需要盡早運(yùn)行。
[0087] 步驟104 :確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時(shí),執(zhí)行最大的第Ξ參數(shù) 對(duì)應(yīng)的任務(wù)。
[0088] 本實(shí)施例中,Task。所需系統(tǒng)資源主要由兩部分構(gòu)成:一部分為系統(tǒng)輸入輸出(1/ 0,1噸ut/Ou化ut)資源;另一部分由任務(wù)所占用的CPU資源。基于將系統(tǒng)資源得到充分的、 高效的運(yùn)用,步驟104中,所述滿足第一預(yù)設(shè)條件,包括:
[0089] 當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運(yùn)行量;
[0090] 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值;
[0091] 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的中央處理器(CPU)的使用率小 于 100%。
[0092] 其中,所述當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運(yùn)行量滿 足公式(10)所示:
[0093] Prun+Pstart<Pmax (10) 陽(yáng)094] 其中,Prim表示當(dāng)前運(yùn)行的任務(wù)數(shù)量;Pstart表示待運(yùn)行的任務(wù)數(shù)量;Pmax表示 允許運(yùn)行的任務(wù)總量;
[0095] 所述當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值滿足公式(11)所示:
[0096]
(11) 陽(yáng)097] 其中,Sused表示當(dāng)前運(yùn)行任務(wù)已占用的I/O帶寬;Rread康示任務(wù)i需要占用 的I/O帶寬
表示待運(yùn)行的η個(gè)任務(wù)需要占用的I/O帶寬的總和; Sreadmax表示允許占用的I/O帶寬的極限值;
[0098] 所述當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的中央處理器(CPU)的使用率小 于100%滿足公式(12)所示:
[0099]
(12,) 陽(yáng)1〇0] 其中,Dcpuused表示當(dāng)前CPU的使用率;Tcpu康示任務(wù)i需要占用的CPU的計(jì)算 時(shí)間;TcpUi/ (tei-tnow)表示任務(wù)i在運(yùn)行時(shí)間內(nèi)的CPU使用率
表示 待運(yùn)行的η個(gè)任務(wù)在運(yùn)行時(shí)間內(nèi)的CPU的使用率的總和。 陽(yáng)101] 也就是說(shuō),所述滿足第一預(yù)設(shè)條件為:運(yùn)行的任務(wù)量應(yīng)小于預(yù)設(shè)的任務(wù)運(yùn)行量,并 且運(yùn)行任務(wù)需要占用的I/O帶寬應(yīng)小于許占用的I/O帶寬的極限值,并且運(yùn)行任務(wù)需占用 的CPU使用率應(yīng)小于100%。在滿足上述第一預(yù)設(shè)條件下,篩選出滿足所述第一預(yù)設(shè)條件的 Μ個(gè)任務(wù),再基于所述Μ個(gè)任務(wù)的Stask值優(yōu)先選擇所述Stask值最大的任務(wù)運(yùn)行。
[0102] 采用本發(fā)明實(shí)施例的技術(shù)方案,基于任務(wù)之間的依賴關(guān)系,通過(guò)任務(wù)的緊急程度 和所述任務(wù)的后續(xù)依賴任務(wù)的運(yùn)行時(shí)間運(yùn)兩個(gè)維度對(duì)mi調(diào)度進(jìn)行優(yōu)化,在保證任務(wù)即時(shí) 運(yùn)行的情況下充分利用資源,避免了后續(xù)的任務(wù)無(wú)法按時(shí)完成,一方面解決了分析系統(tǒng)數(shù) 據(jù)處理的及時(shí)性問(wèn)題,為業(yè)務(wù)部口提供服務(wù),盡早發(fā)現(xiàn)生產(chǎn)經(jīng)營(yíng)中存在的問(wèn)題,及時(shí)調(diào)整策 略,適應(yīng)市場(chǎng);另一方面可W在滿足生產(chǎn)需求的前提下,充分發(fā)揮經(jīng)營(yíng)分析系統(tǒng)產(chǎn)能,減少 系統(tǒng)建設(shè)投入;此外,還會(huì)明顯降低人工維護(hù)系統(tǒng)、組織安排調(diào)度所投入的人力成本,提升 復(fù)雜調(diào)度系統(tǒng)的易用性。 陽(yáng)103] 依據(jù)本發(fā)明實(shí)施例的另一實(shí)施例,所述執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)之前,所 述方法還包括:判斷當(dāng)前時(shí)間是否晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間; 確定所述當(dāng)前時(shí)間晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所述最大 的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0104] 在本實(shí)施例中,每一個(gè)任務(wù)還存在一個(gè)最早執(zhí)行時(shí)間;任務(wù)可晚于所述最早執(zhí)行 時(shí)間開(kāi)始執(zhí)行,但不可早于所述最早執(zhí)行時(shí)間執(zhí)行。具體的,任務(wù)的最早執(zhí)行時(shí)間由前置依 賴任務(wù)的完成情況決定;當(dāng)所述前置依賴任務(wù)全部完成時(shí),所述任務(wù)即可觸發(fā)執(zhí)行。因此, 所述任務(wù)的最早執(zhí)行時(shí)間可基于所述前置依賴任務(wù)完成的接口數(shù)據(jù)到達(dá)時(shí)間W及所述前 置依賴任務(wù)的完成情況獲得。
[01化]具體的,所述任務(wù)的最早執(zhí)行時(shí)間的表達(dá)式滿足公式(13)所示: 陽(yáng) 106] ts = {tsi, ts2,…tsj (13) 陽(yáng)107] 其中,ts。表示任務(wù)η最早執(zhí)行時(shí)間,即所述任務(wù)η不能早于Ts。執(zhí)行。則某一任 務(wù)的前置依賴任務(wù)所需的運(yùn)行時(shí)間總和為:
[0108] Σ P(T"Tj)tj{i ^ j,i, j e (1,2, 3,...,η)} (14)
[0109] 其中,公式(14)中所示的1至η表示所述任務(wù)之前的1至η個(gè)任務(wù)。則所述任務(wù) η的最早執(zhí)行時(shí)間tsn為所述任務(wù)η的前置依賴任務(wù)的運(yùn)行時(shí)間之和的最大值;則tsn的 表達(dá)式如公式(15)所示: 陽(yáng) 110] tSn=Max( Σ Pa'i'TiHjU 聲 j,i,j e (l,2,3,...,n)}) (巧) 陽(yáng)111] 基于步驟101至步驟104所述的mi調(diào)度的實(shí)現(xiàn)方法,在實(shí)際應(yīng)用中,具體的ETL 調(diào)度過(guò)程包括W下步驟:
[0112] 步驟一:獲得任務(wù)的依賴關(guān)系,計(jì)算每個(gè)任務(wù)的最早執(zhí)行時(shí)間ts。
[0113] 運(yùn)里,所述最早執(zhí)行時(shí)間ts的計(jì)算過(guò)程可如上述方法獲得,運(yùn)里不再寶述。
[0114] 步驟二:確定此時(shí)允許運(yùn)行的任務(wù)總量Pmax。
[0115] 步驟Ξ :檢查當(dāng)前的待運(yùn)行任務(wù)量P,當(dāng)P < Pmax時(shí),執(zhí)行步驟四,否則,不執(zhí)行任 何操作。
[0116] 步驟四:依據(jù)公式(9)計(jì)算所有待運(yùn)行任務(wù)的第Ξ參數(shù)Stask,并篩選出滿足公式 (10)至公式(12)所示條件的待運(yùn)行任務(wù),將滿足所述條件的待運(yùn)行任務(wù)按所述第Ξ參數(shù) Stask由大到小進(jìn)行排序,按順序依次運(yùn)行待運(yùn)行任務(wù)。
[0117] 步驟五:定時(shí)監(jiān)測(cè)是否有任務(wù)運(yùn)行結(jié)束。當(dāng)沒(méi)有任務(wù)運(yùn)行結(jié)束時(shí),不做任務(wù)處理; 當(dāng)有任務(wù)運(yùn)行結(jié)束時(shí),記錄所述任務(wù)運(yùn)行時(shí)長(zhǎng)到歷史表,并重新執(zhí)行步驟二。
[0118] 本發(fā)明實(shí)施例還提供了一種6化調(diào)度的實(shí)現(xiàn)裝置。圖3為本發(fā)明實(shí)施例的mi調(diào) 度的實(shí)現(xiàn)裝置的組成結(jié)構(gòu)示意圖;如圖3所示,所述裝置包括:建立單元31、第一獲取單元 32、第二獲取單元33、生成單元34和執(zhí)行單元35 ;其中,
[0119] 所述建立單元31,用于建立待執(zhí)行任務(wù)的依賴關(guān)系;
[0120] 所述第一獲取單元32,用于基于所述建立單元31建立的所述依賴關(guān)系獲得所述 待執(zhí)行任務(wù)的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量; 陽(yáng)121] 所述第二獲取單元33,用于獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于 表征所述待執(zhí)行任務(wù)的緊急程度;
[0122] 所述生成單元34,用于基于所述第一獲取單元32獲得的所述第一參數(shù)和所述第 二獲取單元33獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù);
[0123] 所述執(zhí)行單元35,用于確定滿足第一預(yù)設(shè)條件且所述生成單元34生成的所述第 Ξ參數(shù)最大時(shí),執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0124] 本實(shí)施例中,所述第一獲取單元32獲取的所述第一參數(shù)表征所述待執(zhí)行任務(wù)后 續(xù)鏈路任務(wù)的計(jì)算量總和; 陽(yáng)125] 所述第一參數(shù)滿足表達(dá)式為:ΣΣP燈l,Ti)ti{i聲j,i,je(l,2,3,...,n)}; 陽(yáng)126] 其中,ΣP燈l,Ti)ti{i聲j,i,je(l,2,3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計(jì)算量;P燈1,Tj) = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn) 行;Ρ化,Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運(yùn)行時(shí)間的平均值; 陽(yáng)127] 所述第二獲取單元33獲取的所述第二參數(shù)滿足表達(dá)式為
[0128] 其中,t。胃為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間。
[0129] 所述任務(wù)最遲起始執(zhí)行時(shí)間tse滿足表達(dá)式為: 陽(yáng) 130] tse"= te " t"; 陽(yáng)131] 其中,te。表示任務(wù)η要求完成的最終時(shí)間;Τ。表示任務(wù)η的歷史運(yùn)行時(shí)間的平均 值; 陽(yáng)132] 其中,所述表示任務(wù)η要求完成的最終時(shí)間te。滿足表達(dá)式為: 陽(yáng) 1;33] ten=Max( Σ PO'i'TiHjU 聲 j,i,j e (l,2,3,...,n)})。
[0134] 本實(shí)施例中,所述生成單元34生成的所述第Ξ參數(shù)Stask。滿足表達(dá)式為: 陽(yáng) 135]
[0136] 其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。 陽(yáng)137] 本實(shí)施例中,所述執(zhí)行單元35,用于確定當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量 的總和小于預(yù)設(shè)任務(wù)運(yùn)行量;和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O 帶寬小于允許占用的I/O帶寬的極限值;和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的 中央處理器CPU的使用率小于100%時(shí),且所述生成單元34生成的所述第Ξ參數(shù)最大時(shí),執(zhí) 行最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0138] 依據(jù)本實(shí)施例的另一實(shí)施例,所述執(zhí)行單元35,還用于執(zhí)行最大的第Ξ參數(shù)對(duì)應(yīng) 的任務(wù)之前,判斷當(dāng)前時(shí)間是否晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間;確 定所述當(dāng)前時(shí)間晚于所述最大的第Ξ參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所述最大的 第Ξ參數(shù)對(duì)應(yīng)的任務(wù)。
[0139] 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本發(fā)明實(shí)施例的mi調(diào)度的實(shí)現(xiàn)裝置中各處理單元的 功能,可參照前述6化調(diào)度的實(shí)現(xiàn)方法的相關(guān)描述而理解,本發(fā)明實(shí)施例的mi調(diào)度的實(shí)現(xiàn) 裝置中各處理單元,可通過(guò)實(shí)現(xiàn)本發(fā)明實(shí)施例所述的功能的模擬電路而實(shí)現(xiàn),也可W通過(guò) 執(zhí)行本發(fā)明實(shí)施例所述的功能的軟件在智能終端上的運(yùn)行而實(shí)現(xiàn)。
[0140] 在本發(fā)明實(shí)施例中,所述mi調(diào)度的實(shí)現(xiàn)裝置中的建立單元31、第一獲取單元32、 第二獲取單元33、生成單元34和執(zhí)行單元35,在實(shí)際應(yīng)用中均可由所述mi調(diào)度的實(shí)現(xiàn) 裝置中的中央處理器(CPU, Central Processing Unit)、數(shù)字信號(hào)處理器值SP,Digital Si即al Processor)或可編程口陣列(FPGA,F(xiàn)ield -Programm油le Gate Array)實(shí)現(xiàn)。 陽(yáng)141] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序 產(chǎn)品。因此,本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形 式。而且,本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ) 介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0142] 本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、裝置、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/ 或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和 /或方框、W及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供運(yùn)些計(jì)算機(jī)程序指 令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器W產(chǎn)生 一個(gè)機(jī)器,使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn) 在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0143] 運(yùn)些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備W特 定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指 令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或 多個(gè)方框中指定的功能。
[0144] 運(yùn)些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì) 算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟W產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或 其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖 一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0145] W上所述,僅為本發(fā)明的較佳實(shí)施例而已,并非用于限定本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)抽取、轉(zhuǎn)換和加載ETL調(diào)度的實(shí)現(xiàn)方法,其特征在于,所述方法包括: 建立待執(zhí)行任務(wù)的依賴關(guān)系,基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù);所 述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量; 獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急程 度; 基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù); 確定滿足第一預(yù)設(shè)條件且所述第三參數(shù)最大時(shí),執(zhí)行最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。2. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù) 鏈路任務(wù)的計(jì)算量總和; 所述第一參數(shù)滿足表達(dá)式為:Σ Σ P (1 η) t」U辛j,i,j e (1,2, 3, · · ·,η)}; 其中,Σ Pd 乒j,i,j e (1,2, 3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù) 的計(jì)算量;P⑴,TJ = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn)行; Pd Τ,) = 0表示任務(wù)η不依賴任務(wù)m 為任務(wù)j的歷史運(yùn)行時(shí)間的平均值; 所述第二參數(shù)滿足表達(dá)式為其中,t_為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間。3. 根據(jù)權(quán)利要求2所述的方法,其特征在于,所述基于所述第一參數(shù)和所述第二參數(shù) 按第一預(yù)設(shè)規(guī)則生成第三參數(shù);包括: 所述第三參數(shù)Staskn滿足表達(dá)式為:其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。4. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述滿足第一預(yù)設(shè)條件,包括: 當(dāng)前已運(yùn)行的任務(wù)量與待運(yùn)行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運(yùn)行量; 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用的I/O 帶寬的極限值; 和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有任務(wù)需占用的中央處理器CPU的使用率小于 100%〇5. 根據(jù)權(quán)利要求2所述的方法,其特征在于,所述任務(wù)最遲起始執(zhí)行時(shí)間tse滿足表達(dá) 式為: tsen= te n tn; 其中,仏"表示任務(wù)n要求完成的最終時(shí)間;T "表示任務(wù)n的歷史運(yùn)行時(shí)間的平均值; 其中,所述表示任務(wù)η要求完成的最終時(shí)間ten滿足表達(dá)式為: ten= Max ( Σ P (T i,T) t j {i 乒 j,i,j e (1,2, 3, · · ·,η)})。6. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述執(zhí)行最大的第三參數(shù)對(duì)應(yīng)的任務(wù)之 前,所述方法還包括:判斷當(dāng)前時(shí)間是否晚于所述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行 時(shí)間;確定所述當(dāng)前時(shí)間晚于所述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所 述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。7. -種ETL調(diào)度的實(shí)現(xiàn)裝置,其特征在于,所述裝置包括:建立單元、第一獲取單元、第 二獲取單元、生成單元和執(zhí)行單元;其中, 所述建立單元,用于建立待執(zhí)行任務(wù)的依賴關(guān)系; 所述第一獲取單元,用于基于所述建立單元建立的所述依賴關(guān)系獲得所述待執(zhí)行任務(wù) 的第一參數(shù);所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計(jì)算量; 所述第二獲取單元,用于獲得所述待執(zhí)行任務(wù)的第二參數(shù),所述第二參數(shù)用于表征所 述待執(zhí)行任務(wù)的緊急程度; 所述生成單元,用于基于所述第一獲取單元獲得的所述第一參數(shù)和所述第二獲取單元 獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù); 所述執(zhí)行單元,用于確定滿足第一預(yù)設(shè)條件且所述生成單元生成的所述第三參數(shù)最大 時(shí),執(zhí)行最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。8. 根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述第一獲取單元獲取的所述第一參數(shù) 表征所述待執(zhí)行任務(wù)后續(xù)鏈路任務(wù)的計(jì)算量總和; 所述第一參數(shù)滿足表達(dá)式為:Σ Σ P (1 η) t」U辛j,i,j e (1,2, 3, · · ·,η)}; 其中,Σ Pd 乒j,i,j e (1,2, 3,...,n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù) 的計(jì)算量;P⑴,TJ = 1表示任務(wù)η依賴任務(wù)m,僅當(dāng)任務(wù)m完成后任務(wù)η才能開(kāi)始運(yùn)行; Pd Τ,) = 0表示任務(wù)η不依賴任務(wù)m 為任務(wù)j的歷史運(yùn)行時(shí)間的平均值; 所述第二獲取單元獲取的所述第二參數(shù)滿足表達(dá)式為:其中,t_為當(dāng)前時(shí)間,tse為所述任務(wù)最遲起始執(zhí)行時(shí)間。9. 根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述生成單元生成的所述第三參數(shù) Staskn滿足表達(dá)式為:其中,a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。10. 根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述執(zhí)行單元,用于確定當(dāng)前已運(yùn)行的 任務(wù)量與待運(yùn)行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運(yùn)行量;和,當(dāng)運(yùn)行所述待執(zhí)行任務(wù)后,所有 任務(wù)占用的輸入輸出I/O帶寬小于允許占用的I/O帶寬的極限值;和,當(dāng)運(yùn)行所述待執(zhí)行任 務(wù)后,所有任務(wù)需占用的中央處理器CPU的使用率小于100%時(shí),且所述生成單元生成的所 述第三參數(shù)最大時(shí),執(zhí)行最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。11. 根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述任務(wù)最遲起始執(zhí)行時(shí)間tse滿足表 達(dá)式為: tsen= te n tn; 其中,仏"表示任務(wù)n要求完成的最終時(shí)間;T "表示任務(wù)n的歷史運(yùn)行時(shí)間的平均值; 其中,所述表示任務(wù)η要求完成的最終時(shí)間ten滿足表達(dá)式為: ten= Max ( Σ P (T i,T) t j {i 乒 j,i,j e (1,2, 3, · · ·,η)})。12. 根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述執(zhí)行單元,還用于執(zhí)行最大的第三 參數(shù)對(duì)應(yīng)的任務(wù)之前,判斷當(dāng)前時(shí)間是否晚于所述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行 時(shí)間;確定所述當(dāng)前時(shí)間晚于所述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)的最早執(zhí)行時(shí)間時(shí),執(zhí)行所 述最大的第三參數(shù)對(duì)應(yīng)的任務(wù)。
【文檔編號(hào)】G06F9/48GK105824809SQ201510001683
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2015年1月4日
【發(fā)明人】李秀清, 趙景科, 侯曉沖, 高夢(mèng)嬌
【申請(qǐng)人】中國(guó)移動(dòng)通信集團(tuán)河北有限公司