跨idc大數(shù)處理架構下執(zhí)行策略生成方法、裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及大數(shù)據(jù)技術領域，特別涉及一種跨IDC(Internet Data Center，網(wǎng)絡數(shù)據(jù)中心)大數(shù)處理架構下執(zhí)行策略生成方法、裝置。
【背景技術】
[0002]當前處理海量數(shù)據(jù)處理平臺都是以單個IDC內方式構建，使用者不需要了解在IDC內分布式計算所涉及的底層技術細節(jié)，能方便快捷地開發(fā)數(shù)據(jù)處理程序。
[0003]在當前架構下，任務策略都以量化集群內設備的CPU、內存等計算相關資源來開發(fā)。
[0004]1.FIFO (First In First Out，先入先出)調度策略
[0005]隊列調度策略，是從工作隊列中以先進先出方式來處理任務。此策略是最老、最簡單的處理方式，易于實現(xiàn)運行穩(wěn)定。但是，該策略不考慮作業(yè)的優(yōu)先級或大小，如果遇到大的計算任務會占用整個集群全部資源，后續(xù)任務需要等待當前大任務完成才能獲得處理。一些優(yōu)先級別高、計算量小的任務，不能得到及時處理。
[0006]2.容量調度策略
[0007]容量調度策略，是讓任務選擇預先分配的資源容器處理執(zhí)行。
[0008]按照各容器預先劃分計算資源到每個容器內，并分配容器給多個獨立用戶和目標應用程序。該調度策略對集群的計算資源利用率不高，且計算資源擴容、刪減的維護成本較高；此外，容器內多任務運行采用FIFO調度器，無法避免相應容器內的大任務導致?lián)砣麄€容器。
[0009]3.公平調度策略
[0010]公平調度策略，與容器調度策略有相似的地方。相對容器調度策略，公平調度策略強制公平共享各容器的計算資源。
[0011 ] 具體來說，處理任務隨著時間推移，在使用完自身容器所有計算資源情況下，根據(jù)強制公平共享計算資源的全局規(guī)則約定，當前任務從其他還有計算資源且優(yōu)先策略低于當前任務的容器中借用相關資源。
[0012]在該規(guī)則下，臨時的、需要較少時間、優(yōu)先級別較高的作業(yè)會獲得計算資源，那些需要更長時間執(zhí)行的作業(yè)會推遲結果輸出。但當在數(shù)據(jù)與計算資源分布不均勻時，采用任務延遲策略，導致調度穩(wěn)定性不可預估。
[0013]現(xiàn)有大數(shù)據(jù)通用計算調度策略是在單IDC內，且數(shù)據(jù)、計算能力分布較均勻情況下有較好的批量執(zhí)行處理能力。
[0014]首先，單個大IDC構建數(shù)據(jù)中心方面，隨著大數(shù)據(jù)的演進。多樣數(shù)據(jù)源源不斷地來自網(wǎng)絡每個角落，大家已經(jīng)普遍認同:一個數(shù)據(jù)中心在建立和計算時效上都會對網(wǎng)絡、可擴容等方面造成過高的運營成本。業(yè)內需要建立一個通用有層級數(shù)據(jù)處理能力的架構，在此架構下當前調度策略都是無法滿足的。
[0015]其次，在數(shù)據(jù)與計算能力匹配調度為可執(zhí)行任務上，現(xiàn)有的策略采取的是任務延遲策略。本策略中出現(xiàn)一個空閑計算資源，如果它被選中的作業(yè)沒有設備內或本機架中的待處理數(shù)據(jù)時，策略暫把計算資源讓給其他作業(yè)?；诖瞬呗?，對處理數(shù)據(jù)分布不理想，只采用延遲一段時間后隨機處理的辦法會讓調度不穩(wěn)定。
[0016]最后，隨著大數(shù)據(jù)處理平臺的普及，不同用戶提交的應用作業(yè)往往具有不同的服務質量(QoS)需求。目前通用調度策略普遍是基于批量處理，已難于滿足當前對大數(shù)據(jù)多樣的QoS的要求。

【發(fā)明內容】

[0017]本發(fā)明的發(fā)明人發(fā)現(xiàn)上述現(xiàn)有技術中存在問題，并因此針對問題中的至少一個問題提出了一種新的技術方案。
[0018]本發(fā)明的一個目的是提供一種用于跨IDC的大數(shù)處理架構下執(zhí)行策略生成的技術方案。
[0019]根據(jù)本發(fā)明的第一方面，提供了一種跨互聯(lián)網(wǎng)數(shù)據(jù)中心IDC的大數(shù)處理架構下執(zhí)行策略生成方法，包括:
[0020]調度組件接收各個IDC集群上報的當前可用的計算資源和傳輸資源；
[0021]所述調度組件接收提交的作業(yè)，所述作業(yè)包括任務、作業(yè)數(shù)據(jù)和期望輸出；
[0022]所述調度組件根據(jù)任務類型基于任務分類模型庫確定所述任務的代表執(zhí)行策略，所述任務的代表執(zhí)行策略包括所述任務所需計算資源和所消耗時間；
[0023]所述調度組件根據(jù)集群可用資源池中的[集群可用計算資源、作業(yè)數(shù)據(jù)分布]矩陣和[各個任務所需計算資源、和所消耗時間、集群可用網(wǎng)絡傳輸資源]矩陣進行調度，獲得所述作業(yè)的當前最優(yōu)執(zhí)行策略。
[0024]可選地，該方法還包括:通過機器學習建立所述任務分類模型庫。
[0025]可選地，通過機器學習建立所述任務分類模型庫包括:任務作為一個對象向IDC集群申請相關資源，相關資源包括CPU、硬盤、內存、傳輸資源和任務所需數(shù)據(jù)；對于每個類型的任務，通過試運行任務對相關資源進行隨機分配，獲得不同相關資源分配狀態(tài)下的任務執(zhí)行輸出結果，獲得任務試運行結果最優(yōu)的最優(yōu)執(zhí)行策略；將任務的最優(yōu)執(zhí)行策略作為該任務類型的代表執(zhí)行策略存入任務分類模型庫。
[0026]可選地，計算資源包括CPU、硬盤、內存和傳輸資源。
[0027]可選地，該方法還包括:基于作業(yè)的服務質量要求為作業(yè)分配不同的作業(yè)權重，具有較高服務質量要求的作業(yè)分配較高的作業(yè)權重，讓集群計算資源在作業(yè)權重的分配下達到使用利用率最大化，從而進行策略分配時優(yōu)先分配具有較高QoS要求的作業(yè)。
[0028]可選地，調度組件根據(jù)可用資源池中的[集群可用計算資源、作業(yè)數(shù)據(jù)分布]矩陣和[各個任務所需計算資源、所消耗時間、集群可用網(wǎng)絡傳輸資源]矩陣進行調度獲得所述作業(yè)的當前最優(yōu)執(zhí)行策略包括:基于優(yōu)化算法隨機迭代，將[集群可用計算資源、作業(yè)數(shù)據(jù)分布]矩陣中的相關資源分配到[各個任務所需計算資源和所消耗時間、集群可用網(wǎng)絡資源]矩陣的各任務的公式中，通過比對最優(yōu)策略選取集群最優(yōu)的分配策略。
[0029]根據(jù)本發(fā)明的另一方面，提供一種跨互聯(lián)網(wǎng)數(shù)據(jù)中心IDC的大數(shù)處理架構下執(zhí)行策略生成裝置，包括:
[0030]可用資源獲取模塊，用于接收各個IDC集群上報的當前可用的計算資源和傳輸資源；
[0031]作業(yè)接收模塊，用于接收提交的作業(yè)，所述作業(yè)包括任務、作業(yè)數(shù)據(jù)和期望輸出；
[0032]任務策略確定模塊，用于根據(jù)所述任務的類型基于任務分類模型庫確定所述任務的代表執(zhí)行策略，所述任務的代表執(zhí)行策略包括所需計算資源和所消耗時間；
[0033]最優(yōu)策略確定模塊，用于根據(jù)可用資源池中的[集群可用計算資源、作業(yè)數(shù)據(jù)分布]矩陣和[作業(yè)的各個任務的所需計算資源和所消耗時間、集群可用網(wǎng)絡資源]矩陣進行調度，獲得所述作業(yè)的當前最優(yōu)執(zhí)行策略。
[0034]可選地，該裝置還包括:任務分類模型庫建立模塊，用于通過機器學習建立所述任務分類模型庫。
[0035]可選地，任務分類模型庫建立模塊將任務作為一個對象向集群申請相關資源，相關資源包括CPU、硬盤、傳輸資源、內存、任務所需數(shù)據(jù)；對于每個類型的任務，通過試運行任務對相關資源進行隨機分配，獲得不同相關資源分配狀態(tài)下的任務執(zhí)行輸出結果，獲得任務試運行結果最優(yōu)的最優(yōu)執(zhí)行策略；將任務的最優(yōu)執(zhí)行策略作為該任務類型的代表執(zhí)行策略存入任務分類模型庫。
[0036]可選地，最優(yōu)策略確定模塊基于優(yōu)化算法隨機迭代，將[集群可用計算資源、作業(yè)數(shù)據(jù)分布]矩陣中的相關資源分配到[各個任務所需計算資源和所消耗時間、集群可用網(wǎng)絡資源]矩陣的各任務的公式中，通過比對最優(yōu)策略選取集群最優(yōu)的分配策略。。
[0037]本發(fā)明的一個優(yōu)點在于，根據(jù)任務分類模型庫中不同類型任務的代表執(zhí)行策略來確定作業(yè)中各個任務的所需計算資源和所消耗時間，并結合各個集群內的可用計算資源、作業(yè)數(shù)據(jù)分別以及各個集群的可用網(wǎng)絡資源，確定作業(yè)的當前最優(yōu)執(zhí)行策略，從而實現(xiàn)了跨IDC的最優(yōu)執(zhí)行策略的調度和實現(xiàn)。
[0038]通過以下參照附圖對本發(fā)明的示例性實施例的詳細描述，本發(fā)明的其它特征及其優(yōu)點將會變得清楚。
【附圖說明】
[0039]構成說明書的一部分的附圖描述了本發(fā)明的實施例，并且連同說明書一起用于解釋本發(fā)明的原理。
[0040]參照附圖，根據(jù)下面的詳細描述，可以更加清楚地理解本發(fā)明，其中:
[0041]圖1是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構下執(zhí)行策略生成方法的一個實施例的流程圖；
[0042]圖2是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構下執(zhí)行策略生成方法的另一個實施例的示意圖；
[0043]圖3是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構下執(zhí)行策略生成裝置的一個實施例的結構圖；
[0044]圖4是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構下執(zhí)行策略生成裝置的另一個實施例的結構圖。
【具體實施方式】
[0045]現(xiàn)在將參照附圖來詳細描述本發(fā)明的各種示例性實施例。應注意到:除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數(shù)字表達式和數(shù)值不限制本發(fā)明的范圍。
[0046]同時，應當明白，為了便于描述，附圖中所示出的各個部分的尺