本發(fā)明涉及計算機應用技術領域，尤其涉及一種分布式系統(tǒng)的任務管理系統(tǒng)及方法。

背景技術：
由于單系統(tǒng)能力有限，分布式系統(tǒng)的使用越來越普及。對于分布式系統(tǒng)來說，一個任務從派發(fā)到執(zhí)行再到執(zhí)行結果匯總的整個生命周期，可能分布于系統(tǒng)中不同的計算節(jié)點上。并且對于大型的作業(yè)系統(tǒng)來說，系統(tǒng)中可能包含有成千上萬的計算資源，參與任務處理的計算節(jié)點數(shù)量極大。如何合理的協(xié)調(diào)計算資源，如何追蹤任務執(zhí)行情況是目前迫切需要解決的問題。而目前的分布式系統(tǒng)仍然存在以下問題：（1）任務的派發(fā)節(jié)點和執(zhí)行節(jié)點的數(shù)量和運算能力不一定對等，可能出現(xiàn)派發(fā)任務過多導致飽和，此時如果繼續(xù)派發(fā)任務則有可能使系統(tǒng)負載過重，導致宕機或者系統(tǒng)停擺。（2）分布式系統(tǒng)涉及的計算資源眾多，由于功能升級或者運維等原因可能需要對某些功能節(jié)點進行停機維護，但是并不希望整個系統(tǒng)停止運行，從而減少升級或者運維的成本。（3）由于參與任務執(zhí)行的節(jié)點是分布式的，一個任務具體被哪個節(jié)點執(zhí)行不能確定，當任務執(zhí)行出錯時不能盡快定位出錯的具體節(jié)點，并進行后續(xù)的處理流程。

技術實現(xiàn)要素：
針對上述技術問題，本發(fā)明提供了一種分布式系統(tǒng)的任務管理系統(tǒng)及方法，利用單邊操作模塊來完善分布式系統(tǒng)的任務管理，提高系統(tǒng)資源的利用率和任務管理的健壯性和靈活性。本發(fā)明采用如下方法來實現(xiàn)：一種分布式系統(tǒng)的任務管理系統(tǒng)，包括：派發(fā)節(jié)點，用于將任務派發(fā)至緩沖池中；緩沖池，用于存儲待執(zhí)行的任務；執(zhí)行節(jié)點，用于從緩沖池中獲取任務進行處理；單邊操作模塊，用于接收用戶指令，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；任務跟蹤模塊，用于跟蹤任務的任務狀態(tài)以及任務所在執(zhí)行節(jié)點的信息。進一步，任務跟蹤模塊中所述任務狀態(tài)可以包括：任務已派發(fā)、任務被領取、任務開始執(zhí)行、任務執(zhí)行中、任務已超時、任務執(zhí)行異常、任務已完成或者任務執(zhí)行失敗。其中，任務狀態(tài)中所述的任務已超時包括從任務已派發(fā)到任務被領取的全局超時，或者從任務被領取到任務開始執(zhí)行的執(zhí)行超時。其中，任務跟蹤模塊中對所述任務狀態(tài)進行更新的同時更新時間戳。進一步，任務跟蹤模塊中，所述任務所在執(zhí)行節(jié)點的信息可以通過MAC地址或者IP地址來標識。優(yōu)選地，該任務管理系統(tǒng)還可以包括：預警模塊，用于監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量達到預設閾值時觸發(fā)預警；進一步，預警模塊具體完成：監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量等于或高于預設閾值時觸發(fā)預警，并暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務；或者當緩沖池中的任務數(shù)量等于或低于預設閾值時觸發(fā)預警，并關閉部分執(zhí)行節(jié)點。其中，當暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務時，允許執(zhí)行節(jié)點獲取緩沖池中的任務進行處理；當關閉部分執(zhí)行節(jié)點時，允許派發(fā)節(jié)點繼續(xù)向緩沖池中派發(fā)任務。優(yōu)選地，該任務管理系統(tǒng)還包括：任務管理嵌套模塊，利用擴展接口完成任務管理的嵌套；即在一個大的任務管理器中嵌套一些小的任務管理器，從而更好地完成對于子任務的處理控制，達到對于分布式系統(tǒng)中任務的細粒度控制。更為優(yōu)選地，該任務管理系統(tǒng)還包括：自定義處理模塊，針對所述任務狀態(tài)，利用擴展接口自定義后續(xù)處理流程。進一步，自定義處理模塊可以利用回調(diào)函數(shù)定義所述任務狀態(tài)的后續(xù)處理流程。一種分布式系統(tǒng)的任務管理方法，在派發(fā)節(jié)點將任務派發(fā)至緩沖池中，執(zhí)行節(jié)點從緩沖池中獲取任務進行處理的過程中，如果接收到用戶指令或者緩沖池中的任務數(shù)量接近某一閾值時，則進入單邊模式，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；所述方法還包括跟蹤任務的任務狀態(tài)以及任務所在執(zhí)行節(jié)點的信息。進一步，所述任務狀態(tài)可以包括：任務已派發(fā)、任務被領取、任務開始執(zhí)行、任務執(zhí)行中、任務已超時、任務執(zhí)行異常、任務已完成或者任務執(zhí)行失敗。其中，所述任務已超時包括從任務已派發(fā)到任務被領取的全局超時，或者從任務被領取到任務開始執(zhí)行的執(zhí)行超時。進一步，對所述任務狀態(tài)進行更新的同時更新時間戳。進一步，所述任務所在執(zhí)行節(jié)點的信息通過MAC地址或者IP地址來標識。執(zhí)行節(jié)點獲取任務時的反饋信息中包括該任務的信息，其中包括任務所在執(zhí)行節(jié)點的位置或者任務狀態(tài)的標識，其中，任務所在執(zhí)行節(jié)點的位置可以由MAC地址或者IP地址或者進程號來唯一標識，而任務狀態(tài)的更新可通過以下方法來完成，例如，當執(zhí)行節(jié)點獲取到任務后，將任務狀態(tài)置為任務被領取，當任務執(zhí)行完成后將任務狀態(tài)置為任務已完成。優(yōu)選地，該任務管理方法還包括：預警機制，監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量達到預設閾值時觸發(fā)預警；進一步，所述預警機制包括：監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量等于或高于預設閾值時觸發(fā)預警，并暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務；或者當緩沖池中的任務數(shù)量等于或低于預設閾值時觸發(fā)預警，并關閉部分執(zhí)行節(jié)點。其中，當暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務時，允許執(zhí)行節(jié)點獲取緩沖池中的任務進行處理；當關閉部分執(zhí)行節(jié)點時，允許派發(fā)節(jié)點繼續(xù)向緩沖池中派發(fā)任務。優(yōu)選地，該任務管理方法還包括：任務管理嵌套，利用擴展接口完成任務管理的嵌套；一個任務可能衍生出n個子任務，那么此時可以利用任務管理嵌套對該任務和所述子任務進行同時管理，該子任務的管理和原任務的管理可以使用同一個任務管理框架，屬于任務管理嵌套任務管理的做法。更為優(yōu)選地，該任務管理方法還包括：后續(xù)處理流程的自定義，針對所述任務狀態(tài)，利用擴展接口自定義后續(xù)處理流程。進一步，利用回調(diào)函數(shù)定義所述任務狀態(tài)的后續(xù)處理流程。綜上所述，本發(fā)明提供了一種分布式系統(tǒng)的任務管理系統(tǒng)及方法，首先派發(fā)節(jié)點負責將任務派發(fā)至緩沖池中，執(zhí)行節(jié)點從緩沖池中獲取任務并進行處理，此時可以根據(jù)用戶指令來選擇進入單邊消費模式或者單邊生產(chǎn)模式，這樣有利于在進行系統(tǒng)升級和維護時，提高系統(tǒng)資源的利用率；并且對于任務的任務狀態(tài)及任務所在執(zhí)行節(jié)點的信息進行跟蹤，利用如上所述方案，使得分布式系統(tǒng)中的各計算節(jié)點有序執(zhí)行任務，增強了系統(tǒng)的健壯性，降低資源消耗，任務管理的嵌套使得用戶可以根據(jù)應用模型對系統(tǒng)進一步劃分，完成分布式系統(tǒng)的細粒度控制；擴展接口可以使得任務管理更靈活。附圖說明為了更清楚地說明本發(fā)明的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明提供的分布式系統(tǒng)的任務管理方法中單邊模式實施例的流程圖；圖2為本發(fā)明提供的分布式系統(tǒng)的任務管理方法中預警機制實施例1的流程圖；圖3為本發(fā)明提供的分布式系統(tǒng)的任務管理方法中預警機制實施例2的流程圖；圖4為本發(fā)明提供的分布式系統(tǒng)的任務管理方法中預警機制實施例3的流程圖。具體實施方式本發(fā)明給出了一種分布式系統(tǒng)的任務管理系統(tǒng)及方法，為了使本領域的技術人員更好地理解本發(fā)明實施例中的技術方案，并使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖對本發(fā)明中技術方案作進一步詳細的說明：本發(fā)明提供了一種分布式系統(tǒng)的任務管理系統(tǒng)，包括：派發(fā)節(jié)點，用于將任務派發(fā)至緩沖池中；緩沖池，用于存儲待執(zhí)行的任務；執(zhí)行節(jié)點，用于從緩沖池中獲取任務進行處理；單邊操作模塊，用于接收用戶指令，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；任務跟蹤模塊，用于跟蹤任務的任務狀態(tài)以及任務所在執(zhí)行節(jié)點的信息。優(yōu)選地，該任務管理系統(tǒng)還可以包括：預警模塊，用于監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量達到預設閾值時觸發(fā)預警；進一步，預警模塊具體完成：監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量等于或高于預設閾值時觸發(fā)預警，并暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務；或者當緩沖池中的任務數(shù)量等于或低于預設閾值時觸發(fā)預警，并關閉部分執(zhí)行節(jié)點。其中，當暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務時，允許執(zhí)行節(jié)點獲取緩沖池中的任務進行處理；當關閉部分執(zhí)行節(jié)點時，允許派發(fā)節(jié)點繼續(xù)向緩沖池中派發(fā)任務。優(yōu)選地，任務跟蹤模塊中所述任務狀態(tài)可以包括：任務已派發(fā)、任務被領取、任務開始執(zhí)行、任務執(zhí)行中、任務已超時、任務執(zhí)行異常、任務已完成或者任務執(zhí)行失敗。其中，任務狀態(tài)中所述的任務已超時包括從任務已派發(fā)到任務被領取的全局超時，或者從任務被領取到任務開始執(zhí)行的執(zhí)行超時。其中，任務跟蹤模塊中對所述任務狀態(tài)進行更新的同時更新時間戳。進一步，任務跟蹤模塊中，所述任務所在執(zhí)行節(jié)點的信息可以通過MAC地址或者IP地址來標識。優(yōu)選地，該任務管理系統(tǒng)還包括：任務管理嵌套模塊，利用擴展接口完成任務管理的嵌套；例如，有兩個任務管理系統(tǒng)M1和M2，就可以再M1的task_success()回調(diào)函數(shù)中向M2派發(fā)任務，同時也能在M2的task_success()回調(diào)函數(shù)中向M1系統(tǒng)發(fā)起操作，完成系統(tǒng)任務的細粒度管理。更為優(yōu)選地，該任務管理系統(tǒng)還包括：自定義處理模塊，針對所述任務狀態(tài)，利用擴展接口自定義后續(xù)處理流程。進一步，自定義處理模塊可以利用回調(diào)函數(shù)定義所述任務狀態(tài)的后續(xù)處理流程。例如，對于任務開始執(zhí)行、任務執(zhí)行異常、任務執(zhí)行超時、任務執(zhí)行失敗或者任務已完成等任務狀態(tài)可以分別使用task_started()、exception_occured()、timeout()、task_failed()、task_success()等回調(diào)函數(shù)完成用戶的自定義后續(xù)處理流程。本發(fā)明還提供了一種分布式系統(tǒng)的任務管理方法：在派發(fā)節(jié)點將任務派發(fā)至緩沖池中，執(zhí)行節(jié)點從緩沖池中獲取任務進行處理的過程中，此時，可以通過開關來決定是否允許向緩沖池中派發(fā)任務以及是否允許從緩沖池中獲取任務；如果接收到用戶指令，則進入單邊模式，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務進行處理；單邊模式的實施例為，如圖1所示：S101接收用戶指令；S102判定是否進入單邊消費模式，若是，則執(zhí)行S104，否則，執(zhí)行S103；S103繼續(xù)判定是否進入單邊生產(chǎn)模式，若是，則執(zhí)行S105，否則，執(zhí)行S106；S104進入單邊消費模式，繼續(xù)執(zhí)行S106;S105進入單邊生產(chǎn)模式，繼續(xù)執(zhí)行S106;S106判定是否暫停服務，若是，則結束，否則，返回執(zhí)行S101;通常情況下，是既允許向緩沖池中派發(fā)任務，同時可以從緩沖池中獲取任務進行處理。當系統(tǒng)的部分功能節(jié)點進行升級和維護時，單邊消費模式和單邊生產(chǎn)模式可以有效地利用資源，避免計算資源的浪費。所述任務管理方法還包括跟蹤任務的任務狀態(tài)以及任務所在執(zhí)行節(jié)點的信息；優(yōu)選地，所述任務狀態(tài)可以包括：任務已派發(fā)、任務被領取、任務開始執(zhí)行、任務執(zhí)行中、任務已超時、任務執(zhí)行異常、任務已完成或者任務執(zhí)行失?。豢梢酝ㄟ^MAC地址或者IP地址來唯一標識當前任務所在的處理節(jié)點，以便于任務的跟蹤回溯。進一步，更新任務狀態(tài)的同時要更新時間戳。該任務管理方法還可以包括：預警機制，監(jiān)控緩沖池中的任務數(shù)量，當緩沖池中的任務數(shù)量達到預設閾值時觸發(fā)預警；所述閾值可以由用戶根據(jù)實際需要設置；優(yōu)選地，如圖2所示，所述預警機制為：S201監(jiān)控緩沖池中的任務數(shù)量；S202判定緩沖池中的任務數(shù)量是否等于或者高于預設閾值；若是，則執(zhí)行S203，否則，執(zhí)行S204;S203暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務；S204是否暫停服務，若是，則結束，否則，繼續(xù)執(zhí)行S201?？商鎿Q地，如圖3所示，預警機制為：S301監(jiān)控緩沖池中的任務數(shù)量；S302判定緩沖池中的任務數(shù)量是否等于或者低于預設閾值，若是，則執(zhí)行S303，否則，則執(zhí)行S304；S303關閉部分執(zhí)行節(jié)點；S304是否暫停服務，若是，則結束，否則，繼續(xù)執(zhí)行S301。可替換地，如圖4所示，預警機制為：這里用戶根據(jù)需要設置最大閾值與最小閾值；S401監(jiān)控緩沖池中的任務數(shù)量；S402判定緩沖池中任務數(shù)量是否等于或高于最大閾值，若是，則執(zhí)行S405，否則，則執(zhí)行S403;S403判定緩沖池中的任務數(shù)量是否等于或低于最小閾值，若是，則執(zhí)行S406，否則，則執(zhí)行S404;S404是否暫停服務，若是，則結束，否則，則繼續(xù)執(zhí)行S401；S405暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務；繼續(xù)執(zhí)行S404;S406關閉部分執(zhí)行節(jié)點;繼續(xù)執(zhí)行S404。該任務管理方法還可以包括：任務管理嵌套，利用擴展接口完成任務管理的嵌套；例如，有兩個任務管理系統(tǒng)M1和M2，就可以在M1的task_success()回調(diào)函數(shù)中向M2派發(fā)任務，同時也能在M2的task_success()回調(diào)函數(shù)中向M1系統(tǒng)發(fā)起操作，完成系統(tǒng)任務的細粒度管理。該任務管理方法還可以包括：后續(xù)處理流程的自定義，針對所述任務狀態(tài)，利用擴展接口自定義后續(xù)處理流程。例如，對于任務開始執(zhí)行、任務執(zhí)行異常、任務執(zhí)行超時、任務執(zhí)行失敗或者任務已完成等任務狀態(tài)可以分別使用task_started()、exception_occured()、timeout()、task_failed()、task_success()等回調(diào)函數(shù)完成用戶的自定義后續(xù)處理流程。如上所述，本發(fā)明給出了一種分布式系統(tǒng)的任務管理系統(tǒng)及方法，與現(xiàn)有的分布式系統(tǒng)的任務管理方法的區(qū)別在于，在派發(fā)節(jié)點將任務派發(fā)至緩沖池中，和執(zhí)行節(jié)點從緩沖池中獲取任務進行處理時，可以根據(jù)用戶的指令，選擇單邊消費模式或者單邊生產(chǎn)模式，從而當部分功能節(jié)點需要升級或者維護時，只需要暫停部分功能節(jié)點的工作，不至于導致整個分布式系統(tǒng)停止運行，從而保證系統(tǒng)的正常運轉，降低資源浪費，使得系統(tǒng)的任務管理更具靈活性，并且對于任務狀態(tài)和任務所在執(zhí)行節(jié)點信息的跟蹤，使得分布式系統(tǒng)的任務管理更加準確和及時。以上實施例用以說明而非限制本發(fā)明的技術方案。不脫離本發(fā)明精神和范圍的任何修改或局部替換，均應涵蓋在本發(fā)明的權利要求范圍當中。