一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法
【專利摘要】本發(fā)明公開一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法，屬于數(shù)據(jù)管理領域，具體步驟為：①建立大數(shù)據(jù)管理平臺的管理系統(tǒng)，包括Web端統(tǒng)一在線作業(yè)任務管理模塊，Server端應用程序調(diào)度及狀態(tài)維護模塊，Agent端應用程序執(zhí)行模塊；②利用Web端統(tǒng)一在線作業(yè)任務管理模塊，用戶上傳作業(yè)任務的應用程序，并錄入其基本信息；③通過任務API接口進入Server端應用程序調(diào)度及狀態(tài)維護模塊，對狀態(tài)維護命令做統(tǒng)一維護，并發(fā)送作業(yè)任務狀態(tài)通知信息；④Agent端應用程序執(zhí)行模塊根據(jù)用戶提交的配置，執(zhí)行應用程序，并設定應用程序的執(zhí)行日志輸出，本發(fā)明實現(xiàn)在線提交應用程序、自定義配置執(zhí)行信息和狀態(tài)變化通知信息，可定制任務執(zhí)行計劃，從而提高大數(shù)據(jù)管理平臺的易用性。
【專利說明】一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法

【技術領域】
[0001]本發(fā)明公開一種作業(yè)任務管理方法，屬于數(shù)據(jù)管理領域，具體地說是一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法。

【背景技術】
[0002]當前，互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)迅速發(fā)展，同時大數(shù)據(jù)和云計算時代的到來，加速了海量數(shù)據(jù)處理技術的發(fā)展。隨之而來，大數(shù)據(jù)管理平臺技術已日趨成熟，開源社區(qū)和一些大數(shù)據(jù)服務提供商陸續(xù)推出基于Hadoop的大數(shù)據(jù)管理平臺。然而，在使用大數(shù)據(jù)管理平臺執(zhí)行應用程序的作業(yè)任務時，表現(xiàn)的并不友好，各個技術組件在同一平臺中并沒有統(tǒng)一的作業(yè)任務管理中心，而只是各自提供獨立的只可在線查看的服務。導致在大數(shù)據(jù)管理平臺在線提交任務，以及作業(yè)狀態(tài)變化時主動發(fā)送通知信息非常不便。本發(fā)明提供一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法，通過Web端統(tǒng)一在線作業(yè)任務管理模塊，Server端應用程序調(diào)度及狀態(tài)維護模塊，Agent端應用程序執(zhí)行模塊的相互作用實現(xiàn)在線提交應用程序、自定義配置執(zhí)行信息和狀態(tài)變化通知信息，可定制任務執(zhí)行計劃，從而提高大數(shù)據(jù)管理平臺的易用性，同時方便了管理員對集群運行任務的統(tǒng)一管理并且應用人員對其發(fā)起的任務可進行實時狀態(tài)跟蹤，可以指導大數(shù)據(jù)管理平臺中的作業(yè)任務系統(tǒng)的開發(fā)，具有較高的參考價值和實際意義。


【發(fā)明內(nèi)容】

[0003]本發(fā)明針對大數(shù)據(jù)管理平臺沒有統(tǒng)一的作業(yè)任務管理中心，而只是各自提供獨立的只可在線查看的服務，導致在線提交任務，以及作業(yè)狀態(tài)變化時主動發(fā)送通知信息非常不便的問題，提供一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法，實現(xiàn)在線提交應用程序、自定義配置執(zhí)行信息和狀態(tài)變化通知信息，可定制任務執(zhí)行計劃，從而提高大數(shù)據(jù)管理平臺的易用性，同時方便了管理員對集群運行任務的統(tǒng)一管理并且應用人員對其發(fā)起的任務可進行實時狀態(tài)跟蹤。
[0004]本發(fā)明提出的具體方案是:
一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，具體步驟為:
①建立大數(shù)據(jù)管理平臺的管理系統(tǒng)，主要包括Web端統(tǒng)一在線作業(yè)任務管理模塊，Server端應用程序調(diào)度及狀態(tài)維護模塊，Agent端應用程序執(zhí)行模塊；
②利用Web端統(tǒng)一在線作業(yè)任務管理模塊，用戶登錄管理平臺，提供作業(yè)任務的應用程序，上傳至集群中，上傳時對應用程序的類型、程序大小和命名規(guī)范性做校驗，不符合規(guī)則的拒絕提交；用戶進行作業(yè)任務基本信息的配置項錄入，對用戶錄入的任務配置項，進行合法性和規(guī)范校驗，不符合規(guī)范的信息拒絕提交；用戶對接收狀態(tài)通知的配置項進行錄入；
③Web端統(tǒng)一在線作業(yè)任務管理模塊接收的用戶上傳的作業(yè)任務信息通過任務API接口進入Server端應用程序調(diào)度及狀態(tài)維護模塊，應用程序調(diào)度及狀態(tài)維護模塊維護應用程序執(zhí)行狀態(tài)，Server端通過Agent接口接收Agent端處理的各個流程階段狀態(tài)發(fā)起的維護命令，對狀態(tài)維護命令做統(tǒng)一維護，并負責作業(yè)任務狀態(tài)通知信息的發(fā)送；
④Agent端應用程序執(zhí)行模塊根據(jù)用戶提交的配置，篩選出當前Agent節(jié)點需要執(zhí)行的應用程序，設定執(zhí)行計劃，并設定應用程序的執(zhí)行日志輸出，將日志內(nèi)容分類規(guī)整，做到可通過前段web端下載查看具體的內(nèi)容。
[0005]所述的步驟②中統(tǒng)一在線作業(yè)任務管理模塊還提供指定條件的檢索功能，對非管理員用戶，只能查詢當前用戶提交的作業(yè)任務，管理員角色賬號可查詢?nèi)孔鳂I(yè)任務信息，可點擊下載或查看詳細報告鏈接，提供作業(yè)任務執(zhí)行的詳細內(nèi)容。
[0006]所述的步驟②中作業(yè)任務基本信息的配置項包括程序類型、執(zhí)行引擎、任務名稱、執(zhí)行用戶、計劃執(zhí)行時間、執(zhí)行程序參數(shù)、是否接收狀態(tài)通知、優(yōu)先級、任務描述。
[0007]所述的步驟②中接收狀態(tài)通知的配置項包括接收方式、狀態(tài)定制、郵箱地址、手機號、免打擾時間。
[0008]所述的步驟④中應用程序執(zhí)行模塊還負責對已經(jīng)執(zhí)行完成，且設置了計劃任務的記錄，做清理處理，避免出現(xiàn)冗余過期的任務記錄。
[0009]一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理系統(tǒng)，應用于一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，包括:
Web端統(tǒng)一在線作業(yè)任務管理模塊，負責根據(jù)用戶權限在線提交配置作業(yè)任務應用程序、配置狀態(tài)接收通知信息和制定執(zhí)行作業(yè)任務計劃功能；
Server端應用程序調(diào)度及狀態(tài)維護模塊，負責對作業(yè)任務應用程序執(zhí)行時的調(diào)度以及作業(yè)任務狀態(tài)的集中維護功能；
Agent端應用程序執(zhí)行模塊，負責配置定時計劃任務，根據(jù)用戶自定義的作業(yè)任務執(zhí)行計劃和Server端的調(diào)度，對當前Agent節(jié)點需要執(zhí)行的作業(yè)列表和執(zhí)行的具體時間做出響應，啟動執(zhí)行，并且對應用程序的執(zhí)行日志的收集。
[0010]本發(fā)明的有益之處是:本發(fā)明的大數(shù)據(jù)管理平臺中Web端統(tǒng)一在線作業(yè)任務管理模塊，具備根據(jù)用戶權限在線提交配置作業(yè)任務應用程序、配置狀態(tài)接收通知信息和制定執(zhí)行作業(yè)任務計劃功能；server端應用程序調(diào)度及狀態(tài)維護模塊，具備對作業(yè)任務應用程序執(zhí)行時的調(diào)度以及作業(yè)任務狀態(tài)的集中維護功能；Agent端應用程序執(zhí)行模塊，包括發(fā)起應用程序的執(zhí)行和執(zhí)行日志的收集功能；通過三個模塊在大數(shù)據(jù)管理平臺的互相作用，實現(xiàn)在線提交大數(shù)據(jù)處理應用程序、自定義配置執(zhí)行信息和管理狀態(tài)變化通知信息，同時定制任務執(zhí)行計劃的目的，從而提高大數(shù)據(jù)管理平臺的易用性，方便管理員對集群運行任務的統(tǒng)一管理并且應用人員對其發(fā)起的任務可進行實時狀態(tài)跟蹤。

【專利附圖】

【附圖說明】
[0011]圖1是大數(shù)據(jù)管理平臺的體系結(jié)構(gòu)示意圖；
圖2是大數(shù)據(jù)管理平臺的作業(yè)任務管理系統(tǒng)功能列表示意圖。

【具體實施方式】
[0012]結(jié)合附圖對本發(fā)明做進一步說明。
[0013]本發(fā)明的大數(shù)據(jù)管理平臺下的作業(yè)任務管理系統(tǒng)，主要從Web端統(tǒng)一在線作業(yè)任務管理模塊、Server端應用程序調(diào)度及狀態(tài)維護模塊、Agent端應用程序執(zhí)行模塊這三個模塊進行開發(fā)實施，參見附圖1。三個模塊的開發(fā)實施，不局限于使用某一種具體的開發(fā)編程語言或算法。
[0014]Web端統(tǒng)一在線作業(yè)任務管理模塊主要負責:
作業(yè)任務應用程序提交:
用戶登錄管理平臺，提供任務管理入口，可選擇本地的已開發(fā)調(diào)試完成的應用程序，上傳至集群中。在上傳時，對應用程序的類型、程序大小和命名規(guī)范性做校驗，不符合規(guī)則的拒絕提交。
[0015]作業(yè)任務配置:
作業(yè)任務配置，基于提交應用程序操作，在作業(yè)任務提交過程中，進行作業(yè)任務基本信息的配置錄入，其中配置項包括但不局限于:程序類型，比如可以是class、jar、sh、py ;執(zhí)行引擎，如Java、Scala、Perl、Hive、HBase> Python ;還有任務名稱、執(zhí)行用戶、計劃執(zhí)行時間、執(zhí)行程序參數(shù)、是否接收狀態(tài)通知、優(yōu)先級、任務描述。
[0016]對用戶錄入的任務配置項，進行合法性和規(guī)范校驗，不符合規(guī)范的拒絕信息提交。
[0017]狀態(tài)通知接收配置:
狀態(tài)通知接收配置，基于作業(yè)任務配置操作進行配置，當用戶提交作業(yè)任務時，配置了接收狀態(tài)通知，則需要對通知接收配置項進行錄入，包括但不局限于:接收方式，比如接收郵件、短信等方式；狀態(tài)定制，包括等待執(zhí)行、執(zhí)行中、異常退出、被主動終止、已完成；還有郵箱地址、手機號、免打擾時間等。
[0018]作業(yè)任務基本信息查詢:
用戶可在任務管理模塊中，進行作業(yè)任務執(zhí)行信息的檢索，提供指定條件的檢索功能，對非管理員用戶，只能查詢當前用戶提交的作業(yè)任務，管理員角色賬號可查詢?nèi)孔鳂I(yè)任務?目息O
[0019]作業(yè)任務基本信息項目可包括:作業(yè)ID、作業(yè)名稱、應用程序名、執(zhí)行程序參數(shù)、應用程序類型、執(zhí)行引擎、執(zhí)行應用程序節(jié)點、進程ID、當前狀態(tài)、執(zhí)行用戶、計劃執(zhí)行時間、提交用戶、提交時間、開始時間、結(jié)束時間、優(yōu)先級、是否接收通知、手機號、郵箱、接收方式、接收通知的狀態(tài)、通知免打擾時間。
[0020]作業(yè)任務執(zhí)行詳細報告:
作業(yè)任務執(zhí)行詳細報告，基于作業(yè)任務信息查詢操作來呈現(xiàn)，當在查詢出的任務基本信息后，可點擊下載或查看詳細報告鏈接，提供作業(yè)任務執(zhí)行的詳細內(nèi)容。同時提供執(zhí)行輸出的日志文件以及用戶自定義的日志地址，可供下載查看。此報告，可提供作業(yè)任務對集群資源的使用情況。
[0021]Server端應用程序調(diào)度及狀態(tài)維護負責:
維護應用程序執(zhí)行狀態(tài):
維護應用程序執(zhí)行狀態(tài)，Server端接收Agent端處理的各個流程階段狀態(tài)發(fā)起的維護命令，包括:等待執(zhí)行、執(zhí)行中、異常退出、被主動終止、已完成。對狀態(tài)維護命令做統(tǒng)一維護。
[0022]作業(yè)任務狀態(tài)跟蹤:
作業(yè)任務狀態(tài)跟蹤，屬整個系統(tǒng)模塊中作業(yè)任務的狀態(tài)控制中心，在Server端進行開發(fā)，為Web和Agent提供作業(yè)任務的狀態(tài)相關接口。
[0023]發(fā)送作業(yè)任務狀態(tài)通知信息:
發(fā)送作業(yè)任務狀態(tài)通知信息，根據(jù)用戶前端配置的通知屬性和Server端的任務狀態(tài)跟蹤，執(zhí)行通知發(fā)送或不發(fā)送操作。
[0024]Agent端應用程序執(zhí)行模塊配置定時計劃任務:
配置定時計劃任務，此功能在Agent客戶端進行開發(fā)，根據(jù)用戶提交的配置，篩選出當前Agent節(jié)點需要執(zhí)行的應用程序，并設定執(zhí)行計劃。相應的，對執(zhí)行完成的，已經(jīng)設置了計劃任務的記錄，做清理處理，避免出現(xiàn)冗余的過期的任務記錄。
[0025]執(zhí)行作業(yè)任務應用程序:
根據(jù)在配置的計劃任務，在Agent端具體指定時間發(fā)起應用程序的執(zhí)行，并設定應用程序的執(zhí)行日志輸出。
[0026]日志收集:
Agent端根據(jù)用戶錄入的執(zhí)行配置發(fā)起執(zhí)行后，對于程序的正常執(zhí)行，異常退出，主動終止以及用戶在應用程序中編寫的終端輸出內(nèi)容等產(chǎn)生的數(shù)據(jù)日志信息，做出整理，將日志內(nèi)容分類規(guī)整，做到可通過前段web頁面下載查看具體的內(nèi)容。
【權利要求】
1.一種大數(shù)據(jù)管理平臺的作業(yè)任務管理方法，其特征是具體步驟為: ①建立大數(shù)據(jù)管理平臺的管理系統(tǒng)，主要包括Web端統(tǒng)一在線作業(yè)任務管理模塊，Server端應用程序調(diào)度及狀態(tài)維護模塊，Agent端應用程序執(zhí)行模塊； ②利用Web端統(tǒng)一在線作業(yè)任務管理模塊，用戶登錄管理平臺，提供作業(yè)任務的應用程序，上傳至集群中，上傳時對應用程序的類型、程序大小和命名規(guī)范性做校驗，不符合規(guī)則的拒絕提交；用戶進行作業(yè)任務基本信息的配置項錄入，對用戶錄入的任務配置項，進行合法性和規(guī)范校驗，不符合規(guī)范的信息拒絕提交；用戶對接收狀態(tài)通知的配置項進行錄入； ③Web端統(tǒng)一在線作業(yè)任務管理模塊接收的用戶上傳的作業(yè)任務信息通過任務API接口進入Server端應用程序調(diào)度及狀態(tài)維護模塊，應用程序調(diào)度及狀態(tài)維護模塊維護應用程序執(zhí)行狀態(tài)，Server端通過Agent接口接收Agent端處理的各個流程階段狀態(tài)發(fā)起的維護命令，對狀態(tài)維護命令做統(tǒng)一維護，并負責作業(yè)任務狀態(tài)通知信息的發(fā)送； ④Agent端應用程序執(zhí)行模塊根據(jù)用戶提交的配置，篩選出當前Agent節(jié)點需要執(zhí)行的應用程序，設定執(zhí)行計劃，并設定應用程序的執(zhí)行日志輸出，將日志內(nèi)容分類規(guī)整，做到可通過前段web端下載查看具體的內(nèi)容。
2.根據(jù)權利要求1所述的一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，其特征是所述的步驟②中統(tǒng)一在線作業(yè)任務管理模塊還提供指定條件的檢索功能，對非管理員用戶，只能查詢當前用戶提交的作業(yè)任務，管理員角色賬號可查詢?nèi)孔鳂I(yè)任務信息，可點擊下載或查看詳細報告鏈接，提供作業(yè)任務執(zhí)行的詳細內(nèi)容。
3.根據(jù)權利要求2所述的一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，其特征是所述的步驟②中作業(yè)任務基本信息的配置項包括程序類型、執(zhí)行引擎、任務名稱、執(zhí)行用戶、計劃執(zhí)行時間、執(zhí)行程序參數(shù)、是否接收狀態(tài)通知、優(yōu)先級、任務描述。
4.根據(jù)權利要求2或3所述的一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，其特征是所述的步驟②中接收狀態(tài)通知的配置項包括接收方式、狀態(tài)定制、郵箱地址、手機號、免打擾時間。
5.根據(jù)權利要求4所述的一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，其特征是步驟④中應用程序執(zhí)行模塊還負責對已經(jīng)執(zhí)行完成，且設置了計劃任務的記錄，做清理處理，避免出現(xiàn)冗余過期的任務記錄。
6.一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理系統(tǒng)，應用于一種大數(shù)據(jù)管理平臺的的作業(yè)任務管理方法，其特征是包括: Web端統(tǒng)一在線作業(yè)任務管理模塊，負責根據(jù)用戶權限在線提交配置作業(yè)任務應用程序、配置狀態(tài)接收通知信息和制定執(zhí)行作業(yè)任務計劃功能； Server端應用程序調(diào)度及狀態(tài)維護模塊，負責對作業(yè)任務應用程序執(zhí)行時的調(diào)度以及作業(yè)任務狀態(tài)的集中維護功能； Agent端應用程序執(zhí)行模塊，負責配置定時計劃任務，根據(jù)用戶自定義的作業(yè)任務執(zhí)行計劃和Server端的調(diào)度，對當前Agent節(jié)點需要執(zhí)行的作業(yè)列表和執(zhí)行的具體時間做出響應，啟動執(zhí)行，并且對應用程序的執(zhí)行日志的收集。
【文檔編號】G06F17/30GK104462579SQ201410839313
【公開日】2015年3月25日 申請日期:2014年12月30日 優(yōu)先權日:2014年12月30日
【發(fā)明者】付興旺, 韋鵬, 吳楠 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司