基于分布式系統(tǒng)的任務(wù)執(zhí)行方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及廣播電視播出系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種基于分布式系統(tǒng)的任務(wù)執(zhí)行方法和系統(tǒng)。
【背景技術(shù)】
[0002]廣播電視臺的設(shè)備系統(tǒng)目前大部分為分布式計(jì)算機(jī)系統(tǒng)，其通常以執(zhí)行相應(yīng)的任務(wù)來完成某一項(xiàng)工作。工作要求的內(nèi)容不同，任務(wù)不同，其占用的資源也不同。例如素材的迀移任務(wù)主要占用磁盤I/o和網(wǎng)絡(luò)的1/0，轉(zhuǎn)碼和文件技審任務(wù)主要占用CPU、內(nèi)存、磁盤I/0、網(wǎng)絡(luò)I/O資源。當(dāng)系統(tǒng)中的某一個用于執(zhí)行任務(wù)的計(jì)算機(jī)(以下稱為執(zhí)行端)在執(zhí)行一項(xiàng)任務(wù)時，如果該任務(wù)耗時很長，則其長時間處于工作狀態(tài)，而其它的執(zhí)行端卻處于閑置狀態(tài)。這就產(chǎn)生了兩個問題:
[0003]其一，該任務(wù)由單一機(jī)器來執(zhí)行，執(zhí)行時間過長，不能滿足時限要求。例如技審任務(wù)。當(dāng)有緊急播出某個視頻的需要時，要求對該視頻文件能夠快速完成技審。技審的目的是檢查內(nèi)容是否適合播放，例如內(nèi)容是否完整，畫面是否清晰，是否有技術(shù)上的如馬塞克、“黑場”(全屏幕黑色)、“彩場”(全屏幕彩色)，“彩條”(彩色條狀)、靜幀(幾幀畫面完全一致)、雪花場(雪花屏幕)、靜音等問題。目前的處理方式通常是將其作為任務(wù)發(fā)送給一個執(zhí)行端，由其來完成技審。而在緊急狀態(tài)下，希望能夠在最短時間內(nèi)完成技審，但是這種單機(jī)執(zhí)行的方式無法滿足要求。
[0004]其二，沒有充分利用資源，間接地造成資源浪費(fèi)。由于任務(wù)的長短不一，則在任務(wù)分配時會導(dǎo)致多臺執(zhí)行端處于空閑狀態(tài)，而有一臺執(zhí)行端處于長時間工作狀態(tài)，因而不能充分利用現(xiàn)有資源。

【發(fā)明內(nèi)容】

[0005]為解決現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于分布式系統(tǒng)的任務(wù)執(zhí)行方法和系統(tǒng)，充分利用分布式系統(tǒng)資源，提高工作效率。
[0006]根據(jù)本發(fā)明的一個方面，本發(fā)明提供了一種基于分布式系統(tǒng)的任務(wù)執(zhí)行方法，所述分布式系統(tǒng)包括管理端和多個執(zhí)行端；所述管理端將接收到的任務(wù)發(fā)送給選定的第一執(zhí)行端，其中，所述任務(wù)包括多個可順序執(zhí)行的任務(wù)模塊，并至少有一個是對可切片的任務(wù)模塊進(jìn)行封裝后的封裝模塊；在所述第一執(zhí)行端執(zhí)行該任務(wù)時，還包括以下步驟:
[0007]拆封所述封裝模塊，并將切分請求及拆封后的任務(wù)模塊原信息發(fā)送給所述管理端;
[0008]所述管理端根據(jù)任務(wù)模塊原信息和可用的第二執(zhí)行端數(shù)量，將所述任務(wù)模塊切分成多個切片任務(wù)，并將所述多個切片任務(wù)分別發(fā)送給第一執(zhí)行端和多個第二執(zhí)行端；
[0009]所述第一執(zhí)行端和多個第二執(zhí)行端執(zhí)行相應(yīng)的切片任務(wù)。
[0010]優(yōu)選地，在所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法中，在所述管理端接收到所述任務(wù)之前，還包括任務(wù)的生成步驟；在生成任務(wù)時，將可切片的任務(wù)模塊原信息設(shè)為所述封裝模塊的一個參數(shù)。
[0011]優(yōu)選地，在所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法中，還包括以下步驟:
[0012]所述多個第二執(zhí)行端向所述管理端報告切片任務(wù)執(zhí)行進(jìn)程；
[0013]所述第一執(zhí)行端通過查詢所述管理端獲得各切片任務(wù)執(zhí)行結(jié)果，并合并各個切片任務(wù)的執(zhí)行結(jié)果。
[0014]優(yōu)選地，在所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法中，所述第一執(zhí)行端接收到所述任務(wù)后，對該任務(wù)進(jìn)行拆分；順序執(zhí)行拆分出來的任務(wù)模塊。
[0015]優(yōu)選地，在所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法中，將所述任務(wù)發(fā)送給選定的第一執(zhí)行端之前，所述管理端檢測每個執(zhí)行端的負(fù)載情況，確定所述第一執(zhí)行端。
[0016]優(yōu)選地，在所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法中，管理端將所述任務(wù)模塊切分成多個切片任務(wù)之前，檢測每個執(zhí)行端的負(fù)載情況，確定所述第二執(zhí)行端的數(shù)量。
[0017]根據(jù)本發(fā)明的另一方面，本發(fā)明提供一種基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)，包括分布式連接的管理端和多個執(zhí)行端，其中，所述管理端將接收到的任務(wù)發(fā)送給從多個執(zhí)行端中選定的第一執(zhí)行端，所述任務(wù)中包括已封裝了可切分任務(wù)模塊的封裝模塊，并且根據(jù)所述第一執(zhí)行端的切分請求，切分所述任務(wù)模塊，向從多個執(zhí)行端中選定的多個第二執(zhí)行端發(fā)送切片任務(wù)；
[0018]所述第一執(zhí)行端執(zhí)行管理端發(fā)送來的任務(wù)，拆封所述封裝模塊，并向管理端發(fā)送切分請求和拆分后的可切分的任務(wù)模塊原信息；
[0019]所述多個第二執(zhí)行端執(zhí)行管理端發(fā)來的切片任務(wù)。
[0020]優(yōu)選地，在基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)中，所述管理端包括:
[0021]任務(wù)接收單元，用于接收任務(wù)，所述任務(wù)包括多個可順序執(zhí)行的任務(wù)模塊；
[0022]管理端管理單元，用于選定執(zhí)行任務(wù)的第一執(zhí)行端，并根據(jù)第一執(zhí)行端的切分請求，選定執(zhí)行切片任務(wù)的第二執(zhí)行端；和
[0023]切分單元，根據(jù)第二執(zhí)行端的數(shù)量及第一執(zhí)行端發(fā)送來的可切分的任務(wù)模塊的原信息，切分所述任務(wù)模塊。
[0024]優(yōu)選地，在基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)中，所述執(zhí)行端包括:
[0025]執(zhí)行端管理單元，用于接收管理端發(fā)來的任務(wù)或切片任務(wù)，并向管理端發(fā)送切分請求及拆分后的任務(wù)模塊原信息；
[0026]拆封單元，用于拆封封裝模塊，得到可切分任務(wù)模塊的原信息，和
[0027]任務(wù)執(zhí)行單元，用于執(zhí)行各個任務(wù)模塊。
[0028]優(yōu)選地，在基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)中，還包括任務(wù)生成單元，所述任務(wù)生成單元包括:
[0029]輸入子單元，用于按模塊的形式進(jìn)行任務(wù)的輸入；
[0030]模塊檢測子單元，用于檢測輸入的各個任務(wù)模塊，確定是否有切分的任務(wù)模塊；和
[0031]封裝子單元，用于將可切分的任務(wù)模塊封裝成為一個封裝模塊。
[0032]本發(fā)明充分利用了分布式系統(tǒng)的優(yōu)勢，在任務(wù)被某個執(zhí)行端執(zhí)行的過程中，如果有其他的執(zhí)行端空閑出來，通過切分任務(wù)模塊，將不同的切片任務(wù)分配給這些空閑的執(zhí)行端，不但縮短了任務(wù)的執(zhí)行時間，而且充分利用了現(xiàn)有資源。另外，本發(fā)明中的任務(wù)分為多個任務(wù)模塊，在形式上比較清晰，很好地體現(xiàn)了業(yè)務(wù)上的流程，并且在執(zhí)行該任務(wù)時，基本限定了任務(wù)的主要執(zhí)行端和執(zhí)行順序。在某些情況下，上一個任務(wù)模塊的某些執(zhí)行結(jié)果，可以直接作為下一個模塊的運(yùn)行參數(shù)，減少了對管理端的依賴。
【附圖說明】
[0033]通過以下參照附圖對本發(fā)明實(shí)施例的描述，本發(fā)明的上述以及其他目的、特征和優(yōu)點(diǎn)將更為清楚，在附圖中:
[0034]圖1為本發(fā)明所述基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)的原理結(jié)構(gòu)框圖；
[0035]圖2為本發(fā)明所述基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)中管理端的具體結(jié)構(gòu)示意圖；
[0036]圖3為本發(fā)明所述基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)中執(zhí)行端的具體結(jié)構(gòu)示意圖；
[0037]圖4為本發(fā)明所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法的流程示意圖；
[0038]圖5為管理端接收到的任務(wù)結(jié)構(gòu)示意圖；
[0039]圖6為模塊封裝示意圖；
[0040]圖7為管理端發(fā)出的任務(wù)結(jié)構(gòu)示意圖；
[0041]圖8為本發(fā)明所述管理端發(fā)出任務(wù)的流程圖；
[0042]圖9為執(zhí)行端接收到任務(wù)后執(zhí)行任務(wù)的流程圖；
[0043]圖10為切片任務(wù)執(zhí)行流程圖。
【具體實(shí)施方式】
[0044]如圖1所示，為本發(fā)明基于分布式系統(tǒng)的任務(wù)執(zhí)行系統(tǒng)的原理結(jié)構(gòu)框圖。本發(fā)明所述系統(tǒng)包括一個管理端I和多個執(zhí)行端，管理端I與多個執(zhí)行端為分布式連接。其中，所述管理端I和執(zhí)行端可以為服務(wù)器、工作站或一臺計(jì)算機(jī)。所述管理端I在該分布式系統(tǒng)中實(shí)現(xiàn)對分布式系統(tǒng)內(nèi)資源的動態(tài)獲取，例如各個執(zhí)行端計(jì)算機(jī)的CPU占用率，內(nèi)存占用率，網(wǎng)絡(luò)1/0，磁盤I/O以及對任務(wù)的分配等。執(zhí)行端負(fù)責(zé)執(zhí)行具體的任務(wù)模塊。當(dāng)任務(wù)到達(dá)管理端后，管理端會根據(jù)當(dāng)前各個執(zhí)行端的負(fù)載情況確定一合適的執(zhí)行端并將任務(wù)分配到具體的執(zhí)行端。
[0045]如圖4所示，為本發(fā)明所述基于分布式系統(tǒng)的任務(wù)執(zhí)行方法的流程示意圖。在本發(fā)明中，管理端接收外部輸入的任務(wù)，該任務(wù)包括多個任務(wù)模塊，每一個任務(wù)模塊具有相應(yīng)的任務(wù)描述。在該任務(wù)中，對于可以進(jìn)行切分的任務(wù)模塊，已將其封裝成特定的任務(wù)模塊，通過該特定模塊的任務(wù)描述，可知這是一個封裝了其他任務(wù)模塊的模塊。管理端根據(jù)各個執(zhí)行端的負(fù)載情況，選擇合適的執(zhí)行端(為以示區(qū)分，將用來執(zhí)行該任務(wù)的執(zhí)行端命名為第一執(zhí)行端)來執(zhí)行該任務(wù)。該第一執(zhí)行端接收到該任務(wù)后，對該任務(wù)進(jìn)行拆分，拆分出各個任務(wù)模塊，然后按既定的順序逐一執(zhí)行各個任務(wù)模塊。當(dāng)執(zhí)行到該特定模塊時，對該特定模塊進(jìn)行拆封得到任務(wù)模塊的原信息，并將切分請求及該原信息發(fā)送給管理端，管理端根據(jù)可用執(zhí)行端的負(fù)載情況，確定N個第二執(zhí)行端，然后對該任務(wù)模塊進(jìn)行切分，切分為N+1個切片，并分別發(fā)送給第一執(zhí)行端及N個第二執(zhí)行端來執(zhí)行各個切片任務(wù)，各個執(zhí)行端向管理端報告進(jìn)程及相應(yīng)的執(zhí)行結(jié)果。第一執(zhí)行端通過向管理端發(fā)送查詢請求獲得各個執(zhí)行端的執(zhí)行進(jìn)度，當(dāng)所有執(zhí)行端全部完成時，由第一執(zhí)行端合并該任務(wù)模塊的結(jié)果，至此，第一執(zhí)行端執(zhí)行完了該可切分的任務(wù)模塊，接下來，完成剩余任務(wù)模塊。當(dāng)所有任務(wù)模塊完成，則完成該任務(wù)。
[0046]本發(fā)明將一個任務(wù)分