本發(fā)明涉及數(shù)據(jù)處理
技術(shù)領(lǐng)域：
，尤其涉及大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置。
背景技術(shù)：
：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)中的大數(shù)據(jù)采集也成為行業(yè)內(nèi)的技術(shù)難點。由于，網(wǎng)絡(luò)中的大數(shù)據(jù)根據(jù)屬性的不同分為短作業(yè)進(jìn)程和長作業(yè)進(jìn)程，目前的大數(shù)據(jù)采集技術(shù)大多使用按到達(dá)先后順序進(jìn)行處理的規(guī)則，在采集任務(wù)調(diào)度方面對短作業(yè)進(jìn)程很不利，這是因為若一個長作業(yè)進(jìn)程首先到達(dá)系統(tǒng)，就會使許多短作業(yè)進(jìn)程等待很長的時間，從而延誤短作業(yè)進(jìn)程的采集，嚴(yán)重時，甚至?xí)苟套鳂I(yè)進(jìn)程被系統(tǒng)自動回收。另外，很多大數(shù)據(jù)的重要等級是不同的，即要求系統(tǒng)在有限時間內(nèi)進(jìn)行采集，否則，不利于后續(xù)數(shù)據(jù)的獲取，但是，目前的處理方法難以進(jìn)行調(diào)度來優(yōu)先完成該類大數(shù)據(jù)的采集。綜上所述，造成上述現(xiàn)象的原因在于，一方面，網(wǎng)絡(luò)中的數(shù)據(jù)量十分龐大，對單個大數(shù)據(jù)的采集需要服務(wù)器耗費一段時間；另一方面，網(wǎng)絡(luò)中大數(shù)據(jù)的出現(xiàn)是隨機的，服務(wù)器在采集大數(shù)據(jù)的同時無法應(yīng)對隨機出現(xiàn)的其他大數(shù)據(jù)，進(jìn)而造成難以高效快速的完成大數(shù)據(jù)采集的問題。技術(shù)實現(xiàn)要素：有鑒于此，本發(fā)明實施例的目的在于提供了大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置，通過中心服務(wù)器和采集服務(wù)器的設(shè)置，能夠高效快速的完成網(wǎng)絡(luò)中的大數(shù)據(jù)采集。第一方面，本發(fā)明實施例提供了大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置，其特征在于，包括：中心服務(wù)器分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)；若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)時，采集服務(wù)器開始執(zhí)行抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)，且，將采集時長參數(shù)從0開始計時；當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，則繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)；當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時，則判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)；如果是，采集服務(wù)器繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)；如果否，采集服務(wù)器執(zhí)行第二大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第一大數(shù)據(jù)采集任務(wù)。結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第一種可能的實施方式，其中，方法還包括：當(dāng)有多個抵達(dá)參數(shù)對應(yīng)的時刻同時到達(dá)時，比較各個大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)的大小；采集服務(wù)器執(zhí)行截止時限參數(shù)最小的大數(shù)據(jù)采集任務(wù)。結(jié)合第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第二種可能的實施方式，其中，方法還包括：當(dāng)采集服務(wù)器為多個時，若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)，中心服務(wù)器判斷是否存在處于空閑狀態(tài)的采集服務(wù)器；當(dāng)上述判斷為是時，中心服務(wù)器將抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)分配給處于空閑狀態(tài)的采集服務(wù)器；當(dāng)上述判斷為否時，中心服務(wù)器比較各個采集服務(wù)器中當(dāng)前執(zhí)行的大數(shù)據(jù)采集任務(wù)的采集時長參數(shù)的大小，并將大數(shù)據(jù)采集任務(wù)分配給最小的采集時長參數(shù)對應(yīng)的采集服務(wù)器。結(jié)合第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第三種可能的實施方式，其中，方法還包括：當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限時，且，大數(shù)據(jù)采集任務(wù)還未被執(zhí)行完畢時；中心服務(wù)器為大數(shù)據(jù)采集任務(wù)重新配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)。結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第四種可能的實施方式，其中，中心服務(wù)器分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)包括：中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)的起始采集時間計算抵達(dá)參數(shù)，且，各個抵達(dá)參數(shù)均以同一個時間標(biāo)準(zhǔn)進(jìn)行計算；中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)的數(shù)據(jù)量大小計算計時上限；中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)所需的采集時間計算截止時限參數(shù)。第二方面，本發(fā)明實施例提供了大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置，其特征在于，包括：配置模塊，用于中心服務(wù)器分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)；任務(wù)執(zhí)行模塊，用于若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)時，采集服務(wù)器開始執(zhí)行抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)，且，將采集時長參數(shù)從0開始計時；計時上限判斷模塊，用于當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，則繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)；截止時限參數(shù)比較模塊，用于當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時，則判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)；肯定執(zhí)行模塊，用于如果是時，采集服務(wù)器繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)；否定執(zhí)行模塊，用于如果否時，采集服務(wù)器執(zhí)行第二大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第一大數(shù)據(jù)采集任務(wù)。結(jié)合第二方面，本發(fā)明實施例提供了第二方面的第一種可能的實施方式，其中，還包括：同時到達(dá)比較模塊，用于當(dāng)有多個抵達(dá)參數(shù)對應(yīng)的時刻同時到達(dá)時，比較各個大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)的大?。粌?yōu)先執(zhí)行模塊，用于采集服務(wù)器執(zhí)行截止時限參數(shù)最小的大數(shù)據(jù)采集任務(wù)。結(jié)合第二方面的第一種可能的實施方式，本發(fā)明實施例提供了第二方面的第二種可能的實施方式，其中，還包括：空閑狀態(tài)判斷模塊，用于當(dāng)采集服務(wù)器為多個時，若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)，中心服務(wù)器判斷是否存在處于空閑狀態(tài)的采集服務(wù)器；肯定分配模塊，用于當(dāng)上述判斷為是時，中心服務(wù)器將抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)分配給處于空閑狀態(tài)的采集服務(wù)器；否定分配模塊，用于當(dāng)上述判斷為否時，中心服務(wù)器比較各個采集服務(wù)器中當(dāng)前執(zhí)行的大數(shù)據(jù)采集任務(wù)的采集時長參數(shù)的大小，并將大數(shù)據(jù)采集任務(wù)分配給最小的采集時長參數(shù)對應(yīng)的采集服務(wù)器。結(jié)合第二方面的第一種可能的實施方式，本發(fā)明實施例提供了第二方面的第三種可能的實施方式，其中，還包括：執(zhí)行判定模塊，用于判定當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限時，且，大數(shù)據(jù)采集任務(wù)還未被執(zhí)行完畢時；重新配置模塊，用于中心服務(wù)器為大數(shù)據(jù)采集任務(wù)重新配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)。結(jié)合第二方面，本發(fā)明實施例提供了第二方面的第四種可能的實施方式，其中，配置模塊包括：抵達(dá)參數(shù)計算模塊，用于中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)的起始采集時間計算抵達(dá)參數(shù)，且，各個抵達(dá)參數(shù)均以同一個時間標(biāo)準(zhǔn)進(jìn)行計算；計時上限計算模塊，用于中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)的數(shù)據(jù)量大小計算計時上限；截止時限參數(shù)計算模塊，用于中心服務(wù)器根據(jù)各個大數(shù)據(jù)采集任務(wù)所需的采集時間計算截止時限參數(shù)。本發(fā)明實施例所提供的大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置，其中，該大數(shù)據(jù)采集任務(wù)的調(diào)度方法包括：中心服務(wù)器分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)等調(diào)度參數(shù)，當(dāng)?shù)诌_(dá)參數(shù)對應(yīng)的時刻到達(dá)時，采集服務(wù)器執(zhí)行相應(yīng)的大數(shù)據(jù)采集任務(wù)，同時將采集時長參數(shù)從0開始計時，為了判定該大數(shù)據(jù)采集任務(wù)是否已經(jīng)執(zhí)行完畢，即比較采集時長參數(shù)是否到達(dá)預(yù)先設(shè)定的計時上限，當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，并且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)(即該任務(wù)執(zhí)行完畢，需要等待下一個大數(shù)據(jù)采集任務(wù)的到達(dá))；當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時(即該任務(wù)尚未執(zhí)行完畢，已有另一個大數(shù)據(jù)采集任務(wù)到達(dá))，判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，當(dāng)上述判斷為是時，采集服務(wù)器繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)，當(dāng)上述判斷為否時，采集服務(wù)器執(zhí)行第二大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第一大數(shù)據(jù)采集任務(wù)，這樣，后到達(dá)的數(shù)據(jù)采集任務(wù)得以優(yōu)先處理，通過上述方法使網(wǎng)絡(luò)中的大數(shù)據(jù)采集能夠按照截止時限參數(shù)的設(shè)定優(yōu)先得到執(zhí)行，避免了多個大數(shù)據(jù)采集任務(wù)按到達(dá)時刻排隊而無法得到及時處理的現(xiàn)象，進(jìn)而實現(xiàn)了智能化調(diào)度。為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細(xì)說明如下。附圖說明為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對具體實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1示出了本發(fā)明實施例所提供的大數(shù)據(jù)采集任務(wù)的調(diào)度方法的流程圖；圖2示出了本發(fā)明實施例所提供的大數(shù)據(jù)采集任務(wù)的調(diào)度裝置的結(jié)構(gòu)連接圖；圖3示出了本發(fā)明實施例所提供的大數(shù)據(jù)采集任務(wù)的調(diào)度裝置中空閑狀態(tài)判斷模塊的示意圖；圖4示出了本發(fā)明實施例所提供的中心服務(wù)器與采集服務(wù)器的連接示意圖。圖標(biāo)：1-配置模塊；2-任務(wù)執(zhí)行模塊；3-計時上限判斷模塊；4-截止時限參數(shù)比較模塊；5-肯定執(zhí)行模塊；6-否定執(zhí)行模塊；7-空閑狀態(tài)判斷模塊；8-肯定分配模塊；9-否定分配模塊；10-中心服務(wù)器；11-采集服務(wù)器。具體實施方式下面將結(jié)合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細(xì)描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例。基于本發(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。目前，網(wǎng)絡(luò)中的大數(shù)據(jù)采集常常因為一個長作業(yè)進(jìn)程首先到達(dá)系統(tǒng)，而使許多短作業(yè)進(jìn)程等待很長的時間，從而延誤短作業(yè)進(jìn)程的采集。究其原因在于，一方面，網(wǎng)絡(luò)中的數(shù)據(jù)量十分龐大，對單個大數(shù)據(jù)的采集需要服務(wù)器耗費一段時間；另一方面，網(wǎng)絡(luò)中大數(shù)據(jù)的出現(xiàn)是隨機的，服務(wù)器在采集大數(shù)據(jù)的同時無法應(yīng)對隨機出現(xiàn)的其他大數(shù)據(jù)，進(jìn)而造成難以快速的完成大數(shù)據(jù)采集的問題?；诖?，本發(fā)明實施例提供了大數(shù)據(jù)采集任務(wù)的調(diào)度方法及裝置，下面通過實施例進(jìn)行描述。實施例1參見圖1，本實施例提出的大數(shù)據(jù)采集任務(wù)的調(diào)度方法包括以下步驟：S101：中心服務(wù)器10分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)。由于，網(wǎng)絡(luò)中大數(shù)據(jù)采集任務(wù)的出現(xiàn)是隨機的，并且，各個大數(shù)據(jù)采集任務(wù)的起始采集時間、數(shù)據(jù)量大小和所需的采集時間均不同。假設(shè)，網(wǎng)絡(luò)中一共有三個大數(shù)據(jù)采集任務(wù)，序號分別為1、2和3，需要根據(jù)起始采集時間分別計算1、2和3的抵達(dá)參數(shù)，根據(jù)大數(shù)據(jù)采集任務(wù)的數(shù)據(jù)量大小計算計時上限，根據(jù)大數(shù)據(jù)采集任務(wù)所需的采集時間計算截止時限參數(shù)。假設(shè)，1和2的起始采集時間間隔為4，2和3的起始采集時間間隔為1，數(shù)據(jù)量大小的比例為10：3：10，需要的采集時間比例為30：9：25，因此，算得結(jié)果如表1所示。表1序號抵達(dá)參數(shù)計時上限截止時限參數(shù)1010302439351025S102：若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)時，采集服務(wù)器11執(zhí)行抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)，且，將采集時長參數(shù)從0開始計時。以上述大數(shù)據(jù)采集任務(wù)1、2和3為例，大數(shù)據(jù)采集任務(wù)1的抵達(dá)參數(shù)0對應(yīng)的時刻到達(dá)，采集服務(wù)器11執(zhí)行大數(shù)據(jù)采集任務(wù)1，并且，將大數(shù)據(jù)采集任務(wù)1的采集時長參數(shù)從0開始計時。當(dāng)有多個抵達(dá)參數(shù)對應(yīng)的時刻同時到達(dá)時(例如，0時刻有兩個大數(shù)據(jù)采集任務(wù)時)，這時，比較這兩個大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)的大小，例如，一個截止時限參數(shù)大小為2，另一個截止時限參數(shù)的大小為3，則采集服務(wù)器11執(zhí)行截止時限參數(shù)大小為2的大數(shù)據(jù)采集任務(wù)。S103：判斷采集時長參數(shù)是否到達(dá)預(yù)先設(shè)定的計時上限；S104：當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，則繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)，即等待下一個需要進(jìn)行采集的大數(shù)據(jù)采集任務(wù)的到來。但是，由于網(wǎng)絡(luò)故障或者其他問題，當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限時，并且，大數(shù)據(jù)采集任務(wù)還未被執(zhí)行完畢時，需要中心服務(wù)器10為大數(shù)據(jù)采集任務(wù)重新配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)，以使該大數(shù)據(jù)采集任務(wù)得以重新執(zhí)行。S105：當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時，即該大數(shù)據(jù)采集任務(wù)正在執(zhí)行過程中，下一個大數(shù)據(jù)采集任務(wù)的抵達(dá)參數(shù)對應(yīng)時刻也到達(dá)了，這時，要判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，以此來得出二者的優(yōu)先級處理順序。上表中，當(dāng)大數(shù)據(jù)采集任務(wù)1的采集時長參數(shù)到達(dá)4時，大數(shù)據(jù)采集任務(wù)2的抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)。S106：當(dāng)上述判斷為否時，即第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)大于或等于第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，采集服務(wù)器11執(zhí)行第二大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第一大數(shù)據(jù)采集任務(wù)。當(dāng)采集服務(wù)器11為多個時，當(dāng)有抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)時，中心服務(wù)器10首先判斷是否存在處于空閑狀態(tài)的采集服務(wù)器11，當(dāng)有采集服務(wù)器11處于空閑狀態(tài)時，即采集服務(wù)器11未處于大數(shù)據(jù)采集任務(wù)的采集狀態(tài)時，中心服務(wù)器10將抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)分配給處于空閑狀態(tài)的采集服務(wù)器11；否則，中心服務(wù)器10比較各個采集服務(wù)器11中當(dāng)前執(zhí)行的大數(shù)據(jù)采集任務(wù)的采集時長參數(shù)的大小，以判斷哪個采集服務(wù)器11能最快結(jié)束正在執(zhí)行大數(shù)據(jù)采集任務(wù)的采集，并將大數(shù)據(jù)采集任務(wù)分配給該采集服務(wù)器11，這樣，能夠盡量減小大數(shù)據(jù)采集任務(wù)的等待時間。S107：當(dāng)上述判斷為是時，即第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)小于第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，則第一大數(shù)據(jù)采集任務(wù)的優(yōu)先級更高時，采集服務(wù)器11繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)。比較上表中大數(shù)據(jù)采集任務(wù)1和大數(shù)據(jù)采集任務(wù)2的截止時限參數(shù)大小，顯然，30大于10，這時，采集服務(wù)器11優(yōu)先執(zhí)行大數(shù)據(jù)采集任務(wù)2。而在大數(shù)據(jù)采集任務(wù)3的抵達(dá)參數(shù)對應(yīng)的時刻5到達(dá)時，繼續(xù)比較大數(shù)據(jù)采集任務(wù)2和大數(shù)據(jù)采集任務(wù)3的截止時限參數(shù)大小，顯然，10小于25，這時，采集服務(wù)器11優(yōu)先執(zhí)行大數(shù)據(jù)采集任務(wù)2。當(dāng)大數(shù)據(jù)采集任務(wù)2執(zhí)行完畢，比較大數(shù)據(jù)采集任務(wù)1和大數(shù)據(jù)采集任務(wù)3的截止時限參數(shù)大小，顯然，30大于25，執(zhí)行大數(shù)據(jù)采集任務(wù)3，直到大數(shù)據(jù)采集任務(wù)3執(zhí)行完畢，大數(shù)據(jù)采集任務(wù)1繼續(xù)執(zhí)行。綜上所述，本實施例提供的大數(shù)據(jù)采集任務(wù)的調(diào)度方法包括：中心服務(wù)器10分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)，當(dāng)?shù)诌_(dá)參數(shù)對應(yīng)的時刻到達(dá)時，采集服務(wù)器11執(zhí)行抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)，這時也將采集時長參數(shù)從0開始計時，并實時判斷采集時長參數(shù)是否到達(dá)預(yù)先設(shè)定的計時上限，當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，并且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)，而當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時，判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，當(dāng)該判斷為是時，采集服務(wù)器11繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)，否則，采集服務(wù)器11執(zhí)行第二大數(shù)據(jù)采集任務(wù)，再執(zhí)行第一大數(shù)據(jù)采集任務(wù)，這樣，當(dāng)網(wǎng)絡(luò)中存在多個大數(shù)據(jù)采集任務(wù)時，能夠結(jié)合抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)來進(jìn)行處理，從而實現(xiàn)了大數(shù)據(jù)采集任務(wù)的智能化調(diào)度。實施例2參見圖2，本實施例提供了大數(shù)據(jù)采集任務(wù)的調(diào)度裝置具體包括：中心服務(wù)器10通過配置模塊1分別為接收到的各個大數(shù)據(jù)采集任務(wù)配置調(diào)度參數(shù)，其中，調(diào)度參數(shù)包括抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)。具體由參數(shù)計算單元根據(jù)大數(shù)據(jù)采集任務(wù)的起始采集時間計算抵達(dá)參數(shù)；根據(jù)大數(shù)據(jù)采集任務(wù)的數(shù)據(jù)量大小計算計時上限；根據(jù)大數(shù)據(jù)采集任務(wù)所需的采集時間計算截止時限參數(shù)。當(dāng)?shù)诌_(dá)參數(shù)對應(yīng)的時刻到達(dá)時，參見圖4，中心服務(wù)器10與采集服務(wù)器11相連，采集服務(wù)器11通過任務(wù)執(zhí)行模塊2執(zhí)行抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)，且，將采集時長參數(shù)從0開始計時，通過采集時長參數(shù)來監(jiān)視大數(shù)據(jù)采集任務(wù)的采集情況。當(dāng)有多個抵達(dá)參數(shù)對應(yīng)的時刻同時到達(dá)時，由同時到達(dá)比較模塊比較各個大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)的大小，采集服務(wù)器11通過優(yōu)先執(zhí)行模塊執(zhí)行截止時限參數(shù)最小的大數(shù)據(jù)采集任務(wù)。計時上限判斷模塊3用于判斷采集時長參數(shù)是否到達(dá)預(yù)先設(shè)定的計時上限，當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限，并且，大數(shù)據(jù)采集任務(wù)已執(zhí)行完畢時，等待模塊4繼續(xù)等待直到下一個抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)。另一種情況，執(zhí)行判定模塊判定當(dāng)采集時長參數(shù)到達(dá)預(yù)先設(shè)定的計時上限時，并且，大數(shù)據(jù)采集任務(wù)還未被執(zhí)行完畢時，中心服務(wù)器10通過重新配置模塊1為大數(shù)據(jù)采集任務(wù)重新配置抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)，以保證大數(shù)據(jù)采集任務(wù)能夠被及時處理。截止時限參數(shù)比較模塊4，用于當(dāng)采集時長參數(shù)沒有到達(dá)預(yù)先設(shè)定的計時上限時，判斷正在執(zhí)行的第一大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)是否小于當(dāng)前到達(dá)抵達(dá)參數(shù)對應(yīng)時刻的第二大數(shù)據(jù)采集任務(wù)的截止時限參數(shù)，即通過截止時限參數(shù)的大小來比較數(shù)據(jù)采集任務(wù)的優(yōu)先等級。當(dāng)上述判斷為是時，采集服務(wù)器11通過肯定執(zhí)行模塊5繼續(xù)執(zhí)行第一大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，再執(zhí)行第二大數(shù)據(jù)采集任務(wù)；當(dāng)上述判斷為否時，采集服務(wù)器11通過否定執(zhí)行模塊6執(zhí)行第二大數(shù)據(jù)采集任務(wù)直到執(zhí)行完畢，之后再執(zhí)行第一大數(shù)據(jù)采集任務(wù)。當(dāng)采集服務(wù)器11為多個時，若抵達(dá)參數(shù)對應(yīng)的時刻到達(dá)，首先，參見圖3，由空閑狀態(tài)判斷模塊7判斷是否存在處于空閑狀態(tài)的采集服務(wù)器11，當(dāng)判斷為是時(即當(dāng)前時刻存在未執(zhí)行大數(shù)據(jù)采集任務(wù)的采集服務(wù)器11)，這時，由中心服務(wù)器10通過肯定分配模塊8將抵達(dá)參數(shù)對應(yīng)的大數(shù)據(jù)采集任務(wù)分配給處于空閑狀態(tài)的采集服務(wù)器11；否則，中心服務(wù)器10通過否定分配模塊9比較各個采集服務(wù)器11中當(dāng)前執(zhí)行的大數(shù)據(jù)采集任務(wù)的采集時長參數(shù)的大小，并將大數(shù)據(jù)采集任務(wù)分配給最小的采集時長參數(shù)對應(yīng)的采集服務(wù)器11。綜上所述，本實施例提供的大數(shù)據(jù)采集任務(wù)的調(diào)度裝置包括：配置模塊1、任務(wù)執(zhí)行模塊2、計時上限判斷模塊3、截止時限參數(shù)比較模塊4、肯定執(zhí)行模塊5、否定執(zhí)行模塊6、同時到達(dá)比較模塊、優(yōu)先執(zhí)行模塊、空閑狀態(tài)判斷模塊7、肯定分配模塊8、否定分配模塊9、執(zhí)行判定模塊、以及重新配置模塊1，通過上述模塊的設(shè)置，使得采集服務(wù)器11能夠按照抵達(dá)參數(shù)、采集時長參數(shù)和截止時限參數(shù)的結(jié)合來執(zhí)行大數(shù)據(jù)采集任務(wù)，進(jìn)而避免了多個大數(shù)據(jù)采集任務(wù)按到達(dá)時刻排隊而無法得到及時處理的現(xiàn)象，實現(xiàn)了大數(shù)據(jù)采集任務(wù)的動態(tài)處理。最后應(yīng)說明的是：以上所述實施例，僅為本發(fā)明的具體實施方式，用以說明本發(fā)明的技術(shù)方案，而非對其限制，本發(fā)明的保護范圍并不局限于此，盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：任何熟悉本
技術(shù)領(lǐng)域：
的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對前述實施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例技術(shù)方案的精神和范圍，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準(zhǔn)。當(dāng)前第1頁1 2 3