一種數(shù)據(jù)處理方法、裝置及服務(wù)器的制造方法
【專利摘要】本發(fā)明實施例提供了一種數(shù)據(jù)處理方法、裝置及服務(wù)器，其中方法包括：根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；按照確定出的個數(shù)啟動并運行生成任務(wù)，當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。本發(fā)明整體實現(xiàn)了數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的并行處理，提高了數(shù)據(jù)處理的速度，提升了數(shù)據(jù)處理的效率。
【專利說明】一種數(shù)據(jù)處理方法、裝置及服務(wù)器

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息處理【技術(shù)領(lǐng)域】，尤其涉及一種數(shù)據(jù)處理方法、裝置及服務(wù)器。

【背景技術(shù)】
[0002]現(xiàn)有的數(shù)據(jù)處理過程通常包括數(shù)據(jù)生成過程和數(shù)據(jù)執(zhí)行過程，不論是在測試過程中還是在實際工作過程中，數(shù)據(jù)生成和數(shù)據(jù)執(zhí)行常采用串行的方式，即數(shù)據(jù)執(zhí)行過程必須等到數(shù)據(jù)生成過程完成之后再進行，這種串行的方式，拉長了整個數(shù)據(jù)處理過程，增加了時間成本，效率較低。


【發(fā)明內(nèi)容】

[0003]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種數(shù)據(jù)處理方法、裝置及服務(wù)器。
[0004]基于上述問題，本發(fā)明實施例提供的一種數(shù)據(jù)處理方法，包括:
[0005]根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0006]按照確定出的個數(shù)啟動并運行生成任務(wù)，當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。
[0007]本發(fā)明實施例提供的一種數(shù)據(jù)處理裝置，包括:
[0008]確定模塊，用于根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0009]生成任務(wù)運行模塊，用于按照確定出的個數(shù)啟動并運行生成任務(wù)；
[0010]執(zhí)行任務(wù)運行模塊，用于當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。
[0011]本發(fā)明實施例提供的服務(wù)器，包括本發(fā)明實施例提供的上述數(shù)據(jù)處理裝置。
[0012]本發(fā)明實施例的有益效果包括:
[0013]本發(fā)明實施例提供的數(shù)據(jù)處理方法、裝置及服務(wù)器首先根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)，在正式運行時，先按照確定出的個數(shù)啟動并運行生成任務(wù)，當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行數(shù)據(jù)執(zhí)行任務(wù)，這樣，就整體實現(xiàn)了數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的并行處理，提高了數(shù)據(jù)處理的速度，提升了數(shù)據(jù)處理的效率。
[0014]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。

【專利附圖】

【附圖說明】
[0015]通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0016]圖1為本發(fā)明實施例提供的數(shù)據(jù)處理方法的流程圖；
[0017]圖2為本發(fā)明實施例提供的動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)的流程圖；
[0018]圖3為本發(fā)明實施例提供的數(shù)據(jù)執(zhí)行任務(wù)和數(shù)據(jù)生成任務(wù)的隊列的示意圖；
[0019]圖4為本發(fā)明實施例提供的數(shù)據(jù)處理裝置的結(jié)構(gòu)圖。

【具體實施方式】
[0020]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。
[0021]下面結(jié)合說明書附圖，對本發(fā)明實施例提供的一種數(shù)據(jù)處理方法、裝置及服務(wù)器的【具體實施方式】進行說明。
[0022]本發(fā)明實施例提供的一種數(shù)據(jù)處理方法，如圖1所示，具體包括以下步驟:
[0023]S11、根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0024]S12、按照確定出的個數(shù)啟動并運行生成任務(wù)；
[0025]S13、當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行數(shù)據(jù)執(zhí)行任務(wù)。
[0026]上述S13可以根據(jù)預(yù)先設(shè)置的數(shù)據(jù)執(zhí)行任務(wù)的結(jié)束條件而結(jié)束，例如達到預(yù)先設(shè)置的執(zhí)行任務(wù)迭代次數(shù)或達到執(zhí)行的總時長就可以結(jié)束。
[0027]下面進一步地對上述流程進行詳細的說明。
[0028]在本發(fā)明實施例中，數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)，在正常運行狀態(tài)都是采用循環(huán)迭代執(zhí)行多次的方式。
[0029]在上述Sll之前，還需要一個預(yù)處理過程來確定數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，在這個預(yù)處理過程中，需要預(yù)先設(shè)定一個生成任務(wù)和一個數(shù)據(jù)執(zhí)行任務(wù)以及一個數(shù)據(jù)池；其中:生成任務(wù)用于生成數(shù)據(jù)并放入設(shè)定的數(shù)據(jù)池，執(zhí)行任務(wù)用于從數(shù)據(jù)池中取出數(shù)據(jù)并執(zhí)行；
[0030]先運行一次數(shù)據(jù)生成任務(wù)，根據(jù)運行一次數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和耗時，計算出每秒生成的數(shù)據(jù)量，作為數(shù)據(jù)生成任務(wù)的運行速度；
[0031]循環(huán)運行數(shù)據(jù)生成任務(wù)，當(dāng)數(shù)據(jù)池中的數(shù)據(jù)量達到運行一次執(zhí)行任務(wù)配置的數(shù)據(jù)量時，運行一次數(shù)據(jù)執(zhí)行任務(wù)，根據(jù)運行一次數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量和耗時，計算出每秒執(zhí)行的數(shù)據(jù)量，作為數(shù)據(jù)執(zhí)行任務(wù)的運行速度。
[0032]總體來說，數(shù)據(jù)生成任務(wù)的速度(所有數(shù)據(jù)生成任務(wù)的速度的總和)要大于數(shù)據(jù)執(zhí)行任務(wù)的速度，以保證數(shù)據(jù)池中總有數(shù)據(jù)可以執(zhí)行。這樣，根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)，具體包括下面兩種情況:
[0033]第一種情況:數(shù)據(jù)生成任務(wù)的運行速度大于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度；
[0034]這種情況下，需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)至少為2個，可以是2、3個，或者根據(jù)系統(tǒng)的能力，啟動更多的生成任務(wù)，當(dāng)然，一般情況下，在數(shù)據(jù)生成任務(wù)的運行速度大于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，啟動2個就足夠。
[0035]第二種情況，數(shù)據(jù)生成任務(wù)的運行速度小于等于數(shù)據(jù)執(zhí)行任務(wù)的運行速度；
[0036]這種情況下，需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)的計算公式如下:
[0037]M=2+N,其中:
[0038]M為需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0039]N =數(shù)據(jù)執(zhí)行任務(wù)的運行速度除以數(shù)據(jù)生成任務(wù)的運行速度的結(jié)果取整。
[0040]上述取整可以采用多種取整方式，例如上取整、下取整、四舍五入取整等等，本發(fā)明實施例對此不做限定。
[0041]在S12中按照確定出的個數(shù)啟動并運行生成任務(wù)之后，生成任務(wù)會不斷循環(huán)執(zhí)行，直至生成任務(wù)生成的數(shù)據(jù)量達到運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量，此時，執(zhí)行S13，即啟動并運行數(shù)據(jù)執(zhí)行任務(wù)的步驟。
[0042]進一步地，預(yù)處理過程只是根據(jù)運行一次數(shù)據(jù)生成任務(wù)和一次數(shù)據(jù)執(zhí)行任務(wù)得到的數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，來確定出數(shù)據(jù)生成任務(wù)的個數(shù)，在真正開始運行數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)時，數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)都是循環(huán)迭代方式多次運行，由于各種因素，此時數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的實際運行速度并不一定等于預(yù)處理的過程中數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的速度，較佳地，可以數(shù)據(jù)生成任務(wù)的個數(shù)進行動態(tài)的調(diào)整。
[0043]具體來說，動態(tài)調(diào)整的過程包括:
[0044]1、對數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行過程按照數(shù)據(jù)量大小分階段進行監(jiān)測；
[0045]例如對執(zhí)行任務(wù)的數(shù)據(jù)量是否達到數(shù)據(jù)池總?cè)萘康?0 %、20 %、30 %、40 %、50 %、60%、70%、80%、90% 進行監(jiān)測。
[0046]2、根據(jù)每個階段所述執(zhí)行過程的數(shù)據(jù)量和當(dāng)前階段數(shù)據(jù)生成任務(wù)實際的執(zhí)行速度，動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)。
[0047]如圖2所示，上述步驟2具體又可以通過下述過程實現(xiàn):
[0048]S21、根據(jù)當(dāng)前階段的數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和數(shù)據(jù)生成任務(wù)的個數(shù)，計算出當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度；
[0049]S22、根據(jù)當(dāng)前階段監(jiān)測到的數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量，預(yù)測下個階段需要生成的數(shù)據(jù)量；
[0050]S23、根據(jù)預(yù)測下個階段需要生成的數(shù)據(jù)量以及當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度，計算出下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0051]S24、根據(jù)下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)，調(diào)整數(shù)據(jù)生成任務(wù)的個數(shù)。
[0052]舉例來說，如圖3所示，假設(shè)數(shù)據(jù)執(zhí)行任務(wù)涉及的數(shù)據(jù)所在的隊列為圖3中的隊列1，數(shù)據(jù)生成任務(wù)涉及的數(shù)據(jù)所在的隊列為圖3中的隊列2 ；
[0053]假設(shè)當(dāng)前階段數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)為0-9即共10個數(shù)據(jù)，對應(yīng)地，當(dāng)前階段內(nèi)，所有數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)為0-4即5個數(shù)據(jù)，那么，預(yù)計下個階段，所有數(shù)據(jù)生成任務(wù)至少需要生成15個數(shù)據(jù)(到下個階段數(shù)據(jù)執(zhí)行任務(wù)需要一共執(zhí)行20個數(shù)據(jù))，那么反過來，根據(jù)當(dāng)前單個數(shù)據(jù)生成任務(wù)的運行速度即:5/(當(dāng)前階段經(jīng)歷的時間*數(shù)據(jù)生成任務(wù)的個數(shù))，可以預(yù)測下一個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)，從而對預(yù)處理過程確定出來的數(shù)據(jù)生成任務(wù)的個數(shù)進行了實時地、動態(tài)地調(diào)整。
[0054]基于同一發(fā)明構(gòu)思，本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置及服務(wù)器，由于這些裝置和服務(wù)器所解決問題的原理與前述數(shù)據(jù)處理方法相似，因此該裝置和服務(wù)器的實施可以參見前述方法的實施，重復(fù)之處不再贅述。
[0055]本發(fā)明實施例提供的數(shù)據(jù)處理裝置，如圖4所示，包括:
[0056]確定模塊401，用于根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)；
[0057]生成任務(wù)運行模塊402，用于按照確定出的個數(shù)啟動并運行生成任務(wù)；
[0058]執(zhí)行任務(wù)運行模塊403，用于當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。
[0059]進一步地，本發(fā)明實施例提供的數(shù)據(jù)處理裝置，如圖4所示，還包括:
[0060]預(yù)處理模塊404，用于設(shè)定一個數(shù)據(jù)生成任務(wù)和一個數(shù)據(jù)執(zhí)行任務(wù)，生成任務(wù)用于生成數(shù)據(jù)并放入設(shè)定的數(shù)據(jù)池，執(zhí)行任務(wù)用于從數(shù)據(jù)池中取出數(shù)據(jù)并執(zhí)行；先運行一次數(shù)據(jù)生成任務(wù)，根據(jù)運行一次數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和耗時，計算出每秒生成的數(shù)據(jù)量，作為數(shù)據(jù)生成任務(wù)的運行速度；循環(huán)運行數(shù)據(jù)生成任務(wù)，當(dāng)數(shù)據(jù)池中的數(shù)據(jù)量達到運行一次執(zhí)行任務(wù)配置的數(shù)據(jù)量時，運行一次數(shù)據(jù)執(zhí)行任務(wù)，根據(jù)運行一次數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量和耗時，計算出每秒執(zhí)行的數(shù)據(jù)量，作為數(shù)據(jù)執(zhí)行任務(wù)的運行速度。
[0061]進一步地，上述確定模塊401，具體用于當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度大于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)至少為2個；當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度小于等于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)為2+N，其中N =數(shù)據(jù)執(zhí)行任務(wù)的運行速度除以數(shù)據(jù)生成任務(wù)的運行速度的結(jié)果取整。
[0062]進一步地，本發(fā)明實施例提供的數(shù)據(jù)處理裝置，如圖4所示，還包括:動態(tài)調(diào)整模塊405，用于對數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行過程按照數(shù)據(jù)量大小分階段進行監(jiān)測；根據(jù)每個階段所述執(zhí)行過程的數(shù)據(jù)量和當(dāng)前階段數(shù)據(jù)生成任務(wù)實際的執(zhí)行速度，動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)。
[0063]進一步地，上述動態(tài)調(diào)整模塊405，具體用于根據(jù)當(dāng)前階段的數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和數(shù)據(jù)生成任務(wù)的個數(shù)，計算出當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度；根據(jù)當(dāng)前階段監(jiān)測到的數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量，預(yù)測下個階段需要生成的數(shù)據(jù)量；根據(jù)預(yù)測下個階段需要生成的數(shù)據(jù)量以及當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度，計算出下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)；根據(jù)所述下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)，調(diào)整數(shù)據(jù)生成任務(wù)的個數(shù)。
[0064]本發(fā)明實施例還提供了一種服務(wù)器，該服務(wù)器包括本發(fā)明實施例提供的上述數(shù)據(jù)處理裝置。
[0065]本發(fā)明實施例提供的數(shù)據(jù)處理方法、裝置及服務(wù)器，首先根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)，在正式運行時，先按照確定出的個數(shù)啟動并運行生成任務(wù)，當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行數(shù)據(jù)執(zhí)行任務(wù)，這樣，就整體實現(xiàn)了數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的并行處理，提高了數(shù)據(jù)處理的速度，提升了數(shù)據(jù)處理的效率。
[0066]并且，在本發(fā)明實施例中，還可以對數(shù)據(jù)執(zhí)行過程進行監(jiān)控，根據(jù)正式運行過程中，數(shù)據(jù)生成任務(wù)的實際的運行速度，來動態(tài)調(diào)整數(shù)據(jù)生成任務(wù)的個數(shù)，進一步保證了數(shù)據(jù)處理的速度和效率。
[0067]在此提供的算法和顯示不與任何特定計算機、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。
[0068]在此處所提供的說明書中，說明了大量具體細節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細節(jié)的情況下實踐。在一些實例中，并未詳細示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0069]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。
[0070]本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。
[0071]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0072]本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的數(shù)據(jù)處理裝置及服務(wù)器中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機程序和計算機程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0073]應(yīng)該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明進行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0074]顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)處理方法，其特征在于，包括: 根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)； 按照確定出的個數(shù)啟動并運行生成任務(wù)，當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)生成任務(wù)和數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行速度，通過下述方式確定: 設(shè)定一個數(shù)據(jù)生成任務(wù)和一個數(shù)據(jù)執(zhí)行任務(wù)，所述生成任務(wù)用于生成數(shù)據(jù)并放入設(shè)定的數(shù)據(jù)池,所述執(zhí)行任務(wù)用于從數(shù)據(jù)池中取出數(shù)據(jù)并執(zhí)行； 先運行一次數(shù)據(jù)生成任務(wù)，根據(jù)運行一次數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和耗時，計算出每秒生成的數(shù)據(jù)量，作為數(shù)據(jù)生成任務(wù)的運行速度； 循環(huán)運行數(shù)據(jù)生成任務(wù)，當(dāng)數(shù)據(jù)池中的數(shù)據(jù)量達到運行一次執(zhí)行任務(wù)配置的數(shù)據(jù)量時，運行一次數(shù)據(jù)執(zhí)行任務(wù)，根據(jù)運行一次數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量和耗時，計算出每秒執(zhí)行的數(shù)據(jù)量，作為數(shù)據(jù)執(zhí)行任務(wù)的運行速度。
3.如權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)，具體包括: 當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度大于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)至少為2個； 當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度小于等于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)為2+N，其中N =數(shù)據(jù)執(zhí)行任務(wù)的運行速度除以數(shù)據(jù)生成任務(wù)的運行速度的結(jié)果取整。
4.如權(quán)利要求1或2所述的方法，其特征在于，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)時，還包括: 對數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行過程按照數(shù)據(jù)量大小分階段進行監(jiān)測； 根據(jù)每個階段所述執(zhí)行過程的數(shù)據(jù)量和當(dāng)前階段數(shù)據(jù)生成任務(wù)實際的執(zhí)行速度，動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)。
5.如權(quán)利要求4所述的方法，其特征在于，根據(jù)每個階段所述執(zhí)行過程的數(shù)據(jù)量和當(dāng)前階段數(shù)據(jù)生成任務(wù)實際的執(zhí)行速度，動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)，具體包括: 根據(jù)當(dāng)前階段的數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和數(shù)據(jù)生成任務(wù)的個數(shù)，計算出當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度； 根據(jù)當(dāng)前階段監(jiān)測到的數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量，預(yù)測下個階段需要生成的數(shù)據(jù)量; 根據(jù)預(yù)測下個階段需要生成的數(shù)據(jù)量以及當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度，計算出下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)； 根據(jù)所述下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)，調(diào)整數(shù)據(jù)生成任務(wù)的個數(shù)。
6.一種數(shù)據(jù)處理裝置，其特征在于，包括: 確定模塊，用于根據(jù)數(shù)據(jù)生成任務(wù)的運行速度和數(shù)據(jù)執(zhí)行任務(wù)的運行速度，確定需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)； 生成任務(wù)運行模塊，用于按照確定出的個數(shù)啟動并運行生成任務(wù)； 執(zhí)行任務(wù)運行模塊，用于當(dāng)所有生成任務(wù)生成的數(shù)據(jù)量大于等于運行一次數(shù)據(jù)執(zhí)行任務(wù)配置的數(shù)據(jù)量時，啟動并運行所述數(shù)據(jù)執(zhí)行任務(wù)。
7.如權(quán)利要求6所述的裝置，其特征在于，還包括:預(yù)處理模塊，用于設(shè)定一個數(shù)據(jù)生成任務(wù)和一個數(shù)據(jù)執(zhí)行任務(wù),所述生成任務(wù)用于生成數(shù)據(jù)并放入設(shè)定的數(shù)據(jù)池,所述執(zhí)行任務(wù)用于從數(shù)據(jù)池中取出數(shù)據(jù)并執(zhí)行；先運行一次數(shù)據(jù)生成任務(wù)，根據(jù)運行一次數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和耗時，計算出每秒生成的數(shù)據(jù)量，作為數(shù)據(jù)生成任務(wù)的運行速度；循環(huán)運行數(shù)據(jù)生成任務(wù)，當(dāng)數(shù)據(jù)池中的數(shù)據(jù)量達到運行一次執(zhí)行任務(wù)配置的數(shù)據(jù)量時，運行一次數(shù)據(jù)執(zhí)行任務(wù)，根據(jù)運行一次數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量和耗時，計算出每秒執(zhí)行的數(shù)據(jù)量，作為數(shù)據(jù)執(zhí)行任務(wù)的運行速度。
8.如權(quán)利要求6或7所述的裝置，其特征在于，所述確定模塊，具體用于當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度大于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)至少為2個；當(dāng)所述數(shù)據(jù)生成任務(wù)的運行速度小于等于所述數(shù)據(jù)執(zhí)行任務(wù)的運行速度時，所述需要啟動的數(shù)據(jù)生成任務(wù)的個數(shù)為2+N，其中N =數(shù)據(jù)執(zhí)行任務(wù)的運行速度除以數(shù)據(jù)生成任務(wù)的運行速度的結(jié)果取整。
9.如權(quán)利要求6或7所述的裝置，其特征在于，還包括: 動態(tài)調(diào)整模塊，用于對數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行過程按照數(shù)據(jù)量大小分階段進行監(jiān)測；根據(jù)每個階段所述執(zhí)行過程的數(shù)據(jù)量和當(dāng)前階段數(shù)據(jù)生成任務(wù)實際的執(zhí)行速度，動態(tài)調(diào)整下個階段數(shù)據(jù)生成任務(wù)的個數(shù)。
10.如權(quán)利要求9所述的裝置，其特征在于，所述動態(tài)調(diào)整模塊，具體用于根據(jù)當(dāng)前階段的數(shù)據(jù)生成任務(wù)生成的數(shù)據(jù)量和數(shù)據(jù)生成任務(wù)的個數(shù)，計算出當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度；根據(jù)當(dāng)前階段監(jiān)測到的數(shù)據(jù)執(zhí)行任務(wù)執(zhí)行的數(shù)據(jù)量，預(yù)測下個階段需要生成的數(shù)據(jù)量；根據(jù)預(yù)測下個階段需要生成的數(shù)據(jù)量以及當(dāng)前階段內(nèi)數(shù)據(jù)生成任務(wù)的實際速度，計算出下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)；根據(jù)所述下個階段需要的數(shù)據(jù)生成任務(wù)的個數(shù)，調(diào)整數(shù)據(jù)生成任務(wù)的個數(shù)。
11.一種服務(wù)器，其特征在于，所述服務(wù)器包括如權(quán)利要求6-10任一項所述的數(shù)據(jù)處理裝置。
【文檔編號】G06F17/30GK104268223SQ201410499524
【公開日】2015年1月7日 申請日期:2014年9月25日 優(yōu)先權(quán)日:2014年9月25日
【發(fā)明者】張秋生, 王曉濤 申請人:北京國雙科技有限公司