本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)調(diào)度的方法及裝置。

背景技術(shù)：

近幾年來，隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)成爆炸性增長，現(xiàn)階段大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力。

目前，大數(shù)據(jù)處理方法通常只專注于特定的數(shù)據(jù)處理框架內(nèi)部的數(shù)據(jù)處理，例如：用于歷史數(shù)據(jù)分析的批量數(shù)據(jù)處理(如，mapreduce等)、用于實(shí)時流數(shù)據(jù)處理的流計(jì)算(如storm，s4等)或用于相互關(guān)聯(lián)的數(shù)據(jù)分析的圖形計(jì)算(如hama等)。現(xiàn)有技術(shù)中并沒有針對多個數(shù)據(jù)處理框架間數(shù)據(jù)如何進(jìn)行調(diào)度的相關(guān)記載，故不能對數(shù)據(jù)進(jìn)行全面的分析和目標(biāo)整合。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的一個實(shí)施例解決的問題之一是能夠根據(jù)數(shù)據(jù)的功能和處理時長要求調(diào)度到不同的數(shù)據(jù)處理架構(gòu)進(jìn)行數(shù)據(jù)處理，從而提高大數(shù)據(jù)處理速率。

根據(jù)本發(fā)明的一個實(shí)施例，提供了一種數(shù)據(jù)調(diào)度的方法，所述方法包括：

將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求；

根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)緩存或?qū)?yīng)的目標(biāo)數(shù)據(jù)處理框架。

根據(jù)本發(fā)明的一個實(shí)施例，提供了一種數(shù)據(jù)調(diào)度的裝置，所述裝置包括：

標(biāo)簽添加模塊，用于將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求；

分派模塊，用于根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到目標(biāo)數(shù)據(jù)緩存或?qū)?yīng)的目標(biāo)數(shù)據(jù)處理框架。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：數(shù)據(jù)調(diào)度的方法和裝置能夠根據(jù)數(shù)據(jù)的功能和處理時長要求調(diào)度到不同的目標(biāo)數(shù)據(jù)緩存或目標(biāo)數(shù)據(jù)處理架構(gòu)進(jìn)行數(shù)據(jù)處理，保證了數(shù)據(jù)可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架， 從而提高大數(shù)據(jù)處理速率。

附圖說明

本發(fā)明的其它特點(diǎn)、特征、優(yōu)點(diǎn)和益處通過以下結(jié)合附圖的詳細(xì)描述將變得更加顯而易見。

圖1為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法的流程圖；

圖2為根據(jù)本發(fā)明一個實(shí)施例的另一數(shù)據(jù)調(diào)度的方法的流程圖；

圖3-1為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法中從第一虛擬緩存隊(duì)列到增加第二虛擬緩存隊(duì)列的示意圖；

圖3-2為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法中以從兩個虛擬緩存隊(duì)列到增加第三個虛擬緩存隊(duì)列的示意圖；

圖3-3為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法中以從虛擬緩存隊(duì)列集中虛擬緩存隊(duì)列的寫入和讀取操作的示意圖；

圖3-4為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法中以從虛擬緩存隊(duì)列集中將存儲空間為空的虛擬緩存隊(duì)列刪除的示意圖；

圖4為根據(jù)本發(fā)明一個實(shí)施例的在復(fù)雜大數(shù)據(jù)處理方案中數(shù)據(jù)處理的系統(tǒng)結(jié)構(gòu)示意圖；

圖5為根據(jù)本發(fā)明另一個實(shí)施例的在復(fù)雜大數(shù)據(jù)處理方案中數(shù)據(jù)處理的系統(tǒng)結(jié)構(gòu)示意圖；

圖6為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖；

圖7為根據(jù)本發(fā)明一個實(shí)施例的另一數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖；

圖8為根據(jù)本發(fā)明一個實(shí)施例的又一數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的優(yōu)選實(shí)施方式。雖然附圖中顯示了本公開的優(yōu)選實(shí)施方式，然而應(yīng)該理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的方法的流程圖。該方法包括步驟s110和步驟s120：

在步驟s110中，服務(wù)器將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求。

其中，調(diào)度標(biāo)簽可以包括功能要求字段和處理時長要求字段，例如：調(diào)度標(biāo)簽1為：f：batch(功能：批量)，t：millisecond(時長：毫秒)；調(diào)度標(biāo)簽2為：f：real-time(功能：實(shí)時)，t：na(時長：不適用)；調(diào)度標(biāo)簽3為：f：incremental(功能：增量)，t：na(時長：不適用)；調(diào)度標(biāo)簽4為：f：batch(功能：實(shí)時)，t：na(時長：不適用)。其中，“f”表示功能要求字段，包括但不限于批量、實(shí)時或增量等，需要說明的是功能要求字段是強(qiáng)制字段，不可以使用na。其中，“t”表示處理時長要求字段，包括但不限于毫秒或天等，需要說明的是處理時長要求字段是可選字段，如果沒有具有的處理時長要求可以使用na。

其中，源數(shù)據(jù)的功能和處理時長要求是根據(jù)用戶的需求確定，用戶可以根據(jù)不同的需求制定預(yù)定的規(guī)則以確定源數(shù)據(jù)的功能和處理時長，例如，用戶可以根據(jù)不同的業(yè)務(wù)類型/應(yīng)用類型確定源數(shù)據(jù)的不同功能和處理時長，如離線數(shù)據(jù)確定功能為批量，時長為na；交互類數(shù)據(jù)確定功能為實(shí)時，時長為毫秒；返回時間要求高的應(yīng)用確定功能為實(shí)時，時長為毫秒；返回時間要求較低的應(yīng)用確定功能為批量，時長為na，其余的應(yīng)用確定功能為增量，時長為天。

本發(fā)明實(shí)施例所述的源數(shù)據(jù)為待處理數(shù)據(jù)，其可以是數(shù)據(jù)包(例如二進(jìn)制數(shù)、文本文件或.rar包等)。作為可選的，在所述將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽之前，對所述源數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理一般為經(jīng)過數(shù)據(jù)抽取和轉(zhuǎn)換(如經(jīng)過etl(extract-transform-load)過程調(diào)整)后使數(shù)據(jù)具有預(yù)定的格式(如.rar數(shù)據(jù)包等)或結(jié)構(gòu)(數(shù)據(jù)模式(一般以某一數(shù)據(jù)模型為基礎(chǔ)描述數(shù)據(jù)庫中數(shù)據(jù)的邏輯和特征))。本發(fā)明實(shí)施例所述的預(yù)處理可以包括：提取所述源數(shù)據(jù)中的預(yù)定字段，將所述預(yù)定字段存儲為預(yù)定義的格式數(shù)據(jù)。預(yù)定字段的提取規(guī)則一般根據(jù)用戶的要求確定，如提取業(yè)務(wù)數(shù)據(jù)或交互數(shù)據(jù)等，預(yù)定義的格式一般與數(shù)據(jù)加載過程使用的數(shù)據(jù)格式/結(jié)構(gòu)相同，以保證數(shù)據(jù)的加載速度和流暢度。

在步驟s120中，服務(wù)器根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)緩存或?qū)?yīng)的目標(biāo)數(shù)據(jù)處理框架。

需要說明的是，具體根據(jù)所述功能要求字段和處理時長要求字段將所述源數(shù)據(jù)分派到批量數(shù)據(jù)處理、流數(shù)據(jù)處理或圖形數(shù)據(jù)處理框架進(jìn)行數(shù)據(jù)處理，或分派到批量數(shù)據(jù)處理、流數(shù)據(jù)處理或圖形數(shù)據(jù)處理框架對應(yīng)的數(shù)據(jù)緩 存中。可以基于調(diào)度標(biāo)簽中功能和處理時長要求來執(zhí)行調(diào)度動作，進(jìn)一步是通過強(qiáng)制性字段“f”和可選性字段“t”來分派數(shù)據(jù)，例如：調(diào)度標(biāo)簽1中f：batch，t：millisecond，則將源數(shù)據(jù)分派到fw(3)或fw(3)對應(yīng)的第三數(shù)據(jù)緩存；調(diào)度標(biāo)簽2中f：real-time，則將源數(shù)據(jù)分派到fw(2)(數(shù)據(jù)處理框架2)或fw(2)對應(yīng)的第二數(shù)據(jù)緩存；調(diào)度標(biāo)簽3中f：incremental，則將源數(shù)據(jù)分派到fw(2)；調(diào)度標(biāo)簽4中f：batch(功能：實(shí)時)，t：na，則將源數(shù)據(jù)分派到fw(1)(數(shù)據(jù)處理框架1)或fw(1)對應(yīng)的第一數(shù)據(jù)緩存，其中，fw(1)、fw(2)和fw(3)表示不同的數(shù)據(jù)處理框架，作為可選的，fw(1)可以表示圖形數(shù)據(jù)處理框架，fw(2)可以表示流數(shù)據(jù)處理框架，fw(3)可以表示批量數(shù)據(jù)處理框架。

圖2為根據(jù)本發(fā)明一個實(shí)施例的另一數(shù)據(jù)調(diào)度的方法的流程圖。該方法包括步驟s210、步驟s220、步驟230和步驟s240：

在步驟s210中，服務(wù)器將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求。

在步驟s220中，服務(wù)器根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)緩存。

在步驟s230中，將分派的源數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)緩存中的第一虛擬緩存隊(duì)列。

其中，虛擬緩存隊(duì)列是一種虛擬緩存方式，其通過在存儲空間內(nèi)劃分出特定的空間作為虛擬緩存的地址，在該虛擬緩存的地址中通過虛擬緩存隊(duì)列暫時緩存數(shù)據(jù)。本發(fā)明實(shí)施例中的虛擬緩存隊(duì)列是將接收到的源數(shù)據(jù)暫時緩存后供持久性數(shù)據(jù)存儲的數(shù)據(jù)存儲層進(jìn)行讀取加載。

其中，每個虛擬緩存隊(duì)列的存儲空間根據(jù)數(shù)據(jù)類型、數(shù)據(jù)存儲空間或用戶需求確定，例如，若數(shù)據(jù)類型為圖片(一般數(shù)據(jù)存儲空間為1m-2m)，則設(shè)置每個緩存隊(duì)列可存儲5條數(shù)據(jù)，每個緩存隊(duì)列的存儲空間為10m；若數(shù)據(jù)類型為文本信息(一般數(shù)據(jù)存儲空間為10k-100k)，則設(shè)置每個緩存隊(duì)列可存儲10條數(shù)據(jù)，每個緩存隊(duì)列的存儲空間為1m。每個緩存隊(duì)列的存儲空間也可以根據(jù)用戶的需求進(jìn)行任意設(shè)定，本發(fā)明實(shí)施例對每個緩存隊(duì)列的存儲空間的設(shè)定方法和每個緩存隊(duì)列的存儲空間大小的設(shè)定方法不做具體限定，任何具有虛擬緩存隊(duì)列功能的虛擬緩存均應(yīng)包含在發(fā)明的保護(hù)范圍內(nèi)。

在步驟s240中，若所述第一虛擬緩存隊(duì)列存儲的數(shù)據(jù)達(dá)到閾值，則增 加第二虛擬緩存隊(duì)列，并將分派的源數(shù)據(jù)寫入所述第二虛擬緩存隊(duì)列。

具體地，從第一虛擬緩存隊(duì)列到增加第二虛擬緩存隊(duì)列的示意圖如圖3-1所示。

其中，虛擬緩存隊(duì)列存儲的數(shù)據(jù)的閾值可以根據(jù)數(shù)據(jù)類型、數(shù)據(jù)存儲空間或用戶需求確定，例如，若數(shù)據(jù)類型為圖片(一般數(shù)據(jù)存儲空間為1m-2m)、設(shè)定每個緩存隊(duì)列可存儲5條數(shù)據(jù)，每個緩存隊(duì)列的存儲空間為10m，則閾值可以設(shè)置為4條數(shù)據(jù)和/或總存儲空間已占用9m；閾值也可以設(shè)置為虛擬緩存隊(duì)列存儲空間使用率大于等于90％或95％等。

通常情況下，第二虛擬緩存隊(duì)列一般與第一虛擬緩存隊(duì)列設(shè)置的存儲空間相同，但也可以根據(jù)用戶的需要設(shè)置為不同的存儲空間。

需要說明的是，在所述第一虛擬緩存隊(duì)列或所述第二虛擬緩存隊(duì)列寫入數(shù)據(jù)后為對應(yīng)的目標(biāo)數(shù)據(jù)處理框架提供讀取數(shù)據(jù)操作。具體地，在緩存隊(duì)列被增加后即可將接收到的數(shù)據(jù)進(jìn)行寫入操作，在緩存隊(duì)列寫入數(shù)據(jù)后對應(yīng)的目標(biāo)數(shù)據(jù)處理框架即可執(zhí)行讀取數(shù)據(jù)操作，寫入操作的先后順序與讀取數(shù)據(jù)操作的先后順序一致，即，先寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列先供數(shù)據(jù)存儲層讀取數(shù)據(jù)，后寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列在前一虛擬緩存隊(duì)列中的緩存數(shù)據(jù)被讀取完畢后供數(shù)據(jù)存儲層讀取數(shù)據(jù)，即先寫入緩存數(shù)據(jù)的第一虛擬緩存隊(duì)列先供數(shù)據(jù)存儲層讀取數(shù)據(jù)，后寫入緩存數(shù)據(jù)的第二虛擬緩存隊(duì)列在第一虛擬緩存隊(duì)列中的緩存數(shù)據(jù)被讀取完畢后供數(shù)據(jù)存儲層讀取數(shù)據(jù)。

進(jìn)一步，當(dāng)所述第一虛擬緩存隊(duì)列或所述第二虛擬緩存隊(duì)列為空時，刪除所述第一虛擬緩存隊(duì)列或第二虛擬緩存隊(duì)列。具體地，虛擬緩存隊(duì)列執(zhí)行讀取數(shù)據(jù)完畢后其存儲空間為空，則將該虛擬緩存隊(duì)列刪除。

本發(fā)明實(shí)施例并不只限制于兩個虛擬緩存隊(duì)列的情況，在存儲空間內(nèi)劃分出特定的空間的允許范圍內(nèi)虛擬緩存隊(duì)列的數(shù)量可以任意增加，即若當(dāng)前寫入數(shù)據(jù)的虛擬緩存隊(duì)列存儲的數(shù)據(jù)達(dá)到閾值，則增加另一虛擬緩存隊(duì)列，并將接收到的數(shù)據(jù)寫入該另一虛擬緩存隊(duì)列。另外，當(dāng)虛擬緩存隊(duì)列為空時，則刪除該虛擬緩存隊(duì)列，為新增加的虛擬緩存隊(duì)列提供存儲空間。

作為可選的，每個目標(biāo)數(shù)據(jù)緩存對應(yīng)一個目標(biāo)數(shù)據(jù)處理框架，每個數(shù)據(jù)緩存可以包括一個虛擬緩存隊(duì)列集，該虛擬緩存隊(duì)列集是至少一個虛擬緩存隊(duì)列組成的集合，其通過在存儲空間內(nèi)劃分出特定的空間作為虛擬緩存的地址，在該虛擬緩存的地址中通過虛擬緩存隊(duì)列集暫時緩存數(shù)據(jù)。本發(fā)明實(shí)施 例中的虛擬緩存隊(duì)列集是將接收到的源數(shù)據(jù)暫時緩存后供持久性數(shù)據(jù)存儲的數(shù)據(jù)存儲層進(jìn)行讀取加載。虛擬緩存隊(duì)列集可以單獨(dú)存在也可以多個虛擬緩存隊(duì)列集同時存在。

其中，虛擬緩存隊(duì)列集中的每個虛擬緩存隊(duì)列的存儲空間根據(jù)數(shù)據(jù)類型、數(shù)據(jù)存儲空間或用戶需求確定，例如，若數(shù)據(jù)類型為圖片(一般數(shù)據(jù)存儲空間為1m-2m)，則設(shè)置每個緩存隊(duì)列可存儲5條數(shù)據(jù)，每個緩存隊(duì)列的存儲空間為10m；若數(shù)據(jù)類型為文本信息(一般數(shù)據(jù)存儲空間為10k-100k)，則設(shè)置每個緩存隊(duì)列可存儲10條數(shù)據(jù)，每個緩存隊(duì)列的存儲空間為1m。同一虛擬緩存隊(duì)列集中的不同虛擬緩存隊(duì)列的存儲空間可以相同也可以不同，具體可以根據(jù)用戶需求進(jìn)行設(shè)定。本發(fā)明實(shí)施例對每個緩存隊(duì)列的存儲空間的設(shè)定方法和每個緩存隊(duì)列的存儲空間大小的設(shè)定方法不做具體限定。

具體地，以從兩個虛擬緩存隊(duì)列到增加第三個虛擬緩存隊(duì)列的示意圖如圖3-2所示。

需要說明的是，在最后一個虛擬緩存隊(duì)列增加到虛擬緩存隊(duì)列集中時執(zhí)行寫入數(shù)據(jù)操作，當(dāng)前最早增加在虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列執(zhí)行讀取數(shù)據(jù)操作，即讀取數(shù)據(jù)時按照緩存數(shù)據(jù)寫入的先后順序進(jìn)行讀取，即先寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列先供數(shù)據(jù)存儲層讀取數(shù)據(jù)，后寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列在前一虛擬緩存隊(duì)列中的緩存數(shù)據(jù)被讀取完畢后供數(shù)據(jù)存儲層讀取數(shù)據(jù)。例如：虛擬緩存隊(duì)列集中按照增加時間的先后順序依次增加的虛擬緩存隊(duì)列為a、b和c，當(dāng)虛擬緩存隊(duì)列c存儲的數(shù)據(jù)達(dá)到閾值時，在虛擬緩存隊(duì)列集中增加虛擬緩存隊(duì)列d，則此時虛擬緩存隊(duì)列d執(zhí)行寫入緩存數(shù)據(jù)操作，虛擬緩存隊(duì)列a執(zhí)行讀取數(shù)據(jù)操作，當(dāng)虛擬緩存隊(duì)列a被讀取數(shù)據(jù)完畢，則虛擬緩存隊(duì)列b執(zhí)行讀取數(shù)據(jù)操作，依次類推，虛擬緩存隊(duì)列c和d依次執(zhí)行讀取數(shù)據(jù)操作。

具體地，以從虛擬緩存隊(duì)列集中虛擬緩存隊(duì)列的寫入和讀取操作的示意圖如圖3-3所示，其中，箭頭的方向表示數(shù)據(jù)的走向，即箭頭指向虛擬緩存隊(duì)列時為寫入操作，箭頭指向虛擬緩存隊(duì)列外部時為讀取操作。

進(jìn)一步，當(dāng)虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列為空時，將所述虛擬緩存隊(duì)列刪除。具體地，虛擬緩存隊(duì)列執(zhí)行讀取數(shù)據(jù)完畢后其存儲空間為空，則將該虛擬緩存隊(duì)列刪除。例如：虛擬緩存隊(duì)列集中按照增加時間的先后順序依次增加的虛擬緩存隊(duì)列為a、b和c，則虛擬緩存隊(duì)列a、b和c依次執(zhí) 行讀取數(shù)據(jù)操作，即當(dāng)虛擬緩存隊(duì)列a被讀取數(shù)據(jù)完畢，則虛擬緩存隊(duì)列b執(zhí)行讀取數(shù)據(jù)操作，并將虛擬緩存隊(duì)列a刪除，依次類推，當(dāng)虛擬緩存隊(duì)列b被讀取數(shù)據(jù)完畢，則虛擬緩存隊(duì)列c執(zhí)行讀取數(shù)據(jù)操作，并將虛擬緩存隊(duì)列b刪除。

具體地，以從虛擬緩存隊(duì)列集中將存儲空間為空的虛擬緩存隊(duì)列刪除的示意圖如圖3-4所示。

圖4為根據(jù)本發(fā)明一個實(shí)施例的在復(fù)雜大數(shù)據(jù)處理方案中數(shù)據(jù)處理的系統(tǒng)結(jié)構(gòu)示意圖。其系統(tǒng)結(jié)構(gòu)主要分為五部分：源數(shù)據(jù)410、本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度420、數(shù)據(jù)存儲層430、數(shù)據(jù)處理層440和用戶應(yīng)用程序450。

需要說明的是，源數(shù)據(jù)410可以直接傳輸?shù)綌?shù)據(jù)調(diào)度420，與可以經(jīng)過預(yù)處理后傳輸?shù)綌?shù)據(jù)調(diào)度420，數(shù)據(jù)調(diào)度420將源數(shù)據(jù)或預(yù)處理后的源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，并根據(jù)調(diào)度標(biāo)簽對源數(shù)據(jù)或預(yù)處理后的源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)處理框架，具體的分派過程包括：數(shù)據(jù)存儲層430接收到源數(shù)據(jù)+調(diào)度標(biāo)簽，或預(yù)處理后的源數(shù)據(jù)+調(diào)度標(biāo)簽后，將數(shù)據(jù)處理框架自身定義/需要使用的數(shù)據(jù)格式/結(jié)構(gòu)的數(shù)據(jù)加載4301到存儲特定數(shù)據(jù)處理框架(例如：可以通過etl的加載步驟來實(shí)現(xiàn)、dbms4302(databasemanagementsystem，數(shù)據(jù)庫管理系統(tǒng))和dfs4303(depth-first-search，深度優(yōu)先搜索算法)來實(shí)現(xiàn))。其中，數(shù)據(jù)加載4301過程中預(yù)定義的格式數(shù)據(jù)應(yīng)與源數(shù)據(jù)包中的數(shù)據(jù)記錄一致，數(shù)據(jù)格式應(yīng)該通過用戶根據(jù)業(yè)務(wù)需求和已存儲數(shù)據(jù)定義，例如關(guān)系數(shù)據(jù)庫或分布式文件系統(tǒng)等。其中，dbms可以滿足大數(shù)據(jù)處理框架的數(shù)據(jù)庫的關(guān)系數(shù)據(jù)存儲要求，可以選用mysql(一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng))或mssql(一種數(shù)據(jù)庫平臺)等。其中，dfs也可以滿足大數(shù)據(jù)處理框架的數(shù)據(jù)庫的文件數(shù)據(jù)存儲要求，可以選用hdfs(一種分布式文件系統(tǒng))。數(shù)據(jù)存儲層430將數(shù)據(jù)包或文件對應(yīng)發(fā)送給數(shù)據(jù)處理層440，數(shù)據(jù)處理層440根據(jù)用戶的要求結(jié)合了多種數(shù)據(jù)處理框架或技術(shù)，作為可選的，可以包括批量數(shù)據(jù)處理框架4401、流數(shù)據(jù)處理框架4402、和/或圖形數(shù)據(jù)處理框架4403等。用戶應(yīng)用程序450是建在數(shù)據(jù)處理層的業(yè)務(wù)邏輯/面向算法的大數(shù)據(jù)處理應(yīng)用程序。作為可選的，針對不同的大數(shù)據(jù)處理框架和其它數(shù)據(jù)處理過程，預(yù)定義的格式數(shù)據(jù)可以被分別定義。

需要說明的是，在將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)處理框架后，即在進(jìn)入數(shù)據(jù)存儲層430之前，刪除所述調(diào)度標(biāo)簽，以免影響后續(xù)數(shù)據(jù)的加載 和處理。

本發(fā)明實(shí)施例提出了基于功能與處理時間要求的數(shù)據(jù)調(diào)度，這在復(fù)雜的大數(shù)據(jù)處理的方案中妥善的解決了數(shù)據(jù)分派問題。其在數(shù)據(jù)調(diào)度中在所述源數(shù)據(jù)包按照預(yù)定要求附加調(diào)度標(biāo)簽，數(shù)據(jù)可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架，該方法能夠滿足大多數(shù)數(shù)據(jù)處理相關(guān)的要求。此外，為了保證數(shù)據(jù)成功加載，對源數(shù)據(jù)進(jìn)行預(yù)處理后存儲的預(yù)定義格式數(shù)據(jù)需與數(shù)據(jù)存儲層中數(shù)據(jù)加載過程定義的數(shù)據(jù)記錄相一致。本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度的方法可廣泛應(yīng)用于工業(yè)數(shù)據(jù)分析/處理，特別是針對復(fù)雜的大數(shù)據(jù)處理過程，例如異常檢測等。

圖5為根據(jù)本發(fā)明一個實(shí)施例的在復(fù)雜大數(shù)據(jù)處理方案中數(shù)據(jù)處理的系統(tǒng)結(jié)構(gòu)示意圖。其系統(tǒng)結(jié)構(gòu)主要分為六部分：源數(shù)據(jù)510、負(fù)責(zé)數(shù)據(jù)分派的數(shù)據(jù)調(diào)度520、本發(fā)明實(shí)施例所述的數(shù)據(jù)緩存530、數(shù)據(jù)存儲層540、數(shù)據(jù)處理層550和用戶應(yīng)用程序560。

需要說明的是，源數(shù)據(jù)510可以直接傳輸?shù)綌?shù)據(jù)調(diào)度520，與可以經(jīng)過預(yù)處理后傳輸?shù)綌?shù)據(jù)調(diào)度520，數(shù)據(jù)調(diào)度520將源數(shù)據(jù)510或預(yù)處理后的源數(shù)據(jù)510按照預(yù)定要求添加調(diào)度標(biāo)簽，并根據(jù)調(diào)度標(biāo)簽對源數(shù)據(jù)510或預(yù)處理后的源數(shù)據(jù)510分派到對應(yīng)的目標(biāo)數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集中，刪除調(diào)度標(biāo)簽，其中預(yù)處理后的源數(shù)據(jù)的格式應(yīng)與數(shù)據(jù)存儲層540進(jìn)行數(shù)據(jù)記載過程中預(yù)定義的格式相同。具體的分派過程包括：數(shù)據(jù)緩存530基于分布式消息隊(duì)列機(jī)制(dmq)5301根據(jù)調(diào)度標(biāo)簽將所述接收到的數(shù)據(jù)分派到對應(yīng)目標(biāo)處理框架的虛擬緩存隊(duì)列集中，針對每個目標(biāo)處理框架的虛擬緩存隊(duì)列集基于橫向擴(kuò)展機(jī)制將分派的數(shù)據(jù)分別寫入每個目標(biāo)處理框架的虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列(即若所述每個目標(biāo)處理框架的虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列存儲的數(shù)據(jù)達(dá)到閾值，則在所述虛擬緩存隊(duì)列集中增加另一虛擬緩存隊(duì)列，并將接收到的數(shù)據(jù)寫入所述另一虛擬緩存隊(duì)列)，例如：分派到批量數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集vqs1、流數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集vqs2、和/或圖形數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集vqs3，其中，vqs1、vqs2和vqs3具有至少一個虛擬緩存隊(duì)列(vq)組成。數(shù)據(jù)存儲層540通過接口分別加載5401每個目標(biāo)處理框架的虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列，并依次對虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列進(jìn)行讀取操作(例如：可以通過etl的加載步驟來實(shí)現(xiàn)、dbms5402(databasemanagement system，數(shù)據(jù)庫管理系統(tǒng))和dfs5403(depth-first-search，深度優(yōu)先搜索算法)來實(shí)現(xiàn))。其中，數(shù)據(jù)加載5401過程中預(yù)定義的格式數(shù)據(jù)應(yīng)與源數(shù)據(jù)包中的數(shù)據(jù)記錄一致，數(shù)據(jù)格式應(yīng)該是用戶根據(jù)業(yè)務(wù)需求和已存儲數(shù)據(jù)定義，例如關(guān)系數(shù)據(jù)庫或分布式文件系統(tǒng)等。其中，dbms可以滿足大數(shù)據(jù)處理框架的數(shù)據(jù)庫的關(guān)系數(shù)據(jù)存儲要求，可以選用mysql(一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng))或mssql(一種數(shù)據(jù)庫平臺)等。其中，dfs也可以滿足大數(shù)據(jù)處理框架的數(shù)據(jù)庫的文件數(shù)據(jù)存儲要求，可以選用hdfs(一種分布式文件系統(tǒng))。數(shù)據(jù)存儲層540將數(shù)據(jù)包或文件對應(yīng)發(fā)送給數(shù)據(jù)處理層550，數(shù)據(jù)處理層550根據(jù)用戶的要求結(jié)合了多種數(shù)據(jù)處理框架或技術(shù)，作為可選的，可以包括批量數(shù)據(jù)處理框架5501、流數(shù)據(jù)處理框架5502、和/或圖形數(shù)據(jù)處理框架5503等。用戶應(yīng)用程序560是建在數(shù)據(jù)處理層的業(yè)務(wù)邏輯/面向算法的大數(shù)據(jù)處理應(yīng)用程序。圖5中vqs1、vqs2和vqs3的塊狀結(jié)構(gòu)僅是一種對數(shù)據(jù)結(jié)構(gòu)的示例，不對本發(fā)明的保護(hù)范圍進(jìn)行限定。

需要說明的是，數(shù)據(jù)存儲層540的加載組件僅需提供目標(biāo)處理框架的身份信息即可順序的讀取數(shù)據(jù)緩存530相應(yīng)目標(biāo)處理框架的虛擬緩存隊(duì)列集中的虛擬緩存隊(duì)列。在將所述源數(shù)據(jù)分派到對應(yīng)目標(biāo)處理框架的虛擬緩存隊(duì)列集后，即在進(jìn)入數(shù)據(jù)緩存530之前，刪除所述調(diào)度標(biāo)簽，以免影響后續(xù)數(shù)據(jù)的緩存、存儲和處理。

本發(fā)明實(shí)施例提出了基于功能與處理時間要求的數(shù)據(jù)調(diào)度，這在復(fù)雜的大數(shù)據(jù)處理的方案中妥善的解決了數(shù)據(jù)分派問題。其在數(shù)據(jù)調(diào)度中在所述源數(shù)據(jù)包按照預(yù)定要求附加調(diào)度標(biāo)簽，數(shù)據(jù)可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架，該方法能夠滿足大多數(shù)數(shù)據(jù)處理相關(guān)的要求。此外，為了保證數(shù)據(jù)成功加載，對源數(shù)據(jù)進(jìn)行預(yù)處理后存儲的預(yù)定義格式數(shù)據(jù)需與數(shù)據(jù)存儲層中數(shù)據(jù)加載過程定義的數(shù)據(jù)記錄相一致。本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度的方法可廣泛應(yīng)用于工業(yè)數(shù)據(jù)分析/處理，特別是針對復(fù)雜的大數(shù)據(jù)處理過程，例如異常檢測等。同時，基于橫向擴(kuò)展機(jī)制的數(shù)據(jù)緩存，通過虛擬緩存隊(duì)列實(shí)現(xiàn)對數(shù)據(jù)的橫向擴(kuò)展緩存，無需對緩存數(shù)據(jù)進(jìn)行轉(zhuǎn)移，從而避免了數(shù)據(jù)丟失的情況。針對多目標(biāo)處理架構(gòu)的情況，每個目標(biāo)處理架構(gòu)都有對應(yīng)獨(dú)立的虛擬緩存隊(duì)列集，并通過dmq進(jìn)行統(tǒng)一系統(tǒng)維護(hù)，同時數(shù)據(jù)通過調(diào)度標(biāo)簽可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集中，多個虛擬緩存隊(duì)列集可以同時進(jìn)行數(shù)據(jù)緩存，該方法能夠滿足大多數(shù)數(shù)據(jù)處理相關(guān)的要求， 從而大大提高了數(shù)據(jù)緩存、加載和處理的效率。本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度的方法可廣泛應(yīng)用于工業(yè)數(shù)據(jù)分析/處理，特別是針對復(fù)雜的大數(shù)據(jù)處理過程，例如異常檢測等。

圖6為根據(jù)本發(fā)明一個實(shí)施例的數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖。該裝置可以設(shè)置在服務(wù)器中，也可以獨(dú)立于服務(wù)器進(jìn)行單獨(dú)使用，該裝置包括標(biāo)簽添加模塊610和分派模塊620：

標(biāo)簽添加模塊610，用于將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求。

其中，調(diào)度標(biāo)簽可以包括功能要求字段和處理時長要求字段，例如：調(diào)度標(biāo)簽1為：f：batch(功能：批量)，t：millisecond(時長：毫秒)；調(diào)度標(biāo)簽2為：f：real-time(功能：實(shí)時)，t：na(時長：不適用)；調(diào)度標(biāo)簽3為：f：incremental(功能：增量)，t：na(時長：不適用)；調(diào)度標(biāo)簽4為：f：batch(功能：實(shí)時)，t：na(時長：不適用)。其中，“f”表示功能要求字段，包括但不限于批量、實(shí)時或增量等，需要說明的是功能要求字段是強(qiáng)制字段，不可以使用na。其中，“t”表示處理時長要求字段，包括但不限于毫秒或天等，需要說明的是處理時長要求字段是可選字段，如果沒有具有的處理時長要求可以使用na。

其中，源數(shù)據(jù)的功能和處理時長要求是根據(jù)用戶的需求確定，用戶可以根據(jù)不同的需求制定預(yù)定的規(guī)則以確定源數(shù)據(jù)的功能和處理時長，例如，用戶可以根據(jù)不同的業(yè)務(wù)類型/應(yīng)用類型確定源數(shù)據(jù)的不同功能和處理時長，如離線數(shù)據(jù)確定功能為批量，時長為na；交互類數(shù)據(jù)確定功能為實(shí)時，時長為毫秒；返回時間要求高的應(yīng)用確定功能為實(shí)時，時長為毫秒；返回時間要求較低的應(yīng)用確定功能為批量，時長為na，其余的應(yīng)用確定功能為增量，時長為天。

分派模塊620，用于根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到目標(biāo)數(shù)據(jù)緩存或?qū)?yīng)的目標(biāo)數(shù)據(jù)處理框架。

需要說明的是，具體根據(jù)所述功能要求字段和處理時長要求字段將所述源數(shù)據(jù)分派到批量數(shù)據(jù)處理、流數(shù)據(jù)處理或圖形數(shù)據(jù)處理框架進(jìn)行數(shù)據(jù)處理，或分派到批量數(shù)據(jù)處理、流數(shù)據(jù)處理或圖形數(shù)據(jù)處理框架對應(yīng)的數(shù)據(jù)緩存中?？梢曰谡{(diào)度標(biāo)簽中功能和處理時長要求來執(zhí)行調(diào)度動作，進(jìn)一步是通過強(qiáng)制性字段“f”和可選性字段“t”來分派數(shù)據(jù)，例如：調(diào)度標(biāo)簽1中 f：batch，t：millisecond，則將源數(shù)據(jù)分派到fw(3)或fw(3)對應(yīng)的第三數(shù)據(jù)緩存；調(diào)度標(biāo)簽2中f：real-time，則將源數(shù)據(jù)分派到fw(2)(數(shù)據(jù)處理框架2)或fw(2)對應(yīng)的第二數(shù)據(jù)緩存；調(diào)度標(biāo)簽3中f：incremental，則將源數(shù)據(jù)分派到fw(2)；調(diào)度標(biāo)簽4中f：batch(功能：實(shí)時)，t：na，則將源數(shù)據(jù)分派到fw(1)(數(shù)據(jù)處理框架1)或fw(1)對應(yīng)的第一數(shù)據(jù)緩存，其中，fw(1)、fw(2)和fw(3)表示不同的數(shù)據(jù)處理框架，作為可選的，fw(1)可以表示圖形數(shù)據(jù)處理框架，fw(2)可以表示流數(shù)據(jù)處理框架，fw(3)可以表示批量數(shù)據(jù)處理框架。

圖7為根據(jù)本發(fā)明另一個實(shí)施例的數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖。該裝置可以設(shè)置在服務(wù)器中，也可以獨(dú)立于服務(wù)器進(jìn)行單獨(dú)使用，該裝置包括標(biāo)簽添加模塊710、分派模塊720、預(yù)處理模塊730和標(biāo)簽刪除模塊740。

標(biāo)簽添加模塊710，用于將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求。

分派模塊720，用于根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到目標(biāo)數(shù)據(jù)緩存或?qū)?yīng)的目標(biāo)數(shù)據(jù)處理框架。

預(yù)處理模塊730，用于對所述源數(shù)據(jù)進(jìn)行預(yù)處理預(yù)處理模塊；具體用于提取所述源數(shù)據(jù)中的預(yù)定字段，將所述預(yù)定字段存儲為預(yù)定義的格式數(shù)據(jù)。作為可選的，在所述將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽之前，對所述源數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理一般為經(jīng)過數(shù)據(jù)抽取和轉(zhuǎn)換(如經(jīng)過etl(extract-transform-load)過程調(diào)整)后使數(shù)據(jù)具有預(yù)定的格式(如.rar數(shù)據(jù)包等)或結(jié)構(gòu)(數(shù)據(jù)模式(一般以某一數(shù)據(jù)模型為基礎(chǔ)描述數(shù)據(jù)庫中數(shù)據(jù)的邏輯和特征))。本發(fā)明實(shí)施例所述的預(yù)處理可以包括：提取所述源數(shù)據(jù)中的預(yù)定字段，將所述預(yù)定字段存儲為預(yù)定義的格式數(shù)據(jù)。預(yù)定字段的提取規(guī)則一般根據(jù)用戶的要求確定，如提取業(yè)務(wù)數(shù)據(jù)或交互數(shù)據(jù)等，預(yù)定義的格式一般與數(shù)據(jù)加載過程使用的數(shù)據(jù)格式/結(jié)構(gòu)相同，以保證數(shù)據(jù)的加載速度和流暢度。

標(biāo)簽刪除模塊740，用于在將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)處理框架后，刪除所述調(diào)度標(biāo)簽。即調(diào)度標(biāo)簽僅在數(shù)據(jù)調(diào)度過程中使用，在的數(shù)據(jù)調(diào)度完成后，刪除調(diào)度標(biāo)簽。以圖4所示的在復(fù)雜大數(shù)據(jù)處理方案中數(shù)據(jù)處理的系統(tǒng)結(jié)構(gòu)示意圖為例。在將所述源數(shù)據(jù)分派到對應(yīng)的目標(biāo)數(shù)據(jù)處理框架后，即在進(jìn)入數(shù)據(jù)存儲層430或數(shù)據(jù)緩存530之前，刪除所述調(diào)度標(biāo)簽，以 免影響后續(xù)數(shù)據(jù)的加載和處理。

圖8為根據(jù)本發(fā)明又一個實(shí)施例的數(shù)據(jù)調(diào)度的裝置的結(jié)構(gòu)框圖。該裝置可以設(shè)置在服務(wù)器中，也可以獨(dú)立于服務(wù)器進(jìn)行單獨(dú)使用，該裝置包括標(biāo)簽添加模塊810、分派模塊820、寫入模塊830、隊(duì)列增加模塊840、讀取模塊850和隊(duì)列刪除模塊860。

標(biāo)簽添加模塊810，用于將源數(shù)據(jù)按照預(yù)定要求添加調(diào)度標(biāo)簽，所述調(diào)度標(biāo)簽用于識別所述源數(shù)據(jù)的功能和處理時長要求。

分派模塊820，用于根據(jù)所述調(diào)度標(biāo)簽將所述源數(shù)據(jù)分派到目標(biāo)數(shù)據(jù)緩存。

寫入模塊830，用于將分派的源數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)緩存中的第一虛擬緩存隊(duì)列。

隊(duì)列增加模塊840，用于若所述第一虛擬緩存隊(duì)列存儲的數(shù)據(jù)達(dá)到閾值，則增加第二虛擬緩存隊(duì)列，并將分派的源數(shù)據(jù)寫入所述第二虛擬緩存隊(duì)列。

讀取模塊850，用于在所述第一虛擬緩存隊(duì)列或所述第二虛擬緩存隊(duì)列寫入數(shù)據(jù)后為對應(yīng)的目標(biāo)數(shù)據(jù)處理框架提供讀取數(shù)據(jù)操作。

具體地，在緩存隊(duì)列被增加后即可將接收到的數(shù)據(jù)進(jìn)行寫入操作，在緩存隊(duì)列寫入數(shù)據(jù)后對應(yīng)的目標(biāo)數(shù)據(jù)處理框架即可執(zhí)行讀取數(shù)據(jù)操作，寫入操作的先后順序與讀取數(shù)據(jù)操作的先后順序一致，即，先寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列先供數(shù)據(jù)存儲層讀取數(shù)據(jù)，后寫入緩存數(shù)據(jù)的虛擬緩存隊(duì)列在前一虛擬緩存隊(duì)列中的緩存數(shù)據(jù)被讀取完畢后供數(shù)據(jù)存儲層讀取數(shù)據(jù)，即先寫入緩存數(shù)據(jù)的第一虛擬緩存隊(duì)列先供數(shù)據(jù)存儲層讀取數(shù)據(jù)，后寫入緩存數(shù)據(jù)的第二虛擬緩存隊(duì)列在第一虛擬緩存隊(duì)列中的緩存數(shù)據(jù)被讀取完畢后供數(shù)據(jù)存儲層讀取數(shù)據(jù)。

隊(duì)列刪除模塊860，用于當(dāng)所述第一虛擬緩存隊(duì)列或所述第二虛擬緩存隊(duì)列為空時，刪除所述第一虛擬緩存隊(duì)列或第二虛擬緩存隊(duì)列。

本發(fā)明實(shí)施例并不只限制于兩個虛擬緩存隊(duì)列的情況，在存儲空間內(nèi)劃分出特定的空間的允許范圍內(nèi)虛擬緩存隊(duì)列的數(shù)量可以任意增加，即若當(dāng)前寫入數(shù)據(jù)的虛擬緩存隊(duì)列存儲的數(shù)據(jù)達(dá)到閾值，則增加另一虛擬緩存隊(duì)列，并將接收到的數(shù)據(jù)寫入該另一虛擬緩存隊(duì)列。另外，當(dāng)虛擬緩存隊(duì)列為空時，則刪除該虛擬緩存隊(duì)列，為新增加的虛擬緩存隊(duì)列提供存儲空間。

本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度的方法和裝置能夠根據(jù)數(shù)據(jù)的功能和處 理時長要求調(diào)度到不同的數(shù)據(jù)處理架構(gòu)進(jìn)行數(shù)據(jù)處理，保證了數(shù)據(jù)可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架，從而提高大數(shù)據(jù)處理速率。同時，在添加調(diào)度標(biāo)簽之前將數(shù)據(jù)存儲為預(yù)定義的格式，保證了數(shù)據(jù)的成功加載，從而便于后續(xù)的數(shù)據(jù)記錄和數(shù)據(jù)處理。另外，在數(shù)據(jù)調(diào)度完成后刪除添加的調(diào)度標(biāo)簽，避免了對后續(xù)數(shù)據(jù)加載和數(shù)據(jù)處理的影響。同時，基于橫向擴(kuò)展機(jī)制的數(shù)據(jù)緩存，通過虛擬緩存隊(duì)列實(shí)現(xiàn)對數(shù)據(jù)的橫向擴(kuò)展緩存，無需對緩存數(shù)據(jù)進(jìn)行轉(zhuǎn)移，從而避免了數(shù)據(jù)丟失的情況。針對多目標(biāo)處理架構(gòu)的情況，每個目標(biāo)處理架構(gòu)都有對應(yīng)獨(dú)立的虛擬緩存隊(duì)列集，并通過dmq進(jìn)行統(tǒng)一系統(tǒng)維護(hù)，同時數(shù)據(jù)通過調(diào)度標(biāo)簽可以被正確地分派到目標(biāo)大數(shù)據(jù)處理框架的虛擬緩存隊(duì)列集中，多個虛擬緩存隊(duì)列集可以同時進(jìn)行數(shù)據(jù)緩存，該方法能夠滿足大多數(shù)數(shù)據(jù)處理相關(guān)的要求，從而大大提高了數(shù)據(jù)緩存、加載和處理的效率。本發(fā)明實(shí)施例所述的數(shù)據(jù)調(diào)度的方法可廣泛應(yīng)用于工業(yè)數(shù)據(jù)分析/處理，特別是針對復(fù)雜的大數(shù)據(jù)處理過程，例如異常檢測等

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，上面所公開的各個實(shí)施例，可以在不偏離發(fā)明實(shí)質(zhì)的情況下做出各種變形和改變。因此，本發(fā)明的保護(hù)范圍應(yīng)當(dāng)由所附的權(quán)利要求書來限定。