本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種海量數(shù)據(jù)的處理方法及其裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在支持各類業(yè)務(wù)需求的情況下，通常需要對(duì)海量數(shù)據(jù)的進(jìn)行重復(fù)利用和網(wǎng)絡(luò)資源的合理優(yōu)化。

由于網(wǎng)站的流量上升，每天產(chǎn)生的數(shù)據(jù)到了pb級(jí)別，需要處理這些數(shù)據(jù)的存儲(chǔ)和計(jì)算資源是相當(dāng)可觀的。而且如果沒(méi)有對(duì)數(shù)據(jù)做統(tǒng)一管理，各個(gè)業(yè)務(wù)都需要對(duì)這pb級(jí)別的數(shù)據(jù)進(jìn)行復(fù)制、過(guò)濾、轉(zhuǎn)儲(chǔ)，造成了計(jì)算資源、存儲(chǔ)資源的浪費(fèi)。

假設(shè)：1pb數(shù)據(jù)需要100臺(tái)計(jì)算機(jī)器和100臺(tái)存儲(chǔ)機(jī)器，則

a業(yè)務(wù)(比如風(fēng)控)如需要分析這1pb數(shù)據(jù)，則需要200臺(tái)以內(nèi)的機(jī)器；

b業(yè)務(wù)(比如營(yíng)銷1)如需要分析這1pb數(shù)據(jù)，則需要200臺(tái)以內(nèi)的機(jī)器；

c業(yè)務(wù)(比如營(yíng)銷2)如需要分析這1pb數(shù)據(jù)，則需要200臺(tái)以內(nèi)的機(jī)器；

d業(yè)務(wù)(比如離線)如需要分析這1pb數(shù)據(jù)，則需要200臺(tái)以內(nèi)的機(jī)器。

實(shí)際這類場(chǎng)景很多，每個(gè)業(yè)務(wù)需要數(shù)據(jù)的時(shí)候都從源頭取數(shù)據(jù)，當(dāng)業(yè)務(wù)越來(lái)越多的時(shí)候，比如接了100個(gè)業(yè)務(wù)，就需要2萬(wàn)臺(tái)機(jī)器。

因此，如何優(yōu)化海量數(shù)據(jù)的處理過(guò)程成為亟需解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本申請(qǐng)?zhí)峁┮环N海量數(shù)據(jù)的處理方法及其裝置，其能夠優(yōu)化海量數(shù)據(jù)的處理過(guò)程，節(jié)約了計(jì)算資源和存儲(chǔ)資源。

本申請(qǐng)?zhí)峁┮环N海量數(shù)據(jù)的處理方法，應(yīng)用于服務(wù)器端，所述方法包括：

接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息；

根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集；

推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)；

存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。

在本申請(qǐng)一具體實(shí)施例中，所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級(jí)信息、延時(shí)處理信息以及災(zāi)備處理信息。

在本申請(qǐng)一具體實(shí)施例中，所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息歸并后的處理級(jí)別為高，所述延時(shí)處理信息取最小值。

在本申請(qǐng)一具體實(shí)施例中，所述根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集之前還包括：

約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

在本申請(qǐng)一具體實(shí)施例中，所述推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)還包括：

根據(jù)集群處理能力，按照所述數(shù)據(jù)的等級(jí)，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。

在本申請(qǐng)一具體實(shí)施例中，所述推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)還包括：

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例， 以保證各業(yè)務(wù)處理的運(yùn)行。

在本申請(qǐng)一具體實(shí)施例中，所述存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理包括：

存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)；

查詢所存儲(chǔ)數(shù)據(jù)的索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理；

若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對(duì)索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請(qǐng)?zhí)峁┮环N海量數(shù)據(jù)的處理裝置，應(yīng)用于服務(wù)器端，所述方法包括：

接收模塊，用于接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息；

注冊(cè)模塊，用于根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集；

發(fā)送模塊，用于推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)；

調(diào)度模塊，用于存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。

在本申請(qǐng)一具體實(shí)施例中，所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級(jí)信息、延時(shí)處理信息以及災(zāi)備處理信息。

在本申請(qǐng)一具體實(shí)施例中，所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息歸并后的處理級(jí)別為高，所述延時(shí)處理信息取最小值。

在本申請(qǐng)一具體實(shí)施例中，注冊(cè)模塊還用于約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

在本申請(qǐng)一具體實(shí)施例中，所述發(fā)送模塊還用于根據(jù)集群處理能力，按照所述數(shù)據(jù)的等級(jí)，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。

在本申請(qǐng)一具體實(shí)施例中，所述發(fā)送模塊還用于根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

在本申請(qǐng)一具體實(shí)施例中，所述調(diào)度模塊包括：

存儲(chǔ)單元，用于存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)；

查詢單元，用于查詢所存儲(chǔ)數(shù)據(jù)的索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理；

回收單元，用于若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對(duì)索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

由以上技術(shù)方案可見(jiàn)，本申請(qǐng)接收各業(yè)務(wù)處理的數(shù)據(jù)需求及其調(diào)度要求信息，并根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)各數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。從而，根據(jù)所述數(shù)據(jù)需求指令集獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。本申請(qǐng)能夠優(yōu)化海量數(shù)據(jù)的處理過(guò)程，節(jié)約了計(jì)算資源和存儲(chǔ)資源。

附圖說(shuō)明

為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本申請(qǐng)所應(yīng)用分布式服務(wù)器的硬件結(jié)構(gòu)圖；

圖2是本申請(qǐng)一種海量數(shù)據(jù)的處理方法的流程圖；

圖3是本申請(qǐng)一種海量數(shù)據(jù)的處理方法中步驟s4的流程圖；

圖4是本申請(qǐng)一種海量數(shù)據(jù)的處理裝置的結(jié)構(gòu)圖；

圖5是本申請(qǐng)一種海量數(shù)據(jù)的處理裝置中調(diào)度模塊的結(jié)構(gòu)圖。

具體實(shí)施方式

本申請(qǐng)接收各業(yè)務(wù)處理的數(shù)據(jù)需求及其調(diào)度要求信息，并根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)各數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。從而，根據(jù)所述數(shù)據(jù)需求指令集獲得與所述指令集對(duì) 應(yīng)的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。本申請(qǐng)能夠優(yōu)化海量數(shù)據(jù)的處理過(guò)程，節(jié)約了計(jì)算資源和存儲(chǔ)資源。

當(dāng)然，實(shí)施本申請(qǐng)的任一技術(shù)方案必不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

為了使本領(lǐng)域的人員更好地理解本申請(qǐng)中的技術(shù)方案，下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。

本申請(qǐng)?zhí)峁┮环N海量數(shù)據(jù)的處理方法，應(yīng)用于分布式服務(wù)器，參看圖1，分布式服務(wù)器1的硬件結(jié)構(gòu)包括控制器11、存儲(chǔ)器12以及其他硬件13。

參看圖2，本申請(qǐng)所述方法2包括：

s1、接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級(jí)信息、延時(shí)處理信息以及災(zāi)備處理信息。

具體地，優(yōu)先級(jí)信息：

對(duì)應(yīng)位為1，則表示立即處理，對(duì)應(yīng)位為0，則表示延時(shí)處理。

延時(shí)處理信息：

0檔，1檔，2檔，3檔，4檔，5檔。這些檔位對(duì)應(yīng)不同的延時(shí)時(shí)間。需要說(shuō)明的是，如果是0檔，就表示無(wú)延時(shí)。

災(zāi)備處理：

對(duì)應(yīng)位為1，表示高保證，對(duì)應(yīng)位為0，表示允許丟棄。

在本申請(qǐng)一具體實(shí)現(xiàn)中，接收業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

業(yè)務(wù)1，需要立即處理且無(wú)延時(shí)且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data21數(shù)據(jù)。

業(yè)務(wù)2，需要立即處理且無(wú)延時(shí)且允許丟棄，需要系統(tǒng)2的data22數(shù)據(jù)和系統(tǒng)3的data32數(shù)據(jù)。

業(yè)務(wù)3，需要延時(shí)處理且2s延時(shí)且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data22數(shù)據(jù)。

業(yè)務(wù)4，需要延時(shí)處理且3s延時(shí)且允許丟棄，需要系統(tǒng)1的data12數(shù)據(jù)、系統(tǒng)2的data23數(shù)據(jù)和系統(tǒng)3的data33數(shù)據(jù)。

上面描述的整理表格表一所述。

表一：

具體地，為了保證各業(yè)務(wù)對(duì)各系統(tǒng)的數(shù)據(jù)的理解是相同的，所以需要有元數(shù)據(jù)中心來(lái)約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

s2、根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。

所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息歸并后的處理級(jí)別為高，所述延時(shí)處理信息取最小值。

具體的，根據(jù)表一所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息，所述約定合并規(guī)則為所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息取邏輯或計(jì)算，所述延時(shí)處理信息取最小值。

具體地，將步驟s1中的數(shù)據(jù)需求進(jìn)行合并打包，如表二所示。

表二：

s3、推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)。

具體地，所述系統(tǒng)嵌入客戶端軟件，在系統(tǒng)啟動(dòng)時(shí)或者接收到所述服務(wù)器發(fā)送的數(shù)據(jù)需求指令集，在系統(tǒng)內(nèi)部進(jìn)行計(jì)算與數(shù)據(jù)收集，將與所述指令集對(duì)應(yīng)的數(shù)據(jù)發(fā)送至所述服務(wù)器。

具體地，對(duì)于系統(tǒng)1表二中的data11數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對(duì)于系統(tǒng)1表二中的data12數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)2表二中的data21數(shù)據(jù)、data22數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對(duì)于系統(tǒng)2表二中的data23數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)3表二中的data32數(shù)據(jù)(1,0檔,0)，收集到一條就立即往服務(wù)器傳輸一條。對(duì)于系統(tǒng)2表二中的data33數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)客戶端立即往服務(wù)器傳輸?shù)臄?shù)據(jù)，通過(guò)前幾次數(shù)據(jù)傳輸和服務(wù)端調(diào)度，可以算出一個(gè)最優(yōu)傳輸路徑，然后生成一個(gè)令牌給系統(tǒng)的客戶端，形成客戶端和服務(wù)端的高速通道，以獲得最小的延時(shí)。

系統(tǒng)客戶端啟動(dòng)的時(shí)候會(huì)根據(jù)自身的cpu、磁盤、操作系統(tǒng)的位數(shù)，算出本地緩存的限值。當(dāng)即將超過(guò)本地緩存的限值時(shí)，客戶端申請(qǐng)服務(wù)器端的快速通道資源令牌，通過(guò)服務(wù)器端的快速通道將超過(guò)本地緩存的數(shù)據(jù)存儲(chǔ)到額外的存儲(chǔ)器中。服務(wù)器端的快速通道用于緊急數(shù)據(jù)的處理。

為了保證業(yè)務(wù)處理得到精準(zhǔn)的數(shù)據(jù)，可在所述客戶端和服務(wù)器端接收數(shù)據(jù)時(shí)進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理包括：運(yùn)算、排序、歸并操作。比如，某業(yè)務(wù)是實(shí)時(shí)統(tǒng)計(jì)各類支付渠道使用銀行卡進(jìn)行支付時(shí)，各銀行支付的總額。如果每筆交易都發(fā)到服務(wù)端通過(guò)流式計(jì)算對(duì)每秒百萬(wàn)級(jí)的數(shù)據(jù)進(jìn)行過(guò)濾、統(tǒng)計(jì)，需要一個(gè)較大的集群支持。如果在客戶端做預(yù)處理，比如，對(duì)本機(jī)的銀行卡交易做過(guò)濾、1秒內(nèi)匯總，則可以節(jié)約大量的服務(wù)器計(jì)算資源。

具體地，服務(wù)器端根據(jù)其集群處理能力，按照所述數(shù)據(jù)的等級(jí)，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。即，優(yōu)先級(jí)信息和延時(shí)處理信息高級(jí)別，災(zāi)備處理信息高保證的數(shù)據(jù)低延時(shí)處理；優(yōu)先級(jí)信息和延時(shí)處理信息低級(jí)別，災(zāi)備處理信息低保證的數(shù)據(jù)高延時(shí)處理。

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

服務(wù)器端會(huì)根據(jù)集群能力預(yù)先分配經(jīng)各通道接收客戶端所發(fā)送數(shù)據(jù)的資源開銷比例，保證各業(yè)務(wù)處理的正常運(yùn)行。

具體地，各通道包括：立即處理、延時(shí)處理、快速通道，預(yù)先分配器資源開銷的比例，比如(50％，40％，10％)。在上線過(guò)程中，保證業(yè)務(wù)處理單元在可控范圍內(nèi)運(yùn)行。所述資源分配在集群運(yùn)行期會(huì)被自動(dòng)優(yōu)化。

服務(wù)器端的災(zāi)備策略先對(duì)可以延時(shí)處理的通道做降級(jí)，然后對(duì)即時(shí)處理可以丟棄數(shù)據(jù)做降級(jí)，最后對(duì)快速通道入口做降級(jí)。

服務(wù)端會(huì)對(duì)數(shù)據(jù)通道資源監(jiān)控，通過(guò)一定的算法調(diào)整通道資源。

所述算法主要功能是均衡通道資源，其原理與負(fù)載均衡算法類似，可以結(jié)合業(yè)務(wù)選擇改進(jìn)。比如：響應(yīng)比優(yōu)先算法、固定權(quán)重算法、加權(quán)最少連接算法。

s4、存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。

在本申請(qǐng)另一具體實(shí)現(xiàn)中，參見(jiàn)圖3，所述步驟s4包括：

s41、存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)。

具體地，服務(wù)器端存儲(chǔ)接收到的全部數(shù)據(jù)，為了災(zāi)備，存儲(chǔ)3份全部數(shù)據(jù)。

s42、查詢所存儲(chǔ)數(shù)據(jù)的索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

本申請(qǐng)數(shù)據(jù)索引流向一個(gè)環(huán)形數(shù)據(jù)流中，從所述環(huán)形流中接收到索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

s43、若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對(duì)索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請(qǐng)能夠優(yōu)化海量數(shù)據(jù)的處理過(guò)程，節(jié)約了計(jì)算資源和存儲(chǔ)資源。

對(duì)應(yīng)上述方法，本申請(qǐng)還提供一種海量數(shù)據(jù)的處理裝置，應(yīng)用于分布式服務(wù)器，參看圖1，分布式服務(wù)器1的硬件結(jié)構(gòu)包括控制器11、存儲(chǔ)器12 以及其他硬件13。

參看圖4，本申請(qǐng)所述裝置4包括：

接收模塊41，用于接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

注冊(cè)模塊42，用于根據(jù)針對(duì)所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對(duì)所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。

發(fā)送模塊43，用于推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對(duì)應(yīng)的數(shù)據(jù)。

調(diào)度模塊44，用于存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對(duì)應(yīng)的業(yè)務(wù)處理。

所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級(jí)信息、延時(shí)處理信息以及災(zāi)備處理信息。

具體地，優(yōu)先級(jí)信息：

對(duì)應(yīng)位為1，則表示立即處理，對(duì)應(yīng)位為0，則表示延時(shí)處理。

延時(shí)處理信息：

0檔，1檔，2檔，3檔，4檔，5檔。這些檔位對(duì)應(yīng)不同的延時(shí)時(shí)間。需要說(shuō)明的是，如果是0檔，就表示無(wú)延時(shí)。

災(zāi)備處理：

對(duì)應(yīng)位為1，表示高保證，對(duì)應(yīng)位為0，表示允許丟棄。

在本申請(qǐng)一具體實(shí)現(xiàn)中，接收業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

業(yè)務(wù)1，需要立即處理且無(wú)延時(shí)且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data21數(shù)據(jù)。

業(yè)務(wù)2，需要立即處理且無(wú)延時(shí)且允許丟棄，需要系統(tǒng)2的data22數(shù)據(jù)和系統(tǒng)3的data32數(shù)據(jù)。

業(yè)務(wù)3，需要延時(shí)處理且2s延時(shí)且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data22數(shù)據(jù)。

業(yè)務(wù)4，需要延時(shí)處理且3s延時(shí)且允許丟棄，需要系統(tǒng)1的data12數(shù)據(jù)、系統(tǒng)2的data23數(shù)據(jù)和系統(tǒng)3的data33數(shù)據(jù)。

上面描述的整理表格表一所述。

表一：

具體地，為了保證各業(yè)務(wù)對(duì)各系統(tǒng)的數(shù)據(jù)的理解是相同的，所以需要有元數(shù)據(jù)中心來(lái)約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息歸并后的處理級(jí)別為高，所述延時(shí)處理信息取最小值。

具體的，根據(jù)表一所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息，所述約定合并規(guī)則為所述優(yōu)先級(jí)信息和所述災(zāi)備處理信息取邏輯或計(jì)算，所述延時(shí)處理信息取最小值。

具體地，將接收模塊41中的數(shù)據(jù)需求進(jìn)行合并打包，如表二所示。

表二：

具體地，所述系統(tǒng)嵌入客戶端軟件，在系統(tǒng)啟動(dòng)時(shí)或者接收到所述服務(wù)器發(fā)送的數(shù)據(jù)需求指令集，在系統(tǒng)內(nèi)部進(jìn)行計(jì)算與數(shù)據(jù)收集，將與所述指令集對(duì)應(yīng)的數(shù)據(jù)發(fā)送至所述服務(wù)器。

具體地，對(duì)于系統(tǒng)1表二中的data11數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對(duì)于系統(tǒng)1表二中的data12數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)2表二中的data21數(shù)據(jù)、data22數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對(duì)于系統(tǒng)2表二中的data23數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)3表二中的data32數(shù)據(jù)(1,0檔,0)，收集到一條就立即往服務(wù)器 傳輸一條。對(duì)于系統(tǒng)2表二中的data33數(shù)據(jù)(0,3檔,0)，收集到一條會(huì)先暫存，等到閥值(時(shí)間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對(duì)于系統(tǒng)客戶端立即往服務(wù)器傳輸?shù)臄?shù)據(jù)，通過(guò)前幾次數(shù)據(jù)傳輸和服務(wù)端調(diào)度，可以算出一個(gè)最優(yōu)傳輸路徑，然后生成一個(gè)令牌給系統(tǒng)的客戶端，形成客戶端和服務(wù)端的高速通道，以獲得最小的延時(shí)。

系統(tǒng)客戶端啟動(dòng)的時(shí)候會(huì)根據(jù)自身的cpu、磁盤、操作系統(tǒng)的位數(shù)，算出本地緩存的限值。當(dāng)即將超過(guò)本地緩存的限值時(shí)，客戶端申請(qǐng)服務(wù)器端的快速通道資源令牌，通過(guò)服務(wù)器端的快速通道將超過(guò)本地緩存的數(shù)據(jù)存儲(chǔ)到額外的存儲(chǔ)器中。服務(wù)器端的快速通道用于緊急數(shù)據(jù)的處理。

為了保證業(yè)務(wù)處理得到精準(zhǔn)的數(shù)據(jù)，可在所述客戶端和服務(wù)器端接收數(shù)據(jù)時(shí)進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理包括：運(yùn)算、排序、歸并操作。比如，某業(yè)務(wù)是實(shí)時(shí)統(tǒng)計(jì)各類支付渠道使用銀行卡進(jìn)行支付時(shí)，各銀行支付的總額。如果每筆交易都發(fā)到服務(wù)端通過(guò)流式計(jì)算對(duì)每秒百萬(wàn)級(jí)的數(shù)據(jù)進(jìn)行過(guò)濾、統(tǒng)計(jì)，需要一個(gè)較大的集群支持。如果在客戶端做預(yù)處理，比如，對(duì)本機(jī)的銀行卡交易做過(guò)濾、1秒內(nèi)匯總，則可以節(jié)約大量的服務(wù)器計(jì)算資源。

具體地，服務(wù)器端根據(jù)其集群處理能力，按照所述數(shù)據(jù)的等級(jí)，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。即，優(yōu)先級(jí)信息和延時(shí)處理信息高級(jí)別，災(zāi)備處理信息高保證的數(shù)據(jù)低延時(shí)處理；優(yōu)先級(jí)信息和延時(shí)處理信息低級(jí)別，災(zāi)備處理信息低保證的數(shù)據(jù)高延時(shí)處理。

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

服務(wù)器端會(huì)根據(jù)集群能力預(yù)先分配經(jīng)各通道接收客戶端所發(fā)送數(shù)據(jù)的資源開銷比例，保證各業(yè)務(wù)處理的正常運(yùn)行。

具體地，各通道包括：立即處理、延時(shí)處理、快速通道，預(yù)先分配器資源開銷的比例，比如(50％，40％，10％)。在上線過(guò)程中，保證業(yè)務(wù)處理單元在可控范圍內(nèi)運(yùn)行。所述資源分配在集群運(yùn)行期會(huì)被自動(dòng)優(yōu)化。

服務(wù)器端的災(zāi)備策略先對(duì)可以延時(shí)處理的通道做降級(jí)，然后對(duì)即時(shí)處理 可以丟棄數(shù)據(jù)做降級(jí)，最后對(duì)快速通道入口做降級(jí)。

服務(wù)端會(huì)對(duì)數(shù)據(jù)通道資源監(jiān)控，通過(guò)一定的算法調(diào)整通道資源。

所述算法主要功能是均衡通道資源，其原理與負(fù)載均衡算法類似，可以結(jié)合業(yè)務(wù)選擇改進(jìn)。比如：響應(yīng)比優(yōu)先算法、固定權(quán)重算法、加權(quán)最少連接算法。

在本申請(qǐng)另一具體實(shí)現(xiàn)中，參見(jiàn)圖5，所述調(diào)度模塊44包括：

存儲(chǔ)單元441，用于存儲(chǔ)各系統(tǒng)發(fā)送的數(shù)據(jù)。

具體地，服務(wù)器端存儲(chǔ)接收到的全部數(shù)據(jù)，為了災(zāi)備，存儲(chǔ)3份全部數(shù)據(jù)。

查詢單元442，用于查詢所存儲(chǔ)數(shù)據(jù)的索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

本申請(qǐng)數(shù)據(jù)索引流向一個(gè)環(huán)形數(shù)據(jù)流中，從所述環(huán)形流中接收到索引值，獲取對(duì)應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

回收單元443，用于若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對(duì)索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請(qǐng)能夠優(yōu)化海量數(shù)據(jù)的處理過(guò)程，節(jié)約了計(jì)算資源和存儲(chǔ)資源。

本申請(qǐng)的實(shí)施例所提供的裝置可通過(guò)計(jì)算機(jī)程序?qū)崿F(xiàn)。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解，上述的單元以及模塊劃分方式僅是眾多劃分方式中的一種，如果劃分為其他單元或模塊或不劃分塊，只要信息對(duì)象的具有上述功能，都應(yīng)該在本申請(qǐng)的保護(hù)范圍之內(nèi)。

本領(lǐng)域的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、裝置(設(shè)備)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、裝置(設(shè)備)和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本申請(qǐng)的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)范圍的所有變更和修改。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本申請(qǐng)進(jìn)行各種改動(dòng)和變型而不脫離本申請(qǐng)的精神和范圍。這樣，倘若本申請(qǐng)的這些修改和變型屬于本申請(qǐng)權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請(qǐng)也意圖包含這些改動(dòng)和變型在內(nèi)。