本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種處理大數(shù)據(jù)的方法及系統(tǒng)。

背景技術(shù)：

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。隨著云時(shí)代的來臨，大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注。《著云臺》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)(Big data)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會花費(fèi)過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

現(xiàn)有的大數(shù)據(jù)處理限于負(fù)載均衡的處理，無法將同類采集設(shè)備的處理分類處理，處理效率低。

技術(shù)實(shí)現(xiàn)要素：

本申請?zhí)峁┮环N處理大數(shù)據(jù)的方法。其解決現(xiàn)有技術(shù)的技術(shù)方案處理效率低的缺點(diǎn)。

一方面，提供一種處理大數(shù)據(jù)的方法，所述方法包括如下步驟：處理大數(shù)據(jù)的方法，所述方法包括如下步驟：

服務(wù)器獲取待處理的大數(shù)據(jù)；

服務(wù)器依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理；

服務(wù)器建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

可選的，所述方法還包括：

服務(wù)器依據(jù)負(fù)載均衡原則對該處理設(shè)備的負(fù)載進(jìn)行分配。

可選的，所述方法還包括：

服務(wù)器如處理設(shè)備的負(fù)載超過設(shè)定閾值，則停止接收該處理設(shè)備對應(yīng)的采集設(shè)備的數(shù)據(jù)。

第二方面，提供一種處理大數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括：

獲取單元，用于獲取待處理的大數(shù)據(jù)；

處理單元，用于依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理，建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

可選的，所述系統(tǒng)還包括：

處理單元，用于服務(wù)器依據(jù)負(fù)載均衡原則對該處理設(shè)備的負(fù)載進(jìn)行分配。

可選的，所述系統(tǒng)還包括：

處理單元，用于如處理設(shè)備的負(fù)載超過設(shè)定閾值，則停止接收該處理設(shè)備對應(yīng)的采集設(shè)備的數(shù)據(jù)。

第三方面，提供一種服務(wù)器，包括：處理器、無線收發(fā)器、存儲器和總線，所述處理器、無線收發(fā)器、存儲器通過總線連接，所述無線收發(fā)器，用于獲取待處理的大數(shù)據(jù)；

所述處理器，用于依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理，建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

可選的，所述處理器，用于服務(wù)器依據(jù)負(fù)載均衡原則對該處理設(shè)備的負(fù)載進(jìn)行分配。

可選的，所述處理器，用于如處理設(shè)備的負(fù)載超過設(shè)定閾值，則停止接收該處理設(shè)備對應(yīng)的采集設(shè)備的數(shù)據(jù)。

本發(fā)明提供的技術(shù)方案將處理的數(shù)據(jù)按采集設(shè)備的類別進(jìn)行分類處理，所以其具有處理效率高的優(yōu)點(diǎn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明第一較佳實(shí)施方式提供的一種處理大數(shù)據(jù)的方法的流程圖；

圖2為本發(fā)明第二較佳實(shí)施方式提供的一種處理大數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)圖。

圖3為本發(fā)明第二較佳實(shí)施方式提供的一種服務(wù)器的硬件結(jié)構(gòu)圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參考圖1，圖1是本發(fā)明第一較佳實(shí)施方式提出的一種處理大數(shù)據(jù)的方法，該方法如圖1所示，包括如下步驟：

步驟S101、服務(wù)器獲取待處理的大數(shù)據(jù)。

步驟S102、服務(wù)器依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理。

步驟S103、服務(wù)器建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

本發(fā)明提供的技術(shù)方案將處理的數(shù)據(jù)按采集設(shè)備的類別進(jìn)行分類處理，所以其具有處理效率高的優(yōu)點(diǎn)。

可選的，服務(wù)器依據(jù)負(fù)載均衡原則對該處理設(shè)備的負(fù)載進(jìn)行分配。

可選的，服務(wù)器如處理設(shè)備的負(fù)載超過設(shè)定閾值，則停止接收該處理設(shè)備對應(yīng)的采集設(shè)備的數(shù)據(jù)。

請參考圖2，圖2是本發(fā)明第二較佳實(shí)施方式提出的一種處理大數(shù)據(jù)的系統(tǒng)，該系統(tǒng)如圖2所示，包括：

獲取單元201，用于獲取待處理的大數(shù)據(jù)；

處理單元202，用于依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理，建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

本發(fā)明提供的技術(shù)方案將處理的數(shù)據(jù)按采集設(shè)備的類別進(jìn)行分類處理，所以其具有處理效率高的優(yōu)點(diǎn)。

可選的，處理單元202，用于服務(wù)器依據(jù)負(fù)載均衡原則對該處理設(shè)備的負(fù)載進(jìn)行分配。

可選的，處理單元202，用于如處理設(shè)備的負(fù)載超過設(shè)定閾值，則停止接收該處理設(shè)備對應(yīng)的采集設(shè)備的數(shù)據(jù)。

參閱圖3，圖3為一種服務(wù)器30，包括：處理器301、無線收發(fā)器302、存儲器303和總線304，無線收發(fā)器302用于與外部設(shè)備之間收發(fā)數(shù)據(jù)。處理器301的數(shù)量可以是一個(gè)或多個(gè)。本申請的一些實(shí)施例中，處理器301、存儲器302和收發(fā)器303可通過總線304或其他方式連接。服務(wù)器30可以用于執(zhí)行圖1的步驟。關(guān)于本實(shí)施例涉及的術(shù)語的含義以及舉例，可以參考圖1對應(yīng)的實(shí)施例。此處不再贅述。

無線收發(fā)器302，用于獲取待處理的大數(shù)據(jù)。

其中，存儲器303中存儲程序代碼。處理器901用于調(diào)用存儲器903中存儲的程序代碼，用于執(zhí)行以下操作：

處理器301，用于依據(jù)大數(shù)據(jù)的采集設(shè)備的類型將該大數(shù)據(jù)分配給該采集設(shè)備對應(yīng)的處理設(shè)備處理，建立處理列表，該處理列表包括：處理設(shè)備的標(biāo)識以及負(fù)載量。

需要說明的是，這里的處理器301可以是一個(gè)處理元件，也可以是多個(gè)處理元件的統(tǒng)稱。例如，該處理元件可以是中央處理器(Central Processing Unit，CPU)，也可以是特定集成電路(Application Specific Integrated Circuit，ASIC)，或者是被配置成實(shí)施本申請實(shí)施例的一個(gè)或多個(gè)集成電路，例如：一個(gè)或多個(gè)微處理器(digital singnal processor，DSP)，或，一個(gè)或者多個(gè)現(xiàn)場可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)。

存儲器303可以是一個(gè)存儲裝置，也可以是多個(gè)存儲元件的統(tǒng)稱，且用于存儲可執(zhí)行程序代碼或應(yīng)用程序運(yùn)行裝置運(yùn)行所需要參數(shù)、數(shù)據(jù)等。且存儲器303可以包括隨機(jī)存儲器(RAM)，也可以包括非易失性存儲器(non-volatile memory)，例如磁盤存儲器，閃存(Flash)等。

總線304可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(Industry Standard Architecture，ISA)總線、外部設(shè)備互連(Peripheral Component，PCI)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(Extended Industry Standard Architecture，EISA)總線等。該總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示，圖3中僅用一條粗線表示，但并不表示僅有一根總線或一種類型的總線。

該終端還可以包括輸入輸出裝置，連接于總線304，以通過總線與處理器301等其它部分連接。該輸入輸出裝置可以為操作人員提供一輸入界面，以便操作人員通過該輸入界面選擇布控項(xiàng)，還可以是其它接口，可通過該接口外接其它設(shè)備。

需要說明的是，對于前述的各個(gè)方法實(shí)施例，為了簡單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā)明，某一些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。

在上述實(shí)施例中，對各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒有詳細(xì)描述的部分，可以參見其他實(shí)施例的相關(guān)描述。

本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計(jì)算機(jī)可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：閃存盤、只讀存儲器(英文：Read-Only Memory，簡稱：ROM)、隨機(jī)存取器(英文：Random Access Memory，簡稱：RAM)、磁盤或光盤等。

以上對本發(fā)明實(shí)施例所提供的內(nèi)容下載方法及相關(guān)設(shè)備、系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。