本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)采集分發(fā)方法及裝置。

背景技術(shù)：

隨著企業(yè)信息技術(shù)(it，informationtechnology)信息化基礎(chǔ)平臺(tái)建設(shè)的大力推進(jìn)，移動(dòng)運(yùn)營商的網(wǎng)絡(luò)規(guī)模也相應(yīng)越來越大，越來越復(fù)雜。許多網(wǎng)絡(luò)規(guī)模達(dá)到成千甚至上萬節(jié)點(diǎn)。在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的今天，運(yùn)營商為了更好的服務(wù)于客戶，企業(yè)經(jīng)營分析系統(tǒng)已經(jīng)逐步納入網(wǎng)絡(luò)域數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，提升在生產(chǎn)服務(wù)中的客戶感知。隨之而來海量數(shù)據(jù)的采集對(duì)于經(jīng)營分析系統(tǒng)迎來了新的挑戰(zhàn)。另外，為了滿足海量數(shù)據(jù)在分布式系統(tǒng)中的高效處理，源數(shù)據(jù)根據(jù)要求在分布式集群的均勻分布是也是采集工具的重點(diǎn)要求。

當(dāng)前業(yè)界存在許多滿足各種海量數(shù)據(jù)的開源采集工具，各個(gè)產(chǎn)品的功能都有各自的特點(diǎn)。如：應(yīng)用于海量日志采集領(lǐng)域中的日志收集系統(tǒng)(scribe)，scribe是一種開源的日志收集系統(tǒng)，它能夠從各種日志源上收集日志，存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng)(可以是分布式文件系統(tǒng)等)上，以便于進(jìn)行集中統(tǒng)計(jì)分析處理。它為日志的“分布式收集，統(tǒng)一處理”提供了一個(gè)可擴(kuò)展的，高容錯(cuò)的方案。它最重要的特點(diǎn)是容錯(cuò)性好。當(dāng)后端的存儲(chǔ)系統(tǒng)碰撞(crash)時(shí)，scribe會(huì)將數(shù)據(jù)寫到本地磁盤上，當(dāng)存儲(chǔ)系統(tǒng)恢復(fù)正常后，scribe將日志重新加載到存儲(chǔ)系統(tǒng)中。

現(xiàn)有技術(shù)中的flume也是一套開源的數(shù)據(jù)分布式采集產(chǎn)品，其內(nèi)置各種組件，主要具有可靠性、可擴(kuò)展性和可管理性的特點(diǎn)。在可靠性上，flume提供了三種級(jí)別的可靠性保障，當(dāng)節(jié)點(diǎn)出現(xiàn)故障時(shí)，日志能夠被傳送到其他節(jié)點(diǎn)上而不會(huì)丟失；在可擴(kuò)展性上，所述flume采用了三層架構(gòu)，分別為代理(agent)， 收集器(collector)和儲(chǔ)存器(storage)，每一層均可以水平擴(kuò)展，用戶可以根據(jù)需要添加自己的agent，colletor或者storage。在可管理性上，所有agent和colletor由master統(tǒng)一管理，這使得系統(tǒng)便于維護(hù)和維護(hù)，且master允許有多個(gè)，這就避免了單點(diǎn)故障問題。用戶可以在master上查看各個(gè)數(shù)據(jù)源或者數(shù)據(jù)流執(zhí)行情況，且可以對(duì)各個(gè)數(shù)據(jù)源進(jìn)行配置和動(dòng)態(tài)加載。

現(xiàn)有技術(shù)中還有一種分布式性能數(shù)據(jù)采集方法，包括：根據(jù)采集對(duì)象及其屬性生成采集任務(wù)，然后根據(jù)任務(wù)分配算法給各采集點(diǎn)分配這些性能數(shù)據(jù)采集任務(wù)，將拆分后的多個(gè)獨(dú)立的采集任務(wù)分配到各個(gè)采集節(jié)點(diǎn)上進(jìn)行采集。其中，任務(wù)分配算法為了保證各個(gè)采集任務(wù)被公平的分發(fā)到所有的采集節(jié)點(diǎn)上，以一定的粒度為采集點(diǎn)分配資源，當(dāng)資源超過平均資源時(shí)，則結(jié)束對(duì)他的分配，開始對(duì)下一個(gè)節(jié)點(diǎn)的分配。

上述的這些開源分布式采集產(chǎn)品雖然在可靠性、擴(kuò)展性、管理性上可以滿足海量數(shù)據(jù)采集需求，但在實(shí)際應(yīng)用過程中還存在如下缺陷：

(1)若多個(gè)數(shù)據(jù)源間存在業(yè)務(wù)間的關(guān)聯(lián)關(guān)系，需要組合采集，開源產(chǎn)品不能快速實(shí)現(xiàn)。

(2)現(xiàn)有的分布式采集產(chǎn)品雖然有提供封裝好的若干功能組件，但是沒有友好的用戶使用界面，造成使用門檻較高；且在新增數(shù)據(jù)源有任務(wù)采集需求時(shí)，需要開發(fā)者進(jìn)行二次開發(fā)，使用成本高。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例期望提供一種數(shù)據(jù)采集分發(fā)方法及裝置，可以滿足用戶需求，方便用戶使用。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種數(shù)據(jù)采集分發(fā)方法，所述方法包括：

顯示用戶配置界面；

通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器和目的服務(wù)器；

從所述源服務(wù)器采集數(shù)據(jù)文件，將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

上述方案中，所述任務(wù)信息中還包括：數(shù)據(jù)分發(fā)規(guī)則，則所述將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器，包括：

按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的至少一組服務(wù)器集群，每組服務(wù)器集群包括若干所述源服務(wù)器和若干所述目的服務(wù)器；則所述按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器，包括：

將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到同一組服務(wù)器集群的目的服務(wù)器中。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中還包括分類規(guī)則，所述分類規(guī)則包括按照或者不按照特定字符串進(jìn)行數(shù)據(jù)分類，則將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到同一組服務(wù)器集群的目的服務(wù)器中，包括：

在所述分類分發(fā)規(guī)則包括按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件的文件名中的特定字符串相同的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；在所述數(shù)據(jù)分發(fā)規(guī)則包括不按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；

將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，將分發(fā)到同一目的服務(wù)器的同一類數(shù)據(jù)文件分發(fā)到所述同一目的服務(wù)器的同一目錄下。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中還包括均衡規(guī)則，所述均衡規(guī)則包括隨機(jī)均衡、發(fā)牌式均衡或百分比均衡，所述均衡規(guī)則為百分比均衡時(shí)，配置有每個(gè)目的服務(wù)器對(duì)應(yīng)的負(fù)載百分比閾值；則，所述將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，包括：

在所述均衡規(guī)則為隨機(jī)均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件隨機(jī)均衡分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中；

在所述均衡規(guī)則為發(fā)牌式均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器 中采集到的各數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的各個(gè)目的服務(wù)器中；

在所述均衡規(guī)則為百分比均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，在所述同一組服務(wù)器集群的第一目的服務(wù)器的使用率大于對(duì)應(yīng)的第一負(fù)載百分比閾值時(shí)，繼續(xù)將從所述同一組服務(wù)器集群的所述一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群中除所述第一目的服務(wù)器外的其他目的服務(wù)器中。

一種數(shù)據(jù)采集分發(fā)裝置，所述裝置包括：

顯示單元，用于顯示用戶配置界面；

獲取單元，用于通過所述顯示單元顯示的用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器和目的服務(wù)器；

采集分發(fā)單元，用于從所述獲取單元獲取的所述源服務(wù)器采集數(shù)據(jù)文件，將采集到的數(shù)據(jù)文件分發(fā)到所述獲取單元獲取的目的服務(wù)器。

上述方案中，所述任務(wù)信息中還包括：數(shù)據(jù)分發(fā)規(guī)則，則，

所述采集分發(fā)單元，具體用于按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的至少一組服務(wù)器集群，每組服務(wù)器集群包括若干所述源服務(wù)器和若干所述目的服務(wù)器；則，

所述采集分發(fā)單元，具體用于將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中還包括分類規(guī)則，所述分類規(guī)則包括按照或者不按照特定字符串進(jìn)行數(shù)據(jù)分類，則，

所述采集分發(fā)單元，具體用于在所述分類分發(fā)規(guī)則包括按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件的文件名中的特定字符串相同的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；在所述數(shù)據(jù)分發(fā)規(guī)則包括不按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；將從同一組服務(wù)器集群的源 服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，將分發(fā)到同一目的服務(wù)器的同一類數(shù)據(jù)文件分發(fā)到所述同一目的服務(wù)器的同一目錄下。

上述方案中，所述數(shù)據(jù)分發(fā)規(guī)則中還包括均衡規(guī)則，所述均衡規(guī)則包括隨機(jī)均衡、發(fā)牌式均衡或百分比均衡，所述均衡規(guī)則為百分比均衡時(shí)，配置有每個(gè)目的服務(wù)器對(duì)應(yīng)的負(fù)載百分比閾值；則，

所述采集分發(fā)單元，具體用于在所述均衡規(guī)則為隨機(jī)均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件隨機(jī)均衡分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中；在所述均衡規(guī)則為發(fā)牌式均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中；在所述均衡規(guī)則為百分比均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，在所述同一組服務(wù)器集群的第一目的服務(wù)器的使用率大于對(duì)應(yīng)的第一負(fù)載百分比閾值時(shí)，繼續(xù)將從所述同一組服務(wù)器集群的所述一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群中除所述第一目的服務(wù)器外的其他目的服務(wù)器中。

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集分發(fā)方法及裝置，該裝置首先顯示用戶配置界面；通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器和目的服務(wù)器；從所述源服務(wù)器采集數(shù)據(jù)文件，將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。該裝置為用戶提供一個(gè)用戶配置界面，由用戶根據(jù)需要來配置本次采集任務(wù)的采集信息，可以滿足用戶需求，方便用戶使用；若多個(gè)服務(wù)器中存在業(yè)務(wù)間的關(guān)聯(lián)關(guān)系，需要從這多個(gè)服務(wù)器內(nèi)采集數(shù)據(jù)時(shí)，可以直接由用戶將這多個(gè)服務(wù)器配置為源服務(wù)器，就可以從這多個(gè)服務(wù)器內(nèi)采集數(shù)據(jù)了，如果需要采集新增服務(wù)器中的數(shù)據(jù)，則直接將該新增服務(wù)器配置為源服務(wù)器即可進(jìn)行采集，不需要進(jìn)行二次開發(fā)，使用成本降低。

附圖說明

圖1為本發(fā)明實(shí)施例1提供的一種數(shù)據(jù)采集分發(fā)方法流程示意圖；

圖2為本發(fā)明實(shí)施例2提供的一種數(shù)據(jù)采集分發(fā)方法流程示意圖；

圖3為本發(fā)明實(shí)施例2提供的一種數(shù)據(jù)分組過程示意圖；

圖4為本發(fā)明實(shí)施例2提供的一種數(shù)據(jù)分類過程示意圖；

圖5為本發(fā)明實(shí)施例3提供的一種數(shù)據(jù)采集分發(fā)裝置結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。

實(shí)施例1

本實(shí)施例提供了一種數(shù)據(jù)采集分發(fā)方法，如圖1所示，本實(shí)施例方法的處理流程包括以下步驟：

步驟101、顯示用戶配置界面。

本實(shí)施例方法中，數(shù)據(jù)采集分發(fā)裝置上設(shè)置有顯示屏，該裝置可以在顯示屏上顯示用戶配置界面，該用戶配置界面用于提示用戶配置本次采集任務(wù)的任務(wù)信息。

步驟102、通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息。

用戶在需要進(jìn)行某個(gè)采集任務(wù)時(shí)，可以在顯示屏顯示的用戶配置界面上輸入本次采集任務(wù)的任務(wù)信息，用戶可以通過觸摸屏或鍵盤等輸入設(shè)備輸入用戶為本次采集任務(wù)配置的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器和目的服務(wù)器。

步驟103、從所述源服務(wù)器采集數(shù)據(jù)文件，將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

該裝置通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息后，就可以從該源服務(wù)器采集數(shù)據(jù)文件，并將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

本實(shí)施例方法為用戶提供一個(gè)用戶配置界面，由用戶根據(jù)需要來配置本次采集任務(wù)的采集信息，可以滿足用戶需求，方便用戶使用，若多個(gè)服務(wù)器中存在業(yè)務(wù)間的關(guān)聯(lián)關(guān)系，需要從這多個(gè)服務(wù)器內(nèi)采集數(shù)據(jù)時(shí)，可以直接由用戶將這多個(gè)服務(wù)器配置為源服務(wù)器，就可以從這多個(gè)服務(wù)器內(nèi)采集數(shù)據(jù)了，如果需要采集新增服務(wù)器中的數(shù)據(jù)，則直接將該新增服務(wù)器配置為源服務(wù)器即可進(jìn)行采集，不需要進(jìn)行二次開發(fā)，使用成本降低。

實(shí)施例2

本實(shí)施例方法提供了一種數(shù)據(jù)采集分發(fā)方法，如圖2所示，本實(shí)施例方法的處理流程包括以下步驟：

步驟201、顯示用戶配置界面。

本實(shí)施例方法中，數(shù)據(jù)采集分發(fā)裝置上設(shè)置有顯示屏，該裝置可以在顯示屏上顯示用戶配置界面，該用戶配置界面用于提示用戶配置本次采集任務(wù)的任務(wù)信息。

步驟202、通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息。

用戶在需要進(jìn)行某個(gè)采集任務(wù)時(shí)，可以在顯示屏顯示的用戶配置界面上輸入本次采集任務(wù)的任務(wù)信息，用戶可以通過觸摸屏或鍵盤等輸入設(shè)備輸入用戶為本次采集任務(wù)配置的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器、目的服務(wù)器和數(shù)據(jù)分發(fā)規(guī)則。

數(shù)據(jù)采集處理裝置支持從多種服務(wù)器如文件系統(tǒng)(fs，filesystem)、數(shù)據(jù)庫(db，database)、消息隊(duì)列(mq，messagequeue)、套接字(socket)端口、hbase分布式數(shù)據(jù)庫等服務(wù)器中采集數(shù)據(jù)文件，并可將采集到的數(shù)據(jù)文件分發(fā)到多種目的服務(wù)器上存儲(chǔ)；同時(shí)支持在采集、分發(fā)的過程中，對(duì)采集到的數(shù)據(jù)文件做簡單處理。

在本實(shí)施例方法中，采集任務(wù)的源服務(wù)器和目的服務(wù)器的可由用戶靈活配置，數(shù)據(jù)采集處理裝置可以根據(jù)用戶配置的源服務(wù)器和目的服務(wù)器實(shí)現(xiàn)任意源數(shù)據(jù)服務(wù)器到任意目的服務(wù)器的數(shù)據(jù)采集、同步。

步驟203、從所述源服務(wù)器采集數(shù)據(jù)文件。

該裝置通過所述用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息后，就可以從獲取的源服務(wù)器中采集數(shù)據(jù)文件。

步驟204、按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

該裝置從源服務(wù)器中采集到數(shù)據(jù)文件后，在進(jìn)行數(shù)據(jù)文件分發(fā)時(shí)會(huì)按照數(shù)據(jù)分發(fā)規(guī)則來進(jìn)行分發(fā)。

可選的，本實(shí)施例中給出以下a1、a2和a3三種情況：

a1、用戶配置的數(shù)據(jù)分發(fā)規(guī)則只有服務(wù)器分組。

所述數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的至少一組服務(wù)器集群，每組服務(wù)器集群包括若干所述源服務(wù)器和若干所述目的服務(wù)器；則所述按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器，包括：將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到同一組服務(wù)器集群的目的服務(wù)器中。

示例的，假設(shè)用戶配置的源服務(wù)器包括：服務(wù)器a、服務(wù)器b、服務(wù)器c、服務(wù)器d、服務(wù)器e、服務(wù)器f；用戶配置的目的服務(wù)器包括：服務(wù)器1、服務(wù)器2、服務(wù)器3、服務(wù)器4、服務(wù)器5。

如圖3所示，所述數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的兩組服務(wù)器集群。第一組服務(wù)器集群中包括：源服務(wù)器-服務(wù)器a、服務(wù)器b、服務(wù)器c和目的服務(wù)器-服務(wù)器1、服務(wù)器2；第二組服務(wù)器集群包括源服務(wù)器-服務(wù)器d、服務(wù)器e、服務(wù)器f和目的服務(wù)器-服務(wù)器3、服務(wù)器4、服務(wù)器5。

從第一組服務(wù)器集群的源服務(wù)器(服務(wù)器a、服務(wù)器b、服務(wù)器c)中采集的數(shù)據(jù)文件會(huì)被分發(fā)到第一組服務(wù)器集群的目的服務(wù)器(服務(wù)器1、服務(wù)器2)中。從第二組服務(wù)器集群的源服務(wù)器(服務(wù)器d、服務(wù)器e、服務(wù)器f)中采集的數(shù)據(jù)文件會(huì)被分發(fā)到第二組服務(wù)器集群的目的服務(wù)器(服務(wù)器3、服務(wù)器4、服務(wù)器5)中。

以上示例所述數(shù)據(jù)分發(fā)規(guī)則中用戶配置了兩組服務(wù)器集群，當(dāng)然，所述用戶也可以只配置一組服務(wù)器集群，該一組服務(wù)器集群中包括用戶配置的所有源 服務(wù)器和所有目的服務(wù)器。當(dāng)用戶未配置服務(wù)器集群分組時(shí)，默認(rèn)此時(shí)的數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的一組服務(wù)器集群，該一組服務(wù)器集群中包括用戶配置的所有源服務(wù)器和所有目的服務(wù)器。

a2、用戶配置的數(shù)據(jù)分發(fā)規(guī)則中包括分類規(guī)則。

在這里需要說明的是，用戶配置的數(shù)據(jù)分發(fā)規(guī)則中不包括服務(wù)器分組時(shí)，可以將用戶配置的所有源服務(wù)器和所有目的服務(wù)器作為一組服務(wù)器集群；用戶配置的所述數(shù)據(jù)分發(fā)規(guī)則包括服務(wù)器分組時(shí)，按照用戶配置的服務(wù)器分組對(duì)源服務(wù)器和目的服務(wù)器進(jìn)行分組。

用戶配置的數(shù)據(jù)分發(fā)規(guī)則中還包括分類規(guī)則，所述分類規(guī)則包括按照或者不按照特定字符串進(jìn)行數(shù)據(jù)分類，則將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到同一組服務(wù)器集群的目的服務(wù)器中，包括：在所述分類分發(fā)規(guī)則包括按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件的文件名中的特定字符串相同的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；在所述數(shù)據(jù)分發(fā)規(guī)則包括不按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，將分發(fā)到同一目的服務(wù)器的同一類數(shù)據(jù)文件分發(fā)到所述同一目的服務(wù)器的同一目錄下。

示例的，下面以移動(dòng)gn口數(shù)據(jù)為例，源服務(wù)器a中有三種類型的數(shù)據(jù)文件：

數(shù)據(jù)文件名中的特定字符串為gna64_http_的類型a：

gna64_http_dnssession_60_20131218_105600_20131218_105659.csv

gna64_http_dnssession_60_20131218_105600_20131218_105659.ctl

gna64_http_dnssession_60_20131218_103000_20131218_103059.csv

gna64_http_dnssession_60_20131218_103000_20131218_103059.ctl

數(shù)據(jù)文件名中的特定字符串為gna64_http_的類型b：

gnb64_ip_dnssession_60_20131218_105600_20131218_105659.csv

gnb64_ip_dnssession_60_20131218_105600_20131218_105659.ctl

gnb64_ip_dnssession_60_20131218_103000_20131218_103059.csv

gnb64_ip_dnssession_60_20131218_103000_20131218_103059.ctl

數(shù)據(jù)文件名中的特定字符串為gnc64_pdp_的類型c：

gnc64_pdp_dnssession_60_20131218_105600_20131218_105659.csv

gnc64_pdp_dnssession_60_20131218_105600_20131218_105659.ctl

gnc64_pdp_dnssession_60_20131218_103000_20131218_103059.csv

gnc64_pdp_dnssession_60_20131218_103000_20131218_103059.ctl

源服務(wù)器b中也有三種類型的文件：

數(shù)據(jù)文件名中的特定字符串為gna64_http_的類型a：

gna64_http_session_60_20131218_105600_20131218_105659.csv

gna64_http_session_60_20131218_105600_20131218_105659.ctl

gna64_http_session_60_20131218_103000_20131218_103059.csv

gna64_http_session_60_20131218_103000_20131218_103059.ctl

數(shù)據(jù)文件名中的特定字符串為gna64_http_的類型b：

gnb64_ip_session_60_20131218_105600_20131218_105659.csv

gnb64_ip_session_60_20131218_105600_20131218_105659.ctl

gnb64_ip_session_60_20131218_103000_20131218_103059.csv

gnb64_ip_session_60_20131218_103000_20131218_103059.ctl

數(shù)據(jù)文件名中的特定字符串為gnc64_pdp_的類型c：

gnc64_pdp_session_60_20131218_105600_20131218_105659.csv

gnc64_pdp_session_60_20131218_105600_20131218_105659.ctl

gnc64_pdp_session_60_20131218_103000_20131218_103059.csv

gnc64_pdp_session_60_20131218_103000_20131218_103059.ctl

假設(shè)將圖3中從第一組服務(wù)器集群的源服務(wù)器(服務(wù)器a、服務(wù)器b)中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器(服務(wù)器2)中，則如圖4所示，將分發(fā)到同一目的服務(wù)器即服務(wù)器2中的同一類數(shù)據(jù)文件分發(fā)到所述服務(wù)器2的同一目錄下。即將服務(wù)器a、服務(wù)器b中的類型a數(shù)據(jù)文件采集到目的服務(wù)器即服務(wù)器2中的目錄1中，將類型b數(shù)據(jù)文件采集到目的服務(wù)器中的目錄2中，類型c數(shù)據(jù)文件采集到目的服務(wù)器中的目錄3中；這樣達(dá) 到了將同一種類型的文件采集到同一個(gè)目錄中的目的。

a3、用戶配置的數(shù)據(jù)分發(fā)規(guī)則中包括均衡規(guī)則。

在這里需要說明的是，用戶配置的數(shù)據(jù)分發(fā)規(guī)則中不包括服務(wù)器分組時(shí)，可以將用戶配置的所有源服務(wù)器和所有目的服務(wù)器作為一組服務(wù)器集群；用戶配置的所述數(shù)據(jù)分發(fā)規(guī)則包括服務(wù)器分組時(shí)，按照用戶配置的服務(wù)器分組對(duì)源服務(wù)器和目的服務(wù)器進(jìn)行分組。

用戶配置的數(shù)據(jù)分發(fā)規(guī)則中還包括均衡規(guī)則，所述均衡規(guī)則包括隨機(jī)均衡、發(fā)牌式均衡或百分比均衡，所述均衡規(guī)則為百分比均衡時(shí)，配置有每個(gè)目的服務(wù)器對(duì)應(yīng)的負(fù)載百分比閾值；則，所述將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中包括：步驟a31、步驟a32或步驟a33。

步驟a31、在所述均衡規(guī)則為隨機(jī)均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件隨機(jī)均衡分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中。

示例的，所述均衡規(guī)則為隨機(jī)均衡時(shí)，如圖3所示，按照預(yù)設(shè)的隨機(jī)均衡算法，從第一組服務(wù)器集群中的源服務(wù)器-服務(wù)器a中采集的數(shù)據(jù)文件會(huì)隨機(jī)分發(fā)到目的服務(wù)器-服務(wù)器1或者服務(wù)器2中，從服務(wù)器b中采集的數(shù)據(jù)文件也是隨機(jī)分發(fā)到服務(wù)器1或者服務(wù)器2中，從服務(wù)器c中采集的數(shù)據(jù)文件也是隨機(jī)采集到服務(wù)器1或者服務(wù)器2中。第二組服務(wù)器集群中的源服務(wù)器-服務(wù)器d中采集的數(shù)據(jù)文件會(huì)隨機(jī)分發(fā)到目的服務(wù)器-服務(wù)器3、服務(wù)器4或者服務(wù)器5中，從服務(wù)器e中采集的數(shù)據(jù)文件也是隨機(jī)分發(fā)到目的服務(wù)器-服務(wù)器3、服務(wù)器4或者服務(wù)器5中，從服務(wù)器f中采集的數(shù)據(jù)文件也是隨機(jī)分發(fā)到目的服務(wù)器-服務(wù)器3、服務(wù)器4或者服務(wù)器5中。

a32、在所述均衡規(guī)則為發(fā)牌式均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器中采集到的各數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的各個(gè)目的服務(wù)器中。

示例的，所述均衡規(guī)則為發(fā)牌式均衡時(shí)，如圖3所示，從第一組服務(wù)器集 群中的源數(shù)據(jù)服務(wù)器-服務(wù)器a中采集的第一個(gè)數(shù)據(jù)文件會(huì)分發(fā)到目的服務(wù)器-服務(wù)器1，第二個(gè)數(shù)據(jù)文件會(huì)采集到目的服務(wù)器-服務(wù)器2中，第三個(gè)文件數(shù)據(jù)會(huì)采集目的服務(wù)器-服務(wù)器1中，第四個(gè)數(shù)據(jù)文件會(huì)分發(fā)到目的服務(wù)器-服務(wù)器2中，然后依次循環(huán)。從服務(wù)器b中采集的第一個(gè)數(shù)據(jù)文件會(huì)分發(fā)到目的服務(wù)器-服務(wù)器1，采集的第二個(gè)數(shù)據(jù)文件會(huì)到目的服務(wù)器-服務(wù)器2中，采集的第三個(gè)數(shù)據(jù)文件會(huì)分發(fā)到目的服務(wù)器-服務(wù)器1中，采集的第四個(gè)數(shù)據(jù)文件會(huì)分發(fā)到目的服務(wù)器-服務(wù)器2中，然后依次循環(huán)。

a33、在所述均衡規(guī)則為百分比均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器中采集到的各數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的各個(gè)目的服務(wù)器中，在所述同一組服務(wù)器集群的第一目的服務(wù)器的使用率大于對(duì)應(yīng)的第一負(fù)載百分比閾值時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群中除所述第一目的服務(wù)器外的其他目的服務(wù)器中。

示例的，百分比均衡是以發(fā)牌式均衡方式為基礎(chǔ)，當(dāng)組內(nèi)一個(gè)目的服務(wù)器的系統(tǒng)資源使用率達(dá)到配置的負(fù)載百分比閾值時(shí)，本臺(tái)服務(wù)器將停止接收數(shù)據(jù)文件，則后續(xù)的數(shù)據(jù)文件將均分到組內(nèi)剩余的其它目的服務(wù)器中。如圖3所示，第二組服務(wù)器集群包括源服務(wù)器-服務(wù)器d、服務(wù)器e、服務(wù)器f，和目的服務(wù)器-服務(wù)器3、服務(wù)器4、服務(wù)器5。按照各目的服務(wù)器的能力為目的服務(wù)器-服務(wù)器3、服務(wù)器4、服務(wù)器5分別配置的負(fù)載百分比閾值依次為：60％：70％：90％。

各源服務(wù)器-服務(wù)器d、服務(wù)器e、服務(wù)器f中的數(shù)據(jù)文件首先按照發(fā)牌式均衡方式依次循環(huán)分發(fā)到第二組服務(wù)器集群的各個(gè)目的服務(wù)器-服務(wù)器3、服務(wù)器4、服務(wù)器5中，當(dāng)服務(wù)器3的系統(tǒng)資源使用率大于60％時(shí)，服務(wù)器3將不接收數(shù)據(jù)文件，則該裝置將后續(xù)采集的數(shù)據(jù)文件按發(fā)牌式依次循環(huán)分發(fā)到服務(wù)器4、服務(wù)器5，當(dāng)服務(wù)器4的系統(tǒng)資源使用率大于70％時(shí)，服務(wù)器4也不接收數(shù)據(jù)文件，該裝置將后續(xù)采集的數(shù)據(jù)文件都分發(fā)到服務(wù)器5。

當(dāng)然，本實(shí)施例方法中，用戶配置的數(shù)據(jù)分發(fā)規(guī)則可以同時(shí)包括服務(wù)器分 組、分類規(guī)則和均衡規(guī)則，此時(shí)，所述按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器，包括：將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件按照一定的均衡規(guī)則分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，將分發(fā)到同一目的服務(wù)器的同一類數(shù)據(jù)文件分發(fā)到所述同一目的服務(wù)器的同一目錄下。

本實(shí)施例方法中采集任務(wù)由用戶自己靈活配置，可以滿足用戶需求，方便用戶使用，若多個(gè)服務(wù)器中存在業(yè)務(wù)間的關(guān)聯(lián)關(guān)系，需要從這多個(gè)服務(wù)器內(nèi)采集某類數(shù)據(jù)文件時(shí)，可以直接由用戶將這多個(gè)服務(wù)器配置為源服務(wù)器，就可以從這多個(gè)服務(wù)器內(nèi)采集數(shù)據(jù)了，然后按照數(shù)據(jù)分發(fā)規(guī)則中的分類規(guī)則等將某一類數(shù)據(jù)文件采集到一個(gè)目的服務(wù)器的目錄下，便于綜合分析該累數(shù)據(jù)；如果需要采集新增服務(wù)器中的數(shù)據(jù)，則直接將該新增服務(wù)器配置為源服務(wù)器即可進(jìn)行采集，不需要進(jìn)行二次開發(fā)，使用成本降低。另外，本實(shí)施例方法在分發(fā)數(shù)據(jù)文件時(shí)提供三種負(fù)載均衡方式，保證目的服務(wù)器的負(fù)載均衡。

實(shí)施例3

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集分發(fā)裝置，如圖5所示，所述裝置包括：顯示單元501，獲取單元502，采集分發(fā)單元503，其中，

顯示單元501，用于顯示用戶配置界面；

獲取單元502，用于通過所述顯示單元501顯示的用戶配置界面獲取用戶配置的本次采集任務(wù)的任務(wù)信息，所述任務(wù)信息包括源服務(wù)器和目的服務(wù)器；

采集分發(fā)單元503，用于從所述獲取單元502獲取的所述源服務(wù)器采集數(shù)據(jù)文件，將采集到的數(shù)據(jù)文件分發(fā)到所述獲取單元獲取的目的服務(wù)器。

可選的，所述任務(wù)信息中還包括：數(shù)據(jù)分發(fā)規(guī)則，則，所述采集分發(fā)單元503，具體用于按照所述數(shù)據(jù)分發(fā)規(guī)則將采集到的數(shù)據(jù)文件分發(fā)到所述目的服務(wù)器。

可選的，所述數(shù)據(jù)分發(fā)規(guī)則中包括用戶配置的至少一組服務(wù)器集群，每組服務(wù)器集群包括若干所述源服務(wù)器和若干所述目的服務(wù)器；則，所述采集分發(fā)單元503，具體用于將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分 發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中。

可選的，所述數(shù)據(jù)分發(fā)規(guī)則中還包括分類規(guī)則，所述分類規(guī)則包括按照或者不按照特定字符串進(jìn)行數(shù)據(jù)分類，則，所述采集分發(fā)單元503，具體用于在所述分類分發(fā)規(guī)則包括按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件的文件名中的特定字符串相同的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；在所述數(shù)據(jù)分發(fā)規(guī)則包括不按照特定字符串進(jìn)行數(shù)據(jù)分類時(shí)，將采集到的數(shù)據(jù)文件作為同一類數(shù)據(jù)文件；將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，將分發(fā)到同一目的服務(wù)器的同一類數(shù)據(jù)文件分發(fā)到所述同一目的服務(wù)器的同一目錄下。

可選的，所述數(shù)據(jù)分發(fā)規(guī)則中還包括均衡規(guī)則，所述均衡規(guī)則包括隨機(jī)均衡、發(fā)牌式均衡或百分比均衡，所述均衡規(guī)則為百分比均衡時(shí)，配置有每個(gè)目的服務(wù)器對(duì)應(yīng)的負(fù)載百分比閾值；則，所述采集分發(fā)單元503，具體用于在所述均衡規(guī)則為隨機(jī)均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件隨機(jī)均衡分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中；在所述均衡規(guī)則為發(fā)牌式均衡時(shí)，將從同一組服務(wù)器集群的源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中；在所述均衡規(guī)則為百分比均衡時(shí)，將從同一組服務(wù)器集群的一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群的目的服務(wù)器中，在所述同一組服務(wù)器集群的第一目的服務(wù)器的使用率大于對(duì)應(yīng)的第一負(fù)載百分比閾值時(shí)，將從所述同一組服務(wù)器集群的所述一個(gè)源服務(wù)器中采集到的數(shù)據(jù)文件依次循環(huán)分發(fā)到所述同一組服務(wù)器集群中除所述第一目的服務(wù)器外的其他目的服務(wù)器中。

在實(shí)際應(yīng)用中，本實(shí)施例中所述的顯示單元501，獲取單元502，采集分發(fā)單元503可以由所述數(shù)據(jù)采集分發(fā)裝置上的中央處理器(cpu)、微處理器(mpu)、數(shù)字信號(hào)處理器(dsp)或現(xiàn)場可編程門陣列(fpga)、調(diào)制解調(diào)器等器件實(shí)現(xiàn)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和 硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。