1.一種數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)采集系統(tǒng)包括采集器、共享傳輸通道、分布式消息隊(duì)列系統(tǒng)、云分揀器;其中:
所述采集器用于采集業(yè)務(wù)日志服務(wù)器上的日志數(shù)據(jù),將所采集的日志數(shù)據(jù)發(fā)送至所述共享傳輸通道;
所述共享傳輸通道的接收端用于接收所述采集器采集的日志數(shù)據(jù),所述共享傳輸通道的發(fā)送端用于將通道內(nèi)的日志數(shù)據(jù)發(fā)送至所述分布式消息隊(duì)列系統(tǒng);
所述云分揀器從所述分布式消息隊(duì)列系統(tǒng)中讀取日志數(shù)據(jù),并對所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù),再將所述分揀數(shù)據(jù)存儲至所述分布式消息隊(duì)列系統(tǒng);
所述分布式消息隊(duì)列系統(tǒng)將所接收到的數(shù)據(jù)和所存儲的數(shù)據(jù)同步至文件存儲系統(tǒng)。
2.如權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)采集系統(tǒng)還包括存儲盤、數(shù)據(jù)發(fā)送器;所述存儲盤用于存儲所述共享傳輸通道被寫滿時所述共享傳輸通道的日志數(shù)據(jù);所述數(shù)據(jù)發(fā)送器從所述共享傳輸通道和所述存儲盤中讀取日志數(shù)據(jù),并將所讀取的日志數(shù)據(jù)發(fā)送至所述分布式消息隊(duì)列系統(tǒng)。
3.如權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng),其特征在于,所述數(shù)據(jù)采集系統(tǒng)包括配置中心,用于配置分揀規(guī)則;所述云分揀器包括實(shí)時分揀引擎,所述實(shí)時分揀引擎用于按照所述配置中心的分揀規(guī)則,對從所述分布式消息隊(duì)列系統(tǒng)中讀取的所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù),再將該分揀數(shù)據(jù)存儲至所述分布式消息隊(duì)列系統(tǒng)中。
4.如權(quán)利要求3所述的數(shù)據(jù)采集系統(tǒng),其特征在于,所述云分揀器還包括備用分揀引擎,所述備用分揀引擎用于在實(shí)時分揀引擎無法進(jìn)行分揀時,從所述文件存儲系統(tǒng)中讀取日志數(shù)據(jù),并按照所述配置中心的分揀規(guī)則對所 述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù),再將該分揀數(shù)據(jù)存儲至所述文件存儲系統(tǒng);所述備用分揀引擎的分揀規(guī)則與實(shí)時分揀引擎的分揀規(guī)則相同。
5.如權(quán)利要求3或4所述的數(shù)據(jù)采集系統(tǒng),其特征在于,所述配置中心還用于配置數(shù)據(jù)選擇的字段;所述云分揀器用于:
按照所述分揀規(guī)則,對所述日志數(shù)據(jù)進(jìn)行分類,從分類后的日志數(shù)據(jù)中提取所配置的字段的字段值,并對所提取的字段值進(jìn)行拼接,獲得分揀數(shù)據(jù)。
6.如權(quán)利要求3所述的數(shù)據(jù)采集系統(tǒng),其特征在于,所述配置中心還用于對分揀規(guī)則進(jìn)行修改或者新增。
7.一種數(shù)據(jù)采集方法,其特征在于,所述數(shù)據(jù)采集方法包括以下步驟:
采集業(yè)務(wù)日志服務(wù)器上的日志數(shù)據(jù),將所采集的日志數(shù)據(jù)發(fā)送至共享傳輸通道;
將所述共享傳輸通道內(nèi)的日志數(shù)據(jù)發(fā)送至所述分布式消息隊(duì)列系統(tǒng);
從所述分布式消息隊(duì)列系統(tǒng)中讀取日志數(shù)據(jù),并對所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù),再將所述分揀數(shù)據(jù)存儲至所述分布式消息隊(duì)列系統(tǒng);
將所述分布式消息隊(duì)列系統(tǒng)所接收到的數(shù)據(jù)和所存儲的數(shù)據(jù)同步至文件存儲系統(tǒng)。
8.如權(quán)利要求7所述的數(shù)據(jù)采集方法,其特征在于,所述數(shù)據(jù)采集方法還包括以下步驟:
在所述共享傳輸通道被寫滿時,將所述共享傳輸通道的日志數(shù)據(jù)存儲至所述存儲盤;
從所述共享傳輸通道和所述存儲盤中讀取日志數(shù)據(jù),并將所讀取的日志數(shù)據(jù)發(fā)送至所述分布式消息隊(duì)列系統(tǒng)。
9.如權(quán)利要求8所述的數(shù)據(jù)采集方法,其特征在于,所述從所述分布式消息隊(duì)列系統(tǒng)中讀取日志數(shù)據(jù),并對所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù)的步驟包括:
按照配置中心的分揀規(guī)則,對從所述分布式消息隊(duì)列系統(tǒng)中讀取的所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù)。
10.如權(quán)利要求9所述的數(shù)據(jù)采集方法,其特征在于,所述數(shù)據(jù)采集方法還包括以下步驟:
從所述文件存儲系統(tǒng)中讀取日志數(shù)據(jù),并按照預(yù)設(shè)的分揀規(guī)則對所述日志數(shù)據(jù)進(jìn)行分揀處理,獲得分揀數(shù)據(jù),再將該分揀數(shù)據(jù)存儲至所述文件存儲系統(tǒng);所述備用分揀引擎的分揀規(guī)則與實(shí)時分揀引擎的分揀規(guī)則相同。