1.一種基于flume系統(tǒng)的數(shù)據(jù)處理方法,應(yīng)用于數(shù)據(jù)清洗系統(tǒng),其特征在于,包括如下步驟:
S1、source層從數(shù)據(jù)源采集原始數(shù)據(jù);
S2、source層將采集到的原始數(shù)據(jù)發(fā)送至channel層;
S3、channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊;
S4、channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù);
S5、sink層從channel層獲取目標數(shù)據(jù);
S6、sink層將目標數(shù)據(jù)發(fā)送至接收方。
2.如權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,所述S3中channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊的傳輸方式為異步傳輸。
3.如權(quán)利要求2所述的數(shù)據(jù)處理方法,其特征在于,所述channel層將原始數(shù)據(jù)異步傳輸至數(shù)據(jù)清洗模塊的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。
4.如權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,所述S4中channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù)的傳輸方式為異步傳輸。
5.如權(quán)利要求4所述的數(shù)據(jù)處理方法,其特征在于,所述channel層從數(shù)據(jù)清洗模塊異步傳輸獲取目標數(shù)據(jù)的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。
6.一種基于flume系統(tǒng)的數(shù)據(jù)處理裝置,其特征在于,包括:
采集模塊,應(yīng)用于source層中,用于從數(shù)據(jù)源采集原始數(shù)據(jù);
第一傳送模塊,應(yīng)用于source層,用于將采集到的原始數(shù)據(jù)發(fā)送至channel層;
輸出模塊,應(yīng)用于channel層,用于將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊;
輸入模塊,應(yīng)用于channel層,用于從數(shù)據(jù)清洗模塊獲取清洗后的目標數(shù)據(jù);
獲取模塊,應(yīng)用于sink層,用于從channel層獲取目標數(shù)據(jù);
第二傳送模塊,應(yīng)用于sink層,用于將目標數(shù)據(jù)發(fā)送至接收方。
7.如權(quán)利要求6所述的數(shù)據(jù)處理方法,其特征在于,所述輸出模塊中channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊的傳輸方式為異步傳輸。
8.如權(quán)利要求7所述的數(shù)據(jù)處理方法,其特征在于,所述channel層將原始數(shù)據(jù)異步傳輸至數(shù)據(jù)清洗模塊的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。
9.如權(quán)利要求6所述的數(shù)據(jù)處理方法,其特征在于,所述輸入模塊中channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù)的傳輸方式為異步傳輸。
10.如權(quán)利要求9所述的數(shù)據(jù)處理方法,其特征在于,所述channel層從數(shù)據(jù)清洗模塊異步傳輸獲取目標數(shù)據(jù)的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。