亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種基于flume系統(tǒng)的數(shù)據(jù)處理方法及其裝置與流程

文檔序號:12470152閱讀:來源:國知局

技術(shù)特征:

1.一種基于flume系統(tǒng)的數(shù)據(jù)處理方法,應(yīng)用于數(shù)據(jù)清洗系統(tǒng),其特征在于,包括如下步驟:

S1、source層從數(shù)據(jù)源采集原始數(shù)據(jù);

S2、source層將采集到的原始數(shù)據(jù)發(fā)送至channel層;

S3、channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊;

S4、channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù);

S5、sink層從channel層獲取目標數(shù)據(jù);

S6、sink層將目標數(shù)據(jù)發(fā)送至接收方。

2.如權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,所述S3中channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊的傳輸方式為異步傳輸。

3.如權(quán)利要求2所述的數(shù)據(jù)處理方法,其特征在于,所述channel層將原始數(shù)據(jù)異步傳輸至數(shù)據(jù)清洗模塊的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。

4.如權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,所述S4中channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù)的傳輸方式為異步傳輸。

5.如權(quán)利要求4所述的數(shù)據(jù)處理方法,其特征在于,所述channel層從數(shù)據(jù)清洗模塊異步傳輸獲取目標數(shù)據(jù)的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。

6.一種基于flume系統(tǒng)的數(shù)據(jù)處理裝置,其特征在于,包括:

采集模塊,應(yīng)用于source層中,用于從數(shù)據(jù)源采集原始數(shù)據(jù);

第一傳送模塊,應(yīng)用于source層,用于將采集到的原始數(shù)據(jù)發(fā)送至channel層;

輸出模塊,應(yīng)用于channel層,用于將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊;

輸入模塊,應(yīng)用于channel層,用于從數(shù)據(jù)清洗模塊獲取清洗后的目標數(shù)據(jù);

獲取模塊,應(yīng)用于sink層,用于從channel層獲取目標數(shù)據(jù);

第二傳送模塊,應(yīng)用于sink層,用于將目標數(shù)據(jù)發(fā)送至接收方。

7.如權(quán)利要求6所述的數(shù)據(jù)處理方法,其特征在于,所述輸出模塊中channel層將原始數(shù)據(jù)發(fā)送至數(shù)據(jù)清洗模塊的傳輸方式為異步傳輸。

8.如權(quán)利要求7所述的數(shù)據(jù)處理方法,其特征在于,所述channel層將原始數(shù)據(jù)異步傳輸至數(shù)據(jù)清洗模塊的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。

9.如權(quán)利要求6所述的數(shù)據(jù)處理方法,其特征在于,所述輸入模塊中channel層從數(shù)據(jù)清洗模塊獲取目標數(shù)據(jù)的傳輸方式為異步傳輸。

10.如權(quán)利要求9所述的數(shù)據(jù)處理方法,其特征在于,所述channel層從數(shù)據(jù)清洗模塊異步傳輸獲取目標數(shù)據(jù)的底層傳輸方式為TCP/UDP協(xié)議及其協(xié)議簇衍生方式。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1