1.一種數(shù)據(jù)處理方法,其特征在于,包括:
在抽取-轉(zhuǎn)換-加載ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合下述條件的節(jié)點(diǎn):
所述節(jié)點(diǎn)為多輸入節(jié)點(diǎn)、且所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源包括阻塞數(shù)據(jù)源和非阻塞數(shù)據(jù)源;
所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源是從同一個同源節(jié)點(diǎn)輸出的;
所述多輸入節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有單輸入節(jié)點(diǎn)均為非阻塞節(jié)點(diǎn),所述傳輸路徑為所述同源節(jié)點(diǎn)至所述多輸入節(jié)點(diǎn)之間的傳輸路徑;
針對確定出的每個符合所述條件的節(jié)點(diǎn),執(zhí)行:
在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,選擇部分非阻塞節(jié)點(diǎn),將選擇的非阻塞節(jié)點(diǎn)更改為阻塞節(jié)點(diǎn);和/或
將該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源存儲到該節(jié)點(diǎn)本地。
2.如權(quán)利要求1所述的方法,其特征在于,在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn),選擇部分非阻塞節(jié)點(diǎn),包括:
在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,任意選擇一個非阻塞節(jié)點(diǎn)。
3.如權(quán)利要求1所述的方法,其特征在于,在ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合下述條件的節(jié)點(diǎn)之前,還包括:
確定所述ETL系統(tǒng)對數(shù)據(jù)進(jìn)行分析處理出現(xiàn)故障告警。
4.如權(quán)利要求1所述的方法,其特征在于,在ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合下述條件的節(jié)點(diǎn)之前,還包括:
確定所述ETL系統(tǒng)對數(shù)據(jù)進(jìn)行分析處理未出現(xiàn)故障告警。
5.一種數(shù)據(jù)處理裝置,其特征在于,包括:
確定模塊,用于在抽取-轉(zhuǎn)換-加載ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合下述條件的節(jié)點(diǎn):
所述節(jié)點(diǎn)為多輸入節(jié)點(diǎn)、且所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源包括阻塞數(shù)據(jù)源和非阻塞數(shù)據(jù)源;
所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源是從同一個同源節(jié)點(diǎn)輸出的;
所述多輸入節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有單輸入節(jié)點(diǎn)均為非阻塞節(jié)點(diǎn),所述傳輸路徑為所述同源節(jié)點(diǎn)至所述多輸入節(jié)點(diǎn)之間的傳輸路徑;
處理模塊,用于針對確定模塊確定出的每個符合所述條件的節(jié)點(diǎn),執(zhí)行:
在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,選擇部分非阻塞節(jié)點(diǎn),將選擇的非阻塞節(jié)點(diǎn)更改為阻塞節(jié)點(diǎn);和/或
將該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源存儲到該節(jié)點(diǎn)本地。
6.如權(quán)利要求5所述的裝置,其特征在于,所述處理模塊在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,選擇部分非阻塞節(jié)點(diǎn)時,具體用于:
在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,任意選擇一個非阻塞節(jié)點(diǎn)。
7.如權(quán)利要求5所述的裝置,其特征在于,所述確定模塊還用于:
在ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合所述條件的節(jié)點(diǎn)之前,確定所述ETL系統(tǒng)對數(shù)據(jù)進(jìn)行分析處理出現(xiàn)故障告警或未出現(xiàn)故障告警。
8.一種數(shù)據(jù)處理系統(tǒng),其特征在于,包括:
抽取-轉(zhuǎn)換-加載ETL系統(tǒng),所述系統(tǒng)包括多個節(jié)點(diǎn);
數(shù)據(jù)處理裝置,用于在所述ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合下述條件的節(jié)點(diǎn):所述節(jié)點(diǎn)為多輸入節(jié)點(diǎn)、且所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源包括阻塞數(shù)據(jù)源和非阻塞數(shù)據(jù)源;所述多輸入節(jié)點(diǎn)接收的多個數(shù)據(jù)源是從同一個同源節(jié)點(diǎn)輸出的;所述多輸入節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有單輸入節(jié)點(diǎn)均為非阻塞節(jié)點(diǎn),所述傳輸路徑為所述同源節(jié)點(diǎn)至所述多輸入節(jié)點(diǎn)之間的傳輸路徑;以及
針對確定出的每個符合所述條件的節(jié)點(diǎn),執(zhí)行:在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,選擇部分非阻塞節(jié)點(diǎn),將選擇的非阻塞節(jié)點(diǎn)更改為阻塞節(jié)點(diǎn);和/或?qū)⒃摴?jié)點(diǎn)接收的非阻塞數(shù)據(jù)源存儲到該節(jié)點(diǎn)本地。
9.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述數(shù)據(jù)處理裝置在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,選擇部分非阻塞節(jié)點(diǎn)時,具體用于:
在該節(jié)點(diǎn)接收的非阻塞數(shù)據(jù)源所經(jīng)過的傳輸路徑上存在的所有非阻塞節(jié)點(diǎn)中,任意選擇一個非阻塞節(jié)點(diǎn)。
10.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述數(shù)據(jù)處理裝置還用于:
在ETL系統(tǒng)包括的所有節(jié)點(diǎn)中,確定符合所述條件的節(jié)點(diǎn)之前,確定所述ETL系統(tǒng)對數(shù)據(jù)進(jìn)行分析處理出現(xiàn)故障告警或未出現(xiàn)故障告警。