本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法。

背景技術(shù)：

大數(shù)據(jù)分析系統(tǒng)已經(jīng)越來越多地被應(yīng)用到各個領(lǐng)域之中，作為數(shù)據(jù)分析的基礎(chǔ)，數(shù)據(jù)的準(zhǔn)確性和有效性對于分析的過程和結(jié)論，無疑將產(chǎn)生直接的影響。因此，如何確保數(shù)據(jù)的質(zhì)量已經(jīng)成為成功應(yīng)用大數(shù)據(jù)分析系統(tǒng)所需要解決的首要問題。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提出了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法，應(yīng)用于物聯(lián)網(wǎng)中分布式傳感器網(wǎng)絡(luò)的數(shù)據(jù)采集過程之中。該系統(tǒng)在對以往采集數(shù)據(jù)的分析基礎(chǔ)之上，動態(tài)生成數(shù)據(jù)清洗的方法(規(guī)則)，并通過網(wǎng)絡(luò)將清洗的規(guī)則分發(fā)到不同的數(shù)據(jù)采集節(jié)點(diǎn)，由數(shù)據(jù)采集節(jié)點(diǎn)執(zhí)行數(shù)據(jù)清洗規(guī)則，從而達(dá)到對不同的數(shù)據(jù)源進(jìn)行定制化的數(shù)據(jù)清洗的目的。

本發(fā)明提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，包括：

傳感器網(wǎng)絡(luò)，包括多個傳感器，用于采集第一數(shù)據(jù)；

數(shù)據(jù)采集節(jié)點(diǎn)，包括數(shù)據(jù)清洗引擎和數(shù)據(jù)清洗規(guī)則庫；所述數(shù)據(jù)清洗引擎根據(jù)傳感器標(biāo)識在所述數(shù)據(jù)清洗規(guī)則庫中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則，并通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)；

數(shù)據(jù)服務(wù)器，包括數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊；

所述第二數(shù)據(jù)傳輸?shù)讲Υ嬗谒鰯?shù)據(jù)庫中，所述數(shù)據(jù)有效性分析模塊用于對已經(jīng)存儲在所述數(shù)據(jù)庫中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到所述數(shù)據(jù)清洗規(guī)則生成模塊；

所述數(shù)據(jù)清洗規(guī)則生成模塊則依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源的清洗規(guī)則是否需要修正；如果需要修正，則根據(jù)所述有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊；

所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊將所述數(shù)據(jù)清洗規(guī)則生成模塊新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)，并更新所述數(shù)據(jù)采集節(jié)點(diǎn)中的所述數(shù)據(jù)清洗規(guī)則庫，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被所述數(shù)據(jù)清洗引擎所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源的數(shù)據(jù)清洗工作的目的。

優(yōu)選地，所述基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)包括多個不同的數(shù)據(jù)采集節(jié)點(diǎn)。

優(yōu)選地，所述傳感器為電流傳感器，電壓傳感器，流量傳感器，壓力傳感器和溫度傳感器中的任意一種或多種。

本發(fā)明還提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗方法，所述方法包括如下步驟：

通過傳感器網(wǎng)絡(luò)中的多個傳感器采集第一數(shù)據(jù)；

在包括數(shù)據(jù)清洗引擎和數(shù)據(jù)清洗規(guī)則庫的數(shù)據(jù)采集節(jié)點(diǎn)中：

所述數(shù)據(jù)清洗引擎根據(jù)傳感器標(biāo)識在所述數(shù)據(jù)清洗規(guī)則庫中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則，并通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)；

在包括數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊的數(shù)據(jù)服務(wù)器中：

將所述第二數(shù)據(jù)傳輸并儲存于所述數(shù)據(jù)庫中；在所述數(shù)據(jù)有效性分析模塊中，對已經(jīng)存儲在所述數(shù)據(jù)庫中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到所述數(shù)據(jù)清洗規(guī)則生成模塊；

在所述數(shù)據(jù)清洗規(guī)則生成模塊中，依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源的清洗規(guī)則是否需要修正，如果需要修正，則根據(jù)有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊；

在所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊中，將所述數(shù)據(jù)清洗規(guī)則生成模塊新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)，并更新所述數(shù)據(jù)采集節(jié)點(diǎn)中的所述數(shù)據(jù)清洗規(guī)則庫，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被所述數(shù)據(jù)清洗引擎所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源的數(shù)據(jù)清洗工作的目的。

優(yōu)選地，所述第一數(shù)據(jù)為電流值，電壓值，氣體或者液體的壓力，溫度，流量中的任意一種或多種。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

能夠自適應(yīng)地調(diào)整數(shù)據(jù)清洗規(guī)則，不需要在現(xiàn)場逐一地人工進(jìn)行設(shè)置和校驗(yàn)，因而極大地提高了分布式傳感器網(wǎng)絡(luò)部署的效率。

當(dāng)因傳感器周圍環(huán)境(如電磁環(huán)境)發(fā)生變化，而對傳感器數(shù)據(jù)采集過程產(chǎn)生干擾時，本發(fā)明可以基于對長期數(shù)據(jù)的分析而產(chǎn)生消除新增干擾的數(shù)據(jù)清洗規(guī)則，從而及時消除新產(chǎn)生的干擾對采集系統(tǒng)的影響。

本發(fā)明的其他特征和優(yōu)點(diǎn)將在如下的具體實(shí)施方式部分詳細(xì)描述。

附圖說明

圖1為本發(fā)明的實(shí)施例提供的基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明的實(shí)施例提供的基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗方法流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明的實(shí)施方式作進(jìn)一步地詳細(xì)描述。應(yīng)當(dāng)理解的是，此處所描述的具體實(shí)施方式僅用于說明和解釋本發(fā)明，并不用于限制本發(fā)明。

本發(fā)明的第一個方面提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，包括：

傳感器網(wǎng)絡(luò)，包括多個傳感器，用于采集第一數(shù)據(jù)；

數(shù)據(jù)采集節(jié)點(diǎn)，包括數(shù)據(jù)清洗引擎和數(shù)據(jù)清洗規(guī)則庫；所述數(shù)據(jù)清洗引擎根據(jù)傳感器標(biāo)識在所述數(shù)據(jù)清洗規(guī)則庫中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則，并通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)；

數(shù)據(jù)服務(wù)器，包括數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊；所述第二數(shù)據(jù)傳輸?shù)讲Υ嬗谒鰯?shù)據(jù)庫中，所述數(shù)據(jù)有效性分析模塊用于對已經(jīng)存儲在所述數(shù)據(jù)庫中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到所述數(shù)據(jù)清洗規(guī)則生成模塊；所述數(shù)據(jù)清洗規(guī)則生成模塊則依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源的清洗規(guī)則是否需要修正；如果需要修正，則根據(jù)有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊；所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊將所述數(shù)據(jù)清洗規(guī)則生成模塊新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)，并更新所述數(shù)據(jù)采集節(jié)點(diǎn)中的所述數(shù)據(jù)清洗規(guī)則庫，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被所述數(shù)據(jù)清洗引擎所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源的數(shù)據(jù)清洗工作的目的。

優(yōu)選地，上述基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)可以包括多個不同的數(shù)據(jù)采集節(jié)點(diǎn)，從而達(dá)到對不同的數(shù)據(jù)源進(jìn)行定制化的數(shù)據(jù)清洗的目的。

如圖1所示，本發(fā)明提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，所述系統(tǒng)包括：傳感器網(wǎng)絡(luò)3、數(shù)據(jù)采集節(jié)點(diǎn)1和數(shù)據(jù)服務(wù)器2。

傳感器網(wǎng)絡(luò)3包括多個傳感器，用于采集第一數(shù)據(jù)，基于此，也可以將傳感器稱為數(shù)據(jù)源。傳感器例如可以為電流傳感器，電壓傳感器，流量傳感器，壓力傳感器和溫度傳感器等數(shù)據(jù)源中的任意一種或多種。相應(yīng)地，第一數(shù)據(jù)例如可以為電流值，電壓值，氣體或者液體的壓力，溫度，流量等數(shù)據(jù)。

數(shù)據(jù)采集節(jié)點(diǎn)1包括數(shù)據(jù)清洗引擎11和數(shù)據(jù)清洗規(guī)則庫12。數(shù)據(jù)清洗引擎11根據(jù)傳感器標(biāo)識在數(shù)據(jù)清洗規(guī)則庫12中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則，并通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)(即，清洗后的第一數(shù)據(jù))。

數(shù)據(jù)服務(wù)器2包括數(shù)據(jù)庫21、數(shù)據(jù)有效性分析模塊22、數(shù)據(jù)清洗規(guī)則生成模塊23和數(shù)據(jù)清洗規(guī)則發(fā)布模塊24。

所述第二數(shù)據(jù)傳輸?shù)?例如，可以通過網(wǎng)絡(luò)傳輸)并儲存于數(shù)據(jù)庫21中。數(shù)據(jù)庫21用于存儲這些第二數(shù)據(jù)，這些存儲的第二數(shù)據(jù)將作為相應(yīng)的應(yīng)用系統(tǒng)(如：大數(shù)據(jù)分析)的數(shù)據(jù)源使用。

數(shù)據(jù)有效性分析模塊22用于對已經(jīng)存儲在數(shù)據(jù)庫21中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到數(shù)據(jù)清洗規(guī)則生成模塊23。

數(shù)據(jù)清洗規(guī)則生成模塊23則依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源(即，傳感器)的清洗規(guī)則是否需要修正。如果需要修正，則根據(jù)有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源(傳感器)的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給數(shù)據(jù)清洗規(guī)則發(fā)布模塊24。如果無需修正，數(shù)據(jù)清洗系統(tǒng)中的清洗規(guī)則不發(fā)生任何變化，即維持現(xiàn)有的清洗規(guī)則不變。

數(shù)據(jù)清洗規(guī)則發(fā)布模塊24將數(shù)據(jù)清洗規(guī)則生成模塊23新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)1，并更新數(shù)據(jù)采集節(jié)點(diǎn)1中的數(shù)據(jù)清洗規(guī)則庫12，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被數(shù)據(jù)清洗引擎11所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源(傳感器)的數(shù)據(jù)清洗工作。

本發(fā)明的第二個方面提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗方法，所述方法包括如下步驟：

通過傳感器網(wǎng)絡(luò)中的多個傳感器采集第一數(shù)據(jù)；

在包括數(shù)據(jù)清洗引擎和數(shù)據(jù)清洗規(guī)則庫的數(shù)據(jù)采集節(jié)點(diǎn)中：所述數(shù)據(jù)清洗引擎根據(jù)傳感器標(biāo)識在所述數(shù)據(jù)清洗規(guī)則庫中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則，并通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)；

在包括數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊的數(shù)據(jù)服務(wù)器中：將所述第二數(shù)據(jù)傳輸并儲存于所述數(shù)據(jù)庫中；在所述數(shù)據(jù)有效性分析模塊中，對已經(jīng)存儲在所述數(shù)據(jù)庫中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到所述數(shù)據(jù)清洗規(guī)則生成模塊；在所述數(shù)據(jù)清洗規(guī)則生成模塊中，依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源的清洗規(guī)則是否需要修正，如果需要修正，則根據(jù)有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊；在所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊中，將所述數(shù)據(jù)清洗規(guī)則生成模塊新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)，并更新所述數(shù)據(jù)采集節(jié)點(diǎn)中的所述數(shù)據(jù)清洗規(guī)則庫，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被所述數(shù)據(jù)清洗引擎所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源的數(shù)據(jù)清洗工作的目的。

如圖2所示，本發(fā)明的第二個方面提供的基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗方法，包括如下步驟：

步驟41：通過傳感器網(wǎng)絡(luò)采集第一數(shù)據(jù)。

其中，所述傳感器網(wǎng)絡(luò)可以包括多個傳感器。所述傳感器例如可以為電流傳感器，電壓傳感器，流量傳感器，壓力傳感器和溫度傳感器等數(shù)據(jù)源中的任意一種或多種。相應(yīng)地，第一數(shù)據(jù)例如可以為電流值，電壓值，氣體或者液體的壓力，溫度，流量等數(shù)據(jù)中的任意一種或多種。

步驟42：數(shù)據(jù)清洗引擎根據(jù)傳感器標(biāo)識在數(shù)據(jù)清洗規(guī)則庫中找到針對不同傳感器所設(shè)定的數(shù)據(jù)清洗規(guī)則。

步驟43：通過執(zhí)行所述數(shù)據(jù)清洗規(guī)則，來完成對不同傳感器采集的第一數(shù)據(jù)的清洗工作，并生成第二數(shù)據(jù)。

步驟44：將所述第二數(shù)據(jù)傳輸并儲存于所述數(shù)據(jù)庫中。

步驟45：在所述數(shù)據(jù)有效性分析模塊中，對已經(jīng)存儲在所述數(shù)據(jù)庫中的歷史數(shù)據(jù)，進(jìn)行自相關(guān)的和互相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析，并將分析結(jié)果輸入到所述數(shù)據(jù)清洗規(guī)則生成模塊。

其中，典型的自相關(guān)的數(shù)據(jù)有效性驗(yàn)證分析可以為采用時間序列自相關(guān)分析，也就是識別數(shù)據(jù)的時間序列特性。典型的生產(chǎn)過程都具有時間序列特性，例如：每天早晨8:00開始工作，下午5:00結(jié)束，這樣的生產(chǎn)過程，具有24小時重復(fù)的時間序列特性。典型的互相關(guān)分析就是根據(jù)內(nèi)在的生產(chǎn)過程，不同的傳感器之間的數(shù)據(jù)具有很強(qiáng)的相關(guān)性。例如：工序一和工序二的電機(jī)工作具有同步性或者一定的延時同步性。這是由生產(chǎn)工藝或者流程所決定的，因此兩個工序的電機(jī)之間就存在確定的相關(guān)性。

步驟46：在所述數(shù)據(jù)清洗規(guī)則生成模塊中，依據(jù)輸入的有效性驗(yàn)證分析結(jié)果，來判斷當(dāng)前的針對某個數(shù)據(jù)源的清洗規(guī)則是否需要修正。

步驟47：如果需要修正，則根據(jù)有效性驗(yàn)證分析結(jié)果產(chǎn)生新的針對某個數(shù)據(jù)源的清洗規(guī)則，并將新的數(shù)據(jù)清洗規(guī)則發(fā)送給所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊；如果無需修正，數(shù)據(jù)清洗系統(tǒng)中的清洗規(guī)則不發(fā)生任何變化，即維持現(xiàn)有的清洗規(guī)則不變。

步驟48：在所述數(shù)據(jù)清洗規(guī)則發(fā)布模塊中，將所述數(shù)據(jù)清洗規(guī)則生成模塊新產(chǎn)生的清洗規(guī)則，發(fā)送到相應(yīng)的數(shù)據(jù)采集節(jié)點(diǎn)，并更新所述數(shù)據(jù)采集節(jié)點(diǎn)中的所述數(shù)據(jù)清洗規(guī)則庫，從而使得新產(chǎn)生的數(shù)據(jù)清洗規(guī)則能夠被所述數(shù)據(jù)清洗引擎所執(zhí)行，并達(dá)到使用新的數(shù)據(jù)清洗規(guī)則完成針對相應(yīng)數(shù)據(jù)源的數(shù)據(jù)清洗工作。

與現(xiàn)有技術(shù)相比，本發(fā)明可以獲得如下有益效果：

本發(fā)明的基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)和基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗方法能夠自適應(yīng)地調(diào)整數(shù)據(jù)清洗規(guī)則，不需要在現(xiàn)場逐一地人工進(jìn)行設(shè)置和校驗(yàn)，因而極大地提高了分布式傳感器網(wǎng)絡(luò)部署的效率。而且，當(dāng)因傳感器周圍環(huán)境(如電磁環(huán)境)發(fā)生變化，而對傳感器數(shù)據(jù)采集過程產(chǎn)生干擾時，本發(fā)明可以基于對長期數(shù)據(jù)的分析而產(chǎn)生消除新增干擾的數(shù)據(jù)清洗規(guī)則，從而及時消除新產(chǎn)生的干擾對采集系統(tǒng)的影響。

實(shí)施例

下面以對電機(jī)的工作電流采樣為例，說明本發(fā)明提供的基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)的工作過程。

在對電流數(shù)據(jù)進(jìn)行采集的過程中，由于受到周圍環(huán)境的干擾影響，在電機(jī)不工作時電流傳感器(即電流計(jì))3的實(shí)際采樣值并不總是0值。為此，最初在負(fù)責(zé)接受電流采樣數(shù)據(jù)的數(shù)據(jù)采集節(jié)點(diǎn)1的數(shù)據(jù)清洗規(guī)則庫12中，存儲了針對該電流計(jì)采樣數(shù)據(jù)的清洗規(guī)則：如果采樣值小于0.1，則輸出0。

經(jīng)過一段時間的數(shù)據(jù)采樣之后，數(shù)據(jù)服務(wù)器2上的數(shù)據(jù)有效性分析模塊22通過對清洗后的采樣數(shù)據(jù)分析，將電機(jī)啟停頻率過高，啟停時間間隔過小的分析結(jié)果輸入給數(shù)據(jù)清洗規(guī)則生成模塊23。數(shù)據(jù)清洗規(guī)則生成模塊23則根據(jù)這些分析結(jié)果觸發(fā)數(shù)據(jù)清洗規(guī)則修訂算法，將置0閾值(置0閾值為：當(dāng)數(shù)值為小于閾值的數(shù)值時，一律為零；例如，如果置零閾值為0.2，則對于x<0.2的值，則令x＝0)提高到0.2，即生成了新的數(shù)據(jù)清洗規(guī)則，并通過數(shù)據(jù)清洗規(guī)則發(fā)布模塊24將新的數(shù)據(jù)清洗規(guī)則發(fā)送到指定的數(shù)據(jù)采集節(jié)點(diǎn)1，保存到該數(shù)據(jù)采集節(jié)點(diǎn)的數(shù)據(jù)清洗規(guī)則庫12中。當(dāng)電機(jī)的電流計(jì)3將采集的電流數(shù)值再傳送給數(shù)據(jù)采集節(jié)點(diǎn)1之時，閾值數(shù)據(jù)清洗引擎11則執(zhí)行新的數(shù)據(jù)清洗規(guī)則，即：如果采樣值<0.2，則輸出0。

由技術(shù)常識可知，本發(fā)明可以通過其它的不脫離其精神實(shí)質(zhì)或必要特征的實(shí)施方案來實(shí)現(xiàn)。因此，上述公開的實(shí)施方案，就各方面而言，都只是舉例說明，并不是僅有的。所有在本發(fā)明范圍內(nèi)或在等同于本發(fā)明的范圍內(nèi)的改變均被本發(fā)明包含。