本發(fā)明涉及一種電力數(shù)據(jù)融合方法,特別是一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法。
背景技術(shù):
現(xiàn)有的電力信息化應(yīng)用系統(tǒng)采用垂直建設(shè)方式,各應(yīng)用系統(tǒng)直接從數(shù)據(jù)源采集、處理數(shù)據(jù),導(dǎo)致數(shù)據(jù)存在重復(fù)采集,冗余存儲的現(xiàn)象,同時(shí)各應(yīng)用系統(tǒng)間數(shù)據(jù)無法實(shí)時(shí)同步更新。系統(tǒng)采集到的數(shù)據(jù)需要在各自系統(tǒng)內(nèi)進(jìn)行處理、融合,同一設(shè)備數(shù)據(jù)在不同業(yè)務(wù)系統(tǒng)內(nèi)有不同的定義,導(dǎo)致系統(tǒng)間數(shù)據(jù)共享困難,形成信息孤島;隨著系統(tǒng)的建設(shè)范圍的擴(kuò)大,數(shù)據(jù)源的變動對系統(tǒng)影響的范圍越來越廣,導(dǎo)致了運(yùn)行維護(hù)工作的激增。數(shù)據(jù)中心在整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)時(shí),存在大量冗余數(shù)據(jù)、錯誤數(shù)據(jù)、加大了數(shù)據(jù)中心的數(shù)據(jù)整合難度,缺少有效的數(shù)據(jù)融合方法,為跨業(yè)務(wù)系統(tǒng)的數(shù)據(jù)挖掘、診斷帶來阻礙。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明目的在于提供一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法,解決電力系統(tǒng)存在數(shù)據(jù)重復(fù)采集、分散處理、冗余存儲的數(shù)據(jù)孤島問題。
一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法的具體步驟為:
第一步 構(gòu)建基于數(shù)據(jù)池的電力數(shù)據(jù)融合系統(tǒng)
基于數(shù)據(jù)池的電力數(shù)據(jù)融合系統(tǒng),包括:數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)交換模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)融合模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)服務(wù)模塊。
數(shù)據(jù)導(dǎo)入模塊的功能為:為數(shù)據(jù)源內(nèi)的地理空間信息數(shù)據(jù)、靜態(tài)設(shè)備數(shù)據(jù)、模型拓?fù)鋽?shù)據(jù)、可自定義的邏輯控制數(shù)據(jù)和數(shù)據(jù)源關(guān)系模型提供導(dǎo)入和編輯功能。
數(shù)據(jù)采集模塊的功能為:采集電力設(shè)備的電氣量數(shù)據(jù)、非電氣量數(shù)據(jù)和音視頻數(shù)據(jù)。
數(shù)據(jù)交換模塊的功能為:與數(shù)據(jù)源內(nèi)的業(yè)務(wù)系統(tǒng)接口交互,抽取業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。
數(shù)據(jù)預(yù)處理模塊的功能為:分析和理解從數(shù)據(jù)源內(nèi)獲取的數(shù)據(jù),對數(shù)據(jù)進(jìn)行初始化分析、驗(yàn)證、清洗、轉(zhuǎn)換、去重操作。
數(shù)據(jù)融合模塊的功能為:對數(shù)據(jù)進(jìn)行提取、融合、梳理、預(yù)測分析操作,定義數(shù)據(jù)結(jié)構(gòu),組合原始數(shù)據(jù),構(gòu)建數(shù)據(jù)模型,生成預(yù)判斷分析數(shù)據(jù)。
數(shù)據(jù)存儲模塊的功能為:存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),提供數(shù)據(jù)的檢索、讀取、寫入、刪除操作。
數(shù)據(jù)服務(wù)模塊的功能為:提供歸一化的接口交互方式,為應(yīng)用提供數(shù)據(jù)服務(wù)。
第二步 數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)交換模塊獲取數(shù)據(jù)源內(nèi)多維數(shù)據(jù)
通過數(shù)據(jù)導(dǎo)入模塊,將數(shù)據(jù)源內(nèi)的地理空間信息數(shù)據(jù)、靜態(tài)設(shè)備數(shù)據(jù)、模型拓?fù)鋽?shù)據(jù)的文件、報(bào)表、數(shù)據(jù)包,以初始化靜態(tài)導(dǎo)入、定時(shí)全量導(dǎo)入和定時(shí)增量導(dǎo)入三種方式導(dǎo)入數(shù)據(jù),導(dǎo)入后的數(shù)據(jù)交由數(shù)據(jù)預(yù)處理模塊分析、處理。其中靜態(tài)設(shè)備數(shù)據(jù)包括站所、線路、車輛、人員、倉庫的臺賬數(shù)據(jù);模型拓?fù)鋽?shù)據(jù)包括主網(wǎng)模型、配網(wǎng)模型。通過可視化圖形界面配置生成自定義的邏輯控制模型數(shù)據(jù)和數(shù)據(jù)源關(guān)系模型數(shù)據(jù)。
數(shù)據(jù)采集模塊通過RJ45、RS232、 RS485、CAN總線接口方式中的一種或者多種連接電氣設(shè)備、傳感器、攝像頭獲取電氣量測量、非電氣量測量、音視頻數(shù)據(jù),采集的數(shù)據(jù)交由數(shù)據(jù)預(yù)處理模塊分析、處理。其中電氣量測量是指電氣設(shè)備的運(yùn)行時(shí)數(shù)據(jù),如設(shè)備電壓、電流、有功功率、無功功率等,非電氣量測量是指非電氣設(shè)備的運(yùn)行時(shí)數(shù)據(jù),如溫度、濕度、風(fēng)向、車輛位置。電氣量測量和非電量測量的采集支持電力通用標(biāo)準(zhǔn)協(xié)議和工業(yè)設(shè)備通用協(xié)議,如IEC60870-5-101、IEC60870-5-103、IEC60870-5-104、Modbus TCP、Modbus RTU;音視頻數(shù)據(jù)的采集支持ONVIF國際標(biāo)準(zhǔn)協(xié)議和國網(wǎng)視頻監(jiān)控系統(tǒng)及接口(Q/GDW 1517.1-2014)。數(shù)據(jù)采集模塊采用協(xié)議插件方式運(yùn)行,可動態(tài)支持協(xié)議擴(kuò)展和定制。
數(shù)據(jù)交換模塊通過FTP、Web Service接口、系統(tǒng)總線三種方式與數(shù)據(jù)源內(nèi)的業(yè)務(wù)系統(tǒng)交互,抽取業(yè)務(wù)系統(tǒng)內(nèi)數(shù)據(jù),抽取的業(yè)務(wù)系統(tǒng)內(nèi)數(shù)據(jù)交由數(shù)據(jù)預(yù)處理模塊分析、處理。其中業(yè)務(wù)系統(tǒng)包括但不限于輸電線路管理系統(tǒng)、變電站智能輔助系統(tǒng)、ERP、車輛管理系統(tǒng)、生產(chǎn)管理系統(tǒng)、配網(wǎng)搶修系統(tǒng)。
第三步 數(shù)據(jù)預(yù)處理模塊分解、初始化數(shù)據(jù)
通過數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)交換模塊獲取到數(shù)據(jù)后,數(shù)據(jù)預(yù)處理模塊對數(shù)據(jù)進(jìn)行校驗(yàn)、分析、清洗、轉(zhuǎn)換、去重操作,剔除無效的、重復(fù)的數(shù)據(jù),并將最小顆粒度的多維度數(shù)據(jù)傳遞給數(shù)據(jù)融合模塊。
第四步 數(shù)據(jù)融合模塊融合多維數(shù)據(jù)
數(shù)據(jù)融合模塊針對數(shù)據(jù)預(yù)處理模塊提供的靜態(tài)設(shè)備數(shù)據(jù)和模型拓?fù)鋽?shù)據(jù)進(jìn)行特征提取、分析,根據(jù)數(shù)據(jù)源關(guān)系模型數(shù)據(jù)和模型拓?fù)鋽?shù)據(jù),建立空間關(guān)聯(lián)、時(shí)間軸關(guān)聯(lián)、事件關(guān)聯(lián),并把關(guān)聯(lián)處理后的數(shù)據(jù)融合成一個(gè)預(yù)判分析數(shù)據(jù),這個(gè)預(yù)判分析數(shù)據(jù)可隨著數(shù)據(jù)源關(guān)系模型數(shù)據(jù)及模型拓?fù)鋽?shù)據(jù)的變化而變化。數(shù)據(jù)融合后,調(diào)用數(shù)據(jù)存儲模塊將原始數(shù)據(jù)和預(yù)判分析數(shù)據(jù)存儲于數(shù)據(jù)池內(nèi)。
第五步 數(shù)據(jù)存儲模塊存儲融合數(shù)據(jù)
數(shù)據(jù)存儲模塊提供結(jié)構(gòu)化數(shù)據(jù)存儲和非結(jié)構(gòu)化數(shù)據(jù)存儲,為其他模塊提供數(shù)據(jù)的檢索、讀取、寫入、刪除操作。多維數(shù)據(jù)融合后,調(diào)用數(shù)據(jù)存儲模塊存儲數(shù)據(jù),其中結(jié)構(gòu)化數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫存儲,非結(jié)構(gòu)化數(shù)據(jù)使用自定義文件系統(tǒng)存儲。數(shù)據(jù)存儲模塊內(nèi)集成內(nèi)存數(shù)據(jù)庫,使用內(nèi)存數(shù)據(jù)庫建立快速緩存系統(tǒng),為數(shù)據(jù)的檢索、讀取、寫入、刪除操作提供快速響應(yīng)。
第六步 數(shù)據(jù)服務(wù)模塊提供統(tǒng)一數(shù)據(jù)服務(wù)
數(shù)據(jù)服務(wù)模塊提供歸一化的數(shù)據(jù)調(diào)用接口,為上層應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。應(yīng)用中的所有的數(shù)據(jù)都由數(shù)據(jù)池提供,數(shù)據(jù)池提供的數(shù)據(jù)分三類
1、從設(shè)備或者業(yè)務(wù)系統(tǒng)采集到的原始數(shù)據(jù),如變壓器的瞬時(shí)電壓、電流值。
2、數(shù)據(jù)在匯入數(shù)據(jù)池時(shí),根據(jù)數(shù)據(jù)導(dǎo)入模塊導(dǎo)入的拓?fù)淠P蛿?shù)據(jù)、數(shù)據(jù)源關(guān)系模型數(shù)據(jù)分析、預(yù)測及輔助決策的數(shù)據(jù)。
3、業(yè)務(wù)系統(tǒng)本身對1和2類數(shù)據(jù)進(jìn)行處理后與業(yè)務(wù)緊密相關(guān)的數(shù)據(jù)。
本方法為上層應(yīng)用系統(tǒng)提供多維度、實(shí)時(shí)的數(shù)據(jù)感知,提供顆粒度、時(shí)態(tài)一致的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的融合共享;解決多業(yè)務(wù)系統(tǒng)數(shù)據(jù)重復(fù)接入、數(shù)據(jù)定義混亂的問題;解決異構(gòu)網(wǎng)絡(luò)、多系統(tǒng)造成數(shù)據(jù)交換困難的問題;實(shí)現(xiàn)多數(shù)據(jù)融合處理,及時(shí)挖掘隱藏信息,剔除無效數(shù)據(jù),提高存儲效率;建立索引存儲,提高數(shù)據(jù)檢索效率;提供數(shù)據(jù)服務(wù),屏蔽底層數(shù)據(jù)的異構(gòu)型,縮短應(yīng)用開發(fā)時(shí)間,降低維護(hù)成本;為跨業(yè)務(wù)系統(tǒng)的數(shù)據(jù)挖掘、診斷奠定基礎(chǔ),提高電網(wǎng)的智能化決策水平。
附圖說明
圖1 一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法中電力數(shù)據(jù)融合系統(tǒng)結(jié)構(gòu)示意圖。
圖2 一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法具體實(shí)施方式中智能指揮系統(tǒng)建設(shè)方案示意圖。
1.數(shù)據(jù)導(dǎo)入模塊 2.數(shù)據(jù)采集模塊 3.數(shù)據(jù)交換模塊 4.數(shù)據(jù)預(yù)處理模塊 5.數(shù)據(jù)融合模塊 6.數(shù)據(jù)存儲模塊 7.數(shù)據(jù)服務(wù)模塊 8.接口服務(wù)器 9.數(shù)據(jù)存儲服務(wù)器 10.數(shù)據(jù)服務(wù)服務(wù)器。
具體實(shí)施方式
一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法的具體步驟為:
第一步 構(gòu)建基于數(shù)據(jù)池的電力數(shù)據(jù)融合系統(tǒng)
一種基于數(shù)據(jù)池的電力數(shù)據(jù)融合方法在智能指揮系統(tǒng)建設(shè)的方案中由三臺服務(wù)器組成,包括接口服務(wù)器8、數(shù)據(jù)存儲服務(wù)器9和數(shù)據(jù)服務(wù)服務(wù)器10。 數(shù)據(jù)池7大模塊分別運(yùn)行在三臺服務(wù)器上,數(shù)據(jù)導(dǎo)入模塊1、數(shù)據(jù)采集模塊2、數(shù)據(jù)交換模塊3、數(shù)據(jù)預(yù)處理模塊4、數(shù)據(jù)融合模塊5在接口服務(wù)器8上運(yùn)行,數(shù)據(jù)存儲模塊6在數(shù)據(jù)存儲服務(wù)器9上運(yùn)行,數(shù)據(jù)服務(wù)模塊7運(yùn)行在在數(shù)據(jù)服務(wù)服務(wù)器10上運(yùn)行。
數(shù)據(jù)導(dǎo)入模塊1的功能為:為數(shù)據(jù)源內(nèi)的地理空間信息數(shù)據(jù)、靜態(tài)設(shè)備數(shù)據(jù)、模型拓?fù)鋽?shù)據(jù)、可自定義的邏輯控制數(shù)據(jù)和數(shù)據(jù)源關(guān)系模型提供導(dǎo)入和編輯功能。
數(shù)據(jù)采集模塊2的功能為:采集電力設(shè)備的電氣量數(shù)據(jù)、非電氣量數(shù)據(jù)和音視頻數(shù)據(jù)。
數(shù)據(jù)交換模塊3的功能為:與數(shù)據(jù)源內(nèi)的業(yè)務(wù)系統(tǒng)接口交互,抽取業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。
數(shù)據(jù)預(yù)處理模塊4的功能為:分析和理解從數(shù)據(jù)源內(nèi)獲取的數(shù)據(jù),對數(shù)據(jù)進(jìn)行初始化分析、驗(yàn)證、清洗、轉(zhuǎn)換、去重操作。
數(shù)據(jù)融合模塊5的功能為:對數(shù)據(jù)進(jìn)行提取、融合、梳理、預(yù)測分析操作,定義數(shù)據(jù)結(jié)構(gòu),組合原始數(shù)據(jù),構(gòu)建數(shù)據(jù)模型,生成預(yù)判斷分析數(shù)據(jù)。
數(shù)據(jù)存儲模塊6的功能為:存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),提供數(shù)據(jù)的檢索、讀取、寫入、刪除操作。
第二步 接口服務(wù)器8導(dǎo)入、采集、交換數(shù)據(jù)源內(nèi)多維數(shù)據(jù)
接口服務(wù)器8的數(shù)據(jù)導(dǎo)入模塊1全量導(dǎo)入地理空間信息數(shù)據(jù)、靜態(tài)設(shè)備數(shù)據(jù)、模型拓?fù)鋽?shù)據(jù),新增的地理空間信息數(shù)據(jù)、靜態(tài)設(shè)備數(shù)據(jù)、模型拓?fù)鋽?shù)據(jù)通過定時(shí)增量的方式導(dǎo)入,其中地理空間信息數(shù)據(jù)包括地圖數(shù)據(jù),設(shè)備、輸電線路、電纜隧道地理位置數(shù)據(jù);靜態(tài)設(shè)備數(shù)據(jù)包括設(shè)備、線路、站所、用戶、車輛、人員、倉庫等基礎(chǔ)臺賬描述信息;模型拓?fù)鋽?shù)據(jù)包括主網(wǎng)模型、配網(wǎng)模型。數(shù)據(jù)導(dǎo)入模塊1支持可視化界面新建和編輯自定義邏輯控制模型數(shù)據(jù)和數(shù)據(jù)源關(guān)系模型數(shù)據(jù)。
接口服務(wù)器8的數(shù)據(jù)采集模塊2通過RJ45、RS232、 RS485、CAN總線接口方式中的一種或者多種接口采集變電站內(nèi)、輸電線路上電氣設(shè)備(變壓器、 開關(guān))和輔助設(shè)備(風(fēng)偏傳感器,桿塔傾斜傳感器)的運(yùn)行數(shù)據(jù);采集人員和車輛的實(shí)時(shí)位置信息;采集變電站、輸電線路、電纜隧道機(jī)器人監(jiān)控?cái)z像頭的音視頻數(shù)據(jù)。
接口服務(wù)器8的數(shù)據(jù)交換模塊3通過FTP接口從輸電線路在線監(jiān)測系統(tǒng)、變電站在線監(jiān)測系統(tǒng)獲取電氣設(shè)備的遙測、遙信、故障數(shù)據(jù);通過Web Service接口從變電輔助一體化系統(tǒng)獲取非電氣量測量(溫度、濕度、油色譜);通過Web Service實(shí)時(shí)獲取95598故障工單數(shù)據(jù),從氣象局獲取天氣預(yù)報(bào)和實(shí)時(shí)天氣數(shù)據(jù)。
第三步 數(shù)據(jù)預(yù)處理模塊4分解、初始化數(shù)據(jù)
接口服務(wù)器8的數(shù)據(jù)預(yù)處理模塊4對通過數(shù)據(jù)導(dǎo)入模塊1、數(shù)據(jù)采集模塊2、數(shù)據(jù)交換模塊3獲取到的數(shù)據(jù)進(jìn)行分析、校驗(yàn),去重,剔除無效、重復(fù)數(shù)據(jù)。根據(jù)拓?fù)淠P蛿?shù)據(jù)生成最小顆粒度、可識別的數(shù)據(jù)傳遞給融合模塊。
第四步 數(shù)據(jù)融合模塊5融合多維數(shù)據(jù)
數(shù)據(jù)融合模塊5針對數(shù)據(jù)預(yù)處理模塊4提供的靜態(tài)設(shè)備數(shù)據(jù)和模型拓?fù)鋽?shù)據(jù)進(jìn)行特征提取、分析,根據(jù)數(shù)據(jù)源關(guān)系模型數(shù)據(jù)和模型拓?fù)鋽?shù)據(jù),建立空間關(guān)聯(lián)、時(shí)間軸關(guān)聯(lián)、事件關(guān)聯(lián),并把關(guān)聯(lián)處理后的數(shù)據(jù)融合成一個(gè)預(yù)判分析數(shù)據(jù),如在接收到門被打開的數(shù)據(jù)后,同時(shí)根據(jù)數(shù)據(jù)源關(guān)系模型比對對應(yīng)攝像頭的人臉識別數(shù)據(jù),如在靜態(tài)設(shè)備數(shù)據(jù)中沒有此人員信息,則可生成一個(gè)非法闖入的報(bào)警數(shù)據(jù)并關(guān)聯(lián)攝像頭錄像。同時(shí)若有自定義邏輯控制模型,則根據(jù)自定義邏輯控制模型對相應(yīng)的系統(tǒng)進(jìn)行控制。如當(dāng)變電站溫度大于30°時(shí),打開空調(diào)制冷,若小于20°則關(guān)閉空調(diào),達(dá)到電氣設(shè)備適宜的運(yùn)行環(huán)境。
第五步 數(shù)據(jù)存儲服務(wù)器9存儲融合數(shù)據(jù)
數(shù)據(jù)存儲服務(wù)器9存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),為接口服務(wù)器8導(dǎo)入、采集和獲取到的數(shù)據(jù),以及經(jīng)過融合模塊融合后分析數(shù)據(jù)提供數(shù)據(jù)檢索、寫入和讀取操作,為數(shù)據(jù)服務(wù)服務(wù)器10提供數(shù)據(jù)。數(shù)據(jù)存儲模塊6中的內(nèi)存數(shù)據(jù)庫提高數(shù)據(jù)檢索、讀取響應(yīng)效率。
第六步 數(shù)據(jù)服務(wù)服務(wù)器10提供數(shù)據(jù)服務(wù)
數(shù)據(jù)服務(wù)服務(wù)器10提供歸一化接口為智能指揮保電系統(tǒng)實(shí)時(shí)監(jiān)測、輔助分析、應(yīng)急指揮等業(yè)務(wù)提供數(shù)據(jù)。支持實(shí)時(shí)查看電網(wǎng)設(shè)備運(yùn)行狀態(tài)、保電人員位置、車輛位置,查詢車輛、人員歷史軌跡,出現(xiàn)異常告警時(shí),提供告警關(guān)聯(lián)的數(shù)據(jù)查詢服務(wù),如配網(wǎng)某個(gè)用戶出現(xiàn)停電時(shí),數(shù)據(jù)服務(wù)模塊7可根據(jù)導(dǎo)入的電氣模型(“站—線—變—箱—戶),可快速分析出這個(gè)用戶的電源供電關(guān)系,協(xié)助運(yùn)維人員快速定位故障點(diǎn),及根據(jù)故障點(diǎn)可分析出其能影響的范圍,提高運(yùn)維人員故障排查的效率。