本發(fā)明涉及一種云邊融合和數(shù)據(jù)高速訪問領(lǐng)域，尤其是電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)及方法。
背景技術(shù)：
：：1、現(xiàn)有的電網(wǎng)云邊融合系統(tǒng)分布式可靈活擴(kuò)充，增加分片可通過啟動(dòng)微服務(wù)快速完成。對scada“面包”進(jìn)行了橫向切割，使scada數(shù)據(jù)和scada應(yīng)用下的服務(wù)進(jìn)行解耦，實(shí)現(xiàn)業(yè)務(wù)邏輯和數(shù)據(jù)的切割?，F(xiàn)有的電網(wǎng)云邊融合系統(tǒng)要對scada應(yīng)用進(jìn)行改造，存在著一項(xiàng)難點(diǎn)，即如何實(shí)現(xiàn)scada的各種微服務(wù)進(jìn)行數(shù)據(jù)的調(diào)整訪問，即數(shù)據(jù)的高速讀寫。2、如圖1所示，現(xiàn)有的實(shí)現(xiàn)方案在容器啟動(dòng)時(shí)將實(shí)時(shí)庫文件掛載到容器，在數(shù)據(jù)讀取時(shí)通過實(shí)時(shí)庫本地接口進(jìn)行讀取，在數(shù)據(jù)寫入時(shí)通過實(shí)時(shí)庫網(wǎng)絡(luò)接口進(jìn)行批量寫入。該方案實(shí)時(shí)庫文件掛載到容器中，使得實(shí)時(shí)庫文件在宿主機(jī)和容器間數(shù)據(jù)保持一致。但由于實(shí)時(shí)庫用的是mmap文件映射內(nèi)存機(jī)制實(shí)現(xiàn)。宿主機(jī)和容器本身用的不是命名空間，二者通過mmap映射到系統(tǒng)內(nèi)共享內(nèi)存是獨(dú)立、相互隔離的。在對實(shí)時(shí)庫進(jìn)行數(shù)據(jù)更新時(shí)，直接修改的是共享內(nèi)存，共享內(nèi)存數(shù)據(jù)如果不是顯式調(diào)用msync接口，那么會(huì)強(qiáng)制同步到文件，否則會(huì)根據(jù)操作系統(tǒng)的臟頁和時(shí)間機(jī)制進(jìn)行定時(shí)更新文件。3、由于scada應(yīng)用和容器化是分開維護(hù)，即scada微服務(wù)需要部署在scada宿主機(jī)上，但一個(gè)scada宿主機(jī)不能保證而沒必要部署全量的scada微服務(wù)。sca_cal和sca_fml_pubcal計(jì)算出來的數(shù)據(jù)，通過tablenet去寫入sca01，但如果通過本地接口讀數(shù)據(jù)是讀的sca02的數(shù)據(jù)。此時(shí)需要實(shí)時(shí)庫保證sca01和sca02數(shù)據(jù)是同步的，但實(shí)時(shí)庫同步時(shí)間周期是否滿足業(yè)務(wù)需求。目前sca_analog實(shí)現(xiàn)了批量寫的接口。根據(jù)d5000和新一代的工程經(jīng)驗(yàn)，rtdb_server在負(fù)載比較高的情況下，是存在效率問題的，具體原因是因?yàn)椴l(fā)量太大導(dǎo)致連接數(shù)太多。容器如果發(fā)生熱遷移，如果不是分布式存儲(chǔ)，掛載庫可能出現(xiàn)異常。技術(shù)實(shí)現(xiàn)思路1、發(fā)明目的：本發(fā)明的目的是提供一種基于云邊融合的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)及方法，解決現(xiàn)有技術(shù)中的問題，減少了對實(shí)時(shí)庫的直接訪問，降低了延遲，提高了數(shù)據(jù)訪問速度，優(yōu)化數(shù)據(jù)訪問性能。2、技術(shù)方案：本發(fā)明所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，包括scada宿主機(jī)、一級緩存服務(wù)架構(gòu)和二級緩存服務(wù)架構(gòu)；電力微服務(wù)采集的數(shù)據(jù)存儲(chǔ)到一級緩存服務(wù)架構(gòu)中，然后將數(shù)據(jù)更新到二級緩存服務(wù)架構(gòu)中，最后存儲(chǔ)到scada宿主機(jī)中；數(shù)據(jù)處理服務(wù)進(jìn)行實(shí)時(shí)庫訪問時(shí)，通過動(dòng)態(tài)庫的方式調(diào)用一級緩存服務(wù)。3、進(jìn)一步地，所述一級緩存服務(wù)架構(gòu)包括數(shù)據(jù)存儲(chǔ)模塊和模型同步模塊，數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)該容器的實(shí)時(shí)庫模型及數(shù)據(jù)，服務(wù)啟動(dòng)時(shí)，模型同步模塊發(fā)送模型同步下行請求來調(diào)用二級緩存服務(wù)，數(shù)據(jù)存儲(chǔ)模塊通過模型同步模塊將數(shù)據(jù)存儲(chǔ)模塊的緩存進(jìn)行構(gòu)建；4、所述二級緩存服務(wù)架構(gòu)包括模型庫變化監(jiān)測服務(wù)模塊，模型庫變化監(jiān)測服務(wù)模塊用于處理一級緩存服務(wù)的模型同步下行請求，并監(jiān)視下裝實(shí)時(shí)庫表信息。5、進(jìn)一步地，所述一級緩存服務(wù)架構(gòu)包括接口模塊，接口模塊包括數(shù)據(jù)讀取接口和數(shù)據(jù)更新接口；數(shù)據(jù)讀取接口和數(shù)據(jù)更新接口優(yōu)先訪問數(shù)據(jù)存儲(chǔ)模塊，如果數(shù)據(jù)存儲(chǔ)模塊無該模型即缺頁時(shí)，則通過調(diào)用模型同步模塊將該模型緩存到數(shù)據(jù)存儲(chǔ)模塊。6、進(jìn)一步地，所述接口模塊還包括數(shù)據(jù)增刪接口，數(shù)據(jù)增刪接口直接調(diào)用二級緩存服務(wù)更新實(shí)時(shí)庫，并將更新通知發(fā)送給內(nèi)部模型更新通知通道。7、進(jìn)一步地，數(shù)據(jù)存儲(chǔ)模塊的緩存大小支持動(dòng)態(tài)伸縮；數(shù)據(jù)存儲(chǔ)模塊周期性巡查緩存數(shù)據(jù)是否有更新，當(dāng)數(shù)據(jù)有更新時(shí)，則更新緩存數(shù)據(jù)的同時(shí)將更新數(shù)據(jù)推送到數(shù)據(jù)更新通道；當(dāng)接收數(shù)據(jù)更新通道的數(shù)據(jù)時(shí)，根據(jù)時(shí)間戳及節(jié)點(diǎn)校驗(yàn)后進(jìn)行緩存更新。8、進(jìn)一步地，所述二級緩存服務(wù)架構(gòu)包括數(shù)據(jù)更新處理服務(wù)模塊，數(shù)據(jù)更新處理服務(wù)模塊用于接收并處理容器內(nèi)scada更新的數(shù)據(jù)；接收數(shù)據(jù)更新通道數(shù)據(jù)，對非量測、狀態(tài)值數(shù)據(jù)直接入庫；對量測類、狀態(tài)值類數(shù)據(jù)利用時(shí)標(biāo)存儲(chǔ)模塊對接收到的數(shù)據(jù)進(jìn)行時(shí)標(biāo)校驗(yàn)，校驗(yàn)通過并入庫；并對更新通道數(shù)據(jù)進(jìn)行時(shí)標(biāo)數(shù)據(jù)存儲(chǔ)；對接收的量測數(shù)據(jù)異源校驗(yàn)，如果校驗(yàn)不通過，需要需要交該數(shù)據(jù)轉(zhuǎn)發(fā)到數(shù)據(jù)快照通道；定期刪除時(shí)標(biāo)數(shù)據(jù)存儲(chǔ)中過期的量測數(shù)據(jù)、量測值。9、進(jìn)一步地，所述二級緩存服務(wù)架構(gòu)包括數(shù)據(jù)快照處理服務(wù)模塊，數(shù)據(jù)快照處理服務(wù)模塊用于異源數(shù)據(jù)的快照存儲(chǔ)；接收數(shù)據(jù)快照通道數(shù)據(jù)，對快照進(jìn)行存儲(chǔ)入庫；對過期快照數(shù)據(jù)進(jìn)行環(huán)形進(jìn)行刪除。10、本發(fā)明所述電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法，電力微服務(wù)采集的數(shù)據(jù)存儲(chǔ)到一級緩存服務(wù)架構(gòu)中，然后將數(shù)據(jù)更新到二級緩存服務(wù)架構(gòu)中，最后存儲(chǔ)到scada宿主機(jī)中；數(shù)據(jù)處理服務(wù)進(jìn)行實(shí)時(shí)庫訪問時(shí)，通過動(dòng)態(tài)庫的方式調(diào)用一級緩存服務(wù)。11、本發(fā)明所述電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被加載至處理器時(shí)實(shí)現(xiàn)所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法。12、本發(fā)明所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法。13、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：本發(fā)明通過引入一級緩存和二級緩存機(jī)制，減少了對實(shí)時(shí)庫的直接訪問，降低了延遲，提高了數(shù)據(jù)訪問速度，優(yōu)化數(shù)據(jù)訪問性能。緩存機(jī)制支持動(dòng)態(tài)數(shù)據(jù)管理，可以根據(jù)數(shù)據(jù)的訪問頻率和時(shí)效性動(dòng)態(tài)調(diào)整緩存大小和內(nèi)容，優(yōu)化內(nèi)存和存儲(chǔ)資源的使用。一級緩存直接集成在數(shù)據(jù)處理服務(wù)中，能夠捕獲并響應(yīng)頻繁的數(shù)據(jù)訪問請求。這減少了對底層實(shí)時(shí)庫的直接訪問次數(shù)，從而減輕了數(shù)據(jù)庫的負(fù)載，避免了潛在的性能瓶頸。二級緩存作為數(shù)據(jù)的備份層，主要處理數(shù)據(jù)的寫入操作。這種讀寫分離的設(shè)計(jì)允許系統(tǒng)在不影響數(shù)據(jù)讀取性能的情況下，高效地處理數(shù)據(jù)寫入，進(jìn)一步提高了整體性能。本發(fā)明采用云邊融合架構(gòu)，顯著提升了電網(wǎng)實(shí)時(shí)監(jiān)控系統(tǒng)的靈活性和擴(kuò)展性。技術(shù)特征：1.一種電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，包括scada宿主機(jī)、一級緩存服務(wù)架構(gòu)和二級緩存服務(wù)架構(gòu)；電力微服務(wù)采集的數(shù)據(jù)存儲(chǔ)到一級緩存服務(wù)架構(gòu)中，然后將數(shù)據(jù)更新到二級緩存服務(wù)架構(gòu)中，最后存儲(chǔ)到scada宿主機(jī)中；數(shù)據(jù)處理服務(wù)進(jìn)行實(shí)時(shí)庫訪問時(shí)，通過動(dòng)態(tài)庫的方式調(diào)用一級緩存服務(wù)。2.根據(jù)權(quán)利要求1所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，所述一級緩存服務(wù)架構(gòu)包括數(shù)據(jù)存儲(chǔ)模塊和模型同步模塊，數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)該容器的實(shí)時(shí)庫模型及數(shù)據(jù)，服務(wù)啟動(dòng)時(shí)，模型同步模塊發(fā)送模型同步下行請求來調(diào)用二級緩存服務(wù)，數(shù)據(jù)存儲(chǔ)模塊通過模型同步模塊將數(shù)據(jù)存儲(chǔ)模塊的緩存進(jìn)行構(gòu)建；3.根據(jù)權(quán)利要求2所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，所述一級緩存服務(wù)架構(gòu)包括接口模塊，接口模塊包括數(shù)據(jù)讀取接口和數(shù)據(jù)更新接口；4.根據(jù)權(quán)利要求2所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，所述接口模塊還包括數(shù)據(jù)增刪接口，數(shù)據(jù)增刪接口直接調(diào)用二級緩存服務(wù)更新實(shí)時(shí)庫，并將更新通知發(fā)送給內(nèi)部模型更新通知通道。5.根據(jù)權(quán)利要求2所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，數(shù)據(jù)存儲(chǔ)模塊的緩存大小支持動(dòng)態(tài)伸縮；數(shù)據(jù)存儲(chǔ)模塊周期性巡查緩存數(shù)據(jù)是否有更新，當(dāng)數(shù)據(jù)有更新時(shí)，則更新緩存數(shù)據(jù)的同時(shí)將更新數(shù)據(jù)推送到數(shù)據(jù)更新通道；當(dāng)接收數(shù)據(jù)更新通道的數(shù)據(jù)時(shí)，根據(jù)時(shí)間戳及節(jié)點(diǎn)校驗(yàn)后進(jìn)行緩存更新。6.根據(jù)權(quán)利要求5所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，所述二級緩存服務(wù)架構(gòu)包括數(shù)據(jù)更新處理服務(wù)模塊，數(shù)據(jù)更新處理服務(wù)模塊用于接收并處理容器內(nèi)scada更新的數(shù)據(jù)；接收數(shù)據(jù)更新通道數(shù)據(jù)，對非量測、狀態(tài)值數(shù)據(jù)直接入庫；對量測類、狀態(tài)值類數(shù)據(jù)利用時(shí)標(biāo)存儲(chǔ)模塊對接收到的數(shù)據(jù)進(jìn)行時(shí)標(biāo)校驗(yàn)，校驗(yàn)通過并入庫；并對更新通道數(shù)據(jù)進(jìn)行時(shí)標(biāo)數(shù)據(jù)存儲(chǔ)；對接收的量測數(shù)據(jù)異源校驗(yàn)，如果校驗(yàn)不通過，需要需要交該數(shù)據(jù)轉(zhuǎn)發(fā)到數(shù)據(jù)快照通道；定期刪除時(shí)標(biāo)數(shù)據(jù)存儲(chǔ)中過期的量測數(shù)據(jù)、量測值。7.根據(jù)權(quán)利要求6所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)，其特征在于，所述二級緩存服務(wù)架構(gòu)包括數(shù)據(jù)快照處理服務(wù)模塊，數(shù)據(jù)快照處理服務(wù)模塊用于異源數(shù)據(jù)的快照存儲(chǔ)；接收數(shù)據(jù)快照通道數(shù)據(jù)，對快照進(jìn)行存儲(chǔ)入庫；對過期快照數(shù)據(jù)進(jìn)行環(huán)形進(jìn)行刪除。8.一種電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法，其特征在于，電力微服務(wù)采集的數(shù)據(jù)存儲(chǔ)到一級緩存服務(wù)架構(gòu)中，然后將數(shù)據(jù)更新到二級緩存服務(wù)架構(gòu)中，最后存儲(chǔ)到scada宿主機(jī)中；數(shù)據(jù)處理服務(wù)進(jìn)行實(shí)時(shí)庫訪問時(shí)，通過動(dòng)態(tài)庫的方式調(diào)用一級緩存服務(wù)。9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被加載至處理器時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求8所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法。10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求8所述的電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問方法。技術(shù)總結(jié)本發(fā)明公開了一種電網(wǎng)實(shí)時(shí)監(jiān)控中數(shù)據(jù)高速訪問系統(tǒng)及方法，包括scada宿主機(jī)、一級緩存服務(wù)架構(gòu)和二級緩存服務(wù)架構(gòu)；電力微服務(wù)采集的數(shù)據(jù)存儲(chǔ)到一級緩存服務(wù)架構(gòu)中，然后將數(shù)據(jù)更新到二級緩存服務(wù)架構(gòu)中，最后存儲(chǔ)到scada宿主機(jī)中；數(shù)據(jù)處理服務(wù)進(jìn)行實(shí)時(shí)庫訪問時(shí)，通過動(dòng)態(tài)庫的方式調(diào)用一級緩存服務(wù)。本發(fā)明通過引入一級緩存和二級緩存機(jī)制，減少了對實(shí)時(shí)庫的直接訪問，降低了延遲，提高了數(shù)據(jù)訪問速度，優(yōu)化數(shù)據(jù)訪問性能。技術(shù)研發(fā)人員：王瑞,唐元合,杜剛,盛振明,岑紅星,馬潔,薛世陽,趙曉健,郭耀松,張昊,邰曈,楊思捷受保護(hù)的技術(shù)使用者：國電南瑞南京控制系統(tǒng)有限公司技術(shù)研發(fā)日：技術(shù)公布日：2024/12/26