一種海量用電信息采集數(shù)據(jù)的管理方法及其系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明涉及一種海量用電信息采集數(shù)據(jù)的管理方法及其系統(tǒng)，所述方法包括數(shù)據(jù)存儲(chǔ)方法和數(shù)據(jù)提取方法，通過(guò)數(shù)據(jù)庫(kù)或分布式存儲(chǔ)調(diào)度模塊為不同的數(shù)據(jù)指定不同的存儲(chǔ)目標(biāo)，按照策略進(jìn)行數(shù)據(jù)的存儲(chǔ)和提取。所述系統(tǒng)包括應(yīng)用服務(wù)器、分布式存儲(chǔ)調(diào)度模塊、存儲(chǔ)服務(wù)子模塊和數(shù)據(jù)庫(kù)；所述應(yīng)用服務(wù)器分別與分布式存儲(chǔ)調(diào)度模塊和數(shù)據(jù)量服務(wù)器連接；所述分布式存儲(chǔ)調(diào)度模塊與存儲(chǔ)服務(wù)子模塊連接。本發(fā)明以較低成本實(shí)現(xiàn)系統(tǒng)的高擴(kuò)展性，在系統(tǒng)擴(kuò)容等方面提供了極大的便利。解決了用電信息采集系統(tǒng)中，單獨(dú)使用關(guān)系型數(shù)據(jù)庫(kù)處理大規(guī)模量測(cè)數(shù)據(jù)導(dǎo)致的高昂費(fèi)用和性能瓶頸，以及單獨(dú)使用分布式文件系統(tǒng)處理大規(guī)模數(shù)據(jù)產(chǎn)生的實(shí)時(shí)性差的問(wèn)題。
【專(zhuān)利說(shuō)明】一種海量用電信息采集數(shù)據(jù)的管理方法及其系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用電信息采集數(shù)據(jù)管理系統(tǒng)，具體講涉及一種海量用電信息采集 數(shù)據(jù)的管理方法及其系統(tǒng)。

【背景技術(shù)】
[0002] 用電信息采集系統(tǒng)是測(cè)量、收集、儲(chǔ)存、分析和運(yùn)用用戶用電信息的完整的網(wǎng)絡(luò)和 系統(tǒng)。是電力公司用于電能計(jì)費(fèi)、網(wǎng)損分析、負(fù)荷預(yù)測(cè)及電網(wǎng)故障診斷等業(yè)務(wù)的基礎(chǔ)。
[0003] 隨著全社會(huì)用電規(guī)模的不斷擴(kuò)大，用電信息采集系統(tǒng)管理的數(shù)據(jù)量也在飛速增 長(zhǎng)。例如一個(gè)省級(jí)電力公司的用電信息采集系統(tǒng)管理的智能電能表數(shù)量往往要超過(guò)1000 萬(wàn)只。按每只電能表每天15分鐘間隔產(chǎn)生的電量數(shù)據(jù)來(lái)計(jì)算，每天僅電能表電量抄表數(shù)據(jù) 就有10億多條，這其中還不包含像電壓、電流等其他負(fù)荷數(shù)據(jù)?，F(xiàn)有的用電信息采集系統(tǒng) 用關(guān)系型數(shù)據(jù)庫(kù)保存數(shù)據(jù)。面對(duì)如此龐大的數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫(kù)在數(shù)據(jù)的快速存儲(chǔ)、抽取、 計(jì)算和分析等各個(gè)方面都無(wú)法滿足性能要求，極大的限制了對(duì)采集數(shù)據(jù)的分析和應(yīng)用。


【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提成一種海量用電信息采集數(shù)據(jù)的管理方法及系 統(tǒng)，支持更大范圍更高密度的用電信息采集數(shù)據(jù)的存儲(chǔ)和使用，增強(qiáng)數(shù)據(jù)存儲(chǔ)訪問(wèn)速度，挖 掘其潛在價(jià)值，為配用電網(wǎng)絡(luò)優(yōu)化、重構(gòu)、優(yōu)質(zhì)運(yùn)行和資產(chǎn)管理等高級(jí)應(yīng)用提供強(qiáng)有力的支 撐。本發(fā)明具體將用電信息采集數(shù)據(jù)按其數(shù)據(jù)類(lèi)型分別存入分布式文件系統(tǒng)和關(guān)系型數(shù)據(jù) 庫(kù)，以避免存儲(chǔ)瓶頸，提高查詢和分析效率，充分支持高級(jí)量測(cè)體系的各項(xiàng)應(yīng)用。
[0005] 本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的：
[0006] -種海量用電信息采集數(shù)據(jù)的管理方法，其改進(jìn)之處在于，所述方法包括數(shù)據(jù)存 儲(chǔ)方法和數(shù)據(jù)提取方法，通過(guò)數(shù)據(jù)庫(kù)或分布式存儲(chǔ)調(diào)度模塊為不同的數(shù)據(jù)指定不同的存儲(chǔ) 目標(biāo)，按照策略進(jìn)行數(shù)據(jù)的存儲(chǔ)和提取。
[0007] 優(yōu)選的，所述數(shù)據(jù)存儲(chǔ)方法包括
[0008] (2· 1)應(yīng)用服務(wù)器接收數(shù)據(jù)；
[0009] (2. 2)根據(jù)數(shù)據(jù)分類(lèi)表的規(guī)則、分析待處理的數(shù)據(jù)類(lèi)型，將時(shí)序數(shù)據(jù)發(fā)送至分布式 存儲(chǔ)調(diào)度模塊存儲(chǔ)，業(yè)務(wù)和管理數(shù)據(jù)交由數(shù)據(jù)庫(kù)存儲(chǔ)；
[0010] (2. 3)分布式存儲(chǔ)調(diào)度模塊根據(jù)存儲(chǔ)策略，指定相關(guān)存儲(chǔ)服務(wù)子節(jié)點(diǎn)執(zhí)行相應(yīng)的 數(shù)據(jù)存儲(chǔ)任務(wù)；
[0011] (2. 4)存儲(chǔ)服務(wù)子節(jié)點(diǎn)執(zhí)行存儲(chǔ)任務(wù)，存儲(chǔ)數(shù)據(jù)。
[0012] 優(yōu)選的，所述數(shù)據(jù)提取方法包括
[0013] (3. 1)根據(jù)數(shù)據(jù)請(qǐng)求，應(yīng)用服務(wù)器判斷該請(qǐng)求所包含的數(shù)據(jù)類(lèi)型；
[0014] (3. 2)根據(jù)該數(shù)據(jù)請(qǐng)求所涉及到的數(shù)據(jù)類(lèi)型向分布式存儲(chǔ)調(diào)度模塊發(fā)出指令，獲 取時(shí)序數(shù)據(jù)及其匯總統(tǒng)計(jì)結(jié)果，向數(shù)據(jù)庫(kù)發(fā)出指令獲取相應(yīng)的管理數(shù)據(jù)；
[0015] (3. 3)分布式存儲(chǔ)調(diào)度模塊指定相應(yīng)的分布式存儲(chǔ)子節(jié)點(diǎn)執(zhí)行數(shù)據(jù)獲取以及匯總 統(tǒng)計(jì)任務(wù)；
[0016] (3. 4)存儲(chǔ)服務(wù)子節(jié)點(diǎn)在本地執(zhí)行數(shù)據(jù)抽取和匯總統(tǒng)計(jì)任務(wù)；
[0017] (3. 5)分布式存儲(chǔ)調(diào)度模塊匯總各存儲(chǔ)服務(wù)子節(jié)點(diǎn)的執(zhí)行結(jié)果；
[0018] (3. 6)服務(wù)器整合分布式存儲(chǔ)調(diào)度模塊和數(shù)據(jù)庫(kù)的結(jié)果，形成數(shù)據(jù)返回給數(shù)據(jù)請(qǐng) 求者。
[0019] 優(yōu)選的，所述方法包括擴(kuò)容方法
[0020] (4. 1)在分布式存儲(chǔ)調(diào)度模塊中添加新的服務(wù)器；
[0021] (4. 2)對(duì)新添加的服務(wù)器注冊(cè)；
[0022] (4. 3)分布式存儲(chǔ)調(diào)度模塊將該新添加的服務(wù)器納入管理。
[0023] 進(jìn)一步地，所述策略為按照特性分為時(shí)序數(shù)據(jù)和管理數(shù)據(jù)的用電信息采集數(shù)據(jù)， 由智能電能表裝置按一定頻率和周期產(chǎn)生的量測(cè)數(shù)據(jù)的時(shí)序數(shù)據(jù)；所述管理數(shù)據(jù)是指配置 信息以及各種與業(yè)務(wù)相關(guān)的信息。
[0024] 本發(fā)明基于另一目的提供的一種海量用電信息采集數(shù)據(jù)的管理系統(tǒng)，其改進(jìn)之處 在于，所述系統(tǒng)包括應(yīng)用服務(wù)器、分布式存儲(chǔ)調(diào)度模塊、存儲(chǔ)服務(wù)子模塊和數(shù)據(jù)庫(kù)；
[0025] 所述應(yīng)用服務(wù)器分別與分布式存儲(chǔ)調(diào)度模塊和數(shù)據(jù)量服務(wù)器連接；
[0026] 所述分布式存儲(chǔ)調(diào)度模塊與存儲(chǔ)服務(wù)子模塊連接。
[0027] 優(yōu)選的，所述分布式存儲(chǔ)調(diào)度模塊執(zhí)行數(shù)據(jù)統(tǒng)計(jì)和抽取任務(wù)，負(fù)責(zé)向相關(guān)存儲(chǔ)服 務(wù)子模塊發(fā)布本地統(tǒng)計(jì)和抽取任務(wù)，并對(duì)各存儲(chǔ)服務(wù)子模塊的統(tǒng)計(jì)和抽取結(jié)果進(jìn)行匯總。
[0028] 優(yōu)選的，所述存儲(chǔ)服務(wù)子節(jié)點(diǎn)在本地保存數(shù)據(jù)或者執(zhí)行統(tǒng)計(jì)和抽取任務(wù)并將結(jié)果 反饋至分布式存儲(chǔ)調(diào)度模塊。
[0029] 優(yōu)選的，所述數(shù)據(jù)庫(kù)包括數(shù)據(jù)庫(kù)服務(wù)器以及備份數(shù)據(jù)庫(kù)服務(wù)器，其用于存儲(chǔ)和提 取檔案數(shù)據(jù)。
[0030] 與現(xiàn)有技術(shù)比，本發(fā)明的有益效果為：
[0031] 本發(fā)明滿足了對(duì)海量用電采集數(shù)據(jù)的快速存儲(chǔ)和處理的需求，并能以較低成本實(shí) 現(xiàn)系統(tǒng)的高擴(kuò)展性，在系統(tǒng)擴(kuò)容等方面提供了極大的便利。
[0032] 本發(fā)明解決了用電信息采集系統(tǒng)中，單獨(dú)使用關(guān)系型數(shù)據(jù)庫(kù)處理大規(guī)模量測(cè)數(shù)據(jù) 導(dǎo)致的高昂費(fèi)用和性能瓶頸，以及單獨(dú)使用分布式文件系統(tǒng)處理大規(guī)模數(shù)據(jù)產(chǎn)生的實(shí)時(shí)性 差的問(wèn)題。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0033] 圖1為本發(fā)明提供的一種海量用電信息采集數(shù)據(jù)的管理方法示意圖。
[0034] 圖2為本發(fā)明提供的一種海量用電信息采集數(shù)據(jù)的管理方法數(shù)據(jù)存儲(chǔ)流程圖。
[0035] 圖3為本發(fā)明提供的一種海量用電信息采集數(shù)據(jù)的管理方法數(shù)據(jù)提取流程圖。

【具體實(shí)施方式】
[0036] 下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)說(shuō)明。
[0037] 為了更好的解決海量用電采集數(shù)據(jù)的存儲(chǔ)和訪問(wèn)的問(wèn)題，首先本發(fā)明提出將用電 信息采集數(shù)據(jù)按照特性分為時(shí)序數(shù)據(jù)和管理數(shù)據(jù)。時(shí)序數(shù)據(jù)是由智能電能表等裝置按一定 頻率和周期產(chǎn)生的量測(cè)數(shù)據(jù)（如電量、電壓等），主要特點(diǎn)是數(shù)據(jù)量大、不斷累加、極少或者 從不進(jìn)行數(shù)據(jù)修改，是用來(lái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和分析的基礎(chǔ)。管理數(shù)據(jù)是指系統(tǒng)的配置信息以 及各種與業(yè)務(wù)相關(guān)的信息，主要特點(diǎn)是數(shù)據(jù)量相對(duì)較小、有頻繁修改的需求。
[0038] 其次，基于上述數(shù)據(jù)分類(lèi)方法，采用非結(jié)構(gòu)化分布式文件系統(tǒng)和結(jié)構(gòu)化的關(guān)系型 數(shù)據(jù)庫(kù)相結(jié)合，對(duì)系統(tǒng)中所有數(shù)據(jù)進(jìn)行分類(lèi)存儲(chǔ)。海量時(shí)序數(shù)據(jù)存入分布式文件系統(tǒng)，借助 分布式文件系統(tǒng)并行計(jì)算的優(yōu)勢(shì)實(shí)現(xiàn)對(duì)海量時(shí)序數(shù)據(jù)高速運(yùn)算；管理數(shù)據(jù)存入關(guān)系型數(shù)據(jù) 庫(kù)，同時(shí)維護(hù)兩者之間的數(shù)據(jù)關(guān)聯(lián)。
[0039] 本發(fā)明由應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)，分布式存儲(chǔ)調(diào)度模塊，存儲(chǔ)服務(wù)子模塊構(gòu)成。
[0040] 應(yīng)用服務(wù)器：
[0041] 負(fù)責(zé)數(shù)據(jù)的分流和整合，控制分布式存儲(chǔ)系統(tǒng)訪問(wèn)調(diào)度模塊和數(shù)據(jù)庫(kù)訪問(wèn)接口， 操作分布式存儲(chǔ)系統(tǒng)和數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)時(shí)序數(shù)據(jù)在分布式存儲(chǔ)系統(tǒng)以及運(yùn)營(yíng)管理數(shù) 據(jù)在關(guān)系型數(shù)據(jù)庫(kù)的存儲(chǔ)和訪問(wèn)。
[0042] 分布式存儲(chǔ)調(diào)度模塊：
[0043] 執(zhí)行數(shù)據(jù)存儲(chǔ)任務(wù)的時(shí)候以分布式存儲(chǔ)的方法和適當(dāng)?shù)囊?guī)則將時(shí)序數(shù)據(jù)保存在 若干相應(yīng)的存儲(chǔ)服務(wù)子模塊上；在執(zhí)行數(shù)據(jù)統(tǒng)計(jì)和抽取任務(wù)的時(shí)候，負(fù)責(zé)向相關(guān)存儲(chǔ)服務(wù) 子模塊發(fā)布本地統(tǒng)計(jì)和抽取任務(wù)，并對(duì)各存儲(chǔ)服務(wù)子模塊的統(tǒng)計(jì)和抽取結(jié)果進(jìn)行匯總。 [0044] 存儲(chǔ)服務(wù)子模塊：
[0045] 分布式存儲(chǔ)調(diào)度模塊一般同時(shí)管理多個(gè)存儲(chǔ)服務(wù)子模塊。存儲(chǔ)服務(wù)子模塊按照分 布式存儲(chǔ)調(diào)度模塊的要求，在本地保存數(shù)據(jù)或者執(zhí)行統(tǒng)計(jì)和抽取任務(wù)并將結(jié)果反饋給分布 式存儲(chǔ)調(diào)度模塊。
[0046] 數(shù)據(jù)庫(kù)服務(wù)器：
[0047] 包含數(shù)據(jù)庫(kù)服務(wù)器以及備份數(shù)據(jù)庫(kù)服務(wù)器。用來(lái)存儲(chǔ)和提取檔案數(shù)據(jù)。
[0048] 本發(fā)明的一種海量用電信息采集數(shù)據(jù)的管理方法步驟如下：
[0049] 首先通過(guò)對(duì)用電信息采集系統(tǒng)的數(shù)據(jù)進(jìn)行深入分析和總結(jié)，根據(jù)其特性對(duì)其進(jìn)行 分類(lèi)。
[0050] 具體分類(lèi)如下表所示：
[0051] 表1數(shù)據(jù)分類(lèi)表
[0052]

【權(quán)利要求】
1. 一種海量用電信息采集數(shù)據(jù)的管理方法，其特征在于，所述方法包括數(shù)據(jù)存儲(chǔ)方法 和數(shù)據(jù)提取方法，通過(guò)數(shù)據(jù)庫(kù)或分布式存儲(chǔ)調(diào)度模塊為不同的數(shù)據(jù)指定不同的存儲(chǔ)目標(biāo)， 按照策略進(jìn)行數(shù)據(jù)的存儲(chǔ)和提取。
2. 如權(quán)利要求1所述的一種海量用電信息采集數(shù)據(jù)的管理方法，其特征在于，所述數(shù) 據(jù)存儲(chǔ)方法包括 (2. 1)應(yīng)用服務(wù)器接收數(shù)據(jù)； (2. 2)根據(jù)數(shù)據(jù)分類(lèi)表的規(guī)則、分析待處理的數(shù)據(jù)類(lèi)型，將時(shí)序數(shù)據(jù)發(fā)送至分布式存儲(chǔ) 調(diào)度模塊存儲(chǔ)，業(yè)務(wù)和管理數(shù)據(jù)交由數(shù)據(jù)庫(kù)存儲(chǔ)； (2. 3)分布式存儲(chǔ)調(diào)度模塊根據(jù)存儲(chǔ)策略，指定相關(guān)存儲(chǔ)服務(wù)子節(jié)點(diǎn)執(zhí)行相應(yīng)的數(shù)據(jù) 存儲(chǔ)任務(wù)； (2. 4)存儲(chǔ)服務(wù)子節(jié)點(diǎn)執(zhí)行存儲(chǔ)任務(wù)，存儲(chǔ)數(shù)據(jù)。
3. 如權(quán)利要求1所述的一種海量用電信息采集數(shù)據(jù)的管理方法，其特征在于，所述數(shù) 據(jù)提取方法包括 (3. 1)根據(jù)數(shù)據(jù)請(qǐng)求，應(yīng)用服務(wù)器判斷該請(qǐng)求所包含的數(shù)據(jù)類(lèi)型； (3. 2)根據(jù)該數(shù)據(jù)請(qǐng)求所涉及到的數(shù)據(jù)類(lèi)型向分布式存儲(chǔ)調(diào)度模塊發(fā)出指令，獲取時(shí) 序數(shù)據(jù)及其匯總統(tǒng)計(jì)結(jié)果，向數(shù)據(jù)庫(kù)發(fā)出指令獲取相應(yīng)的管理數(shù)據(jù)； (3. 3)分布式存儲(chǔ)調(diào)度模塊指定相應(yīng)的分布式存儲(chǔ)子節(jié)點(diǎn)執(zhí)行數(shù)據(jù)獲取以及匯總統(tǒng)計(jì) 任務(wù)； (3. 4)存儲(chǔ)服務(wù)子節(jié)點(diǎn)在本地執(zhí)行數(shù)據(jù)抽取和匯總統(tǒng)計(jì)任務(wù)； (3. 5)分布式存儲(chǔ)調(diào)度模塊匯總各存儲(chǔ)服務(wù)子節(jié)點(diǎn)的執(zhí)行結(jié)果； (3. 6)服務(wù)器整合分布式存儲(chǔ)調(diào)度模塊和數(shù)據(jù)庫(kù)的結(jié)果，形成數(shù)據(jù)返回給數(shù)據(jù)請(qǐng)求者。
4. 如權(quán)利要求1所述的一種海量用電信息采集數(shù)據(jù)的管理方法，其特征在于，所述方 法包括擴(kuò)容方法 (4. 1)在分布式存儲(chǔ)調(diào)度模塊中添加新的服務(wù)器； (4. 2)對(duì)新添加的服務(wù)器注冊(cè)； (4. 3)分布式存儲(chǔ)調(diào)度模塊將該新添加的服務(wù)器納入管理。
5. 如權(quán)利要求1所述的一種海量用電信息采集數(shù)據(jù)的管理方法，其特征在于，所述策 略為按照特性分為時(shí)序數(shù)據(jù)和管理數(shù)據(jù)的用電信息采集數(shù)據(jù)，由智能電能表裝置按一定頻 率和周期產(chǎn)生的量測(cè)數(shù)據(jù)的時(shí)序數(shù)據(jù)；所述管理數(shù)據(jù)是指配置信息以及各種與業(yè)務(wù)相關(guān)的 信息。
6. -種海量用電信息采集數(shù)據(jù)的管理系統(tǒng)，其特征在于，所述系統(tǒng)包括應(yīng)用服務(wù)器、分 布式存儲(chǔ)調(diào)度模塊、存儲(chǔ)服務(wù)子模塊和數(shù)據(jù)庫(kù)； 所述應(yīng)用服務(wù)器分別與分布式存儲(chǔ)調(diào)度模塊和數(shù)據(jù)量服務(wù)器連接； 所述分布式存儲(chǔ)調(diào)度模塊與存儲(chǔ)服務(wù)子模塊連接。
7. 如權(quán)利要求6所述的一種海量用電信息采集數(shù)據(jù)的管理系統(tǒng)，其特征在于，所述分 布式存儲(chǔ)調(diào)度模塊執(zhí)行數(shù)據(jù)統(tǒng)計(jì)和抽取任務(wù)，負(fù)責(zé)向相關(guān)存儲(chǔ)服務(wù)子模塊發(fā)布本地統(tǒng)計(jì)和 抽取任務(wù)，并對(duì)各存儲(chǔ)服務(wù)子模塊的統(tǒng)計(jì)和抽取結(jié)果進(jìn)行匯總。
8. 如權(quán)利要求6所述的一種海量用電信息采集數(shù)據(jù)的管理系統(tǒng)，其特征在于，所述存 儲(chǔ)服務(wù)子節(jié)點(diǎn)在本地保存數(shù)據(jù)或者執(zhí)行統(tǒng)計(jì)和抽取任務(wù)并將結(jié)果反饋至分布式存儲(chǔ)調(diào)度 模塊。
9.如權(quán)利要求6所述的一種海量用電信息采集數(shù)據(jù)的管理系統(tǒng)，其特征在于，所述數(shù) 據(jù)庫(kù)包括數(shù)據(jù)庫(kù)服務(wù)器以及備份數(shù)據(jù)庫(kù)服務(wù)器，其用于存儲(chǔ)和提取檔案數(shù)據(jù)。
【文檔編號(hào)】G06Q50/06GK104268219SQ201410495839
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月24日 優(yōu)先權(quán)日:2014年9月24日
【發(fā)明者】欒文鵬, 張展國(guó), 雷鳴, 周逢權(quán), 徐大青 申請(qǐng)人:國(guó)家電網(wǎng)公司, 中國(guó)電力科學(xué)研究院, 許繼集團(tuán)有限公司, 國(guó)網(wǎng)浙江省電力公司