一種海量電力計量數(shù)據(jù)的快速檢索方法
【專利摘要】本發(fā)明公開了一種海量電力計量數(shù)據(jù)快速檢索方法，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特征在于：該方法首先從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)，并基于LVS技術(shù)進行服務(wù)器均衡進行快速入庫；然后將大規(guī)模數(shù)據(jù)按格式上送云平臺，云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，具有高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用；根據(jù)系統(tǒng)對各計量點電量、線損等的精確統(tǒng)計與計算，用戶可通過數(shù)據(jù)檢索服務(wù)，實施對電力計量數(shù)據(jù)的快速檢索。為對電流、電壓、功率因素、表碼等這類電力計量大規(guī)模數(shù)據(jù)能有效快速的提供檢索服務(wù)。
【專利說明】一種海量電力計量數(shù)據(jù)的快速檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及集群管理、云存儲服務(wù)、云數(shù)據(jù)庫服務(wù)、數(shù)據(jù)查詢、監(jiān)控管理、信息快速檢索等領(lǐng)域，具體為一種基于云計算技術(shù)的電力計量數(shù)據(jù)快速檢索方法。
【背景技術(shù)】
[0002]近年來，電網(wǎng)公司不斷投入電能計量自動化系統(tǒng)的建設(shè)，各供電局已基本建成了涵蓋各種計量點及采集終端的集信息采集、監(jiān)控、分析和計量管理于一體的計量自動化應(yīng)用平臺，完成了對電廠、變電站、公變、專變、低壓集抄等發(fā)電側(cè)、供電側(cè)、配電側(cè)、售電側(cè)的綜合性統(tǒng)一數(shù)據(jù)的自動采集監(jiān)。供電企業(yè)的抄表結(jié)算、電能計量管理、營銷管理、線損管理、錯峰管理、節(jié)能及優(yōu)質(zhì)服務(wù)等多項核心業(yè)務(wù)從手工人工水平發(fā)展到系統(tǒng)自動化水平，實現(xiàn)對居民用電的遠(yuǎn)程集中抄表功能。計量自動化系統(tǒng)與營銷管理系統(tǒng)、生產(chǎn)調(diào)度系統(tǒng)等均不同程度的通過數(shù)據(jù)接口實現(xiàn)了數(shù)據(jù)共享。規(guī)范了計量現(xiàn)場管理，提高了計量準(zhǔn)確率，為供電企業(yè)經(jīng)濟運行、配網(wǎng)生產(chǎn)管理、線損管理、電力營銷服務(wù)提供了先進的技術(shù)手段，提高了營銷管理自動化、信息化水平。然而，隨著系統(tǒng)的日趨完善和計量數(shù)據(jù)的積累，如何快速、有效地對計量數(shù)據(jù)進行檢索，已經(jīng)成為當(dāng)前電力企業(yè)越來越迫切想要解決的問題，如用電異常分析中最為直接和最為重要的指標(biāo)是線損異常，而線損異常分析需基于采集終端及相關(guān)計量系統(tǒng)收集到的電流、電壓、功率因素、表碼等數(shù)據(jù)，這些數(shù)據(jù)每日上億數(shù)據(jù)，每年幾百億，要對這類海量數(shù)據(jù)進行存儲，還要對數(shù)據(jù)進行快速檢索，傳統(tǒng)技術(shù)很難處理，目前的關(guān)系型數(shù)據(jù)庫到I億條的數(shù)據(jù)量將難以有效的進行管理和檢索查詢。因此以往關(guān)系型數(shù)據(jù)庫完全不能滿足需求，要能實現(xiàn)數(shù)據(jù)快速的檢索并支持模糊查詢，需要用到云計算相關(guān)技術(shù)。
[0003]本發(fā)明針對區(qū)計量主站系統(tǒng)的各類數(shù)據(jù)，研究電力計量信息的快速檢索方法，設(shè)計基于云計算技術(shù)的運算平臺。采用LVS(Linux Virtual Server)技術(shù),實現(xiàn)采集與導(dǎo)入節(jié)點機的集群管理；云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS (Hadoop DistributedFile System);云存儲數(shù)據(jù)庫建立基于HBase (Hadoop database),使用Hive進行結(jié)構(gòu)化存儲和檢索，并提供相應(yīng)的數(shù)據(jù)服務(wù)接口 ；搭建Ganglia監(jiān)控，實時監(jiān)控各個節(jié)點的狀態(tài)、性能、網(wǎng)絡(luò)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于云計算技術(shù)的海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，以解決現(xiàn)有計量數(shù)據(jù)量大，難以進行有效的電力管理和檢索查詢等問題。
[0005]為了達到上述目的，本發(fā)明所采用的技術(shù)方案為:
一種海量電力計量數(shù)據(jù)的快速檢索方法，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特征在于包括:
數(shù)據(jù)采集層直接面對電力終端，通過光纖專網(wǎng)、無線網(wǎng)絡(luò)、短信通信塔和相應(yīng)的通訊方式與終端進行數(shù)據(jù)交互。
[0006]所述的終端主要由負(fù)控終端、廠站終端、配網(wǎng)終端和集抄終端，以及相關(guān)數(shù)據(jù)采集設(shè)備組成，負(fù)責(zé)采集電力相關(guān)數(shù)據(jù)；其中，負(fù)控終端、廠站終端和配網(wǎng)終端通過無線網(wǎng)絡(luò)與數(shù)據(jù)采集層通信；集抄終端通過短信通信與與數(shù)據(jù)采集層通信。
[0007]所述的數(shù)據(jù)層包括數(shù)據(jù)庫服務(wù)器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號等通信方式與數(shù)據(jù)采集層及數(shù)據(jù)應(yīng)用層聯(lián)系。
[0008]所述的數(shù)據(jù)采集層采用“集群前置機”結(jié)構(gòu)，含若干臺前置機、一個短信服務(wù)器和一個前置路由器形成集群前置機，是前置采集部份。
[0009]所述的數(shù)據(jù)應(yīng)用層包括一組由含計算機構(gòu)成的服務(wù)器節(jié)點、交換機、路由器和用戶端，其中節(jié)點主要 有主節(jié)點、從節(jié)點、和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速的局域網(wǎng)或者地理分布的廣域網(wǎng)上，并與數(shù)據(jù)層的數(shù)據(jù)庫服務(wù)器連接；主節(jié)點負(fù)責(zé)負(fù)載調(diào)度(Load Balancing Scheduler),將用戶發(fā)出的請求調(diào)度到各服務(wù)器節(jié)點上,從而使得服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，用戶端訪問集群系統(tǒng)提供的網(wǎng)絡(luò)服務(wù)就像在訪問一臺高性能、高可用的服務(wù)器一樣。
[0010]本海量電力計量數(shù)據(jù)的快速檢索方法，基于云計算技術(shù)的運算平臺，采用LVS技術(shù)，實現(xiàn)采集與導(dǎo)入節(jié)點機的集群管理；云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，存儲數(shù)據(jù)以及存儲云數(shù)據(jù)庫元數(shù)據(jù)；云存儲數(shù)據(jù)庫建立基于HBase，使用Hive進行結(jié)構(gòu)化存儲和檢索，提供相應(yīng)的數(shù)據(jù)服務(wù)接口 ；可通過數(shù)據(jù)檢索服務(wù)，快速對實時負(fù)荷、電流電壓、負(fù)載率的快速檢索；搭建Ganglia監(jiān)控，以實時監(jiān)控各個節(jié)點的狀態(tài)、性能、網(wǎng)絡(luò)。用戶端實現(xiàn)對電流、電壓、功率因素、表碼等相關(guān)數(shù)據(jù)快速檢索可通過下面步驟完成:
步驟1:計量數(shù)據(jù)抽取，包括以下子步驟:
S1.1:確定抽取數(shù)據(jù)
確定檢索數(shù)據(jù)需用到的基礎(chǔ)數(shù)據(jù)信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數(shù)據(jù)信息；
51.2:抽取實時數(shù)據(jù)
從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)；
步驟2:服務(wù)器均衡，包括以下子步驟:
應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權(quán)LCS (Least-ConnectionScheduling)調(diào)度算法；
52.1:應(yīng)用LVS技術(shù)
應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器；LVS (LinuxVirtual Server)集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)；從LVS-DR均衡調(diào)度器為集群服務(wù)器的唯一入口點，用于接收用戶的請求，采用IP負(fù)載均衡算法選取一臺采集節(jié)點機，將包轉(zhuǎn)發(fā)過去；
S2.2:采集節(jié)點機部署
各個采集節(jié)點機部署采集程序及Keepalived模塊，Keepalived模塊負(fù)責(zé)對各節(jié)點進行健康狀況的檢測，確保處理TCP數(shù)據(jù)的節(jié)點可用；
S2.3:服務(wù)器負(fù)載分配
采用加權(quán)LCS調(diào)度算法確定服務(wù)器負(fù)載分配；權(quán)LCS調(diào)度算法實現(xiàn)；
步驟3:數(shù)據(jù)入庫，基于步驟2實現(xiàn)服務(wù)器均衡，進行大規(guī)模的數(shù)據(jù)快速入庫；用1^5技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權(quán)LCS調(diào)度算法；
步驟4:大數(shù)據(jù)導(dǎo)入云平臺，包括以下子步驟:
S4.1:建立云存儲平臺
云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，HDFS設(shè)計成適合運行在通用硬件commodity hardware上的分布式文件系統(tǒng),它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點；同時，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的，具有高度容錯性，HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用；
S4.2:建立云數(shù)據(jù)庫服務(wù)
云數(shù)據(jù)庫建立基于HBase，使用Hive進行結(jié)構(gòu)化存儲和檢索，提供相應(yīng)的數(shù)據(jù)服務(wù)接口 ；Hive是建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)，提供了一套方便的實施數(shù)據(jù)抽取(ETL)的工具，一種讓用戶對數(shù)據(jù)描述其結(jié)構(gòu)的機制，支持用戶對存儲在Hadoop中的海量數(shù)據(jù)進行查詢和分析；
步驟5:數(shù)據(jù)快速檢索，在上述步驟完成后，包括對實時負(fù)荷、電流電壓、負(fù)載率這類日數(shù)據(jù)量上億，年數(shù)據(jù)量上百億進行云存儲，建立HBASE的云數(shù)據(jù)庫，基于云存儲服務(wù)的方式提供大規(guī)模海量數(shù)據(jù)的存儲服務(wù)。通過HIVE開發(fā)接口提供快速的檢索服務(wù)，用戶可通過數(shù)據(jù)檢索服務(wù)，實施對實時負(fù)荷、電流電壓、負(fù)載率的快速檢索。
[0011]為實現(xiàn)以上要求，按照功能需求對數(shù)據(jù)檢索服務(wù)劃分為:檢索接口組件、檢索服務(wù)組件和檢索執(zhí)行組件。
[0012](I)檢索接口組件接收客戶端的數(shù)據(jù)檢索查詢請求，通過向分布式應(yīng)用服務(wù)注冊，同服務(wù)器端建立會話連接，與查詢服務(wù)組件進行交互，并返回查詢結(jié)果給客戶端。
[0013](2)檢索服務(wù)組件運行在各個數(shù)據(jù)服務(wù)器節(jié)點上，與查詢接口組件建立會話連接，對客戶端進行管理，負(fù)責(zé)響應(yīng)檢索查詢接口組件的查詢請求，對查詢請求進行調(diào)度管理，并將查詢的結(jié)果數(shù)據(jù)返回給查詢接口組件。
[0014](3)檢索執(zhí)行組件實現(xiàn)分布式的數(shù)據(jù)檢索，以原始狀態(tài)或內(nèi)插值擬合狀態(tài)返回給檢索服務(wù)組件。該組件通過調(diào)用本地接口獲取當(dāng)前節(jié)點的快照子系統(tǒng)實時數(shù)據(jù)、系統(tǒng)歷史數(shù)據(jù)，通過分布式應(yīng)用服務(wù)請求獲取備份節(jié)點數(shù)據(jù)。
[0015]本發(fā)明與已有技術(shù)相比具有以下優(yōu)點:
本發(fā)明云平臺基于Hadoop管理理念,利用Map/Reduce框架來處理數(shù)據(jù)，使Hadoop具有高效性的特點。Hadoop是并行工作的，以加快任務(wù)的處理速度，除此之外它還有很多特色的功能，因此可以說是云計算平臺上的最佳選擇。云計算系統(tǒng)采集與導(dǎo)入節(jié)點機的集群管理，采用LVS技術(shù)，LVS的伸縮空間比較大，如果對并發(fā)連接進行擴展，最多可以擴展到百萬級，具有高可擴展性的優(yōu)點。因此，相對于Microsoft集群支持的較少的節(jié)點數(shù)目、MOSIX集群依賴單個硬件供應(yīng)商等，基于LVS的集群是解決負(fù)載均衡的理想方式。
[0016]本發(fā)明方法簡單易行，便于實現(xiàn)，安裝簡單，基于云計算技術(shù)的運算平臺采用LVS技術(shù)，整個服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，無需修改客戶端和服務(wù)器端的程序。云存儲平臺采用Hadoop分布式文件系統(tǒng)(HDFS)，HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，同時，HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。建立HBASE的云數(shù)據(jù)庫，通過HIVE開發(fā)接口提供快速的檢索服務(wù)，對實時負(fù)荷、電流電壓這類日數(shù)據(jù)量上億，年數(shù)據(jù)量數(shù)百億進行云存儲并提供基于云的快速檢索服務(wù)。系統(tǒng)具有透明性、可伸縮性、高可用性和易管理性。
【專利附圖】

【附圖說明】
[0017]圖1是本發(fā)明的結(jié)構(gòu)示意圖；
圖2是本發(fā)明提出的一種負(fù)載動態(tài)平衡策略示意圖；
圖3是本發(fā)明的數(shù)據(jù)快速檢索流程示意圖。
【具體實施方式】
[0018]下面結(jié)合附圖，對本發(fā)明的技術(shù)方案作進一步具體的說明。
[0019]圖1所示，是是本發(fā)明的結(jié)構(gòu)示意圖，從圖中可知，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，以及數(shù)據(jù)應(yīng)用層。其中，終端主要由負(fù)控終端、廠站終端、配網(wǎng)終端和集抄終端，以及相關(guān)數(shù)據(jù)采集設(shè)備組成，負(fù)責(zé)采集電力相關(guān)數(shù)據(jù)；負(fù)控終端、廠站終端和配網(wǎng)終端通過無線網(wǎng)絡(luò)與數(shù)據(jù)采集層通信，集抄終端通過短信通信與與數(shù)據(jù)采集層通信。數(shù)據(jù)采集層采用“集群前置機”結(jié)構(gòu)，含若干臺前置機、一個短信服務(wù)器和一個前置路由器形成集群前置機，是前置采集部份，通過光纖專網(wǎng)、無線網(wǎng)絡(luò)、短信通信塔等通訊方式采集終端數(shù)據(jù)。數(shù)據(jù)層包括數(shù)據(jù)庫服務(wù)器，主要完成數(shù)據(jù)預(yù)處理、數(shù)據(jù)檢查和數(shù)據(jù)入庫等應(yīng)用邏輯功能。
[0020]數(shù)據(jù)應(yīng)用層采集與導(dǎo)入節(jié)點機的集群管理，基于LVS技術(shù)。LVS網(wǎng)絡(luò)架構(gòu)包括一組服務(wù)器節(jié)點、交換機、路由器和用戶端，其中節(jié)點主要有主節(jié)點、從節(jié)點、和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速的局域網(wǎng)或者地理分布的廣域網(wǎng)上，并與數(shù)據(jù)層的數(shù)據(jù)庫服務(wù)器連接；主節(jié)點負(fù)責(zé)負(fù)載調(diào)度(Load Balancing Scheduler),將用戶發(fā)出的請求調(diào)度到各服務(wù)器節(jié)點上，從而使得服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，用戶端訪問集群系統(tǒng)提供的網(wǎng)絡(luò)服務(wù)就像在訪問一臺高性能、高可用的服務(wù)器一樣。
[0021]從圖1中可知，本發(fā)明的數(shù)據(jù)采集層采用“集群前置機”方式，能實現(xiàn)大規(guī)模的數(shù)據(jù)快速入庫。前置機為數(shù)據(jù)接入前端，完成通信的核心功能，直接面對采集終端，本實施例
中采集終端主要采集的電流(I )、電壓)、功率因數(shù)(COS#)、表碼等計量數(shù)據(jù)。各部分
的作用為:
前置路由器作用:路由轉(zhuǎn)發(fā)，根據(jù)應(yīng)用服務(wù)器的報文，尋找此報文的終端地址所在的前置機n，將此報文轉(zhuǎn)發(fā)給相應(yīng)的前置機和相應(yīng)的主站模塊。
[0022]前置機進行數(shù)據(jù)匯總。對于下行數(shù)據(jù)，將數(shù)據(jù)匯總，統(tǒng)一將數(shù)據(jù)轉(zhuǎn)發(fā)給應(yīng)用服務(wù)器，為應(yīng)用服務(wù)器提供統(tǒng)一的數(shù)據(jù)接口。
[0023]通信調(diào)度:前置路由器統(tǒng)一調(diào)度各前置機，可以根據(jù)數(shù)據(jù)采集實時性高低級別和內(nèi)容，按照最優(yōu)方式進行負(fù)載均衡，互為備用，協(xié)同工作。多個前置機和一個前置路由器(可以還有備份前置路由器)形成集群前置機，是前置采集部分。
[0024]數(shù)據(jù)層還包括應(yīng)用服務(wù)器，通過網(wǎng)絡(luò)與數(shù)據(jù)采集層聯(lián)系。應(yīng)用服務(wù)器主要完成數(shù)據(jù)預(yù)處理、數(shù)據(jù)檢查、數(shù)據(jù)計算、用戶數(shù)據(jù)下發(fā)、采集任務(wù)調(diào)度和數(shù)據(jù)入庫等應(yīng)用邏輯功能，是數(shù)據(jù)預(yù)處理部分。
[0025]在這里采用“集群”的技術(shù)，前置接入服務(wù)器的數(shù)量可以根據(jù)實際情況進行擴展，如果要支持新增規(guī)約的終端，則只需要加入支持此規(guī)約的前置機，后續(xù)的前置路由器相應(yīng)配置一下，就可以實現(xiàn)不同類型、不同廠商的計量自動化終端的接入。
[0026]如圖2所示，是本發(fā)明提出一種負(fù)載動態(tài)平衡策略的設(shè)計框架，主要思想是根據(jù)LoadManager不斷接收真實服務(wù)器(RealServer,簡稱RS)的負(fù)載信息來調(diào)整RS的權(quán)值，以避免RS超載時依然收到大量請求，從而提高整個系統(tǒng)的吞吐率。
[0027]用戶端通過以下步驟能進行電流、電壓、功率因素、表碼相關(guān)數(shù)據(jù)的快速檢索，包括以下步驟:
步驟1:計量數(shù)據(jù)抽取；
步驟2:服務(wù)器均衡；
步驟3:數(shù)據(jù)入庫；
步驟4:大數(shù)據(jù)導(dǎo)入云平臺；
步驟5:數(shù)據(jù)快速檢索。
[0028]所述的步驟I包括以下子步驟:
S1.1:確定抽取數(shù)據(jù)
確定檢索數(shù)據(jù)需用到的基礎(chǔ)數(shù)據(jù)信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數(shù)據(jù)信息；
51.2:抽取實時數(shù)據(jù)
從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)。
[0029]所述的步驟2包括以下子步驟:
應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權(quán)LCS (Least-ConnectionScheduling)調(diào)度算法；
52.1:應(yīng)用LVS技術(shù)
應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器；LVS (LinuxVirtual Server)集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)；從LVS-DR均衡調(diào)度器為集群服務(wù)器的唯一入口點，用于接收用戶的請求，采用IP負(fù)載均衡算法選取一臺采集節(jié)點機，將包轉(zhuǎn)發(fā)過去；
S2.2:采集節(jié)點機部署
各個采集節(jié)點機部署采集程序及Keepalived模塊，Keepalived模塊負(fù)責(zé)對各節(jié)點進行健康狀況的檢測，確保處理TCP數(shù)據(jù)的節(jié)點可用；
S2.3:服務(wù)器負(fù)載分配
采用加權(quán)LCS調(diào)度算法確定服務(wù)器負(fù)載分配；權(quán)LCS調(diào)度算法實現(xiàn)，包括以下步驟:
(1)對服務(wù)器集合Sf= I^l5Sf23L>1)，確定每個服務(wù)器的權(quán)值
M?),設(shè)每個服務(wù)器節(jié)點已建立好的相應(yīng)連接數(shù)艱)0.<?<η),則服務(wù)器集群當(dāng)前總的連接數(shù)為:
M = L(S1) + L(S2) +L + L(Sn) (I)
(2)計算節(jié)點連接數(shù)與其權(quán)值的比例值，當(dāng)服務(wù)器Si滿足公式:
【權(quán)利要求】
1.一種海量電力計量數(shù)據(jù)的快速檢索方法，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特征在于: 數(shù)據(jù)采集層直接面對電力終端，通過光纖專網(wǎng)、無線網(wǎng)絡(luò)、短信通信塔和相應(yīng)的通訊方式與終端進行數(shù)據(jù)交互； 快速檢索包括以下步驟: 步驟1:計量數(shù)據(jù)抽??； 步驟2:服務(wù)器均衡； 步驟3:數(shù)據(jù)入庫； 步驟4:大數(shù)據(jù)導(dǎo)入云平臺； 步驟5:數(shù)據(jù)快速檢索。
2.根據(jù)權(quán)利要求1所述的快速檢索方法，其特征在于: 所述的終端主要由負(fù)控終端、廠站終端、配網(wǎng)終端和集抄終端，以及相關(guān)數(shù)據(jù)采集設(shè)備組成，負(fù)責(zé)采集電力相關(guān)數(shù)據(jù)；其中，負(fù)控終端、廠站終端和配網(wǎng)終端通過無線網(wǎng)絡(luò)與數(shù)據(jù)采集層通信；集抄終端通過短信通信與與數(shù)據(jù)采集層通信。
3.根據(jù)權(quán)利要求1所述的快速檢索方法，其特征在于: 所述的數(shù)據(jù)采集層采用“集群前置機”結(jié)構(gòu)，含若干臺前置機、一個短信服務(wù)器和一個前置路由器形成集群前置機，是前置采集部份。
4.根據(jù)權(quán)利要求1的快速檢索方法，其特征在于: 所述的數(shù)據(jù)層包括數(shù)據(jù)庫服務(wù)器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號等通信方式與數(shù)據(jù)采集層及數(shù)據(jù)應(yīng)用層聯(lián)系。
5.根據(jù)權(quán)利要求1、3所述的快速檢索方法，其特征在于: 所述的數(shù)據(jù)應(yīng)用層包括一組由含計算機構(gòu)成的服務(wù)器節(jié)點、交換機、路由器和用戶端，其中節(jié)點主要有主節(jié)點、從節(jié)點、和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速的局域網(wǎng)或者地理分布的廣域網(wǎng)上，并與數(shù)據(jù)層的數(shù)據(jù)庫服務(wù)器連接。
6.根據(jù)權(quán)利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索方法，其特征在于: 所述的步驟I包括以下子步驟: S1.1:確定抽取數(shù)據(jù) 確定檢索數(shù)據(jù)需用到的基礎(chǔ)數(shù)據(jù)信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數(shù)據(jù)信息； S1.2:抽取實時數(shù)據(jù) 從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索方法，其特征在于: 所述的步驟2包括以下子步驟: 應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權(quán)LCS (Least-ConnectionScheduling)調(diào)度算法； S2.1:應(yīng)用LVS技術(shù) 應(yīng)用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器；LVS (LinuxVirtual Server)集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)；從LVS-DR均衡調(diào)度器為集群服務(wù)器的唯一入口點，用于接收用戶的請求，采用IP負(fù)載均衡算法選取一臺采集節(jié)點機，將包轉(zhuǎn)發(fā)過去； S2.2:采集節(jié)點機部署 各個采集節(jié)點機部署采集程序及Keepalived模塊，Keepalived模塊負(fù)責(zé)對各節(jié)點進行健康狀況的檢測，確保處理TCP數(shù)據(jù)的節(jié)點可用； S2.3:服務(wù)器負(fù)載分配 采用加權(quán)LCS調(diào)度算法確定服務(wù)器負(fù)載分配；權(quán)LCS調(diào)度算法實現(xiàn)，包括以下步驟: 對服務(wù)器集合
8.根據(jù)權(quán)利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索方法，其特征在于: 所述的步驟3數(shù)據(jù)入庫，基于步驟2實現(xiàn)服務(wù)器均衡，進行大規(guī)模的數(shù)據(jù)快速入庫；用LVS技術(shù)，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權(quán)LCS調(diào)度算法。
9.根據(jù)權(quán)利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索方法，其特征在于: 所述的步驟4包括以下子步驟: S4.1:建立云存儲平臺 云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，HDFS設(shè)計成適合運行在通用硬件commodity hardware上的分布式文件系統(tǒng),它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點；同時，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的，具有高度容錯性，HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用；S4.2:建立云數(shù)據(jù)庫服務(wù) 云數(shù)據(jù)庫建立基于HBase，使用Hive進行結(jié)構(gòu)化存儲和檢索，提供相應(yīng)的數(shù)據(jù)服務(wù)接口 ；Hive是建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)，提供了一套方便的實施數(shù)據(jù)抽取(ETL)的工具，一種讓用戶對數(shù)據(jù)描述其結(jié)構(gòu)的機制，支持用戶對存儲在Hadoop中的海量數(shù)據(jù)進行查詢和分析。
10.根據(jù)權(quán)利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索方法，其特征在于: 所述的步驟5包括: 在上述步驟完成后，包括對實時負(fù)荷、電流電壓、負(fù)載率這類日數(shù)據(jù)量上億，年數(shù)據(jù)量上百億進行云存儲，建立HBASE的云數(shù)據(jù)庫，基于云存儲服務(wù)的方式提供大規(guī)模海量數(shù)據(jù)的存儲服務(wù)；通過HIVE開發(fā)接口提供快速的檢索服務(wù)，用戶可通過數(shù)據(jù)檢索服務(wù)，實施對實時負(fù)荷、電流電壓、負(fù)載率的快速檢索。
【文檔編號】G06F17/30GK103955509SQ201410180099
【公開日】2014年7月30日 申請日期:2014年4月30日 優(yōu)先權(quán)日:2014年4月30日
【發(fā)明者】何藝, 劉路, 黃富凡, 陳俊, 李剛, 曾博, 秦麗娟, 唐利濤, 張良均, 陳俊德, 劉名軍, 樊哲, 鄭宗銳 申請人:廣西電網(wǎng)公司電力科學(xué)研究院, 從興技術(shù)有限公司