一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及配電網(wǎng)監(jiān)控技術(shù)領(lǐng)域，具體是一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法。
【背景技術(shù)】
[0002]隨著我國電氣化鐵路的快速發(fā)展和建設(shè)，提速鐵路的牽引供電監(jiān)控增加了大量AT所，擬將上網(wǎng)隔離開關(guān)全面納入監(jiān)控，同時鐵路電力監(jiān)控也將通信、信號、光纖直放站箱變、環(huán)網(wǎng)柜、所有10/0.4kV低壓變電所納入監(jiān)控，即將所有高、低壓回路納入鐵路配電網(wǎng)監(jiān)控中。又由于監(jiān)控線路不再為針對單一鐵路線路的監(jiān)控，而是多條線路統(tǒng)一調(diào)度監(jiān)控。因此，監(jiān)控容量較傳統(tǒng)普速鐵路監(jiān)控系統(tǒng)容量有數(shù)十倍劇增。面對這種大數(shù)據(jù)存儲，傳統(tǒng)存儲方式越來越不能適應(yīng)鐵路配電網(wǎng)監(jiān)控的需要。
[0003]圖庫一體化，是指把圖元與數(shù)據(jù)作為一個整體來進行處理。目前，國內(nèi)開發(fā)的圖形繪制平臺都存在著提供繪圖工具定制設(shè)備圖元，大多數(shù)以位圖方式存放，在圖元繪制時載入相應(yīng)的位圖圖元，但在進行縮放操作時圖元存在變形和失真的現(xiàn)象，而且用戶定制圖元操作復(fù)雜、工作量大。為此，利用圖庫一體化技術(shù)，不但可以降低開發(fā)難度，而且還可以保證圖元的質(zhì)量。
[0004]云計算是一種新興計算模式，為下一代網(wǎng)絡(luò)應(yīng)用平臺的核心技術(shù)，提供安全、可靠的信息存儲，方便快捷的網(wǎng)絡(luò)服務(wù)和強大數(shù)據(jù)處理能力。在鐵路配電監(jiān)控方面，云計算的可靠性高、數(shù)據(jù)處理量巨大、靈活可擴展及設(shè)備利用率高等優(yōu)勢突顯，將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，按需獲取計算存儲空間和信息服務(wù)。使用HBase云計算技術(shù)處理數(shù)據(jù)，可實現(xiàn)海量數(shù)據(jù)存儲，且數(shù)據(jù)存儲量越大，讀取數(shù)據(jù)的平均速率相比傳統(tǒng)數(shù)據(jù)存儲方式越快。
[0005]利用組態(tài)軟件ForceControl開發(fā)具備圖庫一體功能的配電網(wǎng)監(jiān)控系統(tǒng)，采集的數(shù)據(jù)只能存儲在自帶數(shù)據(jù)庫或典型關(guān)系數(shù)據(jù)庫中，但最新高鐵動車段供電自動化采集的數(shù)據(jù)斷面已達到秒級，監(jiān)測數(shù)據(jù)量劇增，數(shù)據(jù)量的增長速度遠大于關(guān)系數(shù)據(jù)庫存儲能力的增長速度。因此，傳統(tǒng)數(shù)據(jù)存儲方式在存儲容量和計算能力方面，已不能滿足這種海量數(shù)據(jù)存取處理的工程需求，為此提出了一種把海量的鐵路配電網(wǎng)次秒級監(jiān)測數(shù)據(jù)，通過HBase的云計算集群進行NoSQL轉(zhuǎn)存的分布式數(shù)據(jù)存取新方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法，以解決上述【背景技術(shù)】中提出的問題。
[0007]為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:
一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法，包括以下步驟:
(1)配電網(wǎng)圖庫一體監(jiān)控系統(tǒng)開發(fā)使用ForceControl軟件開發(fā)鐵路lOkV配電網(wǎng)監(jiān)控系統(tǒng)，對電氣化鐵道配電網(wǎng)電氣設(shè)備的監(jiān)督和控制，在開發(fā)圖形系統(tǒng)時，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實時數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個整體進行存儲和管理；
(2)實時關(guān)系數(shù)據(jù)庫同步
在該Windows操作系統(tǒng)的計算機中安裝用于存儲鐵路供電監(jiān)控系統(tǒng)數(shù)據(jù)源的0DBCRouter3.0組件、用于實現(xiàn)從數(shù)據(jù)源轉(zhuǎn)存至MySQL數(shù)據(jù)庫的MySQL ODBC驅(qū)動程序及用于轉(zhuǎn)存儲數(shù)據(jù)源的My SQL數(shù)據(jù)庫；在MySQL數(shù)據(jù)庫中建立相應(yīng)的存儲表，以存儲對應(yīng)設(shè)備采集的實時數(shù)據(jù)，便于轉(zhuǎn)存和歷史調(diào)閱；將監(jiān)控系統(tǒng)采集的實時數(shù)據(jù)通過SQLite交互的操作方式，經(jīng)一次轉(zhuǎn)存存儲到對應(yīng)的MySQL工作數(shù)據(jù)庫空間；
(3)關(guān)系數(shù)據(jù)庫轉(zhuǎn)存至NoSQL非關(guān)系數(shù)據(jù)庫
配置Linux系統(tǒng)的計算機集群，搭建Hadoop云計算的集群平臺，并在該集群平臺基礎(chǔ)上，架構(gòu)HBase分布式數(shù)據(jù)庫，在云計算集群平臺上安裝Sqoop數(shù)據(jù)處理工具，并于安裝Sqoop軟件的計算機載入MySQL的JDBC驅(qū)動程序，通過網(wǎng)絡(luò)和Sqoop指令，將轉(zhuǎn)存后的MySQL數(shù)據(jù)庫進行二次轉(zhuǎn)存，存儲至HBase的NoSQL數(shù)據(jù)庫中；
(4)分布式列族存儲
建立面向列族的可無限擴張的HBase數(shù)據(jù)存儲表，在表的精簡結(jié)構(gòu)形式中，設(shè)計行鍵為Value屬性，再設(shè)計兩個列族，其中一個列族為Deviceld屬性，另一個列族為DeviceName屬性，其中Value為設(shè)備采集的實時值，Device Id為設(shè)備名稱號，DeviceName為設(shè)備名稱。通過把MySQL數(shù)據(jù)庫轉(zhuǎn)存至HBase數(shù)據(jù)庫中，利用多臺數(shù)據(jù)庫服務(wù)器進行數(shù)據(jù)存儲，實現(xiàn)使用云計算進行配電監(jiān)控系統(tǒng)大數(shù)據(jù)的分布式列族存儲。
[0008]作為本發(fā)明進一步的方案:所述步驟(1)中，在Windows操作系統(tǒng)中安裝ForceControl力控軟件，并使用組態(tài)軟件開發(fā)鐵路10kV配電網(wǎng)監(jiān)控系統(tǒng)，實現(xiàn)對設(shè)備的監(jiān)控，在開發(fā)圖形系統(tǒng)時，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實時數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個整體進行存儲和管理。
[0009]作為本發(fā)明再進一步的方案:所述步驟(2)中，為了加速實時數(shù)據(jù)的轉(zhuǎn)儲速度，對監(jiān)控實時數(shù)據(jù)的屬性進行了劃分，提取得到了轉(zhuǎn)存儲所需的高實時性屬性域的一個真子集，所述建立的存儲表的結(jié)構(gòu)屬性精簡為(Id，Time，Deviceld，Device Name，Value)，其中Id設(shè)置為主鍵并自增，Time為采集的時間，DeviceId為采集的設(shè)備名稱號，Device Name為采集的設(shè)備名稱，Value為采集的設(shè)備實時值。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本發(fā)明方法采用HBase云計算技術(shù)處理數(shù)據(jù)，實現(xiàn)海量數(shù)據(jù)存儲。通過HBase的云計算集群和實時數(shù)據(jù)的精簡子集，對監(jiān)控數(shù)據(jù)進行NoSQL轉(zhuǎn)存，實現(xiàn)了配電網(wǎng)監(jiān)控系統(tǒng)海量數(shù)據(jù)的云計算存儲，且數(shù)據(jù)存儲量越大，數(shù)據(jù)存取效率越高。
【附圖說明】
[0011 ]圖1為本發(fā)明方法的轉(zhuǎn)存示意圖。
【具體實施方式】
[0012]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0013]請參閱圖1，本發(fā)明實施例中，對于本發(fā)明方法的轉(zhuǎn)存進行詳細描述。
[0014](1)配電網(wǎng)圖庫一體監(jiān)控系統(tǒng)開發(fā)階段
在Windows系統(tǒng)中用ForceControl力控軟件開發(fā)鐵路10kV配電網(wǎng)監(jiān)控系統(tǒng)，實現(xiàn)對電氣化鐵道配電網(wǎng)高壓電氣設(shè)備的監(jiān)督和控制，在開發(fā)圖形系統(tǒng)時，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實時數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個整體進行存儲和管理。
[0015](2)實時關(guān)系數(shù)據(jù)庫同步階段
完成這一工作，需要在該Windows系統(tǒng)中安裝力控ForceC