ontrol軟件、MySQL ODBC驅動程序、0DBCRouter3.0組件及My SQL數據庫;My SQL ODBC驅動程序主要用于配置My SQL數據庫的數據源，ODBCRouterf.0組件中的數據源主要是鐵路供電監(jiān)控系統(tǒng)的采集數據庫，MySQL數據庫用于存儲0DBCRouter3.0組件中的數據源轉存數據。
[0016]在MySQL數據庫中設計相應的存儲表，建立的表的結構屬性為(Id，Time，DevicelcUDeviceName，Value)，其中Id設置為主鍵并自增，Time為采集的時間，DeviceId為采集的設備名稱號，DeviceName為采集的設備名稱，Value為采集的設備實時值。
[0017]MySQL數據庫表按這種結構形式設計，存儲了特定設備采集的實時數據，便于轉存和歷史調閱。然后，將監(jiān)控系統(tǒng)采集的實時數據通過SQLite交互的操作方式，經一次轉存存儲到對應的MySQL工作數據庫空間。
[0018](3)關系數據庫轉存至NoSQL非關系數據庫階段
配置Linux系統(tǒng)的計算機集群，搭建Hadoop云計算的集群平臺，并在該集群平臺基礎上，架構HBase分布式實時數據庫，然后在云計算集群平臺上安裝Sqoop數據處理工具，并于安裝好Sqoop軟件的計算機中載入MySQL的JDBC驅動程序，通過網絡和Sqoop指令，將Windows系統(tǒng)中轉存后的MySQL數據庫進行二次轉存，存儲至HBase的NoSQL數據庫中。
[0019](4)分布式列族存儲階段
建立面向列族的可無限擴張的HBase數據存儲表，在表的精簡結構形式中，設計行鍵為Value屬性，再設計兩個列族，其中一個列族為Deviceld屬性，另一個列族為DeviceName屬性，其中Value為設備采集的實時值，Device Id為設備名稱號，DeviceName為設備名稱。通過把MySQL數據庫轉存至HBase數據庫中，使用多臺存儲服務器分擔存儲負荷，同時可以使用位置服務器定位存儲信息，提高系統(tǒng)的可靠性和存取效率，以分布式計算機集群存儲的方式實現鐵道配電網海量監(jiān)控數據的持續(xù)轉存儲。
[0020]對于本領域技術人員而言，顯然本發(fā)明不限于上述示范性實施例的細節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實現本發(fā)明。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有變化囊括在本發(fā)明內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。
【主權項】
1.一種圖庫一體的鐵路lOkV配電網海量監(jiān)控信息HBase轉存方法，其特征在于，具體轉存方法如下: (1)配電網圖庫一體監(jiān)控系統(tǒng)開發(fā) 使用ForceControl軟件開發(fā)鐵路10kV配電網監(jiān)控系統(tǒng)，對電氣化鐵道配電網電氣設備的監(jiān)督和控制，在開發(fā)圖形系統(tǒng)時，采用圖庫一體化技術，把圖元通過編碼和序列化的方式存到實時數據庫中，使圖元與數據作為一個整體進行存儲和管理； (2)實時關系數據庫同步 在該Windows操作系統(tǒng)的計算機中安裝用于存儲鐵路供電監(jiān)控系統(tǒng)數據源的0DBCRouter3.0組件、用于實現從數據源轉存至MySQL數據庫的MySQL ODBC驅動程序及用于轉存儲數據源的My SQL數據庫；在MySQL數據庫中建立相應的存儲表，以存儲對應設備采集的實時數據，便于轉存和歷史調閱；將配電監(jiān)控系統(tǒng)采集的實時數據通過SQLite交互的操作方式，經一次轉存存儲到對應的MySQL工作數據庫空間； (3)關系數據庫轉存至NoSQL非關系數據庫 配置Linux系統(tǒng)的計算機集群，搭建Hadoop云計算的集群平臺，并在該集群平臺基礎上，架構HBase分布式數據庫，在云計算集群平臺上安裝Sqoop數據處理工具，并于安裝Sqoop軟件的計算機載入MySQL的JDBC驅動程序，通過網絡和Sqoop指令，將轉存后的MySQL數據庫進行二次轉存，存儲至HBase的NoSQL數據庫中； (4)分布式列族存儲 建立面向列族的可無限擴張的HBase數據存儲表，在表的精簡結構形式中，設計行鍵為Value屬性，再設計兩個列族，其中一個列族為Deviceld屬性，另一個列族為DeviceName屬性，其中Value為設備采集的實時值，Deviceld為設備名稱號，DeviceName為設備名稱。2.通過把MySQL數據庫轉存至HBase數據庫中，利用多臺數據庫服務器進行數據存儲，實現使用云計算進行配電監(jiān)控系統(tǒng)大數據的分布式列族存儲。3.根據權利要求1所述的圖庫一體的鐵路10kV配電網海量監(jiān)控信息HBase轉存方法，其特征在于，所述步驟(1)中，在Windows操作系統(tǒng)中安裝ForceControl力控軟件，并使用組態(tài)軟件開發(fā)10kV配電網監(jiān)控系統(tǒng)，實現對設備的監(jiān)控，在開發(fā)圖形系統(tǒng)時，采用圖庫一體化技術，把圖元通過編碼和序列化的方式存到實時數據庫中，使圖元與數據作為一個整體進行存儲和管理。4.根據權利要求1所述的圖庫一體的鐵路10kV配電網海量監(jiān)控信息HBase轉存方法，其特征在于，所述步驟(2)中，為了加速實時數據的轉儲速度，對監(jiān)控實時數據的屬性進行了劃分，提取得到了轉存儲所需的高實時性屬性域的一個真子集，所述建立的存儲表的結構屬性精簡為(Id，Time，Device Id，Device Name，Value)，其中Id設置為主鍵并自增，Time為采集的時間，Deviceld為采集的設備名稱號，Device Name為采集的設備名稱，Value為采集的設備實時值。
【專利摘要】本發(fā)明公開了一種圖庫一體的鐵路10kV配電網海量監(jiān)控信息HBase轉存方法，包括在Windows系統(tǒng)的計算機中利用ForceControl組態(tài)軟件開發(fā)配電網監(jiān)控系統(tǒng)，在圖形系統(tǒng)開發(fā)中，把圖元通過編碼和序列化的方式存到實時數據庫中，在Linux操作系統(tǒng)的計算機中安裝Hadoop軟件，搭建云計算平臺，架構HBase數據庫存儲系統(tǒng)，將配電監(jiān)控系統(tǒng)采集的實時數據通過SQLite交互操作方式經一次轉存存儲到MySQL數據庫，通過Sqoop相關指令，將轉存后的MySQL數據庫進行再次轉存，存儲至HBase的NoSQL數據庫中。本發(fā)明方法使用Hadoop和HBase相結合的云計算技術處理數據，實現配電網監(jiān)控系統(tǒng)海量數據的云計算存儲，存儲過程中不僅可實現海量數據存儲，而且數據存儲量越大，數據讀取效率更高。
【IPC分類】G06Q50/06, G06F17/30
【公開號】CN105426482
【申請?zhí)枴緾N201510803839
【發(fā)明人】屈志堅, 李立帆, 徐振清, 趙亮
【申請人】華東交通大學
【公開日】2016年3月23日
【申請日】2015年11月20日