本發(fā)明涉及基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)構(gòu)架方法，屬于電工技術(shù)領(lǐng)域。

背景技術(shù)：

進(jìn)入21世紀(jì)以來，信息化席卷全球，迎來了數(shù)據(jù)大爆炸的時(shí)代，從商業(yè)公司的運(yùn)營(yíng)到個(gè)人的日常生活消費(fèi)再到互聯(lián)網(wǎng)的數(shù)字文檔、視頻音樂等內(nèi)容的大量生產(chǎn)，整個(gè)社會(huì)的不同類型的海量數(shù)據(jù)以大爆炸的方式噴發(fā)出來。目前，對(duì)于大數(shù)據(jù)還沒有具體明確的定義，主要體現(xiàn)為體量規(guī)模巨大、類型復(fù)雜繁多。與傳統(tǒng)的數(shù)據(jù)相比，大數(shù)據(jù)的特點(diǎn)可以歸納為規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）和低價(jià)值密度性（value），由于這些特點(diǎn)，大數(shù)據(jù)的采集、存儲(chǔ)、管理和運(yùn)算方式也與傳統(tǒng)數(shù)據(jù)有很大不同，而其價(jià)值就在于從海量看似無關(guān)的數(shù)據(jù)中挖掘出有用的信息。一些領(lǐng)先的對(duì)大數(shù)據(jù)探索的公司如谷歌、微軟、亞馬遜等已經(jīng)在大數(shù)據(jù)系統(tǒng)的基本構(gòu)架、分布式文件存儲(chǔ)和分布式數(shù)據(jù)處理等關(guān)鍵領(lǐng)域給出了很好的解決方案。

目前國(guó)網(wǎng)系統(tǒng)中有成千上萬臺(tái)在線監(jiān)測(cè)裝置，隨著國(guó)民經(jīng)濟(jì)的發(fā)展電網(wǎng)規(guī)模不斷擴(kuò)大以及在線檢測(cè)技術(shù)的飛速發(fā)展，電力設(shè)備的在線監(jiān)測(cè)數(shù)據(jù)呈幾何性增長(zhǎng)。在線監(jiān)測(cè)本身又具有實(shí)時(shí)性，在電力設(shè)備運(yùn)行的每時(shí)每刻都在不斷產(chǎn)生體量巨大、類型各異的海量在線監(jiān)測(cè)數(shù)據(jù)。因此，智能變電站在線監(jiān)測(cè)數(shù)據(jù)具有規(guī)模大、增長(zhǎng)快、實(shí)時(shí)性、類型復(fù)雜多樣、地域分布廣等特點(diǎn)，這給在線監(jiān)測(cè)數(shù)據(jù)的處理帶來了巨大的挑戰(zhàn)，表現(xiàn)為以下幾點(diǎn)：

（1）在線監(jiān)測(cè)數(shù)據(jù)基本為正常數(shù)據(jù)。由于一次設(shè)備制造技術(shù)水平的不斷提高，同時(shí)目前變電站設(shè)備的管理和維護(hù)自動(dòng)化技術(shù)的普及，使得電氣設(shè)備的故障率維持在極低的水平。而且像斷路器這類開關(guān)設(shè)備動(dòng)作不是十分頻繁，因而在線監(jiān)測(cè)的分合閘電流、儲(chǔ)能電機(jī)電流、三相動(dòng)觸頭位移等動(dòng)作時(shí)信號(hào)采集周期較長(zhǎng)，采集的大部分非動(dòng)作時(shí)間區(qū)間內(nèi)的數(shù)據(jù)價(jià)值較低。因此在線監(jiān)測(cè)的數(shù)據(jù)中異常時(shí)數(shù)據(jù)比例很低，需要對(duì)異常數(shù)據(jù)進(jìn)行辨識(shí)和挖掘才能實(shí)現(xiàn)故障診斷和狀態(tài)檢修。

（2）電氣設(shè)備監(jiān)測(cè)參數(shù)和實(shí)際狀態(tài)關(guān)系模糊、內(nèi)涵機(jī)理復(fù)雜，一些無法用函數(shù)進(jìn)行精確表達(dá)。目前人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks，ANN ）、支持向量機(jī)（ Support Vector Machine，SVM ）、粗糙集與模糊理論等智能算法被廣泛的應(yīng)用于電氣設(shè)備是故障診斷，這些算法對(duì)于處理模糊和不確定性參數(shù)關(guān)系，發(fā)現(xiàn)其隱含的潛在規(guī)律較為適合，而大數(shù)據(jù)處理算法更關(guān)注于數(shù)據(jù)間的相關(guān)關(guān)系卻不注重因果關(guān)系，所以基于大數(shù)據(jù)思想的相關(guān)算法能夠有效處理電氣設(shè)備的在線監(jiān)測(cè)數(shù)據(jù)。

（3）在線監(jiān)測(cè)數(shù)據(jù)采集的數(shù)據(jù)量大，一般是以數(shù)據(jù)流的形式上傳，需要能夠快速地對(duì)數(shù)據(jù)流進(jìn)行處理。在線監(jiān)測(cè)數(shù)據(jù)為實(shí)時(shí)采集且數(shù)據(jù)量大，對(duì)于上傳的數(shù)據(jù)需要進(jìn)行及時(shí)地故障診斷，因而必須利用大數(shù)據(jù)的技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)流內(nèi)數(shù)據(jù)的快速準(zhǔn)確地分析處理。

綜上所述，本發(fā)明將在互聯(lián)網(wǎng)、金融、物流等領(lǐng)域較為火熱的大數(shù)據(jù)技術(shù)引入到智能變電站電氣設(shè)備在線監(jiān)測(cè)的數(shù)據(jù)處理中。利用大數(shù)據(jù)的數(shù)據(jù)處理存儲(chǔ)、管理和處理技術(shù)，并結(jié)合Hadoop 云計(jì)算實(shí)現(xiàn)快速、高效、準(zhǔn)確、低成本的實(shí)現(xiàn)在線監(jiān)測(cè)數(shù)據(jù)處理。

技術(shù)實(shí)現(xiàn)要素：

目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)構(gòu)架方法。

技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)，包括：以變電站主設(shè)備在線監(jiān)測(cè)裝置構(gòu)成的數(shù)據(jù)采集層，以關(guān)系數(shù)據(jù)庫(kù)MySQL，Hadoop構(gòu)架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數(shù)據(jù)庫(kù)HBase構(gòu)成的數(shù)據(jù)存儲(chǔ)層，采用MapReduce軟件框架構(gòu)成的數(shù)據(jù)應(yīng)用服務(wù)層，以及對(duì)電氣設(shè)備狀態(tài)參數(shù)的全景展示的數(shù)據(jù)可視化層。

一種基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)構(gòu)架方法，包括如下步驟：

步驟一：將變電站主設(shè)備在線監(jiān)測(cè)裝置構(gòu)成數(shù)據(jù)采集層；

步驟二：通過數(shù)據(jù)采集層采集不同一次設(shè)備的數(shù)據(jù)；所述數(shù)據(jù)性質(zhì)分為：動(dòng)態(tài)時(shí)序數(shù)據(jù)、靜態(tài)數(shù)據(jù)、視頻數(shù)據(jù)；所述動(dòng)態(tài)時(shí)序數(shù)據(jù)包括：機(jī)械信號(hào)、電信號(hào)，所述靜態(tài)數(shù)據(jù)包括：用戶數(shù)據(jù)、桿塔數(shù)據(jù)。

步驟三：以關(guān)系數(shù)據(jù)庫(kù)MySQL，Hadoop構(gòu)架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數(shù)據(jù)庫(kù)HBase構(gòu)成數(shù)據(jù)存儲(chǔ)層；將靜態(tài)數(shù)據(jù)存儲(chǔ)在MySQL中；視頻信息存儲(chǔ)在HDFS中，動(dòng)態(tài)時(shí)序數(shù)據(jù)存儲(chǔ)在HDFS文件系統(tǒng)上的HBase中；

步驟四：采用MapReduce軟件框架構(gòu)成數(shù)據(jù)應(yīng)用服務(wù)層，完成對(duì)變電站在線監(jiān)測(cè)狀態(tài)信息的并行處理，根據(jù)用戶的需求存儲(chǔ)或查詢數(shù)據(jù)；

步驟五：設(shè)計(jì)客戶端訪問界面，作為數(shù)據(jù)可視化層，對(duì)狀態(tài)信息全景展示。

進(jìn)一步，所述一次設(shè)備包括：變壓器、斷路器、GIS開關(guān)設(shè)備、電容型設(shè)備、避雷器。

進(jìn)一步，HBase將動(dòng)態(tài)時(shí)序數(shù)據(jù)作為對(duì)象來處理，形成一個(gè)分布式多維數(shù)據(jù)表，將動(dòng)態(tài)時(shí)序數(shù)據(jù)一律看成字符串，處理變電站中類型不同的多元數(shù)據(jù)；HBase表的結(jié)構(gòu)由行健、時(shí)間戳、列簇組成；行健為表的主題，表中的記錄按照行健排序，時(shí)間戳表示每次數(shù)據(jù)操作對(duì)應(yīng)的時(shí)間，列簇可以由任意多個(gè)列組成，并且支持動(dòng)態(tài)擴(kuò)展。

進(jìn)一步，所述存儲(chǔ)在HDFS中的動(dòng)態(tài)時(shí)序數(shù)據(jù)和視頻數(shù)據(jù)按照MapReduce的程序框架進(jìn)行查詢。

進(jìn)一步，還包括步驟六，所述步驟六：使用虛擬化工具，在不同的操作系統(tǒng)上虛擬Linux操作系統(tǒng)，Hadoop平臺(tái)搭建在Linux虛擬上，實(shí)現(xiàn)異構(gòu)操作系統(tǒng)的屏蔽。

有益效果：本發(fā)明將分布式計(jì)算框架Hadoop應(yīng)用到變電站的數(shù)據(jù)存儲(chǔ)與處理上，在數(shù)據(jù)存儲(chǔ)上簡(jiǎn)化了數(shù)據(jù)管理工作，降低了數(shù)據(jù)維護(hù)成本，提高了數(shù)據(jù)庫(kù)容錯(cuò)能力；在數(shù)據(jù)處理上利用大數(shù)據(jù)處理并行計(jì)算的優(yōu)勢(shì)使得在數(shù)據(jù)量大、數(shù)據(jù)維度高時(shí)處理時(shí)間大幅度下降，而且大數(shù)據(jù)算法注重相關(guān)關(guān)系而非因果關(guān)系的思維方式對(duì)于辨識(shí)一些故障機(jī)理復(fù)雜、參數(shù)所對(duì)應(yīng)狀態(tài)模糊的電氣設(shè)備在線監(jiān)測(cè)數(shù)據(jù)具有很強(qiáng)的適用性。

附圖說明

圖1 基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)

圖2 HDFS數(shù)據(jù)文件上傳流程圖

圖3 HDFS數(shù)據(jù)文件查詢流程圖

圖4 HBase數(shù)據(jù)上傳流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)闡述，從而使得本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域的技術(shù)人員理解，從而對(duì)本發(fā)明的適用范圍做出更明確的界定。

如圖1所示為一種基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)大數(shù)據(jù)平臺(tái)構(gòu)架示意圖，包括以變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)構(gòu)成的數(shù)據(jù)采集層，以關(guān)系數(shù)據(jù)庫(kù)MySQL，Hadoop構(gòu)架中的分布式文件系統(tǒng)HDFS及其所包括的分布式數(shù)據(jù)庫(kù)HBase構(gòu)成的數(shù)據(jù)存儲(chǔ)層，采用MapReduce軟件框架構(gòu)成的數(shù)據(jù)應(yīng)用服務(wù)層，以及對(duì)電氣設(shè)備狀態(tài)參數(shù)的全景展示的數(shù)據(jù)可視化層。

智能變電站中電力設(shè)備狀態(tài)數(shù)據(jù)多樣，在本發(fā)明所提出的基于Hadoop的變電站主設(shè)備在線監(jiān)測(cè)系統(tǒng)及其構(gòu)架方法中，重點(diǎn)需要處理三種數(shù)據(jù)：

動(dòng)態(tài)時(shí)序數(shù)據(jù)：主要包括變壓器的振動(dòng)信號(hào)，電容電流，介質(zhì)損失角正切值，局部放電，油中氣體含量，過熱點(diǎn)溫度；斷路器的分、合閘線圈電流，儲(chǔ)能電機(jī)電流，三相位移，振動(dòng)信號(hào)，泄漏電流；互感器的局部放電，勵(lì)磁電流；母線的局部放電；GIS的局部放電；電容器的泄漏電流；絕緣支柱的污穢泄漏電流；金屬氧化物避雷器MOA的電容電流，泄漏電流，等等。這類數(shù)據(jù)的采樣頻率為幾百KHz，甚至高至幾MHz，因此該類數(shù)據(jù)量的增長(zhǎng)十分明顯，隨著時(shí)間增長(zhǎng)，所需存儲(chǔ)空間越來越大，并逐漸超越傳統(tǒng)數(shù)據(jù)庫(kù)處理能力；同樣在該類數(shù)據(jù)查詢中，待處理數(shù)據(jù)量也是龐大的。

靜態(tài)數(shù)據(jù)：包括用戶數(shù)據(jù)、桿塔數(shù)據(jù)、采集設(shè)備數(shù)據(jù)、線路數(shù)據(jù)、絕緣子數(shù)據(jù)等。其特點(diǎn)是占用空間少，但需要不斷查詢。

視頻數(shù)據(jù)：視頻數(shù)據(jù)的圖像分辨率十分重要，分辨率越高，細(xì)節(jié)越明顯，監(jiān)控的準(zhǔn)確度也就越高。這就導(dǎo)致了數(shù)據(jù)量的劇增，G級(jí)別的數(shù)據(jù)成為常態(tài)?，F(xiàn)代智能變電站中的視頻數(shù)據(jù)，包括定點(diǎn)監(jiān)控視頻數(shù)據(jù)和巡查監(jiān)控視頻數(shù)據(jù)（如無人機(jī)監(jiān)控）等。

根據(jù)這三類數(shù)據(jù)的特點(diǎn)，采用不同的存儲(chǔ)空間或數(shù)據(jù)庫(kù)進(jìn)行處理。

對(duì)于動(dòng)態(tài)時(shí)序數(shù)據(jù)，數(shù)據(jù)文件直接存儲(chǔ)在HDFS文件系統(tǒng)中，動(dòng)態(tài)時(shí)序數(shù)據(jù)則采用HDFS文件系統(tǒng)上的HBase數(shù)據(jù)庫(kù)存儲(chǔ)，通過使用HBase數(shù)據(jù)庫(kù)的API接口，結(jié)合MapReduce實(shí)現(xiàn)并行高效查詢。

對(duì)于直接存儲(chǔ)在HDFS中的數(shù)據(jù)文件，每條數(shù)據(jù)包括產(chǎn)生時(shí)間、數(shù)據(jù)編號(hào)、產(chǎn)生通道、設(shè)備節(jié)點(diǎn)物理地址、數(shù)據(jù)內(nèi)容等，存儲(chǔ)到文件名為設(shè)備名和時(shí)間組合而成的文件里，形成數(shù)據(jù)文件，文件上傳流程如圖2所示。上傳時(shí)，設(shè)置緩存區(qū)，將數(shù)據(jù)首先放在緩存區(qū)內(nèi)，當(dāng)緩存區(qū)存儲(chǔ)一定數(shù)目的數(shù)據(jù)后，再存入本地文件。對(duì)于數(shù)據(jù)的查詢，在Hadoop提供的并行查詢方法中，使用Map和Reduce函數(shù)，根據(jù)待查詢關(guān)鍵詞進(jìn)行查詢。為了提高效率，可以根據(jù)實(shí)際應(yīng)用的情況，使文件命名中包括有時(shí)間段，當(dāng)查找關(guān)鍵字是時(shí)間，先判定文件名時(shí)間段是否滿足關(guān)鍵字，不滿足則停止對(duì)該文件的查詢?nèi)蝿?wù)。數(shù)據(jù)文件的查詢流程如圖3所示。對(duì)于視頻數(shù)據(jù)，其上傳和查詢方式與上面類似，存儲(chǔ)時(shí)首先建立緩存區(qū)，查詢時(shí)根據(jù)關(guān)鍵字使用Map函數(shù)與Reduce函數(shù)查詢。

對(duì)于存儲(chǔ)在HBase數(shù)據(jù)庫(kù)中的數(shù)據(jù)，由于變電站在線監(jiān)測(cè)系統(tǒng)中，同一時(shí)間內(nèi)會(huì)有多臺(tái)電力設(shè)備的采樣設(shè)備需要同步存儲(chǔ)，因此設(shè)計(jì)相應(yīng)的傳感器Mac地址與通道號(hào)串聯(lián)構(gòu)成行鍵，用于采樣數(shù)據(jù)檢索，HBase表中每行數(shù)據(jù)都帶有時(shí)間戳，表明了該數(shù)據(jù)的采集時(shí)間，可在插入數(shù)據(jù)時(shí)由數(shù)據(jù)庫(kù)自動(dòng)生成。以變壓器的狀態(tài)監(jiān)測(cè)為例，設(shè)置相關(guān)傳感器的Mac地址和通道號(hào)為行健，列簇包括被監(jiān)測(cè)設(shè)備碼，監(jiān)測(cè)裝置標(biāo)識(shí)，被監(jiān)測(cè)設(shè)備相別，監(jiān)測(cè)時(shí)間和采樣點(diǎn)數(shù)據(jù)等。數(shù)據(jù)上傳到HBase的流程如圖4所示。查詢HBase表時(shí)，只能通過對(duì)行健查詢，或者在存儲(chǔ)數(shù)據(jù)時(shí)，根據(jù)查詢的需要，設(shè)計(jì)復(fù)合行健，來滿足多條件查詢。

靜態(tài)數(shù)據(jù)，如簡(jiǎn)單的用戶信息、設(shè)備信息等，使用MySQL數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。設(shè)計(jì)客戶端訪問界面，列出系統(tǒng)集成的各應(yīng)用，并集成服務(wù)器集群的端口，以便用戶能夠方便的查詢集群數(shù)據(jù)存儲(chǔ)情況和MapReduce程序運(yùn)行情況。由此，構(gòu)成了數(shù)據(jù)可視化層。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。