本發(fā)明屬于大電網(wǎng)在線安全監(jiān)控與預(yù)警領(lǐng)域,具體講涉及一種大電網(wǎng)全景安全防御的方法和系統(tǒng)。
背景技術(shù):
能源的不平衡分布、經(jīng)濟的不協(xié)調(diào)發(fā)展以及環(huán)境問題的凸顯,能源未來的發(fā)展模式將展現(xiàn)可再生新能源技術(shù)和信息互聯(lián)網(wǎng)技術(shù)深度融合的能源互聯(lián)網(wǎng),實現(xiàn)能源的高效、安全、經(jīng)濟和靈活發(fā)展,同時,能源互聯(lián)網(wǎng)將會對電工學科的發(fā)展、理論研究及工程應(yīng)用帶來巨大的機遇和挑戰(zhàn)。在可再生能源高滲透率及能源互聯(lián)網(wǎng)快速發(fā)展趨勢下,電網(wǎng)也將呈現(xiàn)更加復(fù)雜的隨機、多源大數(shù)據(jù)及多尺度動態(tài)的特性,無疑給大電網(wǎng)的實時監(jiān)控提出了更高的要求。
一些地區(qū)發(fā)生的大面積停電事故,暴露了現(xiàn)有的以“建模仿真+預(yù)想故障”為核心的在線安全防御系統(tǒng)在運行機制、時效性等方面存在的諸多問題,主要體現(xiàn)在:仿真系統(tǒng)近似實際物理系統(tǒng)、樣本空間有限、實測數(shù)據(jù)利用率低、針對問題單一、態(tài)勢感知和預(yù)警能力薄弱、在時效性方面無法滿足大電網(wǎng)在線安全防控要求。
從整體看,對大電網(wǎng)廣域測量信息的挖掘深度和應(yīng)用廣度遠未達到基于監(jiān)控平臺和廣域測量數(shù)據(jù)的大電網(wǎng)“實時精確分析、廣域協(xié)調(diào)控制和動態(tài)自治”智能化防御目標,因此對大電網(wǎng)實時運行態(tài)勢評估與智能控制提出了更加迫切的要求。
就電網(wǎng)安全防御系統(tǒng)的設(shè)計對電網(wǎng)安全穩(wěn)定運行的意義,及電網(wǎng)安全穩(wěn)定運行技術(shù)需要而言,需要提供一種電網(wǎng)安全防御系統(tǒng),來提高對電網(wǎng)運行形勢的評估和監(jiān)控。
技術(shù)實現(xiàn)要素:
為滿足現(xiàn)有電網(wǎng)安全穩(wěn)定運行監(jiān)控和評估的需求,本發(fā)明提供了一種基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)實施方案。
一個方面,本發(fā)明提供了一種大電網(wǎng)全景安全防御的方法,其改進之處在于,該方法包括:
將預(yù)先采集的電網(wǎng)數(shù)據(jù)處理為統(tǒng)一的信息格式,傳輸所述處理后的電網(wǎng)數(shù)據(jù)并根據(jù)數(shù)據(jù)結(jié)構(gòu)形式存儲到相應(yīng)的數(shù)據(jù)庫;
對所述電網(wǎng)數(shù)據(jù)進行計算,提取影響電網(wǎng)穩(wěn)定的因素,建立電網(wǎng)時空關(guān)聯(lián)約束模型;
對所述電網(wǎng)數(shù)據(jù)進行挖掘,利用電網(wǎng)數(shù)據(jù)的時空動力學特性及關(guān)聯(lián)特性評估電網(wǎng)運行態(tài)勢,并在出現(xiàn)風險預(yù)警后提供防控策略;
構(gòu)建電網(wǎng)時空數(shù)據(jù)事件行為的知識庫,挖掘電網(wǎng)異常事件并預(yù)警;
對上述數(shù)據(jù)計算結(jié)果進行可視化展示。
進一步的,所述電網(wǎng)數(shù)據(jù)包括:電網(wǎng)仿真數(shù)據(jù)、實時穩(wěn)態(tài)潮流數(shù)據(jù)、動態(tài)軌跡數(shù)據(jù)和電網(wǎng)外界環(huán)境數(shù)據(jù)。
進一步的,所述方法進一步包括:
對所述實時穩(wěn)態(tài)潮流數(shù)據(jù)和動態(tài)軌跡數(shù)據(jù)進行流式處理,分析捕捉電網(wǎng)異常行為,結(jié)合歷史數(shù)據(jù)建立電網(wǎng)動態(tài)評估模型。
進一步的,所述將預(yù)先采集的電網(wǎng)數(shù)據(jù)處理為統(tǒng)一的信息格式,傳輸所述處理后的電網(wǎng)數(shù)據(jù),包括:
將周期性采集的電網(wǎng)數(shù)據(jù)通過數(shù)據(jù)清洗、集成、變換和歸約轉(zhuǎn)換成統(tǒng)一的信息格式;
利用開源數(shù)據(jù)轉(zhuǎn)移工具sqoop從關(guān)系型數(shù)據(jù)庫中根據(jù)數(shù)據(jù)結(jié)構(gòu)形式抽取電網(wǎng)數(shù)據(jù),并用開源etl工具kettle軟件將抽取的電網(wǎng)數(shù)據(jù)傳遞給分布式系統(tǒng)基礎(chǔ)架構(gòu)hadoop;
將電網(wǎng)數(shù)據(jù)上傳給分布式發(fā)布訂閱消息系統(tǒng)kafka集群。
進一步的,所述電網(wǎng)動態(tài)評估模型k如下式所示:
其中,
所述電網(wǎng)動態(tài)評估模型的約束條件如下式所示:
式中,pgi:第i臺發(fā)電機組的有功出力;pgimin:第i臺發(fā)電機的有功出力下限;pgimax:第i臺發(fā)電機的有功出力上限;qgi:第i臺發(fā)電機組的無功出力;qgimin:第i臺發(fā)電機的無功出力下限;qgimax:第i臺發(fā)電機的無功出力上限;pli:第i個負荷節(jié)點的有功功率;plimin:第i個負荷節(jié)點有功功率最小值;plimax:第i個負荷節(jié)點有功功率最大值;qli:第i個負荷節(jié)點的無功功率;qlimin:第i個負荷節(jié)點的無功功率最小值;qlimax:第i個負荷節(jié)點的無功功率最大值;
進一步的,所述根據(jù)數(shù)據(jù)結(jié)構(gòu)形式存儲到相應(yīng)的數(shù)據(jù)庫,包括:
將不同類型的電網(wǎng)數(shù)據(jù)結(jié)合數(shù)據(jù)格式和數(shù)據(jù)用途,存儲在全磁盤數(shù)據(jù)庫、半內(nèi)存數(shù)據(jù)庫或全內(nèi)存數(shù)據(jù)庫中;
用redis數(shù)據(jù)庫存儲中間計算結(jié)果;用mysql數(shù)據(jù)庫存儲實時計算和離線計算結(jié)果。
進一步的,所述對上述數(shù)據(jù)計算結(jié)果進行可視化展示包括:
用web可視化技術(shù),以儀表、餅圖或三維地圖方式展示數(shù)據(jù)計算結(jié)果;
用不改變像素的可縮放矢量圖形svg技術(shù)縮放地圖,結(jié)合節(jié)點拓撲可視化展示數(shù)據(jù)計算結(jié)果;
用計算機圖形學、圖像處理技術(shù)、空間數(shù)據(jù)多尺度表達技術(shù)或矢量地圖技術(shù),進行擾動源掃描與定位、擾動域劃分、能量動態(tài)流動和能源互聯(lián)網(wǎng)三維主干網(wǎng)展示。
另一個方面,本發(fā)明還提供了一種大電網(wǎng)全景安全防御的系統(tǒng),所述系統(tǒng)包括:
物理層、傳輸層、存儲層、計算層和展示層,所述計算層包括處理層和服務(wù)層;
其中,物理層,用于將預(yù)先采集的電網(wǎng)數(shù)據(jù)處理為統(tǒng)一的信息格式;
傳輸層,用于傳輸所述處理后的電網(wǎng)數(shù)據(jù)到存儲層;
存儲層,用于根據(jù)數(shù)據(jù)結(jié)構(gòu)形式存儲到相應(yīng)的數(shù)據(jù)庫;
計算層,用于對所述電網(wǎng)數(shù)據(jù)進行計算,提取影響電網(wǎng)穩(wěn)定的因素,建立電網(wǎng)時空關(guān)聯(lián)約束模型,對所述電網(wǎng)數(shù)據(jù)進行挖掘,利用電網(wǎng)數(shù)據(jù)的時空動力學特性及關(guān)聯(lián)特性評估電網(wǎng)運行態(tài)勢,并在出現(xiàn)風險預(yù)警后提供防控策略,構(gòu)建電網(wǎng)時空數(shù)據(jù)事件行為的知識庫,挖掘電網(wǎng)異常事件并預(yù)警;
展示層,用于對上述數(shù)據(jù)計算結(jié)果進行可視化展示。
進一步的,所述存儲層與處理層位于平臺即服務(wù)paas平臺,所述服務(wù)層與展示層位于軟件即服務(wù)saas平臺,所述存儲層、處理層和服務(wù)層利用基礎(chǔ)設(shè)施即服務(wù)iaas平臺所提供的虛擬化資源和物理設(shè)備資源處理電網(wǎng)數(shù)據(jù)。
進一步的,所述paas平臺還包括預(yù)設(shè)的知識庫、算法庫以及mysql、redis數(shù)據(jù)庫。
與最接近的現(xiàn)有技術(shù)比,本發(fā)明提供的技術(shù)方案具有以下有益效果:
1、本發(fā)明提供的技術(shù)方案將預(yù)先采集的電網(wǎng)數(shù)據(jù)預(yù)處理為統(tǒng)一的信息格式,并按照指定格式將預(yù)處理數(shù)據(jù)傳遞到相應(yīng)的數(shù)據(jù)庫,且分析并存儲處理后的電網(wǎng)數(shù)據(jù);用包括機器學習、圖計算和流計算的數(shù)據(jù)處理模式處理已存儲的電網(wǎng)數(shù)據(jù);根據(jù)處理后的已存儲電網(wǎng)數(shù)據(jù),用包括分布式流處理的開源框架、編程模型和計算模型的大數(shù)據(jù)技術(shù)計算電網(wǎng)數(shù)據(jù),并展示電網(wǎng)數(shù)據(jù)計算結(jié)果;實現(xiàn)了電網(wǎng)全景態(tài)勢感知關(guān)鍵信息的直觀、實時、快速可視化展示,有效提升了電力時空大數(shù)據(jù)智能挖掘深度和利用廣度,可對大型能源互聯(lián)網(wǎng)進行全方位、立體化的安全監(jiān)視和精確防護,為實現(xiàn)全球能源互聯(lián)網(wǎng)主動防御提供了可靠技術(shù)支撐。
2、本發(fā)明提供的技術(shù)方案定義了基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)概念及功能框架,分析了系統(tǒng)基本功能需求并選擇了相應(yīng)的技術(shù)方案,詳細設(shè)計了系統(tǒng)大數(shù)據(jù)平臺構(gòu)架,部署了資源虛擬化(resourcevirtualization)、多源信息融合、分布式儲存、時空大數(shù)據(jù)挖掘、全景態(tài)勢感知、實時流計算及直觀可視化等緊密相關(guān)的關(guān)鍵技術(shù),能有效適應(yīng)全球能源互聯(lián)網(wǎng)環(huán)境下的多元大數(shù)據(jù)挑戰(zhàn),具有較大的工程應(yīng)用價值和推廣前景。
附圖說明
圖1為本發(fā)明提供的大電網(wǎng)全景安全防御系統(tǒng)的主要功能架構(gòu)圖;
圖2為本發(fā)明提供的大電網(wǎng)全景安全防御系統(tǒng)的平臺構(gòu)架示意圖;
圖3為本發(fā)明提供的大電網(wǎng)全景安全防御系統(tǒng)的平臺可視化界面示意圖。
具體實施方式
以下將結(jié)合說明書附圖,以具體實施例的方式詳細介紹本發(fā)明提供的技術(shù)方案。
電網(wǎng)主動安全防御的實質(zhì)是對時空大數(shù)據(jù)的高效能處理與分析,信息物理系統(tǒng)通過信息、計算與物理系統(tǒng)進行有機融合和深度協(xié)作,提升了大型工程系統(tǒng)的智能化實時感知和高效協(xié)同控制能力。隨著電網(wǎng)智能化水平不斷提高以及與互聯(lián)網(wǎng)、通信網(wǎng)等深度融合,電網(wǎng)將逐漸演進成具有廣域協(xié)同、多維協(xié)同和自主行為的復(fù)雜能源網(wǎng)絡(luò),從而構(gòu)成能源系統(tǒng)與信息物理系統(tǒng)相融合的信息能源系統(tǒng)。與此同時,大數(shù)據(jù)技術(shù)將為信息能源系統(tǒng)知識挖掘體系提供強有力的技術(shù)支撐。
本發(fā)明立足電網(wǎng)安全防御全局角度,針對現(xiàn)有電網(wǎng)的不足,提出了一種基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)設(shè)計方案,進一步提升電網(wǎng)自組織、自適應(yīng)、信息感知、集成、共享、協(xié)同的能力和智能化安全防御水平,具有較強的工程應(yīng)用價值。
為實現(xiàn)上述目的,本發(fā)明提供一種利用大數(shù)據(jù)技術(shù)構(gòu)建全新的安全防御系統(tǒng)平臺,其改進之處在于,所述方法包括如下步驟:
(1).按一定周期采集電網(wǎng)各類仿真數(shù)據(jù)、實時穩(wěn)態(tài)潮流或動態(tài)軌跡數(shù)據(jù)以及各種與電網(wǎng)相關(guān)的外界環(huán)境數(shù)據(jù),將上述多源異構(gòu)數(shù)據(jù)進行融合。
將實時獲取的各種電網(wǎng)數(shù)據(jù)通過數(shù)據(jù)清洗、集成、變換、歸約轉(zhuǎn)換成面向電網(wǎng)的統(tǒng)一信息格式。用日志收集系統(tǒng)flume采集數(shù)據(jù)日志,負責從各節(jié)點上實時采集電網(wǎng)仿真數(shù)據(jù)、實時穩(wěn)態(tài)潮流、動態(tài)軌跡數(shù)據(jù),以及與電網(wǎng)的外界環(huán)境數(shù)據(jù)。
(2).對采集的電網(wǎng)仿真數(shù)據(jù)、實時穩(wěn)態(tài)潮流和動態(tài)軌跡數(shù)據(jù)等流式數(shù)據(jù)以及與電網(wǎng)相關(guān)的外部環(huán)境數(shù)據(jù)進行傳輸,。
etl(extract-transform-load)是用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程,etl過程:采用開源etl工具kettle軟件管理來自不同數(shù)據(jù)庫的數(shù)據(jù)并按指定格式傳遞。開源數(shù)據(jù)轉(zhuǎn)移工具sqoop負責從數(shù)據(jù)庫中抽取數(shù)據(jù),在hadoop和關(guān)系型數(shù)據(jù)庫中傳遞數(shù)據(jù)。為了數(shù)據(jù)流環(huán)節(jié)的處理規(guī)范,所有數(shù)據(jù)需統(tǒng)一上傳給分布式發(fā)布訂閱消息系統(tǒng)kafka(用于日志處理的分布式消息隊列)集群,避免后端多種接入方式的數(shù)據(jù)處理問題。
(3).對采集的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)及實時數(shù)據(jù)進行經(jīng)濟性、高擴展性存儲。提供具有高容錯、可靠和吞吐率的數(shù)據(jù)存儲方式,為實現(xiàn)大規(guī)模海量數(shù)據(jù)存儲提供強大的底層支撐。
用redis數(shù)據(jù)庫存儲中間計算結(jié)果,用mysql數(shù)據(jù)庫存儲實時計算、離線計算結(jié)果。此外,對于不同類型的數(shù)據(jù)需結(jié)合數(shù)據(jù)格式、用途等,在全磁盤數(shù)據(jù)庫、半內(nèi)存及全內(nèi)存數(shù)據(jù)庫中擇優(yōu)存儲;對數(shù)據(jù)進行有效壓縮、管理,降低數(shù)據(jù)的存儲成本,同時,采用數(shù)據(jù)分布式訪問控制、數(shù)據(jù)審計、數(shù)據(jù)完整性驗證等技術(shù),保證數(shù)據(jù)安全、科學的存儲和管理。
(4).對采集的流式數(shù)據(jù)進行處理、實時遙測分析,捕捉電網(wǎng)異常行為,結(jié)合歷史數(shù)據(jù),建立基于時空演化關(guān)聯(lián)關(guān)系、多尺度關(guān)聯(lián)關(guān)系和時空關(guān)聯(lián)約束條件的電網(wǎng)動態(tài)評估模型。
所述電網(wǎng)動態(tài)評估模型如下式(1)所示:
其中,
且電網(wǎng)動態(tài)評估模型的約束條件如下式所示:
式中,pgi為第i臺發(fā)電機組的有功出力;pgimin為第i臺發(fā)電機的有功出力下限;pgimax為第i臺發(fā)電機的有功出力上限。qgi為第i臺發(fā)電機組的無功出力;qgimin為第i臺發(fā)電機的無功出力下限;qgimax為第i臺發(fā)電機的無功出力上限。pli為第i個負荷節(jié)點的有功功率;plimin為第i個負荷節(jié)點有功功率最小值;plimax為第i個負荷節(jié)點有功功率最大值。qli為第i個負荷節(jié)點的無功功率;qlimin為第i個負荷節(jié)點的無功功率最小值;qlimax為第i個負荷節(jié)點的無功功率最大值。
(5).對采集的電網(wǎng)數(shù)據(jù)進行數(shù)據(jù)挖掘,并利用其時空動力學特性及其關(guān)聯(lián)特性快速評估電網(wǎng)運行態(tài)勢,當出現(xiàn)風險預(yù)警后及時給出防控策略,保證全網(wǎng)的安全經(jīng)濟運行。
針對各種場景下的電力時空大數(shù)據(jù),采用機器學習、圖計算、流計算等新的數(shù)據(jù)處理模式,提取影響電網(wǎng)穩(wěn)定的主導(dǎo)環(huán)節(jié)及關(guān)鍵因素,建立一系列電網(wǎng)時空關(guān)聯(lián)約束模型。構(gòu)建電網(wǎng)時空大數(shù)據(jù)事件行為的知識庫,為電網(wǎng)異常事件的模式挖掘、主動預(yù)警、實時決策提供知識保障,完善電網(wǎng)運行自適應(yīng)匹配防控體系。
(6).利用大數(shù)據(jù)技術(shù)對采集處理的電力大數(shù)據(jù)進行計算,涉及到時空大數(shù)據(jù)特征量的篩選與穩(wěn)定性計算分析,多維信息的確切表征及交互融合計算分析。涉及不確定因素的時空趨勢預(yù)測,基于聚類、分類方法的擾動影響域識別,全景態(tài)勢綜合量化評估指標的篩選和聚合等。
用大數(shù)據(jù)技術(shù)對采集處理的電力大數(shù)據(jù)計算中,對于實時計算分析,采用具有分布式計算框架的分布式流處理的開源框架storm處理技術(shù),其具有高并發(fā)計算處理能力以及強大的水平擴展特性。此外,該技術(shù)還具有增量計算的特點,足以滿足電網(wǎng)全景安全防御系統(tǒng)實時計算分析需求,保障電網(wǎng)安全穩(wěn)定運行。
對于離線計算,采用mapreduce編程模型處理技術(shù),該技術(shù)具有高效的tb、pb字節(jié)級數(shù)據(jù)處理能力,系統(tǒng)擴展性高,可動態(tài)增加存儲節(jié)點,足以滿足海量電力數(shù)據(jù)的離線計算分析與需求。
對于計算量大且實時性要求高的模塊,采用內(nèi)存計算技術(shù)來進行處理,該技術(shù)采用改進后的分布式流處理的開源框架apachespark作為執(zhí)行引擎,與mapreduce編程模型相比,沒有了頻繁的i/o磁盤訪問,并采用多線程計算模型,啟動開銷小。
針對電網(wǎng)不同運行場景的時空大數(shù)據(jù),開展電網(wǎng)靜態(tài)、動態(tài)和暫態(tài)的穩(wěn)定態(tài)勢實時評估。對數(shù)據(jù)進行封裝,實現(xiàn)數(shù)據(jù)共享,將數(shù)據(jù)解耦,解決數(shù)據(jù)使用不靈活問題。對電網(wǎng)進行精確的診斷、預(yù)測,提升電網(wǎng)靜態(tài)、暫態(tài)、動態(tài)分析水平,提高防御系統(tǒng)的全景態(tài)勢感知能力。
(7).對上述計算結(jié)果進行數(shù)據(jù)展示。采用圖表、儀表、地圖、二維、三維等可視化形式,實時、多維、直觀、簡潔的展示電網(wǎng)整體運行狀態(tài)及綜合量化評估指標。
采用可縮放矢量圖形svg技術(shù)對地圖進行縮放而不改變像素,結(jié)合全國各節(jié)點拓撲數(shù)據(jù),將能量以流的形式展示。采用web可視化技術(shù),對電力時空大數(shù)據(jù)的分析結(jié)果采用儀表、餅圖、三維地圖等方法進行直觀可視化展示。利用計算機圖形學、圖像處理技術(shù)、空間數(shù)據(jù)多尺度表達技術(shù)和矢量地圖技術(shù),快速地進行擾動源掃描與定位、擾動域劃分、能量動態(tài)流動和全球能源互聯(lián)網(wǎng)三維主干網(wǎng)展示。
實施例
圖1主要設(shè)計了基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)的功能構(gòu)架,主要功能流程為:
(1)物理層包括實際電網(wǎng)網(wǎng)架結(jié)構(gòu)以及與電網(wǎng)相關(guān)的外界環(huán)境,本發(fā)明首先采集物理層的電網(wǎng)信息、外界環(huán)境信息,實現(xiàn)對信息的收集與預(yù)處理,為后續(xù)實現(xiàn)電網(wǎng)的安全防御系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。
(2)傳輸層,主要負責信息的存儲與傳遞,將經(jīng)過處理、篩選后的信息傳給計算層,為計算層提供基礎(chǔ)數(shù)據(jù)服務(wù)。
(3)計算層主要利用本發(fā)明提供的大數(shù)據(jù)技術(shù),對采集處理后的信息進行大數(shù)據(jù)分析與計算。結(jié)合預(yù)想仿真故障集與信息驅(qū)動式防御體系,融合信息流、能量流、業(yè)務(wù)流,對大電網(wǎng)進行全景安全防御計算分析。
(4)業(yè)務(wù)層主要負責人機交互,利用計算層的計算分析結(jié)果,對大電網(wǎng)狀態(tài)進行實時監(jiān)視、對電網(wǎng)進行安全預(yù)警風險評估、并根據(jù)電網(wǎng)實際狀態(tài)給出安全防衛(wèi)措施。
本發(fā)明功能構(gòu)架由全新的電力時空大數(shù)據(jù)綜合分析與協(xié)調(diào)控制云計算引擎、預(yù)案與響應(yīng)相結(jié)合的策略云庫,以及電網(wǎng)狀態(tài)監(jiān)視與風險預(yù)警模塊構(gòu)成,集“監(jiān)視+預(yù)警+控制”于一體,實現(xiàn)全球能源互聯(lián)網(wǎng)不同時間維度和空間維度的全方位、立體化態(tài)勢感知和精確控制,確保電網(wǎng)以更加安全可靠、實時高效、廣域協(xié)調(diào)的方式運行。
圖2主要設(shè)計了基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)的平臺構(gòu)架,平臺實施流程如下:
(1)物理層,具體包含特高壓電網(wǎng)、智能電網(wǎng)、清潔能源以及外界環(huán)境,物理層負責信息的采集與初步預(yù)處理。
(2)傳輸層,主要負責數(shù)據(jù)的傳輸,etl采用kettle工具管理來自不同數(shù)據(jù)庫的數(shù)據(jù)并指定格式傳遞。開源數(shù)據(jù)轉(zhuǎn)移工具sqoop負責從數(shù)據(jù)庫中進行數(shù)據(jù)的抽取,在分布式系統(tǒng)基礎(chǔ)架構(gòu)hadoop和關(guān)系型數(shù)據(jù)庫中傳遞數(shù)據(jù)。為數(shù)據(jù)流環(huán)節(jié)的處理規(guī)范,所有數(shù)據(jù)需統(tǒng)一上傳給分布式發(fā)布訂閱消息系統(tǒng)kafka集群,避免后端多種接入方式的數(shù)據(jù)處理問題。
(3)存儲層,用于對數(shù)據(jù)采用分布式存儲,用redis存儲中間計算結(jié)果,用mysql存儲實時計算,離線計算結(jié)果。此外,對于不同類型的數(shù)據(jù)可以結(jié)合數(shù)據(jù)格式、用途等,在全磁盤數(shù)據(jù)庫、半內(nèi)存及全內(nèi)存數(shù)據(jù)庫中擇優(yōu)存儲。對數(shù)據(jù)進行有效壓縮、管理,降低數(shù)據(jù)的存儲成本。
(4)計算層,主要負責預(yù)處理后已存儲的電網(wǎng)數(shù)據(jù)的計算;用于對所述電網(wǎng)數(shù)據(jù)進行計算,提取影響電網(wǎng)穩(wěn)定的因素,建立電網(wǎng)時空關(guān)聯(lián)約束模型,對所述電網(wǎng)數(shù)據(jù)進行挖掘,利用電網(wǎng)數(shù)據(jù)的時空動力學特性及關(guān)聯(lián)特性評估電網(wǎng)運行態(tài)勢,并在出現(xiàn)風險預(yù)警后提供防控策略,構(gòu)建電網(wǎng)時空數(shù)據(jù)事件行為的知識庫,挖掘電網(wǎng)異常事件并預(yù)警;
計算層包括處理層和服務(wù)層:
處理層,主要進行數(shù)據(jù)的離線批處理、數(shù)據(jù)的流式計算以及spark計算,其中spark計算又分為內(nèi)存計算(sparkstreaming)、機器學習(mlib)、即席查詢(sparksql)、圖計算(graphx)等。
服務(wù)層,主要負責根據(jù)大數(shù)據(jù)平臺計算結(jié)果對電網(wǎng)現(xiàn)狀進行全方位分析,主要包括:靜態(tài)分析、動態(tài)分析、暫態(tài)分析、聚類分析、關(guān)聯(lián)分析、時空預(yù)測、數(shù)據(jù)檢索、數(shù)據(jù)交互以及數(shù)據(jù)共享等。還包括算法庫主要提供現(xiàn)有主要智能算法,以進行電網(wǎng)安全穩(wěn)定計算;與知識庫,主要負責根據(jù)大數(shù)據(jù)計算結(jié)果對電網(wǎng)狀態(tài)進行全方位評估并給出相應(yīng)的決策。
(5)展示層,主要從狀態(tài)監(jiān)視、風險預(yù)警以及防御策略三個層面分別對電網(wǎng)的動態(tài)拓撲、能量流動、時空動力學進行展示分析。
本發(fā)明提供的電網(wǎng)安全防御系統(tǒng)中服務(wù)層和展示層組成saas平臺。
所述存儲層、處理層和服務(wù)層利用基礎(chǔ)設(shè)施即服務(wù)iaas平臺所提供的虛擬化資源和物理設(shè)備資源處理電網(wǎng)數(shù)據(jù);iaas平臺層,主要負責提供高性能物理設(shè)備資源、虛擬化資源。高性能物理設(shè)備資源主要包括高性能服務(wù)器、海量信息存儲器、基礎(chǔ)運行環(huán)境以及網(wǎng)絡(luò)設(shè)備。資源虛擬化主要包括對計算資源、存儲資源、網(wǎng)絡(luò)資源進行虛擬化。通過虛擬化技術(shù)實現(xiàn)軟件應(yīng)用與底層硬件隔離,考慮到性能、功能、穩(wěn)定性、可靠性等方面的需求,可以根據(jù)業(yè)務(wù)特點,針對虛擬化系統(tǒng)進行針對性的深度定制,使其更符合業(yè)務(wù)層面的需求
且,saas平臺、paas平臺、iaas平臺以及傳輸層組成云信息平臺管控系統(tǒng)。
圖3主要設(shè)計了基于大數(shù)據(jù)技術(shù)的大電網(wǎng)全景安全防御系統(tǒng)展示層框架,平臺展示內(nèi)容如下:
(1)從時空三維角度來展現(xiàn)電網(wǎng)的能量在空間流動、電網(wǎng)拓撲及電網(wǎng)的薄弱節(jié)點,薄弱節(jié)點以發(fā)光圓圈形式展現(xiàn)。
(2)采用儀表盤形式顯示多種狀態(tài)評估指標,以紅、黃、綠三色表示不同的裕度范圍。采用動態(tài)曲線的形式顯示不同狀態(tài)評估指標變化曲線,便于運行人員了解電網(wǎng)運行變化情況。
(3)以三維柱狀圖的形式顯示亞洲、歐洲、北美洲、南美洲、大洋洲和非洲六大區(qū)域穩(wěn)定裕度指標,可以從全球→洲際→國家→省級→縣級的方式逐級對能源互聯(lián)網(wǎng)進行實時監(jiān)控、防御。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此,本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。
本申請是參照根據(jù)本申請實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其限制,盡管參照上述實施例對本發(fā)明進行了詳細的說明,所屬領(lǐng)域的普通技術(shù)人員依然可以對本發(fā)明的具體實施方式進行修改或者等同替換,這些未脫離本發(fā)明精神和范圍的任何修改或者等同替換,均在申請待批的本發(fā)明的權(quán)利要求保護范圍之內(nèi)。