本發(fā)明水力發(fā)電數(shù)據(jù)處理，特別是涉及一種多維度全流程水電數(shù)據(jù)處理方法。

背景技術(shù)：

1、水電行業(yè)數(shù)據(jù)具有多模態(tài)、強(qiáng)關(guān)聯(lián)、高異構(gòu)等形態(tài)特點(diǎn)，存在數(shù)據(jù)管理分類(lèi)不明確、數(shù)據(jù)描述不規(guī)范、數(shù)據(jù)匹配不精確的問(wèn)題，同時(shí)也存在高密度、低價(jià)值等應(yīng)用特點(diǎn)，存在數(shù)據(jù)價(jià)值密度低的問(wèn)題；現(xiàn)有技術(shù)中，尚沒(méi)有一種技術(shù)方案可以融合主動(dòng)感知與數(shù)據(jù)融合技術(shù)，實(shí)現(xiàn)水電海量多源異構(gòu)、多維多態(tài)數(shù)據(jù)的自動(dòng)匯聚、融合存儲(chǔ)、業(yè)務(wù)化預(yù)處理、高價(jià)值場(chǎng)景提煉的數(shù)據(jù)全生命周期管理；因此，需要設(shè)計(jì)一種多維度全流程水電數(shù)據(jù)處理方法來(lái)解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種多維度全流程水電數(shù)據(jù)處理方法，該方法旨在解決現(xiàn)有技術(shù)中水電行業(yè)的數(shù)據(jù)由于多模態(tài)、強(qiáng)關(guān)聯(lián)、高異構(gòu)的特點(diǎn)，導(dǎo)致的數(shù)據(jù)處理和數(shù)據(jù)融合納管較為困難的問(wèn)題，通過(guò)構(gòu)建水電全流程元數(shù)據(jù)體系，可以打造實(shí)時(shí)、精準(zhǔn)、科學(xué)、可信的業(yè)務(wù)服務(wù)模型，形成多維度全流程水電數(shù)據(jù)空間。

2、為實(shí)現(xiàn)上述技術(shù)效果，本發(fā)明所采用的技術(shù)方案是：

3、一種多維度全流程水電數(shù)據(jù)處理方法，包括以下步驟：

4、s1，數(shù)據(jù)采集：

5、通過(guò)多種數(shù)據(jù)采集設(shè)備對(duì)機(jī)組狀態(tài)、氣象水情、大壩狀態(tài)和生態(tài)環(huán)境的數(shù)據(jù)進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)采集設(shè)備包括多類(lèi)型傳感器；

6、s2，對(duì)采集的各類(lèi)型監(jiān)測(cè)數(shù)據(jù)進(jìn)行即時(shí)處理與融合，對(duì)多源異構(gòu)數(shù)據(jù)協(xié)同共享，包括數(shù)據(jù)預(yù)處理、特征提取和特征融合；

7、s3，構(gòu)建事件關(guān)系與運(yùn)算模型：

8、通過(guò)提取的數(shù)據(jù)特征建立機(jī)組設(shè)備間以及機(jī)組設(shè)備與氣象水情、大壩狀態(tài)和生態(tài)環(huán)境間的相互關(guān)系，關(guān)聯(lián)隸屬的監(jiān)測(cè)數(shù)據(jù)，并構(gòu)建事件觸發(fā)時(shí)需運(yùn)行的計(jì)算模型；

9、s4，高性能并行計(jì)算：

10、建立分布式單元或分塊空間網(wǎng)格對(duì)事件關(guān)系與運(yùn)算模型進(jìn)行云端高性能并行運(yùn)算；

11、s5，基于高性能并行計(jì)算結(jié)果構(gòu)建以水電業(yè)務(wù)為導(dǎo)向的數(shù)據(jù)空間結(jié)構(gòu)。

12、優(yōu)選地，采集的數(shù)據(jù)包括機(jī)組狀態(tài)的發(fā)電機(jī)、變壓器以及水輪機(jī)的溫度、振動(dòng)、電流和電壓監(jiān)測(cè)數(shù)據(jù)，大壩的壩體位移、滲流量和形變量監(jiān)測(cè)數(shù)據(jù)，氣象水情的上下游水位、徑流量、空氣溫濕度和降雨量監(jiān)測(cè)數(shù)據(jù)，生態(tài)環(huán)境的水體、生態(tài)流量和空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)。

13、進(jìn)一步地，數(shù)據(jù)采集除了多類(lèi)型傳感器，還包括與水力發(fā)電廠多個(gè)系統(tǒng)對(duì)接的api接口，包括與監(jiān)控系統(tǒng)、梯調(diào)數(shù)據(jù)、在線監(jiān)測(cè)系統(tǒng)、大壩監(jiān)測(cè)系統(tǒng)和生產(chǎn)管理系統(tǒng)的數(shù)據(jù)庫(kù)進(jìn)行對(duì)接的api接口，從上述系統(tǒng)中直接獲取監(jiān)測(cè)數(shù)據(jù)，從而完成數(shù)據(jù)采集；監(jiān)控系統(tǒng)、梯調(diào)數(shù)據(jù)、在線監(jiān)測(cè)系統(tǒng)、大壩監(jiān)測(cè)系統(tǒng)和生產(chǎn)管理系統(tǒng)是水力發(fā)電廠現(xiàn)有的系統(tǒng)。

14、優(yōu)選地，數(shù)據(jù)預(yù)處理包括：

15、根據(jù)水電數(shù)據(jù)特征對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)規(guī)約；通過(guò)數(shù)據(jù)清洗去除數(shù)據(jù)中的噪聲和異常值，對(duì)水電設(shè)備狀態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)中斷、死值、跳變、超量程及無(wú)效值的清洗；通過(guò)數(shù)據(jù)轉(zhuǎn)換將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的時(shí)間格式；通過(guò)數(shù)據(jù)規(guī)約減少數(shù)據(jù)的數(shù)量，使數(shù)據(jù)處理更加高效，在對(duì)水電設(shè)備狀態(tài)數(shù)據(jù)處理時(shí)，可以過(guò)濾運(yùn)行工況以外的數(shù)據(jù)。

16、優(yōu)選地，特征提取包括：

17、從每個(gè)數(shù)據(jù)源中提取出特征，特征包括原始數(shù)據(jù)的原始特征或通過(guò)算法計(jì)算得到的新特征；特征包括邏輯設(shè)備、實(shí)例化設(shè)備、組織機(jī)構(gòu)和時(shí)間等維度。

18、優(yōu)選地，特征融合包括：

19、將不同數(shù)據(jù)源的特征進(jìn)行融合，形成新的特征表示，依靠新的特征完成多元異構(gòu)數(shù)據(jù)的匯聚和融合；特征融合的方法包括特征選擇、特征加權(quán)和特征變換。

20、優(yōu)選地，構(gòu)建事件關(guān)系與運(yùn)算模型包括：

21、s301，定義事件和關(guān)系：

22、定義水電站機(jī)組的各種事件及時(shí)間類(lèi)型，包括開(kāi)機(jī)、停機(jī)和故障，并定義事件之間的關(guān)系，包括順序關(guān)系、并行關(guān)系和因果關(guān)系；

23、s302，建立事件關(guān)系圖：

24、根據(jù)定義的事件和關(guān)系，建立事件關(guān)系圖；根據(jù)事件的上下級(jí)關(guān)系形成父級(jí)事件，根據(jù)事件發(fā)生的前后順序形成前序事件；

25、s303，建立運(yùn)算模型：

26、根據(jù)事件關(guān)系圖，建立相應(yīng)的運(yùn)算模型；運(yùn)算模型包括數(shù)學(xué)模型和計(jì)算機(jī)模型，用于計(jì)算和預(yù)測(cè)水電站機(jī)組的運(yùn)行狀態(tài)；

27、s304，模型驗(yàn)證和調(diào)整：

28、通過(guò)實(shí)際運(yùn)行數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證和調(diào)整；收集一段時(shí)間內(nèi)的機(jī)組運(yùn)行數(shù)據(jù)，將機(jī)組運(yùn)行數(shù)據(jù)作為測(cè)試集來(lái)驗(yàn)證模型的準(zhǔn)確性；若模型的預(yù)測(cè)結(jié)果與實(shí)際運(yùn)行狀態(tài)不符，則通過(guò)調(diào)整模型參數(shù)和改進(jìn)模型結(jié)構(gòu)來(lái)對(duì)運(yùn)算模型進(jìn)行調(diào)整。

29、優(yōu)選地，建立分布式單元或分塊空間網(wǎng)格對(duì)事件關(guān)系與運(yùn)算模型進(jìn)行云端高性能并行運(yùn)算包括：

30、s401，任務(wù)分解：

31、將事件分解為多個(gè)子任務(wù)，子任務(wù)以并行方式在多個(gè)處理器上同時(shí)執(zhí)行；在水電站機(jī)組事件關(guān)系模型中，根據(jù)“機(jī)組-參數(shù)類(lèi)型-指標(biāo)”的步驟分解為最小單元執(zhí)行子系統(tǒng)調(diào)度指令任務(wù)；

32、s402，并行策略定義：

33、根據(jù)事件的特性，選擇數(shù)據(jù)并行和任務(wù)并行中的一種或兩種；在水電站機(jī)組事件關(guān)系模型中，使用空間分解的方式進(jìn)行并行計(jì)算，存在上下級(jí)關(guān)系的單元串行計(jì)算，不存在上下級(jí)關(guān)系的單元選擇并行計(jì)算或串行計(jì)算；

34、s403，任務(wù)分配和調(diào)度：

35、通過(guò)任務(wù)調(diào)度算法將子任務(wù)分配給多個(gè)處理器或計(jì)算節(jié)點(diǎn)；在水電站機(jī)組事件關(guān)系模型中，根據(jù)水電站的特性和空間分布格局，將水電系統(tǒng)分解為多個(gè)子系統(tǒng)，并進(jìn)行逐區(qū)調(diào)度和協(xié)調(diào)優(yōu)化；采用循環(huán)調(diào)度算法作為任務(wù)調(diào)度算法，將所有的子任務(wù)按照一定的順序分配給所有的處理器，每個(gè)處理器在完成一個(gè)子任務(wù)后，就從剩余的子任務(wù)中取出一個(gè)新的子任務(wù)進(jìn)行處理；

36、s404，同步和通信：

37、在多個(gè)處理器或計(jì)算節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換和任務(wù)同步，使所有處理器或計(jì)算節(jié)點(diǎn)正確完成分配的任務(wù)；在水電站機(jī)組事件關(guān)系模型中，在每次計(jì)算之前為每個(gè)空間子域更新鄰域信息；使用消息傳遞接口mpi進(jìn)行同步和通信，每個(gè)處理器與其他處理器之間建立消息發(fā)送和消息接收通道，在處理器之間進(jìn)行數(shù)據(jù)交換和任務(wù)同步；

38、s405，并行運(yùn)算優(yōu)化：

39、對(duì)并行運(yùn)算過(guò)程進(jìn)行算法優(yōu)化、數(shù)據(jù)結(jié)構(gòu)優(yōu)化、并行算法優(yōu)化和硬件優(yōu)化；在水電站機(jī)組事件關(guān)系模型中，通過(guò)應(yīng)用大系統(tǒng)分解協(xié)調(diào)方法和多核集群并行計(jì)算來(lái)進(jìn)行并行運(yùn)算優(yōu)化；

40、s406，性能評(píng)估：

41、通過(guò)實(shí)際運(yùn)行數(shù)據(jù)對(duì)并行運(yùn)算的性能進(jìn)行評(píng)估，確定并行計(jì)算的效果；在水電站機(jī)組事件關(guān)系模型中，使用浮點(diǎn)運(yùn)算次數(shù)flops來(lái)評(píng)估并行計(jì)算的性能，通過(guò)計(jì)算每秒鐘可以執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)，從而得到并行計(jì)算的性能。

42、優(yōu)選地，步驟s4中，基于高性能并行計(jì)算結(jié)果構(gòu)建以水電業(yè)務(wù)為導(dǎo)向的數(shù)據(jù)空間結(jié)構(gòu)包括對(duì)象中心模型、業(yè)務(wù)主題模型和事件關(guān)系模型。

43、優(yōu)選地，一種多維度全流程水電數(shù)據(jù)處理系統(tǒng)，系統(tǒng)執(zhí)行上述的多維度全流程水電數(shù)據(jù)處理方法；系統(tǒng)包括感知層、平臺(tái)層和應(yīng)用層；

44、感知層用于實(shí)現(xiàn)數(shù)據(jù)采集，對(duì)機(jī)組狀態(tài)、氣象水情、大壩狀態(tài)和生態(tài)環(huán)境的數(shù)據(jù)進(jìn)行數(shù)據(jù)采集；

45、平臺(tái)層用于實(shí)現(xiàn)數(shù)據(jù)治理，數(shù)據(jù)治理包括對(duì)采集的各類(lèi)型監(jiān)測(cè)數(shù)據(jù)進(jìn)行即時(shí)處理與融合，對(duì)多源異構(gòu)數(shù)據(jù)協(xié)同共享，構(gòu)建事件關(guān)系與運(yùn)算模型以及建立分布式單元或分塊空間網(wǎng)格對(duì)事件關(guān)系與運(yùn)算模型進(jìn)行云端高性能并行運(yùn)算；

46、應(yīng)用層用于數(shù)據(jù)應(yīng)用，包括智能運(yùn)維、智能檢修、智慧調(diào)度和智能決策。

47、本發(fā)明的有益效果如下：

48、1，本發(fā)明針對(duì)流域下電站具有復(fù)雜的隨機(jī)擾動(dòng)和動(dòng)態(tài)時(shí)變的特性，通過(guò)實(shí)時(shí)監(jiān)測(cè)收集設(shè)備動(dòng)態(tài)數(shù)據(jù)，對(duì)量測(cè)信息、外部環(huán)境信息等多源時(shí)序基礎(chǔ)數(shù)據(jù)，進(jìn)行高質(zhì)量、全方位的融合分析，動(dòng)態(tài)感知機(jī)組的運(yùn)行工況，建立實(shí)時(shí)監(jiān)測(cè)、智能分析、優(yōu)化控制、遠(yuǎn)程管理的全景態(tài)勢(shì)感知架構(gòu)。

49、2，本發(fā)明根據(jù)水電業(yè)務(wù)建立水電事件關(guān)系與運(yùn)算模型，對(duì)機(jī)組的狀態(tài)參數(shù)通過(guò)運(yùn)算模型進(jìn)行實(shí)時(shí)地監(jiān)控分析；同時(shí)提供高性能并行調(diào)度計(jì)算，提高模型運(yùn)算地效率，提升數(shù)據(jù)分析地實(shí)時(shí)性。

50、3，本發(fā)明通過(guò)面向業(yè)務(wù)場(chǎng)景和業(yè)務(wù)流程的數(shù)據(jù)加工工具，創(chuàng)建多維度、跨流程的業(yè)務(wù)數(shù)據(jù)集市，構(gòu)造以業(yè)務(wù)為中心的可信可用數(shù)據(jù)中間層，形成水電業(yè)務(wù)特色的數(shù)據(jù)空間結(jié)構(gòu)。