本發(fā)明涉及電力規(guī)劃，具體涉及一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)：

1、在電力規(guī)劃設(shè)計(jì)的過程中，各種類的電力數(shù)據(jù)的處理過程作為前置步驟顯得尤為重要，現(xiàn)有的電力數(shù)據(jù)處理主要是對單獨(dú)種類數(shù)據(jù)進(jìn)行處理，并無法對不同種類或者不同類型數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理，進(jìn)而導(dǎo)致現(xiàn)有的電力數(shù)據(jù)處理過程效率不高，無法滿足日益增長的電力規(guī)劃設(shè)計(jì)需求。

2、例如，公告號為cn117633881a的中國專利，涉及一種電力數(shù)據(jù)優(yōu)化處理方法，包括：用戶通過客戶端的web瀏覽頁面進(jìn)行身份標(biāo)識驗(yàn)證，判定是否準(zhǔn)許登入系統(tǒng)，根據(jù)用戶身份所賦予的角色獲取相應(yīng)的訪問和管理權(quán)限；各個(gè)采集點(diǎn)的文件包通過中央處理器發(fā)放的公鑰進(jìn)行加密，并通過無線網(wǎng)絡(luò)上傳給云端，云端通過私鑰解密文件包后并進(jìn)行存儲；改進(jìn)聚類算法以各個(gè)文件包中電力數(shù)據(jù)的中位數(shù)作為聚類質(zhì)心，將文件包中的電力數(shù)據(jù)進(jìn)行迭代聚合，并對聚值集未收容的電力數(shù)據(jù)進(jìn)行異常顯示，并生成警示信息和新命令，實(shí)現(xiàn)電力數(shù)據(jù)的加密輸送和訪問以及異常數(shù)據(jù)凸顯處理。但是，公告號為cn117633881a的中國專利側(cè)重于對電力數(shù)據(jù)的加密訪問，并沒有涉及對不同種類或者不同類型的數(shù)據(jù)處理過程。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明解決了現(xiàn)有的電力數(shù)據(jù)處理方法無法對不同種類或者不同類型數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理的問題，提出一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理方法及系統(tǒng)，能夠借助系統(tǒng)學(xué)習(xí)處理方法對結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行綜合處理，并充分挖掘數(shù)據(jù)的關(guān)聯(lián)關(guān)系，使不同種類之間的電力數(shù)據(jù)互為補(bǔ)充，為后續(xù)的電力規(guī)劃設(shè)計(jì)提供數(shù)據(jù)參考。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理方法，包括以下步驟：

4、s1，接收分散數(shù)據(jù)，分散數(shù)據(jù)包括第一結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，對非結(jié)構(gòu)數(shù)據(jù)進(jìn)行處理生成第二結(jié)構(gòu)數(shù)據(jù)；

5、s2，根據(jù)電力數(shù)據(jù)要素將第一結(jié)構(gòu)數(shù)據(jù)和第二結(jié)構(gòu)數(shù)據(jù)進(jìn)行分類形成多個(gè)待處理數(shù)據(jù)集，對待處理數(shù)據(jù)集進(jìn)行重復(fù)度篩選生成第三結(jié)構(gòu)數(shù)據(jù)；

6、s3，對第三結(jié)構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，根據(jù)時(shí)間戳和電力數(shù)據(jù)要素生成第一關(guān)系數(shù)據(jù)和第二關(guān)系數(shù)據(jù)；

7、s4，根據(jù)結(jié)構(gòu)數(shù)據(jù)和關(guān)系數(shù)據(jù)生成三維數(shù)據(jù)組，對三維數(shù)據(jù)組進(jìn)行第一數(shù)圖轉(zhuǎn)換和拼接處理后生成整體圖，整體圖經(jīng)發(fā)送并還原后以備查詢。

8、本技術(shù)方案中，首先通過相應(yīng)的接收設(shè)備接收分散數(shù)據(jù)，并且對分散數(shù)據(jù)里面的非結(jié)構(gòu)數(shù)據(jù)進(jìn)行處理以得到第二結(jié)構(gòu)數(shù)據(jù)，分散數(shù)據(jù)本身存在的第一結(jié)構(gòu)數(shù)據(jù)和轉(zhuǎn)換處理得到的第二結(jié)構(gòu)數(shù)據(jù)根據(jù)電力數(shù)據(jù)要素進(jìn)行分類得到若干個(gè)待處理數(shù)據(jù)集，對上述的數(shù)據(jù)集進(jìn)行重復(fù)度篩選已形成第三結(jié)構(gòu)數(shù)據(jù)，在得到第三結(jié)構(gòu)數(shù)據(jù)之后，從兩個(gè)維度出發(fā)，生成有第一關(guān)系數(shù)據(jù)以及第二關(guān)系數(shù)據(jù)，這兩個(gè)關(guān)系數(shù)據(jù)能夠進(jìn)一步映襯第三結(jié)構(gòu)數(shù)據(jù)的功能和數(shù)據(jù)含義；最后，對三維數(shù)據(jù)組進(jìn)行數(shù)圖轉(zhuǎn)換得到整體圖，通過圖像傳輸?shù)姆绞綄⑸鲜龅臄?shù)據(jù)傳輸至使用端，以備后續(xù)的電力規(guī)劃設(shè)計(jì)的使用，對后續(xù)電力規(guī)劃設(shè)計(jì)過程提供數(shù)據(jù)參考。

9、本發(fā)明還進(jìn)一步設(shè)置為：所述對非結(jié)構(gòu)數(shù)據(jù)進(jìn)行處理生成第二結(jié)構(gòu)數(shù)據(jù)，包括：

10、s11，將非結(jié)構(gòu)數(shù)據(jù)均輸入至深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)模型中，解析輸出相應(yīng)的模型輸出結(jié)構(gòu)數(shù)據(jù)；

11、s12，從模型輸出結(jié)構(gòu)數(shù)據(jù)中篩選去除所有的格式數(shù)據(jù)，提取得到特征結(jié)構(gòu)數(shù)據(jù)；

12、s13，將特征結(jié)構(gòu)數(shù)據(jù)按照時(shí)間戳的順序重新拼合得到第二結(jié)構(gòu)數(shù)據(jù)。

13、本技術(shù)方案中，對于上述非結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)換過程，其主要是利用了預(yù)先訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)模型來進(jìn)行解析輸出，該系統(tǒng)具備深度學(xué)習(xí)功能，模型的輸入為非結(jié)構(gòu)數(shù)據(jù)，其輸出則是相應(yīng)的模型輸出結(jié)構(gòu)數(shù)據(jù)，模型輸出結(jié)構(gòu)數(shù)據(jù)此時(shí)為結(jié)構(gòu)數(shù)據(jù)，但是在模型輸出結(jié)構(gòu)數(shù)據(jù)之中，存在有大量的無關(guān)數(shù)據(jù)，故在模型輸出結(jié)構(gòu)數(shù)據(jù)之后，依次進(jìn)行篩選和提取，得到特征結(jié)構(gòu)數(shù)據(jù)，特征結(jié)構(gòu)數(shù)據(jù)由于較為分散，故根據(jù)時(shí)間戳順序進(jìn)行重新拼合，得到有最終的第二結(jié)構(gòu)數(shù)據(jù)。

14、本發(fā)明還進(jìn)一步設(shè)置為：所述步驟s2包括：

15、s21，根據(jù)電力數(shù)據(jù)的實(shí)際用途，分類得到若干個(gè)電力數(shù)據(jù)要素；

16、s22，根據(jù)第一結(jié)構(gòu)數(shù)據(jù)和第二結(jié)構(gòu)數(shù)據(jù)中的關(guān)鍵信息，判斷其所屬的具體電力數(shù)據(jù)要素種類，得到若干個(gè)不同電力數(shù)據(jù)要素的待處理數(shù)據(jù)集；

17、s23，對待處理數(shù)據(jù)集中重復(fù)的數(shù)據(jù)進(jìn)行刪除，以得到第三結(jié)構(gòu)數(shù)據(jù)。

18、本技術(shù)方案中，首先確定電力數(shù)據(jù)要素的具體分類，在確定了具體的分類之后，直接從步驟s1得到的第一結(jié)構(gòu)數(shù)據(jù)和第二結(jié)構(gòu)數(shù)據(jù)中提取相應(yīng)的關(guān)鍵信息，根據(jù)關(guān)鍵信息來判斷其是屬于哪一個(gè)電力數(shù)據(jù)要素種類，在確定了其電力數(shù)據(jù)要素種類之后，將待處理數(shù)據(jù)集中的重復(fù)數(shù)據(jù)進(jìn)行刪除，最終得到有第三結(jié)構(gòu)數(shù)據(jù)。

19、本發(fā)明還進(jìn)一步設(shè)置為：所述對待處理數(shù)據(jù)集中重復(fù)的數(shù)據(jù)進(jìn)行刪除，包括：

20、遍歷同一電力數(shù)據(jù)要素的待處理數(shù)據(jù)集，確定待處理數(shù)據(jù)中的關(guān)鍵特征；

21、提取相同關(guān)鍵特征的數(shù)據(jù)字節(jié)，統(tǒng)計(jì)數(shù)據(jù)字節(jié)的重復(fù)字節(jié)數(shù)；若重復(fù)字節(jié)數(shù)大于重復(fù)判斷范圍，該數(shù)據(jù)字節(jié)為重復(fù)字節(jié)；

22、若關(guān)鍵特征均為重復(fù)字節(jié)，則該待處理數(shù)據(jù)為重復(fù)數(shù)據(jù)。

23、本技術(shù)方案中，為了更好的進(jìn)行后續(xù)的數(shù)據(jù)聚類，對待處理數(shù)據(jù)集中的重復(fù)數(shù)據(jù)進(jìn)行剔除，首先確定待處理數(shù)據(jù)中的若干個(gè)關(guān)鍵特征，這些關(guān)鍵特征由若干個(gè)數(shù)據(jù)字節(jié)構(gòu)成，直接對這些數(shù)據(jù)字節(jié)進(jìn)行統(tǒng)計(jì)分析，若存在有相同的兩個(gè)數(shù)據(jù)字節(jié)，則兩個(gè)數(shù)據(jù)字節(jié)均為重復(fù)字節(jié)，具體的，對于相同的兩個(gè)數(shù)據(jù)字節(jié)的判斷標(biāo)準(zhǔn)，只需要滿足重復(fù)字節(jié)數(shù)大于重復(fù)判斷范圍即可；隨后在關(guān)鍵特征中的所有數(shù)據(jù)字節(jié)均為重復(fù)字節(jié)，則兩個(gè)待處理數(shù)據(jù)均為重復(fù)數(shù)據(jù)，刪除一個(gè)即可。

24、本發(fā)明還進(jìn)一步設(shè)置為：所述對第三結(jié)構(gòu)數(shù)據(jù)進(jìn)行關(guān)系分析，包括：

25、提取同一電力數(shù)據(jù)要素的一個(gè)第三結(jié)構(gòu)數(shù)據(jù)，根據(jù)時(shí)間戳的順序分析該數(shù)據(jù)與臨近時(shí)間戳對應(yīng)的第三結(jié)構(gòu)數(shù)據(jù)的關(guān)系，判斷是否存在有關(guān)聯(lián)數(shù)據(jù)，若是，則按當(dāng)前時(shí)間戳生成第一關(guān)系數(shù)據(jù)，直至遍歷完所有的同一電力數(shù)據(jù)要素，生成關(guān)于第一關(guān)系數(shù)據(jù)的集合。

26、本技術(shù)方案中，同一電力數(shù)據(jù)要素之下的第三結(jié)構(gòu)數(shù)據(jù)，根據(jù)其與臨近時(shí)間戳對應(yīng)的第三結(jié)構(gòu)數(shù)據(jù)是否存在關(guān)系來決定是否生成第一關(guān)系數(shù)據(jù)，若該第三結(jié)構(gòu)數(shù)據(jù)能夠與臨近時(shí)間戳對應(yīng)的第三結(jié)構(gòu)數(shù)據(jù)存在關(guān)聯(lián)，且能夠結(jié)合生成全新的關(guān)聯(lián)數(shù)據(jù)，則生成有相應(yīng)的第一關(guān)系數(shù)據(jù)，最終能夠生成有第一關(guān)系數(shù)據(jù)的集合。

27、本發(fā)明還進(jìn)一步設(shè)置為：所述對第三結(jié)構(gòu)數(shù)據(jù)進(jìn)行關(guān)系分析，還包括：

28、提取相同時(shí)間戳但不同電力數(shù)據(jù)要素下的若干個(gè)第三結(jié)構(gòu)數(shù)據(jù)，判斷若干個(gè)第三結(jié)構(gòu)數(shù)據(jù)之間是否存在有關(guān)聯(lián)數(shù)據(jù)，若是，則按當(dāng)前時(shí)間戳生成第二關(guān)系數(shù)據(jù)，直至遍歷完所有的第三結(jié)構(gòu)數(shù)據(jù)，生成關(guān)于第二關(guān)系數(shù)據(jù)的集合。

29、本技術(shù)方案中，在相同時(shí)間戳，不同電力數(shù)據(jù)要素下的第三結(jié)構(gòu)數(shù)據(jù)，由于在相同的時(shí)間點(diǎn)，也同樣存在有數(shù)據(jù)關(guān)聯(lián)的可能，若存在有關(guān)聯(lián)關(guān)系且能夠存在有關(guān)聯(lián)數(shù)據(jù)，則直接生成有第二關(guān)系數(shù)據(jù)，最終生成有第二關(guān)系數(shù)據(jù)的集合。

30、本發(fā)明還進(jìn)一步設(shè)置為：所述步驟s4包括：

31、s41，提取第三結(jié)構(gòu)數(shù)據(jù)、第一關(guān)系數(shù)據(jù)和第二關(guān)系數(shù)據(jù)，分別進(jìn)行歸一化處理，組合生成三維數(shù)據(jù)組；

32、s42，將三維數(shù)據(jù)組轉(zhuǎn)換為圖轉(zhuǎn)數(shù)據(jù)組，以圖轉(zhuǎn)數(shù)據(jù)組作為轉(zhuǎn)換后圖像的rgb值，將圖轉(zhuǎn)數(shù)據(jù)組轉(zhuǎn)換為第一圖像，將所有的第一圖像進(jìn)行拼接生成整體圖像；

33、s43，將整體圖像發(fā)送至接收端后進(jìn)行還原和查詢。

34、本技術(shù)方案中，首先根據(jù)步驟s4之前的過程形成的結(jié)構(gòu)數(shù)據(jù)以及關(guān)系數(shù)據(jù)來形成有相應(yīng)的三維數(shù)據(jù)組，三維數(shù)據(jù)組在進(jìn)行按比例縮放之后生成有圖轉(zhuǎn)數(shù)據(jù)組，將圖轉(zhuǎn)數(shù)據(jù)組中的三個(gè)數(shù)據(jù)分別表示為轉(zhuǎn)換后圖像的rgb值，進(jìn)而形成有若干個(gè)相同像素大小下的第一圖像，最終將這些第一圖像進(jìn)行整體拼接，并記錄相應(yīng)的拼接順序，進(jìn)而得到能夠進(jìn)行傳輸?shù)恼w圖像，整體圖像能夠發(fā)送到有查詢需求的客戶端，在發(fā)送到客戶端后，對上述的整體圖進(jìn)行還原處理，隨后能夠進(jìn)行查詢，確保在傳輸過程中的數(shù)據(jù)安全。

35、本發(fā)明還進(jìn)一步設(shè)置為：所述拼接處理包括順序拼接和不規(guī)則拼接，所述順序拼接具體為按照數(shù)據(jù)組的順序進(jìn)行拼接，所述不規(guī)則拼接具體為按照數(shù)據(jù)組的隨機(jī)順序進(jìn)行拼接，所述隨機(jī)順序根據(jù)隨機(jī)函數(shù)產(chǎn)生，不規(guī)則拼接需對其順序進(jìn)行保存和記錄。

36、本技術(shù)方案中，不規(guī)則拼接具備有更高的安全性，其隨機(jī)順序能夠由隨機(jī)函數(shù)進(jìn)行生成，不規(guī)則拼接的順序必須進(jìn)行保存，以便后續(xù)的數(shù)據(jù)還原處理時(shí)進(jìn)行使用，不規(guī)則拼接的順序可以采用單獨(dú)的傳輸方式進(jìn)行傳輸。

37、本發(fā)明還進(jìn)一步設(shè)置為：所述判斷是否存在有關(guān)聯(lián)數(shù)據(jù)的依據(jù)為經(jīng)驗(yàn)公式或者是ai大數(shù)據(jù)模型，所述ai大數(shù)據(jù)模型根據(jù)歷史得到的關(guān)聯(lián)數(shù)據(jù)的特征來進(jìn)行ai預(yù)測。

38、本技術(shù)方案中，經(jīng)驗(yàn)公式大部分結(jié)合人工檢測得到，ai大數(shù)據(jù)模型借助于ai技術(shù)生成，準(zhǔn)確率相對于經(jīng)驗(yàn)公式更高。

39、一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理系統(tǒng)，采用上述的一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理方法，包括：

40、非結(jié)構(gòu)數(shù)據(jù)處理單元，將非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)換得到第二結(jié)構(gòu)數(shù)據(jù)；

41、分類及篩選單元，根據(jù)電力數(shù)據(jù)要素對結(jié)構(gòu)數(shù)據(jù)進(jìn)行分類，并對待處理數(shù)據(jù)集進(jìn)行重復(fù)度篩選；

42、關(guān)聯(lián)分析單元，對結(jié)構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，并依次生成有第一關(guān)系數(shù)據(jù)和第二關(guān)系數(shù)據(jù)；

43、數(shù)圖轉(zhuǎn)換單元，對三維數(shù)據(jù)組進(jìn)行數(shù)圖轉(zhuǎn)換，生成整體圖。

44、本技術(shù)方案中的一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理系統(tǒng)主要包括有非結(jié)構(gòu)數(shù)據(jù)處理單元、分類及篩選單元、關(guān)聯(lián)分析單元以及數(shù)圖轉(zhuǎn)換單元，非結(jié)構(gòu)數(shù)據(jù)處理單元與分類及篩選單元連接，分類及篩選單元與關(guān)聯(lián)分析單元連接，關(guān)聯(lián)分析單元與數(shù)圖轉(zhuǎn)換單元連接。非結(jié)構(gòu)數(shù)據(jù)處理單元能夠?qū)Ψ墙Y(jié)構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，生成相應(yīng)的第二結(jié)構(gòu)數(shù)據(jù)；分類及篩選單元能夠根據(jù)電力數(shù)據(jù)要素對結(jié)構(gòu)數(shù)據(jù)進(jìn)行分類以及對待處理數(shù)據(jù)進(jìn)行篩選；關(guān)聯(lián)分析單元能夠?qū)Φ谌Y(jié)構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，生成相應(yīng)的關(guān)系數(shù)據(jù)，以便對相應(yīng)的類似數(shù)據(jù)進(jìn)行查找和分析；數(shù)圖轉(zhuǎn)換單元能夠?qū)ι鲜龅臄?shù)據(jù)進(jìn)行轉(zhuǎn)換，生成相對可靠安全的整體圖來進(jìn)行數(shù)據(jù)的傳輸，保證數(shù)據(jù)的安全和防篡改。

45、本發(fā)明能夠帶來如下的有益效果：

46、1、本發(fā)明涉及的一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理方法，能夠借助系統(tǒng)學(xué)習(xí)處理方法對結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行綜合處理，并充分挖掘數(shù)據(jù)的關(guān)聯(lián)關(guān)系，使不同種類之間的電力數(shù)據(jù)互為補(bǔ)充，為后續(xù)的電力規(guī)劃設(shè)計(jì)提供數(shù)據(jù)參考；

47、2、本發(fā)明涉及的一種基于系統(tǒng)學(xué)習(xí)的電力數(shù)據(jù)處理系統(tǒng)，通過非結(jié)構(gòu)數(shù)據(jù)處理單元、分類及篩選單元、關(guān)聯(lián)分析單元以及數(shù)圖轉(zhuǎn)換單元的按序且協(xié)同作用，充分利用多源數(shù)據(jù)之間的關(guān)聯(lián)性，以得到更為準(zhǔn)確的數(shù)據(jù)處理結(jié)果。