一種基于動(dòng)態(tài)離群點(diǎn)檢測的配電網(wǎng)數(shù)據(jù)在線清洗方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種配電網(wǎng)數(shù)據(jù)在線清洗方法，具體涉及一種基于動(dòng)態(tài)離群點(diǎn)檢測的 配電網(wǎng)數(shù)據(jù)在線清洗方法。
【背景技術(shù)】
[0002] 配電網(wǎng)作為電力系統(tǒng)面向用戶的最后環(huán)節(jié)，具有設(shè)備量多且分布廣，網(wǎng)絡(luò)拓?fù)浼?構(gòu)復(fù)雜且不穩(wěn)定等特點(diǎn)，配電終端采集信息多為電流、電壓、開關(guān)位置等狀態(tài)量及模擬量， 采集頻率較高使得總體采集數(shù)據(jù)量級非常大，同時(shí)配電自動(dòng)系統(tǒng)業(yè)務(wù)繁多，各應(yīng)用對通信 的需求有所區(qū)別，部分應(yīng)用對數(shù)據(jù)的實(shí)時(shí)性要求較高，為了實(shí)現(xiàn)數(shù)據(jù)監(jiān)測通信的統(tǒng)一以及 擴(kuò)展業(yè)務(wù)的需要，配電網(wǎng)在線數(shù)據(jù)采集是當(dāng)前非常重要的一項(xiàng)工作。
[0003] 而安裝在高中低壓配電網(wǎng)現(xiàn)場的各種遠(yuǎn)方監(jiān)測設(shè)備（主要包括配電開關(guān)監(jiān)控終 端、配電變壓器監(jiān)測終端、開關(guān)站和公用及客戶配電所的監(jiān)控終端）、用電信息采集終端和 各類通信設(shè)備長期暴露于戶外，部分設(shè)備環(huán)境適應(yīng)能力較差，故障率較高，當(dāng)出現(xiàn)故障時(shí)會(huì) 產(chǎn)生大量錯(cuò)誤數(shù)據(jù)；同時(shí)配電網(wǎng)所使用的通信方式在電力系統(tǒng)中較為復(fù)雜多樣，其中既包 括可靠性很強(qiáng)的光纖以太網(wǎng)方式，也有一些質(zhì)量較差的配電載波、GPRS或3G無線通信方 式，還有一些小眾的無線擴(kuò)頻、Zigbee技術(shù)，這些通信方式當(dāng)遭受雷擊過電壓、大電流沖擊 等強(qiáng)電磁干擾時(shí)會(huì)出現(xiàn)錯(cuò)碼斷碼現(xiàn)象。配電網(wǎng)量測誤差至少還包括：PT/CT設(shè)備誤差、時(shí)間 不同步導(dǎo)致數(shù)據(jù)采集的不同時(shí)性、三相不平衡及功率因數(shù)變化導(dǎo)致的誤差。雖然配電網(wǎng)所 采集的絕大部分?jǐn)?shù)據(jù)都是正常數(shù)據(jù)，只有極少量的異常數(shù)據(jù)，但這仍然會(huì)干擾配電網(wǎng)的運(yùn) 行狀態(tài)監(jiān)測、實(shí)時(shí)仿真分析和基礎(chǔ)計(jì)算優(yōu)化等工作。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于動(dòng)態(tài)離群點(diǎn)檢測的配電網(wǎng)數(shù)據(jù)在線清 洗方法，通過建立數(shù)據(jù)緩沖隊(duì)列，動(dòng)態(tài)更新歐式矩陣和清除數(shù)據(jù)異常點(diǎn)三個(gè)過程對配電網(wǎng) 運(yùn)行和故障過程中產(chǎn)生的配電網(wǎng)數(shù)據(jù)實(shí)時(shí)在線數(shù)據(jù)進(jìn)行清洗，提升了配電網(wǎng)數(shù)據(jù)質(zhì)量及可 用性，從海量時(shí)序樣本中快速排除干擾點(diǎn)，提高仿真計(jì)算和狀態(tài)監(jiān)測等工作結(jié)果的精確度。
[0005] 本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的：
[0006] 一種基于動(dòng)態(tài)離群點(diǎn)檢測的配電網(wǎng)數(shù)據(jù)在線清洗方法，其改進(jìn)之處在于，包括：
[0007] 步驟⑴建立緩沖隊(duì)列，緩沖隊(duì)列接收第1批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合&并獲取所述 緩沖隊(duì)列的長度1 1;
[0008] 步驟（2)對所述數(shù)據(jù)集合4計(jì)算所有數(shù)據(jù)點(diǎn)間的歐氏距離，形成歐氏矩陣D1; [0009] 步驟（3)若緩沖隊(duì)列不再接收配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合，則執(zhí)行步驟（5);若緩沖隊(duì)列 繼續(xù)接收第n批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An，則根據(jù)所述第n批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An計(jì)算緩 沖隊(duì)列的長度ln、數(shù)據(jù)點(diǎn)間的歐氏距離dn和歐氏矩陣Dn，并對歐氏矩陣Dn_i進(jìn)行稀釋，獲取 稀釋后的配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A'n_i，其中，n為配網(wǎng)數(shù)據(jù)源的第n個(gè)周期的實(shí)時(shí)數(shù)據(jù)； [0010] 步驟（4)根據(jù)所述配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A'n_i獲取歐式矩陣Dn' ，并將歐氏矩 陣〇"與歐式矩陣Dn' 合并得到矩陣Dn";使用離群點(diǎn)檢測算法檢測Dn"異常數(shù)據(jù)，將錯(cuò) 誤數(shù)據(jù)發(fā)回?cái)?shù)據(jù)源端重傳或糾錯(cuò)，輸出清洗結(jié)果并清空緩沖隊(duì)列，執(zhí)行步驟（3);
[0011] 步驟（5)數(shù)據(jù)清洗結(jié)束并輸出清洗結(jié)果。
[0012] 優(yōu)選的，所述步驟（2)包括：歐氏距離計(jì)算公式為：
[0013] 屯(i,j) = [ (Xn-Xji) 2+(xi2-xj2) 2+. ? ? + (xip_XjP)2]1/2 (1)
[0014] 其中i= [xn,xi2, ? ? ?，xip]和j= [Xji,xj2, ? ? ?xjp]為集合六丨中的兩個(gè)p維的對 象；
[0015] 根據(jù)式⑴的計(jì)算結(jié)果獲取歐氏距離矩陣D1:
【主權(quán)項(xiàng)】
1. 一種基于動(dòng)態(tài)離群點(diǎn)檢測的配電網(wǎng)數(shù)據(jù)在線清洗方法，其特征在于，包括： 步驟（1)建立緩沖隊(duì)列，緩沖隊(duì)列接收第1批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合4并獲取所述緩沖 隊(duì)列的長度11; 步驟（2)對所述數(shù)據(jù)集合&計(jì)算所有數(shù)據(jù)點(diǎn)間的歐氏距離，形成歐氏矩陣D1; 步驟（3)若緩沖隊(duì)列不再接收配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合，則執(zhí)行步驟（5);若緩沖隊(duì)列繼續(xù) 接收第n批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An，則根據(jù)所述第n批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An計(jì)算緩沖隊(duì) 列的長度ln、數(shù)據(jù)點(diǎn)間的歐氏距離dn和歐氏矩陣Dn，并對歐氏矩陣Dn_i進(jìn)行稀釋，獲取稀釋 后的配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A'n_i，其中，n為配網(wǎng)數(shù)據(jù)源的第n個(gè)周期的實(shí)時(shí)數(shù)據(jù)； 步驟（4)根據(jù)所述配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A'n_i獲取歐式矩陣D'n_i，并將歐氏矩陣0" 與歐式矩陣D'n_i合并得到矩陣D"n;使用離群點(diǎn)檢測算法檢測D" "異常數(shù)據(jù)，將錯(cuò)誤數(shù) 據(jù)發(fā)回?cái)?shù)據(jù)源端重傳或糾錯(cuò)，輸出清洗結(jié)果并清空緩沖隊(duì)列，執(zhí)行步驟（3); 步驟（5)數(shù)據(jù)清洗結(jié)束并輸出清洗結(jié)果。
2. 如權(quán)利要求1所述的方法，其特征在于，所述步驟（2)包括：歐氏距離計(jì)算公式為： ^ (i,j) = [ (Xii-Xjj) 2+ (xi2-xJ2) 2+. . . + (xip-xJp)2]1/2 (1) 其中i= [xn,xi2, . . .，xip]和j=[Xpxj2, . . .xjp]為集合六:中的兩個(gè)p維的對象； 根據(jù)式（1)的計(jì)算結(jié)果獲取歐氏距離矩陣D1:
(2) 其中，所述矩陣〇:為1iXli矩陣，1 ,為所述緩沖隊(duì)列的長度。
3. 如權(quán)利要求1所述的方法，其特征在于，所述步驟（3)中對歐氏矩陣Dn_i進(jìn)行稀釋包 括：將所述集合An_i中的每一維AmW(0 <j<p)等分區(qū)域并在所述等分區(qū)域中隨機(jī)刪除 點(diǎn)；其中，所述若干個(gè)區(qū)域和所述若干個(gè)點(diǎn)根據(jù)所述緩沖隊(duì)列的長度UP1n獲取。
4. 如權(quán)利要求3所述的方法，其特征在于，所述將所述集合An_i中的每一維A <j<P)等分區(qū)域并在所述等分區(qū)域中隨機(jī)刪除點(diǎn)包括：計(jì)算稀釋因子&
(3) 其中，稀釋因子3為刪除點(diǎn)所占總體的百分比；ln為當(dāng)前周期緩沖隊(duì)列長度，ln_i為前 一周期緩沖隊(duì)列長度。
5. 如權(quán)利要求4所述的方法，其特征在于，計(jì)算基于每維每個(gè)區(qū)間所標(biāo)記的待刪除點(diǎn) 數(shù)量的矩陣H的公式為：
其中，5為稀釋因子，f(Xl，x2)表示在4和&間數(shù)據(jù)點(diǎn)個(gè)數(shù)，znuffl為根據(jù)實(shí)際情況而設(shè)定 的每一維度等分的區(qū)間個(gè)數(shù)，《以為么中最小值，中最大值，P為矩陣維度。
6. 如權(quán)利要求5所述的方法，其特征在于，為保證時(shí)間復(fù)雜度為0 = 1mXp，包括如下 步驟： 步驟（3-1)建立數(shù)組隊(duì)列a[ZnUffl]，a[zM]對應(yīng)An_/j)的每一個(gè)子區(qū)間，遍歷An_/j)中的 參數(shù)； 步驟（3-2)根據(jù)判斷參數(shù)所屬區(qū)間并且放入隊(duì)列a[k]中，其中為為 中最小值，C為An_，中最大值 步驟（3-3)根據(jù)公式（5)判斷該參數(shù)是否需要?jiǎng)h除
(5) 其中，deleteNum,表示a[k]中已標(biāo)記為待刪除點(diǎn)的數(shù)量，3為稀釋因子； 步驟（3-4)隨機(jī)選取隊(duì)列a[k]任意一點(diǎn)代入公式（5)中，若滿足公式（5)則將該點(diǎn)標(biāo) 記為待刪除點(diǎn)并更新deleteNumk; 步驟（3-5)An_iu)遍歷完成后，從An_i中刪除所有標(biāo)記為待刪除的點(diǎn)。
7. 如權(quán)利要求1所述的方法，其特征在于，所述步驟（4)中矩陣D" "為：
(6) 其中，E為所述配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A'n_i與所述配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An的歐氏距離，D'n_i為數(shù)據(jù)集合A'n_i的歐式矩陣，Dn為配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An的歐氏矩陣； 時(shí)間復(fù)雜度〇 = (G+ImXln)/2,其中l(wèi)n為當(dāng)前周期緩沖隊(duì)列長度，1n_i為前一周期緩 沖隊(duì)列長度。
8. 如權(quán)利要求7所述的方法，其特征在于，計(jì)算矩陣D"n中每個(gè)對象ai與其他對象之 間的距離并獲取第k大的距離[distance(叫），其中，k為正整數(shù)。
9. 如權(quán)利要求8所述的方法，其特征在于，計(jì)算矩陣D"n中對象a,對于對象〇的可達(dá) 距離reachdisfei，。）。GN(ai): reachdis(ai；o) =max{k-distance(o),d(ai；o)} (7) 其中，k_distance(o)為矩陣D"n中每個(gè)對象o與其他對象之間的距離并獲 取第k大的距離，N(ai)為鄰域集合中對象個(gè)數(shù)，d(ai，〇)為對象％、〇兩點(diǎn)間距離， max{k-distance(〇)，d(a。〇)}為選擇k_distance(〇)和d(a。〇)二者中較大的一個(gè)。
10. 如權(quán)利要求9所述的方法，其特征在于，基于矩陣D"n計(jì)算局部可達(dá)密度lrd(ai):
(8) 其中，|Nk(ai) |為第k距離鄰域集合中對象個(gè)數(shù)，reachdis(a^o)為對象aj#于對象 〇的可達(dá)距離。
11. 如權(quán)利要求10所述的方法，其特征在于，計(jì)算局部離散群點(diǎn)因子LOF(aJ: (9) 其中，|N(ai) |為鄰域集合中對象個(gè)數(shù)的絕對值，N(ai)為鄰域集合中對象個(gè)數(shù)，lrdfei) 為對象％的局部可達(dá)密度，lrd(o)為對象〇的局部可達(dá)密度。
【專利摘要】本發(fā)明涉及一種基于動(dòng)態(tài)離群點(diǎn)檢測的配電網(wǎng)數(shù)據(jù)在線清洗方法，包括：建立緩沖隊(duì)列，緩沖隊(duì)列接收第1批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A1并獲取緩沖隊(duì)列的長度l1；對數(shù)據(jù)集合A1計(jì)算所有數(shù)據(jù)點(diǎn)間的歐氏距離，形成歐氏矩陣D1；若緩沖隊(duì)列繼續(xù)接收第n批配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合An，則對歐氏矩陣Dn-1進(jìn)行稀釋，獲取稀釋后的配電網(wǎng)實(shí)時(shí)數(shù)據(jù)集合A′n-1，將歐氏矩陣Dn與歐式矩陣D′n-1合并得到矩陣D′′n；使用離群點(diǎn)檢測算法檢測D′′n異常數(shù)據(jù)，將錯(cuò)誤數(shù)據(jù)發(fā)回?cái)?shù)據(jù)源端重傳或糾錯(cuò)，輸出清洗結(jié)果并清空緩沖隊(duì)列；本發(fā)明提供的方法通過建立數(shù)據(jù)緩沖隊(duì)列，動(dòng)態(tài)更新歐式矩陣和清除數(shù)據(jù)異常點(diǎn)三個(gè)過程對配電網(wǎng)運(yùn)行和故障過程中產(chǎn)生的配電網(wǎng)數(shù)據(jù)實(shí)時(shí)在線數(shù)據(jù)進(jìn)行清洗，提升了配電網(wǎng)數(shù)據(jù)質(zhì)量及可用性。
【IPC分類】G06Q10-06, G06Q50-06
【公開號】CN104809594
【申請?zhí)枴緾N201510242157
【發(fā)明人】刁贏龍, 劉科研, 孟曉麗, 盛萬興, 何開元, 賈東梨, 胡麗娟, 葉學(xué)順
【申請人】中國電力科學(xué)研究院, 國家電網(wǎng)公司, 國網(wǎng)北京市電力公司
【公開日】2015年7月29日
【申請日】2015年5月13日