一種電磁環(huán)境測量數(shù)據(jù)清洗方法
【專利摘要】本發(fā)明涉及一種電磁環(huán)境測量數(shù)據(jù)清洗方法，屬于電力系統(tǒng)電磁環(huán)境防護技術領域。該方法針對電磁環(huán)境測量中的電磁環(huán)境參數(shù)以及輸電線路所處環(huán)境的氣象參數(shù)組成的原始數(shù)據(jù)集，該方法依據(jù)電磁環(huán)境與氣象參數(shù)的相關性，利用聚類方法對測量數(shù)據(jù)進行數(shù)據(jù)清洗。運用此方法可以實現(xiàn)對電磁環(huán)境測量中產(chǎn)生的壞數(shù)據(jù)以及環(huán)境干擾、設備故障等產(chǎn)生的錯誤數(shù)據(jù)進行識別并進行相應處理，最終形成更加有效的電磁環(huán)境測量數(shù)據(jù)。本發(fā)明可便捷、有效、可靠地進行電磁環(huán)境測量數(shù)據(jù)的數(shù)據(jù)清洗，可以為后續(xù)輸變電工程電磁環(huán)境評估、優(yōu)化等過程提供更好的原始數(shù)據(jù)。
【專利說明】
-種電磁環(huán)境測量數(shù)據(jù)清洗方法
技術領域
[0001] 本發(fā)明屬于電力系統(tǒng)電磁環(huán)境防護技術領域，特別設及用W對電磁環(huán)境測量數(shù)據(jù) 進行數(shù)據(jù)清洗的處理方法。
【背景技術】
[0002] 電磁環(huán)境是高壓輸變電系統(tǒng)設計的主要考慮因素，輸電線路的電磁環(huán)境的根源是 線路的電暈放電。電暈放電一方面會造成電能損耗，增加輸電成本;另一方面影響導線周邊 電磁環(huán)境，進一步干擾人們的正常生活。隨著經(jīng)濟的不斷發(fā)展和民眾環(huán)境意識的增強，電磁 環(huán)境問題愈加引人關注，高壓輸電線路其電磁環(huán)境問題已成為其系統(tǒng)設計和運行的主要制 約因素。高壓輸電線路的電磁環(huán)境參數(shù)主要包括有可聽噪聲、無線電干擾、地面合成場強、 地面離子流密度和電暈損耗。輸電線路電磁環(huán)境的測量對于后續(xù)電磁環(huán)境影響因素的分析 W及電磁環(huán)境的防護控制、線路參數(shù)的運行設計都有著重要的意義。
[0003] 電磁環(huán)境數(shù)據(jù)參數(shù)眾多，同時由于電磁環(huán)境參數(shù)W及氣象參數(shù)的隨機性，對于電 磁環(huán)境測量數(shù)據(jù)的數(shù)據(jù)清洗便有著不可缺少的作用。數(shù)據(jù)清洗的目的在于找出那些環(huán)境產(chǎn) 生的噪聲、或是設備及其他測量問題帶來的壞數(shù)據(jù)并進行相應處理。清洗后的數(shù)據(jù)可W更 好用于后續(xù)的數(shù)據(jù)分析。而現(xiàn)階段還沒有明確的針對電磁環(huán)境測量數(shù)據(jù)的數(shù)據(jù)清洗方法： 對于逐點測試得到的電磁環(huán)境數(shù)據(jù)，僅有根據(jù)設備闊值、參數(shù)的習慣值區(qū)間等因素進行剔 除的方法;對于多點同時測試得到的電磁環(huán)境數(shù)據(jù)，除上述方法外還可W根據(jù)電磁環(huán)境數(shù) 據(jù)的橫向分布特性進行數(shù)據(jù)清理。但總體來講，現(xiàn)階段電磁環(huán)境數(shù)據(jù)庫清理方法還較多依 賴人工判斷，沒有更為準確的數(shù)據(jù)清理原則。
[0004] 聚類分析是在數(shù)據(jù)處理分析過程中一種數(shù)據(jù)分割很有效的方法。其主要目的在于 根據(jù)數(shù)據(jù)的相似性把大型數(shù)據(jù)集合劃分成組;運樣劃分的子數(shù)據(jù)集具有同一數(shù)據(jù)集內數(shù)據(jù) 高度相似，不同數(shù)據(jù)集的數(shù)據(jù)高度相異的特點。目前已有大量的聚類算法提出，大體上可W 分為四類:劃分方法、層次方法、基于密度方法、基于網(wǎng)格方法。其中較為經(jīng)典的劃分方法為 k均值算法，k均值算法Wk為輸入?yún)?shù)，把n個對象的集合劃分為k個子集，使得相同子集內 的相似度高，而不同子集相似度低。

【發(fā)明內容】

[0005] 本發(fā)明的目的是為克服已有技術的不足之處，提出一種電磁環(huán)境測量數(shù)據(jù)清洗方 法;本方法可便捷、有效、可靠地進行電磁環(huán)境測量數(shù)據(jù)的數(shù)據(jù)清洗，提高了原始數(shù)據(jù)庫的 有效性，為后續(xù)的數(shù)據(jù)分析提供了更為合理的數(shù)據(jù)支持。
[0006] 本發(fā)明提出一種電磁環(huán)境測量數(shù)據(jù)清洗方法，針對電磁環(huán)境測量中的一種電磁環(huán) 境參數(shù)W及線路所處環(huán)境的氣象參數(shù)組成的原始數(shù)據(jù)集。該方法具體包括W下步驟：
[0007] 1)將測量得到的任一種電磁環(huán)境參數(shù)與輸電線路測量地點的氣象參數(shù)組成原始 數(shù)據(jù)集，記原始數(shù)據(jù)集行數(shù)為n、列數(shù)為m;原始數(shù)據(jù)集的每一列數(shù)據(jù)代表一種參數(shù)，記為aj， j = l、2、3-'m;每一行數(shù)據(jù)代表同一時刻每個參數(shù)的取值，即為一個數(shù)據(jù)點，記為xi，i = l、 2、3…n;其中aj、xi均為一維向量，m、n、i、j均為正整數(shù)；
[000引2)對原始數(shù)據(jù)集中每一列數(shù)據(jù)aj進行歸一化處理:記aj的平均值為ii，標準差為0， 歸一化后的列數(shù)據(jù)
j = l、2、3-m;用aw代替原始數(shù)據(jù)集中的每一列數(shù)據(jù)aj，原 始數(shù)據(jù)集中每一行數(shù)據(jù)Xi隨之變化為新的數(shù)據(jù)點，記為Xii，ii = 1、2、3'? 'n;其中ajj、xii均為 一維向量，i i、j j均為正整數(shù)；
[0009] 3)對步驟2)中原始數(shù)據(jù)集進行歸一化后得到的新的數(shù)據(jù)集進行聚類，令聚類數(shù)目
，得到K個子集，記為Di，D2,…，Dk, W及每個子集的聚類中屯、；其中round (X)為對X取四舍五入值；
[0010] 4)計算步驟3)得到的每一個子集Di內的數(shù)據(jù)點Xii與該子集Di的聚類中屯、的距離， 得到該子集內所有數(shù)據(jù)點與聚類中屯、的距離數(shù)據(jù)集DiSi;
[00川 5)對步驟4)得到的每個距離數(shù)據(jù)集DiSi進行正態(tài)擬合，根據(jù)30準則，將30區(qū)間外 的數(shù)據(jù)點識別為壞數(shù)據(jù)點，并用每一個子集化內的聚類中屯、代替運些壞數(shù)據(jù)點；
[0012] 6)令聚類數(shù)目K減少1，重新返回步驟3);
[0013] 7)重復步驟3)至步驟6)5次或沒有新的壞數(shù)據(jù)點出現(xiàn)后，完成數(shù)據(jù)清洗。
[0014] 本發(fā)明的特點及有益效果：
[0015] 該方法依據(jù)電磁環(huán)境與氣象參數(shù)的相關性，利用聚類方法對測量數(shù)據(jù)進行數(shù)據(jù)清 洗。運用此方法可W實現(xiàn)對電磁環(huán)境測量中產(chǎn)生的壞數(shù)據(jù)W及環(huán)境干擾、設備故障等產(chǎn)生 的錯誤數(shù)據(jù)進行識別并進行相應處理，最終形成更加有效的電磁環(huán)境測量數(shù)據(jù)。本發(fā)明課 便捷、有效、可靠地進行電磁環(huán)境測量數(shù)據(jù)的數(shù)據(jù)清洗，可W為后續(xù)輸變電工程電磁環(huán)境評 估、優(yōu)化等過程提供更好的原始數(shù)據(jù)。
【附圖說明】
[0016] 圖1為本發(fā)明方法的流程框圖。
【具體實施方式】
[0017] 本發(fā)明提出的一種電磁環(huán)境測量數(shù)據(jù)清洗方法，下面結合附圖和具體實施例進一 步詳細說明如下。
[0018] 本發(fā)明提出的一種的電磁環(huán)境測量數(shù)據(jù)清洗方法，針對電磁環(huán)境測量中的一種電 磁環(huán)境參數(shù)W及輸電線路所處環(huán)境的氣象參數(shù)組成的原始數(shù)據(jù)集，如圖1所示，具體包括W 下步驟：
[0019] 1)將測量得到的任一種電磁環(huán)境參數(shù)(包括可聽噪聲、無線電干擾等參數(shù)的其中 一種）與輸電線路測量地點的氣象參數(shù)(包括風速、溫度、大氣壓強)組成原始數(shù)據(jù)集，記原 始數(shù)據(jù)集行數(shù)為n、列數(shù)為m;原始數(shù)據(jù)集的每一列數(shù)據(jù)代表一種參數(shù)，記為aj，j = l、2、3--- m;每一行數(shù)據(jù)代表同一時刻每個參數(shù)的取值，即為一個數(shù)據(jù)點，記為義1，1 = 1、2、3。'11;其中 aj、xi均為一維向量，m、n、i、j均為正整數(shù)；
[0020] 2)對原始數(shù)據(jù)集中每一列數(shù)據(jù)aj進行歸一化處理:記aj的平均值為ii，標準差為0， 歸一化后的列數(shù)巧
j = l、2、3-'m;用aw代替原始數(shù)據(jù)集中的每一列數(shù)據(jù)曰^，原 始數(shù)據(jù)集中每一行數(shù)據(jù)Xi隨之變化為新的數(shù)據(jù)點記為Xii，ii = l、2、3???n;其中ajj、xii均為 一維向量，ii、jj均為正整數(shù)；
[0021] 3)對步驟2)中原始數(shù)據(jù)集進行歸一化后得到的新的數(shù)據(jù)集進行聚類，令聚類數(shù)目
對數(shù)據(jù)集進行聚類，得到K個子集，記為化，，…，Dk，W及每個子集的聚類 中屯、;其中round(x)為對X取四舍五入值;本實施例采用k均值方法聚類；
[0022] 4)計算步驟3)得到的每一個子集Di數(shù)據(jù)類內的數(shù)據(jù)點Xii與該子集Di類的聚類中 屯、的距離，距離度量一般使用歐幾里得距離，得到該子集內所有數(shù)據(jù)點與聚類中屯、的距離 數(shù)據(jù)集Di Si;
[0023] 5)對步驟4)得到的每個距離數(shù)據(jù)集DiSi進行正態(tài)擬合，根據(jù)30準則，將30區(qū)間外 的數(shù)據(jù)點識別為壞數(shù)據(jù)點，并用每一個子集化內的聚類中屯、代替運些壞數(shù)據(jù)點；
[0024] 6)令聚類數(shù)目K減少1，重新返回步驟3;
[0025] 7)重復步驟3)至步驟6)5次或沒有新的壞數(shù)據(jù)點出現(xiàn)后，完成數(shù)據(jù)清洗。
[0026] W上步驟3)至步驟6)的計算過程在一般數(shù)據(jù)計算處理軟件中均可完成，本實施例 選擇Matlab作為計算軟件。
【主權項】
1. 一種電磁環(huán)境測量數(shù)據(jù)清洗方法，其特征在于，該方法針對電磁環(huán)境測量中的電磁 環(huán)境參數(shù)以及輸電線路所處環(huán)境的氣象參數(shù)組成的原始數(shù)據(jù)集，具體包括以下步驟： 1) 將測量得到的任一種電磁環(huán)境參數(shù)與輸電線路測量地點的氣象參數(shù)組成原始數(shù)據(jù) 集，記原始數(shù)據(jù)集行數(shù)為n、列數(shù)為m;原始數(shù)據(jù)集的每一列數(shù)據(jù)代表一種參數(shù)，記為W，j = 1、2、3…m;每一行數(shù)據(jù)代表同一時刻每個參數(shù)的取值，即為一個數(shù)據(jù)點，記為Xl，i = l、2、 3…η;其中aj、xi均為一維向量，m、n、i、j均為正整數(shù)； 2) 對原始數(shù)據(jù)集中每一列數(shù)據(jù)^進行歸一化處理:記^的平均值為μ，標準差為〇，歸一 化后的列數(shù)據(jù)〇_ = 1、2、3···πι;用代替原始數(shù)據(jù)集中的每一列數(shù)據(jù)此時原 始數(shù)據(jù)集中每一行數(shù)據(jù)Xi隨之變化為新的數(shù)據(jù)點，記為Xii，? = 1、2、3···η;其中ajj、xii均為 一維向量，i i、j j均為正整數(shù)； 3) 對步驟2)中原始數(shù)據(jù)集進行歸一化后得到的新的數(shù)據(jù)集進行聚類，令聚類數(shù)目K = round ( )，得到K個子集，記為Di，D2，···，Dk，以及每個子集的聚類中心;其中:round(x)為 對X取四舍五入值； 4) 計算步驟3)得到的每一個子集D1內的數(shù)據(jù)點X11與該子集01的聚類中心的距離，得到 該子集內所有數(shù)據(jù)點與聚類中心的距離數(shù)據(jù)集Dis 1; 5) 對步驟4)得到的每個距離數(shù)據(jù)集Dis1進行正態(tài)擬合，根據(jù)3〇準則，將3〇區(qū)間外的數(shù)據(jù) 點識別為壞數(shù)據(jù)點，并用每一個子集D 1內的聚類中心代替這些壞數(shù)據(jù)點； 6) 令聚類數(shù)目K減少1，重新返回步驟3); 7) 重復步驟3)至步驟6)5次或沒有新的壞數(shù)據(jù)點出現(xiàn)后，完成數(shù)據(jù)清洗。
【文檔編號】G06F17/30GK106021452SQ201610325629
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】余占清, 劉磊, 付殷, 李敏, 曾嶸, 田豐, 羅兵, 高超, 楊蕓, 張波
【申請人】南方電網(wǎng)科學研究院有限責任公司, 清華大學