本發(fā)明涉及一種電力設(shè)備數(shù)據(jù)流故障識別方法。
背景技術(shù)：
：隨著智能電網(wǎng)的建設(shè)和發(fā)展，電力系統(tǒng)輸變電設(shè)備監(jiān)測數(shù)據(jù)的質(zhì)量性和準(zhǔn)確性的要求越來越高，數(shù)據(jù)清洗在對電網(wǎng)的運行狀態(tài)的分析和預(yù)測也越來越重要。文獻(xiàn)《Anomalydetectioninnuclearpowerplantdatausingsupportvectordatadescription》中采用的是基于中心聚類的方法對時間序列中的異常數(shù)據(jù)進行檢測和表征，提出了用一個時空聚類來顯示每個窗口的結(jié)構(gòu)并進行分析，考慮其中每個子序列的異常度。文獻(xiàn)《Adensitybasedalgorithmfordiscoveringclustersinlargespatialdatabaseswithnoise》是利用稀疏表示方法對異常數(shù)據(jù)進行檢測和清洗。其創(chuàng)新之處在于能夠在沒有假設(shè)生成任何模型信號的時候，同時能夠捕捉變量關(guān)系和時域相關(guān)性。文獻(xiàn)《基于數(shù)據(jù)流技術(shù)的WAMS數(shù)據(jù)預(yù)處理》是利用支持向量機的方法來對核電站采集的數(shù)據(jù)異常進行檢測和處理。其優(yōu)點在于提高了多元異常檢測算法對噪聲的檢測率，降低了誤報率。技術(shù)實現(xiàn)要素：本發(fā)明的目的在于提供一種電力設(shè)備數(shù)據(jù)流故障識別方法，該方法實現(xiàn)了的處理大數(shù)據(jù)的數(shù)據(jù)異常檢測和清洗的問題。為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種電力設(shè)備數(shù)據(jù)流故障識別方法，包括如下步驟，S1：時間序列的符號化；S2：進行序列間關(guān)聯(lián)度的計算；S3：通過聚類算法找單一序列異常值；S4：進行數(shù)據(jù)流異常識別；S5：進行數(shù)據(jù)清洗。在本發(fā)明一實施例中，所述步驟S1的具體實現(xiàn)如下：對一個時間序列T，用長度為l的滑動窗口截得n個子序列；對該n個子序列進行線性擬合后，再對其進行標(biāo)準(zhǔn)化，使斜率的數(shù)值都落在[-1,1]之間，然后將標(biāo)準(zhǔn)化后的斜率根據(jù)其數(shù)值大小進行符號化，從而將該時間序列從數(shù)值型轉(zhuǎn)換為布爾型。在本發(fā)明一實施例中，所述步驟S2的具體實現(xiàn)如下：在計算兩個時間序列的關(guān)聯(lián)度過程中，設(shè)這兩個時間序列為T1和T2，并設(shè)A和B屬于事務(wù)集D，其中A＝{A1,A2,...,Ap}，B＝{B1,B2,...,Bq}，A1,A2,...,Ap表示根據(jù)步驟S1將時間序列T1轉(zhuǎn)化成的布爾型值，B1,B2,...,Bq表示根據(jù)步驟S1將時間序列T2轉(zhuǎn)化成的布爾型值；令規(guī)則Ai→Bj是滿足最小置信度和最小支持度且興趣度大于1的關(guān)聯(lián)規(guī)則，nij是規(guī)則Ai→Bj在事務(wù)集D中出現(xiàn)的次數(shù)，則在本發(fā)明一實施例中，所述步驟S3中采用的聚類算法為DBSCAN算法。在本發(fā)明一實施例中，所述步驟S4的具體實現(xiàn)如下：S41：讀入歷史數(shù)據(jù)流，然后利用Apriori算法進行關(guān)聯(lián)規(guī)則分析，對沒有關(guān)聯(lián)序列的單一序列利用DBSCAN聚類分析找到序列中的異常點，然后再對序列進行FCM聚類分析并匹配結(jié)果波形，判斷異常類型；S42：若關(guān)聯(lián)的序列中只有個別序列在該時刻出現(xiàn)了異常，則認(rèn)為是傳感器異常，需要對數(shù)據(jù)點進行清洗；對于錯誤數(shù)據(jù)、缺失值異常點，用插值法進行清洗，直接替換；對由通訊噪聲或者外界干擾產(chǎn)生的異常點、由暫時性水平遷移引發(fā)的異常點，用均值回歸法對數(shù)據(jù)進行平滑；S43：若關(guān)聯(lián)的序列在同一時刻同時出現(xiàn)了異常，則認(rèn)為該點是設(shè)備異常，需要對設(shè)備故障類型進行排查。相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明方法基于關(guān)聯(lián)規(guī)則和聚類算法的數(shù)據(jù)清洗，利用關(guān)聯(lián)規(guī)則找出數(shù)據(jù)集中具有關(guān)聯(lián)性的序列；然后針對單一序列利用DBSCAN算法和FCM算法將異常數(shù)據(jù)分為可以清洗的傳感器異常和不可以清洗的設(shè)備異常；針對關(guān)聯(lián)序列，則利用其關(guān)聯(lián)性并結(jié)合聚類的方法找到傳感器異常和設(shè)備異常；最后對傳感器異常進行數(shù)據(jù)清洗；本發(fā)明實現(xiàn)了的處理大數(shù)據(jù)的數(shù)據(jù)異常檢測和清洗的問題。附圖說明圖1為本發(fā)明關(guān)聯(lián)規(guī)則分析序列趨勢流程圖。圖2為本發(fā)明數(shù)據(jù)異常點檢測流程圖。圖3本發(fā)明一實施例通訊噪聲異常清洗圖。圖4本發(fā)明一實施例單一序列異常點檢測分析結(jié)果圖。圖5本發(fā)明一實施例錯誤數(shù)據(jù)和其他異常清洗圖。具體實施方式下面結(jié)合附圖，對本發(fā)明的技術(shù)方案進行具體說明。如圖1-2所示，本發(fā)明的一種電力設(shè)備數(shù)據(jù)流故障識別方法，包括如下步驟，S1：時間序列的符號化；S2：進行序列間關(guān)聯(lián)度的計算；S3：通過聚類算法找單一序列異常值；S4：進行數(shù)據(jù)流異常識別；S5：進行數(shù)據(jù)清洗。所述步驟S1的具體實現(xiàn)如下：對一個時間序列T，用長度為l的滑動窗口截得n個子序列；對該n個子序列進行線性擬合后，再對其進行標(biāo)準(zhǔn)化，使斜率的數(shù)值都落在[-1,1]之間，然后將標(biāo)準(zhǔn)化后的斜率根據(jù)其數(shù)值大小進行符號化，從而將該時間序列從數(shù)值型轉(zhuǎn)換為布爾型。所述步驟S2的具體實現(xiàn)如下：在計算兩個時間序列的關(guān)聯(lián)度過程中，設(shè)這兩個時間序列為T1和T2，并設(shè)A和B屬于事務(wù)集D，其中A＝{A1,A2,...,Ap}，B＝{B1,B2,...,Bq}，A1,A2,...,Ap表示根據(jù)步驟S1將時間序列T1轉(zhuǎn)化成的布爾型值，B1,B2,...,Bq表示根據(jù)步驟S1將時間序列T2轉(zhuǎn)化成的布爾型值；令規(guī)則Ai→Bj是滿足最小置信度和最小支持度且興趣度大于1的關(guān)聯(lián)規(guī)則，nij是規(guī)則Ai→Bj在事務(wù)集D中出現(xiàn)的次數(shù)，則所述步驟S3中采用的聚類算法為DBSCAN算法。所述步驟S4的具體實現(xiàn)如下：S41：讀入歷史數(shù)據(jù)流，然后利用Apriori算法進行關(guān)聯(lián)規(guī)則分析，對沒有關(guān)聯(lián)序列的單一序列利用DBSCAN聚類分析找到序列中的異常點，然后再對序列進行FCM聚類分析并匹配結(jié)果波形，判斷異常類型；S42：若關(guān)聯(lián)的序列中只有個別序列在該時刻出現(xiàn)了異常，則認(rèn)為是傳感器異常，需要對數(shù)據(jù)點進行清洗；對于錯誤數(shù)據(jù)、缺失值異常點，用插值法進行清洗，直接替換；對由通訊噪聲或者外界干擾產(chǎn)生的異常點、由暫時性水平遷移引發(fā)的異常點，用均值回歸法對數(shù)據(jù)進行平滑；S43：若關(guān)聯(lián)的序列在同一時刻同時出現(xiàn)了異常，則認(rèn)為該點是設(shè)備異常，需要對設(shè)備故障類型進行排查。以下為本發(fā)明的具體實施過程。本發(fā)明的一種電力設(shè)備數(shù)據(jù)流故障識別方法，基于關(guān)聯(lián)規(guī)則和聚類算法的數(shù)據(jù)清洗。利用關(guān)聯(lián)規(guī)則找出數(shù)據(jù)集中具有關(guān)聯(lián)性的序列。然后針對單一序列利用DBSCAN算法和FCM算法將異常數(shù)據(jù)分為可以清洗的傳感器異常和不可以清洗的設(shè)備異常。針對關(guān)聯(lián)序列，則利用其關(guān)聯(lián)性并結(jié)合聚類的方法找到傳感器異常和設(shè)備異常。最后對傳感器異常進行數(shù)據(jù)清洗。步驟一：時間序列的符號化對輸入長度為length_data的原始數(shù)據(jù)，用長度為l的滑動窗口截得n個子序列。對子序列進行線性擬合后，再對其進行標(biāo)準(zhǔn)化，使斜率的數(shù)值都落在[-1,1]之間，然后將標(biāo)準(zhǔn)化后的斜率根據(jù)其數(shù)值大小進行符號化[15]。對輸入的時間序列x1和x2，將其子序列的斜率分段符號化表示的表格如表1所示：表1子序列符號化表示區(qū)間范圍x1x2[-1,-0.6]1a2a[-0.6,-0.2]1b2b[-0.2.0.2]1c2c[0.2,0.6]1d2d[0.6,1.0]1e2e通過以上工作，可以完成將輸入量從數(shù)值型轉(zhuǎn)換到布爾型。然后將輸入的序列中同時段的兩個子序列基本項合并在一起組成一個事物，如{1b2a}。所有的事物組合在一起就構(gòu)成了一個事物集D。事務(wù)集D中共有n個事務(wù)，對事務(wù)集D用Apriori算法進行關(guān)聯(lián)規(guī)則分析，就可以得到基本項之間的關(guān)聯(lián)規(guī)則，即多元時間序列之間變化趨勢的關(guān)聯(lián)規(guī)則。步驟二：序列間關(guān)聯(lián)度的計算定義1-1關(guān)聯(lián)規(guī)則是形如A→B的蘊含式，其中I＝{i1,i1,…,im}；需要用支持度、置信度、興趣度等參數(shù)來衡量這條規(guī)則是否有用。定義1-2規(guī)則A→B在事務(wù)集D中的支持度s表示為D中同時包含項集A和項集B的事務(wù)出現(xiàn)的概率：s＝P(AB)(1)定義1-3規(guī)則A→B在事務(wù)集D中的置信度c是條件概率，表示為在包含項集A的事務(wù)中同時也包含項集B的事務(wù)的概率：c＝P(B|A)(2)定義1-4規(guī)則A→B的興趣度i反映了項集A和項集B的相關(guān)程度：公式1-1若對序列A和序列B，其中規(guī)則Xi→Yi是滿足最小置信度和最小支持度且興趣度大于1的關(guān)聯(lián)規(guī)則，ni是規(guī)則Xi→Yi在事務(wù)集D中出現(xiàn)的次數(shù)，則本文先利用滑動窗口模型來對時間序列數(shù)據(jù)分段。然后利用線性回歸方法對每一段進行擬合達(dá)到數(shù)據(jù)壓縮的目的。該方案在滿足時效性的同時，也能保證數(shù)據(jù)變得平滑并且還可以去除噪聲。然后利用Apriori進行關(guān)聯(lián)分析，具體流程圖如圖1所示。步驟三：聚類算法找單一序列異常值DBSCAN算法是一種基于密度模式的空間數(shù)據(jù)聚類方法。該算法可以將原先具有高密度的區(qū)域劃分成不同的簇，并且可以針對具有“噪聲的”空間數(shù)據(jù)中也能發(fā)現(xiàn)任意形狀的聚類模式和相似簇群。DBSCAN算法最為核心的思想是：對于每一種聚類中的每個分析對象，在給定的半徑(常用Eps表示)的鄰域(neighborhood)內(nèi)數(shù)據(jù)對象個數(shù)必須要大于初始設(shè)定的給定值。即鄰域密度必須要大于一定的閾值(常用MinPts表示)。DBSCAN算法通過檢索相鄰點，對所有的數(shù)據(jù)只用查詢搜索一次就可以得到最后的結(jié)果，所以其運行速度很快。并且DBSCAN還有一個很大的有點在于它能夠處理任意形狀的聚類性質(zhì)，并不受噪聲的干擾，并且還能夠根據(jù)閾值MinPts來去除含有的噪聲[16-17]。步驟四：數(shù)據(jù)流異常識別如圖2所示，異常點劃分為五種類型，分別為：錯誤數(shù)據(jù)、缺失值、由通訊噪聲或者外界干擾產(chǎn)生的異常點、由暫時性水平遷移引發(fā)的異常點以及其他類型異常點。將前四種類型的異常劃為傳感器異常，即在數(shù)據(jù)傳輸或者傳感器檢測時發(fā)生的異常，該類異常需要進行數(shù)據(jù)清洗。而對于其他類型的異常點本文認(rèn)為是由設(shè)備故障引發(fā)的異常，即為設(shè)備異常。針對設(shè)備異常的數(shù)據(jù)點，則不需要進行清洗，而是需要針對該點進行分析設(shè)備的異常類型。流程如下1、首先讀入歷史數(shù)據(jù)流，然后利用Apriori算法進行關(guān)聯(lián)規(guī)則分析，對沒有關(guān)聯(lián)序列的單一序列利用DBSCAN聚類分析找到序列中的異常點，然后再對序列進行FCM聚類分析并匹配結(jié)果波形，2、若關(guān)聯(lián)的序列中只有個別序列在該時刻出現(xiàn)了異常，則認(rèn)為是傳感器異常，需要對數(shù)據(jù)點進行清洗。對于錯誤數(shù)據(jù)、缺失值等異常，用插值法進行清洗，直接替換。對通訊噪聲和暫時性水平遷移，用均值回歸法對數(shù)據(jù)進行平滑。3、若關(guān)聯(lián)的序列在同一時刻同時出現(xiàn)了異常，則認(rèn)為該點是設(shè)備異常，需要對設(shè)備故障類型進行排查。具體實例說明以具體電網(wǎng)環(huán)境溫度數(shù)據(jù)為例。其中原始數(shù)據(jù)總長為480，F(xiàn)CM分析中的序列數(shù)n＝10，q＝48。圖3第一張子圖表示的是通過DBSCAN聚類方法找到的異常點，發(fā)現(xiàn)異常點的分布比較密集。第二張子圖表示的是通過FCM聚類方法得到的波形特點。綜合比較第一張和第二張子圖可以發(fā)現(xiàn)DBSCAN算法分析得到的異常點具有波動性并且FCM分析得到的波形是連續(xù)幾段都有異常，說明了該段是由通訊噪聲或者外界干擾產(chǎn)生的異常點，屬于傳感器異常需要進行清洗。通過均值回歸方法對數(shù)據(jù)進行平滑處理后得到的圖像如第三張子圖所示。圖4中結(jié)合第一張和第二張子圖可以發(fā)現(xiàn)DBSCAN算法分析得到的異常點很密集并且通過FCM分析得到的波形異常度很高，說明該段是由暫時性水平遷移引發(fā)的異常點，屬于傳感器異常需要進行清洗。通過均值回歸方法對數(shù)據(jù)進行平滑處理得到的圖像如第三張子圖所示。圖5中發(fā)現(xiàn)通過DBSCAN算法發(fā)現(xiàn)的異常點主要分布在兩個位置，且都是孤立的異常點。然后通過FCM分析結(jié)果波形可以發(fā)現(xiàn)，在第一個異常點的位置，其對應(yīng)的異常度的數(shù)值很大，說明該點為錯誤數(shù)據(jù)，屬于傳感器異常，所以需要對該點進行數(shù)據(jù)清洗。在第二個異常點的位置，其對應(yīng)的異常度不是很大并且和周圍的異常度比較接近，所以該點為其他類型異常點，屬于不可清洗的設(shè)備異常。將可以清洗的異常點進行清洗之后得到的圖像如第三張子圖所示。以上是本發(fā)明的較佳實施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術(shù)方案的范圍時，均屬于本發(fā)明的保護范圍。當(dāng)前第1頁1 2 3