實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法
【專利摘要】本發(fā)明涉及一種數(shù)據(jù)處理方法，本發(fā)明的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，包括如下步驟：(1)初始化樣本數(shù)據(jù)：選取運行正常的偶數(shù)個樣本數(shù)據(jù)；(2)用一次指數(shù)平滑方法，采用樣本數(shù)據(jù)的1/2為移動步長，運用一次指數(shù)平滑遞推方法對樣本數(shù)據(jù)的后半部分進行預(yù)測；(3)通過后半部分的預(yù)測值和實測值計算出預(yù)測結(jié)果的殘差；(4)對殘差序列依據(jù)拉依達準(zhǔn)則進行異常分析，確認實測值是否為異常數(shù)據(jù)；(5)如果是異常數(shù)據(jù)，則用預(yù)測值替換該實測值。本方法的主要優(yōu)勢在于預(yù)測算法系數(shù)自適應(yīng)調(diào)整，采用移動指數(shù)平滑分析誤差，異常判斷方法更符合拉以達準(zhǔn)則的使用條件，從而提高對異常數(shù)據(jù)判斷的準(zhǔn)確性，一定程度上不誤判、不漏判。
【專利說明】實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)處理方法，尤其涉及一種用于工業(yè)實時數(shù)據(jù)采集系統(tǒng)中異常數(shù)據(jù)的處理方法。

【背景技術(shù)】
[0002]目前在工業(yè)信息化相關(guān)領(lǐng)域，基本上都包括工業(yè)實時數(shù)據(jù)采集系統(tǒng)，在數(shù)據(jù)采集過程中很多情況，特別是由于設(shè)備環(huán)境溫度、濕度、灰塵、磁場、采集元件的信號干擾等瞬間發(fā)生采集數(shù)據(jù)的異常情況，這種數(shù)據(jù)并不能反應(yīng)真實情況，并且會造成誤報警、運行系統(tǒng)中實時生產(chǎn)曲線異常波動等，影響生產(chǎn)運行，并且在后期數(shù)據(jù)匯總分析時會造成計算錯誤等等。這就需要在數(shù)據(jù)采集時對這種異常數(shù)據(jù)進行處理，避免出現(xiàn)錯誤數(shù)據(jù)。
[0003]然而很多的工業(yè)實時數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)采集模塊并沒有對采集上來的數(shù)據(jù)進行實時處理，并且工業(yè)實時數(shù)據(jù)采集系統(tǒng)的采集頻率要求較高，有的達到秒級甚至是毫秒級，這就需要有一種快速的異常數(shù)據(jù)的處理方法，能夠編程實現(xiàn)并且計算快速，來對每個采集上來的數(shù)據(jù)進行分析，判斷出異常數(shù)據(jù)，并做出相應(yīng)的處理，剔除或者替換，將正常數(shù)據(jù)傳送到采集系統(tǒng)中。
[0004]國內(nèi)外研究文獻中的異常數(shù)據(jù)的處理方法包括:
[0005]概率統(tǒng)計規(guī)則算法:包括拉依達準(zhǔn)則法、格拉布斯準(zhǔn)則法、肖維勒準(zhǔn)則法、狄克遜準(zhǔn)則法等，該類方法都要求數(shù)據(jù)滿足正態(tài)分布，而許多實時數(shù)據(jù)并不滿足該條件，另外該類方法都是基于數(shù)據(jù)為相同條件下的測量數(shù)據(jù)異常判斷，而非動態(tài)變化的工業(yè)數(shù)據(jù)，因此拉以達準(zhǔn)則也不能直接應(yīng)用于工業(yè)實時數(shù)據(jù)的異常判斷。
[0006]濾波算法:該方法要求系統(tǒng)狀態(tài)方程和觀測方程已知并且滿足線性，而且計算方法較為復(fù)雜，不能滿足更高實時性技術(shù)的要求，難以廣泛應(yīng)用。
[0007]基于密度的技術(shù):該方法需要確定聚類的初始中心，并且兩點之間的聚類閾值需要人工設(shè)定，計算結(jié)果差別大，如果采集數(shù)據(jù)過多，計算量大，不適用于實時異常數(shù)據(jù)的處理。
[0008]以上方法為主要在研究和試驗中運用的異常數(shù)據(jù)的處理算法，都具有一定局限性，并且很難在工業(yè)實時處理采集系統(tǒng)中推廣應(yīng)用。
[0009]在工業(yè)實時數(shù)據(jù)采集系統(tǒng)，數(shù)據(jù)具有動態(tài)性和連續(xù)性，工業(yè)采集的實時數(shù)據(jù)是不斷變化的，因為真實設(shè)備的采集測點本身就是在變化，在數(shù)據(jù)異常處理的采樣數(shù)據(jù)集中，采集的數(shù)據(jù)并不一定滿足正態(tài)分布。工業(yè)數(shù)據(jù)的實時變化一般由生產(chǎn)設(shè)備決定，實時數(shù)據(jù)和歷史數(shù)據(jù)相關(guān)，運用一次指數(shù)平滑預(yù)測實時數(shù)據(jù)符合工業(yè)數(shù)據(jù)時間序列模型，當(dāng)預(yù)測誤差出現(xiàn)異常時，則認為采集數(shù)據(jù)為異常，因此對指數(shù)平滑的預(yù)測誤差做異常檢測。
[0010]而對于一次指數(shù)平滑預(yù)測實時數(shù)據(jù)處理方法，之前也有論文及發(fā)明專利文獻提及，但是論文中運用的指數(shù)平滑方法的系數(shù)沒有動態(tài)變化，并且誤差從模型初始點開始統(tǒng)計，由于指數(shù)平滑的預(yù)測誤差與初值選擇、系數(shù)選擇和迭代步數(shù)相關(guān)，這樣統(tǒng)計的誤差結(jié)果不符合每個數(shù)據(jù)的預(yù)測模型，模型開始部分的預(yù)測數(shù)據(jù)點的誤差一般大于模型后面預(yù)測數(shù)據(jù)點的誤差，造成異常判斷的錯誤；專利文獻中也沒有指數(shù)平滑的預(yù)測誤差運用拉以達準(zhǔn)則進行判斷，而是對當(dāng)前采集值與前一采集值的差運用了拉以達準(zhǔn)則，這種直接利用數(shù)據(jù)差分結(jié)果判斷數(shù)據(jù)異常算法，以采集數(shù)據(jù)的差分?jǐn)?shù)據(jù)為異常判斷對象，沒有充分滿足拉以達準(zhǔn)則使用的前提條件即等精度測量。指數(shù)平滑算法的系數(shù)只有兩個選擇，并且沒有實現(xiàn)遞推的指數(shù)平滑方法，預(yù)測精度不高。特別是對于一些有延遲的工業(yè)采集數(shù)據(jù)如溫度、壓力等容易造成誤判。


【發(fā)明內(nèi)容】

[0011]本發(fā)明的技術(shù)效果能夠克服上述缺陷，提供一種實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其解決了工業(yè)數(shù)據(jù)采集數(shù)據(jù)的異常數(shù)據(jù)處理方法中的異常處理的準(zhǔn)確性問題。
[0012]為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:其包括如下步驟:
[0013](I)初始化樣本數(shù)據(jù):選取運行正常的偶數(shù)個樣本數(shù)據(jù)；
[0014](2)用一次指數(shù)平滑方法，采用樣本數(shù)據(jù)的1/2為移動步長，運用一次指數(shù)平滑遞推方法對樣本數(shù)據(jù)的后半部分進行預(yù)測；
[0015](3)通過后半部分的預(yù)測值和實測值計算出預(yù)測結(jié)果的殘差；
[0016](4)對殘差序列依據(jù)拉依達準(zhǔn)則進行異常分析，確認實測值是否為異常數(shù)據(jù)；
[0017](5)如果是異常數(shù)據(jù)，則用預(yù)測值替換該實測值。
[0018]本發(fā)明采用了對異常判斷樣本數(shù)據(jù)分兩段，根據(jù)后半段的預(yù)測誤差選擇模型系數(shù)，提高了預(yù)測精度，同時對后半段的預(yù)測誤差運用拉以達準(zhǔn)則進行判斷，以對采集數(shù)據(jù)的模型預(yù)測誤差為判斷對象，預(yù)測誤差近似符合拉以達準(zhǔn)則的條件，即總體滿足正態(tài)分布和等精度測量(均值檢驗)。
[0019]本方法的主要技術(shù)為用自適應(yīng)系數(shù)移動一次指數(shù)平滑方法，即采用數(shù)據(jù)樣本的1/2為移動步長，運用移動一次指數(shù)平滑遞推方法對樣本的后半部分進行預(yù)測，通過采集樣本和新采集值的實測值計算出預(yù)測結(jié)果的殘差，通過拉依達準(zhǔn)則進行判定新采集值是否為異常數(shù)據(jù)，如果為異常數(shù)據(jù)，則采用預(yù)測值替換該值。
[0020]步驟(I)中的運行正常的樣本數(shù)據(jù)可采用兩種方式來判斷:①為對采集的當(dāng)前運行的樣本數(shù)據(jù)序列，進行正態(tài)分布檢驗并通過檢驗，再進行拉依達準(zhǔn)則判斷無異常；②或?qū)Σ杉漠?dāng)前運行的樣本數(shù)據(jù)差分序列，進行正態(tài)分布檢驗并通過檢驗，再進行拉依達準(zhǔn)則判斷無異常。經(jīng)過上述兩種方式對采集的要本數(shù)據(jù)進行判斷，符合規(guī)定的即可認為是正常數(shù)據(jù)。
[0021]優(yōu)選地，步驟(I)中的偶數(shù)個樣本數(shù)據(jù)的取值范圍為20-50之間的偶數(shù)。
[0022]步驟(2)中的一次指數(shù)平滑方法為:
[0023]yt+1 = a xt+(l-a )yt,
[0024]本方法采用固定樣本的移動一次指數(shù)平滑方法，即對2n個樣本數(shù)據(jù)，利用I至η個數(shù)據(jù)預(yù)測第η+1個數(shù)據(jù)，利用2至η+1個數(shù)據(jù)預(yù)測第η+2個數(shù)據(jù)，以此遞推預(yù)測至第2η個數(shù)據(jù)，形式為
[0025]Y1 = X1, yt+1 = a xt+(l-a )yt,..., C1 = yn+1 = axn+(l-a)yn,
[0026]yi = x2，yt+1 = a xt+(l-a )yt，..., C2 = yn+1 = axn+(l-a)yn,
[0027]…
[0028]yi = xn，yt+1 = α Xt+(l-a )yt，Cn = yn+1 = a χη+(1-α )yn,
[0029]則序列{Cl，c2, -cn}為預(yù)測序列，
[0030]其中α為平滑系數(shù)、Xt為t時刻的實測值、yt為時刻t的預(yù)測值、yt+1為時刻t+1的預(yù)測值，η的取值范圍為10彡η彡25。
[0031]優(yōu)選地，平滑系數(shù)取值為0.2-0.6。
[0032]更加優(yōu)選地，平滑系數(shù)為0.2-0.6之間每次間隔0.05、取值9次試算取步驟(4)中殘差序列均方誤差最小值對應(yīng)的平滑系數(shù)，實現(xiàn)動態(tài)調(diào)整確定。
[0033]步驟(3)中預(yù)測結(jié)果的殘差為A = X2^ci, i = l,…，n。
[0034]步驟(4)中的異常數(shù)據(jù)判定IiHean (r)>M*std(r),其中,!Ti為第i個預(yù)測結(jié)果的殘差，i = I,…，n ；mean(r)為殘差序列的均值；std(r)為殘差序列的標(biāo)準(zhǔn)差…為判定系數(shù)。
[0035]優(yōu)選地，判定系數(shù)M取值為3。
[0036]本方法的主要優(yōu)勢在于預(yù)測算法系數(shù)自適應(yīng)調(diào)整，采用移動指數(shù)平滑分析誤差，異常判斷方法更符合拉以達準(zhǔn)則的使用條件，從而提高對異常數(shù)據(jù)判斷的準(zhǔn)確性，一定程度上不誤判、不漏判。

【專利附圖】

【附圖說明】
[0037]圖1為本發(fā)明的流程示意圖；
[0038]圖2為本發(fā)明實施例數(shù)據(jù)曲線。

【具體實施方式】
[0039]如圖1所示，本發(fā)明的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法實現(xiàn)步驟如下:
[0040](I)初始化樣本數(shù)據(jù)，通過對數(shù)據(jù)曲線分析，選取運行正常的2n個樣本數(shù)據(jù)用于異常處理模塊的初始化樣本數(shù)據(jù)。
[0041](2)實時獲取采集樣本數(shù)據(jù)，包括歷史數(shù)據(jù)和一個新采集的數(shù)據(jù)共同組成試驗樣本數(shù)據(jù)，設(shè)樣本數(shù)據(jù)量為2n，樣本數(shù)據(jù)量控制在20?50之間，取偶數(shù)個，樣本序列記為
[0042]{Xl) X2, ".Χ2η}，其中第2η個數(shù)據(jù)為新采集樣本數(shù)據(jù)和待判定異常數(shù)據(jù)。
[0043](3)利用一次指數(shù)方法對試驗樣本數(shù)據(jù)進行預(yù)測分析，平滑系數(shù)初值設(shè)為0.2，平滑預(yù)測值的初值為平滑樣本的第一個樣本值。
[0044]一次指數(shù)平滑方法形式為
[0045]yt+1 = a xt+(l-a )yt，yi = X1
[0046]本方法采用固定樣本的移動一次指數(shù)平滑方法，即對2n個樣本數(shù)據(jù)，利用I至η個數(shù)據(jù)預(yù)測第η+1個數(shù)據(jù)，利用2至η+1個數(shù)據(jù)預(yù)測第η+2個數(shù)據(jù)，以此遞推預(yù)測至第2η個數(shù)據(jù)。形式為
[0047]Y1 = X1, yt+1 = a xt+(l-a )yt,..., C1 = yn+1 = axn+(l-a)yn,
[0048]yi = x2，yt+1 = a xt+(l-a )yt，..., C2 = yn+1 = axn+(l-a)yn,
[0049]…
[0050]yi = xn，yt+1 = α Xt+(l-a )yt，Cn = yn+1 = a xn+(l-a )yn,
[0051]則序列Ic1, c2,…cn}為預(yù)測序列，并計算預(yù)測殘差為!T1 = Xlrt-C1, *..,η = x2n-cn,。
[0052](4)令平滑系數(shù)初值加0.05，重復(fù)步驟(3)直至平滑系數(shù)為0.6，通過對預(yù)測結(jié)果的殘差分析，選擇殘差序列Ir1^2,...!?}均方誤差最小的平滑系數(shù)為模型的平滑系數(shù)。
[0053](5)對確定的殘差序列Ir1, r2,…rn}依據(jù)拉依達準(zhǔn)則(3 σ準(zhǔn)則)進行異常分析，主要分析1^,即當(dāng)滿足!TiIiean (r) > MX std(r) ,M = 3, i = 1，…，η。其中 mean (r)為 IrJ的均值，std(r)為{rn}的標(biāo)準(zhǔn)差。根據(jù)數(shù)據(jù)運行的時間和業(yè)務(wù)背景，可以對判定系數(shù)M做適當(dāng)調(diào)整，可調(diào)整異常性的強弱，但不能調(diào)整過大，否則失去拉依達準(zhǔn)則的意義。
[0054](6)當(dāng)判定新采集值為異常值，采用預(yù)測值來代替后再上傳數(shù)據(jù)，否則直接上傳數(shù)據(jù)。通過本方法的實時運用，實時剔除異常數(shù)據(jù)，可以保持?jǐn)?shù)據(jù)的連續(xù)穩(wěn)定與正常采集。
[0055]如圖2所示，以某工業(yè)采集的鍋爐主蒸汽壓力的90條數(shù)據(jù)(每3秒一條)，依次以41條數(shù)據(jù)為采集樣本，遞推50次，相當(dāng)于50個采集樣本。運用不同方法進行統(tǒng)計檢驗，得到
[0056]

【權(quán)利要求】
1.一種實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，包括如下步驟: (1)初始化樣本數(shù)據(jù):選取運行正常的偶數(shù)個樣本數(shù)據(jù)； (2)用一次指數(shù)平滑方法，采用樣本數(shù)據(jù)的1/2為移動步長，運用一次指數(shù)平滑遞推方法對樣本數(shù)據(jù)的后半部分進行預(yù)測； (3)通過后半部分的預(yù)測值和實測值計算出預(yù)測結(jié)果的殘差； (4)對殘差序列依據(jù)拉依達準(zhǔn)則進行異常分析，確認實測值是否為異常數(shù)據(jù)； (5)如果是異常數(shù)據(jù)，則用預(yù)測值替換該實測值。
2.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，步驟(I)中的運行正常的樣本數(shù)據(jù)為對采集的當(dāng)前運行的樣本數(shù)據(jù)序列，進行正態(tài)分布檢驗并通過檢驗，再進行拉依達準(zhǔn)則判斷無異常；或?qū)Σ杉漠?dāng)前運行的樣本數(shù)據(jù)差分序列，進行正態(tài)分布檢驗并通過檢驗，再進行拉依達準(zhǔn)則判斷無異常。
3.根據(jù)權(quán)利要求1或2所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，步驟(I)中的偶數(shù)個樣本數(shù)據(jù)的取值范圍為20-50之間的偶數(shù)。
4.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，步驟(2)中的一次指數(shù)平滑方法為:
yt+i = α xt+U_a )yt， 本方法采用固定樣本的移動一次指數(shù)平滑方法，即對2n個樣本數(shù)據(jù)，利用I至η個數(shù)據(jù)預(yù)測第η+1個數(shù)據(jù)，利用2至η+1個數(shù)據(jù)預(yù)測第η+2個數(shù)據(jù)，以此遞推預(yù)測至第2η個數(shù)據(jù)，形式為
Yi = Χι? Yt+i = a xt+(l-a )yt,..., C1 = yn+1 = a xn+(l-a )yn,
Yi = x2? Yt+i = a xt+(l-a )yt, **., C2 = yn+1 = a xn+(l-a )yn,
yi = xn，yt+i = a xt+(l-a )yt, —, Cn = yn+1 = a xn+(l-a )yn, 則序列Ic1, c2，...&}為預(yù)測序列， 其中α為平滑系數(shù)、xt為t時刻的實測值、yt為時刻t的預(yù)測值、yt+1為時刻t+Ι的預(yù)測值，η的取值范圍為10彡η彡25。
5.根據(jù)權(quán)利要求4所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，平滑系數(shù)取值為0.2-0.6。
6.根據(jù)權(quán)利要求5所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，平滑系數(shù)為0.2-0.6之間每次間隔0.05、取值9次試算取步驟(4)中殘差序列均方誤差最小值對應(yīng)的平滑系數(shù)。
7.根據(jù)權(quán)利要求4所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，步驟(3)中預(yù)測結(jié)果的殘差為a = X21-Ci, i = l,…，η。
8.根據(jù)權(quán)利要求4所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，步驟(4)中的異常數(shù)據(jù)判定:r1-mean (r)>M*Std(r)，其中，r,為第i個預(yù)測結(jié)果的殘差，i=I,…，n ；mean(r)為殘差序列的均值；std(r)為殘差序列的標(biāo)準(zhǔn)差；M為判定系數(shù)。
9.根據(jù)權(quán)利要求8所述的實時數(shù)據(jù)采集系統(tǒng)的異常數(shù)據(jù)實時處理方法，其特征在于，判定系數(shù)M取值為3。
【文檔編號】G05B19/418GK104181883SQ201410387938
【公開日】2014年12月3日 申請日期:2014年8月8日 優(yōu)先權(quán)日:2014年8月8日
【發(fā)明者】楊斌, 杜長河, 尚永濤, 于灝, 李秀福, 辜曉川, 賀巖 申請人:青島高校信息產(chǎn)業(yè)有限公司