專利名稱：一種基于線型的過程數(shù)據(jù)有損壓縮方法
技術領域：
本發(fā)明涉及一種數(shù)據(jù)處理方法，特別涉及一種監(jiān)控系統(tǒng)中實時數(shù)據(jù)動態(tài)有損壓縮方法，屬于自動化監(jiān)控技術領域。
背景技術：
目前監(jiān)控系統(tǒng)中實時數(shù)據(jù)壓縮方法的主要可分為三類，即分段線性方法、矢量量化方法和信號變換方法。分段線性方法包括矩形波串法(boxcar)、后向斜率法(backward slope)、旋轉(zhuǎn)門趨勢化方法(SDT)和分段線性在線趨勢化方法(PLOT)，盡管這些方法壓縮比不如信號變換方法高，但其優(yōu)點是算法簡單、代碼執(zhí)行速度快，已經(jīng)在過程工業(yè)中得到廣泛使用。矢量量化方法需要花很多時間計算碼本，且碼本不具有通用性，即一個數(shù)據(jù)集的碼本不能用于別的數(shù)據(jù)集，由于計算量太大，矢量量化方法不適合過程數(shù)據(jù)在線壓縮。信號變換方法很多，如傅立葉變換、小波變換等，雖然小波變換方法目前還存在一些實際技術問題需要解決，但長期以來傅立葉變換一直是信號處理的主要手段，但它只能獲得信號的整個頻譜，而很難得到信號的局部特征，不能充分刻畫時變、非平穩(wěn)信號的特征，同時在數(shù)據(jù)的有損壓縮閾值難以控制，再加上有很多實際的問題有待解決，所以實際使用并不多。在傳統(tǒng)的線性壓縮算法中，一般都是僅僅采用直線來刻畫某一段待壓縮空間內(nèi)的數(shù)據(jù)，無論這段空間內(nèi)的數(shù)據(jù)的具體趨勢如何，都是一成不變的用直線來進行逼近擬合，而不忽略具體的數(shù)據(jù)特點。本項目組中，在分析了有關數(shù)據(jù)后發(fā)現(xiàn)，待壓縮的數(shù)據(jù)在某一段壓縮空間內(nèi)，往往不只是單一的成直線型變化趨勢，數(shù)據(jù)還有其他形式的變化趨勢，比如類似拋物線形式的，如果這時仍然只是采用直線趨勢來擬合這一段數(shù)據(jù)，不僅壓縮率不高而且誤差很大。所以可以根據(jù)壓縮點的動態(tài)變化趨勢線型選擇合適的壓縮方式來增大壓縮比。在傳統(tǒng)的數(shù)據(jù)壓縮中，往往只采用單一的壓縮方式，一般忽略實時數(shù)據(jù)本身的特點，本項目的算法主要思想就是在對數(shù)據(jù)進行壓縮時，充分考慮數(shù)據(jù)本身的變化趨勢，并針對于此采用不同的方式進行壓縮。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是如何在最短的時間實現(xiàn)監(jiān)控系統(tǒng)中實時數(shù)據(jù)壓縮的高壓縮率，也就是1)壓縮比高，根據(jù)實時數(shù)據(jù)趨勢的線型，采用自適應算法能發(fā)揮最大的壓縮比；2)壓縮速度快，算法簡單，計算量少。為解決上述技術問題，本發(fā)明提供一種基于線型的過程數(shù)據(jù)有損壓縮方法，其特征在于，包括以下步驟1)定義三種變化的數(shù)據(jù)趨勢線型直線型、拋物線型、反拋物線型作為可選的擬合函數(shù)；2)根據(jù)實際數(shù)據(jù)的變化趨勢，在運行時動態(tài)地調(diào)整擬合函數(shù)的表達式的形式。前述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟2)中，具體步驟為21)對于每一個過程數(shù)據(jù)，分別使用三種變化趨勢線型進行壓縮，記錄相關參數(shù)， 直到三種變化趨勢線型都不能繼續(xù)壓縮為止；22)保留壓縮率最大的擬合函數(shù)作為最終的壓縮結果，記錄壓縮點的時間點、擬合值、擬合曲線參數(shù)；23)進行新一輪的壓縮。前述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟1)中，擬合函數(shù)為yt = Ut+ ε t (1)其中，yt是過程數(shù)據(jù)的值關于時間的函數(shù)，ε t是噪音函數(shù)，Ut = kta是關于時間t 的函數(shù)，a是t的冪指數(shù)，k為t的系數(shù)，用于控制擬合曲線的形狀，如果a > 1則Ut為拋物線，此時可以取a = 2 ；如果1 > a > 0，則Ut是反拋物線，此時可以取a = 0. 5 ；常規(guī)條件下取a = 1則為ut = kt直線。前述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟21)中，1)根據(jù)實際需要，分別取ut = kta中a = 2、1、0. 5，則對應拋物線、反拋物線、直線三種不同線型的擬合曲線，對于第1個數(shù)據(jù)點，用所有的曲線形狀的擬合函數(shù)去擬合它，在正常情況下所有的曲線都能順利地擬合，所有的擬合函數(shù)繼續(xù)第二個數(shù)據(jù)點的壓縮；2)第二個數(shù)據(jù)點到來時，將第一個數(shù)據(jù)點的通過的擬合函數(shù)去擬合第二個數(shù)據(jù)點，保證壓縮誤差在預定控制的范圍內(nèi)，如果擬合函數(shù)是直線函數(shù)則不能進行擬合，所以直線函數(shù)放棄，再依次用上一輪通過的點去擬合第二個數(shù)據(jù)點，將滿足壓縮誤差條件的擬合函數(shù)繼續(xù)保留，不滿足的擬合函數(shù)舍去；3)按照上述過程依次擬合接下來的數(shù)據(jù)點，至只剩下最后一個滿足壓縮誤差條件的擬合函數(shù)停止；4)用步驟幻僅剩下的擬合函數(shù)擬合下一個數(shù)據(jù)點，如果還能擬合就繼續(xù)下一個點，否則就結束本輪壓縮，記錄相關參數(shù)以便還原，繼續(xù)下一輪的壓縮。本發(fā)明的原理是在工業(yè)生產(chǎn)監(jiān)控系統(tǒng)中，實時數(shù)據(jù)的變化一般有不同的趨勢，所以本發(fā)明針對于這些不同的變化趨勢采用相應擬合壓縮方式。在分析了監(jiān)控系統(tǒng)實時數(shù)據(jù)后，在一段待壓縮的數(shù)據(jù)段內(nèi)，大體上有如下幾種變化趨勢直線型，拋物線型，反拋物線型。其中直線型代表平穩(wěn)變化，即相鄰的兩個實時數(shù)據(jù)差值始終保持不變；拋物線型代表變化逐漸增大，即相鄰的兩個實時數(shù)據(jù)之間的差值越來越大；反拋物線型逐漸減小，即相鄰的兩個實時數(shù)據(jù)之間的差值越來越小。本發(fā)明所用的算法結構簡單，實現(xiàn)的c語言函數(shù)簡單，這樣在程序運行實現(xiàn)起來， 計算量比較少使得計算速度快，程序運行快。傳統(tǒng)的算法針對以上三種情況只是采用相同的方式如直線型進行擬合，如果要求算法能夠取得更好的壓縮效果，必須能根據(jù)實際數(shù)據(jù)的變化趨勢在運行時動態(tài)的調(diào)整擬合函數(shù)的表達式的形式。在本發(fā)明中，假設擬合函數(shù)是yt = Ut+ ε t (1)其中，yt是過程數(shù)據(jù)的值關于時間的函數(shù)，ε t是噪音函數(shù)，Ut = kta是關于時間t的函數(shù)(a是t的冪指數(shù)，k為t的系數(shù))，用于控制擬合曲線的形狀，如果a > 1則Ut為拋物線，此時可以取a = 2 ；如果1 > a> 0，則Ut是反拋物線，此時可以取a = 0.5 ；常規(guī)條件下取a = 1則為 = 1α直線。1、在壓縮時，對于直線型趨勢的數(shù)據(jù)，本發(fā)明和傳統(tǒng)算法一樣都用直線來進行擬合；2、對于拋物線型Ut = kt2，k > 0的數(shù)據(jù)，假設成這一趨勢的過程數(shù)據(jù)點為y1; J2, yfyr"yn，且此時Ii到y(tǒng)n符合函數(shù)式⑴，所以Ii的坐標(tpktpb)其中k > 0，k、b為系數(shù)，如果用本發(fā)明的拋物線來擬合，則y2，只需保存為一個事件即可，如果采用傳統(tǒng)的算法，如直線來擬合，當在壓縮完y2，W Yi點，下一個待壓縮的點為此時斜率Kwt = (yt -^0)Iiti -t0) = Hti -10)(tt +10)Hti -t0) = Hti -10)K減=(yi+l -只)/(t1+l -O = k(ti+1 - tr )(ti+1 + tt) /(t1+l -O = k(tM - tt)所以夂-Kwi =沖，如此時在壓縮完Yi，直線的斜率已經(jīng)不能再增大了，那么采用直線擬合必須進行新一輪的壓縮，所以傳統(tǒng)算法存儲的時間數(shù)至少兩個或者兩個以上的事件。3、對于拋物線型ut = kt2, k < 0的數(shù)據(jù)，假設成這一趨勢的點為y2,
yn，且此時71到7 符合函數(shù)式(1)，所以Yi的坐標(tykV+b)其中k<0，那么如果用本發(fā)明的拋物線來擬合，則y” γ2,需保存為一個事件即可，如果采用傳統(tǒng)的算法，
比如直線來擬合，當在壓縮完y2, yn點，下一個待壓縮的點為yi+1，此時斜率Kwt = (yt -^0)Iiti -t0) = Hti -10)(tt +10)Iiti -t0) = Hti -10)K 減=(yi+l -只.)l(ti+l -O = k(ti+l - tt )(ti+l + tt) /(t1+l -O = k(ti+l - tt)所以夂-Kwi =^^+1-々)#0<0，如此時在壓縮完Yi，直線的斜率已經(jīng)不能再減小了，那么采用直線擬合必須進行新一輪的壓縮，所以傳統(tǒng)算法存儲的時間數(shù)至少兩個或者兩個以上的事件。綜上所述，本發(fā)明的基于線型的過程數(shù)據(jù)有損壓縮算法不采用單一的擬合方式， 而是綜合三種擬合方式，所以存儲的事件數(shù)比傳統(tǒng)算法存儲的事件數(shù)少，即壓縮率比較大。


圖1為本發(fā)明的數(shù)據(jù)壓縮基本流程圖；圖2為本發(fā)明的解壓縮程序流程圖；圖3為本發(fā)明的函數(shù)間的關系圖；圖4為本發(fā)明的算法示意圖。
具體實施例方式本發(fā)明的實際算法中為了控制壓縮的閾值即壓縮誤差，仍然用上下兩對曲線控制每一輪的壓縮，如圖4所示，以數(shù)據(jù)點1為起始點。在垂直方向上距離數(shù)據(jù)點1為E的地方有兩個支點。每個元素對應兩個連接支點和過程數(shù)據(jù)的直線或曲線，把這兩個直線或曲線看成兩扇虛擬的以支點為軸的“門”。具體包括以下步驟
1)根據(jù)實際需要，可以分別取a = 2，1，0. 5，則對應著三種不同線型的擬合曲線 (拋物線、反拋物線、直線)。對于第一個過程數(shù)據(jù)點，用所有的曲線形狀去擬合它，在正常情況下所有的曲線都能順利地擬合，所有的擬合函數(shù)繼續(xù)第二個數(shù)據(jù)點的壓縮；2)第二個數(shù)據(jù)點到來時，將通過第一個數(shù)據(jù)點的擬合函數(shù)去擬合，保證壓縮誤差在預定控制的范圍內(nèi)。如圖4，如果擬合函數(shù)是直線函數(shù)不能進行擬合了，所以直線函數(shù)放棄，再依次用上一輪通過的點去擬合第二點，將滿足壓縮誤差條件的擬合函數(shù)繼續(xù)保留，不滿足的擬合函數(shù)舍去。3)按照上述過程依次擬合下面的點，至只剩下最后一個數(shù)據(jù)點滿足壓縮誤差條件的擬合函數(shù)停止；4)用步驟幻僅剩下的擬合函數(shù)擬合下一個過程數(shù)據(jù)點，如果還能擬合就繼續(xù)下一個點，否則就結束本輪壓縮，記錄相關參數(shù)以便還原，繼續(xù)下一輪的壓縮。在數(shù)據(jù)還原時，根據(jù)在壓縮算法中每一輪的壓縮所記錄的事件的信息，包括壓縮點的時間點、壓縮點的擬合值、壓縮點的擬合曲線參數(shù)，然后再利用函數(shù)將原來的點還原出來。以上已以較佳實施例公開了本發(fā)明，然其并非用以限制本發(fā)明，凡采用等同替換或者等效變換方式所獲得的技術方案，均落在本發(fā)明的保護范圍之內(nèi)。
權利要求
1.一種基于線型的過程數(shù)據(jù)有損壓縮方法，其特征在于，包括以下步驟1)定義三種變化的數(shù)據(jù)趨勢線型直線型、拋物線型、反拋物線型作為可選的擬合函數(shù)；2)根據(jù)實際數(shù)據(jù)的變化趨勢，在運行時動態(tài)地調(diào)整擬合函數(shù)的表達式的形式。
2.根據(jù)權利要求1所述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟2)中，具體步驟為21)對于每一個過程數(shù)據(jù)，分別使用三種變化趨勢線型進行壓縮，記錄相關參數(shù)，直到三種變化趨勢線型都不能繼續(xù)壓縮為止；22)保留壓縮率最大的擬合函數(shù)作為最終的壓縮結果，記錄壓縮點的時間點、擬合值、 擬合曲線參數(shù)；23)進行新一輪的壓縮。
3.根據(jù)權利要求2所述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟1)中，擬合函數(shù)為yt = Ut+ ε t (1)其中，yt是過程數(shù)據(jù)的值關于時間的函數(shù)，ε t是噪音函數(shù)，Ut = kta是關于時間t的函數(shù)，a是t的冪指數(shù)，k為t的系數(shù)，用于控制擬合曲線的形狀，如果a > 1則Ut為拋物線； 如果1 > a > 0，則Ut是反拋物線；常規(guī)條件下取a = 1則為ut = kt直線。
4.根據(jù)權利要求3所述的基于線型的過程數(shù)據(jù)有損壓縮算法，其特征在于在所述步驟21)中，1)根據(jù)實際需要，分別取ut= kta中a = 2、1、0. 5，則對應拋物線、反拋物線、直線三種不同線型的擬合曲線，對于第1個數(shù)據(jù)點，用所有的曲線形狀的擬合函數(shù)去擬合，在正常情況下所有的曲線都能順利地擬合，所有的擬合函數(shù)繼續(xù)第二個數(shù)據(jù)點的壓縮；2)第二個數(shù)據(jù)點到來時，將第一個數(shù)據(jù)點的通過的擬合函數(shù)去擬合第二個數(shù)據(jù)點，保證壓縮誤差在預定控制的范圍內(nèi)，如果擬合函數(shù)是直線函數(shù)則不能進行擬合，所以直線函數(shù)放棄，再依次用上一輪通過的點去擬合第二個數(shù)據(jù)點，將滿足壓縮誤差條件的擬合函數(shù)繼續(xù)保留，不滿足的擬合函數(shù)舍去；3)按照上述過程依次擬合接下來的數(shù)據(jù)點，至只剩下最后一個滿足壓縮誤差條件的擬合函數(shù)停止；4)用步驟幻僅剩下的擬合函數(shù)擬合下一個數(shù)據(jù)點，如果還能擬合就繼續(xù)下一個點，否則就結束本輪壓縮，記錄相關參數(shù)以便還原，繼續(xù)下一輪的壓縮。
全文摘要
本發(fā)明公開了一種基于線型的過程數(shù)據(jù)有損壓縮方法，其特征在于，包括以下步驟1)定義三種變化的數(shù)據(jù)趨勢線型直線型、拋物線型、反拋物線型作為可選的擬合函數(shù)；2)根據(jù)實際數(shù)據(jù)的變化趨勢在運行時動態(tài)地調(diào)整擬合函數(shù)的表達式的形式。本發(fā)明不采用單一的擬合方式，而是綜合三種擬合方式，所以存儲的事件數(shù)比傳統(tǒng)算法存儲的事件數(shù)少，即壓縮率比較大。
文檔編號G06F17/30GK102298630SQ20111025290
公開日2011年12月28日 申請日期2011年8月30日 優(yōu)先權日2011年8月30日
發(fā)明者劉佳寶, 劉孟覺, 張 浩, 方俊, 梁奕, 陳天皓 申請人:國電南瑞科技股份有限公司