基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法
【專利摘要】本發(fā)明公開了一種基于正交小波包變換與旋轉(zhuǎn)門算法的兩級(jí)數(shù)據(jù)壓縮與解壓方法，數(shù)據(jù)壓縮包括如下步驟：（1）對(duì)原始數(shù)據(jù)進(jìn)行正交小波包變換，得到小波包系數(shù)；（2）對(duì)步驟（1）中得到的小波包系數(shù)進(jìn)行閾值處理；（3）采用旋轉(zhuǎn)門算法對(duì)經(jīng)過(guò)閾值處理后的小波包系數(shù)進(jìn)行二級(jí)壓縮。壓縮后的數(shù)據(jù)存儲(chǔ)至歷史數(shù)據(jù)庫(kù)或磁盤。對(duì)壓縮后的數(shù)據(jù)進(jìn)行解壓，包括如下步驟（4）對(duì)壓縮后的數(shù)據(jù)進(jìn)行線性插值，恢復(fù)得到一級(jí)壓縮數(shù)據(jù)；（5）對(duì)一級(jí)壓縮數(shù)據(jù)進(jìn)行小波包重構(gòu)，得到原始數(shù)據(jù)。本發(fā)明解決了大型實(shí)時(shí)數(shù)據(jù)庫(kù)中非平穩(wěn)模擬信號(hào)難以壓縮的問(wèn)題，提供了一種實(shí)現(xiàn)簡(jiǎn)單，數(shù)據(jù)壓縮率高，對(duì)非平穩(wěn)變化信號(hào)壓縮效果明顯的數(shù)據(jù)壓縮與解壓方法。
【專利說(shuō)明】基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及海量數(shù)據(jù)存儲(chǔ)【技術(shù)領(lǐng)域】，具體涉及一種實(shí)時(shí)數(shù)據(jù)庫(kù)的兩級(jí)數(shù)據(jù)壓縮與解壓方法。
【背景技術(shù)】
[0002]大型實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)用于存儲(chǔ)各類聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)采集、加工、整理后的數(shù)據(jù)，從而實(shí)現(xiàn)所有設(shè)備的在線運(yùn)行監(jiān)控、操作參數(shù)優(yōu)化、調(diào)度指揮，以及在線故障診斷等，對(duì)提高企業(yè)的生產(chǎn)管理水平、保障裝置的安全穩(wěn)定運(yùn)行具有重要的意義。在一些面向流程工業(yè)的大型應(yīng)用中，必須要實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)。
[0003]對(duì)于海量數(shù)據(jù)而言，如果將這些數(shù)據(jù)直接存儲(chǔ)，會(huì)極大地浪費(fèi)磁盤空間，降低數(shù)據(jù)的存取效率。由于生產(chǎn)實(shí)時(shí)數(shù)據(jù)有其特殊的規(guī)律性，如果用流行的關(guān)系數(shù)據(jù)庫(kù)保存歷史數(shù)據(jù)不可行，因?yàn)橐皇菈嚎s比小，二是查詢速度慢，不能保證實(shí)時(shí)系統(tǒng)的需要。因此，在實(shí)際應(yīng)用中必須采用有效的數(shù)據(jù)壓縮算法對(duì)數(shù)據(jù)進(jìn)行壓縮處理。
[0004]數(shù)據(jù)壓縮分為物理壓縮和邏輯壓縮。其中物理壓縮是采用一定的編碼算法對(duì)磁盤文件進(jìn)行壓縮，如ara、jpg、zip等壓縮格式文件。物理壓縮又分為無(wú)損壓縮和有損壓縮，圖形圖像文件、音頻文件等一般采用有損壓縮，而其他文檔文件一般采用無(wú)損壓縮。常見的無(wú)損壓縮有Huffman算法、LZ77算法、LZ78算法等；有損算法則包可分為預(yù)測(cè)編碼、變換編碼、量化編碼、信息熵編碼等。邏輯壓縮是根據(jù)數(shù)據(jù)變化規(guī)律，在一定的精度范圍內(nèi)，根據(jù)壓縮算法實(shí)現(xiàn)對(duì)數(shù)據(jù)的壓縮處理，如基于時(shí)間序列的旋轉(zhuǎn)門壓縮技術(shù)、LAff算法、RLZ算法。
[0005]但是，目前大多數(shù)實(shí)時(shí)數(shù)據(jù)庫(kù)采用單一的壓縮方法，無(wú)法同時(shí)兼顧壓縮比和壓縮效果。同時(shí)在實(shí)際應(yīng)用中，通用的壓縮算法還面臨一些問(wèn)題。例如，在某些重要領(lǐng)域如電力系統(tǒng)中，存在一些非平穩(wěn)信號(hào)，這些非平穩(wěn)信號(hào)中包含大量的高頻信息，這些高頻信息的頻帶很寬，且不易詳細(xì)區(qū)分其中哪些頻帶部分是有用的和無(wú)用的。因此，需要將信息分成重要頻帶和不重要頻帶進(jìn)行壓縮。對(duì)于不重要的低頻段信息可以去除，不參與壓縮；當(dāng)不能肯定具體頻帶時(shí)也可以把其信息考慮進(jìn)去。因此，需要一種壓縮比高、適于非平穩(wěn)信號(hào)壓縮、抗干擾能力強(qiáng)的數(shù)據(jù)壓縮方法，來(lái)解決非平穩(wěn)信號(hào)的壓縮問(wèn)題。

【發(fā)明內(nèi)容】

[0006]為了解決非平穩(wěn)信號(hào)數(shù)據(jù)壓縮效果不佳的問(wèn)題，本發(fā)明提供了一種易于實(shí)現(xiàn)，壓縮比高，適于非平穩(wěn)信號(hào)壓縮，抗干擾能力強(qiáng)的數(shù)據(jù)壓縮與解壓方法。
[0007]為了解決上述問(wèn)題，本發(fā)明的所采取的技術(shù)方案是:
[0008]一種基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:包括以下步驟:
[0009](I)對(duì)原始數(shù)據(jù)進(jìn)行正交小波包變換，得到小波包系數(shù)；
[0010](2)對(duì)步驟(I)中得到的小波包系數(shù)進(jìn)行閾值處理；
[0011](3)采用旋轉(zhuǎn)門算法對(duì)經(jīng)過(guò)閾值處理后的小波包系數(shù)進(jìn)行二級(jí)壓縮。[0012]對(duì)壓縮后的數(shù)據(jù)進(jìn)行解壓，包括如下步驟:
[0013](4)對(duì)壓縮后的數(shù)據(jù)進(jìn)行線性插值，恢復(fù)得到一級(jí)壓縮數(shù)據(jù)；
[0014](5)對(duì)一級(jí)壓縮數(shù)據(jù)進(jìn)行正交小波包重構(gòu)，得到原始數(shù)據(jù)。
[0015]本發(fā)明解決了大型實(shí)時(shí)數(shù)據(jù)庫(kù)中非平穩(wěn)模擬信號(hào)難以壓縮的問(wèn)題，提供了一種實(shí)現(xiàn)簡(jiǎn)單，數(shù)據(jù)壓縮率高，對(duì)非平穩(wěn)變化信號(hào)壓縮效果明顯的數(shù)據(jù)壓縮與解壓方法。
[0016]前述的一種基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，選用緊支撐集正交小波包變換，對(duì)原始數(shù)據(jù)進(jìn)行小波包變換；對(duì)頻率進(jìn)行多層次劃分，并根據(jù)被分解數(shù)據(jù)的特征，自適應(yīng)地選擇相應(yīng)的頻帶，以與信號(hào)頻譜相匹配，從而達(dá)到更好的壓縮效果。即將原始數(shù)據(jù)按緊支撐集正交小波包展開，然后對(duì)低頻系數(shù)使用矢量量化法，對(duì)高頻系數(shù)使用標(biāo)量量化法，從而達(dá)到較高的壓縮比。
[0017]所述步驟(1)的具體步驟為:
[0018]al)選用具有緊支撐集的正交小波函數(shù):本發(fā)明中選用近似對(duì)稱的正交小波一Coilflet小波作為波函數(shù)進(jìn)行初級(jí)數(shù)據(jù)的壓縮。
[0019]a2)確定最優(yōu)小波包基:選用Shannon熵作為數(shù)據(jù)壓縮的熵標(biāo)準(zhǔn):
【權(quán)利要求】
1.一種基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:對(duì)數(shù)據(jù)進(jìn)行壓縮的步驟如下: (1)對(duì)原始數(shù)據(jù)進(jìn)行正交小波包變換，得到小波包系數(shù)； (2)對(duì)步驟(1)中得到的小波包系數(shù)進(jìn)行閾值處理； (3)采用旋轉(zhuǎn)門算法對(duì)經(jīng)過(guò)閾值處理后的小波包系數(shù)進(jìn)行二級(jí)壓縮； 對(duì)壓縮后的數(shù)據(jù)進(jìn)行解壓的步驟如下: (4)對(duì)壓縮后的數(shù)據(jù)進(jìn)行線性插值，恢復(fù)得到一級(jí)壓縮數(shù)據(jù)； (5)對(duì)一級(jí)壓縮數(shù)據(jù)進(jìn)行正交小波包重構(gòu)，得到原始數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:采用緊支撐集正交小波包變換，對(duì)原始數(shù)據(jù)進(jìn)行小波包變換；對(duì)頻率進(jìn)行多層次劃分，并根據(jù)被分解數(shù)據(jù)的特征，選擇相應(yīng)的頻帶，以與信號(hào)頻譜相匹配，對(duì)低頻系數(shù)使用矢量量化法，對(duì)高頻系數(shù)使用標(biāo)量量化法。
3.根據(jù)權(quán)利要求2所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:所述步驟(1)的具體步驟為: al)選用具有緊支撐集的正交小波函數(shù):選用近似對(duì)稱的正交小波Coilflet小波作為波函數(shù)進(jìn)行初級(jí)數(shù)據(jù)的壓縮； a2)確定最優(yōu)小波包基:選用Shannon熵作為數(shù)據(jù)壓縮的熵標(biāo)準(zhǔn):el^ = ~ Σ lc^ ，約定OlogO=O ;其中EL(S)即為Shannon熵，Si代表輸入信號(hào)S在
i GZ一個(gè)正交小波包基下展開得到的小波包系數(shù)序列； 在進(jìn)行小波包分解時(shí)，由上至下分別計(jì)算下一層的熵值，然后與上一層的熵值進(jìn)行比較，由最小熵標(biāo)準(zhǔn)，依次判斷小波包最優(yōu)分解的方向，最后確定基于此熵標(biāo)準(zhǔn)的最小波包分解基； a3)采用通用的Mallet算法進(jìn)行小波包分解。
4.根據(jù)權(quán)利要求1所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:將原始數(shù)據(jù)進(jìn)行小波包分解后，對(duì)每個(gè)節(jié)點(diǎn)系數(shù)分別設(shè)定不同的閾值，對(duì)節(jié)點(diǎn)系數(shù)進(jìn)行閾值處理后得到一級(jí)壓縮數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:所述步驟(2)的具體步驟為: bl)選擇節(jié)點(diǎn)閾值，各節(jié)點(diǎn)的閾值設(shè)定如下: thrn=unXmax(I Un I) (I)； 式中0〈un〈l為各節(jié)點(diǎn)的閾值系數(shù)，根據(jù)設(shè)定的誤差限IunI自動(dòng)調(diào)整，η為分解的節(jié)點(diǎn)數(shù)； b2)閾值處理:按照下式對(duì)各節(jié)點(diǎn)的分解系數(shù)進(jìn)行閾值處理，舍棄小于閾值的分解系數(shù)，保留閾值之上的分解系數(shù): 卜 \vn\>-thrn⑵；
[OI < thru 得到了一級(jí)壓縮數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:所述步驟(3)的具體步驟為: 設(shè)實(shí)時(shí)數(shù)據(jù)庫(kù)中有一級(jí)壓縮數(shù)據(jù)緩沖區(qū)和二級(jí)壓縮數(shù)據(jù)緩沖區(qū)；針對(duì)一級(jí)壓縮數(shù)據(jù)緩沖區(qū)中的某一數(shù)據(jù)點(diǎn)X，Pm表示X在二級(jí)壓縮數(shù)據(jù)緩沖區(qū)中的最新值，Qn表示X在一級(jí)壓縮數(shù)據(jù)緩沖區(qū)中的最新值，e表示點(diǎn)X的數(shù)據(jù)偏差； 旋轉(zhuǎn)門壓縮算法的步驟如下: Cl)以Pm到Qn畫一條線為平行四邊形的中線，則平行四邊形的四個(gè)頂點(diǎn)分別為(tm, Pm-e)，(tm, Pm+e)，(tn, Qn-e)，(tn, Qn+e)，tm 和 tn 分別為對(duì)應(yīng)于值 Pm 和 Qn 的采樣時(shí)刻，m和η為數(shù)據(jù)點(diǎn)X的值編號(hào)； c2)如果Qn之前的數(shù)據(jù)值中有至少一個(gè)點(diǎn)落在平行四邊形之外，則將Qlri轉(zhuǎn)入二級(jí)壓縮數(shù)據(jù)緩沖區(qū)，作為一個(gè)新的Pm，丟棄Qlri之前的所有數(shù)據(jù)值，將Qn作為一級(jí)壓縮數(shù)據(jù)緩沖區(qū)中的第一點(diǎn)； c3)若二級(jí)壓縮數(shù)據(jù)緩沖區(qū)已滿，跳轉(zhuǎn)至第5)步驟； c4)當(dāng)有新點(diǎn)Qn到達(dá)時(shí),轉(zhuǎn)入第I)步； c5)將二級(jí)壓縮數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)進(jìn)入數(shù)據(jù)歸檔隊(duì)列。
7.根據(jù)權(quán)利要求1所述的基于正交小波包變換與旋轉(zhuǎn)門算法的數(shù)據(jù)壓縮與解壓方法，其特征在于:所述步驟(5)采用通用的Mallet算法進(jìn)行小波包系數(shù)重構(gòu)。
【文檔編號(hào)】H03M7/30GK103701468SQ201310731189
【公開日】2014年4月2日 申請(qǐng)日期:2013年12月26日 優(yōu)先權(quán)日:2013年12月26日
【發(fā)明者】王媛媛, 包德梅, 禇紅健, 顏儒彬, 李芳 , 曹黎明, 李寅 申請(qǐng)人:國(guó)電南京自動(dòng)化股份有限公司