一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法
【專利摘要】本發(fā)明涉及一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法，其包括以下步驟： S11:讀入物聯(lián)網(wǎng)數(shù)據(jù)文件，一次讀若干條數(shù)據(jù)記錄，其中需要檢查每條記錄的完整性；S12：載入系統(tǒng)定義的字符串常量表，形成數(shù)據(jù)字典A；S13:載入系統(tǒng)定義的數(shù)值取值范圍表，形成數(shù)據(jù)字典B；S14:解析記錄中的數(shù)據(jù)項，如果是字符串，則比對數(shù)據(jù)字典A，得到該字符串的編碼；S15:解析記錄中的數(shù)據(jù)項，如果是數(shù)值，則獲取該數(shù)值的取值范圍，對該數(shù)值做歸一化處理，比對數(shù)據(jù)字典B,得到取值范圍和數(shù)值的編碼； S16:重復步驟S14和S15，直至壓縮完成； S17：輸出物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件。本發(fā)明能保證良好的數(shù)據(jù)壓縮比和數(shù)據(jù)壓縮效果，最大限度的降低物聯(lián)網(wǎng)數(shù)據(jù)存儲要求和通信帶寬要求。
【專利說明】一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法

【技術(shù)領域】
[0001]本發(fā)明涉及物聯(lián)網(wǎng)數(shù)據(jù)壓縮【技術(shù)領域】，特別是一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法。

【背景技術(shù)】
[0002]數(shù)據(jù)壓縮是為了解決IT系統(tǒng)的系統(tǒng)存儲瓶頸和通信帶寬瓶頸。數(shù)據(jù)壓縮技術(shù)可以有效的消除各種冗余信息(時間冗余，空間冗余和知識冗余等)，來減小數(shù)據(jù)的大小，以達到節(jié)省存儲空間和傳輸帶寬的良好效果。數(shù)據(jù)壓縮的實質(zhì)是:將字符串從一種形式轉(zhuǎn)化為另外一種形式，新的形式包含同等數(shù)據(jù)量并且數(shù)據(jù)文件顯著減小。不同的應用場合，對壓縮算法的特質(zhì)有不同的要求。對于普通文件，一般要求無損壓縮，壓縮前的文件和解壓后的文件必須完全一致，在實踐中通用壓縮算法可以擔當這個角色。對于多媒體文件(聲音，視頻和圖像)，人們可以容忍部分細節(jié)損失的類型，壓縮過程中允許細節(jié)損失，專用壓縮算法可以勝任這個角色，能保證壓縮比和壓縮效果。
[0003]數(shù)據(jù)壓縮方法大體可以分為兩種類型:專用數(shù)據(jù)壓縮和通用數(shù)據(jù)壓縮。專用數(shù)據(jù)壓縮算法一般用于數(shù)據(jù)特征比較明確場合，其特點是壓縮效率高，使用場合受限制。比較著名的專用數(shù)據(jù)壓縮算法有:圖像壓縮算法(PNG/JPEG/GIF)和視頻壓縮算法(H264/MPEG-2/MPEG-4)等。通用數(shù)據(jù)壓縮算法不假設數(shù)據(jù)特征和任何先驗知識，其特點是壓縮效率低，適用于各種數(shù)據(jù)類型。比較著名的通用數(shù)據(jù)壓縮算法有:LZ77/LZ78/LZW，這三種算法算是業(yè)界標準。通用壓縮算法的基本思想是:采用基于詞典壓縮技術(shù)，識別和消除數(shù)據(jù)中重復的數(shù)據(jù)。
[0004]物聯(lián)網(wǎng)系統(tǒng)，一般由于分布式物聯(lián)網(wǎng)子系統(tǒng)和物聯(lián)網(wǎng)控制中心構(gòu)成，其中分布式物聯(lián)網(wǎng)子系統(tǒng)由大量葉節(jié)點和少量路由節(jié)點和網(wǎng)關節(jié)點構(gòu)成。葉節(jié)點和路由節(jié)點雙向通信，路由節(jié)點和網(wǎng)關節(jié)點雙向通信，網(wǎng)關節(jié)點和物聯(lián)網(wǎng)控制中心雙向通信。物聯(lián)網(wǎng)系統(tǒng)中的傳輸?shù)臄?shù)據(jù)有鮮明的數(shù)據(jù)特征，使用通用數(shù)據(jù)壓縮不能保證最大的壓縮比，對有限的通信帶寬來說不可接受。物聯(lián)網(wǎng)屬于系統(tǒng)資源非常有效的網(wǎng)絡，其中系統(tǒng)的存儲資源和通信帶寬資源非常有限，數(shù)據(jù)壓縮對于突破系統(tǒng)硬件限制和保證系統(tǒng)穩(wěn)定運行意義重大。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法，能保證良好的數(shù)據(jù)壓縮比和數(shù)據(jù)壓縮效果，最大限度的降低物聯(lián)網(wǎng)數(shù)據(jù)存儲要求和通信帶寬要求。
[0006]本發(fā)明采用以下方案實現(xiàn):一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法，其特征在于包括以下步驟:
步驟Sll:讀入物聯(lián)網(wǎng)數(shù)據(jù)文件，一次讀若干條數(shù)據(jù)記錄，其中需要檢查每條記錄的完整性；
步驟S12:載入系統(tǒng)定義的字符串常量表，形成數(shù)據(jù)字典A ；
步驟S13:載入系統(tǒng)定義的數(shù)值取值范圍表，形成數(shù)據(jù)字典B;
步驟S14:解析記錄中的數(shù)據(jù)項，如果是字符串，則比對數(shù)據(jù)字典A，得到該字符串的編碼；
步驟S15:解析記錄中的數(shù)據(jù)項，如果是數(shù)值，則獲取該數(shù)值的取值范圍，對該數(shù)值做歸一化處理，對于數(shù)據(jù)字典B，得到該取值范圍和數(shù)值的編碼；
步驟S16:重復步驟S14和S15，直至壓縮完成；
步驟S17:輸出物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件。
[0007]在本發(fā)明一實施例中，還包括一解壓方式，該解壓方式包括以下步驟:
步驟S21:讀入物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件；
步驟S22:從文件中讀取數(shù)據(jù)字典A，即字符串常量與編碼的鍵值對表；
步驟S23:從文件中讀取數(shù)據(jù)字典B，即數(shù)值取值范圍和數(shù)值與編碼的鍵值對表；
步驟S24:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典A中，則恢復為字符串； 步驟S25:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典B中，則恢復為數(shù)值； 步驟S26:重復步驟S24和S25，直至解壓完成；
步驟S27:輸出物聯(lián)網(wǎng)數(shù)據(jù)文件。
[0008]本發(fā)明的核心思想是:最大限度的利用物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)特征，針對性的設計出一種數(shù)據(jù)壓縮比高，但是數(shù)據(jù)細節(jié)有損失的數(shù)據(jù)壓縮方法。本發(fā)明方法簡單，能保證良好的數(shù)據(jù)壓縮比和數(shù)據(jù)壓縮效果，最大限度的降低物聯(lián)網(wǎng)數(shù)據(jù)存儲要求和通信帶寬要求。

【專利附圖】

【附圖說明】
[0009]圖1是本發(fā)明物聯(lián)網(wǎng)數(shù)據(jù)壓縮架構(gòu)圖。
[0010]圖2是本發(fā)明物聯(lián)網(wǎng)數(shù)據(jù)壓縮算法流程圖。
[0011]圖3是本發(fā)明物聯(lián)網(wǎng)數(shù)據(jù)壓縮算法流程圖。

【具體實施方式】
[0012]為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂，下面結(jié)合附圖對本發(fā)明的【具體實施方式】做詳細的說明。
[0013]在以下描述中闡述了具體細節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不同于在此描述的其它方式來實施，本領域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣。因此本發(fā)明不受下面公開的【具體實施方式】的限制。
[0014]本發(fā)明的核心思想是:最大限度的利用物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)特征，針對性的設計出一種數(shù)據(jù)壓縮比高，但是數(shù)據(jù)細節(jié)有損失的數(shù)據(jù)壓縮方法。
[0015]對物聯(lián)網(wǎng)數(shù)據(jù)特征的假設:物聯(lián)網(wǎng)數(shù)據(jù)由有限個字符串常量和有限個數(shù)值組成。字符串全是來自系統(tǒng)定義，沒有可變字符串；數(shù)值由傳感器產(chǎn)生，并且數(shù)值范圍來自系統(tǒng)定義；數(shù)值和傳感器的對應關系來自系統(tǒng)定義。物聯(lián)網(wǎng)數(shù)據(jù)并不包括物聯(lián)網(wǎng)控制命令，即控制命令不適用該壓縮算法。
[0016]物聯(lián)網(wǎng)數(shù)據(jù)壓縮算法在物聯(lián)網(wǎng)網(wǎng)關節(jié)點(匯聚節(jié)點)和物聯(lián)網(wǎng)控制中心。物聯(lián)網(wǎng)子系統(tǒng)的數(shù)據(jù)，按照物聯(lián)網(wǎng)網(wǎng)絡協(xié)議，全部匯聚到網(wǎng)關節(jié)點存儲，并由網(wǎng)關節(jié)點上傳匯總數(shù)據(jù)到物聯(lián)網(wǎng)控制中心，在網(wǎng)關節(jié)點實施數(shù)據(jù)壓縮算法可以節(jié)省網(wǎng)關節(jié)點的存儲空間并且減少上傳的數(shù)據(jù)流量，這對移動數(shù)據(jù)流量有限的網(wǎng)關節(jié)點來說非常重要。物聯(lián)網(wǎng)控制中心使用數(shù)據(jù)庫存儲物聯(lián)網(wǎng)數(shù)據(jù)，歷史數(shù)據(jù)備份時，也需要使用該數(shù)據(jù)壓縮算法?？刂浦行氖褂迷搲嚎s方法后，數(shù)據(jù)備份文件的存儲空間明顯減小，對外提供數(shù)據(jù)服務時通信帶寬要求明顯降低。數(shù)據(jù)壓縮算法部署方法如圖1所示。
[0017]請參見圖2，本實施例的物聯(lián)網(wǎng)數(shù)據(jù)壓縮的過程可分為以下幾步:
Sll:讀入物聯(lián)網(wǎng)數(shù)據(jù)文件，一次讀若干條數(shù)據(jù)記錄，其中需要檢查每條記錄的完整性。記錄完整性規(guī)則，來自物聯(lián)網(wǎng)領域知識，優(yōu)選的實施方式是記錄完整性規(guī)則配置文件，但不限于該方式。
[0018]S12:載入系統(tǒng)定義的字符串常量表，形成數(shù)據(jù)字典A。字符串常量表幾種實現(xiàn)方式包括:(1)系統(tǒng)預定義；(2)動態(tài)生成，自動擴展；(3)系統(tǒng)預定義，當遇到未定義字符串時，自動擴展。數(shù)據(jù)字典A優(yōu)選的實施方式是鍵值對表，鍵為編碼，值對字符串，不同的字符串常量對于不同的鍵，最終由鍵值對構(gòu)成一張鍵值對表格。
[0019]S13:載入系統(tǒng)定義的數(shù)值取值范圍表，形成數(shù)據(jù)字典B。數(shù)值取值范圍表的實現(xiàn)方式與字符串常量表實現(xiàn)方式類似，數(shù)據(jù)字典B的結(jié)構(gòu)也與數(shù)據(jù)字典的結(jié)構(gòu)類似。
[0020]S14:解析記錄中的數(shù)據(jù)項，如果是字符串，則比對數(shù)據(jù)字典A，得到該字符串的編碼。
[0021]S15:解析記錄中的數(shù)據(jù)項，如果是數(shù)值，獲取該數(shù)值的取值范圍，對該數(shù)值做歸一化處理，比對數(shù)據(jù)字典B，得到取值范圍和數(shù)值的編碼。
[0022]S16:重復步驟S14和S15，直至壓縮完成。
[0023]S17:輸出物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件，優(yōu)選的壓縮文件構(gòu)成方式為:數(shù)據(jù)字典A長度，數(shù)據(jù)字典A，數(shù)據(jù)字典B長度，數(shù)據(jù)字典B，物聯(lián)網(wǎng)數(shù)據(jù)編碼數(shù)據(jù)若干。
[0024]請參見圖3，本發(fā)明實施例物聯(lián)網(wǎng)數(shù)據(jù)解壓的過程可分為以下幾步:
步驟S21:讀入物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件。
[0025]步驟S22:從文件中讀取數(shù)據(jù)字典A，即字符串常量與編碼的鍵值對表。
[0026]步驟S23:從文件中讀取數(shù)據(jù)字典B，即數(shù)值取值范圍和數(shù)值與編碼的鍵值對表。
[0027]步驟S24:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典A中，則恢復為字符串O
[0028]步驟S25:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典B中，則恢復為數(shù)值。
[0029]步驟S26:重復步驟S24和S25，直至解壓完成。
[0030]步驟S27:輸出物聯(lián)網(wǎng)數(shù)據(jù)文件。
[0031]本發(fā)明雖然已以較佳實施例公開如上，但其并不是用來限定本發(fā)明，任何本領域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出可能的變動和修改，因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化及修飾，均屬于本發(fā)明技術(shù)方案的保護范圍。以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應屬本發(fā)明的涵蓋范圍。
【權(quán)利要求】
1.一種物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法，其特征在于包括以下步驟: 步驟Sll:讀入物聯(lián)網(wǎng)數(shù)據(jù)文件，一次讀若干條數(shù)據(jù)記錄，其中需要檢查每條記錄的完整性； 步驟S12:載入系統(tǒng)定義的字符串常量表，形成數(shù)據(jù)字典A ； 步驟S13:載入系統(tǒng)定義的數(shù)值取值范圍表，形成數(shù)據(jù)字典B ； 步驟S14:解析記錄中的數(shù)據(jù)項，如果是字符串，則比對數(shù)據(jù)字典A，得到該字符串的編碼； 步驟S15:解析記錄中的數(shù)據(jù)項，如果是數(shù)值，則獲取該數(shù)值的取值范圍，對該數(shù)值做歸一化處理，對比數(shù)據(jù)字典B，得到取值范圍和數(shù)值的編碼； 步驟S16:重復步驟S14和S15，直至壓縮完成； 步驟S17:輸出物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件。
2.根據(jù)權(quán)利要求1所述的物聯(lián)網(wǎng)數(shù)據(jù)壓縮存儲方法，其特征在于:還包括一解壓方式，該解壓方式包括以下步驟: 步驟S21:讀入物聯(lián)網(wǎng)數(shù)據(jù)壓縮文件； 步驟S22:從文件中讀取數(shù)據(jù)字典A，即字符串常量與編碼的鍵值對表； 步驟S23:從文件中讀取數(shù)據(jù)字典B，即數(shù)值取值范圍和數(shù)值與編碼的鍵值對表； 步驟S24:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典A中，則恢復為字符串； 步驟S25:從文件中取一個編碼，查表，如果該編碼在數(shù)據(jù)字典B中，則恢復為數(shù)值； 步驟S26:重復步驟S24和S25，直至解壓完成； 步驟S27:輸出物聯(lián)網(wǎng)數(shù)據(jù)文件。
【文檔編號】G06F17/30GK104462524SQ201410808493
【公開日】2015年3月25日 申請日期:2014年12月24日 優(yōu)先權(quán)日:2014年12月24日
【發(fā)明者】陳圣群, 李靜, 施海柳 申請人:福建江夏學院