云計算的pm2.5監(jiān)測、存儲、處理的方法
【專利摘要】本發(fā)明公開一種云計算的PM2.5監(jiān)測、存儲、處理的方法，包括云計算平臺和一個以上的PM2.5監(jiān)測點；所述云計算平臺包括實時數(shù)據(jù)入庫單元、PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心以及管理單元；本發(fā)明的優(yōu)點是：實時性高、可靠性高、可伸縮性強、擴容性高、性價比高且全業(yè)務(wù)支持。
【專利說明】云計算的PM2. 5監(jiān)測、存儲、處理的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計算【技術(shù)領(lǐng)域】，具體涉及一種對環(huán)境監(jiān)測數(shù)據(jù)PM2. 5客戶端并行處理大數(shù)據(jù)的云計算的PM2. 5監(jiān)測、存儲、處理的方法。
【背景技術(shù)】
[0002]由于分散在城市周圍需要大量的PM2. 5監(jiān)控點（1000—10000個)需要實時的并發(fā)上傳大量PM2. 5數(shù)據(jù)，以及需要存儲和處理海量的PM2. 5的歷史數(shù)據(jù)，采用傳統(tǒng)的結(jié)局方案顯然難以滿足數(shù)據(jù)存儲需求和分析處理數(shù)據(jù)的需要。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問題是現(xiàn)有的數(shù)據(jù)處理系統(tǒng)難以滿足大量的PM2. 5監(jiān)控點數(shù)據(jù)存儲需求和分析處理數(shù)據(jù)的需要。
[0004]本發(fā)明采用的技術(shù)方案是：云計算的PM2. 5監(jiān)測、存儲、處理的方法，包括云計算平臺和一個以上的PM2. 5監(jiān)測點；所述云計算平臺包括實時數(shù)據(jù)入庫單元、PM2. 5監(jiān)測平臺數(shù)據(jù)存儲中心以及管理單元；所述PM2. 5監(jiān)測點的輸出端均連接實時數(shù)據(jù)入庫單元的輸入端；所述實時數(shù)據(jù)入庫單元的輸出端連接PM2. 5監(jiān)測平臺數(shù)據(jù)存儲中心的輸入端，用于將所有PM2. 5監(jiān)測點產(chǎn)生的數(shù)據(jù)實時存到PM2. 5監(jiān)測平臺數(shù)據(jù)存儲中心；所述管理單元和PM2. 5監(jiān)測平臺數(shù)據(jù)存儲中心之間為交互式連接；所述監(jiān)測平臺數(shù)據(jù)存儲單元包括數(shù)據(jù)立方分布式文件子系統(tǒng)和關(guān)系型數(shù)據(jù)庫；關(guān)系型數(shù)據(jù)庫用于存放用戶等數(shù)據(jù)量比較小的表數(shù)據(jù)立方分布式文件子系統(tǒng)用于存儲海量的原始數(shù)據(jù)；所述索引采用數(shù)據(jù)立方存儲索引結(jié)構(gòu)，將任意不同的關(guān)鍵字字段分別建立索引。
[0005]通過采用數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫，來解決海量PM2. 5監(jiān)控點實時并發(fā)上傳的大量PM2. 5數(shù)據(jù)的處理與存儲，從而和宏觀上反映城市的整體的空氣質(zhì)量的監(jiān)測站點的監(jiān)測方式形成互補；在不停機的情況下，增加PM2. 5監(jiān)控點，平臺的處理能力自動增加；減少PM2. 5監(jiān)控點，平臺的處理能力自動縮減，實現(xiàn)了 PM2. 5監(jiān)控點與云計算平臺的無縫對接，云計算平臺根據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。
[0006]為進一步減少成本，采用X86架構(gòu)計算機構(gòu)建云計算平臺。用軟件容錯替代硬件容錯，可大大節(jié)省成本，在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本。
[0007]本發(fā)明的優(yōu)點是：實時性高、可靠性高、可伸縮性強、擴容性高、性價比高且全業(yè)務(wù)支持。
【專利附圖】

【附圖說明】
[0008]圖I是本發(fā)明結(jié)構(gòu)以意圖。
【具體實施方式】[0009]本發(fā)明包括云計算平臺和一個以上的PM2.5監(jiān)測點，云計算平臺采用X86架構(gòu)計算機構(gòu)建；
所述云計算平臺包括實時數(shù)據(jù)入庫單元、PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心以及管理單
元;
所述PM2.5監(jiān)測點的輸出端均連接實時數(shù)據(jù)入庫單元的輸入端；
所述實時數(shù)據(jù)入庫單元的輸出端連接PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心的輸入端，用于將所有PM2.5監(jiān)測點產(chǎn)生的數(shù)據(jù)實時存到PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心；
所述管理單元和PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心之間為交互式連接；
所述監(jiān)測平臺數(shù)據(jù)存儲單元包括數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫；
數(shù)據(jù)立方用于存儲原始數(shù)據(jù)；原始PM2.5數(shù)據(jù)，將全部存儲在PM2.5監(jiān)測平臺分布式文件系統(tǒng)，用于存儲海量的非結(jié)構(gòu)化數(shù)據(jù)。
[0010]關(guān)系型數(shù)據(jù)庫用于存放索引，所述索引采用數(shù)據(jù)立方存儲索引結(jié)構(gòu)，將任意不同的關(guān)鍵字字段分別建立索引，關(guān)系型數(shù)據(jù)庫提供包括實時監(jiān)控空氣質(zhì)量PM2.5，查看歷史記錄和分析數(shù)據(jù)等功能。
[0011]在實際使用中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過管理單元查詢并導(dǎo)出這部分數(shù)據(jù)以供使用。
[0012]采用數(shù)據(jù)立方的優(yōu)點是，保證系統(tǒng)既可以在成千上萬的機器上跑，也可以在很小規(guī)模上運行。
[0013]與其它分布式系統(tǒng)相比，使用數(shù)據(jù)立方的好處在于它的水平的可擴展性，用其它分布式框架所寫的程序在從十臺機器的級別到成百上千臺機器需要大量的重構(gòu)工作，這也許要程序重寫幾次，并且其它框的基礎(chǔ)元素會限制應(yīng)用的規(guī)模大小。但是數(shù)據(jù)立方有著線性的可擴展性，一個數(shù)據(jù)立方程序?qū)懲旰?，?0個結(jié)點上運行，如果遷徙到更大的集群上運行，幾乎不需要做什么工作，數(shù)據(jù)立方平臺會管理數(shù)據(jù)和硬件資源并提供與可用資源成比例的可靠性能。
[0014]分布式文件系統(tǒng)具備線性擴展功能，只需要將配置好的數(shù)據(jù)存儲節(jié)點加入到集群中，并且在集群空閑時執(zhí)行平衡工具以平衡集群中數(shù)據(jù)存儲節(jié)點的數(shù)據(jù)塊負載。
[0015]本發(fā)明在充分運用數(shù)據(jù)立方技術(shù)優(yōu)勢的基礎(chǔ)上，完全可以做到:
1.加監(jiān)測點只需要簡單的配置即可連接到PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心，統(tǒng)一規(guī)范標(biāo)準(zhǔn)，名稱體現(xiàn)PM2.5監(jiān)測平臺監(jiān)測點理位置、PM2.5監(jiān)測平臺監(jiān)測點編號等信息，便于快速檢索。
[0016]2.客戶需要隨時更加存儲設(shè)備和數(shù)據(jù)分析服務(wù)器只需要根據(jù)數(shù)據(jù)立方規(guī)范做簡單修改配置即可。例如如果后續(xù)根據(jù)PM2.5監(jiān)測平臺的存儲數(shù)據(jù)量量增加的情況下可以動態(tài)的添加存儲節(jié)點。查詢速度變慢只需要動態(tài)的添加少量處理節(jié)點。最大程度的節(jié)省客戶成本。
[0017]3.與原有系統(tǒng)數(shù)據(jù)對接支持各個版本的數(shù)據(jù)庫對接接入Oracle , SQLServer,Mysql均可。
[0018]本發(fā)明具備特點:
實時性:平臺在高效率并行分布式軟件的支撐下，可以實時完成PM2.5監(jiān)測平臺數(shù)據(jù)入庫、分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計算和數(shù)據(jù)管理等。海量數(shù)據(jù)入庫不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性。
[0019]高可靠性：基于對云計算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括查詢?nèi)蝿?wù)分配節(jié)點、計算任務(wù)分配節(jié)點、分布式文件系統(tǒng)元數(shù)據(jù)節(jié)點、分布式文件系統(tǒng)數(shù)據(jù)存儲節(jié)點、分布式作業(yè)系統(tǒng)等。
[0020]可伸縮性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與云計算平臺的無縫對接，根據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。
[0021]高擴容性：PM2. 5監(jiān)測平臺監(jiān)測前端設(shè)備可以根據(jù)需求進行增加設(shè)備，擴展整個系統(tǒng)的覆蓋面積，但不需要繼續(xù)復(fù)雜的操作，可以動態(tài)的增加PM2. 5監(jiān)測平臺測試的節(jié)點，接入到該系統(tǒng)，并能自動組網(wǎng)，具有很強的擴容性。
[0022]高性價比：采用X86架構(gòu)廉價計算機構(gòu)建云計算平臺，用軟件容錯替代硬件容錯，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本。
[0023]全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫模式，絕大部分PM2. 5海量數(shù)據(jù)存放于分布式平臺并進行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫中，可支撐各種類型的業(yè)務(wù)。
【權(quán)利要求】
1.云計算的PM2.5監(jiān)測、存儲、處理的方法，其特征是，包括云計算平臺和一個以上的PM2.5監(jiān)測點；所述云計算平臺包括實時數(shù)據(jù)入庫單元、PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心以及管理單元； 所述PM2.5監(jiān)測點的輸出端均連接實時數(shù)據(jù)入庫單元的輸入端； 所述實時數(shù)據(jù)入庫單元的輸出端連接PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心的輸入端，用于將所有PM2.5監(jiān)測點產(chǎn)生的數(shù)據(jù)實時存到PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心； 所述管理單元和PM2.5監(jiān)測平臺數(shù)據(jù)存儲中心之間為交互式連接； 所述監(jiān)測平臺數(shù)據(jù)存儲單元包括數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫； 數(shù)據(jù)立方用于存儲海量的原始數(shù)據(jù)； 傳統(tǒng)關(guān)系型數(shù)據(jù)庫用于存放用戶管理等數(shù)據(jù)量比較小的表；數(shù)據(jù)立方存儲數(shù)據(jù)量比較大的表，在原始數(shù)據(jù)入庫的同時，將任意不同的關(guān)鍵字字段分別建立索引，可以達到傳統(tǒng)數(shù)據(jù)庫上百倍的查詢速度。
2.根據(jù)權(quán)利要求1所述的云計算的PM2.5監(jiān)測、存儲、處理的方法，其特征是，采用X86架構(gòu)計算機構(gòu)建云計算平臺。
【文檔編號】G06F17/30GK103488792SQ201310467825
【公開日】2014年1月1日 申請日期:2013年10月10日 優(yōu)先權(quán)日:2013年10月10日
【發(fā)明者】張真, 趙洪濤, 吳修文, 宋文艷, 張乃甜 申請人:南京云創(chuàng)存儲科技有限公司