專利名稱：基于私有云存儲的海洋實時數據同步系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種數據存儲系統(tǒng)，特別是一種基于私有云存儲的計算機文件利用網絡存儲技術實現的數據同步方法。
背景技術：
隨著數據流模型的實例化研究平臺“數字海洋”輔助決策系統(tǒng)的建設和完善，當前科研人員和業(yè)務化使用人員對輔助決策系統(tǒng)的需求不僅僅是將海洋數據“數字化”存儲， 這在“數字海洋”建設第一階段已經完成，在“數字海洋”輔助決策系統(tǒng)的研發(fā)和業(yè)務化使用過程中，科研人員和業(yè)務使用者提出了一些新的問題，比如如何對海量數據動態(tài)分配存儲空間以保證其存儲系統(tǒng)的負載均衡性和可靠性，并可以更加節(jié)約人力和財力資源，因為在實際工作中，服務器集群和冷卻所消耗的電量極大，而且海洋實時監(jiān)測數據源源不斷的從采集觀測站發(fā)送到各自所屬的海洋站中做存儲，海洋站將實時數據存儲并傳輸到所屬海洋中心站，各海洋中心站最終將實時數據存儲后發(fā)送至海區(qū)中心站做存儲和數據挖掘。實際工作中，海區(qū)中心站服務器將每一條數據的不同屬性提取出來，將具體的屬性值存儲到有著不同業(yè)務需求的專題數據庫中，而不是整條存儲數據。由于海洋數據具有海量、多源、 異構的特點，當實時數據不間斷的傳輸至海區(qū)中心站時，接收數據的服務器將會出現計算入庫延遲甚至由于不停計算存儲空間產生了操作系統(tǒng)死鎖最終導致死機，嚴重影響了海洋中心站的業(yè)務進度。比如在實際工作中，海洋臺站以頻率為每10分鐘發(fā)送一條大小為1MB 的監(jiān)測數據到海洋中心站，假設國家海洋局某海區(qū)中心站同時接收15個海洋中心站(每個海洋中心站由15個臺站組成)發(fā)送的實時監(jiān)測數據，而且當服務器集群在分配存儲空間的同時，一些服務器仍需面對負載比較重的請求比如進行計算密集的查詢、數據庫訪問等； 而大部分服務器僅僅負載比較輕的請求比如只需要讀一個HTML頁面或者進行很簡單的計算，該服務器集群的負載不均衡性將會導致個別服務器死機甚至造成整個數字海洋系統(tǒng)的工作效率降低。然而以上假設也僅僅考慮了每個臺站僅發(fā)送的一條數據所耗費的資源量， 事實上海洋臺站采集各種海洋數據并將這些數據分成若干條發(fā)送至海洋中心站進行存儲， 海區(qū)服務器集群的負載壓力可想而知。所以符合實際需求的海洋數據的存儲動態(tài)負載均衡存儲問題急需解決。私有存儲云只對受限的用戶提供相應的存儲服務，使用存儲服務的用戶不需要了解“云”組成的具體細節(jié)，只要知道相應的接口，并提供相應的策略，剩下的工作交由“云” 來完成，這朵“云”就提供存儲空間，并且其中的數據可以做到隨時訪問，就像訪問本地的存儲一樣。作為云端則在不影響用戶的情況下，提供了很多的附加功能，使得云成為高效、可靠、安全的存儲池。就較低的整體存儲成本而言，使用云存儲技術的好處對非結構化數據來說是顯而易見的。云存儲技術是以服務為基礎，無需購買、管理和維護存儲硬件設備，私有云存儲具有的特點是1.統(tǒng)一管理；2.易于實現集中備份及容災；3.易于擴展、升級方便； 4.節(jié)約成本，綠色節(jié)能。隨著海洋數據傳輸專線的不斷升級和網絡電腦性能的不斷提高，海洋數據傳輸網絡已經具備了構建私有云存儲海洋數據的條件，構建基于數字海洋數據傳輸專線的私有云存儲的優(yōu)勢包括1.提高靈活性，包括顯著縮短內部傳輸響應時間；2.通過提高資源利用率來實現更高的效率，包括大幅節(jié)約能源；3.充分利用網絡內部空閑的硬件和軟件，在提升可用性的同時，最大程度地控制成本增加；4.利用全新的數據同步入庫系統(tǒng)來優(yōu)化改進數據管理機制，私有云存儲技術通過消除傳統(tǒng)數據存儲預期的增長容量和負載而配置的大量存儲空間，以達到數據空間接近100%的利用率。除了以上提到的四個優(yōu)勢外，私有云存儲還具有可擴展性、透明的支持基礎能力和解決高峰負荷能力強等特點。

發(fā)明內容
本發(fā)明是利用海洋數據傳輸專線網絡，構建一個海洋傳輸的私有云存儲系統(tǒng)，私有云存儲不僅是在通過統(tǒng)一數據接口進行傳輸和存儲實時數據功能中發(fā)揮了作用，更重要的是該存儲系統(tǒng)將會優(yōu)化現有的實時數據多數據庫存儲機制，可以實現當實時數據傳輸到海區(qū)中心站時，利用私有云存儲系統(tǒng)對每條新數據的屬性進行存儲并分析，根據目標專題數據庫不同的業(yè)務需求，自動智能的提取相關屬性值分別入庫存儲。


圖1為本發(fā)明所揭示的私有云存儲的多數據庫同步系統(tǒng)的框架圖。圖2為本發(fā)明所揭示的私有云存儲系統(tǒng)工作流程圖。
具體實施例方式如圖1，基于私有云存儲的多數據庫同步更新系統(tǒng)的工作原理是利用數據傳輸專線網絡構建私有云存儲系統(tǒng)，當海洋臺站采集到新的實時海洋監(jiān)測數據時，數據通過統(tǒng)一的數據流接收端口存儲到私有云端，數據流接口的設計思想是利用編程技術設計一套軟件接口，目的是規(guī)避不同海洋數據采集硬件之間無法傳輸到私有云端并且經過私有云存儲優(yōu)化后無法將各屬性值同步到各個數據庫中的缺陷。當實時數據存儲到私有云端后，實時數據將會被存儲在私有云存儲裝置，元數據分析模塊將會對實時數據按照屬性進行分析，并與Agent對目標專題數據庫的屬性需求的返回值進行匹配，提取屬性值后通過數據流發(fā)送接口同步至各個目標專題數據庫。之后過期實時數據將會被系統(tǒng)定期的轉存至永久性存儲裝置，用以釋放私有云的彈性存儲空間，優(yōu)化其工作效率。如圖2，該私有云模塊由四部分組成1.數據映射接口、2.存儲設備、3.元數據分析模塊4.代理層(Agent)，而彈性私有云存儲中的實現是依托一些真正在運行中的虛擬機服務器分配給用戶的虛擬機，該用戶具有全部的訪問權限，包括對此虛擬機的管理員權限。由于用戶在部署網絡程序的時候，大多數情況會通過多個實例的協(xié)同工作來實現一個運行效果。彈性私有云存儲系統(tǒng)通過內部的IP地址實現了內部結構中實例間的傳輸與交互網絡，使用戶的運行的應用程序在不同的實例之間可以相互調用和處理通信資源， 大大的提高了工作效率。為了將海洋實時監(jiān)測數據利用云存儲實現負載均衡分配存儲空間，以及實時解析數據流中個屬性值存儲至各個海洋專題數據庫中的目的，本發(fā)明設計了一個完善的私有云存儲系統(tǒng)的工作流程。各個部分的工作機制以及通信機制如下闡述(1)數據映射接口
該接口是圍繞如何解決海洋實時監(jiān)測數據流進行數據映射，并在映射存儲到對應的專題數據庫。該接口的設計思想是利用編程技術設計一套軟件接口，目的是規(guī)避不同海洋數據采集硬件之間無法傳輸到私有云端并且經過私有云存儲優(yōu)化后無法將各屬性值同步到專題數據庫中的缺陷。(2)存儲設備存儲設備層是云存儲最基礎的部分，存儲設備是在組成私有云的所有工作的計算機。其中私有云存儲內部的存儲設備通過海洋數據傳輸專線網絡連接在一起。當臺站采集新的實時數據后，臺站的浮標、傳感器等硬件設備將利用數據映射接口將數據通過數據傳輸專線傳送至私有云端，私有云端首先接收實時數據存儲在緩存中，然后根據當前各個私有云存儲系統(tǒng)內的虛擬服務器的實時存儲狀態(tài)和當前的計算負載狀態(tài)等評定指標綜合計算并分配存儲空間，以實現彈性存儲的目的，并在存儲層中對實時數據進行存儲。該存儲設備層的另一個設計目的是實現存儲設備的邏輯虛擬化管理、硬件設備的狀態(tài)監(jiān)控等功能。這與現有的私有云管理層相比，增加了更多的監(jiān)控內容以保證私有云內工作計算機的負荷穩(wěn)定性，實現了動態(tài)負載均衡分配存儲機制。管理層通過集群、分布式文件系統(tǒng)等技術，實現云存儲中多個存儲設備之間的協(xié)同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。(3)數據分析模塊在利用私有云端對實時數據進行存儲后，系統(tǒng)將使用元數據分析技術對實時數據的屬性進行分析歸類，系統(tǒng)將自頂向下的將實時數據頂層屬性開始進行分析，最終通過統(tǒng)一的XML格式傳遞給代理層(Agent)。(4)代理層(Agent)在代理層，系統(tǒng)智能的對各數據庫的業(yè)務需求進行分析并獲取目標專題數據庫的需求業(yè)務屬性，并反饋給存儲設備，存儲設備將會根據具體各個數據庫的業(yè)務需求來提取每一條實時數據的不同屬性值，如果沒有找到對應屬性值，系統(tǒng)則默認回溯到原數據分析模塊繼續(xù)查找。最終通過數據映射接口同步至各個數據庫，真正實現了實時數據的同步。綜上所述，本發(fā)明是基于私有云存儲技術解決實時數據的同步存儲問題，由于海洋監(jiān)測數據特殊的實時性、海量性和異構性，使用傳統(tǒng)方法對實時數據的各條屬性分別提取后存儲到分布式數據庫中時，往往會造成實時數據屬性值的缺損，用戶使用這些缺失數據將會對工作造成極大的困難，傳統(tǒng)的海洋監(jiān)測數據同步方法無法的解決這個難題。針對這個缺陷，本發(fā)明提出了一種全新的基于私有云存儲的多數據庫同步更新方法，利用數據傳輸專線網絡和網絡內的計算機構建私有云存儲，利用私有云存儲和管理技術對海洋實時數據庫進行存儲，并根據目標專題數據庫不同的業(yè)務需求，設計Agent與元數據分析模塊進行智能匹配提取屬性值，最終通過數據映射接口將每一條實時數據的屬性值同步到目標專題數據庫中。以上所述僅為舉例性，而非為限制性。本說明書內容不應理解為對本發(fā)明的限制， 任何未脫離本發(fā)明的精神與范疇，均應包含于申請范圍之內
權利要求
1.基于私有云存儲的多數據庫同步系統(tǒng)的設計，其特征在于，應該包括有一套完整閉合的數據傳輸網絡，用來進行高速、保密的傳輸實時數據；一套數據流接收、發(fā)送接口，用來統(tǒng)一接收臺站傳輸的實時數據存儲到私有云存儲裝置中，并且將最終結果同步到目標專題數據庫中；一套私有云存儲裝置，該裝置通過數據流接收接口與分布式的臺站相連，負責存儲由臺站傳輸的實時數據，并對數據進行分析，根據各個目標專題數據庫的需求提取其對應屬性進行分發(fā)同步存儲；一套永久性存儲裝置，其目的是存儲過期的海洋監(jiān)測數據，以釋放私有云的彈性存儲空間。
2.根據權利要求1所述的數據傳輸網絡，其特征在于該網絡擁有高帶寬，網絡內部擁有至少三臺以上的M小時不停止工作的計算機。
3.根據權利要求1所述的數據流接收、發(fā)送接口，其特征在于負責將各個臺站的實時數據傳輸至私有云存儲裝置中，并將提取的屬性值同步至目標專題數據庫中存儲。
4.根據權利要求1所述的私有云存儲裝置，其特征在于構建了私有云進行存儲實時數據，同時根據目標專題數據庫的不同需求，分析并提取相應的數據屬性值同步至目標專題數據庫進行存儲。
5.根據權利要求1所述的永久性存儲裝置，其特征在于使用相對廉價的大容量磁盤陣列存儲過期的海洋監(jiān)測數據。
全文摘要
本發(fā)明提供一套基于私有云存儲的海洋實時數據同步存儲系統(tǒng)，以彌補目前實時數據同步存儲系統(tǒng)由于各個專題數據庫的庫表結構以及對屬性的提取方式不同等原因造成實時數據接收后的處理延遲甚至內存溢出等缺陷。本發(fā)明尤其是在提出了利用私有云存儲對海洋數據進行分析后提取屬性信息并同步保存于多數據庫的方面做出了貢獻。它至少包括以下部分一套完整閉合的數據傳輸網絡，一套數據流接收、發(fā)送接口，一套私有云存儲裝置，一套永久性存儲裝置以及一套正常工作的分布式數據庫系統(tǒng)。本發(fā)明適合針對海量的實時數據提取其中的各個屬性值并同步存儲至多個目標專題數據庫的應用。
文檔編號H04L29/08GK102404406SQ20111039424
公開日2012年4月4日 申請日期2011年12月2日 優(yōu)先權日2011年12月2日
發(fā)明者張弛, 張明華, 黃冬梅 申請人:上海海洋大學