專利名稱：一種基于數據召測的數據同步與分析系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種實時數據處理方法，具體來說涉及一種基于數據召測的數據同步與分析系統(tǒng)。
背景技術：
隨著計算機技術的快速發(fā)展，越來越多的企業(yè)和政府部門逐漸加大了信息化系統(tǒng)的建設力度。但是為了避免重復建設和數據冗余，新建設的信息化系統(tǒng)需要和原有的其它信息化系統(tǒng)進行數據同步。這里說的數據同步不是一次性的數據導入和導出，而是按照特定的業(yè)務需求，某些數據需要每小時同步一次，某些數據需要每天同步一次，某些數據需要每月同步一次。此外，數據同步還必須考慮到跨數據庫(如Oracle、Sybase、DB2等)跨網絡。比較常用的數據同步方法就是定時抽取、主動上送。實現(xiàn)過程如下有兩個信息化系統(tǒng)SI和S2 (下同)，其中SI需要按照一定的業(yè)務需求向S2傳送數據。那么在SI的接口機上部署一套數據抽取程序(含壓縮程序)，主要負責數據抽取和壓縮，在S2的接口上部署一套數據入庫程序(含解壓程序)，主要負責數據解壓和入庫。SI的接口機和S2的接口機通過FTP進行壓縮文件的傳輸。這種定時抽取、主動上送的數據同步方法存在以下兩個方面的問題
數據實時性差且難以監(jiān)控
系統(tǒng)SI存儲的原始數據可能是硬件采集器采集的，也有可能是系統(tǒng)自身生成的，又或者是觸發(fā)存儲過程或定時調度存儲過程生成的。不論哪一種情況，數據生成或插入時間的不確定性就決定了定時抽取需要延遲數個小時才能確保抽取到數據。這樣就會出現(xiàn)系統(tǒng)SI 有數據，而系統(tǒng)S2沒有數據展示的數據實時性差的問題。此外，從SI的接口機進行數據抽取和壓縮，再通過FTP到S2的接口機進行數據解壓和入庫，如果中間哪一個環(huán)節(jié)出了問題， 系統(tǒng)S2也會沒有數據?！ぞS護工作量大且工作效率低
對于系統(tǒng)Si的數據抽取程序，需要有專人進行維護。特別地，如果系統(tǒng)有數據補錄或數據修復，很難及時地進行數據重抽，因為數據補錄是指定的責任人，而數據修復是其它的責任人等。另一方面，系統(tǒng)S2發(fā)現(xiàn)了數據異常或數據缺失，需要聯(lián)系SI的責任人進行處理， 但很多情形下系統(tǒng)SI中的數據已經進行了修復。這樣來來往往不僅維護工作量大，而且工作效率也非常低。

發(fā)明內容
本發(fā)明的目的在于提供一種基于數據召測的數據同步與分析系統(tǒng)，本系統(tǒng)通過細化技術特性和業(yè)務需求，以數據召測的形式進行數據同步，在提高數據響應時間的同時，在較大程度上減少了維護工程量，提高了數據同步的效率。本發(fā)明的目的可通過以下的技術措施來實現(xiàn)一種基于數據召測的數據同步與分析系統(tǒng)，包括數據源同步子系統(tǒng)、同步輔助子系統(tǒng)和數據分析子系統(tǒng)；所述數據源同步子系統(tǒng)按照數據交互協(xié)議與同步輔助子系統(tǒng)進行數據交互，所述數據分析子系統(tǒng)對同步輔助子系統(tǒng)獲取的數據進行分析和綜合展現(xiàn)；
所述數據源同步子系統(tǒng)包含召測服務器、文件壓縮器和FTP服務器；所述同步輔助子系統(tǒng)包括召測客戶端、FTP客戶端、文件解壓器、文件入庫器；
所述召測服務器負責偵聽來自召測客戶端的數據召測請求，對于小數據量的召測請求，則直接實時返回召測結果；對于大數據量的召測請求，則生成相應的文本文件，然后通過文件壓縮器生成壓縮文件后以FTP方式上傳至FTP服務器；
所述召測客戶端根據實際需求或者數據分析子系統(tǒng)的配置向召測服務器發(fā)送召測請求；對于實時返回的召測結果，由召測客戶端進行數據入庫；對于召測服務器上傳到FTP服務器上的壓縮文件，由所述FTP客戶端進行實時掃描和獲取，然后由文件解壓器進行解壓， 最后由文件入庫器進行數據入庫。所示數據分析子系統(tǒng)對數據進行分析和綜合展現(xiàn)，且，如果數據缺失或者異常，則所述數據分析子系統(tǒng)對缺失或異常的數據進行召測。所述實時返回的招測結果和壓縮文件均按照數據交互協(xié)議進行封裝。所示數據交互協(xié)議是指兩個或者多個信息系統(tǒng)之間信息交互過程、交互內容及交互格式。本發(fā)明對比現(xiàn)有技術，有如下優(yōu)點本方法實現(xiàn)電網企業(yè)海量實時數據在平臺內部的移動，能夠明確數據的分布、移動、應用方式，支撐實時數據的集中管控，提升企業(yè)范圍內數據的價值。


圖I是本發(fā)明的數據同步與分析系統(tǒng)的結構圖。
具體實施例方式本發(fā)明提供一種基于數據召測的數據同步與分析系統(tǒng)，包括數據源同步子系統(tǒng)、 同步輔助子系統(tǒng)和數據分析子系統(tǒng)；數據源同步子系統(tǒng)按照數據交互協(xié)議與同步輔助子系統(tǒng)進行數據交互，數據分析子系統(tǒng)對同步輔助子系統(tǒng)獲取的數據進行分析和綜合展現(xiàn)；
數據源同步子系統(tǒng)包含召測服務器、文件壓縮器和FTP服務器；同步輔助子系統(tǒng)包括召測客戶端、FTP客戶端、文件解壓器、文件入庫器；
召測服務器負責偵聽來自召測客戶端的數據召測請求，對于小數據量的召測請求，則直接實時返回召測結果；對于大數據量的召測請求，則生成相應的文本文件，然后通過文件壓縮器生成壓縮文件后以FTP方式上傳至FTP服務器；
召測客戶端根據實際需求或者數據分析子系統(tǒng)的配置向召測服務器發(fā)送召測請求；對于實時返回的召測結果，由召測客戶端進行數據入庫；對于召測服務器上傳到FTP服務器上的壓縮文件，由FTP客戶端進行實時掃描和獲取，然后由文件解壓器進行解壓，最后由文件入庫器進行數據入庫。數據分析子系統(tǒng)主要對數據進行分析和綜合展現(xiàn)，且，如果數據缺失或者異常，則數據分析子系統(tǒng)對缺失或異常的數據進行召測，再對召測回來的數據進行分析。
實時返回的招測結果和壓縮文件均按照數據交互協(xié)議進行封裝。數據交互協(xié)議是指兩個或者多個信息系統(tǒng)之間信息交互過程、交互內容及交互格式。交互過程是指數據同步如何進行，交互內容是指哪些業(yè)務數據需要交互，交互格式是指交互數據的格式。本方法具體實施過程如下
首先制定了數據交互協(xié)議，即以XML格式進行數據傳輸，傳輸的內容及頻率依具體業(yè)務需求而定。如進行終端在線率的數據傳輸，約定該接口的標識為DIXX_YYY，那么傳輸的內容如下表I所示
權利要求
1.一種基于數據召測的數據同步與分析系統(tǒng)，其特征在于包括數據源同步子系統(tǒng)、 同步輔助子系統(tǒng)和數據分析子系統(tǒng)；所述數據源同步子系統(tǒng)按照數據交互協(xié)議與同步輔助子系統(tǒng)進行數據交互，所述數據分析子系統(tǒng)對同步輔助子系統(tǒng)獲取的數據進行分析和綜合展現(xiàn)；所述數據源同步子系統(tǒng)包含召測服務器、文件壓縮器和FTP服務器；所述同步輔助子系統(tǒng)包括召測客戶端、FTP客戶端、文件解壓器、文件入庫器；所述召測服務器負責偵聽來自召測客戶端的數據召測請求，對于小數據量的召測請求，則直接實時返回召測結果；對于大數據量的召測請求，則生成相應的文本文件，然后通過文件壓縮器生成壓縮文件后以FTP方式上傳至FTP服務器；所述召測客戶端根據實際需求或者數據分析子系統(tǒng)的配置向召測服務器發(fā)送召測請求；對于實時返回的召測結果，由召測客戶端進行數據入庫；對于召測服務器上傳到FTP服務器上的壓縮文件，由所述FTP客戶端進行實時掃描和獲取，然后由文件解壓器進行解壓， 最后由文件入庫器進行數據入庫。
2.根據權利要求I所述的基于數據召測的數據同步與分析系統(tǒng)，其特征在于所示數據分析子系統(tǒng)對數據進行分析和綜合展現(xiàn)，且，如果數據缺失或者異常，則所述數據分析子系統(tǒng)對缺失或異常的數據進行召測。
3.根據權利要求2所述的基于數據召測的數據同步與分析系統(tǒng)，其特征在于所述實時返回的招測結果和壓縮文件均按照數據交互協(xié)議進行封裝。
4.根據權利要求3所述的基于數據召測的數據同步與分析系統(tǒng)，其特征在于所示數據交互協(xié)議是指兩個或者多個信息系統(tǒng)之間信息交互過程、交互內容及交互格式。
全文摘要
本發(fā)明公開了一種基于數據召測的數據同步與分析系統(tǒng)，包括數據源同步子系統(tǒng)、同步輔助子系統(tǒng)和數據分析子系統(tǒng)；所述數據源同步子系統(tǒng)按照數據交互協(xié)議與同步輔助子系統(tǒng)進行數據交互，所述數據分析子系統(tǒng)對同步輔助子系統(tǒng)獲取的數據進行分析和綜合展現(xiàn)。本系統(tǒng)通過細化技術特性和業(yè)務需求，以數據召測的形式進行數據同步，在提高數據響應時間的同時，在較大程度上減少了維護工程量，提高了數據同步的效率。
文檔編號G06F17/30GK102594889SQ20121003542
公開日2012年7月18日 申請日期2012年2月17日 優(yōu)先權日2012年2月17日
發(fā)明者黨三磊, 劉明, 危阜勝, 李健, 楊勁鋒, 王祖祥, 肖勇, 闕華坤, 陳啟冠 申請人:廣東電網公司電力科學研究院