一種重復(fù)數(shù)據(jù)自動提取方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種重復(fù)數(shù)據(jù)自動提取方法及系統(tǒng)，系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件；系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝；系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲；系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。本發(fā)明能夠?qū)崿F(xiàn)對多個系統(tǒng)間重復(fù)數(shù)據(jù)的提取，用于發(fā)現(xiàn)系統(tǒng)信息間數(shù)據(jù)重復(fù)的問題，同時可以基于此進行分析、發(fā)現(xiàn)數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)工作重復(fù)問題等。
【專利說明】一種重復(fù)數(shù)據(jù)自動提取方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種重復(fù)數(shù)據(jù)自動提取方法及系統(tǒng)。

【背景技術(shù)】
[0002]公司信息化建設(shè)的逐步深入，一線班組的業(yè)務(wù)越來越依托于信息應(yīng)用系統(tǒng)的支撐，但是也出現(xiàn)了一些新的情況，隨著各業(yè)務(wù)部門需求增大，作為電力基層的班組工作越來越突顯出系統(tǒng)化工作內(nèi)容繁雜，各系統(tǒng)由于業(yè)務(wù)原因、建設(shè)規(guī)劃或數(shù)據(jù)顆粒度不一致等原因，造成工作的重復(fù)，數(shù)據(jù)的重復(fù)錄入的問題。
[0003]傳統(tǒng)的業(yè)務(wù)梳理，調(diào)研工作采用訪談，系統(tǒng)數(shù)據(jù)收集采用以列表形式記錄，通過人工的對比，找出系統(tǒng)間數(shù)據(jù)的重疊部分，由于大量的數(shù)據(jù)需要人工來做，效率低下，且精確度不高。


【發(fā)明內(nèi)容】

[0004]為解決現(xiàn)有技術(shù)存在的不足，為解決傳統(tǒng)業(yè)務(wù)梳理和數(shù)據(jù)整理分析的效率低下問題，研究系統(tǒng)網(wǎng)頁數(shù)據(jù)動態(tài)提取的方法，本發(fā)明公開了一種重復(fù)數(shù)據(jù)自動提取方法及系統(tǒng)，實現(xiàn)對多個系統(tǒng)間重復(fù)數(shù)據(jù)的提取，用于發(fā)現(xiàn)系統(tǒng)信息間數(shù)據(jù)重復(fù)的問題，同時可以基于此進行分析、發(fā)現(xiàn)數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)工作重復(fù)問題等。
[0005]為實現(xiàn)上述目的，本發(fā)明的具體方案如下:
[0006]一種重復(fù)數(shù)據(jù)自動提取方法，包括以下步驟:
[0007]步驟一:系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件；
[0008]步驟二:系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝；
[0009]步驟三:系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲；
[0010]步驟四:系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。
[0011 ] 所述系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器獲取各個應(yīng)用服務(wù)器xml格式的網(wǎng)頁頁面。
[0012]所述系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出需要的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型中。
[0013]所述數(shù)據(jù)庫技術(shù)為數(shù)據(jù)庫觸發(fā)器或定時任務(wù)。
[0014]一種重復(fù)數(shù)據(jù)自動提取系統(tǒng)，包括:
[0015]請求處理模塊，用于系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件；
[0016]解析封裝模塊，用于系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝；
[0017]數(shù)據(jù)存儲模塊，用于系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲；
[0018]數(shù)據(jù)去重模塊，用于系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。
[0019]所述請求處理模塊，系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器獲取各個應(yīng)用服務(wù)器xml格式的網(wǎng)頁頁面。
[0020]所述數(shù)據(jù)存儲模塊，系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出需要的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型中。
[0021]所述數(shù)據(jù)去重模塊，數(shù)據(jù)庫技術(shù)為數(shù)據(jù)庫觸發(fā)器或定時任務(wù)。
[0022]系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器請求獲取各大系統(tǒng)網(wǎng)頁頁面(xml格式的)，系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出有用的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型(存入數(shù)據(jù)庫)。系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)數(shù)據(jù)進行分析去重。
[0023]本發(fā)明的有益效果:
[0024]本發(fā)明能夠?qū)崿F(xiàn)對多個系統(tǒng)間重復(fù)數(shù)據(jù)的提取，用于發(fā)現(xiàn)系統(tǒng)信息間數(shù)據(jù)重復(fù)的問題，同時可以基于此進行分析、發(fā)現(xiàn)數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)工作重復(fù)問題等。

【專利附圖】

【附圖說明】
[0025]圖1本發(fā)明的硬件架構(gòu)示意圖；
[0026]圖2本發(fā)明的流程示意圖。

【具體實施方式】
:
[0027]下面結(jié)合附圖對本發(fā)明進行詳細說明:
[0028]如圖1-2所示，一種重復(fù)數(shù)據(jù)自動提取方法，包括以下步驟:
[0029]步驟一:系統(tǒng)服務(wù)器通過Http協(xié)議向各大應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件；
[0030]步驟二:系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器后臺程序根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，后臺程序利用jdom(java開源解析xml文件框架)技術(shù)對xml格式的文件進行解析封裝。
[0031]步驟三:系統(tǒng)服務(wù)器程序?qū)母鞔髴?yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行進行存儲。
[0032]步驟四:系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)(數(shù)據(jù)庫觸發(fā)器或定時任務(wù))對重復(fù)的數(shù)據(jù)進行去重。
[0033]一種重復(fù)數(shù)據(jù)自動提取系統(tǒng)，包括:
[0034]請求處理模塊，用于系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件；
[0035]解析封裝模塊，用于系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝；
[0036]數(shù)據(jù)存儲模塊，用于系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲；
[0037]數(shù)據(jù)去重模塊，用于系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。
[0038]系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器請求獲取各大系統(tǒng)網(wǎng)頁頁面(xml格式的)，系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出有用的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型(存入數(shù)據(jù)庫)。系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)數(shù)據(jù)進行分析去重。
【權(quán)利要求】
1.一種重復(fù)數(shù)據(jù)自動提取方法，其特征是，包括以下步驟: 步驟一:系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件； 步驟二:系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝； 步驟三:系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲； 步驟四:系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。
2.如權(quán)利要求1所述的一種重復(fù)數(shù)據(jù)自動提取方法，其特征是，所述系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器獲取各個應(yīng)用服務(wù)器xml格式的網(wǎng)頁頁面。
3.如權(quán)利要求1所述的一種重復(fù)數(shù)據(jù)自動提取方法，其特征是，所述系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出需要的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型中。
4.如權(quán)利要求1所述的一種重復(fù)數(shù)據(jù)自動提取方法，其特征是，所述數(shù)據(jù)庫技術(shù)為數(shù)據(jù)庫觸發(fā)器或定時任務(wù)。
5.如權(quán)利要求1所述的一種重復(fù)數(shù)據(jù)自動提取方法的系統(tǒng)，其特征是，包括: 請求處理模塊，用于系統(tǒng)服務(wù)器通過Http協(xié)議向多個應(yīng)用服務(wù)器發(fā)送Http服務(wù)請求，應(yīng)用服務(wù)器接收到請求報文后進行邏輯處理，返回xml格式的系統(tǒng)網(wǎng)頁源文件； 解析封裝模塊，用于系統(tǒng)服務(wù)器從源文件中取出包含數(shù)據(jù)的xml格式的數(shù)據(jù)包，系統(tǒng)服務(wù)器根據(jù)業(yè)務(wù)需求截取出有用的xml格式的源碼文件，系統(tǒng)服務(wù)器對xml格式的文件進行解析封裝； 數(shù)據(jù)存儲模塊，用于系統(tǒng)服務(wù)器將從各個應(yīng)用服務(wù)器解析出來的數(shù)據(jù)，根據(jù)已設(shè)計好的數(shù)據(jù)結(jié)構(gòu)進行存儲； 數(shù)據(jù)去重模塊，用于系統(tǒng)服務(wù)器利用數(shù)據(jù)庫技術(shù)對重復(fù)的數(shù)據(jù)進行去重。
6.如權(quán)利要求5所述的一種重復(fù)數(shù)據(jù)自動提取方法的系統(tǒng)，其特征是，所述請求處理模塊，系統(tǒng)服務(wù)器需要利用Http協(xié)議，通過java發(fā)送Http協(xié)議請求報文頭模擬瀏覽器獲取各個應(yīng)用服務(wù)器xml格式的網(wǎng)頁頁面。
7.如權(quán)利要求5所述的一種重復(fù)數(shù)據(jù)自動提取方法的系統(tǒng)，其特征是，所述數(shù)據(jù)存儲模塊，系統(tǒng)服務(wù)器將得到的xml格式的頁面信息通過xml解析技術(shù)，整理出需要的數(shù)據(jù)并將數(shù)據(jù)存入已經(jīng)定義好的數(shù)據(jù)模型中。
8.如權(quán)利要求5所述的一種重復(fù)數(shù)據(jù)自動提取方法的系統(tǒng)，其特征是，所述數(shù)據(jù)去重模塊，數(shù)據(jù)庫技術(shù)為數(shù)據(jù)庫觸發(fā)器或定時任務(wù)。
【文檔編號】G06F17/30GK104361079SQ201410639460
【公開日】2015年2月18日 申請日期:2014年11月13日 優(yōu)先權(quán)日:2014年11月13日
【發(fā)明者】杜軍, 李紅梅, 張學俊, 宋士峰, 李冬, 常英賢, 石鑫磊, 戚魯鳳, 孫海濤 申請人:國網(wǎng)山東省電力公司, 國網(wǎng)山東省電力公司電力科學研究院, 山東魯能軟件技術(shù)有限公司