專利名稱:一種密集型數(shù)據(jù)通用處理方法
技術(shù)領(lǐng)域:
本發(fā)明屬于信息處理anformation Processing)技術(shù)領(lǐng)域,是一種符合以文檔形式表示的密集型數(shù)據(jù)的持續(xù)性、短間隔和小規(guī)模的數(shù)據(jù)采集、處理和可視化方法。>
背景技術(shù):
信息處理的推出是為了滿足日益增長的數(shù)據(jù)處理和加工市場。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,越來越多的應(yīng)用通過網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程數(shù)據(jù)傳輸、存儲和處理?;ヂ?lián)網(wǎng)積累了海量的原始數(shù)據(jù),這些數(shù)據(jù)只有經(jīng)過加工處理后才能進(jìn)行信息共享和數(shù)據(jù)下載。一般信息處理系統(tǒng)采用BS (Browser/Server,瀏覽器/服務(wù)器)或CS結(jié)構(gòu) (Client/Server,客戶機(jī)/服務(wù)器),將不同來源的數(shù)據(jù),通過網(wǎng)絡(luò)傳輸手段匯總到服務(wù)器端。服務(wù)器通過不同信息處理算法提取原始數(shù)據(jù),進(jìn)行加工,形成可供信息共享和集成下載的數(shù)據(jù)(如圖1所示)。本專利面向密集型數(shù)據(jù)進(jìn)行信息加工處理,即實現(xiàn)密集型數(shù)據(jù)的采集、處理和可視化。一般信息系統(tǒng)在處理密集型數(shù)據(jù)時,將按照普通數(shù)據(jù)形式進(jìn)行加工處理。密集型數(shù)據(jù)除了普通數(shù)據(jù)所具備的特點,還具備以下幾個特點1,原始數(shù)據(jù)格式表示(有TXT文本, Excel格式,Word文檔)異構(gòu);2,一次性傳輸量小,一般一個文件小于1MB字節(jié);3,傳輸周期短,一般以分鐘間隔;4,傳輸持久性,即長時間持久性數(shù)據(jù)采集。5,數(shù)據(jù)的統(tǒng)一存儲,不同來源的數(shù)據(jù)可以通過某個共同目標(biāo),實現(xiàn)數(shù)據(jù)的轉(zhuǎn)換和統(tǒng)一存儲。面向密集型數(shù)據(jù)處理,現(xiàn)有信息處理技術(shù)主要針對不同類型的數(shù)據(jù)格式,使用不同的數(shù)據(jù)處理方法,提供不兼容的數(shù)據(jù)采集、處理和可視化方法。如針對原始數(shù)據(jù)格式表示異構(gòu)特點,則根據(jù)不同的文檔格式編寫不同的格式解析程序,如TXT文檔解析程序,Excel 解析程序,Word解析程序等。同樣,也需要單獨開發(fā)不同的預(yù)處理程序,數(shù)據(jù)處理程序和數(shù)據(jù)可視化程序。如針對某一種野外臺站數(shù)據(jù)的采集,首先將采集終端獲取的原始數(shù)據(jù)上傳到服務(wù)器。原始數(shù)據(jù)用TXT文本來表示,第一行為元數(shù)據(jù),表示各列數(shù)據(jù)的含義,第二行開始表示數(shù)據(jù)。服務(wù)器解析接收文件,利用定制開發(fā)的解析算法,提取原始數(shù)據(jù),進(jìn)行數(shù)據(jù)的預(yù)處理、 驗證、重復(fù)檢驗、轉(zhuǎn)換、存儲和可視化?,F(xiàn)有的信息處理系統(tǒng),需要針對密集型數(shù)據(jù)定制開發(fā)處理算法,并將隨著數(shù)據(jù)來源、數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容、數(shù)據(jù)存儲形式等變化而變化,即針對每類數(shù)據(jù)源開發(fā)定制的數(shù)據(jù)解析方法,不能很好的實現(xiàn)代碼重用和流程重用。即缺乏一種可實現(xiàn)不同格式,不同數(shù)據(jù)類型的密集型數(shù)據(jù)采集、處理和可視化的通用處理方法。另一方面,現(xiàn)有信息系統(tǒng)沒有面向密集型數(shù)據(jù)特點,分析可能存在的通用處理流程和數(shù)據(jù)處理方法。有鑒于此,本發(fā)明的目的就是給出一種密集型數(shù)據(jù)處理的通用方法,提供密集型數(shù)據(jù)數(shù)據(jù)處理的數(shù)據(jù)采集、處理和可視化通用機(jī)制,實現(xiàn)信息處理的代碼重用和流程重用, 減少開發(fā)成本。>發(fā)明內(nèi)容
(一 )本申請?zhí)岚敢鉀Q的技術(shù)問題密集型數(shù)據(jù)處理可以抽象為一個流程管道,原始數(shù)據(jù)從數(shù)據(jù)采集/接收模塊進(jìn)入數(shù)據(jù)處理/存儲模塊再到數(shù)據(jù)可視化模塊,最終實現(xiàn)數(shù)據(jù)應(yīng)用(如圖2所示)。通用的密集型數(shù)據(jù)處理方法須根據(jù)數(shù)據(jù)處理的流程管道特性,形成一個通用數(shù)據(jù)處理管道,以及一個可裝載不同類型數(shù)據(jù)處理的可配置框架。本發(fā)明的目的是解決上述現(xiàn)有技術(shù)的面向密集型數(shù)據(jù)處理方法的重復(fù)開發(fā)和代碼利用率低問題,提出了一種通用的密集型數(shù)據(jù)處理方法,通過一個通用數(shù)據(jù)處理管道 (包括數(shù)據(jù)采集/接收管道、數(shù)據(jù)處理/存儲管道和數(shù)據(jù)可視化管道)和一個面向不同類型數(shù)據(jù)處理的可配置框架,實現(xiàn)不同類數(shù)據(jù),面向同一任務(wù)的統(tǒng)一密集型數(shù)據(jù)采集、處理和可視化。( 二)簡要說明欲保護(hù)的關(guān)鍵點及對應(yīng)的技術(shù)效果關(guān)鍵點1,數(shù)據(jù)采集和接收管道。該功能點定期監(jiān)視固定場所的文件更新情況(包括增加和更新),將更新文件提取,并傳送到后續(xù)功能點進(jìn)行數(shù)據(jù)處理。該功能點主要包括基于FTP的數(shù)據(jù)更新監(jiān)聽器和基于Email的數(shù)據(jù)更新監(jiān)聽器。基于FTP的數(shù)據(jù)更新監(jiān)聽器部署在FTP服務(wù)器上,通過監(jiān)控指定的FTP多個目錄,獲取多個目錄下(包括子目錄)的所有更新,并將更新文件以及相關(guān)的文件信息(包括上傳方式為FTP,上傳管道,上傳文件名, 上傳日期等)傳送給數(shù)據(jù)預(yù)處理系統(tǒng)。Email監(jiān)聽器通過指定郵件地址和郵件密碼,定期登錄該郵件地址,獲取符合要求的新郵件,如果該郵件包含有效數(shù)據(jù),則提取數(shù)據(jù)文件,并將文件及文件相關(guān)信息(包括上傳方式為email,上傳管道,上傳文件名,上傳日期等)傳送給數(shù)據(jù)預(yù)處理系統(tǒng)。技術(shù)效果獲取指定FTP目錄或email地址下的有效文件,并實時傳送文件和文件信息到數(shù)據(jù)處理/存儲管道,實現(xiàn)有效原始數(shù)據(jù)的采集和接收。關(guān)鍵點2,數(shù)據(jù)處理/存儲管道。主要包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)處理和數(shù)據(jù)存儲。針對原始數(shù)據(jù)的數(shù)據(jù)預(yù)處理,主要包括數(shù)據(jù)去重、數(shù)據(jù)驗證、數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)審核。提取數(shù)據(jù)采集和接收管道接收文檔的有效數(shù)據(jù),形成結(jié)構(gòu)化內(nèi)存數(shù)據(jù),與數(shù)據(jù)庫數(shù)據(jù)進(jìn)行時間判斷,過濾重復(fù)數(shù)據(jù)。未重復(fù)數(shù)據(jù),按照對該類數(shù)據(jù)的有效信息模式進(jìn)行格式和內(nèi)容驗證, 判斷數(shù)據(jù)是否合法。對于表述不一致的數(shù)據(jù),進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換(主要有數(shù)據(jù)類型轉(zhuǎn)換,數(shù)據(jù)單位換算,數(shù)據(jù)過長截斷)。提供數(shù)據(jù)審核機(jī)制,以可視化方式提供給用戶,滿足復(fù)雜數(shù)據(jù)內(nèi)容的審核和驗證。數(shù)據(jù)處理主要包括數(shù)據(jù)融合處理算法和數(shù)據(jù)映射。數(shù)據(jù)融合處理算法將未加工的數(shù)據(jù)利用某類處理算法,將數(shù)據(jù)轉(zhuǎn)換形成目標(biāo)結(jié)構(gòu)的數(shù)據(jù)。數(shù)據(jù)映射將處理后數(shù)據(jù)映射為數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu),包括字段的選取、字段的組合等,其目的是將數(shù)據(jù)轉(zhuǎn)換為可存儲的數(shù)據(jù)。數(shù)據(jù)存儲主要是將處理后的內(nèi)存數(shù)據(jù)存儲到統(tǒng)一結(jié)構(gòu)表示的數(shù)據(jù)庫或文件中。技術(shù)效果提取數(shù)據(jù)內(nèi)容和元數(shù)據(jù)信息,通過數(shù)據(jù)處理算法,形成統(tǒng)一結(jié)構(gòu)數(shù)據(jù), 實現(xiàn)永久性數(shù)據(jù)存儲。關(guān)鍵點3,數(shù)據(jù)可視化管道。主要包括數(shù)據(jù)共享、數(shù)據(jù)集成下載、數(shù)據(jù)展示等。數(shù)據(jù)共享指的是提供原始更新數(shù)據(jù)的下載,按照上傳時間、上傳文件名、上傳方式、數(shù)據(jù)源等多種屬性進(jìn)行排序展示,并提供鏈接下載原始數(shù)據(jù)文件。數(shù)據(jù)集成下載指的是提供加工處理后融合多種數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一化下載??梢愿鶕?jù)時間段、數(shù)據(jù)列、數(shù)據(jù)源等參數(shù)下載合適的集成數(shù)據(jù)。數(shù)據(jù)展示指的是針對加工后的存儲入庫數(shù)據(jù),提供多種數(shù)據(jù)展示方式。如針對具備位置信息的數(shù)據(jù),利用地圖展示該位置的新數(shù)據(jù)或歷史數(shù)據(jù);針對多種數(shù)據(jù)源提供歷史數(shù)據(jù)的時間序列對比圖;針對某種參數(shù)下的實時數(shù)據(jù)預(yù)警圖等。這些可視化機(jī)制可以利用配置框架進(jìn)行動態(tài)加載,滿足不同任務(wù)下的可視化機(jī)制。技術(shù)效果根據(jù)原始數(shù)據(jù)或處理后的加工數(shù)據(jù),提供數(shù)據(jù)共享下載以及面向不同任務(wù)的數(shù)據(jù)可視化機(jī)制。關(guān)鍵點4,面向不同類型數(shù)據(jù)處理的可配置框架。主要包括配置文件編輯器、配置文件裝載和執(zhí)行器、定制數(shù)據(jù)處理方法執(zhí)行器等。配置文件編輯器指的是根據(jù)任務(wù)需要,編寫不同數(shù)據(jù)源的數(shù)據(jù)處理方法,有文件格式解析方法定義、文件接收方法定義、去重方法定義、主鍵定義、字段定義、字段映射方法定義、可視化方案定義。配置文件裝載和執(zhí)行器指的是用戶定義一個新的處理流程之后,系統(tǒng)讀取當(dāng)前數(shù)據(jù)源處理的配置文件,獲取當(dāng)前數(shù)據(jù)源處理的方法。定制數(shù)據(jù)處理方法執(zhí)行器指的是數(shù)據(jù)進(jìn)入系統(tǒng)后,自動加載針對該數(shù)據(jù)源的定制處理方法,實現(xiàn)該數(shù)據(jù)源的自動采集、處理和可視化。技術(shù)效果面向不同數(shù)據(jù)格式、不同處理要求、不同可視化機(jī)制提供可配置框架, 實現(xiàn)定制的采集、處理和可視化機(jī)制的可配置,可自動裝載。(三)總的技術(shù)效果本發(fā)明具有以下的優(yōu)點和特點1)本發(fā)明解決了密集型數(shù)據(jù)處理的通用方法,本發(fā)明提供的通用數(shù)據(jù)處理管道和面向不同類型數(shù)據(jù)處理的可配置框架,將實現(xiàn)異構(gòu)密集型數(shù)據(jù)在面向同一任務(wù)需求下的數(shù)據(jù)采集/接收、數(shù)據(jù)處理/存儲和數(shù)據(jù)可視化機(jī)制的統(tǒng)一表示,為多數(shù)據(jù)源數(shù)據(jù)處理提供了通用型方法,滿足類似系統(tǒng)的快速搭建。2)本發(fā)明提供的通用密集型數(shù)據(jù)處理方法,不再針對每類數(shù)據(jù)源或每個任務(wù)提供形成大量重復(fù)的處理程序,而是統(tǒng)一化、管道化和定制化異構(gòu)數(shù)據(jù)源的采集、處理和可視化機(jī)制,形成一個通用密集型數(shù)據(jù)處理管道和處理方法的可配置框架,從而提高軟件部署效率,減少更多人力開發(fā)成本。>
附圖1是數(shù)據(jù)處理流程示意附圖2是方案提出的密集型數(shù)據(jù)通用處理流程附圖3是密集型數(shù)據(jù)通用處理的配置流程附圖4是密集型數(shù)據(jù)通用處理的執(zhí)行流程
具體實施例方式下面結(jié)合附圖與具體實施方式
對本發(fā)明作進(jìn)一步詳細(xì)描述。本發(fā)明提供的通用密集型數(shù)據(jù)處理方法包括兩個步驟處理流程定義階段和處理流程執(zhí)行階段,分別如圖3,圖4所示。密集型數(shù)據(jù)處理流程定義階段主要包括以下幾個步驟步驟S3. 1 定義流程的名稱和描述信息,用于區(qū)分不同數(shù)據(jù)處理流程。其中流程的名稱具有唯一性,且流程中所有定制方法都須引用該名稱,以示區(qū)分。步驟S3. 2 定義數(shù)據(jù)接收方法,選擇是基于FTP的數(shù)據(jù)更新監(jiān)聽器或者基于Email 的數(shù)據(jù)更新監(jiān)聽器,并且設(shè)置監(jiān)聽器所需的參數(shù),如數(shù)據(jù)更新監(jiān)聽器的FTP地址,用戶名/ 密碼、目錄;Email數(shù)據(jù)更新監(jiān)聽器的郵件賬號和密碼。
步驟S3. 3 定義數(shù)據(jù)預(yù)處理方法,指定數(shù)據(jù)解析算法,指定需處理的數(shù)據(jù)列,選擇主鍵,指定數(shù)據(jù)去重策略,選擇數(shù)據(jù)審核方法。數(shù)據(jù)解析算法指的是用于提取原始數(shù)據(jù)文檔的數(shù)據(jù)內(nèi)容,一般根據(jù)任務(wù)要求,該類算法需要定制開發(fā)。指定需處理的數(shù)據(jù)列指的是選擇需要處理的數(shù)據(jù)列,并丟棄無需處理的數(shù)據(jù)內(nèi)容。選擇主鍵根據(jù)數(shù)據(jù)解析算法獲取數(shù)據(jù)列, 并提供這些數(shù)據(jù)列供主鍵選擇。指定數(shù)據(jù)去重策略指的是如何定義數(shù)據(jù)內(nèi)容的重復(fù)采集。 選擇數(shù)據(jù)審核方法指的是預(yù)處理之后的數(shù)據(jù)是否需要供人工審核處理。步驟S3. 4 定義數(shù)據(jù)處理和數(shù)據(jù)存儲方法。數(shù)據(jù)處理方法包括數(shù)據(jù)列的映射轉(zhuǎn)換,數(shù)據(jù)列的格式轉(zhuǎn)化,數(shù)據(jù)列的加工處理,與數(shù)據(jù)存儲方法中數(shù)據(jù)列的映射。數(shù)據(jù)存儲方法指定數(shù)據(jù)庫存儲和文件存儲。數(shù)據(jù)庫存儲指定數(shù)據(jù)庫類型、驅(qū)動、用戶名/密碼、數(shù)據(jù)庫名、數(shù)據(jù)庫表等。文件存儲指定文件存儲的位置,文件名等。步驟S3. 5 定義數(shù)據(jù)可視化方法??梢暬〝?shù)據(jù)共享方式定義、數(shù)據(jù)集成下載定義、數(shù)據(jù)展示定義等。步驟S3. 6 完成流程定義,形成XML形式的流程配置文件。該文件使用最初定義的流程名稱作為文件名。密集型數(shù)據(jù)處理流程執(zhí)行階段主要包括以下幾個步驟步驟S4. 1 文件接收觸發(fā)。通過FTP或Email數(shù)據(jù)更新監(jiān)聽器接收到某數(shù)據(jù)處理流程的文件更新。啟動文件處理程序,將文件和相關(guān)信息上傳到服務(wù)器。步驟S4. 2 文件解析和預(yù)處理。加載該流程指定的數(shù)據(jù)預(yù)處理方法,自動調(diào)用數(shù)據(jù)解析算法、需處理的數(shù)據(jù)列,選擇主鍵,指定數(shù)據(jù)去重策略,選擇數(shù)據(jù)審核方法。步驟S4. 3 數(shù)據(jù)處理和存儲。加載該流程指定的數(shù)據(jù)處理方法,自動調(diào)用數(shù)據(jù)列的映射轉(zhuǎn)換,數(shù)據(jù)列的格式轉(zhuǎn)化,數(shù)據(jù)列的加工處理,與數(shù)據(jù)存儲方法中數(shù)據(jù)列的映射,形成加工后的內(nèi)存數(shù)據(jù)。并根據(jù)存儲策略,存儲到數(shù)據(jù)庫或文件系統(tǒng)中。步驟S4. 4 密集型數(shù)據(jù)處理流程執(zhí)行結(jié)束,通過可視化方法可以查看新數(shù)據(jù)結(jié)^ ο下面以實施具體說明本發(fā)明方法的實現(xiàn)。某一個野外臺站進(jìn)行大氣數(shù)據(jù)監(jiān)測,每隔1分鐘生成一個數(shù)據(jù)文件,如奧運村大氣監(jiān)測數(shù)據(jù)文件200807231200. txt。這個文件的表達(dá)格式如下TIMEPMlO S02 N022008-7-23 12:00 96. 5 82.9 15.9該文件每隔1分鐘傳輸?shù)紽TP服務(wù)器目錄下,F(xiàn)TP數(shù)據(jù)更新監(jiān)聽器每隔1分鐘接收新數(shù)據(jù)文件,將該數(shù)據(jù)文件和文件信息(FTP上傳、文件名稱、文件所屬流程)上傳到服務(wù)器。服務(wù)器接收到該文件之后,裝載該流程定義的配置信息。首先調(diào)用解析程序,提取該文件的數(shù)據(jù)列信息和數(shù)據(jù)內(nèi)容信息。如提取到4個數(shù)據(jù)列時間(TIME)、可吸入顆粒物 (PMlO)、二氧化硫(S02)和二氧化氮(N02),并獲取該4個數(shù)據(jù)列的4個數(shù)據(jù)。如得到2008 年7月23日12點的監(jiān)測數(shù)據(jù)分別是96. 5、82. 9和15.9。該流程中指定TIME為主鍵,數(shù)據(jù)預(yù)處理方法根據(jù)當(dāng)前時間,檢測是否已有當(dāng)前時間點的數(shù)據(jù),如果有,則直接丟棄,否則將當(dāng)前數(shù)據(jù)轉(zhuǎn)交給數(shù)據(jù)處理方法。由于該任務(wù)較為簡單,數(shù)據(jù)處理方法直接將獲取得到的 4個數(shù)據(jù)存儲到數(shù)據(jù)庫中。對于其它任務(wù)需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換、加工和映射的,可在流程定義階段指定定制開發(fā)的數(shù)據(jù)處理算法。最后,通過定制開發(fā)可視化方法,在界面上,用戶可以選擇輸入時間點,如果該時間點存在原始文件,則提供下載鏈接地址;用戶可以查看一段時間內(nèi),三個大氣監(jiān)測參數(shù)的折線圖;用戶可以查看當(dāng)前大氣數(shù)據(jù)的質(zhì)量等級;用戶可以下載一段時間段內(nèi)的不同監(jiān)測參數(shù)的數(shù)據(jù)。同樣,另外一個野外臺站進(jìn)行大氣數(shù)據(jù)監(jiān)測,每隔1分鐘生成一個數(shù)據(jù)文件,如中關(guān)村大氣監(jiān)測數(shù)據(jù)文件200807231200. txt。該文件格式如下TIMEPMlO S02 N022008-7-23 12:00:00 96. 5 82.9 15.9......2008-7-23 12:00:59 97. 2 83. 1 15.6該站點獲取秒級數(shù)據(jù),并與前面任務(wù)的數(shù)據(jù)存儲到同一數(shù)據(jù)庫中。該流程與上一個流程具備同樣的功能,唯一的區(qū)別是定制開發(fā)一個新的數(shù)據(jù)解析程序,將2008年7月23 日12點的60個數(shù)據(jù)進(jìn)行統(tǒng)計平均,形成分級的統(tǒng)計值。如上述實例,利用通用數(shù)據(jù)處理管道和面向不同類型數(shù)據(jù)處理的可配置框架,可以實現(xiàn)密集型數(shù)據(jù)處理的通用方法。以上所述,僅為本發(fā)明的較佳實施例而已,并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種密集型數(shù)據(jù)通用處理方法,方法包括通用數(shù)據(jù)處理管道和面向不同類型數(shù)據(jù)處理的可配置框架,其特征在于,不同任務(wù)下的密集型數(shù)據(jù)采集、處理和可視化可以通過創(chuàng)建流程方法統(tǒng)一在同一系統(tǒng)中完成。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,該方法進(jìn)一步包括數(shù)據(jù)采集和接收管道,數(shù)據(jù)處理/存儲管道,數(shù)據(jù)可視化管道和面向不同類型數(shù)據(jù)處理的可配置框架。
3.根據(jù)權(quán)利要求1和權(quán)利要求2所述的方法,其特征在于,提供處理流程定義和處理流程執(zhí)行方法,實現(xiàn)密集型數(shù)據(jù)實例的數(shù)據(jù)采集、處理和可視化流程。
全文摘要
本發(fā)明屬于信息處理技術(shù)領(lǐng)域,公開了一種密集型數(shù)據(jù)處理通用方法,通過用數(shù)據(jù)處理管道和面向不同類型數(shù)據(jù)處理的可配置框架,提供異構(gòu)多源密集型數(shù)據(jù)的采集、處理和可視化的統(tǒng)一實現(xiàn)方法。方法包括S1,數(shù)據(jù)采集和接收管道,提供原始數(shù)據(jù)的采集和接收監(jiān)聽;S2,數(shù)據(jù)處理/存儲管道,提供原始數(shù)據(jù)的解析、預(yù)處理、加工和統(tǒng)一存儲;S3,數(shù)據(jù)可視化管道,提供數(shù)據(jù)共享和展示方法;S4,面向不同類型數(shù)據(jù)處理的可配置框架,實現(xiàn)面向不同任務(wù)的密集型數(shù)據(jù)處理流程的定制。本發(fā)明適用于建立通用的密集型數(shù)據(jù)處理系統(tǒng),以解決不同任務(wù)目標(biāo)下的密集型數(shù)據(jù)的采集、處理和可視化。
文檔編號H04L29/08GK102469127SQ201010540820
公開日2012年5月23日 申請日期2010年11月12日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者于建軍, 南凱, 董科軍, 謝建軍 申請人:中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心