專(zhuān)利名稱(chēng)：網(wǎng)絡(luò)數(shù)據(jù)集中的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)軟件中的數(shù)據(jù)處理技術(shù)，更具體的說(shuō)，是一種用來(lái)實(shí) 現(xiàn)在網(wǎng)絡(luò)上進(jìn)行不同格式數(shù)據(jù)集中的方法和設(shè)備。
背景技術(shù)：
隨著計(jì)算機(jī)軟件的發(fā)展，存在大量的不同的軟件系統(tǒng)，而各個(gè)軟件系統(tǒng) 的數(shù)據(jù)輸出和存儲(chǔ)又各不相同，常常以不同格式保存，如何有效的整合這些 數(shù)據(jù)，使其作為一個(gè)整體接入到應(yīng)用系統(tǒng)中進(jìn)行使用，是應(yīng)用系統(tǒng)常常遇到 的問(wèn)題。 一些商業(yè)系統(tǒng)中提供了一些數(shù)據(jù)整合的框架，但是要求使用者必須 在該框架下編寫(xiě)軟件，這樣就限制了系統(tǒng)使用的靈活性，且性能開(kāi)銷(xiāo)較大， 支持的數(shù)據(jù)格式有限。在實(shí)際的應(yīng)用中，當(dāng)需要這些數(shù)據(jù)時(shí)，常常需要提前 把這些數(shù)據(jù)進(jìn)行處理，比如統(tǒng)一取到數(shù)據(jù)庫(kù)中再使用，這種方式導(dǎo)致開(kāi)發(fā)人 員的工作量大，需要先把數(shù)據(jù)讀取，然后再插入到數(shù)據(jù)庫(kù)中，使用起來(lái)十分 不方便。在實(shí)際實(shí)施時(shí)，由于操作數(shù)據(jù)的方式往往具有多樣性，且存儲(chǔ)的格 式也不相同，要把這些數(shù)據(jù)入庫(kù)，進(jìn)行數(shù)據(jù)讀取也非一件易事。如何把這些 存儲(chǔ)在網(wǎng)絡(luò)上不同位置的數(shù)據(jù)作為一個(gè)數(shù)據(jù)源，方便的接入到應(yīng)用系統(tǒng)中， 同時(shí)減少開(kāi)發(fā)人員的工作量，是一個(gè)比較難以解決的問(wèn)題。發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問(wèn)題是提供一種網(wǎng)絡(luò)數(shù)據(jù)集中的方法和設(shè)備，以便 于集中網(wǎng)絡(luò)上不同格式的數(shù)據(jù)。為了解決上述問(wèn)題，本發(fā)明提供了一種網(wǎng)絡(luò)數(shù)據(jù)集中方法，該方法包括以下步驟(a)接收并解析終端發(fā)送的數(shù)據(jù)源獲取請(qǐng)求，產(chǎn)生數(shù)據(jù)訪問(wèn)相關(guān)的工作指令和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令；(b) 根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)，獲取數(shù)據(jù)；(c) 根據(jù)數(shù)據(jù)指令把獲取的數(shù)據(jù)整合成統(tǒng)一的數(shù)據(jù)結(jié)果集；(d) 封裝數(shù)據(jù)結(jié)果集為數(shù)據(jù)源并返回給終端用戶(hù)。進(jìn)一步地，步驟(a)中，數(shù)據(jù)源獲取請(qǐng)求中或數(shù)據(jù)源獲取請(qǐng)求對(duì)應(yīng)的配置 文件中包括網(wǎng)絡(luò)上處于不同位置的數(shù)據(jù)獲取方法及數(shù)據(jù)連接和過(guò)濾規(guī)則及 最終生成的數(shù)據(jù)集格式。進(jìn)一步地，步驟(b)中，根據(jù)工作指令中的指令序列網(wǎng)絡(luò)地址和文件格式 對(duì)工作指令進(jìn)行分類(lèi)，并針對(duì)一個(gè)分類(lèi)創(chuàng)建一個(gè)任務(wù)。進(jìn)一步地，步驟(c)中，根據(jù)數(shù)據(jù)指令對(duì)獲取的數(shù)據(jù)依次進(jìn)行過(guò)濾、連接 和格式化整合，以得到同一的數(shù)據(jù)結(jié)果集。為了解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備，該設(shè) 備包括調(diào)度器、工作引擎和數(shù)據(jù)整合器，其中，調(diào)度器用于解析終端的數(shù)據(jù)源獲取請(qǐng)求，生成數(shù)據(jù)訪問(wèn)相關(guān)的工作指令 和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令，并分別下發(fā)給工作引擎和數(shù)據(jù)整合器，且將返 回的數(shù)據(jù)結(jié)果集封裝為數(shù)據(jù)源返回給終端用戶(hù)；工作引擎用于根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)獲取數(shù)據(jù)；數(shù)據(jù)整合器用于根據(jù)數(shù)據(jù)指令，將獲得的數(shù)據(jù)整合成統(tǒng)一格式的數(shù)據(jù)結(jié) 果集，并返回調(diào)度器。進(jìn)一步地，該設(shè)備還包括存儲(chǔ)器，用于存儲(chǔ)預(yù)先設(shè)定的若干個(gè)配置文件， 配置文件的內(nèi)容包括網(wǎng)絡(luò)上處于不同位置的數(shù)據(jù)獲取方法及數(shù)據(jù)連接和過(guò) 濾規(guī)則及最終生成的數(shù)據(jù)集格式。進(jìn)一步地，調(diào)度器包括配置文件獲取模塊、配置文件解析模塊和數(shù)據(jù)源 封裝模塊，其中，配置文件獲取模塊，用于接收終端數(shù)據(jù)源獲取請(qǐng)求，并根據(jù)該請(qǐng)求包含 的信息，查找到對(duì)應(yīng)的配置文件；配置文件解析模塊，解析獲取的配置文件的內(nèi)容，得到數(shù)據(jù)訪問(wèn)的相關(guān) 信息和數(shù)據(jù)整合的相關(guān)信息，再分別轉(zhuǎn)化為工作引擎可識(shí)別處理的工作指令 和數(shù)據(jù)整合器可識(shí)別處理的數(shù)據(jù)指令，并將這兩部分內(nèi)容分別發(fā)送給工作引擎和數(shù)據(jù)整合器；數(shù)據(jù)集封裝模塊用于將獲取的數(shù)據(jù)結(jié)果集進(jìn)行封裝，把數(shù)據(jù)集轉(zhuǎn)換為一 個(gè)數(shù)據(jù)源，以一個(gè)數(shù)據(jù)源的形式返回給終端，并提供訪問(wèn)數(shù)據(jù)記錄的接口方 法。進(jìn)一步地，工作引擎包括指令接收模塊、指令分析模塊及數(shù)據(jù)獲取模塊， 其中指令接收模塊用于接收工作指令，把指令進(jìn)行緩存，直到所有的指令接 收完畢，把這些指令傳遞給指令分析模塊；指令分析模塊用于對(duì)接收到的指令進(jìn)行歸類(lèi)處理；數(shù)據(jù)獲取模塊，根據(jù)歸類(lèi)后信息查找存儲(chǔ)的指令，獲取數(shù)據(jù)訪問(wèn)方法， 并根據(jù)取到的指令創(chuàng)建數(shù)據(jù)獲取任務(wù)， 一個(gè)歸類(lèi)對(duì)應(yīng)一個(gè)任務(wù)，其中設(shè)定獲 取數(shù)據(jù)的相應(yīng)資源以及操作步驟，任務(wù)準(zhǔn)備就緒后啟動(dòng)任務(wù)。進(jìn)一步地，指令分析模塊歸類(lèi)的依據(jù)是指令序列網(wǎng)絡(luò)地址和文件格式。進(jìn)一步地，數(shù)據(jù)整合器包括指令接收模塊、指令分類(lèi)模塊、數(shù)據(jù)集接收 模塊和數(shù)據(jù)集處理模塊，其中指令接收模塊用于接收調(diào)度器的數(shù)據(jù)指令，加以存儲(chǔ)；指令分類(lèi)模塊用于將接收到的指令根據(jù)數(shù)據(jù)指令的功能進(jìn)行分類(lèi)，轉(zhuǎn)換 為對(duì)應(yīng)的處理規(guī)則，包括數(shù)據(jù)過(guò)濾規(guī)則，數(shù)據(jù)連接規(guī)則和數(shù)據(jù)集格式；數(shù)據(jù)集接收;^莫塊收到工作引擎的通知后用于接收所有數(shù)據(jù)結(jié)果集；數(shù)據(jù)集處理模塊用于對(duì)數(shù)據(jù)集進(jìn)行過(guò)濾、連接和格式化，具體的，依次 取出數(shù)據(jù)集，查找對(duì)應(yīng)的數(shù)據(jù)過(guò)濾規(guī)則，對(duì)于該數(shù)據(jù)進(jìn)行過(guò)濾處理，過(guò)濾后 的結(jié)果形成一個(gè)臨時(shí)數(shù)據(jù)集，當(dāng)所有的數(shù)據(jù)集都完成過(guò)濾后，再根據(jù)連接規(guī) 則，對(duì)過(guò)濾后的臨時(shí)數(shù)據(jù)集進(jìn)行連接處理，直到形成一個(gè)完整的數(shù)據(jù)集，根 據(jù)定義的數(shù)據(jù)結(jié)構(gòu)，把該數(shù)據(jù)集進(jìn)行格式轉(zhuǎn)換，完成后把數(shù)據(jù)集傳遞給調(diào)度 器。與現(xiàn)有技術(shù)相比較，本發(fā)明設(shè)備和方法可以使得用戶(hù)不用關(guān)心數(shù)據(jù)如何 集成，減少了開(kāi)發(fā)者的工作量，同時(shí)整個(gè)裝置可以方便的集成到其它系統(tǒng)中， 具有較強(qiáng)的靈活性和可擴(kuò)展性。


圖l是本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備的總體框架結(jié)構(gòu)示意圖。圖2是本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備的調(diào)度器結(jié)構(gòu)示意圖。 圖3是本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備的工作引擎結(jié)構(gòu)示意圖。 圖4是本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備的數(shù)據(jù)整合器流程圖。 圖5是本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中方法流程示意圖。
具體實(shí)施方式
如圖1所示，本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備可根據(jù)終端用戶(hù)請(qǐng)求對(duì)網(wǎng)絡(luò)數(shù)據(jù) 進(jìn)行集中，該網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備包括調(diào)度器1、工作引擎2、數(shù)據(jù)整合器3 及存儲(chǔ)器4，其中調(diào)度器1用于解析終端的數(shù)據(jù)源獲取請(qǐng)求，生成工作指令和數(shù)據(jù)指令分 別下發(fā)給工作引擎和數(shù)據(jù)整合器，且將返回的數(shù)據(jù)結(jié)果集封裝為數(shù)據(jù)源返回 給終端用戶(hù)；工作引擎2用于根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)獲取數(shù)據(jù)；數(shù)據(jù)整合器3用于根據(jù)數(shù)據(jù)指令，將獲得的數(shù)據(jù)整合成統(tǒng)一格式的數(shù)據(jù) 結(jié)果集，并返回調(diào)度器。存儲(chǔ)器4用于存儲(chǔ)預(yù)先設(shè)定好的若干個(gè)配置文件，該配置文件以XML 的形式進(jìn)行保存，內(nèi)容包括網(wǎng)絡(luò)上處于不同位置的數(shù)據(jù)獲取方法及數(shù)據(jù)連接 和過(guò)濾規(guī)則及最終生成的數(shù)據(jù)集格式。當(dāng)本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備收到終端的數(shù)據(jù)源獲取請(qǐng)求時(shí)，調(diào)度器可以 根據(jù)該請(qǐng)求在存儲(chǔ)器中匹配到對(duì)應(yīng)的配置文件，從而解析出工作指令和數(shù)據(jù)指令。在存儲(chǔ)器中預(yù)先設(shè)定好若干配置文件是本發(fā)明方法和設(shè)備的最佳實(shí)施 方式，可使得終端用戶(hù)的操作簡(jiǎn)單易行，當(dāng)然也可以筒化該設(shè)備，不預(yù)先設(shè) 定配置文件，而在終端的數(shù)據(jù)源獲取請(qǐng)求中攜帶相應(yīng)信息，調(diào)度器根據(jù)該相 應(yīng)信息解析出用于下發(fā)給工作引擎和數(shù)據(jù)整合器的工作指令和數(shù)據(jù)指令。此 時(shí)，數(shù)據(jù)源獲取請(qǐng)求中攜帶的信息與配置文件相當(dāng)，包括數(shù)據(jù)的讀取和訪問(wèn) 方式以及數(shù)據(jù)的連接方式及數(shù)據(jù)結(jié)果集的數(shù)據(jù)格式等。存儲(chǔ)器可以作為本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備的維護(hù)工具，支持新增數(shù)據(jù)類(lèi)型，新增數(shù)據(jù)類(lèi)型時(shí)可以通過(guò)在XML文件中擴(kuò)充這種類(lèi)型的訪問(wèn)資料和數(shù) 據(jù)讀取類(lèi)(也就是如何把文件中的數(shù)據(jù)讀取處理的指南，因?yàn)槊總€(gè)格式的文 件的數(shù)據(jù)讀取方法是不同的)來(lái)實(shí)現(xiàn)，這樣調(diào)度器把獲取數(shù)據(jù)的操作轉(zhuǎn)換為 對(duì)應(yīng)的工作指令給工作引擎，工作引擎就可以通過(guò)指令獲取對(duì)應(yīng)的數(shù)據(jù)集。以下結(jié)合附圖對(duì)網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備進(jìn)行詳細(xì)說(shuō)明。調(diào)度器1主要負(fù)責(zé)根據(jù)終端的數(shù)據(jù)源獲取請(qǐng)求找到相應(yīng)的配置文件，把 配置文件解析處理，獲取工作引擎的工作指令和數(shù)據(jù)整合器的數(shù)據(jù)指令，工 作指令指獲取網(wǎng)絡(luò)上不同位置數(shù)據(jù)的一系列指令序列。數(shù)據(jù)指令指包括數(shù)據(jù) 連接、過(guò)濾規(guī)則和最終生成的數(shù)據(jù)集格式的一系列指令序列。通過(guò)工作引擎 的數(shù)據(jù)處理和數(shù)據(jù)整合器的操作獲取到一個(gè)數(shù)據(jù)集，把該數(shù)據(jù)集封裝為數(shù)據(jù) 源傳遞給終端。如圖2所示，調(diào)度器1主要包括配置文件獲取才莫塊、配置文件解析模塊 和數(shù)據(jù)源封裝模塊，其中配置文件獲取模塊，用于接收終端的數(shù)據(jù)源獲取請(qǐng)求，并根據(jù)該請(qǐng)求的 包含的信息，查找到對(duì)應(yīng)的配置文件；配置文件解析模塊，解析獲取的配置文件的內(nèi)容，得到數(shù)據(jù)訪問(wèn)的相關(guān) 信息和數(shù)據(jù)整合的相關(guān)信息，再分別轉(zhuǎn)化為工作引擎可識(shí)別處理的工作指令 和數(shù)據(jù)整合器可識(shí)別處理的數(shù)據(jù)指令，并將這兩部分內(nèi)容分別發(fā)送給工作引 擎和數(shù)據(jù)整合器；其中工作指令指數(shù)據(jù)源在網(wǎng)絡(luò)上的位置以及訪問(wèn)數(shù)據(jù)源的相關(guān)方法，網(wǎng) 絡(luò)上的位置可以通過(guò)IP相關(guān)的信息來(lái)進(jìn)行表示，數(shù)據(jù)源的信息對(duì)應(yīng)了網(wǎng)絡(luò) 上不同位置的不同格式的數(shù)據(jù)源。具體地，工作指令是在對(duì)應(yīng)軟件基礎(chǔ)上可以執(zhí)行的指令序列，如果是FTP的話(huà)，那么工作指令指"打開(kāi)一個(gè)IP地址"， "切換到數(shù)據(jù)文件所在的目錄"、"獲取該文件"等一系列指令序列。如果要獲取的數(shù)據(jù)是一個(gè)放在FTP上的EXCEL文件，則解析出來(lái)的工 作指令就有文件FTP的URL信息、訪問(wèn)需要的用戶(hù)名和密碼，以及訪問(wèn)文 件數(shù)據(jù)讀取類(lèi)，讀取類(lèi)用于獲取文件里面的數(shù)據(jù)(調(diào)用對(duì)應(yīng)的API獲取到 EXCEL的數(shù)據(jù)，在JAVA環(huán)境下可以通過(guò)POI這個(gè)包獲取到EXCEL中的 數(shù)據(jù))，如果是數(shù)據(jù)庫(kù)，則解析出來(lái)的工作指令定義了數(shù)據(jù)庫(kù)類(lèi)型，數(shù)據(jù)庫(kù) 名稱(chēng)、庫(kù)中表或者^(guò)f見(jiàn)圖，連接的用戶(hù)名和密碼等資源。數(shù)據(jù)指令指把獲取的一系列不同數(shù)據(jù)集整合為一個(gè)數(shù)據(jù)集的規(guī)則，分為 數(shù)據(jù)的過(guò)濾規(guī)則和連接規(guī)則、數(shù)據(jù)集格式，這些以數(shù)據(jù)指令的形式下發(fā)到數(shù) 據(jù)整合器。過(guò)濾規(guī)則用于過(guò)濾不符合條件的數(shù)據(jù)，數(shù)據(jù)的連接規(guī)則用于把這 些數(shù)據(jù)進(jìn)行拼裝，整合為一個(gè)完整的數(shù)據(jù)集；數(shù)據(jù)集格式用于規(guī)定形成的數(shù) 據(jù)集的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)集封裝模塊用于將獲取的數(shù)據(jù)結(jié)果集進(jìn)行封裝，把數(shù)據(jù)集轉(zhuǎn)換為一 個(gè)數(shù)據(jù)源，以一個(gè)數(shù)據(jù)源的形式返回給終端，并提供訪問(wèn)數(shù)據(jù)記錄的接口方 法。工作引擎2，根據(jù)調(diào)度器傳來(lái)的工作指令，啟動(dòng)相應(yīng)的任務(wù)到網(wǎng)絡(luò)中獲 取相關(guān)數(shù)據(jù)，把獲取到的數(shù)據(jù)傳遞給數(shù)據(jù)整合器處理。如圖3所示，工作引 擎主要包括指令接收模塊、指令分析模塊及數(shù)據(jù)獲取模塊，其中指令接收模塊用于接收工作指令，把指令進(jìn)行緩存，直到所有的指令接 收完畢，再把這些指令傳遞給指令分析模塊；指令分析模塊用于對(duì)接收到的指令進(jìn)行歸類(lèi)處理；歸類(lèi)的依據(jù)是指令序列網(wǎng)絡(luò)地址和文件格式，比如說(shuō)同一個(gè)FTP地址 上的兩個(gè)EXCEL文件，就會(huì)被歸成一個(gè)類(lèi)。數(shù)據(jù)獲取模塊，根據(jù)歸類(lèi)后信息查找存儲(chǔ)的指令，獲取數(shù)據(jù)訪問(wèn)方法，并根據(jù)取到的指令創(chuàng)建數(shù)據(jù)獲取任務(wù)， 一個(gè)歸類(lèi)對(duì)應(yīng)一個(gè)任務(wù)，其中設(shè)定獲 取數(shù)據(jù)的相應(yīng)資源以及操作步驟，任務(wù)準(zhǔn)備就緒后，把該任務(wù)的狀態(tài)信息修 改為執(zhí)行狀態(tài)，啟動(dòng)任務(wù)。當(dāng)收集獲取的數(shù)據(jù)結(jié)果集的任務(wù)執(zhí)行完成后，就會(huì)發(fā)送一個(gè)執(zhí)行完畢的 通知，收到這個(gè)通知后，就會(huì)判斷是否所有的數(shù)據(jù)獲取任務(wù)都已經(jīng)完成，如 果沒(méi)有完成就繼續(xù)等待，當(dāng)所有的數(shù)據(jù)收集任務(wù)都已經(jīng)完成，通知數(shù)據(jù)整合 器前來(lái)取數(shù)據(jù)，等待數(shù)據(jù)整合器把獲取的所有數(shù)據(jù)結(jié)果集取走。數(shù)據(jù)整合器3把獲取的數(shù)據(jù)集，依據(jù)調(diào)度器傳遞的相關(guān)規(guī)則進(jìn)行數(shù)據(jù)的 整合處理，也就是把多個(gè)數(shù)據(jù)集合成一個(gè)數(shù)據(jù)集，然后把該數(shù)據(jù)集返回給調(diào) 度器。如圖4所示，數(shù)據(jù)整合器主要包括指令接收模塊、指令分類(lèi)模塊、數(shù) 據(jù)集接收模塊和數(shù)據(jù)集處理模塊，其中指令接收模塊用于接收調(diào)度器的數(shù)據(jù)指令，加以存儲(chǔ)；指令分類(lèi)模塊用于將接收到的指令根據(jù)數(shù)據(jù)指令的功能進(jìn)行分類(lèi)，轉(zhuǎn)換 為對(duì)應(yīng)的處理規(guī)則，包括數(shù)據(jù)過(guò)濾規(guī)則，數(shù)據(jù)連接規(guī)則和數(shù)據(jù)集格式；數(shù)據(jù)集接收模塊收到工作引擎的通知后用于接收所有數(shù)據(jù)結(jié)果集；數(shù)據(jù)集處理模塊用于對(duì)數(shù)據(jù)集進(jìn)行過(guò)濾、連接和格式化，具體的，依次 取出數(shù)據(jù)集，查找對(duì)應(yīng)的數(shù)據(jù)過(guò)濾規(guī)則，對(duì)于該數(shù)據(jù)進(jìn)行過(guò)濾處理，過(guò)濾后 的結(jié)果形成一個(gè)臨時(shí)數(shù)據(jù)集，當(dāng)所有的數(shù)據(jù)集都完成過(guò)濾后，再根據(jù)連接規(guī) 則，對(duì)過(guò)濾后的臨時(shí)數(shù)據(jù)集進(jìn)行連接處理，直到形成一個(gè)完整的數(shù)據(jù)集，根 據(jù)定義的數(shù)據(jù)結(jié)構(gòu)，把該數(shù)據(jù)集進(jìn)行格式轉(zhuǎn)換，完成后把數(shù)據(jù)集傳遞給調(diào)度 器。本發(fā)明數(shù)據(jù)集中的方法，包括以下步驟步驟A:接收并解析終端發(fā)送的數(shù)據(jù)源獲取請(qǐng)求，生成數(shù)據(jù)訪問(wèn)相關(guān)的 工作指令和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令；步驟B:根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)，獲取數(shù)據(jù)； 步驟C:根據(jù)數(shù)據(jù)指令，把獲取的數(shù)據(jù)整合成統(tǒng)一的數(shù)據(jù)結(jié)果集； 步驟D:封裝數(shù)據(jù)結(jié)果集為數(shù)據(jù)源并返回給終端用戶(hù)。具體地，本發(fā)明網(wǎng)絡(luò)數(shù)據(jù)集中方法可采用本發(fā)明數(shù)據(jù)集中設(shè)備來(lái)實(shí)現(xiàn)，以下結(jié)合附圖對(duì)本發(fā)明數(shù)據(jù)集中方法進(jìn)行詳細(xì)說(shuō)明如圖5所示，本發(fā)明數(shù)據(jù)集中方法的總體流程如下步驟l:提供一個(gè)獲取擴(kuò)展數(shù)據(jù)源的接口，該接口監(jiān)聽(tīng)終端發(fā)送的數(shù)據(jù) 源獲取請(qǐng)求。步驟2:通過(guò)該請(qǐng)求的信息，查找到對(duì)應(yīng)的配置文件，把該文件讀取內(nèi) 存中。步驟3:調(diào)用解析模塊解析該文件的內(nèi)容，得到數(shù)據(jù)訪問(wèn)的相關(guān)信息和 數(shù)據(jù)整合的相關(guān)信息。步驟4:根據(jù)數(shù)據(jù)文件的定義，把得到數(shù)據(jù)訪問(wèn)的相關(guān)信息和數(shù)據(jù)整合 的相關(guān)信息轉(zhuǎn)換為工作指令和數(shù)據(jù)指令，其中指令能夠被下發(fā)模塊識(shí)別、處 理；步驟5:把工作指令下發(fā)給工作引擎，數(shù)據(jù)指令下發(fā)給數(shù)據(jù)整合器；步驟6:工作引擎收到工作指令，對(duì)收到的指令進(jìn)行緩存，直到所有的 指令接收完畢，工作引擎對(duì)指令進(jìn)行分類(lèi)處理，直到分類(lèi)處理完成；步驟7:收到分類(lèi)處理完成的通知，對(duì)于每一個(gè)分類(lèi)建立一個(gè)任務(wù)，設(shè) 定任務(wù)中獲取數(shù)據(jù)的信息，當(dāng)任務(wù)建立后啟動(dòng)該任務(wù)，把該任務(wù)的狀態(tài)信息 修改為執(zhí)行狀態(tài)，啟動(dòng)任務(wù)；每一任務(wù)負(fù)責(zé)在一個(gè)位置和格式相同的數(shù)據(jù)獲取，獲取完成后返回?cái)?shù)據(jù) 集，并通知工作引擎執(zhí)行完畢；步驟8:監(jiān)聽(tīng)任務(wù)處理完畢的通知，當(dāng)收到一個(gè)任務(wù)處理完畢的通知時(shí)， 把任務(wù)狀態(tài)從執(zhí)行修改為完成；步驟9:檢查所有任務(wù)是否已經(jīng)執(zhí)行完畢，如果執(zhí)行完畢就進(jìn)入步驟10， 否則轉(zhuǎn)到步驟8。依次創(chuàng)建并啟動(dòng)相應(yīng)數(shù)據(jù)獲取任務(wù)，當(dāng)所有的數(shù)據(jù)獲取任務(wù)都啟動(dòng)后， 工作引擎進(jìn)入等待狀態(tài)；步驟10:發(fā)送數(shù)據(jù)獲取完成消息給數(shù)據(jù)整合器，數(shù)據(jù)整合器接收消息并從工作引擎獲取數(shù)據(jù)集；步驟11:根據(jù)步驟4中的接收到的數(shù)據(jù)指令對(duì)數(shù)據(jù)進(jìn)行過(guò)濾和連接、 格式化的整合；具體地，數(shù)據(jù)集處理模塊依次取出數(shù)據(jù)集，查找對(duì)應(yīng)的數(shù)據(jù)過(guò)濾規(guī)則， 對(duì)于該數(shù)據(jù)進(jìn)行過(guò)濾處理，過(guò)濾后的結(jié)果形成一個(gè)臨時(shí)數(shù)據(jù)集，當(dāng)所有的數(shù) 據(jù)集都完成過(guò)濾后，再根據(jù)連接規(guī)則，對(duì)過(guò)濾后的臨時(shí)數(shù)據(jù)集進(jìn)行連接處理， 直到形成一個(gè)完整的數(shù)據(jù)集，根據(jù)定義的數(shù)據(jù)結(jié)構(gòu)，把該數(shù)據(jù)集進(jìn)行格式轉(zhuǎn) 換，完成后把數(shù)據(jù)集傳遞給調(diào)度器。步驟12:數(shù)據(jù)整合完畢，發(fā)送消息給調(diào)度器，等待調(diào)度器把這個(gè)最終 數(shù)據(jù)集取走；步驟13:調(diào)度器監(jiān)聽(tīng)是否有數(shù)據(jù)集到達(dá)，當(dāng)收到一個(gè)數(shù)據(jù)集已經(jīng)形成 的消息后，把這個(gè)數(shù)據(jù)集從數(shù)據(jù)整合器取回；步驟14:調(diào)度器把取回的數(shù)據(jù)集封裝成數(shù)據(jù)源的形式，并把操作數(shù)據(jù) 源的句柄發(fā)送給終端。步驟15:終端獲取到這個(gè)數(shù)據(jù)源操作句柄，獲取數(shù)據(jù)。與現(xiàn)有技術(shù)相比較，本發(fā)明引入調(diào)度器、工作引擎和數(shù)據(jù)整合器的模塊， 這些模塊相互配合完成網(wǎng)絡(luò)上數(shù)據(jù)集中的功能。配置文件可以根據(jù)數(shù)據(jù)文件 的擴(kuò)展方式來(lái)訪問(wèn)新增格式的數(shù)據(jù)，同時(shí)配置文件定義返回?cái)?shù)據(jù)的格式，使 得結(jié)果數(shù)據(jù)格式可以定制。調(diào)度器能夠獲取不同格式的數(shù)據(jù)源，不需要對(duì)于 該數(shù)據(jù)進(jìn)行預(yù)先處理，就可以直接使用，這些數(shù)據(jù)可以存在于網(wǎng)絡(luò)中的不同 位置，文件格式也可以不相同，直接通過(guò)相關(guān)協(xié)議，如FTP或者數(shù)據(jù)庫(kù)訪 問(wèn)的相關(guān)資源就可以拿到這些數(shù)據(jù)，在數(shù)據(jù)整合器中，把工作引擎收集的數(shù) 據(jù)，通過(guò)數(shù)據(jù)指令設(shè)定的規(guī)則合成對(duì)應(yīng)的數(shù)據(jù)集，在這個(gè)過(guò)程中可以對(duì)數(shù)據(jù) 進(jìn)行連接和過(guò)濾，也可以把數(shù)據(jù)進(jìn)行處理，對(duì)于數(shù)據(jù)進(jìn)行映射轉(zhuǎn)換，具備一 定的數(shù)據(jù)處理和加工功能。此外，當(dāng)系統(tǒng)需要處理新增格式的數(shù)據(jù)類(lèi)型時(shí)，只需要擴(kuò)充數(shù)據(jù)文件的 定義，增加調(diào)度器解析類(lèi)的處理邏輯，就可以接入其他類(lèi)型的數(shù)據(jù)，從而提高了系統(tǒng)的靈活性。本發(fā)明設(shè)備和方法可以使得用戶(hù)不用關(guān)心數(shù)據(jù)如何集成，減少了開(kāi)發(fā)者 的工作量，同時(shí)整個(gè)裝置可以方便的集成到其它系統(tǒng)中，具有較強(qiáng)的靈活性 和可擴(kuò)展性。
權(quán)利要求
1、一種網(wǎng)絡(luò)數(shù)據(jù)集中方法，其特征在于，該方法包括以下步驟(a)接收并解析終端發(fā)送的數(shù)據(jù)源獲取請(qǐng)求，產(chǎn)生數(shù)據(jù)訪問(wèn)相關(guān)的工作指令和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令；(b)根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)，獲取數(shù)據(jù)；(c)根據(jù)數(shù)據(jù)指令把獲取的數(shù)據(jù)整合成統(tǒng)一的數(shù)據(jù)結(jié)果集；(d)封裝數(shù)據(jù)結(jié)果集為數(shù)據(jù)源并返回給終端用戶(hù)。
2、 如權(quán)利要求l所述的方法，其特征在于，步驟(a)中，數(shù)據(jù)源獲取請(qǐng) 求中或數(shù)據(jù)源獲取請(qǐng)求對(duì)應(yīng)的配置文件中包括網(wǎng)絡(luò)上處于不同位置的數(shù)據(jù) 獲取方法及數(shù)據(jù)連接和過(guò)濾規(guī)則及最終生成的數(shù)據(jù)集格式。
3、 如權(quán)利要求2所述的方法，其特征在于步驟(b)中，根據(jù)工作指令 中的指令序列網(wǎng)絡(luò)地址和文件格式對(duì)工作指令進(jìn)行分類(lèi)，并針對(duì)一個(gè)分類(lèi)創(chuàng) 建一個(gè)任務(wù)。
4、 如權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于步驟(c)中， 根據(jù)數(shù)據(jù)指令對(duì)獲取的數(shù)據(jù)依次進(jìn)行過(guò)濾、連接和格式化整合，以得到同一 的數(shù)據(jù)結(jié)果集。
5、 一種網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備，其特征在于該設(shè)備包括調(diào)度器、工作引 擎和數(shù)據(jù)整合器，其中，調(diào)度器用于解析終端的數(shù)據(jù)源獲取請(qǐng)求，生成數(shù)據(jù)訪問(wèn)相關(guān)的工作指令 和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令，并分別下發(fā)給工作引擎和數(shù)據(jù)整合器，且將返 回的數(shù)據(jù)結(jié)果集封裝為數(shù)據(jù)源返回給終端用戶(hù)；工作引擎用于根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)獲取數(shù)據(jù)；數(shù)據(jù)整合器用于根據(jù)數(shù)據(jù)指令，將獲得的數(shù)據(jù)整合成統(tǒng)一格式的數(shù)據(jù)結(jié) 果集，并返回調(diào)度器。
6、 如權(quán)利要求5所述的設(shè)備，其特征在于該設(shè)備還包括存儲(chǔ)器，用于存儲(chǔ)預(yù)先設(shè)定的若干個(gè)配置文件，配置文件的內(nèi)容包括網(wǎng)絡(luò)上處于不同位 置的數(shù)據(jù)獲取方法及數(shù)據(jù)連接和過(guò)濾規(guī)則及最終生成的數(shù)據(jù)集格式。
7、 如權(quán)利要求6所述的設(shè)備，其特征在于調(diào)度器包括配置文件獲取 模塊、配置文件解析模塊和數(shù)據(jù)源封裝模塊，其中，配置文件獲取模塊，用于接收終端數(shù)據(jù)源獲取請(qǐng)求，并根據(jù)該請(qǐng)求包含 的信息，查找到對(duì)應(yīng)的配置文件；配置文件解析模塊，解析獲取的配置文件的內(nèi)容，得到數(shù)據(jù)訪問(wèn)的相關(guān) 信息和數(shù)據(jù)整合的相關(guān)信息，再分別轉(zhuǎn)化為工作引擎可識(shí)別處理的工作指令 和數(shù)據(jù)整合器可識(shí)別處理的數(shù)據(jù)指令，并將這兩部分內(nèi)容分別發(fā)送給工作引 擎和數(shù)據(jù)整合器；數(shù)據(jù)集封裝模塊用于將獲取的數(shù)據(jù)結(jié)果集進(jìn)行封裝，把數(shù)據(jù)集轉(zhuǎn)換為一 個(gè)數(shù)據(jù)源，以一個(gè)數(shù)據(jù)源的形式返回給終端，并提供訪問(wèn)數(shù)據(jù)記錄的接口方法。
8、 如權(quán)利要求5至7中任一項(xiàng)所述的設(shè)備，其特征在于工作引擎包 括指令接收模塊、指令分析模塊及數(shù)據(jù)獲取模塊，其中指令接收模塊用于接收工作指令，把指令進(jìn)行緩存，直到所有的指令接 收完畢，把這些指令傳遞給指令分析模塊；指令分析模塊用于對(duì)接收到的指令進(jìn)行歸類(lèi)處理；數(shù)據(jù)獲取模塊，根據(jù)歸類(lèi)后信息查找存儲(chǔ)的指令，獲取數(shù)據(jù)訪問(wèn)方法， 并根據(jù)取到的指令創(chuàng)建數(shù)據(jù)獲取任務(wù)， 一個(gè)歸類(lèi)對(duì)應(yīng)一個(gè)任務(wù)，其中設(shè)定獲 取數(shù)據(jù)的相應(yīng)資源以及操作步驟，任務(wù)準(zhǔn)備就緒后啟動(dòng)任務(wù)。
9、 如權(quán)利要求8所述的設(shè)備，其特征在于指令分析模塊歸類(lèi)的依據(jù) 是指令序列網(wǎng)絡(luò)地址和文件格式。
10、 如權(quán)利要求5至7中任一項(xiàng)所述的設(shè)備，其特征在于數(shù)據(jù)整合 器包括指令接收模塊、指令分類(lèi)模塊、數(shù)據(jù)集接收模塊和數(shù)據(jù)集處理模塊， 其中指令接收模塊用于接收調(diào)度器的數(shù)據(jù)指令，加以存儲(chǔ)；指令分類(lèi)模塊用于將接收到的指令根據(jù)數(shù)據(jù)指令的功能進(jìn)行分類(lèi)，轉(zhuǎn)換 為對(duì)應(yīng)的處理規(guī)則，包括數(shù)據(jù)過(guò)濾規(guī)則，數(shù)據(jù)連接規(guī)則和數(shù)據(jù)集格式；數(shù)據(jù)集接收模塊收到工作引擎的通知后用于接收所有數(shù)據(jù)結(jié)果集；數(shù)據(jù)集處理模塊用于對(duì)數(shù)據(jù)集進(jìn)行過(guò)濾、連接和格式化，具體的，依次 取出數(shù)據(jù)集，查找對(duì)應(yīng)的數(shù)據(jù)過(guò)濾規(guī)則，對(duì)于該數(shù)據(jù)進(jìn)行過(guò)濾處理，過(guò)濾后 的結(jié)果形成一個(gè)臨時(shí)數(shù)據(jù)集，當(dāng)所有的數(shù)據(jù)集都完成過(guò)濾后，再根據(jù)連接規(guī) 則，對(duì)過(guò)濾后的臨時(shí)數(shù)據(jù)集進(jìn)行連接處理，直到形成一個(gè)完整的數(shù)據(jù)集，根 據(jù)定義的數(shù)據(jù)結(jié)構(gòu)，把該數(shù)據(jù)集進(jìn)行格式轉(zhuǎn)換，完成后把數(shù)據(jù)集傳遞給調(diào)度 器。
全文摘要
本發(fā)明提供了一種網(wǎng)絡(luò)數(shù)據(jù)集中設(shè)備和方法，該設(shè)備包括調(diào)度器、工作引擎和數(shù)據(jù)整合器，其中，調(diào)度器用于解析終端的數(shù)據(jù)源獲取請(qǐng)求，生成數(shù)據(jù)訪問(wèn)相關(guān)的工作指令和數(shù)據(jù)整合相關(guān)的數(shù)據(jù)指令，并分別下發(fā)給工作引擎和數(shù)據(jù)整合器，且將返回的數(shù)據(jù)結(jié)果集封裝為數(shù)據(jù)源返回給終端用戶(hù)；工作引擎用于根據(jù)工作指令，創(chuàng)建并啟動(dòng)相應(yīng)的任務(wù)獲取數(shù)據(jù)；數(shù)據(jù)整合器用于根據(jù)數(shù)據(jù)指令，將獲得的數(shù)據(jù)整合成統(tǒng)一格式的數(shù)據(jù)結(jié)果集，并返回調(diào)度器。本發(fā)明設(shè)備和方法可以使得用戶(hù)不用關(guān)心數(shù)據(jù)如何集成，減少了開(kāi)發(fā)者的工作量，同時(shí)整個(gè)裝置可以方便的集成到其它系統(tǒng)中，具有較強(qiáng)的靈活性和可擴(kuò)展性。
文檔編號(hào)G06F17/30GK101216839SQ20081000410
公開(kāi)日2008年7月9日 申請(qǐng)日期2008年1月17日 優(yōu)先權(quán)日2008年1月17日
發(fā)明者劍 熊 申請(qǐng)人:中興通訊股份有限公司