專利名稱：：一種數(shù)據(jù)采集裝置和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及通信
技術(shù)領(lǐng)域：
，尤其涉及一種數(shù)據(jù)采集裝置和方法。
背景技術(shù)：
：在現(xiàn)有的數(shù)據(jù)采集裝置中，都是以固定方式采集固定的數(shù)據(jù)庫(kù)和表。具體地，現(xiàn)有的數(shù)據(jù)采集裝置和方法一般都根據(jù)數(shù)據(jù)庫(kù)中表格的具體形式以及具體的數(shù)據(jù)采集操作，采用SQL語(yǔ)言等用于實(shí)現(xiàn)數(shù)據(jù)采集的語(yǔ)言編寫相應(yīng)的數(shù)據(jù)采集程序，利用該確定的數(shù)據(jù)采集程序進(jìn)行數(shù)據(jù)采集?？梢?jiàn)，現(xiàn)有的數(shù)據(jù)采集裝置和方法不能靈活的適應(yīng)數(shù)據(jù)導(dǎo)入導(dǎo)出操作變化的情況，靈活性較差。另外，現(xiàn)有的數(shù)據(jù)庫(kù)數(shù)據(jù)采集裝置和方法，都是針對(duì)特定的數(shù)據(jù)庫(kù)類型，特定的數(shù)據(jù)庫(kù)接口，實(shí)現(xiàn)數(shù)據(jù)的采集操作。因此，針對(duì)不同類型的源數(shù)據(jù)庫(kù)或目的數(shù)據(jù)庫(kù)，需要開(kāi)發(fā)對(duì)應(yīng)的數(shù)據(jù)采集裝置和方法。數(shù)據(jù)采集裝置和方法的擴(kuò)展性也較差。
發(fā)明內(nèi)容有鑒于此，本發(fā)明提供了一種數(shù)據(jù)采集裝置和方法，以便提高數(shù)據(jù)采集的靈活性。本發(fā)明采用的技術(shù)方案具體是這樣實(shí)現(xiàn)的一種數(shù)據(jù)采集裝置，該裝置包括變量存儲(chǔ)模塊、配置模塊和執(zhí)行模塊；所述變量存儲(chǔ)模塊，用于存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量；所述配置模塊，用于配置需要執(zhí)行的數(shù)據(jù)采集操作的參數(shù)；所述執(zhí)行模塊，用于根據(jù)所述配置模塊的配置信息，從所述變量存儲(chǔ)模塊獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。一種數(shù)據(jù)采集方法，該方法包括預(yù)先存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量；獲取需要執(zhí)行的數(shù)據(jù)采集操作的配置信息；根據(jù)所述配置信息獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列；通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。由上述技術(shù)方案可見(jiàn)，本發(fā)明預(yù)先存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量，獲取需要執(zhí)行的數(shù)據(jù)采集操作的配置信息，通過(guò)獲取需要執(zhí)行的數(shù)據(jù)采集操作對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。由于本發(fā)明是根據(jù)當(dāng)前需要執(zhí)行的數(shù)據(jù)采集操作來(lái)獲取對(duì)應(yīng)的變量，然后根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系對(duì)獲取的變量進(jìn)行處理來(lái)得到數(shù)據(jù)采集語(yǔ)句序列，因此，在需要執(zhí)行的數(shù)據(jù)操作發(fā)生變化時(shí)，只需要更改相應(yīng)的配置信息即可，不需要重新編寫進(jìn)行數(shù)據(jù)采集的軟件，使得數(shù)據(jù)采集裝置和方法能夠適應(yīng)各種數(shù)據(jù)采集操作，大大提高了數(shù)據(jù)采集的靈活性。圖1是本發(fā)明提供的數(shù)據(jù)采集裝置結(jié)構(gòu)圖。圖2是本發(fā)明提供的數(shù)據(jù)采集方法流程圖。具體實(shí)施例方式圖1是本發(fā)明提供的數(shù)據(jù)采集裝置結(jié)構(gòu)圖。如圖1所示，該裝置包括變量存儲(chǔ)模塊101、配置模塊102和執(zhí)行模塊103。變量存儲(chǔ)模塊101，用于存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量。配置模塊102，用于配置需要執(zhí)行的數(shù)據(jù)采集操作的參數(shù)。執(zhí)行模塊103，用于根據(jù)配置模塊102的配置信息，從變量存儲(chǔ)模塊101獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。其中的執(zhí)行模塊103可以包括數(shù)據(jù)采集語(yǔ)句序列生成模塊和數(shù)據(jù)采集模塊。所述數(shù)據(jù)采集語(yǔ)句序列生成模塊，用于根據(jù)所述配置模塊的配置信息，從所述變量存儲(chǔ)模塊獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列。所述數(shù)據(jù)采集模塊，用于通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。其中，變量存儲(chǔ)模塊101可以包括第一存儲(chǔ)模塊，用于存儲(chǔ)執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量。第二存儲(chǔ)模塊，用于存儲(chǔ)執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量。第三存儲(chǔ)模塊，用于存儲(chǔ)對(duì)所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量和/或數(shù)據(jù)進(jìn)行邏輯處理的變量。其中，第一存儲(chǔ)模塊和第二存儲(chǔ)模塊中存儲(chǔ)的變量一般是采用SQL等數(shù)據(jù)采集語(yǔ)言實(shí)現(xiàn)的變量。第三存儲(chǔ)模塊中存儲(chǔ)的所述進(jìn)行邏輯處理的變量可以稱之為輔助變量，其能夠完成SQL等數(shù)據(jù)采集語(yǔ)言無(wú)法完成的邏輯處理。通過(guò)所述輔助變量連接執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量和執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量，可以實(shí)現(xiàn)SQL等數(shù)據(jù)采集語(yǔ)言無(wú)法完成的復(fù)雜度較高的數(shù)據(jù)采集操作。其中，進(jìn)行邏輯處理的變量可以包括但不限于以下的變量SQL類變量，用于將返回值付給預(yù)定變量。存儲(chǔ)類變量，用于將上一次計(jì)算出的變量值保存到預(yù)定文件中。字符串類變量，用于制定含有變量的字符串。計(jì)算表達(dá)式類變量，用于對(duì)多個(gè)變量進(jìn)行算術(shù)運(yùn)算來(lái)計(jì)算出最終結(jié)果，將計(jì)算出的最終結(jié)果付給預(yù)定變量。邏輯表達(dá)式類變量，用于計(jì)算邏輯表達(dá)式。時(shí)間格式類變量，用于按照預(yù)定時(shí)間格式存儲(chǔ)時(shí)間信息。其中，執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量一般是SQL語(yǔ)句，包括選擇語(yǔ)句和/或查詢復(fù)合語(yǔ)句。該執(zhí)行數(shù)據(jù)導(dǎo)出操作SQL中的變量的字段名、表名和條件語(yǔ)句中都可以配置輔助變量，以便完成邏輯上較復(fù)雜的數(shù)據(jù)導(dǎo)出操作。導(dǎo)出SQL語(yǔ)句導(dǎo)出的數(shù)據(jù)一般以數(shù)組鏈表的形式存在內(nèi)存中，以便提高導(dǎo)入數(shù)據(jù)的效率。執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量一般也是SQL語(yǔ)句，例如可以是插入語(yǔ)句(insert)語(yǔ)句，在insert語(yǔ)句前后還可以執(zhí)行如刪除、一次性刪除(TRUNCATE)、更新或存儲(chǔ)等不返回?cái)?shù)據(jù)的語(yǔ)句，以便完成完整的入庫(kù)處理邏輯?？梢?jiàn)，由于本發(fā)明是根據(jù)當(dāng)前需要執(zhí)行的數(shù)據(jù)采集操作來(lái)獲取對(duì)應(yīng)的變量，然后根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系對(duì)獲取的變量進(jìn)行處理來(lái)得到數(shù)據(jù)采集語(yǔ)句序列，因此，在需要執(zhí)行的數(shù)據(jù)操作發(fā)生變化時(shí)，只需要更改當(dāng)前需要執(zhí)行的數(shù)據(jù)采集操作的配置信息即可，不需要重新編寫進(jìn)行數(shù)據(jù)采集的軟件，使得數(shù)據(jù)采集裝置和方法能夠適應(yīng)各種數(shù)據(jù)采集操作，大大提高了數(shù)據(jù)采集的靈活性。為了進(jìn)一步提高數(shù)據(jù)采集方法的靈活性，使其能夠適用于多種源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)，具有良好的可擴(kuò)展性，本發(fā)明進(jìn)一步提出配置模塊102還可以進(jìn)一步包括用于配置源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式的模塊。相應(yīng)地，數(shù)據(jù)采集執(zhí)行模塊103還包括一模塊，用于根據(jù)配置模塊102中配置的源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式建立與源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)的連接。配置模塊102還可以進(jìn)一步包括用于配置變量存儲(chǔ)模塊101的路徑名的模塊，相應(yīng)地，數(shù)據(jù)采集執(zhí)行模塊103還包括用于根據(jù)所述路徑名查找變量存儲(chǔ)模塊101的模塊?？梢?jiàn)，本發(fā)明提供的數(shù)據(jù)采集裝置實(shí)現(xiàn)了與數(shù)據(jù)庫(kù)類型的解耦，提高了數(shù)據(jù)采集裝置的擴(kuò)展性當(dāng)需要針對(duì)不同連接方式的數(shù)據(jù)庫(kù)時(shí)，不需要重新開(kāi)發(fā)數(shù)據(jù)采集裝置，只需配置本發(fā)明提供的數(shù)據(jù)采集裝置中的數(shù)據(jù)庫(kù)連接方式(一般以連接串的形式存儲(chǔ))即可，例如，本發(fā)明的數(shù)據(jù)采集裝置可以提供基于PERL的DBI接口，然后根據(jù)數(shù)據(jù)庫(kù)類型等環(huán)境變量，加載針對(duì)不同數(shù)據(jù)庫(kù)系統(tǒng)的驅(qū)動(dòng)，從而自動(dòng)地連接不同的數(shù)據(jù)庫(kù)。在本發(fā)明的優(yōu)選實(shí)施例中，配置模塊102可以包含多個(gè)配置項(xiàng)，下面針對(duì)比較重要的配置項(xiàng)進(jìn)行說(shuō)明SRC_DB_DSN:配置需要導(dǎo)出數(shù)據(jù)的源數(shù)據(jù)庫(kù)的連接方式，這里可以根據(jù)不同類型、不同數(shù)據(jù)庫(kù)實(shí)例，預(yù)先配置不同的數(shù)據(jù)庫(kù)連接串和驅(qū)動(dòng)，串的書寫方式和標(biāo)準(zhǔn)的命令行連接數(shù)據(jù)庫(kù)一致。SRC_DB_USER、SRC_DB_PASSWD連接源數(shù)據(jù)庫(kù)的用戶名和密碼。DES_DB_DSN和上面SRC_DB_DSN類似，DES_DB_DSN是連接要導(dǎo)入數(shù)據(jù)的目的數(shù)據(jù)庫(kù)的連接串。VARS_DEF_FILE這個(gè)配置項(xiàng)就是指定出變量存儲(chǔ)模塊101的路徑名。以便找到具體的變量存儲(chǔ)文件。SELECT_SQL_VAR_NAME配置導(dǎo)出數(shù)據(jù)的SQL語(yǔ)句的變量名，以便找到導(dǎo)出數(shù)據(jù)的SQL語(yǔ)句。INPUT_SQL_VAR_NAME配置導(dǎo)入數(shù)據(jù)的SQL語(yǔ)句的變量名，以便找到采集數(shù)據(jù)的SQL語(yǔ)句。6ONLY_RESULT_SET_INDEX如果數(shù)據(jù)讀取語(yǔ)句返回多個(gè)結(jié)果集合，使用這個(gè)選項(xiàng)能指定處理哪個(gè)結(jié)果集合。LOGING、L0G_TYPE、L0G_FILE日志相關(guān)的配置，包括是否記錄日志，記錄日志的形式(例如替換日志、追加日志等)以及日志路徑名。P0ST_C0MMIT_CMD這里可以定義每次程序被調(diào)用執(zhí)行后執(zhí)行的命令行。這里可調(diào)用其他的系統(tǒng)命令或者自定義的程序命令行。除了以上一些主要或常用到的配置項(xiàng)，還有一些例如指定大小寫、指定數(shù)據(jù)插入時(shí)間間隔的配置，總之，通過(guò)配置模塊102可以實(shí)現(xiàn)靈活的配置，以完成不同的數(shù)據(jù)采集任務(wù)。其中的變量存儲(chǔ)模塊101使用迷你語(yǔ)言(mini-language)、即起配置作用的不完整語(yǔ)言的設(shè)計(jì)思想，通過(guò)將存儲(chǔ)的變量劃分為輔助變量、導(dǎo)出數(shù)據(jù)的SQL語(yǔ)句和導(dǎo)入數(shù)據(jù)的SQL語(yǔ)句，使得通過(guò)靈活配置輔助變量、導(dǎo)出數(shù)據(jù)的SQL語(yǔ)句和導(dǎo)入數(shù)據(jù)的SQL語(yǔ)句，實(shí)現(xiàn)靈活采集數(shù)據(jù)庫(kù)的目的，即能夠靈活地執(zhí)行不同的數(shù)據(jù)采集任務(wù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的不同采集操作。其中的輔助變量起到很重要的作用，是靈活處理數(shù)據(jù)導(dǎo)出和導(dǎo)入的關(guān)鍵所在，通過(guò)這些輔助變量的組合應(yīng)用，能夠完成SQL等數(shù)據(jù)采集語(yǔ)言不能完成的邏輯處理，提高數(shù)據(jù)采集邏輯處理的靈活性。下面舉幾個(gè)典型的輔助變量進(jìn)行說(shuō)明SQL類變量這類變量一般是通過(guò)配置一個(gè)選擇(select)語(yǔ)句，將返回值付給相應(yīng)的變量。當(dāng)然這里要求這個(gè)select語(yǔ)句只返回一個(gè)字段一個(gè)值。SAV類變量格式為Wvaluejame]？defaultjalue，其作用是將上次計(jì)算出的變量值，保存到一個(gè)特定的變量文件里面。SAV類變量將上次計(jì)算出的變量值存到特定的變量文件中以后，在下一周期該SAV類變量被調(diào)用時(shí)讀取該上次計(jì)算出的變量值。SAV類變量典型的應(yīng)用是，如果想獲取某個(gè)表的最新數(shù)據(jù)，則通過(guò)上次保存該表的時(shí)間，就可以方便的查出從上次保存時(shí)間之后入表的新數(shù)據(jù)。STR類變量這種變量是制定含有變量的字符串。很多時(shí)候?qū)С鯯QL語(yǔ)句和導(dǎo)入SQL語(yǔ)句都會(huì)用到變量，通過(guò)STR類變量可以靈活地改變導(dǎo)出SQL語(yǔ)句和導(dǎo)入SQL語(yǔ)句中用到的處理邏輯，從而實(shí)現(xiàn)靈活配置導(dǎo)出SQL語(yǔ)句和導(dǎo)入SQL語(yǔ)句。EXP類變量計(jì)算表達(dá)式類的變量，此類變量可以通過(guò)各種變量的算術(shù)運(yùn)算來(lái)計(jì)算出最終結(jié)果，賦值給相應(yīng)的變量。CON類變量邏輯表達(dá)式計(jì)算的變量。另外還有時(shí)間格式類變量，通過(guò)這些輔助變量的組合應(yīng)用，能夠達(dá)到很靈活的數(shù)據(jù)采集邏輯的處理。圖2是本發(fā)明提供的數(shù)據(jù)采集方法流程圖。如圖2所示，該方法包括步驟201，預(yù)先存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量。步驟202，獲取需要執(zhí)行的數(shù)據(jù)采集操作的配置信息。步驟203，根據(jù)所述配置信息獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列。步驟204，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。圖2所示方法中，步驟201是預(yù)先完成的準(zhǔn)備工作，每次一般從步驟202或步驟204開(kāi)始執(zhí)行數(shù)據(jù)采集任務(wù)，具體地，如果當(dāng)前需要執(zhí)行的數(shù)據(jù)采集任務(wù)的數(shù)據(jù)采集語(yǔ)句序列還沒(méi)有生成，則從步驟202開(kāi)始執(zhí)行，通過(guò)步驟202-203生成所述語(yǔ)句序列，后續(xù)執(zhí)行該數(shù)據(jù)采集任務(wù)時(shí)，可以直接執(zhí)行步驟204。其中，所述各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量包括執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量、執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、以及對(duì)所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量和/或數(shù)據(jù)進(jìn)行邏輯處理的變量。所述進(jìn)行邏輯處理的變量包括SQL類變量，用于將返回值付給預(yù)定變量；和/或，存儲(chǔ)類變量，用于將上一次計(jì)算出的變量值保存到預(yù)定文件中；和/或，字符串類變量，用于制定含有變量的字符串；和/或，計(jì)算表達(dá)式類變量，用于對(duì)多個(gè)變量進(jìn)行算術(shù)運(yùn)算來(lái)計(jì)算出最終結(jié)果，將計(jì)算出的最終結(jié)果付給預(yù)定變量；和/或，邏輯表達(dá)式類變量，用于計(jì)算邏輯表達(dá)式；和/或，時(shí)間格式類變量，用于按照預(yù)定時(shí)間格式存儲(chǔ)時(shí)間信息。所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量一般是SQL語(yǔ)句，包括選擇語(yǔ)句和/或查詢復(fù)合語(yǔ)句，該執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量的字段名、標(biāo)明和where條件中能夠配置所述進(jìn)行邏輯處理的變量。所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量一般也是SQL語(yǔ)句，包括插入語(yǔ)句、刪除語(yǔ)句和/或更新語(yǔ)句。為了提高數(shù)據(jù)采集方法的可擴(kuò)展性，圖2所示方法還可以包括獲取源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式的配置信息，根據(jù)配置的源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式建立與源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)的連接。下面舉一個(gè)比較典型的數(shù)據(jù)采集的例子對(duì)本發(fā)明進(jìn)行示例性說(shuō)明，其中關(guān)于配置模塊和變量存儲(chǔ)模塊不贅述，重點(diǎn)對(duì)執(zhí)行模塊進(jìn)行詳細(xì)介紹。作為示例性地，執(zhí)行模塊中存儲(chǔ)有如下的程序$col_timesql；src=selectto_date(sysdate,‘yy-mm-ddhh24miss')fromdual$max_timesqlsrc=selectmax(org_time)fromprovup.iptcn_error_return$last_max_time:sav=[$max_time]；2007-05-501:01:01$int_id:sql；des=selectipf_get_int_id('B0SS_ACC0UNT_PROVUP-FILE')fromdual$select_sql:str=SELECTmax(org_time)as0RG_TIME,\sysdateasC0L_TIME,\'10.70.60.36'asIp_Addr,\'99'asuser_name,\'99'astable_name,\'99'asexpression,\count(*)asresult—number，\'[$int_id]'asint_id\FROMprovup.iptcn_error_return\whereorg_time>to_date('[$last_max_time]','yyyy-mm-ddhh24:mi:ss')\$input_sql:str=insertintoipnms.Iptpc_db_shengbu_jiankong(\0RG_TIME,\C0L_TIME,\IP_ADDR，\USER_NAME,\TABLE_NAME,\EXPRESSION,\RESULT_NUMBER,\INDB_TIME,\INT_ID\)\values(\to_date([#Col_Time],'yyyy-mm-ddhh24:mi:ss')，\to_date([#Col_Time],'yyyy-mm-ddhh24:mi:ss')，\[#IP_ADDR],\[#USER_NAME]，\[#TABLE_NAME],\[EXPRESSION],\[#RESULT_NUMBER]，\to_date([#INSERT_TIME],'yyyy-mm-ddhh24:mi:ss')，\[#int_id])\該執(zhí)行模塊的執(zhí)行流程如下執(zhí)行模塊先計(jì)算上面程序開(kāi)始幾行定義的變量，這些變量包含較多輔助變量，例如sql類變量(:Sql)、SaV類變量(:SaV)等，另外變量后面的"src"或者"des"標(biāo)明變量是在源數(shù)據(jù)庫(kù)上執(zhí)行或目標(biāo)數(shù)據(jù)庫(kù)上執(zhí)行。執(zhí)行模塊將這些變量“=”后面的表達(dá)式或者sql語(yǔ)句進(jìn)行計(jì)算執(zhí)行，將結(jié)果存到對(duì)應(yīng)變量的內(nèi)存中，以便下面執(zhí)行sql時(shí)，將含有變量的sql進(jìn)行轉(zhuǎn)換和拼接，最終形成可執(zhí)行的sql語(yǔ)句。其中，可以看出上面程序中的$SeleCt_Sql和$input_sql變量，就是定義了從源數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)的sql語(yǔ)句和將獲取的數(shù)據(jù)經(jīng)過(guò)處理并入到目標(biāo)數(shù)據(jù)庫(kù)的sql語(yǔ)句。語(yǔ)句中帶"□“的變量，就是需要上面計(jì)算后進(jìn)行替換的和拼接的變量，拼接后，就是一個(gè)完整的可以執(zhí)行的sql。之后，執(zhí)行模塊執(zhí)行$SeleCt_Sql變量定義的sql，將源數(shù)據(jù)庫(kù)的數(shù)據(jù)取出放到內(nèi)存中，然后根據(jù)$input_Sql變量定義的sql，將獲取的數(shù)據(jù)以目標(biāo)數(shù)據(jù)庫(kù)的格式，入到目標(biāo)數(shù)據(jù)庫(kù)中。這兩個(gè)變量分別可以是由多條sql語(yǔ)句組成，程序就會(huì)根據(jù)多條sql語(yǔ)句依次執(zhí)行完成。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。權(quán)利要求1.一種數(shù)據(jù)采集裝置，其特征在于，該裝置包括變量存儲(chǔ)模塊、配置模塊和執(zhí)行模塊；所述變量存儲(chǔ)模塊，用于存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量；所述配置模塊，用于配置需要執(zhí)行的數(shù)據(jù)采集操作的參數(shù)；所述執(zhí)行模塊，用于根據(jù)所述配置模塊的配置信息，從所述變量存儲(chǔ)模塊獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集裝置，其特征在于，所述執(zhí)行模塊包括數(shù)據(jù)采集語(yǔ)句序列生成模塊和數(shù)據(jù)采集模塊；所述數(shù)據(jù)采集語(yǔ)句序列生成模塊，用于根據(jù)所述配置模塊的配置信息，從所述變量存儲(chǔ)模塊獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列；所述數(shù)據(jù)采集模塊，用于通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集裝置，其特征在于，所述變量存儲(chǔ)模塊包括第一存儲(chǔ)模塊，用于存儲(chǔ)執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量；第二存儲(chǔ)模塊，用于存儲(chǔ)執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量；第三存儲(chǔ)模塊，用于存儲(chǔ)對(duì)所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量和/或數(shù)據(jù)進(jìn)行邏輯處理的變量。4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集裝置，其特征在于，所述進(jìn)行邏輯處理的變量包括SQL類變量，用于將返回值付給預(yù)定變量；和/或，存儲(chǔ)類變量，用于將上一次計(jì)算出的變量值保存到預(yù)定文件中；和/或，字符串類變量，用于制定含有變量的字符串；和/或，計(jì)算表達(dá)式類變量，用于對(duì)多個(gè)變量進(jìn)行算術(shù)運(yùn)算來(lái)計(jì)算出最終結(jié)果，將計(jì)算出的最終結(jié)果付給預(yù)定變量；和/或，邏輯表達(dá)式類變量，用于計(jì)算邏輯表達(dá)式；和/或，時(shí)間格式類變量，用于按照預(yù)定時(shí)間格式存儲(chǔ)時(shí)間信息。5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集裝置，其特征在于，所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量是SQL語(yǔ)句，包括選擇語(yǔ)句和/或查詢復(fù)合語(yǔ)句，該執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量的字段名、標(biāo)明和where條件中能夠配置所述進(jìn)行邏輯處理的變量；所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量是SQL語(yǔ)句，包括插入語(yǔ)句、刪除語(yǔ)句和/或更新語(yǔ)句。6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集裝置，其特征在于，所述配置模塊，進(jìn)一步包括用于配置源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式的模塊；所述數(shù)據(jù)采集執(zhí)行模塊，還包括一模塊，用于根據(jù)所述配置模塊中配置的源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式建立與源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)的連接。7.一種數(shù)據(jù)采集方法，其特征在于，該方法包括預(yù)先存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量；獲取需要執(zhí)行的數(shù)據(jù)采集操作的配置信息；根據(jù)所述配置信息獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列；通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)采集方法，其特征在于，所述各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量包括執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量、執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、以及對(duì)所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量、所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量和/或數(shù)據(jù)進(jìn)行邏輯處理的變量。9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)采集方法，其特征在于，所述進(jìn)行邏輯處理的變量包括SQL類變量，用于將返回值付給預(yù)定變量；和/或，存儲(chǔ)類變量，用于將上一次計(jì)算出的變量值保存到預(yù)定文件中；和/或，字符串類變量，用于制定含有變量的字符串；和/或，計(jì)算表達(dá)式類變量，用于對(duì)多個(gè)變量進(jìn)行算術(shù)運(yùn)算來(lái)計(jì)算出最終結(jié)果，將計(jì)算出的最終結(jié)果付給預(yù)定變量；和/或，邏輯表達(dá)式類變量，用于計(jì)算邏輯表達(dá)式；和/或，時(shí)間格式類變量，用于按照預(yù)定時(shí)間格式存儲(chǔ)時(shí)間信息。10.根據(jù)權(quán)利要求8所述的數(shù)據(jù)采集方法，其特征在于，所述執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量是SQL語(yǔ)句，包括選擇語(yǔ)句和/或查詢復(fù)合語(yǔ)句，該執(zhí)行數(shù)據(jù)導(dǎo)出操作的變量的字段名、標(biāo)明和where條件中能夠配置所述進(jìn)行邏輯處理的變量；所述執(zhí)行數(shù)據(jù)導(dǎo)入操作的變量是SQL語(yǔ)句，包括插入語(yǔ)句、刪除語(yǔ)句和/或更新語(yǔ)句。11.根據(jù)權(quán)利要求7所述的數(shù)據(jù)采集方法，其特征在于，該方法還包括獲取源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式的配置信息；根據(jù)配置的源數(shù)據(jù)庫(kù)連接方式和目的數(shù)據(jù)庫(kù)連接方式建立與源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)的連接。全文摘要本發(fā)明提供了一種數(shù)據(jù)采集裝置和方法。該裝置包括變量存儲(chǔ)模塊、配置模塊和執(zhí)行模塊；所述變量存儲(chǔ)模塊，用于存儲(chǔ)各種數(shù)據(jù)采集操作對(duì)應(yīng)的變量；所述配置模塊，用于配置需要執(zhí)行的數(shù)據(jù)采集操作的參數(shù)；所述執(zhí)行模塊，用于根據(jù)所述配置模塊的配置信息，從所述變量存儲(chǔ)模塊獲取對(duì)應(yīng)的變量，根據(jù)需要執(zhí)行的數(shù)據(jù)采集操作之間的關(guān)系，對(duì)獲取的各個(gè)變量進(jìn)行處理，得到數(shù)據(jù)采集語(yǔ)句序列，通過(guò)執(zhí)行所述語(yǔ)句序列完成數(shù)據(jù)采集操作。應(yīng)用本發(fā)明能夠提高數(shù)據(jù)采集的靈活性。文檔編號(hào)G06F17/30GK102456026SQ201010520820公開(kāi)日2012年5月16日申請(qǐng)日期2010年10月21日優(yōu)先權(quán)日2010年10月21日發(fā)明者余建利,張龍偉,陳勇申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)浙江有限公司