本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體地說是一種實(shí)用性強(qiáng)、基于kettle的web端交換管理方法。

背景技術(shù)：

如今，科技的迅猛發(fā)展以及信息化的不斷推進(jìn)，人類的數(shù)據(jù)量呈爆炸性增長，數(shù)據(jù)所蘊(yùn)含的價(jià)值也日益得到重視，一個(gè)大規(guī)模共享和應(yīng)用的時(shí)代已開啟。實(shí)現(xiàn)數(shù)據(jù)共享，可以使更多的人充分的使用已有的數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復(fù)性勞動(dòng)和費(fèi)用，降低了社會(huì)成本。由于數(shù)據(jù)來源的不同，導(dǎo)致數(shù)據(jù)質(zhì)量、數(shù)據(jù)格式和數(shù)據(jù)內(nèi)容千差萬別，有時(shí)會(huì)遇到無法轉(zhuǎn)換或者轉(zhuǎn)換后信息丟失等棘手問題，嚴(yán)重阻礙了數(shù)據(jù)在各團(tuán)體以及各系統(tǒng)之間的共享。

kettle作為為數(shù)不多的開源etl工具，以其強(qiáng)大的數(shù)據(jù)抽取、轉(zhuǎn)換和加載能力，友好的圖形界面，豐富的數(shù)據(jù)倉庫適配，大數(shù)據(jù)的支持，高效的執(zhí)行效率，可擴(kuò)展性等優(yōu)點(diǎn)得到了廣泛的應(yīng)用。但kettle在面對(duì)多個(gè)轉(zhuǎn)換與任務(wù)的管理時(shí)顯得力不從心，同時(shí)kettle的使用者往往會(huì)在kettle與其他一個(gè)和多個(gè)系統(tǒng)之間頻繁切換，增加了工作的復(fù)雜性，降低了工作效率。

針對(duì)這一情況，現(xiàn)提供一種基于kettle的web端交換管理方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的技術(shù)任務(wù)是針對(duì)以上不足之處，提供一種實(shí)用性強(qiáng)、基于kettle的web端交換管理方法。

一種基于kettle的web端交換管理方法，其實(shí)現(xiàn)過程為：

首先創(chuàng)建數(shù)據(jù)庫；

啟動(dòng)kettle，創(chuàng)建數(shù)據(jù)庫資源庫，指向數(shù)據(jù)庫；

新建web工程，將數(shù)據(jù)源信息配置為上述步驟中創(chuàng)建的數(shù)據(jù)庫；

創(chuàng)建kettle核心腳本的pojo對(duì)象，創(chuàng)建pojo的curd操作工具類以及運(yùn)行操作的工具類；

創(chuàng)建前臺(tái)頁面。

通過kettle的數(shù)據(jù)庫資源庫指向數(shù)據(jù)庫的過程為：

首先創(chuàng)建數(shù)據(jù)庫，將與之對(duì)應(yīng)的jdbc驅(qū)動(dòng)包放置在kettle的目錄下，然后啟動(dòng)kettle；

新建數(shù)據(jù)庫資源庫，新增數(shù)據(jù)庫連接，在數(shù)據(jù)庫連接頁面，填寫數(shù)據(jù)庫的信息、資源庫名稱，完成數(shù)據(jù)庫資源庫的配置，并進(jìn)行初始化操作，將kettle數(shù)據(jù)庫資源庫所依賴的表和數(shù)據(jù)初始化到數(shù)據(jù)庫中。

新建web工程的具體過程為，引入kettle依賴jar包c(diǎn)ore、engine、ui、dbdialog四個(gè)jar包，并將數(shù)據(jù)源配置為kettle資源庫對(duì)應(yīng)的數(shù)據(jù)庫信息，完成web工程的基礎(chǔ)環(huán)境配置。

所述建立數(shù)據(jù)持久化對(duì)象pojo過程為，建立數(shù)據(jù)庫操作工具類，分別完成對(duì)持久化對(duì)象的curd操作，以此完成kettle轉(zhuǎn)換與作業(yè)的基礎(chǔ)信息配置；建立運(yùn)行操作工具類，調(diào)用kettle的api，實(shí)現(xiàn)對(duì)轉(zhuǎn)換、作業(yè)的運(yùn)行的啟停操作，運(yùn)行參數(shù)配置操作，日志收集操作。

在建立前臺(tái)頁面后，通過該前臺(tái)頁面，借助后臺(tái)工具類，進(jìn)行轉(zhuǎn)換、作業(yè)的基礎(chǔ)屬性配置，轉(zhuǎn)換、作業(yè)的單個(gè)和批量啟停、運(yùn)行參數(shù)配置，轉(zhuǎn)換、作業(yè)運(yùn)行狀態(tài)的實(shí)時(shí)查看，歷史運(yùn)行軌跡查看，轉(zhuǎn)換、作業(yè)的查詢。

本發(fā)明的一種基于kettle的web端交換管理方法，具有以下優(yōu)點(diǎn)：

本發(fā)明的一種基于kettle的web端交換管理方法，把kettle中的轉(zhuǎn)換、作業(yè)的基礎(chǔ)屬性配置，運(yùn)行管理與配置從kettle中剝離，使經(jīng)常性的操作無需kettle啟動(dòng)即可完成，無需在多個(gè)系統(tǒng)之間進(jìn)行切換，同時(shí)方便了轉(zhuǎn)換、作業(yè)的批量管理，簡化了工作，提高了工作效率，本發(fā)明將kettle中的常用的基礎(chǔ)操作從kettle中分離出來，使得kettle中轉(zhuǎn)換與作業(yè)更易于管理，增強(qiáng)交換操作易用性以及用戶體驗(yàn)性，實(shí)用性強(qiáng)，適用范圍廣泛，易于推廣。

附圖說明

為了更清楚的說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

附圖1為本發(fā)明的實(shí)現(xiàn)流程圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如附圖1所示，一種基于kettle的web端交換管理方法，依托于kettle的數(shù)據(jù)庫資源庫，將kettle中兩種核心腳本文件轉(zhuǎn)換與作業(yè)的基礎(chǔ)屬性配置、運(yùn)行配置管理，數(shù)據(jù)庫連接的管理以及集群子服務(wù)器的管理從kettle中剝離，kettle僅負(fù)責(zé)轉(zhuǎn)換與作業(yè)的gui圖形操作。

其實(shí)現(xiàn)過程為：

首先創(chuàng)建數(shù)據(jù)庫；

啟動(dòng)kettle，創(chuàng)建數(shù)據(jù)庫資源庫，指向數(shù)據(jù)庫；

新建web工程，將數(shù)據(jù)源信息配置為上述步驟中創(chuàng)建的數(shù)據(jù)庫；

創(chuàng)建kettle核心腳本的pojo對(duì)象，創(chuàng)建pojo的curd操作工具類以及運(yùn)行操作的工具類；

創(chuàng)建前臺(tái)頁面。

更為具體的，本發(fā)明的實(shí)現(xiàn)過程為：

1）創(chuàng)建數(shù)據(jù)庫，將與之對(duì)應(yīng)的jdbc驅(qū)動(dòng)包放置kettle的lib目錄下，啟動(dòng)kettle。

2）在完成以上技術(shù)方案的基礎(chǔ)上，新建數(shù)據(jù)庫資源庫，新增數(shù)據(jù)庫連接，在數(shù)據(jù)庫連接頁面，填寫上步中數(shù)據(jù)庫的信息，填寫資源庫名稱，完成數(shù)據(jù)庫資源庫的配置，并進(jìn)行初始化操作，將kettle數(shù)據(jù)庫資源庫所依賴的表和數(shù)據(jù)初始化到數(shù)據(jù)庫中。

3）在完成以上技術(shù)方案的基礎(chǔ)上，新建web工程，引入kettle依賴jar包c(diǎn)ore、engine、ui、dbdialog四個(gè)jar包，并將數(shù)據(jù)源配置為kettle資源庫對(duì)應(yīng)的數(shù)據(jù)庫信息，完成web工程的基礎(chǔ)環(huán)境配置。

4）在完成以上技術(shù)方案的基礎(chǔ)上，建立kettle核心表r_job、r_job_attribute、r_cluster、r_cluster_slave、r_database、r_database_attribute、r_database_type、r_transformation、r_trans_attribute的核心數(shù)據(jù)持久化對(duì)象pojo。建立數(shù)據(jù)庫操作工具類，分別完成對(duì)持久化對(duì)象的curd操作，以此完成kettle轉(zhuǎn)換與作業(yè)的基礎(chǔ)信息配置。建立運(yùn)行操作工具類，調(diào)用kettle的api，實(shí)現(xiàn)對(duì)轉(zhuǎn)換、作業(yè)的運(yùn)行的啟停操作，運(yùn)行參數(shù)配置操作，日志收集操作。

5）在完成以上技術(shù)方案的基礎(chǔ)上，建立前臺(tái)頁面，借助后臺(tái)工具類，實(shí)現(xiàn)轉(zhuǎn)換、作業(yè)的基礎(chǔ)屬性配置，轉(zhuǎn)換、作業(yè)的單個(gè)和批量啟停、運(yùn)行參數(shù)配置，轉(zhuǎn)換、作業(yè)運(yùn)行狀態(tài)的實(shí)時(shí)查看，歷史運(yùn)行軌跡查看，轉(zhuǎn)換、作業(yè)的查詢。

借助該工具，可以實(shí)現(xiàn)在web系統(tǒng)中完成kettle中轉(zhuǎn)換屬性與job屬性的配置以及配置的修改，轉(zhuǎn)換與作業(yè)運(yùn)行參數(shù)的配置以及單個(gè)轉(zhuǎn)換與作業(yè)的啟停和批量啟停；數(shù)據(jù)庫連接的新增、刪除和修改；子服務(wù)器的新增、刪除以及修改。轉(zhuǎn)換以及作業(yè)的運(yùn)行狀態(tài)的實(shí)時(shí)查看，歷史運(yùn)行日志的查看。支持轉(zhuǎn)換與作業(yè)的查詢。

上述具體實(shí)施方式僅是本發(fā)明的具體個(gè)案，本發(fā)明的專利保護(hù)范圍包括但不限于上述具體實(shí)施方式，任何符合本發(fā)明的一種基于kettle的web端交換管理方法的權(quán)利要求書的且任何所述技術(shù)領(lǐng)域的普通技術(shù)人員對(duì)其所做的適當(dāng)變化或替換，皆應(yīng)落入本發(fā)明的專利保護(hù)范圍。