專利名稱:不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)及方法
技術(shù)領(lǐng)域:
本發(fā)明涉及數(shù)據(jù)的交換處理領(lǐng)域,特別是涉及具有不同數(shù)據(jù)格式的應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)及方法。
背景技術(shù):
在各種應(yīng)用領(lǐng)域,例如在銀行內(nèi)部,由于技術(shù)與業(yè)務(wù)需求的復(fù)雜性,部署了很多應(yīng)用系統(tǒng),包括營(yíng)業(yè)型應(yīng)用系統(tǒng)、管理型應(yīng)用系統(tǒng)、分析型應(yīng)用系統(tǒng)等。所述各應(yīng)用系統(tǒng)間的聯(lián)系非常密切,需要頻繁進(jìn)行數(shù)據(jù)交換。在多數(shù)情況下,每?jī)蓚€(gè)應(yīng)用系統(tǒng)間設(shè)置一種數(shù)據(jù)交換系統(tǒng),用來(lái)處理不同系統(tǒng)間的數(shù)據(jù)交換。但由于各應(yīng)用系統(tǒng)的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式等方面存在差異,所以不同系統(tǒng)間進(jìn)行數(shù)據(jù)交換的方式也各異,造成銀行內(nèi)部的數(shù)據(jù)交換處于混亂無(wú)序狀態(tài)。
一方面,兩個(gè)應(yīng)用系統(tǒng)間進(jìn)行數(shù)據(jù)交換時(shí),由于既沒(méi)有相關(guān)的規(guī)范,又沒(méi)有可直接使用的產(chǎn)品,因此系統(tǒng)雙方需要約定很多內(nèi)容,涉及到多個(gè)技術(shù)細(xì)節(jié),包括確定系統(tǒng)間的連接方式、數(shù)據(jù)格式、處理方式等,還要分別組織人員進(jìn)行開(kāi)發(fā)。特別是涉及到多個(gè)應(yīng)用系統(tǒng)間復(fù)雜的數(shù)據(jù)交換時(shí),各應(yīng)用系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)要求就更高。所述針對(duì)不同需求單獨(dú)進(jìn)行設(shè)計(jì)開(kāi)發(fā)的實(shí)現(xiàn)過(guò)程,開(kāi)發(fā)周期長(zhǎng),耗費(fèi)大量的人力和物力,而且造成大量的重復(fù)工作,如重復(fù)開(kāi)發(fā)、重復(fù)存儲(chǔ)等。
另一方面,很多應(yīng)用系統(tǒng)的數(shù)據(jù)格式、數(shù)據(jù)個(gè)數(shù)、處理方式等經(jīng)常隨業(yè)務(wù)的調(diào)整而發(fā)生變化,當(dāng)一方系統(tǒng)接口調(diào)整時(shí),需要針對(duì)所有的相關(guān)系統(tǒng)進(jìn)行相應(yīng)調(diào)整,因此系統(tǒng)的可維護(hù)性差,極大地增加了工作的難度和風(fēng)險(xiǎn),帶來(lái)許多重復(fù)工作,還影響系統(tǒng)的處理效率和運(yùn)行穩(wěn)定性。而且,每個(gè)系統(tǒng)的操作和維護(hù)界面各異,也為日常操作和維護(hù)增加了很大的難度。
發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問(wèn)題是提供不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)及方法,以解決由于各應(yīng)用系統(tǒng)在數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式、處理方式等方面的差異,造成數(shù)據(jù)交換處于混亂無(wú)序狀態(tài)的問(wèn)題,為不同系統(tǒng)間的數(shù)據(jù)交換提供了統(tǒng)一的實(shí)現(xiàn)方式。
為解決上述技術(shù)問(wèn)題,本發(fā)明提供了不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng),用于處理源系統(tǒng)與目標(biāo)系統(tǒng)間的數(shù)據(jù)交換,其特征在于,包括數(shù)據(jù)庫(kù),用于保存調(diào)度配置信息和文件傳輸配置信息;文件傳輸裝置,用于循環(huán)讀取文件傳輸配置信息,完成源文件從源系統(tǒng)到統(tǒng)一處理系統(tǒng)的傳輸,或者目標(biāo)文件從統(tǒng)一處理系統(tǒng)到目標(biāo)系統(tǒng)的傳輸;任務(wù)調(diào)度器,包括調(diào)度器核心服務(wù)單元,用于循環(huán)讀取調(diào)度配置信息,逐個(gè)判斷源文件對(duì)應(yīng)的待執(zhí)行作業(yè)是否滿足執(zhí)行條件,若滿足,則觸發(fā)數(shù)據(jù)處理裝置或公共轉(zhuǎn)碼裝置執(zhí)行;公共轉(zhuǎn)碼裝置,用于在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,對(duì)應(yīng)預(yù)配置的碼制對(duì)照表,執(zhí)行作業(yè)完成轉(zhuǎn)碼操作;數(shù)據(jù)處理裝置,用于對(duì)應(yīng)各類基本操作,在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,調(diào)度相應(yīng)操作執(zhí)行作業(yè),并生成目標(biāo)文件。
其中,所述任務(wù)調(diào)度器還包括作業(yè)列表生成器,用于收集源文件對(duì)應(yīng)的作業(yè),對(duì)應(yīng)調(diào)度配置信息,生成待執(zhí)行作業(yè)隊(duì)列。
優(yōu)選的,所述調(diào)度器核心服務(wù)單元采用多進(jìn)程方式啟動(dòng)滿足執(zhí)行條件的待執(zhí)行作業(yè)。
優(yōu)選的,所述文件傳輸裝置在統(tǒng)一處理系統(tǒng)部署服務(wù)端,在源系統(tǒng)和目標(biāo)系統(tǒng)部署客戶端;所述服務(wù)端用于驅(qū)動(dòng)客戶端,主動(dòng)從源系統(tǒng)獲取文件,并主動(dòng)向目標(biāo)系統(tǒng)發(fā)送文件。其中,所述服務(wù)端部署文件獲取進(jìn)程,用于獲取待傳輸?shù)奈募畔?;還部署文件傳輸進(jìn)程,用于執(zhí)行文件傳輸操作。優(yōu)選的,所述服務(wù)端與客戶端間采用安全機(jī)制傳輸文件。
優(yōu)選的,還包括數(shù)據(jù)檢核裝置,用于在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,對(duì)所述源文件和目標(biāo)文件進(jìn)行檢核。而且,所述數(shù)據(jù)檢核裝置對(duì)通過(guò)公共轉(zhuǎn)碼裝置處理的數(shù)據(jù)進(jìn)行檢核。
優(yōu)選的,還包括監(jiān)控管理裝置,用于對(duì)所述統(tǒng)一處理系統(tǒng)的運(yùn)行進(jìn)行監(jiān)控、管理,包括監(jiān)控管理客戶端和監(jiān)控核心服務(wù)端,其中,監(jiān)控管理客戶端,用于向所述監(jiān)控核心服務(wù)端發(fā)送操作指令;監(jiān)控核心服務(wù)端,用于接收所述指令,通過(guò)操作任務(wù)調(diào)度器或文件傳輸裝置執(zhí)行指令,或者通過(guò)訪問(wèn)數(shù)據(jù)庫(kù)將統(tǒng)一處理系統(tǒng)的操作日志返回給監(jiān)控管理客戶端,查看系統(tǒng)的運(yùn)行情況。
其中,所述監(jiān)控管理客戶端通過(guò)直接訪問(wèn)數(shù)據(jù)庫(kù),更改調(diào)度配置信息或文件傳輸配置信息。
所述監(jiān)控管理客戶端包括任務(wù)調(diào)度監(jiān)控單元,用于提供作業(yè)的操作管理;文件安全傳輸監(jiān)控單元,用于提供文件的操作管理。
本發(fā)明還提供了不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理方法,用于處理源系統(tǒng)與目標(biāo)系統(tǒng)間的數(shù)據(jù)交換,其特征在于,包括預(yù)置調(diào)度配置信息和文件傳輸配置信息;循環(huán)讀取文件傳輸配置信息,從源系統(tǒng)獲取源文件,或者向目標(biāo)系統(tǒng)發(fā)送目標(biāo)文件;循環(huán)讀取調(diào)度配置信息,逐個(gè)判斷源文件對(duì)應(yīng)的待執(zhí)行作業(yè)是否滿足執(zhí)行條件,若滿足,則啟動(dòng)作業(yè)執(zhí)行轉(zhuǎn)碼或數(shù)據(jù)處理操作;對(duì)需要轉(zhuǎn)碼的數(shù)據(jù),對(duì)應(yīng)預(yù)配置的碼制對(duì)照表,執(zhí)行作業(yè)完成轉(zhuǎn)碼操作;對(duì)需要進(jìn)行數(shù)據(jù)處理的數(shù)據(jù),對(duì)應(yīng)數(shù)據(jù)處理的各類基本操作,調(diào)用相應(yīng)操作執(zhí)行作業(yè);生成目標(biāo)文件。
其中,還包括收集源文件對(duì)應(yīng)的作業(yè),對(duì)應(yīng)調(diào)度配置信息,生成待執(zhí)行作業(yè)隊(duì)列;所述待執(zhí)行作業(yè)隊(duì)列中的作業(yè)全部調(diào)度執(zhí)行完后,重新收集生成待執(zhí)行作業(yè)隊(duì)列。
優(yōu)選的,采用多進(jìn)程方式啟動(dòng)滿足執(zhí)行條件的待執(zhí)行作業(yè)。而且,所述作業(yè)的執(zhí)行部署在至少一臺(tái)機(jī)器上。
優(yōu)選的,執(zhí)行以下步驟從源系統(tǒng)獲取源文件,其中,所述文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表服務(wù)端循環(huán)讀取節(jié)點(diǎn)配置表,向源系統(tǒng)客戶端發(fā)送查詢指令;客戶端將就緒的文件信息記錄到文件列表;服務(wù)端獲取文件列表,對(duì)應(yīng)匹配規(guī)則確定待傳輸文件,并記錄到待傳輸文件配置表;對(duì)應(yīng)待傳輸文件配置表,源文件從客戶端傳輸?shù)椒?wù)端。
其中,執(zhí)行以下步驟從客戶端傳輸源文件到服務(wù)端服務(wù)端循環(huán)讀取待傳輸文件配置表,向源系統(tǒng)客戶端發(fā)送驗(yàn)證指令;
驗(yàn)證通過(guò),服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送給客戶端;客戶端用所述密鑰對(duì)待傳輸文件進(jìn)行加密;服務(wù)端獲取加密的待傳輸文件,用所述密鑰對(duì)待傳輸文件進(jìn)行解密。
優(yōu)選的,執(zhí)行以下步驟向目標(biāo)系統(tǒng)發(fā)送目標(biāo)文件,其中,所述文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表服務(wù)端循環(huán)讀取節(jié)點(diǎn)配置表,將就緒的文件信息記錄到文件列表;對(duì)應(yīng)匹配規(guī)則確定待傳輸文件,并記錄到待傳輸文件配置表;對(duì)應(yīng)待傳輸文件配置表,服務(wù)端向目標(biāo)系統(tǒng)客戶端傳輸目標(biāo)文件。
其中,執(zhí)行以下步驟將目標(biāo)文件從服務(wù)端傳輸?shù)侥繕?biāo)系統(tǒng)客戶端服務(wù)端循環(huán)讀取待傳輸文件配置表,向目標(biāo)系統(tǒng)客戶端發(fā)送驗(yàn)證指令;驗(yàn)證通過(guò),服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送給客戶端;服務(wù)端用所述密鑰對(duì)待傳輸文件進(jìn)行加密,并向客戶端發(fā)送所述加密的文件;客戶端用所述密鑰對(duì)文件進(jìn)行解密。
其中,所述轉(zhuǎn)碼操作包括將源系統(tǒng)數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)碼制數(shù)據(jù),或者將標(biāo)準(zhǔn)碼制數(shù)據(jù)轉(zhuǎn)換為目標(biāo)系統(tǒng)需要的碼制數(shù)據(jù)。
優(yōu)選的,所述作業(yè)的執(zhí)行還包括檢核操作對(duì)源文件及目標(biāo)文件進(jìn)行檢核,所述檢核操作對(duì)不同數(shù)據(jù)采用不同的檢核規(guī)則。所述檢核操作還包括對(duì)轉(zhuǎn)碼操作后的數(shù)據(jù)進(jìn)行檢核。
優(yōu)選的,還包括訪問(wèn)監(jiān)控管理界面,更改所述調(diào)度配置信息或文件傳輸配置信息。
優(yōu)選的,還包括訪問(wèn)監(jiān)控管理界面,發(fā)送操作指令,完成作業(yè)的調(diào)度執(zhí)行或文件傳輸。
優(yōu)選的,還包括訪問(wèn)監(jiān)控管理界面,通過(guò)操作日志查看作業(yè)調(diào)度、轉(zhuǎn)碼、檢核、數(shù)據(jù)處理、文件傳輸操作的運(yùn)行情況。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn)首先,本發(fā)明采用以處理系統(tǒng)為中心的星型結(jié)構(gòu)設(shè)計(jì),統(tǒng)一連接各應(yīng)用系統(tǒng),通過(guò)數(shù)據(jù)庫(kù)配置和任務(wù)調(diào)度器的作業(yè)調(diào)度,提供了數(shù)據(jù)交換的統(tǒng)一處理方式,信息集成度較高,對(duì)外提供的接入方式靈活,因此對(duì)各應(yīng)用系統(tǒng)需做出的改動(dòng)量很少。一方面,針對(duì)不同需求調(diào)整配置信息,任意兩個(gè)系統(tǒng)通過(guò)所述處理系統(tǒng)即可完成數(shù)據(jù)交換,不需要進(jìn)行單獨(dú)設(shè)計(jì),實(shí)現(xiàn)簡(jiǎn)單且開(kāi)發(fā)周期短,極大地減少了開(kāi)發(fā)工作量,避免了數(shù)據(jù)重復(fù)處理、重復(fù)存儲(chǔ);尤其對(duì)于多個(gè)應(yīng)用系統(tǒng)間的復(fù)雜連接,也可以通過(guò)處理系統(tǒng)的統(tǒng)一配置來(lái)處理解決。另一方面,當(dāng)應(yīng)用系統(tǒng)的數(shù)據(jù)接口調(diào)整變化時(shí),也只需調(diào)整配置信息,不需要對(duì)應(yīng)的應(yīng)用系統(tǒng)做任何改動(dòng),因此維護(hù)起來(lái)十分方便;同時(shí),由于采用統(tǒng)一的操作和維護(hù)界面,因此簡(jiǎn)化了相應(yīng)的管理和監(jiān)控操作。
本發(fā)明提供的統(tǒng)一處理系統(tǒng),內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一,數(shù)據(jù)處理效率高,實(shí)時(shí)性好,能夠及時(shí)為目標(biāo)系統(tǒng)提供數(shù)據(jù)。而且,支持各種操作系統(tǒng)平臺(tái),便于跨平臺(tái)的應(yīng)用系統(tǒng)間的批量數(shù)據(jù)交換。
其次,本發(fā)明提供的文件傳輸裝置,改變了原來(lái)由源系統(tǒng)主動(dòng)發(fā)起傳輸,接受數(shù)據(jù)端只能查詢數(shù)據(jù)是否到達(dá),而無(wú)法監(jiān)控傳輸狀態(tài)的狀況。本發(fā)明在統(tǒng)一處理系統(tǒng)部署文件傳輸服務(wù)端,在源系統(tǒng)和目標(biāo)系統(tǒng)部署文件傳輸客戶端,由服務(wù)端驅(qū)動(dòng)客戶端完成文件的傳輸。因此,統(tǒng)一處理系統(tǒng)是數(shù)據(jù)傳輸?shù)陌l(fā)起端,可控性很高,能夠統(tǒng)一監(jiān)控與自身相關(guān)的各類傳輸操作的情況,能夠主動(dòng)發(fā)現(xiàn)傳輸問(wèn)題。而且,數(shù)據(jù)傳輸過(guò)程中還加入安全機(jī)制,保證數(shù)據(jù)傳輸?shù)陌踩?、完整性,同時(shí)還支持跨異構(gòu)平臺(tái)的數(shù)據(jù)傳輸。
所述文件傳輸裝置是一個(gè)獨(dú)立的功能模塊,不受任務(wù)調(diào)度器的調(diào)度和約束,能夠與任務(wù)調(diào)度器同時(shí)各自運(yùn)行,因此極大地提高了統(tǒng)一處理系統(tǒng)的數(shù)據(jù)處理效率。
再次,基于全局的統(tǒng)一規(guī)劃,監(jiān)控管理裝置通過(guò)設(shè)置監(jiān)控管理客戶端和監(jiān)控核心服務(wù)端,實(shí)現(xiàn)對(duì)統(tǒng)一處理系統(tǒng)運(yùn)行的整體監(jiān)控,可以從總體上監(jiān)控、管理系統(tǒng)的作業(yè)調(diào)度、公共轉(zhuǎn)碼、數(shù)據(jù)檢核、數(shù)據(jù)處理、文件傳輸?shù)鹊膱?zhí)行情況,以及主機(jī)資源占用情況等,還可以對(duì)異常運(yùn)行情況進(jìn)行手工處理等操作。而且,提供了對(duì)配置信息進(jìn)行調(diào)整的功能,操作員登錄監(jiān)控管理客戶端界面即可更改。
再次,所述統(tǒng)一處理系統(tǒng)通過(guò)多臺(tái)機(jī)器處理數(shù)據(jù),作業(yè)的調(diào)度執(zhí)行部署在多臺(tái)機(jī)器上,而每臺(tái)機(jī)器采用多進(jìn)程方式同時(shí)處理多個(gè)作業(yè)的執(zhí)行,提高了系統(tǒng)整體的處理效率。本發(fā)明在架構(gòu)系統(tǒng)框架時(shí),支持可擴(kuò)展處理,在系統(tǒng)資源不足時(shí),可通過(guò)縱向擴(kuò)展(升級(jí)機(jī)器資源)或橫向擴(kuò)展(增加機(jī)器數(shù)目)的方式解決。
最后,由于采用統(tǒng)一的實(shí)現(xiàn)方式,公共轉(zhuǎn)碼裝置通過(guò)建立碼制對(duì)照表,支持多種碼制之間的轉(zhuǎn)換;通過(guò)配置信息,還支持輸出格式的可配置,以及對(duì)于指定數(shù)據(jù)采用安全機(jī)制加以保護(hù)。
圖1是本發(fā)明所述不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)結(jié)構(gòu)框圖;圖2是本發(fā)明中文件傳輸裝置的結(jié)構(gòu)示意圖;圖3是本發(fā)明中任務(wù)調(diào)度器的結(jié)構(gòu)示意圖;圖4是本發(fā)明中公共轉(zhuǎn)碼裝置的結(jié)構(gòu)示意圖;圖5是本發(fā)明中監(jiān)控管理裝置的結(jié)構(gòu)示意圖;圖6是本發(fā)明所述不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理方法流程圖。
具體實(shí)施方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂,下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
本發(fā)明提供的統(tǒng)一處理系統(tǒng),用于處理金融領(lǐng)域內(nèi)部的數(shù)據(jù)交換,主要應(yīng)用在銀行不同應(yīng)用系統(tǒng)間數(shù)據(jù)的傳遞、加工、處理。所述處理系統(tǒng)基于信息集成思想進(jìn)行設(shè)計(jì)開(kāi)發(fā),將各應(yīng)用系統(tǒng)的關(guān)聯(lián)數(shù)據(jù)進(jìn)行統(tǒng)一管理,制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)來(lái)處理數(shù)據(jù),對(duì)外提供靈活的接入方式,基本上不需要改動(dòng)各應(yīng)用系統(tǒng),能夠滿足金融行業(yè)大多數(shù)應(yīng)用系統(tǒng)間的數(shù)據(jù)交換需求。
所述統(tǒng)一處理系統(tǒng)設(shè)計(jì)的核心思想是通過(guò)將數(shù)據(jù)處理各類功能進(jìn)行分解和歸類,形成基本功能模塊,當(dāng)提出新的功能需求時(shí),通過(guò)需求分析和功能分解,盡可能用現(xiàn)有的基本功能模塊通過(guò)任務(wù)調(diào)度器進(jìn)行串連來(lái)實(shí)現(xiàn),而基本功能模塊針對(duì)不同數(shù)據(jù)通過(guò)配置來(lái)適應(yīng)新的需求,最終滿足新的功能需要。但是,如果通過(guò)基本的功能模塊實(shí)現(xiàn)需求太復(fù)雜或效率很低,則一般通過(guò)ETL(Extract、Transform、Load的簡(jiǎn)寫,是實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、加載功能的一類軟件的簡(jiǎn)稱)工具生成相應(yīng)的作業(yè)來(lái)滿足功能需要。
參照?qǐng)D1,是本發(fā)明所述不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)結(jié)構(gòu)框圖。如圖所示,線框內(nèi)是所述處理系統(tǒng)的結(jié)構(gòu),包括數(shù)據(jù)庫(kù)101,文件傳輸裝置102,任務(wù)調(diào)度器103,公共轉(zhuǎn)碼裝置104,數(shù)據(jù)檢核裝置105,數(shù)據(jù)處理裝置106,監(jiān)控管理裝置107。本發(fā)明采用以所述處理系統(tǒng)為中心的星型結(jié)構(gòu)設(shè)計(jì),統(tǒng)一連接各應(yīng)用系統(tǒng)。圖中,源系統(tǒng)和目標(biāo)系統(tǒng)表示各種不同的應(yīng)用系統(tǒng),其中源系統(tǒng)數(shù)據(jù)需要經(jīng)過(guò)統(tǒng)一處理系統(tǒng)的處理,轉(zhuǎn)換為目標(biāo)系統(tǒng)需要的數(shù)據(jù)。以下詳細(xì)說(shuō)明系統(tǒng)各部分。
數(shù)據(jù)庫(kù)101,用于存放統(tǒng)一處理系統(tǒng)運(yùn)行所需的調(diào)度配置信息和文件傳輸配置信息。當(dāng)不同應(yīng)用系統(tǒng)間需要進(jìn)行數(shù)據(jù)交換時(shí),預(yù)先在數(shù)據(jù)庫(kù)101中配置調(diào)度配置信息,用于任務(wù)調(diào)度器103對(duì)各類作業(yè)進(jìn)行統(tǒng)一調(diào)度執(zhí)行;還需配置文件傳輸配置信息,用于源系統(tǒng)文件能夠自動(dòng)傳輸?shù)浇y(tǒng)一處理系統(tǒng),以及經(jīng)系統(tǒng)處理后生成的目標(biāo)文件自動(dòng)傳輸?shù)侥繕?biāo)系統(tǒng)。
所述數(shù)據(jù)庫(kù)101中還存放了統(tǒng)一處理系統(tǒng)運(yùn)行過(guò)程中生成的各種操作日志,如任務(wù)調(diào)度器103生成的作業(yè)調(diào)度日志,數(shù)據(jù)檢核裝置105對(duì)數(shù)據(jù)檢核后生成的處理結(jié)果標(biāo)記文件、拒絕文件、警告文件,記錄文件傳輸狀態(tài)、作業(yè)執(zhí)行狀態(tài)、系統(tǒng)資源利用情況等信息的日志。所述操作日志用于記錄統(tǒng)一處理系統(tǒng)的運(yùn)行情況,監(jiān)控管理裝置107通過(guò)訪問(wèn)數(shù)據(jù)庫(kù)101,查看所述操作日志,即可以從總體上監(jiān)控和管理系統(tǒng)的運(yùn)行。
文件傳輸裝置102,根據(jù)數(shù)據(jù)庫(kù)101中的文件傳輸配置信息,實(shí)現(xiàn)文件在統(tǒng)一處理系統(tǒng)與各種不同應(yīng)用系統(tǒng)間的傳輸,為各應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)的文件傳輸功能接口。本發(fā)明優(yōu)選的,所述文件傳輸裝置102在統(tǒng)一處理系統(tǒng)部署服務(wù)端,在文件傳輸?shù)脑聪到y(tǒng)和目標(biāo)系統(tǒng)部署客戶端,由所述服務(wù)端驅(qū)動(dòng)客戶端,主動(dòng)從源系統(tǒng)獲取數(shù)據(jù),并主動(dòng)向目標(biāo)系統(tǒng)發(fā)送經(jīng)處理的數(shù)據(jù)。其中,文件傳輸?shù)乃胁僮骶煞?wù)端控制,客戶端只是執(zhí)行服務(wù)端的指令。因此,源系統(tǒng)和目標(biāo)系統(tǒng)無(wú)需對(duì)自身的程序進(jìn)行修改,即可以實(shí)現(xiàn)與統(tǒng)一處理系統(tǒng)之間各類文件的傳輸操作。
參照?qǐng)D2,是本發(fā)明中文件傳輸裝置102的結(jié)構(gòu)示意圖。其中,文件傳輸?shù)谝豢蛻舳?01部署在源系統(tǒng),文件傳輸?shù)诙蛻舳?02部署在目標(biāo)系統(tǒng)。文件傳輸服務(wù)端設(shè)置兩個(gè)進(jìn)程同時(shí)運(yùn)行,一個(gè)是文件獲取進(jìn)程,主要用于獲取待傳輸?shù)奈募畔?;另一個(gè)是文件傳輸進(jìn)程,主要用于執(zhí)行文件傳輸操作。
對(duì)于文件獲取進(jìn)程的執(zhí)行,首先需要說(shuō)明的是,數(shù)據(jù)庫(kù)101中存放的文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表。所述節(jié)點(diǎn)配置表將每個(gè)源系統(tǒng)或目標(biāo)系統(tǒng)視為一個(gè)節(jié)點(diǎn),記錄了各個(gè)源系統(tǒng)或目標(biāo)系統(tǒng)的相關(guān)信息,例如文件存放的目錄、時(shí)間戳(記錄對(duì)應(yīng)節(jié)點(diǎn)上次輪詢時(shí)間)、匹配規(guī)則等。其中,所述匹配規(guī)則用于確定所有待傳輸?shù)奈募?,根?jù)不同應(yīng)用真正需要傳輸?shù)奈募?br> 文件傳輸服務(wù)端的文件獲取進(jìn)程一直處于啟動(dòng)狀態(tài),它會(huì)循環(huán)讀取節(jié)點(diǎn)配置表,從而獲得需要傳輸?shù)奈募畔?。?dāng)讀取一條文件傳輸配置時(shí),如果是源系統(tǒng)的配置,將進(jìn)行如下相應(yīng)操作(1)服務(wù)端向源系統(tǒng)發(fā)送查詢指令,并將所述源系統(tǒng)的相關(guān)配置(如文件存放的目錄、時(shí)間戳、匹配規(guī)則等)一起發(fā)送過(guò)去;(2)源系統(tǒng)的文件傳輸?shù)谝豢蛻舳?01獲取查詢指令后,按照服務(wù)端發(fā)來(lái)的文件存放目錄和時(shí)間戳,找到對(duì)應(yīng)目錄下大于所述時(shí)間戳的文件,并將所述文件記錄到文件列表中;(3)以上操作結(jié)束后,文件傳輸?shù)谝豢蛻舳?01向服務(wù)端返回操作結(jié)束,同時(shí)還要將新的時(shí)間戳帶回服務(wù)端;(4)服務(wù)端主動(dòng)將文件列表從文件傳輸?shù)谝豢蛻舳?01取回;(5)服務(wù)端用新的時(shí)間戳更改對(duì)應(yīng)源系統(tǒng)的配置,同時(shí),使用匹配規(guī)則對(duì)文件列表中的文件進(jìn)行篩選,將篩選后的文件記錄到待傳輸文件配置表中;(6)服務(wù)端獲取源系統(tǒng)待傳輸文件信息的過(guò)程結(jié)束。
如果是目標(biāo)系統(tǒng)的配置,將進(jìn)行如下相應(yīng)操作(1)服務(wù)端按照目標(biāo)系統(tǒng)文件存放的目錄和時(shí)間戳,在本地(即統(tǒng)一處理系統(tǒng))查找到對(duì)應(yīng)目錄下大于所述時(shí)間戳的文件,并將所述文件記錄到文件列表中;(2)服務(wù)端用新的時(shí)間戳更改對(duì)應(yīng)目標(biāo)系統(tǒng)的配置,同時(shí),使用匹配規(guī)則對(duì)文件列表中的文件進(jìn)行篩選,將篩選后的文件記錄到待傳輸文件配置表中;(3)服務(wù)端獲取目標(biāo)系統(tǒng)待傳輸文件信息的過(guò)程結(jié)束。
對(duì)于文件傳輸進(jìn)程的執(zhí)行,本發(fā)明優(yōu)選的,還設(shè)置了安全機(jī)制,用于保證文件在傳輸過(guò)程中的安全、完整性。執(zhí)行過(guò)程如下文件傳輸服務(wù)端的文件傳輸進(jìn)程也一直處于啟動(dòng)狀態(tài),它會(huì)循環(huán)讀取待傳輸文件配置表,從而根據(jù)所述配置進(jìn)行相應(yīng)的文件傳輸操作。在所述待傳輸文件配置表中,記錄了待傳輸文件的文件名、傳輸類型、對(duì)應(yīng)節(jié)點(diǎn)等信息。當(dāng)讀取一條文件傳輸配置時(shí),如果傳輸類型是從源系統(tǒng)獲取數(shù)據(jù),將相應(yīng)地進(jìn)行如下操作(1)服務(wù)端向?qū)?yīng)的源系統(tǒng)節(jié)點(diǎn)發(fā)送節(jié)點(diǎn)驗(yàn)證指令;(2)源系統(tǒng)的文件傳輸?shù)谝豢蛻舳?01進(jìn)行節(jié)點(diǎn)驗(yàn)證,向服務(wù)端返回驗(yàn)證通過(guò);(3)服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送所述動(dòng)態(tài)密鑰給文件傳輸?shù)谝豢蛻舳?01;(4)文件傳輸?shù)谝豢蛻舳?01用動(dòng)態(tài)密鑰對(duì)文件進(jìn)行加密操作;(5)加密結(jié)束后,文件傳輸?shù)谝豢蛻舳?01向服務(wù)端返回成功;(6)服務(wù)端從文件傳輸?shù)谝豢蛻舳?01獲取加密后的文件;(7)服務(wù)端用動(dòng)態(tài)密鑰對(duì)文件進(jìn)行解密;(8)解密成功后,文件傳輸結(jié)束。
如果傳輸類型是向目標(biāo)系統(tǒng)傳輸數(shù)據(jù),將相應(yīng)地進(jìn)行如下操作(1)服務(wù)端向?qū)?yīng)的目標(biāo)系統(tǒng)節(jié)點(diǎn)發(fā)送節(jié)點(diǎn)驗(yàn)證指令;(2)目標(biāo)系統(tǒng)的文件傳輸?shù)诙蛻舳?02進(jìn)行節(jié)點(diǎn)驗(yàn)證,向服務(wù)端返回驗(yàn)證通過(guò);(3)服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送所述動(dòng)態(tài)密鑰給文件傳輸?shù)诙蛻舳?02;(4)服務(wù)端用動(dòng)態(tài)密鑰對(duì)文件進(jìn)行加密操作;(5)加密結(jié)束后,服務(wù)端向文件傳輸?shù)诙蛻舳?02發(fā)送加密后的文件;(6)文件傳輸?shù)诙蛻舳?02用動(dòng)態(tài)密鑰對(duì)文件進(jìn)行解密;(7)解密成功后,文件傳輸結(jié)束。
圖2中,優(yōu)選的,在所述文件傳輸裝置還部署了文件安全傳輸監(jiān)控管理器,與統(tǒng)一處理系統(tǒng)的文件傳輸服務(wù)端相連接,用于從整體上監(jiān)控文件傳輸裝置的運(yùn)行。而且,通過(guò)調(diào)整節(jié)點(diǎn)配置表和待傳輸文件配置表的配置信息,所述文件傳輸裝置還支持跨異構(gòu)平臺(tái)的數(shù)據(jù)傳輸。
綜上所述,文件傳輸裝置102是一個(gè)獨(dú)立的功能模塊,通過(guò)讀取數(shù)據(jù)庫(kù)101中的文件傳輸配置信息,輪詢本地和源系統(tǒng)的指定文件是否就緒,然后主動(dòng)獲取或發(fā)送文件。文件傳輸裝置102不受任務(wù)調(diào)度器的調(diào)度和約束,能夠與任務(wù)調(diào)度器同時(shí)各自運(yùn)行,因此極大地提高了統(tǒng)一處理系統(tǒng)的數(shù)據(jù)處理效率。
圖1中任務(wù)調(diào)度器103,是本發(fā)明所述統(tǒng)一處理系統(tǒng)的核心部分,根據(jù)數(shù)據(jù)庫(kù)101中的調(diào)度配置信息,負(fù)責(zé)完成各類作業(yè)的總體調(diào)度指揮。其中,所述作業(yè)指能夠?qū)崿F(xiàn)獨(dú)立功能的一段代碼或一個(gè)程序,是被調(diào)度的基本單位,每個(gè)作業(yè)都支持很多輸入輸出參數(shù),支持不同格式、不同內(nèi)容的不同文件之間的相關(guān)功能操作,而所有大的功能需求,都會(huì)最終被分解為這些作業(yè)的組合。
系統(tǒng)中作業(yè)之間存在著很多聯(lián)系,例如,一個(gè)作業(yè)的執(zhí)行依賴于一個(gè)或幾個(gè)作業(yè)的執(zhí)行成功,幾個(gè)作業(yè)的執(zhí)行依賴于一個(gè)作業(yè)的執(zhí)行成功,或者有的作業(yè)需要定時(shí)或在固定的時(shí)間間隔執(zhí)行等。所述作業(yè)之間在執(zhí)行過(guò)程中的依賴關(guān)系,完全由任務(wù)調(diào)度器103根據(jù)數(shù)據(jù)庫(kù)中的調(diào)度配置信息來(lái)安排調(diào)度,保證作業(yè)之間復(fù)雜的邏輯關(guān)系能夠正常、穩(wěn)定且自動(dòng)完成,而各個(gè)作業(yè)在執(zhí)行結(jié)束之后只需更改配置中的執(zhí)行結(jié)果即可。
任務(wù)調(diào)度器103的調(diào)度執(zhí)行依賴于數(shù)據(jù)庫(kù)101中的調(diào)度配置信息,針對(duì)不同應(yīng)用系統(tǒng)間的數(shù)據(jù)交換,需要提前進(jìn)行配置。所述調(diào)度配置信息包括總體控制信息,作業(yè)配置信息,作業(yè)執(zhí)行信息??傮w控制信息以節(jié)點(diǎn)(每臺(tái)主機(jī)是一個(gè)節(jié)點(diǎn))為單位配置,包括節(jié)點(diǎn)號(hào)、源系統(tǒng)ID、系統(tǒng)日期、最大可執(zhí)行進(jìn)程數(shù)等;作業(yè)配置信息以作業(yè)為單位配置,一個(gè)作業(yè)有一條配置信息,包括作業(yè)ID、源系統(tǒng)ID、輸入文件列表、命令行、依賴作業(yè)列表、運(yùn)行時(shí)間區(qū)段、優(yōu)先級(jí)、可運(yùn)行節(jié)點(diǎn)號(hào)列表等;作業(yè)執(zhí)行信息以作業(yè)為單位配置,一個(gè)作業(yè)有一條執(zhí)行信息,包括作業(yè)ID、作業(yè)執(zhí)行日期、作業(yè)執(zhí)行狀態(tài)、作業(yè)執(zhí)行時(shí)間等。所述調(diào)度配置信息保證所有的作業(yè)在任務(wù)調(diào)度器103的統(tǒng)一調(diào)度下按照固定的規(guī)則執(zhí)行,其中輸入文件是作業(yè)運(yùn)行的依賴條件,即只有當(dāng)輸入文件存在時(shí),才可以對(duì)應(yīng)基本操作,以作業(yè)為單位來(lái)調(diào)度執(zhí)行。其中,所述輸入文件包括通過(guò)文件傳輸裝置102從源系統(tǒng)傳輸?shù)浇y(tǒng)一處理系統(tǒng)的文件,以及統(tǒng)一處理系統(tǒng)的作業(yè)執(zhí)行后生成的文件。
參照?qǐng)D3,是本發(fā)明中任務(wù)調(diào)度器103的結(jié)構(gòu)示意圖。任務(wù)調(diào)度器的核心部件是調(diào)度器核心服務(wù)單元301,用于根據(jù)調(diào)度配置信息,采用多進(jìn)程方式分別啟動(dòng)滿足執(zhí)行條件的作業(yè)。為充分利用系統(tǒng)資源,優(yōu)選的,所述任務(wù)調(diào)度器103還設(shè)置作業(yè)列表生成器302,用于根據(jù)系統(tǒng)的整體運(yùn)行情況及調(diào)度配置信息,合理收集作業(yè)生成待執(zhí)行作業(yè)隊(duì)列,調(diào)度器核心服務(wù)單元301從所述待執(zhí)行作業(yè)隊(duì)列讀取作業(yè)執(zhí)行。
通常,任務(wù)調(diào)度器中的作業(yè)分為執(zhí)行作業(yè)、異常作業(yè)、人工作業(yè),作業(yè)列表生成器302定時(shí)(一般為每天)或在固定時(shí)間,在充分利用系統(tǒng)資源的情況下,收集符合所述情況的作業(yè),并通過(guò)讀取調(diào)度配置信息,生成待執(zhí)行作業(yè)信息,存放在任務(wù)調(diào)度器的待執(zhí)行作業(yè)隊(duì)列中。調(diào)度器核心服務(wù)單元301定時(shí)(一般為1-2秒鐘)掃描所述待執(zhí)行作業(yè)隊(duì)列,讀取待執(zhí)行作業(yè)信息,并循環(huán)讀取對(duì)應(yīng)的調(diào)度配置信息,逐個(gè)判斷作業(yè)是否滿足執(zhí)行條件。若滿足,則觸發(fā)執(zhí)行,若不滿足則不執(zhí)行,同時(shí)生成作業(yè)調(diào)度日志存放在數(shù)據(jù)庫(kù)101中。調(diào)度器核心服務(wù)單元301的基本調(diào)度流程是(1)將作業(yè)配置信息和作業(yè)執(zhí)行信息通過(guò)“作業(yè)ID”進(jìn)行關(guān)聯(lián),同時(shí),按“優(yōu)先級(jí)”進(jìn)行排序;(2)讀取一條記錄,如果沒(méi)有記錄被找到,則轉(zhuǎn)到第(9)步;(3)如果“作業(yè)執(zhí)行狀態(tài)”是執(zhí)行成功,則轉(zhuǎn)第(2)步,查找下一條記錄;(4)如果“運(yùn)行時(shí)間區(qū)段”與當(dāng)前系統(tǒng)時(shí)間不一致,則轉(zhuǎn)第(2)步,查找下一條記錄;(5)依次判斷“依賴作業(yè)列表”中的依賴作業(yè)是否已執(zhí)行成功,如果不是執(zhí)行成功狀態(tài),則轉(zhuǎn)第(2)步,查找下一條記錄;(6)依次判斷“輸入文件列表”中的文件是否存在,如果不存在,則轉(zhuǎn)第(2)步,查找下一條記錄;(7)依次查找“可運(yùn)行節(jié)點(diǎn)號(hào)列表”的節(jié)點(diǎn)中,哪個(gè)節(jié)點(diǎn)中的作業(yè)進(jìn)程個(gè)數(shù)沒(méi)有超過(guò)“最大可執(zhí)行進(jìn)程數(shù)”,如果沒(méi)有找到這樣的節(jié)點(diǎn),則轉(zhuǎn)第(2)步,查找下一條記錄;(8)觸發(fā)作業(yè)運(yùn)行,之后轉(zhuǎn)第(2)步,查找下一條記錄;(9)查看是否所有的作業(yè)均被執(zhí)行成功,如果不是,則轉(zhuǎn)第(1)步,重新進(jìn)行關(guān)聯(lián)操作;(10)將“系統(tǒng)日期”加一,再將全部作業(yè)清理掉,并生成新一天的作業(yè),之后轉(zhuǎn)第(1)步,進(jìn)行新的關(guān)聯(lián)操作。
上述10個(gè)步驟作為一種判斷實(shí)施例,是針對(duì)作業(yè)列表生成器302每天收集作業(yè)的情況進(jìn)行的執(zhí)行條件判斷,也可以修改判斷條件,從而滿足不同的配置。
縱上所述,所有作業(yè)在任務(wù)調(diào)度器103的統(tǒng)一調(diào)度下,完成各類基本操作。通過(guò)調(diào)整調(diào)度配置信息,即可實(shí)現(xiàn)不同應(yīng)用系統(tǒng)間的數(shù)據(jù)交換,開(kāi)發(fā)和維護(hù)簡(jiǎn)單,避免了大量的重復(fù)工作。尤其對(duì)于多個(gè)源系統(tǒng)數(shù)據(jù)進(jìn)行復(fù)雜處理后傳遞給多個(gè)目標(biāo)系統(tǒng)的情況,通過(guò)任務(wù)調(diào)度器103實(shí)現(xiàn)簡(jiǎn)單易行。
圖1中,公共轉(zhuǎn)碼裝置104、數(shù)據(jù)檢核裝置105、數(shù)據(jù)處理裝置106由任務(wù)調(diào)度器103統(tǒng)一調(diào)度,所述三個(gè)裝置是針對(duì)功能的分類,并不一定是獨(dú)立的功能模塊,而是一類功能模塊的集合。因此,圖中所示只是作為一種實(shí)施例進(jìn)行說(shuō)明。公共轉(zhuǎn)碼裝置104,用于在任務(wù)調(diào)度器103的統(tǒng)一調(diào)度下,通過(guò)建立碼制對(duì)照表,提供標(biāo)準(zhǔn)的碼制轉(zhuǎn)換功能。在統(tǒng)一處理系統(tǒng)內(nèi)部,制定的數(shù)據(jù)標(biāo)準(zhǔn)是ASCII碼(American Standard Code for Information Interchange)和GBK(簡(jiǎn)體漢字編碼的擴(kuò)展字符編碼),而各類基本操作的數(shù)據(jù)即為所述標(biāo)準(zhǔn)碼制數(shù)據(jù)。因此,由文件傳輸裝置102從源系統(tǒng)傳輸過(guò)來(lái)的文件,如果數(shù)據(jù)不是標(biāo)準(zhǔn)碼制數(shù)據(jù),則需要調(diào)用公共轉(zhuǎn)碼裝置104轉(zhuǎn)換為標(biāo)準(zhǔn)碼制數(shù)據(jù),然后再調(diào)用數(shù)據(jù)處理裝置106進(jìn)行相關(guān)處理。而對(duì)于經(jīng)系統(tǒng)處理后發(fā)送到目標(biāo)系統(tǒng)的數(shù)據(jù)文件,如果數(shù)據(jù)碼制不符合目標(biāo)系統(tǒng)的要求,也需要調(diào)用公共轉(zhuǎn)碼裝置104進(jìn)行碼制轉(zhuǎn)換,然后再通過(guò)文件傳輸裝置102傳輸?shù)侥繕?biāo)系統(tǒng)。
本發(fā)明優(yōu)選的,還設(shè)置了數(shù)據(jù)檢核裝置105,用于在任務(wù)調(diào)度器103的統(tǒng)一調(diào)度下,對(duì)系統(tǒng)內(nèi)部的數(shù)據(jù)進(jìn)行質(zhì)量檢核工作,保證數(shù)據(jù)的合規(guī)性和準(zhǔn)確性,從而為后續(xù)的處理提供質(zhì)量保證。由于不同數(shù)據(jù)的檢核功能不同,檢核點(diǎn)不一樣,檢核的方式也不一樣,因此所述數(shù)據(jù)檢核裝置105只是一系列檢核功能的統(tǒng)稱,并不是一個(gè)具體的模塊,圖示是為了便于說(shuō)明而將檢核功能集成到數(shù)據(jù)檢核裝置105。所述數(shù)據(jù)檢核裝置105將每個(gè)數(shù)據(jù)檢核操作制作成各自獨(dú)立的處理單元,被任務(wù)調(diào)度器103調(diào)用,而檢核操作會(huì)根據(jù)不同應(yīng)用系統(tǒng)的數(shù)據(jù)情況,實(shí)際確定是否需要增加檢核功能。通常,統(tǒng)一處理系統(tǒng)在接收到數(shù)據(jù)后,根據(jù)系統(tǒng)內(nèi)部的檢核規(guī)則,對(duì)源系統(tǒng)提供的數(shù)據(jù)進(jìn)行檢核;在向目標(biāo)系統(tǒng)發(fā)送數(shù)據(jù)前,根據(jù)目標(biāo)系統(tǒng)提供的檢核規(guī)則,對(duì)要發(fā)往目標(biāo)系統(tǒng)的數(shù)據(jù)進(jìn)行檢核。檢核規(guī)則包括數(shù)據(jù)類型校驗(yàn),數(shù)據(jù)取值范圍校驗(yàn),文件列數(shù)校驗(yàn),記錄長(zhǎng)度校驗(yàn),等等。
本發(fā)明中,為保證數(shù)據(jù)轉(zhuǎn)碼操作的正確性,被調(diào)度作業(yè)經(jīng)公共轉(zhuǎn)碼裝置104處理后,還需要進(jìn)行數(shù)據(jù)檢核。因此,針對(duì)不同應(yīng)用系統(tǒng)的數(shù)據(jù),每個(gè)各自獨(dú)立的數(shù)據(jù)檢核操作單元常常被集成到公共轉(zhuǎn)碼裝置104中。參照?qǐng)D4,是本發(fā)明中公共轉(zhuǎn)碼裝置的結(jié)構(gòu)示意圖。圖中主控程序包括轉(zhuǎn)碼單元401和檢核單元402,所述轉(zhuǎn)碼單元401通過(guò)讀取預(yù)置的表定義和公共參數(shù)配置文件,對(duì)輸入的需要轉(zhuǎn)碼的源文件進(jìn)行相應(yīng)的轉(zhuǎn)碼操作;所述檢核單元402對(duì)經(jīng)過(guò)轉(zhuǎn)碼單元401處理的數(shù)據(jù)進(jìn)行檢核操作,生成標(biāo)準(zhǔn)文件、處理結(jié)果標(biāo)記文件、拒絕文件和警告文件。如果目標(biāo)系統(tǒng)需要的文件不是標(biāo)準(zhǔn)碼制數(shù)據(jù),則還需要將所述標(biāo)準(zhǔn)文件通過(guò)轉(zhuǎn)碼單元401和檢核單元402,轉(zhuǎn)換為目標(biāo)文件,并檢核數(shù)據(jù)的正確性。需要說(shuō)明的是,如果源系統(tǒng)提供的數(shù)據(jù)是標(biāo)準(zhǔn)碼制數(shù)據(jù),即不需要進(jìn)行轉(zhuǎn)碼操作,但還是需要進(jìn)行數(shù)據(jù)的檢核操作。
圖4中,表定義指對(duì)轉(zhuǎn)碼操作的文件進(jìn)行格式定義。針對(duì)不同應(yīng)用系統(tǒng)的文件,需要預(yù)先配置文件格式,轉(zhuǎn)碼單元401通過(guò)讀取表定義,才能自動(dòng)獲取對(duì)應(yīng)文件的格式情況,從而識(shí)別文件的具體內(nèi)容。例如,當(dāng)一個(gè)文件格式是10位姓名,3位年齡,2位性別,20位電話號(hào)碼;則可以將所述信息定義到表定義中,即第一個(gè)字段10位長(zhǎng),摘要是姓名;第二個(gè)字段3位長(zhǎng),摘要是年齡;第三個(gè)字段2位長(zhǎng),摘要是性別;第四個(gè)字段20位長(zhǎng),摘要是電話號(hào)碼。當(dāng)所述主控程序讀取文件時(shí),根據(jù)表定義來(lái)截取信息,從而知道每個(gè)部分對(duì)應(yīng)的是姓名、年齡、性別還是電話號(hào)碼。
所述公共參數(shù)配置文件定義了一些轉(zhuǎn)碼操作所需的公共參數(shù),如碼制對(duì)照表,記錄了多種碼制之間的轉(zhuǎn)換(如ASCII碼(美國(guó)信息交換標(biāo)準(zhǔn)碼)、BCD(Binary-Coded Decimal)碼等),轉(zhuǎn)碼單元401根據(jù)所述碼制對(duì)照表進(jìn)行相應(yīng)的轉(zhuǎn)碼操作。同時(shí),還可以在公共參數(shù)配置文件中定義輸出格式,如定長(zhǎng)、非定長(zhǎng)、各類分隔符等,限定轉(zhuǎn)碼后的文件輸出格式。而且,還可以采用加密等方式對(duì)指定數(shù)據(jù)進(jìn)行安全保護(hù)。
所述處理結(jié)果標(biāo)記文件、拒絕文件和警告文件存放于數(shù)據(jù)庫(kù)101中,處理結(jié)果標(biāo)記文件記錄了數(shù)據(jù)處理狀態(tài)等與檢核單元402執(zhí)行結(jié)果相關(guān)的信息;拒絕文件記錄了異常處理信息;而警告文件記錄了一些雖出現(xiàn)異常但不影響整個(gè)處理過(guò)程的信息。檢核單元402生成的上述三種文件,能夠?qū)?shù)據(jù)轉(zhuǎn)碼、檢核過(guò)程的相關(guān)信息記錄下來(lái),類似于日志記錄的作用。
源系統(tǒng)數(shù)據(jù)經(jīng)過(guò)公共轉(zhuǎn)碼裝置104和數(shù)據(jù)檢核裝置105的處理,轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)后,才可以進(jìn)行相應(yīng)的數(shù)據(jù)處理。圖1中,數(shù)據(jù)處理裝置106將每個(gè)數(shù)據(jù)處理操作制作成各自獨(dú)立的處理單元被任務(wù)調(diào)度器103調(diào)用,包括排序、去重、關(guān)聯(lián)、檢索、合并、拆分、映射、拷貝、替換等各類操作。所述操作是標(biāo)準(zhǔn)的數(shù)據(jù)處理操作,是對(duì)大量的數(shù)據(jù)處理需求進(jìn)行提煉后,抽象出來(lái)的基本操作,通過(guò)其組合,就可以實(shí)現(xiàn)各目標(biāo)系統(tǒng)提出的不同數(shù)據(jù)處理需要。當(dāng)任務(wù)調(diào)度器103啟動(dòng)可執(zhí)行作業(yè)時(shí),調(diào)度相應(yīng)的數(shù)據(jù)處理操作單元,完成作業(yè)的執(zhí)行。
在實(shí)際應(yīng)用中,所述統(tǒng)一處理系統(tǒng)擁有很多源系統(tǒng)的數(shù)據(jù),為滿足不同應(yīng)用系統(tǒng)需求,保證金融行業(yè)范圍內(nèi)的數(shù)據(jù)共享、作業(yè)共享提供了基礎(chǔ),即如果某些文件已經(jīng)存放在統(tǒng)一處理系統(tǒng),同時(shí)相應(yīng)的某些作業(yè)也已存在,則相應(yīng)的操作將會(huì)減少。例如,不同目標(biāo)系統(tǒng)需要的數(shù)據(jù)來(lái)源于相同源系統(tǒng)的情況非常普遍,在作業(yè)執(zhí)行時(shí),兩部分需求共享一個(gè)作業(yè),如果將共享的作業(yè)或數(shù)據(jù)存放在統(tǒng)一處理系統(tǒng)中,則能夠相應(yīng)提高執(zhí)行效率,這也是減少工作量的一個(gè)顯著因素。
本發(fā)明優(yōu)選的,還設(shè)置了監(jiān)控管理單元107,實(shí)現(xiàn)對(duì)統(tǒng)一處理系統(tǒng)的整體監(jiān)控,以及對(duì)系統(tǒng)配置信息的調(diào)整。所述裝置是獨(dú)立的功能模塊,不受任務(wù)調(diào)度器103的調(diào)用,可以從總體上監(jiān)控、管理整個(gè)系統(tǒng)的作業(yè)調(diào)度、公共轉(zhuǎn)碼、數(shù)據(jù)檢核、數(shù)據(jù)處理、文件傳輸?shù)炔僮鞯膱?zhí)行情況,以及主機(jī)資源的占用情況等。參照?qǐng)D5,是本發(fā)明中監(jiān)控管理裝置107的結(jié)構(gòu)示意圖,所述裝置包括監(jiān)控管理客戶端501和監(jiān)控核心服務(wù)端502。在運(yùn)行過(guò)程中,操作員通過(guò)監(jiān)控管理客戶端501提供的界面輸入相應(yīng)內(nèi)容,由所述客戶端下達(dá)指令,通過(guò)TCP/IP模式傳輸?shù)奖O(jiān)控核心服務(wù)端502,監(jiān)控核心服務(wù)端502解析指令,并通過(guò)API(Application Programming Interface,應(yīng)用編程接口)接口操作任務(wù)調(diào)度器103或文件傳輸裝置102相應(yīng)的API接口,來(lái)完成整個(gè)指令的執(zhí)行。所述指令主要包括啟動(dòng)、關(guān)閉進(jìn)程等操作,例如對(duì)于異常運(yùn)行情況或人工作業(yè)流需要進(jìn)行手工處理的操作,可以進(jìn)入監(jiān)控管理界面,通過(guò)觸發(fā)異常作業(yè)列表生成器和人工作業(yè)流作業(yè)列表生成器,操作相應(yīng)進(jìn)程的啟動(dòng)或關(guān)閉,人工干預(yù)某個(gè)作業(yè)或文件的執(zhí)行。若操作員需要查看系統(tǒng)的操作日志,監(jiān)控核心服務(wù)端502還可以根據(jù)指令訪問(wèn)數(shù)據(jù)庫(kù)101,在監(jiān)控管理客戶端501顯示作業(yè)調(diào)度日志、處理結(jié)果標(biāo)記文件、拒絕文件和警告文件等操作日志,或者顯示各個(gè)節(jié)點(diǎn)的資源利用情況等信息。而對(duì)于調(diào)度配置信息、文件傳輸配置信息等系統(tǒng)配置信息的增加、刪除、查詢、修改等操作,直接由監(jiān)控管理客戶端501訪問(wèn)數(shù)據(jù)庫(kù)101即可實(shí)現(xiàn)。
圖中,所述監(jiān)控管理客戶端501部署了任務(wù)調(diào)度監(jiān)控單元503和文件安全傳輸監(jiān)控單元504,為操作員提供不同的監(jiān)控管理界面任務(wù)調(diào)度監(jiān)控單元503在系統(tǒng)前臺(tái)展現(xiàn)的是作業(yè)級(jí)的數(shù)據(jù)顯示和操作,而文件安全傳輸監(jiān)控單元504在系統(tǒng)前臺(tái)展現(xiàn)的是文件級(jí)的數(shù)據(jù)顯示和操作。若指令由任務(wù)調(diào)度監(jiān)控單元503發(fā)出,則監(jiān)控核心服務(wù)端502操作任務(wù)調(diào)度器103;若指令由文件安全傳輸監(jiān)控單元504發(fā)出,則監(jiān)控核心服務(wù)端502操作文件傳輸裝置102。圖2中所示的文件安全傳輸監(jiān)控管理器即為文件安全傳輸監(jiān)控單元504。
監(jiān)控管理客戶端501還設(shè)置了訪問(wèn)權(quán)限,操作員需要輸入相應(yīng)的用戶名和口令才能登錄。而不同級(jí)別的用戶權(quán)限不同,能看到的界面也不相同,指定的操作員才可以查看系統(tǒng)運(yùn)行情況。同時(shí),當(dāng)根據(jù)業(yè)務(wù)需要增加或修改數(shù)據(jù)庫(kù)101中的配置信息時(shí),也可以進(jìn)入相應(yīng)的界面,查詢并更改指定的各類配置,除了少量的初始化配置外,系統(tǒng)的其他配置均可以在監(jiān)控管理界面中進(jìn)行更改。
本發(fā)明提供的監(jiān)控管理裝置107,由于采用統(tǒng)一的操作和維護(hù)界面,簡(jiǎn)化了相應(yīng)的管理和監(jiān)控操作。所述裝置通過(guò)讀取后臺(tái)服務(wù)器信息,在前臺(tái)加以展現(xiàn);同時(shí)通過(guò)前臺(tái)接收外部命令,對(duì)后臺(tái)進(jìn)行相應(yīng)的操作,從而實(shí)現(xiàn)對(duì)統(tǒng)一處理系統(tǒng)各部分的整體監(jiān)控和管理,極大地方便了用戶操作。
綜上所述,本發(fā)明提供的統(tǒng)一處理系統(tǒng),內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一,數(shù)據(jù)處理效率高,實(shí)時(shí)性好,能夠及時(shí)為目標(biāo)系統(tǒng)提供數(shù)據(jù)。而且,支持各種操作系統(tǒng)平臺(tái),便于跨平臺(tái)的應(yīng)用系統(tǒng)間的批量數(shù)據(jù)交換。本發(fā)明為各應(yīng)用系統(tǒng)提供了統(tǒng)一的數(shù)據(jù)交換方式,在應(yīng)用系統(tǒng)自身接口調(diào)整時(shí),通過(guò)調(diào)整配置信息即可實(shí)現(xiàn)數(shù)據(jù)交換,而無(wú)需改動(dòng)對(duì)應(yīng)系統(tǒng)的接口設(shè)置。此外,為提高系統(tǒng)整體的處理效率,所述統(tǒng)一處理系統(tǒng)通過(guò)多臺(tái)機(jī)器處理數(shù)據(jù),作業(yè)的調(diào)度執(zhí)行部署在多臺(tái)機(jī)器上,而每臺(tái)機(jī)器采用多進(jìn)程方式同時(shí)處理多個(gè)作業(yè)的執(zhí)行。本發(fā)明在架構(gòu)系統(tǒng)框架時(shí),支持可擴(kuò)展處理,在系統(tǒng)資源不足時(shí),還可采用增加機(jī)器數(shù)目的方式解決。
基于上述系統(tǒng)架構(gòu)思想,本發(fā)明還提供了不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理方法。參照?qǐng)D6,是本發(fā)明所述不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理方法流程圖。本實(shí)施例中,第一應(yīng)用系統(tǒng)中的源文件需要處理轉(zhuǎn)換為第二應(yīng)用系統(tǒng)的目標(biāo)文件,處理流程如下步驟601,預(yù)置調(diào)度配置信息和文件傳輸配置信息。如前所述,調(diào)度配置信息包括總體控制信息、作業(yè)配置信息、作業(yè)執(zhí)行信息,文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表。
步驟602,循環(huán)讀取文件傳輸配置信息,當(dāng)對(duì)應(yīng)第一應(yīng)用系統(tǒng)的配置時(shí),從第一應(yīng)用系統(tǒng)獲取源文件。所述步驟與整體處理流程相對(duì)獨(dú)立,通過(guò)輪詢文件傳輸配置信息,當(dāng)存在滿足傳輸條件的源文件時(shí),就執(zhí)行自動(dòng)傳輸操作,因此能夠提高第一應(yīng)用系統(tǒng)與第二應(yīng)用系統(tǒng)間的數(shù)據(jù)交換效率。
優(yōu)選步驟603,收集源文件對(duì)應(yīng)的作業(yè),根據(jù)調(diào)度配置信息生成待執(zhí)行作業(yè)隊(duì)列。當(dāng)獲取源文件后,將以作業(yè)為基本操作單位對(duì)文件進(jìn)行處理。收集的作業(yè)包括執(zhí)行作業(yè)、異常作業(yè)和人工作業(yè),在充分利用系統(tǒng)資源的情況下,定時(shí)(一般為每天)或在固定時(shí)間收集作業(yè),并通過(guò)讀取調(diào)度配置信息,生成待執(zhí)行作業(yè)信息,存放在待執(zhí)行作業(yè)隊(duì)列中。
步驟604,定時(shí)讀取待執(zhí)行作業(yè)隊(duì)列,并循環(huán)讀取作業(yè)對(duì)應(yīng)的調(diào)度配置信息,逐個(gè)判斷待執(zhí)行作業(yè)是否滿足執(zhí)行條件,若滿足,則采用多進(jìn)程方式分別觸發(fā)執(zhí)行;若不滿足,則不執(zhí)行。同時(shí),生成作業(yè)調(diào)度日志。當(dāng)待執(zhí)行作業(yè)隊(duì)列中的作業(yè)全部執(zhí)行完畢后,再返回步驟603,重新收集生成新的待執(zhí)行作業(yè)隊(duì)列。其中,所述執(zhí)行條件即為調(diào)度配置信息中定義的作業(yè)相關(guān)信息。
結(jié)合步驟603和604,作業(yè)調(diào)度的具體流程是(1)將作業(yè)配置信息和作業(yè)執(zhí)行信息通過(guò)“作業(yè)ID”進(jìn)行關(guān)聯(lián),同時(shí),按“優(yōu)先級(jí)”進(jìn)行排序;
(2)讀取一條記錄,如果沒(méi)有記錄被找到,則轉(zhuǎn)到第(9)步;(3)如果“作業(yè)執(zhí)行狀態(tài)”是執(zhí)行成功,則轉(zhuǎn)第(2)步,查找下一條記錄;(4)如果“運(yùn)行時(shí)間區(qū)段”與當(dāng)前系統(tǒng)時(shí)間不一致,則轉(zhuǎn)第(2)步,查找下一條記錄;(5)依次判斷“依賴作業(yè)列表”中的依賴作業(yè)是否已執(zhí)行成功,如果不是執(zhí)行成功狀態(tài),則轉(zhuǎn)第(2)步,查找下一條記錄;(6)依次判斷“輸入文件列表”中的文件是否存在,如果不存在,則轉(zhuǎn)第(2)步,查找下一條記錄;(7)依次查找“可運(yùn)行節(jié)點(diǎn)號(hào)列表”的節(jié)點(diǎn)中,哪個(gè)節(jié)點(diǎn)中的作業(yè)進(jìn)程個(gè)數(shù)沒(méi)有超過(guò)“最大可執(zhí)行進(jìn)程數(shù)”,如果沒(méi)有找到這樣的節(jié)點(diǎn),則轉(zhuǎn)第(2)步,查找下一條記錄;(8)觸發(fā)作業(yè)運(yùn)行,之后轉(zhuǎn)第(2)步,查找下一條記錄;(9)查看是否所有的作業(yè)均被執(zhí)行成功,如果不是,則轉(zhuǎn)第(1)步,重新進(jìn)行關(guān)聯(lián)操作;(10)將“系統(tǒng)日期”加一,再將全部作業(yè)清理掉,并生成新一天的作業(yè),之后轉(zhuǎn)第(1)步,進(jìn)行新的關(guān)聯(lián)操作。
上述流程實(shí)現(xiàn)對(duì)作業(yè)的總體調(diào)度,當(dāng)作業(yè)的個(gè)數(shù)非常多,且之間的關(guān)聯(lián)關(guān)系非常復(fù)雜時(shí),本發(fā)明所述方法能夠在總體上保證所述復(fù)雜的邏輯關(guān)系正常、穩(wěn)定、自動(dòng)完成,而且能夠充分利用系統(tǒng)資源。
步驟605,根據(jù)上述步驟的調(diào)度,完成相應(yīng)的作業(yè)處理。
本發(fā)明將數(shù)據(jù)處理各類功能進(jìn)行分解和歸類,形成基本的功能操作,當(dāng)提出新的功能需求時(shí),通過(guò)需求分析和功能分解,盡可能用現(xiàn)有的基本功能操作通過(guò)總體調(diào)度進(jìn)行串連來(lái)實(shí)現(xiàn),而基本功能操作針對(duì)不同數(shù)據(jù)通過(guò)配置來(lái)適應(yīng)新的需求,最終滿足新的功能需要。如果通過(guò)基本的功能操作實(shí)現(xiàn)需求太復(fù)雜或效率很低,則通過(guò)ETL工具生成相應(yīng)的作業(yè)來(lái)滿足功能需要。所述基本操作包括轉(zhuǎn)碼、檢核、排序、去重、關(guān)聯(lián)、檢索、合并、拆分、映射等各類操作,每個(gè)作業(yè)對(duì)應(yīng)一個(gè)基本操作。
轉(zhuǎn)碼操作,根據(jù)預(yù)先配置的碼制對(duì)照表,進(jìn)行碼制轉(zhuǎn)換。所述操作支持多種碼制之間的轉(zhuǎn)換,還支持輸出格式可配置(定長(zhǎng)、非定長(zhǎng)、各類分隔符等),以及針對(duì)指定的重要數(shù)據(jù)進(jìn)行保護(hù)(如采用加密手段等)。由于除轉(zhuǎn)碼操作外的所有基本操作都以統(tǒng)一的碼制數(shù)據(jù)執(zhí)行,所以從第一應(yīng)用系統(tǒng)獲取的源文件數(shù)據(jù)若不符合數(shù)據(jù)標(biāo)準(zhǔn),則需要調(diào)用轉(zhuǎn)碼操作;或者要發(fā)送的目標(biāo)文件不符合第二應(yīng)用系統(tǒng)的數(shù)據(jù)碼制,也需要進(jìn)行轉(zhuǎn)碼。轉(zhuǎn)碼操作的步驟是讀取表定義(用于識(shí)別文件內(nèi)容)和公共參數(shù)配置信息(如碼制對(duì)照表),根據(jù)碼制對(duì)照表進(jìn)行相應(yīng)的碼制轉(zhuǎn)換。
檢核操作,根據(jù)預(yù)先配置的檢核規(guī)則,進(jìn)行數(shù)據(jù)質(zhì)量檢核,保證數(shù)據(jù)在交換過(guò)程中的正確性,從而為后續(xù)的處理提供質(zhì)量保證。通常,檢核操作和轉(zhuǎn)碼操作綁定在一起,在轉(zhuǎn)碼操作完成后立即進(jìn)行。由于不同數(shù)據(jù)的檢核功能不同,檢核點(diǎn)不一樣,檢核的方式也不一樣,所以檢核操作會(huì)根據(jù)不同應(yīng)用系統(tǒng)的數(shù)據(jù)情況,實(shí)際確定是否需要增加檢核功能。一般的檢核規(guī)則包括數(shù)據(jù)類型校驗(yàn),數(shù)據(jù)取值范圍校驗(yàn),文件列數(shù)校驗(yàn),記錄長(zhǎng)度校驗(yàn),等等。對(duì)數(shù)據(jù)進(jìn)行檢核后,生成轉(zhuǎn)碼后的文件、處理結(jié)果標(biāo)記文件、拒絕文件和警告文件。
排序操作,支持按指定內(nèi)容作為主鍵,對(duì)文本文件內(nèi)容進(jìn)行順序排列,能夠提高數(shù)據(jù)檢索效率,以及滿足部分第二應(yīng)用系統(tǒng)對(duì)處理效率的要求。
去重操作,在第一應(yīng)用系統(tǒng)提供的數(shù)據(jù)中,可能包含部分重復(fù)數(shù)據(jù),通常指主鍵重復(fù),因此需要將相同主鍵的數(shù)據(jù)只保留一條,將其他重復(fù)的數(shù)據(jù)刪除。
連接操作,根據(jù)相關(guān)的主鍵,對(duì)不同文本文件中互相關(guān)聯(lián)的信息進(jìn)行匹配,并輸出到指定的文本文件中。
檢索操作,根據(jù)指定的主鍵,在文本文件中找到匹配的記錄,并輸出到指定的文本文件中。
合并操作,將相同格式的多個(gè)文本文件進(jìn)行合并,形成一個(gè)文本文件。
拆分操作,根據(jù)一定輸入條件,將文本文件以主鍵為單位分成多個(gè)文件。
映射操作,根據(jù)一定條件,將指定的數(shù)據(jù)段按一定規(guī)則替換為相應(yīng)的其他數(shù)據(jù)段。
本發(fā)明中,作業(yè)的調(diào)度執(zhí)行部署在多臺(tái)機(jī)器上,而每臺(tái)機(jī)器采用多進(jìn)程方式同時(shí)處理多個(gè)作業(yè)的執(zhí)行,提高了系統(tǒng)整體的處理效率。在系統(tǒng)資源不足時(shí),還可采用增加機(jī)器數(shù)目的方式解決。
步驟606,作業(yè)執(zhí)行完畢后,生成目標(biāo)文件。
步驟607,循環(huán)讀取文件傳輸配置信息,當(dāng)對(duì)應(yīng)第二應(yīng)用系統(tǒng)的配置時(shí),向第二應(yīng)用系統(tǒng)發(fā)送目標(biāo)文件。本步驟與步驟602均為文件傳輸操作,與作業(yè)調(diào)度、處理流程各自獨(dú)立執(zhí)行,因此提高了數(shù)據(jù)交換效率。
本發(fā)明優(yōu)選的,針對(duì)不同數(shù)據(jù)文件的傳輸,為避免不同應(yīng)用系統(tǒng)的程序改動(dòng),設(shè)置傳輸服務(wù)端和客戶端來(lái)實(shí)現(xiàn)傳輸功能,所有操作均由服務(wù)端控制,服務(wù)端驅(qū)動(dòng)設(shè)置在應(yīng)用系統(tǒng)的客戶端,主動(dòng)從第一應(yīng)用系統(tǒng)獲取源文件,并主動(dòng)向第二應(yīng)用系統(tǒng)發(fā)送目標(biāo)文件。文件的傳輸分為待傳輸文件信息的獲取和文件傳輸?shù)膶?shí)際執(zhí)行,具體的傳輸步驟如前所述。
優(yōu)選的,本發(fā)明還提供了對(duì)圖6執(zhí)行流程的監(jiān)控管理功能。操作員進(jìn)入監(jiān)控管理界面后,需要輸入相應(yīng)的用戶名和口令,不同級(jí)別的用戶權(quán)限不同,能看到的界面也不相同。操作員可以登錄不同界面,執(zhí)行對(duì)作業(yè)調(diào)度和文件傳輸?shù)氖止げ僮?,通過(guò)發(fā)送指令,可以啟動(dòng)或關(guān)閉進(jìn)程的執(zhí)行,也可以完成異常信息的處理。而且,還可以通過(guò)作業(yè)調(diào)度日志、處理結(jié)果標(biāo)記文件、拒絕文件和警告文件等操作日志,查看整個(gè)處理流程的執(zhí)行情況。而針對(duì)不同應(yīng)用系統(tǒng),需要增加、刪除、查詢或修改配置信息時(shí),也可以進(jìn)入相應(yīng)的界面,查詢并更改指定的各類配置。因此,所述監(jiān)控管理界面為用戶提供了調(diào)整調(diào)度配置信息和文件傳輸配置信息的方式,針對(duì)不同應(yīng)用系統(tǒng)間的數(shù)據(jù)交換,不需要進(jìn)行單獨(dú)設(shè)計(jì),而當(dāng)應(yīng)用系統(tǒng)的數(shù)據(jù)接口調(diào)整變化時(shí),只需調(diào)整配置信息,不需要對(duì)應(yīng)的應(yīng)用系統(tǒng)做任何改動(dòng),因此開(kāi)發(fā)和維護(hù)工作簡(jiǎn)便。
下面將結(jié)合實(shí)際業(yè)務(wù)應(yīng)用,舉例說(shuō)明不同應(yīng)用系統(tǒng)間的數(shù)據(jù)交換。實(shí)施例為增加新應(yīng)用系統(tǒng)時(shí),UDI平臺(tái)(Unified Data Interchange,統(tǒng)一數(shù)據(jù)交換池)的相關(guān)配置、執(zhí)行流程說(shuō)明,以ECIF系統(tǒng)(Enterprise CustomerInformation Facility,企業(yè)客戶信息整合系統(tǒng))需要CCBS系統(tǒng)(ConsolidatedCore Banking System,核心銀行業(yè)務(wù)處理系統(tǒng))的個(gè)人客戶信息(CICIFCIO)為例需求情況(1)CICIFCIO和VIPLIST為兩個(gè)不同源系統(tǒng)提供的數(shù)據(jù)檔,而VIP_CICIFCIO為目標(biāo)系統(tǒng)需要的數(shù)據(jù)檔,其中,CICIFCIO和VIPLIST的主鍵均為客戶編號(hào)。
(2)CICIFCIO和VIPLIST文件存放在不同主機(jī),而VIP_CICIFCIO文件還要傳輸?shù)搅硗獾闹鳈C(jī)。
(3)目標(biāo)系統(tǒng)要求按照VIPLIST文件中所有記錄的客戶編號(hào)相應(yīng)獲取CICIFCIO文件中的記錄,輸出到VIP_CICIFCIO文件中。
背景情況(1)CICIFCIO為EBCDIC碼(一種8位編碼方案)文件,VIPLIST為ASCII碼文件,而目標(biāo)系統(tǒng)要求的VIP_CICIFCIO也是ASCII碼文件。
(2)CICIFCIO和VIPLIST文件記錄均未排序。
(3)CICIFCIO文件中按主鍵可能有重復(fù)記錄。
(4)UDI平臺(tái)的關(guān)聯(lián)查找功能需要相應(yīng)的文件必須是排序文件。
首先,分析實(shí)現(xiàn)上述需求需要執(zhí)行哪些操作,每個(gè)操作是否可以由現(xiàn)有的功能模塊來(lái)實(shí)現(xiàn)。分析如下(1)CICIFCIO是EBCDIC碼文件,需要執(zhí)行轉(zhuǎn)碼操作。
(2)CICIFCIO和VIPLIST文件記錄均未排序,同時(shí),CICIFCIO文件中按主鍵可能有重復(fù)記錄,需要執(zhí)行排序去重操作。
(3)根據(jù)所述需求,需要執(zhí)行VIPLIST文件按客戶編號(hào)到CICIFCIO文件查找相應(yīng)記錄的關(guān)聯(lián)查找操作。
經(jīng)過(guò)分析,本例中需要使用轉(zhuǎn)碼、排序去重、關(guān)聯(lián)查找操作,而所述操作也是UDI的三個(gè)基本功能模塊,三個(gè)模塊都支持參數(shù)化,可以滿足需求,因此只需要進(jìn)行配置即可。如果現(xiàn)有功能模塊不能完全滿足需求,那么需要進(jìn)行相應(yīng)開(kāi)發(fā),但前提是應(yīng)盡可能使用現(xiàn)有功能模塊,從而簡(jiǎn)化開(kāi)發(fā)工作量。具體配置過(guò)程如下(1)進(jìn)行元數(shù)據(jù)配置,將三個(gè)文件(包括輸入和輸出)的數(shù)據(jù)字典加工成UDI平臺(tái)內(nèi)部標(biāo)準(zhǔn)的文件,供后續(xù)的作業(yè)調(diào)用。
(2)如果CICIFCIO、VIPLIST和VIP_CICIFCIO對(duì)應(yīng)源和目標(biāo)系統(tǒng)沒(méi)有進(jìn)行過(guò)文件傳輸配置,則進(jìn)行相應(yīng)配置,基本的文件傳輸配置信息包括節(jié)點(diǎn)號(hào)(由UDI平臺(tái)統(tǒng)一分配)、IP地址、端口號(hào)、本地路徑名(絕對(duì)路徑)、對(duì)應(yīng)對(duì)方路徑名(絕對(duì)路徑)、傳輸方向(發(fā)送或獲取)等。
(3)進(jìn)行任務(wù)調(diào)度器的作業(yè)配置1)轉(zhuǎn)碼輸入文件CICIFCIO輸出文件CICIFCIO_S1執(zhí)行模塊公共轉(zhuǎn)碼器(輸入文件、輸出文件作為參數(shù)帶入)執(zhí)行頻度每天執(zhí)行方式自動(dòng)執(zhí)行(文件存在就執(zhí)行)執(zhí)行時(shí)間區(qū)段00:00:00-24:00:00優(yōu)先級(jí)中失敗后的重做次數(shù)3失敗后的重做間隔等3分鐘2)排序去重輸入文件CICIFCIO_S1輸出文件CICIFCIO_T1執(zhí)行模塊排序去重(主鍵、輸入文件、輸出文件作為參數(shù)帶入)執(zhí)行頻度每天執(zhí)行方式自動(dòng)執(zhí)行(文件存在就執(zhí)行)執(zhí)行時(shí)間區(qū)段00:00:00-24:00:00優(yōu)先級(jí)中失敗后的重做次數(shù)3失敗后的重做間隔等3分鐘3)排序去重輸入文件VIPLIST輸出文件VIPLIST_T1執(zhí)行模塊排序去重(主鍵、輸入文件、輸出文件作為參數(shù)帶入)執(zhí)行頻度每天執(zhí)行方式自動(dòng)執(zhí)行(文件存在就執(zhí)行)執(zhí)行時(shí)間區(qū)段00:00:00-24:00:00優(yōu)先級(jí)中失敗后的重做次數(shù)3失敗后的重做間隔等3分鐘4)關(guān)聯(lián)查找輸入文件CICIFCIO_T1 VIPLIST_T1輸出文件VIP_CICIFCIO執(zhí)行模塊關(guān)聯(lián)查找(主鍵、輸入文件、輸出文件作為參數(shù)帶入)執(zhí)行頻度每天執(zhí)行方式自動(dòng)執(zhí)行(文件存在就執(zhí)行)執(zhí)行時(shí)間區(qū)段00:00:00-24:00:00優(yōu)先級(jí)中失敗后的重做次數(shù)3失敗后的重做間隔等3分鐘功能整體實(shí)現(xiàn)流程如下(1)UDI平臺(tái)文件傳輸功能通過(guò)讀取配置,獲得各個(gè)與UDI平臺(tái)相連的傳輸節(jié)點(diǎn)(此處是指源系統(tǒng))信息,之后觸發(fā)對(duì)各節(jié)點(diǎn)的輪詢操作,向各節(jié)點(diǎn)發(fā)送查詢指令,查詢是否有新的文件就緒。所述指令中包括對(duì)方路徑名、時(shí)間戳(記錄該節(jié)點(diǎn)上次輪詢時(shí)間)等。
(2)部署在對(duì)方節(jié)點(diǎn)的文件傳輸客戶端接收到指令后,收集本地相應(yīng)目錄下是否有新的(大于UDI平臺(tái)發(fā)送的時(shí)間戳)文件就緒,如果有,則將滿足條件的文件記錄到文件列表中。
(3)UDI平臺(tái)文件傳輸功能獲取文件列表,將文件列表通過(guò)指令取回,將相應(yīng)文件從對(duì)應(yīng)節(jié)點(diǎn)獲取生成傳輸任務(wù)。
(4)UDI平臺(tái)文件傳輸功能對(duì)傳輸任務(wù)進(jìn)行讀取后做相應(yīng)的傳輸,即可從對(duì)方節(jié)點(diǎn)取回所述文件。傳輸前,部署在對(duì)方節(jié)點(diǎn)的文件傳輸客戶端會(huì)進(jìn)行壓縮及加密,傳輸?shù)奖镜睾?,UDI平臺(tái)會(huì)相應(yīng)進(jìn)行解密和解壓縮。
(5)UDI平臺(tái)任務(wù)調(diào)度器輪詢所有配置的作業(yè),并根據(jù)調(diào)度策略觸發(fā)滿足條件的作業(yè)。因此,當(dāng)CICIFCIO和VIPLIST兩個(gè)文件通過(guò)以上傳輸方式到達(dá)UDI平臺(tái)后,任務(wù)調(diào)度器可以判斷CICIFCIO的轉(zhuǎn)碼和VIPLIST的排序去重作業(yè)均可以執(zhí)行,即調(diào)起所述兩個(gè)作業(yè)執(zhí)行。
(6)CICIFCIO的轉(zhuǎn)碼作業(yè)執(zhí)行結(jié)束后,生成CICIFCIO_S1文件,此時(shí),任務(wù)調(diào)度器判斷CICIFCIO的排序去重作業(yè)也可以執(zhí)行,即調(diào)起所述作業(yè)。
(7)CICIFCIO和VIPLIST的排序去重作業(yè)均執(zhí)行成功后,分別生成CICIFCIO_T1和VIPLIST_T1文件。因此,關(guān)聯(lián)查找作業(yè)也已經(jīng)滿足執(zhí)行條件,任務(wù)調(diào)度器判斷以后,即調(diào)起關(guān)聯(lián)查找作業(yè)。
(8)關(guān)聯(lián)查找作業(yè)執(zhí)行結(jié)束后,即生成目標(biāo)系統(tǒng)需要的VIP_CICIFCIO文件。
(9)UDI平臺(tái)文件傳輸功能通過(guò)讀取配置,獲得各個(gè)與UDI平臺(tái)相連的傳輸節(jié)點(diǎn)(此處是指目標(biāo)系統(tǒng))信息,之后查詢本地(即UDI平臺(tái))對(duì)應(yīng)該節(jié)點(diǎn)配置的目錄下是否有新的(大于該節(jié)點(diǎn)上次輪詢的時(shí)間戳)文件生成,如果有,則針對(duì)所述文件向?qū)?yīng)節(jié)點(diǎn)發(fā)送生成傳輸任務(wù)。
(10)UDI平臺(tái)文件傳輸功能對(duì)傳輸任務(wù)進(jìn)行讀取后做相應(yīng)的傳輸,即可發(fā)送所述文件到對(duì)方節(jié)點(diǎn)。傳輸前,UDI平臺(tái)會(huì)進(jìn)行壓縮及加密,傳輸?shù)綄?duì)方節(jié)點(diǎn)后,部署在對(duì)方節(jié)點(diǎn)的文件傳輸客戶端會(huì)相應(yīng)進(jìn)行解密和解壓縮。
(11)至此,數(shù)據(jù)在源系統(tǒng)->UDI平臺(tái)->目標(biāo)系統(tǒng)的全部傳輸、處理過(guò)程結(jié)束。
以上對(duì)本發(fā)明所提供的不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)和方法,進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想;同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處。綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng),用于處理源系統(tǒng)與目標(biāo)系統(tǒng)間的數(shù)據(jù)交換,其特征在于,包括數(shù)據(jù)庫(kù),用于保存調(diào)度配置信息和文件傳輸配置信息;文件傳輸裝置,用于循環(huán)讀取文件傳輸配置信息,完成源文件從源系統(tǒng)到統(tǒng)一處理系統(tǒng)的傳輸,或者目標(biāo)文件從統(tǒng)一處理系統(tǒng)到目標(biāo)系統(tǒng)的傳輸;任務(wù)調(diào)度器,包括調(diào)度器核心服務(wù)單元,用于循環(huán)讀取調(diào)度配置信息,逐個(gè)判斷源文件對(duì)應(yīng)的待執(zhí)行作業(yè)是否滿足執(zhí)行條件,若滿足,則觸發(fā)數(shù)據(jù)處理裝置或公共轉(zhuǎn)碼裝置執(zhí)行;公共轉(zhuǎn)碼裝置,用于在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,對(duì)應(yīng)預(yù)配置的碼制對(duì)照表,執(zhí)行作業(yè)完成轉(zhuǎn)碼操作;數(shù)據(jù)處理裝置,用于對(duì)應(yīng)各類基本操作,在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,調(diào)度相應(yīng)操作執(zhí)行作業(yè),并生成目標(biāo)文件。
2.根據(jù)權(quán)利要求
1所述的系統(tǒng),其特征在于,所述任務(wù)調(diào)度器還包括作業(yè)列表生成器,用于收集源文件對(duì)應(yīng)的作業(yè),對(duì)應(yīng)調(diào)度配置信息,生成待執(zhí)行作業(yè)隊(duì)列。
3.根據(jù)權(quán)利要求
1所述的系統(tǒng),其特征在于所述調(diào)度器核心服務(wù)單元采用多進(jìn)程方式啟動(dòng)滿足執(zhí)行條件的待執(zhí)行作業(yè)。
4.根據(jù)權(quán)利要求
1所述的系統(tǒng),其特征在于所述文件傳輸裝置在統(tǒng)一處理系統(tǒng)部署服務(wù)端,在源系統(tǒng)和目標(biāo)系統(tǒng)部署客戶端;所述服務(wù)端用于驅(qū)動(dòng)客戶端,主動(dòng)從源系統(tǒng)獲取文件,并主動(dòng)向目標(biāo)系統(tǒng)發(fā)送文件。
5.根據(jù)權(quán)利要求
4所述的系統(tǒng),其特征在于所述服務(wù)端部署文件獲取進(jìn)程,用于獲取待傳輸?shù)奈募畔?;還部署文件傳輸進(jìn)程,用于執(zhí)行文件傳輸操作。
6.根據(jù)權(quán)利要求
4所述的系統(tǒng),其特征在于所述服務(wù)端與客戶端間采用安全機(jī)制傳輸文件。
7.根據(jù)權(quán)利要求
1所述的系統(tǒng),其特征在于,還包括數(shù)據(jù)檢核裝置,用于在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,對(duì)所述源文件和目標(biāo)文件進(jìn)行檢核。
8.根據(jù)權(quán)利要求
7所述的系統(tǒng),其特征在于所述數(shù)據(jù)檢核裝置對(duì)通過(guò)公共轉(zhuǎn)碼裝置處理的數(shù)據(jù)進(jìn)行檢核。
9.根據(jù)權(quán)利要求
1或7所述的系統(tǒng),其特征在于,還包括監(jiān)控管理裝置,用于對(duì)所述統(tǒng)一處理系統(tǒng)的運(yùn)行進(jìn)行監(jiān)控、管理,包括監(jiān)控管理客戶端和監(jiān)控核心服務(wù)端,其中,監(jiān)控管理客戶端,用于向所述監(jiān)控核心服務(wù)端發(fā)送操作指令;監(jiān)控核心服務(wù)端,用于接收所述指令,通過(guò)操作任務(wù)調(diào)度器或文件傳輸裝置執(zhí)行指令,或者通過(guò)訪問(wèn)數(shù)據(jù)庫(kù)將統(tǒng)一處理系統(tǒng)的操作日志返回給監(jiān)控管理客戶端,查看系統(tǒng)的運(yùn)行情況。
10.根據(jù)權(quán)利要求
9所述的系統(tǒng),其特征在于所述監(jiān)控管理客戶端通過(guò)直接訪問(wèn)數(shù)據(jù)庫(kù),更改調(diào)度配置信息或文件傳輸配置信息。
11.根據(jù)權(quán)利要求
9所述的系統(tǒng),其特征在于,所述監(jiān)控管理客戶端包括任務(wù)調(diào)度監(jiān)控單元,用于提供作業(yè)的操作管理;文件安全傳輸監(jiān)控單元,用于提供文件的操作管理。
12.不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理方法,用于處理源系統(tǒng)與目標(biāo)系統(tǒng)間的數(shù)據(jù)交換,其特征在于,包括預(yù)置調(diào)度配置信息和文件傳輸配置信息;循環(huán)讀取文件傳輸配置信息,從源系統(tǒng)獲取源文件,或者向目標(biāo)系統(tǒng)發(fā)送目標(biāo)文件;循環(huán)讀取調(diào)度配置信息,逐個(gè)判斷源文件對(duì)應(yīng)的待執(zhí)行作業(yè)是否滿足執(zhí)行條件,若滿足,則啟動(dòng)作業(yè)執(zhí)行轉(zhuǎn)碼或數(shù)據(jù)處理操作;對(duì)需要轉(zhuǎn)碼的數(shù)據(jù),對(duì)應(yīng)預(yù)配置的碼制對(duì)照表,執(zhí)行作業(yè)完成轉(zhuǎn)碼操作;對(duì)需要進(jìn)行數(shù)據(jù)處理的數(shù)據(jù),對(duì)應(yīng)數(shù)據(jù)處理的各類基本操作,調(diào)用相應(yīng)操作執(zhí)行作業(yè);生成目標(biāo)文件。
13.根據(jù)權(quán)利要求
12所述的方法,其特征在于,還包括收集源文件對(duì)應(yīng)的作業(yè),對(duì)應(yīng)調(diào)度配置信息,生成待執(zhí)行作業(yè)隊(duì)列;所述待執(zhí)行作業(yè)隊(duì)列中的作業(yè)全部調(diào)度執(zhí)行完后,重新收集生成待執(zhí)行作業(yè)隊(duì)列。
14.根據(jù)權(quán)利要求
12所述的方法,其特征在于采用多進(jìn)程方式啟動(dòng)滿足執(zhí)行條件的待執(zhí)行作業(yè)。
15.根據(jù)權(quán)利要求
12所述的方法,其特征在于所述作業(yè)的執(zhí)行部署在至少一臺(tái)機(jī)器上。
16.根據(jù)權(quán)利要求
12所述的方法,其特征在于,執(zhí)行以下步驟從源系統(tǒng)獲取源文件,其中,所述文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表服務(wù)端循環(huán)讀取節(jié)點(diǎn)配置表,向源系統(tǒng)客戶端發(fā)送查詢指令;客戶端將就緒的文件信息記錄到文件列表;服務(wù)端獲取文件列表,對(duì)應(yīng)匹配規(guī)則確定待傳輸文件,并記錄到待傳輸文件配置表;對(duì)應(yīng)待傳輸文件配置表,源文件從客戶端傳輸?shù)椒?wù)端。
17.根據(jù)權(quán)利要求
16所述的方法,其特征在于,執(zhí)行以下步驟從客戶端傳輸源文件到服務(wù)端服務(wù)端循環(huán)讀取待傳輸文件配置表,向源系統(tǒng)客戶端發(fā)送驗(yàn)證指令;驗(yàn)證通過(guò),服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送給客戶端;客戶端用所述密鑰對(duì)待傳輸文件進(jìn)行加密;服務(wù)端獲取加密的待傳輸文件,用所述密鑰對(duì)待傳輸文件進(jìn)行解密。
18.根據(jù)權(quán)利要求
12所述的方法,其特征在于,執(zhí)行以下步驟向目標(biāo)系統(tǒng)發(fā)送目標(biāo)文件,其中,所述文件傳輸配置信息包括節(jié)點(diǎn)配置表和待傳輸文件配置表服務(wù)端循環(huán)讀取節(jié)點(diǎn)配置表,將就緒的文件信息記錄到文件列表;對(duì)應(yīng)匹配規(guī)則確定待傳輸文件,并記錄到待傳輸文件配置表;對(duì)應(yīng)待傳輸文件配置表,服務(wù)端向目標(biāo)系統(tǒng)客戶端傳輸目標(biāo)文件。
19.根據(jù)權(quán)利要求
18所述的方法,其特征在于,執(zhí)行以下步驟將目標(biāo)文件從服務(wù)端傳輸?shù)侥繕?biāo)系統(tǒng)客戶端服務(wù)端循環(huán)讀取待傳輸文件配置表,向目標(biāo)系統(tǒng)客戶端發(fā)送驗(yàn)證指令;驗(yàn)證通過(guò),服務(wù)端生成動(dòng)態(tài)密鑰,并發(fā)送給客戶端;服務(wù)端用所述密鑰對(duì)待傳輸文件進(jìn)行加密,并向客戶端發(fā)送所述加密的文件;客戶端用所述密鑰對(duì)文件進(jìn)行解密。
20.根據(jù)權(quán)利要求
12所述的方法,其特征在于,所述轉(zhuǎn)碼操作包括將源系統(tǒng)數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)碼制數(shù)據(jù),或者將標(biāo)準(zhǔn)碼制數(shù)據(jù)轉(zhuǎn)換為目標(biāo)系統(tǒng)需要的碼制數(shù)據(jù)。
21.根據(jù)權(quán)利要求
12所述的方法,其特征在于,所述作業(yè)的執(zhí)行還包括檢核操作對(duì)源文件及目標(biāo)文件進(jìn)行檢核,所述檢核操作對(duì)不同數(shù)據(jù)采用不同的檢核規(guī)則。
22.根據(jù)權(quán)利要求
21所述的方法,其特征在于,所述檢核操作還包括對(duì)轉(zhuǎn)碼操作后的數(shù)據(jù)進(jìn)行檢核。
23.根據(jù)權(quán)利要求
12所述的方法,其特征在于,還包括訪問(wèn)監(jiān)控管理界面,更改所述調(diào)度配置信息或文件傳輸配置信息。
24.根據(jù)權(quán)利要求
12所述的方法,其特征在于,還包括訪問(wèn)監(jiān)控管理界面,發(fā)送操作指令,完成作業(yè)的調(diào)度執(zhí)行或文件傳輸。
25.根據(jù)權(quán)利要求
21或23所述的方法,其特征在于,還包括訪問(wèn)監(jiān)控管理界面,通過(guò)操作日志查看作業(yè)調(diào)度、轉(zhuǎn)碼、檢核、數(shù)據(jù)處理、文件傳輸操作的運(yùn)行情況。
專利摘要
本發(fā)明公開(kāi)了不同應(yīng)用系統(tǒng)間數(shù)據(jù)交換的統(tǒng)一處理系統(tǒng)及方法,涉及數(shù)據(jù)的交換處理領(lǐng)域,解決由于各應(yīng)用系統(tǒng)在數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式、處理方式等方面的差異,造成數(shù)據(jù)交換處于混亂無(wú)序狀態(tài)的問(wèn)題。所述系統(tǒng)包括數(shù)據(jù)庫(kù),用于保存各種配置信息;公共轉(zhuǎn)碼裝置、數(shù)據(jù)檢核裝置、數(shù)據(jù)處理裝置,用于在任務(wù)調(diào)度器的統(tǒng)一調(diào)度下,完成轉(zhuǎn)碼、檢核、加工等各類數(shù)據(jù)處理操作;文件傳輸裝置,用于完成統(tǒng)一處理系統(tǒng)與各應(yīng)用系統(tǒng)間的文件傳輸;監(jiān)控管理裝置,用于對(duì)統(tǒng)一處理系統(tǒng)進(jìn)行監(jiān)控、管理。本發(fā)明提供的統(tǒng)一處理系統(tǒng),內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一,數(shù)據(jù)處理效率高,能夠及時(shí)為目標(biāo)系統(tǒng)提供數(shù)據(jù),還支持各種操作系統(tǒng)平臺(tái),便于跨平臺(tái)的應(yīng)用系統(tǒng)間的批量數(shù)據(jù)交換。
文檔編號(hào)G06F9/46GK1996854SQ200610170645
公開(kāi)日2007年7月11日 申請(qǐng)日期2006年12月22日
發(fā)明者蘇明源, 馬駿, 劉永生, 隋嵩, 許長(zhǎng)山, 劉慶文, 董瑜, 翁世清, 鄭志遠(yuǎn), 王雪峰 申請(qǐng)人:中國(guó)建設(shè)銀行股份有限公司導(dǎo)出引文BiBTeX, EndNote, RefMan