亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置及方法

文檔序號:6585102閱讀:222來源:國知局
專利名稱:對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置及方法
技術(shù)領(lǐng)域
本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)文件處理技術(shù)領(lǐng)域,尤其是涉及一種對海量數(shù)據(jù)文件進(jìn)行
傳輸處理的裝置及方法。
背景技術(shù)
對于大型金融機(jī)構(gòu)或企業(yè)來說,其計(jì)算機(jī)系統(tǒng)一般都需要對海量數(shù)據(jù)(又稱為代 理數(shù)據(jù))文件進(jìn)行批量處理,如代收費(fèi)、代發(fā)工資等數(shù)據(jù)文件,這些海量數(shù)據(jù)的傳輸大都采 用批量文件方式上傳到核心處理系統(tǒng)。 考慮到計(jì)算機(jī)系統(tǒng)的處理效率和性能等因素,大型金融機(jī)構(gòu)或企業(yè)一般規(guī)定了每
天大批量文件傳輸?shù)膱龃魏蜁r(shí)間,如一天分若干場次運(yùn)行代理批量,代理數(shù)據(jù)文件按既定
的場次時(shí)間提交到主機(jī)核心系統(tǒng),再由主機(jī)運(yùn)行人員啟動(dòng)相應(yīng)批量處理模塊。 這種傳統(tǒng)處理方法其技術(shù)特點(diǎn)是批量交易數(shù)據(jù)量大,占用系統(tǒng)的資源較少,但交
易處理完成時(shí)間比客戶提交的時(shí)間延后較多。 可見,傳統(tǒng)的處理方式存在以下的缺點(diǎn)傳統(tǒng)代理業(yè)務(wù)的海量數(shù)據(jù)文件批量場次 要求固定,且必須人工參與處理,系統(tǒng)處理效率低,不夠靈活。

發(fā)明內(nèi)容
( — )要解決的技術(shù)問題 有鑒于此,本發(fā)明的主要目的在于提供一種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置 及方法,以解決目前對海量數(shù)據(jù)文件進(jìn)行傳輸處理時(shí)效率低的問題,形成一種聯(lián)機(jī)發(fā)起交 易處理請求、批量執(zhí)行數(shù)據(jù)處理的交易模式,以批量方式完成對各類外圍平臺(tái)系統(tǒng)提供的 較大數(shù)據(jù)量業(yè)務(wù)數(shù)據(jù)文件的處理。
( 二 )技術(shù)方案 為達(dá)到上述目的,本發(fā)明采用的技術(shù)方案如下 —種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,該裝置包括代理客戶端01、代理服務(wù) 器02和核心主機(jī)03,其中: 代理客戶端01,用于收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文 件傳輸給代理服務(wù)器02 ; 代理服務(wù)器02,用于接收代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文 件,對客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請 求,并且接收處理結(jié)果,將結(jié)果反饋給代理客戶端Ol ; 核心主機(jī)03,用于接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海 量數(shù)據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器02。 上述方案中,所述代理服務(wù)器02包括通訊處理單元20、數(shù)據(jù)處理單元21和數(shù)據(jù)存 儲(chǔ)單元22,其中 通訊處理單元20將接收的代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文
6件轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元21進(jìn)行處理; 數(shù)據(jù)處理單元21接收到通訊處理單元20發(fā)送的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件后,向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請求,接收處理結(jié)果,將處理結(jié)果反饋給代理客戶端01,以及將處理結(jié)果存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元22中; 數(shù)據(jù)存儲(chǔ)單元22存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),至少包括聯(lián)機(jī)批量處理控制表和對照聯(lián)機(jī)批量處理參數(shù)表。 上述方案中,所述通訊處理單元20包括數(shù)據(jù)接收模塊201和數(shù)據(jù)轉(zhuǎn)發(fā)模塊202 ,其中 數(shù)據(jù)接收模塊201,接收代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件,并轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元21進(jìn)行處理; 數(shù)據(jù)轉(zhuǎn)發(fā)模塊202,利用序號發(fā)生器生成序號,該序號中利用兩位交易序號用于區(qū)分應(yīng)用來源,并發(fā)起聯(lián)機(jī)交易請求,上送交易信息到數(shù)據(jù)處理單元21 ;同時(shí)將數(shù)據(jù)處理單元21返回的處理結(jié)果,再返傳到代理客戶端01。 上述方案中,所述數(shù)據(jù)處理單元21包括數(shù)據(jù)識(shí)別模塊203、數(shù)據(jù)守候模塊204、數(shù)據(jù)自檢模塊205和數(shù)據(jù)異常處理模塊206,其中 數(shù)據(jù)識(shí)別模塊203,用于檢查海量數(shù)據(jù)文件格式是否符合要求,并根據(jù)在服務(wù)器側(cè)登記的聯(lián)機(jī)批量處理參數(shù)檢驗(yàn)是否在允許交易的時(shí)間段; 數(shù)據(jù)守候模塊204,用于監(jiān)測核心主機(jī)03返回的狀態(tài)文件,并把核心主機(jī)03返回狀態(tài)登記在服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表; 數(shù)據(jù)自檢模塊205,用于通過對照在服務(wù)器側(cè)的聯(lián)機(jī)批量處理參數(shù)表,檢查在聯(lián)機(jī)
批量處理控制表內(nèi)登記的各個(gè)交易是否超過單位時(shí)間,批量處理仍未達(dá)到整體成功狀態(tài); 數(shù)據(jù)異常處理模塊206,用于對數(shù)據(jù)自檢模塊205檢查出來的異常狀態(tài)交易進(jìn)行
后續(xù)處理,根據(jù)不同狀況,選擇不同的后續(xù)處理方式,至少包括繼續(xù)觸發(fā)和報(bào)錯(cuò)。 上述方案中,所述核心主機(jī)03包括交易請求處理單元31、調(diào)度作業(yè)處理單元32、
代理數(shù)據(jù)處理單元33和數(shù)據(jù)存儲(chǔ)單元34,其中 交易請求處理單元31接收代理服務(wù)器02上送的交易請求,將交易請求中包含的交易序號信息登記在數(shù)據(jù)存儲(chǔ)單元34,并將登記成功標(biāo)志返回給代理服務(wù)器02 ;
調(diào)度處理作業(yè)處理單元32訪問數(shù)據(jù)存儲(chǔ)單元34,根據(jù)登記的交易請求控制信息,生成并運(yùn)行批量指令集,并觸發(fā)代理數(shù)據(jù)處理單元33 ; 代理數(shù)據(jù)處理單元33負(fù)責(zé)對代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理,并將處理結(jié)果返回給代理服務(wù)器02 ; 數(shù)據(jù)存儲(chǔ)單元34用于存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),至少包括聯(lián)機(jī)批量
處理控制表和對照聯(lián)機(jī)批量處理參數(shù)表。 上述方案中,所述調(diào)度處理作業(yè)處理單元32包括 調(diào)度作業(yè)守候模塊303,該模塊采用輪循監(jiān)測手段,檢查數(shù)據(jù)存儲(chǔ)單元34中主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表,對聯(lián)機(jī)已登記的待處理的記錄或處理異常中斷需要繼續(xù)處理的記錄逐筆進(jìn)行處理; 調(diào)度作業(yè)生成模塊304,讀取數(shù)據(jù)存儲(chǔ)單元34中的聯(lián)機(jī)批量處理參數(shù)定制表,根據(jù)從該聯(lián)機(jī)批量處理參數(shù)定制表中取得的設(shè)置數(shù)據(jù)生成批量GET和PUT指令集;該聯(lián)機(jī)批量處理參數(shù)定制表在主機(jī)側(cè),包括FTP地址和文件長度; 調(diào)度作業(yè)觸發(fā)模塊305,用于根據(jù)調(diào)度作業(yè)生成模塊304生成的批量指令集,觸發(fā) 代理數(shù)據(jù)處理單元33進(jìn)行業(yè)務(wù)功能處理。 上述方案中,所述代理數(shù)據(jù)處理單元33包括代理數(shù)據(jù)上傳模塊306、代理數(shù)據(jù)處 理模塊307和代理數(shù)據(jù)返傳模塊308,其中,代理數(shù)據(jù)上傳模塊306在接收到數(shù)據(jù)后,觸發(fā)代 理數(shù)據(jù)處理模塊307完成該數(shù)據(jù)業(yè)務(wù)處理,代理數(shù)據(jù)處理模塊307再觸發(fā)代理數(shù)據(jù)返傳模 塊308將處理后的數(shù)據(jù)返傳到代理服務(wù)器。 上述方案中,所述代理數(shù)據(jù)上傳模塊306運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件, 并將GET調(diào)用成功標(biāo)志通過文件同步傳回服務(wù)器,登記到服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制 表; 所述代理數(shù)據(jù)處理模塊307運(yùn)行批量業(yè)務(wù)處理模塊,完成批量業(yè)務(wù)功能,同時(shí)將 運(yùn)行結(jié)果生成返傳文件; 所述代理數(shù)據(jù)返傳模塊308啟動(dòng)PUT指令集,將代理數(shù)據(jù)處理模塊307生成的返 傳文件放入服務(wù)器,同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回,將PUT調(diào)用成功標(biāo)志 寫入主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表,整體成功標(biāo)志置為成功,將整體成功標(biāo)志送回服務(wù)器, 代理服務(wù)器將成功標(biāo)準(zhǔn)返回給代理客戶端,整個(gè)處理過程結(jié)束。 上述方案中,該裝置還包括一內(nèi)部網(wǎng)絡(luò)04,用于連接代理客戶端01、代理服務(wù)器 02和核心主機(jī)03,實(shí)現(xiàn)代理客戶端01、代理服務(wù)器02與核心主機(jī)03之間的數(shù)據(jù)交互。
上述方案中,該內(nèi)部網(wǎng)絡(luò)04是企業(yè)的局域網(wǎng),或者是以太網(wǎng)。 —種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法,應(yīng)用于包括代理客戶端01、代理服務(wù) 器02和核心主機(jī)03的裝置,該方法包括 代理客戶端01收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文件傳 輸給代理服務(wù)器02 ; 代理服務(wù)器02接收代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件,對 客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請求;
核心主機(jī)03接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海量數(shù) 據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器02 ; 代理服務(wù)器02接收核心主機(jī)03返回的處理結(jié)果,將處理結(jié)果反饋給代理客戶端 01。
上述方案中,在傳輸業(yè)務(wù)處理請求時(shí),該方法具體包括以下步驟
步驟401 :代理客戶端01發(fā)起聯(lián)機(jī)觸發(fā)指令; 步驟402 :代理服務(wù)器02接收代理客戶端01發(fā)起的聯(lián)機(jī)觸發(fā)指令,并接收代理客 戶端01發(fā)送過來的海量數(shù)據(jù)文件; 步驟403 :代理服務(wù)器02調(diào)用通訊處理單元20,發(fā)送交易請求指令到核心主機(jī)
03 ; 步驟404 :核心主機(jī)03接收交易指令; 步驟405 :核心主機(jī)03登記主機(jī)登記控制表; 步驟406 :核心主機(jī)03登記控制表后返回登記狀態(tài)指令到代理服務(wù)器02 ; 步驟407 :代理服務(wù)器02接收主機(jī)登記的處理結(jié)果;
步驟408 :代理服務(wù)器02判斷主機(jī)登記結(jié)果,如果登記成功,代理服務(wù)器將該狀態(tài)
指令返回給代理客戶端Ol,再執(zhí)行步驟401 ;若登記不成功,則執(zhí)行步驟409 ; 步驟409 :代理服務(wù)器02啟動(dòng)數(shù)據(jù)異常處理模塊206,將處理信息返傳到數(shù)據(jù)通訊
單元20,再次執(zhí)行步驟403。 上述方案中,在傳輸海量數(shù)據(jù)文件時(shí),該方法具體包括以下步驟 步驟501 :調(diào)度作業(yè)守候模塊303檢查主機(jī)聯(lián)機(jī)批量處理控制表,對聯(lián)機(jī)已登記的
待處理的記錄或處理異常中斷需要繼續(xù)處理的記錄進(jìn)行處理; 步驟502 :調(diào)度作業(yè)守候模塊303根據(jù)處理業(yè)務(wù)類型,讀取聯(lián)機(jī)批量處理參數(shù)定制 表設(shè)置的數(shù)據(jù)信息,啟動(dòng)調(diào)度作業(yè)生成模塊304生成批量GET和PUT機(jī)器處理命令,該聯(lián)機(jī) 批量處理參數(shù)定制表在主機(jī)側(cè),包括FTP地址和文件長度; 步驟503 :調(diào)度作用觸發(fā)模塊305啟動(dòng)代理數(shù)據(jù)上傳模塊306,通過運(yùn)行GET命令 集,從代理服務(wù)器02獲取代理大數(shù)據(jù)文件,并將GET調(diào)用成功標(biāo)志傳回代理服務(wù)器02,登記 服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表; 步驟504 :調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)處理模塊307,代理數(shù)據(jù)處理模塊 307逐筆讀取代理大數(shù)據(jù)文件的數(shù)據(jù)記錄,完成相應(yīng)的業(yè)務(wù)功能處理,同時(shí)將處理結(jié)果生成 返傳文件; 步驟505 :調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)返傳模塊308運(yùn)行PUT指令,將生 成的返傳文件放入代理服務(wù)器02,同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回,然后 將PUT調(diào)用成功標(biāo)志寫入主機(jī)控制表; 步驟506 :代理數(shù)據(jù)返傳模塊308將返傳處理成功標(biāo)志送回代理服務(wù)器02 ;
步驟507 :代理服務(wù)器02將成功處理標(biāo)志返回給代理客戶端01,整個(gè)處理過程結(jié) 束。(三)有益效果 從上述技術(shù)方案可以看出,本發(fā)明具有以下有益效果 1、利用本發(fā)明,可以解決大數(shù)據(jù)量的數(shù)據(jù)文件的處理效率問題,形成一種完整的 聯(lián)機(jī)發(fā)起交易請求、批量運(yùn)行的處理模式,為各類開放平臺(tái)應(yīng)用的較大數(shù)據(jù)量的業(yè)務(wù)數(shù)據(jù) 進(jìn)行普遍、靈活的支持。 2、利用本發(fā)明,既可以代替以前聯(lián)機(jī)交易"機(jī)關(guān)槍"的觸發(fā)機(jī)制,即一筆聯(lián)機(jī)交易 完成一筆數(shù)據(jù)處理,也減少以往批量處理在時(shí)間和批次上的限制,做到一筆觸發(fā),多筆執(zhí) 行,從而節(jié)約系統(tǒng)資源,避免表過熱,系統(tǒng)資源分配不均衡的問題。 3、本發(fā)明可以應(yīng)用在代理業(yè)務(wù)中,以及聯(lián)機(jī)觸發(fā)批量代扣水電費(fèi)、電話費(fèi),代發(fā)工 資等領(lǐng)域。在服務(wù)器、主機(jī)事先定義代扣水電費(fèi)、電話費(fèi)、代發(fā)工作的不同工作模塊,按照固 定的數(shù)據(jù)結(jié)構(gòu)上送數(shù)據(jù)至服務(wù)器,由代理客戶端發(fā)起聯(lián)機(jī),經(jīng)服務(wù)器調(diào)用主機(jī)模塊,自動(dòng)將 文件取到主機(jī)進(jìn)行批量模塊的處理,再將處理的結(jié)果通過服務(wù)器,返回到代理客戶端。


圖1是本發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置的結(jié)構(gòu)示意圖; 圖2是本發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置中各組成部分的結(jié)構(gòu)
示意9
圖3是本發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖;
圖4是依照本發(fā)明實(shí)施例對業(yè)務(wù)處理請求進(jìn)行傳輸處理的方法流程圖;
圖5是依照本發(fā)明實(shí)施例對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白,以下結(jié)合具體實(shí)施例,并參照 附圖,對本發(fā)明進(jìn)一步詳細(xì)說明。 如圖1所示,圖1是本發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置的結(jié)構(gòu)示 意圖,該裝置包括代理客戶端01、代理服務(wù)器02和核心主機(jī)03,其中 代理客戶端01,用于收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文 件傳輸給代理服務(wù)器02。代理客戶端01是網(wǎng)絡(luò)系統(tǒng)的客戶端,也可以是一臺(tái)個(gè)人PC,它有 顯示裝置和輸入裝置,輸入裝置可以是鍵盤和鼠標(biāo)。其運(yùn)行于各類開放平臺(tái)應(yīng)用系統(tǒng)機(jī)器 上。 代理服務(wù)器02,用于接收代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文 件,對客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請 求,并且接收處理結(jié)果,將結(jié)果反饋給代理客戶端Ol。 核心主機(jī)03,用于接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海 量數(shù)據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器02。 該裝置還包括一內(nèi)部網(wǎng)絡(luò)04,用于連接代理客戶端01、代理服務(wù)器02和核心主機(jī) 03,實(shí)現(xiàn)代理客戶端01、代理服務(wù)器02與核心主機(jī)03之間的數(shù)據(jù)交互。該內(nèi)部網(wǎng)絡(luò)04是 企業(yè)的局域網(wǎng),可以是以太網(wǎng)(Ethernet),也可以是其它局域網(wǎng)絡(luò)。 請參照圖2,圖2是本發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置中各組成 部分的結(jié)構(gòu)示意圖。 代理服務(wù)器02進(jìn)一步包括通訊處理單元20、數(shù)據(jù)處理單元21和數(shù)據(jù)存儲(chǔ)單元 22。 通訊處理單元20負(fù)責(zé)接收數(shù)據(jù),根據(jù)必要條件觸發(fā)數(shù)據(jù)處理單元21,數(shù)據(jù)處理單 元根據(jù)必要條件滿足情況,調(diào)度數(shù)據(jù)存儲(chǔ)單元22的數(shù)據(jù)。 通訊處理單元20 :通訊處理單元20進(jìn)一步包括以下模塊數(shù)據(jù)接收模塊201和數(shù) 據(jù)轉(zhuǎn)發(fā)模塊202。數(shù)據(jù)接收模塊201,接收代理客戶端01上送的數(shù)據(jù)文件;并轉(zhuǎn)發(fā)給數(shù)據(jù)處 理單元21的數(shù)據(jù)識(shí)別模塊203進(jìn)行處理。數(shù)據(jù)轉(zhuǎn)發(fā)模塊202,利用序號發(fā)生器,生成序號 (序號中利用兩位交易序號區(qū)分應(yīng)用來源),發(fā)起聯(lián)機(jī)交易請求,上送交易信息(包含交易 序號、文件名等信息)到核心主機(jī);同時(shí)將主機(jī)返回到代理服務(wù)器02的處理結(jié)果,再返傳到 代理客戶端01。數(shù)據(jù)接收模塊201在接收數(shù)據(jù)后,觸發(fā)數(shù)據(jù)轉(zhuǎn)發(fā)模塊202。
數(shù)據(jù)處理單元21 :數(shù)據(jù)處理單元21進(jìn)一步包括以下模塊數(shù)據(jù)識(shí)別模塊203、數(shù) 據(jù)守候模塊204、數(shù)據(jù)自檢模塊205和數(shù)據(jù)異常處理模塊206。數(shù)據(jù)識(shí)別模塊203 :檢查數(shù) 據(jù)文件格式是否符合要求,并根據(jù)代理服務(wù)器登記的聯(lián)機(jī)批量處理參數(shù)(服務(wù)器側(cè))檢驗(yàn) 是否在允許交易的時(shí)間段。數(shù)據(jù)守候模塊204 :負(fù)責(zé)監(jiān)測主機(jī)返回的狀態(tài)文件,并把主機(jī)返 回狀態(tài)登記聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))。數(shù)據(jù)自檢模塊205 :通過對照聯(lián)機(jī)批量處理 參數(shù)表(服務(wù)器側(cè)),檢查在聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))內(nèi)登記的各個(gè)交易是否超時(shí)(主要是指超過單位時(shí)間,批量處理仍未達(dá)到整體成功狀態(tài))。數(shù)據(jù)異常處理模塊206 : 對于數(shù)據(jù)自檢模塊中檢查出來的異常狀態(tài)交易進(jìn)行后續(xù)處理,根據(jù)不同狀況,選擇不同的 后續(xù)處理方式(繼續(xù)觸發(fā)和報(bào)錯(cuò)等); 數(shù)據(jù)存儲(chǔ)單元22 :負(fù)責(zé)存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),如聯(lián)機(jī)批量處理控 制表、對照聯(lián)機(jī)批量處理參數(shù)表等。 核心主機(jī)03由以下部分組成交易請求處理單元31、調(diào)度作業(yè)處理單元32、代理 數(shù)據(jù)處理單元33和數(shù)據(jù)存儲(chǔ)單元34。 交易請求處理單元31接收代理服務(wù)器上送的交易請求,將交易序號等交易信息 登記在數(shù)據(jù)存儲(chǔ)單元34,并將登記成功標(biāo)志返回給代理服務(wù)器;調(diào)度處理作業(yè)處理單元32 訪問數(shù)據(jù)存儲(chǔ)單元34,根據(jù)登記的交易請求控制信息,生成并運(yùn)行批量指令集,并觸發(fā)代理 數(shù)據(jù)處理單元33 ;代理數(shù)據(jù)處理單元33負(fù)責(zé)對代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理,如代發(fā)工資、 代收水電費(fèi)等,并將處理結(jié)果返回給代理服務(wù)器。 調(diào)度作業(yè)處理單元32進(jìn)一步包括調(diào)度作業(yè)守候模塊303、調(diào)度作業(yè)生成模塊304 和調(diào)度作業(yè)觸發(fā)模塊305。調(diào)度作業(yè)守候模塊303 :該模塊采用輪循監(jiān)測手段,檢查數(shù)據(jù)存 儲(chǔ)單元34中的聯(lián)機(jī)批量處理控制表(主機(jī)側(cè)),對聯(lián)機(jī)已登記的待處理(或處理異常中斷 需要繼續(xù)處理)記錄進(jìn)行逐筆處理。調(diào)度作業(yè)生成模塊304 :讀取數(shù)據(jù)存儲(chǔ)單元34中的聯(lián) 機(jī)批量處理參數(shù)定制表(主機(jī)側(cè),包括了FTP地址、文件長度等),根據(jù)從定制表中取得的設(shè) 置數(shù)據(jù),自動(dòng)生成批量GET、PUT等指令集。調(diào)度作業(yè)觸發(fā)模塊305 :根據(jù)調(diào)度作業(yè)生成模塊 304生成的批量指令集,觸發(fā)代理數(shù)據(jù)處理單元33進(jìn)行業(yè)務(wù)功能處理。
代理數(shù)據(jù)處理單元33進(jìn)一步包括代理數(shù)據(jù)上傳模塊306、代理數(shù)據(jù)處理模塊 307、代理數(shù)據(jù)返傳模塊308。代理數(shù)據(jù)上傳模塊306接收數(shù)據(jù)后,觸發(fā)代理數(shù)據(jù)處理模塊 307完成該數(shù)據(jù)業(yè)務(wù)處理,理數(shù)據(jù)處理模塊307再觸發(fā)代理數(shù)據(jù)返傳模塊308,將處理后的 數(shù)據(jù)返傳到代理服務(wù)器。代理數(shù)據(jù)上傳模塊306 :運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件, 并將GET調(diào)用成功標(biāo)志通過文件同步傳回服務(wù)器,登記聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))。 代理數(shù)據(jù)處理模塊307 :運(yùn)行批量業(yè)務(wù)處理模塊,完成批量業(yè)務(wù)功能,同時(shí)將運(yùn)行結(jié)果生成 返傳文件。代理數(shù)據(jù)返傳模塊308 :啟動(dòng)PUT指令集,將生成的返傳文件放入服務(wù)器,同時(shí) PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回;將PUT調(diào)用成功標(biāo)志寫入聯(lián)機(jī)批量處理控制 表(主機(jī)側(cè)),整體成功標(biāo)志置為成功,將整體成功標(biāo)志送回服務(wù)器,代理服務(wù)器將成功標(biāo) 準(zhǔn)返回給代理客戶端,交易結(jié)束。 數(shù)據(jù)存儲(chǔ)單元34 :負(fù)責(zé)存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),如聯(lián)機(jī)批量處理控 制表、對照聯(lián)機(jī)批量處理參數(shù)表等。 基于上述圖l和圖2所示的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,圖3示出了本 發(fā)明提供的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖,該方法包括 步驟301 :代理客戶端01收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù) 據(jù)文件傳輸給代理服務(wù)器02 ; 步驟302 :代理服務(wù)器02接收代理客戶端01發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù) 據(jù)文件,對客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理 請求; 步驟303 :核心主機(jī)03接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海量數(shù)據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器02 ; 步驟304 :代理服務(wù)器02接收核心主機(jī)03返回的處理結(jié)果,將處理結(jié)果反饋給代 理客戶端Ol。
如圖4所示,代理數(shù)據(jù)交易請求主要包括以下處理步驟 上述方案中,在傳輸業(yè)務(wù)處理請求時(shí),該方法具體包括以下步驟 步驟401 :代理客戶端01發(fā)起聯(lián)機(jī)觸發(fā)指令; 步驟402 :代理服務(wù)器02接收代理客戶端01發(fā)起的聯(lián)機(jī)觸發(fā)指令,并接收代理客 戶端01發(fā)送過來的海量數(shù)據(jù)文件; 步驟403 :代理服務(wù)器02調(diào)用通訊處理單元20,發(fā)送交易請求指令到核心主機(jī)
03 ; 步驟404 :核心主機(jī)03接收交易指令;
步驟405 :核心主機(jī)03登記主機(jī)登記控制表; 步驟406 :核心主機(jī)03登記控制表后返回登記狀態(tài)指令到代理服務(wù)器02 ;
步驟407 :代理服務(wù)器02接收主機(jī)登記的處理結(jié)果; 步驟408 :代理服務(wù)器02判斷主機(jī)登記結(jié)果,如果登記成功,代理服務(wù)器將該狀態(tài)
指令返回給代理客戶端Ol,再執(zhí)行步驟401 ;若登記不成功,則執(zhí)行步驟409 ; 步驟409 :代理服務(wù)器02啟動(dòng)數(shù)據(jù)異常處理模塊206,將處理信息返傳到數(shù)據(jù)通訊
單元20,再次執(zhí)行步驟403。 如圖5所示,在傳輸海量數(shù)據(jù)文件時(shí),該方法具體包括以下步驟 步驟501 :調(diào)度作業(yè)守候模塊303檢查主機(jī)聯(lián)機(jī)批量處理控制表,對聯(lián)機(jī)已登記的
待處理的記錄或處理異常中斷需要繼續(xù)處理的記錄進(jìn)行處理; 步驟502 :調(diào)度作業(yè)守候模塊303根據(jù)處理業(yè)務(wù)類型,讀取聯(lián)機(jī)批量處理參數(shù)定制 表設(shè)置的數(shù)據(jù)信息,啟動(dòng)調(diào)度作業(yè)生成模塊304生成批量GET和PUT機(jī)器處理命令,該聯(lián)機(jī) 批量處理參數(shù)定制表在主機(jī)側(cè),包括FTP地址和文件長度; 步驟503 :調(diào)度作用觸發(fā)模塊305啟動(dòng)代理數(shù)據(jù)上傳模塊306,通過運(yùn)行GET命令 集,從代理服務(wù)器02獲取代理大數(shù)據(jù)文件,并將GET調(diào)用成功標(biāo)志傳回代理服務(wù)器02,登記 服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表; 步驟504 :調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)處理模塊307,代理數(shù)據(jù)處理模塊 307逐筆讀取代理大數(shù)據(jù)文件的數(shù)據(jù)記錄,完成相應(yīng)的業(yè)務(wù)功能處理,同時(shí)將處理結(jié)果生成 返傳文件; 步驟505 :調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)返傳模塊308運(yùn)行PUT指令,將生 成的返傳文件放入代理服務(wù)器02,同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回,然后 將PUT調(diào)用成功標(biāo)志寫入主機(jī)控制表; 步驟506 :代理數(shù)據(jù)返傳模塊308將返傳處理成功標(biāo)志送回代理服務(wù)器02 ; 步驟507 :代理服務(wù)器02將成功處理標(biāo)志返回給代理客戶端01,整個(gè)處理過程結(jié)束。 以上所述的具體實(shí)施例,對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳
細(xì)說明,所應(yīng)理解的是,以上所述僅為本發(fā)明的具體實(shí)施例而已,并不用于限制本發(fā)明,凡
在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保
護(hù)范圍之內(nèi)。
權(quán)利要求
一種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,該裝置包括代理客戶端(01)、代理服務(wù)器(02)和核心主機(jī)(03),其中代理客戶端(01),用于收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文件傳輸給代理服務(wù)器(02);代理服務(wù)器(02),用于接收代理客戶端(01)發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件,對客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)(03)發(fā)起海量數(shù)據(jù)文件處理請求,并且接收處理結(jié)果,將結(jié)果反饋給代理客戶端(01);核心主機(jī)(03),用于接收代理服務(wù)器(02)發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海量數(shù)據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器(02)。
2. 根據(jù)權(quán)利要求1所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述代 理服務(wù)器(02)包括通訊處理單元(20)、數(shù)據(jù)處理單元(21)和數(shù)據(jù)存儲(chǔ)單元(22),其中通訊處理單元(20)將接收的代理客戶端(01)發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文 件轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元(21)進(jìn)行處理;數(shù)據(jù)處理單元(21)接收到通訊處理單元(20)發(fā)送的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件 后,向核心主機(jī)(03)發(fā)起海量數(shù)據(jù)文件處理請求,接收處理結(jié)果,將處理結(jié)果反饋給代理 客戶端(Ol),以及將處理結(jié)果存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元(22)中;數(shù)據(jù)存儲(chǔ)單元(22)存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),至少包括聯(lián)機(jī)批量處理控 制表和對照聯(lián)機(jī)批量處理參數(shù)表。
3. 根據(jù)權(quán)利要求2所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述通 訊處理單元(20)包括數(shù)據(jù)接收模塊(201)和數(shù)據(jù)轉(zhuǎn)發(fā)模塊(202),其中數(shù)據(jù)接收模塊(201),接收代理客戶端(01)發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文 件,并轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元(21)進(jìn)行處理;數(shù)據(jù)轉(zhuǎn)發(fā)模塊(202),利用序號發(fā)生器生成序號,該序號中利用兩位交易序號用于區(qū)分 應(yīng)用來源,并發(fā)起聯(lián)機(jī)交易請求,上送交易信息到數(shù)據(jù)處理單元(21);同時(shí)將數(shù)據(jù)處理單 元(21)返回的處理結(jié)果,再返傳到代理客戶端(01)。
4. 根據(jù)權(quán)利要求2所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述數(shù) 據(jù)處理單元(21)包括數(shù)據(jù)識(shí)別模塊(203)、數(shù)據(jù)守候模塊(204)、數(shù)據(jù)自檢模塊(205)和數(shù) 據(jù)異常處理模塊(206),其中數(shù)據(jù)識(shí)別模塊(203),用于檢查海量數(shù)據(jù)文件格式是否符合要求,并根據(jù)在服務(wù)器側(cè)登 記的聯(lián)機(jī)批量處理參數(shù)檢驗(yàn)是否在允許交易的時(shí)間段;數(shù)據(jù)守候模塊(204),用于監(jiān)測核心主機(jī)(03)返回的狀態(tài)文件,并把核心主機(jī)(03)返 回狀態(tài)登記在服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表;數(shù)據(jù)自檢模塊(205),用于通過對照在服務(wù)器側(cè)的聯(lián)機(jī)批量處理參數(shù)表,檢查在聯(lián)機(jī)批 量處理控制表內(nèi)登記的各個(gè)交易是否超過單位時(shí)間,批量處理仍未達(dá)到整體成功狀態(tài);數(shù)據(jù)異常處理模塊(206),用于對數(shù)據(jù)自檢模塊(205)檢查出來的異常狀態(tài)交易進(jìn)行 后續(xù)處理,根據(jù)不同狀況,選擇不同的后續(xù)處理方式,至少包括繼續(xù)觸發(fā)和報(bào)錯(cuò)。
5. 根據(jù)權(quán)利要求1所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述核 心主機(jī)(03)包括交易請求處理單元(31)、調(diào)度作業(yè)處理單元(32)、代理數(shù)據(jù)處理單元(33) 和數(shù)據(jù)存儲(chǔ)單元(34),其中交易請求處理單元(31)接收代理服務(wù)器(02)上送的交易請求,將交易請求中包含的 交易序號信息登記在數(shù)據(jù)存儲(chǔ)單元(34),并將登記成功標(biāo)志返回給代理服務(wù)器(02);調(diào)度處理作業(yè)處理單元(32)訪問數(shù)據(jù)存儲(chǔ)單元(34),根據(jù)登記的交易請求控制信息, 生成并運(yùn)行批量指令集,并觸發(fā)代理數(shù)據(jù)處理單元(33);代理數(shù)據(jù)處理單元(33)負(fù)責(zé)對代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理,并將處理結(jié)果返回給代 理服務(wù)器(02);數(shù)據(jù)存儲(chǔ)單元(34)用于存儲(chǔ)代理數(shù)據(jù)處理過程中的控制參數(shù),至少包括聯(lián)機(jī)批量處 理控制表和對照聯(lián)機(jī)批量處理參數(shù)表。
6. 根據(jù)權(quán)利要求5所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述調(diào) 度處理作業(yè)處理單元(32)包括調(diào)度作業(yè)守候模塊(303),該模塊采用輪循監(jiān)測手段,檢查數(shù)據(jù)存儲(chǔ)單元(34)中主機(jī) 側(cè)的聯(lián)機(jī)批量處理控制表,對聯(lián)機(jī)已登記的待處理的記錄或處理異常中斷需要繼續(xù)處理的 記錄逐筆進(jìn)行處理;調(diào)度作業(yè)生成模塊(304),讀取數(shù)據(jù)存儲(chǔ)單元(34)中的聯(lián)機(jī)批量處理參數(shù)定制表,根 據(jù)從該聯(lián)機(jī)批量處理參數(shù)定制表中取得的設(shè)置數(shù)據(jù)生成批量GET和PUT指令集;該聯(lián)機(jī)批 量處理參數(shù)定制表在主機(jī)側(cè),包括FTP地址和文件長度;調(diào)度作業(yè)觸發(fā)模塊(305),用于根據(jù)調(diào)度作業(yè)生成模塊(304)生成的批量指令集,觸發(fā) 代理數(shù)據(jù)處理單元(33)進(jìn)行業(yè)務(wù)功能處理。
7. 根據(jù)權(quán)利要求5所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述代 理數(shù)據(jù)處理單元(33)包括代理數(shù)據(jù)上傳模塊(306)、代理數(shù)據(jù)處理模塊(307)和代理數(shù)據(jù) 返傳模塊(308),其中,代理數(shù)據(jù)上傳模塊(306)在接收到數(shù)據(jù)后,觸發(fā)代理數(shù)據(jù)處理模塊 (307)完成該數(shù)據(jù)業(yè)務(wù)處理,代理數(shù)據(jù)處理模塊(307)再觸發(fā)代理數(shù)據(jù)返傳模塊(308)將處 理后的數(shù)據(jù)返傳到代理服務(wù)器。
8. 根據(jù)權(quán)利要求5所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,所述代 理數(shù)據(jù)上傳模塊(306)運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件,并將GET調(diào)用成功標(biāo)志通 過文件同步傳回服務(wù)器,登記到服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表;所述代理數(shù)據(jù)處理模塊(307)運(yùn)行批量業(yè)務(wù)處理模塊,完成批量業(yè)務(wù)功能,同時(shí)將運(yùn) 行結(jié)果生成返傳文件;所述代理數(shù)據(jù)返傳模塊(308)啟動(dòng)PUT指令集,將代理數(shù)據(jù)處理模塊(307)生成的返 傳文件放入服務(wù)器,同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回,將PUT調(diào)用成功標(biāo)志 寫入主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表,整體成功標(biāo)志置為成功,將整體成功標(biāo)志送回服務(wù)器, 代理服務(wù)器將成功標(biāo)準(zhǔn)返回給代理客戶端,整個(gè)處理過程結(jié)束。
9. 根據(jù)權(quán)利要求1所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,該裝置 還包括一內(nèi)部網(wǎng)絡(luò)(04),用于連接代理客戶端(01)、代理服務(wù)器(02)和核心主機(jī)(03),實(shí) 現(xiàn)代理客戶端(01)、代理服務(wù)器(02)與核心主機(jī)(03)之間的數(shù)據(jù)交互。
10. 根據(jù)權(quán)利要求9所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,其特征在于,該內(nèi)部 網(wǎng)絡(luò)(04)是企業(yè)的局域網(wǎng),或者是以太網(wǎng)。
11. 一種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法,應(yīng)用于權(quán)利要求1所述的包括代理客 戶端(01)、代理服務(wù)器(02)和核心主機(jī)(03)的裝置,其特征在于,該方法包括代理客戶端(01)收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文件傳輸 給代理服務(wù)器(02);代理服務(wù)器(02)接收代理客戶端(01)發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件,對 客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)(03)發(fā)起海量數(shù)據(jù)文件處理請求;核心主機(jī)(03)接收代理服務(wù)器(02)發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海量數(shù) 據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器(02);代理服務(wù)器(02)接收核心主機(jī)(03)返回的處理結(jié)果,將處理結(jié)果反饋給代理客戶端 (01)。
12. 根據(jù)權(quán)利要求11所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法,其特征在于,在傳 輸業(yè)務(wù)處理請求時(shí),該方法具體包括以下步驟步驟401 :代理客戶端(01)發(fā)起聯(lián)機(jī)觸發(fā)指令;步驟402 :代理服務(wù)器(02)接收代理客戶端(01)發(fā)起的聯(lián)機(jī)觸發(fā)指令,并接收代理客戶端(01)發(fā)送過來的海量數(shù)據(jù)文件;步驟403 :代理服務(wù)器(02)調(diào)用通訊處理單元(20),發(fā)送交易請求指令到核心主機(jī)(03);步驟404 :核心主機(jī)(03)接收交易指令;步驟405 :核心主機(jī)(03)登記主機(jī)登記控制表;步驟406 :核心主機(jī)(03)登記控制表后返回登記狀態(tài)指令到代理服務(wù)器(02);步驟407 :代理服務(wù)器(02)接收主機(jī)登記的處理結(jié)果;步驟408 :代理服務(wù)器(02)判斷主機(jī)登記結(jié)果,如果登記成功,代理服務(wù)器將該狀態(tài)指 令返回給代理客戶端(01),再執(zhí)行步驟401 ;若登記不成功,則執(zhí)行步驟409 ;步驟409 :代理服務(wù)器(02)啟動(dòng)數(shù)據(jù)異常處理模塊(206),將處理信息返傳到數(shù)據(jù)通訊 單元(20),再次執(zhí)行步驟403。
13. 根據(jù)權(quán)利要求11所述的對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法,其特征在于,在傳輸海量數(shù)據(jù)文件時(shí),該方法具體包括以下步驟步驟501 :調(diào)度作業(yè)守候模塊(303)檢查主機(jī)聯(lián)機(jī)批量處理控制表,對聯(lián)機(jī)已登記的待 處理的記錄或處理異常中斷需要繼續(xù)處理的記錄進(jìn)行處理;步驟502 :調(diào)度作業(yè)守候模塊(303)根據(jù)處理業(yè)務(wù)類型,讀取聯(lián)機(jī)批量處理參數(shù)定制表 設(shè)置的數(shù)據(jù)信息,啟動(dòng)調(diào)度作業(yè)生成模塊(304)生成批量GET和PUT機(jī)器處理命令,該聯(lián)機(jī) 批量處理參數(shù)定制表在主機(jī)側(cè),包括FTP地址和文件長度;步驟503 :調(diào)度作用觸發(fā)模塊(305)啟動(dòng)代理數(shù)據(jù)上傳模塊(306),通過運(yùn)行GET命令 集,從代理服務(wù)器(02)獲取代理大數(shù)據(jù)文件,并將GET調(diào)用成功標(biāo)志傳回代理服務(wù)器(02), 登記服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表;步驟504 :調(diào)度作業(yè)觸發(fā)模塊(304)啟動(dòng)代理數(shù)據(jù)處理模塊(307),代理數(shù)據(jù)處理模塊 (307)逐筆讀取代理大數(shù)據(jù)文件的數(shù)據(jù)記錄,完成相應(yīng)的業(yè)務(wù)功能處理,同時(shí)將處理結(jié)果生 成返傳文件;步驟505 :調(diào)度作業(yè)觸發(fā)模塊(304)啟動(dòng)代理數(shù)據(jù)返傳模塊(308)運(yùn)行PUT指令,將生 成的返傳文件放入代理服務(wù)器(02),同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回,然 后將PUT調(diào)用成功標(biāo)志寫入主機(jī)控制表;步驟506 :代理數(shù)據(jù)返傳模塊(308)將返傳處理成功標(biāo)志送回代理服務(wù)器(02); 步驟507 :代理服務(wù)器(02)將成功處理標(biāo)志返回給代理客戶端(Ol),整個(gè)處理過程結(jié)束o
全文摘要
本發(fā)明公開了一種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置,包括代理客戶端、代理服務(wù)器和核心主機(jī),其中代理客戶端用于收集海量數(shù)據(jù)文件,并將業(yè)務(wù)處理請求和收集的海量數(shù)據(jù)文件傳輸給代理服務(wù)器;代理服務(wù)器用于接收代理客戶端發(fā)送過來的業(yè)務(wù)處理請求和海量數(shù)據(jù)文件,對客戶端發(fā)送的業(yè)務(wù)請求進(jìn)行分類和解析,向核心主機(jī)發(fā)起海量數(shù)據(jù)文件處理請求,并且接收處理結(jié)果,將結(jié)果反饋給代理客戶端;核心主機(jī)用于接收代理服務(wù)器發(fā)起的海量數(shù)據(jù)文件處理請求,對接收的海量數(shù)據(jù)文件進(jìn)行批量處理,然后將處理結(jié)果返回給代理服務(wù)器。本發(fā)明公開了一種對海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法。利用本發(fā)明,解決了目前對海量數(shù)據(jù)文件進(jìn)行傳輸處理時(shí)效率低的問題。
文檔編號G06F17/30GK101719153SQ20091024236
公開日2010年6月2日 申請日期2009年12月9日 優(yōu)先權(quán)日2009年12月9日
發(fā)明者佘俊勝, 吳綿順, 孫雨辰, 王濤, 錢鋒 申請人:中國工商銀行股份有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1