異步數(shù)據(jù)處理方法和異步數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域,具體而言,涉及一種異步數(shù)據(jù)處理方法和異步數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002]在信息自動(dòng)化處理中,企業(yè)單位的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)之間經(jīng)常存在著不同步的情形,因此異步數(shù)據(jù)處理是準(zhǔn)確執(zhí)行業(yè)務(wù)流程的關(guān)鍵技術(shù)。例如,企事業(yè)單位在銀行中的存款實(shí)際數(shù)目是通過(guò)“銀行對(duì)賬單”來(lái)反映的,企事業(yè)單位的出納人員的一項(xiàng)重要日常工作就是照實(shí)將用戶日記賬定期與“銀行對(duì)賬單”進(jìn)行核對(duì),至少每月核對(duì)一次。
[0003]由于用戶和銀行的賬務(wù)處理和入賬時(shí)間不一樣,往往發(fā)生雙方賬面不一致的情況,為了防止記賬發(fā)生錯(cuò)誤,正確反映銀行存款的實(shí)際余額,用戶必須定期將用戶銀行日記賬與銀行提供的對(duì)賬單進(jìn)行核對(duì),并編制銀行存款余額調(diào)節(jié)表。不同用戶對(duì)于不同的用戶對(duì)賬的規(guī)則也不同,再加上一線電商用戶訂單量的劇增,勢(shì)必在對(duì)賬邏輯處理和海量數(shù)據(jù)上帶來(lái)很大瓶頸。
【發(fā)明內(nèi)容】
[0004]有鑒于此,本發(fā)明提供一種異步數(shù)據(jù)處理方法和相應(yīng)的數(shù)據(jù)處理系統(tǒng),用以核對(duì)用戶日記賬和銀行對(duì)賬單數(shù)據(jù)。
[0005]根據(jù)本發(fā)明的一個(gè)方面,提供一種異步數(shù)據(jù)處理方法,包括:建立比對(duì)規(guī)則,所述比對(duì)規(guī)則用于匹配用戶數(shù)據(jù)和銀行數(shù)據(jù);在緩沖單元中存儲(chǔ)用戶數(shù)據(jù)和銀行數(shù)據(jù);從緩沖單元獲取用戶數(shù)據(jù)和銀行數(shù)據(jù);根據(jù)所述比對(duì)規(guī)則比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù),從而獲得標(biāo)記信息;以及根據(jù)所述標(biāo)記信息生成表單。
[0006]優(yōu)選地,所述用戶數(shù)據(jù)為用戶記賬數(shù)據(jù),所述銀行數(shù)據(jù)為銀行對(duì)賬單數(shù)據(jù),所述比對(duì)規(guī)則是用于匹配用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)的對(duì)賬規(guī)則。
[0007]優(yōu)選地,所述建立對(duì)賬規(guī)則包括針對(duì)所述用戶賬戶建立所述對(duì)賬規(guī)則。
[0008]優(yōu)選地,所述針對(duì)用戶賬戶建立對(duì)賬規(guī)則包括:針對(duì)所述用戶賬戶建立多個(gè)規(guī)則表達(dá)式。
[0009]優(yōu)選地,所述針對(duì)用戶賬戶建立對(duì)賬規(guī)則還包括:指定所述多個(gè)規(guī)則表達(dá)式的執(zhí)行順序。
[0010]優(yōu)選地,所述多個(gè)規(guī)則表達(dá)式執(zhí)行精確匹配、模糊匹配和金額匹配中的至少一種。
[0011]優(yōu)選地,所述比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù)包括:將所述用戶記賬數(shù)據(jù)和所述銀行對(duì)賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達(dá)式,返回是否匹配的布爾值。
[0012]優(yōu)選地,存儲(chǔ)用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)包括:與用戶財(cái)務(wù)系統(tǒng)和目標(biāo)銀行支付系統(tǒng)建立連接;從所述用戶財(cái)務(wù)系統(tǒng)和所述支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù);以及將所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù)存入緩沖單元。
[0013]優(yōu)選地,所述緩沖單元包括選自消息隊(duì)列、內(nèi)存、數(shù)據(jù)庫(kù)和硬盤至少之一的緩沖區(qū)。
[0014]優(yōu)選地,所述標(biāo)記信息包括已達(dá)賬標(biāo)記和未達(dá)賬標(biāo)記。
[0015]優(yōu)選地,所述表單包括余額調(diào)節(jié)表,未達(dá)賬明細(xì)表、已達(dá)賬明細(xì)表和用戶余額表。
[0016]優(yōu)選地,所述數(shù)據(jù)處理辦法還包括:定期將匹配成功的所述用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)歸檔。
[0017]根據(jù)本發(fā)明的另一方面,提供一種異步數(shù)據(jù)處理系統(tǒng),包括:規(guī)則創(chuàng)建單元,用于建立比對(duì)規(guī)則,所述比對(duì)規(guī)則用于匹配用戶數(shù)據(jù)和銀行數(shù)據(jù);緩沖單元,用于存儲(chǔ)用戶數(shù)據(jù)和銀行數(shù)據(jù);數(shù)據(jù)獲取單元,用于從緩沖單元獲取用戶數(shù)據(jù)和銀行數(shù)據(jù);數(shù)據(jù)處理單元,用于根據(jù)所述比對(duì)規(guī)則比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù),從而獲得標(biāo)記信息;以及表單生成單元,用于根據(jù)所述標(biāo)記信息生成表單。
[0018]優(yōu)選地,所述用戶數(shù)據(jù)為用戶記賬數(shù)據(jù),所述銀行數(shù)據(jù)為銀行對(duì)賬單數(shù)據(jù),所述比對(duì)規(guī)則是用于匹配用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)的對(duì)賬規(guī)則。
[0019]優(yōu)選地,所述建立對(duì)賬規(guī)則包括針對(duì)所述用戶賬戶建立所述對(duì)賬規(guī)則。
[0020]優(yōu)選地,所述規(guī)則創(chuàng)建單元針對(duì)所述用戶賬戶建立多個(gè)規(guī)則表達(dá)式。
[0021]優(yōu)選地,所述規(guī)則創(chuàng)建單元還指定所述多個(gè)規(guī)則表達(dá)式的執(zhí)行順序。
[0022]優(yōu)選地,所述多個(gè)規(guī)則表達(dá)式執(zhí)行精確匹配、模糊匹配和金額匹配中的至少一種。
[0023]優(yōu)選地,數(shù)據(jù)處理單元包括:將所述用戶記賬數(shù)據(jù)和所述銀行對(duì)賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達(dá)式進(jìn)行計(jì)算,并且返回是否匹配的布爾值。
[0024]優(yōu)選地,所述緩沖單元執(zhí)行以下步驟:與用戶財(cái)務(wù)系統(tǒng)和目標(biāo)銀行支付系統(tǒng)建立連接;從所述用戶財(cái)務(wù)系統(tǒng)和所述銀行支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù);以及將所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù)存入緩沖單元。
[0025]優(yōu)選地,所述緩沖單元包括選自消息隊(duì)列、內(nèi)存、數(shù)據(jù)庫(kù)和硬盤至少之一的緩沖區(qū)。
[0026]優(yōu)選地,所述標(biāo)記信息包括已達(dá)賬標(biāo)記和未達(dá)賬標(biāo)記。
[0027]優(yōu)選地,所述表單包括余額調(diào)節(jié)表,未達(dá)賬明細(xì)表,銀行存款表和已達(dá)賬表單。
[0028]優(yōu)選地,所述數(shù)據(jù)處理系統(tǒng)還包括:定期將匹配成功的所述用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)歸檔。
[0029]優(yōu)選地,所述數(shù)據(jù)處理系統(tǒng)還包括:任務(wù)創(chuàng)建單元,用于創(chuàng)建定時(shí)啟動(dòng)所述數(shù)據(jù)處理系統(tǒng)的任務(wù)。
[0030]優(yōu)選地,所述任務(wù)處理一個(gè)或多個(gè)所述用戶賬戶的數(shù)據(jù)。
[0031 ] 優(yōu)選地,所述任務(wù)創(chuàng)建單元記錄所述任務(wù)啟動(dòng)時(shí)間,終止時(shí)間、運(yùn)行結(jié)果以及運(yùn)行次數(shù)。
[0032]優(yōu)選地,所述數(shù)據(jù)處理系統(tǒng)還包括:人工處理單元,用于根據(jù)用戶指令所述用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)。
[0033]優(yōu)選地,根據(jù)所述運(yùn)行次數(shù)確定是否啟動(dòng)人工處理單元。
[0034]根據(jù)本發(fā)明實(shí)施例的異步數(shù)據(jù)處理方法和系統(tǒng),將用戶數(shù)據(jù)和銀行數(shù)據(jù)存儲(chǔ)在緩沖單元中,利用比對(duì)規(guī)則進(jìn)行比較并生成調(diào)度表。該緩沖單元的使用可以減輕數(shù)據(jù)阻塞,從而克服邏輯處理和海量數(shù)據(jù)上的瓶頸。
[0035]在上述的比較步驟之后獲得標(biāo)記信息,因此可以在后續(xù)的數(shù)據(jù)處理中不再重復(fù)處理一部分相關(guān)數(shù)據(jù),從而可以減少數(shù)據(jù)處理量,進(jìn)一步減輕數(shù)據(jù)阻塞和提高數(shù)據(jù)處理效率。
[0036]該異步數(shù)據(jù)處理方法包括建立比對(duì)規(guī)則的步驟,因而可以靈活配置比對(duì)規(guī)則。由于比對(duì)規(guī)則的獨(dú)立性,比對(duì)規(guī)則與業(yè)務(wù)耦合低,可以實(shí)現(xiàn)規(guī)則透明、易于理解、可擴(kuò)展性高、便于維護(hù)。
[0037]通過(guò)設(shè)置比對(duì)規(guī)則進(jìn)行數(shù)據(jù)比較,減少人工干預(yù)環(huán)節(jié),提供效率。另外通過(guò)將數(shù)據(jù)處理系統(tǒng)設(shè)置在任務(wù)中運(yùn)行,提高計(jì)算機(jī)工作效率。
【附圖說(shuō)明】
[0038]通過(guò)參照以下附圖對(duì)本發(fā)明實(shí)施例的描述,本發(fā)明的上述以及其它目的、特征和優(yōu)點(diǎn)將更為清楚,在附圖中:
[0039]圖1是根據(jù)本發(fā)明實(shí)施例的異步數(shù)據(jù)處理方法的流程圖;
[0040]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)圖;
[0041]圖3是根據(jù)本發(fā)明另一實(shí)施例的數(shù)據(jù)處理系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0042]以下基于實(shí)施例對(duì)本發(fā)明進(jìn)行描述,但是本發(fā)明并不僅僅限于這些實(shí)施例。在下文對(duì)本發(fā)明的細(xì)節(jié)描述中,詳盡描述了一些特定的細(xì)節(jié)部分。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)沒有這些細(xì)節(jié)部分的描述也可以完全理解本發(fā)明。為了避免混淆本發(fā)明的實(shí)質(zhì),公知的方法、過(guò)程、流程沒有詳細(xì)敘述。另外附圖不一定是按比例繪制的。
[0043]附圖中的流程圖、框圖圖示了本發(fā)明實(shí)施例的系統(tǒng)、方法、裝置的可能的體系框架、功能和操作,流程圖和框圖上的方框可以代表一個(gè)模塊、程序段或僅僅是一段代碼,所述模塊、程序段和代碼都是用來(lái)實(shí)現(xiàn)規(guī)定邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意,所述實(shí)現(xiàn)規(guī)定邏輯功能的可執(zhí)行指令可以重新組合,從而生成新的模塊和程序段。因此附圖的方框以及方框順序只是用來(lái)更好的圖示實(shí)施例的過(guò)程和步驟,而不應(yīng)以此作為對(duì)發(fā)明本身的限制。
[0044]圖1是根據(jù)本發(fā)明實(shí)施例的異步數(shù)據(jù)處理方法的流程圖。所述數(shù)據(jù)處理方法包括步驟101-步驟107。
[0045]在步驟101中,針對(duì)用戶賬戶建立對(duì)賬規(guī)則。對(duì)賬規(guī)則為用戶賬戶設(shè)置的多個(gè)規(guī)則表達(dá)式,所述對(duì)賬規(guī)則用于匹配用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)。在對(duì)賬規(guī)則里,指定用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)對(duì)應(yīng)關(guān)系,包括多個(gè)規(guī)則表達(dá)式,并指定上述規(guī)則表達(dá)式的執(zhí)行順序。可以通過(guò)可視化的規(guī)則配置頁(yè)面輸入對(duì)賬規(guī)則。
[0046]在一個(gè)可選的實(shí)施例中,每個(gè)對(duì)賬規(guī)則都包括一個(gè)規(guī)則主題和多個(gè)規(guī)則表達(dá)式組成。規(guī)則主題一般包含用戶賬號(hào)。規(guī)則表達(dá)式里表示用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)的屬性字段的對(duì)應(yīng)關(guān)系。對(duì)賬規(guī)則可以通過(guò)多個(gè)數(shù)據(jù)庫(kù)表或配置文件保存。
[0047]在步驟102中,在緩沖單元中存儲(chǔ)用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)。在一個(gè)優(yōu)選的實(shí)施中,緩沖單元與用戶財(cái)務(wù)系統(tǒng)和目標(biāo)銀行支付系統(tǒng)建立連接,從所述用戶財(cái)務(wù)系統(tǒng)和所述支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù),以及將所述用戶記賬數(shù)據(jù)以及所述銀行對(duì)賬單數(shù)據(jù)存入緩沖單元。所述緩沖單元包括選自消息隊(duì)列、內(nèi)存、數(shù)據(jù)庫(kù)和硬盤至少之一的緩沖區(qū)。在消息隊(duì)列和內(nèi)存中存儲(chǔ)的數(shù)據(jù)作為臨時(shí)數(shù)據(jù),例如用于spark基于內(nèi)存計(jì)算處理。在數(shù)據(jù)庫(kù)和硬盤中存儲(chǔ)的數(shù)據(jù)作為持久性數(shù)據(jù)。
[0048]在步驟103中,從緩沖單元獲取用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)。
[0049]在步驟104中,根據(jù)對(duì)賬規(guī)則比較用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)。在本步驟中,首先獲取對(duì)應(yīng)的對(duì)賬規(guī)則的表達(dá)式,以及根據(jù)表達(dá)式的執(zhí)行順序,然后根據(jù)表達(dá)式和執(zhí)行順序進(jìn)行計(jì)算。在一個(gè)可選的實(shí)施例中,將用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達(dá)式,返回是否匹配的布爾值,根據(jù)多個(gè)表達(dá)式的布爾值確定比較結(jié)果。在一個(gè)可選的實(shí)施中,根據(jù)布爾值的邏輯表達(dá)式,確定比較結(jié)果。
[0050]在步驟105中,判斷數(shù)據(jù)匹配。在步驟103中,根據(jù)對(duì)賬規(guī)則對(duì)用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)進(jìn)行比對(duì),在本步驟中,對(duì)比對(duì)結(jié)果進(jìn)行判斷。
[0051 ]在步驟106中,匹配不成功的用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)標(biāo)記為未達(dá)賬。
[0052]在步驟107中,匹配成功用戶記賬數(shù)據(jù)和銀行對(duì)賬單數(shù)據(jù)標(biāo)記為已達(dá)賬。
[0053]在步驟106-107中,標(biāo)記匹配成功和匹配失敗的用戶日記賬和銀行對(duì)賬單