1.一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法,其特征在于,包括:
解析用戶需求,針對(duì)第三方支付監(jiān)管系統(tǒng)的存管、報(bào)表模式分別建立業(yè)務(wù)處理模型;
基于所述建立的業(yè)務(wù)處理模型梳理出熱點(diǎn)流程,建立數(shù)據(jù)控制模型進(jìn)行熱點(diǎn)流程處理;
進(jìn)行數(shù)據(jù)處理流程依賴任務(wù)劃分;
基于劃分的任務(wù)建立子任務(wù)調(diào)度數(shù)據(jù)庫(kù)模型。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述解析用戶需求,針對(duì)第三方支付監(jiān)管系統(tǒng)的存管、報(bào)表模式分別建立業(yè)務(wù)處理模型包括:
通過業(yè)務(wù)流程通道合并,得到數(shù)據(jù)處理基本流程模型,劃分出數(shù)據(jù)處理的熱點(diǎn)和瓶頸環(huán)節(jié)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述通過業(yè)務(wù)流程通道合并,得到數(shù)據(jù)處理基本流程模型,劃分出數(shù)據(jù)處理的熱點(diǎn)和瓶頸環(huán)包括:
接收并解析大數(shù)據(jù)量的明細(xì)數(shù)據(jù),對(duì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)備處理;
針對(duì)明細(xì)模式下預(yù)處理后的明細(xì)或報(bào)表模式下接收的報(bào)表數(shù)據(jù)進(jìn)行數(shù)據(jù)勾稽及解析。
4.根據(jù)權(quán)利要求1-3中任意一項(xiàng)所述的方法,其特征在于,所述基于所述建立的業(yè)務(wù)處理模型梳理出熱點(diǎn)流程,建立數(shù)據(jù)控制模型進(jìn)行熱點(diǎn)流程處理包括:
對(duì)客戶信息通過哈希算法對(duì)不同客戶賬號(hào)進(jìn)行切分,并建立向數(shù)據(jù)庫(kù)分庫(kù)存儲(chǔ)的映射關(guān)系,建立數(shù)據(jù)模型。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述對(duì)客戶信息通過哈希算法對(duì)不同客戶賬號(hào)進(jìn)行切分,并建立想數(shù)據(jù)庫(kù)分庫(kù)存儲(chǔ)的映射關(guān)系,建立數(shù)據(jù)模型包括:
為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號(hào),將監(jiān)管對(duì)象賬號(hào)掛載在客戶編號(hào)下;
基于客戶明細(xì)對(duì)于賬號(hào)基本平均分布的前提,通過哈希算法對(duì)客戶編號(hào)和賬號(hào)生成哈希結(jié)果;
對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)量取摩爾值后將客戶賬號(hào)的明細(xì)數(shù)據(jù)存入數(shù)據(jù)庫(kù)對(duì)應(yīng)編號(hào)的同構(gòu)分庫(kù)中,完成數(shù)據(jù)庫(kù)均衡負(fù)載。
6.一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng),其特征在于,包括:
第一建立模塊,用于解析用戶需求,針對(duì)第三方支付監(jiān)管系統(tǒng)的存管、報(bào)表模式分別建立業(yè)務(wù)處理模型;
第二建立模塊,用于基于所述建立的業(yè)務(wù)處理模型梳理出熱點(diǎn)流程,建立數(shù)據(jù)控制模型進(jìn)行熱點(diǎn)流程處理;
數(shù)據(jù)處理模塊,用于進(jìn)行數(shù)據(jù)處理流程依賴任務(wù)劃分;
第三建立模塊,用于基于劃分的任務(wù)建立子任務(wù)調(diào)度數(shù)據(jù)庫(kù)模型。
7.根據(jù)權(quán)利要求6所述的系統(tǒng),其特征在于,所述第一建立模塊包括:
劃分單元,用于通過業(yè)務(wù)流程通道合并,得到數(shù)據(jù)處理基本流程模型,劃分出數(shù)據(jù)處理的熱點(diǎn)和瓶頸環(huán)節(jié)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng),其特征在于,所述劃分單元包括:
預(yù)備處理子單元,用于接收并解析大數(shù)據(jù)量的明細(xì)數(shù)據(jù),對(duì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)備處理;
數(shù)據(jù)處理子單元,用于針對(duì)明細(xì)模式下預(yù)處理后的明細(xì)或報(bào)表模式下接收的報(bào)表數(shù)據(jù)進(jìn)行數(shù)據(jù)勾稽及解析。
9.根據(jù)權(quán)利要求6-8中任意一項(xiàng)所述的系統(tǒng),其特征在于,所述第二建立模塊包括:
建立子單元,用于對(duì)客戶信息通過哈希算法對(duì)不同客戶賬號(hào)進(jìn)行切分,并建立向數(shù)據(jù)庫(kù)分庫(kù)存儲(chǔ)的映射關(guān)系,建立數(shù)據(jù)模型。
10.根據(jù)權(quán)利要求9所述的系統(tǒng),其特征在于,所述建立子單元包括:
掛載子單元,用于為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號(hào),將監(jiān)管對(duì)象賬號(hào)掛載在客戶編號(hào)下;
生成子單元,用于基于客戶明細(xì)對(duì)于賬號(hào)基本平均分布的前提,通過哈希算法對(duì)客戶編號(hào)和賬號(hào)生成哈希結(jié)果;
存入子單元,用于對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)量取摩爾值后將客戶賬號(hào)的明細(xì)數(shù)據(jù)存入數(shù)據(jù)庫(kù)對(duì)應(yīng)編號(hào)的同構(gòu)分庫(kù)中,完成數(shù)據(jù)庫(kù)均衡負(fù)載。