本發(fā)明涉及銀行管理技術領域，尤其涉及一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法及系統(tǒng)。

背景技術：

目前，在對復雜數(shù)據(jù)流處理任務進行處理時，使用自上而下的全流程串行處理方法。為一個處理請求申請一個用戶，建立一套線程，對復雜的處理請求進行自上而下的串行加工?，F(xiàn)有技術中采用的方法無法滿足大量數(shù)據(jù)量、短時間的處理需求。系統(tǒng)同時面對多用戶請求時，通過對資源加鎖，建立排隊機制，將所有客戶請求串行處理。這樣導致的可能結(jié)果是：客戶輪候時間長，系統(tǒng)所有資源需要按照數(shù)據(jù)量最大的響應請求進行評估和準備，大多數(shù)時候處于閑置狀態(tài)對系統(tǒng)資源造成巨大浪費。因此，如何最大程度的提高系統(tǒng)資源的利用率是一項亟待解決的問題。

技術實現(xiàn)要素：

本發(fā)明提供了一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法，能夠提高系統(tǒng)資源的利用率。

本發(fā)明提供了一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法，包括：

解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；

基于所述建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

進行數(shù)據(jù)處理流程依賴任務劃分；

基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

優(yōu)選地，所述解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型包括：

通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)。

優(yōu)選地，所述通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)包括：

接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

優(yōu)選地，所述基于所述建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理包括：

對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型。

優(yōu)選地，所述對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立想數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型包括：

為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；

基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；

對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載。

一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)，包括：

第一建立模塊，用于解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；

第二建立模塊，用于基于所述建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

數(shù)據(jù)處理模塊，用于進行數(shù)據(jù)處理流程依賴任務劃分；

第三建立模塊，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

優(yōu)選地，所述第一建立模塊包括：

劃分單元，用于通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)。

優(yōu)選地，所述劃分單元包括：

預備處理子單元，用于接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

數(shù)據(jù)處理子單元，用于針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

優(yōu)選地，所述第二建立模塊包括：

建立子單元，用于對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型。

優(yōu)選地，所述建立子單元包括：

掛載子單元，用于為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；

生成子單元，用于基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；

存入子單元，用于對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載。

由上述方案可知，本發(fā)明提供的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例1的流程圖；

圖2為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例2的流程圖；

圖3為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例3的流程圖；

圖4為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例4的流程圖；

圖5為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例5的流程圖；

圖6為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例1的結(jié)構示意圖；

圖7為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例2的結(jié)構示意圖；

圖8為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例3的結(jié)構示意圖；

圖9為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例4的結(jié)構示意圖；

圖10為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例5的結(jié)構示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

如圖1所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例1的流程圖，該方法包括以下步驟：

S101、解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。

S102、基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

S103、進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

S104、基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖2所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例2的流程圖，該方法包括以下步驟：

S201、通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)。

S202、基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

S203、進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

S204、基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖3所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例3的流程圖，該方法包括以下步驟：

S301、接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

S302、針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

S303、基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

S304、進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

S305、基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖4所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例4的流程圖，該方法包括以下步驟：

S401、接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

S402、針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

S403、對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。具體的，對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型

S404、進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

S405、基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖5所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理方法實施例5的流程圖，該方法包括以下步驟：

S501、接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

S502、針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

S503、為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；

S504、基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；

S505、對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。具體的，為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載。

S506、進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

S507、基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖6所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例1的結(jié)構示意圖，該系統(tǒng)包括：

第一建立模塊601，用于解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。

第二建立模塊602，用于基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

數(shù)據(jù)處理模塊603，用于進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

第三建立模塊604，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖7所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例2的結(jié)構示意圖，該系統(tǒng)包括：

劃分單元701，用于通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，通過業(yè)務流程通道合并，得到數(shù)據(jù)處理基本流程模型，劃分出數(shù)據(jù)處理的熱點和瓶頸環(huán)節(jié)。

第二建立模塊702，用于基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

數(shù)據(jù)處理模塊703，用于進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

第三建立模塊704，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖8所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例3的結(jié)構示意圖，該系統(tǒng)包括：

預備處理子單元801，用于接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

數(shù)據(jù)處理子單元802，用于針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

第二建立模塊803，用于基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。

數(shù)據(jù)處理模塊804，用于進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

第三建立模塊805，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖9所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例4的結(jié)構示意圖，該系統(tǒng)包括：

預備處理子單元901，用于接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

數(shù)據(jù)處理子單元902，用于針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

建立子單元903，用于對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。具體的，對客戶信息通過哈希算法對不同客戶賬號進行切分，并建立向數(shù)據(jù)庫分庫存儲的映射關系，建立數(shù)據(jù)模型

數(shù)據(jù)處理模塊904，用于進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

第三建立模塊905，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

如圖10所示，為本發(fā)明公開的一種第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流處理系統(tǒng)實施例5的結(jié)構示意圖，該系統(tǒng)包括以下步驟：

預備處理子單元1001，用于接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理；

數(shù)據(jù)處理子單元1002，用于針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析；

當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先對用戶的需求進行解析，根據(jù)用戶的需求針對第三方支付監(jiān)管系統(tǒng)的存管和報表模式分別建立業(yè)務處理模型。具體的，接收并解析大數(shù)據(jù)量的明細數(shù)據(jù)，對明細數(shù)據(jù)進行預備處理，針對明細模式下預處理后的明細或報表模式下接收的報表數(shù)據(jù)進行數(shù)據(jù)勾稽及解析。

掛載子單元1003，用于為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；

生成子單元1004，用于基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；

存入子單元1005，用于對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載；

通過已經(jīng)建立的業(yè)務處理模型梳理出熱點流程后，進而建立數(shù)據(jù)控制模型進行熱點流程處理。具體的，為客戶系統(tǒng)建立統(tǒng)一規(guī)則的編號，將監(jiān)管對象賬號掛載在客戶編號下；基于客戶明細對于賬號基本平均分布的前提，通過哈希算法對客戶編號和賬號生成哈希結(jié)果；對數(shù)據(jù)庫數(shù)據(jù)量取摩爾值后將客戶賬號的明細數(shù)據(jù)存入數(shù)據(jù)庫對應編號的同構分庫中，完成數(shù)據(jù)庫均衡負載。

數(shù)據(jù)處理模塊1006，用于進行數(shù)據(jù)處理流程依賴任務劃分；

在接收到服務請求后，獲取文件并解壓預處理校驗預約自助任務返回結(jié)果，然后登記自助任務，開始基礎數(shù)據(jù)處理，校驗合約信息解析上送報表，校驗報表及單元格合法性數(shù)據(jù)入庫，登記第三方支付批量任務，登記第三方支付批量任務數(shù)據(jù)入庫，登記第三方支付批量任務，輪詢起任務加工數(shù)據(jù)，將數(shù)據(jù)入庫，生成其他報表，生成勾稽校驗結(jié)果。

第三建立模塊1007，用于基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。

對任務建立數(shù)據(jù)庫模型，每一位客戶建立一個唯一綁定客戶編號的識別信息，根據(jù)任務劃分模型建立主任務，并在主任務下掛載子任務，通過任務實例編號存入數(shù)據(jù)庫，并通過自動任務輪詢機制，針對上述數(shù)據(jù)模型和數(shù)據(jù)處理模型中建立的流程進行并行調(diào)用，以達到不同客戶并行、非依賴任務并行的目的。

綜上所述，在上述實施例中，當需要對第三方支付監(jiān)管系統(tǒng)分布式數(shù)據(jù)流進行處理時，首先解析用戶需求，針對第三方支付監(jiān)管系統(tǒng)的存管、報表模式分別建立業(yè)務處理模型；然后基于建立的業(yè)務處理模型梳理出熱點流程，建立數(shù)據(jù)控制模型進行熱點流程處理；然后進行數(shù)據(jù)處理流程依賴任務劃分；然后基于劃分的任務建立子任務調(diào)度數(shù)據(jù)庫模型。針對客戶信息建立了一套完整獨立的任務模型，在客戶之間實現(xiàn)了并行處理，在一套客戶處理申請中通過劃分任務依賴關系建立到數(shù)據(jù)庫的分庫映射，進行任務依賴任務串行、非依賴任務并行處理流程，節(jié)約了處理時間，最大程度的利用了系統(tǒng)資源。

本實施例方法所述的功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算設備可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例對現(xiàn)有技術做出貢獻的部分或者該技術方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算設備(可以是個人計算機，服務器，移動計算設備或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。

對所公開的實施例的上述說明，使本領域?qū)I(yè)技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。