一種交易數(shù)據處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種交易數(shù)據處理方法及系統(tǒng)，其中方法包括以下步驟：獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù)據；對獲取的實時交易額數(shù)據和歷史余額數(shù)據進行處理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲；根據存儲的實時交易額數(shù)據和歷史余額數(shù)據，實時計算目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額；對目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出。本發(fā)明提供的交易數(shù)據處理方法及系統(tǒng)，可以簡單、快速的計算出目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額，從而得出當前交易中的新錢交易部分和舊錢交易部分。其數(shù)據處理準確性高，計算過程簡單，數(shù)據存儲量小，適用于大數(shù)據處理。
【專利說明】
-種交易數(shù)據處理方法及系統(tǒng)
技術領域
[0001] 本發(fā)明設及互聯(lián)網領域，特別設及一種交易數(shù)據處理方法及系統(tǒng)。
【背景技術】
[0002] 依托于互聯(lián)網、大數(shù)據W及云計算等信息技術的發(fā)展，互聯(lián)網金融目前在全世界 W驚人的速度普及與發(fā)展。事實上，中國的互聯(lián)網金融正在成為普惠金融中越來越重要的 組成部分。
[0003] 但是，伴隨著越來越多的新興產品的出現(xiàn)，例如較高利率的隨存隨取產品、高利率 的短期供應鏈金融產品等，出現(xiàn)了很多投資用戶利用同一筆錢反復交易的現(xiàn)象。在互聯(lián)網 金融領域，將在資金消耗期內，在理財平臺上已經在發(fā)生過購買理財產品行為的資金稱為 舊錢。對應地，將在資金消耗期內，尚未在理財平臺發(fā)生過購買理財產品行為的資金稱為新 錢。
[0004] 基于大數(shù)據處理技術(互聯(lián)網金融理財平臺的用戶數(shù)量是千萬級乃至億級的）計 算用戶某筆投資交易使用的資金為新錢還是舊錢可W更加清晰的解讀理財平臺的交易額， 使得用戶能夠更理智的認知理財平臺。
[0005] 傳統(tǒng)的計算某筆交易是否是舊錢的方法，是將運筆交易與運個用戶的資金進出流 水進行比對，確認運筆交易資金是否來源于之前的某個回款或提現(xiàn)資金。其通過掃描用戶 之前的所有購買與提現(xiàn)回款的行為，標記每一筆購買交易中的金額是否來源于之前的提現(xiàn) 與回款行為，W此來確認該筆交易額中的新錢交易額和舊錢交易額。
[0006] 上述方法不但計算復雜，數(shù)據對比過程容易出錯，而且數(shù)據存儲量大，不適合進行 大數(shù)據處理。
【發(fā)明內容】
[0007] 為降低計算復雜度，提高數(shù)據處理的準確性，適用于大數(shù)據處理，本發(fā)明提出一種 交易數(shù)據處理方法及系統(tǒng)，W識別用戶某筆交易中的新錢交易額和舊錢交易額。
[000引本發(fā)明提供的交易數(shù)據處理方法，包括W下步驟：
[0009] 獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù)據；
[0010] 對獲取的所述實時交易額數(shù)據和歷史余額數(shù)據進行處理，并將處理后的數(shù)據打包 成統(tǒng)一格式的數(shù)據塊，進行存儲；
[0011] 根據存儲的所述實時交易額數(shù)據和歷史余額數(shù)據，實時計算所述目標用戶當前交 易的新錢交易數(shù)額和舊錢交易數(shù)額；
[0012] 對所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出。
[0013] 作為一種可實施方式，所述獲取目標用戶的當前交易的實時交易額數(shù)據和歷史余 額數(shù)據，包括W下步驟：
[0014] 調取所述目標用戶當前交易的實時交易表，從所述實時交易表中抽取所述實時交 易額數(shù)據；
[0015] 調取所述目標用戶當前交易之前的歷史余額表，從所述歷史余額表中抽取所述歷 史余額數(shù)據。
[0016] 作為一種可實施方式，所述對獲取的所述實時交易額數(shù)據和歷史余額數(shù)據進行處 理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲，包括W下步驟：
[0017] 對獲取的所述實時交易額數(shù)據進行流數(shù)據轉換處理；
[0018] 對獲取的所述歷史余額數(shù)據進行HD!^轉換處理；
[0019] 采用統(tǒng)一的元數(shù)據對處理后的所述實時交易額數(shù)據和處理后的所述歷史余額數(shù) 據進行打包標記，并進行儲存。
[0020] 作為一種可實施方式，所述根據存儲的所述實時交易額數(shù)據和歷史余額數(shù)據，實 時計算所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額，包括W下步驟：
[0021] 檢測所述目標用戶當前交易是否處于前一次交易的資金消耗期內；
[0022] 若是，則判定所述目標用戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述 目標用戶當前交易的全部交易數(shù)額；
[0023] 若否，則比較所述實時交易額數(shù)據和歷史余額數(shù)據之間的大?。?br>[0024] 若所述實時交易額數(shù)據大于所述歷史余額數(shù)據，則計算所述實時交易額數(shù)據和歷 史余額數(shù)據之間的差值，該差值即為所述目標用戶當前交易的新錢交易數(shù)額，舊錢交易數(shù) 額為所述目標用戶當前交易的全部交易數(shù)額與所述新錢交易數(shù)額之間的差額；
[0025] 若所述實時交易額數(shù)據小于或等于所述歷史余額數(shù)據，則判定所述目標用戶當前 交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述目標用戶當前交易的全部交易數(shù)額。
[0026] 作為一種可實施方式，在對所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù) 額進行輸出之前，還包括W下步驟：
[0027] 對計算得到的所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行效驗。
[0028] 相應地，本發(fā)明還提供一種交易數(shù)據處理系統(tǒng)，包括數(shù)據采集模塊、數(shù)據處理模 塊、數(shù)據計算模塊W及數(shù)據輸出模塊；
[0029] 所述數(shù)據采集模塊用于獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù) 據；
[0030] 所述數(shù)據處理模塊用于對所述數(shù)據采集模塊獲取的所述實時交易額數(shù)據和歷史 余額數(shù)據進行處理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲；
[0031] 所述數(shù)據計算模塊用于根據所述數(shù)據處理模塊存儲的所述實時交易額數(shù)據和歷 史余額數(shù)據，實時計算所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額；
[0032] 所述數(shù)據輸出模塊用于對所述數(shù)據計算模塊計算得到的所述目標用戶當前交易 的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出。
[0033] 作為一種可實施方式，所述數(shù)據采集模塊包括第一抽取單元和第二抽取單元；
[0034] 所述第一抽取單元用于調取所述目標用戶當前交易的實時交易表，并從所述實時 交易表中抽取所述實時交易額數(shù)據；
[0035] 所述第二抽取單元用于調取所述目標用戶當前交易之前的歷史余額表，并從所述 歷史余額表中抽取所述歷史余額數(shù)據。
[0036] 作為一種可實施方式，所述數(shù)據處理模塊包括第一轉換單元、第二轉換單元W及 打包單元；
[0037] 所述第一轉換單元用于對獲取的所述實時交易額數(shù)據進行流數(shù)據轉換處理；
[0038] 所述第二轉換單元用于對獲取的所述歷史余額數(shù)據進行HD!^轉換處理；
[0039] 所述打包單元用于采用統(tǒng)一的元數(shù)據對所述第一轉換單元處理后的所述實時交 易額數(shù)據和所述第二轉換單元處理后的所述歷史余額數(shù)據進行打包標記，并進行儲存。
[0040] 作為一種可實施方式，所述數(shù)據計算模塊包括檢測單元、比較單元、計算單元W及 判定單元；
[0041] 所述檢測單元用于檢測所述目標用戶當前交易是否處于前一次交易的資金消耗 期內；
[0042] 所述比較單元用于在所述檢測單元檢測到所述目標用戶當前交易不處于前一次 交易的資金消耗期內時，比較所述實時交易額數(shù)據和歷史余額數(shù)據之間的大??；
[0043] 所述計算單元用于在所述比較單元比較得到所述實時交易額數(shù)據大于所述歷史 余額數(shù)據時，計算所述實時交易額數(shù)據和歷史余額數(shù)據之間的差值，該差值即為所述目標 用戶當前交易的新錢交易數(shù)額，舊錢交易數(shù)額為所述目標用戶當前交易的全部交易數(shù)額與 所述新錢交易數(shù)額之間的差額；
[0044] 所述判定單元用于在所述檢測單元檢測到所述目標用戶當前交易處于前一次交 易的資金消耗期內時，或者在所述比較單元比較得到所述實時交易額數(shù)據小于或等于所述 歷史余額數(shù)據時，判定所述目標用戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述 目標用戶當前交易的全部交易數(shù)額。
[0045] 作為一種可實施方式，本發(fā)明提供的交易數(shù)據處理系統(tǒng)，還包括效驗模塊；
[0046] 所述效驗模塊用于對所述計算模塊計算得到的所述目標用戶當前交易的新錢交 易數(shù)額和舊錢交易數(shù)額進行效驗。
[0047] 本發(fā)明相比于現(xiàn)有技術的有益效果在于：
[0048] 本發(fā)明提供的交易數(shù)據處理方法及系統(tǒng)，通過獲取目標用戶當前交易的實時交易 額數(shù)據和歷史余額數(shù)據，并對獲取的實時交易額數(shù)據和歷史余額數(shù)據進行處理，打包成統(tǒng) 一格式的數(shù)據塊，進行存儲;根據存儲的實時交易額數(shù)據和歷史余額數(shù)據，實時計算目標用 戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額并進行輸出?？蒞簡單、快速的計算出目標用 戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額，從而得出當前交易中的新錢交易數(shù)額和舊錢 交易數(shù)額。其簡化了傳統(tǒng)的計算方式，計算過程簡單，數(shù)據處理準確性高，數(shù)據存儲量小，適 用于大數(shù)據處理。
【附圖說明】
[0049] 圖1為本發(fā)明提供的交易數(shù)據處理方法的一實施例的流程圖；
[0050] 圖2為本發(fā)明提供的交易數(shù)據處理系統(tǒng)的一實施例的結構示意圖。
【具體實施方式】
[0051] W下結合附圖，對本發(fā)明上述的和另外的技術特征和優(yōu)點進行清楚、完整地描述， 顯然，所描述的實施例僅僅是本發(fā)明的部分實施例，而不是全部實施例。
[0052] 在互聯(lián)網金融領域，將在資金消耗期內，在理財平臺上已經在發(fā)生過購買理財產 品行為的資金稱為舊錢。對應地，將在資金消耗期內，尚未在理財平臺發(fā)生過購買理財產品 行為的資金稱為新錢。其中，資金消耗期指的是一筆資金的自然存在壽命，通常定義為12個 月。
[0053] 例如，某個用戶一筆資金第一次進入理財平臺后（例如此用戶第一次購買了一款 理財產品），資金消耗期(假設為12個月）內運筆資金發(fā)生的其他購買行為（比如回款后繼續(xù) 購買)視為舊錢的購買行為;資金消耗期之后，運筆資金發(fā)生的第一次購買行為視為新錢的 購買行為(即視此資金為新的資金，不同于原先的資金了）。
[0054] 假設資金消耗期為T，某用戶在某時間點t發(fā)生交易，其交易金額為M，該用戶在此 產品回款后，在資金消耗期為T之后，再次發(fā)生了交易，交易金額為M'，則運筆交易中的(M'- M)部分的金額算作新錢，M金額的部分算作舊錢。若r小于M，則運筆交易中的新錢部分金額 為零，全部為舊錢交易。
[0055] 基于上述原理，本發(fā)明提供了一種交易數(shù)據處理方法，利用目標用戶當前交易的 實時交易額數(shù)據和歷史余額數(shù)據，計算目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù) 額。
[0056] 請參閱圖1，本發(fā)明提供的交易數(shù)據處理方法的一實施例，包括W下步驟：
[0057] S100、獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù)據；
[0058] S200、對獲取的實時交易額數(shù)據和歷史余額數(shù)據進行處理，并將處理后的數(shù)據打 包成統(tǒng)一格式的數(shù)據塊，進行存儲；
[0059] S300、根據存儲的實時交易額數(shù)據和歷史余額數(shù)據，實時計算目標用戶當前交易 的新錢交易數(shù)額和舊錢交易數(shù)額；
[0060] S400、對目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出。
[0061] 本實施例提供的交易數(shù)據處理方法，通過與交易平臺對接，即可獲取目標用戶當 前交易的實時交易額數(shù)據和歷史余額數(shù)據；由于實時交易數(shù)據通常為日志格式的數(shù)據流， 而歷史余額數(shù)據通常儲存在數(shù)據庫中，所W為了后續(xù)的統(tǒng)一計算，本發(fā)明對實時交易額數(shù) 據和歷史余額數(shù)據進行處理，打包成統(tǒng)一格式的數(shù)據塊，進行存儲;最后，根據存儲的實時 交易額數(shù)據和歷史余額數(shù)據，實時計算目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額 并對計算結果進行輸出。計算結果可W輸出到用戶終端，也可W通過支持API等方式等與相 關業(yè)務系統(tǒng)進行對接，服務于業(yè)務系統(tǒng)。
[0062] 采用本實施例提供的交易數(shù)據處理方法，可W簡單、快速的計算出目標用戶當前 交易的新錢交易數(shù)額和舊錢交易數(shù)額，從而得出當前交易是新錢交易還是舊錢交易，或者 當前交易數(shù)額中的新錢部分和舊錢部分。其有效利用了互聯(lián)網金融平臺的現(xiàn)有數(shù)據，簡化 了傳統(tǒng)方法的計算方式，適應大數(shù)據量(億級用戶）下的處理模式，用一部分存儲空間（存儲 每個用戶每天的余額數(shù)據)來節(jié)省大量的計算時間。進一步地，可W轉化為分布式計算，還 可W進一步縮減計算時間。
[0063] 作為一種可實施方式，具體地，SlOO包括W下步驟：
[0064] Sl 10、調取目標用戶當前交易的實時交易表，從實時交易表中抽取實時交易額數(shù) 據；
[0065] S120、調取目標用戶當前交易之前的歷史余額表，從歷史余額表中抽取歷史余額 數(shù)據。
[0066] 上述S110、S120可通過后述的數(shù)據采集模塊實現(xiàn)。通常的交易平臺中均存儲有實 時交易表和歷史余額表，所W只需要與交易平臺對接即可調取目標用戶當前交易的實時交 易表和目標用戶當前交易之前的歷史余額表。
[0067] 其中，實時交易表中存儲了當前交易的實時數(shù)據，需要根據當前交易的進度實時 更新。歷史余額表可采用離線方式獲取。例如，設置每日凌晨一點將前一天的歷史余額表批 量導入到皿FS(分布式文件系統(tǒng)），進行離線存儲。
[0068] 進一步地，可W采用結構化查詢模塊對實時交易表和歷史余額表進行抽取。從實 時交易表中抽取的實時交易額數(shù)據存儲在消息隊列，從歷史余額表中抽取歷史余額數(shù)據存 儲在皿FS。
[0069] 作為一種可實施方式，具體地，S200包括W下步驟：
[0070] S210、對獲取的實時交易額數(shù)據進行流數(shù)據轉換處理；
[0071] 實時交易額數(shù)據存儲在內存文件系統(tǒng)中，系統(tǒng)初始化時，可W通過注冊交易數(shù)據 的字段與存儲位置（申請一塊動態(tài)內存存儲），當實時交易額數(shù)據進行流數(shù)據轉換處理后， 就可W將處理后的實時交易額數(shù)據寫入當初注冊的內存位置中。此外，還可W每隔一定時 間將內存中的數(shù)據異步寫入皿FS中，防止內存數(shù)據丟失。
[0072] S220、對獲取的歷史余額數(shù)據進行HD!^轉換處理；
[0073] 可W將前一天的歷史余額表通過MapReduce框架抽取放入皿FS的專口存儲余額表 的文件夾中，并按日期分類。
[0074] S230、采用統(tǒng)一的元數(shù)據對處理后的實時交易額數(shù)據和處理后的歷史余額數(shù)據進 行打包標記，并進行儲存。
[0075] 元數(shù)據通過內存數(shù)據庫(讀寫速度快)對已經注冊的數(shù)據進行管理，當需要調用處 理后的實時交易額數(shù)據和歷史余額數(shù)據時，首先查詢元數(shù)據關于調用數(shù)據的結構W及位置 信息，然后通過位置信息去抽取數(shù)據，最后再進行計算。進一步地，元數(shù)據每隔一段時間（例 如，1秒鐘)會備份到皿FS中，重啟時會從備份中加載信息，防止數(shù)據丟失。
[0076] S200主要用于將消息隊列中的流數(shù)據與存在HDFS的文件數(shù)據整合起來，達到互通 的目的，方便后續(xù)計算，提高計算效率和準確性。S210和S220無先后次序之分，可W同時進 行。
[0077] 作為一種可實施方式，具體地，S300包括W下步驟：
[0078] S310、檢測目標用戶當前交易是否處于前一次交易的資金消耗期內；
[0079] S320、若是，則判定目標用戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為目標 用戶當前交易的全部交易數(shù)額；
[0080] S330、若否，則比較實時交易額數(shù)據和歷史余額數(shù)據之間的大??；
[0081] S340、若實時交易額數(shù)據大于歷史余額數(shù)據，則計算實時交易額數(shù)據和歷史余額 數(shù)據之間的差值，該差值即為目標用戶當前交易的新錢交易數(shù)額，舊錢交易數(shù)額為目標用 戶當前交易的全部交易數(shù)額與新錢交易數(shù)額之間的差額；
[0082] S350、若實時交易額數(shù)據小于或等于歷史余額數(shù)據，則判定目標用戶當前交易的 新錢交易數(shù)額為零，舊錢交易數(shù)額為目標用戶當前交易的全部交易數(shù)額。
[0083] 下面，列舉一個具體的例子對上述過程進行說明：
[0084] 假設用U表示用戶標號，/1表示U用戶的第i筆交易的金額，眾表示U用戶的第i筆回 款或者提現(xiàn)，友1表示U用戶的第i筆投資的收益。
[0085] 依據傳統(tǒng)的方法判斷用戶某筆交易是否是舊錢，需要掃描用戶之前的所有購買與 提現(xiàn)回款的行為，標記每一筆購買交易中的金額是否來源于之前的提現(xiàn)與回款行為，即通 過將該筆交易與用戶之前的資金進出流水進行比對得出判斷結果，計算復雜，數(shù)據處理量 大。
[0086] 采用本發(fā)明實施例的方法如下：
[0087] 假設某個用戶在需要被判定的交易之前總共發(fā)生了 n次購買行為，m次提現(xiàn)與回款 行為。
[0088] 設需要被判定的交易發(fā)生的時間為t(精確到天），則用戶t時刻的賬戶余額為：
[0089]
[0090] 一般而言，在互聯(lián)網金融理財平臺下，運個^并不需要每次都需要如此復雜的計 算得出，因為互聯(lián)網金融平臺每天都會為每個用戶維護一個余額值，所W，歷史余額直接從 交易平臺的數(shù)據庫里抽取即可得到。
[0091] 設資金消耗期為T天，則表示t-T時刻的賬戶余額，計算方法同上或者從數(shù)據 庫里直接抽取。
[0092] 設從數(shù)據庫里直接抽取了最近T天的每一天的用戶賬戶余額^r... ...分"，
表示T天之內的最大的賬戶余額；
[0093] 則運筆交易中的新錢Inew為：
[0094]舊錢 Ioid為:，
[00巧]更進一步地，在S400之前，還包括W下步驟：
[0096] 對計算得到的目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行效驗。
[0097] 上述校驗可W通過反推的方式實現(xiàn)。即目標用戶當前余額減去新錢交易數(shù)額應該 等于資金消耗期內（例如，12個月前至昨日）的最大余額值，如果符合則輸出校驗成功標志， 出錯則輸出到監(jiān)控系統(tǒng)，進行重新計算。數(shù)據校驗能夠保證計算結果的合理性，并能反饋給 相應的監(jiān)控系統(tǒng)，及時處理錯誤，提高計算結果的準確率。
[0098] 基于同一發(fā)明構思，本發(fā)明還提供了一種交易數(shù)據處理系統(tǒng)，其原理與上述交易 數(shù)據處理方法的實現(xiàn)原理一致，該系統(tǒng)的實施過程可參照上述方法實現(xiàn)，重復之處不再冗 述。
[0099] 參見圖2,本實施例提供的交易數(shù)據處理系統(tǒng)，包括數(shù)據采集模塊100、數(shù)據處理模 塊200、數(shù)據計算模塊300 W及數(shù)據輸出模塊400;
[0100] 數(shù)據采集模塊100用于獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù) 據；
[0101] 數(shù)據處理模塊200用于對數(shù)據采集模塊獲取的實時交易額數(shù)據和歷史余額數(shù)據進 行處理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲；
[0102] 數(shù)據計算模塊300用于根據數(shù)據處理模塊存儲的實時交易額數(shù)據和歷史余額數(shù) 據，實時計算目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額；
[0103] 數(shù)據輸出模塊400用于對數(shù)據計算模塊計算得到的目標用戶當前交易的新錢交易 數(shù)額和舊錢交易數(shù)額進行輸出。
[0104] 具體地，作為一種可實施方式，數(shù)據采集模塊100包括第一抽取單元和第二抽取單 元;取單元用于調取目標用戶當前交易的實時交易表，并從實時交易表中抽取實時交易額 數(shù)據;第二抽取單元用于調取目標用戶當前交易之前的歷史余額表，并從歷史余額表中抽 取歷史余額數(shù)據。
[0105] 數(shù)據處理模塊200包括第一轉換單元、第二轉換單元W及打包單元;第一轉換單元 用于對獲取的實時交易額數(shù)據進行流數(shù)據轉換處理;第二轉換單元用于對獲取的歷史余額 數(shù)據進行皿FS轉換處理;打包單元用于采用統(tǒng)一的元數(shù)據對第一轉換單元處理后的實時交 易額數(shù)據和第二轉換單元處理后的歷史余額數(shù)據進行打包標記，并進行儲存。
[0106] 需要說明的是，實時交易額數(shù)據存儲在內存文件系統(tǒng)中，系統(tǒng)初始化時可W向數(shù) 據處理模塊200注冊交易數(shù)據的字段與存儲位置（申請一塊動態(tài)內存存儲），當實時交易額 數(shù)據通過第一抽取單元實時到達計算集群時，第一轉換單元會將交易額數(shù)據寫入當初注冊 的內存位置中。此外，還可設置轉儲單元每隔一段時間（例如10分鐘）將內存中的數(shù)據異步 寫入皿FS中，防止內存數(shù)據丟失。
[0107] 通過第二抽取單元將前一天的歷史余額表通過MapReduce框架抽取放入皿FS的專 口用于存儲歷史余額表的文件夾中，并按日期分類，然后通知數(shù)據處理模塊200中的第二轉 換單元新增歷史余額信息的數(shù)據結構W及在皿FS中的位置。
[0108] 打包單元利用元數(shù)據通過內存數(shù)據庫(讀寫速度快)對已經注冊的數(shù)據進行管理， 當數(shù)據計算模塊300需要調用數(shù)據時，首先查詢元數(shù)據關于調用數(shù)據的結構W及位置信息， 然后通過位置信息去抽取數(shù)據，最后再進行計算。例如，元數(shù)據每隔1秒鐘會備份到HDFS中， 重啟時會從備份中加載信息，防止數(shù)據丟失。
[0109] 數(shù)據計算模塊300包括檢測單元、比較單元、計算單元W及判定單元;檢測單元用 于檢測目標用戶當前交易是否處于前一次交易的資金消耗期內；比較單元用于在檢測單元 檢測到目標用戶當前交易不處于前一次交易的資金消耗期內時，比較實時交易額數(shù)據和歷 史余額數(shù)據之間的大小;計算單元用于在比較單元比較得到實時交易額數(shù)據大于歷史余額 數(shù)據時，計算實時交易額數(shù)據和歷史余額數(shù)據之間的差值，該差值即為目標用戶當前交易 的新錢交易數(shù)額，舊錢交易數(shù)額為目標用戶當前交易的全部交易數(shù)額與新錢交易數(shù)額之間 的差額;判定單元用于在檢測單元檢測到目標用戶當前交易處于前一次交易的資金消耗期 內時，或者在比較單元比較得到實時交易額數(shù)據小于或等于歷史余額數(shù)據時，判定目標用 戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為目標用戶當前交易的全部交易數(shù)額。
[0110] 數(shù)據輸出模塊400可W與用戶終端對接，將計算結果輸出至用戶終端。數(shù)據輸出模 塊400還可W通過支持API等方式等與相關業(yè)務系統(tǒng)進行對接，服務于業(yè)務系統(tǒng)。
[0111] 更進一步地，本發(fā)明另一實施例提供的交易數(shù)據處理系統(tǒng)，在上述實施例的基礎 上還包括效驗模塊;效驗模塊用于對計算模塊計算得到的目標用戶當前交易的新錢交易數(shù) 額和舊錢交易數(shù)額進行效驗。
[0112] 本發(fā)明實施例提供的交易數(shù)據處理方系統(tǒng)，可W簡單、快速的計算出目標用戶當 前交易的新錢交易數(shù)額和舊錢交易數(shù)額，從而得出當前交易的新錢交易部分和舊錢交易部 分。
[0113] 進一步地，本發(fā)明提供的交易數(shù)據處理方法及系統(tǒng)，還可W用來計算某一天的互 聯(lián)網金融理財平臺交易額中的新錢部分與舊錢部分。同理，也可W推廣到計算某一段時間 內交易金額的新錢部分與舊錢部分，比如一個月的交易金額新錢與舊錢各占多少等。其有 效利用了互聯(lián)網金融平臺的現(xiàn)有數(shù)據，簡化了傳統(tǒng)方法的計算方式，適應大數(shù)據量(億級用 戶）下的處理模式，用一部分存儲空間（存儲每個用戶每天的余額數(shù)據)來節(jié)省大量的計算 時間。進一步地，可W轉化為分布式計算，還可W進一步縮減計算時間。
[0114] W上所述的具體實施例，對本發(fā)明的目的、技術方案和有益效果進行了進一步的 詳細說明，應當理解，W上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護 范圍。特別指出，對于本領域技術人員來說，凡在本發(fā)明的精神和原則之內，所做的任何修 改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
【主權項】
1. 一種交易數(shù)據處理方法，其特征在于，包括以下步驟： 獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù)據； 對獲取的所述實時交易額數(shù)據和歷史余額數(shù)據進行處理，并將處理后的數(shù)據打包成統(tǒng) 一格式的數(shù)據塊，進行存儲； 根據存儲的所述實時交易額數(shù)據和歷史余額數(shù)據，實時計算所述目標用戶當前交易的 新錢交易數(shù)額和舊錢交易數(shù)額； 對所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出。2. 根據權利要求1所述的交易數(shù)據處理方法，其特征在于，所述獲取目標用戶的當前交 易的實時交易額數(shù)據和歷史余額數(shù)據，包括以下步驟： 調取所述目標用戶當前交易的實時交易表，從所述實時交易表中抽取所述實時交易額 數(shù)據； 調取所述目標用戶當前交易之前的歷史余額表，從所述歷史余額表中抽取所述歷史余 額數(shù)據。3. 根據權利要求1所述的交易數(shù)據處理方法，其特征在于，所述對獲取的所述實時交易 額數(shù)據和歷史余額數(shù)據進行處理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲， 包括以下步驟： 對獲取的所述實時交易額數(shù)據進行流數(shù)據轉換處理； 對獲取的所述歷史余額數(shù)據進行HDFS轉換處理； 采用統(tǒng)一的元數(shù)據對處理后的所述實時交易額數(shù)據和處理后的所述歷史余額數(shù)據進 行打包標記，并進行儲存。4. 根據權利要求1至3任一項所述的交易數(shù)據處理方法，其特征在于，所述根據存儲的 所述實時交易額數(shù)據和歷史余額數(shù)據，實時計算所述目標用戶當前交易的新錢交易數(shù)額和 舊錢交易數(shù)額，包括以下步驟： 檢測所述目標用戶當前交易是否處于前一次交易的資金消耗期內； 若是，則判定所述目標用戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述目標 用戶當前交易的全部交易數(shù)額； 若否，則比較所述實時交易額數(shù)據和歷史余額數(shù)據之間的大?。? 若所述實時交易額數(shù)據大于所述歷史余額數(shù)據，則計算所述實時交易額數(shù)據和歷史余 額數(shù)據之間的差值，該差值即為所述目標用戶當前交易的新錢交易數(shù)額，舊錢交易數(shù)額為 所述目標用戶當前交易的全部交易數(shù)額與所述新錢交易數(shù)額之間的差額； 若所述實時交易額數(shù)據小于或等于所述歷史余額數(shù)據，則判定所述目標用戶當前交易 的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述目標用戶當前交易的全部交易數(shù)額。5. 根據權利要求4所述的交易數(shù)據處理方法，其特征在于，在對所述目標用戶當前交易 的新錢交易數(shù)額和舊錢交易數(shù)額進行輸出之前，還包括以下步驟： 對計算得到的所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額進行效驗。6. -種交易數(shù)據處理系統(tǒng)，其特征在于，包括數(shù)據采集模塊、數(shù)據處理模塊、數(shù)據計算 模塊以及數(shù)據輸出模塊； 所述數(shù)據采集模塊用于獲取目標用戶當前交易的實時交易額數(shù)據和歷史余額數(shù)據； 所述數(shù)據處理模塊用于對所述數(shù)據采集模塊獲取的所述實時交易額數(shù)據和歷史余額 數(shù)據進行處理，并將處理后的數(shù)據打包成統(tǒng)一格式的數(shù)據塊，進行存儲； 所述數(shù)據計算模塊用于根據所述數(shù)據處理模塊存儲的所述實時交易額數(shù)據和歷史余 額數(shù)據，實時計算所述目標用戶當前交易的新錢交易數(shù)額和舊錢交易數(shù)額； 所述數(shù)據輸出模塊用于對所述數(shù)據計算模塊計算得到的所述目標用戶當前交易的新 錢交易數(shù)額和舊錢交易數(shù)額進行輸出。7. 根據權利要求6所述的交易數(shù)據處理系統(tǒng)，其特征在于，所述數(shù)據采集模塊包括第一 抽取單元和第二抽取單元； 所述第一抽取單元用于調取所述目標用戶當前交易的實時交易表，并從所述實時交易 表中抽取所述實時交易額數(shù)據； 所述第二抽取單元用于調取所述目標用戶當前交易之前的歷史余額表，并從所述歷史 余額表中抽取所述歷史余額數(shù)據。8. 根據權利要求6所述的交易數(shù)據處理系統(tǒng)，其特征在于，所述數(shù)據處理模塊包括第一 轉換單元、第二轉換單元以及打包單元； 所述第一轉換單元用于對獲取的所述實時交易額數(shù)據進行流數(shù)據轉換處理； 所述第二轉換單元用于對獲取的所述歷史余額數(shù)據進行HDFS轉換處理； 所述打包單元用于采用統(tǒng)一的元數(shù)據對所述第一轉換單元處理后的所述實時交易額 數(shù)據和所述第二轉換單元處理后的所述歷史余額數(shù)據進行打包標記，并進行儲存。9. 根據權利要求6至8任一項所述的交易數(shù)據處理系統(tǒng)，其特征在于，所述數(shù)據計算模 塊包括檢測單元、比較單元、計算單元以及判定單元； 所述檢測單元用于檢測所述目標用戶當前交易是否處于前一次交易的資金消耗期內； 所述比較單元用于在所述檢測單元檢測到所述目標用戶當前交易不處于前一次交易 的資金消耗期內時，比較所述實時交易額數(shù)據和歷史余額數(shù)據之間的大??； 所述計算單元用于在所述比較單元比較得到所述實時交易額數(shù)據大于所述歷史余額 數(shù)據時，計算所述實時交易額數(shù)據和歷史余額數(shù)據之間的差值，該差值即為所述目標用戶 當前交易的新錢交易數(shù)額，舊錢交易數(shù)額為所述目標用戶當前交易的全部交易數(shù)額與所述 新錢交易數(shù)額之間的差額； 所述判定單元用于在所述檢測單元檢測到所述目標用戶當前交易處于前一次交易的 資金消耗期內時，或者在所述比較單元比較得到所述實時交易額數(shù)據小于或等于所述歷史 余額數(shù)據時，判定所述目標用戶當前交易的新錢交易數(shù)額為零，舊錢交易數(shù)額為所述目標 用戶當前交易的全部交易數(shù)額。10. 根據權利要求9所述的交易數(shù)據處理系統(tǒng)，其特征在于，還包括效驗模塊； 所述效驗模塊用于對所述計算模塊計算得到的所述目標用戶當前交易的新錢交易數(shù) 額和舊錢交易數(shù)額進行效驗。
【文檔編號】G06F17/30GK106022921SQ201610325932
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】單黃勇
【申請人】杭州銅板街互聯(lián)網金融信息服務有限公司