一種參數(shù)劃分系統(tǒng)及其方法、一種業(yè)務(wù)處理系統(tǒng)及其方法
【專利摘要】本發(fā)明提供一種參數(shù)劃分系統(tǒng)及其方法、一種業(yè)務(wù)處理系統(tǒng)及其方法。該參數(shù)劃分系統(tǒng)包括生產(chǎn)環(huán)境數(shù)據(jù)庫、頻繁參數(shù)學(xué)習(xí)模塊、頻繁參數(shù)數(shù)據(jù)庫、參數(shù)裝載模塊和系統(tǒng)參數(shù)數(shù)據(jù)庫，所述生產(chǎn)環(huán)境數(shù)據(jù)庫存儲有當(dāng)日業(yè)務(wù)數(shù)據(jù)，所述系統(tǒng)參數(shù)數(shù)據(jù)庫存儲有巨量的系統(tǒng)參數(shù)，其中所述頻繁參數(shù)學(xué)習(xí)模塊根據(jù)所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入所述頻繁參數(shù)數(shù)據(jù)庫，所述參數(shù)裝載模塊根據(jù)所述系統(tǒng)參數(shù)數(shù)據(jù)庫和所述頻繁參數(shù)數(shù)據(jù)庫生成一級參數(shù)緩存和二級參數(shù)緩存。利用本發(fā)明，可以對參數(shù)進行劃分，另外還可以提高搜索效率。
【專利說明】一種參數(shù)劃分系統(tǒng)及其方法、一種業(yè)務(wù)處理系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域，尤其涉及一種參數(shù)劃分系統(tǒng)及其方法和一種業(yè)務(wù)處理系統(tǒng)及其方法。
【背景技術(shù)】
[0002]隨著銀行卡產(chǎn)業(yè)的飛速發(fā)展，業(yè)務(wù)量越來越大，批量交易處理系統(tǒng)往往要處理上億筆海量交易數(shù)據(jù)，處理過程中要訪問覆蓋所有交易情況的巨量業(yè)務(wù)/技術(shù)參數(shù)來完成對每一筆交易的精確處理。隨著業(yè)務(wù)種類增多，各種參數(shù)數(shù)量會繼續(xù)增大，系統(tǒng)會越來越慢。所以，目前對于系統(tǒng)整體性能來說，巨量參數(shù)的搜索過程已經(jīng)是非常重要的一環(huán)。
[0003]目前，對于巨量參數(shù)的搜索方法一般有以下幾種:
1、所有參數(shù)全量裝入共享內(nèi)存，在共享內(nèi)存中實現(xiàn)HASH算法。帶來的效果是:
1)搜索命中率很高；
2)依賴HASH算法必須要求所有參數(shù)沒有業(yè)務(wù)優(yōu)先級、沒有通用參數(shù)定義，從而需要顯示配置所有決定維度的所有參數(shù)記錄，參數(shù)量極大，需要的共享內(nèi)存空間極多；
3)參數(shù)配置人員的工作量極大，若業(yè)務(wù)規(guī)則發(fā)生改變，需要修改和新增的參數(shù)記錄數(shù)不可想象，對于參數(shù)量較大的系統(tǒng)該方法不現(xiàn)實。
[0004]2、參數(shù)配置包含業(yè)務(wù)通用定義，裝載共享內(nèi)存，在內(nèi)存中使用類二分等算法。帶來的效果是:
1)每次在內(nèi)存中對全量參數(shù)集合的搜索命中率不高，這依賴于包含業(yè)務(wù)通配定義的參數(shù)列的個數(shù)。
[0005]2)較第I種方法，參數(shù)量相對較小，空間占用相對較少；
3)減輕參數(shù)配置人員的工作量。因為一條業(yè)務(wù)通配參數(shù)可能頂替之前的上千條非業(yè)務(wù)通配參數(shù)。
[0006]3、其他的一些自主研發(fā)的高性能搜索算法。帶來的效果是:
O目前的一些高性能搜索算法可能帶來搜索性能在一定比例上的提高；
2)這些算法往往都依賴于參數(shù)的業(yè)務(wù)描述，業(yè)務(wù)規(guī)則改變，算法需要調(diào)整；
3)高性能算法往往需要較大的空間開銷。

【發(fā)明內(nèi)容】

[0007]有鑒于此，本發(fā)明提供一種參數(shù)劃分系統(tǒng)及其方法和一種業(yè)務(wù)處理系統(tǒng)及其方法，用以對參數(shù)進行劃分、提高搜索效率。
[0008]本發(fā)明提供以下技術(shù)方案:
1.一種參數(shù)劃分系統(tǒng)，其特征在于，包括生產(chǎn)環(huán)境數(shù)據(jù)庫、頻繁參數(shù)學(xué)習(xí)模塊、頻繁參數(shù)數(shù)據(jù)庫、參數(shù)裝載模塊和系統(tǒng)參數(shù)數(shù)據(jù)庫，所述生產(chǎn)環(huán)境數(shù)據(jù)庫存儲有當(dāng)日業(yè)務(wù)數(shù)據(jù)，所述系統(tǒng)參數(shù)數(shù)據(jù)庫存儲有巨量的系統(tǒng)參數(shù)，其中
所述頻繁參數(shù)學(xué)習(xí)模塊根據(jù)所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入所述頻繁參數(shù)數(shù)據(jù)庫，所述參數(shù)裝載模塊根據(jù)所述系統(tǒng)參數(shù)數(shù)據(jù)庫和所述頻繁參數(shù)數(shù)據(jù)庫生成一級參數(shù)緩存和二級參數(shù)緩存，所述一級參數(shù)緩存存儲所述頻繁參數(shù)中在所述系統(tǒng)參數(shù)中匹配成功的頻繁參數(shù)，所述二級參數(shù)緩存存儲所述系統(tǒng)參數(shù)中在所述一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
[0009]2.如技術(shù)方案I所述的系統(tǒng)，其特征在于，所述頻繁參數(shù)學(xué)習(xí)模塊在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存和二級參數(shù)緩存之后清空頻繁參數(shù)數(shù)據(jù)庫。
[0010]3.如技術(shù)方案I或2所述的系統(tǒng)，其特征在于，所述頻繁參數(shù)學(xué)習(xí)模塊在根據(jù)所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)時被配置為執(zhí)行以下步驟:
(Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)；
(A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量；
(A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合；
(A4)將初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
[0011]4.如技術(shù)方案3所述的系統(tǒng)，其特征在于，步驟A3包括:
(A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K的初始值為2 ；
(A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將【I，K-1】子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合；
(A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
[0012]5.如技術(shù)方案1-4之一所述的系統(tǒng)，其特征在于，所述參數(shù)裝載模塊在生成一級參數(shù)緩存和二級參數(shù)緩存被配置為執(zhí)行以下步驟:
(BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)；
(B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)；
(B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ；
(B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ；
(B5)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的一條系統(tǒng)參數(shù)；
(B6)確定所讀取的系統(tǒng)參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ；
(B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
[0013]6.一種參數(shù)劃分方法，其特征在于，所述方法包括:
(A)根據(jù)當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入頻繁參數(shù)數(shù)據(jù)庫；(B)根據(jù)系統(tǒng)參數(shù)數(shù)據(jù)庫中的預(yù)先設(shè)定的系統(tǒng)參數(shù)和所述頻繁參數(shù)數(shù)據(jù)庫中的頻繁參數(shù)生成一級參數(shù)緩存和二級參數(shù)緩存，其中所述一級參數(shù)緩存存儲所述頻繁參數(shù)數(shù)據(jù)庫中在所述系統(tǒng)參數(shù)中匹配成功的頻繁參數(shù)，所述二級參數(shù)緩存存儲所述系統(tǒng)參數(shù)數(shù)據(jù)庫中在所述一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
[0014]7.如技術(shù)方案6所述的方法，其特征在于，所述方法還包括:
在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存和二級參數(shù)緩存之后清空頻繁參數(shù)數(shù)據(jù)庫。
[0015]8.如技術(shù)方案6或7所述的方法，其特征在于，步驟A包括:
(Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)；
(A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量；
(A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合；
(A4)將初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
[0016]9.如技術(shù)方案8所述的方法，其特征在于，步驟A3包括:
(A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K初始值為2 ；
(A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)；· (A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將【I，K-1】子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合；
(A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
[0017]10.如技術(shù)方案6-9之一所述的方法，其特征在于，步驟B包括:
(BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)；
(B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)；
(B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ；
(B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ；
(B5)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的一條系統(tǒng)參數(shù)；
(B6)確定所讀取的系統(tǒng)參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ；
(B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
[0018]11.一種業(yè)務(wù)處理系統(tǒng),其特征在于,包括如技術(shù)方案1-5之一所述的參數(shù)劃分系統(tǒng)和生產(chǎn)批處理系統(tǒng)，其中所述生產(chǎn)批處理系統(tǒng)在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存中進行搜索，如果搜索失敗才進入二級參數(shù)緩存進行搜索。[0019]12.一種業(yè)務(wù)處理方法，其特征在于，所述方法包括:
利用如技術(shù)方案6-10之一所述的方法進行參數(shù)劃分；
在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存中進行搜索，如果搜索失敗才進入二級參數(shù)緩存進行搜索。。
[0020]利用本發(fā)明，由于首先在包含頻繁發(fā)生的參數(shù)的一級參數(shù)緩存中進行搜索，所以提高了搜索效率。其次，本發(fā)明可以跟隨交易業(yè)務(wù)發(fā)展規(guī)律變化系統(tǒng)自適應(yīng)改變一級參數(shù)緩存和二級參數(shù)緩存。不改變當(dāng)前搜索算法，但能保證當(dāng)前搜索算法命中率最高。幾乎不新增任何空間開銷。支持參數(shù)配置人員使用業(yè)務(wù)通配參數(shù)進行配置，參數(shù)量相對較少，空間開銷小。另外，本發(fā)明還可以保證批量處理系統(tǒng)對海量交易中較為頻繁發(fā)生的交易業(yè)務(wù)種類搜索次數(shù)極少，并在當(dāng)前搜索策略的基礎(chǔ)上保證全量交易的總體搜索次數(shù)最少，同時還降低了參數(shù)配置人員的工作量。
[0021]經(jīng)過測試，在同樣交易量、同樣搜索算法的前提下，使用本系統(tǒng)與傳統(tǒng)技術(shù)方案對t匕，系統(tǒng)中多類參數(shù)的搜索性能均得到顯著提升，根據(jù)當(dāng)前交易業(yè)務(wù)發(fā)展規(guī)律的聚類差異提升比例在30%-80%不等。該方案是一種智能化的參數(shù)訓(xùn)練方案，可隨著市場業(yè)務(wù)規(guī)則形狀的發(fā)展變化主動學(xué)習(xí)、更新頻繁/非頻繁參數(shù)知識、無需人工干預(yù)。
【專利附圖】

【附圖說明】
[0022]圖1為根據(jù)本發(fā)明的參數(shù)劃分系統(tǒng)的結(jié)構(gòu)示意圖；
圖2為根據(jù)本發(fā)明的參數(shù)劃分方法的流程示意圖；
圖3為根據(jù)本發(fā)明的業(yè)務(wù)處理系統(tǒng)的結(jié)構(gòu)示意圖；以及 圖4為根據(jù)本發(fā)明的參數(shù)劃分方法的流程示意圖。
【具體實施方式】
[0023]下面將結(jié)合附圖詳細描述本發(fā)明的優(yōu)選實施例，在附圖中相同的參考標(biāo)號表示相同的元件。
[0024]本發(fā)明基于機器學(xué)習(xí)-聚類訓(xùn)練，是一種針對各類業(yè)務(wù)發(fā)展速度不同的現(xiàn)狀，使系統(tǒng)根據(jù)以往業(yè)務(wù)發(fā)展規(guī)律(往往是2:8定律)對當(dāng)前業(yè)務(wù)/技術(shù)參數(shù)進行頻繁/非頻繁的內(nèi)存二級劃分，并應(yīng)用內(nèi)存二級劃分結(jié)果大幅提升系統(tǒng)日后對巨量參數(shù)的搜索命中率。
[0025]圖1為根據(jù)本發(fā)明的參數(shù)劃分系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，參數(shù)劃分系統(tǒng)包括生產(chǎn)環(huán)境數(shù)據(jù)庫1、頻繁參數(shù)學(xué)習(xí)模塊2、頻繁參數(shù)數(shù)據(jù)庫3和參數(shù)裝載模塊4和系統(tǒng)參數(shù)數(shù)據(jù)庫5，所述生產(chǎn)環(huán)境數(shù)據(jù)庫4存儲有當(dāng)日業(yè)務(wù)數(shù)據(jù)，系統(tǒng)參數(shù)數(shù)據(jù)庫5存儲有巨量的系統(tǒng)參數(shù)。
[0026]頻繁參數(shù)學(xué)習(xí)模塊2根據(jù)生產(chǎn)數(shù)據(jù)庫I中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將頻繁參數(shù)寫入頻繁參數(shù)數(shù)據(jù)庫3，參數(shù)裝載模塊4根據(jù)預(yù)先設(shè)定的系統(tǒng)參數(shù)數(shù)據(jù)庫5和頻繁參數(shù)數(shù)據(jù)庫3生成一級參數(shù)緩存41和二級參數(shù)緩存42，一級參數(shù)緩存41存儲頻繁參數(shù)中在系統(tǒng)參數(shù)中匹配成功的頻繁參數(shù)，二級參數(shù)緩存42存儲系統(tǒng)參數(shù)中在一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
[0027]優(yōu)選地，頻繁參數(shù)學(xué)習(xí)模塊2在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存41和二級參數(shù)緩存42之后清空頻繁參數(shù)數(shù)據(jù)庫。[0028]優(yōu)選地，頻繁參數(shù)學(xué)習(xí)模塊2在根據(jù)生產(chǎn)數(shù)據(jù)庫I中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)時被配置為執(zhí)行以下步驟:
(Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)；
(A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量； (A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行訓(xùn)練生成訓(xùn)練結(jié)果；
(A4)將訓(xùn)練結(jié)果初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
[0029]具體而言，步驟A3進一步包括:
(A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K的初始值為2 ；
(A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將【I，K-1】子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合；
(A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
[0030]優(yōu)選地，參數(shù)裝載模塊4在生成一級參數(shù)緩存41和二級參數(shù)42緩存被配置為執(zhí)行以下步驟:
(BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)；
(B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)；
(B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ；
(B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ；
(B5)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫的一條系統(tǒng)參數(shù)；
(B6)確定所讀取的系統(tǒng)參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ；
(B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
[0031]圖2為根據(jù)本發(fā)明的參數(shù)劃分方法的流程示意圖。如圖所示，該方法包括:
(A)根據(jù)當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入頻繁參數(shù)數(shù)據(jù)庫；
(B)根據(jù)系統(tǒng)參數(shù)數(shù)據(jù)庫中的預(yù)先設(shè)定的系統(tǒng)參數(shù)和所述頻繁參數(shù)數(shù)據(jù)庫中的頻繁參數(shù)生成一級參數(shù)緩存和二級參數(shù)緩存，其中所述一級參數(shù)緩存存儲所述頻繁參數(shù)數(shù)據(jù)庫中在所述系統(tǒng)參數(shù)集合中匹配成功的頻繁參數(shù)，所述二級參數(shù)緩存存儲所述系統(tǒng)參數(shù)數(shù)據(jù)庫集合中在所述一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
[0032]優(yōu)選地，該方法還包括: 在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存和二級參數(shù)緩存之后清空頻繁參數(shù)數(shù)據(jù)庫。
[0033]優(yōu)選地，步驟A包括:
(Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)；
(A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量；
(A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合；
(A4)將初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
[0034]具體而言，步驟A3包括:
(A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K初始值為2 ；
(A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將[1，K-1]子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合；
(A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)；
(A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
[0035]優(yōu)選地，步驟B包括:
(BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)集合；
(B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)；
(B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)集合中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ；
(B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ；
(B5)讀取系統(tǒng)參數(shù)集合數(shù)據(jù)庫中的一條系統(tǒng)參數(shù)；
(B6)確定所讀取的系統(tǒng)參數(shù)集合中的參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ；
(B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)集合數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
[0036]圖3為根據(jù)本發(fā)明的業(yè)務(wù)處理系統(tǒng)的結(jié)構(gòu)示意圖。如圖所示，該業(yè)務(wù)處理系統(tǒng)包括圖1所述的參數(shù)劃分系統(tǒng)和生產(chǎn)批處理系統(tǒng)6，其中所述生產(chǎn)批處理系統(tǒng)6在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存41中進行搜索，如果搜索失敗才進入二級參數(shù)緩存42進行搜索
圖4為根據(jù)本發(fā)明的參數(shù)劃分方法的流程示意圖。如圖所示，該業(yè)務(wù)處理方法包括: 在步驟401，利用如權(quán)圖2所述的方法進行參數(shù)劃分。
[0037]在步驟402，進行參數(shù)搜索。具體而言，在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存中進行搜索，如果搜索失敗才進入二級參數(shù)緩存進行搜索。[0038]利用本發(fā)明，可以跟隨交易業(yè)務(wù)發(fā)展規(guī)律變化系統(tǒng)自適應(yīng)改變一級和二級參數(shù)緩存。不改變當(dāng)前搜索算法，但能保證當(dāng)前搜索算法命中率最高。幾乎不新增任何空間開銷。另外，本發(fā)明還可以保證批量處理系統(tǒng)對海量交易中較為頻繁發(fā)生的交易業(yè)務(wù)種類搜索次數(shù)極少，并在當(dāng)前搜索策略的基礎(chǔ)上保證全量交易的總體搜索次數(shù)最少，同時還降低了參數(shù)配置人員的工作量。
[0039]鑒于這些教導(dǎo)，熟悉本領(lǐng)域的技術(shù)人員將容易想到本發(fā)明的其它實施例、組合和修改。因此，當(dāng)結(jié)合上述說明和附圖進行閱讀時，本發(fā)明僅僅由權(quán)利要求限定。
【權(quán)利要求】
1.一種參數(shù)劃分系統(tǒng)，其特征在于，包括生產(chǎn)環(huán)境數(shù)據(jù)庫、頻繁參數(shù)學(xué)習(xí)模塊、頻繁參數(shù)數(shù)據(jù)庫、參數(shù)裝載模塊和系統(tǒng)參數(shù)數(shù)據(jù)庫，所述生產(chǎn)環(huán)境數(shù)據(jù)庫存儲有當(dāng)日業(yè)務(wù)數(shù)據(jù)，所述系統(tǒng)參數(shù)數(shù)據(jù)庫存儲有巨量的系統(tǒng)參數(shù)，其中 所述頻繁參數(shù)學(xué)習(xí)模塊根據(jù)所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入所述頻繁參數(shù)數(shù)據(jù)庫，所述參數(shù)裝載模塊根據(jù)所述系統(tǒng)參數(shù)數(shù)據(jù)庫和所述頻繁參數(shù)數(shù)據(jù)庫生成一級參數(shù)緩存和二級參數(shù)緩存，所述一級參數(shù)緩存存儲所述頻繁參數(shù)中在所述系統(tǒng)參數(shù)中匹配成功的頻繁參數(shù)，所述二級參數(shù)緩存存儲所述系統(tǒng)參數(shù)中在所述一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述頻繁參數(shù)學(xué)習(xí)模塊在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存和二級參數(shù)緩存之后清空頻繁參數(shù)數(shù)據(jù)庫。
3.如權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述頻繁參數(shù)學(xué)習(xí)模塊在根據(jù)所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)時被配置為執(zhí)行以下步驟: (Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)； (A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量； (A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合； (A4)將初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，步驟A3包括: (A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K的初始值為2 ；· (A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)； (A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將【I，K-1】子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合； (A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)； (A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
5.如權(quán)利要求1-4之一所述的系統(tǒng)，其特征在于，所述參數(shù)裝載模塊在生成一級參數(shù)緩存和二級參數(shù)緩存被配置為執(zhí)行以下步驟: (BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)； (B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)； (B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ； (B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ； (B5)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的一條系統(tǒng)參數(shù)； (B6)確定所讀取的系統(tǒng)參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ；(B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
6.—種參數(shù)劃分方法,其特征在于,所述方法包括: (A)根據(jù)當(dāng)日業(yè)務(wù)數(shù)據(jù)生成頻繁參數(shù)并將所述頻繁參數(shù)寫入頻繁參數(shù)數(shù)據(jù)庫； (B)根據(jù)系統(tǒng)參數(shù)數(shù)據(jù)庫中的預(yù)先設(shè)定的系統(tǒng)參數(shù)和所述頻繁參數(shù)數(shù)據(jù)庫中的頻繁參數(shù)生成一級參數(shù)緩存和二級參數(shù)緩存，其中所述一級參數(shù)緩存存儲所述頻繁參數(shù)數(shù)據(jù)庫中在所述系統(tǒng)參數(shù)中匹配成功的頻繁參數(shù)，所述二級參數(shù)緩存存儲所述系統(tǒng)參數(shù)數(shù)據(jù)庫中在所述一級參數(shù)緩存中匹配不成功的系統(tǒng)參數(shù)。
7.如權(quán)利要求6所述的方法，其特征在于，所述方法還包括: 在生成頻繁參數(shù)之前和/或生成一級參數(shù)緩存和二級參數(shù)緩存之后清空頻繁參數(shù)數(shù)據(jù)庫。
8.如權(quán)利要求6或7所述的方法，其特征在于，步驟A包括: (Al)讀取所述生產(chǎn)數(shù)據(jù)庫中的當(dāng)日業(yè)務(wù)數(shù)據(jù)； (A2)統(tǒng)計每一筆業(yè)務(wù)數(shù)據(jù)的參數(shù)訪問量； (A3)利用聚類訓(xùn)練和爬山算法對統(tǒng)計結(jié)果進行處理生成初始頻繁參數(shù)集合； (A4)將初始頻繁參數(shù)集合中包含業(yè)務(wù)通配符的參數(shù)替換為對應(yīng)的非通配參數(shù)以生成頻繁參數(shù)。
9.如權(quán)利要求8所述的方法，其特征在于，步驟A3包括: (A31)使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，其中K初始值為2 ； (A32)根據(jù)當(dāng)前使用的搜索算法定義全天所有業(yè)務(wù)數(shù)據(jù)搜索次數(shù)的啟發(fā)函數(shù)，對該K個子參數(shù)集合使用啟發(fā)函數(shù)； (A33)K值加1，使用K均值聚類算法對所統(tǒng)計的參數(shù)訪問量進行聚類，生成K個子參數(shù)集合，將【I，K-1】子參數(shù)結(jié)合合并為初始頻繁參數(shù)集合； (A34)對該K個子參數(shù)集合使用啟發(fā)函數(shù)； (A35)對當(dāng)前的啟發(fā)函數(shù)結(jié)果和前次的啟發(fā)函數(shù)結(jié)果使用爬山算法以進行相鄰K值聚類結(jié)果搜索次數(shù)的比較，若當(dāng)前聚類的搜索次數(shù)比之前聚類后的搜索次數(shù)小，則返回步驟A33 ;否則執(zhí)行后續(xù)步驟。
10.如權(quán)利要求6-9之一所述的方法，其特征在于，步驟B包括: (BI)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的所有系統(tǒng)參數(shù)； (B2)讀取頻繁參數(shù)數(shù)據(jù)庫中的一條頻繁參數(shù)； (B3)確定所讀取的頻繁參數(shù)是否在系統(tǒng)參數(shù)中匹配成功，如果成功，則將所讀取的頻繁參數(shù)寫入一級參數(shù)緩存，否則執(zhí)行步驟B4 ； (B4)確定所讀取的頻繁參數(shù)是否為最后一條頻繁參數(shù)，如果為是，則執(zhí)行后續(xù)步驟，否則返回步驟B2 ； (B5)讀取系統(tǒng)參數(shù)數(shù)據(jù)庫中的一條系統(tǒng)參數(shù)； (B6)確定所讀取的系統(tǒng)參數(shù)是否在一級參數(shù)緩存中匹配成功，如果不成功，則將所讀取的系統(tǒng)參數(shù)寫入二級參數(shù)緩存，否則執(zhí)行步驟B7 ； (B7)確定所讀取的系統(tǒng)參數(shù)是否為系統(tǒng)參數(shù)數(shù)據(jù)庫中的最后一條系統(tǒng)參數(shù)，如果為是，則退出，否則返回步驟B5。
11.一種業(yè)務(wù)處理系統(tǒng),其特征在于,包括如權(quán)利要求1-5之一所述的參數(shù)劃分系統(tǒng)和生產(chǎn)批處理系統(tǒng)，其中所述生產(chǎn)批處理系統(tǒng)在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存中進行搜索，如果搜索失敗才進入二級參數(shù)緩存進行搜索。
12.—種業(yè)務(wù)處理方法，其特征在于，所述方法包括: 利用如權(quán)利要求6-10之一所述的方法進行參數(shù)劃分； 在次日進行業(yè)務(wù)數(shù)據(jù)處理時，先在一級參數(shù)緩存中進行搜索，如果搜索失敗才進入二級參數(shù)緩存 進行搜索。
【文檔編號】G06F17/30GK103577480SQ201210277733
【公開日】2014年2月12日 申請日期:2012年8月7日 優(yōu)先權(quán)日:2012年8月7日
【發(fā)明者】馮哲, 張工廠, 吳金壇, 陳逢源, 呂伊蒙 申請人:中國銀聯(lián)股份有限公司