一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法及裝置。
【背景技術(shù)】
[0002]數(shù)據(jù)庫(kù)系統(tǒng)一直是應(yīng)用系統(tǒng)實(shí)現(xiàn)最核心的環(huán)節(jié)。而目前的數(shù)據(jù)庫(kù)系統(tǒng)是傳統(tǒng)的單點(diǎn)處理模式，而單機(jī)的處理能力始終存在上限，隨著大數(shù)據(jù)時(shí)代的來(lái)臨，業(yè)務(wù)量快速增長(zhǎng)，單機(jī)處理能力瓶頸日益凸顯出來(lái)。就金融行業(yè)而言，近幾年業(yè)務(wù)快速擴(kuò)展，數(shù)據(jù)量激增，數(shù)據(jù)庫(kù)單點(diǎn)的處理能力的問(wèn)題日趨嚴(yán)重，而只能被動(dòng)的進(jìn)行縱向擴(kuò)展，但無(wú)法根本解決此問(wèn)題。
[0003]例如:現(xiàn)有DBF、to11db等采用對(duì)表制定分區(qū)鍵值，然后數(shù)據(jù)按照分區(qū)鍵值HASH值進(jìn)行分區(qū)。
[0004]DBF雖然實(shí)現(xiàn)數(shù)據(jù)分區(qū)，但是存在明顯的缺陷:1、按照HASH值分區(qū)，數(shù)據(jù)分布雜亂，導(dǎo)致范圍查詢效率慢；2、擴(kuò)容不方便，一旦擴(kuò)容，則HASH值重新調(diào)整，數(shù)據(jù)需要重新分布；3、按照HASH值進(jìn)行寫(xiě)事務(wù)操作，數(shù)據(jù)雜亂無(wú)章，會(huì)產(chǎn)生大量的分布式事務(wù)，大大影響寫(xiě)事務(wù)效率和加大復(fù)雜度。
[0005]目前，尚無(wú)成熟的能通過(guò)橫向擴(kuò)展來(lái)提升事務(wù)處理能力的技術(shù)解決方案。

【發(fā)明內(nèi)容】

[0006]為解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明提出一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法及裝置，解決了隨著事務(wù)量激增，數(shù)據(jù)庫(kù)單節(jié)點(diǎn)處理模式面臨的事務(wù)處理能力的瓶頸問(wèn)題。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法，包括:
[0008]對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0009]在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)表中，將訪問(wèn)概率大的數(shù)據(jù)表部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0010]優(yōu)選地，所述訪問(wèn)概率大為被訪問(wèn)的概率大于等于95%。
[0011]優(yōu)選地，還包括:
[0012]將訪問(wèn)概率小的數(shù)據(jù)表部署在任一事務(wù)處理節(jié)點(diǎn)上。
[0013]為實(shí)現(xiàn)上述目的，本發(fā)明還提供了另一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法，
[0014]對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0015]根據(jù)關(guān)鍵信息將數(shù)據(jù)表進(jìn)行劃分獲得數(shù)據(jù)塊；其中，所述關(guān)鍵信息用于表示數(shù)據(jù)表身份以及數(shù)據(jù)表之間的關(guān)系；
[0016]在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)塊中，將訪問(wèn)概率大的數(shù)據(jù)塊部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0017]優(yōu)選地，所述訪問(wèn)概率大為被訪問(wèn)的概率大于等于95%。
[0018]優(yōu)選地，還包括:
[0019]將訪問(wèn)概率小的數(shù)據(jù)塊部署在任一事務(wù)處理節(jié)點(diǎn)上。
[0020]優(yōu)選地，還包括:
[0021]所述數(shù)據(jù)塊之間具有耦合性，且分布在不同事務(wù)處理節(jié)點(diǎn)上時(shí)，采用兩階段提交協(xié)議和/或Paxos協(xié)議對(duì)數(shù)據(jù)塊進(jìn)行處理。
[0022]對(duì)應(yīng)地，為實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置，包括:
[0023]第一分類單元，用于對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0024]第一分區(qū)單元，用于在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)表中，將訪問(wèn)概率大的數(shù)據(jù)表部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0025]優(yōu)選地，還包括:
[0026]第二分區(qū)單元，用于將訪問(wèn)概率小的數(shù)據(jù)表部署在任一事務(wù)處理節(jié)點(diǎn)上。
[0027]對(duì)應(yīng)地，為實(shí)現(xiàn)上述目的，本發(fā)明還提供了另一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置，包括:
[0028]第一分類單元，用于對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0029]第二分類單元，用于根據(jù)關(guān)鍵信息將數(shù)據(jù)表進(jìn)行劃分獲得數(shù)據(jù)塊；其中，所述關(guān)鍵信息用于表示數(shù)據(jù)表身份以及數(shù)據(jù)表之間的關(guān)系；
[0030]第一分區(qū)單元，用于在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)塊中，將訪問(wèn)概率大的數(shù)據(jù)塊部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0031]優(yōu)選地，還包括:
[0032]第二分區(qū)單元，用于將訪問(wèn)概率小的數(shù)據(jù)塊部署在任一事務(wù)處理節(jié)點(diǎn)上。
[0033]優(yōu)選地，還包括:
[0034]第三分區(qū)單元，用于所述數(shù)據(jù)塊之間具有耦合性，且分布在不同事務(wù)處理節(jié)點(diǎn)上時(shí)，采用兩階段提交協(xié)議和/或Paxos協(xié)議對(duì)數(shù)據(jù)塊進(jìn)行處理。
[0035]與現(xiàn)有技術(shù)方案相比，本技術(shù)方案增加事務(wù)處理節(jié)點(diǎn)橫向擴(kuò)展事務(wù)處理能力，減輕單節(jié)點(diǎn)處理壓力，同時(shí)將提升事務(wù)的處理性能。
【附圖說(shuō)明】
[0036]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0037]圖1為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之一；
[0038]圖2為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之二 ；
[0039]圖3為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之三；
[0040]圖4為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之四；
[0041]圖5為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置框圖之一；
[0042]圖6為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置框圖之二 ；
[0043]圖7為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置框圖之三；
[0044]圖8為本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)裝置框圖之四；
[0045]圖9為本發(fā)明的實(shí)施例1示意圖；
[0046]圖10為本發(fā)明的實(shí)施例2示意圖。
【具體實(shí)施方式】
[0047]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0048]在銀行數(shù)據(jù)領(lǐng)域，通過(guò)調(diào)研發(fā)現(xiàn)數(shù)據(jù)規(guī)則包括:
[0049]1、在金融領(lǐng)域，數(shù)據(jù)庫(kù)的寫(xiě)操作遠(yuǎn)遠(yuǎn)小于讀操作；
[0050]2、在金融領(lǐng)域，數(shù)據(jù)結(jié)構(gòu)存在可按照某一規(guī)則對(duì)數(shù)據(jù)進(jìn)行劃分；
[0051]3、從目前的學(xué)術(shù)和工程經(jīng)驗(yàn)看，跨節(jié)點(diǎn)的分布式事務(wù)在5%范圍內(nèi)整體事務(wù)處理性能可以滿足。
[0052]基于以上幾點(diǎn)，主要針對(duì)寫(xiě)事務(wù)(即業(yè)務(wù)交易)的數(shù)據(jù)進(jìn)行分析與研宄，采取一系列措施，使得寫(xiě)事務(wù)的數(shù)據(jù)從單點(diǎn)處理模式轉(zhuǎn)換為多點(diǎn)的事務(wù)處理模式。而要實(shí)現(xiàn)多節(jié)點(diǎn)的事務(wù)處理模式，前提是要盡量滿足寫(xiě)事務(wù)的數(shù)據(jù)按照一定算法規(guī)則在多節(jié)點(diǎn)上進(jìn)行分布，盡可能減少多節(jié)點(diǎn)之間數(shù)據(jù)的耦合性。
[0053]基于上述分析，本發(fā)明提出一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法，如圖1所示。該方法包括:
[0054]步驟101):對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0055]步驟102):在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)表中，將訪問(wèn)概率大的數(shù)據(jù)表部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0056]如圖2所示，本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之二。在圖1的基礎(chǔ)上，還包括:
[0057]步驟103):將訪問(wèn)概率小的數(shù)據(jù)表部署在任一事務(wù)處理節(jié)點(diǎn)上。
[0058]上述兩種方案使用在業(yè)務(wù)交易與數(shù)據(jù)表關(guān)系不錯(cuò)綜復(fù)雜。當(dāng)錯(cuò)綜復(fù)雜時(shí)，上述方案就不適用。基于此，本發(fā)明還提出另一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法。如圖3所示，包括:
[0059]步驟301):對(duì)業(yè)務(wù)交易數(shù)據(jù)按照表的形式進(jìn)行分類；
[0060]步驟302):根據(jù)關(guān)鍵信息將數(shù)據(jù)表進(jìn)行劃分獲得數(shù)據(jù)塊；其中，所述關(guān)鍵信息用于表示數(shù)據(jù)表身份以及數(shù)據(jù)表之間的關(guān)系；
[0061]步驟303):在相關(guān)聯(lián)的業(yè)務(wù)交易涉及到的數(shù)據(jù)塊中，將訪問(wèn)概率大的數(shù)據(jù)塊部署在相同事務(wù)處理節(jié)點(diǎn)上。
[0062]如圖4所示，本發(fā)明提出的一種基于業(yè)務(wù)規(guī)則的數(shù)據(jù)分區(qū)方法流程圖之四。在圖3的基礎(chǔ)上，還包括:
[006