一種數(shù)據(jù)庫操作方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種數(shù)據(jù)庫操作方法及裝置。
【背景技術(shù)】
[0002]Nosql (not only sql，不僅僅是sql)是一種非關(guān)系型數(shù)據(jù)庫，主要是用來解決半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題。對(duì)數(shù)據(jù)庫高并發(fā)讀寫的需求，關(guān)系型數(shù)據(jù)庫能夠應(yīng)付每秒上萬次的讀請(qǐng)求，但是不能承受每秒上萬次的寫請(qǐng)求，或者是讀寫的混合請(qǐng)求。
[0003]對(duì)海量數(shù)據(jù)的高效存儲(chǔ)和訪問的需求，Nosql數(shù)據(jù)庫可以處理海量的數(shù)據(jù)，能夠運(yùn)行在大量便宜的普通服務(wù)器集群之上。對(duì)數(shù)據(jù)庫的高可用和高可擴(kuò)展的需求，關(guān)系型的數(shù)據(jù)庫難以橫向擴(kuò)展，Nosql數(shù)據(jù)庫能夠通過增加硬件的數(shù)據(jù)和服務(wù)節(jié)點(diǎn)的數(shù)量來進(jìn)行性能和負(fù)載能力的橫向擴(kuò)展。
[0004]在web2.0時(shí)代，Nosql廣品在互聯(lián)網(wǎng)彳丁業(yè)中的重要性隨著互聯(lián)網(wǎng)及其移動(dòng)互聯(lián)網(wǎng)的發(fā)展而日劇增大，大型互聯(lián)網(wǎng)應(yīng)用中，為了應(yīng)對(duì)大規(guī)模、高并發(fā)訪問，大多都引入了 Nosql的產(chǎn)品。
[0005]但是，現(xiàn)有的對(duì)非關(guān)系型數(shù)據(jù)庫的操作方法的資源利用效率有待提高。

【發(fā)明內(nèi)容】

[0006]本發(fā)明解決的技術(shù)問題是提供一種高資源利用率的數(shù)據(jù)庫操作方法。
[0007]為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)庫操作方法，所述數(shù)據(jù)庫為非關(guān)系型鍵值數(shù)據(jù)庫；所述數(shù)據(jù)庫操作方法包括:
[0008]計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比，所述理想鍵值空間比為鍵區(qū)與值區(qū)實(shí)際存儲(chǔ)數(shù)據(jù)占用空間的比值；
[0009]選取空閑系統(tǒng)塊，對(duì)該空閑系統(tǒng)塊按照理想鍵值空間比劃分鍵區(qū)和值區(qū)；
[0010]將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊；
[0011]更新元信息中所述空閑系統(tǒng)塊的標(biāo)識(shí)號(hào)為所述選定系統(tǒng)塊的標(biāo)識(shí)號(hào)；
[0012]將內(nèi)存中指向所述選定系統(tǒng)塊的指針指向所述空閑系統(tǒng)塊；
[0013]釋放所述選定系統(tǒng)塊。
[0014]可選的，在所述選取空閑系統(tǒng)塊之前還包括:確定所述選定系統(tǒng)塊內(nèi)部的鍵區(qū)空間與值區(qū)空間的比值不同于所述理想鍵值空間比。
[0015]可選的，當(dāng)所述選定系統(tǒng)塊存儲(chǔ)的數(shù)據(jù)屬于某項(xiàng)業(yè)務(wù)數(shù)據(jù)表，且該業(yè)務(wù)數(shù)據(jù)表尚有待存入其他系統(tǒng)塊的數(shù)據(jù)時(shí)，以所述理想鍵值空間比劃分所述其他系統(tǒng)塊的鍵區(qū)和值區(qū)，將所述待存入其他系統(tǒng)塊的數(shù)據(jù)寫入對(duì)應(yīng)的鍵區(qū)和值區(qū)。
[0016]可選的，所述數(shù)據(jù)庫存儲(chǔ)于固態(tài)硬盤；所述將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊對(duì)應(yīng)的寫操作，和所述將所述待存入其他系統(tǒng)塊的數(shù)據(jù)寫入對(duì)應(yīng)的鍵區(qū)和值區(qū)對(duì)應(yīng)的寫操作，均以如下方式完成:將待寫入的數(shù)據(jù)暫存于內(nèi)存，當(dāng)所述暫存于內(nèi)存的數(shù)據(jù)大小等于所述固態(tài)硬盤閃存塊的大小時(shí)，將所述暫存于內(nèi)存的數(shù)據(jù)一次寫入所述固態(tài)硬盤的閃存塊。
[0017]可選的，在所述計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比之前還包括:以固定的時(shí)間間隔計(jì)算選擇系統(tǒng)款作為所述選定系統(tǒng)塊。
[0018]本發(fā)明實(shí)施例還提供一種數(shù)據(jù)庫操作裝置，所述數(shù)據(jù)庫為非關(guān)系型鍵值數(shù)據(jù)庫，所述數(shù)據(jù)庫操作裝置包括:理想鍵值空間比計(jì)算單元、鍵值區(qū)域劃分單元、鍵值數(shù)據(jù)移動(dòng)單元、標(biāo)識(shí)號(hào)更新單元、指針更新單元以及釋放單元；其中:
[0019]所述理想鍵值空間比計(jì)算單元，適于計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比，所述理想鍵值空間比為鍵區(qū)與值區(qū)實(shí)際存儲(chǔ)數(shù)據(jù)占用空間的比值；
[0020]所述鍵值區(qū)域劃分單元，適于選取空閑系統(tǒng)塊，對(duì)該空閑系統(tǒng)塊按照理想鍵值空間比劃分鍵區(qū)和值區(qū)；
[0021]所述鍵值數(shù)據(jù)移動(dòng)單元適于將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊；
[0022]所述標(biāo)識(shí)號(hào)更新單元，適于更新元信息中所述空閑系統(tǒng)塊的標(biāo)識(shí)號(hào)為所述選定系統(tǒng)塊的標(biāo)識(shí)號(hào)；
[0023]所述指針更新單元，適于將內(nèi)存中指向所述選定系統(tǒng)塊的指針指向所述空閑系統(tǒng)塊；
[0024]所述釋放單元，適于釋放所述選定系統(tǒng)塊。
[0025]可選的，所述數(shù)據(jù)庫操作裝置還包括:業(yè)務(wù)數(shù)據(jù)表存儲(chǔ)單元，適于在所述選定系統(tǒng)塊存儲(chǔ)的數(shù)據(jù)屬于某項(xiàng)業(yè)務(wù)數(shù)據(jù)表，且該業(yè)務(wù)數(shù)據(jù)表尚有待存入其他系統(tǒng)塊的數(shù)據(jù)時(shí)，以所述理想鍵值空間比劃分所述其他系統(tǒng)塊的鍵區(qū)和值區(qū)，將所述待存入其他系統(tǒng)塊的數(shù)據(jù)寫入對(duì)應(yīng)的鍵區(qū)和值區(qū)。
[0026]可選的，所述數(shù)據(jù)庫存儲(chǔ)于固態(tài)硬盤；所述數(shù)據(jù)庫操作裝置還包括:單次寫入數(shù)據(jù)量控制單元，適于將待寫入的數(shù)據(jù)暫存于內(nèi)存，當(dāng)所述暫存于內(nèi)存的數(shù)據(jù)大小等于所述固態(tài)硬盤閃存塊的大小時(shí)，將所述暫存于內(nèi)存的數(shù)據(jù)一次寫入所述固態(tài)硬盤的閃存塊。
[0027]可選的，所述數(shù)據(jù)庫操作裝置還包括:定時(shí)選取單元，適于以固定的時(shí)間間隔計(jì)算選擇系統(tǒng)塊作為所述選定系統(tǒng)塊。
[0028]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例的技術(shù)方案具有以下有益效果:
[0029]通過計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比，選取空閑系統(tǒng)塊，對(duì)該空閑系統(tǒng)塊按照理想鍵值空間比劃分鍵區(qū)和值區(qū)；將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊；更新元信息中所述空閑系統(tǒng)塊的標(biāo)識(shí)號(hào)為所述選定系統(tǒng)塊的標(biāo)識(shí)號(hào)；將內(nèi)存中指向所述選定系統(tǒng)塊的指針指向所述空閑系統(tǒng)塊；釋放所述選定系統(tǒng)塊，可以使得系統(tǒng)塊中規(guī)劃的鍵值空間比與實(shí)際鍵值空間比一致。因?yàn)槿粝到y(tǒng)塊內(nèi)部劃分的鍵區(qū)和值區(qū)的比例不當(dāng)，也就是劃分的鍵值空間比與實(shí)際存儲(chǔ)的數(shù)據(jù)的鍵值空間比不一致，會(huì)出現(xiàn)規(guī)劃的鍵區(qū)和值區(qū)中其中一個(gè)區(qū)已存儲(chǔ)滿，但另一個(gè)區(qū)還有空余的情況，會(huì)造成存儲(chǔ)空間的浪費(fèi)。故使得系統(tǒng)塊中規(guī)劃的鍵值空間比與實(shí)際鍵值空間比一致，可以節(jié)省數(shù)據(jù)庫的資源，提高資源利用率。
[0030]進(jìn)一步，在所述將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊時(shí)，對(duì)所述選定系統(tǒng)塊讀鎖定，其他線程可以在復(fù)制過程中正常對(duì)所述選定系統(tǒng)塊進(jìn)行讀操作，而不必等待復(fù)制過程的結(jié)束，從而可以減少等待時(shí)間，進(jìn)而可以提升數(shù)據(jù)庫整體的操作效率。
【附圖說明】
[0031]圖1是本發(fā)明實(shí)施例中一種數(shù)據(jù)庫操作方法的流程圖；
[0032]圖2是本發(fā)明實(shí)施例中一種數(shù)據(jù)庫操作裝置的結(jié)構(gòu)示意圖；
[0033]圖3是本發(fā)明實(shí)施例中另一種數(shù)據(jù)庫操作裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0034]如前所述，在web2.0時(shí)代，Nosql產(chǎn)品在互聯(lián)網(wǎng)行業(yè)中的重要性隨著互聯(lián)網(wǎng)及其移動(dòng)互聯(lián)網(wǎng)的發(fā)展而日劇增大，大型互聯(lián)網(wǎng)應(yīng)用中，為了應(yīng)對(duì)大規(guī)模、高并發(fā)訪問，大多都引入了 Nosql的產(chǎn)品。但是，現(xiàn)有的對(duì)非關(guān)系型數(shù)據(jù)庫的操作方法的資源利用效率有待提尚O
[0035]經(jīng)發(fā)明人研究發(fā)現(xiàn)，非關(guān)系型鍵值數(shù)據(jù)庫的存儲(chǔ)過程中，若系統(tǒng)塊內(nèi)部劃分的鍵區(qū)和值區(qū)的比例不當(dāng)，也就是劃分的鍵值空間比與實(shí)際存儲(chǔ)的數(shù)據(jù)的鍵值空間比不一致，會(huì)出現(xiàn)規(guī)劃的鍵區(qū)和值區(qū)中其中一個(gè)區(qū)已存儲(chǔ)滿，但另一個(gè)區(qū)還有空余的情況，會(huì)造成存儲(chǔ)空間的浪費(fèi)。
[0036]本發(fā)明實(shí)施例通過計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比，選取空閑系統(tǒng)塊，對(duì)該空閑系統(tǒng)塊按照理想鍵值空間比劃分鍵區(qū)和值區(qū)；將所述選定系統(tǒng)塊存儲(chǔ)的鍵值數(shù)據(jù)復(fù)制到該空閑系統(tǒng)塊；更新元信息中所述空閑系統(tǒng)塊的標(biāo)識(shí)號(hào)為所述選定系統(tǒng)塊的標(biāo)識(shí)號(hào)；將內(nèi)存中指向所述選定系統(tǒng)塊的指針指向所述空閑系統(tǒng)塊；釋放所述選定系統(tǒng)塊，可以使得系統(tǒng)塊中規(guī)劃的鍵值空間比與實(shí)際鍵值空間比一致，從而節(jié)省數(shù)據(jù)庫的資源，提高資源利用率。
[0037]為使本發(fā)明的上述目的、特征和有益效果能夠更為明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施例做詳細(xì)的說明。
[0038]圖1是本發(fā)明實(shí)施例中一種數(shù)據(jù)庫操作方法的流程圖。
[0039]S11，計(jì)算選定系統(tǒng)塊內(nèi)部的理想鍵值空間比，所述理想鍵值空間比為鍵區(qū)與值區(qū)實(shí)際存儲(chǔ)數(shù)據(jù)占用空間的比值。
[0040]數(shù)據(jù)庫(DB)在物理空間上是由N個(gè)塊(bucket)組成，S卩在系統(tǒng)初始化的時(shí)候會(huì)對(duì)整塊disk做分割。系統(tǒng)塊(HC bucket)既是邏輯也是物理方面的概念。在物理上它有自己的存儲(chǔ)空間，更像一個(gè)塊，比如32M或者64M的大小。每個(gè)