數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)，更具體而言，涉及海量數(shù)據(jù)處理中負(fù)載均衡的處理技術(shù)。
【背景技術(shù)】
[0002]海量數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)庫(kù)壓力巨大。如果不能較好地分配數(shù)據(jù)庫(kù)與訪問數(shù)據(jù)以進(jìn)行數(shù)據(jù)處理的應(yīng)用之間的關(guān)系，則該海量數(shù)據(jù)處理系統(tǒng)的時(shí)效性及處理性能都將受到影響。
[0003]在電子交易的數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)庫(kù)與訪問數(shù)據(jù)的應(yīng)用之間大體有以下幾種關(guān)系:
第一、應(yīng)用與數(shù)據(jù)庫(kù)設(shè)置在同一數(shù)據(jù)處理設(shè)備中。數(shù)據(jù)庫(kù)與訪問該數(shù)據(jù)庫(kù)獲取數(shù)據(jù)進(jìn)行處理的應(yīng)用設(shè)置在同一個(gè)服務(wù)器中，在數(shù)據(jù)處理過程中，每個(gè)進(jìn)程僅處理I塊數(shù)據(jù)集。這種設(shè)置中，由于應(yīng)用與數(shù)據(jù)庫(kù)同一主機(jī)部署，導(dǎo)致服務(wù)器壓力增大；應(yīng)用多進(jìn)程處理使得數(shù)據(jù)處理設(shè)備的資源(如CPU與內(nèi)存等)成為瓶頸。這種設(shè)置僅適用于小數(shù)據(jù)量的數(shù)據(jù)處理系統(tǒng)。
[0004]第二、應(yīng)用與數(shù)據(jù)庫(kù)分別獨(dú)立部署，但是多進(jìn)程處理，每個(gè)進(jìn)程處理I塊數(shù)據(jù)集。這種設(shè)置同樣使得部署應(yīng)用的數(shù)據(jù)處理設(shè)備的資源產(chǎn)生瓶頸，同時(shí)還因?yàn)榻灰琢繕O大，使得數(shù)據(jù)庫(kù)的主機(jī)資源達(dá)到瓶頸。
[0005]第三、橫向擴(kuò)展應(yīng)用主機(jī)節(jié)點(diǎn)，多機(jī)部署、統(tǒng)一調(diào)度；數(shù)據(jù)庫(kù)獨(dú)立部署；多進(jìn)程處理。這種設(shè)置中，應(yīng)用主機(jī)資源可以橫向擴(kuò)充，交易量增大后，可以通過增加應(yīng)用主機(jī)解決；交易量極大時(shí)，數(shù)據(jù)庫(kù)主機(jī)資源仍然是系統(tǒng)性能瓶頸。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供一種數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的方法。該方法包括針對(duì)第一類對(duì)象中的每一個(gè)對(duì)象，統(tǒng)計(jì)預(yù)定時(shí)段內(nèi)與其有關(guān)的數(shù)據(jù)的數(shù)據(jù)量；根據(jù)所統(tǒng)計(jì)的數(shù)據(jù)量及已知的數(shù)據(jù)庫(kù)信息，生成第一數(shù)據(jù)分發(fā)基準(zhǔn)，所述第一數(shù)據(jù)分發(fā)基準(zhǔn)意在將與第一類對(duì)象有關(guān)的數(shù)據(jù)均分在多個(gè)數(shù)據(jù)庫(kù)內(nèi)且意在將與所述第一類對(duì)象中的同一對(duì)象有關(guān)的數(shù)據(jù)設(shè)置在同一數(shù)據(jù)庫(kù)中，所述第一數(shù)據(jù)分發(fā)基準(zhǔn)包括第一標(biāo)識(shí)、第二標(biāo)識(shí)及第三標(biāo)識(shí)，所述第一標(biāo)識(shí)標(biāo)識(shí)出與數(shù)據(jù)有關(guān)的第一類對(duì)象中的具體對(duì)象，所述第二標(biāo)識(shí)標(biāo)識(shí)出數(shù)據(jù)要被分發(fā)到的數(shù)據(jù)庫(kù)，所述第三標(biāo)識(shí)標(biāo)識(shí)出數(shù)據(jù)在其要被分發(fā)到的數(shù)據(jù)庫(kù)中所處的區(qū)域；在預(yù)定時(shí)段以后的數(shù)據(jù)處理過程中:
a)基于所述第一數(shù)據(jù)分發(fā)基準(zhǔn)分發(fā)數(shù)據(jù)，并至少將第一標(biāo)識(shí)與第二標(biāo)識(shí)發(fā)送給應(yīng)用，以便應(yīng)用依據(jù)所述第一標(biāo)識(shí)與第二標(biāo)識(shí)獲取數(shù)據(jù)，
b)針對(duì)第一類對(duì)象中的每一個(gè)對(duì)象，實(shí)時(shí)統(tǒng)計(jì)與其有關(guān)的數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)量，
c)根據(jù)所統(tǒng)計(jì)的實(shí)時(shí)數(shù)據(jù)量及第一數(shù)據(jù)分發(fā)基準(zhǔn)判斷第一類對(duì)象中是否存在異常，
d)在存在異常時(shí)，修正a)中的第一數(shù)據(jù)分發(fā)基準(zhǔn)。
[0007]優(yōu)選地，所述均衡負(fù)載的方法還包括針對(duì)第二類對(duì)象中的每一個(gè)，統(tǒng)計(jì)預(yù)定時(shí)段內(nèi)與其有關(guān)的數(shù)據(jù)的數(shù)據(jù)量；在此情況下，所述根據(jù)所統(tǒng)計(jì)的數(shù)據(jù)量及已知的數(shù)據(jù)庫(kù)信息，生成第一數(shù)據(jù)分發(fā)基準(zhǔn)進(jìn)一步包括:根據(jù)所統(tǒng)計(jì)的與第二類對(duì)象有關(guān)的數(shù)據(jù)的數(shù)據(jù)量并基于第一數(shù)據(jù)分發(fā)基準(zhǔn)，生成第二數(shù)據(jù)分發(fā)基準(zhǔn)，所述第二數(shù)據(jù)分發(fā)基準(zhǔn)意在將屬于同一數(shù)據(jù)庫(kù)且與第二類對(duì)象中的同一對(duì)象有關(guān)的數(shù)據(jù)設(shè)置在該數(shù)據(jù)庫(kù)的連續(xù)存儲(chǔ)區(qū)，所述第二數(shù)據(jù)分發(fā)基準(zhǔn)包括標(biāo)識(shí)該連續(xù)存儲(chǔ)區(qū)的區(qū)標(biāo)識(shí)；以及步驟a)為:基于所述第一數(shù)據(jù)分發(fā)基準(zhǔn)以及第二數(shù)據(jù)分發(fā)基準(zhǔn)分發(fā)數(shù)據(jù)，并至少將第一數(shù)據(jù)分發(fā)基準(zhǔn)包括的第一標(biāo)識(shí)與第二標(biāo)識(shí)、以及第二數(shù)據(jù)分發(fā)基準(zhǔn)的區(qū)標(biāo)識(shí)發(fā)送給應(yīng)用，以便應(yīng)用依據(jù)所述第一標(biāo)識(shí)、第二標(biāo)識(shí)及區(qū)標(biāo)識(shí)獲取數(shù)據(jù)。
[0008]優(yōu)選地，所述均衡負(fù)載的方法還包括在預(yù)定時(shí)段以后的數(shù)據(jù)處理過程中:
e)針對(duì)第二類對(duì)象中的每一個(gè)對(duì)象，實(shí)時(shí)統(tǒng)計(jì)與其有關(guān)的數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)量，
f )根據(jù)e)中所統(tǒng)計(jì)的實(shí)時(shí)數(shù)據(jù)量以及第二數(shù)據(jù)分發(fā)基準(zhǔn)判斷第二類對(duì)象中是否存在異常，
g)在f)的判斷結(jié)果是存在異?；蛘叩谝粩?shù)據(jù)分發(fā)基準(zhǔn)被修正的情況下，修正步驟a)中的第二數(shù)據(jù)分發(fā)基準(zhǔn)。
[0009]本發(fā)明還提供一種數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的系統(tǒng)。該系統(tǒng)包括:統(tǒng)計(jì)模塊，用于針對(duì)第一類對(duì)象中的每一個(gè)對(duì)象，統(tǒng)計(jì)預(yù)定時(shí)段內(nèi)與其有關(guān)的數(shù)據(jù)的數(shù)據(jù)量；數(shù)據(jù)分發(fā)基準(zhǔn)生成模塊，其用于根據(jù)所統(tǒng)計(jì)的數(shù)據(jù)量及已知的數(shù)據(jù)庫(kù)信息，生成第一數(shù)據(jù)分發(fā)基準(zhǔn)，所述第一數(shù)據(jù)分發(fā)基準(zhǔn)意在將與第一類對(duì)象有關(guān)的數(shù)據(jù)均分在多個(gè)數(shù)據(jù)庫(kù)內(nèi)且意在將與所述第一類對(duì)象中的同一對(duì)象有關(guān)的數(shù)據(jù)設(shè)置在同一數(shù)據(jù)庫(kù)中，所述第一數(shù)據(jù)分發(fā)基準(zhǔn)包括第一標(biāo)識(shí)、第二標(biāo)識(shí)及第三標(biāo)識(shí)，所述第一標(biāo)識(shí)標(biāo)識(shí)出與數(shù)據(jù)有關(guān)的第一類對(duì)象中的具體對(duì)象，所述第二標(biāo)識(shí)標(biāo)識(shí)出數(shù)據(jù)要被分發(fā)到的數(shù)據(jù)庫(kù)，所述第三標(biāo)識(shí)標(biāo)識(shí)出數(shù)據(jù)在其要被分發(fā)到的數(shù)據(jù)庫(kù)中所處的區(qū)域；數(shù)據(jù)分發(fā)模塊，其用于在預(yù)定時(shí)段后的數(shù)據(jù)處理過程中，基于所述第一分發(fā)基準(zhǔn)分發(fā)數(shù)據(jù)，并至少將第一標(biāo)識(shí)與第二標(biāo)識(shí)發(fā)送給應(yīng)用，以便應(yīng)用依據(jù)所述第一標(biāo)識(shí)與第二標(biāo)識(shí)獲取數(shù)據(jù)；也可將第三標(biāo)識(shí)發(fā)送給應(yīng)用。該系統(tǒng)還包括:實(shí)時(shí)統(tǒng)計(jì)模塊，其用于在預(yù)定時(shí)段以后的數(shù)據(jù)處理過程中，針對(duì)第一類對(duì)象中的每一個(gè)對(duì)象，實(shí)時(shí)統(tǒng)計(jì)與其有關(guān)的數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)量；判斷模塊，其用于根據(jù)所統(tǒng)計(jì)的實(shí)時(shí)數(shù)據(jù)量及第一數(shù)據(jù)分發(fā)基準(zhǔn)判斷第一類對(duì)象中是否存在異常；修正模塊，其用于在判斷模塊的判斷結(jié)果為存在異常時(shí)，修正所述第一數(shù)據(jù)分發(fā)基準(zhǔn)。
[0010]優(yōu)選地，所述統(tǒng)計(jì)模塊還設(shè)置成用于針對(duì)第二類對(duì)象中的每一個(gè)，統(tǒng)計(jì)預(yù)定時(shí)段內(nèi)與其有關(guān)的數(shù)據(jù)的數(shù)據(jù)量；所述數(shù)據(jù)分發(fā)基準(zhǔn)生成模塊進(jìn)一步配置成根據(jù)所統(tǒng)計(jì)的與第二類對(duì)象有關(guān)的數(shù)據(jù)的數(shù)據(jù)量并基于第一數(shù)據(jù)分發(fā)基準(zhǔn)，生成第二數(shù)據(jù)分發(fā)基準(zhǔn)，所述第二數(shù)據(jù)分發(fā)基準(zhǔn)意在將屬于同一數(shù)據(jù)庫(kù)且與第二類對(duì)象中的同一對(duì)象有關(guān)的數(shù)據(jù)設(shè)置在該數(shù)據(jù)庫(kù)的連續(xù)存儲(chǔ)區(qū)，所述第二數(shù)據(jù)分發(fā)基準(zhǔn)包括標(biāo)識(shí)該連續(xù)存儲(chǔ)區(qū)的區(qū)標(biāo)識(shí)；所述數(shù)據(jù)分發(fā)模塊還配置成基于所述第一數(shù)據(jù)分發(fā)基準(zhǔn)以及第二數(shù)據(jù)分發(fā)基準(zhǔn)分發(fā)數(shù)據(jù)，并至少將第一數(shù)據(jù)分發(fā)基準(zhǔn)包括的第一標(biāo)識(shí)與第二標(biāo)識(shí)、以及第二數(shù)據(jù)分發(fā)基準(zhǔn)的區(qū)標(biāo)識(shí)發(fā)送給應(yīng)用，以便應(yīng)用依據(jù)所述第一標(biāo)識(shí)、第二標(biāo)識(shí)及區(qū)標(biāo)識(shí)獲取數(shù)據(jù)。
[0011]優(yōu)選地，所述實(shí)時(shí)統(tǒng)計(jì)模塊還配置成針對(duì)第二類對(duì)象中的每一個(gè)對(duì)象，實(shí)時(shí)統(tǒng)計(jì)與其有關(guān)的數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)量，所述判斷模塊還配置成根據(jù)所統(tǒng)計(jì)的針對(duì)第二類對(duì)象中的每一個(gè)對(duì)象的實(shí)時(shí)數(shù)據(jù)量、第二數(shù)據(jù)分發(fā)基準(zhǔn)判斷第二類對(duì)象中是否存在異常，所述修正模塊還配置成用于在判斷模塊的判斷結(jié)果為存在異常的情況下，修正第二數(shù)據(jù)分發(fā)基準(zhǔn)。
[0012]優(yōu)選地，在以上所有示例中，所述預(yù)定時(shí)段為一日。
[0013]本發(fā)明所述的方法及系統(tǒng)使得與第一類對(duì)象有關(guān)的數(shù)據(jù)可均衡設(shè)置在數(shù)據(jù)庫(kù)中，減少了數(shù)據(jù)庫(kù)的存儲(chǔ)以及應(yīng)用對(duì)數(shù)據(jù)庫(kù)的訪問壓力。并在優(yōu)選實(shí)施例的情況下，還在與第一類對(duì)象有關(guān)的數(shù)據(jù)可均衡設(shè)置在數(shù)據(jù)庫(kù)中的基礎(chǔ)上，使與第一類對(duì)象中的某具體對(duì)象有關(guān)且與第二類對(duì)象中的同一對(duì)象有關(guān)的數(shù)據(jù)設(shè)置在數(shù)據(jù)庫(kù)的連續(xù)區(qū)域，進(jìn)一步方便應(yīng)用對(duì)數(shù)據(jù)庫(kù)的訪問。此外，本發(fā)明還在預(yù)定時(shí)段以后的數(shù)據(jù)處理過程中，實(shí)時(shí)修正相關(guān)的數(shù)據(jù)分發(fā)基準(zhǔn)，以保持期望的均衡性。
【附圖說明】
[0014]圖1是根據(jù)本發(fā)明的一個(gè)示例的數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的方法的流程圖。
[0015]圖2示意了一種可實(shí)施圖1所示的方法的應(yīng)用環(huán)境。
[0016]圖3示例了根據(jù)本發(fā)明又一個(gè)示例的數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的方法的流程圖。
[0017]圖4是根據(jù)本發(fā)明的電子交易數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。
[0018]
【具體實(shí)施方式】
[0019]現(xiàn)在參照附圖描述本發(fā)明的示意性示例，相同的附圖標(biāo)號(hào)表示相同的元件。下文描述的各實(shí)施例有助于本領(lǐng)域技術(shù)人員透徹理解本發(fā)明，且意在示例而非限制。除非另有限定，文中使用的術(shù)語(yǔ)(包括科學(xué)、技術(shù)和行業(yè)術(shù)語(yǔ))具有與本發(fā)明所屬領(lǐng)域的技術(shù)人員普遍理解的含義相同的含義。
[0020]圖1是根據(jù)本發(fā)明的一個(gè)示例的數(shù)據(jù)處理系統(tǒng)中均衡負(fù)載的方法的流程圖。所述均衡負(fù)載的方法可以應(yīng)用在包括數(shù)據(jù)庫(kù)及訪問數(shù)據(jù)庫(kù)的一個(gè)或多個(gè)應(yīng)用的應(yīng)用環(huán)境中。在該應(yīng)用環(huán)境中，數(shù)據(jù)庫(kù)與該一個(gè)或多個(gè)應(yīng)用可設(shè)置于同一數(shù)據(jù)處理設(shè)備，也可以分別設(shè)置在不同的相互之間電連接的數(shù)據(jù)處理設(shè)備中。在此，所述的數(shù)據(jù)處理設(shè)備可以是計(jì)算機(jī)設(shè)備(如個(gè)人電腦、服務(wù)器或筆記本電腦等)、便攜式終端(如IPAD等平板電腦、智能手機(jī)等)等具備數(shù)據(jù)處理功能的設(shè)備。
[0021]圖2示意了一種可實(shí)施圖1所示的方法的應(yīng)用環(huán)境。如圖所示，多個(gè)數(shù)據(jù)庫(kù)分別設(shè)置在不同的服務(wù)器20 - 26中，每個(gè)服務(wù)器中可構(gòu)建一個(gè)或多個(gè)數(shù)據(jù)庫(kù)；多個(gè)應(yīng)用分別設(shè)置在不同的計(jì)算機(jī)30 - 33中，每個(gè)計(jì)算機(jī)中可構(gòu)建一個(gè)或多個(gè)應(yīng)用。為方便闡述本發(fā)明的精神，下文中，以服務(wù)器20 - 26中的每一個(gè)內(nèi)僅構(gòu)建有一個(gè)數(shù)據(jù)庫(kù)且計(jì)算機(jī)30 — 33中的每一個(gè)內(nèi)僅構(gòu)建有一個(gè)應(yīng)用為例進(jìn)行說明。此外，將直接采用數(shù)據(jù)庫(kù)所在服務(wù)器的附圖標(biāo)記來標(biāo)識(shí)各數(shù)據(jù)庫(kù)以及直接采用應(yīng)用所在計(jì)算機(jī)的附圖標(biāo)記標(biāo)記各應(yīng)用，由此，設(shè)置在服務(wù)器20 — 26的數(shù)據(jù)庫(kù)將被標(biāo)識(shí)為數(shù)據(jù)庫(kù)20 — 26,設(shè)置在計(jì)算機(jī)30 — 33中的應(yīng)用將被標(biāo)識(shí)為應(yīng)用30 - 33。根據(jù)本發(fā)明的示例，該應(yīng)用環(huán)境還包括均衡負(fù)載的系統(tǒng)4