本申請涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域,特別涉及一種數(shù)據(jù)處理方法及數(shù)據(jù)處理設(shè)備。
背景技術(shù):
隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,涌現(xiàn)出大量的網(wǎng)絡(luò)平臺,這些網(wǎng)絡(luò)平臺包括支付平臺、網(wǎng)絡(luò)社交平臺和自由媒體平臺。目前熟知的支付寶可以屬于支付平臺,人人網(wǎng)可以屬于網(wǎng)絡(luò)社交平臺,新浪微博可以屬于自由媒體平臺。每個平臺一般可以包括業(yè)務(wù)系統(tǒng)和數(shù)據(jù)中心。其中,業(yè)務(wù)系統(tǒng)可以負(fù)責(zé)平臺正常業(yè)務(wù)的運(yùn)行;數(shù)據(jù)中心則可以將業(yè)務(wù)系統(tǒng)待發(fā)送的業(yè)務(wù)數(shù)據(jù)進(jìn)行加工處理后發(fā)送給相應(yīng)的用戶。
目前,大多數(shù)網(wǎng)絡(luò)平臺的數(shù)據(jù)中心都是按照先到先處理,后到后處理的原則處理業(yè)務(wù)系統(tǒng)發(fā)來的業(yè)務(wù)數(shù)據(jù)。例如,數(shù)據(jù)中心分別接收到交易系統(tǒng)、認(rèn)證系統(tǒng)以及商友系統(tǒng)發(fā)來的消息A、消息B以及消息C。這三條消息到達(dá)數(shù)據(jù)中心的時間順序分別為消息B、消息A以及消息C,那么消息系統(tǒng)則會優(yōu)先處理消息B然后處理消息A最后處理消息C。
此外,在數(shù)據(jù)存儲時通常根據(jù)某個規(guī)則對數(shù)據(jù)進(jìn)行分庫分表來保證數(shù)據(jù)庫的負(fù)載均衡。例如,利用傳統(tǒng)的hash映射的方式來代表數(shù)據(jù)內(nèi)容和數(shù)據(jù)存儲地址之間的映射關(guān)系,將數(shù)據(jù)存儲到相應(yīng)的數(shù)據(jù)庫。具體的,數(shù)據(jù)分配可以包括:將代表數(shù)據(jù)內(nèi)容和數(shù)據(jù)存放地址之間映射關(guān)系的存儲標(biāo)識編碼在待處理數(shù)據(jù)的ID上;將所述待處理數(shù)據(jù)存儲在所述存儲標(biāo)識對應(yīng)的存儲地址。進(jìn)一步的,當(dāng)所述待處理數(shù)據(jù)需要進(jìn)行加載處理時,可以確定與所述存儲標(biāo)識相對應(yīng)的加載標(biāo)識;從所述加載標(biāo)識對應(yīng)的存儲地址中加載所述數(shù)據(jù),進(jìn)行數(shù)據(jù)處理。
然而,現(xiàn)有技術(shù)中對網(wǎng)絡(luò)中產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理的方法,當(dāng)產(chǎn)生業(yè)務(wù)數(shù)據(jù)的速度超過處理業(yè)務(wù)數(shù)據(jù)的速度時,便會造成業(yè)務(wù)數(shù)據(jù)的堵塞,而導(dǎo)致數(shù)據(jù)處理系統(tǒng)的癱瘓。此外,現(xiàn)有技術(shù)中對數(shù)據(jù)進(jìn)行處理的方法有可能導(dǎo)致數(shù)據(jù)庫中存儲的數(shù)據(jù)分布不均,數(shù)據(jù)庫壓力不一致。
應(yīng)該注意,上面對技術(shù)背景的介紹只是為了方便對本申請的技術(shù)方案進(jìn)行清楚、完整的說明,并方便本領(lǐng)域技術(shù)人員的理解而闡述的。不能僅僅因?yàn)檫@些方案在本申請的背景技術(shù)部分進(jìn)行了闡述而認(rèn)為上述技術(shù)方案為本領(lǐng)域技術(shù)人員所公知。
技術(shù)實(shí)現(xiàn)要素:
本申請實(shí)施方式的目的在于提供一種數(shù)據(jù)處理方法及數(shù)據(jù)處理設(shè)備,能夠緩解可能產(chǎn)生的數(shù)據(jù)堵塞現(xiàn)象,并且能夠均衡地分配數(shù)據(jù),以達(dá)到數(shù)據(jù)庫負(fù)載均衡的目的。
為實(shí)現(xiàn)上述目的,本申請一方面提供一種數(shù)據(jù)處理方法,所述方法包括:預(yù)先為預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)分配優(yōu)先級;接收待處理的業(yè)務(wù)數(shù)據(jù);當(dāng)所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級滿足預(yù)設(shè)條件時,為所述業(yè)務(wù)數(shù)據(jù)設(shè)置存儲標(biāo)識;根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值;將所述業(yè)務(wù)數(shù)據(jù)存儲到與所述存儲標(biāo)識的賦值相對應(yīng)的存儲位置,形成已處理業(yè)務(wù)數(shù)據(jù)。
進(jìn)一步地,預(yù)先為預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)分配優(yōu)先級具體包括:預(yù)先建立預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)中各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,其中,所述業(yè)務(wù)系統(tǒng)的標(biāo)識包括文本名稱或代碼;所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級按照下述步驟確定:提取所述業(yè)務(wù)數(shù)據(jù)中攜帶的業(yè)務(wù)系統(tǒng)的標(biāo)識;根據(jù)各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,查詢提取的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級;將查詢的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級確定為所述業(yè)務(wù)數(shù)據(jù)的優(yōu)先級。
進(jìn)一步地,所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級滿足預(yù)設(shè)條件具體包括:所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級大于或者等于預(yù)設(shè)優(yōu)先級閾值。
進(jìn)一步地,所述方法還包括:為所述已處理業(yè)務(wù)數(shù)據(jù)設(shè)置加載標(biāo)識并確定所述加載標(biāo)識的賦值;基于所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識中的賦值加載所述已處理業(yè)務(wù)數(shù)據(jù)。
進(jìn)一步地,所述預(yù)設(shè)負(fù)載均衡規(guī)則包括:根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況將所述業(yè)務(wù)數(shù)據(jù)遷移至預(yù)設(shè)數(shù)據(jù)庫;相應(yīng)的,根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值具體包括:基于所述預(yù)設(shè)數(shù)據(jù)庫的存儲地址設(shè)置所述存儲標(biāo)識的賦值。
進(jìn)一步地,所述負(fù)載均衡規(guī)則包括:根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況以及所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型,確定所述業(yè)務(wù)數(shù)據(jù)的存儲數(shù)據(jù)庫;相應(yīng)的,根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值具體包括:根據(jù)所述業(yè)務(wù)數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)庫的地址設(shè)置所述存儲標(biāo)識的賦值。
為實(shí)現(xiàn)上述目的,本發(fā)明還提供一種數(shù)據(jù)處理設(shè)備,包括:優(yōu)先級分配單元,用于預(yù)先為預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)分配優(yōu)先級;業(yè)務(wù)數(shù)據(jù)接收單元,用于接收待處理的業(yè)務(wù)數(shù)據(jù);存儲標(biāo)識設(shè)置單元,用于當(dāng)所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級滿足預(yù)設(shè)條件時,為所述業(yè)務(wù)數(shù)據(jù)設(shè)置存儲標(biāo)識;賦值確定單元,用于根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值;處理單元,用于將所述業(yè)務(wù)數(shù)據(jù)存儲到與所述存儲標(biāo)識的賦值相對應(yīng)的存儲位置,形成已處理業(yè)務(wù)數(shù)據(jù)。
進(jìn)一步地,所述優(yōu)先級分配單元具體包括:對應(yīng)關(guān)系建立模塊,用于預(yù)先建立預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)中各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,其中,所述標(biāo)識包括文本名稱或代碼;相應(yīng)地,所述存儲標(biāo)識設(shè)置單元具體包括:標(biāo)識提取模塊,用于提取所述業(yè)務(wù)數(shù)據(jù)中攜帶的業(yè)務(wù)系統(tǒng)的標(biāo)識;優(yōu)先級查詢模塊,用于根據(jù)各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,查詢提取的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級;優(yōu)先級確定模塊,用于將查詢的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級確定為所述業(yè)務(wù)數(shù)據(jù)的優(yōu)先級。
進(jìn)一步地,所述賦值確定單元具體包括:數(shù)據(jù)庫遷移模塊,用于根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況將所述業(yè)務(wù)數(shù)據(jù)遷移至預(yù)設(shè)數(shù)據(jù)庫;賦值設(shè)置模塊,用于基于所述預(yù)設(shè)數(shù)據(jù)庫的存儲地址設(shè)置所述存儲標(biāo)識的賦值。
進(jìn)一步地,所述數(shù)據(jù)庫遷移模塊還用于根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況以及所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型,確定所述業(yè)務(wù)數(shù)據(jù)的存儲數(shù)據(jù)庫;所述賦值設(shè)置模塊還用于根據(jù)所述業(yè)務(wù)數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)庫的地址設(shè)置所述存儲標(biāo)識的賦值。
本申請實(shí)施方式通過預(yù)先為不同的業(yè)務(wù)系統(tǒng)劃分優(yōu)先級,從而可以在業(yè)務(wù)數(shù)據(jù)量較大時僅處理優(yōu)先級滿足預(yù)設(shè)條件的業(yè)務(wù)數(shù)據(jù),從而減少了需要處理的業(yè)務(wù)數(shù)據(jù)量,緩解了業(yè)務(wù)數(shù)據(jù)堵塞的現(xiàn)象。此外,本申請可以根據(jù)實(shí)際負(fù)載情況均衡分配數(shù)據(jù),從而保證數(shù)據(jù)庫負(fù)載均衡。由上可見,本申請實(shí)施方式提供的一種數(shù)據(jù)處理方法及數(shù)據(jù)處理設(shè)備,能夠緩解可能產(chǎn)生的數(shù)據(jù)堵塞現(xiàn)象,并且能夠均衡地分配數(shù)據(jù),以達(dá)到數(shù)據(jù)庫負(fù)載均衡的目的。
參照后文的說明和附圖,詳細(xì)公開了本申請的特定實(shí)施方式,指明了本申請的原理可以被采用的方式。應(yīng)該理解,本申請的實(shí)施方式在范圍上并不因而受到限制。在所附權(quán)利要求的精神和條款的范圍內(nèi),本申請的實(shí)施方式包括許多改變、修改和等同。
針對一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個或更多個其它實(shí)施方式中使用,與其它實(shí)施方式中的特征相組合,或替代其它實(shí)施方式中的特征。
應(yīng)該強(qiáng)調(diào),術(shù)語“包括/包含”在本文使用時指特征、整件、步驟或組件的存在,但并不排除一個或更多個其它特征、整件、步驟或組件的存在或附加。
附圖說明
所包括的附圖用來提供對本申請實(shí)施方式的進(jìn)一步的理解,其構(gòu)成了說明書的一部分,用于例示本申請的實(shí)施方式,并與文字描述一起來闡釋本申請的原理。顯而易見地,下面描述中的附圖僅僅是本申請的一些實(shí)施方式,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。在附圖中:
圖1為本申請實(shí)施方式提供的一種數(shù)據(jù)處理方法的流程圖;
圖2為本申請實(shí)施方式提供的一種數(shù)據(jù)處理設(shè)備的功能模塊圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本申請中的技術(shù)方案,下面將結(jié)合本申請實(shí)施方式中的附圖,對本申請實(shí)施方式中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施方式僅僅是本申請一部分實(shí)施方式,而不是全部的實(shí)施方式?;诒旧暾堉械膶?shí)施方式,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實(shí)施方式,都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。
圖1為本申請實(shí)施方式提供的一種數(shù)據(jù)處理方法的流程圖。請參閱圖1,所述方法可以包括以下步驟。
步驟S1:預(yù)先為預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)分配優(yōu)先級。
在本實(shí)施方式中,每個網(wǎng)絡(luò)平臺都可以有自身的業(yè)務(wù)系統(tǒng)側(cè)重點(diǎn),例如支付寶平臺在交易系統(tǒng)、認(rèn)證系統(tǒng)以及商友系統(tǒng)中可以側(cè)重交易系統(tǒng)。本申請實(shí)施例可以將各個業(yè)務(wù)系統(tǒng)設(shè)置優(yōu)先級,讓數(shù)據(jù)中心優(yōu)先處理優(yōu)先級比較高的業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。具體地,可以預(yù)先建立預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)中各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,其中,所述標(biāo)識包括文本名稱或代碼。所述業(yè)務(wù)系統(tǒng)的優(yōu)先級可以是網(wǎng)絡(luò)平臺運(yùn)營方預(yù)先設(shè)置的。例如,支付寶平臺的運(yùn)營方可以預(yù)先將該平臺中交易系統(tǒng)的優(yōu)先級設(shè)置為高,將認(rèn)證系統(tǒng)和商友系統(tǒng)的優(yōu)先級設(shè)置為低。
在本實(shí)施方式中,網(wǎng)絡(luò)平臺中的業(yè)務(wù)系統(tǒng)均可以用一個唯一的代碼來代表,例如支付寶平臺中的交易系統(tǒng)可以用A100代表,認(rèn)證系統(tǒng)可以用A101代表,商友系統(tǒng)可以用A102代表。這些業(yè)務(wù)系統(tǒng)與其代碼的對應(yīng)關(guān)系可以存儲在網(wǎng)絡(luò)平臺的數(shù)據(jù)庫中。所述數(shù)據(jù)庫可以位于某個服務(wù)器中,也可以位于某個邏輯體中。所述數(shù)據(jù)庫中的內(nèi)容可以被網(wǎng)絡(luò)平臺中的其他實(shí)體或者邏輯體訪問。
在本實(shí)施方式中,各個業(yè)務(wù)系統(tǒng)還可以通過文本名稱來表示,例如支付寶平臺中的交易系統(tǒng)可以用“交易”代表,認(rèn)證系統(tǒng)可以用“認(rèn)證”代表,商友系統(tǒng)可以用“商友”代表。這些業(yè)務(wù)系統(tǒng)與其文本名稱的對應(yīng)關(guān)系同樣可以存儲在網(wǎng)絡(luò)平臺的數(shù)據(jù)庫中。
步驟S2:接收待處理的業(yè)務(wù)數(shù)據(jù)。
步驟S3:當(dāng)所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級滿足預(yù)設(shè)條件時,為所述業(yè)務(wù)數(shù)據(jù)設(shè)置存儲標(biāo)識。
在本實(shí)施方式中,當(dāng)業(yè)務(wù)系統(tǒng)產(chǎn)生業(yè)務(wù)數(shù)據(jù)的速度過快,超過了業(yè)務(wù)數(shù)據(jù)處理速度時,可以對接收到的待處理的業(yè)務(wù)數(shù)據(jù)的優(yōu)先級進(jìn)行判定。這樣,可以對優(yōu)先級較高的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理和存儲,而對于優(yōu)先級較低的數(shù)據(jù)可以直接丟棄,以緩解可能發(fā)生的數(shù)據(jù)堵塞問題。
在本實(shí)施方式中,可以從所述業(yè)務(wù)數(shù)據(jù)中提取所述業(yè)務(wù)數(shù)據(jù)中攜帶的業(yè)務(wù)系統(tǒng)的標(biāo)識。在提取出所述標(biāo)識之后,可以根據(jù)各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,查詢提取的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級。查詢得到的優(yōu)先級可以是業(yè)務(wù)系統(tǒng)對應(yīng)的優(yōu)先級,而由業(yè)務(wù)系統(tǒng)發(fā)出的業(yè)務(wù)數(shù)據(jù)可以與業(yè)務(wù)系統(tǒng)保持相同的優(yōu)先級,因此,可以將查詢的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級確定為所述業(yè)務(wù)數(shù)據(jù)的優(yōu)先級。
在本實(shí)施方式中,在判定業(yè)務(wù)數(shù)據(jù)的優(yōu)先級是否滿足預(yù)設(shè)條件時,可以預(yù)先設(shè)置優(yōu)先級閾值。這樣,當(dāng)所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級大于或者等于預(yù)設(shè)優(yōu)先級閾值時,則可以判定所述業(yè)務(wù)數(shù)據(jù)的優(yōu)先級滿足預(yù)設(shè)條件。
在本實(shí)施方式中,所述業(yè)務(wù)數(shù)據(jù)可以包括業(yè)務(wù)處理過程中需要進(jìn)行入庫存儲的數(shù)據(jù)。具體的,所述存儲標(biāo)識可以代表所述業(yè)務(wù)數(shù)據(jù)與所述業(yè)務(wù)數(shù)據(jù)存儲位置之間的映射關(guān)系。本實(shí)施例中根據(jù)待處理業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識可以執(zhí)行將所述待處理業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲的操作。
在一個具體的實(shí)施例中,以微博消息通知系統(tǒng)為例,假設(shè)某微博賬號用戶發(fā)表了一條微博。相應(yīng)的,所述微博需要廣播通知給所述微博賬號用戶的粉絲;假設(shè)所述微博賬號用戶的粉絲數(shù)為1000,那么1000個粉絲就需要生成1000條通知記錄,所述1000條通知記錄可以作為業(yè)務(wù)處理過程中需要進(jìn)行入庫存儲的業(yè)務(wù)數(shù)據(jù)。然后可以為所述微博設(shè)置存儲標(biāo)識store_ddl_flag。
步驟S4:根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值。
在本實(shí)施方式中,所述負(fù)載均衡規(guī)則可以包括根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況將所述業(yè)務(wù)數(shù)據(jù)遷移至預(yù)設(shè)數(shù)據(jù)庫。相應(yīng)的,根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值具體包括:基于所述預(yù)設(shè)數(shù)據(jù)庫的存儲地址設(shè)置所述存儲標(biāo)識的賦值。
在本實(shí)施方式中,所述負(fù)載均衡規(guī)則可以包括根根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況以及所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型,確定所述業(yè)務(wù)數(shù)據(jù)的存儲數(shù)據(jù)庫。相應(yīng)的,根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值具體包括:根據(jù)所述業(yè)務(wù)數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)庫的地址設(shè)置所述存儲標(biāo)識的賦值。所述預(yù)設(shè)業(yè)務(wù)類型可以包括一個業(yè)務(wù)類型和/或多個業(yè)務(wù)類型。
在本實(shí)施方式中,所述數(shù)據(jù)庫的負(fù)載情況可以包括數(shù)據(jù)庫中存儲的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量信息,還可以包括所述數(shù)據(jù)庫中存儲的業(yè)務(wù)數(shù)據(jù)所屬業(yè)務(wù)類型的自相關(guān)數(shù)據(jù)量屬性。所述業(yè)務(wù)類型的自相關(guān)數(shù)據(jù)量屬性可以包括所述業(yè)務(wù)類型的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量信息。在一個具體的實(shí)施例中,以微博消息通知系統(tǒng)為例,所述業(yè)務(wù)類型的自相關(guān)數(shù)據(jù)量屬性可以包括某一微博賬號用戶相關(guān)的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量信息。這里不同的微博賬號用戶對應(yīng)著不同的業(yè)務(wù)類型,每個微博賬號用戶的通知記錄等相關(guān)的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量對應(yīng)著該微博賬號用戶的自相關(guān)數(shù)據(jù)量屬性。
本實(shí)施方式中,為所述待處理業(yè)務(wù)數(shù)據(jù)設(shè)置了相應(yīng)的存儲標(biāo)識之后,可以根據(jù)設(shè)置的負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值。
步驟S5:將所述業(yè)務(wù)數(shù)據(jù)存儲到與所述存儲標(biāo)識的賦值相對應(yīng)的存儲位置,形成已處理業(yè)務(wù)數(shù)據(jù)。
在本實(shí)施方式中,在對所述業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識進(jìn)行賦值之后,便可以將所述業(yè)務(wù)數(shù)據(jù)存儲到與所述存儲標(biāo)識的賦值相對應(yīng)的存儲位置,形成已處理業(yè)務(wù)數(shù)據(jù)。
在本申請中,在步驟S5之后,所述方法還可以包括:為所述已處理業(yè)務(wù)數(shù)據(jù)設(shè)置加載標(biāo)識并確定所述加載標(biāo)識的賦值;基于所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識中的賦值加載所述已處理業(yè)務(wù)數(shù)據(jù)。
在本實(shí)施方式中,所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識可以與所述待處理業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識相對應(yīng),代表所述已處理業(yè)務(wù)數(shù)據(jù)與所述已處理業(yè)務(wù)數(shù)據(jù)存儲位置之間的映射關(guān)系。本實(shí)施例中根據(jù)已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識可以執(zhí)行將所述已處理業(yè)務(wù)數(shù)據(jù)進(jìn)行加載的操作。在一些實(shí)施例中,所述待處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識的賦值可以與所述已處理業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識的賦值一致。此外,在一些實(shí)施例中,所述待處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識的賦值可以與所述已處理業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識的賦值不一致,但所述已處理業(yè)務(wù)數(shù)據(jù)加載標(biāo)識的賦值所對應(yīng)的負(fù)載均衡規(guī)則與所述待處理業(yè)務(wù)數(shù)據(jù)的存儲標(biāo)識的賦值所對應(yīng)的負(fù)載均衡規(guī)則一致。
具體的,所述加載標(biāo)識的賦值可以包括:根據(jù)所述設(shè)置的負(fù)載均衡規(guī)則設(shè)置的所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識的賦值。具體的,例如在一個實(shí)施例中,若所述負(fù)載均衡規(guī)則包括:根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況將指定位置的業(yè)務(wù)數(shù)據(jù)遷移至預(yù)設(shè)數(shù)據(jù)庫時,相應(yīng)的,所述根據(jù)所述設(shè)置的負(fù)載均衡規(guī)則設(shè)置的所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識的賦值可以包括:基于所述已處理業(yè)務(wù)數(shù)據(jù)在遷移至的所述預(yù)設(shè)數(shù)據(jù)庫的存儲地址設(shè)置的所述加載標(biāo)識的賦值。如上所述,若所述負(fù)載均衡規(guī)則包括:根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況設(shè)置相應(yīng)業(yè)務(wù)類型的業(yè)務(wù)數(shù)據(jù)的存儲數(shù)據(jù)庫時,相應(yīng)的,所述根據(jù)所述設(shè)置的負(fù)載均衡規(guī)則設(shè)置的所述已處理業(yè)務(wù)數(shù)據(jù)的加載標(biāo)識的賦值包括:根據(jù)所述已處理業(yè)務(wù)數(shù)據(jù)存儲至所述存儲數(shù)據(jù)庫的地址設(shè)置所述加載標(biāo)識的賦值。
本申請還提供一種數(shù)據(jù)處理設(shè)備。請參閱圖2,所述數(shù)據(jù)處理設(shè)備包括:
優(yōu)先級分配單元100,用于預(yù)先為預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)分配優(yōu)先級;
業(yè)務(wù)數(shù)據(jù)接收單元200,用于接收待處理的業(yè)務(wù)數(shù)據(jù);
存儲標(biāo)識設(shè)置單元300,用于當(dāng)所述業(yè)務(wù)數(shù)據(jù)所處的業(yè)務(wù)系統(tǒng)的優(yōu)先級滿足預(yù)設(shè)條件時,為所述業(yè)務(wù)數(shù)據(jù)設(shè)置存儲標(biāo)識;
賦值確定單元400,用于根據(jù)預(yù)設(shè)負(fù)載均衡規(guī)則確定所述存儲標(biāo)識的賦值;
處理單元500,用于將所述業(yè)務(wù)數(shù)據(jù)存儲到與所述存儲標(biāo)識的賦值相對應(yīng)的存儲位置,形成已處理業(yè)務(wù)數(shù)據(jù)。
在本申請一個優(yōu)選實(shí)施方式中,所述優(yōu)先級分配單元100具體包括:
對應(yīng)關(guān)系建立模塊,用于預(yù)先建立預(yù)設(shè)數(shù)量的業(yè)務(wù)系統(tǒng)中各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,其中,所述標(biāo)識包括文本名稱或代碼;
相應(yīng)地,所述存儲標(biāo)識設(shè)置單元300具體包括:
標(biāo)識提取模塊,用于提取所述業(yè)務(wù)數(shù)據(jù)中攜帶的業(yè)務(wù)系統(tǒng)的標(biāo)識;
優(yōu)先級查詢模塊,用于根據(jù)各個業(yè)務(wù)系統(tǒng)的標(biāo)識與優(yōu)先級的對應(yīng)關(guān)系,查詢提取的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級;
優(yōu)先級確定模塊,用于將查詢的業(yè)務(wù)系統(tǒng)的標(biāo)識對應(yīng)的優(yōu)先級確定為所述業(yè)務(wù)數(shù)據(jù)的優(yōu)先級。
在本申請一個優(yōu)選實(shí)施方式中,所述賦值確定單元400具體包括:
數(shù)據(jù)庫遷移模塊,用于根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況將所述業(yè)務(wù)數(shù)據(jù)遷移至預(yù)設(shè)數(shù)據(jù)庫;
賦值設(shè)置模塊,用于基于所述預(yù)設(shè)數(shù)據(jù)庫的存儲地址設(shè)置所述存儲標(biāo)識的賦值。
在本申請一個優(yōu)選實(shí)施方式中,所述數(shù)據(jù)庫遷移模塊還用于根據(jù)數(shù)據(jù)庫的數(shù)據(jù)負(fù)載情況以及所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型,確定所述業(yè)務(wù)數(shù)據(jù)的存儲數(shù)據(jù)庫;所述賦值設(shè)置模塊還用于根據(jù)所述業(yè)務(wù)數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)庫的地址設(shè)置所述存儲標(biāo)識的賦值。
需要說明的是,上述各個功能模塊的具體實(shí)現(xiàn)方式與本申請實(shí)施方式中步驟S1至S5中的描述一致,這里便不再贅述。
本申請實(shí)施方式通過預(yù)先為不同的業(yè)務(wù)系統(tǒng)劃分優(yōu)先級,從而可以在業(yè)務(wù)數(shù)據(jù)量較大時僅處理優(yōu)先級滿足預(yù)設(shè)條件的業(yè)務(wù)數(shù)據(jù),從而減少了需要處理的業(yè)務(wù)數(shù)據(jù)量,緩解了業(yè)務(wù)數(shù)據(jù)堵塞的現(xiàn)象。此外,本申請可以根據(jù)實(shí)際負(fù)載情況均衡分配數(shù)據(jù),從而保證數(shù)據(jù)庫負(fù)載均衡。由上可見,本申請實(shí)施方式提供的一種數(shù)據(jù)處理方法及數(shù)據(jù)處理設(shè)備,能夠緩解可能產(chǎn)生的數(shù)據(jù)堵塞現(xiàn)象,并且能夠均衡地分配數(shù)據(jù),以達(dá)到數(shù)據(jù)庫負(fù)載均衡的目的。
上面對本申請的各種實(shí)施方式的描述以描述的目的提供給本領(lǐng)域技術(shù)人員。其不旨在是窮舉的、或者不旨在將本發(fā)明限制于單個公開的實(shí)施方式。如上所述,本申請的各種替代和變化對于上述技術(shù)所屬領(lǐng)域技術(shù)人員而言將是顯而易見的。因此,雖然已經(jīng)具體討論了一些另選的實(shí)施方式,但是其它實(shí)施方式將是顯而易見的,或者本領(lǐng)域技術(shù)人員相對容易得出。本申請旨在包括在此已經(jīng)討論過的本發(fā)明的所有替代、修改、和變化,以及落在上述申請的精神和范圍內(nèi)的其它實(shí)施方式。
本說明書中的各個實(shí)施方式均采用遞進(jìn)的方式描述,各個實(shí)施方式之間相同相似的部分互相參見即可,每個實(shí)施方式重點(diǎn)說明的都是與其他實(shí)施方式的不同之處。尤其,對于方法實(shí)施方式而言,由于其基本相似于系統(tǒng)實(shí)施方式,所以描述的比較簡單,相關(guān)之處參見系統(tǒng)實(shí)施方式的部分說明即可。
雖然通過實(shí)施方式描繪了本申請,本領(lǐng)域普通技術(shù)人員知道,本申請有許多變形和變化而不脫離本申請的精神,希望所附的權(quán)利要求包括這些變形和變化而不脫離本申請的精神。