一種分布式節(jié)點的數(shù)據(jù)處理方法及網(wǎng)關設備的制造方法
【技術領域】
[0001]本發(fā)明涉及通信領域，尤其涉及一種分布式節(jié)點的數(shù)據(jù)處理方法及網(wǎng)關設備。
【背景技術】
[0002]數(shù)據(jù)庫一般通過數(shù)據(jù)表來存儲數(shù)據(jù)，但數(shù)據(jù)量不一定是可控的，隨著時間和業(yè)務的發(fā)展，數(shù)據(jù)庫中的數(shù)據(jù)表會越開越多，數(shù)據(jù)表中的數(shù)據(jù)量也會越來越大。另外，一臺服務器的硬件資源也是有限的，最終數(shù)據(jù)庫所能承載的數(shù)據(jù)量、數(shù)據(jù)處理能力都講遭遇硬件資源的瓶頸，因此需進行分庫分表。即是原本把存儲于一個服務器的數(shù)據(jù)庫的數(shù)據(jù)分塊存儲于多個服務器的多個數(shù)據(jù)數(shù)據(jù)庫中，把原本存儲于一個數(shù)據(jù)表中的數(shù)據(jù)分塊存儲到多個數(shù)據(jù)表，或多個服務器的數(shù)據(jù)庫中，可稱為節(jié)點。
[0003]但是，進行分庫分表后，由于數(shù)據(jù)原本集中存儲于一個數(shù)據(jù)表中或一個節(jié)點中，現(xiàn)在分布在多個數(shù)據(jù)表甚至多個節(jié)點中，故網(wǎng)關設備常需對來自多個節(jié)點的數(shù)據(jù)進行聚合匯總的操作。
[0004]而目前對數(shù)據(jù)進行聚合匯總的方案中，大多是采用網(wǎng)關從各個數(shù)據(jù)庫獲取所需聚合的數(shù)據(jù)，再在網(wǎng)關上根據(jù)聚合指令進行聚合的方案，但是，當網(wǎng)關是采用大量數(shù)據(jù)進行聚合時，網(wǎng)關與節(jié)點間需進行大量的數(shù)據(jù)傳輸，這不僅浪費了資源，也影響了其他數(shù)據(jù)的傳輸，造成傳輸效率過低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例所要解決的技術問題在于，提供一種分布式節(jié)點的數(shù)據(jù)處理方法及設備?？蛇@使得網(wǎng)關設備可讓每個節(jié)點對其存儲的待聚合數(shù)據(jù)進行聚合處理，并將聚合結果返回給網(wǎng)關設備，網(wǎng)關設備再對各個節(jié)點返回的聚合結果進行最后的聚合，從而避免大量數(shù)據(jù)進行傳輸，有效節(jié)省資源，并提高傳輸效率。為了解決上述技術問題，本發(fā)明實施例提供了一種分布式節(jié)點的數(shù)據(jù)處理方法，包括:
[0006]當接收到客戶端發(fā)送的數(shù)據(jù)聚合操作請求時，根據(jù)所述請求確定至少兩個個待處理節(jié)點，其中，所述待處理節(jié)點為需進行數(shù)據(jù)聚合的節(jié)點；
[0007]根據(jù)所述數(shù)據(jù)聚合操作請求生成聚合操作指令，并向所有所述待處理節(jié)點發(fā)送所述數(shù)據(jù)聚合操作指令，其中，所述數(shù)據(jù)聚合操作指令指示所述待處理節(jié)點獲取所述聚合操作請求所請求的待聚合數(shù)據(jù)，并對所述待聚合數(shù)據(jù)進行聚合獲得聚合結果的指令；
[0008]接收所有所述待處理節(jié)點返回的聚合結果，對所有所述聚合結果進行聚合處理獲得聚合數(shù)據(jù)，并將所述聚合數(shù)據(jù)返回給所述客戶端。
[0009]其中，所述數(shù)據(jù)聚合操作請求攜帶聚合函數(shù)；
[0010]所述根據(jù)所述數(shù)據(jù)聚合操作請求生成聚合操作指令包括:
[0011]根據(jù)所述數(shù)據(jù)聚合操作請求生成攜帶所述聚合函數(shù)的聚合操作指令。
[0012]其中，所述方法還包括:
[0013]當接收到與網(wǎng)關設備連接的節(jié)點發(fā)送的數(shù)據(jù)包時，判斷是否需對所述數(shù)據(jù)包進行操作處理；
[0014]當確定不需對所述數(shù)據(jù)包進行操作處理時，將所述數(shù)據(jù)包進行傳輸處理。
[0015]其中，所述數(shù)據(jù)包包括所述聚合結果；
[0016]所述當接收到與網(wǎng)關設備連接的節(jié)點發(fā)送的數(shù)據(jù)包時，判斷是否需對所述數(shù)據(jù)包進行操作處理包括:
[0017]當接收到任意一個所述待處理節(jié)點返回的所述聚合結果時，判斷是否需對所述聚合結果進行操作處理；
[0018]所述當確定不需對所述數(shù)據(jù)包進行操作處理時，將所述數(shù)據(jù)包進行傳輸處理包括:
[0019]當確定不需對所述聚合結果進行操作處理時，將所述聚合結果返回給所述客戶端。
[0020]其中，當接收到客戶端發(fā)送的數(shù)據(jù)聚合操作請求時，根據(jù)所述請求確定至少兩個個待處理節(jié)點之前包括:
[0021]建立與網(wǎng)關設備連接的所有節(jié)點的數(shù)據(jù)映射的邏輯表，所述邏輯表包括所有所述節(jié)點的數(shù)據(jù)以及所述節(jié)點的數(shù)據(jù)的索引值。
[0022]相應地，本發(fā)明實施例還提供了一種網(wǎng)關設備，包括:
[0023]確定單元，用于當接收到客戶端發(fā)送的數(shù)據(jù)聚合操作請求時，根據(jù)所述請求確定至少兩個個待處理節(jié)點，其中，所述待處理節(jié)點為需進行數(shù)據(jù)聚合的節(jié)點；
[0024]生成傳輸單元，用于根據(jù)所述數(shù)據(jù)聚合操作請求生成聚合操作指令，并向所有所述待處理節(jié)點發(fā)送所述數(shù)據(jù)聚合操作指令，其中，所述數(shù)據(jù)聚合操作指令指示所述待處理節(jié)點獲取所述聚合操作請求所請求的待聚合數(shù)據(jù)，并對所述待聚合數(shù)據(jù)進行聚合獲得聚合結果的指令；
[0025]處理傳輸單元，用于接收所有所述待處理節(jié)點返回的聚合結果，對所有所述聚合結果進行聚合處理獲得聚合數(shù)據(jù)，并將所述聚合數(shù)據(jù)返回給所述客戶端。
[0026]其中所述數(shù)據(jù)聚合操作請求攜帶聚合函數(shù)；
[0027]所述生成傳輸單元具體用于:
[0028]根據(jù)所述數(shù)據(jù)聚合操作請求生成攜帶所述聚合函數(shù)的聚合操作指令。
[0029]其中，所述方法還包括:
[0030]判斷單元，用于當接收到與網(wǎng)關設備連接的節(jié)點發(fā)送的數(shù)據(jù)包時，判斷是否需對所述數(shù)據(jù)包進行操作處理；
[0031]傳輸單元，用于當確定不需對所述數(shù)據(jù)包進行操作處理時，將所述數(shù)據(jù)包進行傳輸處理。
[0032]其中，所述判斷單元具體用于:
[0033]當接收到任意一個所述待處理節(jié)點返回的所述聚合結果時，判斷是否需對所述聚合結果進行操作處理；、
[0034]所述傳輸單元具體用于:
[0035]當確定不需對所述聚合結果進行操作處理時，將所述聚合結果返回給所述客戶端。
[0036]其中，當設備包括:
[0037]建立與網(wǎng)關設備連接的節(jié)點的數(shù)據(jù)映射的邏輯表，所述邏輯表包括所述節(jié)點的數(shù)據(jù)以及所述節(jié)點的數(shù)據(jù)的索引值。
[0038]實施本發(fā)明實施例，具有如下有益效果:
[0039]在本發(fā)明實施例中，當網(wǎng)關設備接收到客戶端發(fā)送的數(shù)據(jù)聚合操作請求時，網(wǎng)關設備可根據(jù)數(shù)據(jù)聚合操作請求生成聚合操作指令，并向所有所述待處理節(jié)點發(fā)送所述數(shù)據(jù)聚合操作指令，其中，所述數(shù)據(jù)聚合操作指令指示所述待處理節(jié)點獲取所述聚合操作請求所請求的待聚合數(shù)據(jù)，并對所述待聚合數(shù)據(jù)進行聚合獲得聚合結果的指令；當接收到所有所述待處理節(jié)點返回的聚合結果時，可對所有聚合結果進行聚合處理，獲得聚合數(shù)據(jù)，并將所述聚合數(shù)據(jù)返回給所述客戶端，這使得網(wǎng)關設備可讓每個節(jié)點對其存儲的待聚合數(shù)據(jù)進行聚合，并將聚合結果返回給網(wǎng)關設備，網(wǎng)關設備再對各個節(jié)點返回的聚合結果進行最后的聚合，從而避免大量數(shù)據(jù)進行傳輸，有效節(jié)省資源，并提高傳輸效率。
【附圖說明】
[0040]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0041]圖1是本發(fā)明一種分布式節(jié)點的數(shù)據(jù)處理方法的第一實施例流程示意圖；
[0042]圖2是本發(fā)明一種分布式節(jié)點的數(shù)據(jù)處理方法的第二實施例流程示意圖；
[0043]圖3是本發(fā)明一種網(wǎng)關設備的第一實施結構圖；
[0044]圖4是本發(fā)明一種網(wǎng)關設備的第二實施結構圖；
【具體實施方式】
[0045]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0046]請參見圖1，為本發(fā)明一種分布式節(jié)點的數(shù)據(jù)