數(shù)據(jù)處理方法及設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及設(shè)備。
【背景技術(shù)】
[0002]數(shù)據(jù)庫如SQL (Structured Query Language,結(jié)構(gòu)化查詢語言)中的連接語句可以將該數(shù)據(jù)庫中的兩個或多個表組合起來。哈希連接(hash join)算法是大多數(shù)數(shù)據(jù)庫中很常用的連接算法，可以利用哈希表實現(xiàn)連接。
[0003]和歸并連接(merge join)算法和循環(huán)嵌套連接(nestloop join)算法這兩種常用的連接算法相比，哈希連接算法由于僅需對兩張表即構(gòu)建表和探測表各掃描一次而效率較高。然而，由于探測表中元組的哈希值隨機分布，相鄰數(shù)據(jù)例如元組的哈希值可能相差很大，這樣，當按順序?qū)μ綔y表中的每個數(shù)據(jù)在其對應(yīng)的構(gòu)建表上查找匹配時，相鄰數(shù)據(jù)在構(gòu)建表中對應(yīng)的哈希值很可能相差很多，相當于是對構(gòu)建表的隨機訪問，因此，哈希連接算法可能導(dǎo)致CPU cache (高速緩沖存儲器)命中率較低。
[0004]由于CPU cache容量較小，只緩存最近使用過的數(shù)據(jù)，因此，這種對構(gòu)建表的隨機訪問難以直接命中CPU cache緩存的數(shù)據(jù)。這樣，傳統(tǒng)的哈希連接算法無法利用到CPUcache的速度優(yōu)勢，只能頻繁的從內(nèi)存獲取數(shù)據(jù)。雖然內(nèi)存支持隨機訪問，但速度和從CPUcache直接獲取有數(shù)量級上的差異，導(dǎo)致查詢效率較低。

【發(fā)明內(nèi)容】

[0005]摶術(shù)問是頁
[0006]有鑒于此，本發(fā)明要解決的技術(shù)問題是如何提高哈希連接算法的查詢效率。
_7] 解決方案
[0008]為了解決上述技術(shù)問題，根據(jù)本發(fā)明一實施例，提供了一種數(shù)據(jù)處理方法，包括:
[0009]將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中，其中，所述探測表為欲進行哈希連接中的兩個表中數(shù)據(jù)較多的表；
[0010]利用哈希連接算法將所述探測表中的數(shù)據(jù)與構(gòu)建表中的數(shù)據(jù)進行連接，其中，所述構(gòu)建表為欲進行哈希連接中的兩個表中數(shù)據(jù)較少的表。
[0011]對于上述數(shù)據(jù)處理方法，在一種可能的實現(xiàn)方式中，所述將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中，包括:
[0012]在所述探測表中的數(shù)據(jù)存入數(shù)據(jù)庫時，對待存入所述探測表中的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中。
[0013]對于上述數(shù)據(jù)處理方法，在一種可能的實現(xiàn)方式中，所述將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中，包括:
[0014]在所述探測表首次進行哈希連接時，對所述探測表中的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中。
[0015]對于上述數(shù)據(jù)處理方法，在一種可能的實現(xiàn)方式中，所述將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中，包括:
[0016]將對應(yīng)于所述探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將哈希值相同的所述數(shù)據(jù)在所述探測表中相鄰存儲。
[0017]對于上述數(shù)據(jù)處理方法，在一種可能的實現(xiàn)方式中，所述利用哈希連接算法將所述探測表中的數(shù)據(jù)與構(gòu)建表中的數(shù)據(jù)進行連接，包括:
[0018]將所述探測表中的數(shù)據(jù)按存儲順序計算哈希值；
[0019]根據(jù)所計算出的哈希值，按照預(yù)定的規(guī)則在所述構(gòu)建表中查找匹配；
[0020]將所述探測表中的數(shù)據(jù)與所述構(gòu)建表中所查找匹配到的數(shù)據(jù)進行連接。
[0021]對于上述數(shù)據(jù)處理方法，在一種可能的實現(xiàn)方式中，在所述對探測表中的數(shù)據(jù)分別進行哈希計算，得到哈希值之后，還包括:
[0022]將所述得到的哈希值進行存儲；
[0023]所述利用哈希連接算法將所述探測表中的數(shù)據(jù)與構(gòu)建表中的數(shù)據(jù)進行連接，包括:
[0024]根據(jù)所存儲的哈希值，將所述探測表中的數(shù)據(jù)以存儲順序按照預(yù)定的規(guī)則在所述構(gòu)建表中查找匹配；
[0025]將所述探測表中的數(shù)據(jù)與所述構(gòu)建表中所查找匹配到的數(shù)據(jù)進行連接。
[0026]為了解決上述技術(shù)問題，根據(jù)本發(fā)明另一實施例，提供一種數(shù)據(jù)處理設(shè)備，包括:
[0027]重組模塊，用于將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中，其中，所述探測表為欲進行哈希連接中的兩個表中數(shù)據(jù)較多的表；
[0028]連接模塊，與所述重組模塊連接，用于利用哈希連接算法將所述探測表中的數(shù)據(jù)與構(gòu)建表中的數(shù)據(jù)進行連接，其中，所述構(gòu)建表為欲進行哈希連接中的兩個表中數(shù)據(jù)較少的表。
[0029]對于上述數(shù)據(jù)處理設(shè)備，在一種可能的實現(xiàn)方式中，所述重組模塊用于在所述探測表中的數(shù)據(jù)存入數(shù)據(jù)庫時，對待存入所述探測表中的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中。
[0030]對于上述數(shù)據(jù)處理設(shè)備，在一種可能的實現(xiàn)方式中，所述重組模塊用于在所述探測表首次進行哈希連接時，對所述探測表中的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將所述數(shù)據(jù)進行重組并存儲到所述探測表中。
[0031]對于上述數(shù)據(jù)處理設(shè)備，在一種可能的實現(xiàn)方式中，所述重組模塊用于:
[0032]將對應(yīng)于探測表的數(shù)據(jù)分別進行哈希計算，得到哈希值，根據(jù)所得到的哈希值，將哈希值相同的所述數(shù)據(jù)在所述探測表中相鄰存儲。
[0033]對于上述數(shù)據(jù)處理設(shè)備，在一種可能的實現(xiàn)方式中，所述連接模塊包括:
[0034]計算單元，用于將所述探測表中的數(shù)據(jù)按存儲順序計算哈希值；
[0035]查找單元，與所述計算單元連接，用于根據(jù)所述計算單元所計算出的哈希值，按照預(yù)定的規(guī)則在所述構(gòu)建表中查找匹配；
[0036]連接單元，與所述查找單元連接，用于將所述探測表中的數(shù)據(jù)與所述查找單元在所述構(gòu)建表中所查找匹配到的數(shù)據(jù)進行連接。
[0037]對于上述數(shù)據(jù)處理設(shè)備，在一種可能的實現(xiàn)方式中，所述重組模塊還用于將所述得到的哈希值進行存儲；
[0038]所述連接模塊用于根據(jù)所述重組模塊所存儲的哈希值，將所述探測表中的數(shù)據(jù)以存儲順序按照預(yù)定的規(guī)則在所述構(gòu)建表中查找匹配；以及用于將所述探測表中的數(shù)據(jù)與所述構(gòu)建表中所查找匹配到的數(shù)據(jù)進行連接。
[0039]有益.效果
[0040]通過本發(fā)明實施例提供的數(shù)據(jù)處理方法及設(shè)備，首先將探測表中的數(shù)據(jù)按照計算得到的哈希值進行重組，而不是隨機分布，從而使得在利用哈希連接算法進行查詢時，把探測表中數(shù)據(jù)以存儲順序按照預(yù)定的規(guī)則逐個在哈希表中查找匹配，將探測表中的數(shù)據(jù)與構(gòu)建表中所查找匹配到的數(shù)據(jù)進行連接。這樣，能夠讓哈希表中相同哈希值的區(qū)域連續(xù)訪問，提高了 CPU cache命中率，從而提高了查詢效率。
【附圖說明】
[0041]包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本發(fā)明的示例性實施例、特征和方面，并且用于解釋本發(fā)明的原理。
[0042]圖1示出根據(jù)本發(fā)明一實施例的數(shù)據(jù)處理方法的流程圖；
[0043]圖2示出根據(jù)本發(fā)明另一實施例的數(shù)據(jù)處理方法的流程圖；
[0044]圖3示出根據(jù)本發(fā)明一實施例的數(shù)據(jù)重組方法的應(yīng)用場景示意圖；
[0045]圖4示出根據(jù)本發(fā)明一實施例的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)框圖；
[0046]圖5示出根據(jù)本發(fā)明另一實施例的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)框圖；
[0047]圖6示出根據(jù)本發(fā)明又一實施例的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)框圖。
【具體實施方式】
[0048]以下將參考附圖詳細說明本發(fā)明的各種示例性實施例、特征和方面。附圖中相同的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。
[0049]在這里專用的詞“示例性”意為“用作例子、實施例