一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，特別是指一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法和裝置。
【背景技術(shù)】
[0002]目前，企業(yè)級數(shù)據(jù)倉庫一般采用數(shù)據(jù)庫系統(tǒng)作為底層基礎(chǔ)架構(gòu)。在大數(shù)據(jù)背景下，很多企業(yè)開始嘗試使用Hadoop (分布式計算)之類的新一代數(shù)據(jù)倉庫技術(shù)進(jìn)行構(gòu)建。作為數(shù)據(jù)庫和數(shù)據(jù)倉庫領(lǐng)域的通用標(biāo)準(zhǔn)語言SQL (結(jié)構(gòu)化查詢語言)，也順勢被移植到了 Hadoop上面。最典型也是當(dāng)前最廣泛應(yīng)用的是Apache (世界使用排名第一的Web服務(wù)器軟件)社區(qū)的Hive (數(shù)據(jù)倉庫工具)工具，能夠使用類似SQL的語言Hive QL對Hadoop里存儲的大量數(shù)據(jù)進(jìn)行查詢。
[0003]在實際應(yīng)用過程中，客戶需要對大量數(shù)據(jù)進(jìn)行匯集和轉(zhuǎn)移，而原始數(shù)據(jù)往往位于Oracle (甲骨文公司)這樣的傳統(tǒng)數(shù)據(jù)庫中。一般來講，客戶和項目實施方會根據(jù)數(shù)據(jù)的邏輯定義去確定數(shù)據(jù)轉(zhuǎn)移到Hadoop平臺中的存儲格式，然后花大量時間進(jìn)行數(shù)據(jù)ETL(數(shù)據(jù)從來源端經(jīng)過萃取、轉(zhuǎn)置、加載至目的端的過程)工作。對于TB (萬億字節(jié))級別數(shù)據(jù)，針對國內(nèi)普遍數(shù)據(jù)中心還處于千兆網(wǎng)的環(huán)境前提下，輕則1-2天，重則需要更長的時間甚至數(shù)周，而數(shù)據(jù)在搬運后還需要各種清洗加工，這對于希望能快速建模，探索大數(shù)據(jù)價值的公司來說，無疑是極大的時間成本。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題是，提供一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法和裝置，能夠?qū)崿F(xiàn)統(tǒng)一對混合存儲介質(zhì)上的數(shù)據(jù)進(jìn)行查詢。
[0005]一方面，提供一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法，包括:
[0006]獲取待查詢數(shù)據(jù)表；
[0007]在地址數(shù)據(jù)庫中，獲取所述待查詢數(shù)據(jù)表對應(yīng)的至少一個地址信息，所述地址信息記錄有所述待查詢數(shù)據(jù)表所在的一存儲介質(zhì)以及所述待查詢數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0008]根據(jù)所述地址信息中的所述存儲介質(zhì)以及所述存儲地址，在所述存儲介質(zhì)的所述存儲地址處，查找所述待查詢數(shù)據(jù)表。
[0009]當(dāng)所述存儲介質(zhì)為關(guān)系數(shù)據(jù)庫時，所述地址信息包括:數(shù)據(jù)庫地址和數(shù)據(jù)庫名稱；
[0010]當(dāng)所述存儲介質(zhì)為HDFS時，所述地址信息包括:節(jié)點地址和文件路徑。
[0011 ] 所述地址信息還包括:端口。
[0012]所述的方法，還包括:
[0013]根據(jù)所述端口，從所述存儲介質(zhì)的所述存儲地址處，讀取查找的所述待查詢數(shù)據(jù)表。
[0014]所述獲取待查詢數(shù)據(jù)表的步驟之前，所述方法還包括:
[0015]獲取各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0016]根據(jù)所述各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址，形成各數(shù)據(jù)表的地址信息；
[0017]建立各數(shù)據(jù)表與所述各數(shù)據(jù)表的地址信息之間的對應(yīng)關(guān)系。
[0018]另一方面，提供一種混合存儲介質(zhì)的數(shù)據(jù)查詢裝置，包括:
[0019]第一獲取模塊，獲取待查詢數(shù)據(jù)表；
[0020]第二獲取模塊，在地址數(shù)據(jù)庫中，獲取所述待查詢數(shù)據(jù)表對應(yīng)的至少一個地址信息，所述地址信息記錄有所述待查詢數(shù)據(jù)表所在的一存儲介質(zhì)以及所述待查詢數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0021]查找模塊，根據(jù)所述地址信息中的所述存儲介質(zhì)以及所述存儲地址，在所述存儲介質(zhì)的所述存儲地址處，查找所述待查詢數(shù)據(jù)表。
[0022]當(dāng)所述存儲介質(zhì)為關(guān)系數(shù)據(jù)庫時，所述地址信息包括:數(shù)據(jù)庫地址和數(shù)據(jù)庫名稱；
[0023]當(dāng)所述存儲介質(zhì)為HDFS時，所述地址信息包括:節(jié)點地址和文件路徑。
[0024]所述地址信息還包括:端口。
[0025]所述的裝置，還包括:
[0026]讀取模塊，根據(jù)所述端口，從所述存儲介質(zhì)的所述存儲地址處，讀取查找的所述待查詢數(shù)據(jù)表。
[0027]所述的裝置，還包括:
[0028]第三獲取模塊，獲取各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0029]形成模塊，根據(jù)所述各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址，形成各數(shù)據(jù)表的地址信息；
[0030]建立模塊，建立各數(shù)據(jù)表與所述各數(shù)據(jù)表的地址信息之間的對應(yīng)關(guān)系。
[0031]本發(fā)明的上述技術(shù)方案的有益效果如下:
[0032]本發(fā)明通過對地址信息的建立，所述地址信息記錄有所述待查詢數(shù)據(jù)表所在的一存儲介質(zhì)以及所述待查詢數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址，能夠?qū)崿F(xiàn)統(tǒng)一對混合存儲介質(zhì)上的數(shù)據(jù)進(jìn)行查詢。
【附圖說明】
[0033]圖1為本發(fā)明所述的一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法的流程示意圖；
[0034]圖2為本發(fā)明所述的一種混合存儲介質(zhì)的數(shù)據(jù)查詢裝置的連接示意圖。
【具體實施方式】
[0035]為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具體實施例進(jìn)行詳細(xì)描述。
[0036]如圖1所示，為本發(fā)明所述的一種混合存儲介質(zhì)的數(shù)據(jù)查詢方法，包括:
[0037]步驟10A，獲取各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0038]步驟10B，根據(jù)所述各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址，形成各數(shù)據(jù)表的地址信息；
[0039]步驟10C，建立各數(shù)據(jù)表與所述各數(shù)據(jù)表的地址信息之間的對應(yīng)關(guān)系。
[0040]其中上述步驟為準(zhǔn)備步驟，為后續(xù)處理作準(zhǔn)備。本發(fā)明構(gòu)建了混合存儲介質(zhì)的存儲記錄方式，定義了不同的存儲類型，然后記錄了數(shù)據(jù)在不同存儲類型上的分布。具體來說，以二維表為最小管理單位，元數(shù)據(jù)會記錄每個表分布的存儲介質(zhì)，以及在該存儲介質(zhì)具體的存儲地址。舉例來講，一個數(shù)據(jù)表，可能會分布在關(guān)系數(shù)據(jù)庫中，那么地址信息會記錄表名、數(shù)據(jù)庫地址、數(shù)據(jù)庫名稱這樣的三元組；如果分布在HDFS中，那么地址信息會記錄表名、HDFS —任意節(jié)點的地址、HDFS的URL這樣的三元組；更進(jìn)一步的，這個表也可以同時存在HDFS和傳統(tǒng)數(shù)據(jù)庫里。因此每個數(shù)據(jù)表會對應(yīng)一個存儲列表，里面有一系列的存儲節(jié)點，而這些不同類型的存儲節(jié)點都有定義好的一致的地址、表示方式和讀寫接口。
[0041 ] 步驟11，獲取待查詢數(shù)據(jù)表；
[0042]步驟12，在地址數(shù)據(jù)庫中，獲取所述待查詢數(shù)據(jù)表對應(yīng)的至少一個地址信息，所述地址信息記錄有所述待查詢數(shù)據(jù)表所在的一存儲介質(zhì)以及所述待查詢數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；當(dāng)所述存儲介質(zhì)為關(guān)系數(shù)據(jù)庫時，所述地址信息包括:數(shù)據(jù)庫地址和數(shù)據(jù)庫名稱；當(dāng)所述存儲介質(zhì)為HDFS時，所述地址信息包括:節(jié)點地址和文件路徑。
[0043]步驟13，根據(jù)所述地址信息中的所述存儲介質(zhì)以及所述存儲地址，在所述存儲介質(zhì)的所述存儲地址處，查找所述待查詢數(shù)據(jù)表。
[0044]可選的，所述地址信息還包括:端口，便于后續(xù)對數(shù)據(jù)庫的讀取。端口也就是數(shù)據(jù)庫的讀取接口。
[0045]相應(yīng)的，所述的方法，還包括:
[0046]步驟14，根據(jù)所述端口，從所述存儲介質(zhì)的所述存儲地址處，讀取查找的所述待查詢數(shù)據(jù)表。
[0047]如圖2所示，為本發(fā)明所述的一種混合存儲介質(zhì)的數(shù)據(jù)查詢裝置，包括:
[0048]第一獲取模塊21，獲取待查詢數(shù)據(jù)表；
[0049]第二獲取模塊22，在地址數(shù)據(jù)庫中，獲取所述待查詢數(shù)據(jù)表對應(yīng)的至少一個地址信息，所述地址信息記錄有所述待查詢數(shù)據(jù)表所在的一存儲介質(zhì)以及所述待查詢數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；當(dāng)所述存儲介質(zhì)為關(guān)系數(shù)據(jù)庫時，所述地址信息包括:數(shù)據(jù)庫地址和數(shù)據(jù)庫名稱；當(dāng)所述存儲介質(zhì)為HDFS時，所述地址信息包括:節(jié)點地址和文件路徑。所述地址信息還包括:端口。
[0050]查找模塊23，根據(jù)所述地址信息中的所述存儲介質(zhì)以及所述存儲地址，在所述存儲介質(zhì)的所述存儲地址處，查找所述待查詢數(shù)據(jù)表。
[0051]所述的裝置，其特征在于，還包括:
[0052]讀取模塊24，根據(jù)所述端口，從所述存儲介質(zhì)的所述存儲地址處，讀取查找的所述待查詢數(shù)據(jù)表。
[0053]所述的裝置，還包括:
[0054]第三獲取模塊25，獲取各數(shù)據(jù)表所在的存儲介質(zhì)以及各數(shù)據(jù)表在所述存儲介質(zhì)中的存儲地址；
[0055]形成模塊26，根據(jù)