一種海量數(shù)據(jù)的多維分析方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，特別是指一種海量數(shù)據(jù)的多維分析方法及裝置。
【背景技術(shù)】
[0002]在線實時多維數(shù)據(jù)分析OLAP是數(shù)據(jù)倉庫系統(tǒng)的一種應(yīng)用，它針對特定的分析主題，設(shè)計多種可能的觀察方式，設(shè)計相應(yīng)的分析主題結(jié)構(gòu)(即進行事實表和維度表設(shè)計)，使用戶在多維模型的基礎(chǔ)上進行快速、穩(wěn)定、交互式的訪問，以達到復(fù)雜分析和數(shù)據(jù)預(yù)測的作用。
[0003]現(xiàn)階段很多廠商的OLAP支持的數(shù)據(jù)源規(guī)模有限，支持的事實表數(shù)據(jù)量規(guī)模在TB (Terabyte萬億字節(jié))級別規(guī)模下,不能對Hadoop ( 一種分布式系統(tǒng)架構(gòu))平臺上存儲的海量數(shù)據(jù)進行實時、高效地多維分析，為用戶帶來一定的不便。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種海量數(shù)據(jù)的多維分析方法及裝置，用以解決現(xiàn)有的OLAP對Hadoop平臺上存儲的海量數(shù)據(jù)不能實時、高效地進行多維分析的的問題。
[0005]為了實現(xiàn)上述目的，本發(fā)明提供了一種海量數(shù)據(jù)的多維分析方法，包括:
[0006]對用戶發(fā)起的多維分析查詢請求進行解析處理，得到一解析結(jié)果，所述解析結(jié)果包括:所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句SQL ；
[0007]獲取與所述立方體多維模型信息匹配的數(shù)據(jù)源，并與所述數(shù)據(jù)源建立連接關(guān)系，其中，所述數(shù)據(jù)源包括:海量數(shù)據(jù)源Hadoop平臺和/或關(guān)系數(shù)據(jù)庫；
[0008]根據(jù)所述連接關(guān)系以及所述結(jié)構(gòu)化查詢語句SQL，從所述海量數(shù)據(jù)源Hadoop平臺或者所述關(guān)系數(shù)據(jù)庫獲取數(shù)據(jù)查詢結(jié)果；
[0009]根據(jù)所述立方體多維模型信息，將所述數(shù)據(jù)查詢結(jié)果轉(zhuǎn)換成多維數(shù)據(jù)結(jié)果并返回給用戶。
[0010]其中，上述的海量數(shù)據(jù)的多維分析方法，所述對用戶發(fā)起的多維分析查詢請求進行解析處理，得到一解析結(jié)果的步驟包括:
[0011]根據(jù)用戶發(fā)起的多維分析查詢請求，獲取相應(yīng)的多維數(shù)據(jù)模型；
[0012]對所述多維數(shù)據(jù)模型進行解析，得出所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句SQL，其中，所述立方體多維模型信息包括:立方體名稱。
[0013]其中，所述獲取與所述立方體多維模型信息匹配的數(shù)據(jù)源，并與所述數(shù)據(jù)源建立連接關(guān)系的步驟包括:
[0014]根據(jù)數(shù)據(jù)源模型中立方體名稱與數(shù)據(jù)源名稱的關(guān)聯(lián)關(guān)系，獲取與所述立方體名稱匹配的數(shù)據(jù)源模型；
[0015]獲取與所述數(shù)據(jù)源模型中的數(shù)據(jù)源名稱匹配的數(shù)據(jù)源；
[0016]與所述數(shù)據(jù)源建立連接關(guān)系。
[0017]其中，所述與所述數(shù)據(jù)源建立連接關(guān)系的步驟具體為:
[0018]若與所述立方體多維模型信息匹配的數(shù)據(jù)源為海量數(shù)據(jù)源Hadoop平臺，則與所述海量數(shù)據(jù)源Hadoop平臺建立連接關(guān)系；
[0019]若與所述立方體多維模型信息匹配的數(shù)據(jù)源為關(guān)系數(shù)據(jù)庫，則與所述關(guān)系數(shù)據(jù)庫建立連接關(guān)系。
[0020]其中，所述根據(jù)所述連接關(guān)系以及所述結(jié)構(gòu)化查詢語句SQL，從所述海量數(shù)據(jù)源Hadoop平臺或者所述關(guān)系數(shù)據(jù)庫獲取數(shù)據(jù)查詢結(jié)果的步驟包括:
[0021]若與所述海量數(shù)據(jù)源Hadoop平臺建立連接關(guān)系，則向所述海量數(shù)據(jù)源Hadoop平臺發(fā)送所述結(jié)構(gòu)化查詢語句SQL ；
[0022]獲取所述海量數(shù)據(jù)源Hadoop平臺根據(jù)所述結(jié)構(gòu)化查詢語句SQL返回的數(shù)據(jù)查詢結(jié)果;
[0023]若與所述關(guān)系數(shù)據(jù)庫建立連接關(guān)系，則向所述關(guān)系數(shù)據(jù)庫發(fā)送所述結(jié)構(gòu)化查詢語句 SQL ；
[0024]獲取所述關(guān)系數(shù)據(jù)庫根據(jù)所述結(jié)構(gòu)化查詢語句SQL返回的數(shù)據(jù)查詢結(jié)果。
[0025]本發(fā)明的實施例還提供了一種海量數(shù)據(jù)的多維分析裝置，包括:
[0026]解析模塊，用于對用戶發(fā)起的多維分析查詢請求進行解析處理，得到一解析結(jié)果，所述解析結(jié)果包括:所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句 SQL ；
[0027]第一獲取模塊，用于獲取與所述立方體多維模型信息匹配的數(shù)據(jù)源，并與所述數(shù)據(jù)源建立連接關(guān)系，其中，所述數(shù)據(jù)源包括:海量數(shù)據(jù)源Hadoop平臺和/或關(guān)系數(shù)據(jù)庫；
[0028]第二獲取模塊，用于根據(jù)所述連接關(guān)系以及所述結(jié)構(gòu)化查詢語句SQL，從所述海量數(shù)據(jù)源Hadoop平臺或者所述關(guān)系數(shù)據(jù)庫獲取數(shù)據(jù)查詢結(jié)果；
[0029]處理模塊，用于根據(jù)所述立方體多維模型信息，將所述數(shù)據(jù)查詢結(jié)果轉(zhuǎn)換成多維數(shù)據(jù)結(jié)果并返回給用戶。
[0030]其中，上述海量數(shù)據(jù)的多維分析裝置，所述解析模塊包括:
[0031]第一獲取單元，用于根據(jù)用戶發(fā)起的多維分析查詢請求，獲取相應(yīng)的多維數(shù)據(jù)模型；
[0032]解析單元，用于對所述多維數(shù)據(jù)模型進行解析，得出所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句SQL，其中，所述立方體多維模型信息包括:立方體名稱。
[0033]其中，所述第一獲取模塊包括:
[0034]第二獲取單元，用于根據(jù)數(shù)據(jù)源模型中立方體名稱與數(shù)據(jù)源名稱的關(guān)聯(lián)關(guān)系，獲取與所述立方體名稱匹配的數(shù)據(jù)源模型；
[0035]第三獲取單元，用于獲取與所述數(shù)據(jù)源模型中的數(shù)據(jù)源名稱匹配的數(shù)據(jù)源；
[0036]連接單元，用于與所述數(shù)據(jù)源建立連接關(guān)系。
[0037]其中，所述連接單元具體用于若與所述立方體多維模型信息匹配的數(shù)據(jù)源為海量數(shù)據(jù)源Hadoop平臺，則與所述海量數(shù)據(jù)源Hadoop平臺建立連接關(guān)系；
[0038]若與所述立方體多維模型信息匹配的數(shù)據(jù)源為關(guān)系數(shù)據(jù)庫，則與所述關(guān)系數(shù)據(jù)庫建立連接關(guān)系。
[0039]其中，所述第二獲取模塊包括:
[0040]第一發(fā)送單元，用于若與所述海量數(shù)據(jù)源Hadoop平臺建立連接關(guān)系，則向所述海量數(shù)據(jù)源Hadoop平臺發(fā)送所述結(jié)構(gòu)化查詢語句SQL ；
[0041]第四獲取單元，用于獲取所述海量數(shù)據(jù)源Hadoop平臺根據(jù)所述結(jié)構(gòu)化查詢語句SQL返回的數(shù)據(jù)查詢結(jié)果；
[0042]第二發(fā)送單元，用于若與所述關(guān)系數(shù)據(jù)庫建立連接關(guān)系，則向所述關(guān)系數(shù)據(jù)庫發(fā)送所述結(jié)構(gòu)化查詢語句SQL ；
[0043]第五獲取單元，用于獲取所述關(guān)系數(shù)據(jù)庫根據(jù)所述結(jié)構(gòu)化查詢語句SQL返回的數(shù)據(jù)查詢結(jié)果。
[0044]本發(fā)明實施例具有以下有益效果:
[0045]本發(fā)明實施例的海量數(shù)據(jù)的多維分析方法，根據(jù)用戶發(fā)送的多維分析請求建立與海量數(shù)據(jù)源Hadoop或者關(guān)系數(shù)據(jù)庫的連接通道，并通過SQL查詢語句從海量數(shù)據(jù)源Hadoop或者關(guān)系數(shù)據(jù)庫實時獲取所要查詢的數(shù)據(jù)，實現(xiàn)了對Hadoop平臺上存儲的海量數(shù)據(jù)實時、高效地進行多維分析的目的。
【附圖說明】
[0046]圖1表示本發(fā)明實施例的工作流程圖；
[0047]圖2表示本發(fā)明實施例的組件圖；
[0048]圖3表TJK本發(fā)明實施例的表格顯TJK效果圖；
[0049]圖4表TJK本發(fā)明實施例的圖片顯TJK效果圖；
[0050]圖5表示本發(fā)明實施例的結(jié)構(gòu)框圖。
【具體實施方式】
[0051]為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合具體實施例及附圖進行詳細描述。
[0052]本發(fā)明實施例提供了一種海量數(shù)據(jù)的多維分析方法及裝置，解決了現(xiàn)有的OLAP對Hadoop平臺上存儲的海量數(shù)據(jù)不能實時、高效地進行多維分析的問題。
[0053]本發(fā)明實施例的海量數(shù)據(jù)的多維分析方法，如圖1所示，包括:
[0054]步驟SlO:對用戶發(fā)起的多維分析查詢請求進行解析處理，得到一解析結(jié)果，所述解析結(jié)果包括:所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句SQL ；
[0055]在本發(fā)明的具體實施例中，根據(jù)用戶發(fā)起的多維分析查詢請求，獲取相應(yīng)的多維數(shù)據(jù)模型；對所述多維數(shù)據(jù)模型進行解析，得出所述多維分析查詢請求對應(yīng)的立方體多維模型信息以及結(jié)構(gòu)化查詢語句SQL，其中，所述立方體多維模型信息包括:立方體名稱。
[0056]步驟S20:獲取與所述立方體多維模型信息匹配的數(shù)據(jù)源，并與所述數(shù)據(jù)源建立連接關(guān)系，其中，所述數(shù)據(jù)源包括:海量數(shù)據(jù)源Hadoop平臺和/或關(guān)系數(shù)據(jù)庫；