數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，包括步驟：S1、獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè)源數(shù)據(jù)表中包括M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的整數(shù)；S2、將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí)表以及M個(gè)維度表；S3、將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè)單一維度的維度表；S4、基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng)絡(luò)，從而使數(shù)據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。本發(fā)明還公開了一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建系統(tǒng)。
【專利說明】數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在事務(wù)處理系統(tǒng)中的數(shù)據(jù)，主要用于記錄和查詢業(yè)務(wù)情況。隨著數(shù)據(jù)倉庫（DW)技 術(shù)的不斷成熟，企業(yè)的數(shù)據(jù)逐漸變成了決策的主要依據(jù)。數(shù)據(jù)倉庫中的數(shù)據(jù)是從許多業(yè)務(wù) 處理系統(tǒng)中抽取、轉(zhuǎn)換而來，對于這樣一個(gè)復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境，如何以安全、高效的方式 來對它們進(jìn)行管理和訪問就變得尤為重要。解決這一問題的關(guān)鍵是數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化 構(gòu)建。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，能有效數(shù)據(jù)倉庫的數(shù) 據(jù)進(jìn)行標(biāo)準(zhǔn)化構(gòu)建，從而利于對標(biāo)準(zhǔn)化構(gòu)建后的數(shù)據(jù)庫的搜索，提高數(shù)據(jù)訪問的效率。
[0004] 本發(fā)明實(shí)施例提供了一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，包括步驟： 51、 獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè)源數(shù)據(jù)表中包括 M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的整數(shù)； 52、 將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí)表以及M個(gè)維度 表；其中將對應(yīng)的N條度量數(shù)據(jù)存儲(chǔ)在所述事實(shí)表中，并將所述事實(shí)表與M個(gè)維度表的對應(yīng) 關(guān)聯(lián)關(guān)系記錄在所述事實(shí)表中；將對應(yīng)的M條維度數(shù)據(jù)存儲(chǔ)在對應(yīng)的M個(gè)維度表中，并生成 一個(gè)維度的維度ID ; 53、 將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè)單一維度的維度 表；其中，存在笛卡爾乘積的每一所述維度表包括m個(gè)維度，則對應(yīng)拆分為m個(gè)單一維度表， 每一個(gè)單一維度表對應(yīng)存儲(chǔ)一個(gè)維度數(shù)據(jù)，并同時(shí)將所述事實(shí)表中與存在笛卡爾乘積的所 述維度表關(guān)聯(lián)的維度ID對應(yīng)拆分m個(gè)單一維度ID，以對應(yīng)m個(gè)單一維度表； 54、 基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng)絡(luò)，從而使數(shù)據(jù)標(biāo) 準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。
[0005] 作為上述方案的改進(jìn)，在所述步驟S2和/或S3中，拆分后的所述M個(gè)維度表分別 包括維度ID以及與該維度表相對應(yīng)的一組特征字段； 拆分后的所述事實(shí)表包括M個(gè)分別指向所述M個(gè)維度表中的維度ID的維度ID以及N 條度量字段。
[0006] 作為上述方案的改進(jìn)，在所述步驟S2和/或S3中，多個(gè)所述源數(shù)據(jù)表對應(yīng)拆分出 來的多個(gè)維度表中，屬于相同維度的兩個(gè)以上的維度表可合并成一個(gè)維度表；在合并后的 所述維度表中，可根據(jù)維度ID來依次排列合并前的每個(gè)維度表的記錄信息。
[0007] 本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建系統(tǒng)，包括： 源數(shù)據(jù)表獲取單元，獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè) 源數(shù)據(jù)表中包括M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的 整數(shù)； 源數(shù)據(jù)表拆分單元，將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí) 表以及M個(gè)維度表；其中將對應(yīng)的N條度量數(shù)據(jù)存儲(chǔ)在所述事實(shí)表中，并將所述事實(shí)表與M 個(gè)維度表的對應(yīng)關(guān)聯(lián)關(guān)系記錄在所述事實(shí)表中；將對應(yīng)的M條維度數(shù)據(jù)存儲(chǔ)在對應(yīng)的M個(gè) 維度表中，并生成一個(gè)維度的維度ID ; 多維度表拆分單兀，將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè) 單一維度的維度表；其中，存在笛卡爾乘積的每一所述維度表包括m個(gè)維度，則對應(yīng)拆分為 m個(gè)單一維度表，每一個(gè)單一維度表對應(yīng)存儲(chǔ)一個(gè)維度數(shù)據(jù)，并同時(shí)將所述事實(shí)表與存在笛 卡爾乘積的所述維度表關(guān)聯(lián)的維度ID對應(yīng)拆分m個(gè)單一維度ID，以對應(yīng)m個(gè)單一維度表； 以及 星形模型構(gòu)建單元，基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng) 絡(luò)，從而使數(shù)據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。
[0008] 作為上述方案的改進(jìn)，在所述源數(shù)據(jù)表拆分單元和/或多維度表拆分單元中，拆 分后的所述M個(gè)維度表分別包括維度ID以及與該維度表相對應(yīng)的一組特征字段； 拆分后的所述事實(shí)表包括M個(gè)分別指向所述M個(gè)維度表中的維度ID的維度ID以及N 條度量字段。
[0009] 作為上述方案的改進(jìn)，在所述源數(shù)據(jù)表拆分單元和/或多維度表拆分單元中，多 個(gè)所述源數(shù)據(jù)表對應(yīng)拆分出來的多個(gè)維度表中，屬于相同維度的兩個(gè)以上的維度表可合并 成一個(gè)維度表；在合并后的所述維度表中，可根據(jù)維度ID來依次排列合并前的每個(gè)維度表 的記錄信息。
[0010] 與現(xiàn)有技術(shù)相比，本發(fā)明公開的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法及系統(tǒng)通過將數(shù) 據(jù)倉庫中的每一源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí)表以及M個(gè)維度表， 并將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè)單一維度的維度表，以 及基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng)絡(luò)，從而使數(shù)據(jù)標(biāo)準(zhǔn)化后 的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫，能有效數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化構(gòu)建，從 而利于對標(biāo)準(zhǔn)化構(gòu)建后的數(shù)據(jù)庫的搜索，提高數(shù)據(jù)訪問的效率。

【專利附圖】

【附圖說明】
[0011] 圖1是本發(fā)明實(shí)施例中一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法的流程示意圖。
[0012] 圖2是利用本發(fā)明的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法將生成的事實(shí)表和維度表 構(gòu)成雪花形模型的一個(gè)實(shí)例圖。
[0013] 圖3是利用本發(fā)明的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法將生成的事實(shí)表和維度表 構(gòu)成星形模型的一個(gè)實(shí)例圖。
[0014] 圖4是本發(fā)明實(shí)施例中一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建系統(tǒng)的結(jié)構(gòu)框圖。

【具體實(shí)施方式】
[0015] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0016] 參見圖1，是本發(fā)明實(shí)施例提供的一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法的流程示 意圖。該數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法包括步驟： 5101、 獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè)源數(shù)據(jù)表中包 括M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的整數(shù)； 5102、 將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí)表以及M個(gè)維 度表；其中將對應(yīng)的N條度量數(shù)據(jù)存儲(chǔ)在所述事實(shí)表中，并將所述事實(shí)表與M個(gè)維度表的對 應(yīng)關(guān)聯(lián)關(guān)系記錄在所述事實(shí)表中；將對應(yīng)的M條維度數(shù)據(jù)存儲(chǔ)在對應(yīng)的M個(gè)維度表中，并生 成一個(gè)維度的維度ID ; 5103、 將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè)單一維度的維 度表；其中，存在笛卡爾乘積的每一所述維度表包括m個(gè)維度，則對應(yīng)拆分為m個(gè)單一維度 表，每一個(gè)單一維度表對應(yīng)存儲(chǔ)一個(gè)維度數(shù)據(jù)，并同時(shí)將所述事實(shí)表中與存在笛卡爾乘積 的所述維度表關(guān)聯(lián)的維度ID對應(yīng)拆分m個(gè)單一維度ID，以對應(yīng)m個(gè)單一維度表； 5104、 基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng)絡(luò)，從而使數(shù)據(jù) 標(biāo)準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。
[0017] 其中，在所述步驟SlOl中，首先是將已有的數(shù)據(jù)倉庫的每一數(shù)據(jù)表提取出來，其 中，假設(shè)每一個(gè)源數(shù)據(jù)表中包括M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為 大于等于〇的整數(shù)。
[0018] 然后，在所述步驟S102中，將獲取到的每一源數(shù)據(jù)表標(biāo)準(zhǔn)化拆分為事實(shí)表和維度 表的模式，且拆分后的所述M個(gè)維度表分別包括維度ID以及與該維度表相對應(yīng)的一組特征 字段；拆分后的所述事實(shí)表包括M個(gè)分別指向所述M個(gè)維度表中的維度ID的維度ID以及 N條度量字段。
[0019] 具體過程為：已有數(shù)據(jù)倉庫有源數(shù)據(jù)表D包含A1、A2、…An、Bl、B2、…Bm,其 中Al-An為枚舉型的文本值或數(shù)據(jù)值，Bl-Bm為數(shù)據(jù)值型的度量值，則將源數(shù)據(jù)表D拆分為 一個(gè)事實(shí)表Fmn和n個(gè)維度表（DAl-DAn)組成，事實(shí)表Fmn的構(gòu)成是A1ID、A2ID、…AnID、 B1、B2、…Bm，其中A1ID、A2ID、…AnID分別和n個(gè)維度表進(jìn)行關(guān)聯(lián)，每個(gè)維度表的構(gòu) 成是AnID、AnName。，所謂AnID是指維度An的ID，即唯一的數(shù)字標(biāo)示；AnName是指維度An 的名稱Name，即特征字段，如：有客戶維度，存在兩個(gè)維度值，則有客戶ID {100,101}，對應(yīng) 的客戶名稱{ '客戶1'，'客戶2' }。
[0020] 下面，通過實(shí)例來說明如何將每一源數(shù)據(jù)表標(biāo)準(zhǔn)化拆分為事實(shí)表和維度表的模 式： 不例一：標(biāo)準(zhǔn)化為事實(shí)表+維度表的模式 有電量信息統(tǒng)計(jì)表-DLXXTJB，如下： 源數(shù)據(jù)表1

【權(quán)利要求】
1. 一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，其特征在于，包括步驟： 51、 獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè)源數(shù)據(jù)表中包括 M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的整數(shù)； 52、 將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí)表以及M個(gè)維度 表；其中將對應(yīng)的N條度量數(shù)據(jù)存儲(chǔ)在所述事實(shí)表中，并將所述事實(shí)表與M個(gè)維度表的對應(yīng) 關(guān)聯(lián)關(guān)系記錄在所述事實(shí)表中；將對應(yīng)的M條維度數(shù)據(jù)存儲(chǔ)在對應(yīng)的M個(gè)維度表中，并生成 一個(gè)維度的維度ID ; 53、 將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè)單一維度的維度 表；其中，存在笛卡爾乘積的每一所述維度表包括m個(gè)維度，則對應(yīng)拆分為m個(gè)單一維度表， 每一個(gè)單一維度表對應(yīng)存儲(chǔ)一個(gè)維度數(shù)據(jù)，并同時(shí)將所述事實(shí)表中與存在笛卡爾乘積的所 述維度表關(guān)聯(lián)的維度ID對應(yīng)拆分m個(gè)單一維度ID，以對應(yīng)m個(gè)單一維度表； 54、 基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng)絡(luò)，從而使數(shù)據(jù)標(biāo) 準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。
2. 如權(quán)利要求1所述的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，其特征在于： 在所述步驟S2和S3中，拆分后的所述M個(gè)維度表分別包括維度ID以及與該維度表相 對應(yīng)的一組特征字段； 拆分后的所述事實(shí)表包括M個(gè)分別指向所述M個(gè)維度表中的維度ID的維度ID以及N 條度量字段。
3. 如權(quán)利要求1所述的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，其特征在于，在所述步驟S2 和S3中，多個(gè)所述源數(shù)據(jù)表對應(yīng)拆分出來的多個(gè)維度表中，屬于相同維度的兩個(gè)以上的維 度表可合并成一個(gè)維度表；在合并后的所述維度表中，可根據(jù)維度ID來依次排列合并前的 每個(gè)維度表的記錄信息。
4. 一種數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建系統(tǒng)，其特征在于，包括： 源數(shù)據(jù)表獲取單元，獲取用于標(biāo)準(zhǔn)化構(gòu)建的數(shù)據(jù)倉庫的每一個(gè)源數(shù)據(jù)表；其中，每一個(gè) 源數(shù)據(jù)表中包括M條關(guān)于維度的記錄以及N條關(guān)于度量的記錄，所述M、N為大于等于0的 整數(shù)； 源數(shù)據(jù)表拆分單元，將每一所述源數(shù)據(jù)表對應(yīng)拆分為一個(gè)以所述N個(gè)度量為主的事實(shí) 表以及M個(gè)維度表；其中將對應(yīng)的N條度量數(shù)據(jù)存儲(chǔ)在所述事實(shí)表中，并將所述事實(shí)表與M 個(gè)維度表的對應(yīng)關(guān)聯(lián)關(guān)系記錄在所述事實(shí)表中；將對應(yīng)的M條維度數(shù)據(jù)存儲(chǔ)在對應(yīng)的M個(gè) 維度表中，并生成一個(gè)維度的維度ID ; 多維度表拆分單兀，將拆分后的且存在笛卡爾乘積的每一所述維度表拆分為對應(yīng)多個(gè) 單一維度的維度表；其中，存在笛卡爾乘積的每一所述維度表包括m個(gè)維度，則對應(yīng)拆分為 m個(gè)單一維度表，每一個(gè)單一維度表對應(yīng)存儲(chǔ)一個(gè)維度數(shù)據(jù)，并同時(shí)將所述事實(shí)表與存在笛 卡爾乘積的所述維度表關(guān)聯(lián)的維度ID對應(yīng)拆分m個(gè)單一維度ID，以對應(yīng)m個(gè)單一維度表； 以及 星形模型構(gòu)建單元，基于生成的所述事實(shí)表和維度表的關(guān)聯(lián)關(guān)系而構(gòu)成星形連接網(wǎng) 絡(luò)，從而使數(shù)據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)倉庫為具有星形結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫。
5. 如權(quán)利要求4所述的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建系統(tǒng)，其特征在于： 在所述源數(shù)據(jù)表拆分單元和/或多維度表拆分單元中，拆分后的所述M個(gè)維度表分別 包括維度ID以及與該維度表相對應(yīng)的一組特征字段； 拆分后的所述事實(shí)表包括M個(gè)分別指向所述M個(gè)維度表中的維度ID的維度ID以及N 條度量字段。
6.如權(quán)利要求1所述的數(shù)據(jù)倉庫的數(shù)據(jù)標(biāo)準(zhǔn)化構(gòu)建方法，其特征在于，在所述源數(shù)據(jù) 表拆分單元和/或多維度表拆分單元中，多個(gè)所述源數(shù)據(jù)表對應(yīng)拆分出來的多個(gè)維度表 中，屬于相同維度的兩個(gè)以上的維度表可合并成一個(gè)維度表；在合并后的所述維度表中，可 根據(jù)維度ID來依次排列合并前的每個(gè)維度表的記錄信息。
【文檔編號(hào)】G06F17/30GK104391948SQ201410707013
【公開日】2015年3月4日 申請日期:2014年12月1日 優(yōu)先權(quán)日:2014年12月1日
【發(fā)明者】鐘世冠, 蘇超, 覃杰聰, 阮國恒, 陳少敏, 潘世成, 李文航, 肖遜 申請人:廣東電網(wǎng)有限責(zé)任公司清遠(yuǎn)供電局