基于統(tǒng)一維度建模的電力信息系統(tǒng)數(shù)據(jù)管理系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)處理技術(shù)領(lǐng)域的數(shù)據(jù)建模方法,具體講涉及一種基于統(tǒng)一維 度建模的電力信息系統(tǒng)數(shù)據(jù)管理系統(tǒng)及其方法。
【背景技術(shù)】
[0002] Kimball提出的維度建模(dimensional modeling)是數(shù)據(jù)倉庫建設(shè)中的一種數(shù) 據(jù)建模方法。該法介紹了按照事實(shí)表,維度表構(gòu)建數(shù)據(jù)倉庫,數(shù)據(jù)集市。該法廣為流傳的名 字是星型模式(Star-schema)。實(shí)體關(guān)系模型(E-R)建模通常用于為單位的所有進(jìn)程創(chuàng)建 一個(gè)復(fù)雜的模型。實(shí)踐證明這種方法在創(chuàng)建高效聯(lián)機(jī)事務(wù)處理(OLTP)系統(tǒng)方面很有效。相 反,維度建模則針對零散的業(yè)務(wù)進(jìn)程創(chuàng)建個(gè)別模型。例如,將銷售信息創(chuàng)建為一個(gè)模型,而 庫存則創(chuàng)建為另一個(gè)模型,客戶帳戶也可創(chuàng)建為另一個(gè)模型。創(chuàng)建的每個(gè)模型捕獲事實(shí)數(shù) 據(jù)表中的事實(shí),以及那些鏈接到事實(shí)數(shù)據(jù)表中的維度表中的事實(shí)的特性。這些排列產(chǎn)生的 架構(gòu)稱為星型模式或雪花模式,實(shí)踐表明這在數(shù)據(jù)倉庫設(shè)計(jì)中很有效。
[0003] 維度建模將信息組織到結(jié)構(gòu)中,這些結(jié)構(gòu)通常對應(yīng)于分析者希望對數(shù)據(jù)倉庫數(shù)據(jù) 使用的查詢方法。例如查詢1999年第三季度西北地區(qū)的食品銷售額,從三個(gè)維度(產(chǎn)品、 地理、時(shí)間)指定要匯總的信息。
[0004] 廣泛被使用星型模式的原因在于針對各個(gè)維度作了大量的預(yù)處理,如按照維度預(yù) 先統(tǒng)計(jì)、分類、排序等。通過這些預(yù)處理,能夠極大的提升數(shù)據(jù)倉庫的處理能力。特別是針 對3NF的建模方法,星型模式在性能上占據(jù)明顯的優(yōu)勢。
[0005] 同時(shí),維度建模法的另外一個(gè)優(yōu)點(diǎn)是,維度建模非常直觀,緊緊圍繞著業(yè)務(wù)模型, 可以直觀的反映出業(yè)務(wù)模型中的業(yè)務(wù)問題。不需要經(jīng)過特別的抽象處理,即可以完成維度 建模。這一點(diǎn)也是維度建模的優(yōu)勢。概括講,維度建模有如下優(yōu)點(diǎn):
[0006] a)維度建模是可預(yù)測的標(biāo)準(zhǔn)框架。允許數(shù)據(jù)庫系統(tǒng)和最終用戶查詢工具在數(shù)據(jù)方 面生成強(qiáng)大的假設(shè)條件,這些數(shù)據(jù)主要在表現(xiàn)和性能方面起作用。
[0007] b)星型連接模式的可預(yù)測框架能夠忍受不可預(yù)知的用戶行為的變化。
[0008] c)具有非常好的可擴(kuò)展性,以便容納不可預(yù)知的新數(shù)據(jù)源和新的設(shè)計(jì)決策??梢?很方便在不改變模型粒度情況下,增加新的分析維度和事實(shí),不需要重載數(shù)據(jù),也不需要為 了適應(yīng)新的改變而重新編碼。較好的擴(kuò)展性意味著以前的所有應(yīng)用都可以繼續(xù)運(yùn)行,并不 會產(chǎn)生不同的結(jié)果。
[0009] 但是,維度建模法的缺點(diǎn)也是非常明顯的,由于在構(gòu)建星型模式之前需要進(jìn)行大 量的數(shù)據(jù)預(yù)處理,因此會涉及大量的數(shù)據(jù)處理工作。而且,當(dāng)業(yè)務(wù)發(fā)生變化,需要重新進(jìn)行 維度定義時(shí),往往需要重新進(jìn)行維度數(shù)據(jù)的預(yù)處理。而在這些預(yù)處理過程中,往往會導(dǎo)致大 量的數(shù)據(jù)冗余。
[0010] 維度建模法的另外一缺點(diǎn)是,如果只是依靠單純的維度建模,不能保證數(shù)據(jù)來源 的一致性和準(zhǔn)確性,而且在數(shù)據(jù)倉庫的底層,不是特別適用于維度建模的方法。
[0011] 隨著信息系統(tǒng)的應(yīng)用,越來越多的電力生產(chǎn)和運(yùn)營數(shù)據(jù)被產(chǎn)生和采集,數(shù)據(jù)倉庫 技術(shù)正在逐步應(yīng)用于高效的數(shù)據(jù)管理以及進(jìn)一步的數(shù)據(jù)分析和挖掘,為電力企業(yè)的運(yùn)營管 理和分析決策過程提供支持。在現(xiàn)有的數(shù)據(jù)倉庫技術(shù)中,往往是對預(yù)知的數(shù)據(jù)類型進(jìn)行維 度劃分并據(jù)此設(shè)計(jì)相應(yīng)的多個(gè)維度表和事實(shí)表來描述數(shù)據(jù)。如果出現(xiàn)新的數(shù)據(jù)類型,則需 要設(shè)計(jì)與之對應(yīng)的新的事實(shí)表和維度表,并調(diào)整相應(yīng)的數(shù)據(jù)管理功能。因此,這種方式往往 會導(dǎo)致后期難于對數(shù)據(jù)擴(kuò)展。而電力運(yùn)營管理尤其是交易管理中,數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜,并且 由于業(yè)務(wù)的拓展和變化,常常會出現(xiàn)新的數(shù)據(jù)結(jié)構(gòu),上述的建模方法在實(shí)際使用中往往會 帶來后期大量的維護(hù)和擴(kuò)展工作。
【發(fā)明內(nèi)容】
[0012] 針對現(xiàn)有技術(shù)的不足,本發(fā)明的目的是提供一種基于統(tǒng)一維度建模的電力信息系 統(tǒng)數(shù)據(jù)管理系統(tǒng)及其方法,該方法實(shí)現(xiàn)電力信息系統(tǒng)中復(fù)雜結(jié)構(gòu)數(shù)據(jù)的統(tǒng)一管理,方便數(shù) 據(jù)的檢索、存儲以及不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交互,為數(shù)據(jù)管理工具的設(shè)計(jì)和開發(fā)提供統(tǒng) 一的數(shù)據(jù)基礎(chǔ)。
[0013] 本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0014] 本發(fā)明提供一種基于統(tǒng)一維度建模的電力信息系統(tǒng)數(shù)據(jù)管理系統(tǒng),其改進(jìn)之處在 于,所述系統(tǒng)包括:
[0015] 用于管理和維護(hù)可用的數(shù)據(jù)維度屬性池的數(shù)據(jù)維度屬性池管理模塊;
[0016] 用于完成數(shù)據(jù)的定義和數(shù)據(jù)維度模型的描述的數(shù)據(jù)維度模型定義模塊;和
[0017] 為數(shù)據(jù)的檢索、存儲以及統(tǒng)計(jì)分析提供統(tǒng)一的數(shù)據(jù)管理接口,使得數(shù)據(jù)的使用不 因結(jié)構(gòu)的改變而改變的數(shù)據(jù)管理接口服務(wù)模塊。
[0018] 進(jìn)一步地,所述數(shù)據(jù)檢索指數(shù)據(jù)維度屬性檢索,數(shù)據(jù)檢索過程為:首先到維度屬性 定義信息表中查找數(shù)據(jù)維度屬性定義信息,獲得已知數(shù)據(jù)維度屬性和檢索數(shù)據(jù)維度屬性定 義編碼,然后根據(jù)數(shù)據(jù)的已知數(shù)據(jù)維度屬性定義編碼和值到數(shù)據(jù)實(shí)體表中查找到滿足條件 的數(shù)據(jù)實(shí)體列表,根據(jù)檢索數(shù)據(jù)維度屬性定義編碼中獲得需檢索的數(shù)據(jù)維度屬性的值;
[0019] 所述數(shù)據(jù)存儲指將數(shù)據(jù)實(shí)體存儲到數(shù)據(jù)實(shí)體表中,數(shù)據(jù)存儲過程為:數(shù)據(jù)存儲時(shí) 首先按照數(shù)據(jù)維度屬性定義編碼查找該數(shù)據(jù)的維度屬性定義信息組合,創(chuàng)建數(shù)據(jù)實(shí)體編 碼,按照數(shù)據(jù)維度屬性定義信息逐條生成數(shù)據(jù)實(shí)體記錄并為每條實(shí)體記錄的維度屬性值賦 值,然后查找數(shù)據(jù)定義的存儲表名,將數(shù)據(jù)實(shí)體存儲到數(shù)據(jù)實(shí)體表中;
[0020] 所述數(shù)據(jù)統(tǒng)計(jì)分析用于統(tǒng)計(jì)分析數(shù)據(jù)實(shí)體列表中的數(shù)據(jù)項(xiàng),數(shù)據(jù)統(tǒng)計(jì)分析過程 為:從數(shù)據(jù)維度屬性定義信息表查數(shù)據(jù)的維度屬性定義組,將找到統(tǒng)計(jì)條件相關(guān)的數(shù)據(jù)維 度屬性定義編碼,根據(jù)統(tǒng)計(jì)條件到數(shù)據(jù)實(shí)體表中找到符合條件的數(shù)據(jù)實(shí)體列表,統(tǒng)計(jì)所述 數(shù)據(jù)實(shí)體列表中的數(shù)據(jù)項(xiàng)并進(jìn)行運(yùn)算得到所需的統(tǒng)計(jì)結(jié)果。本發(fā)明還提供一種基于統(tǒng)一維 度建模的電力信息系統(tǒng)數(shù)據(jù)管理系統(tǒng)的管理方法,其改進(jìn)之處在于,所述方法包括下述步 驟:
[0021] (1)建立數(shù)據(jù)維度屬性池;
[0022] (2)動態(tài)管理數(shù)據(jù)維度屬性池;
[0023] (3)設(shè)置數(shù)據(jù)維度屬性定義表;
[0024] (4)用數(shù)據(jù)維度屬性定義信息描述數(shù)據(jù);
[0025] (5)調(diào)用公共的數(shù)據(jù)管理服務(wù)接口模塊進(jìn)行數(shù)據(jù)存儲、數(shù)據(jù)檢索以及數(shù)據(jù)統(tǒng)計(jì)分 析。
[0026] 進(jìn)一步地,所述步驟(1)中,對數(shù)據(jù)進(jìn)行維度分析,按照最小粒度原則劃分?jǐn)?shù)據(jù)維 度,并提供用于描述數(shù)據(jù)的維度類別和維度屬性,建立數(shù)據(jù)維度屬性池。
[0027] 進(jìn)一步地,所述步驟(2)采用數(shù)據(jù)維度屬性池管理模塊實(shí)現(xiàn);數(shù)據(jù)維度屬性池中 的數(shù)據(jù)維度類別和各類維度中的維度屬性均能夠根據(jù)實(shí)際數(shù)據(jù)的需要進(jìn)行擴(kuò)展。
[0028] 進(jìn)一步地,所述步驟(3)中,維度屬性定義表包括用于記錄數(shù)據(jù)定義的各項(xiàng)維度 屬性定義的數(shù)據(jù)定義編碼/屬性類/屬性命名/數(shù)據(jù)類型/數(shù)據(jù)單位字段,維度屬性定義 表中的一條記錄對應(yīng)數(shù)據(jù)的一個(gè)維度屬性描述。
[0029] 進(jìn)一步地,所述步驟(4)中,維度屬性定義組在結(jié)構(gòu)上相同的數(shù)據(jù)的模型描述信 息;定義數(shù)據(jù)時(shí),采用維度屬性定義表中的一組維度屬性定義信息描述數(shù)據(jù),一組維度屬性 定義信息對應(yīng)數(shù)據(jù)實(shí)體表中的多組維度屬性值記錄;對于結(jié)構(gòu)不同的數(shù)據(jù),采用與之對應(yīng) 的維度屬性定義組描述。
[0030] 進(jìn)一步地,每個(gè)數(shù)據(jù)的結(jié)構(gòu)表現(xiàn)為維度屬性定義表中的一組維度屬性定義記錄, 同一個(gè)數(shù)據(jù)的各個(gè)維度屬性定義記錄通過相同的數(shù)據(jù)定義編碼標(biāo)記;每個(gè)數(shù)