本發(fā)明涉及一種基于云計(jì)算的智能用電數(shù)據(jù)服務(wù)系統(tǒng)，屬于智能用電處理技術(shù)領(lǐng)域。

背景技術(shù)：

基于云計(jì)算的智能用電數(shù)據(jù)管理關(guān)鍵技術(shù)研究和應(yīng)用項(xiàng)目產(chǎn)品符合大數(shù)據(jù)處理發(fā)展趨勢(shì)，在開展智能電網(wǎng)城市建設(shè)和高級(jí)量測(cè)體系研究的過(guò)程中，已經(jīng)引入大數(shù)據(jù)處理和云計(jì)算技術(shù)的應(yīng)用，比如AMI高級(jí)量測(cè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理、個(gè)性化信息定制和推送、大量歷史用電數(shù)據(jù)的挖掘分析和增值服務(wù)實(shí)現(xiàn)，都體現(xiàn)了大數(shù)據(jù)處理技術(shù)的應(yīng)用。

用電信息采集系統(tǒng)智能電表數(shù)量到2015年將達(dá)到三億塊，用戶用電信息采集頻率更加頻繁，且數(shù)據(jù)是雙向互動(dòng)流轉(zhuǎn)，規(guī)模和頻率成指數(shù)級(jí)增長(zhǎng)，對(duì)用電信息的采集、存儲(chǔ)、查詢、分析等全生命周期的數(shù)據(jù)處理能力提出了更高的要求?，F(xiàn)有的用電信息采集服務(wù)系統(tǒng)面臨的問(wèn)題主要有：1)采集系統(tǒng)數(shù)據(jù)量急劇增長(zhǎng)、數(shù)據(jù)類型多樣、業(yè)務(wù)應(yīng)用深化創(chuàng)新，對(duì)數(shù)據(jù)存儲(chǔ)、查詢、統(tǒng)計(jì)、分析及價(jià)值數(shù)據(jù)挖掘提出更高要求；2)終端數(shù)量及采集頻率的劇增，采集數(shù)據(jù)量由TB級(jí)向PB級(jí)發(fā)展，導(dǎo)致數(shù)據(jù)采集入庫(kù)、分析、存儲(chǔ)的壓力劇增；3)面臨數(shù)據(jù)高性能存儲(chǔ)和高可擴(kuò)展性挑戰(zhàn)，對(duì)系統(tǒng)的健壯性、靈活性、簡(jiǎn)單性、可擴(kuò)展性以及安全性提出了更高的要求；4)電力業(yè)務(wù)向智能化、精細(xì)化方向發(fā)展，對(duì)數(shù)據(jù)處理復(fù)雜性、實(shí)時(shí)性提出更高要求，跨業(yè)務(wù)、跨平臺(tái)的數(shù)據(jù)挖掘能力需要進(jìn)一步提升，迫切需要進(jìn)行技術(shù)架構(gòu)優(yōu)化和性能提升。

電力業(yè)務(wù)的不斷深化導(dǎo)致計(jì)算資源趨于緊張，任務(wù)更復(fù)雜，涉及的數(shù)據(jù)量更大，現(xiàn)有資源無(wú)法保證在規(guī)定的時(shí)間內(nèi)完成，現(xiàn)有系統(tǒng)架構(gòu)在橫向線性擴(kuò)展能力不足，海量數(shù)據(jù)處理能力已顯瓶頸，現(xiàn)有系統(tǒng)基于Oracle RAC的數(shù)據(jù)庫(kù)集群方式，由于其采用共享存儲(chǔ)，需要在節(jié)點(diǎn)間頻繁的復(fù)制狀態(tài)和共享數(shù)據(jù)塊，節(jié)點(diǎn)的增加只能加劇數(shù)據(jù)交換，對(duì)于性能的提升則非常有限，且成本高昂。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于云計(jì)算的智能用電數(shù)據(jù)服務(wù)系統(tǒng)，以解決目前智能用電數(shù)據(jù)服務(wù)系統(tǒng)對(duì)于海量數(shù)據(jù)的存儲(chǔ)、查詢、檢索速度慢、數(shù)據(jù)計(jì)算能力業(yè)務(wù)處理不強(qiáng)等問(wèn)題。

本發(fā)明為解決上述技術(shù)問(wèn)題而提供一種基于云計(jì)算的智能用電數(shù)據(jù)服務(wù)系統(tǒng)，該系統(tǒng)包括智能用電業(yè)務(wù)服務(wù)云、智能用電大數(shù)據(jù)共享平臺(tái)、智能用電大數(shù)據(jù)支撐平臺(tái)、智能用電數(shù)據(jù)接入服務(wù)端和智能用電業(yè)務(wù)大數(shù)據(jù)支撐服務(wù)接口，智能用電數(shù)據(jù)接入服務(wù)端用于將用電數(shù)據(jù)采集終端采集到的數(shù)據(jù)提供給智能用電大數(shù)據(jù)共享平臺(tái)，所述智能用電大數(shù)據(jù)共享平臺(tái)用于對(duì)采集到的用電數(shù)據(jù)進(jìn)行清洗、解析和分類存儲(chǔ)；所述智能用電大數(shù)據(jù)支撐平臺(tái)用于根據(jù)智能用電大數(shù)據(jù)共享平臺(tái)中存儲(chǔ)的用電數(shù)據(jù)按照業(yè)務(wù)流程進(jìn)行處理，所述智能用電業(yè)務(wù)大數(shù)據(jù)支撐服務(wù)接口用于向外提供服務(wù)接口，以便各類用電業(yè)務(wù)訪問(wèn)智能用電大數(shù)據(jù)支撐平臺(tái)，所述智能用電業(yè)務(wù)服務(wù)云作為底層資源池用于為系統(tǒng)提供一個(gè)基于虛擬化的資源支撐環(huán)境，包括計(jì)算資源池、存儲(chǔ)資源池和網(wǎng)絡(luò)資源池，該服務(wù)系統(tǒng)采用Spark和Hadoop共同構(gòu)建的平臺(tái)對(duì)智能用電大數(shù)據(jù)共享平臺(tái)中的用電數(shù)據(jù)進(jìn)行處理，將對(duì)時(shí)效性要求較高的業(yè)務(wù)部署在spark上運(yùn)行，將對(duì)時(shí)效性要求不高的業(yè)務(wù)部署在hadoop上運(yùn)行。

智能用電大數(shù)據(jù)共享平臺(tái)的可用域劃分為數(shù)據(jù)域、業(yè)務(wù)域和交互域，所述數(shù)據(jù)域用于為數(shù)據(jù)存儲(chǔ)和處理提供集群資源，其計(jì)算資源和存儲(chǔ)資源處于同一物理節(jié)點(diǎn)；所述業(yè)務(wù)域用于提供上層具體交互界面的業(yè)務(wù)邏輯支持，配置有對(duì)數(shù)據(jù)域和交互域的兩套接口；交互域用于向用電數(shù)據(jù)的最終使用者提供交互界面和手段，需要完成單獨(dú)的存儲(chǔ)資源配置，實(shí)現(xiàn)對(duì)熱點(diǎn)數(shù)據(jù)的緩存和對(duì)中間數(shù)據(jù)的緩存。

智能用電大數(shù)據(jù)共享平臺(tái)將終端采集上來(lái)的原始數(shù)據(jù)幀經(jīng)過(guò)規(guī)約解析轉(zhuǎn)化成半結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)，根據(jù)大數(shù)據(jù)管理引擎提供的檔案數(shù)據(jù)將半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)建立語(yǔ)義關(guān)聯(lián)，形成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，基礎(chǔ)業(yè)務(wù)數(shù)據(jù)按照類型存入文件，交由大數(shù)據(jù)管理引擎處理，大數(shù)據(jù)管理引擎負(fù)責(zé)對(duì)海量數(shù)據(jù)的裝載、寫入、查詢及處理。

所述智能用電大數(shù)據(jù)共享平臺(tái)采用混合存儲(chǔ)機(jī)制進(jìn)行數(shù)據(jù)存儲(chǔ)，根據(jù)用電數(shù)據(jù)的業(yè)務(wù)屬性采用對(duì)應(yīng)存儲(chǔ)模式，對(duì)原始數(shù)據(jù)采用Key-Value或列存儲(chǔ)方式組織數(shù)據(jù)，對(duì)于需要對(duì)原始數(shù)據(jù)進(jìn)行頻繁查詢的業(yè)務(wù)，則單獨(dú)整理對(duì)業(yè)務(wù)內(nèi)容優(yōu)化索引的數(shù)據(jù)副本以支持；對(duì)中間結(jié)果數(shù)據(jù)采用分布式、多副本方式進(jìn)行統(tǒng)一管理；對(duì)業(yè)務(wù)數(shù)據(jù)集采用分布式列存儲(chǔ)機(jī)制；對(duì)檔案數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)；對(duì)熱點(diǎn)數(shù)據(jù)采用內(nèi)存數(shù)據(jù)庫(kù)或SSD硬盤承載數(shù)據(jù)；對(duì)報(bào)表類數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫(kù)或內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

本發(fā)明的有益效果是:本發(fā)明采用平臺(tái)化的理念整合云計(jì)算和電力業(yè)務(wù)應(yīng)用技術(shù)，根據(jù)各種用電數(shù)據(jù)的特點(diǎn)和業(yè)務(wù)邏輯，采用混合存儲(chǔ)機(jī)制，利用云計(jì)算和關(guān)系數(shù)據(jù)庫(kù)互補(bǔ)的策略，以云計(jì)算技術(shù)為核心，以電力用電業(yè)務(wù)為流程，構(gòu)建公司智能用電私有云，實(shí)現(xiàn)用電信息采集系統(tǒng)海量用電數(shù)據(jù)存儲(chǔ)和處理，提高用電數(shù)據(jù)挖掘和利用效率，充分發(fā)揮大規(guī)模用電數(shù)據(jù)的價(jià)值優(yōu)勢(shì)，為智能用電互動(dòng)化服務(wù)和國(guó)家節(jié)能減排提供數(shù)據(jù)服務(wù)和技術(shù)支撐。

附圖說(shuō)明

圖1是本發(fā)明智能用電數(shù)據(jù)服務(wù)系統(tǒng)的架構(gòu)示意圖；

圖2是本發(fā)明智能用電數(shù)據(jù)服務(wù)系統(tǒng)的可用域劃分示意圖；

圖3是基礎(chǔ)資源池的部署拓?fù)鋱D；

圖4是智能用電數(shù)據(jù)的分類存儲(chǔ)原理示意圖；

圖5是本發(fā)明用電信息混合存儲(chǔ)架構(gòu)圖；

圖6是智能用電數(shù)據(jù)服務(wù)系統(tǒng)的架構(gòu)圖；

圖7是基于云計(jì)算的海量用電信息混合存儲(chǔ)架構(gòu)圖；

圖8是基于Zookeeper的主節(jié)點(diǎn)HA設(shè)計(jì)圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做進(jìn)一步的說(shuō)明。

本發(fā)明的基于云計(jì)算的智能用電數(shù)據(jù)服務(wù)系統(tǒng)的目標(biāo)是構(gòu)建智能用電服務(wù)體系中IT支撐平臺(tái)、數(shù)據(jù)處理與挖掘服務(wù)一體化的管理架構(gòu)，統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)和接口以及相應(yīng)的運(yùn)維管理平臺(tái)，使智能用電業(yè)務(wù)能夠通過(guò)統(tǒng)一的、簡(jiǎn)單化服務(wù)結(jié)構(gòu)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)查詢、業(yè)務(wù)數(shù)據(jù)分析與挖掘、決策支撐、數(shù)據(jù)預(yù)警和用戶互動(dòng)相關(guān)業(yè)務(wù)。該基于云計(jì)算的智能用電服務(wù)系統(tǒng)的架構(gòu)如圖1所示，包括智能用電業(yè)務(wù)服務(wù)云、智能用電大數(shù)據(jù)共享平臺(tái)、智能用電大數(shù)據(jù)支撐平臺(tái)、智能用電數(shù)據(jù)接入服務(wù)端、智能用電業(yè)務(wù)大數(shù)據(jù)支撐服務(wù)接口和智能用電業(yè)務(wù)服務(wù)平臺(tái)，能用電數(shù)據(jù)接入服務(wù)端用于將用電數(shù)據(jù)采集終端采集到的數(shù)據(jù)提供給智能用電大數(shù)據(jù)共享平臺(tái)，所述智能用電大數(shù)據(jù)共享平臺(tái)用于對(duì)采集到的用電數(shù)據(jù)進(jìn)行清洗、解析和分類存儲(chǔ)；所述智能用電大數(shù)據(jù)支撐平臺(tái)用于根據(jù)智能用電大數(shù)據(jù)共享平臺(tái)中存儲(chǔ)的用電數(shù)據(jù)按照業(yè)務(wù)流程進(jìn)行處理，所述智能用電業(yè)務(wù)大數(shù)據(jù)支撐服務(wù)接口用于向外提供服務(wù)接口，以便各類用電業(yè)務(wù)訪問(wèn)智能用電大數(shù)據(jù)支撐平臺(tái)，所述智能用電業(yè)務(wù)服務(wù)云作為底層資源池用于為系統(tǒng)提供一個(gè)基于虛擬化的資源支撐環(huán)境，包括計(jì)算資源池、存儲(chǔ)資源池和網(wǎng)絡(luò)資源池，該服務(wù)系統(tǒng)采用Spark和Hadoop共同構(gòu)建的平臺(tái)對(duì)智能用電大數(shù)據(jù)共享平臺(tái)中的用電數(shù)據(jù)進(jìn)行處理，將對(duì)時(shí)效性要求較高的業(yè)務(wù)部署在spark上運(yùn)行，將對(duì)時(shí)效性要求不高的業(yè)務(wù)部署在hadoop上運(yùn)行。

從該架構(gòu)上看，本發(fā)明的智能用電數(shù)據(jù)服務(wù)系統(tǒng)基于云計(jì)算平臺(tái)構(gòu)建，利用大數(shù)據(jù)相關(guān)技術(shù)，統(tǒng)一管理用電數(shù)據(jù)，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)接入、存儲(chǔ)、管理和共享功能，實(shí)現(xiàn)支撐多業(yè)務(wù)的智能用電數(shù)據(jù)共享。在數(shù)據(jù)統(tǒng)一管理、集中共享的基礎(chǔ)上，利用分布式處理和查詢等相關(guān)技術(shù)，實(shí)現(xiàn)用電大數(shù)據(jù)的支撐平臺(tái)，即為上層業(yè)務(wù)提供數(shù)據(jù)的查詢、處理和挖掘的通用方法。作為用電數(shù)據(jù)服務(wù)和用電數(shù)據(jù)業(yè)務(wù)整體資源提供層，服務(wù)云平臺(tái)集中管理全部計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的前提下，針對(duì)不同的用電數(shù)據(jù)業(yè)務(wù)要求，實(shí)現(xiàn)不同類型的資源組織和管理，根據(jù)對(duì)現(xiàn)有數(shù)據(jù)服務(wù)和智能用電業(yè)務(wù)的分析，在云平臺(tái)上設(shè)置數(shù)據(jù)域、業(yè)務(wù)域和交互域三個(gè)可用區(qū)域，其劃分的具體情況如圖2所示。

數(shù)據(jù)域用于為數(shù)據(jù)存儲(chǔ)和處理提供高性能、可擴(kuò)展的集群資源，用電數(shù)據(jù)的接入、存儲(chǔ)和應(yīng)用過(guò)程中，需要采用分布式方式完成數(shù)據(jù)查詢和處理等功能，因此要求計(jì)算資源和存儲(chǔ)資源處于同一物理節(jié)點(diǎn)，即計(jì)算資源本地化，一般不采用專用網(wǎng)絡(luò)存儲(chǔ)模式如NAS或SAN等方式進(jìn)行存儲(chǔ)。在建立虛擬節(jié)點(diǎn)的過(guò)程中，需指定本地化的存儲(chǔ)路徑，且虛擬節(jié)點(diǎn)需要保證雙核以上的處理資源和8GB以上內(nèi)存。由于數(shù)據(jù)域并不直接提供對(duì)外交互，因此在虛擬網(wǎng)絡(luò)的配置上，直接采用單層私有網(wǎng)絡(luò)方式即可，不需要配置專門的存儲(chǔ)網(wǎng)絡(luò)或外網(wǎng)地址，但為了向上層業(yè)務(wù)提供接口，需要設(shè)置接口服務(wù)器，以實(shí)現(xiàn)對(duì)數(shù)據(jù)域內(nèi)網(wǎng)資源和外部業(yè)務(wù)域的訪問(wèn)與控制。

業(yè)務(wù)域用于提供上層具體交互界面的業(yè)務(wù)邏輯支持，需要實(shí)現(xiàn)復(fù)雜的業(yè)務(wù)邏輯和流暢的網(wǎng)絡(luò)接口，實(shí)現(xiàn)對(duì)下層數(shù)據(jù)服務(wù)和對(duì)外界交互界面的訪問(wèn)，在業(yè)務(wù)域的設(shè)計(jì)上，需要根據(jù)業(yè)務(wù)內(nèi)容提高性能計(jì)算資源。對(duì)存儲(chǔ)資源要求較少的可采用本地存儲(chǔ)或NAS存儲(chǔ)方式，支持業(yè)務(wù)邏輯中的緩存數(shù)據(jù)或中間數(shù)據(jù)等。對(duì)網(wǎng)絡(luò)配置可能較為復(fù)雜，需要配置對(duì)數(shù)據(jù)域和交互域的兩套接口，由于不同業(yè)務(wù)的歸屬單位或用戶人群差別較大，例如可能需要支持電網(wǎng)內(nèi)部應(yīng)用，以及最終用戶的查詢需求，因此不同業(yè)務(wù)內(nèi)容需要在業(yè)務(wù)域中配置為不同子網(wǎng)和安全域，防止出現(xiàn)入侵或服務(wù)濫用等情況。

交互域用于向業(yè)務(wù)人員、用戶或科研人員等用電數(shù)據(jù)的最終使用者提供交互界面和手段。由于用電數(shù)據(jù)的使用者可能存在多種網(wǎng)絡(luò)環(huán)境中，因此交互域的安全問(wèn)題最為關(guān)鍵，需要根據(jù)不同用戶的特性、網(wǎng)絡(luò)環(huán)境和訪問(wèn)權(quán)限，進(jìn)行交互服務(wù)的安全域分割和安全保護(hù)設(shè)計(jì)，交互域不會(huì)直接訪問(wèn)數(shù)據(jù)域內(nèi)容，因此交互域只需考慮和業(yè)務(wù)域的安全隔離和接口即可。在交互域設(shè)計(jì)上需要根據(jù)用戶的動(dòng)態(tài)情況，實(shí)現(xiàn)對(duì)計(jì)算資源的動(dòng)態(tài)橫向擴(kuò)展和負(fù)載均衡，需要完成單獨(dú)的存儲(chǔ)資源配置，實(shí)現(xiàn)對(duì)熱點(diǎn)數(shù)據(jù)的緩存和對(duì)中間數(shù)據(jù)的緩存，減少?gòu)臉I(yè)務(wù)域申請(qǐng)數(shù)據(jù)的開銷。在網(wǎng)絡(luò)配置上，需要面向不同用戶，合理劃分安全域和Vlan資源，并實(shí)現(xiàn)豐富的公網(wǎng)接口和電力專網(wǎng)接口，滿足用戶通過(guò)網(wǎng)絡(luò)訪問(wèn)交互服務(wù)的需求。

智能用電業(yè)務(wù)服務(wù)云作為底層資源池，目的是為了提供一個(gè)虛擬化的資源支撐環(huán)境，將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)內(nèi)容整合成相應(yīng)的資源池，提供統(tǒng)一的管理和運(yùn)維，使得用戶或上層業(yè)務(wù)能快速申請(qǐng)資源和動(dòng)態(tài)調(diào)整資源規(guī)模。資源的使用者不用對(duì)申請(qǐng)的資源進(jìn)行維護(hù)，對(duì)單個(gè)使用者來(lái)說(shuō)明，可申請(qǐng)的資源近乎“無(wú)限”，底層資源池采用“基礎(chǔ)設(shè)施即服務(wù)”(IaaS)的模式構(gòu)建，資源池的拓?fù)淙鐖D3所示。

智能用電大數(shù)據(jù)共享平臺(tái)采用混合存儲(chǔ)機(jī)制進(jìn)行數(shù)據(jù)存儲(chǔ)，根據(jù)用電數(shù)據(jù)的業(yè)務(wù)屬性采用對(duì)應(yīng)存儲(chǔ)模式。原始用電數(shù)據(jù)需要根據(jù)數(shù)據(jù)內(nèi)容進(jìn)行分類存儲(chǔ)(例如電量、功率數(shù)據(jù)和電壓電流數(shù)據(jù)等)，并考慮對(duì)原始數(shù)據(jù)的準(zhǔn)實(shí)時(shí)查詢需求和分布式批處理的需求，本發(fā)明采用Key-Value或列存儲(chǔ)方式組織數(shù)據(jù)，對(duì)于需要對(duì)原始數(shù)據(jù)進(jìn)行頻繁查詢的業(yè)務(wù)，則需要單獨(dú)整理對(duì)業(yè)務(wù)內(nèi)容優(yōu)化索引的數(shù)據(jù)副本以支持，原始數(shù)據(jù)的處理效率和存儲(chǔ)可靠性要求都較高，因此要求數(shù)據(jù)存儲(chǔ)和共享平臺(tái)在硬件資源上保障其存儲(chǔ)副本需求和處理節(jié)點(diǎn)數(shù)量需求。中間結(jié)果數(shù)據(jù)類型較多，數(shù)據(jù)量大，因此需要采用分布式、多副本方式進(jìn)行統(tǒng)一管理，但中間結(jié)果一般不會(huì)被業(yè)務(wù)系統(tǒng)直接查詢，而是會(huì)進(jìn)行進(jìn)一步運(yùn)算和整理，所以不需要提供分布式數(shù)據(jù)查詢的支持。業(yè)務(wù)數(shù)據(jù)集通常作為最終數(shù)據(jù)出現(xiàn)，例如電量統(tǒng)計(jì)結(jié)果、線損計(jì)算結(jié)果等，進(jìn)行進(jìn)一步處理的可能性小，或者即便進(jìn)行進(jìn)一步處理，其處理性能要求和實(shí)時(shí)性要求都較弱，因此優(yōu)先采用分布式列存儲(chǔ)等機(jī)制，實(shí)現(xiàn)分布式查詢的優(yōu)化。檔案數(shù)據(jù)一般為小數(shù)據(jù)，涉及用戶信息、線路和采集點(diǎn)、計(jì)量點(diǎn)信息等，數(shù)據(jù)量小、更新不算頻繁，但數(shù)據(jù)之間的關(guān)聯(lián)性較強(qiáng)，此類數(shù)據(jù)的存儲(chǔ)，一般需遵循常規(guī)的關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)范式，并采用Oracle等高性能關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，本發(fā)明的智能用電大數(shù)據(jù)共享平臺(tái)提供關(guān)系型數(shù)據(jù)庫(kù)和大數(shù)據(jù)存儲(chǔ)方法的導(dǎo)入導(dǎo)出方法，支持在大數(shù)據(jù)關(guān)聯(lián)分析時(shí)，將檔案類數(shù)據(jù)導(dǎo)出、緩存；對(duì)于熱點(diǎn)數(shù)據(jù)采用內(nèi)存數(shù)據(jù)庫(kù)或采用SSD硬盤承載數(shù)據(jù)。報(bào)表類數(shù)據(jù)一般為大數(shù)據(jù)分析后的結(jié)果數(shù)據(jù)集，數(shù)據(jù)量不大，一般可以利用關(guān)系型數(shù)據(jù)庫(kù)甚至內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，在具體實(shí)施上主要考慮讀取優(yōu)化，而非寫入優(yōu)化。

由于數(shù)據(jù)存儲(chǔ)與共享服務(wù)需要處理多種類型的數(shù)據(jù)，因此需要進(jìn)行混合存儲(chǔ)的模式進(jìn)行設(shè)計(jì)，并且根據(jù)業(yè)務(wù)特點(diǎn)和數(shù)據(jù)特點(diǎn)，靈活選擇。終端采集上來(lái)的原始數(shù)據(jù)經(jīng)過(guò)清洗、解析和分類，轉(zhuǎn)化成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)、存入HDFS。大數(shù)據(jù)管理引擎負(fù)責(zé)對(duì)海量數(shù)據(jù)的裝載、寫入、查詢及處理等。

采集終端上傳的數(shù)據(jù)實(shí)質(zhì)是半結(jié)構(gòu)化數(shù)據(jù)，并且是多種業(yè)務(wù)內(nèi)容的混合數(shù)據(jù)，利用MapReduce的并行處理能力，快速、可靠、穩(wěn)定的完成半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)，從而為用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)提供完業(yè)務(wù)分類。采用HDFS與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的混合存儲(chǔ)，關(guān)系數(shù)據(jù)庫(kù)主要存儲(chǔ)修改操作較為頻繁的業(yè)務(wù)交易數(shù)據(jù)，以及檔案數(shù)據(jù)和告警事件等；云存儲(chǔ)架構(gòu)主要存儲(chǔ)采集的電量、負(fù)荷等業(yè)務(wù)數(shù)據(jù)，當(dāng)現(xiàn)有集群規(guī)模無(wú)法滿足用電信息的增量存儲(chǔ)時(shí)，可直接增加節(jié)點(diǎn)，實(shí)現(xiàn)動(dòng)態(tài)橫向擴(kuò)展，以保障海量采集數(shù)據(jù)的穩(wěn)定性和可靠性，為其他智能用電應(yīng)用系統(tǒng)提供良好的數(shù)據(jù)支撐。

在數(shù)據(jù)預(yù)處理和批處理的支持上，原始數(shù)據(jù)經(jīng)過(guò)分類、處理和分析之后，根據(jù)其特點(diǎn)，小數(shù)據(jù)集導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)，大數(shù)據(jù)集導(dǎo)入HBASE表格，在業(yè)務(wù)系統(tǒng)建設(shè)方面，只需要重構(gòu)少量數(shù)據(jù)接口和業(yè)務(wù)模塊，即可完成系統(tǒng)整體性能的提升。對(duì)于檔案類、模型類等數(shù)據(jù)，仍然存放在關(guān)系型數(shù)據(jù)庫(kù)，并可以通過(guò)Web Service、JDBC、ODBC、SQL等常見(jiàn)技術(shù)進(jìn)行訪問(wèn)和調(diào)用，原有的業(yè)務(wù)系統(tǒng)不會(huì)遭到徹底的推翻和重構(gòu)，在提高系統(tǒng)性能的同時(shí)，最大限度避免了升級(jí)的風(fēng)險(xiǎn)。在大數(shù)據(jù)查詢的支持上，采用按列存儲(chǔ)和Key-Value存儲(chǔ)等技術(shù)，實(shí)現(xiàn)分布式實(shí)時(shí)或準(zhǔn)實(shí)時(shí)查詢，以滿足上層業(yè)務(wù)的交互需求。可通過(guò)打破常規(guī)數(shù)據(jù)庫(kù)設(shè)計(jì)范式的思路，通過(guò)增加數(shù)據(jù)冗余，減少數(shù)據(jù)的關(guān)聯(lián)性，實(shí)現(xiàn)故障、統(tǒng)計(jì)等相關(guān)業(yè)務(wù)下的查詢優(yōu)化。基于云計(jì)算的海量智能用電信息混合存儲(chǔ)技術(shù)架構(gòu)如圖5所示。

基于云計(jì)算的海量智能用電信息混合存儲(chǔ)，終端采集上來(lái)的原始數(shù)據(jù)幀經(jīng)過(guò)規(guī)約解析轉(zhuǎn)化成半結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)，根據(jù)大數(shù)據(jù)管理引擎提供的檔案數(shù)據(jù)將半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)建立語(yǔ)義關(guān)聯(lián)，形成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，基礎(chǔ)業(yè)務(wù)數(shù)據(jù)按照類型存入文件，然后交由大數(shù)據(jù)管理引擎處理。大數(shù)據(jù)管理引擎負(fù)責(zé)對(duì)海量數(shù)據(jù)的裝載、寫入、查詢及處理，其包括作業(yè)跟蹤器、智能用電業(yè)務(wù)模型、元數(shù)據(jù)管理器、查詢計(jì)劃產(chǎn)生器、查詢執(zhí)行引擎、數(shù)據(jù)寫入器、數(shù)據(jù)源連接器、MapReduce大數(shù)據(jù)集并行處理單元等。

基于云計(jì)算的海量智能用電信息混合存儲(chǔ)技術(shù)在具體存儲(chǔ)時(shí)，采用云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)混合存儲(chǔ)的方式，關(guān)系數(shù)據(jù)庫(kù)主要存儲(chǔ)修改操作較為頻繁的業(yè)務(wù)交易數(shù)據(jù)，如檔案數(shù)據(jù)；云存儲(chǔ)架構(gòu)在進(jìn)行海量數(shù)據(jù)的處理時(shí)采用分布式文件存儲(chǔ)實(shí)現(xiàn)，通過(guò)構(gòu)建分片集群實(shí)現(xiàn)強(qiáng)大、靈活、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)，當(dāng)數(shù)據(jù)存儲(chǔ)服務(wù)器無(wú)法滿足大規(guī)模智能用電信息存儲(chǔ)時(shí)，可直接添加新的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，通過(guò)增加節(jié)點(diǎn)以緩解已有智能用電信息存儲(chǔ)服務(wù)器的壓力，實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展，從而保障了海量電能數(shù)據(jù)的穩(wěn)定性和可靠性，同時(shí)為其他智能用電應(yīng)用系統(tǒng)提供良好的數(shù)據(jù)支撐。

基于云計(jì)算的海量智能用電信息混合存儲(chǔ)技術(shù)可屏蔽用電信息采集系統(tǒng)海量感知數(shù)據(jù)的多樣性與異構(gòu)性，實(shí)現(xiàn)無(wú)差別的傳輸，實(shí)時(shí)有效地對(duì)數(shù)據(jù)進(jìn)行分析處理，將采集終端數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案建立語(yǔ)義關(guān)聯(lián)，變?yōu)闃I(yè)務(wù)信息，進(jìn)而得到正確的分析和處理結(jié)果。其使用并行處理方式避免因繁雜的數(shù)據(jù)而產(chǎn)生延遲與擁塞，能夠確保數(shù)據(jù)處理的及時(shí)性、正確性，從而為用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)正常運(yùn)行提供數(shù)據(jù)支撐。

智能用電數(shù)據(jù)服務(wù)系統(tǒng)的核心在于用電數(shù)據(jù)的存儲(chǔ)、管理和處理，而傳統(tǒng)的IaaS層云平臺(tái)無(wú)法提供相應(yīng)的處理算法和算法的分布式實(shí)現(xiàn)機(jī)制，因此需要基于IaaS平臺(tái)設(shè)計(jì)上層的大數(shù)據(jù)平臺(tái)，以提供基礎(chǔ)的數(shù)據(jù)管理、存儲(chǔ)和處理方法。由于智能用電數(shù)據(jù)是大數(shù)據(jù)和檔案類數(shù)據(jù)的混合，因此需要針對(duì)不同數(shù)據(jù)類型進(jìn)行不同的存儲(chǔ)方法設(shè)計(jì)。底層資源池并不提供大數(shù)據(jù)的組織、索引和分析等方法，因此需要在底層資源池之上構(gòu)建大數(shù)據(jù)平臺(tái)，并且以“平臺(tái)即服務(wù)”(PaaS)的方式，向業(yè)務(wù)人員提供大數(shù)據(jù)管理和處理的功能接口。如圖6所示，本發(fā)明按照國(guó)網(wǎng)標(biāo)準(zhǔn)化設(shè)計(jì)成果，系統(tǒng)的總體邏輯架構(gòu)、技術(shù)架構(gòu)、數(shù)據(jù)存儲(chǔ)架構(gòu)、功能架構(gòu)、物理架構(gòu)、信道架構(gòu)完全按照國(guó)網(wǎng)統(tǒng)一的設(shè)計(jì)要求，業(yè)務(wù)模型和編碼規(guī)則完全遵循國(guó)網(wǎng)統(tǒng)一的規(guī)則和標(biāo)準(zhǔn)。

本發(fā)明智能用電數(shù)據(jù)管理服務(wù)系統(tǒng)的目標(biāo)是構(gòu)建智能用電服務(wù)體系中IT支撐平臺(tái)、數(shù)據(jù)共享平臺(tái)、數(shù)據(jù)處理與挖掘服務(wù)等一體化的管理架構(gòu)，統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)和接口以及相應(yīng)的運(yùn)維管理平臺(tái)，使得智能用電業(yè)務(wù)能夠通過(guò)統(tǒng)一的、簡(jiǎn)單化的服務(wù)接口實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)查詢、業(yè)務(wù)數(shù)據(jù)分析與挖掘、決策支持、數(shù)據(jù)預(yù)警、用戶互動(dòng)等相關(guān)業(yè)務(wù)。大數(shù)據(jù)平臺(tái)本身只提供功能，不提供資源，因此要構(gòu)建在Iaas資源池之上，通過(guò)向底層申請(qǐng)計(jì)算和存儲(chǔ)資源，快速構(gòu)建大數(shù)據(jù)處理的基礎(chǔ)環(huán)境，并利用自身能力對(duì)數(shù)據(jù)展開處理。為提高業(yè)務(wù)人員的使用效率，大數(shù)據(jù)平臺(tái)需要對(duì)功能打包形成標(biāo)準(zhǔn)鏡像。業(yè)務(wù)人員根據(jù)數(shù)據(jù)源的需求，選擇合適的大數(shù)據(jù)工具鏡像，并通過(guò)申請(qǐng)，將鏡像加載為實(shí)例，由Iaas提供承載，業(yè)務(wù)人員完成數(shù)據(jù)導(dǎo)入后，就可以對(duì)數(shù)據(jù)進(jìn)行各類業(yè)務(wù)操作。

為了提供大數(shù)據(jù)的可靠存儲(chǔ)、分布式管理和分布式批處理等任務(wù)，本發(fā)明采用hadoop平臺(tái)，Hadoop由Apache Software Foundation公司于2005年秋天作為L(zhǎng)ucene的子項(xiàng)目Nutch的一部分正式引入。Hadoop具有可靠性高，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理；Hadoop具備高效性和可伸縮特點(diǎn)，它以并行的方式工作，通過(guò)并行處理加快處理速度，能夠處理PB等級(jí)數(shù)據(jù)，目前可以支持4000以上的計(jì)算節(jié)點(diǎn)。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快；Hadoop本身是開源軟件架構(gòu)，自身沒(méi)有軟件費(fèi)用，且可以構(gòu)建在廉價(jià)通用的硬件環(huán)境上，因此構(gòu)建成本很低，但廉價(jià)并不影響其效果；Hadoop框架中最核心的設(shè)計(jì)就是：HDFS和MapReduce，HDFS提供了海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供了對(duì)數(shù)據(jù)的分布式計(jì)算，這兩種模塊在設(shè)計(jì)上具有一個(gè)相同理念，即屏蔽底層未解決分布式一致性、可靠性等產(chǎn)生的復(fù)雜設(shè)計(jì)，用戶只需要通過(guò)統(tǒng)一接口即可實(shí)現(xiàn)業(yè)務(wù)邏輯，不需要考慮單點(diǎn)失效、通信失效等細(xì)節(jié)問(wèn)題。

從外部特性而言，HDFS可以看作分布式文件系統(tǒng)，可以創(chuàng)建、刪除、移動(dòng)或重命名文件，等等。從HDFS的架構(gòu)看，是基于一組特定的節(jié)點(diǎn)構(gòu)建的：包括邏輯上唯一的NameNode，它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲(chǔ)塊。存儲(chǔ)在HDFS中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中(DataNode)，這與傳統(tǒng)的RAID架構(gòu)大不相同。塊的大小(通常為64MB)和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定，NameNode可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的TCP/IP協(xié)議，主要目的是支持以流的形式訪問(wèn)寫入的大型文件，如果HDFS存在多個(gè)機(jī)架(Rack)，其配置三份以上的復(fù)制副本數(shù)，則HDFS會(huì)在本機(jī)架和不同機(jī)架間節(jié)點(diǎn)間，保持多個(gè)數(shù)據(jù)副本，以最大限度保障訪問(wèn)效率和數(shù)據(jù)的可靠性。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map(映射)函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce(規(guī)約)函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

本發(fā)明的用電數(shù)據(jù)服務(wù)系統(tǒng)采用混合存儲(chǔ)技術(shù)，其混合存儲(chǔ)的架構(gòu)如圖7所示。HDFS。大數(shù)據(jù)管理引擎負(fù)責(zé)對(duì)海量數(shù)據(jù)的裝載、寫入、查詢及處理等。采集終端上傳的數(shù)據(jù)實(shí)質(zhì)是半結(jié)構(gòu)化數(shù)據(jù)，并且是多種業(yè)務(wù)內(nèi)容的混合數(shù)據(jù)，利用MapReduce的并行處理能力，快速、可靠、穩(wěn)定的完成半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)，從而為用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)提供完業(yè)務(wù)分類。

采用HDFS與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的混合存儲(chǔ)，關(guān)系數(shù)據(jù)庫(kù)主要存儲(chǔ)修改操作較為頻繁的業(yè)務(wù)交易數(shù)據(jù)，以及檔案數(shù)據(jù)和告警事件等；云存儲(chǔ)架構(gòu)主要存儲(chǔ)采集的電量、負(fù)荷等業(yè)務(wù)數(shù)據(jù)，當(dāng)現(xiàn)有集群規(guī)模無(wú)法滿足用電信息的增量存儲(chǔ)時(shí)，可直接增加節(jié)點(diǎn)，實(shí)現(xiàn)動(dòng)態(tài)橫向擴(kuò)展，以保障海量采集數(shù)據(jù)的穩(wěn)定性和可靠性，為其他智能用電應(yīng)用系統(tǒng)提供良好的數(shù)據(jù)支撐。

在數(shù)據(jù)處理流程上，原始數(shù)據(jù)經(jīng)過(guò)分類、處理和分析之后，根據(jù)其特點(diǎn)，小數(shù)據(jù)集導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)，大數(shù)據(jù)集導(dǎo)入HBASE表格，在業(yè)務(wù)系統(tǒng)建設(shè)方面，只需要重構(gòu)少量數(shù)據(jù)接口和業(yè)務(wù)模塊，即可完成系統(tǒng)整體性能的提升。對(duì)于檔案類、模型類等數(shù)據(jù)，仍然存放在關(guān)系型數(shù)據(jù)庫(kù)，并可以通過(guò)Web Service、JDBC、ODBC、SQL等常見(jiàn)技術(shù)進(jìn)行訪問(wèn)和調(diào)用，原有的業(yè)務(wù)系統(tǒng)不會(huì)遭到徹底的推翻和重構(gòu)，在提高系統(tǒng)性能的同時(shí)，最大限度避免了升級(jí)的風(fēng)險(xiǎn)。

為了提高平臺(tái)可用性和穩(wěn)定性，本發(fā)明還采用建立在私有云基礎(chǔ)上的平臺(tái)高可用性設(shè)計(jì)，Hadoop本身具備機(jī)架感知、數(shù)據(jù)塊多副本等子節(jié)點(diǎn)高可用性(HA)機(jī)制，但對(duì)于主節(jié)點(diǎn)的保障機(jī)制較差。在集群元數(shù)據(jù)的存儲(chǔ)策略上，有兩種策略可選，一是采用獨(dú)立的網(wǎng)絡(luò)存儲(chǔ)單元，二是采用分布式程序協(xié)調(diào)系統(tǒng)Zookeeper作為元數(shù)據(jù)存儲(chǔ)和活躍節(jié)點(diǎn)監(jiān)控和失效選舉。根據(jù)用采系統(tǒng)的集群建設(shè)規(guī)模與實(shí)際情況，如圖8所示。

本發(fā)明根據(jù)hadoop和spark的特點(diǎn)和不同業(yè)務(wù)邏輯的需求，將對(duì)時(shí)效性要求高的業(yè)務(wù)部署在spark上運(yùn)行而將對(duì)時(shí)效性要求不高的業(yè)務(wù)部署在hadoop上運(yùn)行，既滿足了用戶處理的業(yè)務(wù)需求，也提高了資源的利用效率。并根據(jù)大數(shù)據(jù)平臺(tái)的特點(diǎn)，對(duì)IaaS層私有云的構(gòu)建進(jìn)行了優(yōu)化，以及根據(jù)IaaS層云平臺(tái)的構(gòu)建特點(diǎn)，在大數(shù)據(jù)平臺(tái)的構(gòu)建策略上進(jìn)行了適配和優(yōu)化。同時(shí)充分考慮了用電數(shù)據(jù)服務(wù)中，不同類型數(shù)據(jù)的特點(diǎn)和存儲(chǔ)需求，屏蔽用電信息采集系統(tǒng)海量感知數(shù)據(jù)的多樣性與異構(gòu)性，實(shí)現(xiàn)無(wú)差別的傳輸，實(shí)時(shí)有效地對(duì)數(shù)據(jù)進(jìn)行分析處理，將采集終端數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案建立語(yǔ)義關(guān)聯(lián)，變?yōu)闃I(yè)務(wù)信息，進(jìn)而得到正確的分析和處理結(jié)果。因此本發(fā)明的基于云計(jì)算的智能用電數(shù)據(jù)服務(wù)系統(tǒng)將云計(jì)算、大數(shù)據(jù)等相關(guān)模式和技術(shù)運(yùn)用到智能用電數(shù)據(jù)管理系統(tǒng)中，解決了現(xiàn)有用電信息采集系統(tǒng)的數(shù)據(jù)存儲(chǔ)、查詢、檢索速度慢、數(shù)據(jù)計(jì)算能力業(yè)務(wù)處理不強(qiáng)等問(wèn)題，并支撐用電節(jié)能應(yīng)用，為云計(jì)算技術(shù)在公司用電系統(tǒng)領(lǐng)域的應(yīng)用提供技術(shù)支撐和示范引導(dǎo)效應(yīng)。