專(zhuān)利名稱(chēng)：基于分布數(shù)據(jù)倉(cāng)庫(kù)便攜式電力信息管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分布數(shù)據(jù)倉(cāng)庫(kù)便攜式管理系統(tǒng)，特涉及分布數(shù)據(jù)倉(cāng)庫(kù)便攜式電力信息管理系統(tǒng)。
背景技術(shù)：
隨著我國(guó)電カ生產(chǎn)技術(shù)的蓬勃發(fā)展，和電カ系統(tǒng)內(nèi)部信息化進(jìn)程的加快，目前已經(jīng)建立并形成了獨(dú)立的電カ系統(tǒng)內(nèi)部信息網(wǎng)絡(luò)體系和各種電カ管理系統(tǒng)。信息技術(shù)的核心在于信息的處理與存儲(chǔ)。隨著數(shù)據(jù)量的劇增，數(shù)據(jù)存儲(chǔ)技術(shù)面臨巨大挑戰(zhàn)。CPU主頻的不斷提高、操作系統(tǒng)版本不斷升級(jí)時(shí)，不應(yīng)該忽略這樣ー個(gè)事實(shí)，即無(wú)論信息處理技術(shù)多么的先進(jìn)，都必須將信息存儲(chǔ)于一定的介質(zhì)之上，信息和信息技術(shù)本身都需要依托于一定的存儲(chǔ)介質(zhì)而存在。 對(duì)電カ系統(tǒng)處理器資源和儲(chǔ)存資源的要求越來(lái)越高，提出了電カ系統(tǒng)智能分布式數(shù)據(jù)倉(cāng)庫(kù)，智能分布式數(shù)據(jù)倉(cāng)庫(kù)能夠在現(xiàn)有處理器、儲(chǔ)存設(shè)備不變的情況下，或者利用廉價(jià)的PC級(jí)的硬件，以大大低于使用專(zhuān)用服務(wù)器和存儲(chǔ)設(shè)備的成本，利用系統(tǒng)內(nèi)網(wǎng)整合電カ系統(tǒng)現(xiàn)有的資源，提高整個(gè)系統(tǒng)的計(jì)算儲(chǔ)存能力和數(shù)據(jù)安全性，減小系統(tǒng)擴(kuò)建投資，對(duì)于實(shí)現(xiàn)中國(guó)電カ系統(tǒng)智能電網(wǎng)和超大規(guī)模計(jì)算提供了思路和有力的技術(shù)支持。

發(fā)明內(nèi)容
針對(duì)在電カ系統(tǒng)內(nèi)部網(wǎng)絡(luò)信息系統(tǒng)，還沒(méi)有專(zhuān)用的便攜式、分布數(shù)據(jù)倉(cāng)庫(kù)資源管理裝置的問(wèn)題，本發(fā)明提供了一種基于分布數(shù)據(jù)倉(cāng)庫(kù)便攜式電力信息管理系統(tǒng)，提高整個(gè)系統(tǒng)的計(jì)算儲(chǔ)存能力和數(shù)據(jù)安全性，減小系統(tǒng)擴(kuò)建投資，對(duì)于實(shí)現(xiàn)電カ系統(tǒng)智能電網(wǎng)和超大規(guī)模計(jì)算提供了思路和有力的技術(shù)支持。本發(fā)明的技術(shù)方案是基于電カ信息管理系統(tǒng)的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，包括網(wǎng)絡(luò)服務(wù)器，配置服務(wù)器，基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器，其特征在于用于提供數(shù)據(jù)交互平臺(tái)的網(wǎng)絡(luò)服務(wù)器，支持配置服務(wù)器、基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器相互之間的數(shù)據(jù)傳輸；基準(zhǔn)數(shù)據(jù)服務(wù)器，將基準(zhǔn)數(shù)據(jù)備份在多臺(tái)不同的物理設(shè)備上；動(dòng)態(tài)數(shù)據(jù)服務(wù)器，在內(nèi)存中保存增刪改動(dòng)態(tài)數(shù)據(jù)；配置服務(wù)器用于進(jìn)行機(jī)器故障檢測(cè)、負(fù)載平衡計(jì)算、負(fù)載遷移調(diào)度。其有益效果是采用便攜式、分布數(shù)據(jù)倉(cāng)庫(kù)的形式，在電カ信息系統(tǒng)內(nèi)實(shí)現(xiàn)大型服務(wù)器和大型商業(yè)數(shù)據(jù)庫(kù)軟件的主要功能，可替換掉原昂貴的大型服務(wù)器和商業(yè)數(shù)據(jù)庫(kù)。如上所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于所述基準(zhǔn)數(shù)據(jù)保存了 3份并存儲(chǔ)在不同基準(zhǔn)數(shù)據(jù)服務(wù)器上。其有益效果是可以避免軟件硬件故障導(dǎo)致的服務(wù)中斷。如上所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于動(dòng)態(tài)數(shù)據(jù)服務(wù)器記錄提交日志并使用雙機(jī)熱備份。其有益效果是可以避免軟件硬件故障導(dǎo)致的服務(wù)中斷。如上所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于所述配置服務(wù)器與動(dòng)態(tài)數(shù)據(jù)服務(wù)器共用物理機(jī)器。其有益效果是可以減少計(jì)算機(jī)數(shù)量，降低成本。


圖I裝置結(jié)構(gòu)示意圖；圖2裝置工作流程示意圖。
具體實(shí)施例方式 名詞解釋
基準(zhǔn)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)系統(tǒng)以增量方 式記錄一段時(shí)間內(nèi)的表格數(shù)據(jù)的增刪改，從而保持著表格主體數(shù)據(jù)在一段時(shí)間內(nèi)相對(duì)穩(wěn)定，其中增刪改的數(shù)據(jù)稱(chēng)為動(dòng)態(tài)數(shù)據(jù)(通常在內(nèi)存，也稱(chēng)為內(nèi)存表)，而一段時(shí)間內(nèi)相對(duì)穩(wěn)定的主體數(shù)據(jù)稱(chēng)為基準(zhǔn)數(shù)據(jù)，基準(zhǔn)數(shù)據(jù)和轉(zhuǎn)儲(chǔ)后(保存到SSD固態(tài)硬盤(pán)或磁盤(pán))的動(dòng)態(tài)數(shù)據(jù)以分類(lèi)字符格式存儲(chǔ)。以下結(jié)合附圖對(duì)本發(fā)明做進(jìn)ー步的說(shuō)明
如圖I所示，基于電カ信息管理系統(tǒng)的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，包括網(wǎng)絡(luò)服務(wù)器，配置服務(wù)器，基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器，各種服務(wù)器的具體功能如下
用于提供數(shù)據(jù)交互平臺(tái)的網(wǎng)絡(luò)服務(wù)器支持配置服務(wù)器、基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器相互之間的數(shù)據(jù)傳輸?；鶞?zhǔn)數(shù)據(jù)服務(wù)器(ChunkServer)，又稱(chēng)為保存基準(zhǔn)數(shù)據(jù)的服務(wù)器，即將數(shù)據(jù)備份在多臺(tái)不同的物理設(shè)備上。為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，本裝置同一份基準(zhǔn)數(shù)據(jù)通常保存了 3份并存儲(chǔ)在不同基準(zhǔn)數(shù)據(jù)服務(wù)器上。動(dòng)態(tài)數(shù)據(jù)服務(wù)器(UpdateServer)，又稱(chēng)為保存動(dòng)態(tài)數(shù)據(jù)的服務(wù)器，一般是單臺(tái)服務(wù)器。為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，動(dòng)態(tài)數(shù)據(jù)服務(wù)器記錄提交日志并通常使用雙機(jī)熱備份。配置服務(wù)器(RootServer)，一般是單臺(tái)服務(wù)器。為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，配置服務(wù)器記錄提交日志并通常采用雙機(jī)熱備。由于配置服務(wù)器負(fù)載一般都很輕，所以它常常與動(dòng)態(tài)數(shù)據(jù)服務(wù)器共用物理機(jī)器。基于分布式便攜數(shù)據(jù)倉(cāng)庫(kù)電力信息管理系統(tǒng)的工作過(guò)程
基于電カ信息管理系統(tǒng)的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置系統(tǒng)工作過(guò)程如下系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的時(shí)候暫時(shí)摒棄了許多不需要的數(shù)據(jù)庫(kù)信息管理系統(tǒng)的功能，
例如臨時(shí)表，視圖(view)，SQL語(yǔ)言支持等，系統(tǒng)把一段時(shí)間內(nèi)的增刪改等修改操作以増量形式記錄下來(lái)(稱(chēng)之為動(dòng)態(tài)數(shù)據(jù)，通常保存在內(nèi)存中)，這樣也使得了主體數(shù)據(jù)在一段時(shí)間內(nèi)保持了相對(duì)穩(wěn)定(稱(chēng)之為基準(zhǔn)數(shù)據(jù))。由于動(dòng)態(tài)數(shù)據(jù)相對(duì)較小，通常情況下，把它保存在動(dòng)態(tài)數(shù)據(jù)服務(wù)器的內(nèi)存中。在內(nèi)存中保存增刪改相關(guān)記錄，極大地提高了系統(tǒng)對(duì)數(shù)據(jù)的訪問(wèn)性能。此外，假如每條修改平均消耗100 Bytes，那么IOGB內(nèi)存可以記錄100M(即I億)條修改，且擴(kuò)充動(dòng)態(tài)數(shù)據(jù)服務(wù)器內(nèi)存空間，也就増加了內(nèi)存中所能容納的修改量。不僅如此，由于凍結(jié)后的內(nèi)存表不再修改，它也可以轉(zhuǎn)換成分類(lèi)字符格式并保存到固態(tài)硬盤(pán)或磁盤(pán)上。轉(zhuǎn)儲(chǔ)到固態(tài)硬盤(pán)后所占內(nèi)存即可釋放，并仍然可以提供較高性能的讀服務(wù)，這也緩解了極端情況下動(dòng)態(tài)數(shù)據(jù)服務(wù)器的內(nèi)存需求。為了應(yīng)對(duì)機(jī)器故障，動(dòng)態(tài)數(shù)據(jù)服務(wù)器寫(xiě)提交日志并采取雙機(jī)(甚至多機(jī))熱備。由于動(dòng)態(tài)數(shù)據(jù)服務(wù)器的主備機(jī)是同步的，因此備機(jī)也可同時(shí)提供讀服務(wù)。因?yàn)榛鶞?zhǔn)數(shù)據(jù)相對(duì)穩(wěn)定，系統(tǒng)把它按照主鍵(primary key,也稱(chēng)為row key)分段后保存多個(gè)副本(一般是3個(gè))到基準(zhǔn)數(shù)據(jù)服務(wù)器上，避免了單臺(tái)機(jī)器故障導(dǎo)致的服務(wù)中斷，多個(gè)副本也提升了系統(tǒng)服務(wù)能力。單個(gè)數(shù)據(jù)表的尺寸可以根據(jù)應(yīng)用數(shù)據(jù)特點(diǎn)進(jìn)行配置，相對(duì)配置過(guò)小的數(shù)據(jù)表會(huì)合并，過(guò)大的數(shù)據(jù)表則會(huì)分裂。由于數(shù)據(jù)表按主鍵分塊連續(xù)存放，因此系統(tǒng)按主鍵的范圍查詢(xún)對(duì)應(yīng)著連續(xù)的磁盤(pán)讀，十分高效。對(duì)于已經(jīng)凍結(jié)/轉(zhuǎn)儲(chǔ)的動(dòng)態(tài)數(shù)據(jù)，系統(tǒng)的基準(zhǔn)數(shù)據(jù)服務(wù)器會(huì)在自己不是太繁忙的時(shí)候啟動(dòng)基準(zhǔn)數(shù)據(jù)與凍結(jié)/轉(zhuǎn)儲(chǔ)內(nèi)存表的合并，并生成新的基準(zhǔn)數(shù)據(jù)。這種合并過(guò)程其實(shí)是ー種范圍查詢(xún)，是ー串連續(xù)的磁盤(pán)讀和連續(xù)的磁盤(pán)寫(xiě)，也是很高效的。傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)提供了強(qiáng)大的事務(wù)性、良好的一致性和很短的查詢(xún)修改響應(yīng)時(shí)間，但數(shù)據(jù)規(guī)模受到嚴(yán)重制約，缺乏擴(kuò)展性；現(xiàn)代云計(jì)算提供了極大的數(shù)據(jù)規(guī)模、良好的擴(kuò)展性，但缺乏跨行跨表事務(wù)、數(shù)據(jù)一致性也較弱、查詢(xún)修改響應(yīng)時(shí)間通常也較長(zhǎng)，系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)融合了二者的優(yōu)勢(shì)
1、動(dòng)態(tài)數(shù)據(jù)服務(wù)器類(lèi)似于數(shù)據(jù)庫(kù)管理系統(tǒng)中的數(shù)據(jù)庫(kù)角色，提供跨行跨表事務(wù)和很短的查詢(xún)修改的響應(yīng)時(shí)間以及良好的一致性
2、基準(zhǔn)數(shù)據(jù)服務(wù)器類(lèi)似于云計(jì)算中的工作機(jī)，具有數(shù)據(jù)多副本(通常是3)、中等規(guī)模數(shù)據(jù)粒度(數(shù)據(jù)表大小約256MB)、自動(dòng)負(fù)載平衡、宕機(jī)恢復(fù)、機(jī)器即插即用等特點(diǎn)，系統(tǒng)容·量及性能可隨時(shí)擴(kuò)展
3、合并/提交數(shù)據(jù)服務(wù)器(MergeServer):結(jié)合基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器，獲得最新數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性
4、配置服務(wù)器類(lèi)似于云計(jì)算中的主控機(jī)，進(jìn)行機(jī)器故障檢測(cè)、負(fù)載平衡計(jì)算、負(fù)載遷移調(diào)度等
上述的數(shù)據(jù)庫(kù)管理系統(tǒng)和云計(jì)算技術(shù)的優(yōu)勢(shì)互補(bǔ)使得系統(tǒng)既具有傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)的跨行跨表事務(wù)、數(shù)據(jù)的強(qiáng)一致性以及很短的查詢(xún)修改響應(yīng)時(shí)間，還有云計(jì)算的海量數(shù)據(jù)管理能力、自動(dòng)故障恢復(fù)、自動(dòng)負(fù)載平衡以及良好的擴(kuò)展性。
權(quán)利要求
1.基于電カ信息管理系統(tǒng)的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，包括網(wǎng)絡(luò)服務(wù)器，配置服務(wù)器，基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器，其特征在干用于提供數(shù)據(jù)交互平臺(tái)的網(wǎng)絡(luò)服務(wù)器，支持配置服務(wù)器、基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器相互之間的數(shù)據(jù)傳輸；基準(zhǔn)數(shù)據(jù)服務(wù)器，將基準(zhǔn)數(shù)據(jù)備份在多臺(tái)不同的物理設(shè)備上；動(dòng)態(tài)數(shù)據(jù)服務(wù)器，在內(nèi)存中保存增刪改動(dòng)態(tài)數(shù)據(jù)；配置服務(wù)器用于進(jìn)行機(jī)器故障檢測(cè)、負(fù)載平衡計(jì)算、負(fù)載遷移調(diào)度。
2.如權(quán)利要求I所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于所述基準(zhǔn)數(shù)據(jù)保存了3份并存儲(chǔ)在不同基準(zhǔn)數(shù)據(jù)服務(wù)器上。
3.如權(quán)利要求I或2所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于動(dòng)態(tài)數(shù)據(jù)服務(wù)器記錄提交日志并使用雙機(jī)熱備份。
4.如權(quán)利要求I或2所述的便攜式分布數(shù)據(jù)倉(cāng)庫(kù)裝置，其特征在于所述配置服務(wù)器與動(dòng)態(tài)數(shù)據(jù)服務(wù)器共用物理機(jī)器。
全文摘要
本發(fā)明涉及分布數(shù)據(jù)倉(cāng)庫(kù)便攜式管理系統(tǒng)，特涉及分布數(shù)據(jù)倉(cāng)庫(kù)便攜式電力信息管理系統(tǒng)。本發(fā)明提供了一種基于分布數(shù)據(jù)倉(cāng)庫(kù)便攜式電力信息管理系統(tǒng)，包括網(wǎng)絡(luò)服務(wù)器，配置服務(wù)器，基準(zhǔn)數(shù)據(jù)服務(wù)器和動(dòng)態(tài)數(shù)據(jù)服務(wù)器，提高整個(gè)系統(tǒng)的計(jì)算儲(chǔ)存能力和數(shù)據(jù)安全性,減小系統(tǒng)擴(kuò)建投資,對(duì)于實(shí)現(xiàn)電力系統(tǒng)智能電網(wǎng)和超大規(guī)模計(jì)算提供了思路和有力的技術(shù)支持。
文檔編號(hào)G06Q50/06GK102722756SQ20121012951
公開(kāi)日2012年10月10日 申請(qǐng)日期2012年4月28日 優(yōu)先權(quán)日2012年4月28日
發(fā)明者劉華鋒, 張磊, 彭鋼, 湯勝, 王丹君, 王華躍, 王大江, 蔡駿峰 申請(qǐng)人:武漢供電公司變電檢修中心