一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，首先設(shè)計(jì)一種數(shù)據(jù)變化觸發(fā)器，把該數(shù)據(jù)變化觸發(fā)器置于元數(shù)據(jù)輸出模塊之前。當(dāng)每一批電力數(shù)據(jù)到達(dá)數(shù)據(jù)變化觸發(fā)器時(shí)，如果數(shù)據(jù)相對(duì)于前一批數(shù)據(jù)沒(méi)有發(fā)生變化，則不能觸發(fā)事件，該批數(shù)據(jù)無(wú)法通過(guò)數(shù)據(jù)變化觸發(fā)器，該數(shù)據(jù)不能被寫入數(shù)據(jù)庫(kù)。反之?dāng)?shù)據(jù)發(fā)生了變化則數(shù)據(jù)可以通過(guò)數(shù)據(jù)變化觸發(fā)器，然后被寫入數(shù)據(jù)庫(kù)。同時(shí)在經(jīng)過(guò)數(shù)據(jù)變化觸發(fā)器后，只產(chǎn)生增量數(shù)據(jù)。這樣寫入數(shù)據(jù)庫(kù)中的數(shù)據(jù)量就大大減少了。本發(fā)明對(duì)于電力企業(yè)產(chǎn)生的海量數(shù)據(jù)，數(shù)據(jù)庫(kù)中只保存了變化的數(shù)據(jù)，所以，能夠?qū)ζ溥M(jìn)行快速查詢。
【專利說(shuō)明】一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)查詢系統(tǒng)領(lǐng)域，具體為一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)。
【背景技術(shù)】
[0002]對(duì)于電力企業(yè)源源不斷地產(chǎn)生的大量數(shù)據(jù)，需要先寫入數(shù)據(jù)庫(kù)，這樣才方便進(jìn)行查詢和統(tǒng)計(jì)。全部寫入數(shù)據(jù)庫(kù)再查詢，由于數(shù)據(jù)量過(guò)大，響應(yīng)時(shí)間難以滿足系統(tǒng)需求。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，以解決現(xiàn)有技術(shù)存在的問(wèn)題。
[0004]為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為:
一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:構(gòu)建有元數(shù)據(jù)容器、數(shù)據(jù)變化觸發(fā)器、元數(shù)據(jù)輸出模塊、數(shù)據(jù)庫(kù)、查詢統(tǒng)計(jì)模塊，所述元數(shù)據(jù)容器包含多批電力元數(shù)據(jù)，元數(shù)據(jù)容器中元數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)變化觸發(fā)器送入元數(shù)據(jù)輸出模塊，元數(shù)據(jù)輸出模塊將元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)，由數(shù)據(jù)庫(kù)存儲(chǔ)，所述查詢統(tǒng)計(jì)模塊提取數(shù)據(jù)庫(kù)中元數(shù)據(jù)，其中:所述數(shù)據(jù)變化觸發(fā)器接收元數(shù)據(jù)容器中的元數(shù)據(jù)，當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)相同時(shí)或變化很小而可以忽略時(shí)，數(shù)據(jù)變化觸發(fā)器不會(huì)觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)不保存送入的元數(shù)據(jù)；當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)有顯著變化時(shí)，數(shù)據(jù)變化觸發(fā)器被觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)保存該批元數(shù)據(jù)相對(duì)于上一批元數(shù)據(jù)的增量。
[0005]所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:元數(shù)據(jù)容器中某批電力元數(shù)據(jù)經(jīng)數(shù)據(jù)變化觸發(fā)器后，數(shù)據(jù)變化觸發(fā)器中只會(huì)產(chǎn)生相對(duì)于上一批元數(shù)據(jù)的增量數(shù)據(jù)，最終只會(huì)把增量數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，稱之為數(shù)據(jù)增量保存。
[0006]所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述的元數(shù)據(jù)輸出模塊是一個(gè)通用的元數(shù)據(jù)導(dǎo)出模塊，元數(shù)據(jù)輸出模塊取出元數(shù)據(jù)取出后，只對(duì)元數(shù)據(jù)作字符串處理，并不涉及數(shù)據(jù)的合法性檢查。
[0007]所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述查詢統(tǒng)計(jì)模塊支持對(duì)增量數(shù)據(jù)的查詢和統(tǒng)計(jì)。
[0008]所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述元數(shù)據(jù)輸出模塊，在執(zhí)行輸出數(shù)據(jù)到數(shù)據(jù)庫(kù)的同時(shí)保存輸出數(shù)據(jù)的庫(kù)結(jié)構(gòu)，便于查詢統(tǒng)計(jì)模塊獲取庫(kù)結(jié)構(gòu)。
[0009]所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述的查詢統(tǒng)計(jì)模塊，需要從元數(shù)據(jù)輸出模塊產(chǎn)生的配置文件中獲取數(shù)據(jù)庫(kù)的結(jié)構(gòu)。
[0010]本發(fā)明與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn):
(I)采用了數(shù)據(jù)變化觸發(fā)器，加快查詢速度。對(duì)于電網(wǎng)中如電壓等數(shù)據(jù)都是在一定范圍內(nèi)波動(dòng)，多數(shù)情況下變化不大。采用了數(shù)據(jù)變化觸發(fā)器，減少了時(shí)間相鄰的數(shù)據(jù)中相同數(shù)據(jù)的輸出，只保留增量數(shù)據(jù)到數(shù)據(jù)庫(kù)，減少了查詢數(shù)據(jù)量，提高了查詢速度。[0011](2)采用了數(shù)據(jù)增量保存，加快查詢速度。采用了數(shù)據(jù)變化觸發(fā)器，經(jīng)過(guò)觸發(fā)器的數(shù)據(jù)，只保存與前批數(shù)據(jù)變換的部分，即只保留增量數(shù)據(jù)到數(shù)據(jù)庫(kù)，減少了查詢數(shù)據(jù)量，提高了查詢速度。
[0012](3)采用配置文件保存表結(jié)構(gòu)，增加靈活性。在數(shù)據(jù)輸出模塊中執(zhí)行輸出到數(shù)據(jù)庫(kù)的同時(shí)，將數(shù)據(jù)庫(kù)的結(jié)構(gòu)保存到配置文件，為后續(xù)的查詢統(tǒng)計(jì)模塊提供了數(shù)據(jù)庫(kù)的結(jié)構(gòu)，這樣即使元數(shù)據(jù)的結(jié)構(gòu)發(fā)生變化也不會(huì)影響查詢統(tǒng)計(jì)模塊的正確運(yùn)行。
【專利附圖】

【附圖說(shuō)明】
[0013]圖1為本發(fā)明系統(tǒng)框架結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0014]如圖1所示。一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，構(gòu)建有元數(shù)據(jù)容器、數(shù)據(jù)變化觸發(fā)器、元數(shù)據(jù)輸出模塊、數(shù)據(jù)庫(kù)、查詢統(tǒng)計(jì)模塊，所述元數(shù)據(jù)容器包含多批電力元數(shù)據(jù)，元數(shù)據(jù)容器中元數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)變化觸發(fā)器送入元數(shù)據(jù)輸出模塊，元數(shù)據(jù)輸出模塊將元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)，由數(shù)據(jù)庫(kù)存儲(chǔ)，查詢統(tǒng)計(jì)模塊提取數(shù)據(jù)庫(kù)中元數(shù)據(jù)，其中:數(shù)據(jù)變化觸發(fā)器接收元數(shù)據(jù)容器中的元數(shù)據(jù)，當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)相同時(shí)或變化很小而可以忽略時(shí)，數(shù)據(jù)變化觸發(fā)器不會(huì)觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)不保存送入的元數(shù)據(jù)；當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)有顯著變化時(shí)，數(shù)據(jù)變化觸發(fā)器被觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)保存該批元數(shù)據(jù)相對(duì)于上一批元數(shù)據(jù)的增量。
[0015]元數(shù)據(jù)容器中某批電力元數(shù)據(jù)經(jīng)數(shù)據(jù)變化觸發(fā)器后，數(shù)據(jù)變化觸發(fā)器中只會(huì)產(chǎn)生相對(duì)于上一批元數(shù)據(jù)的增量數(shù)據(jù)，最終只會(huì)把增量數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，稱之為數(shù)據(jù)增量保存。
[0016]元數(shù)據(jù)輸出模塊是一個(gè)通用的元數(shù)據(jù)導(dǎo)出模塊，元數(shù)據(jù)輸出模塊取出元數(shù)據(jù)取出后，只對(duì)元數(shù)據(jù)作字符串處理，并不涉及數(shù)據(jù)的合法性檢查。
[0017]查詢統(tǒng)計(jì)模塊支持對(duì)增量數(shù)據(jù)的查詢和統(tǒng)計(jì)。
[0018]元數(shù)據(jù)輸出模塊，在執(zhí)行輸出數(shù)據(jù)到數(shù)據(jù)庫(kù)的同時(shí)保存輸出數(shù)據(jù)的庫(kù)結(jié)構(gòu)，便于查詢統(tǒng)計(jì)模塊獲取庫(kù)結(jié)構(gòu)。
[0019]查詢統(tǒng)計(jì)模塊，需要從元數(shù)據(jù)輸出模塊產(chǎn)生的配置文件中獲取數(shù)據(jù)庫(kù)的結(jié)構(gòu)。
[0020]本發(fā)明為海量歷史數(shù)據(jù)的快速查詢，當(dāng)每一批電力數(shù)據(jù)到達(dá)觸發(fā)器時(shí)，如果數(shù)據(jù)相對(duì)于前一批數(shù)據(jù)沒(méi)有發(fā)生變化，則不能觸發(fā)事件，該批數(shù)據(jù)無(wú)法通過(guò)觸發(fā)器，該數(shù)據(jù)不能被寫入數(shù)據(jù)庫(kù)。反之?dāng)?shù)據(jù)發(fā)生了變化則數(shù)據(jù)可以通過(guò)觸發(fā)器，然后被寫入數(shù)據(jù)庫(kù)。同時(shí)在經(jīng)過(guò)觸發(fā)器后，只產(chǎn)生增量數(shù)據(jù)。這樣寫入數(shù)據(jù)庫(kù)中的數(shù)據(jù)量就大大減少了。實(shí)際上，對(duì)于電力企業(yè)產(chǎn)生的海量數(shù)據(jù)，數(shù)據(jù)庫(kù)中只保存了變化的數(shù)據(jù)，所以，能夠?qū)ζ溥M(jìn)行快速查詢。
[0021]實(shí)施例1，數(shù)據(jù)變化觸發(fā)器的展示。
[0022]啟動(dòng)數(shù)據(jù)變化觸發(fā)器和數(shù)據(jù)輸出模塊。動(dòng)態(tài)修改元數(shù)據(jù)容器中的元數(shù)據(jù)，元數(shù)據(jù)輸出模塊中可以看到變換后的數(shù)據(jù)，并用表格展示出來(lái)。保持元數(shù)據(jù)容器中的元數(shù)據(jù)一段時(shí)間不變，則元數(shù)據(jù)輸出模塊中顯示的得到的元數(shù)據(jù)為空。
[0023]實(shí)施例2，按不同指標(biāo)進(jìn)行查詢。[0024]啟動(dòng)查詢統(tǒng)計(jì)模塊，顯示查詢界面，選擇不同的查詢時(shí)間段，選擇查詢的指標(biāo)，選擇查詢的地區(qū)和發(fā)電機(jī)等，執(zhí)行“查詢”功能，系統(tǒng)將正確顯示執(zhí)行查詢的結(jié)果，并將結(jié)果通過(guò)表格等形式展示。
[0025]本發(fā)明中，由于電網(wǎng)中如電壓等數(shù)據(jù)都是在一定范圍內(nèi)波動(dòng)，多數(shù)情況下變化不大。鑒于此，設(shè)計(jì)一種數(shù)據(jù)變化觸發(fā)機(jī)制，把該觸發(fā)器置于元數(shù)據(jù)輸出之前。當(dāng)每一批電力數(shù)據(jù)到達(dá)觸發(fā)器時(shí)，如果數(shù)據(jù)相對(duì)于前一批數(shù)據(jù)沒(méi)有發(fā)生變化，則不能觸發(fā)事件，該批數(shù)據(jù)無(wú)法通過(guò)觸發(fā)器，該數(shù)據(jù)不能被寫入數(shù)據(jù)庫(kù)。反之?dāng)?shù)據(jù)發(fā)生了變化則數(shù)據(jù)可以通過(guò)觸發(fā)器，然后被寫入數(shù)據(jù)庫(kù)。同時(shí)在經(jīng)過(guò)觸發(fā)器后，只產(chǎn)生增量數(shù)據(jù)。這樣寫入數(shù)據(jù)庫(kù)中的數(shù)據(jù)量就大大減少了。實(shí)際上，對(duì)于電力企業(yè)產(chǎn)生的海量數(shù)據(jù)，數(shù)據(jù)庫(kù)中只保存了變化的數(shù)據(jù)，所以，能夠?qū)ζ溥M(jìn)行快速查詢。
【權(quán)利要求】
1.一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:構(gòu)建有元數(shù)據(jù)容器、數(shù)據(jù)變化觸發(fā)器、元數(shù)據(jù)輸出模塊、數(shù)據(jù)庫(kù)、查詢統(tǒng)計(jì)模塊，所述元數(shù)據(jù)容器包含多批電力元數(shù)據(jù)，元數(shù)據(jù)容器中元數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)變化觸發(fā)器送入元數(shù)據(jù)輸出模塊，元數(shù)據(jù)輸出模塊將元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)，由數(shù)據(jù)庫(kù)存儲(chǔ)，所述查詢統(tǒng)計(jì)模塊提取數(shù)據(jù)庫(kù)中元數(shù)據(jù)，其中:所述數(shù)據(jù)變化觸發(fā)器接收元數(shù)據(jù)容器中的元數(shù)據(jù)，當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)相同時(shí)或變化很小而可以忽略時(shí)，數(shù)據(jù)變化觸發(fā)器不會(huì)觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)不保存送入的元數(shù)據(jù)；當(dāng)一批元數(shù)據(jù)容器中的元數(shù)據(jù)與上一批元數(shù)據(jù)有顯著變化時(shí)，數(shù)據(jù)變化觸發(fā)器被觸發(fā)，則元數(shù)據(jù)輸出模塊將該批元數(shù)據(jù)輸出至數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)保存該批元數(shù)據(jù)相對(duì)于上一批元數(shù)據(jù)的增量。
2.根據(jù)權(quán)利要求1所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:元數(shù)據(jù)容器中某批電力元數(shù)據(jù)經(jīng)數(shù)據(jù)變化觸發(fā)器后，數(shù)據(jù)變化觸發(fā)器中只會(huì)產(chǎn)生相對(duì)于上一批元數(shù)據(jù)的增量數(shù)據(jù)，最終只會(huì)把增量數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，稱之為數(shù)據(jù)增量保存。
3.根據(jù)權(quán)利要求1所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述的元數(shù)據(jù)輸出模塊是一個(gè)通用的元數(shù)據(jù)導(dǎo)出模塊，元數(shù)據(jù)輸出模塊取出元數(shù)據(jù)取出后，只對(duì)元數(shù)據(jù)作字符串處理，并不涉及數(shù)據(jù)的合法性檢查。
4.根據(jù)權(quán)利要求1所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述查詢統(tǒng)計(jì)模塊支持對(duì)增量數(shù)據(jù)的查詢和統(tǒng)計(jì)。
5.根據(jù)權(quán)利要求1所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述元數(shù)據(jù)輸出模塊，在執(zhí)行輸出數(shù)據(jù)到數(shù)據(jù)庫(kù)的同時(shí)保存輸出數(shù)據(jù)的庫(kù)結(jié)構(gòu)，便于查詢統(tǒng)計(jì)模塊獲取庫(kù)結(jié)構(gòu)。
6.根據(jù)權(quán)利要求1所述的一種海量歷史數(shù)據(jù)快速查詢系統(tǒng)，其特征在于:所述的查詢統(tǒng)計(jì)模塊，需要從元數(shù)據(jù)輸出模塊產(chǎn)生的配置文件中獲取數(shù)據(jù)庫(kù)的結(jié)構(gòu)。
【文檔編號(hào)】G06F17/30GK103617171SQ201310516972
【公開(kāi)日】2014年3月5日 申請(qǐng)日期:2013年10月25日 優(yōu)先權(quán)日:2013年10月25日
【發(fā)明者】陳穎, 黃少偉, 汪國(guó)武, 胡平 申請(qǐng)人:蕪湖大學(xué)科技園發(fā)展有限公司