滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，該方法是將一次數(shù)據(jù)庫(kù)中數(shù)據(jù)分批取出，以最小時(shí)間粒度為單位，將不同批數(shù)據(jù)按查詢(xún)指標(biāo)匯總，并將匯總后的數(shù)據(jù)寫(xiě)入二次數(shù)據(jù)庫(kù)，再對(duì)二次數(shù)據(jù)庫(kù)執(zhí)行查詢(xún)，這樣由于查詢(xún)數(shù)據(jù)量小，可以大大縮短了查詢(xún)時(shí)間，滿(mǎn)足查詢(xún)要求。
【專(zhuān)利說(shuō)明】滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電力系統(tǒng)數(shù)據(jù)庫(kù)中數(shù)據(jù)分析與統(tǒng)計(jì)方法領(lǐng)域，具體為一種滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法。
【背景技術(shù)】
[0002]電力企業(yè)產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)經(jīng)解析后，為了能對(duì)該數(shù)據(jù)執(zhí)行統(tǒng)計(jì)和查詢(xún)，將數(shù)據(jù)持續(xù)不斷地保存到數(shù)據(jù)庫(kù)中。需要對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)按日、月、季和年進(jìn)行查詢(xún)和統(tǒng)計(jì)。由于數(shù)據(jù)持續(xù)不斷地增加，長(zhǎng)達(dá)一年的數(shù)據(jù)實(shí)際為海量數(shù)據(jù)，直接查詢(xún)時(shí)響應(yīng)時(shí)間較長(zhǎng)，難以滿(mǎn)足要求。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，以解決現(xiàn)有技術(shù)數(shù)據(jù)庫(kù)中海量數(shù)據(jù)直接查詢(xún)時(shí)響應(yīng)時(shí)間長(zhǎng)的問(wèn)題。
[0004]為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為:
滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:通過(guò)程序構(gòu)建數(shù)據(jù)加工模塊、二次數(shù)據(jù)庫(kù)、查詢(xún)統(tǒng)計(jì)模塊，所述數(shù)據(jù)加工模塊按照相同的時(shí)間間隔從一次數(shù)據(jù)庫(kù)中取得多批數(shù)據(jù)，以查詢(xún)的最小時(shí)間粒度對(duì)不同批數(shù)據(jù)按查詢(xún)指標(biāo)進(jìn)行計(jì)算匯總，生成整理匯總數(shù)據(jù)后寫(xiě)入二次數(shù)據(jù)庫(kù)；二次數(shù)據(jù)庫(kù)存儲(chǔ)經(jīng)數(shù)據(jù)加工模塊運(yùn)算處理過(guò)的數(shù)據(jù)，并為查詢(xún)統(tǒng)計(jì)模塊提供數(shù)據(jù)；查詢(xún)統(tǒng)計(jì)模塊根據(jù)不同查詢(xún)時(shí)間粒度和不同的查詢(xún)指標(biāo)，在二次數(shù)據(jù)庫(kù)中執(zhí)行查詢(xún)統(tǒng)計(jì)。
[0005]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:數(shù)據(jù)加工模塊按照原有一次數(shù)據(jù)庫(kù)添加數(shù)據(jù)的時(shí)間間隔，取得多批數(shù)據(jù)。
[0006]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:每個(gè)時(shí)間間隔內(nèi)，數(shù)據(jù)加工模塊首先找出原有一次數(shù)據(jù)庫(kù)中遞增并經(jīng)過(guò)索引的最大時(shí)間，接著根據(jù)最大時(shí)間取出最新一批數(shù)據(jù)。
[0007]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，對(duì)一次數(shù)據(jù)庫(kù)中數(shù)據(jù)的加工處理涉及到多張表數(shù)據(jù)，對(duì)每張表數(shù)據(jù)的計(jì)算和寫(xiě)入二次數(shù)據(jù)庫(kù)都使用一個(gè)獨(dú)立的線(xiàn)程，不影響其他功能的運(yùn)行。
[0008]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，在涉及多張表數(shù)據(jù)的計(jì)算和輸出時(shí)利用標(biāo)簽的形式集成到一個(gè)界面實(shí)現(xiàn)。
[0009]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，如果停止或異常中止后，可在恢復(fù)運(yùn)行后繼續(xù)執(zhí)行，不影響程序的查詢(xún)結(jié)果。
[0010]所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，根據(jù)寫(xiě)入一次數(shù)據(jù)庫(kù)時(shí)產(chǎn)生的數(shù)據(jù)模式配置文件來(lái)讀取一次數(shù)據(jù)庫(kù)中的數(shù)據(jù)。
[0011]本發(fā)明是將一次數(shù)據(jù)分批取出，以最小時(shí)間粒度為單位，將不同批數(shù)據(jù)按查詢(xún)指標(biāo)匯總，并將匯總后的數(shù)據(jù)寫(xiě)入二次數(shù)據(jù)庫(kù)，再對(duì)二次數(shù)據(jù)庫(kù)執(zhí)行查詢(xún)，這樣由于查詢(xún)數(shù)據(jù)量小，可以大大縮短了查詢(xún)時(shí)間，滿(mǎn)足查詢(xún)要求，可以使電力企業(yè)產(chǎn)生的海量動(dòng)態(tài)數(shù)據(jù)按不同時(shí)間粒度進(jìn)行查詢(xún)和統(tǒng)計(jì)。
[0012]本發(fā)明與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn):
(I)減少查詢(xún)數(shù)據(jù)量，加快查詢(xún)速度。采用了二次數(shù)據(jù)庫(kù)技術(shù)，將原來(lái)的海量數(shù)據(jù)，按查詢(xún)最小時(shí)間粒度對(duì)查詢(xún)指標(biāo)進(jìn)行匯總，匯總后數(shù)據(jù)寫(xiě)入二次數(shù)據(jù)庫(kù)，對(duì)部分匯總的數(shù)據(jù)查詢(xún)，減少了查詢(xún)數(shù)據(jù)量，提高了查詢(xún)速度。
[0013](2)采用配置文件保存表結(jié)構(gòu)，增加靈活性。在生成一次數(shù)據(jù)過(guò)程中，將一次數(shù)據(jù)庫(kù)的結(jié)構(gòu)保存到配置文件，為后續(xù)的的數(shù)據(jù)加工模塊提供了一次數(shù)據(jù)庫(kù)的模式，這樣即使源數(shù)據(jù)的模式發(fā)生變化也不會(huì)影響數(shù)據(jù)加工模塊的正確運(yùn)行。
[0014](3)數(shù)據(jù)加工模塊停止或異常中止后，可恢復(fù)運(yùn)行，增加穩(wěn)定性。以時(shí)間為檢查點(diǎn)，可以幫助數(shù)據(jù)加工模塊在異常中止后能正確恢復(fù)運(yùn)行。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0015]圖1為本發(fā)明原理框圖。
【具體實(shí)施方式】
[0016]如圖1所示。滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，通過(guò)程序構(gòu)建數(shù)據(jù)加工模塊、二次數(shù)據(jù)庫(kù)、查詢(xún)統(tǒng)計(jì)模塊，數(shù)據(jù)加工模塊按照相同的時(shí)間間隔從一次數(shù)據(jù)庫(kù)中取得多批數(shù)據(jù)，以查詢(xún)的最小時(shí)間粒度對(duì)不同批數(shù)據(jù)按查詢(xún)指標(biāo)進(jìn)行計(jì)算匯總，生成整理匯總數(shù)據(jù)后寫(xiě)入二次數(shù)據(jù)庫(kù)；二次數(shù)據(jù)庫(kù)存儲(chǔ)經(jīng)數(shù)據(jù)加工模塊運(yùn)算處理過(guò)的數(shù)據(jù)，并為查詢(xún)統(tǒng)計(jì)模塊提供數(shù)據(jù)；查詢(xún)統(tǒng)計(jì)模塊根據(jù)不同查詢(xún)時(shí)間粒度和不同的查詢(xún)指標(biāo)，在二次數(shù)據(jù)庫(kù)中執(zhí)行查詢(xún)統(tǒng)計(jì)。
[0017]數(shù)據(jù)加工模塊按照原有一次數(shù)據(jù)庫(kù)添加數(shù)據(jù)的時(shí)間間隔，取得多批數(shù)據(jù)。
[0018]每個(gè)時(shí)間間隔內(nèi)，數(shù)據(jù)加工模塊首先找出原有一次數(shù)據(jù)庫(kù)中遞增并經(jīng)過(guò)索引的最大時(shí)間，接著根據(jù)最大時(shí)間取出最新一批數(shù)據(jù)。
[0019]數(shù)據(jù)加工模塊，對(duì)一次數(shù)據(jù)庫(kù)中數(shù)據(jù)的加工處理涉及到多張表數(shù)據(jù)，對(duì)每張表數(shù)據(jù)的計(jì)算和寫(xiě)入二次數(shù)據(jù)庫(kù)都使用一個(gè)獨(dú)立的線(xiàn)程，不影響其他功能的運(yùn)行。
[0020]數(shù)據(jù)加工模塊，在涉及多張表數(shù)據(jù)的計(jì)算和輸出時(shí)利用標(biāo)簽的形式集成到一個(gè)界面實(shí)現(xiàn)。
[0021]數(shù)據(jù)加工模塊，如果停止或異常中止后，可在恢復(fù)運(yùn)行后繼續(xù)執(zhí)行，不影響程序的查詢(xún)結(jié)果。
[0022]數(shù)據(jù)加工模塊，根據(jù)寫(xiě)入一次數(shù)據(jù)庫(kù)時(shí)產(chǎn)生的數(shù)據(jù)模式配置文件來(lái)讀取一次數(shù)據(jù)庫(kù)中的數(shù)據(jù)。
[0023]實(shí)施例1，對(duì)一次數(shù)據(jù)按最小時(shí)間粒度匯總，并寫(xiě)入二次數(shù)據(jù)庫(kù)。
[0024]啟動(dòng)數(shù)據(jù)加工模塊，從配置文件中獲取一次數(shù)據(jù)庫(kù)的結(jié)構(gòu)，選擇要操作的表，點(diǎn)擊“啟動(dòng)”按鈕，則程序會(huì)按查詢(xún)指標(biāo)對(duì)每批數(shù)據(jù)進(jìn)行匯總，當(dāng)前的匯總結(jié)果通過(guò)表格顯示出來(lái)。重復(fù)這一過(guò)程，直至使用“輸出”功能將數(shù)據(jù)寫(xiě)入二次數(shù)據(jù)庫(kù)后，再重新匯總。
[0025]使用“輸出”后，將系統(tǒng)將以最小查詢(xún)時(shí)間粒度將匯總后的數(shù)據(jù)存入二次數(shù)據(jù)庫(kù)，同時(shí)清空匯總數(shù)據(jù)以重新開(kāi)始計(jì)算匯總。重復(fù)執(zhí)行這一過(guò)程。
[0026]實(shí)施例2，按不同時(shí)間粒度指定指標(biāo)進(jìn)行查詢(xún)。
[0027]啟動(dòng)查詢(xún)統(tǒng)計(jì)模塊，顯示查詢(xún)界面，選擇不同的查詢(xún)時(shí)間粒度，選擇查詢(xún)的指標(biāo)，選擇查詢(xún)的地區(qū)和發(fā)電機(jī)等，執(zhí)行“查詢(xún)”功能，系統(tǒng)將正確顯示執(zhí)行查詢(xún)的結(jié)果，并將結(jié)果通過(guò)表格等形式展示。
【權(quán)利要求】
1.滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:通過(guò)程序構(gòu)建數(shù)據(jù)加工模塊、二次數(shù)據(jù)庫(kù)、查詢(xún)統(tǒng)計(jì)模塊，所述數(shù)據(jù)加工模塊按照相同的時(shí)間間隔從一次數(shù)據(jù)庫(kù)中取得多批數(shù)據(jù)，以查詢(xún)的最小時(shí)間粒度對(duì)不同批數(shù)據(jù)按查詢(xún)指標(biāo)進(jìn)行計(jì)算匯總，生成整理匯總數(shù)據(jù)后寫(xiě)入二次數(shù)據(jù)庫(kù)；二次數(shù)據(jù)庫(kù)存儲(chǔ)經(jīng)數(shù)據(jù)加工模塊運(yùn)算處理過(guò)的數(shù)據(jù)，并為查詢(xún)統(tǒng)計(jì)模塊提供數(shù)據(jù)；查詢(xún)統(tǒng)計(jì)模塊根據(jù)不同查詢(xún)時(shí)間粒度和不同的查詢(xún)指標(biāo)，在二次數(shù)據(jù)庫(kù)中執(zhí)行查詢(xún)統(tǒng)計(jì)。
2.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:數(shù)據(jù)加工模塊按照原有一次數(shù)據(jù)庫(kù)添加數(shù)據(jù)的時(shí)間間隔，取得多批數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:每個(gè)時(shí)間間隔內(nèi)，數(shù)據(jù)加工模塊首先找出原有一次數(shù)據(jù)庫(kù)中遞增并經(jīng)過(guò)索引的最大時(shí)間，接著根據(jù)最大時(shí)間取出最新一批數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，對(duì)一次數(shù)據(jù)庫(kù)中數(shù)據(jù)的加工處理涉及到多張表數(shù)據(jù)，對(duì)每張表數(shù)據(jù)的計(jì)算和寫(xiě)入二次數(shù)據(jù)庫(kù)都使用一個(gè)獨(dú)立的線(xiàn)程，不影響其他功能的運(yùn)行。
5.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，在涉及多張表數(shù)據(jù)的計(jì)算和輸出時(shí)利用標(biāo)簽的形式集成到一個(gè)界面實(shí)現(xiàn)。
6.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，如果停止或異常中止后，可在恢復(fù)運(yùn)行后繼續(xù)執(zhí)行，不影響程序的查詢(xún)結(jié)果。
7.根據(jù)權(quán)利要求1所述的滿(mǎn)足不同時(shí)間粒度的海量動(dòng)態(tài)數(shù)據(jù)的快速查詢(xún)方法，其特征在于:所述的數(shù)據(jù)加工模塊，根據(jù)寫(xiě)入一次數(shù)據(jù)庫(kù)時(shí)產(chǎn)生的數(shù)據(jù)模式配置文件來(lái)讀取一次數(shù)據(jù)庫(kù)中的數(shù)據(jù)。
【文檔編號(hào)】G06F17/30GK103605664SQ201310499884
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】陳穎, 黃少偉, 汪國(guó)武, 胡平 申請(qǐng)人:蕪湖大學(xué)科技園發(fā)展有限公司