本發(fā)明涉及錄波數(shù)據(jù)文件的存儲和分析，是一種大數(shù)據(jù)環(huán)境下，基于NoSQL數(shù)據(jù)庫的一種存儲方法。
背景技術：
：：隨著數(shù)字信息化時代的迅猛發(fā)展，信息量也呈爆炸性增長態(tài)勢。在人類充分享受信息化帶來的資訊、方便和快捷時，也使得全球的數(shù)字信息資源正進入到一個前所未有的快速增長期。據(jù)IDC統(tǒng)計，2011年全球數(shù)據(jù)量已達到1.8ZB，相當于全世界人均產(chǎn)生200GB以上的數(shù)據(jù)，并且還將以每年50％的速度繼續(xù)增長。在這洶涌來襲的數(shù)據(jù)浪潮下，社會各個領域也將開始其數(shù)據(jù)化進程。無論學術界、商界還是政府，都將不可避免的進入“大數(shù)據(jù)時代”。作為全球第二大經(jīng)濟體的基礎能源支撐體系，中國電力工業(yè)概莫能外。電力行業(yè)中數(shù)據(jù)量的增長也呈現(xiàn)出相似的態(tài)勢。近幾年，電力行業(yè)信息化也得到了長足的發(fā)展，我國電力企業(yè)信息化起源于20世紀60年代，從初始電力生產(chǎn)自動化到80年代以財務電算化為代表的管理信息化建設，再到近年大規(guī)模的企業(yè)信息化建設，特別伴隨著下一代智能化電網(wǎng)的全面建設，以物聯(lián)網(wǎng)和云計算為代表的新一代IT技術在電力行業(yè)中的廣泛應用，電力數(shù)據(jù)資源開始急劇增長并形成了一定的規(guī)模。從長遠來看，作為中國經(jīng)濟社會發(fā)展的“晴雨表”，電力數(shù)據(jù)以其與經(jīng)濟發(fā)展緊密而廣泛的聯(lián)系，將會呈現(xiàn)出無以倫比的正外部性，對我國經(jīng)濟社會發(fā)展以至人類社會進步也將形成更為強大的推動力。技術實現(xiàn)要素：本發(fā)明的目的在于提供一種基于NoSQL數(shù)據(jù)庫的錄波文件存儲方法，本發(fā)明采用關系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫相結合的方式對錄波文件進行存儲，關系型數(shù)據(jù)庫存儲錄波配置文件，NoSQL數(shù)據(jù)庫采用HBase數(shù)據(jù)庫存儲錄波數(shù)據(jù)文件。本發(fā)明的技術方案如下：一種基于NoSQL數(shù)據(jù)庫的錄波文件存儲方法，包括如下內容：1)錄波配置文件的存儲1.1)錄波配置文件表結構定義錄波配置文件名以“.cfg”結尾，其存儲的錄波配置文件為結構化數(shù)據(jù)，具體包括采樣頻率、信道數(shù)、行頻以及信道信息等內容。這些內容采用關系庫存儲，為此定義了四個表，分別為“錄波文件描述表、錄波文件頻率表、狀態(tài)量點表、模擬量點表”，各表具體內容如下表1-1、1-2、1-3、1-4所示，對應的表結構及其關系如圖1所示：在圖1中所示，CFG_FILE_Desc,Sample_Rate_List,Analog_Channel,Status_Channel為關系庫中定義的四個表，存儲配置文件信息；TimesDig和TimesAna為列族數(shù)據(jù)庫(HBase)中定義的數(shù)據(jù)表，存儲數(shù)據(jù)文件信息。配置文件描述表和其它幾個表是一對多的關系，具體各個字段描述如下表所示：表1-1表1-2表1-3表1-41.2)對錄波配置文件進行存儲，具體流程為：(a1)創(chuàng)建關系數(shù)據(jù)庫中步驟1.1中的四種表；(b1)讀取配置文件，并且解析為各個表結構的數(shù)據(jù)；(c1)按照先父表后子表的順序將數(shù)據(jù)插入，插入表CFG_File_Desc結構的數(shù)據(jù)后會產(chǎn)生全局唯一GUID，GUID作為其它表的關鍵字段進行輸入，否則依據(jù)表的“參照完整性”定義，會存儲數(shù)據(jù)失敗。2)錄波數(shù)據(jù)文件的存儲2.1)錄波數(shù)據(jù)文件存儲定義錄波數(shù)據(jù)文件包含了各個遙測和遙信通道壓縮后的采樣值，遙測和遙信通道在錄波配置文件中定義。錄波數(shù)據(jù)文件的查詢經(jīng)常為一個數(shù)據(jù)文件的一個信道的完整數(shù)據(jù)，采用NoSQL數(shù)據(jù)庫的一種列族數(shù)據(jù)庫進行存儲。依據(jù)固定了遙測遙信兩種通道，列族數(shù)據(jù)庫創(chuàng)建兩個數(shù)據(jù)表：遙測表TimesDig和遙信表TimesAna，如圖1所示。這兩個表主鍵采用版本號+GUID+通道號的方式，方便按通道查找數(shù)據(jù)；每個錄波配置文件中定義的的信道數(shù)量不一，因此將信道名+結束的點數(shù)為列名，存儲為多列；由于列族數(shù)據(jù)按byte數(shù)組存儲數(shù)據(jù)，因此將數(shù)據(jù)轉化成byte數(shù)組進行存儲。具體結構如下表2：表22.2)對錄波數(shù)據(jù)文件進行存儲，具體流程為：(a2)按通道讀取錄波數(shù)據(jù)文件內容；(b2)根據(jù)信道數(shù)產(chǎn)生分割數(shù)據(jù)形成多個數(shù)據(jù)的數(shù)組；(c2)在列族數(shù)據(jù)庫中按行健設置列名，存儲數(shù)據(jù)。本發(fā)明對比現(xiàn)有技術，有如下優(yōu)點：1.錄波文件存儲到數(shù)據(jù)庫中，集中管理，增加了索引，方便了查詢，改變了文件存儲查詢較慢的問題。2.錄波文件存儲到數(shù)據(jù)庫中，形成了集中、統(tǒng)一的存儲方式，方便了存儲容量的擴充，改變了本地存儲的限制。3.本發(fā)明提供一種大數(shù)據(jù)的存儲方式，通過可擴展的列族數(shù)據(jù)，能夠存儲非常大量的錄波文件。通過這些大量的錄波數(shù)據(jù)，可以進行機器學習，智能分析，產(chǎn)生更大的價值，改變了錄波文件遠程調取，人為分析的舊的模式。附圖說明圖1錄波文件E-R圖。具體實施方式以下是按照方法流程的一個實際案例，解析的文件為“DRL600C_DRec_119313_20140531_065437_121.cfg”，包含了數(shù)據(jù)庫表的創(chuàng)建，數(shù)據(jù)的插入等內容。利用數(shù)據(jù)庫所建立的索引，方便了數(shù)據(jù)的查詢，對于大數(shù)據(jù)下的智能分析，不在本方法描述范圍內。1.依照E-R圖設計，創(chuàng)建關系庫表，以sql語句為標準，通過創(chuàng)建具有相互關聯(lián)的數(shù)據(jù)庫表，具體為：a)創(chuàng)建表CFG_File_Desc：CreatetableCFG_File_Desc(Station_Namevarchar(64)NOTNULL,Recording_Device_IDvarchar(64)notnull,Revision_Yearinteger,Tatal_Channel_Countinteger,Analog_Channel_Countinteger,Status_Channel_Countinteger,Line_FrequencyFLOAT,Sample_Rate_Countinteger,File_Start_TimeTIMESTAMP,Trigger_TimeTIMESTAMP,File_Typeinteger,Time_Multiplierinteger,GUIDserialunique,HDR_FileTEXT,INF_FileTEXT,PRIMARYKEY(Station_Name,Recording_Device_ID,Trigger_Time))b)創(chuàng)建表：Sample_Rate_ListCreatetablesample_rate_list(GUIDintegerreferencesCFG_File_Desc(GUID),Numberinteger,Samp_Ratefloat,Start_Sampinteger,End_Sampinteger,PRIMARYKEY(GUID,Number))c)創(chuàng)建表Analog_ChannelCreatetableanalog_channel(GUIDintegerreferencesCFG_File_Desc(GUID),Channel_IDinteger,Channel_Namevarchar(64),Phase_IDvarchar(2),Monitored_Componentvarchar(64),Channel_Unitsvarchar(32),Channel_Multiplierfloat,Channel_Offsetfloat,Channel_Skewfloat,Range_Min_Limit_Valueinteger,Range_Max_Limit_Valueinteger,Channel_Ratio_Primaryfloat,Channel_Ratio_Secondaryfloat,Data_Primary_Secondaryinteger,PRIMARYKEY(GUID,Channel_ID))d)創(chuàng)建表Status_ChannelCreatetabletest1.status_channel(GUIDintegerreferencestest1.CFG_File_Desc(GUID),Channel_IDinteger,Channel_Namevarchar(64),Phase_IDvarchar(2),Monitored_Componentvarchar(64),Normal_Stateinteger,PRIMARYKEY(GUID,Channel_ID))2.讀取配置文件*.cfg，獲取相關內容，形成sql插入語句：a)插入CFG_File_Desc表中數(shù)據(jù)：insertintocfg_file_desc(station_name,recording_device_ID,revision_year,tatal_channel_count,analog_channel_count,status_channel_count,line_frequency,sample_rate_count,file_start_time,trigger_time,file_type,time_multiplier,file_name)values('浙江.半山廠','#8號發(fā)變組故錄DRL600A',1999,288,96,192,50.000000,2,'2014-05-3106:05:37.001000','2014-05-3106:05:37.121000',1,1.000000,'DRL600C_DRec_119313_20140531_065437_121.cfg')b)獲取自動生成的GUID，執(zhí)行下面sql后得到guid＝3658selectstation_device_idfromcfg_file_descwhereStation_Name＝'浙江.半山廠'andRecording_Device_ID＝'#8號發(fā)變組故錄DRL600A'andtrigger_time＝'2014-05-3106:05:37.121000'c)插入Sample_Rate_List表中數(shù)據(jù)：這里有兩個頻率段，顧插入兩條記錄insertintosample_rate_list(station_device_id,number,samp_rate,start_samp,end_samp)values(3658,1,4800.000000,0,576)insertintosample_rate_list(station_device_id,number,samp_rate,start_samp,end_samp)values(3658,2,4800.000000,577,45504)d)插入Analog_Channel表中數(shù)據(jù)，以下是一條通道內容，實際會循環(huán)插入所有通道數(shù)據(jù)。insertintoanalog_channel(station_device_id,channel_id,channel_name,phase_id,monitored_Component,channel_units,channel_multiplier,channel_offset,channel_skew,range_min_limit_value,range_max_limit_value,channel_ratio_primary,channel_ratio_secondary,data_primary_secondary)values(3658,0,'發(fā)電機機端電壓Ua','A','發(fā)電機','V',0.006200,0.000000,0.000000,-32767,32767,1.000000,1.000000,2)e)插入Status_Channel表中數(shù)據(jù)，以下是一條通道內容，實際會循環(huán)插入所有通道數(shù)據(jù)。insertintostatus_channel(station_device_id,channel_id,channel_name,phase_id,monitored_component,normal_state)values(3658,0,'主變保護AB柜主變差動保護動作',”,”,69317296)3.創(chuàng)建列族數(shù)據(jù)庫表按定義的表名TimesDig和TimesAna，調用系統(tǒng)接口創(chuàng)建數(shù)據(jù)表。4.插入列族數(shù)據(jù)庫a)根據(jù)定義產(chǎn)生行?。?003658001,1是版本號，003658是guid，001為通道號b)根據(jù)配置文件定義兩個列名：i.4800.000000,576ii.4800.000000,45504c)為每個列存儲數(shù)據(jù)d)再循環(huán)到下一個通道繼續(xù)存儲。本發(fā)明的實施方式不限于此，在本發(fā)明上述基本技術思想前提下，按照本領域的普通技術知識和慣用手段對本
發(fā)明內容所做出其它多種形式的修改、替換或變更，均落在本發(fā)明權利保護范圍之內。當前第1頁1 2 3 當前第1頁1 2 3