一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，屬于電力技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]在對電力行業(yè)大數(shù)據(jù)進(jìn)行挖掘分析的過程中，經(jīng)常會遇到要在各種數(shù)據(jù)格式之間進(jìn)行轉(zhuǎn)換，有些時候?yàn)榱说玫奖容^高的效率和處理性能，數(shù)據(jù)分析過程中的大量中間緩存格式是非標(biāo)準(zhǔn)結(jié)構(gòu)的自定義格式。我們不得進(jìn)行大量的重復(fù)性的數(shù)據(jù)格式轉(zhuǎn)換工作，大部分情況下而格式轉(zhuǎn)換工作通過直接編碼的方式進(jìn)行，由于直接編碼轉(zhuǎn)換會導(dǎo)致代碼缺乏標(biāo)準(zhǔn)數(shù)據(jù)與格式強(qiáng)耦合不可重復(fù)利用，這樣就導(dǎo)致了工作效率低下。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是:針對現(xiàn)有技術(shù)的上的缺陷，提供一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，用于解決不能數(shù)據(jù)交換過程中動態(tài)靈活處理數(shù)據(jù)交換格式的難點(diǎn)，以克服現(xiàn)有技術(shù)的不足。
[0004]本發(fā)明的技術(shù)方案
一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，該方法包括以下步驟，
步驟1:分析數(shù)據(jù)結(jié)構(gòu)，分析需要用于數(shù)據(jù)交換的電力行業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)分析，生成數(shù)據(jù)模型；
步驟2:編寫數(shù)據(jù)格式規(guī)則，通過Velocity語法編寫符合實(shí)際需求的定義的靈活的數(shù)據(jù)傳輸交換格式，并生成數(shù)據(jù)格式交換模板；
步驟3:編寫加載類，利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個類；
步驟4:利用Java語言并采用Velocity模板引擎編寫數(shù)據(jù)驅(qū)動類，將步驟3中的兩個加載類的輸出結(jié)果作為數(shù)據(jù)驅(qū)動類的輸入，通過驅(qū)動類生成最終的動態(tài)文本交換格式。
[0005]前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟I (分析數(shù)據(jù)結(jié)構(gòu))包括以下子步驟:
S1.1:從電力營銷系統(tǒng)、計(jì)量自動化系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺等抽取文本類型的數(shù)據(jù)到電網(wǎng)行業(yè)Hadoop大數(shù)據(jù)平臺的HDFS文件系統(tǒng)上；
S1.2:分析抽取到Hadoop大數(shù)據(jù)處理平臺上的文本數(shù)據(jù)，通過將原有的數(shù)據(jù)結(jié)構(gòu)進(jìn)行精簡適合于數(shù)據(jù)挖掘的簡單結(jié)構(gòu)保存于hive數(shù)據(jù)倉庫之中；
S1.3:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定特定列式結(jié)構(gòu)的數(shù)據(jù)模型；
S1.4:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定列式結(jié)構(gòu)的數(shù)據(jù)模型。
[0006]前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟2(編寫數(shù)據(jù)格式規(guī)則)包括以下子步驟:
S2.1:根據(jù)步驟I的數(shù)據(jù)模型，編寫數(shù)據(jù)格式模板，該模板包含最終數(shù)據(jù)交換格式的基本格式。
[0007]S2.2:將步驟S2.1中數(shù)據(jù)格式模板的基本模板中需要用數(shù)據(jù)填充的部分使用Velocity語法用占位符號進(jìn)行修改，形成帶有基本數(shù)據(jù)結(jié)構(gòu)的格式模板；
S2.3:將步驟S2.2中的編寫的模板進(jìn)一步修改，將帶有數(shù)據(jù)集合的模板區(qū)塊使用Velocity條件控制、循環(huán)語法進(jìn)行控制輸出，形成數(shù)據(jù)格式模板；
S2.4:將步驟S2.3中的編寫的模板首行之前增加額外一行頭信息，該部分按順序用“，”號分割，包含如下順序的信息；
1、數(shù)據(jù)模型文件hdfs地址；
2、數(shù)據(jù)模型加載類名稱全路徑；
3、數(shù)據(jù)格式規(guī)則加載類全路徑；
52.5:將步驟S2.4中的編寫的模板保存在hdfs上。
[0008]前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，步驟S2.1中數(shù)據(jù)交換格式根據(jù)使用者對數(shù)據(jù)交換格式的實(shí)際需求，將數(shù)據(jù)交換格式定義為xml、json、csv等行業(yè)標(biāo)準(zhǔn)格式或定義成非標(biāo)準(zhǔn)格式。
[0009]前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟3 (編寫加載類)利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個類，包括以下子步驟:
53.1:編寫數(shù)據(jù)模型加載類，該類包含的功能特征是:
1)讀取hdfs文件系統(tǒng)上的數(shù)據(jù)模型文件；
2)遍歷數(shù)據(jù)模型列式結(jié)構(gòu)；
3)生成用于填充數(shù)據(jù)規(guī)則模板的Java數(shù)據(jù)對象模型；
53.2:數(shù)據(jù)格式規(guī)則加載類，該類包含的功能特征是:
1)讀取hdfs數(shù)據(jù)格式規(guī)則模板文件；
2)解析數(shù)據(jù)格式規(guī)則模板，將頭信息以及數(shù)據(jù)格式信息分離；
3)生成頭信息Java對象；
4)生成數(shù)據(jù)格式模板的Java映射對象。
[0010]前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟4包括以下子步驟:
54.1:根據(jù)步驟3的輸出的Java數(shù)據(jù)對象、頭信息Java對象、數(shù)據(jù)格式模板Java映射對象做為數(shù)據(jù)驅(qū)動類的輸入?yún)?shù)傳入數(shù)據(jù)驅(qū)動類；
S4.2:根據(jù)步驟S4.1數(shù)據(jù)驅(qū)動類將組合并整理以上輸入?yún)?shù)形成統(tǒng)一的Java數(shù)據(jù)對象模型以及模板文件描述對象。
[0011]S4.3:數(shù)據(jù)驅(qū)動類調(diào)用Velocity模板引擎的相應(yīng)模板生成方法，生成最終符合需求的數(shù)據(jù)結(jié)構(gòu)文本。
[0012]S4.4:數(shù)據(jù)驅(qū)動類輸出的結(jié)果可以根據(jù)需求放置于hdfs、數(shù)據(jù)庫、本地文件系統(tǒng)上，也可以作為輸入源直接輸出至下一個MapReduce任務(wù)、Spark任務(wù)、Storm流任務(wù)中去。
[0013]由于采用了上述技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明解決了在大數(shù)據(jù)挖掘分析過程中數(shù)據(jù)傳輸格式需要能靈活的根據(jù)項(xiàng)目對于傳輸時間、數(shù)據(jù)體量、異構(gòu)系統(tǒng)之間數(shù)據(jù)傳輸格式多樣，使數(shù)據(jù)交換能有側(cè)重的進(jìn)行轉(zhuǎn)換的實(shí)際需求，并滿足了系統(tǒng)間對于動態(tài)的管理數(shù)據(jù)傳輸格式的需求。使得在兼容傳統(tǒng)數(shù)據(jù)傳輸格式(xml、jsorucsv等)的同時又能自定義任何格式的文本數(shù)據(jù)，極大的提高了動態(tài)文本數(shù)據(jù)交換格式的管理能力。
【附圖說明】
[0014]附圖1是本發(fā)明所描述的數(shù)據(jù)格式轉(zhuǎn)換器在整個數(shù)據(jù)格式處理流程圖；
附圖2是本發(fā)明所描述的數(shù)據(jù)格式轉(zhuǎn)換器的內(nèi)部工作流程。
【具體實(shí)施方式】
[0015]下面結(jié)合附圖對本發(fā)明用作進(jìn)一步的詳細(xì)說明，但不作為對本發(fā)明的任何限制。
[0016]本發(fā)明的實(shí)施例:通過結(jié)合附圖1、附圖2以及上述提到的基于Velocity模板引擎的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，按照以下步驟即可完成實(shí)施:
步驟1:分析數(shù)據(jù)結(jié)構(gòu)，分析需要用于數(shù)據(jù)交換的電力行業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)分析，生成數(shù)據(jù)模型；
該步驟I (分析數(shù)據(jù)結(jié)構(gòu))包括以下子步驟:
S1.1:從電力營銷系統(tǒng)、計(jì)量自動化系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺等抽取文本類型的數(shù)據(jù)到電網(wǎng)行業(yè)Hadoop大數(shù)據(jù)平臺的HDFS文件系統(tǒng)上(這一步驟僅包含脫敏后的用于數(shù)據(jù)挖掘的文本類型數(shù)據(jù))；
51.2:分析抽取到Hadoop大數(shù)據(jù)處理平臺上的文本數(shù)據(jù)，通過將原有的數(shù)據(jù)結(jié)構(gòu)進(jìn)行精簡適合于數(shù)據(jù)挖掘的簡單結(jié)構(gòu)保存于hive數(shù)據(jù)倉庫之中。
[0017]S1.3:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定特定列式結(jié)構(gòu)的數(shù)據(jù)模型。
[0018]S1.4:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定列式結(jié)構(gòu)的數(shù)據(jù)模型。
[0019]步驟2:編寫數(shù)據(jù)格式規(guī)則，通過Velocity語法編寫符合實(shí)際需求的定義的靈活的數(shù)據(jù)傳輸交換格式，并生成數(shù)據(jù)格式交換模板；
步驟2 (編寫數(shù)據(jù)格式規(guī)則)包括以下子步驟:
52.1:根據(jù)步驟I的數(shù)據(jù)模型，編寫數(shù)據(jù)格式模板，該模板包含最終數(shù)據(jù)交換格式的基本格式(數(shù)據(jù)交換格式根據(jù)使用者對數(shù)據(jù)交換格式的實(shí)際需求，將數(shù)據(jù)交換格式定