一種試驗數(shù)據(jù)存儲系統(tǒng)及方法
【專利摘要】本發(fā)明涉及一種試驗數(shù)據(jù)存儲系統(tǒng)及方法，包括數(shù)據(jù)存儲平臺和數(shù)據(jù)存儲中心，數(shù)據(jù)存儲平臺包括數(shù)據(jù)分類模塊、附件存儲模塊、索引信息生成模塊、解析規(guī)則模塊、非時域、頻域數(shù)據(jù)存儲模塊以及時域、頻域數(shù)據(jù)存儲模塊；數(shù)據(jù)存儲中心包括關系數(shù)據(jù)庫以及文件數(shù)據(jù)庫；解析規(guī)則模塊用于將結構化數(shù)據(jù)分為非時域、頻域數(shù)據(jù)和時域、頻域數(shù)據(jù)；關系數(shù)據(jù)庫用于存儲根據(jù)試驗數(shù)據(jù)類型建立匹配的表單；文件數(shù)據(jù)庫存儲文件數(shù)據(jù)。本發(fā)明解決了現(xiàn)有遠程試車數(shù)據(jù)量大，管理復雜的技術問題，本發(fā)明能夠實現(xiàn)多參數(shù)時域、頻域文件的解析入庫，且解析成多個參數(shù)的文件形式，為后續(xù)曲線繪制，建立基礎。
【專利說明】一種試驗數(shù)據(jù)存儲系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明屬于發(fā)動機試驗數(shù)據(jù)數(shù)字化領域，具體涉及一種用于發(fā)動機地面試驗數(shù)據(jù) 存儲方法。
【背景技術】
[0002]隨著試驗任務急劇增加，使得多年來試驗積累的數(shù)據(jù)和現(xiàn)有的試車數(shù)據(jù)資料以令 人難以想象的速度急劇膨脹。試驗數(shù)據(jù)承載著大量有價值的試驗信息，凝結了實驗人員的 時間和精力，是多種型號發(fā)動機發(fā)展的記憶和重要的知識儲備資源。但是，現(xiàn)有技術缺少對 有效的試驗數(shù)據(jù)管理系統(tǒng)，導致對試車試驗數(shù)據(jù)的維護和有效利用都非常困難，數(shù)據(jù)的完 整性、一致性、安全性和可用性也難以保障。試驗數(shù)據(jù)管理問題正在成為影響試車數(shù)據(jù)綜合 分析和有效利用的新瓶頸。目前試驗數(shù)據(jù)的特點:
[0003](I)持續(xù)增加的海量數(shù)據(jù)
[0004]試驗獲得發(fā)動機推力、溫度、壓力、流量、振動等測量數(shù)據(jù)。測量通道少則幾十路， 多則上百多路，每路的采樣頻率從每秒幾個點到每秒幾萬個點不等。每年這樣的試驗不少 于10次，目前，通過幾十年數(shù)據(jù)的積累，總的原始數(shù)據(jù)量(穩(wěn)態(tài)+動態(tài))已經接近1T(1024G)， 并且這樣的數(shù)據(jù)量還將持續(xù)不斷地產生。
[0005](2)非標準的數(shù)據(jù)格式
[0006]通過數(shù)據(jù)采集系統(tǒng)產生的原始數(shù)據(jù)文件格式缺乏一致性標準，并且隨著測試對 象的變化和測試軟件的發(fā)展，數(shù)據(jù)文件中記錄的內容和格式也不斷在變化，導致了一段時 期的數(shù)據(jù)文件必須有一種處理軟件與之相對應，不同時期的數(shù)據(jù)文件和處理軟件互相不兼 容。因此對數(shù)據(jù)的標準化處理應該是試車數(shù)據(jù)管理系統(tǒng)首要解決的問題。
[0007](3)數(shù)據(jù)信息的孤立性
[0008]數(shù)據(jù)的分散導致資源難以共享，與總體及下屬單位之間數(shù)據(jù)難以交換和檢索、弓丨 用，形成一個個數(shù)據(jù)孤島，帶來大量的重復勞動，對航天液體動力系統(tǒng)的性能提升、保障研 制進度造成較大影響。
[0009]因此，迫切需要建立一個遠程試車數(shù)據(jù)的管理平臺，其首要任務是對數(shù)據(jù)進行分 類存儲管理，為后續(xù)利用和深度分析打下基礎，以提高數(shù)據(jù)信息化管理的能力和水平。該方 法針對大批量文件數(shù)據(jù)實現(xiàn)快速、分類存儲。

【發(fā)明內容】

[0010]為了解決現(xiàn)有遠程試車數(shù)據(jù)量大，管理復雜的技術問題，本發(fā)明提一種試驗數(shù)據(jù) 存儲系統(tǒng)及方法。
[0011]本發(fā)明的技術解決方案:
[0012]一種數(shù)據(jù)存儲系統(tǒng)，其特殊之處在于:包括數(shù)據(jù)存儲平臺和數(shù)據(jù)存儲中心，所述數(shù) 據(jù)存儲平臺包括數(shù)據(jù)分類模塊、附件存儲模塊、索引信息生成模塊、解析規(guī)則模塊、非時域、 頻域數(shù)據(jù)解析模塊以及時域和頻域數(shù)據(jù)解析模塊；[0013]所述數(shù)據(jù)存儲中心包括關系數(shù)據(jù)庫以及文件數(shù)據(jù)庫；
[0014]所述數(shù)據(jù)分類模塊用于接收數(shù)據(jù)源，并將接收到的數(shù)據(jù)源根據(jù)數(shù)據(jù)格式的不同分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)；
[0015]所述附件存儲模塊實現(xiàn)非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)中的原始數(shù)據(jù)存儲功能， 非結構化數(shù)據(jù)存儲通過以附件形式上傳數(shù)據(jù)，文件數(shù)據(jù)庫在磁盤中開辟一定的存儲空間， 進行文件名稱創(chuàng)建和數(shù)據(jù)寫入；
[0016]所述索引信息生成模塊用于非結構化數(shù)據(jù)和結構化數(shù)據(jù)生成文件索引信息，并依次存儲在關系數(shù)據(jù)庫內；所述文件索引信息包括文件大小、文件通道名稱以及文件存儲路徑;
[0017]所述解析規(guī)則模塊用于將結構化數(shù)據(jù)根據(jù)是否與時域和頻域相關分為非時域、頻域數(shù)據(jù)和時域、頻域數(shù)據(jù)，并將非時域、頻域數(shù)據(jù)發(fā)送給非時域、頻域數(shù)據(jù)存儲模塊，同時將時域、頻域數(shù)據(jù)發(fā)送給時域、頻域數(shù)據(jù)存儲模塊；
[0018]所述非時域、頻域數(shù)據(jù)存儲模塊針對非時域、頻域數(shù)據(jù)，進行數(shù)據(jù)內容提取后寫入關系數(shù)據(jù)庫的表空間的對應表單內；
[0019]所述時域、頻域數(shù)據(jù)存儲模塊在文件數(shù)據(jù)庫中建立一定存儲空間，根據(jù)參數(shù)個數(shù)分別生成以時間列和每個參數(shù)列構成的總參數(shù)數(shù)量的*.tdmdf格式文件，所述文件名稱包括原文件名+參數(shù)代號+日期；
[0020]所述關系數(shù)據(jù)庫用于存儲根據(jù)試驗數(shù)據(jù)類型建立匹配的表單，并將接收到的文件索引信息對應存儲在相應的表單內；
[0021 ] 所述文件數(shù)據(jù)庫存儲文件數(shù)據(jù)。
[0022]一種數(shù)據(jù)存儲方法，其特殊之處在于:包括以下步驟:
[0023]I】建立數(shù)據(jù)庫:
[0024]所述數(shù)據(jù)庫包括關系數(shù)據(jù)庫和文件數(shù)據(jù)庫，
[0025]在關系數(shù)據(jù)庫內 建立表空間，并存儲根據(jù)試驗數(shù)據(jù)類型建立匹配的表單；
[0026]2】數(shù)據(jù)存儲平臺接收數(shù)據(jù)源，數(shù)據(jù)分類模塊將接收數(shù)據(jù)源根據(jù)數(shù)據(jù)格式的不同分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)；
[0027]3】附件存儲模塊實現(xiàn)非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)中的原始數(shù)據(jù)存儲功能，非結構化數(shù)據(jù)存儲通過以附件形式上傳數(shù)據(jù)，文件數(shù)據(jù)庫在磁盤中開辟一定的存儲空間，進行文件名稱創(chuàng)建和數(shù)據(jù)寫入；
[0028]索引信息生成模塊將非結構化數(shù)據(jù)和結構化數(shù)據(jù)生成文件索引信息，并依次存儲在關系數(shù)據(jù)庫對應表單內；文件索引信息包括文件大小、文件通道名稱以及文件存儲路徑;
[0029]4】解析規(guī)則模塊將結構化數(shù)據(jù)根據(jù)是否與時域和頻域相關分為非時域、頻域數(shù)據(jù)和時域、頻域數(shù)據(jù)，并將非時域、頻域數(shù)據(jù)發(fā)送給非時域、頻域數(shù)據(jù)存儲模塊，同時將時域、 頻域數(shù)據(jù)發(fā)送給時域、頻域數(shù)據(jù)存儲模塊；
[0030]5】非時域、頻域數(shù)據(jù)存儲模塊針對非時域、頻域數(shù)據(jù)，進行數(shù)據(jù)內容提取后寫入關系數(shù)據(jù)庫的表空間的對應表單內；
[0031 ] 時域、頻域數(shù)據(jù)存儲模塊在數(shù)據(jù)庫文件內存中建立一定存儲空間，分別生成以時間列和每個參數(shù)列構成的總參數(shù)數(shù)量的*.tdmdf?格式文件，所述文件名稱包括原文件名+參數(shù)代號+日期。
[0032]本發(fā)明所具有的優(yōu)點:
[0033]1、本發(fā)明通過對試驗數(shù)據(jù)分類，將其分為結構化數(shù)據(jù)、非結構化數(shù)據(jù)兩大類；實現(xiàn)試驗數(shù)據(jù)在數(shù)據(jù)庫、文件系統(tǒng)中的統(tǒng)一存儲,文件格式包括*.UFF、*.txt、*.doc、*.mdb格式和附近數(shù)據(jù)(壓縮包、圖片、音頻、視頻格式);實現(xiàn)速變大文件O 50Mbytes)的快速存儲；
[0034]2、本發(fā)明能夠實現(xiàn)多參數(shù)時域、頻域文件的解析入庫，且解析成多個參數(shù)的文件形式，為后續(xù)曲線繪制，建立基礎；同時實現(xiàn)非時域、頻域文件的緩變參數(shù)數(shù)據(jù)解析入庫，為后續(xù)數(shù)據(jù)比對分析建立基礎；
[0035]3、本發(fā)明實現(xiàn)附件類數(shù)據(jù)快速上傳至文件系統(tǒng)中，為后續(xù)圖片、視頻、音頻等附件查看建立基礎；存儲功能的實現(xiàn)為數(shù)據(jù)處理和數(shù)據(jù)分析的打下數(shù)據(jù)基礎，對提高試驗數(shù)據(jù)信息化管理水平和數(shù)據(jù)管理效率具有重要意義。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明存儲系統(tǒng)的平臺結構圖；
[0037]圖2為本發(fā)明存儲系統(tǒng)的原理圖；
[0038]圖3為本發(fā)明數(shù)據(jù)存儲流程示意圖；
[0039]圖4為*? txt文件操作界面；
[0040]圖5為*? mdb格式文件操作界面；
[0041]圖6為*? doc文件上傳；
[0042]圖7為壓縮包文件上傳；
[0043]圖8為圖片、視頻 類型文件上傳；
[0044]圖9為曲線顯示訪問圖。
【具體實施方式】
[0045]I平臺搭建，如圖1所示，
[0046]系統(tǒng)管理能力:支持200T以上的試驗數(shù)據(jù)管理能力；
[0047]操作系統(tǒng):Windowsserver2003 ；
[0048]基數(shù)數(shù)據(jù)庫:0raclel0g搭；
[0049]存儲方式:采用關系數(shù)據(jù)庫+文件數(shù)據(jù)庫組合方式存儲；
[0050]試驗數(shù)據(jù)管理系統(tǒng):系統(tǒng)提供一套完備的、針對試驗數(shù)據(jù)特點的存儲模型和服務， 其中既包含用于存儲結構化試驗數(shù)據(jù)的大型關系數(shù)據(jù)庫系統(tǒng)，也包含了用于存儲非結構化數(shù)據(jù)的工程文件系統(tǒng)。
[0051]2數(shù)據(jù)來源
[0052]試驗數(shù)據(jù)，按來源包括試驗前文件數(shù)據(jù)(試驗任務書、試驗資源、試驗指導書)、準備過程數(shù)據(jù)(質量記錄、報告表)、試驗結果數(shù)據(jù)(緩變、速變數(shù)據(jù))。
[0053]3創(chuàng)建關系數(shù)據(jù)庫
[0054]建立表空間，根據(jù)試驗數(shù)據(jù)類型建立匹配的表單。
[0055]4存儲機理
[0056]存儲實現(xiàn)通過數(shù)據(jù)分類模塊、附件存儲模塊、索引存儲模塊、索引信息生成模塊、解析規(guī)則模塊、非時域、頻域數(shù)據(jù)存儲模塊、時域、頻域數(shù)據(jù)存儲模塊實現(xiàn)。其中各模塊間關 系，見圖2。各模塊的主要功能如下:
[0057]4.1數(shù)據(jù)分類模塊:對數(shù)據(jù)進行分類，針對各分類制定相應存儲處理方式。數(shù)據(jù)包 括.UFF、*.txt、*.doc、*.mdb格式和附件數(shù)據(jù)(壓縮包、圖片、音頻、視頻格式)數(shù)據(jù)。通過 文件內容的不同分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)兩大類。
[0058]4.2附件存儲模塊:主要實現(xiàn)非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)中的原始數(shù)據(jù)存儲 功能，非結構化數(shù)據(jù)存儲通過以附件形式上傳數(shù)據(jù)，文件系統(tǒng)在磁盤中開辟一定的存儲空 間，進行文件名稱創(chuàng)建和數(shù)據(jù)寫入。
[0059]4.3索引信息生成模塊:生成索引信息目的是與試驗任務關聯(lián)。結構化時域、頻域 數(shù)據(jù)生成參數(shù)索引信息，包括:文件參數(shù)名稱，開始時間、頻率，結束時間、頻率；其余數(shù)據(jù) 生成文件索引信息，包括:文件大小，文件(通道)名稱，文件路徑。
[0060]4.4解析規(guī)則模塊:主要針對結構化數(shù)據(jù)，制定相應的解析規(guī)則，用于規(guī)則選擇后 解析。結構化數(shù)據(jù)即需要解析數(shù)據(jù)進行規(guī)則選擇，解析規(guī)則主要有兩大類，一類是時域、頻 域的參數(shù)數(shù)據(jù)解析規(guī)則，另一類是非時域、頻域數(shù)據(jù)解析規(guī)則。
[0061]4.5非時域、頻域數(shù)據(jù)解析模塊:主要針對結構化數(shù)據(jù)中的非時域、頻域解析數(shù) 據(jù)，進行數(shù)據(jù)內容提取后寫入數(shù)據(jù)庫的表空間的對應表單中，創(chuàng)建相應關聯(lián)表單進行數(shù)據(jù) 存儲。
[0062]4.6時域、頻域數(shù)據(jù)解析模塊:主要針對機構化數(shù)據(jù)中的時域、頻域解析數(shù)據(jù)，根 據(jù)文件參數(shù)個數(shù)生成多個文件名稱(原文件名+參數(shù)代號+日期)，在文件系統(tǒng)中建立一定 存儲空間，在文件系統(tǒng)相應路徑建立多個單參數(shù)數(shù)據(jù)文件名(*.tdmdf)，分別生成以時間列 和每個參數(shù)列構成的總參數(shù)數(shù)量的*.tdmdf格式文件。時域、頻域文件定義:以時間或頻率 為橫坐標軸，以參數(shù)數(shù)據(jù)為縱坐標軸的二維數(shù)據(jù)。
[0063]5存儲操作步驟
[0064]數(shù)據(jù)存儲主要涉兩方面數(shù)據(jù)的存儲，其中整體的操作步驟示意圖，見圖3。具體各 部分的存儲步驟如下:
[0065]5.1結構化數(shù)據(jù)存儲
[0066]5.5.1時域、頻域數(shù)據(jù)
[0067]通過解析規(guī)則識別時域、頻域數(shù)據(jù)對應的數(shù)據(jù)模版解析規(guī)則，比如時域數(shù)據(jù)(全密 *.txt文件)對應的規(guī)則是“全密數(shù)據(jù)”，接收“選擇”指令后，調用windows文件目錄系統(tǒng)功 能，選擇對應的“全密*.txt”文件數(shù)據(jù)，并接收“上傳原始數(shù)據(jù)”指令，以及接收“導入”指令 后，索引信息生成模塊在數(shù)據(jù)庫中生成參數(shù)索引信息；時域、頻域存儲模塊解析數(shù)據(jù)內容， 根據(jù)文件中的參數(shù)名稱在文件系統(tǒng)中生成多參數(shù)的*.tdmdf文件；附件上傳模塊上傳該文 件的原始數(shù)據(jù)文件。操作界面見圖4。
[0068]5.5.2非時域、頻域數(shù)據(jù)
[0069]通過解析規(guī)則識別非時域、頻域數(shù)據(jù)對應的數(shù)據(jù)模版解析規(guī)則，比如 11-001P6000.mdb文件。對應的規(guī)則是“P6000.mdb”，接收“選擇”指令后，調用windows文 件目錄系統(tǒng)功能，選擇對應的“ 11-001P6000.mdb”文件數(shù)據(jù)，并接收“上傳原始數(shù)據(jù)”指令， 以及接收“導入”指令后，索引信息生成模塊在數(shù)據(jù)庫中生成文件索引信息；非時域、頻域存 儲模塊解析數(shù)據(jù)內容，在數(shù)據(jù)庫相應表單中存儲數(shù)據(jù)內容；附件上傳模塊上傳該文件的原始數(shù)據(jù)文件。操作界面見圖5。
[0070]5.5.3非結構化數(shù)據(jù)存儲
[0071]以附件形式上傳，同時提供文件的描述信息并定義信息的類型，便于通過其描述 信息快速查找文件。文件類型包括非結構化的*.doc文件和壓縮包形式的數(shù)據(jù)文件，以及 圖片、音頻、視頻文件。對應的上傳操作界面見圖6，圖7和圖8。
[0072]6數(shù)據(jù)訪問
[0073]以訪問中的曲線繪制為例進行介紹，通過“訪問”接口進入平臺，選擇需進行曲線 繪制的參數(shù)，“選擇”完成后，進行“曲線顯示”指令，軟件針對該時域數(shù)據(jù)參數(shù)進行曲線繪 制，效果圖見圖9。
【權利要求】
1.一種數(shù)據(jù)存儲系統(tǒng)，其特征在于:包括數(shù)據(jù)存儲平臺和數(shù)據(jù)存儲中心，所述數(shù)據(jù)存儲平臺包括數(shù)據(jù)分類模塊、附件存儲模塊、索引信息生成模塊、解析規(guī)則模塊、非時域、頻域數(shù)據(jù)解析模塊以及時域和頻域數(shù)據(jù)解析模塊；所述數(shù)據(jù)存儲中心包括關系數(shù)據(jù)庫以及文件數(shù)據(jù)庫；所述數(shù)據(jù)分類模塊用于接收數(shù)據(jù)源，并將接收到的數(shù)據(jù)源根據(jù)數(shù)據(jù)格式的不同分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)；所述附件存儲模塊實現(xiàn)非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)中的原始數(shù)據(jù)存儲功能，非結構化數(shù)據(jù)存儲通過以附件形式上傳數(shù)據(jù)，文件數(shù)據(jù)庫在磁盤中開辟一定的存儲空間，進行文件名稱創(chuàng)建和數(shù)據(jù)寫入；所述索引信息生成模塊用于非結構化數(shù)據(jù)和結構化數(shù)據(jù)生成文件索引信息，并依次存儲在關系數(shù)據(jù)庫內；所述文件索引信息包括文件大小、文件通道名稱以及文件存儲路徑； 所述解析規(guī)則模塊用于將結構化數(shù)據(jù)根據(jù)是否與時域和頻域相關分為非時域、頻域數(shù)據(jù)和時域、頻域數(shù)據(jù)，并將非時域、頻域數(shù)據(jù)發(fā)送給非時域、頻域數(shù)據(jù)存儲模塊，同時將時域、頻域數(shù)據(jù)發(fā)送給時域、頻域數(shù)據(jù)存儲模塊；所述非時域、頻域數(shù)據(jù)存儲模塊針對非時域、頻域數(shù)據(jù)，進行數(shù)據(jù)內容提取后寫入關系數(shù)據(jù)庫的表空間的對應表單內；所述時域、頻域數(shù)據(jù)存儲模塊在文件數(shù)據(jù)庫中建立一定存儲空間，根據(jù)參數(shù)個數(shù)分別生成以時間列和每個參數(shù)列構成的總參數(shù)數(shù)量的*.tdmdf格式文件，所述文件名稱包括原文件名+參數(shù)代號+日期；所述關系數(shù)據(jù)庫用于存儲根據(jù)試驗數(shù)據(jù)類型建立匹配的表單，并將接收到的文件索引信息對應存儲在相應的表單內； 所述文件數(shù)據(jù)庫存儲文件數(shù)據(jù)。
2.一種根據(jù)權利要求1所述數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)存儲方法，其特征在于:包括以下步驟:I】建立數(shù)據(jù)庫:所述數(shù)據(jù)庫包括關系數(shù)據(jù)庫和文件數(shù)據(jù)庫，在關系數(shù)據(jù)庫內建立表空間，并存儲根據(jù)試驗數(shù)據(jù)類型建立匹配的表單；2】數(shù)據(jù)存儲平臺接收數(shù)據(jù)源，數(shù)據(jù)分類模塊將接收數(shù)據(jù)源根據(jù)數(shù)據(jù)格式的不同分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)；3】附件存儲模塊實現(xiàn)非結構化數(shù)據(jù)存儲和結構化數(shù)據(jù)中的原始數(shù)據(jù)存儲功能，非結構化數(shù)據(jù)存儲通過以附件形式上傳數(shù)據(jù)，文件數(shù)據(jù)庫在磁盤中開辟一定的存儲空間，進行文件名稱創(chuàng)建和數(shù)據(jù)寫入；索引信息生成模塊將非結構化數(shù)據(jù)和結構化數(shù)據(jù)生成文件索引信息，并依次存儲在關系數(shù)據(jù)庫對應表單內；文件索引信息包括文件大小、文件通道名稱以及文件存儲路徑；4】解析規(guī)則模塊將結構化數(shù)據(jù)根據(jù)是否與時域和頻域相關分為非時域、頻域數(shù)據(jù)和時域、頻域數(shù)據(jù)，并將非時域、頻域數(shù)據(jù)發(fā)送給非時域、頻域數(shù)據(jù)存儲模塊，同時將時域、頻域數(shù)據(jù)發(fā)送給時域、頻域數(shù)據(jù)存儲模塊；5】非時域、頻域數(shù)據(jù)存儲模塊針對非時域、頻域數(shù)據(jù)，進行數(shù)據(jù)內容提取后寫入關系數(shù)據(jù)庫的表空間的對應表單內；時域、頻域數(shù)據(jù)存儲模塊在數(shù)據(jù)庫文件內存中建立一定存儲空間，分別生成以時間列和每個參數(shù)列構成的總參數(shù)數(shù)量的*.tdmdf格式文件,所述文件名稱包括原文件 名+參數(shù)代號+日期。
【文檔編號】G06F17/30GK103440282SQ201310351678
【公開日】2013年12月11日 申請日期:2013年8月13日 優(yōu)先權日:2013年8月13日
【發(fā)明者】董冬, 張少博, 陳海峰 申請人:西安航天動力試驗技術研究所