專利名稱：一種工業(yè)數(shù)據(jù)存儲讀取方法及其系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種工業(yè)數(shù)據(jù)存儲技術
背景技術：
在工業(yè)領域，如電力、油氣、煤礦、交通等領域中需要進行大量的數(shù)據(jù)采集，由于工業(yè)領域的場站通常分布在全國各個地區(qū)，從而需要從各個地區(qū)的采集點進行數(shù)據(jù)采集，并且需要保留大量數(shù)據(jù)的歷史記錄。工業(yè)數(shù)據(jù)來源于日常的工業(yè)生產(chǎn)或其相關數(shù)據(jù)，一個工業(yè)數(shù)據(jù)對應生產(chǎn)中的一個物理點，即采集點，如某一條生產(chǎn)線的累計產(chǎn)量、某一個檢測點溫度等。工業(yè)數(shù)據(jù)是一段連續(xù)的量，其存儲的數(shù)據(jù)都帶有時間戳。工業(yè)數(shù)據(jù)具有明顯的時間特性，每個工業(yè)數(shù)據(jù)中包含一時間戳，其結構可以用VQT (Value、Quality、Timestamp,數(shù)據(jù)值、質量碼、時間戳)來表示。時間戳是進行工業(yè)數(shù)據(jù)查詢的關鍵條件，最常見的是需要查詢某一個或多個采集點某 一段時間內的數(shù)據(jù)。同時工業(yè)數(shù)據(jù)是不斷產(chǎn)生的，具有海量數(shù)據(jù)的特點。這些海量工業(yè)數(shù)據(jù)的歷史記錄非常重要，會在不同的應用需求中使用到。每條歷史記錄都關聯(lián)到對應數(shù)據(jù)的采集點，在存儲這些歷史記錄時，需要存儲其對應的采集點的信息。每個采集點通常有唯一的引用名稱，唯一的屬性標識propertylD，唯一的資源標識resourceID等屬性。每條歷史記錄對應一個采集點的ID號,現(xiàn)有技術中一般使用8字節(jié)的數(shù)字表示，然而這些采集點數(shù)量通常不會超過4字節(jié)所能表示的數(shù)的范圍。由于每條歷史記錄中都需要保存相對應的采集點信息，這些無重復的信息將會占用大量的數(shù)據(jù)庫容量。在工業(yè)領域中為了保證數(shù)據(jù)的實時性，無法使用關系型數(shù)據(jù)庫，而使用文件型數(shù)據(jù)庫。然而文件型數(shù)據(jù)庫通常結構固定，不能像關系型數(shù)據(jù)庫那樣可以使用不同的數(shù)據(jù)表來表達關系，減少冗余。為了節(jié)省存儲空間，避免重復存儲采集點信息，通常會把對應同一個采集點的數(shù)據(jù)組合在一起，只存儲一次采集點信息，來避免重復保存相同的信息，盡量減少數(shù)據(jù)冗余。雖然該解決方法能避免一定的重復，但這樣就破壞了歷史記錄時間的連續(xù)性，大大加重了工業(yè)數(shù)據(jù)查找的負擔，而且使數(shù)據(jù)按一定條件組織在一起，也會加重工業(yè)數(shù)據(jù)庫的負擔，降低數(shù)據(jù)吞吐的速率。并且，用8字節(jié)表示4字節(jié)的數(shù)據(jù)范圍這種冗余的情況也沒有得到很好的解決。更嚴重的是當采集點屬性發(fā)生變更時將會影響到已經(jīng)入庫的數(shù)據(jù)信息。

發(fā)明內容
本發(fā)明主要解決的技術問題是提供一種工業(yè)數(shù)據(jù)存儲讀取方法及其系統(tǒng)，使得在不影響工業(yè)實時數(shù)據(jù)庫的吞吐效率的情況下，減少數(shù)據(jù)冗余，大大提高工業(yè)數(shù)據(jù)的存儲能力，且工業(yè)采集點屬性的任何修改都不會影響已存儲的工業(yè)數(shù)據(jù)。為了解決上述技術問題，本發(fā)明提供了一種工業(yè)數(shù)據(jù)存儲及讀取方法，包含以下步驟
將工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應；建立一關系型數(shù)據(jù)庫，保存該文件型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息；在該文件型數(shù)據(jù)庫被打開時，將該關系型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導入內存；在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和該位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識； 從該文件型數(shù)據(jù)庫中獲取該位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。作為上述技術方案的改進，工業(yè)數(shù)據(jù)的位置標識與存儲位置的對應關系為工業(yè)數(shù)據(jù)的位置標識為順序序列，工業(yè)數(shù)據(jù)的位置標識乘以工業(yè)數(shù)據(jù)存儲的數(shù)據(jù)結構大小，為該工業(yè)數(shù)據(jù)的存儲位置。作為上述技術方案的改進，采集點信息至少包含以下之一或其組合參數(shù)名、資源標識、和/或屬性標識。作為上述技術方案的改進，位置標識與采集點信息的映射關系至少包含以下之一或其組合參數(shù)名與地址標識的映射關系、和/或屬性標識與地址標識的映射關系。作為上述技術方案的改進，該方法還可以包含以下步驟在新增采集點時，在參數(shù)名與地址標識的映射關系中查找是否存在對應該采集點的信息，如果不存在，則在該關系型數(shù)據(jù)庫中添加該采集點信息；如果存在則代表修改文件型數(shù)據(jù)庫中工業(yè)數(shù)據(jù)，獲取進行修改的工業(yè)數(shù)據(jù)的位置標識，更新關系型數(shù)據(jù)庫中該工業(yè)數(shù)據(jù)的位置標識及其對應的采集點信息。本發(fā)明還提供了一種工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，包含一文件型數(shù)據(jù)庫，用于將工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應；一關系型數(shù)據(jù)庫，用于保存該文件型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息；映射模塊，用于在該文件型數(shù)據(jù)庫被打開時，將該關系型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導入內存；查詢模塊，用于在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和該位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識，從該文件型數(shù)據(jù)庫中獲取該位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。本發(fā)明實施方式與現(xiàn)有技術相比，主要區(qū)別及其效果在于將海量的工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，將工業(yè)數(shù)據(jù)對應的采集點的信息存儲在一關系型數(shù)據(jù)庫中。文件型數(shù)據(jù)庫中每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應；關系型數(shù)據(jù)庫中保存各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息；在文件型數(shù)據(jù)庫被打開時，在內存中導入工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導；在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和內存中的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識；從該文件型數(shù)據(jù)庫中獲取該位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。通過將海量的工業(yè)數(shù)據(jù)與其對應的采集點信息分離存儲，將無重復的工業(yè)數(shù)據(jù)存儲在文件型數(shù)據(jù)庫中，將重復的采集點信息存儲在關系型數(shù)據(jù)庫中，使得在不影響工業(yè)實時數(shù)據(jù)庫的吞吐效率的情況下，減少數(shù)據(jù)冗余，大大提高工業(yè)數(shù)據(jù)的存儲能力，且采集點屬性的任何修改都不會影響已存儲的工業(yè)數(shù)據(jù)。


下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。圖I是本發(fā)明一實施方式一種工業(yè)數(shù)據(jù)存儲及讀取方法流程圖。
具體實施例方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明的實施方式作進一步地詳細描述。本發(fā)明一較佳實施方式涉及一種工業(yè)數(shù)據(jù)存儲及讀取方法。在本實施方式中，將海量的工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，將工業(yè)數(shù)據(jù)對應的采集點的信息存儲在一關系型數(shù)據(jù)庫中。當文件型數(shù)據(jù)庫被打開時，在內存中導入工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導；在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和內存中的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識；從該關系型數(shù)據(jù)庫中獲取該位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。以工業(yè)數(shù)據(jù)的歷史記錄為例，具體存儲及讀取方法如圖I所示，在步驟101中，建立一文件型歷史數(shù)據(jù)庫和一關系型模型數(shù)據(jù)庫。步驟102中，將工業(yè)數(shù)據(jù)的歷史記錄存儲在該歷史數(shù)據(jù)庫中。并且，每條歷史記錄包含一位置標識，與該歷史記錄的存儲位置相對應。 為了減少數(shù)據(jù)冗余，本實施方式中歷史記錄的位置標識為順序序列，由該歷史記錄的存儲位置確定，歷史記錄的位置標識乘以其存儲的數(shù)據(jù)結構大小，則為該歷史記錄的存儲位置，由于歷史記錄的位置標識可以由其存儲位置推導而出，從而使得文件型歷史數(shù)據(jù)庫不用保存位置標識的相關數(shù)據(jù)，減少了數(shù)據(jù)冗余，節(jié)省存儲空間。舉例而言，歷史數(shù)據(jù)庫中存儲的工業(yè)數(shù)據(jù)中歷史記錄的數(shù)據(jù)結構的大小為8字節(jié)，某一歷史記錄的指針位于文件的位置是80字節(jié)處，即其存儲位置為80字節(jié)處，則該工業(yè)數(shù)據(jù)的位置標識為10。步驟103中，在模型數(shù)據(jù)庫中保存歷史數(shù)據(jù)庫中各歷史數(shù)據(jù)的位置標識、及該歷史數(shù)據(jù)對應的采集點的信息。其中，采集點的信息一般包含參數(shù)名、資源標識、和屬性標識。舉例而言，采集點的信息結構可如下所示
位置標識參數(shù)名資源標識屬性標識一般情況下，位置標識按照從I開始的順序序列。步驟104中，在內存中建立位置標識與采集點信息的映射，包括以下映射參數(shù)名到位置標識的映射；位置標識與屬性標識之間的唯一映射。當文件型歷史數(shù)據(jù)庫被打開時，進入步驟105，載入該模型數(shù)據(jù)庫，并在內存中將關系型歷史數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息導入以上映射中。當進行工業(yè)數(shù)據(jù)中歷史記錄查詢時，進入步驟106，根據(jù)待查詢采集點信息和位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識。具體地說，當對文件型歷史數(shù)據(jù)庫中的工業(yè)數(shù)據(jù)進行查詢時，以待查詢的采集點信息為參數(shù)名為例，首先把傳進來的參數(shù)名，通過參數(shù)名到位置標識的映射進行轉換，轉換后變?yōu)槲恢脴俗R，然后，再把該位置標識傳入文件型歷史數(shù)據(jù)庫中。步驟107中，根據(jù)該位置標識，從歷史數(shù)據(jù)庫中獲取所對應的存儲位置的工業(yè)數(shù)據(jù)。在新增采集點時，在該參數(shù)名與地址標識的映射關系中查找是否存在對應該采集點的信息，如果不存在，則在該關系型數(shù)據(jù)庫中添加該采集點信息；如果存在則代表修改文件型數(shù)據(jù)庫中工業(yè)數(shù)據(jù)，獲取該進行修改的工業(yè)數(shù)據(jù)的位置標識，更新關系型數(shù)據(jù)庫中該工業(yè)數(shù)據(jù)的位置標識及其對應的采集點信息。
通過將海量的工業(yè)數(shù)據(jù)與其對應的采集點信息分離存儲，將無重復的工業(yè)數(shù)據(jù)存儲在文件型數(shù)據(jù)庫中，將重復的采集點信息存儲在關系型數(shù)據(jù)庫中，從而使得文件型歷史數(shù)據(jù)庫中不用保存任何采集點的相關信息，在不影響工業(yè)實時數(shù)據(jù)庫的吞吐效率的情況下，減少數(shù)據(jù)冗余，大大提高工業(yè)數(shù)據(jù)的存儲能力，但對但對文件型歷史數(shù)據(jù)庫的性能不存在任何影響。并且，采集點屬性的任何修改都不會影響已存儲的工業(yè)數(shù)據(jù)，提高了工業(yè)數(shù)據(jù)庫的穩(wěn)定性。另外，本實施方式中，采集點信息的屬性標識的數(shù)據(jù)類型是8字節(jié)大小，但是在文件型歷史數(shù)據(jù)庫中只要存放采集點個數(shù)大小的數(shù)據(jù)類型，即只要4字節(jié)就可以表示采集點的所有信息，節(jié)約了存儲空間。本發(fā)明第二實施方式涉及一種工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，包含一文件型數(shù)據(jù)庫，用于將工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應，工業(yè)數(shù)據(jù)的位置標識為順序序列，工業(yè)數(shù)據(jù)的位置標識乘以工業(yè)數(shù)據(jù)存儲的數(shù)據(jù)結構大小，為該工業(yè)數(shù)據(jù)的存儲位置。一關系型數(shù)據(jù)庫，用于保存文件型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息；采集點信息包含參數(shù)名、資源標識、屬性標識等。一映射模塊，用于在文件型數(shù)據(jù)庫被打開時，將關系型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導入內存；這里的映射關系至少包含參數(shù)名與地址標識的映射關系、屬性標識與地址標識的映射關系。一查詢模塊，用于在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識，從文件型數(shù)據(jù)庫中獲取位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。一更新模塊，用于在新增采集點時，在參數(shù)名與地址標識的映射關系中查找是否存在對應該采集點的信息，如果不存在，則在關系型數(shù)據(jù)庫中添加該采集點信息；如果存在則代表修改文件型數(shù)據(jù)庫中工業(yè)數(shù)據(jù)，獲取進行修改的工業(yè)數(shù)據(jù)的位置標識，更新關系型數(shù)據(jù)庫中該工業(yè)數(shù)據(jù)的位置標識及其對應的采集點信息。雖然通過參照本發(fā)明的某些優(yōu)選實施方式，已經(jīng)對本發(fā)明進行了圖示和描述，但本領域的普通技術人員應該明白，可以在形式上和細節(jié)上對其作各種改變，而不偏離本發(fā)明的精神和范 圍。
權利要求
1.一種工業(yè)數(shù)據(jù)存儲及讀取方法，其特征在于，包含以下步驟 將工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應； 建立一關系型數(shù)據(jù)庫，保存所述文件型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息； 在所述文件型數(shù)據(jù)庫被打開時，將所述關系型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導入內存； 在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和所述位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識； 從所述文件型數(shù)據(jù)庫中獲取所述位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。
2.根據(jù)權利要求I所述的工業(yè)數(shù)據(jù)存儲及讀取方法，其特征在于，所述工業(yè)數(shù)據(jù)的位置標識與存儲位置的對應關系為 所述工業(yè)數(shù)據(jù)的位置標識為順序序列，所述工業(yè)數(shù)據(jù)的位置標識乘以所述工業(yè)數(shù)據(jù)存儲的數(shù)據(jù)結構大小，為該工業(yè)數(shù)據(jù)的存儲位置。
3.根據(jù)權利要求2所述的工業(yè)數(shù)據(jù)存儲及讀取方法，其特征在于，所述采集點信息至少包含以下之一或其組合參數(shù)名、資源標識、和/或屬性標識。
4.根據(jù)權利要求3所述的工業(yè)數(shù)據(jù)存儲及讀取方法，其特征在于，所述位置標識與采集點信息的映射關系至少包含以下之一或其組合 參數(shù)名與地址標識的映射關系、和/或屬性標識與地址標識的映射關系。
5.根據(jù)權利要求I至4中任意一項所述的工業(yè)數(shù)據(jù)存儲及讀取方法，其特征在于，還包含以下步驟 在新增采集點時，在所述參數(shù)名與地址標識的映射關系中查找是否存在對應該采集點的信息，如果不存在，則在所述關系型數(shù)據(jù)庫中添加該采集點信息；如果存在則代表修改文件型數(shù)據(jù)庫中工業(yè)數(shù)據(jù)，獲取所述進行修改的工業(yè)數(shù)據(jù)的位置標識，更新關系型數(shù)據(jù)庫中該工業(yè)數(shù)據(jù)的位置標識及其對應的采集點信息。
6.一種工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，其特征在于，包含 一文件型數(shù)據(jù)庫，用于將工業(yè)數(shù)據(jù)存儲在一文件型數(shù)據(jù)庫中，每條工業(yè)數(shù)據(jù)包含一位置標識，與該工業(yè)數(shù)據(jù)的存儲位置相對應； 一關系型數(shù)據(jù)庫，用于保存所述文件型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識、及該工業(yè)數(shù)據(jù)對應的采集點的信息； 映射模塊，用于在所述文件型數(shù)據(jù)庫被打開時，將所述關系型數(shù)據(jù)庫中各工業(yè)數(shù)據(jù)的位置標識與采集點信息的映射關系導入內存； 查詢模塊，用于在進行工業(yè)數(shù)據(jù)查詢時，根據(jù)待查詢采集點信息和所述位置標識與采集點信息的映射關系，確定待查詢工業(yè)數(shù)據(jù)的位置標識，從所述文件型數(shù)據(jù)庫中獲取所述位置標識所對應的存儲位置的工業(yè)數(shù)據(jù)。
7.根據(jù)權利要求6所述的工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，其特征在于，所述工業(yè)數(shù)據(jù)的位置標識與存儲位置的對應關系為 所述工業(yè)數(shù)據(jù)的位置標識為順序序列，所述工業(yè)數(shù)據(jù)的位置標識乘以所述工業(yè)數(shù)據(jù)存儲的數(shù)據(jù)結構大小，為該工業(yè)數(shù)據(jù)的存儲位置。
8.根據(jù)權利要求7所述的工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，其特征在于，所述采集點信息至少包含以下之一或其組合參數(shù)名、資源標識、和/或屬性標識。
9.根據(jù)權利要求8所述的工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，其特征在于，所述位置標識與采集點信息的映射關系至少包含以下之一或其組合 參數(shù)名與地址標識的映射關系、和/或屬性標識與地址標識的映射關系。
10.根據(jù)權利要求6至9中任意一項所述的工業(yè)數(shù)據(jù)存儲及讀取系統(tǒng)，其特征在于，還包含 更新模塊，用于在新增采集點時，在所述參數(shù)名與地址標識的映射關系中查找是否存在對應該采集點的信息，如果不存在，則在所述關系型數(shù)據(jù)庫中添加該采集點信息；如果存在則代表修改文件型數(shù)據(jù)庫中工業(yè)數(shù)據(jù)，獲取所述進行修改的工業(yè)數(shù)據(jù)的位置標識，更新關系型數(shù)據(jù)庫中該工業(yè)數(shù)據(jù)的位置標識及其對應的采集點信息。
全文摘要
本發(fā)明公開了一種工業(yè)數(shù)據(jù)存儲讀取方法及其系統(tǒng)，通過將海量的工業(yè)數(shù)據(jù)與其對應的采集點信息分離存儲，將無重復的工業(yè)數(shù)據(jù)存儲在文件型數(shù)據(jù)庫中，將重復的采集點信息存儲在關系型數(shù)據(jù)庫中，使得在不影響工業(yè)實時數(shù)據(jù)庫的吞吐效率的情況下，減少數(shù)據(jù)冗余，大大提高工業(yè)數(shù)據(jù)的存儲能力，且采集點屬性的任何修改都不會影響已存儲的工業(yè)數(shù)據(jù)。
文檔編號G06F17/30GK102768666SQ201110117010
公開日2012年11月7日 申請日期2011年5月5日 優(yōu)先權日2011年5月5日
發(fā)明者俞高宇, 楊云召 申請人:上?？婶斚到y(tǒng)軟件有限公司