本發(fā)明屬于數(shù)字?jǐn)?shù)據(jù)處理技術(shù)領(lǐng)域，涉及一種數(shù)據(jù)存儲和查詢方法，具體的說，涉及一種二維數(shù)據(jù)的存儲和查詢方法。

背景技術(shù)：

本發(fā)明所述二維數(shù)據(jù)，是指包含時間信息的二維數(shù)據(jù)，指來自于按照時間周期返回數(shù)據(jù)的傳感器的數(shù)據(jù)，即二維數(shù)據(jù)是指一個測點某個時間點對應(yīng)的數(shù)據(jù)，或者是一個時間點某個測點對應(yīng)的數(shù)據(jù)。這類傳感器通常被安裝在需要實時檢測的設(shè)備上，如：儀表盤、鍋爐等，通過傳感器傳回檢測設(shè)備的屬性數(shù)據(jù)，如：某時刻的溫度、壓力、流量等數(shù)據(jù)。此類傳感器通常按周期返回數(shù)據(jù)，完整的時間周期內(nèi)的數(shù)據(jù)，可完整記錄下設(shè)備的整個運行狀況。

某一時刻，傳感器反饋的二維數(shù)據(jù)包括時間維度、測點維度信息以及測量數(shù)據(jù)值信息，現(xiàn)有技術(shù)中，二維數(shù)據(jù)通常以時間標(biāo)識、測點標(biāo)識以及測量數(shù)據(jù)值的格式存儲，并在測點維度和時間維度上附加索引，以加快查詢速度。在設(shè)備出現(xiàn)問題時可通過歷史記錄進(jìn)行問題分析和問題定位。

當(dāng)前，應(yīng)用發(fā)展的趨勢表明，被監(jiān)測個體的數(shù)目正在迅速增長，同時，隨著技術(shù)的進(jìn)步以及應(yīng)用的需求，要求在有具體需求時，數(shù)據(jù)的存儲和查詢均快速做出反應(yīng)，要求數(shù)據(jù)回傳的周期越來越短，同時對存儲和查詢數(shù)據(jù)的效率要求也越來越高。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種占用資源少、查詢速度快、存儲效率高的二維數(shù)據(jù)的存儲系統(tǒng)、存儲方法，以及二維數(shù)據(jù)的查詢方法。

本發(fā)明的技術(shù)方案為：二維數(shù)據(jù)的存儲系統(tǒng)，包括用于接收并儲存各個測點測量數(shù)據(jù)的數(shù)據(jù)存儲設(shè)備，所述數(shù)據(jù)存儲設(shè)備劃分為元數(shù)據(jù)區(qū)和測量數(shù)據(jù)存儲區(qū)；

所述元數(shù)據(jù)區(qū)用于存儲測點屬性及數(shù)據(jù)管理信息；

所述測點屬性包括：測點號，用于表示各個測點的標(biāo)識信息；開始測量時間，用于表示各個測點開始測量數(shù)據(jù)的時間；測量時間間隔，用于存儲各個測點測量的時間周期；

所述數(shù)據(jù)管理信息包括：有效數(shù)據(jù)塊數(shù)，用于表示存儲各個測點數(shù)據(jù)的數(shù)據(jù)塊數(shù)量；數(shù)據(jù)塊位置，用于表示存儲測點數(shù)據(jù)的數(shù)據(jù)塊在數(shù)據(jù)存儲設(shè)備上的存儲位置；可存儲的數(shù)據(jù)個數(shù)，用于表示單個數(shù)據(jù)塊中存儲數(shù)據(jù)量的上限；

每個測點對應(yīng)其開始測量時間、測量時間間隔、有效數(shù)據(jù)塊數(shù)；每個數(shù)據(jù)塊對應(yīng)其數(shù)據(jù) 塊位置、可存儲數(shù)據(jù)量；

所述測量數(shù)據(jù)區(qū)用于存放各測點測量數(shù)據(jù)，測點測量數(shù)據(jù)分?jǐn)?shù)據(jù)塊存儲。

二維數(shù)據(jù)的存儲方法，包括以下步驟：

采用測點號、開始測量時間、測量時間間隔、有效數(shù)據(jù)塊數(shù)、數(shù)據(jù)塊位置、可存儲數(shù)據(jù)量為元素構(gòu)建存儲查詢表；

為各個測點編號，記為測點號，作為測點的身份標(biāo)識信息；記錄每個測點對應(yīng)的開始測量時間、測量時間間隔，將以上信息記入存儲查詢表內(nèi)。

設(shè)置每個測點數(shù)據(jù)塊可存儲的數(shù)據(jù)量，并記入存儲查詢表內(nèi)；

讀取某一測點某時間段內(nèi)的測量數(shù)據(jù)，以數(shù)據(jù)塊的可存儲數(shù)據(jù)量為標(biāo)準(zhǔn)將測量數(shù)據(jù)分成多個數(shù)據(jù)塊，獲得測點有效數(shù)據(jù)塊個數(shù)，記入存儲查詢表內(nèi)；同時將測量數(shù)據(jù)按數(shù)據(jù)塊保存到測量數(shù)據(jù)區(qū)，獲得數(shù)據(jù)塊位置，記入存儲查詢表內(nèi)。

二維數(shù)據(jù)的多維度查詢方法，包括測點維度查詢方法和時間維度查詢方法，所述測點維度查詢方法用于查詢指定測點指定時間段的測量數(shù)據(jù)，所述時間維度查詢方法用于查詢指定時間多個測點的測量數(shù)據(jù)。

更進(jìn)一步的：測點維度查詢方法包括，指定待查詢的測點號為a；指定查詢時間段的開始時間為t₁和結(jié)束時間為t₂；查詢元數(shù)據(jù)區(qū)，按測點號查找到a號測點的位置；查詢存儲查詢表，獲取a號測點的開始測量時間t_a及測量時間間隔Δt_a；及測點a對應(yīng)每個數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_a；計算開始數(shù)據(jù)序號L₁及結(jié)束數(shù)據(jù)序號L₂；

根據(jù)數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_a計算L₁號數(shù)據(jù)所在的數(shù)據(jù)塊序號s_a1及L₂號數(shù)據(jù)所在的數(shù)據(jù)塊序號s_a2；

結(jié)果整數(shù)部分表示L₁號數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示L₁號數(shù)據(jù)對應(yīng)所在數(shù)據(jù)塊中的序號；

結(jié)果整數(shù)部分表示L₂號數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示L₂號數(shù)據(jù)對應(yīng) 所在數(shù)據(jù)塊中的序號；

根據(jù)數(shù)據(jù)塊對應(yīng)的序號、數(shù)據(jù)塊位置，在測量數(shù)據(jù)區(qū)中查找并讀取該測點對應(yīng)數(shù)據(jù)塊中的數(shù)據(jù)。

更進(jìn)一步的：時間維度的查詢方法包括以下步驟：指定帶查詢時刻為T,指定待查詢的測點號為b，查詢存儲查詢表，獲取b號測點的開始測量時間t_b及測量時間間隔Δt_b，及測點b對應(yīng)每個數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_b；；計算測點b中T時刻對應(yīng)的測量數(shù)據(jù)：

d表示T時刻，測點b中對應(yīng)測量數(shù)據(jù)的序號；

結(jié)果整數(shù)部分表示T時刻測量數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示T時刻測量數(shù)據(jù)對應(yīng)所在數(shù)據(jù)塊中的序號；

根據(jù)數(shù)據(jù)塊對應(yīng)的序號、數(shù)據(jù)塊位置，在測量數(shù)據(jù)區(qū)中查找并讀取該測點對應(yīng)數(shù)據(jù)塊中的數(shù)據(jù)。

本發(fā)明的有益效果為：

本發(fā)明提供了一種新的二維數(shù)據(jù)存儲方法。將存儲設(shè)備分為元數(shù)據(jù)區(qū)和測量數(shù)據(jù)區(qū)，分別用于存儲測點屬性、數(shù)據(jù)管理屬性和測量數(shù)據(jù)，與現(xiàn)有的索引方法相比，大大減少了測點和時間維度信息的存儲，可根據(jù)保存在元數(shù)據(jù)區(qū)的信息，通過計算快速定位所要查詢的測量數(shù)據(jù)，極大提高了數(shù)據(jù)的存儲效率和查詢速度。

采用本專利所實現(xiàn)的原型系統(tǒng)在實施示例上進(jìn)行二維數(shù)據(jù)的存儲和查詢，存儲效率在每秒數(shù)億條數(shù)據(jù)，查詢效率也在每秒億條數(shù)據(jù)的數(shù)量級，在同樣的硬件條件下，均大大優(yōu)于目前流行的商用關(guān)系數(shù)據(jù)庫系統(tǒng)。且內(nèi)外存占用少，斷面模式存儲程序的內(nèi)存占用不超過5M，批量模式存儲程序的內(nèi)存占用不超過1.5M，快速查詢程序的內(nèi)存占用不超過1M。一億兩千萬條的測量數(shù)據(jù)的磁盤空間占用不到481M，平均每條數(shù)據(jù)占用的空間接近于4個字節(jié)(實施示例中單個測量數(shù)據(jù)值的存儲長度)，附加磁盤開銷非常小。并且，由于批量存儲和斷面存儲采用相同的數(shù)據(jù)格式存儲，同一套查詢程序就可查詢兩種模式生成的二維數(shù)據(jù)。

附圖說明

圖1為存儲查詢表結(jié)構(gòu)示意圖。

圖2為本發(fā)明具體實施方式存儲查詢表結(jié)構(gòu)示意圖。

具體實施方式

以下將結(jié)合附圖對本發(fā)明的具體實施方式進(jìn)行進(jìn)一步的描述。

二維數(shù)據(jù)的存儲系統(tǒng)，包括用于接收并儲存各個測點測量數(shù)據(jù)的數(shù)據(jù)存儲設(shè)備，數(shù)據(jù)存儲設(shè)備劃分為元數(shù)據(jù)區(qū)和測量數(shù)據(jù)存儲區(qū)。

具體的說，二維數(shù)據(jù)來源與工作系統(tǒng)中的數(shù)據(jù)測量點(檢測測點)，測點可為各種壓力傳感器、溫度傳感器等，其按一定數(shù)據(jù)測量周期反饋測量數(shù)據(jù)，其反饋的數(shù)據(jù)具有共同點：即數(shù)據(jù)都包括時間標(biāo)識和測點標(biāo)識信息，即包括時間和測點兩個維度。工作系統(tǒng)中所有測量點測量的數(shù)據(jù)將存儲到數(shù)據(jù)存儲設(shè)備。

數(shù)據(jù)存儲設(shè)備的元數(shù)據(jù)區(qū)用于存儲測點屬性信息及數(shù)據(jù)管理信息；

測點屬性信息包括：測點號，用于表示各個測點的標(biāo)識信息；開始測量時間，用于表示各個測點開始測量數(shù)據(jù)的時間；測量時間間隔，用于存儲各個測點測量的時間周期。

其中，測點號為認(rèn)為設(shè)定的編號，通常，一個工作系統(tǒng)中會包括多個測點，分別用于監(jiān)控不同的設(shè)備或同一設(shè)備的不同屬性。為了便于測點的管理，按順序統(tǒng)一為測點編號，如：1號測點、2號測點、3號測點……n號測點。其中測點的開始測量時間和測量時間間隔為測點自身的屬性，開始測量時間為測點設(shè)備啟動測量的時間，可根據(jù)實際工況獲?。粶y量時間間隔可通過測點自帶的配置信息設(shè)置單元設(shè)置以上信息，并將每次新設(shè)置后的信息記入存儲查詢表，以更新存儲查詢表；若測點本身不具有配置信息設(shè)置單元，則測點測量時間間隔信息作為測點屬性可直接獲取。

數(shù)據(jù)管理信息包括：有效數(shù)據(jù)塊數(shù)，用于表示存儲各個測點數(shù)據(jù)的數(shù)據(jù)塊數(shù)量；數(shù)據(jù)塊位置，用于表示存儲測點數(shù)據(jù)的數(shù)據(jù)塊在數(shù)據(jù)存儲設(shè)備上的存儲位置；可存儲的數(shù)據(jù)個數(shù)，用于表示單個數(shù)據(jù)塊中存儲數(shù)據(jù)量的上限。

具體的說，測點的測量數(shù)據(jù)將分?jǐn)?shù)據(jù)塊存儲，對于同一測點，其每個數(shù)據(jù)塊中存儲的個數(shù)是相同的，即為數(shù)據(jù)塊對應(yīng)的可存儲數(shù)據(jù)個數(shù)。但會有例外，即若所有的數(shù)據(jù)分存到數(shù)據(jù)塊后，若數(shù)據(jù)量不足，其最后一個數(shù)據(jù)塊存儲的數(shù)據(jù)個數(shù)會少于數(shù)據(jù)塊可存儲的數(shù)據(jù)個數(shù)。而當(dāng)將同一測點所有測量數(shù)據(jù)按可存儲數(shù)據(jù)個數(shù)將所有數(shù)據(jù)都分配都數(shù)據(jù)塊后，即獲得了該測點對應(yīng)的有效數(shù)據(jù)塊數(shù)。

每個測點對應(yīng)其開始測量時間、測量時間間隔、有效數(shù)據(jù)塊數(shù)；每個數(shù)據(jù)塊對應(yīng)其數(shù)據(jù)塊位置、可存儲數(shù)據(jù)量。

測量數(shù)據(jù)區(qū)用于存放各測點測量數(shù)據(jù)，測點測量數(shù)據(jù)分?jǐn)?shù)據(jù)塊存儲。將數(shù)據(jù)存儲到測量數(shù)據(jù)區(qū)后，即獲得每個數(shù)據(jù)塊對應(yīng)的數(shù)據(jù)塊位置。

基于以上二維數(shù)據(jù)的存儲方法，在進(jìn)行二維數(shù)據(jù)的存儲方法，包括以下步驟：

如圖1所示，采用測點號、開始測量時間、測量時間間隔、有效數(shù)據(jù)塊數(shù)、數(shù)據(jù)塊位置、 可存儲數(shù)據(jù)量為元素構(gòu)建存儲查詢表。

為各個測點編號，記為測點號，作為測點的身份標(biāo)識信息；記錄每個測點對應(yīng)的開始測量時間、測量時間間隔，將以上信息記入存儲查詢表內(nèi)。為便于管理，為每個測點按1～n的順序順次編號；并通過測點設(shè)備屬性的查詢，結(jié)合實際工況，獲取測點開始測量時間，測量時間間隔，對應(yīng)測點號記入存儲查詢表內(nèi)。

設(shè)置每個測點數(shù)據(jù)塊可存儲的數(shù)據(jù)量，并記入存儲查詢表內(nèi)；

讀取某一測點某時間段內(nèi)的測量數(shù)據(jù)，以數(shù)據(jù)塊的可存儲數(shù)據(jù)量為標(biāo)準(zhǔn)將測量數(shù)據(jù)分成多個數(shù)據(jù)塊，獲得測點有效數(shù)據(jù)塊個數(shù)，記入存儲查詢表內(nèi)；同時將測量數(shù)據(jù)按數(shù)據(jù)塊保存到測量數(shù)據(jù)區(qū)，獲得數(shù)據(jù)塊位置，記入存儲查詢表內(nèi)。

數(shù)據(jù)存儲的目的是為便于日后進(jìn)行數(shù)據(jù)查詢。

本實施例提供的二維數(shù)據(jù)的查詢方法位二維數(shù)據(jù)的多維度查詢方法，包括測點維度查詢方法和時間維度查詢方法。其中測點維度查詢方法用于查詢指定測點指定時間段的測量數(shù)據(jù)；時間維度查詢方法用于查詢指定時間多個測點的測量數(shù)據(jù)。

具體的說，測點維度查詢方法包括，指定待查詢的測點號為a；指定查詢時間段的開始時間為t₁和結(jié)束時間為t₂；查詢元數(shù)據(jù)區(qū)，按測點號查找到a號測點的位置；查詢存儲查詢表，獲取a號測點的開始測量時間t_a及測量時間間隔Δt_a；及測點a對應(yīng)每個數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_a；計算開始數(shù)據(jù)序號L₁及結(jié)束數(shù)據(jù)序號L₂；

根據(jù)數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_a計算L₁號數(shù)據(jù)所在的數(shù)據(jù)塊序號s_a1及L₂號數(shù)據(jù)所在的數(shù)據(jù)塊序號s_a2；

結(jié)果整數(shù)部分表示L₁號數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示L₁號數(shù)據(jù)對應(yīng)所在數(shù)據(jù)塊中的序號；

結(jié)果整數(shù)部分表示L₂號數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示L₂號數(shù)據(jù)對應(yīng)所在數(shù)據(jù)塊中的序號；

根據(jù)數(shù)據(jù)塊對應(yīng)的序號、數(shù)據(jù)塊位置，在測量數(shù)據(jù)區(qū)中查找并讀取該測點對應(yīng)數(shù)據(jù)塊中的數(shù)據(jù)。

如圖2所示，結(jié)合具體數(shù)據(jù)實例，若查詢第327號測點從時間989800ms到時間1019800ms時間段內(nèi)的數(shù)據(jù)，具體查詢方法如下：

查詢出，第327號測點開始測量時間為第100ms，測量時間間隔為300ms，每個數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)為1000個，則待查詢測點數(shù)據(jù)區(qū)間的計算方法如下：

因此應(yīng)查詢測點的第3300個數(shù)據(jù)到第3400個數(shù)據(jù)區(qū)間的數(shù)據(jù)值。

商為3，余數(shù)為300；

商為3，余數(shù)為400；

根據(jù)數(shù)據(jù)區(qū)間3300-3400可計算出應(yīng)查詢測點數(shù)據(jù)塊3中數(shù)據(jù)，根據(jù)測點的數(shù)據(jù)塊位置信息將測點數(shù)據(jù)塊3讀入到數(shù)據(jù)緩沖區(qū)。

要查詢的數(shù)據(jù)即數(shù)據(jù)塊3中第300到第400個數(shù)據(jù)。從測量數(shù)據(jù)區(qū)讀取數(shù)據(jù)，并存到數(shù)據(jù)緩存區(qū)。

具體的說：時間維度的查詢方法包括以下步驟：指定帶查詢時刻為T,指定待查詢的測點號為b，查詢存儲查詢表，獲取b號測點的開始測量時間t_b及測量時間間隔Δt_b，及測點b對應(yīng)每個數(shù)據(jù)塊可存儲數(shù)據(jù)個數(shù)m_b；；計算測點b中T時刻對應(yīng)的測量數(shù)據(jù)：

d表示T時刻，測點b中對應(yīng)測量數(shù)據(jù)的序號；

結(jié)果整數(shù)部分表示T時刻測量數(shù)據(jù)所在的數(shù)據(jù)塊編號，余數(shù)部分表示T時刻測量數(shù)據(jù)對應(yīng)所在數(shù)據(jù)塊中的序號；

根據(jù)數(shù)據(jù)塊對應(yīng)的序號、數(shù)據(jù)塊位置，在測量數(shù)據(jù)區(qū)中查找并讀取該測點對應(yīng)數(shù)據(jù)塊中的數(shù)據(jù)。

依然如圖2所示，結(jié)合具體數(shù)據(jù)實例，

查詢時間點為24100的從測點6到測點9的數(shù)據(jù)。假設(shè)各個測點的開始測量時間均為100，各測點的測量時間間隔分別為200、300、400、500、100，每個數(shù)據(jù)塊中均可存儲1000個數(shù)據(jù)。

根據(jù)時間點計算各測點在該時間點對應(yīng)測點的第幾個數(shù)據(jù)：

測點6：(24100-100)/200+1＝121

測點7：(24100-100)/300+1＝81

測點8：(24100-100)/400+1＝61

測點9：(24100-100)/500+1＝49

相應(yīng)的：

商為0，余數(shù)為121；

商為0，余數(shù)為81；

商為0，余數(shù)為61；

商為0，余數(shù)為49；

根據(jù)上述計算結(jié)果可計算出待查詢數(shù)據(jù)所在的數(shù)據(jù)塊，應(yīng)讀取測點6的數(shù)據(jù)塊0中的第121個數(shù)據(jù)；應(yīng)讀取測點7的數(shù)據(jù)塊0中的第81個數(shù)據(jù)；應(yīng)讀取測點8的數(shù)據(jù)塊0中的第61個數(shù)據(jù)；應(yīng)讀取測點9的數(shù)據(jù)塊0中的第49個數(shù)據(jù)。

再根據(jù)上述計算結(jié)果以及元數(shù)據(jù)區(qū)中的單位測量數(shù)據(jù)長度和數(shù)據(jù)塊位置信息可計算出待查詢數(shù)據(jù)在測量數(shù)據(jù)區(qū)的位置并讀取。