專利名稱：一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，尤其是涉及一種CPD (Common Performance Database)數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法。
背景技術(shù)：
現(xiàn)有的主流的數(shù)據(jù)庫管理系統(tǒng)，在數(shù)據(jù)的保密性，操作的安全性，數(shù)據(jù)的可恢復性等方面，致使計算機有限的資源被擠占，不能更多的用于數(shù)據(jù)存儲，而且增大用戶成本。對于那些基本特性是量大，安全性不需要太高，即使有少量數(shù)據(jù)丟失，也不會造成業(yè)務(wù)損失的數(shù)據(jù)，專利申請 CN 101853278A 提出了一種 CPD(Common Performance Database)數(shù)據(jù)存儲系統(tǒng)，涉及數(shù)據(jù)的存儲、檢索等方面，數(shù)據(jù)存儲量大，存儲速度要快，可方便快速的讀取。隨著客戶需求的提高，需要進一步地提高數(shù)據(jù)處理速度。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于CPD數(shù)據(jù)存儲系統(tǒng)的改進的一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，進一步地加快數(shù)據(jù)更新速度和系統(tǒng)響應(yīng)速度。本發(fā)明的目的將通過以下技術(shù)方案得以實現(xiàn)
一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，該數(shù)據(jù)存儲系統(tǒng)以“表”的方式組織存儲數(shù)據(jù)，所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)存儲文件的創(chuàng)建包括以下步驟
第一步、在所述數(shù)據(jù)存儲系統(tǒng)中創(chuàng)建數(shù)據(jù)存儲主表文件及其衍生文件，在所述主表文件的開始位置設(shè)置用于建立該文件中數(shù)據(jù)的索引信息的預留空間，所述預留空間包括文件頭部，在文件開始用2個字節(jié)的空間記錄該文件頭部的長度，以及記錄整個文件記錄的時間范圍、文件類型、文件記錄各列的屬性信息和文件中實際的索引塊數(shù)；索引區(qū)，每一個索引預留32個字節(jié)的空間，用以記錄該索引中各記錄的時間跨度、在文件中的起始位置以及內(nèi)容空間長度，所述索引區(qū)預留的空間按預先設(shè)定的一個文件存儲數(shù)據(jù)的時間跨度、每個索引的時間跨度計算得到；
第二步、對所述主表文件的每條記錄的組合key信息進行壓縮，建立數(shù)據(jù)存儲主表文件的附屬表文件，使每個key只需要在系統(tǒng)中存儲一次，以節(jié)省硬盤空間；每個主表文件及其衍生文件共用一個附屬表文件；所述附屬表文件在內(nèi)存中長期存在，附屬表文件的每一項內(nèi)容均有一個唯一的數(shù)字編碼；整個系統(tǒng)中對所述附屬表文件中的每一項的操作，都只使用所述數(shù)字編碼；
第三步、在字典文件中記錄主表文件的基本信息以及要存儲的數(shù)據(jù)記錄結(jié)構(gòu)信息； 第四步、在計算機內(nèi)存中緩存主表文件的的基本信息及數(shù)據(jù)記錄結(jié)構(gòu)信息，以增加后續(xù)對該表的操作效率。進一步的，上述的數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其中在創(chuàng)建所述數(shù)據(jù)存儲系統(tǒng)的過程中，每個文件中的數(shù)據(jù)記錄結(jié)構(gòu)均一致；定義該記錄結(jié)構(gòu)各列的類型(key列、數(shù)值列)、類別(數(shù)字列、字符型列)、數(shù)值列存儲方式(只對數(shù)字型列適用)；所述數(shù)值列存儲方式包括固定列和可變列，所述固定列是列的各元素以固定的長度存儲到硬盤中，這種方式會浪費一些硬盤空間；所述可變列是列的各元素按實際大小被劃分到不同類型，各不同類型用不同字節(jié)長度來存儲，其中每個元素有1個字節(jié)來記錄其采用的長度類型。進一步的，上述的數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其中所述衍生文件是由系統(tǒng)根據(jù)主表文件在創(chuàng)建時指定的信息，定期地自動運行，對原始數(shù)據(jù)進行指定類型的數(shù)學表達式操作而生成的新文件；所述衍生文件與原始的主表文件有完全一致的記錄結(jié)構(gòu)。進一步的，上述的數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其中所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的存儲包括如下步驟
1)判斷本次一批存儲的記錄是否接收完成(CPD限制了每批次傳輸數(shù)據(jù)的內(nèi)存限制， 如果一批數(shù)據(jù)超過這個限制，要拆包傳輸)；如果未完成，則緩存；如果完成，則啟動寫數(shù)據(jù)流程；
2)匹配對應(yīng)的附屬表文件，檢測是否有附屬表文件中不存在的新的key列值；如有新的key列值，對新的key列值生成新的唯一的編碼，且將所述新的key列值存儲到附屬表文件中；
3)根據(jù)記錄各列屬性組織數(shù)據(jù)，將組織后的字節(jié)流寫入硬盤，然后為該批數(shù)據(jù)構(gòu)建一個索引，檢測該批數(shù)據(jù)的時間范圍，完成該索引的創(chuàng)建；
4)調(diào)整字典文件中主表文件中記錄的相關(guān)信息，包括記錄條數(shù)和時間范圍，將所述調(diào)整的相關(guān)信息同步到內(nèi)存中，以方便查詢；
5)調(diào)用緩存程序，檢測緩存這批數(shù)據(jù)到“寫數(shù)據(jù)緩存”，同時根據(jù)調(diào)度策略，從緩存中移除最久未被查詢使用的數(shù)據(jù)。進一步的，上述的數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其中所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的查詢包括如下步驟
1)接收數(shù)據(jù)查詢語句，根據(jù)查詢數(shù)據(jù)的時間范圍，檢測“寫數(shù)據(jù)緩存”；如果有合適的數(shù)據(jù)塊，則提取所述數(shù)據(jù)塊；如果所述數(shù)據(jù)塊不在“寫數(shù)據(jù)緩存”中，則讀取滿足時間范圍的、 物理文件的索引；
2)解析查詢語句，分別按表達式的執(zhí)行順序?qū)Ω鲾?shù)據(jù)塊過濾，如果是“寫數(shù)據(jù)緩存”中的數(shù)據(jù)塊，直接過濾；如果是物理文件中的數(shù)據(jù)，則根據(jù)索引指定的文件區(qū)域，讀取對應(yīng)的數(shù)據(jù)塊，然后過濾；先過濾表達式，然后根據(jù)各表達式間的關(guān)系進行過濾；
3)找出最大時間跨度的數(shù)據(jù)塊，將其他數(shù)據(jù)塊內(nèi)容按所述時間范圍進行匯總合并，匯總方式按主表文件指定的數(shù)學表達式進行，從而形成新的數(shù)據(jù)塊；
4)將新的數(shù)據(jù)塊記錄的key對應(yīng)的唯一編碼替換為附屬表文件中對應(yīng)的內(nèi)容，返回給調(diào)用者。本發(fā)明的突出效果為本發(fā)明新增了主表文件的衍生文件，并且在主表文件的開始位置設(shè)置用于建立該文件中數(shù)據(jù)的索引信息的預留空間，保留了原數(shù)據(jù)存儲量大、功能簡單、工作流程簡潔，讀寫速率高等特點，進一步加快數(shù)據(jù)更新速度和系統(tǒng)響應(yīng)速度。以下便結(jié)合實施例附圖，對本發(fā)明的具體實施方式
作進一步的詳述，以使本發(fā)明技術(shù)方案更易于理解、掌握。


圖1為本發(fā)明數(shù)據(jù)存儲系統(tǒng)創(chuàng)建一個數(shù)據(jù)存儲表的流程示意圖； 圖2為本發(fā)明數(shù)據(jù)存儲系統(tǒng)存儲一個數(shù)據(jù)存儲表的流程示意圖3為本發(fā)明數(shù)據(jù)存儲系統(tǒng)查詢一個數(shù)據(jù)存儲表的流程示意圖。
具體實施例方式本發(fā)明的數(shù)據(jù)存儲系統(tǒng)以“表”的方式(一個“表”對應(yīng)一個文件)組織數(shù)據(jù)，這樣就允許對不同“表”之間可以并發(fā)的讀寫操作。它在執(zhí)行讀“表文件”時不鎖定文件；在寫 “表文件”時，只鎖定部分區(qū)域，使用戶可以并發(fā)的讀取該文件中其他的數(shù)據(jù)。在本發(fā)明的數(shù)據(jù)存儲系統(tǒng)中，數(shù)據(jù)在“表文件”中的讀、寫操作都以“數(shù)據(jù)塊”(一個塊是在一個時間跨度范圍內(nèi)的所有的具有相同格式的數(shù)據(jù)記錄的集合)為基本單位。這樣在讀取記錄時使該記錄的周邊記錄同時被讀取到內(nèi)存中，減少了頻繁讀取磁盤文件的開銷，加快了后續(xù)讀取操作的速度；在寫存儲記錄時，將一個時間范圍(由用戶指定時間值)內(nèi)的數(shù)據(jù)緩存在一起，一次批量的寫入，減少了頻繁寫磁盤文件的開銷，也避免了“表文件”經(jīng)常性的被鎖定，加快了并發(fā)的寫磁盤的速讀。另外，在本發(fā)明的數(shù)據(jù)存儲系統(tǒng)中，任何數(shù)據(jù)都是直接以“字節(jié)流”的方式寫“表文件”的，沒有任何的加密措施，使之數(shù)據(jù)可以輕易的解析出來。無需支持標準的SQL語言的解析、執(zhí)行操作。本發(fā)明數(shù)據(jù)存儲系統(tǒng)，包括數(shù)據(jù)存儲主表文件、附屬表文件、字典文件和衍生文件。其中，每個主表文件有且只有一個附屬表文件(不是必須存在的表文件)。每個數(shù)據(jù)存儲主表文件中的數(shù)據(jù)只提供了寫入、查詢的功能，并可修改檢索信息、索引信息、狀態(tài)信息等。 數(shù)據(jù)存儲主表之間是彼此獨立的，不支持關(guān)聯(lián)關(guān)系。字典文件記錄本發(fā)明數(shù)據(jù)存儲系統(tǒng)中每個數(shù)據(jù)存儲主表文件的基本信息及數(shù)據(jù)記錄結(jié)構(gòu)信息，附屬表文件在此不必有記錄。字典文件中的信息可以添加、可以查詢，也可以修改、刪除。幾個字典文件之間有外關(guān)聯(lián)關(guān)系，有主鍵唯一性約束等特性。主表文件的衍生文件與主表文件共用一個附屬表文件，其數(shù)據(jù)是根據(jù)主表文件的類型及建表時給定的數(shù)學表達式，時間范圍，由系統(tǒng)自行運行產(chǎn)生的數(shù)據(jù)表，是對主表文件的一種再統(tǒng)計數(shù)據(jù)表。每個字典文件、數(shù)據(jù)存儲主表文件、附屬表文件、衍生文件有一個唯一的物理文件與之對應(yīng)。如圖1所示，該數(shù)據(jù)存儲系統(tǒng)以“表”的方式組織存儲數(shù)據(jù)，數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)存儲文件的創(chuàng)建包括以下步驟
第一步、在數(shù)據(jù)存儲系統(tǒng)中創(chuàng)建數(shù)據(jù)存儲主表文件及其衍生文件，在主表文件的開始位置設(shè)置用于建立該文件中數(shù)據(jù)的索引信息的預留空間，預留空間包括文件頭部，在文件開始用2個字節(jié)的空間記錄該文件頭部的長度，以及記錄整個文件記錄的時間范圍、文件類型、文件記錄各列的屬性信息和文件中實際的索引塊數(shù)；索引區(qū)，每一個索引預留32個字節(jié)的空間，用以記錄該索引中各記錄的時間跨度、在文件中的起始位置以及內(nèi)容空間長度，索引區(qū)預留的空間按預先設(shè)定的一個文件存儲數(shù)據(jù)的時間跨度、每個索引的時間跨度計算得到；
第二步、對主表文件的每條記錄的組合key信息進行壓縮，建立數(shù)據(jù)存儲主表文件的附屬表文件，使每個key只需要在系統(tǒng)中存儲一次，以節(jié)省硬盤空間；每個主表文件及其衍生文件共用一個附屬表文件；附屬表文件在內(nèi)存中長期存在，附屬表文件的每一項內(nèi)容均有一個唯一的數(shù)字編碼；整個系統(tǒng)中對附屬表文件中的每一項的操作，都只使用數(shù)字編碼； 衍生文件是由系統(tǒng)根據(jù)主表文件在創(chuàng)建時指定的信息，定期地自動運行，對原始數(shù)據(jù)進行指定類型的數(shù)學表達式操作而生成的新文件；衍生文件與原始的主表文件有完全一致的記錄結(jié)構(gòu)；
第三步、在字典文件中記錄主表文件的基本信息以及要存儲的數(shù)據(jù)記錄結(jié)構(gòu)信息； 第四步、在計算機內(nèi)存中緩存主表文件的的基本信息及數(shù)據(jù)記錄結(jié)構(gòu)信息，以增加后續(xù)對該表的操作效率。本發(fā)明與現(xiàn)有技術(shù)的區(qū)別點就在于新增了主表文件的衍生文件，并且在主表文件的開始位置設(shè)置用于建立該文件中數(shù)據(jù)的索引信息的預留空間，保留了原數(shù)據(jù)存儲量大、 功能簡單、工作流程簡潔，讀寫速率高等特點，進一步加快數(shù)據(jù)更新速度和系統(tǒng)響應(yīng)速度。在創(chuàng)建數(shù)據(jù)存儲系統(tǒng)的過程中，每個文件中的數(shù)據(jù)記錄結(jié)構(gòu)均一致；定義該記錄結(jié)構(gòu)各列的類型(key列、數(shù)值列)、類別(數(shù)字列、字符型列)、數(shù)值列存儲方式(只對數(shù)字型列適用)；數(shù)值列存儲方式包括固定列和可變列，固定列是列的各元素以固定的長度存儲到硬盤中，這種方式會浪費一些硬盤空間；可變列是列的各元素按實際大小被劃分到不同類型，各不同類型用不同字節(jié)長度來存儲，其中每個元素有1個字節(jié)來記錄其采用的長度類型。如圖2所示，該數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的存儲包括如下步驟
1)判斷本次一批存儲的記錄是否接收完成(CPD限制了每批次傳輸數(shù)據(jù)的內(nèi)存限制， 如果一批數(shù)據(jù)超過這個限制，要拆包傳輸)；如果未完成，則緩存；如果完成，則啟動寫數(shù)據(jù)流程；
2)匹配對應(yīng)的附屬表文件，檢測是否有附屬表文件中不存在的新的key列值；如有新的key列值，對新的key列值生成新的唯一的編碼，且將新的key列值存儲到附屬表文件中；
3)根據(jù)記錄各列屬性組織數(shù)據(jù)，將組織后的字節(jié)流寫入硬盤，然后為該批數(shù)據(jù)構(gòu)建一個索引，檢測該批數(shù)據(jù)的時間范圍，完成該索引的創(chuàng)建；
4)調(diào)整字典文件中主表文件中記錄的相關(guān)信息，包括記錄條數(shù)和時間范圍，將調(diào)整的相關(guān)信息同步到內(nèi)存中，以方便查詢；
5)調(diào)用緩存程序，檢測緩存這批數(shù)據(jù)到“寫數(shù)據(jù)緩存”，同時根據(jù)調(diào)度策略，從緩存中移除最久未被查詢使用的數(shù)據(jù)。對于查詢，采用了用一串字符表示對查詢數(shù)據(jù)的需求，其表示規(guī)則如下
1)查詢語句用query開始，后緊跟要查詢的表面(這里只能是“主表文件”名)，如query tabIeName ；
2)對數(shù)據(jù)的過濾用filter表示，支持and(與)，or(或)組合過濾操作；支持in操作、 not no操作，規(guī)則如下
在一對大括號“ H ”里的表達式在一起執(zhí)行；
每個表達式用一對中括號"□“包含；
表達式之間只允許有and (與)，or (或)字符，空格分隔；表達式內(nèi)有3類操作，分別是
比較(只適用與數(shù)字列)==，>，>=，<，<=，！=；eg: [enamel == 5]
包含(同時是用與數(shù)值列、字符列)in，not in; [eg: [enamel in (1，3，6)](列 enamel 值為 1，3，6 的記錄符合)eg: [enamel, cname2 in 1, 2>, <4，6>, <8. 10 ](每條記錄的列 enamel, cname2 為 <1，2>, <4，6>, <8，10>符合，這里同一記錄的兩列對 <> 中的值是and(與)的關(guān)系，不同<> 中的值對是or (或)的關(guān)系)
字符判斷(字符列)equals，equalsIgnoreCase (忽略大小寫)； or [cname2 == 2]} and {[cname3 == 4] or [cname4 ==5]} or [cname5, cname6 in 1, 2>, <4, 6>, <8. 10 ]] 3)對數(shù)據(jù)的排序和匯總語句，同sql。如圖3所示，該數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的查詢包括如下步驟
1)接收數(shù)據(jù)查詢語句，根據(jù)查詢數(shù)據(jù)的時間范圍，檢測“寫數(shù)據(jù)緩存”；如果有合適的數(shù)據(jù)塊，則提取數(shù)據(jù)塊；如果數(shù)據(jù)塊不在“寫數(shù)據(jù)緩存”中，則讀取滿足時間范圍的、物理文件的索引；
2)解析查詢語句，分別按表達式的執(zhí)行順序?qū)Ω鲾?shù)據(jù)塊過濾，如果是“寫數(shù)據(jù)緩存”中的數(shù)據(jù)塊，直接過濾；如果是物理文件中的數(shù)據(jù)，則根據(jù)索引指定的文件區(qū)域，讀取對應(yīng)的數(shù)據(jù)塊，然后過濾；先過濾表達式，然后根據(jù)各表達式間的關(guān)系進行過濾；
3)找出最大時間跨度的數(shù)據(jù)塊，將其他數(shù)據(jù)塊內(nèi)容按時間范圍進行匯總合并，匯總方式按主表文件指定的數(shù)學表達式進行，從而形成新的數(shù)據(jù)塊；
4)將新的數(shù)據(jù)塊記錄的key對應(yīng)的唯一編碼替換為附屬表文件中對應(yīng)的內(nèi)容，返回給調(diào)用者。本發(fā)明的數(shù)據(jù)存儲系統(tǒng)和現(xiàn)有其他類型的數(shù)據(jù)庫管理系統(tǒng)保存記錄在同樣的測試環(huán)境下進行的壓力測試數(shù)據(jù)對比，從記錄的測試效率看，數(shù)據(jù)存儲系統(tǒng)平均比現(xiàn)有其他類型的數(shù)據(jù)庫管理系統(tǒng)速度要快3. 5倍左右，能夠滿足用戶需求。本發(fā)明尚有多種實施方式，凡采用等同變換或者等效變換而形成的所有技術(shù)方案，均落在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，該數(shù)據(jù)存儲系統(tǒng)以“表”的方式組織存儲數(shù)據(jù)，其特征在于，所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)存儲文件的創(chuàng)建包括以下步驟第一步、在所述數(shù)據(jù)存儲系統(tǒng)中創(chuàng)建數(shù)據(jù)存儲主表文件及其衍生文件，在所述主表文件的開始位置設(shè)置用于建立該文件中數(shù)據(jù)的索引信息的預留空間，所述預留空間包括文件頭部，在文件開始用2個字節(jié)的空間記錄該文件頭部的長度，以及記錄整個文件記錄的時間范圍、文件類型、文件記錄各列的屬性信息和文件中實際的索引塊數(shù)；索引區(qū)，每一個索引預留32個字節(jié)的空間，用以記錄該索引中各記錄的時間跨度、在文件中的起始位置以及內(nèi)容空間長度，所述索引區(qū)預留的空間按預先設(shè)定的一個文件存儲數(shù)據(jù)的時間跨度、每個索引的時間跨度計算得到；第二步、對所述主表文件的每條記錄的組合key信息進行壓縮，建立數(shù)據(jù)存儲主表文件的附屬表文件；每個主表文件及其衍生文件共用一個附屬表文件；所述附屬表文件在內(nèi)存中長期存在，附屬表文件的每一項內(nèi)容均有一個唯一的數(shù)字編碼；整個系統(tǒng)中對所述附屬表文件中的每一項的操作，都只使用所述數(shù)字編碼；第三步、在字典文件中記錄主表文件的基本信息以及要存儲的數(shù)據(jù)記錄結(jié)構(gòu)信息；第四步、在計算機內(nèi)存中緩存主表文件的的基本信息及數(shù)據(jù)記錄結(jié)構(gòu)信息。
2.如權(quán)利要求1所述的一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其特征在于在創(chuàng)建所述數(shù)據(jù)存儲系統(tǒng)的過程中，每個文件中的數(shù)據(jù)記錄結(jié)構(gòu)均一致；定義該記錄結(jié)構(gòu)各列的類型、類別、 數(shù)值列存儲方式；所述數(shù)值列存儲方式包括固定列和可變列，所述固定列是列的各元素以固定的長度存儲到硬盤中；所述可變列是列的各元素按實際大小被劃分到不同類型，各不同類型用不同字節(jié)長度來存儲，其中每個元素有1個字節(jié)來記錄其采用的長度類型。
3.如權(quán)利要求1所述的一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其特征在于所述衍生文件是由系統(tǒng)根據(jù)主表文件在創(chuàng)建時指定的信息，定期地自動運行，對原始數(shù)據(jù)進行指定類型的數(shù)學表達式操作而生成的新文件；所述衍生文件與原始的主表文件有完全一致的記錄結(jié)構(gòu)。
4.如權(quán)利要求1所述的一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其特征在于所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的存儲包括如下步驟1)判斷本次一批存儲的記錄是否接收完成；如果未完成，則緩存；如果完成，則啟動寫數(shù)據(jù)流程；2)匹配對應(yīng)的附屬表文件，檢測是否有附屬表文件中不存在的新的key列值；如有新的key列值，對新的key列值生成新的唯一的編碼，且將所述新的key列值存儲到附屬表文件中；3)根據(jù)記錄各列屬性組織數(shù)據(jù)，將組織后的字節(jié)流寫入硬盤，然后為該批數(shù)據(jù)構(gòu)建一個索引，檢測該批數(shù)據(jù)的時間范圍，完成該索引的創(chuàng)建；4)調(diào)整字典文件中主表文件中記錄的相關(guān)信息，包括記錄條數(shù)和時間范圍，將所述調(diào)整的相關(guān)信息同步到內(nèi)存中；5)調(diào)用緩存程序，檢測緩存這批數(shù)據(jù)到“寫數(shù)據(jù)緩存”，從緩存中移除最久未被查詢使用的數(shù)據(jù)。
5.如權(quán)利要求1所述的一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，其特征在于所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)的查詢包括如下步驟1)接收數(shù)據(jù)查詢語句，根據(jù)查詢數(shù)據(jù)的時間范圍，檢測“寫數(shù)據(jù)緩存”；如果有合適的數(shù)據(jù)塊，則提取所述數(shù)據(jù)塊；如果所述數(shù)據(jù)塊不在“寫數(shù)據(jù)緩存”中，則讀取滿足時間范圍的、 物理文件的索引；2)解析查詢語句，分別按表達式的執(zhí)行順序?qū)Ω鲾?shù)據(jù)塊過濾，如果是“寫數(shù)據(jù)緩存”中的數(shù)據(jù)塊，直接過濾；如果是物理文件中的數(shù)據(jù)，則根據(jù)索引指定的文件區(qū)域，讀取對應(yīng)的數(shù)據(jù)塊，然后過濾；先過濾表達式，然后根據(jù)各表達式間的關(guān)系進行過濾；3)找出最大時間跨度的數(shù)據(jù)塊，將其他數(shù)據(jù)塊內(nèi)容按所述時間范圍進行匯總合并，匯總方式按主表文件指定的數(shù)學表達式進行，從而形成新的數(shù)據(jù)塊；4)將新的數(shù)據(jù)塊記錄的key對應(yīng)的唯一編碼替換為附屬表文件中對應(yīng)的內(nèi)容，返回給調(diào)用者。
全文摘要
本發(fā)明揭示了一種數(shù)據(jù)存儲系統(tǒng)應(yīng)用方法，該數(shù)據(jù)存儲系統(tǒng)以“表”的方式組織存儲數(shù)據(jù)，所述數(shù)據(jù)存儲系統(tǒng)中數(shù)據(jù)存儲文件的創(chuàng)建包括以下步驟第一步、在所述數(shù)據(jù)存儲系統(tǒng)中創(chuàng)建數(shù)據(jù)存儲主表文件及其衍生文件；第二步、對所述主表文件的每條記錄的組合key信息進行壓縮，建立數(shù)據(jù)存儲主表文件的附屬表文件；第三步、在字典文件中記錄主表文件的基本信息以及要存儲的數(shù)據(jù)記錄結(jié)構(gòu)信息；第四步、在計算機內(nèi)存中緩存主表文件的的基本信息及數(shù)據(jù)記錄結(jié)構(gòu)信息，以增加后續(xù)對該表的操作效率。本發(fā)明數(shù)據(jù)存儲量大、功能簡單、工作流程簡潔，且具有更高的讀寫速率，進一步加快數(shù)據(jù)更新速度和系統(tǒng)響應(yīng)速度。
文檔編號G06F17/30GK102521306SQ20111039247
公開日2012年6月27日 申請日期2011年12月1日 優(yōu)先權(quán)日2011年12月1日
發(fā)明者何澤華, 彭寶, 胡斌 申請人:蘇州邁科網(wǎng)絡(luò)安全技術(shù)股份有限公司