大數(shù)據(jù)的復(fù)合文檔組織與存取模型GriDoc的制作方法
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)操作訪問方法與模型，簡(jiǎn)稱GriDoc，支持用戶采用模型化的方式操作訪問大數(shù)據(jù)，包括可視化操作與應(yīng)用程序操作，使大數(shù)據(jù)操作訪問走向模型支撐化。GriDoc模型由數(shù)格的定義以及數(shù)格的支撐環(huán)境體系構(gòu)成。數(shù)格是一種面向大數(shù)據(jù)操作訪問的虛擬集成視圖，充當(dāng)后臺(tái)數(shù)據(jù)的操作訪問對(duì)象代理，支持按照模型化的方式選取與虛擬重組數(shù)據(jù)。數(shù)格的支撐環(huán)境與工具是支撐數(shù)格功能實(shí)現(xiàn)的計(jì)算機(jī)軟件，對(duì)大數(shù)據(jù)的所有的操作訪問，包括定位、獲取、讀寫、更改等操作，以及完成這些操作所需的數(shù)據(jù)同步、流量調(diào)度、并發(fā)訪問控制、安全保密與身份認(rèn)證等事務(wù)，都由支撐環(huán)境與工具實(shí)現(xiàn)。
【專利說明】
大數(shù)據(jù)的復(fù)合文檔組織與存取模型Gr i Doc
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及計(jì)算機(jī)軟件領(lǐng)域，尤其是計(jì)算機(jī)應(yīng)用系統(tǒng)的構(gòu)造方法。
【背景技術(shù)】
[0002]數(shù)據(jù)是人類社會(huì)的一種重要資源，大數(shù)據(jù)的管理與使用，對(duì)于各行各業(yè)的發(fā)展起到推波助瀾的作用，科學(xué)與現(xiàn)代的解決方案都基于大數(shù)據(jù)。大數(shù)據(jù)的主要特征是異構(gòu)、分布、海量與低價(jià)值密度，因此，對(duì)大數(shù)據(jù)的使用與管理，需要解決這些特征所帶來的問題。
[0003]大數(shù)據(jù)組織，是指大數(shù)據(jù)的面向應(yīng)用的邏輯關(guān)系或者模型的建立與描述，旨在方便管理與使用，實(shí)現(xiàn)與物理存儲(chǔ)無關(guān)。
[0004]在大數(shù)據(jù)概念提出前，數(shù)據(jù)的建模概念只出現(xiàn)在關(guān)系數(shù)據(jù)庫(kù)的使用方面，或者數(shù)據(jù)倉(cāng)庫(kù)方面。在計(jì)算機(jī)應(yīng)用推動(dòng)下，人們積累的數(shù)據(jù)越來越豐富越來越龐大，對(duì)這些數(shù)據(jù)的“二次使用”成為重要問題，推動(dòng)了大數(shù)據(jù)概念的產(chǎn)生，也使大數(shù)據(jù)組織成為不可回避的問題。
[0005]然而，目前的技術(shù)只注重大數(shù)據(jù)的物理組織和簡(jiǎn)單的面向檢索的邏輯組織，典型的方法Key-Value模式和列模式。Key-Value模式將所有的數(shù)據(jù)都表示為“關(guān)鍵字-值”對(duì)?！瓣P(guān)鍵字-值”一般采用Hash表(分布式Hash表)存儲(chǔ)，管理系統(tǒng)不對(duì)“值”規(guī)定具體的用法，也不進(jìn)行解釋。列模式與Key-Value模式類似，只是將數(shù)據(jù)都表示為由“關(guān)鍵字”標(biāo)示的“列”，相當(dāng)于“值”為列的“關(guān)鍵字-值”對(duì)。這種組織方式一般面向查詢，難以描述具體的應(yīng)用邏輯，也不適合大數(shù)據(jù)的面向知識(shí)的管理，所以使用受到很大限制。

【發(fā)明內(nèi)容】

[0006]—、發(fā)明的基本內(nèi)容與目的
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種新的大數(shù)據(jù)組織與操作使用方法，稱為格文檔(GriDoc模型)，支持用戶對(duì)分布式異源異構(gòu)數(shù)據(jù)進(jìn)行模型化的虛擬集成，并基于虛擬集成實(shí)現(xiàn)對(duì)大數(shù)據(jù)的存取邏輯或者物理抽取后，重新組合與加工以及分解與集成，形成復(fù)合結(jié)構(gòu)文檔型的數(shù)據(jù)視圖，支持實(shí)現(xiàn)對(duì)大數(shù)據(jù)進(jìn)行模型化的操作與共享以及面向知識(shí)管理的應(yīng)用。
[0007]GriDoc模型的主要內(nèi)容包括稱為數(shù)格模型的大數(shù)據(jù)的組織與存取結(jié)構(gòu)、數(shù)格的變換與融合規(guī)則及其基于數(shù)格的大數(shù)據(jù)組織與操作訪問的支撐機(jī)制等方面。其中，數(shù)格模型用于定義虛擬集成數(shù)據(jù)視圖，數(shù)格變換規(guī)則用于視圖的改變與衍生，數(shù)格融合用于多個(gè)視圖的合并，而支撐機(jī)制定義了如何基于教育數(shù)格對(duì)大數(shù)據(jù)進(jìn)行操作訪問與知識(shí)管理。
[0008]
二、數(shù)格結(jié)構(gòu)
數(shù)格文檔模型(在無二義性情況下也簡(jiǎn)稱“數(shù)格”)是大數(shù)據(jù)的一個(gè)虛擬集成視圖模型，定義了一個(gè)具體的數(shù)格的組成成分及其特性，包含成分的來源、成分的關(guān)聯(lián)關(guān)系與存取策略等方面的描述。數(shù)格中的段與節(jié)都稱為數(shù)格元素。
[0009]數(shù)據(jù)關(guān)聯(lián)關(guān)系是樹結(jié)構(gòu)的有序表，簡(jiǎn)稱“樹表”，主要包括順序與包含兩種關(guān)系，它們的應(yīng)用含義(語(yǔ)義)由應(yīng)用者定義與解釋；成分的存取策略定義數(shù)據(jù)成分如何獲取與寫入。格文檔模型關(guān)聯(lián)上相應(yīng)的數(shù)據(jù)后稱為格文檔。'
數(shù)格的關(guān)系是一個(gè)節(jié)的有序表。一個(gè)節(jié)可以是一個(gè)數(shù)據(jù)段，也可以是其他節(jié)，也可以是滿足本定義的其他數(shù)格。數(shù)據(jù)段是基本數(shù)據(jù)是單位，可以是OS文件，也可以是以服務(wù)模式提供的通過服務(wù)訪問到的數(shù)據(jù)集合，例如，server型關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)、Web service數(shù)據(jù)等，特別的是，數(shù)據(jù)段也可以是數(shù)格引擎的數(shù)據(jù)或者格件引擎(格引擎)數(shù)據(jù)。
[0010]每個(gè)數(shù)格對(duì)應(yīng)一個(gè)數(shù)格描述符，簡(jiǎn)稱“數(shù)格敘”，用以描述數(shù)格的組織結(jié)構(gòu)與語(yǔ)法、語(yǔ)義及訪問權(quán)限等信息等。如果一個(gè)節(jié)中包含其他節(jié)，則這些節(jié)稱為子節(jié)。每個(gè)節(jié)也都對(duì)應(yīng)一個(gè)節(jié)描述符，即節(jié)敘，說明節(jié)的語(yǔ)法與語(yǔ)義及權(quán)限等以及訪問控制信息信息。段也具有類似于節(jié)敘的段敘，主要描述段的段引擎位置信息、訪問方式與訪問控制信息。
[0011]數(shù)格的形式化定義為:
一個(gè)數(shù)格文檔G是節(jié)SI，S2,…，Sn的一個(gè)有序表:
G=(S1, S2,..., Sn);
其中，任一個(gè)節(jié)Si定義為段或者其他節(jié)的有序表:
S = (psl, ps2,..., psm), i=l ,2,..., m 附圖1是GriDoc的文檔結(jié)構(gòu)示意圖。
三、數(shù)格操作模型
(3.1)數(shù)格元素的引用
數(shù)格中的段與節(jié)都是數(shù)格元素。對(duì)數(shù)格進(jìn)行的大多數(shù)操作，都需要引用數(shù)格中的元素。設(shè)S是一個(gè)節(jié)或者段的引用，則它的引用模式為:
S[sel]:當(dāng)sel指稱的是一個(gè)單一的元素，則返回的引用是該元素，否則，將選擇器sel指稱的元素序列看做一個(gè)新節(jié)，返回其引用
S(name):返回元素名name對(duì)應(yīng)的元素的引用；
選擇器Sel用于指定多個(gè)序號(hào)，它中包含多個(gè)型為“起點(diǎn)_終點(diǎn)”的序號(hào)范圍定義，它們定義的范圍的并即為整個(gè)Sel的范圍定義。指定一個(gè)序號(hào)范圍，它的語(yǔ)法格式定義如下:IndexSelector::= IndexScope | (IndexScope 〃，〃 IndexSelector)
IndexScope::= INTEGER | ( INTEGER? 〃_〃 INTEGER?)
INTEGER::= (〃-〃 I "+〃)？ DIGITSDIGITS::=DIGIT | ( DIGIT DIGITS)
DIGIT::= 0|I|2|3|4|5|6|7|8|9
序號(hào)選擇器sel的語(yǔ)義定義如下，設(shè)i和j為任意整數(shù):
模式1:型為“i”，當(dāng)i為非負(fù)數(shù)，指稱序號(hào)為i的元素；當(dāng)i為負(fù)數(shù)，指稱序號(hào)為N+i的元素，這里N是序號(hào)總數(shù)。
[0012]模式2:型為指稱從序號(hào)i起到序號(hào)j之間的每個(gè)元素；i表示的位置應(yīng)該在j表示的位置之前。當(dāng)i為非負(fù)數(shù)時(shí)，i表示的序號(hào)是i本身，否則表示的序號(hào)是N+i，這里N是序號(hào)總數(shù)，對(duì)j亦類似。i或者j都可以缺省.1缺省時(shí)表不最小序號(hào)，j缺省時(shí)表不最大序號(hào)。
[0013]模式3:多項(xiàng)“i”或者和以逗號(hào)分隔。所指稱的是各項(xiàng)指稱的并(去除重復(fù))； (3.2)數(shù)格元素定位抽取操作
在進(jìn)行數(shù)據(jù)訪問或者文檔或操作時(shí)需要進(jìn)行數(shù)格元素的引用的獲取，稱為定位操作。
[0014]數(shù)格元素抽取定位的結(jié)果的類型是元素引用，定位的操作對(duì)象是節(jié)引用。定位操作的模式為:
Sec.Use(scope,cond,serializeMode )
其語(yǔ)義是返回節(jié)Sec中的范圍k內(nèi)的滿足條件cond的元素的引用。
[0015]Sec是一個(gè)節(jié)引用；
Use是操作指令標(biāo)識(shí)符，實(shí)現(xiàn)時(shí)可以使用其他標(biāo)識(shí)符； cond是邏輯表達(dá)式，指示查找條件；
scope為用下劃線分割的整數(shù)對(duì)語(yǔ)法語(yǔ)義遵循序號(hào)選擇器中的元素，指示搜素的層次范圍，即在i層與j層之間搜素。。
[0016]serializeMode，表示序列化方式，當(dāng)滿足scope和cond的元素有不止I個(gè)時(shí)，將各元素按照serialize指示的方式序列化。
[0017]idx為整數(shù)，指示返回引用的范圍，值I和2分別表示先根序列化和后跟序列化，值為3表不層序序列化。
[0018]當(dāng)滿足k和cond的應(yīng)用的元素有多個(gè)時(shí)，系統(tǒng)按照序列化方式serializeMode將滿足的應(yīng)用序列化；
(3.3)數(shù)格元素的更改
GriDoc支持對(duì)數(shù)格元素進(jìn)行更改，包括元素替換、元素插入和元素刪除等操作實(shí)現(xiàn)。元素更改也實(shí)現(xiàn)了數(shù)個(gè)模型與內(nèi)容的更改。設(shè)el與e2是利用定位操作指稱的元素，Sec是一個(gè)節(jié)的引用。
[0019]元素替換操作的模式為:
Sec.Replace(el，e2)
表示將Sec中的元素el替換為e2。
[0020]元素的插入操作模式為:
Sec.1nsert(el，e2)
表示在Sec中的el的定位引用的前面插入元素e2;
元素的刪除操作的模式為:
Sec.delete(el)
表示將el指稱的元素從Sec刪除。
[0021]
(3.4)數(shù)格變換與融合操作
數(shù)格的變換與融合的目的是將現(xiàn)有的模型加工生成新的模型，以適應(yīng)不同的應(yīng)用需求。
[0022]數(shù)格的融合定義為對(duì)多個(gè)數(shù)格進(jìn)行操作，使它們合并為一個(gè)新數(shù)格;數(shù)格的變換定義為對(duì)一個(gè)數(shù)格實(shí)施操作，使其轉(zhuǎn)化為另一種數(shù)格，或者分解為多個(gè)新數(shù)格。
[0023]數(shù)格的融合操作種類如下，設(shè)Secl，Sec2等是節(jié)引用全追加:將Sec2加到Secl的末尾；
Secl.Append(Sec2) 設(shè)G，G1，G2，…，為代表數(shù)格的元素結(jié)合，用符號(hào)“+”表示，定義為兩個(gè)數(shù)格Gl和G2的節(jié)首尾相接，形成一個(gè)新數(shù)格，用集合論方法定義為集合并:
Gl U G2
后減追加:將數(shù)格Sec2中未出現(xiàn)在Sec I中的元素依次加到Sec I的末尾，形成新的格: Secl.Append2(Sec2)
用集合論方法定義為:
Gl U (G2 - Gl)
前減追加:將數(shù)格Sec2中全部節(jié)依次加到Secl末尾，并且將Secl中的已經(jīng)在Sec2中的元素刪除，形成新的格:
Secl.Append3(Sec2)
用集合論方法定義為:
Gl - G2)U G2o
[0024]
四、數(shù)格格文檔工作模型
這里定義的數(shù)格文檔的工作模型，是指數(shù)格文檔的運(yùn)作與工作的機(jī)制、方式與方法，框定了用戶和應(yīng)用系統(tǒng)運(yùn)用GriDoc操作訪問大數(shù)據(jù)的方式與方法。
[0025](4.1)格文檔系統(tǒng)組成成分一個(gè)格文檔應(yīng)用，包含下列成分:
■段引擎:為軟件服務(wù)器，段的訪問代理，同時(shí)也是段的發(fā)布引擎，所有對(duì)段的訪問都通過段引擎實(shí)現(xiàn)。
[0026]段引擎主要有兩個(gè)方面的功能，一是負(fù)責(zé)與數(shù)據(jù)源的交互，按照段敘存取數(shù)據(jù)源，包括發(fā)布數(shù)據(jù)與反饋數(shù)據(jù);二是處理客戶對(duì)段引擎的服務(wù)請(qǐng)求。
[0027]■數(shù)格引擎:為軟件服務(wù)器，它一方面根據(jù)數(shù)格敘維護(hù)虛擬集成視圖，另一方面處理用戶(含應(yīng)用程序)對(duì)數(shù)格的操作訪問。數(shù)格引擎的功能的最終實(shí)現(xiàn)是通過訪問段引擎進(jìn)行的，它是段引擎的客戶，是終端用戶的服務(wù)器。
[0028]數(shù)格文檔引擎中包含各種主要的數(shù)據(jù)處理算法，如分布式查詢、同步、緩沖、傳輸?shù)男蛄谢c壓縮、并發(fā)訪問控制與流量調(diào)度等；
■數(shù)格驅(qū)動(dòng)器:為API，支持用戶編寫基于GriDoc的應(yīng)用程序，用于支撐應(yīng)用程序?qū)?shù)格引擎的訪問，主要包括建立與數(shù)格引擎的連接，發(fā)送訪問請(qǐng)求到數(shù)格引擎，從數(shù)格引擎接收返回結(jié)果。該驅(qū)動(dòng)器在作用上類似于ODBC或者其他數(shù)據(jù)庫(kù)驅(qū)動(dòng)器。
[0029]
(4.2)Gridoc應(yīng)用的開發(fā)模式
Gr iDoc包含兩種應(yīng)用:Gr iDoc管理器和Gr idoc應(yīng)用程序.GriDoc管理器是一種可視化管理器，支持用戶以可視化的形式針對(duì)數(shù)格GriDoc據(jù)文檔進(jìn)行定義、創(chuàng)建、權(quán)限配置等操作，以及前面定義的文檔的三類操作:查找、更改與融合。
[0030]Gridoc應(yīng)用程序是一種用程序設(shè)計(jì)語(yǔ)言編寫的包含對(duì)數(shù)格GriDoc訪問的計(jì)算機(jī)程序，基于數(shù)格引擎與數(shù)格Gr iDoc驅(qū)動(dòng)器工作;一個(gè)Gr iDoc應(yīng)用是一個(gè)客戶/服務(wù)模式的應(yīng)用，客戶端是用標(biāo)準(zhǔn)程序設(shè)計(jì)語(yǔ)言或者腳本語(yǔ)言編寫的基于數(shù)格驅(qū)動(dòng)器的應(yīng)用程序，服務(wù)端是數(shù)格引擎與段引擎?？蛻舳嗽L問數(shù)格格文檔時(shí)，通過調(diào)用數(shù)格驅(qū)動(dòng)器向數(shù)格引擎發(fā)送訪問請(qǐng)求，數(shù)格引擎接到訪問請(qǐng)求后，對(duì)于關(guān)于段的操作，則請(qǐng)求段引擎進(jìn)行服務(wù)，對(duì)于其他操作，直接在數(shù)格引擎中進(jìn)行處理。
[0031](4.3)格文檔的工作機(jī)制與方式
4.1中定義的GriDoc的主要組織成分反映了Gridoc的工作機(jī)制借助與方式。GriDoc的工作，是應(yīng)用程序、數(shù)格引擎、段引擎和數(shù)格驅(qū)動(dòng)器之間的協(xié)同工作，基本過程與方式描述如下:
[I ](開發(fā)人員工作:設(shè)計(jì)數(shù)格模型)用戶根據(jù)具體應(yīng)用需求采用數(shù)格管理器或者文本編輯器為應(yīng)用設(shè)計(jì)數(shù)格模型，并存入數(shù)格引擎；
[2](應(yīng)用程序工作;連接數(shù)格引擎)數(shù)據(jù)操作應(yīng)用程序通過數(shù)格驅(qū)動(dòng)器連接數(shù)格驅(qū)動(dòng)器連接數(shù)格引擎。
[0032][3](應(yīng)用程序工作:發(fā)數(shù)據(jù)操作指令)應(yīng)用程序通過數(shù)格驅(qū)動(dòng)器想數(shù)格引擎發(fā)出數(shù)據(jù)操作指令；
[4](數(shù)格驅(qū)動(dòng)器工作)數(shù)格驅(qū)動(dòng)器通過EITP協(xié)議將應(yīng)用的數(shù)據(jù)操作指令傳輸?shù)綌?shù)格引擎；
[5](數(shù)格引擎工作)數(shù)格引擎接收數(shù)格驅(qū)動(dòng)器發(fā)來的數(shù)據(jù)操作指令，對(duì)于段的訪問，提交段引擎處理;對(duì)于其他訪問，則自己處理。處理完成后將結(jié)果通過EITP協(xié)議回送到應(yīng)用程序端；
[5](應(yīng)用程序工作)應(yīng)用程序過數(shù)格驅(qū)動(dòng)器或者事件處理器接收并處理數(shù)格引擎回送的操作結(jié)果。
[0033][6](應(yīng)用程序工作)當(dāng)應(yīng)用程序需要操作數(shù)據(jù)時(shí)，繼續(xù)從[4]所述步驟執(zhí)行。
【附圖說明】
[0034]圖1是本發(fā)明的數(shù)格結(jié)構(gòu)的示意圖(GriDoc的文檔結(jié)構(gòu))；
圖2是GriDoc軟件體系示意圖(GriDoc應(yīng)用體系)；
圖3是本發(fā)明的GriDoc支撐體系的示意圖；
圖4是本發(fā)明的物聯(lián)引擎與段引擎組成的示意圖。
【具體實(shí)施方式】
下面結(jié)合實(shí)施例及附圖對(duì)本
【發(fā)明內(nèi)容】
及實(shí)施方法作進(jìn)一步的描述，但本發(fā)明的實(shí)施方式不限于此。
[0035](I)GriDoc支撐系統(tǒng)體系結(jié)構(gòu)
GriDoc的支撐系統(tǒng)是指用戶使用GriDoc操作訪問大數(shù)據(jù)所需的共用的計(jì)算機(jī)軟件。該軟件是按照GriDoc模型的規(guī)定實(shí)現(xiàn)的，軟件的組成、功能體系及相互作用方式等都屬于GriDoc內(nèi)容，但具體的計(jì)算機(jī)軟件編程，可由實(shí)施者自己提供。
[0036]GroDoc的運(yùn)行支撐環(huán)境主要包括數(shù)格引擎、段引擎、數(shù)格驅(qū)動(dòng)器。這個(gè)三種軟件成分是GriDoc特定的，還有一些其他成分可以有實(shí)施者自行確定。
[0037]這里基于我們給出的E1框架與EITP協(xié)議實(shí)現(xiàn)GriDoc，這是GriDoc推薦使用的方式，但這里不不限定一定采用，實(shí)施者可以采用自己的方案。
[0038]采用E1與EITP實(shí)現(xiàn)，主要引入EITP實(shí)現(xiàn)所需的會(huì)話引擎與物聯(lián)引擎?；倔w系如圖3所示。
[0039]圖中各主要部分說明如下:
■數(shù)格引擎、段引擎、數(shù)格驅(qū)動(dòng)器:如前所述，前兩者為軟件服務(wù)器，后者為API。
[0040]■會(huì)話引擎:基于EITP協(xié)議或者其他協(xié)議受理客戶端與數(shù)格引擎之間的交互、數(shù)據(jù)引擎與數(shù)據(jù)連接引擎之間的交互操作。這里，會(huì)話引擎連接數(shù)格引擎，以服務(wù)的形式支撐應(yīng)用端和段引擎之間的交互。
[0041]■物聯(lián)引擎:用于傳輸會(huì)話引擎與數(shù)據(jù)對(duì)象端之間的通信指令。通過物聯(lián)引擎，可以將任意對(duì)象例如EITP交互協(xié)同，實(shí)現(xiàn)物聯(lián)網(wǎng)。這里，物聯(lián)引擎負(fù)責(zé)連接段引擎，以服務(wù)的形式與段引擎交互，支撐用戶對(duì)段引擎的訪問。
[0042]
(2)段引擎的體系結(jié)構(gòu)
段引擎通過物聯(lián)引擎例如EITP網(wǎng)絡(luò)，處理對(duì)段的訪問請(qǐng)求。它屬于物聯(lián)引擎的一個(gè)對(duì)象抽注器，外掛在物聯(lián)引擎，被段訪問原語(yǔ)的指令處理器調(diào)用，如圖4所示。
[0043]段引擎的內(nèi)部組成包括下列幾個(gè)部分:
■段托盤:用做引擎與數(shù)據(jù)源之間的段數(shù)據(jù)的雙向緩存與發(fā)布。系統(tǒng)容許用戶決定每個(gè)段是建立引擎本地的緩存與發(fā)布。如果某個(gè)段選擇了托盤，則托盤做為數(shù)據(jù)源中段的映像，引擎讀段是從托盤讀取，而更新段時(shí)是更新托盤中的數(shù)據(jù)，此時(shí)，托盤與數(shù)據(jù)源之間的數(shù)據(jù)的一致性由專門的同步模塊負(fù)責(zé)實(shí)現(xiàn)。
[0044]■段表:為段的索引表。表的基本結(jié)構(gòu)為(關(guān)鍵字，是否有映像，映像位置，數(shù)據(jù)源位置，…)，其中，關(guān)鍵字對(duì)不同的數(shù)據(jù)類型選擇方法不同，對(duì)于記錄集，關(guān)鍵字為記錄中字段的串聯(lián)，對(duì)于非記錄型數(shù)據(jù)，關(guān)鍵字是數(shù)據(jù)塊中的某塊數(shù)據(jù)，用字節(jié)起始位置與長(zhǎng)度表示；
■段符:定義段表中的每個(gè)段的生成與同步策略。對(duì)于關(guān)系數(shù)據(jù)庫(kù)，生成策略為SQL語(yǔ)言，對(duì)XML文件，生成策略為DOM，對(duì)服務(wù)型數(shù)據(jù)，生成策略是數(shù)據(jù)請(qǐng)求指令，對(duì)其他非結(jié)構(gòu)化文件數(shù)據(jù)，生成策略為位置與截取長(zhǎng)度。同步策略指出段映像與數(shù)據(jù)源的更新關(guān)系。同步策略分為同步方向定義與同步時(shí)機(jī)定義。同步方向有兩種:
A)緩沖區(qū)同步:正向同步，使映像的內(nèi)容與數(shù)據(jù)源保持一致。用于讀取數(shù)據(jù)源；
B)數(shù)據(jù)源同步:反向同步，使數(shù)據(jù)源的內(nèi)容與映像保持一致。用于數(shù)據(jù)寫入或者更改數(shù)據(jù)源。
[0045]同步時(shí)機(jī)有三種策略可選:
A)熱同步:數(shù)據(jù)源一有變化，就進(jìn)行一致化；
B)溫同步:有數(shù)據(jù)段訪問請(qǐng)求時(shí)，檢查更新，并進(jìn)行一致化；
C)冷同步:定時(shí)同步，按照規(guī)定的時(shí)間表或者鬧鐘或者周期同步數(shù)據(jù)。
[0046]
上述這幾種數(shù)據(jù)結(jié)構(gòu)，在具體實(shí)現(xiàn)時(shí)均定義為對(duì)象，要提供讀寫查等功能。
[0047]
■段同步模塊:負(fù)責(zé)按照同步策略實(shí)現(xiàn)段映像與數(shù)據(jù)源之間的一致化■段變化傳感器:按照同步策略中的同步時(shí)機(jī)監(jiān)測(cè)段是否發(fā)生變化，如果變化，則觸發(fā)一個(gè)數(shù)據(jù)同步事件，供同步時(shí)間處理器處理。
[0048]■段操作接口:提供段的定位、讀、寫等編程接口，供上層實(shí)現(xiàn)對(duì)段的完備訪問，由段映像對(duì)象與段表對(duì)象實(shí)現(xiàn)。
[0049](2)數(shù)格引擎的體系結(jié)構(gòu)
數(shù)格引擎支撐客戶端按照GriDoc模型訪問大數(shù)據(jù)，它按照用戶自定義的數(shù)格模型組織數(shù)據(jù)，并處理用戶的數(shù)格訪問請(qǐng)求，充當(dāng)數(shù)格服務(wù)器的功能。
[0050]數(shù)格引擎與段引擎有著類似的體系，主要區(qū)別是數(shù)格引擎基于數(shù)格描述語(yǔ)言組織數(shù)據(jù)并處理基于數(shù)格模型的訪問操作語(yǔ)言，而段引擎只是單純地組織與操作段集合。此外，數(shù)格引擎引用的段，可以來自本地，也可以來自段引擎或者其他數(shù)格引擎。
[0051]數(shù)格引擎的實(shí)現(xiàn)可基于EITP協(xié)議，此時(shí)，它作為會(huì)話引擎的外掛模塊。
[0052]數(shù)格引擎的組成，包含全部段引擎的成員，此外，還增加數(shù)格描述集合。
[0053]數(shù)格描述集合有多個(gè)數(shù)格描述符組成，每個(gè)數(shù)格描述符用于定義一個(gè)數(shù)格模型。
[0054]
施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.本發(fā)明公開了一種大數(shù)據(jù)操作訪問方法與模型，簡(jiǎn)稱GriDoc，支持用戶采用模型化的方式操作訪問大數(shù)據(jù)，包括可視化操作與應(yīng)用程序操作，使大數(shù)據(jù)操作訪問走向模型支撐化，目標(biāo)是簡(jiǎn)化大數(shù)據(jù)操作訪問的工作，提高操作訪問的效率與性能。2.GriDoc模型由數(shù)格的定義以及數(shù)格的支撐環(huán)境體系構(gòu)成。3.數(shù)格是一種面向大數(shù)據(jù)操作訪問的虛擬集成視圖，充當(dāng)后臺(tái)數(shù)據(jù)的操作訪問對(duì)象代理，支持按照模型化的方式選取與虛擬重組數(shù)據(jù)，使對(duì)大數(shù)據(jù)的所有操作訪問與管理都只通過數(shù)格進(jìn)行，無需知曉后臺(tái)數(shù)據(jù)。4.數(shù)格的支撐環(huán)境與工具是支撐數(shù)格功能實(shí)現(xiàn)的計(jì)算機(jī)軟件，對(duì)大數(shù)據(jù)的所有的操作訪問，包括定位、獲取、讀寫、更改等操作，以及完成這些操作所需的數(shù)據(jù)同步、流量調(diào)度、并發(fā)訪問控制、安全保密與身份認(rèn)證等事務(wù)，都由支撐環(huán)境與工具實(shí)現(xiàn)。5.在GriDoc模型下，對(duì)大數(shù)據(jù)的操作訪問以及數(shù)據(jù)選取與重組，都是基于對(duì)數(shù)格的定位、變換和融合進(jìn)行的。6.GriDoc用戶(包括終端用戶與應(yīng)用程序)首先是按照GriDoc的數(shù)格規(guī)范按照用戶需求創(chuàng)建數(shù)格于數(shù)據(jù)源發(fā)布，用于描述用戶的數(shù)據(jù)選取與重組結(jié)構(gòu)，然后，利用數(shù)格的定位、變換與融合操作來操作訪問數(shù)格或者重組數(shù)據(jù)，而數(shù)格支撐環(huán)境則自動(dòng)將用戶的操作訪問映射的后臺(tái)數(shù)據(jù)。
【文檔編號(hào)】G06F17/30GK105930475SQ201610269869
【公開日】2016年9月7日
【申請(qǐng)日】2016年6月28日
【發(fā)明人】齊德昱, 唐潔, 齊啟豪
【申請(qǐng)人】齊德昱