一種面向快速服務(wù)的大數(shù)據(jù)聚合方法
【專利摘要】本發(fā)明提供一種面向快速服務(wù)的大數(shù)據(jù)聚合方法采用包括服務(wù)描述子和子數(shù)據(jù)序列的二維結(jié)構(gòu)化模板，并提出了與該模板匹配的面向服務(wù)的大數(shù)據(jù)快速聚合與傳送的方法。本發(fā)明可廣泛適用于大數(shù)據(jù)系統(tǒng)中大數(shù)據(jù)聚合服務(wù)、數(shù)據(jù)切片存儲、并行快速傳送等方面。采用本發(fā)明能夠顯著地提高服務(wù)數(shù)據(jù)的聚合與傳送效率，從而實現(xiàn)面向客戶的大數(shù)據(jù)聚合快速服務(wù)。還可將整合好的子數(shù)據(jù)序列作為面向服務(wù)主題的特種結(jié)構(gòu)化數(shù)據(jù)塊，存儲到大數(shù)據(jù)管理系統(tǒng)中，實現(xiàn)大數(shù)據(jù)存儲的結(jié)構(gòu)化，從而提高大數(shù)據(jù)的管理與訪問效率。
【專利說明】一種面向快速服務(wù)的大數(shù)據(jù)聚合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種云計算大數(shù)據(jù)服務(wù)【技術(shù)領(lǐng)域】，具體地說是一種面向快速服務(wù)的大數(shù)據(jù)聚合方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)”已成為業(yè)界備受關(guān)注的熱點(diǎn)，其主要特征是:PB級數(shù)據(jù)規(guī)模、含有半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)處理速度足夠快。大數(shù)據(jù)保留著海量的原生態(tài)的信息細(xì)節(jié)，是一個蘊(yùn)含著巨大的市場機(jī)會信息金礦，其財富價值隨著技術(shù)的進(jìn)步日益顯現(xiàn)。然而大數(shù)據(jù)需要使用非傳統(tǒng)的工具來對大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測結(jié)果。
[0003]大數(shù)據(jù)技術(shù)包括采集、存儲管理、索引查找、聚合服務(wù)、挖掘增值等方面，目前正處于大力研究和應(yīng)用發(fā)展階段，大部分技術(shù)還不很成熟，特別是在存儲管理、聚合服務(wù)、挖掘增值方面，迫切需要深入研發(fā)一系列新的專門技術(shù)和產(chǎn)品，以滿足實際應(yīng)用需求。
[0004]為解決當(dāng)前大數(shù)據(jù)聚合服務(wù)技術(shù)問題，本發(fā)明提出了一種比較實用的面向快速服務(wù)的大數(shù)據(jù)聚合方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種面向快速服務(wù)的大數(shù)據(jù)聚合方法。
[0006]本發(fā)明的目的是按以下方式實現(xiàn)的，包括一、面向服務(wù)的大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板設(shè)計方法；二、基于二維結(jié)構(gòu)化模板的大數(shù)據(jù)存儲與快速傳送方法，其中:
一、面向服務(wù)的大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板設(shè)計方法，模板包含二部分:總體服務(wù)描述子和子數(shù)據(jù)序列，其中:
(1)服務(wù)描述子，包括以下內(nèi)容:
a)服務(wù)編號，是針對某個數(shù)據(jù)聚合服務(wù)需求而指派的流水代號，作為整個服務(wù)周期中的統(tǒng)一標(biāo)識；
b)服務(wù)類型，一個表示服務(wù)類型的數(shù)據(jù)字段，由實際使用者定義，按服務(wù)對象類別分為1-N級客戶；按業(yè)務(wù)類型分實時、準(zhǔn)實時、非實時多種響應(yīng)級別，服務(wù)類型字段描述包含多種分類信息的復(fù)合類型；
c)服務(wù)目標(biāo)地址，服務(wù)目標(biāo)對象的網(wǎng)絡(luò)地址；
d)服務(wù)源地址，提供數(shù)據(jù)聚合服務(wù)的IT系統(tǒng)的網(wǎng)絡(luò)地址；
e)擴(kuò)展段長度，指此單元后面跟隨的擴(kuò)展字段的總數(shù)；
f)擴(kuò)展段，為增強(qiáng)模板的功能，專門設(shè)置了擴(kuò)展字段，擴(kuò)展段的多少根據(jù)需要設(shè)置，每個擴(kuò)展段的內(nèi)容根據(jù)實際需要靈活約定，包括用第一個擴(kuò)展段表示該聚合服務(wù)的安全加密方式、用最后一個擴(kuò)展段表不總體描述模塊的結(jié)束標(biāo)志；
(2)子數(shù)據(jù)序列，包括:
a)子數(shù)據(jù)結(jié)構(gòu)編號，編號組成為“服務(wù)描述子中的服務(wù)編號+結(jié)構(gòu)化擴(kuò)展碼”，表示服務(wù)數(shù)據(jù)中某一數(shù)據(jù)子列或子模塊的編號，此處的數(shù)據(jù)子列，是指大數(shù)據(jù)中為存儲管理和傳輸方便而將一個數(shù)據(jù)模塊整體分解成具有結(jié)構(gòu)化特性的、相關(guān)聯(lián)的一系列子數(shù)據(jù)模塊，即一個多媒體服務(wù)數(shù)據(jù)模塊可分解成語音數(shù)據(jù)子列、視頻數(shù)據(jù)子列、文本數(shù)據(jù)子列；
子數(shù)據(jù)結(jié)構(gòu)編號，攜帶著子數(shù)據(jù)在數(shù)據(jù)塊整體中的結(jié)構(gòu)位置、與其他子數(shù)據(jù)的組裝關(guān)
系;
b)子數(shù)據(jù)地址，指子數(shù)據(jù)序列的存儲地址，通常是一個網(wǎng)絡(luò)地址；
C)子數(shù)據(jù)段，用來裝載子數(shù)據(jù)序列，因子服務(wù)數(shù)據(jù)的大小是變化的，所以此段的長度是可變的；
d)子擴(kuò)展段長度，指此單元后面跟隨的子數(shù)據(jù)模塊中子擴(kuò)展字段的總數(shù)；
e)子擴(kuò)展段，為增強(qiáng)模板中子數(shù)據(jù)模塊的功能，專門設(shè)置了子數(shù)據(jù)擴(kuò)展字段，子擴(kuò)展段的多少可根據(jù)需要設(shè)置，每個子擴(kuò)展段的內(nèi)容可根據(jù)實際需要靈活約定；
二、基于二維結(jié)構(gòu)化模板的大數(shù)據(jù)存儲與快速傳送，采用下面的方法實現(xiàn)大數(shù)據(jù)的結(jié)構(gòu)化存儲與快速傳送；
1)面向服務(wù)的大數(shù)據(jù)結(jié)構(gòu)化存儲
在大數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)存儲管理功能子系統(tǒng)通常對大數(shù)據(jù)進(jìn)行分類、分拆處理，將大數(shù)據(jù)制作成各種類型、較小粒度的數(shù)據(jù)片或數(shù)據(jù)段，并建立索引系統(tǒng)；
根據(jù)服務(wù)需求搜索發(fā)現(xiàn)所需要的一系列相關(guān)的數(shù)據(jù)片，并將這些數(shù)據(jù)片整合成不同的子數(shù)據(jù)序列，存儲在二維結(jié)構(gòu)化模板中；
整合好的子數(shù)據(jù)序列，作為面向服務(wù)主題的特種“結(jié)構(gòu)化數(shù)據(jù)塊”，存儲到大數(shù)據(jù)管理系統(tǒng)中，以便此后遇到類似服務(wù)需求時能夠直接快速地調(diào)用；
2)面向服務(wù)的聚合數(shù)據(jù)快速傳送
基于建好大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板，采用并行方式向客戶快速傳送主描述模塊、各類子數(shù)據(jù)模塊，在一次聚合服務(wù)中，服務(wù)描述子只傳送一次，但每個子數(shù)據(jù)序列因為受到數(shù)據(jù)包大小的限制或服務(wù)數(shù)據(jù)的變化而需要分為多次傳送；
在客戶端，根據(jù)主描述模塊對服務(wù)數(shù)據(jù)結(jié)構(gòu)和屬性的說明，將接收到的各個子數(shù)據(jù)模塊組裝起來，實現(xiàn)最終需要的聚合數(shù)據(jù)。
[0007]本發(fā)明的目的有益效果是:
本發(fā)明可廣泛適用于大數(shù)據(jù)系統(tǒng)中大數(shù)據(jù)聚合服務(wù)、數(shù)據(jù)切片存儲、并行快速傳送等方面。由于采用了二維結(jié)構(gòu)化模板，可以快速向模板中并行加載子數(shù)據(jù)，并能夠基于所構(gòu)建的模板進(jìn)行大規(guī)模并行快速傳輸，因此能夠高倍地提高服務(wù)數(shù)據(jù)的聚合與傳送效率，從而實現(xiàn)面向客戶的大數(shù)據(jù)聚合快速服務(wù)。
[0008]此外，可采用本發(fā)明技術(shù)，將整合好的子數(shù)據(jù)序列作為面向服務(wù)主題的特種“結(jié)構(gòu)化數(shù)據(jù)塊”，存儲到大數(shù)據(jù)管理系統(tǒng)中，等此后遇到類似服務(wù)需求時能夠直接快速地調(diào)用。
【專利附圖】

【附圖說明】
[0009]圖1是服務(wù)描述子構(gòu)建示意圖；
圖2是子數(shù)據(jù)序列構(gòu)建示意圖。
【具體實施方式】[0010]大數(shù)據(jù)聚合作為大數(shù)據(jù)管理與服務(wù)的一個重要環(huán)節(jié)，是在大數(shù)據(jù)存儲管理的基礎(chǔ)上實現(xiàn)的，而大數(shù)據(jù)管理主要是將大數(shù)據(jù)進(jìn)行分類存儲、建立索引，以便查找使用。
[0011]大數(shù)據(jù)聚合服務(wù)的實現(xiàn)，一般先要根據(jù)用戶的需求在大數(shù)據(jù)庫或存儲系統(tǒng)中找到相關(guān)的各種數(shù)據(jù)(如SQL數(shù)據(jù)、文本、圖片、音視頻等)，再將這些數(shù)據(jù)按照用戶可識別的格式進(jìn)行匯聚合成，然后通過網(wǎng)絡(luò)把聚合好的數(shù)據(jù)發(fā)送給應(yīng)用客戶。
[0012]本發(fā)明設(shè)計了一種用于大數(shù)據(jù)快速聚合的二維結(jié)構(gòu)化模板，并提出了與該模板匹配的面向服務(wù)的大數(shù)據(jù)快速聚合與傳送的方法。
[0013]表1.
【權(quán)利要求】
1.面向應(yīng)用的大數(shù)據(jù)快速聚合與服務(wù)傳遞方法，其特征在于包括I)面向服務(wù)的大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板設(shè)計方法；2)基于二維結(jié)構(gòu)化模板的大數(shù)據(jù)存儲與快速傳送方法，其中: 一、面向服務(wù)的大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板設(shè)計方法，模板包含二部分:總體服務(wù)描述子和子數(shù)據(jù)序列，其中: (1)服務(wù)描述子，包括以下內(nèi)容: a)服務(wù)編號，是針對某個數(shù)據(jù)聚合服務(wù)需求而指派的流水代號，作為整個服務(wù)周期中的統(tǒng)一標(biāo)識； b)服務(wù)類型，一個表示服務(wù)類型的數(shù)據(jù)字段，由實際使用者定義，按服務(wù)對象類別分為1-N級客戶；按業(yè)務(wù)類型分實時、準(zhǔn)實時、非實時多種響應(yīng)級別，服務(wù)類型字段描述包含多種分類信息的復(fù)合類型； c)服務(wù)目標(biāo)地址，服務(wù)目標(biāo)對象的網(wǎng)絡(luò)地址； d)服務(wù)源地址，提供數(shù)據(jù)聚合服務(wù)的IT系統(tǒng)的網(wǎng)絡(luò)地址； e)擴(kuò)展段長度，指此單元后面跟隨的擴(kuò)展字段的總數(shù)； f)擴(kuò)展段，為增強(qiáng)模板的功能，專門設(shè)置了擴(kuò)展字段，擴(kuò)展段的多少根據(jù)需要設(shè)置，每個擴(kuò)展段的內(nèi)容根據(jù)實際需要靈活約定，包括用第一個擴(kuò)展段表示該聚合服務(wù)的安全加密方式、用最后一個擴(kuò)展段表不總體描述模塊的結(jié)束標(biāo)志； (2)子數(shù)據(jù)序列 a)子數(shù)據(jù)結(jié)構(gòu)編號，編號組成為“服務(wù)描述子中的服務(wù)編號+結(jié)構(gòu)化擴(kuò)展碼”，表示服務(wù)數(shù)據(jù)中某一數(shù)據(jù)子列或子模塊的編號，此處的數(shù)據(jù)子列，是指大數(shù)據(jù)中為存儲管理和傳輸方便而將一個數(shù)據(jù)模塊整體分解成具有結(jié)構(gòu)化特性的、相關(guān)聯(lián)的一系列子數(shù)據(jù)模塊，即一個多媒體服務(wù)數(shù)據(jù)模塊可分解成語音數(shù)據(jù)子列、視頻數(shù)據(jù)子列、文本數(shù)據(jù)子列； 子數(shù)據(jù)結(jié)構(gòu)編號，攜帶著子數(shù)據(jù)在數(shù)據(jù)塊整體中的結(jié)構(gòu)位置、與其他子數(shù)據(jù)的組裝關(guān)系; b)子數(shù)據(jù)地址，指子數(shù)據(jù)序列的存儲地址，通常是一個網(wǎng)絡(luò)地址； c)子數(shù)據(jù)段，用來裝載子數(shù)據(jù)序列，因子服務(wù)數(shù)據(jù)的大小是變化的，所以此段的長度是可變的； d)子擴(kuò)展段長度，指此單元后面跟隨的子數(shù)據(jù)模塊中子擴(kuò)展字段的總數(shù)； e)子擴(kuò)展段，為增強(qiáng)模板中子數(shù)據(jù)模塊的功能，專門設(shè)置了子數(shù)據(jù)擴(kuò)展字段，子擴(kuò)展段的多少可根據(jù)需要設(shè)置，每個子擴(kuò)展段的內(nèi)容可根據(jù)實際需要靈活約定； 二、基于二維結(jié)構(gòu)化模板的大數(shù)據(jù)存儲與快速傳送，采用下面的方法實現(xiàn)大數(shù)據(jù)的結(jié)構(gòu)化存儲與快速傳送； I)面向服務(wù)的大數(shù)據(jù)結(jié)構(gòu)化存儲 在大數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)存儲管理功能子系統(tǒng)通常對大數(shù)據(jù)進(jìn)行分類、分拆處理，將大數(shù)據(jù)制作成各種類型、較小粒度的數(shù)據(jù)片或數(shù)據(jù)段，并建立索引系統(tǒng)； 根據(jù)服務(wù)需求搜索發(fā)現(xiàn)所需要的一系列相關(guān)的數(shù)據(jù)片，并將這些數(shù)據(jù)片整合成不同的子數(shù)據(jù)序列，存儲在二維結(jié)構(gòu)化模板中； 整合好的子數(shù)據(jù)序列，作為面向服務(wù)主題的特種“結(jié)構(gòu)化數(shù)據(jù)塊”，存儲到大數(shù)據(jù)管理系統(tǒng)中，以便此后遇到類似服務(wù)需求時能夠直接快速地調(diào)用；2)面向服務(wù)的聚合數(shù)據(jù)快速傳送 基于建好大數(shù)據(jù)聚合二維結(jié)構(gòu)化模板，采用并行方式向客戶快速傳送主描述模塊、各類子數(shù)據(jù)模塊，在一次聚合服務(wù)中，服務(wù)描述子只傳送一次，但每個子數(shù)據(jù)序列因為受到數(shù)據(jù)包大小的限制或服務(wù)數(shù)據(jù)的變化而需要分為多次傳送； 在客戶端，根據(jù)主描述模塊 對服務(wù)數(shù)據(jù)結(jié)構(gòu)和屬性的說明，將接收到的各個子數(shù)據(jù)模塊組裝起來，實現(xiàn)最終需要的聚合數(shù)據(jù)。
【文檔編號】G06F17/30GK103810277SQ201410051159
【公開日】2014年5月21日 申請日期:2014年2月14日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】苗再良 申請人:浪潮通信信息系統(tǒng)有限公司