1.一種實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,包括:
根據(jù)需求構(gòu)造檢索算子和聚合分析算法;
根據(jù)所述檢索算子對(duì)索引表和數(shù)據(jù)表進(jìn)行檢索以獲取分析字段數(shù)據(jù);以及
根據(jù)所述聚合分析算法對(duì)所述分析字段數(shù)據(jù)進(jìn)行聚合分析;
其中,所述索引表和所述數(shù)據(jù)表均采用key-value形式的列式存儲(chǔ),所述索引表配置為分析數(shù)據(jù)的各個(gè)字段與對(duì)應(yīng)的字段數(shù)據(jù)的索引表。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,根據(jù)所述檢索算子對(duì)索引表和數(shù)據(jù)表進(jìn)行檢索以獲取分析字段數(shù)據(jù),包括:
根據(jù)所述檢索算子對(duì)索引表進(jìn)行檢索以獲取記錄標(biāo)識(shí);
對(duì)所述記錄標(biāo)識(shí)的集合進(jìn)行集合運(yùn)算;
根據(jù)經(jīng)過(guò)集合運(yùn)算后的記錄標(biāo)識(shí),在數(shù)據(jù)表中讀取對(duì)應(yīng)的分析字段數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,
所述分析字段數(shù)據(jù)以單獨(dú)列的形式存儲(chǔ)于所述數(shù)據(jù)表中。
4.根據(jù)權(quán)利要求2所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,
所述索引表以所述記錄標(biāo)識(shí)中字段的值為索引表的鍵;以及
以記錄的數(shù)量和記錄標(biāo)識(shí)的列表為索引表的值。
5.根據(jù)權(quán)利要求3所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,
以記錄值列表、和所述以單獨(dú)列的形式存儲(chǔ)的分析字段數(shù)據(jù)為數(shù)據(jù)表的值。
6.根據(jù)權(quán)利要求4所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,
在所述記錄標(biāo)識(shí)的列表中,所述記錄標(biāo)識(shí)的排列采用升序排列。
7.根據(jù)權(quán)利要求2所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,在根據(jù)所述檢索算子對(duì)索引表進(jìn)行檢索以獲取記錄標(biāo)識(shí)之后,還包括:
對(duì)所述記錄標(biāo)識(shí)進(jìn)行歸并排序。
8.根據(jù)權(quán)利要求2所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,
所述集合運(yùn)算至少包括以下運(yùn)算中的一種:交運(yùn)算、差運(yùn)算、并運(yùn)算、以及補(bǔ)運(yùn)算;
所述聚合分析至少包括以下運(yùn)算中的一種:數(shù)量統(tǒng)計(jì)、平均值運(yùn)算、求和運(yùn)算、最大值運(yùn)算、以及最小值運(yùn)算。
9.根據(jù)上述權(quán)利要求1-8中的任一項(xiàng)所述的實(shí)時(shí)數(shù)據(jù)分析方法,其特征在于,在根據(jù)所述聚合分析算法對(duì)所述分析字段數(shù)據(jù)進(jìn)行聚合分析之后還包括:
獲取所述聚合分析的分析結(jié)果,對(duì)所述分析結(jié)果進(jìn)行匯總處理。
10.一種實(shí)時(shí)數(shù)據(jù)分析系統(tǒng),其特征在于,包括:
解析模塊,用于根據(jù)需求構(gòu)造檢索算子和聚合分析算法;
檢索模塊,用于根據(jù)所述檢索算子對(duì)索引表和數(shù)據(jù)表進(jìn)行檢索以獲取分析字段數(shù)據(jù);以及
分析模塊,用于根據(jù)所述聚合分析算法對(duì)所述分析字段數(shù)據(jù)進(jìn)行聚合分析;
其中,所述索引表和所述數(shù)據(jù)表均采用key-value形式的列式存儲(chǔ),所述索引表配置為分析數(shù)據(jù)的各個(gè)字段與對(duì)應(yīng)的字段數(shù)據(jù)的索引表。