本發(fā)明涉及數(shù)據(jù)庫(kù)，具體地涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在集群數(shù)據(jù)庫(kù)中，傳統(tǒng)的并行分組聚集操作依賴于數(shù)據(jù)采樣進(jìn)而確定數(shù)據(jù)切分方式。對(duì)于包含去重算子?（distinct）的結(jié)構(gòu)化化查詢語(yǔ)句，系統(tǒng)目前僅支持基于哈希算法的數(shù)據(jù)分區(qū)策略。在業(yè)務(wù)表中不同分組之間的數(shù)據(jù)值差距較大并且去重算子所綁定的字段相對(duì)唯一的情況下，基于哈希算法的數(shù)據(jù)分區(qū)策略會(huì)導(dǎo)致數(shù)據(jù)在集群節(jié)點(diǎn)間的不均勻分布。由于數(shù)據(jù)可能會(huì)集中在少數(shù)幾個(gè)節(jié)點(diǎn)上，而其他節(jié)點(diǎn)未能充分利用，少數(shù)節(jié)點(diǎn)計(jì)算負(fù)載的增加，會(huì)導(dǎo)致其他節(jié)點(diǎn)的資源閑置，影響了集群服務(wù)器查詢的并行處理能力和系統(tǒng)的整體吞吐量。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，本發(fā)明提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

2、根據(jù)本發(fā)明的第一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括：

3、對(duì)與業(yè)務(wù)總表有關(guān)的數(shù)據(jù)去重任務(wù)進(jìn)行識(shí)別，得到識(shí)別結(jié)果；在識(shí)別結(jié)果包含去重算子的情況下，對(duì)數(shù)據(jù)去重任務(wù)進(jìn)行轉(zhuǎn)換，生成不包含去重算子的數(shù)據(jù)查詢?nèi)蝿?wù)，其中，數(shù)據(jù)去重任務(wù)中的去重算子綁定有參考字段信息，用于對(duì)參考字段信息進(jìn)行去重操作，數(shù)據(jù)去重任務(wù)中的分組算子綁定有基準(zhǔn)字段信息，用于對(duì)基準(zhǔn)字段信息進(jìn)行分組操作，數(shù)據(jù)查詢?nèi)蝿?wù)中的分組算子綁定有基準(zhǔn)字段信息和參考字段信息，用于對(duì)基準(zhǔn)字段信息和參考字段信息進(jìn)行分組操作；響應(yīng)于接收到的數(shù)據(jù)查詢?nèi)蝿?wù)，確定均衡劃分策略；基于均衡劃分策略，對(duì)業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，得到多個(gè)業(yè)務(wù)子表，其中，多個(gè)業(yè)務(wù)子表各自的數(shù)據(jù)量相同，多個(gè)業(yè)務(wù)子表均衡分布在集群服務(wù)器中的多個(gè)節(jié)點(diǎn)上；?針對(duì)多個(gè)業(yè)務(wù)子表，執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，得到目標(biāo)查詢結(jié)果。

4、可選的，數(shù)據(jù)去重任務(wù)中還包括綁定有與參考字段信息對(duì)應(yīng)的去重結(jié)果的聚合算子、綁定有參考字段信息的平均算子，聚合算子用于對(duì)參考字段信息的去重結(jié)果進(jìn)行聚合操作，平均算子用于對(duì)參考字段信息進(jìn)行平均操作，數(shù)據(jù)查詢?nèi)蝿?wù)包括數(shù)據(jù)查詢子任務(wù)、數(shù)據(jù)第一聚合子任務(wù)、數(shù)據(jù)第二聚合子任務(wù)和數(shù)據(jù)平均子任務(wù)；其中，針對(duì)多個(gè)業(yè)務(wù)子表，執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，得到目標(biāo)查詢結(jié)果，包括：

5、針對(duì)多個(gè)業(yè)務(wù)子表，執(zhí)行數(shù)據(jù)查詢子任務(wù)，得到與多個(gè)業(yè)務(wù)子表各自對(duì)應(yīng)的初始查詢結(jié)果；執(zhí)行數(shù)據(jù)第一聚合子任務(wù)，對(duì)多個(gè)初始查詢結(jié)果進(jìn)行聚合，得到中間聚合結(jié)果。執(zhí)行數(shù)據(jù)第二聚合子任務(wù)，對(duì)中間聚合結(jié)果進(jìn)行聚合，得到目標(biāo)聚合結(jié)果，其中，目標(biāo)聚合結(jié)果包括與參考字段信息對(duì)應(yīng)的去重結(jié)果的聚合結(jié)果；執(zhí)行數(shù)據(jù)平均子任務(wù)，對(duì)目標(biāo)聚合結(jié)果進(jìn)行平均處理，得到目標(biāo)查詢結(jié)果，其中，目標(biāo)查詢結(jié)果包括參考字段信息的平均結(jié)果。

6、可選的，執(zhí)行數(shù)據(jù)第一聚合子任務(wù)，對(duì)多個(gè)查詢結(jié)果進(jìn)行聚合，得到中間聚合結(jié)果，包括：

7、執(zhí)行數(shù)據(jù)第一聚合子任務(wù)中綁定有基準(zhǔn)字段信息和參考字段信息的分組算子、綁定有參考字段信息的聚合算子和綁定有參考字段信息的計(jì)數(shù)算子，對(duì)多個(gè)查詢結(jié)果進(jìn)行聚合，得到中間聚合結(jié)果，其中，中間聚合結(jié)果包括基準(zhǔn)字段分組子結(jié)果、參考字段分組子結(jié)果、參考字段分組聚合子結(jié)果、參考字段分組計(jì)數(shù)子結(jié)果，參考字段分組子結(jié)果表征參考字段信息的去重結(jié)果。

8、可選的，執(zhí)行數(shù)據(jù)第二聚合子任務(wù)，對(duì)中間聚合結(jié)果進(jìn)行聚合，得到目標(biāo)聚合結(jié)果，包括：

9、執(zhí)行數(shù)據(jù)第二聚合子任務(wù)中綁定有基準(zhǔn)字段信息的分組算子，對(duì)中間聚合結(jié)果進(jìn)行分組，得到與基準(zhǔn)字段信息對(duì)應(yīng)的第二分組結(jié)果；執(zhí)行數(shù)據(jù)第二聚合子任務(wù)中的聚合算子，對(duì)第二分組結(jié)果進(jìn)行聚合操作，得到目標(biāo)聚合結(jié)果，其中，目標(biāo)聚合結(jié)果包括參考字段分組子結(jié)果的聚合子結(jié)果、參考字段分組聚合子結(jié)果的聚合子結(jié)果和參考字段分組計(jì)數(shù)子結(jié)果的聚合子結(jié)果，參考字段分組子結(jié)果的聚合子結(jié)果表征與參考字段信息對(duì)應(yīng)的去重結(jié)果的聚合結(jié)果。

10、可選的，執(zhí)行數(shù)據(jù)平均子任務(wù)，對(duì)目標(biāo)聚合結(jié)果進(jìn)行平均處理，得到目標(biāo)查詢結(jié)果，包括：

11、執(zhí)行數(shù)據(jù)平均子任務(wù)，對(duì)目標(biāo)聚合結(jié)果中的參考字段分組聚合子結(jié)果的聚合子結(jié)果和參考字段分組計(jì)數(shù)子結(jié)果的聚合子結(jié)果進(jìn)行平均操作，得到參考字段平均子結(jié)果，其中，參考字段平均子結(jié)果表征參考字段信息的平均結(jié)果；根據(jù)參考字段平均子結(jié)果和參考字段分組子結(jié)果的聚合子結(jié)果，得到目標(biāo)查詢結(jié)果。

12、可選的，基于均衡劃分策略，對(duì)業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，得到多個(gè)業(yè)務(wù)子表，包括：

13、基于均衡劃分策略，確定分區(qū)數(shù)量和業(yè)務(wù)總表的數(shù)據(jù)量；根據(jù)分區(qū)數(shù)量和業(yè)務(wù)總表的數(shù)據(jù)量，對(duì)業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，確定多個(gè)業(yè)務(wù)子表各自的數(shù)據(jù)。

14、可選的，均衡劃分策略還包括以下至少之一：輪詢分區(qū)策略、隨機(jī)分區(qū)策略。

15、本發(fā)明的第二方面提供了一種數(shù)據(jù)處理裝置，包括：

16、識(shí)別模塊，用于對(duì)與業(yè)務(wù)總表有關(guān)的數(shù)據(jù)去重任務(wù)進(jìn)行識(shí)別，得到識(shí)別結(jié)果；

17、轉(zhuǎn)換模塊，用于在識(shí)別結(jié)果包含去重算子的情況下，對(duì)數(shù)據(jù)去重任務(wù)進(jìn)行轉(zhuǎn)換，生成不包含去重算子的數(shù)據(jù)查詢?nèi)蝿?wù)，其中，數(shù)據(jù)去重任務(wù)中的去重算子綁定有參考字段信息，用于對(duì)參考字段信息進(jìn)行去重操作，數(shù)據(jù)去重任務(wù)中的分組算子綁定有基準(zhǔn)字段信息，用于對(duì)基準(zhǔn)字段信息進(jìn)行分組操作，數(shù)據(jù)查詢?nèi)蝿?wù)中的分組算子綁定有基準(zhǔn)字段信息和參考字段信息，用于對(duì)基準(zhǔn)字段信息和參考字段信息進(jìn)行分組操作；

18、響應(yīng)模塊，用于響應(yīng)于接收到的數(shù)據(jù)查詢?nèi)蝿?wù)，確定均衡劃分策略；

19、劃分模塊，用于基于均衡劃分策略，對(duì)業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，得到多個(gè)業(yè)務(wù)子表，其中，多個(gè)業(yè)務(wù)子表各自的數(shù)據(jù)量相同，多個(gè)業(yè)務(wù)子表均衡分布在集群服務(wù)器中的多個(gè)節(jié)點(diǎn)上；

20、執(zhí)行模塊，用于針對(duì)多個(gè)業(yè)務(wù)子表，執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，得到目標(biāo)查詢結(jié)果。

21、本發(fā)明的第三方面提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器執(zhí)行上述數(shù)據(jù)處理方法。

22、本發(fā)明的第四方面還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行上述數(shù)據(jù)處理方法。

23、根據(jù)本發(fā)明提供的數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，通過(guò)對(duì)包含去重算子的數(shù)據(jù)去重任務(wù)進(jìn)行轉(zhuǎn)換，生成不包含去重算子的數(shù)據(jù)查詢?nèi)蝿?wù)，確定均衡劃分策略，從而得到多個(gè)業(yè)務(wù)子表；執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，得到目標(biāo)查詢結(jié)果。由于利用綁定有基準(zhǔn)字段信息和參考字段信息的分組算子對(duì)綁定有參考字段信息的去重算子進(jìn)行靈活替換，保證了數(shù)據(jù)查詢?nèi)蝿?wù)不包含去重算子，并確定了對(duì)業(yè)務(wù)總表中數(shù)據(jù)切分的均衡劃分策略，從而在得到與執(zhí)行數(shù)據(jù)去重任務(wù)結(jié)果相同的目標(biāo)查詢結(jié)果的同時(shí)，解決了利用去重算子對(duì)不同組內(nèi)數(shù)據(jù)量差異較大的業(yè)務(wù)總表進(jìn)行去重時(shí)產(chǎn)生的數(shù)據(jù)分布傾斜問(wèn)題，充分利用了集群服務(wù)器中的多個(gè)節(jié)點(diǎn)的計(jì)算資源，提高了集群服務(wù)器的并行處理能力和系統(tǒng)的整體吞吐量。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)去重任務(wù)中還包括綁定有與參考字段信息對(duì)應(yīng)的去重結(jié)果的聚合算子、綁定有所述參考字段信息的平均算子，所述聚合算子用于對(duì)所述參考字段信息的所述去重結(jié)果進(jìn)行聚合操作，所述平均算子用于對(duì)所述參考字段信息進(jìn)行平均操作，所述數(shù)據(jù)查詢?nèi)蝿?wù)包括數(shù)據(jù)查詢子任務(wù)、數(shù)據(jù)第一聚合子任務(wù)、數(shù)據(jù)第二聚合子任務(wù)和數(shù)據(jù)平均子任務(wù)；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，?執(zhí)行所述數(shù)據(jù)第一聚合子任務(wù)，對(duì)所述多個(gè)查詢結(jié)果進(jìn)行聚合，得到中間聚合結(jié)果，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，執(zhí)行所述數(shù)據(jù)第二聚合子任務(wù)，對(duì)所述中間聚合結(jié)果進(jìn)行聚合，得到目標(biāo)聚合結(jié)果，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，執(zhí)行所述數(shù)據(jù)平均子任務(wù)，對(duì)所述目標(biāo)聚合結(jié)果進(jìn)行平均處理，得到所述目標(biāo)查詢結(jié)果，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述均衡劃分策略，對(duì)所述業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，得到多個(gè)業(yè)務(wù)子表，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述均衡劃分策略還包括以下至少之一：

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，可以應(yīng)用于數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域。該方法包括：對(duì)與業(yè)務(wù)總表有關(guān)的數(shù)據(jù)去重任務(wù)進(jìn)行識(shí)別，得到識(shí)別結(jié)果；在識(shí)別結(jié)果包含去重算子的情況下，對(duì)數(shù)據(jù)去重任務(wù)進(jìn)行轉(zhuǎn)換，生成不包含去重算子的數(shù)據(jù)查詢?nèi)蝿?wù)；響應(yīng)于接收到的數(shù)據(jù)查詢?nèi)蝿?wù)，確定均衡劃分策略；基于均衡劃分策略，對(duì)業(yè)務(wù)總表中的數(shù)據(jù)進(jìn)行劃分，得到多個(gè)業(yè)務(wù)子表，其中，多個(gè)業(yè)務(wù)子表各自的數(shù)據(jù)量相同，多個(gè)業(yè)務(wù)子表均衡分布在集群服務(wù)器中的多個(gè)節(jié)點(diǎn)上；針對(duì)多個(gè)業(yè)務(wù)子表，執(zhí)行數(shù)據(jù)查詢?nèi)蝿?wù)，得到目標(biāo)查詢結(jié)果。

技術(shù)研發(fā)人員：邢夢(mèng)龍
受保護(hù)的技術(shù)使用者：蘇州吉唄思數(shù)據(jù)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19