本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域，尤其是涉及一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)應(yīng)用的迅速發(fā)展，現(xiàn)代網(wǎng)站的后端服務(wù)器架構(gòu)普遍采用分布式部署，以應(yīng)對(duì)海量數(shù)據(jù)處理和高并發(fā)訪問的需求。在實(shí)際業(yè)務(wù)處理中，尤其是在處理大型數(shù)據(jù)庫(kù)表的數(shù)據(jù)時(shí)，往往需要將數(shù)據(jù)進(jìn)行分片，并由多臺(tái)服務(wù)器并行處理，以提高整體的數(shù)據(jù)處理速度和效率。然而，現(xiàn)有的分布式計(jì)算框架在實(shí)現(xiàn)數(shù)據(jù)分片計(jì)算時(shí)，存在復(fù)雜度高、維護(hù)困難等問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明旨在提出一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，通過合理的任務(wù)分配和資源管理，實(shí)現(xiàn)多服務(wù)器環(huán)境下的數(shù)據(jù)并行處理，從而有效提升數(shù)據(jù)處理性能。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、第一方面本方案公開了一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，包括以下步驟：

4、進(jìn)行任務(wù)初始化與調(diào)度服務(wù)器配置，用以設(shè)置任務(wù)的執(zhí)行條件和服務(wù)器數(shù)量；

5、建立任務(wù)執(zhí)行服務(wù)器與任務(wù)調(diào)度服務(wù)器的長(zhǎng)連接與心跳機(jī)制，用以確保服務(wù)器之間的實(shí)時(shí)通信與狀態(tài)監(jiān)控；

6、任務(wù)分配與任務(wù)執(zhí)行服務(wù)器編號(hào)生成，通過動(dòng)態(tài)選擇和編號(hào)服務(wù)器，為分片任務(wù)的并行計(jì)算奠定基礎(chǔ)；

7、任務(wù)執(zhí)行服務(wù)器根據(jù)編號(hào)進(jìn)行數(shù)據(jù)分片與業(yè)務(wù)計(jì)算，通過數(shù)據(jù)分配實(shí)現(xiàn)并行處理，加快任務(wù)的整體執(zhí)行速度；

8、匯總各任務(wù)執(zhí)行服務(wù)器的計(jì)算結(jié)果并完成任務(wù)，通過集中處理結(jié)果，確保任務(wù)的完整性和最終輸出；

9、進(jìn)行系統(tǒng)優(yōu)化與異常處理，通過監(jiān)控與動(dòng)態(tài)調(diào)整，提升系統(tǒng)性能并保障任務(wù)的順利完成。

10、進(jìn)一步的，所述進(jìn)行任務(wù)初始化與調(diào)度服務(wù)器配置，包括：

11、管理員通過管理平臺(tái)設(shè)置任務(wù)的執(zhí)行條件，包括數(shù)據(jù)分片的策略、任務(wù)優(yōu)先級(jí)、以及分片計(jì)算所需的資源配置；

12、管理員在管理平臺(tái)上設(shè)置任務(wù)調(diào)度服務(wù)器的數(shù)量，以確保任務(wù)在多個(gè)服務(wù)器上進(jìn)行并行處理；

13、管理員配置完成后，通過管理平臺(tái)調(diào)用任務(wù)調(diào)度服務(wù)器，將任務(wù)的初始信息下發(fā)至調(diào)度服務(wù)器，包括任務(wù)執(zhí)行的條件和分片計(jì)算策略。

14、進(jìn)一步的，所述建立任務(wù)執(zhí)行服務(wù)器與任務(wù)調(diào)度服務(wù)器的長(zhǎng)連接與心跳機(jī)制，包括：

15、任務(wù)執(zhí)行服務(wù)器啟動(dòng)后，首先與任務(wù)調(diào)度服務(wù)器建立長(zhǎng)連接，以確保任務(wù)可以在服務(wù)器之間實(shí)時(shí)調(diào)度；

16、任務(wù)執(zhí)行服務(wù)器定期向任務(wù)調(diào)度服務(wù)器發(fā)送心跳信號(hào)，任務(wù)調(diào)度服務(wù)器接收并記錄這些信號(hào)，以維護(hù)當(dāng)前在線的任務(wù)執(zhí)行服務(wù)器列表；

17、如果任務(wù)執(zhí)行服務(wù)器未在規(guī)定時(shí)間內(nèi)發(fā)送心跳，任務(wù)調(diào)度服務(wù)器會(huì)將該服務(wù)器標(biāo)記為故障或下線，并及時(shí)更新緩存中的任務(wù)執(zhí)行服務(wù)器列表，保證任務(wù)執(zhí)行的穩(wěn)定性。

18、進(jìn)一步的，所述任務(wù)分配與任務(wù)執(zhí)行服務(wù)器編號(hào)生成，包括：

19、任務(wù)調(diào)度服務(wù)器接收到管理員的任務(wù)指令后，根據(jù)預(yù)設(shè)的任務(wù)調(diào)度服務(wù)器數(shù)量，從緩存中選擇合適數(shù)量的任務(wù)執(zhí)行服務(wù)器；

20、任務(wù)調(diào)度服務(wù)器為每個(gè)任務(wù)執(zhí)行服務(wù)器分配一個(gè)臨時(shí)編號(hào)，該編號(hào)從0開始遞增，用于標(biāo)識(shí)每個(gè)服務(wù)器的任務(wù)分片編號(hào)；

21、任務(wù)調(diào)度服務(wù)器將任務(wù)條件、分配的編號(hào)以及參與執(zhí)行任務(wù)的服務(wù)器數(shù)量通過長(zhǎng)連接下發(fā)給選定的任務(wù)執(zhí)行服務(wù)器。

22、進(jìn)一步的，所述任務(wù)執(zhí)行服務(wù)器根據(jù)編號(hào)進(jìn)行數(shù)據(jù)分片與業(yè)務(wù)計(jì)算，包括：

23、任務(wù)執(zhí)行服務(wù)器接收到調(diào)度服務(wù)器的任務(wù)信息后，首先根據(jù)所分配的編號(hào)對(duì)數(shù)據(jù)進(jìn)行分片；

24、具體的，服務(wù)器通過對(duì)待執(zhí)行數(shù)據(jù)進(jìn)行取模運(yùn)算，將與自身編號(hào)一致的數(shù)據(jù)片段提取出來；

25、任務(wù)執(zhí)行服務(wù)器在獲得相應(yīng)數(shù)據(jù)片段后，按照預(yù)定的任務(wù)邏輯對(duì)數(shù)據(jù)進(jìn)行業(yè)務(wù)計(jì)算；

26、其中，任務(wù)執(zhí)行服務(wù)器的分片數(shù)據(jù)計(jì)算方法為：

27、di＝{dj|(j?mod?n)＝i}；

28、其中，

29、di：任務(wù)執(zhí)行服務(wù)器編號(hào)為i的服務(wù)器所要處理的數(shù)據(jù)分片集合；

30、dj：待處理的原始數(shù)據(jù)集中的第j條數(shù)據(jù)；

31、n：任務(wù)執(zhí)行服務(wù)器的總數(shù)量，即并行執(zhí)行任務(wù)的服務(wù)器數(shù)量；

32、i：當(dāng)前任務(wù)執(zhí)行服務(wù)器的編號(hào)，范圍為0到n-1；

33、j：原始數(shù)據(jù)集中數(shù)據(jù)的索引，范圍從0到數(shù)據(jù)總量減一。

34、進(jìn)一步的，所述匯總各任務(wù)執(zhí)行服務(wù)器的計(jì)算結(jié)果并完成任務(wù)，包括：

35、當(dāng)所有任務(wù)執(zhí)行服務(wù)器完成其分片任務(wù)后，任務(wù)調(diào)度服務(wù)器負(fù)責(zé)收集各服務(wù)器返回的處理結(jié)果，并對(duì)結(jié)果進(jìn)行匯總；

36、任務(wù)調(diào)度服務(wù)器將最終匯總的結(jié)果返回給管理平臺(tái)，通知管理員任務(wù)已完成，此時(shí)調(diào)度服務(wù)器還會(huì)清理相關(guān)的臨時(shí)任務(wù)數(shù)據(jù)，釋放資源。

37、進(jìn)一步的，所述進(jìn)行系統(tǒng)優(yōu)化與異常處理，包括：

38、在任務(wù)執(zhí)行過程中實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行服務(wù)器的負(fù)載情況，動(dòng)態(tài)調(diào)整任務(wù)分配策略，確保服務(wù)器資源的最優(yōu)利用；

39、如果某個(gè)任務(wù)執(zhí)行服務(wù)器在執(zhí)行過程中出現(xiàn)異常，調(diào)度服務(wù)器通過重新分配該服務(wù)器的任務(wù)至其他可用服務(wù)器來保障任務(wù)的順利完成，此時(shí)未完成的分片數(shù)據(jù)將被重新分配并執(zhí)行，避免任務(wù)失敗。

40、第二方面本方案公開了一種電子設(shè)備，包括處理器以及與處理器通信連接，且用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器，所述處理器用于執(zhí)行上述第一方面所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

41、第三方面本方案公開了一種服務(wù)器，包括至少一個(gè)處理器，以及與所述處理器通信連接的存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述處理器執(zhí)行，以使所述至少一個(gè)處理器執(zhí)行第一方面所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

42、第四方面本方案公開了一種計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

43、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法具有以下優(yōu)勢(shì)：

44、本發(fā)明所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，降低系統(tǒng)整體實(shí)現(xiàn)的復(fù)雜性，通過長(zhǎng)連接維護(hù)執(zhí)行服務(wù)器及在分配任務(wù)時(shí)動(dòng)態(tài)指定服務(wù)器編號(hào)用于分片計(jì)算等的實(shí)現(xiàn)，可以滿足一些網(wǎng)站在進(jìn)行一些任務(wù)進(jìn)行分片并行計(jì)算的需要。

技術(shù)特征：

1.一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述進(jìn)行任務(wù)初始化與調(diào)度服務(wù)器配置，包括：

3.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述建立任務(wù)執(zhí)行服務(wù)器與任務(wù)調(diào)度服務(wù)器的長(zhǎng)連接與心跳機(jī)制，包括：

4.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述任務(wù)分配與任務(wù)執(zhí)行服務(wù)器編號(hào)生成，包括：

5.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述任務(wù)執(zhí)行服務(wù)器根據(jù)編號(hào)進(jìn)行數(shù)據(jù)分片與業(yè)務(wù)計(jì)算，包括：

6.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述匯總各任務(wù)執(zhí)行服務(wù)器的計(jì)算結(jié)果并完成任務(wù)，包括：

7.根據(jù)權(quán)利要求1所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法，其特征在于，所述進(jìn)行系統(tǒng)優(yōu)化與異常處理，包括：

8.一種電子設(shè)備，包括處理器以及與處理器通信連接，且用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器，其特征在于：所述處理器用于執(zhí)行上述權(quán)利要求1-7任一所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

9.一種服務(wù)器，其特征在于：包括至少一個(gè)處理器，以及與所述處理器通信連接的存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述處理器執(zhí)行，以使所述至少一個(gè)處理器執(zhí)行如權(quán)利要求1-7任一所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

10.一種計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的一種基于java實(shí)現(xiàn)分布式分片計(jì)算的方法。

技術(shù)總結(jié)
本發(fā)明提供了一種基于Java實(shí)現(xiàn)分布式分片計(jì)算的方法，包括以下步驟：進(jìn)行任務(wù)初始化與調(diào)度服務(wù)器配置，用以設(shè)置任務(wù)的執(zhí)行條件和服務(wù)器數(shù)量；建立任務(wù)執(zhí)行服務(wù)器與任務(wù)調(diào)度服務(wù)器的長(zhǎng)連接與心跳機(jī)制，用以確保服務(wù)器之間的實(shí)時(shí)通信與狀態(tài)監(jiān)控；任務(wù)分配與任務(wù)執(zhí)行服務(wù)器編號(hào)生成，通過動(dòng)態(tài)選擇和編號(hào)服務(wù)器，為分片任務(wù)的并行計(jì)算奠定基礎(chǔ)。本發(fā)明所述的一種基于Java實(shí)現(xiàn)分布式分片計(jì)算的方法，降低系統(tǒng)整體實(shí)現(xiàn)的復(fù)雜性，通過長(zhǎng)連接維護(hù)執(zhí)行服務(wù)器及在分配任務(wù)時(shí)動(dòng)態(tài)指定服務(wù)器編號(hào)用于分片計(jì)算等的實(shí)現(xiàn)，可以滿足一些網(wǎng)站在進(jìn)行一些任務(wù)進(jìn)行分片并行計(jì)算的需要。

技術(shù)研發(fā)人員：王鵬凱
受保護(hù)的技術(shù)使用者：紫光云技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19