本申請涉及計算機，具體涉及一種集群管理方法、裝置、設(shè)備、可讀存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，主要用于大數(shù)據(jù)流存儲場景。kafka集群中包括一個或者多個存儲節(jié)點(broker)，一個存儲節(jié)點中可以包括一個或者多個存儲對象(topic)。消息消費者可以從topic中獲取消息，消息生產(chǎn)者可以將消息寫入topic中。一個topic通常由多個存儲分片(partition)構(gòu)成。

2、在實際應(yīng)用過程中，由于多個存儲節(jié)點中包含的存儲分片不完全相同，因此，不同存儲節(jié)點所占的資源(例如：網(wǎng)絡(luò)資源、存儲資源等)通常不同，這容易導(dǎo)致kafka集群的負載不均衡，進而影響集群的使用體驗。

技術(shù)實現(xiàn)思路

1、本申請實施例提供了集群管理方法、裝置、設(shè)備、可讀存儲介質(zhì)及程序產(chǎn)品，可以根據(jù)集群狀態(tài)指標數(shù)據(jù)確定存儲分片調(diào)整信息，有利于實現(xiàn)存儲節(jié)點的負載調(diào)整，進而實現(xiàn)集群的負載均衡，提升使用體驗。

2、一方面，本申請實施例提供了一種集群管理方法，該集群管理方法包括：

3、獲取消息存儲集群的集群狀態(tài)指標數(shù)據(jù)，所述消息存儲集群包含管理節(jié)點和多個存儲節(jié)點，每個存儲節(jié)點包含一個或者多個存儲分片，所述集群狀態(tài)指標數(shù)據(jù)包含所述消息存儲集群中各個存儲分片的負載信息以及各個存儲節(jié)點的負載信息；

4、根據(jù)所述集群狀態(tài)指標數(shù)據(jù)生成所述消息存儲集群的集群狀態(tài)描述信息，所述集群狀態(tài)描述信息用于指示所述消息存儲集群中所述各個存儲分片的上層節(jié)點的負載信息；

5、根據(jù)所述集群狀態(tài)描述信息和所述消息存儲集群的集群負載需求，生成存儲分片調(diào)整信息，并將所述存儲分片調(diào)整信息發(fā)送給所述消息存儲集群中目標存儲節(jié)點，所述存儲分片調(diào)整信息用于指示所述目標存儲節(jié)點對目標存儲分片所屬的分區(qū)進行調(diào)整處理，以對所述目標存儲節(jié)點的負載信息進行調(diào)整。

6、一方面，本申請實施例提供了另一種集群管理方法，該集群管理方法包括：

7、接收管理節(jié)點發(fā)送到目標存儲節(jié)點的存儲分片調(diào)整信息；所述管理節(jié)點和所述目標存儲節(jié)點包含于消息存儲集群，所述消息存儲網(wǎng)絡(luò)包含多個存儲節(jié)點，所述存儲節(jié)點包含一個或者多個存儲分片；

8、根據(jù)所述存儲分片調(diào)整信息，對目標存儲分片所屬的分區(qū)進行調(diào)整處理；

9、其中，所述存儲分片調(diào)整信息是所述管理節(jié)點根據(jù)集群狀態(tài)描述信息和所述消息存儲集群的集群負載需求生成的，所述集群狀態(tài)描述信息是根據(jù)所述消息存儲集群的集群狀態(tài)指標數(shù)據(jù)生成的，所述集群狀態(tài)描述信息用于指示所述消息存儲集群中所述各個存儲分片的上層節(jié)點的負載信息；所述消息存儲集群的集群狀態(tài)指標數(shù)據(jù)是所述管理節(jié)點獲取的，所述集群狀態(tài)指標數(shù)據(jù)包含所述消息存儲集群中各個存儲分片的負載信息以及各個存儲節(jié)點的負載信息。

10、相應(yīng)地，本申請實施例提供了一種集群管理裝置，該集群管理裝置包括：

11、獲取單元，用于獲取消息存儲集群的集群狀態(tài)指標數(shù)據(jù)，所述消息存儲集群包含管理節(jié)點和多個存儲節(jié)點，每個存儲節(jié)點包含一個或者多個存儲分片，所述集群狀態(tài)指標數(shù)據(jù)包含所述消息存儲集群中各個存儲分片的負載信息以及各個存儲節(jié)點的負載信息；

12、生成單元，用于根據(jù)所述集群狀態(tài)指標數(shù)據(jù)生成所述消息存儲集群的集群狀態(tài)描述信息，所述集群狀態(tài)描述信息用于指示所述消息存儲集群中所述各個存儲分片的上層節(jié)點的負載信息；

13、發(fā)送單元，用于根據(jù)所述集群狀態(tài)描述信息和所述消息存儲集群的集群負載需求，生成存儲分片調(diào)整信息，并將所述存儲分片調(diào)整信息發(fā)送給所述消息存儲集群中目標存儲節(jié)點，所述存儲分片調(diào)整信息用于指示所述目標存儲節(jié)點對目標存儲分片所屬的分區(qū)進行調(diào)整處理，以對所述目標存儲節(jié)點的負載信息進行調(diào)整。

14、相應(yīng)地，本申請實施例提供了另一種集群管理裝置，該集群管理裝置包括：

15、接收單元，用于接收管理節(jié)點發(fā)送到目標存儲節(jié)點的存儲分片調(diào)整信息；所述管理節(jié)點和所述目標存儲節(jié)點包含于消息存儲集群，所述消息存儲網(wǎng)絡(luò)包含多個存儲節(jié)點，所述存儲節(jié)點包含一個或者多個存儲分片；

16、調(diào)整單元，用于根據(jù)所述存儲分片調(diào)整信息，對目標存儲分片所屬的分區(qū)進行調(diào)整處理；

17、其中，所述存儲分片調(diào)整信息是所述管理節(jié)點根據(jù)集群狀態(tài)描述信息和所述消息存儲集群的集群負載需求生成的，所述集群狀態(tài)描述信息是根據(jù)所述消息存儲集群的集群狀態(tài)指標數(shù)據(jù)生成的，所述集群狀態(tài)描述信息用于指示所述消息存儲集群中所述各個存儲分片的上層節(jié)點的負載信息；所述消息存儲集群的集群狀態(tài)指標數(shù)據(jù)是所述管理節(jié)點獲取的，所述集群狀態(tài)指標數(shù)據(jù)包含所述消息存儲集群中各個存儲分片的負載信息以及各個存儲節(jié)點的負載信息。

18、相應(yīng)地，本申請實施例提供了一種計算機設(shè)備，該計算機設(shè)備包括：

19、處理器，適于實現(xiàn)計算機程序；

20、計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，計算機程序適于由處理器加載并執(zhí)行上述的集群管理方法。

21、相應(yīng)地，本申請實施例還提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲有計算機程序，該計算機程序被計算機設(shè)備的處理器讀取并執(zhí)行時，使得計算機設(shè)備執(zhí)行上述的集群管理方法。

22、相應(yīng)地，本申請實施例還提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括計算機程序，該計算機程序存儲在計算機可讀存儲介質(zhì)中。計算機設(shè)備的處理器從計算機可讀存儲介質(zhì)讀取該計算機程序，處理器執(zhí)行該計算機程序，使得該計算機設(shè)備執(zhí)行上述的集群管理方法。

23、本申請中，消息存儲集群中的管理節(jié)點可以獲取消息存儲集群的集群狀態(tài)指標數(shù)據(jù)，并根據(jù)該集群狀態(tài)指標數(shù)據(jù)生成集群狀態(tài)描述信息，該集群狀態(tài)描述信息可以指示消息存儲集群中各級對象(例如：存儲節(jié)點、存儲分片等)的負載信息；可以根據(jù)集群狀態(tài)描述信息和集群負載需求生成存儲分片調(diào)整信息，從而實現(xiàn)存儲分片所屬分區(qū)的調(diào)整。通過本申請實施例提供的集群管理方法，可以根據(jù)集群狀態(tài)指標數(shù)據(jù)生成集群狀態(tài)描述信息，該集群狀態(tài)描述信息可以較為全面地反映消息存儲集群中各級對象的負載狀態(tài)，有利于后續(xù)對消息存儲集群的負載狀態(tài)進行調(diào)整；可以根據(jù)集群狀態(tài)描述信息和集群負載需求生成存儲分片調(diào)整信息，從而實現(xiàn)存儲分片所屬分區(qū)的調(diào)整，以實現(xiàn)存儲節(jié)點的負載信息調(diào)整，進而可以實現(xiàn)消息存儲集群的負載均衡。

技術(shù)特征：

1.一種集群管理方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取消息存儲集群的集群狀態(tài)指標數(shù)據(jù)，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述消息存儲集群還包含目標存儲對象，所述目標存儲對象中存儲有所述消息存儲集群中各個存儲節(jié)點的節(jié)點狀態(tài)指標數(shù)據(jù)，以及相應(yīng)存儲節(jié)點包含的各個存儲分片的分片狀態(tài)指標數(shù)據(jù)；

4.如權(quán)利要求1-3任一項所述的方法，其特征在于，所述根據(jù)所述集群狀態(tài)指標數(shù)據(jù)生成所述消息存儲集群的集群狀態(tài)描述信息，包括：

5.如權(quán)利要求1-3任一項所述的方法，其特征在于，所述集群負載需求包括如下至少一種：分片分區(qū)統(tǒng)一需求、單節(jié)點資源均衡需求、多節(jié)點資源均衡需求、存儲資源均衡需求；所述根據(jù)所述集群狀態(tài)描述信息和所述消息存儲集群的集群負載需求，生成存儲分片調(diào)整信息，包括：

6.一種集群管理方法，其特征在于，所述方法包括：

7.如權(quán)利要求6所述的方法，其特征在于，所述存儲分片調(diào)整信息指示將所述目標存儲分片存儲到目標存儲節(jié)點，所述目標存儲分片包含于第一存儲節(jié)點，所述第一存儲節(jié)點包含于所述消息存儲集群；

8.如權(quán)利要求6或7所述的方法，其特征在于，所述存儲分片調(diào)整信息指示將所述目標存儲分片存儲到第二存儲節(jié)點，所述第二存儲節(jié)點包含于所述消息存儲集群，所述目標存儲分片包含于目標存儲節(jié)點；

9.一種集群管理裝置，其特征在于，包括用于實現(xiàn)權(quán)利要求1-5任一項所述的集群管理方法的單元，或者包括用于實現(xiàn)如權(quán)利要求6-8中任一項所述的集群管理方法的單元。

10.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括：

11.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有計算機程序，所述計算機程序適于由處理器加載并實現(xiàn)如權(quán)利要求1-5中任一項所述的集群管理方法或者實現(xiàn)如權(quán)利要求6-8中任一項所述的集群管理方法。

12.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-5中任一項所述的集群管理方法或者實現(xiàn)如權(quán)利要求6-8中任一項所述的集群管理方法。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N集群管理方法、裝置、設(shè)備、可讀存儲介質(zhì)及程序產(chǎn)品。該集群管理方法包括：獲取消息存儲集群的集群狀態(tài)指標數(shù)據(jù)，消息存儲集群包含管理節(jié)點和多個存儲節(jié)點，每個存儲節(jié)點包含一個或者多個存儲分片，集群狀態(tài)指標數(shù)據(jù)包含消息存儲集群中各個存儲分片的負載信息以及各個存儲節(jié)點的負載信息；根據(jù)集群狀態(tài)指標數(shù)據(jù)生成消息存儲集群的集群狀態(tài)描述信息；根據(jù)集群狀態(tài)描述信息和消息存儲集群的集群負載需求，生成存儲分片調(diào)整信息，并將存儲分片調(diào)整信息發(fā)送給消息存儲集群中目標存儲節(jié)點。采用本申請，可以根據(jù)集群狀態(tài)指標數(shù)據(jù)確定存儲分片調(diào)整信息，有利于實現(xiàn)存儲節(jié)點的負載調(diào)整，進而實現(xiàn)集群的負載均衡，提升使用體驗。

技術(shù)研發(fā)人員：黃章衡,張億皓
受保護的技術(shù)使用者：小紅書科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19