本申請涉及數(shù)據(jù)處理，尤其涉及一種任務(wù)調(diào)度方法及相關(guān)設(shè)備。

背景技術(shù)：

1、隨著信息技術(shù)的飛速發(fā)展，在業(yè)務(wù)系統(tǒng)升級、新老系統(tǒng)切換、數(shù)據(jù)中心搬遷等場景中，常常需要將源端存儲的海量文件遷移到目的端。

2、文件遷移過程會影響源端的服務(wù)的運行，因此提高文件遷移效率以減少對源端的服務(wù)的影響，尤為重要。

技術(shù)實現(xiàn)思路

1、本申請實施例的目的提供一種任務(wù)調(diào)度方法及相關(guān)設(shè)備，用于提高文件遷移效率，減少文件遷移過程對業(yè)務(wù)的影響，同時保障源端的服務(wù)的可用性。

2、為了實現(xiàn)上述目的，本申請實施例采用下述技術(shù)方案：

3、第一方面，本申請實施例提供一種任務(wù)調(diào)度方法，應(yīng)用于分布式集群中的主節(jié)點，包括：

4、確定所述分布式集群中運行狀態(tài)為正常的從節(jié)點；

5、基于待遷移文件合中文件的大小對所述待遷移文件集進行分配，得到待分配給每個所述從節(jié)點的第一文件子集；

6、基于每個所述從節(jié)點的線程數(shù)量和所述第一文件子集，向每個所述從節(jié)點下發(fā)遷移任務(wù)。

7、第二方面，本申請實施例提供一種任務(wù)調(diào)度裝置，應(yīng)用于分布式集群中的主節(jié)點，包括：

8、確定單元，用于確定所述分布式集群中運行狀態(tài)為正常的從節(jié)點；

9、分配單元，用于基于待遷移文件合中文件的大小對所述待遷移文件集進行分配，得到待分配給每個所述從節(jié)點的第一文件子集；

10、下發(fā)單元，用于基于每個所述從節(jié)點的線程數(shù)量和所述第一文件子集，向每個所述從節(jié)點下發(fā)遷移任務(wù)。

11、第三方面，本申請實施例提供一種電子設(shè)備，包括：

12、處理器；

13、用于存儲所述處理器可執(zhí)行指令的存儲器；

14、其中，所述處理器被配置為執(zhí)行所述指令，以實現(xiàn)如第一方面所述的任務(wù)調(diào)度方法。

15、第四方面，本申請實施例提供一種計算機可讀存儲介質(zhì)，當所述存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時，使得電子設(shè)備能夠執(zhí)行如第一方面所述的任務(wù)調(diào)度方法。

16、第五方面，本申請實施例提供一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括存儲了計算機程序的非瞬時性計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行如第一方面所述任務(wù)調(diào)度方法中的部分或全部步驟。

17、本申請實施例采用的上述至少一個技術(shù)方案能夠達到以下有益效果：

18、由分布式集群中的主節(jié)點統(tǒng)一進行任務(wù)調(diào)度，確定分布式集群中運行狀態(tài)為正常的多個從節(jié)點，并對待遷移文件集進行分配，得到待分配給每個從節(jié)點的第一文件子集，進而向每個從節(jié)點下發(fā)相應(yīng)的遷移任務(wù)以遷移第一文件子集，使得對待遷移文件集的遷移通過多個從節(jié)點來完成，文件遷移效率得以提升，從而可以減小文件遷移過程對源端的服務(wù)運行的影響。

19、此外，本申請實施例提出的技術(shù)方案還對待遷移文件集的分配方式進行了改進。首先，基于待遷移文件集中文件的大小對待遷移文件集進行分配，得到待分配給每個從節(jié)點的第一文件子集，以確保待分配給每個從節(jié)點的文件大小相對平均；然后，基于每個從節(jié)點的線程數(shù)量和待分配給每個從節(jié)點的第一文件子集，向每個從節(jié)點下發(fā)遷移任務(wù)，以確保每個線程待遷移的文件的大小相差較小，這樣每個線程的傳輸效率相差較小，整體遷移時間取決于最大文件的遷移時間，遷移效率得以提高，從而減小文件遷移過程對源端的服務(wù)運行的影響。

技術(shù)特征：

1.一種任務(wù)調(diào)度方法，其特征在于，應(yīng)用于分布式集群中的主節(jié)點，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待遷移文件集存儲于源端中，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述資源使用信息包括所述源端的處理器核數(shù)；所述基于所述源端的資源使用信息，確定所述源端的總線程數(shù)量，包括：基于所述處理器核數(shù)和所述多個從節(jié)點的數(shù)量，確定所述源端的總線程數(shù)量。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述資源使用信息包括所述源端的總資源利用率和傳輸資源利用率；所述基于所述源端的資源使用信息，確定所述源端的總線程數(shù)量，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述待遷移文件集中文件的大小對所述待遷移文件集進行分配，得到待分配給每個所述從節(jié)點的第一文件子集，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述待遷移文件集中文件的數(shù)量大于所述多個從節(jié)點的數(shù)量的情況下，所述文件分配策略包括平均分配策略和取余分配策略；所述第一文件子集包括第一文件和第二文件；

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述待遷移文件集中文件的大小和所述多個從節(jié)點的數(shù)量，將所述待遷移文件集劃分為第二文件子集和第三文件子集，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對每個所述從節(jié)點，基于所述從節(jié)點的線程數(shù)量和待分配給所述從節(jié)點的第一文件子集，向所述從節(jié)點下發(fā)遷移任務(wù)，包括：

9.根據(jù)權(quán)利要求1至8中任一項所述的方法，其特征在于，所述方法還包括：

10.一種任務(wù)調(diào)度裝置，其特征在于，應(yīng)用于分布式集群中的主節(jié)點，包括：

11.一種電子設(shè)備，其特征在于，包括：

12.一種計算機可讀存儲介質(zhì)，其特征在于，當所述存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時，使得電子設(shè)備能夠執(zhí)行如權(quán)利要求1至9中任一項所述的任務(wù)調(diào)度方法。

13.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括存儲了計算機程序的非瞬時性計算機可讀存儲介質(zhì)，所述計算機程序可操作來使計算機執(zhí)行如權(quán)利要求1至10中任一項所述的任務(wù)調(diào)度方法中的部分或全部步驟。

技術(shù)總結(jié)
本申請公開了一種任務(wù)調(diào)度方法及相關(guān)設(shè)備，用于提高文件遷移效率，減少文件遷移過程對業(yè)務(wù)的影響，同時保障源端的服務(wù)的可用性。任務(wù)調(diào)度方法應(yīng)用于分布式集群中的主節(jié)點，包括：確定所述分布式集群中運行狀態(tài)為正常的多個從節(jié)點；基于待遷移文件集中文件的大小對待遷移文件集進行分配，得到待分配給每個所述從節(jié)點的第一文件子集；基于每個所述從節(jié)點的線程數(shù)量和所述第一文件子集，向每個所述從節(jié)點下發(fā)遷移任務(wù)。

技術(shù)研發(fā)人員：張華榮
受保護的技術(shù)使用者：馬上消費金融股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19