本申請(qǐng)涉及計(jì)算機(jī)，具體涉及一種任務(wù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著計(jì)算機(jī)通信技術(shù)的不斷發(fā)展，智能手機(jī)、平板電腦及筆記本電腦等終端的大量普及應(yīng)用，引發(fā)了數(shù)據(jù)的迅猛增長，大數(shù)據(jù)正日益對(duì)人們的工作生活、企業(yè)的生產(chǎn)運(yùn)作、社會(huì)制度的運(yùn)行、國家的治理能力產(chǎn)生重要影響。在大數(shù)據(jù)領(lǐng)域，各行各業(yè)對(duì)分布式計(jì)算和大數(shù)據(jù)處理任務(wù)(spark任務(wù))的需求非常廣泛，例如，可以基于spark任務(wù)通過內(nèi)存計(jì)算和并行處理技術(shù)，能夠高效地處理大規(guī)模數(shù)據(jù)集，還可以使用spark任務(wù)進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和聚合，以及提取有價(jià)值的信息，從而更好的幫助各行各業(yè)基于大數(shù)據(jù)完成生產(chǎn)工作。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問題，本申請(qǐng)實(shí)施例提供一種任務(wù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請(qǐng)實(shí)施例提供一種任務(wù)處理方法，包括：

3、基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)，確定所述目標(biāo)任務(wù)的第一初始任務(wù)執(zhí)行參數(shù)；

4、確定所述第一初始任務(wù)執(zhí)行參數(shù)指示的所述目標(biāo)任務(wù)在任務(wù)處理集群中的初始隊(duì)列、以及所述初始隊(duì)列的隊(duì)列資源；

5、基于所述隊(duì)列資源與所述第一初始任務(wù)執(zhí)行參數(shù)，確定所述目標(biāo)任務(wù)的目標(biāo)任務(wù)執(zhí)行參數(shù)；

6、將所述目標(biāo)任務(wù)派發(fā)到所述目標(biāo)任務(wù)執(zhí)行參數(shù)指示的第一隊(duì)列中，所述第一隊(duì)列為所述任務(wù)處理集群中的隊(duì)列。

7、第二方面，本申請(qǐng)實(shí)施例提供一種任務(wù)處理裝置，包括：

8、第一確定單元，用于基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)，確定所述目標(biāo)任務(wù)的第一初始任務(wù)執(zhí)行參數(shù)；

9、第二確定單元，用于確定所述第一初始任務(wù)執(zhí)行參數(shù)指示的所述目標(biāo)任務(wù)在任務(wù)處理集群中的初始隊(duì)列、以及所述初始隊(duì)列的隊(duì)列資源；

10、第三確定單元，用于基于所述隊(duì)列資源與所述第一初始任務(wù)執(zhí)行參數(shù)，確定所述目標(biāo)任務(wù)的目標(biāo)任務(wù)執(zhí)行參數(shù)；

11、處理單元，用于將所述目標(biāo)任務(wù)派發(fā)到所述目標(biāo)任務(wù)執(zhí)行參數(shù)指示的第一隊(duì)列中，所述第一隊(duì)列為所述任務(wù)處理集群中的隊(duì)列。

12、第三方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器存儲(chǔ)有多條指令；處理器從存儲(chǔ)器中加載指令，以執(zhí)行本申請(qǐng)實(shí)施例所提供的任一種任務(wù)處理方法的步驟。

13、第四方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，指令適于處理器進(jìn)行加載，以執(zhí)行本申請(qǐng)實(shí)施例所提供的任一種任務(wù)處理方法的步驟。

14、第五方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所提供的任一種任務(wù)處理方法中的步驟。

15、采用本申請(qǐng)實(shí)施例的方案，可以基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)確定目標(biāo)任務(wù)的初始任務(wù)執(zhí)行參數(shù)，相較于固定的初始任務(wù)執(zhí)行參數(shù)，使得確定目標(biāo)任務(wù)的初始任務(wù)執(zhí)行參數(shù)更為合理；再結(jié)合目標(biāo)任務(wù)在任務(wù)處理集群中的初始隊(duì)列的隊(duì)列資源，確定目標(biāo)任務(wù)的目標(biāo)任務(wù)執(zhí)行參數(shù)，可以使得目標(biāo)任務(wù)的任務(wù)執(zhí)行參數(shù)進(jìn)一步優(yōu)化，從而使得目標(biāo)任務(wù)能夠派發(fā)到較合理的隊(duì)列中，為目標(biāo)任務(wù)實(shí)現(xiàn)較優(yōu)的隊(duì)列資源的分配方案，提升任務(wù)執(zhí)行的效率。

技術(shù)特征：

1.一種任務(wù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)，確定所述目標(biāo)任務(wù)的第一初始任務(wù)執(zhí)行參數(shù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述隊(duì)列資源與所述第一初始任務(wù)執(zhí)行參數(shù)，確定所述目標(biāo)任務(wù)的目標(biāo)任務(wù)執(zhí)行參數(shù)，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一隊(duì)列資源、和所述第一初始任務(wù)執(zhí)行參數(shù)確定目標(biāo)任務(wù)執(zhí)行參數(shù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述第一隊(duì)列資源以及所述第一初始任務(wù)執(zhí)行參數(shù)，確定為所述目標(biāo)任務(wù)配置的目標(biāo)任務(wù)執(zhí)行參數(shù)，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第一隊(duì)列資源、和所述第一初始任務(wù)執(zhí)行參數(shù)確定目標(biāo)任務(wù)執(zhí)行參數(shù)，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述基于所述第一隊(duì)列資源、以及所述第一初始任務(wù)執(zhí)行參數(shù)，確定為所述目標(biāo)任務(wù)配置的目標(biāo)任務(wù)執(zhí)行參數(shù)，包括：

9.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

10.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

11.一種任務(wù)處理裝置，其特征在于，所述裝置包括：

12.一種計(jì)算機(jī)設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有多條指令；所述處理器從所述存儲(chǔ)器中加載指令，以執(zhí)行如權(quán)利要求1～10任一項(xiàng)所述的任務(wù)處理方法的步驟。

13.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于處理器進(jìn)行加載，以執(zhí)行如權(quán)利要求1～10任一項(xiàng)所述的任務(wù)處理方法的步驟。

14.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行如權(quán)利要求1～10任一項(xiàng)所述的任務(wù)處理方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種任務(wù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，包括：基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)，確定目標(biāo)任務(wù)的第一初始任務(wù)執(zhí)行參數(shù)；確定第一初始任務(wù)執(zhí)行參數(shù)指示的目標(biāo)任務(wù)在任務(wù)處理集群中的初始隊(duì)列、以及初始隊(duì)列的隊(duì)列資源；基于隊(duì)列資源與所述第一初始任務(wù)執(zhí)行參數(shù)，確定目標(biāo)任務(wù)的目標(biāo)任務(wù)執(zhí)行參數(shù)；將目標(biāo)任務(wù)派發(fā)到目標(biāo)任務(wù)執(zhí)行參數(shù)指示的第一隊(duì)列中。本申請(qǐng)基于目標(biāo)任務(wù)的任務(wù)數(shù)據(jù)確定目標(biāo)任務(wù)的初始任務(wù)執(zhí)行參數(shù)，使得確定目標(biāo)任務(wù)的初始任務(wù)執(zhí)行參數(shù)更為合理；對(duì)目標(biāo)任務(wù)的任務(wù)執(zhí)行參數(shù)進(jìn)一步優(yōu)化，使得目標(biāo)任務(wù)能夠派發(fā)到較合理的隊(duì)列中，為目標(biāo)任務(wù)實(shí)現(xiàn)較優(yōu)的隊(duì)列資源的分配方案，提升任務(wù)執(zhí)行的效率。

技術(shù)研發(fā)人員：程治涵
受保護(hù)的技術(shù)使用者：馬上消費(fèi)金融股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19