本技術(shù)涉及領(lǐng)域，具體涉及一種基于大語言模型的任務(wù)處理方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、近年來，隨著人工智能技術(shù)的飛速發(fā)展，大規(guī)模語言模型(large?languagemodels，llms)在自然語言處理、機(jī)器翻譯、智能問答等領(lǐng)域展現(xiàn)出了巨大的潛力和應(yīng)用價(jià)值。這些模型憑借其強(qiáng)大的語言理解和生成能力，正在改變著人機(jī)交互的方式，并在各行各業(yè)中得到廣泛應(yīng)用。然而，隨著模型規(guī)模的不斷擴(kuò)大和應(yīng)用場景的日益復(fù)雜，大模型的運(yùn)營面臨著諸多挑戰(zhàn)，主要表現(xiàn)在以下幾個(gè)方面：

2、資源消耗問題：大規(guī)模語言模型通常需要消耗大量的計(jì)算資源和能源。例如，gpt-3這樣的模型包含數(shù)千億個(gè)參數(shù)，在訓(xùn)練和推理過程中都需要大量的gpu資源和電力支持。這不僅帶來了高昂的運(yùn)營成本，還造成了顯著的環(huán)境負(fù)擔(dān)。目前，許多研究都在致力于如何在保證模型性能的同時(shí)，降低資源消耗，但這仍然是一個(gè)亟待解決的難題。

3、推理效率低下：大模型在處理復(fù)雜任務(wù)時(shí)，往往需要較長的推理時(shí)間，這在實(shí)時(shí)性要求較高的應(yīng)用場景中可能會(huì)導(dǎo)致用戶體驗(yàn)下降。盡管有研究提出了模型壓縮、知識(shí)蒸餾等方法來提高推理速度，但這些方法通常會(huì)在一定程度上犧牲模型的性能，難以在效率和性能之間取得完美平衡。

4、任務(wù)適應(yīng)性不足：大模型雖然在廣泛的任務(wù)上表現(xiàn)出色，但對(duì)于特定領(lǐng)域或復(fù)雜的任務(wù)可能存在適應(yīng)性不足的問題。這導(dǎo)致在處理某些專業(yè)性強(qiáng)或結(jié)構(gòu)復(fù)雜的任務(wù)時(shí)，可能需要額外的微調(diào)或?qū)ｉT的模型版本，增加了模型維護(hù)和部署的復(fù)雜性。

5、資源分配不合理：在實(shí)際應(yīng)用中，不同的任務(wù)對(duì)計(jì)算資源的需求差異很大。然而，現(xiàn)有的大模型運(yùn)營方式往往采用統(tǒng)一的資源分配策略，無法根據(jù)任務(wù)的具體需求動(dòng)態(tài)調(diào)整資源分配，導(dǎo)致資源利用效率低下，有時(shí)會(huì)出現(xiàn)簡單任務(wù)占用過多資源，而復(fù)雜任務(wù)資源不足的情況。

6、并行處理能力不足：復(fù)雜任務(wù)通常可以被分解為多個(gè)子任務(wù)，理論上這些子任務(wù)可以并行處理以提高效率。但是，現(xiàn)有的大模型運(yùn)營方法在任務(wù)拆解和并行處理方面的能力還比較有限，難以充分利用硬件的并行計(jì)算能力。

7、為了應(yīng)對(duì)這些挑戰(zhàn)，研究者們提出了多種解決方案。例如，模型量化技術(shù)被用來降低模型的存儲(chǔ)和計(jì)算需求；模型剪枝方法則通過去除不重要的神經(jīng)元來減小模型規(guī)模；分布式訓(xùn)練和推理技術(shù)被廣泛應(yīng)用于提高大模型的處理效率。此外，一些研究嘗試通過多模型融合或模型動(dòng)態(tài)選擇的方式來提高系統(tǒng)的任務(wù)適應(yīng)性。

8、然而，這些方法通常只能解決部分問題，缺乏一個(gè)統(tǒng)一的框架來全面提升大模型的運(yùn)營效率。特別是在動(dòng)態(tài)任務(wù)處理、資源智能分配以及任務(wù)并行執(zhí)行等方面，現(xiàn)有技術(shù)仍存在明顯的不足。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本技術(shù)提出了一種方法、設(shè)備及介質(zhì)，其中方法包括：

2、通過大語言模型將目標(biāo)任務(wù)進(jìn)行拆解，以得到多個(gè)子任務(wù)以及所述多個(gè)子任務(wù)分別對(duì)應(yīng)的子任務(wù)信息；根據(jù)所述子任務(wù)信息，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的步驟編號(hào)、任務(wù)描述、前置步驟編號(hào)、任務(wù)類別以及任務(wù)難度；基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的任務(wù)描述、任務(wù)類別以及任務(wù)難度，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的執(zhí)行模型；使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)，以得到所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果；對(duì)所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

3、在一個(gè)示例中，基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的任務(wù)描述、任務(wù)類別以及任務(wù)難度，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的執(zhí)行模型，具體包括：在所述多個(gè)子任務(wù)選擇任一子任務(wù)，作為目標(biāo)子任務(wù)；基于所述目標(biāo)子任務(wù)的任務(wù)描述以及任務(wù)類別，確定執(zhí)行所述目標(biāo)子任務(wù)對(duì)應(yīng)的執(zhí)行工具；基于所述目標(biāo)子任務(wù)對(duì)應(yīng)的任務(wù)難度，確定所述目標(biāo)子任務(wù)對(duì)應(yīng)執(zhí)行模型的模型尺寸；基于所述執(zhí)行工具以及所述模型尺寸，在預(yù)設(shè)模型池中選擇目標(biāo)執(zhí)行模型；遍歷所述多個(gè)子任務(wù)，直至所述多個(gè)子任務(wù)都確定了對(duì)應(yīng)的執(zhí)行模型。

4、在一個(gè)示例中，所述預(yù)設(shè)模型池中維護(hù)有多個(gè)不同專業(yè)化方向以及不同參數(shù)規(guī)模的大語言模型。

5、在一個(gè)示例中，所述使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)，具體包括：將所述預(yù)設(shè)模型池中與所述目標(biāo)子任務(wù)對(duì)應(yīng)模型尺寸的執(zhí)行模型作為所述目標(biāo)子任務(wù)的理想模型；若確定所述目標(biāo)子任務(wù)的執(zhí)行模型時(shí)，所述理想模型處于被調(diào)用狀態(tài)，則基于所述目標(biāo)子任務(wù)的任務(wù)難度以及模型尺寸，在所述預(yù)設(shè)模型池中挑選模型尺寸相近的預(yù)設(shè)模型作為所述目標(biāo)子任務(wù)的待執(zhí)行模型；在執(zhí)行所述目標(biāo)子任務(wù)時(shí)，判斷所述理想模型是否處于被調(diào)用狀態(tài)；若所述理想模型處于被調(diào)用狀態(tài)，則通過所述待執(zhí)行模型執(zhí)行所述目標(biāo)子任務(wù)；若所述理想模型處于空閑狀態(tài)，則通過所述理想模型執(zhí)行所述目標(biāo)子任務(wù)。

6、在一個(gè)示例中，所述使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)之前，具體包括：基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的步驟編號(hào)以及前置步驟編號(hào)，確定所述多個(gè)子任務(wù)對(duì)應(yīng)的多條單線執(zhí)行順序；基于所述多個(gè)子任務(wù)對(duì)應(yīng)的多條單線執(zhí)行順序，以及空閑線程數(shù)量，確定所述多個(gè)子任務(wù)的串并行執(zhí)行序列；基于所述串并行執(zhí)行序列，以及所述執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)。

7、在一個(gè)示例中，所述對(duì)所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果，具體包括：根據(jù)所述串并行執(zhí)行序列，將所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果中確定中間執(zhí)行結(jié)果；將所述中間執(zhí)行結(jié)果按照所述串并行執(zhí)行序列輸入至下一子任務(wù)的執(zhí)行模型中，直至得到多個(gè)執(zhí)行序列分別對(duì)應(yīng)的序列結(jié)果；將所述多個(gè)執(zhí)行序列分別對(duì)應(yīng)的序列結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

8、在一個(gè)示例中，所述任務(wù)類別包括tool類型以及chat類型，所述tool類型的任務(wù)為需要通過調(diào)用各類執(zhí)行工具完成的任務(wù)。

9、本技術(shù)還提供了一種基于大語言模型的任務(wù)處理方法裝置，包括：拆解模塊，通過大語言模型將目標(biāo)任務(wù)進(jìn)行拆解，以得到多個(gè)子任務(wù)以及所述多個(gè)子任務(wù)分別對(duì)應(yīng)的子任務(wù)信息；子任務(wù)信息模塊，根據(jù)所述子任務(wù)信息，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的步驟編號(hào)、任務(wù)描述、前置步驟編號(hào)、任務(wù)類別以及任務(wù)難度；執(zhí)行模型模塊，基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的任務(wù)描述、任務(wù)類別以及任務(wù)難度，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的執(zhí)行模型；執(zhí)行模塊，使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)，以得到所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果；整合模塊，對(duì)所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

10、本技術(shù)還提供了一種基于大語言模型的任務(wù)分解處理設(shè)備，包括：至少一個(gè)處理器；以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行：通過大語言模型將目標(biāo)任務(wù)進(jìn)行拆解，以得到多個(gè)子任務(wù)以及所述多個(gè)子任務(wù)分別對(duì)應(yīng)的子任務(wù)信息；根據(jù)所述子任務(wù)信息，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的步驟編號(hào)、任務(wù)描述、前置步驟編號(hào)、任務(wù)類別以及任務(wù)難度；基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的任務(wù)描述、任務(wù)類別以及任務(wù)難度，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的執(zhí)行模型；使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)，以得到所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果；對(duì)所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

11、本技術(shù)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為：通過大語言模型將目標(biāo)任務(wù)進(jìn)行拆解，以得到多個(gè)子任務(wù)以及所述多個(gè)子任務(wù)分別對(duì)應(yīng)的子任務(wù)信息；根據(jù)所述子任務(wù)信息，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的步驟編號(hào)、任務(wù)描述、前置步驟編號(hào)、任務(wù)類別以及任務(wù)難度；基于所述多個(gè)子任務(wù)分別對(duì)應(yīng)的任務(wù)描述、任務(wù)類別以及任務(wù)難度，確定所述多個(gè)子任務(wù)分別對(duì)應(yīng)的執(zhí)行模型；使用執(zhí)行模型，執(zhí)行所述多個(gè)子任務(wù)，以得到所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果；對(duì)所述多個(gè)子任務(wù)的子執(zhí)行結(jié)果進(jìn)行整合，以得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

12、通過本技術(shù)提出的方法能夠帶來如下有益效果：利用大模型自動(dòng)識(shí)別輸入任務(wù)的類別和難度，并通過大模型將復(fù)雜任務(wù)拆解為多個(gè)子任務(wù)。在任務(wù)拆解的基礎(chǔ)上，進(jìn)而通過大模型根據(jù)各子任務(wù)的難度級(jí)別以及各個(gè)模塊的實(shí)際執(zhí)行過程，確定出模型池中與當(dāng)前任務(wù)在難度、場景上最為匹配的執(zhí)行模型；根據(jù)任務(wù)的具體難度，可以實(shí)現(xiàn)動(dòng)態(tài)調(diào)用不同參數(shù)體量的大模型，將適當(dāng)?shù)淖尤蝿?wù)分配給相應(yīng)能力的模型執(zhí)行，從而在保證任務(wù)質(zhì)量的同時(shí)，最大限度地減少資源浪費(fèi)。這種動(dòng)態(tài)調(diào)用和任務(wù)分配機(jī)制不僅顯著降低了大模型的推理時(shí)間，還實(shí)現(xiàn)了智能體中計(jì)算資源的合理化分配。通過這種創(chuàng)新方法，本發(fā)明有效地提高了智能體的整體運(yùn)行效率，為大規(guī)模人工智能系統(tǒng)的優(yōu)化提供了新的思路和解決方案。