本技術(shù)涉及云端大數(shù)據(jù)，特別是涉及一種大模型服務(wù)調(diào)用方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在現(xiàn)代分布式計(jì)算系統(tǒng)中，隨著大模型在自然語言、圖像處理等領(lǐng)域的廣泛使用，各種應(yīng)用都在嘗試接入大模型服務(wù)以提高應(yīng)用服務(wù)的智能性和便捷性。在調(diào)用大模型服務(wù)過程中，現(xiàn)有的調(diào)用方式為直接調(diào)度，將前端請求直接打到大模型服務(wù)上，后端對大模型服務(wù)進(jìn)行簡單調(diào)用。

2、然而，目前的直接調(diào)度方法，存在系統(tǒng)容易服務(wù)過載的問題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠避免系統(tǒng)服務(wù)過載的大模型服務(wù)調(diào)用方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種大模型服務(wù)調(diào)用方法，應(yīng)用于后端服務(wù)器，包括：

3、響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量；

4、在請求數(shù)量未達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列；

5、獲取目標(biāo)大模型服務(wù)實(shí)例，調(diào)用目標(biāo)大模型服務(wù)實(shí)例；目標(biāo)大模型服務(wù)實(shí)例通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，從各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例中確定得到。

6、在其中一個(gè)實(shí)施例中，獲取目標(biāo)大模型服務(wù)實(shí)例，包括：

7、通過調(diào)度器獲取各大模型服務(wù)實(shí)例預(yù)先設(shè)定的最大并發(fā)數(shù)，以及各大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)；

8、將實(shí)時(shí)請求數(shù)小于最大并發(fā)數(shù)的大模型服務(wù)實(shí)例，作為可調(diào)用大模型服務(wù)實(shí)例；

9、按照調(diào)度器的調(diào)度策略，從可調(diào)用大模型服務(wù)實(shí)例中得到目標(biāo)大模型服務(wù)實(shí)例。

10、在其中一個(gè)實(shí)施例中，從可調(diào)用大模型服務(wù)實(shí)例中得到目標(biāo)大模型服務(wù)實(shí)例，包括：

11、將實(shí)時(shí)請求數(shù)最小的可調(diào)用大模型服務(wù)實(shí)例，作為目標(biāo)大模型服務(wù)實(shí)例。

12、在一個(gè)實(shí)施例中，從可調(diào)用大模型服務(wù)實(shí)例中得到目標(biāo)大模型服務(wù)實(shí)例，包括：

13、獲取各可調(diào)用大模型服務(wù)實(shí)例關(guān)聯(lián)的調(diào)用編號，以及預(yù)先記錄的歷史調(diào)用編號；歷史調(diào)用編號為上次調(diào)用的大模型服務(wù)實(shí)例的調(diào)用編號；

14、在可調(diào)用大模型服務(wù)實(shí)例關(guān)聯(lián)的調(diào)用編號中包含歷史調(diào)用編號的情況下，將歷史調(diào)用編號確定為目標(biāo)調(diào)用編號，并將目標(biāo)調(diào)用編號關(guān)聯(lián)的可調(diào)用大模型服務(wù)實(shí)例，作為目標(biāo)大模型服務(wù)實(shí)例。

15、在其中一個(gè)實(shí)施例中，從可調(diào)用大模型服務(wù)實(shí)例中得到目標(biāo)大模型服務(wù)實(shí)例，包括：

16、獲取各可調(diào)用大模型服務(wù)實(shí)例關(guān)聯(lián)的調(diào)用編號，以及預(yù)先記錄的歷史調(diào)用編號；歷史調(diào)用編號為上次調(diào)用的大模型服務(wù)實(shí)例的調(diào)用編號；

17、在調(diào)用編號中未包含歷史調(diào)用編號的情況下，順延或遞減歷史調(diào)用編號，并將順延或遞減后的歷史調(diào)用編號作為新的歷史調(diào)用編號，直到可調(diào)用大模型服務(wù)實(shí)例關(guān)聯(lián)的調(diào)用編號中包含歷史調(diào)用編號；

18、將歷史調(diào)用編號確定為目標(biāo)調(diào)用編號，并將目標(biāo)調(diào)用編號關(guān)聯(lián)的可調(diào)用大模型服務(wù)實(shí)例，作為目標(biāo)大模型服務(wù)實(shí)例。

19、在一個(gè)示例性的實(shí)施例中，在調(diào)用目標(biāo)大模型服務(wù)實(shí)例之后，還包括：

20、在目標(biāo)大模型服務(wù)實(shí)例調(diào)用成功，且目標(biāo)大模型服務(wù)實(shí)例的調(diào)用響應(yīng)時(shí)長未超過預(yù)設(shè)時(shí)長的情況下，獲取目標(biāo)大模型服務(wù)實(shí)例的調(diào)用響應(yīng)結(jié)果，并將調(diào)用響應(yīng)結(jié)果返回觸發(fā)當(dāng)前服務(wù)調(diào)用請求的前端；

21、在目標(biāo)大模型服務(wù)實(shí)例調(diào)用失敗，或者調(diào)用響應(yīng)時(shí)長超過預(yù)設(shè)時(shí)長的情況下，執(zhí)行預(yù)設(shè)的業(yè)務(wù)異常處理邏輯。

22、在其中一個(gè)實(shí)施例中，在調(diào)用目標(biāo)大模型服務(wù)實(shí)例之后，包括：

23、在目標(biāo)大模型服務(wù)實(shí)例調(diào)用完成的情況下，移除大模型請求隊(duì)列中包含的當(dāng)前服務(wù)調(diào)用請求。

24、在一個(gè)示例性的實(shí)施例中，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量之后，還包括：

25、在請求數(shù)量達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，停止將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列，并執(zhí)行預(yù)先設(shè)置的拒絕策略。

26、第二方面，本技術(shù)還提供了一種大模型服務(wù)調(diào)用裝置，應(yīng)用于后端服務(wù)器，包括：

27、獲取模塊，用于響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量；

28、添加模塊，用于在請求數(shù)量未達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列；

29、調(diào)用模塊，用于獲取目標(biāo)大模型服務(wù)實(shí)例，調(diào)用目標(biāo)大模型服務(wù)實(shí)例；目標(biāo)大模型服務(wù)實(shí)例通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，從各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例中確定得到。

30、第三方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，存儲器存儲有計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

31、響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量；

32、在請求數(shù)量未達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列；

33、獲取目標(biāo)大模型服務(wù)實(shí)例，調(diào)用目標(biāo)大模型服務(wù)實(shí)例；目標(biāo)大模型服務(wù)實(shí)例通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，從各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例中確定得到。

34、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

35、響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量；

36、在請求數(shù)量未達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列；

37、獲取目標(biāo)大模型服務(wù)實(shí)例，調(diào)用目標(biāo)大模型服務(wù)實(shí)例；目標(biāo)大模型服務(wù)實(shí)例通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，從各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例中確定得到。

38、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

39、響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量；

40、在請求數(shù)量未達(dá)到預(yù)設(shè)請求數(shù)量閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列；

41、獲取目標(biāo)大模型服務(wù)實(shí)例，調(diào)用目標(biāo)大模型服務(wù)實(shí)例；目標(biāo)大模型服務(wù)實(shí)例通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，從各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例中確定得到。

42、上述大模型服務(wù)調(diào)用方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，響應(yīng)于針對大模型服務(wù)實(shí)例發(fā)起的當(dāng)前服務(wù)調(diào)用請求，獲取大模型請求隊(duì)列中包含的服務(wù)調(diào)用請求的請求數(shù)量，在請求數(shù)量未達(dá)到預(yù)設(shè)請求閾值的情況下，將當(dāng)前服務(wù)調(diào)用請求添加進(jìn)大模型請求隊(duì)列，最后通過預(yù)設(shè)的調(diào)度器基于大模型請求隊(duì)列中包含的各服務(wù)調(diào)用請求對應(yīng)的大模型服務(wù)實(shí)例的實(shí)時(shí)請求數(shù)，獲取目標(biāo)大模型服務(wù)實(shí)例，最終調(diào)用該目標(biāo)大模型服務(wù)實(shí)例。通過設(shè)置大模型請求隊(duì)列，有效控制了當(dāng)下后端系統(tǒng)處理的請求量，進(jìn)而避免了由于請求量過大而出現(xiàn)的系統(tǒng)服務(wù)過載的問題，提高了系統(tǒng)的可行性和高可用性。