本申請(qǐng)一個(gè)或多個(gè)實(shí)施例涉及人工智能，尤其涉及一種推理系統(tǒng)的負(fù)載感知調(diào)度方法和推理系統(tǒng)。

背景技術(shù)：

1、推理系統(tǒng)（inference?system）是一種計(jì)算機(jī)程序，它使用邏輯規(guī)則和已知的事實(shí)來得出新的結(jié)論或決策。推理系統(tǒng)是人工智能領(lǐng)域的一個(gè)重要組成部分，主要用于模擬人類的決策過程。它基于一組已定義的知識(shí)庫和推理引擎來推導(dǎo)出結(jié)論。推理系統(tǒng)可以執(zhí)行其獲取到的推理請(qǐng)求（inference?request），并輸出對(duì)應(yīng)的推理結(jié)果。

2、一個(gè)典型的推理系統(tǒng)通常由以下幾個(gè)部分組成：知識(shí)庫（knowledge?base）、推理引擎（inference?engine）、用戶界面（user?interface）、解釋機(jī)制（explanationfacility）。其中，知識(shí)庫包括存儲(chǔ)系統(tǒng)所知道的所有事實(shí)和規(guī)則，這些事實(shí)可以是關(guān)于世界的狀態(tài)、對(duì)象屬性等，而規(guī)則則是描述如何從已知事實(shí)中得出新結(jié)論的邏輯表達(dá)式。推理引擎是推理系統(tǒng)的核心組件，它負(fù)責(zé)執(zhí)行推理過程中的邏輯運(yùn)算，即從給定的知識(shí)庫中得出新的結(jié)論或決策；推理引擎使用一系列規(guī)則和已知事實(shí)來推導(dǎo)出新的知識(shí)，從而幫助系統(tǒng)解決問題或做出決定。用戶界面允許用戶與系統(tǒng)交互，輸入查詢或觀察推理過程的結(jié)果。解釋機(jī)制用來解釋系統(tǒng)是如何得出特定結(jié)論的，這對(duì)于透明度和信任度非常重要。

3、在需要處理大規(guī)模數(shù)據(jù)、高并發(fā)請(qǐng)求或需要高性能計(jì)算的情況下，推理引擎通常會(huì)被部署在計(jì)算集群上。通過在計(jì)算集群上部署推理引擎，可以實(shí)現(xiàn)更高的計(jì)算能力、更好的容錯(cuò)性和更靈活的資源管理。然而，這就引入了如何在集群級(jí)別的推理引擎上對(duì)推理請(qǐng)求進(jìn)行調(diào)度的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)一個(gè)或多個(gè)實(shí)施例提供技術(shù)方案如下：

2、本申請(qǐng)?zhí)峁┮环N推理系統(tǒng)的負(fù)載感知調(diào)度方法，應(yīng)用于推理系統(tǒng)中的全局調(diào)度器；所述推理系統(tǒng)還包括推理引擎；所述推理引擎包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例；所述計(jì)算實(shí)例的計(jì)算資源包括所在的計(jì)算節(jié)點(diǎn)上搭載的gpu；所述全局調(diào)度器維護(hù)了動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息；

3、所述方法包括：

4、獲取待執(zhí)行的目標(biāo)推理請(qǐng)求；

5、基于所維護(hù)的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息，確定gpu負(fù)載滿足預(yù)設(shè)條件的目標(biāo)計(jì)算實(shí)例；

6、將所述目標(biāo)推理請(qǐng)求發(fā)送至所述目標(biāo)計(jì)算實(shí)例，以由所述目標(biāo)計(jì)算實(shí)例執(zhí)行所述目標(biāo)推理請(qǐng)求。

7、本申請(qǐng)還提供一種推理系統(tǒng)，所述推理系統(tǒng)包括全局調(diào)度器和推理引擎；所述推理引擎包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例；所述計(jì)算實(shí)例的計(jì)算資源包括所在的計(jì)算節(jié)點(diǎn)上搭載的gpu；所述全局調(diào)度器維護(hù)了動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息；

8、所述全局調(diào)度器用于：

9、獲取待執(zhí)行的目標(biāo)推理請(qǐng)求；

10、基于所維護(hù)的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息，確定gpu負(fù)載滿足預(yù)設(shè)條件的目標(biāo)計(jì)算實(shí)例；

11、將所述目標(biāo)推理請(qǐng)求發(fā)送至所述目標(biāo)計(jì)算實(shí)例，以由所述目標(biāo)計(jì)算實(shí)例執(zhí)行所述目標(biāo)推理請(qǐng)求。

12、本申請(qǐng)還提供一種電子設(shè)備，包括：

13、處理器；

14、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

15、其中，所述處理器通過運(yùn)行所述可執(zhí)行指令以實(shí)現(xiàn)如上述任一項(xiàng)所述方法的步驟。

16、本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述方法的步驟。

17、在上述技術(shù)方案中，推理系統(tǒng)中的推理引擎可以包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例，各個(gè)計(jì)算實(shí)例的計(jì)算資源可以包括所在節(jié)點(diǎn)上搭載的gpu，該推理系統(tǒng)中的全局調(diào)度器可以維護(hù)動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息，并且可以在獲取到待執(zhí)行的目標(biāo)推理請(qǐng)求的情況下，先基于所維護(hù)的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息，確定gpu負(fù)載滿足預(yù)設(shè)條件的目標(biāo)計(jì)算實(shí)例，再將目標(biāo)推理請(qǐng)求發(fā)送至目標(biāo)計(jì)算實(shí)例，以由目標(biāo)計(jì)算實(shí)例執(zhí)行目標(biāo)推理請(qǐng)求，實(shí)現(xiàn)針對(duì)目標(biāo)推理請(qǐng)求的調(diào)度。

18、采用上述方式，通過在推理系統(tǒng)中增加全局調(diào)度器，使得可以由全局調(diào)度器將推理請(qǐng)求調(diào)度至推理引擎中g(shù)pu負(fù)載合適的計(jì)算實(shí)例進(jìn)行執(zhí)行，實(shí)現(xiàn)了在集群級(jí)別的推理引擎上對(duì)推理請(qǐng)求進(jìn)行負(fù)載感知調(diào)度，從而可以優(yōu)化gpu資源使用效率，減少推理請(qǐng)求執(zhí)行的等待時(shí)間和處理延遲，并提高推理系統(tǒng)的整體吞吐量。此外，通過全局調(diào)度器將推理請(qǐng)求調(diào)度至推理引擎，而不是直接在推理引擎內(nèi)進(jìn)行推理請(qǐng)求的調(diào)度，使得調(diào)度方式可以與具體的推理引擎解耦，具備一定的通用性和可擴(kuò)展性。

技術(shù)特征：

1.一種推理系統(tǒng)的負(fù)載感知調(diào)度方法，應(yīng)用于推理系統(tǒng)中的全局調(diào)度器；所述推理系統(tǒng)還包括推理引擎；所述推理引擎包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例；所述計(jì)算實(shí)例的計(jì)算資源包括所在的計(jì)算節(jié)點(diǎn)上搭載的gpu；所述全局調(diào)度器維護(hù)了動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息；

2.根據(jù)權(quán)利要求1所述的方法，所述預(yù)設(shè)條件為計(jì)算實(shí)例中的gpu負(fù)載最小。

3.根據(jù)權(quán)利要求1所述的方法，所述推理引擎還包括部署在所述計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的本地調(diào)度器；

4.根據(jù)權(quán)利要求3所述的方法，所述方法還包括：

5.根據(jù)權(quán)利要求3所述的方法，所述gpu負(fù)載信息包括實(shí)例資源利用率；其中，所述實(shí)例資源利用率為本地調(diào)度器基于計(jì)算實(shí)例的gpu內(nèi)存利用率和gpu內(nèi)存帶寬利用率計(jì)算出的用于指示gpu負(fù)載的指標(biāo)；

6.根據(jù)權(quán)利要求5所述的方法，所述gpu負(fù)載信息還包括gpu內(nèi)存利用率；

7.根據(jù)權(quán)利要求5所述的方法，通過以下公式，基于計(jì)算實(shí)例的gpu內(nèi)存利用率和gpu內(nèi)存帶寬利用率計(jì)算實(shí)例資源利用率：

8.根據(jù)權(quán)利要求7所述的方法，計(jì)算實(shí)例的實(shí)例資源利用率在所述計(jì)算實(shí)例處于終止過程中的情況下被設(shè)置為無窮大。

9.一種推理系統(tǒng)，所述推理系統(tǒng)包括全局調(diào)度器和推理引擎；所述推理引擎包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例；所述計(jì)算實(shí)例的計(jì)算資源包括所在的計(jì)算節(jié)點(diǎn)上搭載的gpu；所述全局調(diào)度器維護(hù)了動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的gpu負(fù)載信息；

10.一種電子設(shè)備，包括：

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)一個(gè)或多個(gè)實(shí)施例提供一種推理系統(tǒng)的負(fù)載感知調(diào)度方法和推理系統(tǒng)，所述方法應(yīng)用于推理系統(tǒng)中的全局調(diào)度器；所述推理系統(tǒng)還包括推理引擎；所述推理引擎包括部署在計(jì)算集群中的各個(gè)計(jì)算節(jié)點(diǎn)上的至少一個(gè)計(jì)算實(shí)例；所述計(jì)算實(shí)例的計(jì)算資源包括所在的計(jì)算節(jié)點(diǎn)上搭載的GPU；所述全局調(diào)度器維護(hù)了動(dòng)態(tài)更新的各個(gè)計(jì)算實(shí)例的GPU負(fù)載信息；所述方法包括：獲取待執(zhí)行的目標(biāo)推理請(qǐng)求；基于所維護(hù)的各個(gè)計(jì)算實(shí)例的GPU負(fù)載信息，確定GPU負(fù)載滿足預(yù)設(shè)條件的目標(biāo)計(jì)算實(shí)例；將所述目標(biāo)推理請(qǐng)求發(fā)送至所述目標(biāo)計(jì)算實(shí)例，以由所述目標(biāo)計(jì)算實(shí)例執(zhí)行所述目標(biāo)推理請(qǐng)求。

技術(shù)研發(fā)人員：丁治強(qiáng),楊統(tǒng)凱,杜軍
受保護(hù)的技術(shù)使用者：支付寶（杭州）信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19