本申請涉及人工智能，尤其涉及模型優(yōu)化方法、裝置、設備、存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、隨著任務需求的多樣化，人工智能模型結(jié)構(gòu)變得更加復雜，涉及多種組件協(xié)同工作以形成復雜的流水結(jié)構(gòu)，這些不同的組件對應了不同類別的模型結(jié)構(gòu)。

2、現(xiàn)有的人工智能模型框架，如pytorch、tensorflow和onnx?runtime，通過不同的文件格式描述模型結(jié)構(gòu)及其運行邏輯，在一個模型內(nèi)包括多種框架類型時，多框架的模型雖然在模型表示和執(zhí)行方面具有優(yōu)勢，但在模型的推理加速優(yōu)化上，在進行模型優(yōu)化時需要手動為各組件適配不同的優(yōu)化引擎，優(yōu)化效率低且缺乏靈活性。

3、綜上，如何提高模型優(yōu)化的效率和靈活性，儼然已成為本領(lǐng)域亟需解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本申請的主要目的在于提供一種模型優(yōu)化方法、裝置、設備、存儲介質(zhì)及程序產(chǎn)品，旨在提高模型優(yōu)化的效率和靈活性。

2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N模型優(yōu)化方法，方法包括：

3、識別待優(yōu)化的目標模型中各組件的框架類型和結(jié)構(gòu)類型；

4、按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略，其中，所述優(yōu)化策略在所述優(yōu)化策略映射表中與組件的框架類型和結(jié)構(gòu)類型映射存儲；

5、按照所述優(yōu)化策略分別對各所述組件進行優(yōu)化，以完成對所述目標模型的推理加速優(yōu)化。

6、在一實施例中，所述識別待優(yōu)化的目標模型中各組件的框架類型和結(jié)構(gòu)類型的步驟，包括：

7、針對待優(yōu)化的目標模型各組件中的目標組件，通過預設的組件框架分類識別器對所述目標組件進行框架識別，以確定所述目標組件的框架類型；

8、通過預設的模型結(jié)構(gòu)分類識別器對所述目標組件進行結(jié)構(gòu)識別，以確定所述目標組件的結(jié)構(gòu)類型。

9、在一實施例中，所述通過預設的模型結(jié)構(gòu)分類識別器對所述目標組件進行結(jié)構(gòu)識別，以確定所述目標組件的結(jié)構(gòu)類型的步驟之前，還包括：

10、在所述目標組件的框架類型為多種時，將所述目標組件按照不同的框架類型進行結(jié)構(gòu)拆分，得到各部分目標組件；

11、所述通過預設的模型結(jié)構(gòu)分類識別器對所述目標組件進行結(jié)構(gòu)識別，以確定所述目標組件的結(jié)構(gòu)類型的步驟，包括：

12、通過預設的模型結(jié)構(gòu)分類識別器對各所述部分目標組件分別進行結(jié)構(gòu)識別，以確定各所述部分目標組件各自的結(jié)構(gòu)類型。

13、在一實施例中，所述按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略的步驟之前，還包括：

14、基于預設的用戶描述組件優(yōu)化規(guī)則接口，接收輸入的優(yōu)化規(guī)則，其中，所述優(yōu)化規(guī)則包括框架類型和結(jié)構(gòu)類型與優(yōu)化策略的對應關(guān)系；

15、根據(jù)所述優(yōu)化規(guī)則創(chuàng)建優(yōu)化策略映射表。

16、在一實施例中，所述按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略的步驟，包括：

17、針對待優(yōu)化的目標模型各組件中的目標組件，根據(jù)所述目標組件的框架類型和結(jié)構(gòu)類型，按照預設的優(yōu)化策略映射表，確定所述目標組件匹配的優(yōu)化策略；

18、在匹配的優(yōu)化策略為多個時，根據(jù)接收的優(yōu)化請求條件和優(yōu)化策略的運行時間，從匹配的多個優(yōu)化策略中選擇目標優(yōu)化策略；

19、為所述目標組件調(diào)用所述目標優(yōu)化策略。

20、在一實施例中，所述按照所述優(yōu)化策略分別對各所述組件進行優(yōu)化，以完成對所述目標模型的推理加速優(yōu)化的步驟之后，還包括：

21、記錄對所述目標模型的推理加速優(yōu)化的整體優(yōu)化策略；

22、在接收到對所述目標模型的優(yōu)化請求后，按照所述整體優(yōu)化策略對所述目標模型進行優(yōu)化。

23、此外，為實現(xiàn)上述目的，本申請還提出一種模型優(yōu)化裝置，模型優(yōu)化裝置包括：

24、識別模塊，用于識別待優(yōu)化的目標模型中各組件的框架類型和結(jié)構(gòu)類型；

25、優(yōu)化策略匹配模塊，用于按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略，其中，所述優(yōu)化策略在所述優(yōu)化策略映射表中與組件的框架類型和結(jié)構(gòu)類型映射存儲；

26、優(yōu)化模塊，用于按照所述優(yōu)化策略分別對各所述組件進行優(yōu)化，以完成對所述目標模型的推理加速優(yōu)化。

27、此外，為實現(xiàn)上述目的，本申請還提出一種電子設備，電子設備包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，計算機程序配置為實現(xiàn)如上文的模型優(yōu)化方法的步驟。

28、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，存儲介質(zhì)為計算機可讀存儲介質(zhì)，存儲介質(zhì)上存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)如上文的模型優(yōu)化方法的步驟。

29、此外，為實現(xiàn)上述目的，本申請還提供一種計算機程序產(chǎn)品，計算機程序產(chǎn)品包括計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)如上文的模型優(yōu)化方法的步驟。

30、本申請?zhí)岢隽艘环N模型優(yōu)化方法，本申請中首先識別待優(yōu)化的目標模型中的各個組件，并確定它們的框架類型和結(jié)構(gòu)類型，然后，利用預設的優(yōu)化策略映射表，該表將不同的框架類型和結(jié)構(gòu)類型與特定的優(yōu)化策略相關(guān)聯(lián)；根據(jù)優(yōu)化策略映射表，自動為目標模型的每個組件應用相應的優(yōu)化策略，無需人工干預，從而實現(xiàn)對目標模型中所有組件的優(yōu)化，完成對目標模型的推理加速優(yōu)化，提高模型在實際應用中的執(zhí)行效率。

31、相較于傳統(tǒng)的模型優(yōu)化方法中要求開發(fā)者手動為多框架模型中的每個組件選擇并適配不同的優(yōu)化策略，這不僅要求開發(fā)者具備深厚的專業(yè)知識與豐富的經(jīng)驗，還極大增加了模型優(yōu)化工作的復雜性和時間成本。此外，手動優(yōu)化往往難以做到全局最優(yōu)，導致優(yōu)化效果不理想。

32、本申請中通過自動識別組件框架與結(jié)構(gòu)類型，并依據(jù)預設的優(yōu)化策略映射表自動匹配并執(zhí)行優(yōu)化策略，實現(xiàn)了從識別到優(yōu)化的全自動化流程，提高了優(yōu)化效率，還確保了優(yōu)化策略的精準性與針對性，從而有效解決了多框架模型在推理加速優(yōu)化上所面臨的優(yōu)化效率低與靈活性不足的問題，使得多框架模型能夠更高效地執(zhí)行推理任務。

技術(shù)特征：

1.一種模型優(yōu)化方法，其特征在于，所述模型優(yōu)化方法包括：

2.如權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，所述識別待優(yōu)化的目標模型中各組件的框架類型和結(jié)構(gòu)類型的步驟，包括：

3.如權(quán)利要求2所述的模型優(yōu)化方法，其特征在于，所述通過預設的模型結(jié)構(gòu)分類識別器對所述目標組件進行結(jié)構(gòu)識別，以確定所述目標組件的結(jié)構(gòu)類型的步驟之前，還包括：

4.如權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，所述按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略的步驟之前，還包括：

5.如權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，所述按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略的步驟，包括：

6.如權(quán)利要求1至5中任一項所述的模型優(yōu)化方法，其特征在于，所述按照所述優(yōu)化策略分別對各所述組件進行優(yōu)化，以完成對所述目標模型的推理加速優(yōu)化的步驟之后，還包括：

7.一種模型優(yōu)化裝置，其特征在于，所述模型優(yōu)化裝置包括：

8.一種電子設備，其特征在于，所述電子設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如權(quán)利要求1至6中任一項所述的模型優(yōu)化方法的步驟。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的模型優(yōu)化方法的步驟。

10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的模型優(yōu)化方法的步驟。

技術(shù)總結(jié)
本申請公開了一種模型優(yōu)化方法、裝置、設備、存儲介質(zhì)及程序產(chǎn)品，涉及人工智能技術(shù)領(lǐng)域，公開的模型優(yōu)化方法包括：識別待優(yōu)化的目標模型中各組件的框架類型和結(jié)構(gòu)類型；按照預設的優(yōu)化策略映射表，為各所述組件分別調(diào)用匹配的優(yōu)化策略，其中，所述優(yōu)化策略在所述優(yōu)化策略映射表中與組件的框架類型和結(jié)構(gòu)類型映射存儲；按照所述優(yōu)化策略分別對各所述組件進行優(yōu)化，以完成對所述目標模型的推理加速優(yōu)化。本申請能夠?qū)崿F(xiàn)提高模型優(yōu)化的效率和靈活性的效果。

技術(shù)研發(fā)人員：師天麾,吳成彰,湯雄超
受保護的技術(shù)使用者：北京清程極智科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19