本發(fā)明涉及計(jì)算機(jī)，具體涉及性能參數(shù)調(diào)優(yōu)順序確定方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、近年來(lái)，深度學(xué)習(xí)研究成果已在諸多領(lǐng)域得到廣泛應(yīng)用，然而，隨著模型規(guī)模的不斷擴(kuò)大和復(fù)雜度的提升，對(duì)算法性能和效率的要求也越來(lái)越高。精確評(píng)估并優(yōu)化深度學(xué)習(xí)模型的推理能力至關(guān)重要。然而，具體哪些參數(shù)對(duì)性能有顯著影響，以及如何科學(xué)地確定這些關(guān)鍵參數(shù)，是一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種性能參數(shù)調(diào)優(yōu)順序確定方法、裝置、設(shè)備及介質(zhì)，以解決相關(guān)技術(shù)中無(wú)法確定哪些參數(shù)對(duì)模型性能調(diào)優(yōu)有顯著影響的問(wèn)題。

2、第一方面，本發(fā)明提供了一種性能參數(shù)調(diào)優(yōu)順序確定方法，該方法包括：

3、對(duì)深度學(xué)習(xí)模型性能參數(shù)進(jìn)行采樣，獲取多個(gè)采樣點(diǎn)數(shù)據(jù)，每一個(gè)采樣點(diǎn)數(shù)據(jù)均由一組深度學(xué)習(xí)模型的性能參數(shù)及每一個(gè)性能參數(shù)對(duì)應(yīng)的參數(shù)值構(gòu)成；

4、基于采樣點(diǎn)數(shù)據(jù)，生成配置文件，配置文件用于將采樣點(diǎn)數(shù)據(jù)順次在測(cè)試環(huán)境中運(yùn)行；

5、當(dāng)每次在測(cè)試環(huán)境中運(yùn)行結(jié)束后，獲取測(cè)試結(jié)果，其中，測(cè)試結(jié)果包括與深度學(xué)習(xí)模型的性能指標(biāo)；

6、基于性能參數(shù)生成的性能指標(biāo)，生成與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，其中，一階敏感指數(shù)用于評(píng)估單個(gè)性能參數(shù)對(duì)模型推理性能的影響度；

7、以及，基于性能參數(shù)生成的性能指標(biāo)，生成與所有性能參數(shù)對(duì)應(yīng)的總敏感指數(shù)，其中，總敏感指數(shù)用以指示所有參數(shù)對(duì)模型推理性能的綜合影響度；

8、基于與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，以及總敏感指數(shù)，確定性能參數(shù)的調(diào)優(yōu)順序。

9、本發(fā)明提供的一種性能參數(shù)調(diào)優(yōu)順序確定方法，具有如下優(yōu)點(diǎn)：

10、通過(guò)對(duì)多個(gè)采樣點(diǎn)數(shù)據(jù)的獲取和測(cè)試，可以更全面地了解模型在不同參數(shù)配置下的性能表現(xiàn)，從而提供更精確的性能評(píng)估?；谛阅軈?shù)生成的性能指標(biāo)生成與每個(gè)參數(shù)對(duì)應(yīng)的一階敏感指數(shù)以及總敏感指數(shù)，對(duì)于需要在不同模型或參數(shù)配置之間進(jìn)行選擇的情況，一階敏感指數(shù)和總敏感指數(shù)可以提供決策支持，幫助做出更明智的選擇。通過(guò)科學(xué)系統(tǒng)的敏感性分析，準(zhǔn)確識(shí)別和確定對(duì)深度學(xué)習(xí)模型推理性能有顯著影響的關(guān)鍵參數(shù)。進(jìn)而確定性能參數(shù)的調(diào)優(yōu)順序，即優(yōu)先調(diào)整對(duì)性能影響較大的參數(shù)，使調(diào)優(yōu)過(guò)程更加高效。而且按照調(diào)優(yōu)順序進(jìn)行參數(shù)調(diào)整，可以避免盲目嘗試不同的參數(shù)組合，從而節(jié)省調(diào)優(yōu)時(shí)間和計(jì)算資源。而且，通過(guò)對(duì)不同采樣點(diǎn)數(shù)據(jù)的測(cè)試和分析，可以確定在不同應(yīng)用場(chǎng)景下最優(yōu)的參數(shù)配置，提高模型的泛化能力和通用性。

11、在一種可選的實(shí)施方式中，方法還包括：基于采樣點(diǎn)數(shù)據(jù)生成參數(shù)矩陣，其中，采樣點(diǎn)數(shù)據(jù)中深度學(xué)習(xí)模型的性能參數(shù)構(gòu)成參數(shù)矩陣中的列元素，性能參數(shù)的參數(shù)值構(gòu)成參數(shù)矩陣中的列元素，性能參數(shù)包括批處理大小、復(fù)制流數(shù)目、推理流數(shù)量、是否在復(fù)制流上運(yùn)行推理對(duì)應(yīng)的第一標(biāo)識(shí)信息，以及是否使用圖優(yōu)化對(duì)應(yīng)的第二標(biāo)識(shí)信息中的多種；

12、基于性能指標(biāo)，生成性能指標(biāo)向量，其中，性能指標(biāo)包括；模型推理速度、延遲、資源利用率中的一種或多種。

13、具體的，為了保證數(shù)據(jù)的準(zhǔn)確性和合理性，可以基于采樣點(diǎn)數(shù)據(jù)生成參數(shù)矩陣，以及基于性能指標(biāo)，生成性能指標(biāo)向量。后續(xù)，也可以從參數(shù)矩陣中提取相應(yīng)的參數(shù)，以及從性能指標(biāo)向量中獲取相應(yīng)的性能指標(biāo)值。

14、在一種可選的實(shí)施方式中，基于性能參數(shù)生成的性能指標(biāo)，生成與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，具體包括：

15、獲取當(dāng)多個(gè)采樣點(diǎn)中除目標(biāo)性能參數(shù)的參數(shù)值不同，其他參數(shù)的參數(shù)值相同的情況下，生成的與目標(biāo)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，其中，目標(biāo)性能參數(shù)為采樣點(diǎn)數(shù)據(jù)中的任意性能參數(shù)；

16、提取當(dāng)目標(biāo)性能參數(shù)為第一參數(shù)時(shí)，與第一參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，以及提取當(dāng)目標(biāo)性能參數(shù)為第二參數(shù)時(shí)，與第二參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，其中，第一參數(shù)為待計(jì)算與一階敏感指數(shù)的性能參數(shù)，第二參數(shù)為采樣點(diǎn)數(shù)據(jù)中除第一參數(shù)以外的任一參數(shù)，每一組性能指標(biāo)的指標(biāo)值包括多個(gè)性能指標(biāo)分別對(duì)應(yīng)的指標(biāo)值；

17、基于與第一參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，確定與第一參數(shù)對(duì)應(yīng)的第一方差值；

18、基于與第二參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，確定與第二參數(shù)對(duì)應(yīng)的第二方差值；

19、基于第一方差值和第二方差值，確定第二參數(shù)對(duì)第一參數(shù)的影響輸出方差；

20、當(dāng)確定采樣點(diǎn)數(shù)據(jù)中除第一參數(shù)以外的性能參數(shù)分別對(duì)第一參數(shù)的影響輸出方差后，根據(jù)第一方差值和采樣點(diǎn)數(shù)據(jù)中除第一參數(shù)以外的性能參數(shù)分別對(duì)第一參數(shù)的影響輸出方差，確定第一參數(shù)對(duì)應(yīng)的一階敏感指數(shù)。

21、具體的，獲取當(dāng)多個(gè)采樣點(diǎn)中除目標(biāo)性能參數(shù)的參數(shù)值不同，其他參數(shù)的參數(shù)值相同的情況下，生成的與目標(biāo)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值。然后，提取當(dāng)目標(biāo)性能參數(shù)為第一參數(shù)時(shí)，與第一參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，以及提取當(dāng)目標(biāo)性能參數(shù)為第二參數(shù)時(shí)，與第二參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值。其中，每一組性能指標(biāo)的指標(biāo)值包括多個(gè)性能指標(biāo)分別對(duì)應(yīng)的指標(biāo)值?；诘谝粎?shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，確定第一方差值；以及基于與第二參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，確定第二方差值；最終給予第一方差和第二方差確定第二參數(shù)對(duì)第一參數(shù)的影響輸出方差。最終基于所有的影響輸出方差，第一參數(shù)對(duì)應(yīng)的一階敏感指數(shù)。通過(guò)上述詳細(xì)的計(jì)算過(guò)程，能夠更精確地確定每個(gè)性能參數(shù)對(duì)第一參數(shù)的影響程度，從而提供更準(zhǔn)確的一階敏感指數(shù)。該方法全面評(píng)估了性能參數(shù)之間的交互作用。

22、在一種可選的實(shí)施方式中，基于性能參數(shù)生成的性能指標(biāo)，生成與所有性能參數(shù)對(duì)應(yīng)的總敏感指數(shù)，具體包括：

23、獲取當(dāng)多個(gè)采樣點(diǎn)中除目標(biāo)性能參數(shù)的參數(shù)值不同，其他參數(shù)的參數(shù)值相同的情況下，生成的與目標(biāo)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值，其中，目標(biāo)性能參數(shù)為采樣點(diǎn)數(shù)據(jù)中的任意性能參數(shù)；

24、基于所有采樣點(diǎn)數(shù)據(jù)中包括的與每一個(gè)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值確定綜合方差值；

25、基于每個(gè)采樣點(diǎn)數(shù)據(jù)中包括的除任意性能參數(shù)之外的其他性能參數(shù)對(duì)應(yīng)的多種性能指標(biāo)的指標(biāo)值確定輸出方差值；

26、當(dāng)基于采樣點(diǎn)數(shù)據(jù)中除去每一個(gè)性能參數(shù)分別獲取采樣點(diǎn)數(shù)據(jù)中其他性能參數(shù)對(duì)應(yīng)的多種性能指標(biāo)的指標(biāo)值分別確定的輸出方差值后，根據(jù)綜合方差值和采樣點(diǎn)數(shù)據(jù)中除去每一個(gè)性能參數(shù)分別獲取采樣點(diǎn)數(shù)據(jù)中其他性能參數(shù)對(duì)應(yīng)的多種性能指標(biāo)的指標(biāo)值分別確定的輸出方差值，確定總敏感指數(shù)。

27、具體的，獲取當(dāng)多個(gè)采樣點(diǎn)中除目標(biāo)性能參數(shù)的參數(shù)值不同，其他參數(shù)的參數(shù)值相同的情況下，生成的與目標(biāo)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值。然后，基于所有采樣點(diǎn)數(shù)據(jù)中包括的與每一個(gè)性能參數(shù)對(duì)應(yīng)的多組性能指標(biāo)的指標(biāo)值確定綜合方差值。并在所有采樣點(diǎn)數(shù)據(jù)分別包括的性能參數(shù)中，排除任意參數(shù)后，計(jì)算其他參數(shù)的參數(shù)值對(duì)應(yīng)的輸出方差值，來(lái)體現(xiàn)排除某個(gè)參數(shù)后其他參數(shù)變化引出的輸出方差。并基于這兩個(gè)步驟得到的結(jié)果計(jì)算總敏感指數(shù)。該方式可以綜合考慮所有參數(shù)對(duì)性能指標(biāo)的影響，提供更全面的評(píng)估。而且，該方式還助于發(fā)現(xiàn)參數(shù)之間的潛在關(guān)系和相互作用，為模型的優(yōu)化提供更深入的洞察。確定總敏感指數(shù)可以指導(dǎo)參數(shù)的調(diào)整和優(yōu)化，以最大程度地提高模型的性能。綜合考慮所有參數(shù)的影響，減少了單獨(dú)分析每個(gè)參數(shù)的工作量，提高了決策的效率。了解總敏感指數(shù)有助于更好地解釋模型的行為和性能，增加模型的可理解性。發(fā)現(xiàn)參數(shù)之間的關(guān)系可以為模型的改進(jìn)提供方向，啟發(fā)新的優(yōu)化策略和方法適用于處理多個(gè)參數(shù)和性能指標(biāo)的復(fù)雜情況，能夠應(yīng)對(duì)實(shí)際應(yīng)用中的多樣化需求。通過(guò)優(yōu)化參數(shù)，有助于提高模型的穩(wěn)定性和可靠性，減少性能波動(dòng)?？梢詰?yīng)用于各種深度學(xué)習(xí)模型和任務(wù)，具有廣泛的適用性和實(shí)用價(jià)值。

28、在一種可選的實(shí)施方式中，基于性能參數(shù)生成的性能指標(biāo)，生成與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，具體通過(guò)如下公式表示：

29、

30、其中，v(y)為方差值，n為采樣點(diǎn)數(shù)據(jù)的數(shù)量，yi為多組性能指標(biāo)中任意性能指標(biāo)對(duì)應(yīng)的第i個(gè)指標(biāo)值，為多組性能指標(biāo)中所有性能指標(biāo)的指標(biāo)值計(jì)算得到的平均值；

31、vj＝v(y)第一參數(shù)?-?v(y)第二參數(shù)????????????(公式2)

32、其中，vj為第二參數(shù)對(duì)第一參數(shù)的影響輸出方差，v(y)第一參數(shù)為通過(guò)公式1計(jì)算得到第一方差值，v(y)第二參數(shù)為通過(guò)公式1計(jì)算得到的第二方差值；

33、

34、其中，h為采樣點(diǎn)數(shù)據(jù)中深度學(xué)習(xí)模型的性能參數(shù)的個(gè)數(shù)總量，為采樣點(diǎn)數(shù)據(jù)中除第一參數(shù)以外的性能參數(shù)分別對(duì)第一參數(shù)的影響輸出方差之和，s1i為第一參數(shù)對(duì)應(yīng)的一階敏感指數(shù)。

35、在一種可選的實(shí)施方式中，基于性能參數(shù)生成的性能指標(biāo)，生成與所有性能參數(shù)對(duì)應(yīng)的總敏感指數(shù)，具體通過(guò)如下公式表示：

36、

37、其中，vd(y)為綜合方差值，d為多組性能指標(biāo)對(duì)應(yīng)的指標(biāo)值的總數(shù)量，yq為d個(gè)數(shù)據(jù)中的第q個(gè)數(shù)據(jù)，為d個(gè)數(shù)據(jù)分別對(duì)應(yīng)的值計(jì)算得到的平均值；

38、

39、其中，vp(y)為每個(gè)采樣點(diǎn)數(shù)據(jù)中包括的除第三參數(shù)之外的其他性能參數(shù)的參數(shù)值確定的輸出方差值，k＝d-d/n，n為采樣點(diǎn)的數(shù)量，ypi為除第三參數(shù)之外的n-1個(gè)性能參數(shù)中第p個(gè)性能參數(shù)對(duì)應(yīng)的第i性能指標(biāo)值，為基于第p個(gè)性能參數(shù)對(duì)應(yīng)的第i個(gè)性能指標(biāo)的n個(gè)指標(biāo)值計(jì)算得到的平均值，其中，第三參數(shù)為采樣點(diǎn)數(shù)據(jù)中包括的性能參數(shù)中任一個(gè)性能參數(shù)；

40、

41、其中，為采樣點(diǎn)數(shù)據(jù)中其他性能參數(shù)對(duì)應(yīng)的多種性能指標(biāo)的指標(biāo)值分別確定的輸出方差值之和，sti與所有性能參數(shù)對(duì)應(yīng)的總敏感指數(shù)。

42、在一個(gè)可選的例子中，測(cè)試結(jié)果中還包括測(cè)試日志，方法還包括：

43、根據(jù)測(cè)試日志，確定性能指標(biāo)中是否存在異常數(shù)據(jù)，其中，異常數(shù)據(jù)包括性能指標(biāo)的指標(biāo)值不在與之對(duì)應(yīng)的指標(biāo)值范圍內(nèi)的數(shù)據(jù)；

44、當(dāng)確定存在異常數(shù)據(jù)時(shí)，重新根據(jù)與異常數(shù)據(jù)對(duì)應(yīng)的采樣點(diǎn)數(shù)據(jù)進(jìn)行測(cè)試。

45、第二方面，本發(fā)明提供了一種性能參數(shù)調(diào)優(yōu)順序確定裝置，該裝置包括：

46、采樣模塊，用于對(duì)深度學(xué)習(xí)模型性能參數(shù)進(jìn)行采樣，獲取多個(gè)采樣點(diǎn)數(shù)據(jù)，每一個(gè)采樣點(diǎn)數(shù)據(jù)均由一組深度學(xué)習(xí)模型的性能參數(shù)及每一個(gè)性能參數(shù)對(duì)應(yīng)的參數(shù)值構(gòu)成；

47、生成模塊，用于基于采樣點(diǎn)數(shù)據(jù)，生成配置文件，配置文件用于將采樣點(diǎn)數(shù)據(jù)順次在測(cè)試環(huán)境中運(yùn)行；

48、運(yùn)行模塊，用于當(dāng)每次在測(cè)試環(huán)境中運(yùn)行結(jié)束后，獲取測(cè)試結(jié)果，其中，測(cè)試結(jié)果包括與深度學(xué)習(xí)模型的性能指標(biāo)；

49、處理模塊，用于基于性能參數(shù)生成的性能指標(biāo)，生成與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，其中，一階敏感指數(shù)用于評(píng)估單個(gè)性能參數(shù)對(duì)模型推理性能的影響度；

50、以及，基于性能參數(shù)生成的性能指標(biāo)，生成與所有性能參數(shù)對(duì)應(yīng)的總敏感指數(shù)，其中，總敏感指數(shù)用以指示所有參數(shù)對(duì)模型推理性能的綜合影響度；

51、確定模塊，用于基于與每一個(gè)性能參數(shù)分別對(duì)應(yīng)的一階敏感指數(shù)，以及總敏感指數(shù)，確定性能參數(shù)的調(diào)優(yōu)順序。

52、本發(fā)明提供的一種性能參數(shù)調(diào)優(yōu)順序確定裝置，具有如下優(yōu)點(diǎn)：

53、通過(guò)對(duì)多個(gè)采樣點(diǎn)數(shù)據(jù)的獲取和測(cè)試，可以更全面地了解模型在不同參數(shù)配置下的性能表現(xiàn)，從而提供更精確的性能評(píng)估?；谛阅軈?shù)生成的性能指標(biāo)生成與每個(gè)參數(shù)對(duì)應(yīng)的一階敏感指數(shù)以及總敏感指數(shù)，對(duì)于需要在不同模型或參數(shù)配置之間進(jìn)行選擇的情況，一階敏感指數(shù)和總敏感指數(shù)可以提供決策支持，幫助做出更明智的選擇。通過(guò)科學(xué)系統(tǒng)的敏感性分析，準(zhǔn)確識(shí)別和確定對(duì)深度學(xué)習(xí)模型推理性能有顯著影響的關(guān)鍵參數(shù)。進(jìn)而確定性能參數(shù)的調(diào)優(yōu)順序，即優(yōu)先調(diào)整對(duì)性能影響較大的參數(shù)，使調(diào)優(yōu)過(guò)程更加高效。而且按照調(diào)優(yōu)順序進(jìn)行參數(shù)調(diào)整，可以避免盲目嘗試不同的參數(shù)組合，從而節(jié)省調(diào)優(yōu)時(shí)間和計(jì)算資源。而且，通過(guò)對(duì)不同采樣點(diǎn)數(shù)據(jù)的測(cè)試和分析，可以確定在不同應(yīng)用場(chǎng)景下最優(yōu)的參數(shù)配置，提高模型的泛化能力和通用性。

54、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過(guò)執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的性能參數(shù)調(diào)優(yōu)順序確定方法。

55、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的性能參數(shù)調(diào)優(yōu)順序確定方法。

56、第五方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的性能參數(shù)調(diào)優(yōu)順序確定方法。