本申請涉及深度學(xué)習(xí)，特別是涉及一種硬件系統(tǒng)模型生成方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)的發(fā)展，當(dāng)前深度學(xué)習(xí)中常常會使用的激活函數(shù)進行硬件模型構(gòu)建，而在具體硬件實現(xiàn)的過程中通常會采用復(fù)雜且低效的算子（例如指數(shù)計算，冪運算等），會導(dǎo)致深度學(xué)習(xí)模型在端側(cè)推理上存在較大的性能瓶頸。面對復(fù)雜度高的激活函數(shù)的硬件實現(xiàn)，目前亟需一種能夠優(yōu)化激活函數(shù)的硬件實現(xiàn)過程，減小函數(shù)計算復(fù)雜度和硬件實現(xiàn)的成本和效率，同時還能極大程度的保證硬件模型推理精度的硬件系統(tǒng)模型生成方法。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠優(yōu)化激活函數(shù)的硬件實現(xiàn)過程，減小函數(shù)計算復(fù)雜度和硬件實現(xiàn)的成本和效率，同時還能極大程度的保證硬件模型推理精度的硬件系統(tǒng)模型生成方法、裝置、計算機設(shè)備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。

2、第一方面，本申請?zhí)峁┝艘环N硬件系統(tǒng)模型生成方法，包括：

3、基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；

4、對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；

5、基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；

6、基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，所述目標(biāo)硬件系統(tǒng)模型用于操控所述視覺變形器。

7、在其中一個實施例中，所述對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，包括：

8、獲取超參數(shù)據(jù)；

9、根據(jù)所述超參數(shù)據(jù)對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化設(shè)置，得到視覺分布線性優(yōu)化數(shù)據(jù)；

10、基于進化模型對所述視覺分布線性優(yōu)化數(shù)據(jù)進行進化更新，得到符合預(yù)設(shè)條件的所述視覺分布線性數(shù)據(jù)。

11、在其中一個實施例中，所述根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型，包括：

12、根據(jù)所述視覺分布線性數(shù)據(jù)進行可導(dǎo)激活處理，得到可替換線性模型數(shù)據(jù)；其中，所述可替換線性模型數(shù)據(jù)用于進行不限定方向的求導(dǎo)處理；

13、根據(jù)所述可替換線性模型數(shù)據(jù)構(gòu)建所述視覺分布線性模型。

14、在其中一個實施例中，所述基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型，包括：

15、將所述原始視覺模型的非線性子模型替換為所述視覺分布線性模型，得到待微調(diào)視覺模型；

16、基于所述待微調(diào)視覺模型進行量化感知微調(diào)，得到所述目標(biāo)視覺模型。

17、在其中一個實施例中，所述基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型，包括：

18、將所述目標(biāo)視覺模型的目標(biāo)線性子模型格式替換為所述原始視覺模型的原始非線性模型格式，得到目標(biāo)視覺非線性模型；

19、基于所述目標(biāo)視覺非線性模型的量化參數(shù)生成硬件系統(tǒng)，得到所述目標(biāo)硬件系統(tǒng)模型。

20、在其中一個實施例中，所述方法還包括：

21、基于所述目標(biāo)硬件系統(tǒng)模型進行性能測試，得到性能測試數(shù)據(jù)；

22、根據(jù)所述性能測試數(shù)據(jù)對所述目標(biāo)硬件系統(tǒng)模型的目標(biāo)視覺線性模型進行性能評估，得到性能評估數(shù)據(jù)。

23、第二方面，本申請還提供了一種硬件系統(tǒng)模型生成裝置，包括：

24、數(shù)據(jù)采樣模塊，用于基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；

25、分段優(yōu)化模塊，用于對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；

26、替換微調(diào)模塊，用于基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；

27、硬件系統(tǒng)生成模塊，用于基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，所述目標(biāo)硬件系統(tǒng)模型用于操控所述視覺變形器。

28、第三方面，本申請還提供了一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)以下步驟：

29、基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；

30、對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；

31、基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；

32、基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，所述目標(biāo)硬件系統(tǒng)模型用于操控所述視覺變形器。

33、第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

34、基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；

35、對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；

36、基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；

37、基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，所述目標(biāo)硬件系統(tǒng)模型用于操控所述視覺變形器。

38、第五方面，本申請還提供了一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

39、基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；

40、對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；

41、基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；

42、基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，所述目標(biāo)硬件系統(tǒng)模型用于操控所述視覺變形器。

43、上述硬件系統(tǒng)模型生成方法、裝置、計算機設(shè)備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品，通過基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；對視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；基于視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；基于目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，目標(biāo)硬件系統(tǒng)模型用于操控視覺變形器。因此，通過對視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到易于計算的線性數(shù)據(jù)，即視覺分布線性數(shù)據(jù)，再通過替換微調(diào)處理進一步優(yōu)化了激活函數(shù)的硬件實現(xiàn)過程，減小函數(shù)計算復(fù)雜度和硬件實現(xiàn)的成本和效率，同時基于微調(diào)后生成的目標(biāo)視覺模型生成硬件系統(tǒng)，得到的目標(biāo)硬件系統(tǒng)模型還能極大程度的保證目標(biāo)硬件系統(tǒng)模型的推理精度。

技術(shù)特征：

1.一種硬件系統(tǒng)模型生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.一種硬件系統(tǒng)模型生成裝置，其特征在于，所述裝置包括：

8.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

技術(shù)總結(jié)
本申請涉及一種硬件系統(tǒng)模型生成方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品。所述方法包括：基于視覺變形器中非線性激活函數(shù)的分布情況進行數(shù)據(jù)采樣，得到視覺分布非線性數(shù)據(jù)；對視覺分布非線性數(shù)據(jù)進行分段優(yōu)化，得到視覺分布線性數(shù)據(jù)，并根據(jù)視覺分布線性數(shù)據(jù)構(gòu)建視覺分布線性模型；基于視覺分布線性模型對預(yù)訓(xùn)練的原始視覺模型進行替換微調(diào)，得到目標(biāo)視覺模型；基于目標(biāo)視覺模型生成硬件系統(tǒng)，得到目標(biāo)硬件系統(tǒng)模型；其中，目標(biāo)硬件系統(tǒng)模型用于操控視覺變形器。采用本方法能夠優(yōu)化激活函數(shù)的硬件實現(xiàn)過程，減小函數(shù)計算復(fù)雜度和硬件實現(xiàn)的成本和效率，同時還能極大程度的保證硬件模型的推理精度。

技術(shù)研發(fā)人員：周滌非,裴朝科,蔡建華,王學(xué)敏
受保護的技術(shù)使用者：深圳市歐冶半導(dǎo)體有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19