本申請實(shí)施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本申請實(shí)施方式涉及一種模型融合方法及相關(guān)裝置。

背景技術(shù)：

1、在現(xiàn)代人工智能領(lǐng)域，特別是在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用中，算法的效率和性能至關(guān)重要。神經(jīng)網(wǎng)絡(luò)模型，如在大語言模型(llm)中的生成式預(yù)訓(xùn)練轉(zhuǎn)換(gpt)模型和泛光(bloom)大模型，都需要大量的計(jì)算資源進(jìn)行數(shù)據(jù)處理和模型訓(xùn)練。這些過程主要由許多復(fù)雜的數(shù)學(xué)計(jì)算構(gòu)成，因此，如何高效利用硬件資源提高運(yùn)算效率是至關(guān)重要的。

2、相關(guān)技術(shù)中，神經(jīng)網(wǎng)絡(luò)模型是由各個(gè)功能模塊組成的，這些模塊間有著清晰的劃分。然而，數(shù)據(jù)需要在各模塊間通過內(nèi)存空間進(jìn)行傳遞，從而產(chǎn)生不必要的讀寫操作，使得模型執(zhí)行流程變長，降低了模型執(zhí)行效率。此外，由于模塊間的劃分，后面模塊需要等待前面的模塊完成計(jì)算，得到全部結(jié)果數(shù)據(jù)后才能繼續(xù)進(jìn)行計(jì)算，這就可能會導(dǎo)致計(jì)算單元出現(xiàn)空閑狀態(tài)，浪費(fèi)硬件計(jì)算資源。

3、綜上，亟待提供一種全新的技術(shù)方案，用以解決相關(guān)技術(shù)中存在的上述至少一個(gè)技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、在本上下文中，本申請的實(shí)施方式期望提供一種模型融合方法及相關(guān)裝置，用以避免神經(jīng)網(wǎng)絡(luò)模型中因讀寫操作過多而導(dǎo)致的模型執(zhí)行效率下降，計(jì)算資源浪費(fèi)的技術(shù)問題。

2、在本申請實(shí)施方式的第一方面中，提供了一種模型融合方法，該方法包括：

3、識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件；

4、根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；

5、執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。

6、在本申請實(shí)施方式的第二方面中，提供了一種模型融合裝置，該裝置至少包括：

7、識別模塊，用于識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件；

8、融合模塊，用于根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；

9、執(zhí)行模塊，用于執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。

10、在本申請實(shí)施方式的第三方面中，提供了一種計(jì)算設(shè)備，所述計(jì)算設(shè)備包括：

11、至少一個(gè)處理器、存儲器和輸入輸出單元；

12、其中，所述存儲器用于存儲計(jì)算機(jī)程序，所述處理器用于調(diào)用所述存儲器中存儲的計(jì)算機(jī)程序來執(zhí)行第一方面的模型融合方法。

13、在本申請實(shí)施方式的第四方面中，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行該指令時(shí)，使得計(jì)算機(jī)執(zhí)行第一方面的模型融合方法。

14、在本申請實(shí)施方式的第五方面中，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面的模型融合方法。

15、在本申請實(shí)施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的模型融合方法。

16、在本申請實(shí)施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計(jì)算機(jī)可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設(shè)備執(zhí)行如第一方面的模型融合方法。

17、本申請實(shí)施方式中，提供了一種模型融合方法及相關(guān)裝置。本申請實(shí)施方式中，首先，識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件。其次，根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式。最后，執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。本申請實(shí)施方式中，通過對神經(jīng)網(wǎng)絡(luò)模型中的第一計(jì)算模塊和第二計(jì)算模塊進(jìn)行操作融合，減少計(jì)算資源占用，顯著提升了模型的整體性能，提高模型執(zhí)行效率。

技術(shù)特征：

1.一種模型融合方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述優(yōu)化條件至少包括：計(jì)算模塊執(zhí)行數(shù)據(jù)處理過程中包含至少一次對內(nèi)存空間的存取操作；和/或，計(jì)算模塊之間數(shù)據(jù)傳輸過程中包含包含至少一次對內(nèi)存空間的存取操作；和/或，計(jì)算模塊各自執(zhí)行獨(dú)立的離散運(yùn)算。

3.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

4.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述重新構(gòu)建所述待優(yōu)化單元，包括：

5.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將第一計(jì)算模塊與第二計(jì)算模塊中具有邏輯關(guān)聯(lián)的操作進(jìn)行操作融合，包括：

6.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將多層感知機(jī)模塊中第一個(gè)線性變換層和激活函數(shù)進(jìn)行操作融合，包括：

7.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述根據(jù)模塊結(jié)構(gòu)、模塊參數(shù)以及連接關(guān)系，獲取第一計(jì)算模塊中與第二計(jì)算模塊相匹配的待優(yōu)化單元，包括：

8.根據(jù)權(quán)利要求7所述的模型融合方法，其特征在于，所述將所述第一待優(yōu)化單元得到的中間計(jì)算結(jié)果融合到第二計(jì)算模塊中，并重新構(gòu)建第二計(jì)算模塊中的待優(yōu)化計(jì)算邏輯，包括：

9.根據(jù)權(quán)利要求8所述的模型融合方法，其特征在于，若神經(jīng)網(wǎng)絡(luò)模型為泛光大模型，并且以多層感知機(jī)模塊的線性變化操作以及殘差連接模塊中的加法操作作為第一待優(yōu)化單元，則

10.一種模型融合裝置，其特征在于，所述裝置至少包括：

技術(shù)總結(jié)
本申請實(shí)施方式提供了一種模型融合方法及相關(guān)裝置。該方法包括：識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件；根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。該方法有助于避免神經(jīng)網(wǎng)絡(luò)模型中因讀寫操作過多而導(dǎo)致的模型執(zhí)行效率下降，計(jì)算資源浪費(fèi)的技術(shù)問題。

技術(shù)研發(fā)人員：闖小明,楊龔軼凡,鄭瀚尋,潘維維
受保護(hù)的技術(shù)使用者：上海泰則半導(dǎo)體有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19