本發(fā)明屬于多保真建模領(lǐng)域。更具體地說，本發(fā)明涉及一種解決多保真數(shù)據(jù)融合剛性問題的遷移學(xué)習(xí)方法。

背景技術(shù)：

1、物理系統(tǒng)的計算建模中，由于計算成本的限制導(dǎo)致可用的高精度數(shù)據(jù)較少，難以滿足工程師對于系統(tǒng)的設(shè)計。為了解決這一問題，現(xiàn)有方法大多采用多源數(shù)據(jù)特征融合的人工智能預(yù)測方法，利用大量低廉的低精度數(shù)據(jù)提供先驗信息，少量高精度數(shù)據(jù)提升預(yù)測精度。以meng等人（meng?x,?karniadakis?g?e.?a?composite?neural?network?thatlearns?from?multi-fidelity?data:?application?to?function?approximation?andinversepde?problems[j].?journal?of?computational?physics,?2020,?401:?109020.）所提出的方法（mfdnn）為代表，采用分塊式網(wǎng)絡(luò)（如圖1所示）提供保留低保真數(shù)據(jù)特征的模塊以及高低保真映射模塊預(yù)測高精度數(shù)據(jù)并取得優(yōu)異的預(yù)測結(jié)果。這種分塊式的網(wǎng)絡(luò)結(jié)構(gòu)以作為低保真代理模型的輸入，該模塊輸出預(yù)測的低保真數(shù)據(jù)，將和預(yù)測的低保真數(shù)據(jù)作為遷移模塊的輸入，從而預(yù)測出高保真數(shù)據(jù)。這種分塊式模型有助于低精度數(shù)據(jù)的完整保留，并且，高精度數(shù)據(jù)特征不會對低精度數(shù)據(jù)特征產(chǎn)生影響。

2、分塊式結(jié)構(gòu)的參數(shù)更新受兩部分損失梯度影響，同時，由于高精度數(shù)據(jù)的成本高昂，參與訓(xùn)練的高精度數(shù)據(jù)量少，意味著，低精度數(shù)據(jù)中每個樣本的梯度被更多數(shù)據(jù)平均了，使得的變化幅度更小，其參數(shù)更新較慢。相對地，模塊中參數(shù)更新較快，導(dǎo)致了整體模型訓(xùn)練過程中的參數(shù)更新速度不平衡，在同一系統(tǒng)下產(chǎn)生了多尺度變化，產(chǎn)生剛性問題。這導(dǎo)致模型在細(xì)微變化的初始條件下，輸出具有顯著差異的預(yù)測結(jié)果，嚴(yán)重影響了模型的穩(wěn)定性和準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的一個目的是解決至少上述問題和/或缺陷，并提供至少后面將說明的優(yōu)點。

2、為了實現(xiàn)本發(fā)明的這些目的和其它優(yōu)點，提供了一種解決多保真數(shù)據(jù)融合剛性問題的遷移學(xué)習(xí)方法，在物理系統(tǒng)的計算建模中，采用分塊式結(jié)構(gòu)建立的多保真建模方法流程包括以下步驟；

3、s1、將分塊式結(jié)構(gòu)中的低保真數(shù)據(jù)模型輸入低保真數(shù)據(jù)自變量，得到預(yù)測的低保真數(shù)據(jù)，

4、s2、將預(yù)測的低保真數(shù)據(jù)和高保真數(shù)據(jù)自變量輸入給分塊式結(jié)構(gòu)中的高低保真映射模塊，得到預(yù)測的高保真數(shù)據(jù)；在s2的高低保真映射模塊中的預(yù)測的低保真數(shù)據(jù)到高保真數(shù)據(jù)遷移學(xué)習(xí)路徑上建立多個中間閾，將總體神經(jīng)網(wǎng)絡(luò)參數(shù)更新為：

5、

6、上式中，表示該模塊總體的訓(xùn)練t+1次的神經(jīng)網(wǎng)絡(luò)參數(shù)，表示相同訓(xùn)練次數(shù)下低保真數(shù)據(jù)模型參數(shù)，表示相同訓(xùn)練次數(shù)下高低保真映射模塊中的模型參數(shù)，表示訓(xùn)練t+1次的中間域樣本，即第t+1個中間域，表示訓(xùn)練t次的中間域樣本，、分別表示低保真數(shù)據(jù)模型和高低保真映射模塊的學(xué)習(xí)率，、分別表示高、低保真數(shù)據(jù)樣本量，表示低保真預(yù)測值中第i個樣本的損失值，表示高低保真映射模塊參數(shù)更新的梯度，表示中間域參數(shù)更新的梯度，表示第r個中間域中的第i個樣本，m表示中間域的數(shù)量，表示低保真數(shù)據(jù)模型在訓(xùn)練t次之后的神經(jīng)網(wǎng)絡(luò)參數(shù)，表示高保真域中第i個樣本，表示低保真域中第i個樣本。

7、優(yōu)選的是，將低保真數(shù)據(jù)模型預(yù)測的低保真數(shù)據(jù)作為第一個中間閾，所述高低保真映射模塊通過預(yù)測的低保真數(shù)據(jù)與中間域數(shù)據(jù)的損失值計算神經(jīng)網(wǎng)絡(luò)模型中的梯度，通過中間域數(shù)據(jù)與高保真數(shù)據(jù)之間損失值來計算中間域所需的更新梯度，得到的更新梯度不斷更新預(yù)測的低保真數(shù)據(jù)，每次更新后的預(yù)測的低保真數(shù)據(jù)作為下一次遷移的中間域，直到中間閾的數(shù)據(jù)更新為；

8、其中，中間域損失值通過下式得到：

9、

10、上式中，表示連接系數(shù)，表示中間閾中的樣本數(shù)量。

11、本發(fā)明至少包括以下有益效果：解決了分塊式網(wǎng)絡(luò)框架處理多源數(shù)據(jù)融合過程中因高低保真數(shù)據(jù)量存在明顯差異而產(chǎn)生的剛性現(xiàn)象。將原有遷移任務(wù)劃分為多段式遷移過程，通過建立多個中間域約束模型遷移路徑。該路徑使得模型遷移損失處于極小值，模型參數(shù)更新過程中一直處于穩(wěn)定狀態(tài)，并且，通過中間域的建立，增加了參與遷移模塊參數(shù)更新的數(shù)據(jù)，使得模型能夠捕獲更多的數(shù)據(jù)特征。

12、本發(fā)明的其它優(yōu)點、目標(biāo)和特征將部分通過下面的說明體現(xiàn)，部分還將通過對本發(fā)明的研究和實踐而為本領(lǐng)域的技術(shù)人員所理解。

技術(shù)特征：

1.一種解決多保真數(shù)據(jù)融合剛性問題的遷移學(xué)習(xí)方法，在物理系統(tǒng)的計算建模中，采用分塊式結(jié)構(gòu)建立的多保真建模方法流程包括以下步驟；

2.根據(jù)權(quán)利要求1所述的解決多保真數(shù)據(jù)融合剛性問題的遷移學(xué)習(xí)方法，其特征在于，將低保真數(shù)據(jù)模型預(yù)測的低保真數(shù)據(jù)作為第一個中間閾，所述高低保真映射模塊通過預(yù)測的低保真數(shù)據(jù)與中間域數(shù)據(jù)的損失值計算神經(jīng)網(wǎng)絡(luò)模型中的梯度，通過中間域數(shù)據(jù)與高保真數(shù)據(jù)之間損失值來計算中間域所需的更新梯度，得到的更新梯度不斷更新預(yù)測的低保真數(shù)據(jù)，每次更新后的預(yù)測的低保真數(shù)據(jù)作為下一次遷移的中間域，直到中間閾的數(shù)據(jù)更新為；

技術(shù)總結(jié)
本發(fā)明公開了一種解決多保真數(shù)據(jù)融合剛性問題的遷移學(xué)習(xí)方法，以解決模型訓(xùn)練中存在的剛性問題，該方法通過將多保真建模方法中的低保真數(shù)據(jù)作為可訓(xùn)練的參數(shù)以設(shè)計的遷移路徑進(jìn)行約束建立中間域，解決了分塊式網(wǎng)絡(luò)框架處理多源數(shù)據(jù)融合過程中因高低保真數(shù)據(jù)量存在明顯差異而產(chǎn)生的剛性現(xiàn)象。將原有遷移任務(wù)劃分為多段式遷移過程，通過建立多個中間域約束模型遷移路徑。該路徑使得模型遷移損失處于極小值，模型參數(shù)更新過程中一直處于穩(wěn)定狀態(tài)，并且，通過中間域的建立，增加了參與遷移模塊參數(shù)更新的數(shù)據(jù)，使得模型能夠捕獲更多的數(shù)據(jù)特征。

技術(shù)研發(fā)人員：劉楓,李宇玻,吳岸平,唐發(fā)智,蔣萬秋,王慶鳳
受保護(hù)的技術(shù)使用者：中國空氣動力研究與發(fā)展中心超高速空氣動力研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19