本發(fā)明屬于光學測量，具體涉及一種基于多專家協(xié)作機制的自適應深度學習條紋分析方法。

背景技術：

1、近年來，隨著基于深度學習的條紋分析方法在相關領域得到廣泛應用并取得有效成果，有些已達到遠超超越傳統(tǒng)方法的性能，這種新一代條紋分析方法框架有望使其突破傳統(tǒng)方法的效率與精度限制，成為下一代光學測量系統(tǒng)的核心技術。盡管有效，當前的這些深度學習條紋分析方法依然面臨著巨大的挑戰(zhàn)。他們通常只在成像條件相同時才表現(xiàn)良好，而當測試數(shù)據(jù)的拍攝條件變化較大時，神經網(wǎng)絡的表現(xiàn)會急劇下降。其次，哪怕是同一個測量系統(tǒng)，在調整了系統(tǒng)參數(shù)重新調整之后，盡管任務相同，先前在系統(tǒng)上訓練好的網(wǎng)絡模型，并不能直接應用到調整后的系統(tǒng)中。本發(fā)明通過融合數(shù)據(jù)域與網(wǎng)絡結構層面設計以達到獲取跨系統(tǒng)泛化性的目標。不同于傳統(tǒng)的基于固定參數(shù)網(wǎng)絡的框架，而是采取自適應專家混合理念，通過對輸入數(shù)據(jù)的分析決定網(wǎng)絡的構成策略。而且與在不同網(wǎng)絡之間直接切換的專家混合框架不同，通過在參數(shù)空間實時合成以構成具有高拓展性與靈活度的架構，進而解決基于深度學習條紋分析中的跨系統(tǒng)條紋分析問題。

技術實現(xiàn)思路

1、本發(fā)明目的在于提供一種基于多專家協(xié)作機制的自適應深度學習條紋分析方法。

2、實現(xiàn)本發(fā)明目的的技術方案為：一種基于多專家協(xié)作機制的自適應深度學習條紋分析方法，包括：

3、步驟1：構建具有不同條紋頻率與對比度的條紋投影數(shù)據(jù)集；

4、步驟2：構建若干個專家神經網(wǎng)絡，從步驟1構建的不同條紋頻率與對比度的數(shù)據(jù)集中選擇若干組可涵蓋不同數(shù)據(jù)域需求的數(shù)據(jù)分別對每個專家神經網(wǎng)絡進行預訓練；

5、步驟3：構建用于控制專家神經網(wǎng)絡合成的門網(wǎng)絡，利用步驟1的條紋投影數(shù)據(jù)集對預訓練好的專家神經網(wǎng)絡與門網(wǎng)絡協(xié)同進行訓練，利用協(xié)同訓練獲得的參數(shù)，構建用于跨系統(tǒng)條紋分析的專家協(xié)作網(wǎng)絡，并利用步驟1的條紋投影數(shù)據(jù)集對專家協(xié)作網(wǎng)絡進行訓練；

6、步驟4：將實時獲得的條紋圖輸入訓練好的專家協(xié)作網(wǎng)絡，獲得包裹相位。

7、優(yōu)選地，構建具有不同條紋頻率與對比度的條紋投影數(shù)據(jù)集的具體方法為：

8、針對不同的待測場景，使用投影儀投影若干種具有不同頻率與對比度的正弦相移條紋圖像，使用相機拍攝被條紋照亮的待測場景，獲得投影條紋圖像作為數(shù)據(jù)集并對數(shù)據(jù)集進行數(shù)據(jù)增強操作；

9、其中，數(shù)據(jù)集的標簽為經十二步相移法計算所得的包裹相位的分子與分母。

10、優(yōu)選地，投影條紋圖像表示為：

11、

12、其中(x,y)是投影儀的像素坐標，索引n＝0,1,2,…,11；ap、bp、f分別是條紋幅值、調制度和空間頻率。

13、優(yōu)選地，所述專家神經網(wǎng)絡的結構采用res-unet結構，預訓練過程采用自監(jiān)督去噪自編碼器方法。

14、優(yōu)選地，對專家神經網(wǎng)絡進行預訓練的具體步驟為：

15、對于每個專家神經網(wǎng)絡，從步驟1構建的數(shù)據(jù)集中，取設定頻率與對比度下的一系列條紋圖，并對條紋圖加入一定比例高斯噪聲之后作為專家神經網(wǎng)絡的輸入，將未加入噪聲的原條紋圖作為標簽，以此為數(shù)據(jù)集對特定專家神經網(wǎng)絡進行預訓練。

16、優(yōu)選地，對條紋圖像加入噪聲的具體公式為：

17、iσ(x,y)＝ic(x,y)+σ

18、其中ic(x,y)和iσ(x,y)分別為歸一化后的原始光柵圖像和加噪聲后圖像，σ為圖像噪聲。

19、優(yōu)選地，所述門網(wǎng)絡采取vgg網(wǎng)絡架構。

20、優(yōu)選地，利用步驟1的條紋投影數(shù)據(jù)集對預訓練好的專家神經網(wǎng)絡與門網(wǎng)絡協(xié)同進行訓練，利用協(xié)同訓練獲得的參數(shù)，構建用于跨系統(tǒng)條紋分析的專家協(xié)作網(wǎng)絡的具體方法為：

21、將數(shù)據(jù)集中的條紋圖輸入門網(wǎng)絡，經門網(wǎng)絡進行特征提取之后輸出自適應合成權重；

22、利用門網(wǎng)絡輸出的權重與預訓練網(wǎng)絡的參數(shù)融合后作為專家協(xié)作網(wǎng)絡的參數(shù)，所述專家協(xié)作網(wǎng)絡的結構與專家神經網(wǎng)絡結構相同；

23、將數(shù)據(jù)集中的條紋圖輸入專家協(xié)作網(wǎng)絡，獲得對應的包裹相位分子分母，計算專家協(xié)作網(wǎng)絡輸出的包裹相位分子分母與標簽的損失函數(shù)，并進行參數(shù)更新，完成訓練過程。

24、優(yōu)選地，專家協(xié)作網(wǎng)絡的參數(shù)具體為：

25、

26、其中pi為各專家神經網(wǎng)絡的參數(shù)，pmoe為動態(tài)合成后的專家協(xié)作網(wǎng)絡參數(shù)，wi為門網(wǎng)絡輸出權重，n為專家網(wǎng)絡數(shù)量。

27、優(yōu)選地，專家協(xié)作網(wǎng)絡輸出的包裹相位分子分母與標簽的損失函數(shù)具體為：

28、lloss＝λ1lmse+λ2lfourier

29、其中，λ1和λ2為不同損失函數(shù)的權重，lmse為空域一致性損失函數(shù)lmse的計算方式為

30、

31、其中ypred為網(wǎng)絡預測值，ytrue為標簽值，k為圖像總像素值；

32、lfourier為傅里葉損失函數(shù)，lfourier的表達式為：

33、

34、其中，為離散傅里葉變換。

35、本發(fā)明與現(xiàn)有技術相比，其顯著優(yōu)點為：本發(fā)明采取自適應專家混合理念，通過對輸入數(shù)據(jù)的分析決定網(wǎng)絡的構成策略，通過在參數(shù)空間實時合成以構成具有高拓展性與靈活度的架構；

36、本發(fā)明在預訓練階段使用去噪自編碼器方法減少資源消耗，在訓練階段引入數(shù)據(jù)增強與傅里葉損失方法以進一步增強性能；

37、本發(fā)明在見過與未見過情形均優(yōu)于傳統(tǒng)的基于單系統(tǒng)數(shù)據(jù)域設計的專家神經網(wǎng)絡以及針對多系統(tǒng)數(shù)據(jù)域的大參數(shù)量網(wǎng)絡，且在面對較為難以處理的情形時具有明顯的相對優(yōu)勢，在面對由相機設置、條紋特性、環(huán)境因素等多方面參數(shù)共同決定的不同系統(tǒng)下能夠保持優(yōu)異的穩(wěn)定性與魯棒性。

技術特征：

1.一種基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，包括：

2.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，構建具有不同條紋頻率與對比度的條紋投影數(shù)據(jù)集的具體方法為：

3.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，投影條紋圖像表示為：

4.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，所述專家神經網(wǎng)絡的結構采用res-unet結構，預訓練過程采用自監(jiān)督去噪自編碼器方法。

5.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，對專家神經網(wǎng)絡進行預訓練的具體步驟為：

6.根據(jù)權利要求5所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，對條紋圖像加入噪聲的具體公式為：

7.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，所述門網(wǎng)絡采取vgg網(wǎng)絡架構。

8.根據(jù)權利要求1所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，利用步驟1的條紋投影數(shù)據(jù)集對預訓練好的專家神經網(wǎng)絡與門網(wǎng)絡協(xié)同進行訓練，利用協(xié)同訓練獲得的參數(shù)，構建用于跨系統(tǒng)條紋分析的專家協(xié)作網(wǎng)絡的具體方法為：

9.根據(jù)權利要求8所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，專家協(xié)作網(wǎng)絡的參數(shù)具體為：

10.根據(jù)權利要求8所述的基于多專家協(xié)作機制的自適應深度學習條紋分析方法，其特征在于，專家協(xié)作網(wǎng)絡輸出的包裹相位分子分母與標簽的損失函數(shù)具體為：

技術總結
本發(fā)明公開了一種基于多專家協(xié)作機制的自適應深度學習條紋分析方法，本發(fā)明通過融合數(shù)據(jù)域與網(wǎng)絡結構層面設計以達到獲取跨系統(tǒng)泛化性的目標。本發(fā)明采取自適應專家混合理念，通過對輸入數(shù)據(jù)的分析決定網(wǎng)絡的構成策略。而且與在不同網(wǎng)絡之間直接切換的專家混合框架不同，通過在參數(shù)空間實時合成以構成具有高拓展性與靈活度的架構。一旦訓練完成，它就能夠自動適應不同的輸入數(shù)據(jù)并且計算融合不同專家的最佳權重，實現(xiàn)不同成像條件下的自適應條紋圖像分析。此外，本發(fā)明還在預訓練階段使用去噪自編碼器方法減少資源消耗，在訓練階段引入數(shù)據(jù)增強與傅里葉損失方法以進一步增強性能。

技術研發(fā)人員：馮世杰,李鑫勝,陳錢,左超,陳文武,金子蘅
受保護的技術使用者：南京理工大學
技術研發(fā)日：
技術公布日：2024/12/19