1.一種基于擴散模型的跨域語義分割系統(tǒng),其特征在于,包括主干網(wǎng)絡、fpn網(wǎng)絡、編碼擾動模塊、風格投影器、均值調(diào)整模塊、方差調(diào)整模塊、特征融合模塊及掩碼解碼器;
2.根據(jù)權(quán)利要求1所述的基于擴散模型的跨域語義分割系統(tǒng),其特征在于,fpn網(wǎng)絡輸出第l層圖像特征圖至第i個風格投影器,第i個風格投影器包括依次連接的均值計算模塊、第一線性層、第一激活層、第二線性層:均值計算模塊計算輸入數(shù)據(jù)的平均值;第一、二線性層用于將輸入數(shù)據(jù)通過線性變換映射到輸出,第一激活層用于對輸入數(shù)據(jù)通過非線性的激活函數(shù)進行處理并輸出;fpn網(wǎng)絡輸出第l層圖像特征圖至第i個風格投影器的均值計算模塊,第i個風格投影器第二線性層的輸出第l層圖像的風格特征圖。
3.根據(jù)權(quán)利要求1所述的基于擴散模型的跨域語義分割系統(tǒng),其特征在于,均值調(diào)整模塊包括依次連接的第二激活層及特征圖均值模塊;第二激活層用于對輸入數(shù)據(jù)通過非線性的激活函數(shù)進行處理并輸出,特征圖均值模塊用于計算特征圖的均值;方差調(diào)整模塊包括依次連接的第三激活層及特征圖方差模塊;第三激活層用于對輸入數(shù)據(jù)通過非線性的激活函數(shù)進行處理并輸出,特征圖方差模塊用于計算特征圖的方差;第i個風格投影器輸出第l層圖像的風格特征圖,分別至均值調(diào)整模塊的第二激活層及方差調(diào)整模塊的第三激活層;均值調(diào)整模塊的特征圖均值模塊輸出第一層至第n層圖像的風格特征均值;方差調(diào)整模塊的特征圖方差模塊輸出第一層至第n層圖像的風格特征方差。
4.根據(jù)權(quán)利要求1所述的基于擴散模型的跨域語義分割系統(tǒng),其特征在于,特征融合模塊包括依次相連的第一矩陣乘法器和第一矩陣加法器,第一矩陣乘法器用于將兩個矩陣進行相乘;第一矩陣加法器用于將兩個矩陣相加;第一矩陣乘法器輸入各層圖像的圖像風格特征的方差矩陣及初始噪聲特征圖,將兩者相乘后輸出至第一矩陣加法器的第一個輸入端,第一矩陣加法器的第二個輸入端輸入各層圖像的圖像風格特征的均值矩陣,第一矩陣加法器輸出組合特征圖。
5.一種基于擴散模型的跨域語義分割方法,其特征在于,該方法構(gòu)建跨域語義分割模型;跨域語義分割模型中設置主干網(wǎng)絡、fpn網(wǎng)絡、編碼擾動模塊、風格投影器、均值調(diào)整模塊、方差調(diào)整模塊、特征融合模塊及掩碼解碼器;
6.根據(jù)權(quán)利要求5所述的基于擴散模型的跨域語義分割方法,其特征在于,訓練跨域語義分割模型的方法包括如下方法步驟:輸入數(shù)據(jù)需要經(jīng)過適當?shù)念A處理后輸入到網(wǎng)絡中,預處理方法包括旋轉(zhuǎn)、裁剪、調(diào)整銳度和亮度、傅里葉變換、動態(tài)模糊、灰度調(diào)整等數(shù)據(jù)增強策略;使用adamw優(yōu)化器訓練40000輪;初始學習率設置為0.00006,并采用默認因子為1.0的poly學習率調(diào)度器。
7.根據(jù)權(quán)利要求5所述的基于擴散模型的跨域語義分割方法,其特征在于,使編碼擾動模塊分t步在目標圖像中加入高斯噪聲,生成目標圖像的初始噪聲特征圖。
8.根據(jù)權(quán)利要求5所述的基于擴散模型的跨域語義分割方法,其特征在于,使fpn網(wǎng)絡輸出第l層圖像特征圖至第i個風格投影器,第i個風格投影器的計算公式如下:
9.根據(jù)權(quán)利要求8所述的基于擴散模型的跨域語義分割方法,其特征在于,使均值調(diào)整模塊計算風格特征均值的計算公式如下:
10.根據(jù)權(quán)利要求5所述的基于擴散模型的跨域語義分割方法,其特征在于,特征融合模塊將各層圖像的圖像風格特征的均值及和方差與圖像的初始噪聲特征圖相結(jié)合時,使特征融合模塊的噪聲圖像計算公式如下: