本發(fā)明涉及圖像分割,具體涉及一種基于狀態(tài)空間模型和雙路徑多尺度增強的心臟圖像分割方法。
背景技術:
1、在當下的醫(yī)療成像處理領域,心臟圖像的精確分割對于深入了解心臟疾病、制定治療計劃以及疾病進展監(jiān)控至關重要。隨著人工智能在醫(yī)療領域的應用不斷擴展,深度學習,特別是卷積神經(jīng)網(wǎng)絡(cnn)和transformer模型,在心臟圖像分割任務中顯示了巨大的潛力。這些神經(jīng)網(wǎng)絡模型通過自動提取高維度特征和識別復雜的圖像模式,為醫(yī)學圖像分析提供了強大的工具,較傳統(tǒng)方法顯著提高了分割精度和效率。
2、然而,盡管深度學習模型已經(jīng)取得了顯著的進步,但它們在心臟圖像分割任務中仍面臨一些局限性。cnn模型被限制于局部感受野,難以有效捕獲長距離的圖像特征依賴性,這對于理解心臟結構的完整性至關重要。而基于transformer的模型雖可處理全局信息,其自注意力機制導致的計算復雜度隨圖像尺寸呈二次方增加,大大增加了處理高分辨率心臟圖像的計算負擔,限制了其在實際臨床應用中的使用。最近,結合狀態(tài)空間模型(ssm)的mamba模型的引入,為我們提供了一個全新的視角。ssm在處理長距離依賴性方面展現(xiàn)了其獨特的優(yōu)勢,同時其計算復雜度與輸入大小呈線性關系,相比于傳統(tǒng)的深度學習模型大幅度降低了計算資源的需求。因此,探尋一種既能有效處理心臟圖像中的長距離依賴,又能保持計算資源使用高效率的方法尤為重要。
技術實現(xiàn)思路
1、本發(fā)明為了克服以上技術的不足,提供了一種有效處理心臟圖像中的長距離依賴,又能保持計算資源使用高效率的心臟圖像分割方法。
2、本發(fā)明克服其技術問題所采用的技術方案是:
3、一種基于狀態(tài)空間模型和雙路徑多尺度增強的心臟圖像分割方法,包括:
4、a)收集n個左心房mri圖像數(shù)據(jù),得到左心房mri圖像數(shù)據(jù)集e,e={e1,e2,...,ei,...,en},ei為第i個左心房mri圖像數(shù)據(jù),i∈{1,...,n};b)將第i個左心房mri圖像數(shù)據(jù)ei進行預處理,得到預處理后的第i個左心房mri圖像數(shù)據(jù)si,預處理后的左心房mri圖像數(shù)據(jù)集為s,s={s1,s2,...,si,...,sn};
5、c)將預處理后的左心房mri圖像數(shù)據(jù)集s劃分為訓練集、驗證集、測試集,將訓練集中的各個預處理后的左心房mri圖像數(shù)據(jù)沿z軸切片,得到x個切片圖像構成的切片圖像集ftrain,ftrain={f1,f2,...,fi,...,fx},fi為第i個切片圖像,i∈{1,…,x},將測試集中的各個預處理后的左心房mri圖像數(shù)據(jù)沿z軸切片,得到y(tǒng)個切片圖像構成的切片圖像集ftest,ftest={f1,f2,...,fj,...,fy},fj為第j個切片圖像,i∈{1,...,y};
6、d)建立由編碼器、解碼器構成的分割網(wǎng)絡模型;
7、e)將訓練集中第i個切片圖像fi輸入到分割網(wǎng)絡模型的編碼器中,輸出得到特征圖
8、f)將特征圖輸入到分割網(wǎng)絡模型的解碼器中,輸出得到預測分割圖像
9、g)使用sgd優(yōu)化器,利用總損失函數(shù)ltotal訓練分割網(wǎng)絡模型,得到優(yōu)化后的分割網(wǎng)絡模型;
10、h)將測試集中第第j個切片圖像fj輸入到優(yōu)化后的分割網(wǎng)絡模型中,輸出得到預測分割圖像進一步的,步驟a)中從2018心房分割挑戰(zhàn)賽數(shù)據(jù)集中收集n個左心房mri圖像數(shù)據(jù)。
11、進一步的,步驟b)包括如下步驟:
12、b-1)將第i個左心房mri圖像數(shù)據(jù)ei沿z軸切片,將切割的若干切片進行x軸方向的像素間距為1.5、y軸方向的像素間距為1.5的重采樣操作;
13、b-2)使用pytorch中的centercrop函數(shù)將重采樣操作后的切片進行中心剪裁操作,剪裁后的切片的大小為112×112;
14、b-3)使用torch.stack()函數(shù)將中心剪裁后的各個切片堆疊操作,重新恢復為左心房mri圖像數(shù)據(jù)ei′;
15、b-4)使用random_flip_rotate()函數(shù)將左心房mri圖像數(shù)據(jù)ei′以0.5的概率沿水平軸或垂直軸進行翻轉,翻轉角度為90度,得到旋轉后的左心房mri圖像數(shù)據(jù)ei″;
16、b-5)將旋轉后的左心房mri圖像數(shù)據(jù)ei″進行z-score標準化處理,得到預處理后的第i個左心房mri圖像數(shù)據(jù)si。
17、進一步的,步驟c)中將預處理后的左心房mri圖像數(shù)據(jù)集s按照6:1:3的比例劃分為訓練集、驗證集、測試集。
18、進一步的,步驟e)包括如下步驟:
19、e-1)分割網(wǎng)絡模型的編碼器由卷積層、第一狀態(tài)空間注意力模塊sssca、第一最大池化層、第二狀態(tài)空間注意力模塊sssca、第二最大池化層、第三狀態(tài)空間注意力模塊sssca、第三最大池化層、第四狀態(tài)空間注意力模塊sssca、第四最大池化層構成,第一狀態(tài)空間注意力模塊sssca、第二狀態(tài)空間注意力模塊sssca、第三狀態(tài)空間注意力模塊sssca、第四狀態(tài)空間注意力模塊sssca均由ssm分支、卷積分支、注意力分支構成;ssm分支由第一layernorm層、第一linear層、第一silu激活函數(shù)、第二linear層、深度可分離卷積層、第二silu激活函數(shù)、狀態(tài)空間模型ssm、第二layernorm層構成;卷積分支均由batchnorm層、第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)、逐點卷積層構成;注意力分支由通道注意力機制cam、空間注意力機制sam構成;
20、e-2)將訓練集中第i個切片圖像fi輸入到編碼器的卷積層中,輸出得到特征圖
21、e-3)通過pytorch中的torch.chunk()函數(shù)對特征圖進行split操作,輸出得到特征圖和特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl1-1,將特征圖fl1-1依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl1-3,將fl1-3依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl1-4,將特征圖fl1-2與特征圖fl1-4進行相乘操作,得到特征圖fl1;將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層中,輸出得到特征圖將特征圖fl1與特征圖通過pytorch中的torch.cat()函數(shù)進行concat操作,得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機制cam中,輸出得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機制sam中,輸出得到特征圖將特征圖與特征圖進行相加操作,得到特征圖e-4)將特征圖輸入到編碼器的第一最大池化層中,輸出得到特征圖e-5)通過pytorch中的torch.chunk()函數(shù)對特征圖進行split操作,輸出得到特征圖和特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl2-1,將特征圖fl2-1依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl2-2,將特征圖fl2-1依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl2-3,將fl2-3依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl2-4,將特征圖fl2-2與特征圖fl2-4進行相乘操作,得到特征圖fl2;將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層中,輸出得到特征圖將特征圖fl2與特征圖通過pytorch中的torch.cat()函數(shù)進行concat操作,得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機制cam中,輸出得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機制sam中,輸出得到特征圖將特征圖與特征圖進行相加操作,得到特征圖e-6)將特征圖輸入到編碼器的第二最大池化層中,輸出得到特征圖e-7)通過pytorch中的torch.chunk()函數(shù)對特征圖進行split操作,輸出得到特征圖和特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl3-1,將特征圖fl3-1依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl3-2,將特征圖fl3-1依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl3-3,將fl3-3依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl3-4,將特征圖fl3-2與特征圖fl3-4進行相乘操作,得到特征圖fl3;將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層中,輸出得到特征圖將特征圖fl3與特征圖通過pytorch中的torch.cat()函數(shù)進行concat操作,得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機制cam中,輸出得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機制sam中,輸出得到特征圖將特征圖與特征圖進行相加操作,得到特征圖e-8)將特征圖輸入到編碼器的第三最大池化層中,輸出得到特征圖e-9)通過pytorch中的torch.chunk()函數(shù)對特征圖進行split操作,輸出得到特征圖和特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl4-1,將特征圖fl4-1依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl4-2,將特征圖fl4-1依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl4-3,將fl4-3依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl4-4,將特征圖fl4-2與特征圖fl4-4進行相乘操作,得到特征圖fl4;將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層中,輸出得到特征圖將特征圖fl4與特征圖通過pytorch中的torch.cat()函數(shù)進行concat操作,得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機制cam中,輸出得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機制sam中,輸出得到特征圖將特征圖與特征圖進行相加操作,得到特征圖e-10)將特征圖輸入到編碼器的第四最大池化層中,輸出得到特征圖優(yōu)選的,步驟e-2)中編碼器的卷積層的卷積核大小為3×3;步驟e-3)中第一狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層的卷積核大小為3×3、步長為1;步驟e-4)中第一最大池化層的池化核為2×2、步長為2;步驟e-5)中第二狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層的卷積核大小為3×3、步長為1;步驟e-6)中第二最大池化層的池化核為2×2、步長為2;步驟e-7)中第三狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層的卷積核大小為3×3、步長為1;步驟e-8)中第三最大池化層的池化核為2×2、步長為2;步驟e-9)中第四狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的逐點卷積層的卷積核大小為3×3、步長為1;步驟e-10)中第四最大池化層的池化核為2×2、步長為2。
22、進一步的,步驟f)包括如下步驟:
23、f-1)分割網(wǎng)絡模型的解碼器由第一雙路徑多尺度增強模塊dpmsfe、第一轉置卷積層、第一殘差塊、第二雙路徑多尺度增強模塊dpmsfe、第二轉置卷積層、第二殘差塊、第三路徑多尺度增強模塊dpmsfe、第三轉置卷積層、第三殘差塊、第四雙路徑多尺度增強模塊dpmsfe、第四轉置卷積層、第四殘差塊、卷積層構成;第一雙路徑多尺度增強模塊dpmsfe、第二雙路徑多尺度增強模塊dpmsfe、第三雙路徑多尺度增強模塊dpmsfe、第四雙路徑多尺度增強模塊dpmsfe均由下卷積層、通道聚合分支、多尺度融合分支、上卷積層構成,通道聚合分支依次由平均池化層、第一卷積層、relu激活函數(shù)、第二卷積層構成,多尺度融合分支由第一卷積層、第二卷積層、第三卷積層、最大池化層、第四卷積層、sigmoid激活函數(shù)構成;第一殘差塊、第二殘差塊、第三殘差塊、第四殘差塊均由第一卷積層、第一batchnorm層、第一relu激活函數(shù)、第二卷積層、第二batchnorm層、第二relu激活函數(shù)、第三relu激活函數(shù)構成;
24、f-2)將特征圖輸入到解碼器的第一雙路徑多尺度增強模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第一雙路徑多尺度增強模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進行相加操作,得到特征圖將特征圖依次輸入到解碼器的第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相乘操作,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第一雙路徑多尺度增強模塊dpmsfe的上卷積層中,輸出得到特征圖f-3)將特征圖與特征圖進行相加操作,輸出得到特征圖f-4)將特征圖輸入到解碼器的第一轉置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第一殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第一殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第一殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-5)將特征圖輸入到解碼器的第二雙路徑多尺度增強模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第二雙路徑多尺度增強模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進行相加操作,得到特征圖將特征圖依次輸入到解碼器的第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相乘操作,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第二雙路徑多尺度增強模塊dpmsfe的上卷積層中,輸出得到特征圖f-6)將特征圖與特征圖進行相加操作,輸出得到特征圖f-7)將特征圖輸入到解碼器的第二轉置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第二殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第二殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第二殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-8)將特征圖輸入到解碼器的第三雙路徑多尺度增強模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第三雙路徑多尺度增強模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進行相加操作,得到特征圖將特征圖依次輸入到解碼器的第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相乘操作,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第三雙路徑多尺度增強模塊dpmsfe的上卷積層中,輸出得到特征圖f-9)將特征圖與特征圖進行相加操作,輸出得到特征圖f-10)將特征圖輸入到解碼器的第三轉置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第三殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第三殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第三殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-11)將特征圖輸入到解碼器的第四雙路徑多尺度增強模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第四雙路徑多尺度增強模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進行相加操作,得到特征圖將特征圖依次輸入到解碼器的第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相乘操作,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第四雙路徑多尺度增強模塊dpmsfe的上卷積層中,輸出得到特征圖f-12)將特征圖與特征圖進行相加操作,輸出得到特征圖f-13)將特征圖輸入到解碼器的第四轉置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第四殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第四殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第四殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-14)將特征圖輸入到解碼器的卷積層中,輸出得到預測分割圖像優(yōu)選的,步驟f-2)中第一雙路徑多尺度增強模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第一雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第一雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第一雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第一雙路徑多尺度增強模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-4)中解碼器的第一轉置卷積層的卷積核大小為2×2、步長為2,解碼器的第一殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第一殘差塊的第二卷積層的卷積核大小為3×3;步驟f-5)中第二雙路徑多尺度增強模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第二雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第二雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第二雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第二雙路徑多尺度增強模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-7)中解碼器的第二轉置卷積層的卷積核大小為2×2、步長為2,解碼器的第二殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第二殘差塊的第二卷積層的卷積核大小為3×3;步驟f-8)中第三雙路徑多尺度增強模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第三雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第三雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第三雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第三雙路徑多尺度增強模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-10)中解碼器的第三轉置卷積層的卷積核大小為2×2、步長為2,解碼器的第三殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第三殘差塊的第二卷積層的卷積核大小為3×3;步驟f-11)中第四雙路徑多尺度增強模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第四雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第四雙路徑多尺度增強模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第四雙路徑多尺度增強模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第四雙路徑多尺度增強模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-13)中解碼器的第四轉置卷積層的卷積核大小為2×2、步長為2,解碼器的第四殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第四殘差塊的第二卷積層的卷積核大小為3×3。進一步的,通過公式ltotal=αldice+βlce計算得到總損失函數(shù)ltotal,式中α和β均為超參數(shù),ldice為dice損失函數(shù),lce為交叉熵損失函數(shù)。
25、優(yōu)選的,訓練分割網(wǎng)絡模型時學習率設置為0.01、批次大小設置為8、迭代次數(shù)設置為1000、超參數(shù)α設置為0.4、超參數(shù)β設置為0.4。
26、本發(fā)明的有益效果是:狀態(tài)空間注意力模塊通過整合ssm狀態(tài)空間模型分支、卷積分支和注意力分支,不僅提高了模型對心臟圖像中各個結構邊界的識別精度,而且利用了ssm在保持對輸入大小線性相關的計算復雜度的同時,處理長距離依賴性的獨特優(yōu)勢,有助于更精確且計算高效地分割心臟圖像。雙路徑多尺度增強模塊通過通道聚合分支和多尺度融合分支,可以增強模型對不同尺度結構的識別能力,提高模型的適應性和魯棒性,有助于處理各種大小的心臟結構。因此,我們的方法可以更好地適應心臟圖像分割的復雜性和多樣性,提供更高精度和效率的分割結果,顯著提升心臟疾病診斷和治療規(guī)劃的準確性。