本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域的圖像處理技術(shù)，具體而言，涉及一種基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法。

背景技術(shù)：

1、對于管狀結(jié)構(gòu)的醫(yī)學(xué)圖像分割研究一直是一個(gè)重要的研究內(nèi)容。管狀結(jié)構(gòu)的醫(yī)學(xué)圖像有著結(jié)構(gòu)細(xì)長曲折的特點(diǎn)，且人體器官的多種重點(diǎn)研究部分都是管狀結(jié)構(gòu)，比如心臟血管，動脈血管，下頜神經(jīng)管等。然而絕大部分的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)并沒有針對這類結(jié)構(gòu)的醫(yī)學(xué)圖像做專門的研究，這給該類醫(yī)學(xué)圖像的分割處理造成了困難。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中針對管狀結(jié)構(gòu)醫(yī)學(xué)圖像的分割處理的問題，本發(fā)明提出一種基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，包括以下步驟：

2、s1.?構(gòu)建訓(xùn)練數(shù)據(jù)集：采集下頜神經(jīng)管cbct圖像，再利用人工標(biāo)注的手段對采集到的cbct圖像進(jìn)行處理生成全景cbct圖像，對全景cbct圖像中需要分割的部位進(jìn)行標(biāo)注并轉(zhuǎn)化為標(biāo)簽圖，代表需要分割部位的像素點(diǎn)賦值為1，代表背景的像素點(diǎn)賦值為0，標(biāo)簽圖與相應(yīng)的cbct圖像構(gòu)成一組訓(xùn)練樣本，送入網(wǎng)絡(luò)中訓(xùn)練；

3、s2.?構(gòu)建訓(xùn)練框架：訓(xùn)練框架包括stem層、編碼器部分、解碼器部分、跳躍連接部分三部分，編碼器部分由四個(gè)編碼器組成，每個(gè)編碼器包括mamba模塊、gsc模塊和tuc模塊，解碼器部分包括卷積層，上采樣層、分割頭，跳躍連接和殘差連接層，一次迭代的過程如下：

4、s2-1.?將要進(jìn)行訓(xùn)練的全景cbct圖像先送入stem層，stem層采用深度卷積，圖像經(jīng)過stem層提取第一個(gè)特征尺度；然后將送入編碼器部分的mamba模塊和相應(yīng)的下采用層；

5、s2-2.?在第一個(gè)mamba模塊中，先經(jīng)過門控空間卷積模塊gsc提取來自stem層中的圖像空間特征，在之后的每一個(gè)mamba模塊中，先經(jīng)過門控空間卷積模塊gsc提取來自上一個(gè)mamba模塊中的圖像空間特征；輸入的第m個(gè)空間特征首先被送入兩個(gè)tuc模塊中得到和；接著，這兩個(gè)特征進(jìn)行逐像素相乘，以門控機(jī)制的方式控制信息傳輸；最后，利用另一個(gè)tuc模塊將這兩個(gè)特征進(jìn)一步融合成，并通過解碼器部分的殘差連接層將特征送入解碼器；

6、s2-3.經(jīng)過gsc和三個(gè)tuc模塊得到特征后，再經(jīng)過tom模塊從多個(gè)方向上建模特征之間的依賴關(guān)系；特征沿三個(gè)不同方向展開成三個(gè)序列，然后執(zhí)行相應(yīng)的特征交互操作，最終獲得整合后的特征圖；

7、s2-4.重復(fù)s2-1、s2-2、s2-3的步驟，得到四個(gè)編碼器輸出的特征圖、、、并輸入到跳躍連接層，得到每一個(gè)跳躍連接層的結(jié)果、、、；

8、s2-5.將最后一個(gè)編碼器得到的特征圖輸入到解碼器中進(jìn)行上采樣操作得到特征圖，解碼器部分同時(shí)接收，與特征圖在通道維度上進(jìn)行拼接得到；然后再進(jìn)行卷積上采樣得到；將與特征圖在通道維度上進(jìn)行拼接得到；然后再進(jìn)行卷積上采樣得到；將與特征圖在通道維度上進(jìn)行拼接得到；然后再進(jìn)行卷積上采樣得到；對再進(jìn)行一次卷積上采樣后得到與輸入特征圖的分辨率大小相同的特征圖；

9、s2-6.將得到的特征圖經(jīng)過一個(gè)分割頭進(jìn)行輸出，并將輸出的結(jié)果與標(biāo)簽圖進(jìn)行損失函數(shù)的計(jì)算，根據(jù)計(jì)算的結(jié)果進(jìn)行反向傳播，至此一輪迭代完成。

10、可選地，步驟s2-1中，全景cbct圖像數(shù)據(jù)統(tǒng)一表示為：

11、

12、其中c表示輸入通道數(shù)，，h，w分別代表全景cbct圖像的長、寬、高的值；對于stem層采用內(nèi)核大小為，填充大小，步長，經(jīng)過stem提取全景cbct圖像的第一個(gè)尺度特征表示為：

13、。

14、可選地，步驟s2-2中，gsc計(jì)算方式用以下公式表示：

15、,

16、其中，表示輸入的第m個(gè)空間特征，tuc表示管狀卷積塊。

17、可選地，步驟s2-2中，在tuc中，先給定一個(gè)標(biāo)準(zhǔn)的3d卷積坐標(biāo)，中心坐標(biāo)為；一個(gè)3×3×3的卷積核k表示為：

18、,

19、其中x軸方向的變化，表示為：

20、

21、y軸方向的變化為：

22、

23、z軸方向的變化為：

24、

25、其中，i,j,k分別表示x,y,z軸方向的變化，?x,?y,?z分別表示對應(yīng)方向的偏移量，由于偏移量是小數(shù)，然而坐標(biāo)是整數(shù)形式，因此采用雙線性插值，表示為：

26、

27、其中，表示方程、方程和方程的小數(shù)位置，k’列舉所有整數(shù)空間位置，b是雙線性插值核，分解為三個(gè)一維核，即：

28、，

29、其中,b表示在每個(gè)方向上的雙線性插值核，,,分別表示沿著三個(gè)方向的卷積核；對于每個(gè)k，從x軸、y軸、z軸提取來自第l層的三個(gè)特征圖、、，表示為：

30、,

31、其中，、、表示對應(yīng)位置處的權(quán)重，第l層卷積核k提取的特征采用累積方法計(jì)算。

32、可選地，步驟s2-3中，tom模塊計(jì)算方式可以用以下公式表示：

33、,

34、其中，mamba是用于在序列中建模全局信息的mamba層，表示前向方向的特征，表示反向方向的特征，表示切片間方向的特征；

35、對于第m個(gè)mamba層，其計(jì)算過程可以定義為:

36、,

37、,

38、,

39、其中，gsc?和?tom?分別表示網(wǎng)絡(luò)中的門控空間卷積模塊和三向mamba模塊，，ln?表示層歸一化，mlp?表示多層感知機(jī)層，用于豐富特征表示，表示來自第?層的特征。

40、可選地，步驟s2-4中，將作為輸入,之后再經(jīng)過卷積、殘差連接，最后經(jīng)過卷積進(jìn)行特征融合和尺寸調(diào)整，表示為：

41、，

42、其中表示第i個(gè)mamba模塊跳躍連接的最終輸出結(jié)果，表示進(jìn)行卷積操作。

43、可選地，步驟s2-5中，解碼器中每一次上采樣之后得到的特征圖，與同一層編碼器輸出的在通道維度進(jìn)行拼接，得到拼接后的特征圖，再經(jīng)過卷積層，最后輸出與原始圖像尺寸大小相同的的特征圖。

44、可選地，步驟s2-6中，最后經(jīng)過分割頭得到網(wǎng)絡(luò)最終的輸出結(jié)果，輸出結(jié)果與標(biāo)簽圖計(jì)算交叉熵?fù)p失，計(jì)算公式如下：

45、，

46、其中，n是樣本數(shù)量，c是類別數(shù)，是真實(shí)標(biāo)簽中像素i屬于類別c的指示函數(shù)，是模型預(yù)測像素i屬于類別c的概率。

47、本發(fā)明還提出一種下頜神經(jīng)管cbct全景圖像處理方法，采用由前述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法獲得的分割網(wǎng)絡(luò)。

48、本發(fā)明的有益效果是：通過本發(fā)明的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，提高了在醫(yī)學(xué)圖像分割領(lǐng)域數(shù)據(jù)來源受限的情況下對下頜管下頜神經(jīng)管的分割能力，為智能醫(yī)學(xué)圖像處理提供了一種有效的管狀結(jié)構(gòu)數(shù)據(jù)分割方案。

技術(shù)特征：

1.基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-1中，全景cbct圖像數(shù)據(jù)統(tǒng)一表示為：

3.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-2中，gsc計(jì)算方式用以下公式表示：

4.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-2中，在tuc中，先給定一個(gè)標(biāo)準(zhǔn)的3d卷積坐標(biāo)，中心坐標(biāo)為；一個(gè)3×3×3的卷積核k表示為：

5.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-3中，tom模塊計(jì)算方式用以下公式表示：

6.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-4中，將作為輸入,之后再經(jīng)過卷積、殘差連接，最后經(jīng)過卷積進(jìn)行特征融合和尺寸調(diào)整，表示為：

7.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-5中，解碼器中每一次上采樣之后得到的特征圖，與同一層編碼器輸出的在通道維度進(jìn)行拼接，得到拼接后的特征圖，再經(jīng)過卷積層，最后輸出與原始圖像尺寸大小相同的的特征圖。

8.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，步驟s2-6中，最后經(jīng)過分割頭得到網(wǎng)絡(luò)最終的輸出結(jié)果，輸出結(jié)果與標(biāo)簽圖計(jì)算交叉熵?fù)p失，計(jì)算公式如下：

9.一種下頜神經(jīng)管cbct全景圖像處理方法，其特征在于，采用由權(quán)利要求1~8任一項(xiàng)所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法獲得的分割網(wǎng)絡(luò)。

技術(shù)總結(jié)
本發(fā)明公開了基于Mamba架構(gòu)的下頜神經(jīng)管CBCT全景圖像分割網(wǎng)絡(luò)訓(xùn)練方法，涉及計(jì)算機(jī)視覺領(lǐng)域的圖像處理技術(shù)。該分割網(wǎng)絡(luò)訓(xùn)練方法采用編碼器解碼器架構(gòu)，其基于管狀卷積核的特征提取操作通過擴(kuò)大感受野和學(xué)習(xí)形變來提取管狀結(jié)構(gòu)特征，之后進(jìn)行三視覺特征融合策略進(jìn)一步引導(dǎo)模型從不同角度補(bǔ)充對關(guān)鍵特征的關(guān)注；編碼器部分通過Mamba架構(gòu)建模全局和多尺度特征，并在訓(xùn)練和推理過程保持高效，最終使網(wǎng)絡(luò)對于管狀結(jié)構(gòu)的CBCT圖像有更加完整的分割效果。

技術(shù)研發(fā)人員：王志明,蔡彪,易驚濤,楊帆
受保護(hù)的技術(shù)使用者：感躍醫(yī)療科技（成都）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19