本發(fā)明屬于深度學(xué)習(xí)、醫(yī)學(xué)圖像，具體涉及一種基于邊界線索深度融合的息肉圖像分割方法。

背景技術(shù)：

1、結(jié)直腸癌（crc）是危害人類健康的最常見(jiàn)癌癥疾病之一，其病源一般來(lái)自腺瘤性息肉。為通過(guò)深度學(xué)習(xí)方法彌補(bǔ)傳統(tǒng)人工結(jié)腸鏡檢查的不足，精確判斷復(fù)雜環(huán)境中的隱蔽性息肉，大量用以息肉分割的深度學(xué)習(xí)集成框架被提出，但現(xiàn)有模型尚存若干局限性與挑戰(zhàn)。例如，當(dāng)腸道環(huán)境中存在異物時(shí)，復(fù)雜的背景環(huán)境對(duì)模型的分割性能產(chǎn)生顯著干擾，極大增加定位息肉的難度。此外，息肉形態(tài)的多樣性構(gòu)成了另一大分割難題，因此需要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)高效地提煉并整合跨層級(jí)的多尺度特征，提升模型適應(yīng)性和分割準(zhǔn)確性。

2、近年來(lái)，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分割中得到了廣泛應(yīng)用，尤其是在結(jié)直腸鏡檢查中的息肉分割。常見(jiàn)的基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)u-net采用編碼器-解碼器結(jié)構(gòu)，通過(guò)跳躍連接結(jié)合低級(jí)和高級(jí)特征，能夠有效保留空間信息，但抗干擾性能較差，在實(shí)際應(yīng)用中存在不足；pranet則通過(guò)并行部分解碼器聚合高級(jí)特征生成全局圖，以粗定位息肉，隨后利用反向注意力模塊細(xì)化特征。盡管如此，受限于卷積神經(jīng)網(wǎng)絡(luò)的固有局限，模型的分割精度和魯棒性仍有待提升，因此改進(jìn)現(xiàn)有模型以提高息肉分割性能尤為重要。

3、當(dāng)前的息肉分割方法主要針對(duì)息肉的內(nèi)部核心區(qū)域進(jìn)行分割，通過(guò)選擇合適的成像方式，對(duì)息肉紋理或顏色特征信息進(jìn)行提取。這類方法沒(méi)有考慮息肉的邊緣信息，導(dǎo)致息肉分割邊界模糊，分割精度有待進(jìn)一步提高。顯然，融入邊緣的細(xì)節(jié)信息特征對(duì)息肉分割精度的提升十分重要。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，通過(guò)借助融合息肉邊界線索信息，融合提取多層級(jí)特征，實(shí)現(xiàn)提高息肉分割精度，避免邊界模糊的目的，本發(fā)明采用如下的技術(shù)方案：

2、一種基于邊界線索深度融合的息肉圖像分割方法，包括如下步驟：

3、步驟1：獲取息肉圖像；

4、步驟2：構(gòu)建基于邊界線索深度融合的息肉圖像分割模型，包括如下步驟：

5、步驟2.1：將息肉圖像通過(guò)主干網(wǎng)絡(luò)以提取層級(jí)特征；

6、步驟2.2：從不同尺度的層級(jí)特征中提取出高保真度的邊界信息，并通過(guò)多層次融合構(gòu)建息肉分割掩模，獲得息肉邊界細(xì)節(jié)信息；

7、步驟2.3：對(duì)不同尺度的層級(jí)特征進(jìn)行跨級(jí)局部聯(lián)合，提取跨級(jí)特征，用于層級(jí)特征對(duì)應(yīng)的前景目標(biāo)增強(qiáng)，借助前景目標(biāo)增強(qiáng)的反轉(zhuǎn)注意力機(jī)制，提高對(duì)微小及結(jié)構(gòu)復(fù)雜息肉特征的學(xué)習(xí)效果，獲取高級(jí)語(yǔ)義特征；

8、步驟2.4：將各前景目標(biāo)增強(qiáng)對(duì)應(yīng)的高級(jí)語(yǔ)義特征與邊界細(xì)節(jié)信息進(jìn)行深層次整合，采用跨層信息傳遞結(jié)構(gòu)，以級(jí)聯(lián)方式融合多層級(jí)特征，使用1×1卷積來(lái)壓縮不同特征通道數(shù)，使下層深度特征融合模塊的輸出特征能夠直接連接到上層，共享和融合不同級(jí)別的特征表示，得到深度融合特征，用于息肉圖像分割；

9、步驟3：對(duì)所述息肉圖像分割模型進(jìn)行訓(xùn)練，以獲取訓(xùn)練好的模型用于息肉圖像分割。

10、進(jìn)一步地，所述步驟2.2中，利用邊界線索挖掘獲取不同尺度的層級(jí)特征，輸出息肉的邊界區(qū)域輪廓，并進(jìn)行損失計(jì)算以優(yōu)化模型，具體地邊界線索挖掘包括如下步驟：

11、步驟2.2.1：將多個(gè)頂部層級(jí)特征分別轉(zhuǎn)換為對(duì)應(yīng)的多個(gè)特征梯度圖；

12、運(yùn)用特定卷積將層級(jí)特征f1和f2分別轉(zhuǎn)換為兩種梯度圖m1和m2：

13、

14、

15、其中，convk±45表示帶有正45°方向和負(fù)45°方向特定算子的3×3卷積操作：

16、

17、

18、步驟2.2.2：將多個(gè)特征梯度圖沿通道維度拼接；

19、將特征梯度圖m2經(jīng)過(guò)1×1卷積和特征梯度圖m1沿通道維度拼接：

20、

21、其中，conv1表示1×1卷積，||表示通道拼接操作，f12表示特征拼接后的輸出結(jié)果；

22、步驟2.2.3：將底層特征與拼接后的特征再進(jìn)行拼接，獲取包含邊界信息的聚合特征，從聚合特征中提取邊界線索，作為息肉邊界細(xì)節(jié)信息；

23、將底層特征f5與拼接后的特征f12經(jīng)過(guò)1×1卷積降維，并通過(guò)上采樣匹配尺度后進(jìn)行拼接，以獲取包含邊界信息的聚合特征，將拼接結(jié)果經(jīng)過(guò)卷積和sigmoid激活函數(shù)提取邊界線索fe：

24、

25、

26、其中，表示sigmoid激活函數(shù)，gcbnr-2表示經(jīng)過(guò)2次conv-batchnormational-relu操作，u表示上采樣操作。

27、進(jìn)一步地，所述步驟2.3中的前景目標(biāo)增強(qiáng)，包括如下步驟：

28、步驟2.3.1：通過(guò)級(jí)聯(lián)前景目標(biāo)增強(qiáng)的方式，每一級(jí)前景目標(biāo)增強(qiáng)以上一級(jí)前景目標(biāo)增強(qiáng)的輸出特征和對(duì)應(yīng)層級(jí)特征作為輸入；

29、步驟2.3.2：在前景目標(biāo)增強(qiáng)的反轉(zhuǎn)注意力分支中，將前一級(jí)前景目標(biāo)增強(qiáng)的輸出反轉(zhuǎn)，以得到反轉(zhuǎn)注意力權(quán)重；

30、步驟2.3.3：將反轉(zhuǎn)注意力權(quán)重與其對(duì)應(yīng)層級(jí)特征，進(jìn)行元素減法提取特征間的差異信息，再和對(duì)應(yīng)層級(jí)特征進(jìn)行元素相乘，得到互補(bǔ)增強(qiáng)后的前景目標(biāo)特征為所述高級(jí)語(yǔ)義信息。

31、進(jìn)一步地，所述步驟2.3.2中，通過(guò)跨級(jí)局部聯(lián)合解碼器，利用多特征元素相乘的方法充分提取不同特征間的共有信息；

32、對(duì)于自上而下5層網(wǎng)絡(luò)，首先通過(guò)上采樣和卷積對(duì)底層層級(jí)特征f5進(jìn)行細(xì)化，與層級(jí)特征f4進(jìn)行元素相乘，提取強(qiáng)化共有特征，用相同方式提取層級(jí)特征f3、f4和f5的共有強(qiáng)化特征，進(jìn)一步捕捉跨級(jí)特征的相互依賴，之后，對(duì)層級(jí)特征f5進(jìn)行上采樣和3×3卷積獲取特征圖并與拼接，融合不同分辨率的特征信息，經(jīng)過(guò)3×3卷積得到更深層次特征，再將進(jìn)行上采樣和3×3卷積后與拼接，結(jié)合細(xì)節(jié)和高層次語(yǔ)義信息，經(jīng)過(guò)3×3卷積提煉特征，最后經(jīng)過(guò)3×3卷積和1×1卷積降維，獲取顯著性跨級(jí)特征：

33、

34、

35、

36、

37、

38、其中，conv1表示1×1的卷積操作，gcbnr表示經(jīng)過(guò)1次conv-batchnormational-relu操作。

39、進(jìn)一步地，所述步驟2.3.3中，將反轉(zhuǎn)注意力權(quán)重wk與對(duì)應(yīng)層級(jí)特征fk進(jìn)行元素減法提取特征間的差異信息，再和對(duì)應(yīng)層級(jí)特征fk進(jìn)行元素相乘，得到互補(bǔ)增強(qiáng)后的前景目標(biāo)特征：

40、

41、其中，k表示層數(shù)，t表示層級(jí)特征對(duì)應(yīng)前景目標(biāo)增強(qiáng)的索引，表示元素乘法。

42、進(jìn)一步地，所述步驟2.4包括如下步驟：

43、步驟2.4.1：根據(jù)不同層級(jí)需求，將邊界線索信息進(jìn)行不同程度的下采樣，以獲取多尺度的邊界線索信息，以多尺度的邊界線索信息和前景目標(biāo)特征作為線索特征感知的輸入，生成多層次特征表示，將上一階深度特征融合的輸出與當(dāng)前多層次特征表示進(jìn)行拼接和1×1卷積降維處理，得到多尺度整合特征，降維后的通道均勻地劃分為多層特征進(jìn)行交錯(cuò)融合，得到融合后的多個(gè)鄰近特征：

44、

45、

46、

47、

48、其中，表示邊界線索信息，表示前景目標(biāo)特征，ftdm表示線索特征感知，表示上一階深度特征融合的輸出，表示降維卷積，表示多尺度整合特征，div表示劃分操作，表示劃分得到的特征，表示膨脹系數(shù)為rj?=?j，表示劃分特征經(jīng)過(guò)膨脹運(yùn)算后的中間結(jié)果，表示sigmoid激活函數(shù)，表示元素乘法，表示元素加法，表示融合后的多個(gè)鄰近特征；

49、步驟2.4.2：拼接融合后的4個(gè)鄰近特征，并經(jīng)過(guò)1×1卷積得到特征，再經(jīng)過(guò)殘差連接和3×3卷積操作，最終獲得深度融合特征：

50、

51、

52、其中，conv3表示3×3的卷積操作。

53、進(jìn)一步地，所述步驟2.4.1中的線索特征感知，以經(jīng)過(guò)下采樣的邊界線索信息和前景目標(biāo)特征作為輸入，進(jìn)行元素相乘以獲取其共有特征信息，將相乘結(jié)果再與前景目標(biāo)特征相加，保留原始特征信息，之后利用3×3卷積獲取初始融合特征，引入注意力機(jī)制對(duì)初始融合特征進(jìn)行加權(quán)求和，聚合卷積特征，通過(guò)全連接層和sigmoid激活函數(shù)計(jì)算得到對(duì)應(yīng)的通道注意權(quán)重，并將聚合卷積特征與通道注意權(quán)重逐元素相乘，增強(qiáng)重要特征，最后通過(guò)1×1卷積對(duì)通道數(shù)進(jìn)行壓縮，生成初步融合特征：

54、

55、

56、

57、其中，fc表示全連接層，att表示注意力機(jī)制。

58、進(jìn)一步地，所述步驟2.3中，最頂層前景目標(biāo)增強(qiáng)的輸入為第二層級(jí)特征和前一層前景目標(biāo)增強(qiáng)模塊輸出的特征，第二層前景目標(biāo)增強(qiáng)輸出的特征只輸入與之對(duì)應(yīng)的最頂層深度特征融合中；

59、所述步驟2.4中，只有次底層邊界線索信息和最底層前景目標(biāo)特征作為最底層深度特征融合的輸入，輸出結(jié)果底層深度融合特征；最頂層深度特征融合模塊以頂層邊界線索信息、第二層前景目標(biāo)特征以及上一級(jí)深度特征融合模塊的輸出為輸入，輸出的深度融合特征直接作為輸出結(jié)果并參與深度監(jiān)督。

60、進(jìn)一步地，所述步驟3中，采用加權(quán)聯(lián)合尺度差異損失和加權(quán)二進(jìn)制交叉熵?fù)p失監(jiān)督模型，對(duì)所述息肉圖像分割模型進(jìn)行訓(xùn)練，包括如下步驟：

61、步驟3.1：定義預(yù)測(cè)區(qū)域?yàn)閜，真實(shí)區(qū)域?yàn)間，取兩者的并集區(qū)域減去縮小的兩者交集區(qū)域，得到第一結(jié)果：

62、

63、

64、

65、其中，p表示預(yù)測(cè)區(qū)域，g表示真實(shí)區(qū)域，表示并集，表示交集，表示得到的結(jié)果，縮小倍數(shù)為預(yù)測(cè)區(qū)域和真實(shí)區(qū)域的交集與真實(shí)區(qū)域的比值；

66、步驟3.2：替換所述步驟3.1中的縮小倍數(shù)，得到第二結(jié)果：

67、

68、其中，第二縮小倍數(shù)ɑ為小于等于所述最小倍數(shù)的超參數(shù)，根據(jù)比例自適應(yīng)計(jì)算，ɑ<1且ɑ>0；

69、步驟3.3：通過(guò)第一結(jié)果與第二結(jié)果的比值，構(gòu)建聯(lián)合尺度差異損失lsdou：

70、；

71、步驟3.4：訓(xùn)練過(guò)程中，利用深度融合特征和邊界細(xì)節(jié)信息作為結(jié)果，分別計(jì)算聯(lián)合尺度差異損失，最后將各部分聯(lián)合尺度差異損失相加得到總聯(lián)合尺度差異損失：

72、

73、其中，表示每個(gè)特征的聯(lián)合尺度差異損失；

74、步驟3.5：計(jì)算每張二值圖的二進(jìn)制交叉熵?fù)p失，之后將二值圖的總聯(lián)合尺度差異損失和總二進(jìn)制交叉熵?fù)p失進(jìn)行全局約束和局部約束加權(quán)，得到加權(quán)聯(lián)合尺度差異損失和加權(quán)二進(jìn)制交叉熵?fù)p失，進(jìn)而得到最終的損失：

75、

76、

77、其中，表示每張二值圖的二進(jìn)制交叉熵?fù)p失，和分別表示基于全局約束和局部約束的加權(quán)聯(lián)合尺度差異損失和二進(jìn)制交叉熵?fù)p失。

78、進(jìn)一步地，所述步驟1中，將收集的鏡息肉圖像數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；所述步驟3中，通過(guò)訓(xùn)練集進(jìn)行息肉圖像分割模型的訓(xùn)練，本方法還包括：

79、步驟4：利用訓(xùn)練后得到的最佳息肉圖像分割模型，對(duì)測(cè)試集中的息肉圖像進(jìn)行測(cè)試，得到測(cè)試后的息肉分割結(jié)果，并進(jìn)行評(píng)估，得到完成訓(xùn)練的息肉圖像分割模型；

80、步驟5：將待分割的息肉圖像輸入至完成訓(xùn)練的息肉圖像分割模型中，輸出息肉分割結(jié)果。

81、本發(fā)明的優(yōu)勢(shì)和有益效果在于：

82、本發(fā)明的一種基于邊界線索深度融合的息肉圖像分割方法，在res2net-50網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合了邊界線索和前景目標(biāo)細(xì)節(jié)特征，并且將這兩種信息進(jìn)行深度融合，以產(chǎn)生精細(xì)的息肉掩碼，有效提高息肉分割的準(zhǔn)確性；通過(guò)邊界線索挖掘模塊，引入了息肉邊界輪廓對(duì)訓(xùn)練過(guò)程進(jìn)行監(jiān)督，采用特定算子根據(jù)邊界線索對(duì)息肉輪廓特征進(jìn)行增強(qiáng)，顯著提升了息肉邊界與背景的差異，并提高了息肉區(qū)域的區(qū)分度；通過(guò)前景目標(biāo)增強(qiáng)模塊，引入反向注意力策略，針對(duì)性地強(qiáng)化了對(duì)小尺度及復(fù)雜結(jié)構(gòu)息肉的特征學(xué)習(xí)，提升了模型在復(fù)雜情況下的分割性能；通過(guò)深度特征融合模塊將邊界細(xì)節(jié)信息與高級(jí)語(yǔ)義信息進(jìn)行深層次地融合，得到更精確和完整的息肉掩碼；通過(guò)聯(lián)合尺度差異損失對(duì)訓(xùn)練過(guò)程進(jìn)行監(jiān)督，優(yōu)化模型的訓(xùn)練過(guò)程，提高了模型的訓(xùn)練效果；本發(fā)明還引入了模塊并行級(jí)聯(lián)機(jī)制，在對(duì)層次特征進(jìn)行特定處理的同時(shí)加強(qiáng)不同層級(jí)特征間的關(guān)聯(lián)性，對(duì)不同層級(jí)特征進(jìn)行逐級(jí)增強(qiáng)和融合，來(lái)保證對(duì)多層次特征的充分挖掘和過(guò)濾，提高特征信息的利用率。