本申請涉及圖像分割領(lǐng)域,特別是涉及一種圖像的語義分割方法及電子設(shè)備。
背景技術(shù):
1、通常一張20倍鏡下全視野數(shù)字切片圖像(whole?slide?image,wsi)分辨率為80000*80000,像素達到64億。在如此高分辨率的圖像中,需要采用深度學(xué)習(xí)方法分割出正常區(qū)域、良性腫瘤區(qū)域、原位腫瘤區(qū)域和浸潤性腫瘤區(qū)域,或者進行不同類型組織區(qū)域的分割。分割精度要求越來越高,同時對算法效率提出了重大挑戰(zhàn),考慮到圖形處理器(graphics?processing?unit,gpu)內(nèi)存有限,無法一次性對整張圖片進行處理,傳統(tǒng)的方法要么對一個超高分辨率的圖像進行降采樣,要么將其裁剪成小塊進行單獨處理。無論哪種方式,局部細節(jié)或全局上下文信息的丟失都會導(dǎo)致有限的分割精度。
2、針對相關(guān)技術(shù)中針對超高分辨率的病理切片圖像局部窗口如何理解和融合上下文語義,基于局部窗口難以實現(xiàn)精確語義分割的問題,目前尚未提出有效的解決方案。
技術(shù)實現(xiàn)思路
1、本申請實施例提供的一種圖像的語義分割方法及電子設(shè)備,至少解決針對超高分辨率的病理切片圖像局部窗口如何理解和融合上下文語義,基于局部窗口難以實現(xiàn)精確語義分割的問題。
2、根據(jù)本申請實施例的一個方面,提供了一種圖像的語義分割方法,包括:在待處理圖像中裁剪局部窗口,以及在對待處理圖像進行下采樣得到的下采樣圖像中裁剪兩種不同分辨率大小的上下文窗口;分別對局部窗口和兩種上下文窗口進行特征編碼,得到對應(yīng)的卷積特征圖;基于卷積特征圖,分別對局部窗口和其自身、局部窗口分別和兩種上下文窗口進行注意力計算,并加權(quán)融合,得到局部窗口的注意力特征圖;基于局部窗口的卷積特征圖和注意力特征圖得到局部窗口的融合特征圖;基于局部窗口的融合特征圖對局部窗口進行語義分割處理。
3、可選地,在對待處理圖像進行下采樣得到的下采樣圖像中裁剪兩種不同分辨率大小的上下文窗口之前,上述方法還包括:分別按照兩種不同的下采樣倍率對待處理圖像進行下采樣,得到兩種不同分辨率大小的下采樣圖像,其中,降采樣倍率高的下采樣圖像用于裁剪第一上下文窗口,降采樣倍率低的下采樣圖像用于裁剪第二上下文窗口,第一上下文窗口還原到降采樣前的分辨率高于第二上下文窗口還原到降采樣前的分辨率。
4、可選地,基于卷積特征圖,對局部窗口和其自身、局部窗口分別和兩種上下文窗口進行注意力計算,并加權(quán)融合,得到局部窗口的注意力特征圖,包括:分別對局部窗口、第一上下文窗口以及第二上下文窗口進行特征嵌入計算,得到局部窗口、第一上下文窗口以及第二上下文窗口各自的嵌入特征;基于嵌入特征分別計算局部窗口的查詢、鍵和值,第一上下文窗口的鍵和值,第二上下文窗口的鍵和值;根據(jù)局部窗口的查詢、鍵和值計算局部窗口和其自身經(jīng)過注意力計算后的第一局部窗口更新嵌入特征;根據(jù)局部窗口的查詢,第一上下文窗口的鍵和值計算局部窗口和第一上下文窗口經(jīng)過注意力計算后的第二局部窗口更新嵌入特征;根據(jù)局部窗口的查詢,第二上下文窗口的鍵和值計算局部窗口和第二上下文窗口經(jīng)過注意力計算后的第三局部窗口更新嵌入特征;通過concat-excitation-and-split?network分別計算第一局部窗口更新嵌入特征、第二局部窗口更新嵌入特征以及第三局部窗口更新嵌入特征各自對應(yīng)的權(quán)重,并分別將第一局部窗口更新嵌入特征、第二局部窗口更新嵌入特征以及第三局部窗口更新嵌入特征與各自對應(yīng)的權(quán)重相乘后再相加,得到局部窗口注意力特征圖。
5、可選地,基于局部窗口的卷積特征圖和注意力特征圖得到局部窗口的融合特征圖,包括:將局部窗口的卷積特征圖和局部窗口的注意力特征圖在通道維度上進行拼接,得到局部窗口的融合特征圖。
6、可選地,基于局部窗口的融合特征圖對局部窗口進行語義分割處理,包括:對局部窗口對應(yīng)的融合特征圖中的每個像素點進行分類,得到局部窗口的融合特征圖的語義分割結(jié)果;對局部窗口的融合特征圖的語義分割結(jié)果進行上采樣處理,得到局部窗口的語義分割結(jié)果;將每個局部窗口的語義分割結(jié)果進行拼接,得到待處理圖像的語義分割結(jié)果。
7、可選地,基于局部窗口的融合特征圖對局部窗口進行語義分割處理之前,上述方法還包括:對第一上下文窗口對應(yīng)的卷積特征圖中的每個像素點進行分類,得到第一上下文窗口對應(yīng)的卷積特征圖的語義分割結(jié)果;對第一上下文窗口對應(yīng)的卷積特征圖的語義分割結(jié)果進行上采樣處理,得到第一上下文窗口的語義分割結(jié)果。
8、可選地,基于局部窗口的融合特征圖對局部窗口進行語義分割處理之前,上述方法還包括:對第二上下文窗口對應(yīng)的卷積特征圖中的每個像素點進行分類,得到第二上下文窗口對應(yīng)的卷積特征圖的語義分割結(jié)果;對第二上下文窗口對應(yīng)的卷積特征圖的語義分割結(jié)果進行上采樣處理,得到第二上下文窗口的語義分割結(jié)果。
9、可選地,基于局部窗口的融合特征圖對局部窗口進行語義分割處理,還包括:確定對第一上下文窗口進行語義分割的語義分割模型的第一損失函數(shù);確定對第二上下文窗口進行語義分割的語義分割模型的第二損失函數(shù);確定對局部窗口進行語義分割的語義分割模型的第三損失函數(shù);對第一損失函數(shù)和第二損失函數(shù)的和進行加權(quán)處理后與第三損失函數(shù)相加,得到目標損失函數(shù);利用目標損失函數(shù)控制對局部窗口進行語義分割處理的分割精度。
10、可選地,分別對局部窗口和兩種上下文窗口進行特征編碼,包括:利用深度殘差卷積神經(jīng)網(wǎng)絡(luò)模型對局部窗口進行特征編碼,其中,深度殘差卷積網(wǎng)絡(luò)模型包括49個卷積層,卷積層用于特征編碼;利用卷積神經(jīng)網(wǎng)絡(luò)模型分別對兩種上下文窗口進行特征編碼,其中,卷積神經(jīng)網(wǎng)絡(luò)模型由多個卷積層和多個池化層順序連接組成。
11、根據(jù)本申請實施例的另一方面,還提供了一種電子設(shè)備,包括:處理器,以及存儲程序的存儲器,程序包括指令,指令在由處理器執(zhí)行時使處理器執(zhí)行根據(jù)以上的方法。
12、根據(jù)本申請實施例的另一方面,還提供了一種存儲有計算機指令的非瞬時機器可讀介質(zhì),計算機指令用于使計算機執(zhí)行以上的方法。
13、本申請實施例的有益效果:
14、本申請實施例中,提出了一種多層次深度特征融合的神經(jīng)網(wǎng)絡(luò)模型架構(gòu)transformer,通過transformer對病理切片圖像進行語義分割,達到了上下文和局部窗口語義全方位深度特征融合的目的,從而實現(xiàn)了提升超高分辨率的病理切片圖像的語義分割精度的技術(shù)效果。
15、本申請的一個或多個實施例的細節(jié)在以下附圖和描述中提出,以使本申請的其他特征、目的和優(yōu)點更加簡明易懂。
1.一種圖像的語義分割方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,在對所述待處理圖像進行下采樣得到的下采樣圖像中裁剪兩種不同分辨率大小的上下文窗口之前,所述方法還包括:
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于所述卷積特征圖,對所述局部窗口和其自身、所述局部窗口分別和兩種所述上下文窗口進行注意力計算,并加權(quán)融合,得到所述局部窗口的注意力特征圖,包括:
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,基于所述局部窗口的卷積特征圖和注意力特征圖得到所述局部窗口的融合特征圖,包括:
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,基于所述局部窗口的融合特征圖對所述局部窗口進行語義分割處理,包括:
6.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于所述局部窗口的融合特征圖對所述局部窗口進行語義分割處理之前,所述方法還包括:
7.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于所述局部窗口的融合特征圖對所述局部窗口進行語義分割處理之前,所述方法還包括:
8.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于所述局部窗口的融合特征圖對所述局部窗口進行語義分割處理,還包括:
9.根據(jù)權(quán)利要求1所述的方法,其特征在于,分別對所述局部窗口和兩種所述上下文窗口進行特征編碼,包括:
10.一種電子設(shè)備,包括:處理器,以及存儲程序的存儲器,其特征在于,所述程序包括指令,所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)權(quán)利要求1至9中任一項所述的方法。
11.一種存儲有計算機指令的非瞬時機器可讀介質(zhì),其特征在于,所述計算機指令用于使所述計算機執(zhí)行根據(jù)權(quán)利要求1至9中任一項所述的方法。