本發(fā)明具體涉及一種面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)。

背景技術(shù)：

1、ct、mri等數(shù)字圖像在臨床輔助診斷上已經(jīng)獲得了廣泛的應(yīng)用。而隨著數(shù)字圖像技術(shù)的發(fā)展，醫(yī)療器械設(shè)備精度的提升，數(shù)字圖像的尺寸和位深都在逐漸變大，對醫(yī)學(xué)圖像的存儲和傳輸都帶來了巨大的挑戰(zhàn)。近年來，隨著新一代通用視頻壓縮標(biāo)準(zhǔn)vvc的發(fā)展，以及神經(jīng)網(wǎng)絡(luò)技術(shù)的普及，有損壓縮方法能夠取得比無損壓縮更高壓縮比的同時，保留足夠的醫(yī)學(xué)圖像細(xì)節(jié)和紋理。

2、但是，現(xiàn)有的深度學(xué)習(xí)有損圖像壓縮模型，大多是為2d圖像或者視頻而設(shè)計的，并不適用于ct、mri等三維醫(yī)學(xué)圖像。也有相關(guān)研究使用3d卷積來提取三維醫(yī)學(xué)圖像中的幀間信息，但這種方式計算量大，所需時間長，因此提取幀間信息的效率較低。其次，傳統(tǒng)的圖像壓縮算法都是面向人類視覺的，以保留原始圖像細(xì)節(jié)和內(nèi)容為目標(biāo)。在諸多下游應(yīng)用場景中，與原始圖像作為輸入相比，經(jīng)過壓縮和重建的圖像往往無法保持較高的性能指標(biāo)。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)解決上述提到的技術(shù)問題，具體采用如下的技術(shù)方案：

2、一種面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，包含：當(dāng)前圖像編碼器網(wǎng)絡(luò)、當(dāng)前圖像解碼器網(wǎng)絡(luò)、上下文熵模型、幀間輔助特征緩存模塊、輔助特征編碼器網(wǎng)絡(luò)、輔助特征解碼器網(wǎng)絡(luò)、特征融合模塊和重建網(wǎng)絡(luò)；

3、所述幀間輔助特征緩存模塊緩存有幀間輔助特征；

4、所述輔助特征編碼器網(wǎng)絡(luò)從所述幀間輔助特征緩存模塊中保存的輔助特征中提取幀間潛在特征并傳送給所述當(dāng)前圖像編碼器網(wǎng)絡(luò)、所述上下文熵模型和所述輔助特征解碼器網(wǎng)絡(luò)；

5、所述當(dāng)前圖像編碼器網(wǎng)絡(luò)基于所述輔助特征編碼器網(wǎng)絡(luò)提取出的幀間潛在特征對當(dāng)前圖像進(jìn)行圖像潛在特征提??；

6、所述輔助特征解碼器網(wǎng)絡(luò)將所述輔助特征編碼器網(wǎng)絡(luò)提取出的幀間潛在特征解碼為幀間解碼特征并傳輸?shù)剿霎?dāng)前圖像解碼器網(wǎng)絡(luò)和所述特征融合模塊；

7、所述上下文熵模型對圖像潛在特征進(jìn)行編碼；

8、所述當(dāng)前圖像解碼器網(wǎng)絡(luò)基于所述輔助特征解碼器網(wǎng)絡(luò)提取的幀間解碼特征對圖像潛在特征進(jìn)行解碼；

9、所述特征融合模塊用于將所述當(dāng)前圖像解碼器網(wǎng)絡(luò)和所述輔助特征解碼器網(wǎng)絡(luò)輸出的特征進(jìn)行特征融合得到融合特征，融合特征一方面作為新的幀間輔助特征緩存至所述幀間輔助特征緩存模塊，融合特征另一方面作為下游機(jī)器視覺任務(wù)的輸入，融合特征再一方面輸入至所述重建網(wǎng)絡(luò)，所述重建網(wǎng)絡(luò)基于融合特征重建出符合人類視覺的圖像。

10、進(jìn)一步地，所述當(dāng)前圖像編碼網(wǎng)絡(luò)包含三層第一block網(wǎng)絡(luò)，每個第一block網(wǎng)絡(luò)包含卷積網(wǎng)絡(luò)層、gdn歸一化網(wǎng)絡(luò)層和resnet殘差網(wǎng)絡(luò)層；

11、所述輔助特征編碼網(wǎng)絡(luò)包含三層第二block網(wǎng)絡(luò)，每個第二block網(wǎng)絡(luò)包含卷積網(wǎng)絡(luò)層、非線性激活層gelu和resnet殘差網(wǎng)絡(luò)層。

12、進(jìn)一步地，所述當(dāng)前圖像解碼網(wǎng)絡(luò)包含第三block網(wǎng)絡(luò)和兩個第四block網(wǎng)絡(luò)，所述第三block網(wǎng)絡(luò)包含卷積層、igdn反歸一化網(wǎng)絡(luò)層和pixel上采樣網(wǎng)絡(luò)層，每個所述第四block網(wǎng)絡(luò)包含igdn反歸一化網(wǎng)絡(luò)層、resnet殘差網(wǎng)絡(luò)層和pixel上采樣網(wǎng)絡(luò)層；

13、所述輔助特征解碼網(wǎng)絡(luò)包含第五block網(wǎng)絡(luò)和兩個第六block網(wǎng)絡(luò)，所述第五block網(wǎng)絡(luò)包含卷積層、gelu非線性激活層和tconv反卷積網(wǎng)絡(luò)層，每個所述第六block網(wǎng)絡(luò)包含gelu非線性激活層、resnet殘差網(wǎng)絡(luò)層和tconv反卷積網(wǎng)絡(luò)層。

14、進(jìn)一步地，所述上下文熵模型將經(jīng)過量化的圖像潛在特征建模成高斯分布，再通過算術(shù)編碼器得到最終的二進(jìn)制碼流文件。

15、進(jìn)一步地，所述上下文熵模型基于空間上下文、通道間上下文和幀間潛在特征上下文得到當(dāng)前圖像潛在特征的高斯分布參數(shù)，空間上下文、通道間上下文和幀間潛在特征上下文通過通道間合并的方式進(jìn)行特征聚合，再通過概率預(yù)測網(wǎng)絡(luò)層，得到當(dāng)前圖像潛在特征的高斯分布參數(shù)。

16、進(jìn)一步地，所述特征融合模塊對所述當(dāng)前圖像解碼器網(wǎng)絡(luò)和所述輔助特征解碼器網(wǎng)絡(luò)輸出的特征相加，再經(jīng)過一個雙曲正切激活函數(shù)得到融合特征。

17、進(jìn)一步地，融合特征作為下游醫(yī)學(xué)圖像分割任務(wù)的輸入，將融合特征輸入到transunet分割網(wǎng)絡(luò)。

18、進(jìn)一步地，在通過所述面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)處理三維醫(yī)學(xué)圖像時，對所述幀間輔助特征緩存模塊設(shè)定初始化參數(shù)n，每處理n張圖片時，初始化所述幀間輔助特征緩存模塊中保存的所述幀間輔助特征。

19、進(jìn)一步地，當(dāng)待處理的三維醫(yī)學(xué)圖像的切片數(shù)量大于預(yù)設(shè)值m時，對所述幀間輔助特征緩存模塊設(shè)定初始化參數(shù)n。

20、進(jìn)一步地，n的范圍為大于等于5且小于等于15。

21、本發(fā)明的有益之處在于所提供的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，利用幀間信息來輔助當(dāng)前圖像幀重建，其既能面向人類視覺實現(xiàn)優(yōu)于傳統(tǒng)圖像壓縮算法的壓縮效果，也能面向機(jī)器視覺為下游醫(yī)學(xué)任務(wù)帶來性能指標(biāo)的提升。

技術(shù)特征：

1.一種面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，包含：當(dāng)前圖像編碼器網(wǎng)絡(luò)、當(dāng)前圖像解碼器網(wǎng)絡(luò)、上下文熵模型、幀間輔助特征緩存模塊、輔助特征編碼器網(wǎng)絡(luò)、輔助特征解碼器網(wǎng)絡(luò)、特征融合模塊和重建網(wǎng)絡(luò)；

2.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

3.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

4.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

5.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

6.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

7.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

8.根據(jù)權(quán)利要求1所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

9.根據(jù)權(quán)利要求8所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

10.根據(jù)權(quán)利要求8所述的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，其特征在于，

技術(shù)總結(jié)
本發(fā)明公開了一種面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，幀間輔助特征緩存模塊緩存有幀間輔助特征；輔助特征編碼器網(wǎng)絡(luò)從輔助特征中提取幀間潛在特征并傳送給當(dāng)前圖像編碼器網(wǎng)絡(luò)、上下文熵模型和輔助特征解碼器網(wǎng)絡(luò)；當(dāng)前圖像編碼器網(wǎng)絡(luò)基于幀間潛在特征對當(dāng)前圖像進(jìn)行圖像潛在特征提取；當(dāng)前圖像解碼器網(wǎng)絡(luò)基于幀間解碼特征對圖像潛在特征進(jìn)行解碼；特征融合模塊用于將當(dāng)前圖像解碼器網(wǎng)絡(luò)和輔助特征解碼器網(wǎng)絡(luò)輸出的特征進(jìn)行特征融合得到融合特征。本發(fā)明的面向人機(jī)視覺的三維醫(yī)學(xué)圖像壓縮系統(tǒng)，利用幀間信息來輔助當(dāng)前圖像幀重建，其既能面向人類視覺實現(xiàn)優(yōu)于傳統(tǒng)圖像壓縮算法的壓縮效果，也能面向機(jī)器視覺為下游醫(yī)學(xué)任務(wù)帶來性能指標(biāo)的提升。

技術(shù)研發(fā)人員：余鋒,陳杰濤,陳渭杰
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19