本發(fā)明涉及醫(yī)學(xué)影像處理和計算機輔助診斷的，具體涉及一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法。

背景技術(shù)：

1、肝臟和骨骼的三維重建在醫(yī)學(xué)診斷和手術(shù)規(guī)劃中具有重要意義。傳統(tǒng)的平掃ct圖像提供的是二維切片信息，醫(yī)生需要通過多張切片來推測三維解剖結(jié)構(gòu)，過程復(fù)雜且容易產(chǎn)生誤差。現(xiàn)有的三維重建技術(shù)主要依賴于人工標注，效率較低且對結(jié)果的準確性影響較大。因此，需要一種能夠自動化處理的三維重建方法，提高對肝臟及骨骼的建模精度，減少醫(yī)生的工作負擔。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對背景技術(shù)部分提到的挑戰(zhàn)，提供了一種創(chuàng)新的方法，一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法，通過對肝臟和骨骼進行精確的三維建模，使醫(yī)生能夠直觀了解肝臟及骨骼的空間位置關(guān)系，從而便于病灶的定位和評估，有利于手術(shù)規(guī)劃和治療，同時提高患者對自身病情的理解，具有實用性和廣泛適用性。

2、本發(fā)明的一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法采用如下技術(shù)方案：

3、一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法，包括以下步驟：

4、1)建立平掃ct數(shù)據(jù)庫，形成包含多組患者平掃ct影像數(shù)據(jù)的文檔；

5、2)采集足夠數(shù)量的人體平掃ct影像數(shù)據(jù)，將符合要求的影像數(shù)據(jù)存入患者文檔中；

6、3)將患者文檔中的ct影像數(shù)據(jù)導(dǎo)入三維重建系統(tǒng)中；

7、4)根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進行圖像預(yù)處理；

8、5)三維重建系統(tǒng)中內(nèi)嵌的語義分割模型自動對平掃ct影像中的骨骼及肝臟進行標注；

9、6)系統(tǒng)將標注后的ct影像進行校準、融合，并從軸狀、冠狀、矢狀三個方向進行多視角處理；

10、7)生成肝臟及骨骼的三維模型，對模型進行優(yōu)化。

11、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進行圖像預(yù)處理圖像裁剪crop操作，即：

12、cropped_image＝original_image[xmin:xmax,ymin:ymax](1)；

13、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進行圖像預(yù)處理圖像重采樣resample操作，

14、即：

15、

16、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進行圖像預(yù)處理圖像標準化normalization操作，即：

17、

18、優(yōu)選的，步驟5)中自動對平掃ct影像中的骨骼及肝臟進行標注的語義分割模型其損失函數(shù)為dice損失和交叉熵損失(cross-entropy,ce)的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,組合損失函數(shù)的公式可表示為：

19、

20、將(4)(5)代入(6)中,且(0＜α＜1)

21、l＝α·lce+(1-α)·ldice(6)；

22、優(yōu)選的，步驟5)中自動對平掃ct影像中的骨骼及肝臟進行標注的語義分割模型其激活函數(shù)為使用leaky?relu作為激活函數(shù)，替換了常用的relu激活函數(shù)。leakyrelu的公式的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,函數(shù)的公式可表示為：

23、f(x)＝max(0.01x,x)(7)；

24、優(yōu)選的，步驟5)中自動對平掃ct影像中的骨骼及肝臟進行標注的語義分割模型其其歸一化方法使用使用instance?normalization代替了更流行的batch?normalization，歸一化方法instance?normalization的公式為：

25、

26、優(yōu)選的，步驟6)中的圖像校準采用了基于特征點的配準方法，確保各視角數(shù)據(jù)的空間對齊。同時，圖像融合過程通過加權(quán)平均的方法，將來自不同方向的圖像信息進行綜合，權(quán)重根據(jù)實際需求動態(tài)調(diào)整，確保最終生成的三維模型具有更高的精度和一致性。

27、優(yōu)選的，步驟7)中對于肝臟和骨骼模型的重建，采用使用插片和等值面提取的方式來處理各相鄰ct影像圖片之間的過渡，以實現(xiàn)模型的平滑連接。依據(jù)三維數(shù)據(jù)的每一個頂點，判斷其值是否大于等于給定的等值，如果是，則標記為1；否則標記為0；即：

28、

29、優(yōu)選的，步驟7)中對于三維重建器官的展示，使用cmap顏色映射的方式。生成的三維模型通過映射和渲染模塊進行可視化展示。系統(tǒng)使用以下方法來確定每個模型的顏色(color)和透明度(opacity)：

30、

31、opacity(x,y,z)＝calculateopacity(f(x,y,z))??(11)；

32、優(yōu)選的，步驟7)中對于三維重建器官的加載，使用多線程調(diào)度的方式。在三維重建過程中，系統(tǒng)會顯示當前的進度，確保用戶能夠?qū)崟r了解處理進展。進度更新的方法如下：

33、

34、本發(fā)明的有益效果是：

35、1.精確分割與增強顯示：本發(fā)明通過采用先進的語義分割算法，能夠在原始ct圖像中準確識別和分割出肝臟、骨骼等組織結(jié)構(gòu)以及病灶，尤其是在低對比度的情況下也能夠有效區(qū)分。這種精確的分割結(jié)合三維重建技術(shù)，使得醫(yī)生可以清晰地看到病灶和重要解剖結(jié)構(gòu)的相對位置和形態(tài)，從而為手術(shù)規(guī)劃提供更準確的信息。

36、2.多層次、多維度的影像融合：本發(fā)明可以將多層次的ct影像進行融合處理，生成具有多維度信息的三維圖像。通過調(diào)整各影像層的透明度和顏色映射，可以突出不同解剖結(jié)構(gòu)的特點，便于醫(yī)生對病變位置和其與周圍結(jié)構(gòu)的關(guān)系進行全面評估。這種多層次的影像融合技術(shù)，能夠在復(fù)雜的病例中提供更加精細的圖像分析能力。

37、3.快速處理和實時交互：本發(fā)明所涉及的圖像處理方法和三維重建算法經(jīng)過優(yōu)化，能夠在較短時間內(nèi)完成大數(shù)據(jù)量ct影像的重建和處理。通過實時交互功能，醫(yī)生可以隨時調(diào)整視角、旋轉(zhuǎn)模型或切換不同的顯示模式，使得影像的分析過程更加高效，并大大縮短了診斷和治療規(guī)劃的時間。

38、4.個性化治療方案制定：本發(fā)明提供的精確三維重建和圖像分析技術(shù)，可以結(jié)合患者的個體解剖特征，幫助醫(yī)生制定個性化的治療方案。通過對三維模型的深入分析，醫(yī)生可以更好地判斷治療方案的可行性，選擇最佳的治療路徑和方法，從而提高治療效果并減少風(fēng)險。

技術(shù)特征：

1.一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括圖像裁剪crop操作，即：

3.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括重采樣resample操作，即：

4.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括標準化normalization操作，即：

5.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其損失函數(shù)為dice損失和交叉熵損失(cross-entropy,ce)的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,組合損失函數(shù)的公式可表示為：

6.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其激活函數(shù)為使用leakyrelu作為激活函數(shù)，替換了常用的relu激活函數(shù)。leakyrelu的公式的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,函數(shù)的公式可表示為：

7.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其歸一化方法使用使用instancenormalization代替了更流行的batchnormalization，歸一化方法instancenormalization的公式為：

8.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟6)中的圖像校準采用了基于特征點的配準方法，確保各視角數(shù)據(jù)的空間對齊。同時，圖像融合過程通過加權(quán)平均的方法，將來自不同方向的圖像信息進行綜合，權(quán)重根據(jù)實際需求動態(tài)調(diào)整，確保最終生成的三維模型具有更高的精度和一致性。

9.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于肝臟和骨骼模型的重建，采用使用插片和等值面提取的方式來處理各相鄰ct影像圖片之間的過渡，以實現(xiàn)模型的平滑連接。依據(jù)三維數(shù)據(jù)的每一個頂點，判斷其值是否大于等于給定的等值，如果是，則標記為1；否則標記為0；即：

10.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于三維重建器官的展示，使用cmap顏色映射的方式。生成的三維模型通過映射和渲染模塊進行可視化展示。系統(tǒng)使用以下方法來確定每個模型的顏色(color)和透明度(opacity)：

11.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于三維重建器官的加載，使用多線程調(diào)度的方式。在三維重建過程中，系統(tǒng)會顯示當前的進度，確保用戶能夠?qū)崟r了解處理進展。進度更新的方法如下：

技術(shù)總結(jié)
本發(fā)明涉及醫(yī)學(xué)影像處理和計算機輔助診斷的技術(shù)領(lǐng)域，具體涉及一種基于語義分割模型下平掃CT圖像的肝臟及骨骼三維重建方法。該方法包括以下步驟：1)建立平掃CT數(shù)據(jù)庫；2)采集人體的平掃CT影像數(shù)據(jù)；3)將CT影像數(shù)據(jù)導(dǎo)入三維重建系統(tǒng)中；4)根據(jù)興趣區(qū)域(ROI)對CT平掃數(shù)據(jù)進行圖像預(yù)處理5)三維重建系統(tǒng)中內(nèi)嵌的語義分割模型自動對平掃CT影像中的骨骼及肝臟進行標注；6)系統(tǒng)將標注后的CT影像校準融合，并從軸狀、冠狀、矢狀三個方向進行多視角處理；7)生成人體的仿真三維模型；本發(fā)明通過對肝臟及骨骼進行精確的三維建模，使醫(yī)生能夠更直觀地了解人體解剖結(jié)構(gòu)的相對位置關(guān)系，有助于提高手術(shù)的安全性和治療效果，便于醫(yī)生與患者的溝通。

技術(shù)研發(fā)人員：朱聰斌,程琪,胡聰,蘇桐,黃海峰
受保護的技術(shù)使用者：珠海橫琴全星醫(yī)療科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19