本發(fā)明屬于信息技術(shù)應用，具體涉及一種ai賦能的肝腫瘤三維圖像重建平臺搭建方法。

背景技術(shù)：

1、ai賦能的肝腫瘤三維圖像重建平臺，采用人工智能方法重建組織器官與腫瘤，將重建后的模型部署到服務(wù)器端，可通過web應用交互式查看，虛擬模型通過軟件與真實影像數(shù)據(jù)疊加，增強現(xiàn)實輔助醫(yī)生切除腫瘤。對應上述流程，肝腫瘤三維圖像重建平臺涉及的技術(shù)包括：醫(yī)學圖像分割技術(shù)、交互平臺部署和增強現(xiàn)實技術(shù)。

2、醫(yī)學圖像分割是一種計算機視覺技術(shù)，旨在從醫(yī)學成像數(shù)據(jù)中自動或半自動地識別并分隔出感興趣的區(qū)域(roi)，如器官、組織、病灶等，以便更容易、更準確地進行分析、解釋和進一步處理。本發(fā)明擬通過圖像分割，幫助醫(yī)生精確地定位腫瘤區(qū)域從而提供更準確的診斷信息。在術(shù)中，精確的圖像分割可以幫助引導醫(yī)生完成肝腫瘤切除。醫(yī)學圖像分割技術(shù)仍面臨一些挑戰(zhàn)如，標記樣本數(shù)量少，圖像質(zhì)量低，算法的泛化能力差等。本發(fā)明擬設(shè)計一種有效的肝腫瘤自動分割方法，用于三維模型重建。

3、實現(xiàn)重建模型的服務(wù)器部署，從而支持交互式查看，包括模型的部署、前后端的開發(fā)以及部署環(huán)境的配置等內(nèi)容。選擇一個適合的服務(wù)器(如阿里云，華為云等)進行部署。服務(wù)器端需要設(shè)置服務(wù)器環(huán)境，包括安裝必要的軟件(如python、相關(guān)庫)、配置網(wǎng)絡(luò)(如設(shè)置防火墻規(guī)則，確保api端口可訪問)。開發(fā)一個簡單的前端應用，可以使用html/css/javascript，或者框架如react、vue.js來創(chuàng)建交互式用戶界面。前端應包括文件上傳(或其他數(shù)據(jù)輸入方式)、發(fā)送請求到服務(wù)器的功能，并能展示服務(wù)器返回的重建模型或結(jié)果。如果模型輸出是三維模型或需要復雜交互，可以考慮使用three.js、babylon.js等javascript庫在前端進行三維模型的渲染和交互。一個可交互的三維模型查詢平臺，大大降低了醫(yī)生和患者的模型查詢成本，有利于醫(yī)患之間的溝通。

4、增強現(xiàn)實(augmented?reality，ar)是一種通過在現(xiàn)實世界中疊加計算機生成的信息(如視覺圖像、聲音、文本、視頻等)來增強我們對現(xiàn)實世界的感知的技術(shù)。將ar技術(shù)用于術(shù)中引導系統(tǒng)，正在開創(chuàng)醫(yī)療診斷和手術(shù)治療的新紀元。該技術(shù)的提高了手術(shù)準確性，增強了醫(yī)生的空間感知能力，并且在很大程度上改善了患者的治療效果。在醫(yī)生的視野中疊加虛擬三維重建模型(關(guān)鍵標記)，以增強對現(xiàn)實世界的感知。使用特殊的ar眼鏡、頭盔或通過手術(shù)室內(nèi)的屏幕實現(xiàn)，將虛擬圖像與真實世界準確對齊。實時指導醫(yī)生在手術(shù)過程中準確地定位、切割和操作，尤其是在視線受限的情況下。該技術(shù)將提高手術(shù)的成功率，特別是能幫助年輕醫(yī)生迅速成長。

技術(shù)實現(xiàn)思路

1、為了解決上述存在的問題，本發(fā)明提出：一種ai賦能的肝腫瘤三維圖像重建平臺搭建方法，包括如下步驟：

2、s1、分別使用人工和ai方法，對ct數(shù)據(jù)集中的器官與腫瘤部分進行分割；

3、s2、將分割后的圖片重建成三維的模型，使用next.js和three.js將模型部署到服務(wù)器后端，使得用戶可通過前端的web應用交互式查看；

4、s3、使用arkit軟件開發(fā)包進行增強現(xiàn)實模型部署，之后通過增強現(xiàn)實眼鏡，將重建模型投影到真實場景中，協(xié)助醫(yī)生完成腫瘤切割手術(shù)。

5、進一步地，所述步驟s1中，進行醫(yī)學圖像分割使用的人工方法具體為：

6、使用3dslicer，在每個切面上手動繪制感興趣區(qū)域的輪廓，然后使用自動填充算法將繪制的輪廓擴展到整個3d數(shù)據(jù)集，從而得到完整的分割結(jié)果；

7、將人工分割的三維模型導出為stl格式，隨后使用blender進行模型的渲染，通過調(diào)整光照、材質(zhì)、紋理屬性獲得所需的渲染效果，為之后的可視化與交互做準備。

8、進一步地，所述步驟s1中，進行醫(yī)學圖像分割使用的ai方法具體為：

9、使用在腹部基準數(shù)據(jù)集abdomenct-1k上預訓練的擴散模型對現(xiàn)有數(shù)據(jù)進行擴充，將原始數(shù)據(jù)集和生成數(shù)據(jù)集合并成一個新的擴充數(shù)據(jù)集；

10、在擴充后的數(shù)據(jù)集上訓練nnu-net模型進行圖像分割。

11、進一步地，進行醫(yī)學圖像分割使用的ai方法中，將nnu-net用于圖像分割的方式為：

12、對ct數(shù)據(jù)集進行預處理，包括裁剪、重采樣、歸一化的處理步驟；

13、利用基本的u-net架構(gòu)池，使用五倍交叉驗證方法自動配置和訓練；

14、結(jié)合骰子和交叉熵損失來訓練nnu-net網(wǎng)絡(luò)：

15、ltotal＝ldice+lce

16、基于網(wǎng)絡(luò)u的softmax輸出和真實分割圖v來計算骰子損失：

17、

18、其中，u是網(wǎng)絡(luò)的softmax輸出，v是地面實況分割圖的單熱編碼，u和v都具有形狀i×k，其中i∈i是訓練塊或批次中的像素數(shù)，k∈k是類別；

19、使用基于補丁的推理策略，網(wǎng)絡(luò)精度在補丁邊界處降低，在跨補丁的預測聚合過程中，使靠近中心的體素權(quán)重更高；

20、通過組合不同的模型來執(zhí)行集成，自動選擇在訓練集交叉驗證中獲得最高平均前景骰子分數(shù)的模型，選擇表現(xiàn)最好的模型進行最終提交；

21、使用訓練好的模型以全分辨率生成分割，對分割結(jié)果進行后處理操作，運用連接組件分析，確保分割標簽連貫，并刪除較小的組件以提高準確性。

22、進一步地，所述步驟s2中，使用three.js渲染3d模型，并使用next.js實現(xiàn)交互式查詢，具體為：

23、將三維重建后的模型文件上傳到服務(wù)器端，服務(wù)端配置了交互式查詢必要的next.js和three.js環(huán)境，用戶通過ip地址訪問到服務(wù)器端的模型，并使用交互式的方式查詢模型；

24、用戶使用手機小程序，通過掃描二維碼的方式訪問模型，或通過電腦web應用交互查詢。

25、進一步地，所述步驟s3中，開發(fā)和部署三維重建模型在真實世界環(huán)境中使用，將重建圖像投影到真實場景中的方式為：

26、使用集成了arkit增強現(xiàn)實框架xcode開發(fā)應用，確保模型的渲染和交互符合真實場景需要的精度；

27、擬將術(shù)中的影像與三維圖像擬合疊加，使醫(yī)生在進行微創(chuàng)手術(shù)操作過程中，獲得更好的視野，明晰腫瘤與器官的分割區(qū)域，提高手術(shù)的成功率。

28、本發(fā)明采用的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，具有的優(yōu)點是：將ai算法應用到肝腫瘤術(shù)前診斷，術(shù)中引導，術(shù)后分析整個治療過程中，搭建肝腫瘤三維圖像重建平臺，該平臺主要體現(xiàn)了以下優(yōu)點：

29、(1)使用改進的nnu-net，根據(jù)具體的醫(yī)學圖像分割任務(wù)自動選擇最優(yōu)的網(wǎng)絡(luò)架構(gòu)，減輕手動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的負擔，并且更容易實現(xiàn)模型的自適應和優(yōu)化；

30、(2)使用生成式模型擴充數(shù)據(jù)集，解決了醫(yī)療數(shù)據(jù)資源有限的問題；

31、(3)采用服務(wù)器-客戶端模式，設(shè)計用戶友好的界面，降低操作門檻，使用方便快捷。

技術(shù)特征：

1.一種ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，所述步驟s1中，進行醫(yī)學圖像分割使用的人工方法具體為：

3.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，所述步驟s1中，進行醫(yī)學圖像分割使用的ai方法具體為：

4.根據(jù)權(quán)利要求3所述ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，進行醫(yī)學圖像分割使用的ai方法中，將nnu-net用于圖像分割的方式為：

5.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，所述步驟s2中，使用three.js渲染3d模型，并使用next.js實現(xiàn)交互式查詢，具體為：

6.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺搭建方法，其特征在于，所述步驟s3中，開發(fā)和部署三維重建模型在真實世界環(huán)境中使用，將重建圖像投影到真實場景中的方式為：

技術(shù)總結(jié)
一種AI賦能的肝腫瘤三維圖像重建平臺搭建方法，包括：分別使用人工和AI方法，對CT數(shù)據(jù)集中的器官與腫瘤部分進行分割；將分割后的圖片重建成三維的模型，使用Next.js和three.js將模型部署到服務(wù)器后端，使得用戶可通過前端的Web應用交互式查看；使用ARKit軟件開發(fā)包進行增強現(xiàn)實模型部署，之后通過增強現(xiàn)實眼鏡，將重建模型投影到真實場景中。該方法可以幫助醫(yī)生評估復雜且多樣的醫(yī)學圖像資料，實現(xiàn)了對肝臟及腫瘤的自動定位與劃分，最終為醫(yī)生提供增強現(xiàn)實的三維模型進行高質(zhì)量診斷。

技術(shù)研發(fā)人員：劉延東,國思捷,林曦陽,張士龍,車超
受保護的技術(shù)使用者：大連大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19