本發(fā)明屬于醫(yī)學(xué)技術(shù)領(lǐng)域,涉及一種基于虛擬現(xiàn)實(shí)的醫(yī)學(xué)影像系統(tǒng)。
背景技術(shù):
現(xiàn)有的三維醫(yī)學(xué)影像技術(shù)由于其使用鼠標(biāo)加顯示器的展示效果,并沒(méi)有發(fā)揮出應(yīng)有的三維作用,所以臨床診斷,醫(yī)學(xué)教學(xué)等領(lǐng)域還不能廣泛的接受這種三維影像的展現(xiàn)模式?,F(xiàn)實(shí)(virtual reality)技術(shù)的出現(xiàn)使得三維影像的應(yīng)用得到了發(fā)展,虛擬現(xiàn)實(shí)技術(shù)以其浸沉感、交互性和構(gòu)想性的三大特點(diǎn),為三位醫(yī)學(xué)影像的應(yīng)用提供了新的可能。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于虛擬現(xiàn)實(shí)的醫(yī)學(xué)影像系統(tǒng),該系統(tǒng)將虛擬現(xiàn)實(shí)技術(shù)與醫(yī)學(xué)影像技術(shù)相融合。
其具體技術(shù)方案為:
一種基于虛擬現(xiàn)實(shí)的醫(yī)學(xué)影像系統(tǒng),包括醫(yī)學(xué)影像三維可視化模塊、醫(yī)學(xué)模型優(yōu)化模塊以及虛擬現(xiàn)實(shí)應(yīng)用模塊;
所述醫(yī)學(xué)影像三維可視化模塊包括濾波降噪,圖像分割,三維面繪制重建三個(gè)部分,輸入數(shù)據(jù)文標(biāo)準(zhǔn)DICOM文件,其中,濾波降噪用于去除原始數(shù)據(jù)的噪聲,使用中值濾波算法;圖像分割用于將所需的人體結(jié)構(gòu)進(jìn)行提??;三維重建的用途是將分割的人體結(jié)構(gòu)變?yōu)槿S數(shù)據(jù),使用面繪制算法;三維重建后生成基礎(chǔ)模型文件,該文件將用于醫(yī)學(xué)模型優(yōu)化模塊;
所述的醫(yī)學(xué)模型優(yōu)化模塊,包括模型細(xì)分,貼圖制作以及動(dòng)畫(huà)制作三個(gè)部分,輸入的數(shù)據(jù)均為醫(yī)學(xué)影像三維可視化模塊生成的基礎(chǔ)模型文件,模型細(xì)分的用途是根據(jù)需求將人體結(jié)構(gòu)進(jìn)行進(jìn)一步分解;貼圖制作的用途是根據(jù)需求為模型制作合理的顏色和表面效果;動(dòng)畫(huà)制作的用途是將人體的一些器官的生理特征展現(xiàn)出來(lái);這三個(gè)部分的實(shí)現(xiàn)借助于現(xiàn)有的三維模型制作軟件,并生成優(yōu)化模型文件;
所述虛擬現(xiàn)實(shí)應(yīng)用模塊,包括虛擬場(chǎng)景搭建,模型交互設(shè)計(jì),虛擬現(xiàn)實(shí)應(yīng)用發(fā)布三個(gè)部分,使用醫(yī)學(xué)模型優(yōu)化模塊生成的優(yōu)化模型文件作為輸入,場(chǎng)景搭建部分使用游戲引擎設(shè)計(jì)展示場(chǎng)景,模型交互設(shè)計(jì)將醫(yī)學(xué)模型優(yōu)化模塊的優(yōu)化模型文件導(dǎo)入設(shè)計(jì)好的場(chǎng)景,并按需求進(jìn)行交互的設(shè)計(jì);虛擬現(xiàn)實(shí)應(yīng)用發(fā)布的目的是將設(shè)計(jì)好的場(chǎng)景和交互通過(guò)引擎平臺(tái)發(fā)布為可以引用的程序。
進(jìn)一步,所述面繪制算法為MC移動(dòng)立方體算法。
進(jìn)一步,所述基礎(chǔ)模型文件為STL格式的文件。
進(jìn)一步,所述三維模型制作軟件為MAYA或3DMAX。
進(jìn)一步,所述優(yōu)化模型文件為FBX或OBJ格式的文件。
進(jìn)一步,所述游戲引擎為unity3d引擎或unreal引擎。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果為:
本發(fā)明在虛擬現(xiàn)實(shí)空間中使用真實(shí)的醫(yī)學(xué)影像數(shù)據(jù),具體方案分為醫(yī)學(xué)影像處理、模型優(yōu)化處理和虛擬現(xiàn)實(shí)交互設(shè)計(jì)三個(gè)模塊。這三個(gè)模塊環(huán)環(huán)相扣,缺一不可。
醫(yī)學(xué)影像處理模塊中,將目前流行的CT、MRI或其他影像設(shè)備采集的數(shù)據(jù)進(jìn)行三維可視化,針對(duì)于不同需求的手術(shù),設(shè)計(jì)具有特異性的影像操作,如骨骼和器官的分割,特殊部位的分割,病灶的檢測(cè)等等。在經(jīng)過(guò)上述處理后,獲取想要人體結(jié)構(gòu)或病理信息,并能夠?qū)⒋诵畔⒁匀S模型的方式導(dǎo)出,用作后續(xù)的虛擬現(xiàn)實(shí)的操作數(shù)據(jù)。
模型優(yōu)化模塊中,對(duì)處理過(guò)后的原始三維影像數(shù)據(jù)進(jìn)行平滑等操作,讓模型在允許的是失真范圍內(nèi)變的更美觀,同時(shí)針對(duì)不同的需求為模型添加或刪除一些信息,以方便應(yīng)對(duì)后期不同應(yīng)用的需求。
虛擬現(xiàn)實(shí)交互設(shè)計(jì)模塊中,使用虛擬現(xiàn)實(shí)設(shè)計(jì)引擎(如unity3D)進(jìn)行設(shè)計(jì),將前期優(yōu)化好的醫(yī)學(xué)影像模型功能是可以自動(dòng)將模型數(shù)據(jù)都入到虛擬現(xiàn)實(shí)場(chǎng)景中去,同時(shí),設(shè)計(jì)合理的交互方法,來(lái)實(shí)現(xiàn)效果更好的模型互動(dòng),并通過(guò)虛擬現(xiàn)實(shí)硬件設(shè)備進(jìn)行使用(如HTC VIVE)
附圖說(shuō)明
圖1是基于虛擬現(xiàn)實(shí)的醫(yī)學(xué)影像系統(tǒng)的原理圖;
圖2是基于醫(yī)學(xué)影像三維可視化模塊的流程圖;
圖3是醫(yī)學(xué)模型優(yōu)化模塊的流程圖;
圖4是虛擬現(xiàn)實(shí)應(yīng)用模塊的流程圖。
具體實(shí)施方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)地說(shuō)明。
如圖1所示,一種基于虛擬現(xiàn)實(shí)的醫(yī)學(xué)影像系統(tǒng),包括三個(gè)模塊,醫(yī)學(xué)影像三維可視化模塊、醫(yī)學(xué)模型優(yōu)化模塊以及虛擬現(xiàn)實(shí)應(yīng)用模塊。三個(gè)模塊的邏輯如下圖。其中,標(biāo)準(zhǔn)醫(yī)學(xué)影像文件DICOM文件作為系統(tǒng)的輸入,經(jīng)過(guò)醫(yī)學(xué)影像三維可視化模塊生成STL格式的模型文件,STL文件經(jīng)過(guò)醫(yī)學(xué)模型優(yōu)化模塊生成FBX或OBJ格式的模型文件,虛擬現(xiàn)實(shí)應(yīng)用模塊使用FBX或OBJ格式的模型文件進(jìn)行虛擬現(xiàn)實(shí)交互設(shè)計(jì),并生成虛擬現(xiàn)實(shí)應(yīng)用場(chǎng)景。
如圖2所示,所述的醫(yī)學(xué)影像三維可視化模塊,包括濾波降噪,圖像分割,三維面繪制重建三個(gè)部分,輸入數(shù)據(jù)文標(biāo)準(zhǔn)DICOM文件,其中,濾波降噪是為了去除原始數(shù)據(jù)的噪聲,使用中值濾波算法;圖像分割是為了將所需的人體結(jié)構(gòu)進(jìn)行提取,如提取人體骨骼結(jié)構(gòu),使用區(qū)域生長(zhǎng)算法;三維重建是為了將分割的人體結(jié)構(gòu)變?yōu)槿S數(shù)據(jù),使用面繪制算法,如MC移動(dòng)立方體算法。三維重建后即可生成基礎(chǔ)模型文件,如STL格式的文件,該文件將用于醫(yī)學(xué)模型優(yōu)化模塊。
如圖3所示,所述的醫(yī)學(xué)模型優(yōu)化模塊,包括模型細(xì)分,貼圖制作以及動(dòng)畫(huà)制作三個(gè)部分,輸入的數(shù)據(jù)均為醫(yī)學(xué)影像三維可視化模塊生成的基礎(chǔ)模型文件。模型細(xì)分是為了根據(jù)需求將人體結(jié)構(gòu)進(jìn)行進(jìn)一步分解,如心臟分解為左右兩個(gè)部分;貼圖制作部分是為了根據(jù)需求為模型制作合理的顏色和表面效果,如心臟的紅色效果;動(dòng)畫(huà)制作是為了將人體的一些器官的生理特征展現(xiàn)出來(lái),如心臟的泵血功能。這三個(gè)部分的實(shí)現(xiàn)借助于現(xiàn)有的三維模型制作軟件,如MAYA或3DMAX,并生成優(yōu)化模型文件,如FBX或OBJ格式的文件。
如圖4所示,所述的虛擬現(xiàn)實(shí)應(yīng)用模塊,包括虛擬場(chǎng)景搭建,模型交互設(shè)計(jì),虛擬現(xiàn)實(shí)應(yīng)用發(fā)布三個(gè)部分,使用醫(yī)學(xué)模型優(yōu)化模塊生成的優(yōu)化模型文件作為輸入,場(chǎng)景搭建部分使用游戲引擎設(shè)計(jì)展示場(chǎng)景,如unity3d引擎或unreal引擎,模型交互設(shè)計(jì)將醫(yī)學(xué)模型優(yōu)化模塊的優(yōu)化模型文件導(dǎo)入設(shè)計(jì)好的場(chǎng)景,并按需求進(jìn)行交互的設(shè)計(jì),比如心臟的切割,放大縮小;虛擬現(xiàn)實(shí)應(yīng)用發(fā)布的目的是將設(shè)計(jì)好的場(chǎng)景和交互通過(guò)引擎平臺(tái)發(fā)布為可以引用的程序,如使用unity3d平臺(tái)和STEAMVR SDK發(fā)布為可以使用HTC vive硬件觀看的應(yīng)用程序。
以上所述,僅為本發(fā)明較佳的具體實(shí)施方式,本發(fā)明的保護(hù)范圍不限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi),可顯而易見(jiàn)地得到的技術(shù)方案的簡(jiǎn)單變化或等效替換均落入本發(fā)明的保護(hù)范圍內(nèi)。