本發(fā)明涉及醫(yī)療培訓(xùn)技術(shù)領(lǐng)域，尤其涉及一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)。
背景技術(shù)：
隨著醫(yī)學(xué)院和醫(yī)學(xué)生的增多，醫(yī)院能夠提供給醫(yī)學(xué)生的實踐機(jī)會和資源日益減少，本來就已經(jīng)十分緊張的臨床實踐教學(xué)資源變得更加短缺，直接導(dǎo)致實習(xí)中觀摩質(zhì)量的下降，學(xué)生實操手術(shù)的機(jī)會更是微乎其微，難以培養(yǎng)出高水平的醫(yī)生。
與此同時，由于多種原因?qū)е履壳暗尼t(yī)患關(guān)系十分緊張，醫(yī)療糾紛不斷，國家醫(yī)療糾紛及醫(yī)療事故處理條例也紛紛出臺，過去醫(yī)學(xué)生在病人身上進(jìn)行實習(xí)的培養(yǎng)方法也已經(jīng)被淘汰，由此，使得醫(yī)學(xué)生的理論學(xué)習(xí)與實踐學(xué)習(xí)無法融會貫通，難以提升醫(yī)學(xué)生的臨床綜合能力，難以培養(yǎng)出高水平的醫(yī)生，進(jìn)而導(dǎo)致醫(yī)患關(guān)系進(jìn)一步更加緊張，形成一個惡性循環(huán)。
目前，很多機(jī)構(gòu)也已經(jīng)在研究通過各種手段進(jìn)行模擬手術(shù)的技術(shù)，來為醫(yī)學(xué)生增加更多的實習(xí)機(jī)會，目前的模擬手術(shù)大多是通過人造假體進(jìn)行虛擬手術(shù)，其真實感與臨場感很差，實用性不高，同時由于培訓(xùn)時學(xué)員觀看角度與指導(dǎo)人員觀看角度存在差異，以及指導(dǎo)人員的數(shù)量限制，學(xué)員也很難在第一時間得到手術(shù)指導(dǎo)，從而導(dǎo)致學(xué)員養(yǎng)成錯誤的手術(shù)習(xí)慣，難以改正。
虛擬現(xiàn)實(Virtual Reality，VR)與增強(qiáng)現(xiàn)實(Augmented Reality，AR)是近年出現(xiàn)的新的科研熱點，通過VR和AR技術(shù)，人們可以觀看到三維立體的虛擬畫面，并且可以將三維立體的虛擬畫面與現(xiàn)實世界中的場景進(jìn)行疊加，從而使觀眾體驗到身臨其境的感覺，真實感與臨場感極強(qiáng)。
技術(shù)實現(xiàn)要素：
本發(fā)明的目的在于提供一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，使得培訓(xùn)人員能夠同時觀看到手術(shù)目標(biāo)對象的三維圖像以及當(dāng)前手術(shù)進(jìn)程的提示信息。
為實現(xiàn)上述目的，本發(fā)明提供了一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，包括：模擬手術(shù)臺、設(shè)于所述模擬手術(shù)臺上手術(shù)目標(biāo)對象、對應(yīng)所述手術(shù)目標(biāo)對象設(shè)置的3D圖像采集模塊、與所述3D圖像采集模塊通訊連接的中央處理器、與所述中央處理器通訊連接動作捕捉模塊、與所述中央處理器通訊連接的AR交互模塊；
所述3D圖像采集模塊實時采集手術(shù)過程中手術(shù)目標(biāo)對象以及培訓(xùn)人員使用的手術(shù)器械的三維圖像，并傳輸至中央處理器；
所述動作捕捉模塊實時采集手術(shù)過程中培訓(xùn)人員的手術(shù)動作，并傳輸至中央處理器；
所述中央處理器根據(jù)手術(shù)的進(jìn)程相應(yīng)輸出的預(yù)存在中央處理器中的指導(dǎo)信息，并將動作捕捉模塊采集來的培訓(xùn)人員的手術(shù)動作和預(yù)設(shè)的標(biāo)準(zhǔn)手術(shù)動作進(jìn)行實時比對，給出糾正信息，并將所述3D圖像采集模塊采集的三維圖像、指導(dǎo)信息、以及糾正信息一起進(jìn)行建模，實時生成包含3D圖像采集模塊采集的三維圖像、指導(dǎo)信息、以及糾正信息的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型；
所述AR交互模塊實時獲取中央處理器生成的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型，并根據(jù)該增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型將指導(dǎo)信息以及糾正信息展示在培訓(xùn)人員的視野中，培訓(xùn)人員通過AR交互模塊觀看手術(shù)目標(biāo)對象和其使用的手術(shù)器械或觀看手術(shù)目標(biāo)對象和其使用的手術(shù)器械的三維圖像，并獲取指導(dǎo)信息以及糾正信息。
所述3D圖像采集模塊為3D攝像顯微鏡、或3D攝像機(jī)。
所述動作捕捉模塊為TOF傳感器。
所述AR交互模塊為AR眼鏡。
所述AR眼鏡為采用LCOS芯片、或Si-OLED芯片、或Micro-LED芯片的AR眼鏡。
所述手術(shù)目標(biāo)對象為該手術(shù)對應(yīng)的動物身體部分的標(biāo)本。
還包括設(shè)于所述模擬手術(shù)臺上的人體模型，該手術(shù)對應(yīng)的動物身體部分的標(biāo)本對應(yīng)設(shè)置于所述人體模型內(nèi)。
還包括顯示模塊，所述顯示模塊同步顯示培訓(xùn)人員通過AR交互模塊觀看到的畫面的三維圖像。
所述指導(dǎo)信息以及糾正信息均為文字信息、圖像信息、或文字信息與圖像信息的組合。
所述AR交互模塊中還設(shè)有語音播報裝置，通過語音播報裝置對培訓(xùn)人員進(jìn)行指導(dǎo)信息和糾正信息的語音提示。
本發(fā)明的有益效果：本發(fā)明提供了一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，其通過3D圖像采集模塊采集手術(shù)目標(biāo)對象以及培訓(xùn)人員使用的手術(shù)器械的三維圖像，通過動作捕捉模塊實時捕捉培訓(xùn)人員的手術(shù)動作，通過中央處理器給出糾正信息和指導(dǎo)信息，建立包含3D圖像采集模塊采集的三維圖像、指導(dǎo)信息、以及糾正信息的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型，培訓(xùn)人員通過AR交互模塊實時獲取手術(shù)目標(biāo)對象和其使用的手術(shù)器械的狀況、指導(dǎo)信息以及糾正信息，能夠提升醫(yī)療培訓(xùn)的真實感與臨場感，縮短醫(yī)療培訓(xùn)周期，降低醫(yī)療培訓(xùn)成本。
附圖說明
為了能更進(jìn)一步了解本發(fā)明的特征以及技術(shù)內(nèi)容，請參閱以下有關(guān)本發(fā)明的詳細(xì)說明與附圖，然而附圖僅提供參考與說明用，并非用來對本發(fā)明加以限制。
附圖中，
圖1為本發(fā)明的AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)結(jié)構(gòu)圖。
具體實施方式
為更進(jìn)一步闡述本發(fā)明所采取的技術(shù)手段及其效果，以下結(jié)合本發(fā)明的優(yōu)選實施例及其附圖進(jìn)行詳細(xì)描述。
請參閱圖1，本發(fā)明提供一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，包括：模擬手術(shù)臺1、設(shè)于所述模擬手術(shù)臺1上手術(shù)目標(biāo)對象2、對應(yīng)所述手術(shù)目標(biāo)對象2設(shè)置的3D圖像采集模塊3、與所述3D圖像采集模塊3通訊連接的中央處理器4、與所述中央處理器4通訊連接動作捕捉模塊5、與所述中央處理器通訊連接的AR交互模塊6。
具體地，所述模擬手術(shù)臺1根據(jù)具體的醫(yī)療培訓(xùn)內(nèi)容的需要，可以仿照真實手術(shù)臺設(shè)置，以提升醫(yī)療培訓(xùn)的真實感，也可以是真實手術(shù)臺的簡化版，僅保留真實手術(shù)臺的核心部分，以控制成本和便于模擬手術(shù)臺1的攜帶。
具體地，所述手術(shù)目標(biāo)對象2可以采用需要培訓(xùn)的手術(shù)對應(yīng)的動物身體部分的標(biāo)本，例如眼角膜手術(shù)培訓(xùn)時，該手術(shù)目標(biāo)對象2可以選擇豬眼球標(biāo)本，同時為了進(jìn)一步提供手術(shù)的真實感，此時還可以在所述模擬手術(shù)臺1上設(shè)置人體模型，并將手術(shù)目標(biāo)對象2放置于所述人體模型，例如眼角膜手術(shù)培訓(xùn)時，將豬眼球放置于人體頭部模型的眼部，當(dāng)然所述手術(shù)目標(biāo)對象2也可以為人的器官模型，這些都可以依據(jù)醫(yī)療培訓(xùn)的需要進(jìn)行調(diào)整，并不會影響本發(fā)明的實現(xiàn)。
具體地，所述3D圖像采集模塊3實時采集手術(shù)過程中手術(shù)目標(biāo)對象2以及培訓(xùn)人員使用的手術(shù)器械的三維圖像，并傳輸至中央處理器4，進(jìn)一步地，根據(jù)醫(yī)療培訓(xùn)的需要該3D圖像采集模塊3可以選用3D攝像顯微鏡或3D攝像機(jī)，其中，需要在顯微鏡放大視野下進(jìn)行的手術(shù)選擇3D攝像顯微鏡以獲取手術(shù)目標(biāo)對象的三維放大圖像，而不需要在顯微鏡下進(jìn)行的手術(shù)則選用3D攝像機(jī)以獲取手術(shù)目標(biāo)對象的正常圖像。
具體地，所述動作捕捉模塊5實時采集手術(shù)過程中培訓(xùn)人員的手術(shù)動作，并傳輸至中央處理器4，優(yōu)選地，所述動作捕捉模塊5為飛行時間(Time of Flight，TOF)傳感器，其在與所述3D圖像采集模塊3不同的角度采集培訓(xùn)人員的手術(shù)動作，例如3D圖像采集模塊3從手術(shù)目標(biāo)對象2的正上方，采集三維圖像，所述動作捕捉模塊5從手術(shù)目標(biāo)對象2的側(cè)面采集手術(shù)動作，通過動作捕捉模塊5的應(yīng)用，使得圖像與數(shù)據(jù)采集實現(xiàn)了包括垂直角度與水平角度在內(nèi)的多角度獲取，從而可以更加真實地表現(xiàn)手術(shù)中的每個細(xì)節(jié)，展現(xiàn)出培訓(xùn)人員和醫(yī)學(xué)專家在正常手術(shù)培訓(xùn)中難以看到的視角，降低手術(shù)動作的理解難度，加快培訓(xùn)速度，提升培訓(xùn)質(zhì)量。
具體地，所述中央處理器4根據(jù)手術(shù)的進(jìn)程相應(yīng)輸出的預(yù)存在中央處理器4中的指導(dǎo)信息，并將動作捕捉模塊5采集來的培訓(xùn)人員的手術(shù)動作和預(yù)設(shè)的標(biāo)準(zhǔn)手術(shù)動作進(jìn)行實時比對，給出糾正信息，并將所述3D圖像采集模塊3采集的三維圖像、指導(dǎo)信息、以及糾正信息一起進(jìn)行建模，實時生成包含3D圖像采集模塊3采集的三維圖像、指導(dǎo)信息、以及糾正信息的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型。進(jìn)一步地，所述中央處理器4中存儲有標(biāo)準(zhǔn)的手術(shù)進(jìn)程、各個進(jìn)程的標(biāo)準(zhǔn)手術(shù)動作、以及各個進(jìn)程中可能出現(xiàn)的特殊狀況，所述標(biāo)準(zhǔn)的手術(shù)進(jìn)程、以及各個進(jìn)程的標(biāo)準(zhǔn)手術(shù)動作參考的大量的專家手術(shù)的進(jìn)程進(jìn)行制定，保證手術(shù)進(jìn)程的準(zhǔn)確性，指導(dǎo)培訓(xùn)人員準(zhǔn)確處理各個手術(shù)進(jìn)程及各個手術(shù)進(jìn)程中可能出現(xiàn)的特殊狀況。優(yōu)選地，所述指導(dǎo)信息以及糾正信息可以為文字信息、也可以圖像信息、甚至為文字信息與圖像信息的組合，培訓(xùn)人員根據(jù)指導(dǎo)信息獲取手術(shù)進(jìn)程及手術(shù)操作方法，根據(jù)糾正信息糾正錯誤的手術(shù)動作。
具體地，所述AR交互模塊6實時獲取中央處理器4生成的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型，并根據(jù)該增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型將指導(dǎo)信息以及糾正信息展示在培訓(xùn)人員的視野中，培訓(xùn)人員通過AR交互模塊6觀看手術(shù)目標(biāo)對象2和其使用的手術(shù)器械或觀看手術(shù)目標(biāo)對象2和其使用的手術(shù)器械的三維圖像，并獲取指導(dǎo)信息以及糾正信息。優(yōu)選地，所述AR交互模塊6為AR眼鏡，尤其是采用硅基液晶(Liquid Crystal on Silicon，LCOS)芯片、硅基有機(jī)發(fā)光二極管(Si-OLED)芯片或微發(fā)光二極管(Micro-LED)芯片的能夠顯示超高清晰度圖像的AR眼鏡。
進(jìn)一步地，所述AR交互模塊6的實現(xiàn)方式可根據(jù)醫(yī)療培訓(xùn)的需要選擇視頻透視式(camera see through)或光學(xué)透視式(optical see through)，其中，視頻透視式是將3D圖像采集模塊3采集的三維圖像、指導(dǎo)信息、及糾正信息疊加到一個圖像中，并通過相應(yīng)的顯示設(shè)備進(jìn)行顯示，培訓(xùn)人員觀看的是顯示在顯示設(shè)備中手術(shù)目標(biāo)對象2和其使用的手術(shù)器械的三維圖像以及疊加在該三維圖像上的指導(dǎo)信息以及糾正信息，而光學(xué)透視式是將指導(dǎo)信息以及糾正信息投射在AR交互模塊6的光路中，培訓(xùn)人員透過AR交互模塊6的光路直接觀看手術(shù)目標(biāo)對象2和其使用的手術(shù)器械的真實場景以及投射在光路中的指導(dǎo)信息以及糾正信息，無論是在視頻透視式還是光學(xué)透視式中指導(dǎo)信息以及糾正信息展示的位置均需要保證培訓(xùn)人員能夠正常觀察手術(shù)目標(biāo)對象2和其使用的手術(shù)器械，以保證手術(shù)培訓(xùn)正常進(jìn)行。
值得一提的是，相比于傳統(tǒng)培訓(xùn)時培訓(xùn)人員直接觀看或通過普通顯微鏡等輔助設(shè)備觀看手術(shù)目標(biāo)對象，本發(fā)明能夠在保證真實感的前提下，還隨著手術(shù)的進(jìn)程向培訓(xùn)人員提供指導(dǎo)信息和糾正信息，培訓(xùn)人員根據(jù)指導(dǎo)信息和糾正信息能夠在沒有其他指導(dǎo)人員的情況下獨立進(jìn)行手術(shù)培訓(xùn)，且保證手術(shù)動作及流程的準(zhǔn)確性，相比于采用包括含有各種力反饋機(jī)構(gòu)的醫(yī)療手術(shù)培訓(xùn)系統(tǒng)，本發(fā)明不需要在手術(shù)目標(biāo)對象上增加采用繁瑣的力反饋機(jī)構(gòu)，且手術(shù)目標(biāo)對象可以選擇真實的動物身體標(biāo)本2，手術(shù)的真實感更強(qiáng)，培訓(xùn)人員在手術(shù)過程中獲得手術(shù)的手感更好，培訓(xùn)價值更高的同時系統(tǒng)成本還大大降低。
進(jìn)一步地，本發(fā)明的AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)還可以包括一個獨立的顯示模塊，所述顯示模塊同步顯示培訓(xùn)人員通過AR交互模塊6觀看到的畫面的三維圖像，從而使在場其他人員與培訓(xùn)人員同步接收培訓(xùn)人員看到的圖像，所述顯示模塊還可以顯示學(xué)員信息、培訓(xùn)進(jìn)度、培訓(xùn)時長、培訓(xùn)過程直播及錄像等，據(jù)此，現(xiàn)場培訓(xùn)指導(dǎo)人員可以對正在進(jìn)行手術(shù)的培訓(xùn)人員進(jìn)行指導(dǎo)，其他培訓(xùn)人員可以觀摩手術(shù)過程，領(lǐng)悟手術(shù)要點，優(yōu)選地，所述顯示屏為3D觸控顯示屏。此外，還可以在本發(fā)明的AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)上增設(shè)語音播報裝置，通過語音播報裝置對培訓(xùn)人員進(jìn)行指導(dǎo)信息和糾正信息的語音提示，優(yōu)選地，所述語音播報裝置設(shè)于所述AR交互模塊6中。
此外，本發(fā)明的AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，還可以設(shè)置記錄分析模塊，通過記錄分析模塊記錄培訓(xùn)人員每一次培訓(xùn)的過程，并對記錄進(jìn)行大數(shù)據(jù)分析，獲取培訓(xùn)難點和培訓(xùn)效果等數(shù)據(jù)，用以優(yōu)化培訓(xùn)方案，加快培訓(xùn)進(jìn)程，提升培訓(xùn)效率。
需要說明的是，本發(fā)明的AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，采用3D圖像采集模塊3采集現(xiàn)實世界中手術(shù)目標(biāo)對象2以及手術(shù)器械的三維畫面，并通過建模在在培訓(xùn)人員的視野中展示指導(dǎo)信息和糾正信息，培訓(xùn)人員在手術(shù)時不僅看到手術(shù)場景，還能夠看到疊加在手術(shù)場景中的指導(dǎo)信息和糾正信息，從而使得培訓(xùn)人員獲取比直接觀看更多的信息，對手術(shù)培訓(xùn)進(jìn)行實時指導(dǎo)或糾正，設(shè)備簡單，成本低，培訓(xùn)的效果更佳、效率更高，通過AR與VR相結(jié)合，實現(xiàn)了手術(shù)操作流程與實際情況處置的真正融合，實現(xiàn)完全可視、可模擬、可重復(fù)教學(xué)和培訓(xùn)的技術(shù)方案。
綜上所述，本發(fā)明提供了一種AR和VR相結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)，其通過3D圖像采集模塊采集手術(shù)目標(biāo)對象以及培訓(xùn)人員使用的手術(shù)器械的三維圖像，通過動作捕捉模塊實時捕捉培訓(xùn)人員的手術(shù)動作，通過中央處理器給出糾正信息和指導(dǎo)信息，建立包含3D圖像采集模塊采集的三維圖像、指導(dǎo)信息、以及糾正信息的增強(qiáng)現(xiàn)實或虛擬現(xiàn)實模型，培訓(xùn)人員通過AR交互模塊實時獲取手術(shù)目標(biāo)對象和其使用的手術(shù)器械的狀況、指導(dǎo)信息以及糾正信息，能夠提升醫(yī)療培訓(xùn)的真實感與臨場感，縮短醫(yī)療培訓(xùn)周期，降低醫(yī)療培訓(xùn)成本。
以上所述，對于本領(lǐng)域的普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)方案和技術(shù)構(gòu)思做出其他各種相應(yīng)的改變和變形，而所有這些改變和變形都應(yīng)屬于本發(fā)明權(quán)利要求的保護(hù)范圍。