本發(fā)明涉及醫(yī)療培訓技術領域，尤其涉及一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)。

背景技術：

根據(jù)世界衛(wèi)生組織的調查，角膜盲是僅次于白內障的第二大致盲眼病。中國目前角膜盲患者約為500萬人，并且每年新增10萬多病例，在這些患者當中，絕大多數(shù)人可以通過角膜移植重見光明。但是由于多方面因素，我國各地眼庫的角膜來源奇缺，不少患者只能被動地等待捐獻。統(tǒng)計數(shù)據(jù)顯示，我國每年等待角膜移植的患者至少有50萬人，但有機會接受角膜移植手術并復明的患者不到5000人。

隨著科技不斷發(fā)展，人工角膜的出現(xiàn)，解決角膜供體的不足，為我國500萬乃至全球6000萬的角膜盲患者帶來復明的希望，但是角膜移植醫(yī)生的嚴重不足仍然是橫亙在角膜盲患者走向光明道路上的巨大障礙。目前全國共有眼科醫(yī)生28000名左右，但能開展內眼手術的不足4000人，能夠獨立完成角膜移植手術的醫(yī)生不足百人，眼科醫(yī)生資源仍然缺乏。使得人工角膜推廣應用受到極大限制，如何更多、更快地培養(yǎng)掌握板層角膜移植技術的醫(yī)生成為急迫要解決的一道難題。

當前傳統(tǒng)的板層角膜移植手術醫(yī)生培訓方法主要是集中講授、觀摩教學、替代物(如選擇豬的眼球)演練及現(xiàn)場指導式實操，由于培訓時學員觀看角度與醫(yī)生操作角度存在差異、觀摩教學人數(shù)受限、替代物演練臨場感不足、現(xiàn)場實操風險大等原因，即便是資深眼科醫(yī)生掌握這項手術都需要較長時間，而年輕醫(yī)生的培養(yǎng)周期就更為漫長。

虛擬眼球手術培訓的問題是設備和程序復雜昂貴，并且與真實手術的模擬度還是較大距離，真實感不強，進一步地，現(xiàn)有的眼角膜手術培訓設備往往體積較大，不便攜帶，培訓場地也因此局限于固定地點，培訓人員無法隨時隨地進行培訓練習。

虛擬現(xiàn)實(Virtual Reality，VR)技術是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真技術，它利用計算機創(chuàng)造一個虛擬空間，用戶通過VR眼鏡能夠完全沉浸到該虛擬空間中，利用雙目視覺原理，虛擬空間在眼鏡中是3D立體的，從而達到身臨其境的效果。

由虛擬現(xiàn)實技術發(fā)展而來的增強現(xiàn)實(Augmented Reality，AR)技術是將虛擬的信息疊加到真實世界中，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗，不同于虛擬現(xiàn)實技術，采用增強現(xiàn)實技術用戶不僅能夠看到由計算機生成的虛擬信息，還能夠看到現(xiàn)有世界的真實信息，臨場感與真實感都更強。。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)，能夠真實再現(xiàn)眼角膜手術進程，并對培訓人員進行實時指導，提升眼角膜手術培訓的真實感與臨場感，縮短眼角膜手術培訓周期，降低眼角膜手術培訓成本，且系統(tǒng)簡單便于攜帶，不受場地的限制，隨時隨地進行手術培訓。

為實現(xiàn)上述目的，本發(fā)明提供了一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)，包括：便攜式手術臺、設于所述便攜式手術臺上的動物眼球標本、對應所述動物眼球標本設置的3D攝像顯微鏡、與所述3D攝像顯微鏡電性連接的計算機、與所述計算機電性連接的TOF傳感器、與所述計算機通訊連接的VR眼鏡；

所述3D攝像顯微鏡實時采集手術過程中動物眼球標本以及培訓人員使用的手術器械的正面三維圖像，并傳輸至中央處理器；

所述TOF傳感器對動物眼球標本、培訓人員使用的手術器械、以及培訓人員的手部動作進行實時側面3D掃描，并將3D掃描圖像傳輸至計算機；

所述計算機根據(jù)手術的進程輸出預存在計算機中的相應的指導信息，同時將TOF傳感器采集來的3D掃描圖像和預設的標準手術動作進行實時比對，給出糾正信息，并將所述3D攝像顯微鏡采集的正面三維圖像、指導信息、以及糾正信息一起進行建模，實時生成包含3D攝像顯微鏡采集的正面三維圖像、指導信息、以及糾正信息的虛擬現(xiàn)實或增強現(xiàn)實模型；

所述VR眼鏡與所述計算機通訊，實時直播計算機生成的虛擬現(xiàn)實或增強現(xiàn)實模型，培訓人員通過VR眼鏡觀看所述虛擬現(xiàn)實或增強現(xiàn)實模型進行實操手術培訓。

所述便攜式手術臺上還設有人體頭部模型，所述動物眼球標本設于所述人體頭部模型的眼部。

所述VR眼鏡與所述計算機之間通過無線網(wǎng)絡進行通訊。

計算機內設有采集卡，通過所述采集卡將計算機實時生成的虛擬現(xiàn)實或增強現(xiàn)實模型錄制成視頻，所述VR眼鏡實時直播采集卡錄制的視頻，實現(xiàn)對計算機生成的虛擬現(xiàn)實或增強現(xiàn)實模型的實時直播。

所述VR眼鏡為自帶顯示屏幕的一體式VR眼鏡。

所述VR眼鏡為通過帶有顯示屏幕的智能移動終端進行畫面顯示的移動端VR眼鏡。

所述計算機中設有存儲單元，所述存儲單元保存有預先建模好的標準的眼角膜手術進程、各個進程的指導信息、各個進程的標準手術動作、多種眼科病灶、以及多種手術突發(fā)事件。

所述動物眼球標本為豬眼球。

所述指導信息以及糾正信息均為文字信息、圖像信息、或文字信息與圖像信息的組合。

所述VR眼鏡內設有語言播報裝置，通過語言播報裝置對培訓人員進行指導信息和糾正信息的語言提示。

本發(fā)明的有益效果：本發(fā)明提供了一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)，該系統(tǒng)通過3D攝像顯微鏡拍攝真實的動物眼球標本的圖像，并通過計算機在該圖像上疊加上虛擬現(xiàn)實或增強現(xiàn)實建模的手術的指導信息，使得培訓人員可以在手術的過程中實時獲得指導信息，提升培訓的效率，同時通過TOF傳感器獲取培訓人員實時的手術動作，將通過計算機判斷培訓人員的手術動作是否正確，并給出糾正信息，從而使得培訓人員錯誤的手術動作得到實時糾正，并且其采用便攜式的VR眼鏡以及便攜式的手術臺，系統(tǒng)簡單方便，手術培訓不受場地的限制，在提升眼角膜手術培訓的真實感與臨場感的同時，縮短眼角膜手術培訓周期，降低眼角膜手術培訓成本，實現(xiàn)可移動的眼角膜手術培訓。

附圖說明

為了能更進一步了解本發(fā)明的特征以及技術內容，請參閱以下有關本發(fā)明的詳細說明與附圖，然而附圖僅提供參考與說明用，并非用來對本發(fā)明加以限制。

附圖中，

圖1為本發(fā)明的AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)的結構框圖；

圖2為本發(fā)明的AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)的立體圖。

具體實施方式

為更進一步闡述本發(fā)明所采取的技術手段及其效果，以下結合本發(fā)明的優(yōu)選實施例及其附圖進行詳細描述。

請參閱圖1及圖2，本發(fā)明提供一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)，包括：便攜式手術臺1、設于所述便攜式手術臺1上的動物眼球標本2、對應所述動物眼球標本2設置的3D攝像顯微鏡3、與所述3D攝像顯微鏡3電性連接的計算機4、與所述計算機4電性連接的TOF傳感器5、與所述計算機4通訊連接的VR眼鏡6；

具體地，所述便攜式手術臺1真實的眼角膜手術的手術臺的簡化版，保留了真實的眼角膜手術臺的核心部分，保證手術真實感的同時，兼顧手術臺的便攜性，以實現(xiàn)本發(fā)明隨時隨地進行眼角膜手術培訓的目的。

具體地，為了進一步提升手術的真實感，在該仿真手術臺1上設有人體頭部模型21，手術時，動物眼球標本2放于該人體頭部模型21的眼部，培訓人員在真實的動物眼球標本2上進行手術動作，并通過VR眼鏡6觀察手術中動物眼球標本2的變化，同時獲取計算機4根據(jù)標準手術流程實時提供指導信息，以及根據(jù)標準手術動作提供的糾正信息，相比于傳統(tǒng)培訓系統(tǒng)里的替代物演練，本發(fā)明的培訓系統(tǒng)不僅能夠獲取真實的動物眼球標本2畫面，還能夠實時得到手術的指導信息與糾正信息，相比于采用包括含有各種力反饋機構等在其中的人工眼球和人工手術刀的而進行的眼角膜手術培訓系統(tǒng)相比，本發(fā)明采用真實的動物眼球標本2進行手術培訓，手術的真實感更強，培訓人員在手術過程中獲得手術的手感更好，培訓價值更高的同時系統(tǒng)成本還大大降低。優(yōu)選地，所述動物眼球標本2可為豬眼球，在兼顧手術培訓真實性的同時，降低手術培訓的成本，

具體地，所述3D攝像顯微鏡3拍攝動物眼球標本2以及培訓人員使用的手術器械的正面三維圖像，并傳輸至計算機4，優(yōu)選地，如圖2所示，該3D攝像顯微鏡3對應位于所述動物眼球標本2的正上方，從而使得培訓人員通過VR眼鏡6看到實時的真實三維圖像，提升手術的真實感?？梢岳斫獾氖?，由于眼角膜手術是需要在顯微鏡下完成的手術，培訓人員通過VR眼鏡6觀看的3D攝像顯微鏡3采集的正面三維圖像是經過放大的圖像，從而達到在顯示鏡下進行的真實手術同樣的觀看效果，保證手術培訓正常進行。

具體地，所述飛行時間(Time of Flight，TOF)傳感器5對動物眼球標本2、培訓人員使用的手術器械、以及培訓人員的手部動作進行側面3D掃描，并將3D掃描圖像傳輸至計算機4，所述計算機4中設有存儲單元，所述存儲單元保存有預先建模好的標準的眼角膜手術進程、各個進程的指導信息、各個進程的標準手術動作、多種眼科病灶、以及多種手術突發(fā)事件，通過將TOF傳感器5提供的3D掃描圖像與標準的手術動作進行實時比對，實時糾正對培訓人員在手術過程中的錯誤手術動作。其中，所述標準的眼角膜手術進程、各個進程的指導信息、各個進程的標準手術動作、多種眼科病灶、以及多種手術突發(fā)事件參考的大量的專家手術案例進行制定，保證手術進程的準確性以及培訓多樣性與實用性。所述標準的眼角膜手術進程、各個進程的標準手術動作、多種眼科病灶、以及多種手術突發(fā)事件參考的大量的專家手術案例進行制定，保證手術進程的準確性，以及培訓的多樣性與實用性，通過在標準的眼角膜手術進程加入突發(fā)事件處理的狀況，培訓人員能夠獲得處理多種手術突發(fā)事件的經驗，從而達到更好的培訓效果。通過TOF傳感器5的應用，使得圖像與數(shù)據(jù)采集實現(xiàn)了包括垂直角度與水平角度在內的多角度獲取，從而可以更加真實地表現(xiàn)手術中的每個細節(jié)，展現(xiàn)出培訓人員和醫(yī)學專家在正常手術培訓中難以看到的視角，降低手術動作的理解難度，加快培訓速度，提升培訓質量

具體地，所述計算機4根據(jù)手術的進程輸出預存在計算機4中的相應的指導信息，同時將TOF傳感器5采集來的3D掃描圖像和預設的標準手術動作進行實時比對，給出糾正信息，并將所述3D攝像顯微鏡3采集的正面三維圖像、指導信息、以及糾正信息一起進行建模，實時生成包含3D攝像顯微鏡3采集的正面三維圖像、指導信息、以及糾正信息的虛擬現(xiàn)實或增強現(xiàn)實模型，計算機4內設有采集卡，通過所述采集卡將各個疊加圖像錄制成視頻，所述VR眼鏡6實時直播采集卡錄制的視頻，實現(xiàn)對計算機4生成的疊加圖像的實時直播，培訓人員通過VR眼鏡觀看直播，進行實操手術，獲得如真實手術一般的體驗感，優(yōu)選地，所述指導信息以及糾正信息可以為文字信息、也可以圖像信息、甚至為文字信息與圖像信息的組合，培訓人員根據(jù)指導信息獲取手術進程及手術操作方法，根據(jù)糾正信息糾正錯誤的手術動作。

具體地，所述VR眼鏡6與所述計算機4之間優(yōu)選通過無線網(wǎng)絡進行通訊，當然在不影響手術操作的情況下，所述VR眼鏡6與所述計算機4也可以通過有線網(wǎng)絡進行通訊。優(yōu)選地，所述VR眼鏡6為通過智能手機等帶有顯示屏幕的智能移動終端進行畫面顯示的移動端VR眼鏡，其通過智能移動終端與計算機4建立網(wǎng)絡連接，獲取計算機4給出的視頻信號，并將畫面顯示在其屏幕上，培訓人員通過VR眼鏡6觀看智能移動終端上的畫面。此外，所述VR眼鏡6還可以為自帶顯示屏幕的一體式VR眼鏡，其通過自帶的通訊模塊直接與計算機4通訊，獲取計算機4給出的視頻信號，進行畫面顯示。

進一步地，所述VR眼鏡6內還可以設置語言播報裝置，通過語言播報裝置對培訓人員進行指導信息和糾正信息的語言提示。本發(fā)明還可以設置記錄分析模塊，通過記錄分析模塊記錄培訓人員每一次培訓的過程，并對記錄進行大數(shù)據(jù)分析，獲取培訓難點和培訓效果等數(shù)據(jù)，用以優(yōu)化培訓方案，加快培訓進程，提升培訓效率。

值得一提的是，本發(fā)明既適用于板層角膜手術，也適用于穿透型角膜手術，優(yōu)選地，本發(fā)明主要用于眼角膜手術的標準進程的培訓。

進一步地，本發(fā)明通過可移動式的培訓設備，使得手術培訓突破了時間和場地的限制，使受培訓的醫(yī)生可以有機會隨時隨地進行手術實操模擬,使受訓醫(yī)生能夠便捷、快速地掌握手術要領，通過AR與VR相結合，實現(xiàn)了手術操作流程與實際情況處置的真正融合，實現(xiàn)完全可視、可模擬、可重復教學和培訓的技術方案。

此外，本還發(fā)明還可以進一步包括：顯示屏7，所述顯示屏7可以集成于計算機4中，也可以單獨設置并與計算機4通訊連接，所述顯示屏7可以同步顯示培訓人員從VR眼鏡6中觀看到畫面的三維圖像，從而使在場其他人員與培訓人員同步接收培訓人員看到的圖像，所述顯示屏7還可以顯示學員信息、培訓進度、培訓時長、培訓過程直播及錄像等功能，據(jù)此，現(xiàn)場培訓指導人員可以對正在進行手術的培訓人員進行指導，其他培訓人員可以觀摩手術過程，領悟手術要點，優(yōu)選地，所述顯示屏7為3D觸控顯示屏。

綜上所述，本發(fā)明提供了一種AR和VR相結合的可移動眼角膜智能手術培訓系統(tǒng)，該系統(tǒng)通過3D攝像顯微鏡拍攝真實的動物眼球標本的圖像，并通過計算機在該圖像上疊加上虛擬現(xiàn)實或增強現(xiàn)實建模的手術的指導信息，使得培訓人員可以在手術的過程中實時獲得指導信息，提升培訓的效率，同時通過TOF傳感器獲取培訓人員實時的手術動作，將通過計算機判斷培訓人員的手術動作是否正確，并給出糾正信息，從而使得培訓人員錯誤的手術動作得到實時糾正，并且其采用便攜式的VR眼鏡以及便攜式的手術臺，系統(tǒng)簡單方便，手術培訓不受場地的限制，在提升眼角膜手術培訓的真實感與臨場感的同時，縮短眼角膜手術培訓周期，降低眼角膜手術培訓成本，實現(xiàn)可移動的眼角膜手術培訓。

以上所述，對于本領域的普通技術人員來說，可以根據(jù)本發(fā)明的技術方案和技術構思做出其他各種相應的改變和變形，而所有這些改變和變形都應屬于本發(fā)明權利要求的保護范圍。