本發(fā)明涉及醫(yī)療設(shè)備領(lǐng)域，具體是一種頭戴式醫(yī)療系統(tǒng)及其操作方法。

背景技術(shù)：

現(xiàn)有手術(shù)：術(shù)前用CT、核磁共振、B超、X光等醫(yī)學(xué)影像設(shè)備拍攝患部，在顯示屏上呈現(xiàn)2D平面圖像，醫(yī)生根據(jù)2D圖像想象病患部位空間位置及結(jié)構(gòu)，并據(jù)此施術(shù)。某些對操作精度有要求的手術(shù)(如椎間孔鏡、骶孔貫穿術(shù)等等)，在術(shù)中需要多次進(jìn)行CT掃描或X光照射來獲取手術(shù)器械在人體內(nèi)的實(shí)際位置，低效、不直觀且風(fēng)險(xiǎn)高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種頭戴式醫(yī)療系統(tǒng)及其操作方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種頭戴式醫(yī)療系統(tǒng)，包括AR/MR頭戴顯示設(shè)備和激光發(fā)生器，所述AR/MR頭戴顯示設(shè)備佩戴在醫(yī)生的頭部，醫(yī)生佩戴AR/MR頭戴顯示設(shè)備站在手術(shù)臺的一側(cè)，所述激光發(fā)生器架設(shè)在手術(shù)臺的上方，在患者的體表上進(jìn)行標(biāo)記人造骨性標(biāo)志，激光發(fā)生器對準(zhǔn)患病部位的體表進(jìn)行照射，醫(yī)生通過AR/MR頭戴顯示設(shè)備內(nèi)的攝像頭對人造骨性標(biāo)志進(jìn)行觀察和識別。

一種所述的頭戴式醫(yī)療系統(tǒng)的操作方法，包括準(zhǔn)備步驟和使用步驟，具體步驟如下：

(1)準(zhǔn)備步驟

1)在患者體表做好人造骨性標(biāo)志；

2)對患者進(jìn)行CT掃描，把取得的患部3D模型輸入AR/MR頭戴顯示設(shè)備中；

3)在手術(shù)臺旁邊架設(shè)好激光發(fā)生器；

(2)使用步驟

1)醫(yī)生佩戴并啟動AR/MR頭戴顯示設(shè)備；

2)視線對準(zhǔn)人造骨性標(biāo)志；

3)經(jīng)模式識別算法處理，在AR/MR頭戴顯示設(shè)備上會看到患者身體上出現(xiàn)患部3D模型，實(shí)現(xiàn)透視效果，此時(shí)頭顯不能移動；

4)開啟激光發(fā)生器，在患部體表形成激光矩陣；

5)移動視線，使人造骨性標(biāo)志和激光矩陣同時(shí)出現(xiàn)在AR/MR頭戴顯示設(shè)備的顯示屏中；

6)模式識別算法會自動記錄激光矩陣的點(diǎn)、線信息，完成空間標(biāo)定；

7)佩戴AR/MR頭戴顯示設(shè)備的醫(yī)生圍繞手術(shù)臺隨意走動，觀察患部3D模型，指導(dǎo)手術(shù)操作。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明相對于現(xiàn)有手術(shù)技術(shù)有更高效、更直觀、安全性更高、功能性更強(qiáng)的特點(diǎn)。

附圖說明

圖1為頭戴式醫(yī)療系統(tǒng)的結(jié)構(gòu)示意圖。

圖2為頭戴式醫(yī)療系統(tǒng)中使用場景的示意圖。

圖3為頭戴式醫(yī)療系統(tǒng)中應(yīng)用邏輯的示意圖。

圖4為頭戴式醫(yī)療系統(tǒng)中模式識別的示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1和圖2，本發(fā)明實(shí)施例中，頭戴式醫(yī)療系統(tǒng)，包括AR/MR頭戴顯示設(shè)備3和激光發(fā)生器2，AR/MR頭戴顯示設(shè)備3佩戴在醫(yī)生的頭部，醫(yī)生佩戴AR/MR頭戴顯示設(shè)備3站在手術(shù)臺的一側(cè)，激光發(fā)生器2架設(shè)在手術(shù)臺的上方，在患者的體表上進(jìn)行標(biāo)記人造骨性標(biāo)志1，激光發(fā)生器2對準(zhǔn)人造骨性標(biāo)志1進(jìn)行照射，醫(yī)生通過AR/MR頭戴顯示設(shè)備3內(nèi)的攝像頭對人造骨性標(biāo)志1進(jìn)行觀察和識別。

本發(fā)明的使用分為準(zhǔn)備階段和使用階段。

1、準(zhǔn)備階段如圖1所示：

(1)在患者體表做好人造骨性標(biāo)志1；

(2)對患者CT掃描(本例假定CT掃描已完成)，把取得的患部3D模型輸入AR/MR頭戴顯示設(shè)備3中；

(3)在手術(shù)臺旁邊架設(shè)好激光發(fā)生器2；

2、使用階段如圖2所示：

(1)醫(yī)生佩戴并啟動AR/MR頭戴顯示設(shè)備3；

(2)視線對準(zhǔn)人造骨性標(biāo)志1；

(3)經(jīng)模式識別算法處理，在AR/MR頭戴顯示設(shè)備3上會看到患者身體上出現(xiàn)患部3D模型5，實(shí)現(xiàn)“透視”效果(此時(shí)頭顯不能移動)；

(4)開啟激光發(fā)生器2，在患部體表形成激光矩陣4；

(5)移動視線，使人造骨性標(biāo)志1和激光矩陣4同時(shí)出現(xiàn)在AR/MR頭戴顯示設(shè)備3的顯示屏中；

(6)模式識別算法會自動記錄激光矩陣4的點(diǎn)、線信息完成空間標(biāo)定；

(7)佩戴AR/MR頭戴顯示設(shè)備3的醫(yī)生可以圍繞手術(shù)臺隨意走動，觀察患部3D模型5，指導(dǎo)手術(shù)操作。

本發(fā)明的工作邏輯，如圖3和圖4所示，

本發(fā)明是把虛擬3D模型疊加在現(xiàn)實(shí)物體上，生成具有精確空間位置的混合圖像(AR/MR)的技術(shù)。患部3D模型具有極高的定位精度和3D空間感，醫(yī)生可以在上面設(shè)置虛擬手術(shù)路徑，指導(dǎo)手術(shù)器械的實(shí)施位置、角度及深度，對于復(fù)雜手術(shù)，也無需通過術(shù)中多次CT掃描確認(rèn)器械在患者體內(nèi)的位置。

1、手術(shù)前在患者體表做人造骨性標(biāo)志：所謂人造骨性標(biāo)志，是醫(yī)學(xué)上用于標(biāo)記體表位置的標(biāo)記物，其密度與患病部位相似，在CT(此處以CT為例，任何支持DICOM協(xié)議且具有3D成像功能的醫(yī)學(xué)影像設(shè)備均可)掃描時(shí)，可以與病患部位一同被掃描，并顯示在患部3D模型中。本專利使用一組特殊造型的人造骨性標(biāo)志作為3D模型顯示位置的標(biāo)記，比如三角形、菱形、星形；

2、對做好人造骨性標(biāo)志的患者CT掃描，取得患部3D模型(包含人造骨性標(biāo)志的圖像)；

3、把取得的3D模型輸入AR/MR頭戴顯示設(shè)備，由開發(fā)的模式識別算法做預(yù)處理，對模型的關(guān)鍵點(diǎn)做標(biāo)定(通常是人造骨性標(biāo)志的圖像)；

4、AR/MR頭戴顯示設(shè)備(頭顯)佩戴者目視患者體表，此時(shí)頭顯顯示屏上看到的是未經(jīng)加工合成的真實(shí)世界圖像，頭顯上的攝像頭會自動掃描患者體表圖像，在捕捉到患者體表的骨性標(biāo)志時(shí)，模式識別算法會與患部模型上的關(guān)鍵點(diǎn)做比較；

5、如果模型關(guān)鍵點(diǎn)與骨性標(biāo)志能夠匹配，模式識別算法會驅(qū)動頭顯把患部3D模型上的關(guān)鍵點(diǎn)與骨性標(biāo)志重合，并在頭顯顯示屏上把重合后的患部3D模型顯示出來，此時(shí)頭顯佩戴者看到的圖像是3D模型與真實(shí)空間中人體疊加后的圖像，實(shí)現(xiàn)了患部3D模型的原位置顯示，視覺效果類似“人體透視”；

6、此時(shí)的疊加圖像并不穩(wěn)定，當(dāng)頭顯佩戴者發(fā)生大角度長距離位移時(shí)(如佩戴頭顯的醫(yī)生從手術(shù)臺左側(cè)移動到右側(cè)時(shí))，3D模型可能出現(xiàn)消失、圖像震動、錯(cuò)位等顯示異常。需借助激光矩陣來輔助模式識別算法對空間位置的標(biāo)定。

7、激光矩陣會在患者體表形成由激光點(diǎn)和激光線組成的規(guī)則矩陣，頭顯會把這些點(diǎn)和線的信息傳遞給模式識別算法，由模式識別算法對這些點(diǎn)和線的位置做出標(biāo)定記錄，當(dāng)位移發(fā)生時(shí)，這些點(diǎn)和線與頭顯間的相對角度和相對位置會發(fā)生變化，模式識別算法會把這些角度與位置的變化與原始標(biāo)定位置做比較，根據(jù)偏移量對顯示的圖像做出補(bǔ)償和修正，確保疊加圖像的空間位置是正確的。比如當(dāng)醫(yī)生在手術(shù)臺左側(cè)時(shí)，看到的應(yīng)該是患部3D模型的左側(cè)，移動到右側(cè)時(shí)，看到的應(yīng)當(dāng)是患部3D模型的右側(cè)。

本發(fā)明的工作原理：

1、AR/MR頭戴顯示設(shè)備(以下簡稱頭顯)通過攝像頭識別到患者體表的人造骨性標(biāo)志，通過模式識別算法，與預(yù)先輸入的患部3D模型上的骨性標(biāo)志進(jìn)行匹配；

2、匹配成功后頭顯把3D模型疊加在現(xiàn)實(shí)影像上形成AR/MR圖像，并顯示在頭顯自帶顯示屏上，實(shí)現(xiàn)“透視”效果；

3、為避免頭顯佩戴者發(fā)生位移時(shí)(如從手術(shù)臺左側(cè)移動到右側(cè))，AR/MR圖像的異常(如3D模型的振顫或消失)，需要用輔助手段對真實(shí)世界的3D空間做標(biāo)注，便于頭顯設(shè)備根據(jù)位移實(shí)時(shí)運(yùn)算出正確的圖像；

4、激光矩陣在手術(shù)部位投射出若干激光點(diǎn)和激光線構(gòu)成的矩陣，這些點(diǎn)和線會被頭顯的攝像頭捕捉并記錄；

5、位移發(fā)生時(shí)，模式識別算法會根據(jù)這些點(diǎn)、線發(fā)生的偏移量來對頭顯上的圖像做修正，確保頭顯佩戴者看到正確的影像(如站在左側(cè)看到的是骨骼模型的左側(cè)，站在右側(cè)看到的是骨骼模型的右側(cè))。

對于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此，無論從哪一點(diǎn)來看，均應(yīng)將實(shí)施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。