本發(fā)明屬于醫(yī)療器械領(lǐng)域，具體涉及一種增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)。

背景技術(shù)：

目前，醫(yī)療機器人技術(shù)的研究已經(jīng)成為國際機器人領(lǐng)域的前沿研究熱點之一，醫(yī)務(wù)人員和科學(xué)工程技術(shù)人員緊密配合，研究開發(fā)了一些醫(yī)用外科手術(shù)系統(tǒng)，但目前還未有水平高的很成熟的系統(tǒng)應(yīng)用于臨床實踐中。

現(xiàn)有的電子內(nèi)窺鏡手術(shù)系統(tǒng)，其主要組成為各種形式的內(nèi)窺鏡、光源主機、圖像處理主機及顯示裝置，內(nèi)窺鏡進入人體腔道后，通過攝像單元采集圖像，經(jīng)圖像處理主機處理后在顯示裝置上顯示出來，供醫(yī)生在手術(shù)時參考。但醫(yī)生在操作手術(shù)時，往往需要較長的時間，而長時間盯著顯示裝置的屏幕會使身體的相關(guān)部位疲勞度增加，極易影響手術(shù)的進行。同時，手術(shù)操作時一直盯著屏幕，使醫(yī)生無法進行別的操作或查看前期檢查的圖像，降低了手術(shù)效率和成功率。

技術(shù)實現(xiàn)要素：

本發(fā)明解決的技術(shù)問題在于提供一種增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)，采用增強現(xiàn)實裝置作為系統(tǒng)顯示裝置的補充，使醫(yī)務(wù)人員能夠通過增強現(xiàn)實裝置上的微顯示器觀看到內(nèi)窺鏡采集的圖像及其它圖像，同時不影響醫(yī)務(wù)人員直接通過眼睛觀察目標(biāo)。為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

一種增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)，該手術(shù)系統(tǒng)包括：

內(nèi)窺鏡，其具有攝像、照明的光學(xué)系統(tǒng)，和將彎曲部設(shè)在前端部分的長條狀插入部；

支架總成以及安裝在支架總成上的光源主機、成像主機和顯示裝置；其中，

所述光源主機具有光源及光源接口，并通過光纖連接所述內(nèi)窺鏡的光學(xué)系統(tǒng)；

所述成像主機具有圖像處理單元，及連接圖像處理單元的存儲單元和第一無線通信單元，所述圖像處理單元用于接收及處理所述內(nèi)窺鏡采集的圖像，并傳輸?shù)剿鲲@示裝置或儲存于存儲單元中；

所述顯示裝置用于顯示經(jīng)所述圖像處理單元處理過的由所述內(nèi)窺鏡采集的圖像；還包括，

增強現(xiàn)實裝置，所述增強現(xiàn)實裝置具有支架，以及設(shè)于所述支架上的第二無線通信單元、微處理單元和微顯示單元，其中，所述微顯示單元于支架戴在人頭部時位于人眼前方；

所述成像主機的圖像處理單元還用于處理圖像并通過第一無線通信單元進行發(fā)送，所述第二無線通信單元用于接收第一無線通信單元發(fā)射的圖像信號，所述微處理單元用于控制并驅(qū)動所述微顯示單元顯示第二無線通信單元接收的圖像信號。

進一步的，所述顯示裝置包括第一顯示器和第二顯示器，所述第一顯示器設(shè)于成像主機上，第二顯示器為專用醫(yī)學(xué)顯示器；所述第一顯示器還用于操作人員在其顯示屏幕上標(biāo)記感興趣區(qū)域，所述圖像處理單元還用于獲取該感興趣區(qū)域，經(jīng)處理后發(fā)送到所述增強現(xiàn)實裝置，并由所述微顯示單元顯示所述感興趣區(qū)域。

優(yōu)選的，所述第一顯示器具有觸摸式顯示屏幕，該觸摸式顯示屏幕用于操作人員通過觸控方式在屏幕上標(biāo)記感興趣區(qū)域。

進一步的，所述微顯示單元通過可調(diào)支架安裝于增強現(xiàn)實裝置上，所述可調(diào)支架用于調(diào)節(jié)微顯示單元與人眼之間的距離。

進一步的，所述增強現(xiàn)實裝置上還設(shè)有語音接收單元，所述語音接收單元連接所述微處理單元，用于接收語音指令；

所述成像主機的存儲單元還用于存儲外部設(shè)備采集的病理圖像；

所述語音接收單元接收到語音指令后，由所述微處理單元通過第二無線通信單元發(fā)送到所述圖像處理單元，并由所述圖像處理單元識別語音指令后從存儲單元中調(diào)取相應(yīng)的病理圖像發(fā)送到增強現(xiàn)實裝置上的微顯示單元進行顯示。

進一步的，本發(fā)明的手術(shù)系統(tǒng)還包括骨傳導(dǎo)耳機，所述骨傳導(dǎo)耳機通過第三通信單元和所述成像主機無線連接，用于接受成像主機的提醒指令并發(fā)出提示語音。

進一步的，所述內(nèi)窺鏡還具有位置傳感單元，所述位置傳感單元連接所述成像主機的圖像處理單元；所述位置傳感單元用于檢測內(nèi)窺鏡所攝圖像的旋轉(zhuǎn)角度，當(dāng)位置傳感單元檢測到內(nèi)窺鏡所攝圖像發(fā)生歪斜或倒立時，所述圖像處理單元對內(nèi)窺鏡采集的圖像進行相應(yīng)的旋轉(zhuǎn)以矯正，使所述顯示裝置顯示的圖像始終保持正立。

優(yōu)選的，所述位置傳感單元為設(shè)于內(nèi)窺鏡里的九軸陀螺儀。

進一步的，本發(fā)明的手術(shù)系統(tǒng)還包括外接電源，所述外接電源包括可充電電池及掛置部，所述掛置部用于將電源掛置于人體上，所述可充電電池連接增強現(xiàn)實裝置的電源接口。

優(yōu)選的，所述內(nèi)窺鏡是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一個或一個以上。

本發(fā)明的有益效果：

本發(fā)明的增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)，在傳統(tǒng)內(nèi)窺鏡手術(shù)系統(tǒng)的基礎(chǔ)上增加了增強現(xiàn)實裝置，該增強現(xiàn)實眼睛能夠佩戴于醫(yī)務(wù)人員頭部，并通過設(shè)于其上的微顯示單元進行圖像顯示，使醫(yī)務(wù)人員能夠通過微顯示單元觀看內(nèi)窺鏡采集的圖像，進行手術(shù)操作；或者忽略微顯示單元，直接以正常方式通過眼睛觀察目標(biāo)，從而將醫(yī)務(wù)人員的眼睛從現(xiàn)有內(nèi)窺鏡手術(shù)系統(tǒng)的顯示裝置上解放出來，避免了醫(yī)務(wù)人員因長時間盯著屏幕造成的身體疲勞甚至損傷，也使得手術(shù)操作更有效率。

進一步的，醫(yī)務(wù)人員可以通過本發(fā)明的手術(shù)系統(tǒng)中的顯示裝置標(biāo)記內(nèi)窺鏡采集的圖像中的感興趣區(qū)域，并由圖像處理單元對該感興趣區(qū)域進一步處理后發(fā)送到增強現(xiàn)實裝置上的微顯示單元進行顯示，使操作者對圖像的觀察更加清楚，提高手術(shù)準(zhǔn)確度。從而大大降低了病人的痛苦、手術(shù)創(chuàng)傷和手術(shù)費用，縮短了康復(fù)時間，同時也減輕了醫(yī)生的疲勞強度。

進一步的，手術(shù)過程中，醫(yī)務(wù)人員可能需要查看其它設(shè)備獲取的病理區(qū)域圖像，比如血管造影圖像、電腦斷層掃描圖像、核磁共振成像圖像或超聲波檢查圖像等。但在進行內(nèi)窺鏡手術(shù)操作時，醫(yī)務(wù)人員的手腳都需要操作相應(yīng)的設(shè)備，無法調(diào)取圖像進行觀看。此時，可以通過本發(fā)明的手術(shù)系統(tǒng)中的語音接收單元發(fā)出語音指令，從預(yù)先存入成像主機的存儲單元中的相關(guān)圖像中調(diào)取需要的圖像，并顯示到增強現(xiàn)實裝置的微顯示單元上進行觀察，從而大大提高了便捷度和手術(shù)效率，使該系統(tǒng)將微創(chuàng)手術(shù)精度和水平提高到新的高度。

附圖說明

圖1為本發(fā)明的增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)的部件組成及連接關(guān)系示意圖。

圖2為內(nèi)窺鏡、支架總成、光源主機和成像主機的安裝、連接示意圖。

圖3為本發(fā)明中增強現(xiàn)實裝置一種實施例的結(jié)構(gòu)示意圖。

圖4為本發(fā)明中增強現(xiàn)實裝置另一種實施例的結(jié)構(gòu)示意圖。

具體實施方式

為了進一步理解本發(fā)明，下面結(jié)合實施例對本發(fā)明優(yōu)選實施方案進行描述，但是應(yīng)當(dāng)理解，這些描述只是為進一步說明本發(fā)明的特征和優(yōu)點，而不是對本發(fā)明權(quán)利要求的限制。

如圖1和圖2所示，本發(fā)明的增強現(xiàn)實無線電子內(nèi)窺鏡手術(shù)系統(tǒng)，其較佳實施例包括：

內(nèi)窺鏡1，所述的內(nèi)窺鏡可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的任意一個，其具有攝像、照明的光學(xué)系統(tǒng)，和將彎曲部設(shè)在前端部分的長條狀插入部11，用于插入人體腔道采集圖像或通過器械進行手術(shù)操作。

以及集成于支架總成2上的：

光源主機3，其具有光源及光源接口，通過光纖連接內(nèi)窺鏡的光學(xué)系統(tǒng)，用于給內(nèi)窺鏡的光學(xué)系統(tǒng)提供照明或手術(shù)光源。

成像主機4，其至少具有圖像處理單元、存儲單元和第一無線通信單元，其中存儲單元和第一無線通信單元連接圖像處理單元。其中，圖像處理單元用于接收及處理內(nèi)窺鏡采集的圖像，之后發(fā)送到顯示裝置顯示或者儲存到存儲單元中。

具體的，上述的圖像處理單元由DSP+FPGA+ARM構(gòu)成，以DSP為主CPU，F(xiàn)PGA作為主CPU的協(xié)處理器進行視頻預(yù)處理，ARM作為輔助處理控制單元。

其中，F(xiàn)PGA完成接口處理、視頻數(shù)據(jù)的接入與預(yù)處理；DSP完成視頻數(shù)據(jù)的輸入、視頻數(shù)據(jù)的壓縮、外存的控制、與FPGA的交互通信及壓縮數(shù)據(jù)的輸出。另外，圖像處理過程中，串行數(shù)字視頻信號（LVDS）通過專用串并轉(zhuǎn)換芯片實現(xiàn)串并轉(zhuǎn)換，然后通過隔離芯片將隔離后的信號送給FPGA。FPGA中的視頻數(shù)據(jù)格式解析模塊將CML接口輸入的視頻信號轉(zhuǎn)換成Y格式視頻數(shù)據(jù)；VPIF接口模塊將視頻數(shù)據(jù)格式解析模塊輸出的數(shù)據(jù)轉(zhuǎn)換成DSP的VPIF接口支持的格式，將視頻數(shù)據(jù)通過VPIF接口傳輸給DSP。DSP實現(xiàn)對視頻數(shù)據(jù)進行編解碼處理，最后將視頻數(shù)據(jù)流通過HDMI接口實現(xiàn)高清視頻顯示。同時，將視頻數(shù)據(jù)流通過無線WIFI傳輸至增強現(xiàn)實裝置實現(xiàn)增強現(xiàn)實顯示。

進一步的，上述的圖像處理單元，通過linux操作系統(tǒng)在ARM嵌入式系統(tǒng)上的移植，實現(xiàn)內(nèi)窺鏡攝像系統(tǒng)的人機交互。ARM與DSP之間的通信具體為：直接將DSP連接到ARM的系統(tǒng)上實現(xiàn)兩者之間的通信。對于ARM設(shè)備，DSP可以看作是連接在其系統(tǒng)上的存儲器，ARM通過存儲器訪問指令訪問DSP。采用ARM與DSP結(jié)合的構(gòu)架，使DSP豐富的資源用于實現(xiàn)圖像處理，充分發(fā)揮其圖像處理領(lǐng)域的優(yōu)勢。比如，在圖像凍結(jié)后，系統(tǒng)需要存儲凍結(jié)圖像時，DSP將凍結(jié)的圖像數(shù)據(jù)發(fā)送到ARM系統(tǒng)，在ARM系統(tǒng)實現(xiàn)存儲。

顯示裝置，其具有顯示屏幕，用于顯示經(jīng)圖像處理單元處理過的由內(nèi)窺鏡采集的圖像。

優(yōu)選的，顯示裝置包括第一顯示器和第二顯示器。其中，第一顯示器集成于成像主機上，該顯示器為觸摸式液晶顯示器，操作人員可以通過觸控的方式在該顯示器的屏幕上標(biāo)記感興趣區(qū)域。其中，所述的感興趣區(qū)域為病人身體病變的關(guān)鍵部位或者手術(shù)的關(guān)鍵部位。選取的感興趣區(qū)域經(jīng)過成像主機的進一步處理后，發(fā)送到所述增強現(xiàn)實裝置，由微顯示單元顯示出來，供醫(yī)生近距離觀看，從而提高手術(shù)的精準(zhǔn)度。

具體的，本發(fā)明的優(yōu)選實施例中，基于Embedded Visual C++對觸摸屏的軟件界面進行設(shè)計。整個視頻圖像的重建和處理軟件界面中，左邊較大窗口為視頻的實時全分辨率預(yù)覽，通過觸摸的觸控方式對觸摸屏上感興趣的圖像區(qū)域進行標(biāo)記，通過右邊的觸摸圖標(biāo)按鍵進行抓捕操作。同時，可以在設(shè)置按鍵中進行選擇以BMP或JPEG格式進行存儲，并將最近捕獲的八幅圖像在右邊小窗口中形成預(yù)覽，圖像抓捕過程不會對視頻的實時顯示產(chǎn)生任何干擾。

第二顯示器為內(nèi)窺鏡系統(tǒng)專用顯示器5。該顯示器具有很高的分辨率，以及優(yōu)異的亮度和對比度，自然的分級和精確的色彩還原，作為主顯示屏幕顯示內(nèi)窺鏡采集的圖像，便于醫(yī)生觀看、識別。

為了將醫(yī)務(wù)人員的眼睛從顯示裝置上解放出來，并提高手術(shù)效率，本發(fā)明的手術(shù)系統(tǒng)還進一步設(shè)置了增強現(xiàn)實裝置。

如圖3所示為本發(fā)明中增強現(xiàn)實裝置的較佳實施例，其具有支架61，以及設(shè)于支架上的第二無線通信單元、微處理單元和微顯示單元62；其中，第二無線通信單元、微處理單元集成于支架上的原件盒63內(nèi)。

或者，上述的增強現(xiàn)實裝置也可以做成如圖4所示的類型。其具有支架71和顯示部72，該顯示部可集成第二無線通信單元、微處理單元和微顯示單元。

具體的，上述實施例中，第二無線通信單元用于和成像主機上的第一無線通信單元進行通信，接受/發(fā)送數(shù)據(jù)信息或指令信息。優(yōu)選的，所述的第一、第二無線通信單元可以是WiFi通信模塊，或者藍(lán)牙通信模塊；當(dāng)然，也可以是其它無線通信模塊，在此不做具體限制。

微處理單元連接第二無線通信單元和微顯示單元，其用于接受圖像主機通過無線通信單元發(fā)送的圖像信號，進一步處理后驅(qū)動微顯示單元顯示接收的圖像信號。

具體的，微處理單元選用八核ARM處理器，其處理圖像時利用CUDA架構(gòu)技術(shù)的KLT和SIFT混合特征點進行跟蹤算法，并合理利用圖像特征點快速跟蹤匹配技術(shù)，極大提升了圖像處理的可用性。考慮到特征點跟蹤匹配算法在像素和特征點兩個層次上的并行性，利用并行運算技術(shù)對算法進行加速，將提高了算法效率，并減小了算法時耗。利用混合特征點的跟蹤策略，通過與深度圖增強算法機制，在保證算法精度的同時維持了在魯棒性和實時性之間的有效平衡。同時，采用深度圖增強算法，利用原始深度圖的置信度估計結(jié)果及彩色圖像的顏色、邊緣和分割結(jié)果為線索對深度圖進行優(yōu)化求解，有效地降低深度圖噪聲并對數(shù)據(jù)缺損區(qū)域進行修復(fù)。微顯示單元用于顯示圖像。特別的，本發(fā)明中，所述的增強現(xiàn)實裝置其微顯示單元為設(shè)于支架上的微顯示器，并且當(dāng)支架戴在人的頭部時，該微顯示正好位于人眼前方。此時，醫(yī)務(wù)人員的眼睛可以靈活選擇，既可以聚焦到微顯示器的屏幕上，也可以忽略微顯示器，以正常方式觀察外部目標(biāo)。

具體實施時，該微顯示單元采用1366x768分辨率的LCOS屏進行圖像顯示，通過可調(diào)支架安裝于增強現(xiàn)實裝置的支架上。當(dāng)增強現(xiàn)實裝置佩戴于人體頭部時，人眼和該LCOS屏的距離通過調(diào)節(jié)可剛好滿足看清楚屏幕上的顯示圖像，并具有觀看外部大屏幕顯示設(shè)備的體驗。

為了進一步增強上述增強現(xiàn)實裝置的功能，提高手術(shù)效率，本發(fā)明的手術(shù)系統(tǒng)中，操作人員在第一顯示器的顯示屏幕上標(biāo)記感興趣區(qū)域，經(jīng)圖像處理單元獲取并處理該感興趣區(qū)域后，發(fā)送到增強現(xiàn)實裝置，并由增強現(xiàn)實裝置上的微顯示單元顯示所述的感興趣區(qū)域，以便于醫(yī)務(wù)人員觀看細(xì)節(jié)或關(guān)鍵區(qū)域的圖像，提高手術(shù)的準(zhǔn)確度和效率。

另外一方面，作為進一步的優(yōu)選實施方案，本發(fā)明的手術(shù)系統(tǒng)還于增強現(xiàn)實裝置上設(shè)置了語音接收單元，該語音接收單元連接微處理單元，用于接收語音指令。同時，成像主機的存儲單元中預(yù)存儲了外部設(shè)備采集的病理圖像，如血管造影圖像、電腦斷層掃描圖像、核磁共振成像圖像或超聲波檢查圖像等。當(dāng)醫(yī)務(wù)人員在手術(shù)過程中需要查看上述圖像時，可發(fā)出語音指令，語音接收單元接受該語音指令后，通過微處理單元發(fā)送到圖像處理單元，由圖像處理單元對語音指令進行識別后，從存儲單元中調(diào)取相應(yīng)的病理圖像發(fā)送到增強現(xiàn)實裝置，并由微顯示單元進行顯示，以便于醫(yī)務(wù)人員查看。此時，醫(yī)務(wù)人員可以在微顯示單元上查看外部設(shè)備采集的病理圖像，并通過顯示裝置觀看內(nèi)窺鏡采集的圖像，進行對比，從而提高手術(shù)準(zhǔn)確度和手術(shù)效率。

上述的語音接收單元可以為集成于支架上的微型麥克風(fēng)，接收語音信號。成像主機的圖像處理單元進一步集成了語音處理模塊，以便進行語音指令識別。在實際使用時，可以通過幾個預(yù)先設(shè)置的語音指令發(fā)出指示，以提高語音指令的識別準(zhǔn)確率。

作為進一步的優(yōu)選實施方案，本發(fā)明的手術(shù)系統(tǒng)還包括骨傳導(dǎo)耳機，該骨傳導(dǎo)耳機通過第三通信單元和成像主機無線連接，用于接受成像主機的提醒指令并發(fā)出提示語音。采用骨傳導(dǎo)耳機，可以有效避免外部噪音的干擾，使接收者聽到的指示更清楚。

作為進一步的優(yōu)選實施方案，本發(fā)明中，內(nèi)窺鏡還具有位置傳感單元，該位置傳感單元為設(shè)于內(nèi)窺鏡中的九軸陀螺儀，其連接成像主機的圖像處理單元。使用時，當(dāng)位置傳感單元檢測到內(nèi)窺鏡所攝的圖像發(fā)生歪斜或倒立時，圖像處理單元根據(jù)九軸陀螺儀采集的數(shù)據(jù)對內(nèi)窺鏡采集的圖像進行相應(yīng)的旋轉(zhuǎn)，使顯示裝置顯示的圖像始終保持正立，以便于醫(yī)務(wù)人員觀看圖像，進而提高操作的準(zhǔn)確度。

進一步的，本發(fā)明的手術(shù)系統(tǒng)還包括外接電源，該外接電源包括可充電電池及掛置部，掛置部用于將電源掛置于人體上，可充電電池連接增強現(xiàn)實裝置的電源接口。采用外接電源，可以克服內(nèi)置電池電量不足或連接電源線麻煩的不足，尤其適用于手術(shù)時間較長的場合。

以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進行若干改進和修飾，這些改進和修飾也落入本發(fā)明權(quán)利要求的保護范圍內(nèi)。