專利名稱：具有改進(jìn)的控制器的自動(dòng)化外科手術(shù)系統(tǒng)的制作方法
具有改進(jìn)的控制器的自動(dòng)化外科手術(shù)系統(tǒng)本發(fā)明涉及自動(dòng)化外科手術(shù)系統(tǒng)，特別是用于微創(chuàng)手術(shù)例如內(nèi)窺鏡檢查的自動(dòng)化外科手術(shù)系統(tǒng)。在現(xiàn)有技術(shù)中，已提出了用于執(zhí)行外科手術(shù)，特別是腹腔鏡手術(shù)的自動(dòng)化系統(tǒng)。這些自動(dòng)化系統(tǒng)包括由外科醫(yī)生通過(guò)專門的操縱臺(tái)控制的一個(gè)或多個(gè)機(jī)械臂(robot arm)。所述操縱臺(tái)通常包括電視屏幕和合適的操縱器，在電視屏幕上顯示手術(shù)區(qū)的畫面(通常借助于內(nèi)窺鏡電視攝像機(jī)來(lái)記錄)，外科醫(yī)生借助于操縱器來(lái)執(zhí)行機(jī)械臂的運(yùn)動(dòng)。操縱器可以是“反應(yīng)的”類型的，使得外科醫(yī)生也能夠用他/她的手來(lái)感覺(jué)由自動(dòng)化外科手術(shù)器械施加在患者的組織上的力。通常，機(jī)械臂中的一個(gè)使電視攝像機(jī)移動(dòng)，使得外科醫(yī)生能夠在手術(shù)期間改變其視角，同時(shí)一個(gè)或多個(gè)機(jī)械臂使手術(shù)器械(鑷子、剪刀、手術(shù)刀、吸引器等)移動(dòng)，外科醫(yī)生用該手術(shù)器械來(lái)執(zhí)行預(yù)期手術(shù)?！?br> 由于可用的控制器的數(shù)量和外科醫(yī)生必須監(jiān)視的手術(shù)參數(shù)的數(shù)量，對(duì)于外科醫(yī)生來(lái)說(shuō)，控制該系統(tǒng)是有些復(fù)雜的。除了機(jī)械臂的運(yùn)動(dòng)之外，外科醫(yī)生還必須操作安裝在臂上的外科手術(shù)器具(例如，控制鑷子或剪刀的打開及關(guān)閉)并控制電視攝像機(jī)鏡頭，以便根據(jù)任何一個(gè)時(shí)刻的需要而具有手術(shù)區(qū)的更近或更遠(yuǎn)的畫面。通常，當(dāng)正在看由電視攝像機(jī)顯示的畫面時(shí)，外科醫(yī)生必須同時(shí)操作帶有外科手術(shù)器具的兩個(gè)機(jī)械臂，使得他/她的雙手都被占用來(lái)控制相應(yīng)的操縱器。這妨礙了外科醫(yī)生能夠使用其它系統(tǒng)功能，除非他/她從外科手術(shù)器具控制器移開他/她的手。也已提出其中某些功能可通過(guò)使用設(shè)置在操縱器上的踏板(pedal)或附加控制設(shè)備來(lái)激活使得其可以用手指來(lái)操作而無(wú)需放開操縱器本身的系統(tǒng)。然而，所有這些系統(tǒng)往往是不直觀的，并且在任何情況下，當(dāng)用外科手術(shù)操縱器來(lái)執(zhí)行精確操縱時(shí)分散了外科醫(yī)生的注意力。另外的問(wèn)題是由于某種原因(例如，為了執(zhí)行另外的功能或觀察在操縱臺(tái)上或在手術(shù)區(qū)外的其它器械上顯示的手術(shù)參數(shù))，外科醫(yī)生的注意力可能從手術(shù)區(qū)的畫面分散。在這些情況下，外科醫(yī)生可能沒(méi)有注意到自動(dòng)化外科手術(shù)器械的不正確或危險(xiǎn)的運(yùn)動(dòng)，該不正確或危險(xiǎn)的運(yùn)動(dòng)也可能由他/她在緊握操縱器時(shí)不自覺(jué)地執(zhí)行。為了避免這樣的情況，已提出了使用外科醫(yī)生必須操作來(lái)使機(jī)械手(robot)的運(yùn)動(dòng)激活/去激活(deactivate)的踏板，以便能夠在從操縱器移開他/她的手和引導(dǎo)他/她的注意力離開手術(shù)區(qū)之前使運(yùn)動(dòng)去激活。然而，該踏板的及時(shí)操作取決于外科醫(yī)生。本發(fā)明的主要目的是提供一種自動(dòng)化外科手術(shù)系統(tǒng)以及一種允許由外科醫(yī)生更好和更安全地控制的控制方法，從而除了其它方面，確保系統(tǒng)的更好的操作安全性。鑒于這個(gè)目標(biāo)，已經(jīng)根據(jù)本發(fā)明產(chǎn)生的想法是提供一種自動(dòng)化外科手術(shù)系統(tǒng)，其包括至少一個(gè)機(jī)械臂，該機(jī)械臂在預(yù)期用于外科醫(yī)生的控制系統(tǒng)的控制下動(dòng)作，其特征在于，操縱臺(tái)包括用于檢測(cè)外科醫(yī)生的注視方向且用于依據(jù)檢測(cè)到的注視方向輸入指令的眼部跟S示系統(tǒng)。
根據(jù)本發(fā)明的另外的想法是提供一種用于控制自動(dòng)化外科手術(shù)系統(tǒng)的方法，該自動(dòng)化外科手術(shù)系統(tǒng)包括在預(yù)期用于外科醫(yī)生的操縱臺(tái)的控制下動(dòng)作的至少一個(gè)機(jī)械臂，其中外科醫(yī)生的注視方向被檢測(cè)，且外科手術(shù)系統(tǒng)的功能依據(jù)檢測(cè)到的注視方向來(lái)控制。為了更清楚地說(shuō)明本發(fā)明的創(chuàng)新性原理及其相比于現(xiàn)有技術(shù)的優(yōu)點(diǎn)，下面將借助于附圖
來(lái)描述應(yīng)用這些原理的實(shí)施方式的實(shí)例。在附圖中-圖I示出了根據(jù)本發(fā) 明的外科手術(shù)系統(tǒng)的示意圖；-圖2示出了根據(jù)本發(fā)明的系統(tǒng)的框圖。參照附圖，圖I以示意圖的形式示出了根據(jù)本發(fā)明提供的通常以10表示的自動(dòng)化外科手術(shù)系統(tǒng)。系統(tǒng)10包括至少一個(gè)機(jī)械臂11，其在由例如坐在舒適的工作位置中的外科醫(yī)生來(lái)管理的控制操縱臺(tái)12的控制下動(dòng)作。操縱臺(tái)也可安裝在輪子上，以便其可以被容易地移位。機(jī)械臂將是適合于特定用途的實(shí)質(zhì)上已知的類型。在這里示出的系統(tǒng)10中，機(jī)械臂的數(shù)量是三個(gè)，然而無(wú)疑可以使用不同的數(shù)量。機(jī)械臂(或每個(gè)機(jī)械臂)終止在能夠支撐和操作用于在患者13上使用的外科手術(shù)器械的腕部件中。該器械通常將是用于內(nèi)窺鏡手術(shù)且特別是用于腹腔鏡手術(shù)的已知器械。有利地，器械中的一個(gè)是記錄手術(shù)區(qū)(在該特定情況下為患者的內(nèi)部)的電視攝像機(jī)14，同時(shí)其它器械可以是合適的已知外科手術(shù)工具15、16(鑷子、吸引器、手術(shù)刀等)。本文將不進(jìn)一步描述和說(shuō)明機(jī)械臂、器械以及用于操縱這些器械的致動(dòng)器，因?yàn)槠涫且阎那铱扇菀椎乇槐绢I(lǐng)域技術(shù)人員想象到。本文也不進(jìn)一步描述使用本系統(tǒng)而是可能的外科手術(shù)以及用于執(zhí)行外科手術(shù)的方法，因?yàn)槠淇扇菀椎乇槐绢I(lǐng)域技術(shù)人員想象到。機(jī)械臂由合適的已知電子控制單元30來(lái)操作，以便執(zhí)行通過(guò)操縱臺(tái)12輸入的運(yùn)動(dòng)。單元30將接收高水平運(yùn)動(dòng)指令(例如，被機(jī)械手支撐的工具的期望位置和傾角)并將執(zhí)行這些高水平運(yùn)動(dòng)指令，將其轉(zhuǎn)變成被發(fā)送到機(jī)械臂關(guān)節(jié)的單獨(dú)電動(dòng)機(jī)的相應(yīng)的信號(hào)序列。機(jī)械臂也可設(shè)有已知的力傳感器，單元30使用力傳感器來(lái)防止由于臂與工作空間中的物體的碰撞而產(chǎn)生損害，且為了對(duì)操縱臺(tái)處的操作員提供合適的反饋，如將在下面闡明的。有利地，操縱臺(tái)和用于控制機(jī)械手的單元之間的連接可以是光纖類型的，以便減小與傳輸?shù)男盘?hào)干擾的可能性。合適的機(jī)械臂和控制系統(tǒng)例如在W02007/088208、W02008/049898和W02007/088206 中描述。為了執(zhí)行外科手術(shù)器械的運(yùn)動(dòng)，操縱臺(tái)可有利地包括一對(duì)已知操縱器17、18，該一對(duì)已知操縱器17、18可以被外科醫(yī)生握住，并且其運(yùn)動(dòng)由外科手術(shù)器械借助于機(jī)械臂11的運(yùn)動(dòng)來(lái)合適地再現(xiàn)。有利地，操縱器可以是已知的“反應(yīng)的”類型(即，具有提供加重運(yùn)動(dòng)和觸覺(jué)傳感的觸覺(jué)接口)，使得外科醫(yī)生也能夠在操縱器上感覺(jué)到由自動(dòng)化外科手術(shù)器械施加在患者的組織上的力。合適的觸覺(jué)接口在自動(dòng)化內(nèi)窺鏡外科手術(shù)的行業(yè)(sector)中是眾所周知的。通常，每個(gè)操縱器將操作一機(jī)械臂。有利地，在多于兩個(gè)臂的情況下，控制器將設(shè)置在操縱臺(tái)上，以便能夠根據(jù)需要為每個(gè)操縱器分配所需的機(jī)械臂，如將在下面進(jìn)一步解釋的。還可設(shè)想例如也包括踏板設(shè)備20的鍵盤19和其它指令輸入設(shè)備。如果設(shè)想用于特定器械等，則設(shè)備20可包括用于激活，例如單極器械和雙極器械的動(dòng)力供給、沖洗和抽吸功能的一個(gè)或多個(gè)踏板。操縱臺(tái)12還包括用于檢測(cè)外科醫(yī)生朝向操縱臺(tái)的注視方向以及用于也根據(jù)檢測(cè)到的注視方向控制外科手術(shù)系統(tǒng)的眼部運(yùn)動(dòng)跟蹤系統(tǒng)21或所謂的“眼部跟蹤器”。以這種方式，外科醫(yī)生可借助于眼睛的運(yùn)動(dòng)來(lái)控制系統(tǒng)的功能。有利地，操縱臺(tái)包括具有用于顯示手術(shù)區(qū)的圖像的至少一個(gè)區(qū)域23的電視屏幕22。該圖像由電視攝像機(jī)14提供，該圖像可以用由計(jì)算機(jī)化系統(tǒng)24所生成的人造畫面來(lái)補(bǔ)充(例如，以便為外科醫(yī)生提供額外的信息和/或提高他/她對(duì)手術(shù)區(qū)的理解)，計(jì)算機(jī)化系統(tǒng)24本身是已知的，用于管理操縱臺(tái)，這將在下面進(jìn)一步描述。 如將在下面變得清楚的，計(jì)算機(jī)化系統(tǒng)24生成和管理人機(jī)界面(HMI)，人機(jī)界面允許外科醫(yī)生與外科手術(shù)系統(tǒng)相互作用。對(duì)于常見(jiàn)的二維觀察來(lái)說(shuō)，由內(nèi)窺鏡提供的畫面可以直接在屏幕22上觀察到。然而，有利地，可設(shè)想用于觀察手術(shù)區(qū)的三維系統(tǒng)。在這種情況下，電視攝像機(jī)14可以是已知的立體類型，其提供代表兩個(gè)不同的“右手”和“左手”畫面的合適的信號(hào)25、26，該畫面被空間偏移地記錄。信號(hào)25、26由電子設(shè)備27處理，使得3D畫面可借助于立體觀察系統(tǒng)顯示給外科醫(yī)生。從各種已知的立體觀察系統(tǒng)中，已發(fā)現(xiàn)偏振過(guò)濾系統(tǒng)(polarized filtersystem)是特別有利的；在該系統(tǒng)中，電子設(shè)備27包括已知的立體聲調(diào)音器，其使從電視攝像機(jī)接收的右手畫面和左手畫面的行交替，以便將其交錯(cuò)顯示在屏幕的觀察區(qū)域23中。因此，屏幕上的畫面的交替的奇數(shù)水平行和偶數(shù)水平行交替地代表由電視攝像機(jī)記錄的右手畫面和左手畫面的行。設(shè)有用于偶數(shù)交錯(cuò)行掃描行和奇數(shù)交錯(cuò)行掃描行的兩種不同的偏振模式的已知過(guò)濾器設(shè)置在用于觀察該交錯(cuò)畫面的區(qū)域23中。為了觀察該畫面，外科醫(yī)生戴著具有兩種鏡片的眼鏡28，兩種鏡片以對(duì)應(yīng)于過(guò)濾器在屏幕上的兩種偏振模式的方式來(lái)偏振，以便只將屬于由電視攝像機(jī)記錄的原始的右手畫面的畫面的行朝向右眼引導(dǎo)，同時(shí)左眼只接收屬于由電視攝像機(jī)記錄的原始的左手畫面的畫面的行。因此，將手術(shù)區(qū)的期望3D畫面顯示給外科醫(yī)生是可能的。如果需要的話，則使用類似的步驟，由計(jì)算機(jī)化系統(tǒng)24生成的人造立體畫面也可以3D形式顯示。在任何情況下，借助于跟蹤系統(tǒng)21來(lái)檢測(cè)外科醫(yī)生朝向屏幕22的注視方向并界定他/她正在看或沒(méi)看屏幕的哪個(gè)區(qū)域是可能的。使用具有偏振眼鏡的3D觀察系統(tǒng)，沒(méi)有對(duì)跟蹤系統(tǒng)的干擾。此外，可以容易地設(shè)計(jì)具有用于3D觀察的偏振鏡片的眼鏡，以便與正常的眼鏡兼容。已發(fā)現(xiàn)，當(dāng)檢測(cè)到落在屏幕外或至少再現(xiàn)手術(shù)區(qū)的屏幕區(qū)域外的注視方向時(shí)，發(fā)送使機(jī)械臂不能運(yùn)動(dòng)的指令對(duì)于跟蹤系統(tǒng)來(lái)說(shuō)是特別地有利的。以這種方式，提供了一種防止臂在沒(méi)有外科醫(yī)生的直接監(jiān)督的情況下運(yùn)動(dòng)的安全系統(tǒng)。因此，獲得了用于激活機(jī)械手并且在用戶正在看屏幕時(shí)保持機(jī)械手激活的所謂的“常閉(dead man)”功能。有利地，為了額外的安全性，可設(shè)置另外的控制裝置(例如在手柄上的按鈕31或踏板設(shè)備20)，其中需要給予用于使能運(yùn)動(dòng)指令的雙準(zhǔn)許，使得為了重新激活運(yùn)動(dòng)，外科醫(yī)生必須看屏幕上的畫面并且還必須給出手動(dòng)準(zhǔn)許指令，同時(shí)運(yùn)動(dòng)可通過(guò)簡(jiǎn)單地不看畫面來(lái)中斷。有利地，除了來(lái)自內(nèi)窺鏡的圖像之外，屏幕22還示出了人機(jī)界面的至少部分。提供該界面的計(jì)算機(jī)化系統(tǒng)24在屏幕上顯示了與系統(tǒng)指令相關(guān)的選擇區(qū)域29。有利地，選擇區(qū)域可設(shè)置在顯示手術(shù)區(qū)的圖像的同一屏幕22上。例如，這些選擇區(qū)域可設(shè)置在屏幕的底部部分中，底部部分在用于觀察手術(shù)區(qū)的區(qū)域23的下面。跟蹤系統(tǒng)估計(jì)外科醫(yī)生的注視方向，并且當(dāng)其檢測(cè)到落在該區(qū)域內(nèi)的注視方向時(shí)，執(zhí)行與選擇區(qū)域相關(guān)的指令的選擇。與各種選擇區(qū)域相關(guān)的指令可以是被認(rèn)為有用的任何類型。例如，這些指令可從在執(zhí)行自動(dòng)化外科手術(shù)操作時(shí)經(jīng)常使用的那些指令中選擇。已發(fā)現(xiàn)，如果與選擇區(qū)域相關(guān)的指令包括用于將操縱器分配給機(jī)械臂的指令(特別是當(dāng)操縱臺(tái)包括兩個(gè)操作操縱器以及多于兩個(gè)機(jī)械臂時(shí))，則是特別有利的。因此，外科醫(yī)生可不放開操縱器而是僅僅看在相應(yīng)的選擇區(qū)域處來(lái)交替控制兩個(gè)操縱器上的各種機(jī)械臂。例如，外科醫(yī)生可暫時(shí)切換到對(duì)具有電視攝像機(jī)的臂的控制，以便修改手術(shù)區(qū)的圖像，且然后迅速地返回到對(duì)他/她正在使用來(lái)操作的機(jī)械臂的控制。為了額外的安全性，有利地，操縱臺(tái)可包括用于輸入確認(rèn)執(zhí)行與所看的選擇區(qū)域相關(guān)的指令的特殊指令的設(shè)備。有利地，該設(shè)備可以是按鈕31，按鈕31設(shè)置在一個(gè)或兩個(gè)操縱器上，以便例如使用握住操縱器的手的拇指來(lái)按壓。因此，通過(guò)眼部跟蹤系統(tǒng)來(lái)容易地確認(rèn)被眼睛激活的動(dòng)作是可能的，例如，以選擇與操縱器相關(guān)的機(jī)械手、打開/關(guān)閉外科手術(shù)器械和修改正被操作的機(jī)械手的設(shè)置。按鈕的另一用途還可以是控制器械(如果存在的話)上的扭轉(zhuǎn)運(yùn)動(dòng)的自由度的用途。也可能的是，有利地設(shè)想用于分配機(jī)械手的步驟可以通過(guò)在視覺(jué)上選擇待分配的新的機(jī)械手的畫面、借助于按鈕確認(rèn)選擇以及然后將所選擇的畫面拖動(dòng)到示出了當(dāng)前分配給右手柄或左手柄的機(jī)械手的畫面的位置中來(lái)執(zhí)行。拖動(dòng)通過(guò)保持按鈕按下并將人的注視朝向機(jī)械手位置引導(dǎo)來(lái)執(zhí)行。為了結(jié)束拖動(dòng)操作，必須釋放按鈕，同時(shí)保持人的注視聚焦在以前指出的區(qū)域上。眼部跟蹤系統(tǒng)可以是本身是已知的許多類型中的一種。然而，已發(fā)現(xiàn)是特別地有利的眼部跟蹤系統(tǒng)是包括用于記錄至少外科醫(yī)生的眼睛的畫面的至少一個(gè)電視攝像機(jī)和用于依據(jù)所拍攝的畫面計(jì)算注視方向的裝置的系統(tǒng)。如在圖2中示意性地示出的，特別地，跟蹤系統(tǒng)21可包括兩個(gè)電視攝像機(jī)32、33，其以適當(dāng)?shù)木嚯x相互并排地設(shè)置，以便記錄外科醫(yī)生的眼睛的兩個(gè)空間地偏移的畫面。因此，存在于跟蹤系統(tǒng)21中的計(jì)算裝置(例如，包括合適地編程的微處理器)可依據(jù)對(duì)兩個(gè)記錄畫面的比較來(lái)執(zhí)行對(duì)注視方向的三角測(cè)量。而且有利地，跟蹤系統(tǒng)還可包括用于對(duì)眼睛的紅外線照射的紅外光源34，這有助于其在記錄畫面中的檢測(cè)。有利地，眼部跟蹤系統(tǒng)可與監(jiān)視器整合，使得如果監(jiān)視器被移動(dòng)，則眼部跟蹤器可以繼續(xù)正確地操作。仍然參照?qǐng)D2，示意性地示出了操縱臺(tái)的可能的有利實(shí)施方式的框圖。在該實(shí)施方式中，為了清楚起見(jiàn)，系統(tǒng)被分成三個(gè)主要的功能塊或組。
以40標(biāo)示的第一個(gè)塊包括直接參與在機(jī)械臂的運(yùn)動(dòng)中的部件。塊40包含本身已知的第一工業(yè)計(jì)算機(jī)41，第一工業(yè)計(jì)算機(jī)41設(shè)有用于在給定的可預(yù)定義時(shí)間內(nèi)執(zhí)行與機(jī)械手的控制相關(guān)的指令的實(shí)時(shí)操作系統(tǒng)(例如，RT-LINUX)。計(jì)算機(jī)41經(jīng)由通信網(wǎng)絡(luò)42連接到機(jī)械手控制單元(或多個(gè)單元)30。計(jì)算機(jī)41從操縱器17和18接收運(yùn)動(dòng)指令，將運(yùn)動(dòng)指令發(fā)送到機(jī)械手并發(fā)出用于操作觸覺(jué)反饋的操縱器的反應(yīng)設(shè)備43的信號(hào)。需要即時(shí)系統(tǒng)響應(yīng)的那些手動(dòng)控制器，例如踏板20，如果除了其它方面還用來(lái)發(fā)送用于使機(jī)械手的運(yùn)動(dòng)停止的指令，則也被有利地連接到計(jì)算機(jī)41。以44標(biāo)示的第二功能塊包括第二工業(yè)計(jì)算機(jī)45，第二工業(yè)計(jì)算機(jī)45生成并控制不需要嚴(yán)格地實(shí)時(shí)操作的人機(jī)界面(HMI)。眼部跟蹤系統(tǒng) 21、鍵盤19(需要時(shí))和其它界面控制器連接到該第二計(jì)算機(jī)。計(jì)算機(jī)45還生成將被再現(xiàn)在屏幕22上(例如視覺(jué)控制區(qū)域31)的人造視頻畫面，并且可控制用于改變手術(shù)區(qū)畫面的放大的任何功能。計(jì)算機(jī)41和45形成用于控制操縱臺(tái)的計(jì)算機(jī)化系統(tǒng)24。計(jì)算機(jī)41和45以及機(jī)械手控制單元30可經(jīng)由網(wǎng)絡(luò)42彼此通信。由計(jì)算機(jī)45管理的HMI應(yīng)用程序從而允許機(jī)械手被分配到操縱器以及顯示關(guān)于每個(gè)機(jī)械手的數(shù)據(jù)，例如當(dāng)前安裝的器械、運(yùn)動(dòng)狀態(tài)、反饋狀態(tài)、插入患者體內(nèi)的器械的旋轉(zhuǎn)支點(diǎn)的位置、機(jī)械手狀況、機(jī)械手連接狀態(tài)、任何緊急情況等。以46標(biāo)示的第三功能塊處理畫面在屏幕上的再現(xiàn)，提供例如使用由記錄手術(shù)區(qū)的電視攝像機(jī)14提供的信號(hào)和所生成的畫面信號(hào)47的PiP(畫中畫)功能，以便顯示HMI界面。第三塊還包括用于三維觀察的立體聲調(diào)音器27。有利地，為了 PiP功能，監(jiān)視器22設(shè)計(jì)有兩個(gè)分開的輸入端。主源在全屏模式下借助于例如DVI連接來(lái)顯示，然而同時(shí)另一個(gè)視頻輸入(例如VGA連接)顯示為嵌入窗口。主源(全屏)由從內(nèi)窺鏡系統(tǒng)接收的內(nèi)窺鏡的2維或3維的圖像構(gòu)成。第二源來(lái)自于生成人機(jī)界面(HMI)的計(jì)算機(jī)45。在眼部跟蹤系統(tǒng)21的校準(zhǔn)期間，全屏圖像也可(例如，借助于從HMI應(yīng)用程序發(fā)送到監(jiān)視器的串行指令)動(dòng)態(tài)地切換到由計(jì)算機(jī)45生成的視頻信號(hào)。有利地，操縱臺(tái)還可包括用于檢測(cè)屏幕和外科醫(yī)生的眼睛之間的距離的系統(tǒng)，以便依據(jù)檢測(cè)到的距離中的變化來(lái)改變顯示在屏幕上的手術(shù)區(qū)的畫面的放大。因此，外科醫(yī)生可通過(guò)簡(jiǎn)單地朝著屏幕移動(dòng)他/她的臉來(lái)直觀地進(jìn)行畫面的放大，且反之亦然，通過(guò)移動(dòng)他/她的臉遠(yuǎn)離屏幕來(lái)增大手術(shù)區(qū)的觀察區(qū)域，從而減小放大。距離檢測(cè)系統(tǒng)可以以本身已知的各種方式來(lái)實(shí)現(xiàn)，例如使用遙測(cè)超聲測(cè)量設(shè)備來(lái)實(shí)現(xiàn)。然而，有利地，由于允許借助三角測(cè)量來(lái)計(jì)算外科醫(yī)生的臉部的距離的立體記錄系統(tǒng)，因此眼部跟蹤系統(tǒng)21可以被使用。這與眼部跟蹤系統(tǒng)的相關(guān)眼部檢測(cè)功能一起允許執(zhí)行對(duì)外科醫(yī)生的觀察點(diǎn)距屏幕的距離的準(zhǔn)確的真實(shí)測(cè)量。除放大之外，系統(tǒng)還可產(chǎn)生畫面的移位，例如以便使畫面居中或者借助于注視使畫面向右、向左、向上或向下移位。當(dāng)手術(shù)區(qū)由安裝在機(jī)械臂中的一個(gè)機(jī)械臂上的電視攝像機(jī)，優(yōu)選內(nèi)窺鏡電視攝像機(jī)來(lái)記錄時(shí)，已發(fā)現(xiàn)有利的是，注視檢測(cè)跟蹤系統(tǒng)還允許控制該電視攝像機(jī)的運(yùn)動(dòng)。當(dāng)該功能被使能時(shí)(例如，通過(guò)借助于合適的區(qū)域29的視覺(jué)選擇而輸入相關(guān)的激活指令)，眼睛在手術(shù)區(qū)的畫面上的運(yùn)動(dòng)引起機(jī)械臂的運(yùn)動(dòng)，以便移位以及將聚焦的區(qū)域在屏幕上有利地居中。電視攝像機(jī)的實(shí)際運(yùn)動(dòng)控制也可以僅僅接著按壓確認(rèn)踏板或按鈕來(lái)執(zhí)行，如上文已經(jīng)描述的。以這種方式，外科醫(yī)生可以在畫面上自由地移動(dòng)他/她的眼睛而不使觀察框(viewing frame)移位，除非確認(rèn)踏板或按鈕同時(shí)被按壓。如果上述運(yùn)動(dòng)和放大功能結(jié)合，則系統(tǒng)變得非常容易控制，注視運(yùn)動(dòng)使觀察框在屏幕上移位，同時(shí)眼睛朝向或遠(yuǎn)離屏幕的運(yùn)動(dòng)使顯示的畫面放大或縮小。當(dāng)使用對(duì)手術(shù)區(qū)的三維觀察時(shí)，距離檢測(cè)系統(tǒng)還可用來(lái)在外科醫(yī)生在離屏幕的最佳距離范圍內(nèi)時(shí)向該外科醫(yī)生發(fā)信號(hào)。實(shí)際上，通常，三維系統(tǒng)具有離屏幕的最佳距離間隔，在該情況下三維效果是最好的。
此外，3D和眼部跟蹤系統(tǒng)的結(jié)合增加了關(guān)于位置和離屏幕的距離的某些限制，所述限制取決于外科醫(yī)生、跟蹤器和觀察設(shè)備的位置。操縱臺(tái)的HMI應(yīng)用程序可被設(shè)置，以便在外科醫(yī)生位于相對(duì)于屏幕的最佳位置中時(shí)借助于各種已知的聲學(xué)和/或光學(xué)系統(tǒng)指示給該外科醫(yī)生。此外，提供指示相對(duì)于眼部跟蹤器的距離是否足夠的功能也是可能的。當(dāng)3D和眼部跟蹤器一起使用時(shí)，對(duì)于其二者來(lái)說(shuō)，合適的工作空間可以是相同的，且同一個(gè)指示器可以執(zhí)行兩種功能。眼部跟蹤器21的工作區(qū)域?qū)⒈淮篌w上選擇為使得比用于三維畫面的最佳觀察的區(qū)域大得多。例如，位于40cm和75cm之間的跟蹤器的操作范圍已被發(fā)現(xiàn)是有利的，具有在+30°和-10°的垂直角度范圍內(nèi)跟蹤眼睛的可能性。最佳3D圖像在離屏幕60-70cm處獲得(在該范圍中，信息將在右眼和左眼之間完美地區(qū)分)，且因此正好落在跟蹤器的操作區(qū)域內(nèi)。然而，假如外科醫(yī)生遵守垂直限制，在該范圍外，在3D中觀察將仍然是可能的。如果超出屏幕的頂端和底端，就失去3D。在這一點(diǎn)上，預(yù)定義的目的已經(jīng)被如何實(shí)現(xiàn)是清楚的。使用所描述的控制系統(tǒng)和方法，控制具有觸覺(jué)傳感的機(jī)械臂、將由內(nèi)窺鏡以二維或三維的形式提供的圖像與HMI應(yīng)用程序顯示在一起以及使用眼部運(yùn)動(dòng)跟蹤器激活某些功能，這是可能的。由于眼部跟蹤系統(tǒng)的使用，存在各種有趣的控制可能性。首先，在與眼部跟蹤系統(tǒng)相關(guān)的各種功能中，具有如果外科醫(yī)生沒(méi)在看手術(shù)區(qū)的畫面則能夠使機(jī)械臂的運(yùn)動(dòng)安全地停止的可能性，其中機(jī)械臂的運(yùn)動(dòng)在檢測(cè)到的注視方向未落在或落在屏幕的預(yù)定區(qū)域內(nèi)時(shí)被自動(dòng)地阻止或允許。此外，HMI應(yīng)用程序是直觀且易于使用的，因?yàn)槠淇捎赏饪漆t(yī)生的注視(連同或不連同激活確認(rèn)設(shè)備)來(lái)控制。主要優(yōu)點(diǎn)是，外科醫(yī)生能夠使用他/她的眼睛來(lái)選擇機(jī)械臂并將機(jī)械臂分配給操縱器，而不從操縱器移開他/她的手。顯然地，對(duì)應(yīng)用本發(fā)明的創(chuàng)新性原理的實(shí)施方式的以上描述通過(guò)這些創(chuàng)新性原理的實(shí)例的方式來(lái)提供，并且因此不能被視為限制本文所要求保護(hù)的權(quán)利的范圍。例如，操縱臺(tái)也使用經(jīng)由地理網(wǎng)絡(luò)或類似物的連接來(lái)形成用于自動(dòng)化系統(tǒng)的遠(yuǎn)程操作外科手術(shù)工作站，該自動(dòng)化系統(tǒng)可能在相同的房間中或在某距離處。主控制操縱臺(tái)實(shí)際上是只要通信時(shí)間延遲有限那么也允許在手術(shù)室外部或在任何位置為患者動(dòng)手術(shù)的遠(yuǎn)程控制設(shè)備。遠(yuǎn)程外科手術(shù)系統(tǒng)將適合于任何類型的腹腔鏡或類似手術(shù)。顯然，本文中的術(shù)語(yǔ)“外科醫(yī)生”被理解為意味著借助于操縱臺(tái)控制機(jī)械手系統(tǒng)的任何人。如現(xiàn)在可由本領(lǐng)域技術(shù)人員容易想象到的，必須注意，根據(jù)本發(fā)明的系統(tǒng)是模塊化的，且可以例如被配置成使用更多的機(jī)械手(例如多達(dá)五個(gè)機(jī)械手)且還有一個(gè)或兩個(gè)控制操縱臺(tái)?！?br> 權(quán)利要求
1.一種自動(dòng)化外科手術(shù)系統(tǒng)(10)，包括在預(yù)期用于外科醫(yī)生的控制操縱臺(tái)(12)的控制下動(dòng)作的至少一個(gè)機(jī)械臂(11)，其特征在于，所述操縱臺(tái)(12)包括眼部跟蹤系統(tǒng)(21)，所述眼部跟蹤系統(tǒng)(21)用于檢測(cè)外科醫(yī)生的注視方向并用于依據(jù)檢測(cè)到的注視方向來(lái)輸入指令。
2.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述操縱臺(tái)(12)包括具有用于觀察手術(shù)區(qū)的至少一個(gè)區(qū)域(23)的屏幕(22)，且當(dāng)檢測(cè)到落在所述屏幕或所述屏幕的至少所述區(qū)域(23)外的注視方向時(shí)，所述跟蹤系統(tǒng)(21)生成用于使至少一個(gè)機(jī)械臂(11)不能運(yùn)動(dòng)的指令。
3.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述操縱臺(tái)(12)包括屏幕(22)和人機(jī)界面，所述屏幕(22)具有用于觀察手術(shù)區(qū)的至少一個(gè)區(qū)域，所述人機(jī)界面將與指令相關(guān)的選擇區(qū)域(31)顯示在所述屏幕上，所述跟蹤系統(tǒng)估計(jì)外科醫(yī)生的注視方向，并且當(dāng)所述跟蹤系統(tǒng)檢測(cè)到落在所述選擇區(qū)域(31)中的一個(gè)區(qū)域內(nèi)的注視方向時(shí)，執(zhí)行對(duì)與所述選擇區(qū)域(31)中的所述一個(gè)區(qū)域相關(guān)的指令的選擇。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述操縱臺(tái)包括用于操作所述機(jī)械臂的操縱器(17、18)，且與所述選擇區(qū)域(31)相關(guān)的所述指令包括用于使操縱器和機(jī)械臂相互分配的指令。
5.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述屏幕(22)形成用于在3D中觀察所述手術(shù)區(qū)的系統(tǒng)的部分。
6.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述眼部跟蹤系統(tǒng)包括用于記錄至少外科醫(yī)生的眼睛的畫面的至少一個(gè)電視攝像機(jī)(32、33)以及用于依據(jù)所拍攝的畫面計(jì)算所述注視方向的裝置(21)。
7.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，其包括用于檢測(cè)外科醫(yī)生的眼睛和顯示所述手術(shù)區(qū)的畫面的屏幕(22)之間的距離的系統(tǒng)(21)，該距離檢測(cè)系統(tǒng)依據(jù)在檢測(cè)到的距離上的變化來(lái)執(zhí)行所述手術(shù)區(qū)的顯示在所述屏幕(22)上的所述畫面的放大和/或位置上的變化。
8.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述操縱臺(tái)(12)包括具有用于觀察手術(shù)區(qū)的至少一個(gè)區(qū)域(23)的屏幕(22)，且當(dāng)檢測(cè)到落在所述屏幕或所述屏幕的至少所述區(qū)域(23)內(nèi)的注視方向時(shí)，所述跟蹤系統(tǒng)(21)生成用于使至少一個(gè)機(jī)械臂(11)能夠運(yùn)動(dòng)的指令，該指令與用于確認(rèn)使能夠的手動(dòng)指令結(jié)合來(lái)激活所述機(jī)械臂的運(yùn)動(dòng)。
9.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述操縱臺(tái)(12)包括具有用于觀察手術(shù)區(qū)的至少一個(gè)區(qū)域(23)的屏幕(22)，所述手術(shù)區(qū)由被機(jī)械臂(11)移動(dòng)的電視攝像機(jī)(14)來(lái)記錄，電視攝像機(jī)(14)優(yōu)選為內(nèi)窺鏡電視攝像機(jī)，依據(jù)檢測(cè)到的注視方向，所述指令包括用于使該機(jī)械臂移動(dòng)以改變所述電視攝像機(jī)的觀察框的指令。
10.一種用于控制自動(dòng)化外科手術(shù)系統(tǒng)的方法，所述自動(dòng)化外科手術(shù)系統(tǒng)包括在預(yù)期用于外科醫(yī)生的控制操縱臺(tái)(12)的控制下動(dòng)作的至少一個(gè)機(jī)械臂(11)，其中外科醫(yī)生的注視方向被檢測(cè)，且所述外科手術(shù)系統(tǒng)的功能依據(jù)檢測(cè)到的注視方向來(lái)控制。
11.根據(jù)權(quán)利要求10所述的方法，其中手術(shù)區(qū)的畫面顯示在屏幕的至少一個(gè)區(qū)域上，且當(dāng)檢測(cè)到的注視方向未落在所述屏幕或至少所述屏幕區(qū)域內(nèi)時(shí)，所述至少一個(gè)機(jī)械臂的運(yùn)動(dòng)被阻止，和/或當(dāng)檢測(cè)到的注視方向落在所述屏幕或至少所述屏幕區(qū)域內(nèi)時(shí)，使所述至少一個(gè)機(jī)械臂能夠運(yùn)動(dòng)，且優(yōu)選地，確認(rèn)使能夠的另外的手動(dòng)指令也被發(fā)送。
12.根據(jù)權(quán)利要求10所述的方法，其中與用于所述外科手術(shù)系統(tǒng)的指令相關(guān)的選擇區(qū)域顯示在屏幕上，且當(dāng)檢測(cè)到落在所述選擇區(qū)域中的一個(gè)區(qū)域內(nèi)的注視方向時(shí)，與該區(qū)域相關(guān)的指令被選擇，且優(yōu)選地，所選擇的指令還借助于操作另外的手動(dòng)確認(rèn)設(shè)備來(lái)確認(rèn)。
13.根據(jù)權(quán)利要求10所述的方法，其中從多個(gè)機(jī)械臂中選擇的新的機(jī)械臂通過(guò)使用人的注視來(lái)選擇所述新的臂顯示在屏幕上的畫面并借助于人的注視將該畫面拖動(dòng)到屏幕位置中而被分配給控制操縱器，所述屏幕位置顯示被分配給該操縱器的所述機(jī)械手的所述畫面。
14.根據(jù)權(quán)利要求10所述的方法，其中所述手術(shù)區(qū)的畫面顯示在屏幕上，外科醫(yī)生的眼睛離所述屏幕的距離被檢測(cè)，且所述畫面的放大和/或位置依據(jù)檢測(cè)到的距離來(lái)改變，和/或用信號(hào)表示檢測(cè)到的距離是否在所述距離檢測(cè)系統(tǒng)的預(yù)定義工作空間內(nèi)和/或檢測(cè)到的距離是否在所述手術(shù)區(qū)的所述畫面的預(yù)定義觀察空間內(nèi)，優(yōu)選地在3D中。
15.根據(jù)權(quán)利要求10所述的方法，其中所述手術(shù)區(qū)的由被機(jī)械臂(11)移動(dòng)的電視攝像機(jī)，優(yōu)選內(nèi)窺鏡電視攝像機(jī)記錄的畫面顯示在屏幕上，且所述機(jī)械臂依據(jù)在所述屏幕的畫面上檢測(cè)到的注視方向來(lái)改變所述電視攝像機(jī)的觀察框。
全文摘要
一種自動(dòng)化外科手術(shù)系統(tǒng)(10)，包括在預(yù)期用于外科醫(yī)生的控制操縱臺(tái)(12)的控制下動(dòng)作的至少一個(gè)機(jī)械臂(11)。操縱臺(tái)(12)包括用于檢測(cè)外科醫(yī)生的注視方向并用于依據(jù)檢測(cè)到的注視方向來(lái)輸入指令的眼部跟蹤系統(tǒng)(21)。有利地，操縱臺(tái)(22)包括具有用于觀察手術(shù)區(qū)的至少一個(gè)區(qū)域(23)的屏幕(23)，且在可依據(jù)注視方向來(lái)執(zhí)行的指令中，有利地具有用于在檢測(cè)到落在屏幕的所述區(qū)域(23)內(nèi)或外的注視方向時(shí)使機(jī)械臂(11)能夠運(yùn)動(dòng)或使機(jī)械臂(11)不能運(yùn)動(dòng)的自動(dòng)指令。
文檔編號(hào)A61B3/113GK102958464SQ201180027369
公開日2013年3月6日 申請(qǐng)日期2011年4月1日 優(yōu)先權(quán)日2010年4月7日
發(fā)明者埃米利奧·魯伊斯莫拉萊斯, 達(dá)米恩·布拉塞, 保羅·因韋爾尼齊 申請(qǐng)人:索發(fā)有限公司