專利名稱：環(huán)境特性估計(jì)和圖形顯示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及環(huán)境特性估計(jì)和圖形顯示，尤其涉及一種可進(jìn)行操作以圖形地顯示環(huán)境特性估計(jì)的外科手術(shù)機(jī)器人。
背景技術(shù)：
將本說明書中的任何位置引用的所有文獻(xiàn)，包括文章、出版的專利申請和專利的內(nèi)容，通過引用合并于此。諸如達(dá)芬奇(直覺外科手術(shù)公司antuitive Surgical Inc.)，美國加利福尼亞州桑尼維爾市)的遙控機(jī)器人輔助外科手術(shù)系統(tǒng)相對于傳統(tǒng)的微創(chuàng)手術(shù)(MIQ具有大量優(yōu)點(diǎn)。其增強(qiáng)了靈敏性，使得能夠進(jìn)行更精密的運(yùn)動，并且提供三維(3D)可視化。然而， 缺乏觸覺反饋被視為這種遙控機(jī)器人輔助微創(chuàng)手術(shù)(RMIS)系統(tǒng)的缺點(diǎn)之一(F.W.Mohr， V. FaIk, A. Diegeler, Τ. Walther, J. F. Gummert, J. Bucerius, S. Jacobs,禾口 R. Autschbach,“ Computer-enhanced‘ robotic‘ -cardiac surgery -experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no.5, pp. 842-853, 2001)。雖然許多研究小組，例如 Μ· Mahvash, J. Gwilliam, R. Agarwal, B. Vagvolgyi, L. -Μ. Su, D. D. Yuh 禾口 Α· Μ· Okamura, " Force-feedback surgical teleoperator-Controller design and palpation experiments, " 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp.465-471,2008 ；H.Mayer, I. Nagy, A. Knoll, E.U. Braun, R.Bauernschmitt 禾口 R. Lange, " Haptic feedback in a telepresence system for endoscopic heart surgery, " Presence :Teleoperators and Virtual Environments, vol. 16, no.5, pp. 459-470,2007 ； 以及 Μ. Tavakoli, R.Patel, Μ. Moallem 禾口 A. Aziminejad, Haptics for Teleoperated Surgical Robotic Systems (New Frontiers in Robotics series),World Scientific Publishing Company, 2008，研究了具有用于外科手術(shù)應(yīng)用的觸覺反饋的遙控操作，但是穩(wěn)定性和透明度之間的折中以及諸如成本、生物適應(yīng)性和可消毒性的力傳感器問題，使得難以開發(fā)具有逼真的觸覺反饋的實(shí)用系統(tǒng)(基于當(dāng)前在市場上可獲得的外科手術(shù)機(jī)器人)(A.M. Okamura, L N. Verner，C. E. Reiley,禾口 M.Mahvash， “ Haptics for robot-assisted minimally invasive surgery, “ Proceedings of the International Symposium Robotics Research,Hiroshima,Japan,Nov. 26-29,2007)禾口(A. Μ· Okamura，“ Haptic feedback inrobot-assisted minimally invasive surgery," Current Opinion in Urology,vol. 19, no. 1，pp. 102-107,2009)。因此，使用現(xiàn)有的RMIS系統(tǒng)的外科醫(yī)生原則上依賴于諸如組織變形的視覺線索來估計(jì)遠(yuǎn)程工具對組織施加多大的力。在手術(shù)過程中，外科醫(yī)生經(jīng)常手動地對生物組織進(jìn)行觸診以檢查解剖學(xué)結(jié)構(gòu)。觸診提供力位移和分布式觸覺信息兩者。可以通過異常組織和正常組織的諸如硬度的機(jī)械特性來區(qū)分組織異常和正常組織(例如K. Hoyt, B. Castaneda, M. Zhang, P. Nigwekar，P. A. di Sant ‘ agnese, J. V. Joseph, J. Strang, D. J. Rubens,禾口 K. J. Parker. Tissue elasticity properties as biomarkers for prostate cancer. Cancer Biomark,4 (4-5) :213-225, 2008. Neurophys，73 :88,19卯)。在冠狀動脈旁路移植外科手術(shù)(CABG)中，觸診對于檢測在哪放置移物尤其有利。最好移植柔軟的沒有得病的動脈，難以在視覺上區(qū)分沒有得病的動脈和鈣化的動脈。不應(yīng)當(dāng)將移植物與鈣化的動脈部分相鄰地放置或者直接放置到鈣化的動脈部分上。在沒有力反饋的情況下，在心臟組織中找到鈣化的動脈的位置是非常有挑戰(zhàn)性的，外科醫(yī)生可能不能確定最佳的吻合位置(F. W. Mohr, V. FaIk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobs,禾口 R. Autschbach, “ Computer-enhanced' roboti c‘ cardiac surgery -experience in 148patients, " The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5,pp.842-853,2001)。因此，存在對用于進(jìn)行環(huán)境特性估計(jì)的改進(jìn)的外科手術(shù)機(jī)器人、部件和方法的需要。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的實(shí)施例的外科手術(shù)機(jī)器人具有成像系統(tǒng)，包括至少一個攝像機(jī)； 處理器，其與成像系統(tǒng)通信；操縱系統(tǒng)，其與處理器通信；以及視覺顯示器，其與處理器通信。處理器能夠進(jìn)行操作以基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)，創(chuàng)建包括疊加在來自至少一個攝像機(jī)的環(huán)境圖像上的機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像，并且在視覺顯示器上輸出合成圖像。根據(jù)本發(fā)明的實(shí)施例的與外科手術(shù)機(jī)器人一起使用的數(shù)據(jù)處理單元具有至少一個輸入端口，適合于從外科手術(shù)機(jī)器人接收環(huán)境圖像，并且從外科手術(shù)機(jī)器人接收工具-環(huán)境相互作用數(shù)據(jù)；疊加部件，其與至少一個輸入端口通信；以及輸出端口，其與疊加部件通信。疊加部件適合于基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)，創(chuàng)建包括疊加在環(huán)境圖像上的機(jī)械特性圖的合成圖像，并且將合成圖像輸出到輸出端口。根據(jù)本發(fā)明的實(shí)施例的提供指令的有形機(jī)器可讀存儲介質(zhì)，當(dāng)由計(jì)算平臺執(zhí)行該指令時(shí)，該指令使計(jì)算平臺執(zhí)行包括如下方法的操作，該方法包括根據(jù)對環(huán)境的區(qū)域的觸診，確定工具-環(huán)境相互作用數(shù)據(jù)；基于工具-環(huán)境相互作用數(shù)據(jù)計(jì)算環(huán)境的區(qū)域的機(jī)械特性估計(jì)；接收環(huán)境圖像；生成包括疊加在環(huán)境圖像上的機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像；以及在視覺顯示器上輸出合成圖像。


通過參考附圖閱讀下面的詳細(xì)說明，可以更好地理解本發(fā)明，在附圖中
圖1是根據(jù)本發(fā)明的實(shí)施例的用于組織特性估計(jì)和圖形顯示的外科手術(shù)機(jī)器人的示意圖；圖2A、2B和2C是根據(jù)本發(fā)明的實(shí)施例的觸診工具附件的示意圖；圖3是示出根據(jù)本發(fā)明的實(shí)施例的疊加在環(huán)境圖像上的機(jī)械特性圖的合成圖像的圖；圖4A和4B示出根據(jù)本發(fā)明的實(shí)施例的使用質(zhì)量阻尼彈簧(mass-damper-spring) 模型計(jì)算估計(jì)的力時(shí)的示出(頂部)力對經(jīng)過的時(shí)間和(底部)力對位移的(4A)人造軟組織和GB)人造鈣化動脈的樣本圖表；圖5A和5B示出根據(jù)本發(fā)明的實(shí)施例的來自一個人造鈣化動脈的(5A)力對經(jīng)過的時(shí)間和(5B)力對位移的力圖表；圖6示出根據(jù)本發(fā)明的實(shí)施例的的達(dá)芬奇外科手術(shù)系統(tǒng)的定制版本的示意圖，其中主操縱器和3D視覺顯示系統(tǒng)位于右側(cè)，而患者側(cè)操縱器和立體攝像機(jī)在左側(cè)；圖7A和7B示出根據(jù)本發(fā)明的實(shí)施例的(7A)對重疊概率密度函數(shù)求和時(shí)的置信水平以及(7B)指示硬度的改變的色調(diào)和指示置信水平的飽和度的圖表；以及圖8A至8D是在根據(jù)本發(fā)明的實(shí)施例產(chǎn)生在圖像中示出的下層環(huán)境的硬度圖的情況下的合成圖像的圖。
具體實(shí)施例方式在描述在附圖中示出的本發(fā)明的實(shí)施例時(shí)，為了清楚，使用特定術(shù)語。然而，本發(fā)明不旨在被限制到如此選擇的特定術(shù)語。應(yīng)當(dāng)理解，每個具體元素包括以類似的方式工作以實(shí)現(xiàn)類似的目的的所有技術(shù)等同物。圖1是根據(jù)本發(fā)明的實(shí)施例的用于環(huán)境特性估計(jì)和圖形顯示的外科手術(shù)機(jī)器人 100的示意圖。外科手術(shù)機(jī)器人100包括主控制臺102和患者側(cè)操縱器104。主控制臺102 包括視覺顯示器106和操縱器108。患者側(cè)操縱器104包括操縱系統(tǒng)110。在一個實(shí)施例中，操縱系統(tǒng)110包括操縱工具112和成像系統(tǒng)114。在該實(shí)施例中，外科手術(shù)機(jī)器人100 包括包含至少一個攝像機(jī)的成像系統(tǒng)114、與成像系統(tǒng)114通信的處理器116、與處理器116 通信的操縱系統(tǒng)110和與處理器116通信的視覺顯示器106。處理器116基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)，創(chuàng)建包括疊加在來自至少一個攝像機(jī)的環(huán)境圖像上的機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像，并且在視覺顯示器106上輸出合成圖像。在一個實(shí)施例中，機(jī)械特性是硬度。硬度可以是線性或非線性的。在另一實(shí)施例中，機(jī)械特性是線性或非線性阻尼。在另一實(shí)施例中，機(jī)械特性是阻尼。在另一實(shí)施例中， 機(jī)械特性是可以由系統(tǒng)檢測的，諸如但不限于硬度、阻尼或者質(zhì)量等的任意機(jī)械特性。在一個實(shí)施例中，用戶可以使用外科手術(shù)機(jī)器人100提供合成圖像，因此用戶可以基于估計(jì)的組織硬度來識別組織異常的區(qū)域。使用來自對組織的觸診的工具-環(huán)境相互作用數(shù)據(jù)計(jì)算估計(jì)的硬度。用戶操縱主控制臺102的操縱器108，以手動地控制外科手術(shù)機(jī)器人100來對組織區(qū)域進(jìn)行觸診?？蛇x地，用戶選擇進(jìn)行觸診的組織的區(qū)域，但是外科手術(shù)機(jī)器人100控制對組織區(qū)域的觸診。在另一實(shí)施例中，外科手術(shù)機(jī)器人100自動對包括組織異常區(qū)域的組織進(jìn)行觸診。
為了對組織區(qū)域進(jìn)行觸診，外科手術(shù)機(jī)器人100的處理器116指示操縱系統(tǒng)110 使用操縱工具112對組織的區(qū)域進(jìn)行觸診。處理器116接收觸診過程中在操縱工具112和組織之間相互作用的工具-環(huán)境相互作用數(shù)據(jù)。工具-環(huán)境相互作用數(shù)據(jù)包括對組織區(qū)域進(jìn)行觸診時(shí)的操縱工具112的位置的數(shù)據(jù)。工具-環(huán)境相互作用數(shù)據(jù)還可以包括其它數(shù)據(jù)，例如操縱工具112的速度和加速度、操縱工具112對組織施加的力、或者操縱工具112對組織引起的位移量。在操縱工具112與組織接觸時(shí)，操縱工具112的許多特征也與組織的特征相對應(yīng)。例如，在操縱工具112與組織接觸時(shí)，操縱工具112的位置改變對應(yīng)于組織的位置改變。處理器116可以從多種源接收工具-環(huán)境相互作用數(shù)據(jù)。在一個實(shí)施例中，處理器 116可以通過操縱系統(tǒng)110中的位置傳感器，或者通過對來自成像系統(tǒng)114的數(shù)據(jù)的分析， 知道操縱工具112的位置。處理器116監(jiān)視操縱工具112的位置，并且基于操縱工具112 的位置的改變計(jì)算操縱工具的速度和加速度。可選地，操縱工具112包括與處理器116通信的速度和加速度傳感器。下面，關(guān)于圖2A、2B和2C進(jìn)一步描述其它工具-環(huán)境相互作用數(shù)據(jù)的確定。在一次觸診過程中，處理器116接收多組工具-環(huán)境相互作用數(shù)據(jù)。然后，基于工具-環(huán)境相互作用數(shù)據(jù)，處理器116針對進(jìn)行觸診的組織的區(qū)域計(jì)算表示估計(jì)的硬度的硬度估計(jì)。為了針對組織的區(qū)域計(jì)算硬度估計(jì)，處理器116使用組織模型，并對組織模型應(yīng)用工具-環(huán)境相互作用數(shù)據(jù)，以估計(jì)組織模型的未知參數(shù)?？梢允褂酶鞣N組織模型，例如但不限于Kelvin-Voigt模型、質(zhì)量阻尼彈簧模型、Hunt-Crossley模型、二階多項(xiàng)式模型、三階多項(xiàng)式模型、四階多項(xiàng)式模型或者二階多項(xiàng)式和依賴于速度的模型。也可以使用用于估計(jì)組織模型的未知參數(shù)的各種估計(jì)技術(shù)，例如但不限于遞歸最小二乘、自適應(yīng)識別、卡爾曼濾波器和信號處理。處理器116從估計(jì)的組織模型的未知參數(shù)獲得硬度估計(jì)。使用硬度估計(jì)和來自成像系統(tǒng)114的環(huán)境圖像，處理器116創(chuàng)建合成圖像。合成圖像包括疊加在來自至少一個攝像機(jī)的環(huán)境圖像上的硬度估計(jì)的硬度圖。硬度圖是組織的一個或更多個區(qū)域的計(jì)算硬度估計(jì)的圖形表示，下面關(guān)于圖3進(jìn)一步描述硬度圖。處理器116創(chuàng)建合成圖像，使得硬度圖的各區(qū)域?qū)?yīng)于硬度圖疊加在環(huán)境圖像中的環(huán)境的各區(qū)域。創(chuàng)建合成圖像包括基于硬度估計(jì)到環(huán)境圖像的轉(zhuǎn)化來創(chuàng)建硬度圖。處理器116分析環(huán)境圖像，以將環(huán)境的區(qū)域轉(zhuǎn)化為示出環(huán)境的區(qū)域的環(huán)境圖像的區(qū)域。然后，基于該轉(zhuǎn)化，處理器116創(chuàng)建硬度圖，并且將硬度圖疊加在環(huán)境圖像上。處理器116以半透明的方式疊加硬度圖，因此在合成圖像中下層環(huán)境圖像仍然是可視的。然后，在視覺顯示器 106上輸出合成圖像。根據(jù)一個實(shí)施例，處理器116實(shí)時(shí)地創(chuàng)建合成圖像。視覺顯示器106向用戶示出合成圖像。視覺顯示器106是立體顯示器。視覺顯示器106通過一個顯示器針對一只眼睛的兩個單獨(dú)的顯示器向用戶示出三維立體視圖。顯示器中的每一個示出與針對該眼睛的環(huán)境的視點(diǎn)相對應(yīng)的不同的合成圖像。在另一實(shí)施例中，代替地，視覺顯示器106是非立體顯示器118。圖2A、2B和2C是根據(jù)本發(fā)明的實(shí)施例的觸診工具附件的示意圖。圖2A描繪了操縱工具112的附件的實(shí)施例。附件包括儀器延伸部件和透明塑料盤。如圖2B所示，儀器延伸部件附連到操縱工具112。雖然在該實(shí)施例中，透明塑料盤是用于對組織進(jìn)行觸診的接觸點(diǎn)，但是盤可以由任何其它合適的材料制成，并且可以具有任何其它合適的形狀。另外，代替分離的附件，可以代替地將附件包含到操縱工具112中。如圖2C所示，在一個實(shí)施例中，操縱工具112包括工具-環(huán)境相互作用傳感器。 工具-環(huán)境相互作用傳感器是力傳感器。操縱工具112被布置為由力傳感器測量操縱工具 112對環(huán)境施加的力?；诹鞲衅鳒y量的力的改變，處理器116還可以確定操縱工具112 和環(huán)境之間接觸和不接觸的時(shí)刻。工具-環(huán)境相互作用數(shù)據(jù)包括力傳感器測量的力，處理器116基于測量的力和機(jī)器人位置計(jì)算硬度估計(jì)。在另一實(shí)施例中，遵循 M-Mahvash，J Gwilliam, R. Agarwal, B. Vagvolgyi, L. Su, D.D.Yuh,禾口 A.M. Okamura, “ Force-Feedback Surgical Teleoperator-Controller Design and Palpation Experiments “ ，16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, Reno,NV,March 2008 的方法，不由力傳感器測量，而從機(jī)器人控制器估計(jì)工具-環(huán)境相互作用力。在這種方法中， 使用命令的機(jī)器人運(yùn)動和實(shí)際機(jī)器人運(yùn)動之間的誤差來估計(jì)對機(jī)器人末端執(zhí)行器施加的力。使用機(jī)器人的動態(tài)模型，在來自環(huán)境(例如組織)的力和來自機(jī)器人的內(nèi)部機(jī)械部件的力(例如慣性和摩擦)之間進(jìn)行區(qū)分。在另一實(shí)施例中，從成像系統(tǒng)114視覺地獲得工具-環(huán)境相互作用數(shù)據(jù)。處理器 116指示操縱工具112對環(huán)境施加已知量的力?；趤碜詧D像系統(tǒng)114的圖像，處理器116 識別操縱工具112和環(huán)境之間的接觸。然后，處理器116可以基于對環(huán)境圖像的視覺分析或者基于操縱工具112的位置數(shù)據(jù)的改變，確定由操縱工具112引起的環(huán)境中的位移量。工具-環(huán)境相互作用數(shù)據(jù)包括位移量，并且處理器116基于位移量計(jì)算硬度估計(jì)。根據(jù)另一實(shí)施例，外科手術(shù)機(jī)器人100使用工具-環(huán)境相互作用傳感器和視覺地確定的工具-環(huán)境相互作用數(shù)據(jù)兩者。圖3是示出根據(jù)本發(fā)明的實(shí)施例的疊加在環(huán)境圖像上的硬度圖的合成圖像的圖。 處理器116根據(jù)硬度估計(jì)創(chuàng)建組織的硬度圖。硬度圖是估計(jì)的組織硬度的圖形表示。在一個實(shí)施例中，硬度圖是色調(diào)-飽和度-亮度(HSL)表示。色調(diào)對應(yīng)于硬度值，并且使用加權(quán)高斯函數(shù)計(jì)算飽和度?；谂c觸診點(diǎn)的距離，處理器116定義周圍區(qū)域的置信水平，其被解釋為飽和度值。在一個實(shí)施例中，當(dāng)多個置信水平疊加在同一點(diǎn)時(shí)，混合色調(diào)以形成混合連續(xù)著色圖。處理器116對置信水平求和，以提高觸診點(diǎn)處的可靠性。在一個實(shí)施例中，隨著新數(shù)據(jù)的收集，處理器116實(shí)時(shí)地更新硬度圖。在一個實(shí)施例中，硬度圖是三維地圖(三維嵌入的表面地圖)，處理器116將三維硬度圖疊加在環(huán)境圖像上。處理器116接收環(huán)境的立體視圖。立體視圖包括來自成像系統(tǒng) 114的兩個環(huán)境圖像。使用立體視圖，處理器116如立體視圖所示地確定環(huán)境的輪廓。然后，處理器116創(chuàng)建合成圖像，使得三維硬度圖對應(yīng)于環(huán)境的輪廓。本發(fā)明的另一實(shí)施例針對一種與外科手術(shù)機(jī)器人一起使用的數(shù)據(jù)處理單元。例如，數(shù)據(jù)處理單元可以與參考圖1中的外科手術(shù)機(jī)器人描述的處理器116類似。數(shù)據(jù)處理單元具有至少一個輸入端口，適合于從外科手術(shù)機(jī)器人接收環(huán)境圖像，并且從外科手術(shù)機(jī)器人接收工具-環(huán)境相互作用數(shù)據(jù)；疊加部件，其與至少一個輸入端口通信；以及輸出端口， 其與疊加部件通信。疊加部件適合于基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)，創(chuàng)建包括疊加在環(huán)境圖像上的機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像，并且將合成圖像輸出到輸出端口。本發(fā)明的另一實(shí)施例針對一種提供指令的有形機(jī)器可讀存儲介質(zhì)，當(dāng)由計(jì)算平臺執(zhí)行該指令時(shí)，該指令使計(jì)算平臺執(zhí)行包括如下方法的操作，根據(jù)本發(fā)明的一個實(shí)施例，該方法包括根據(jù)對環(huán)境的區(qū)域的觸診，確定工具-環(huán)境相互作用數(shù)據(jù)；基于工具-環(huán)境相互作用數(shù)據(jù)計(jì)算環(huán)境的區(qū)域的機(jī)械特性估計(jì)；接收環(huán)境圖像；生成包括疊加在環(huán)境圖像上的機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像；以及在視覺顯示器上輸出合成圖像。示例在外科手術(shù)過程中對組織和器官的手動觸診為臨床醫(yī)生提供對于診斷和外科手術(shù)計(jì)劃的有價(jià)值的信息。在當(dāng)今的機(jī)器人輔助微創(chuàng)手術(shù)系統(tǒng)中，缺乏可感知的觸覺反饋使得檢測器官中的腫瘤和心臟組織中的鈣化動脈具有挑戰(zhàn)性。該示例呈現(xiàn)允許操作者區(qū)分硬組織和軟組織的自動化的組織特性估計(jì)方法和實(shí)時(shí)圖形疊加。首先，我們用實(shí)驗(yàn)地評價(jià)人造組織的特性，并且比較7個可能的數(shù)學(xué)組織模型。自驗(yàn)證以及交叉驗(yàn)證確認(rèn) Hunt-Crossley模型最好地描述用實(shí)驗(yàn)地觀察到的人造組織特性，并且適合于我們的目的。 其次，我們呈現(xiàn)使用遙控外科手術(shù)機(jī)器人對人造組織進(jìn)行觸診，并且通過遞歸最小二乘實(shí)時(shí)地估計(jì)Himt-Crossley模型的硬度的系統(tǒng)的發(fā)展。使用組織表面處的半透明盤上的色調(diào)-飽和度-亮度表示，創(chuàng)建表示組織硬度的實(shí)時(shí)視覺疊加。色調(diào)描繪觸診點(diǎn)處的硬度，并且基于與該點(diǎn)的距離計(jì)算飽和度。由簡單的插值技術(shù)創(chuàng)建連續(xù)硬度彩色圖。在實(shí)驗(yàn)中，圖形疊加成功地示出了隱藏在人造組織中的人造鈣化動脈的位置。在該工作中，我們提出用于顯示隱藏在軟物質(zhì)中的硬物體，例如心臟組織內(nèi)的鈣化動脈的位置的實(shí)時(shí)圖形疊加技術(shù)。我們的方法使用遞歸最小二乘(RLQ估計(jì)組織的機(jī)械特性，同時(shí)將著色的硬度圖疊加在外科醫(yī)生的視覺顯示器上。如圖3所示，圖形疊加清楚地顯示人造鈣化動脈的位置。另一應(yīng)用是對腫瘤的在線檢測。由于開發(fā)專門為進(jìn)行觸診而設(shè)計(jì)的簡單的力感測儀器比力感測靈敏操縱儀器更容易，因此我們提出的技術(shù)也可以作為對傳統(tǒng)力反饋的替代來實(shí)現(xiàn)。組織模型已知人體生物組織呈現(xiàn)非線性特性，并且包括非均勻結(jié)構(gòu)。然而，為了計(jì)算效率， 許多研究者采用簡單的線性組織模型。特別地，通常使用諸如彈簧模型或者Kelvin-Voigt 模型的經(jīng)典線性組織模型(R.Corteso，J.Park，*0.Khatib，“ Real-time adaptive control for haptic telemanipulation with kalman active observers, " IEEE Transact ions on Robotics, vol.22, no. 5, pp.987-999,2006) (R. Corteso , W. Zarrad, P. Poignet, 0. Company, 禾口 Ε· Dombre, " Haptic control design for robotic-assisted minimally invasive surgery, " IEEE International Conference on Intelligent Robots and Systems,pp.454-459,2006)(G. De Gersem, H. V. Brussel,禾口 J.V. Sloten," Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection, " World Haptics Conference (WHC) CD-ROM Proceedings，2005) (S. Misra 禾口 A. M. Okamura， " Environment parameter estimation during bilateral telemanipulation, " 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307,2006)(X. Wang, P.X. Liu, D. Wang, B.Chebbi,禾口 M. Meng, " Design of bilateral teleoperators forsoft environments with adaptive environmental impedance estimation, " IEEE International Conference on Robotics and Automation, pp.1127-1132,2005)。 Diolaiti 等人(N. Diolaiti, C. Melchiorrl,禾口 S. Stramigioli, " Contact impedance estimation for robotic systems, " IEEE Transactions on Robotics, vol.21, no. 5, pp.925-935,2005)使用 Hunt-Crossley 模型(K. Hunt 和 F. Crossley, “ Coefficient of restitution interpreted as damping in vibroimpact, " ASME Journal of Applied Mechanics, vol.42，no. 2，pp. 440—445，1975)。非線性 Hunt-Crossley 模型考慮在Kelvin-Voigt模型中觀察到的碰撞過程中的能量損失。雖然有限元建?？梢蕴峁└玫慕M織建模，但是其計(jì)算復(fù)雜度限制了其在實(shí)時(shí)應(yīng)用的實(shí)用性。Misra等人 (S. Misra, K. T. Ramesh,禾口 A. M. Okamura, “ Modeling of tool-tissue interactions for computer-based surgical simulation :A literature review, “ Presence Teleoperators and Virtual Environments，vol. 17，no. 5，pp. 463-491，2008)回顧了關(guān)于工具-組織相互作用方法的文獻(xiàn)。估計(jì)技術(shù)對于在線環(huán)境參數(shù)估計(jì)，存在幾種方法，包括RLS(X. Wang，P. X. Liu, D.Wang，
B.Chebbi，禾口 Μ· Meng，“ Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation， “ IEEE International Conference on Robotics and Automation，pp. 1127-1132，2005) (N.Diolaiti,
C.Melchiorri,禾口 S. Stramigioli， “ Contact impedance estimation for robotic systems, “ IEEE Transactions on Robotics，vol. 21, no.5, pp. 925-935，2005) (M. B. Colton 禾口 J. M. Hollerbach， “ Identification of nonlinear passive devices for haptic simulations， 〃 WHC' 05 -Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, (Washington, DC， USA)， pp.363-368， IEEE Computer Society,
2005)(L J. Love 禾口 I J. Book, ” Environment estimation for enhanced impedance control， “ IEEE International Conference on Robotics and Automation， pp. 1854-1858，1995)，自適應(yīng)i只另Ij (S. Misra 禾口 Α. Μ. Okamura， “ Environment parameter estimation during bilateral telemanipuIation， “ 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301—307，
2006)(K. Hashtrudi-Zaad 禾口 S. Ε. Salcudean， “ Adaptive transparent impedance reflecting teleoperation， “ IEEE International Conferenceon Robotics and Automation，pp. 1369-1374，1996)(H. Seraji 禾口 R. Colbaugh， “ Force tracking in impedance control， “ IEEE Transactions on Robotics，vol.16，no.1，pp. 97-117， 1997)(S. K. Singh 禾口 D. 0. Popa， “ An analysis of some fundamental problems in adaptive control of force and impedance behavior Theory and experiments,“ IEEE Transactions on Robotics and Automation，vol.11，no.6, pp. 912-921，1995)，卡爾曼濾波器方法(R. Corteso， J. Park，禾口 0. Khatib， “ Realtime adaptive control for haptic telemanipulation with kalman active observers, “ IEEE Transactions on Robotics，vol.22，no.5，pp. 987-999，2006) (R.Corteso，W. Zarrad，P.Poignet，0. Company，禾口 E. Dombre， “ Haptic control design for robotic-assisted minimally invasive surgery, " IEEE International Conference on Intelligent Robots and Systems, pp. 454-459,2006)(G. De Gersem, H. V. Brussel,禾口 J. V. Sloten， “ Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection, " World Haptics Conference (WHC) CD-ROM Proceedings，2005)，以及多估計(jì)器技術(shù)(Τ· Yamamoto,M. Bernhardt, A. Peer,Μ· Buss,禾口 A. Μ· Okamura, “ Multi-estimator technique for environment parameter estimation during telemanipulation," IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223,2008)。Erickson 等人(D. Erickson, Μ. Weber,和 I. Sharf， “ Contact stiffness and damping estimation for robotic systems, " The International Journal of Robotics Research，vol. 22，no. 1，pp. 41-57，2003)回顧并比較了四種方法RLS、間接自適應(yīng)控制、模型基準(zhǔn)自適應(yīng)控制和信號處理技術(shù)。他們估計(jì)環(huán)境硬度和阻尼，以改進(jìn)機(jī)器人組件操作的應(yīng)用的力跟蹤和阻抗控制的穩(wěn)定性。他們得出結(jié)論，在四種方案中，具有持久激勵的間接自適應(yīng)控制示出最佳性能。Yamamoto等人(T. Yamamoto， M. Bernhardt, A. Peer, Μ. Buss,禾口 Α· Μ· Okamura, " Multi-estimator technique for environment parameter estimation during telemanipulation, " IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223,2008)比較了 RLS、自適應(yīng)識別和針對外科手術(shù)應(yīng)用估計(jì)Kelvin-Voigt模型的未知參數(shù)的多估計(jì)器技術(shù)。他們推薦RLS或多估計(jì)器用于在線組織參數(shù)估計(jì)。組織特性估計(jì)使用超聲波可以找到一些硬夾雜(hard inclusion)，先前的工作研究了使用達(dá)芬奇外科手術(shù)系統(tǒng)的腹腔鏡檢查超聲波數(shù)據(jù)的直觀可視化(J. Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. Dai, Μ. Awad, G. D. Hager, Μ. Marohn, Μ. Choti, C. Hasser,禾口 R. H. Taylor, " Davinci canvas :A telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability, " Medical Image Computing and Computer-Assisted Intervention (MICCAI)，pp. 811-818，2005)。一般使用超聲波并且顯示軟組織中的應(yīng)變分布的彈性圖像是檢測腫瘤的有效方法。彈性圖像的主要缺點(diǎn)是計(jì)算上昂貴(J. Ophir，S. Alam, B. Garra，F(xiàn). Kallel, E. Konofagou, T. Krouskop, C. Merritt，R. Righetti，R. Souchon, S. Srinivasan,禾口 T. Varghese， “ Elastography Imaging the elastic properties of soft tissues with ultrasound， “ Journal of Medical Ultrasonics，vol. 29，pp. 155-171，2002)。已經(jīng)幵發(fā)了專門對腫瘤進(jìn)行定位的一些新型的設(shè)備，例如觸覺成像(P. S. Wellman, E. P. Dalton，D. Krag，K. A. Kern，和 R.D. Howe, “ Tactile imaging of breast masses first clinical report，“ Archives of Surgery, vol. 136，pp. 204-208，2001)，觸覺成像系統(tǒng)(Α. P. Miller, W. J. Peine, J.S.Son, 禾口 Ζ·Τ· Hammoud， “ Tactile imaging system for localizing lung nodules during video assisted thoracoscopic surgery, “ IEEE International Conference on Robotics and Automation， pp.2996-3001，2007)，活動頻閃成像器(M. Kaneko, C. Toya,禾口 M.Okajima， “ Active strobe imager for visualizing dynamic behavior of tumors， “ IEEE International Conference on Roboticsand Automation，pp. 3009-3014，2007)，PVDF 感測 If (J. Dargahi, S. Najarian,禾口 R. Ramezanifard, “ Graphical display of tactile sensing data with application in minimally invasive surgery, " Canadian Journal of Electrical and Computer Engineering, vol. 32，no. 3，pp. 151-155，2007)，觸覺感測儀器(A. L. Trejos, J. Jayender, Μ. Τ. Perri, Μ. D. Naish, R. V. Patel,禾口 R. A. Malthaner, " Experimental evaluation of robot-assisted tactile sensing for minimally invasive surgery, " IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 971-976,2008),以及氣墊力敏感探針(K. Althoefer，D. Zbyszewski, H. Liu, P. Puangmali, L. Seneviratne, B. Challacombe, P. Dasgupta，禾口 D. Murphy, " Air-cushion force sensitive probe for soft tissue investigation during minimally invasive surgery, “ in IEEE Conference on Sensors, pp. 827-830，2008)，但是還未在 RMIS 系統(tǒng)中測試任何一個。該示例描述了(1)數(shù)學(xué)人造人造組織模型的有效性，以及( 使用該模型和遙控機(jī)器人來創(chuàng)建實(shí)時(shí)圖形疊加以表示組織硬度，由此使得操作者能夠識別軟物質(zhì)內(nèi)的可視硬夾雜。為了選擇準(zhǔn)確的人造組織的數(shù)學(xué)模型，我們分析了實(shí)驗(yàn)工具-環(huán)境相互作用數(shù)據(jù)并且比較了 7個候選模型。通過使用最小二乘法進(jìn)行后處理，我們基于自驗(yàn)證和交叉驗(yàn)證兩者中的力估計(jì)誤差評價(jià)了模型準(zhǔn)確度。由于Hunt-Crossley模型的準(zhǔn)確度和從軟物質(zhì)區(qū)分硬物體的硬度項(xiàng)，選擇了 Himt-Crossley模型。由于我們的長期目的是對非齊次并且復(fù)雜的真實(shí)的組織進(jìn)行建模，這兩種驗(yàn)證對于對組織動態(tài)行為進(jìn)行數(shù)學(xué)近似是有用的。我們還開發(fā)出了基于估計(jì)的組織特性來顯示硬度分布的在線圖形疊加技術(shù)。使用色調(diào)-飽和度-亮度(HSL)表示，將半透明著色硬度圖疊加在環(huán)境圖像上。色調(diào)對應(yīng)于硬度值，通過加權(quán)高斯函數(shù)計(jì)算飽和度?；诰嘤|診點(diǎn)的距離，我們定義周圍區(qū)域的置信水平， 其被解釋為飽和度值。當(dāng)將多個置信水平疊加在同一點(diǎn)時(shí)，對色調(diào)進(jìn)行混合以形成連續(xù)著色圖。此外，對置信水平求和，以提高觸診點(diǎn)處的可靠性。隨著新數(shù)據(jù)的添加，實(shí)時(shí)地重復(fù)該過程。其結(jié)果是，我們實(shí)現(xiàn)了顯示硬夾雜的位置而不遮擋外科醫(yī)生對組織或外科手術(shù)儀器的觀察的半透明的著色的硬度圖。組織模型選擇雖然幾乎不可能找到真實(shí)組織或人造組織的完美數(shù)學(xué)模型，但是存在可以近似組織動態(tài)行為的數(shù)學(xué)模型。考慮7個可能的模型，然而可以使用其它模型。根據(jù)工具-環(huán)境相互作用數(shù)據(jù)，我們比較了所有模型，并且基于力估計(jì)誤差評價(jià)了準(zhǔn)確度。A.人造組織人造組織心臟模型由以M 24 12 1的比率混合的Ecoflex 0030 (A和B 部分)、硅稀釋劑和silc顏料(Smooth-on公司，美國賓夕法尼亞州伊斯頓市)制成。為了模擬鈣化的動脈，在人造組織中嵌入咖啡攪拌棒。我們的外科醫(yī)生合作者測試可能的模型以對人造組織樣本進(jìn)行實(shí)際的選擇。人造組織心臟模型的直徑和厚度大約分別為60mm和 18. 5mm。將直徑為4mm的咖啡攪拌棒嵌入距表面5mm的深度。B.模型候選對象我們比較表I中列出的7個模型。/是估計(jì)的工具和環(huán)境之間的相互作用力，X、^和i分別是工具的位置、速度和加速度。其余項(xiàng)，iei、i、ι;、 、i、 、咚和β是要估
計(jì)的未知參數(shù)。表 I7個環(huán)境模型和力估計(jì)誤差的平均偏差和標(biāo)準(zhǔn)偏差的比較
權(quán)利要求
1.一種外科手術(shù)機(jī)器人，包括 成像系統(tǒng)，包括至少一個攝像機(jī)； 處理器，其與所述成像系統(tǒng)通信； 操縱系統(tǒng)，其與所述處理器通信；以及視覺顯示器，其與所述處理器通信， 其中，所述處理器能夠進(jìn)行操作以基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)； 創(chuàng)建合成圖像，其包括疊加在來自所述至少一個攝像機(jī)的環(huán)境圖像上的所述機(jī)械特性估計(jì)的機(jī)械特性圖；以及在所述視覺顯示器上輸出所述合成圖像。
2.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述處理器能夠進(jìn)行操作以基于所述機(jī)械特性估計(jì)到所述環(huán)境圖像的轉(zhuǎn)化來創(chuàng)建所述機(jī)械特性圖。
3.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，疊加在所述環(huán)境圖像上的所述機(jī)械特性圖的區(qū)域?qū)?yīng)于所述環(huán)境圖像中顯示為被所述機(jī)械特性圖的所述區(qū)域疊加的環(huán)境的區(qū)域。
4.根據(jù)權(quán)利要求3所述的外科手術(shù)機(jī)器人，其中，所述機(jī)械特性圖包括色調(diào)-飽和度-亮度著色的機(jī)械特性圖，其中，所述色調(diào)對應(yīng)于所述機(jī)械特性圖的區(qū)域的機(jī)械特性值， 而所述飽和度對應(yīng)于所述機(jī)械特性圖的所述區(qū)域的置信水平。
5.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述機(jī)械特性圖包括混合機(jī)械特性圖。
6.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述操縱系統(tǒng)還包括工具-環(huán)境相互作用傳感器。
7.根據(jù)權(quán)利要求6所述的外科手術(shù)機(jī)器人，其中，所述工具-環(huán)境相互作用傳感器包括力傳感器，其中，所述工具-環(huán)境相互作用數(shù)據(jù)包括所述操縱系統(tǒng)對所述環(huán)境施加的力的量。
8.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述工具-環(huán)境相互作用數(shù)據(jù)包括所述操縱系統(tǒng)引起的所述環(huán)境中的位移量。
9.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述處理器還能夠進(jìn)行操作以實(shí)時(shí)地創(chuàng)建所述合成圖像。
10.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述環(huán)境模型包括使用所述環(huán)境的所述機(jī)械特性將力變量和運(yùn)動變量相關(guān)的線性方程或非線性方程。
11.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述處理器還能夠進(jìn)行操作以應(yīng)用算法，以基于所述環(huán)境模型和所述工具-環(huán)境相互作用數(shù)據(jù)來估計(jì)所述機(jī)械特性。
12.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述機(jī)械特性圖包括嵌入在三維空間中的表面機(jī)械特性圖。
13.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述環(huán)境包括組織或者器官的至少之一。
14.根據(jù)權(quán)利要求1所述的外科手術(shù)機(jī)器人，其中，所述機(jī)械特性包括硬度。
15.一種與外科手術(shù)機(jī)器人一起使用的數(shù)據(jù)處理單元，包括至少一個輸入端口，其適合于從所述外科手術(shù)機(jī)器人接收環(huán)境圖像，以及從所述外科手術(shù)機(jī)器人接收工具-環(huán)境相互作用數(shù)據(jù)；疊加部件，其與所述至少一個輸入端口通信；以及輸出端口，其與所述疊加部件通信，其中，所述疊加部件適合于基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算機(jī)械特性估計(jì)，創(chuàng)建包括疊加在所述環(huán)境圖像上的所述機(jī)械特性估計(jì)的機(jī)械特性圖的合成圖像，并且將所述合成圖像輸出到所述輸出端口。
16.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述疊加部件能夠進(jìn)行操作以基于所述機(jī)械特性估計(jì)到所述環(huán)境圖像的轉(zhuǎn)化來創(chuàng)建所述機(jī)械特性圖。
17.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，疊加在所述環(huán)境圖像上的所述機(jī)械特性圖的區(qū)域?qū)?yīng)于所述環(huán)境圖像中顯示為被所述機(jī)械特性圖的所述區(qū)域的疊加的環(huán)境的區(qū)域。
18.根據(jù)權(quán)利要求17所述的數(shù)據(jù)處理單元，其中，所述機(jī)械特性圖包括色調(diào)-飽和度-亮度著色的機(jī)械特性圖，其中，所述色調(diào)對應(yīng)于所述機(jī)械特性圖的區(qū)域的機(jī)械特性值， 而所述飽和度對應(yīng)于所述機(jī)械特性圖的所述區(qū)域的置信水平。
19.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述機(jī)械特性圖包括混合機(jī)械特性圖。
20.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述工具-環(huán)境相互作用數(shù)據(jù)包括操縱系統(tǒng)對所述環(huán)境施加的力的量。
21.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述工具-環(huán)境相互作用數(shù)據(jù)包括操縱系統(tǒng)引起的所述環(huán)境中的位移量。
22.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述疊加部件還適合于實(shí)時(shí)地創(chuàng)建所述合成圖像。
23.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述環(huán)境模型包括使用所述環(huán)境的所述機(jī)械特性將力變量和運(yùn)動變量相關(guān)的線性方程或非線性方程。
24.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述疊加部件還適合于應(yīng)用算法，以使用所述環(huán)境模型和所述工具-環(huán)境相互作用數(shù)據(jù)來估計(jì)所述機(jī)械特性。
25.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述機(jī)械特性圖包括3-D機(jī)械特性圖。
26.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述環(huán)境包括組織或者器官的至少之一。
27.根據(jù)權(quán)利要求15所述的數(shù)據(jù)處理單元，其中，所述機(jī)械特性包括硬度。
28.一種提供指令的有形機(jī)器可讀存儲介質(zhì)，當(dāng)由計(jì)算平臺執(zhí)行所述指令時(shí)，所述指令使所述計(jì)算平臺執(zhí)行包括如下方法的操作，所述方法包括根據(jù)對環(huán)境的區(qū)域的觸診，確定工具-環(huán)境相互作用數(shù)據(jù)；基于所述工具-環(huán)境相互作用數(shù)據(jù)計(jì)算所述環(huán)境的區(qū)域的機(jī)械特性估計(jì)；接收環(huán)境圖像；生成合成圖像，其包括疊加在所述環(huán)境上的所述機(jī)械特性估計(jì)的機(jī)械特性圖；以及在視覺顯示器上輸出所述合成圖像。
全文摘要
一種外科手術(shù)機(jī)器人，包括成像系統(tǒng)，其包括至少一個攝像機(jī)；處理器，其與成像系統(tǒng)通信；操縱系統(tǒng)，其與處理器通信；以及視覺顯示器，其與處理器通信。一種處理器，其能夠進(jìn)行操作以基于工具-環(huán)境相互作用數(shù)據(jù)的環(huán)境模型，針對環(huán)境的區(qū)域計(jì)算硬度估計(jì)，創(chuàng)建包括疊加在來自至少一個攝像機(jī)的環(huán)境圖像上的硬度估計(jì)的硬度圖的合成圖像，并且在視覺顯示器上輸出該合成圖像。
文檔編號A61B19/00GK102238916SQ200980146503
公開日2011年11月9日 申請日期2009年10月20日 優(yōu)先權(quán)日2008年10月20日
發(fā)明者山本智德, 巴拉日·彼得·瓦格沃爾吉, 阿莉森·馬里科·奧卡穆拉 申請人:約翰霍普金斯大學(xué)