用于外科和介入醫(yī)療程序中的跟蹤和控制的雙模立體成像系統(tǒng)的制作方法
【專利說明】用于外科和介入醫(yī)療程序中的跟蹤和控制的雙模立體成像系統(tǒng)
[0001]發(fā)明人:Mahdi Azizian、Peter Kim、Axel Krieger> Simon Leonard 和 AzadShademan
[0002]相關(guān)申請的交叉引用
[0003]本申請根據(jù)35U.S.C.§ 119 (e)要求2012年4月16日提交的美國序列號61/624，665的優(yōu)先權(quán)，其全部內(nèi)容通過引用結(jié)合在這里。
[0004]本發(fā)明的背景
技術(shù)領(lǐng)域
[0005]若干實(shí)施例一般涉及外科和介入醫(yī)療程序中用于跟蹤和控制的裝置和方法。
[0006]現(xiàn)有技術(shù)的描述
[0007]當(dāng)前沒有在自動化手術(shù)中的穩(wěn)健的圖像引導(dǎo)技術(shù)。市場上所謂的“機(jī)器人手術(shù)”其實(shí)僅僅是機(jī)器人輔助手術(shù)，因?yàn)闄C(jī)器人僅僅遵循外科醫(yī)生的直接命令，智能或自主性非常少。某些研宄組已經(jīng)探討了用現(xiàn)有傳感器閉合手術(shù)機(jī)器人的控制回路，不過活體內(nèi)手術(shù)適用的特殊條件和考慮因素使得實(shí)現(xiàn)這樣的目標(biāo)極為困難。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的實(shí)施例至少通過引入對當(dāng)前機(jī)器人輔助手術(shù)工作流程要求最小改變的穩(wěn)健跟蹤技術(shù)以及以效應(yīng)器功能閉合該回路，解決了這個問題。
【附圖說明】
[0009]連同附圖考慮時參考以下具體描述，本文介紹的若干實(shí)施例的更全面的評價以及許多其伴隨優(yōu)點(diǎn)變得更好理解，將不難獲得它們，附圖中:
[0010]圖1顯示了在通過視覺伺服使手術(shù)任務(wù)部分地自主的半自主模式下本發(fā)明的推薦實(shí)施例的整體結(jié)構(gòu)；
[0011]圖2顯示了在手動或主從機(jī)器人輔助模式下系統(tǒng)的實(shí)施例；
[0012]圖3表示具有受監(jiān)督自主性的系統(tǒng)的實(shí)施例；
[0013]圖4顯示了激勵和發(fā)射光的光譜范圍，它清楚地描繪了與所涉及的主要成分相關(guān)聯(lián)的截然不同的光譜范圍:即血紅蛋白(氧化絡(luò)的和脫氧的)、水和熒光染料?？梢院铣蓪τ诩詈桶l(fā)射光具有不同光譜范圍的熒光染料(如賽恩寧(Cyanine)染料)；
[0014]圖5展示了圍繞人體模型(phantom)切口放置的標(biāo)記實(shí)例；
[0015]圖6展示了以兩種實(shí)例熒光劑使用近紅外攝像機(jī)捕獲的圖像；
[0016]圖7展示了根據(jù)一個實(shí)施例立體圖像形成和三角測量，以提取NIR標(biāo)記的三維(3D)坐標(biāo)；
[0017]圖8展示了示范機(jī)器人手術(shù)算法的流程圖；
[0018]圖9展示了另一個示范機(jī)器人手術(shù)算法的流程圖；
[0019]圖10展示了根據(jù)一個實(shí)施例的方法的流程圖；
[0020]圖11展示了根據(jù)一個實(shí)施例的計(jì)算設(shè)備的框圖。
【具體實(shí)施方式】
[0021]根據(jù)本公開的一個實(shí)施例，介紹了用于在醫(yī)療程序中的跟蹤和控制的系統(tǒng)。此系統(tǒng)包括被配置為在被手術(shù)的器官和手術(shù)器械中的至少一者上部署熒光材料的設(shè)備；可見光源；與熒光材料的激勵波長對應(yīng)的熒光光源；圖像采集和控制元件，被配置為控制可見光源和熒光光源以及被配置為捕獲和數(shù)字化所得到的可見圖像和熒光圖像中的至少一者；以及基于圖像的跟蹤模塊，被配置為對可見圖像和熒光圖像應(yīng)用圖像處理，該圖像處理檢測器官和手術(shù)器械中的至少一者上的熒光標(biāo)記。
[0022]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)中進(jìn)一步包括手術(shù)機(jī)器人，以及視覺伺服控制模塊，被配置為從基于圖像的跟蹤模塊接收跟蹤信息并根據(jù)跟蹤信息控制手術(shù)機(jī)器人來進(jìn)"?Τ外科手術(shù)。
[0023]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)中進(jìn)一步包括手術(shù)機(jī)器人，以及視覺伺服控制模塊，被配置為從基于圖像的跟蹤模塊接收跟蹤信息并根據(jù)跟蹤信息控制手術(shù)機(jī)器人來進(jìn)行外科手術(shù)。
[0024]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)中進(jìn)一步包括手動控制模塊，被配置為使得能夠進(jìn)行手術(shù)機(jī)器人的手動控制，以取代由視覺伺服控制模塊進(jìn)行的控制。
[0025]根據(jù)此系統(tǒng)的另一個實(shí)施例，視覺伺服控制模塊進(jìn)一步被配置為接收手動輸入并根據(jù)手動輸入控制手術(shù)機(jī)器人來進(jìn)行外科手術(shù)。
[0026]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)中進(jìn)一步包括手術(shù)機(jī)器人，以及手動控制模塊，被配置為接收手動輸入并執(zhí)行手術(shù)機(jī)器人的主從控制。
[0027]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)中進(jìn)一步包括顯示器，被配置為顯示可見圖像和熒光圖像中的至少一者。
[0028]根據(jù)此系統(tǒng)的另一個實(shí)施例，基于圖像的跟蹤模塊進(jìn)一步根據(jù)檢測到的熒光標(biāo)記識別器官或手術(shù)器械。
[0029]根據(jù)此系統(tǒng)的另一個實(shí)施例，圖像采集和控制元件進(jìn)一步包括動態(tài)可調(diào)諧濾光器，被配置為二者擇一地讓可見光和由熒光材料發(fā)出的光通過，以及電荷耦合器件，被配置為捕獲可見圖像和熒光圖像中的至少一者。
[0030]根據(jù)此系統(tǒng)的另一個實(shí)施例，顯示器是立體的或單視場的。
[0031]根據(jù)此系統(tǒng)的另一個實(shí)施例，圖像采集和控制元件產(chǎn)生立體的或單視場的圖像。
[0032]根據(jù)此系統(tǒng)的另一個實(shí)施例，立體顯示器進(jìn)一步被配置為顯示熒光圖像的顏色編碼的疊加物以及可見圖像。
[0033]根據(jù)此系統(tǒng)的另一個實(shí)施例，立體顯示器進(jìn)一步被配置為通過疊加由基于圖像的跟蹤模塊檢測到的目標(biāo)點(diǎn)，來顯示增強(qiáng)現(xiàn)實(shí)圖像。
[0034]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)被配置為根據(jù)由基于圖像的跟蹤模塊提供的信息，向系統(tǒng)操作員提供視覺、聽覺和觸覺反饋中的至少一者。
[0035]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)被配置為以手動模式、半自主模式和自主模式中的每一種運(yùn)行。
[0036]根據(jù)此系統(tǒng)的另一個實(shí)施例，基于圖像的跟蹤模塊根據(jù)檢測到的熒光標(biāo)記識別虛擬邊界以指明關(guān)鍵結(jié)構(gòu)。
[0037]根據(jù)此系統(tǒng)的另一個實(shí)施例，系統(tǒng)進(jìn)一步包括檢測設(shè)備，被配置為判斷手術(shù)器械是否已經(jīng)通過邊界以及提供對運(yùn)動的約束或在已經(jīng)越過邊界時提供警報(bào)以保護(hù)關(guān)鍵結(jié)構(gòu)。
[0038]根據(jù)此系統(tǒng)的另一個實(shí)施例，熒光光源是近紅外(NIR)光源。
[0039]根據(jù)此系統(tǒng)的另一個實(shí)施例，圖像采集和控制元件包括兩個電荷耦合器件(CCD)，一個被分配給可見光譜，一個被分配給NIR光譜。
[0040]根據(jù)此系統(tǒng)的另一個實(shí)施例，由可見光源和熒光光源產(chǎn)生的光由分光棱鏡或者二色棱鏡分開。
[0041]根據(jù)此系統(tǒng)的另一個實(shí)施例，由可見光源和熒光光源產(chǎn)生的光被提供了向兩個CXD的獨(dú)立光路。
[0042]根據(jù)本公開的一個實(shí)施例，介紹了進(jìn)行醫(yī)療程序的方法。該方法包括以下步驟:在被手術(shù)的器官和手術(shù)器械中的至少一者上部署熒光材料；以可見光源和熒光光源照射器官、手術(shù)器械或者以上二者，熒光光源對應(yīng)于熒光材料的激勵波長；捕獲和數(shù)字化由可見光源和熒光光源照射所產(chǎn)生的圖像；以及對數(shù)字化的圖像應(yīng)用圖像處理，圖像處理檢測器官和手術(shù)器械中的至少一者上的焚光標(biāo)記。
[0043]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括通過根據(jù)所檢測到的熒光標(biāo)記跟蹤器官、手術(shù)器械或者以上二者來產(chǎn)生跟蹤信息的步驟。
[0044]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括根據(jù)跟蹤信息控制手術(shù)機(jī)器人來進(jìn)行外科手術(shù)的步驟。
[0045]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括接收手動輸入并根據(jù)手動輸入控制手術(shù)機(jī)器人來進(jìn)行外科手術(shù)的步驟。
[0046]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括接收手動輸入并根據(jù)手動輸入執(zhí)行手術(shù)機(jī)器人的主從控制的步驟。
[0047]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括提供數(shù)字化的圖像的立體的或單視場的顯示的步驟。
[0048]根據(jù)此方法的另一個實(shí)施例，捕獲和數(shù)字化圖像的步驟進(jìn)一步包括產(chǎn)生立體的或單視場的圖像的步驟。
[0049]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括顯示可見圖像和熒光圖像的顏色編碼的疊加物的步驟。
[0050]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括通過疊加由基于圖像的跟蹤模塊檢測到的目標(biāo)點(diǎn)，來顯示增強(qiáng)現(xiàn)實(shí)圖像的步驟。
[0051]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括根據(jù)跟蹤信息，向系統(tǒng)操作員提供視覺、聽覺和觸覺反饋中的至少一者的步驟。
[0052]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括根據(jù)檢測到的熒光標(biāo)記識別器官或手術(shù)器械的步驟。
[0053]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括根據(jù)檢測到的熒光標(biāo)記進(jìn)行醫(yī)療程序的步驟。
[0054]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括通過基于所檢測到的熒光標(biāo)記識別虛擬邊界來指明關(guān)鍵結(jié)構(gòu)的步驟。
[0055]根據(jù)此方法的另一個實(shí)施例，方法中進(jìn)一步包括判斷手術(shù)器械是否已經(jīng)通過邊界并且提供對運(yùn)動的約束或在已經(jīng)越過邊界時提供警報(bào)以便保護(hù)關(guān)鍵結(jié)構(gòu)的步驟。
[0056]根據(jù)本公開的一個實(shí)施例，介紹了在醫(yī)療程序中用于跟蹤和控制的系統(tǒng)。此系統(tǒng)包括用于在被手術(shù)的器官和手術(shù)器械中的至少一者上部署熒光材料的裝置；可見光源；與熒光材料的激勵波長對應(yīng)的熒光光源；用于控制可見光源和熒光光源的裝置；用于捕獲和數(shù)字化所得到的可見圖像和熒光圖像中的至少一者的裝置；以及用于對可見和熒光圖像應(yīng)用圖像處理的裝置，圖像處理檢測器官和手術(shù)器械中的至少一者上的熒光標(biāo)記。
[0057]所公開的實(shí)施例可以應(yīng)用于自動吻合術(shù)領(lǐng)域，其中管狀結(jié)構(gòu)(動脈、膽管、泌尿管等)被連接和密封。吻合術(shù)是每個手術(shù)中以下四個主要步驟之一:1)通過切口進(jìn)入；2)暴露和切開；3)病變的切除和移除；以及4)重造和縫合(吻合術(shù))。吻合術(shù)當(dāng)前通過對吻合位置進(jìn)行縫合或應(yīng)用夾子或膠劑而執(zhí)行。吻合術(shù)程序可以手動地進(jìn)行也可以使用機(jī)器人經(jīng)由主從控制來進(jìn)行，兩種技術(shù)都非常耗時而麻煩。本實(shí)施例使外科醫(yī)生有可能通過施加使用雙光譜成像技術(shù)能夠檢測和跟蹤的熒光標(biāo)記(對于小型夾子、噴