本申請(qǐng)要求于2014年7月25日提交的申請(qǐng)?zhí)柺?2/028,984的美國臨時(shí)專利申請(qǐng)的權(quán)益和優(yōu)先權(quán)，該申請(qǐng)的全部公開通過引用并入本文中。

技術(shù)領(lǐng)域

本公開涉及用于改善患者的手術(shù)預(yù)后的手術(shù)技術(shù)。更具體地，本公開針對(duì)用于在執(zhí)行手術(shù)技術(shù)的同時(shí)增強(qiáng)和加強(qiáng)臨床醫(yī)生的視場的系統(tǒng)和方法。

背景技術(shù)：

微創(chuàng)手術(shù)涉及代替使用一個(gè)較大的開口而使用多個(gè)小切口來執(zhí)行手術(shù)操作。小切口減少了患者的不適并改善了恢復(fù)時(shí)間。小切口也限制了內(nèi)部器官、組織和其他物質(zhì)的可見度。

內(nèi)窺鏡被插入到一個(gè)或多個(gè)切口中，以使臨床醫(yī)生在手術(shù)期間更容易看到體內(nèi)的內(nèi)部器官、組織和其他物質(zhì)。這些內(nèi)窺鏡包括聯(lián)接到顯示器的具有光學(xué)和/或數(shù)字變焦能力的相機(jī)，顯示器顯示如通過相機(jī)捕獲的體內(nèi)的器官、組織以及物質(zhì)的放大視圖?，F(xiàn)有的內(nèi)窺鏡和顯示器，特別是那些在手術(shù)機(jī)器人系統(tǒng)中使用的內(nèi)窺鏡和顯示器具有有限的識(shí)別在相機(jī)的視場內(nèi)但在顯示器上所顯示的光譜內(nèi)不完全可見的狀況或?qū)ο蟮哪芰Α?/p>

例如，現(xiàn)有的微創(chuàng)和機(jī)器人手術(shù)工具(包括但不限于內(nèi)窺鏡和顯示器)的以下能力有限(如果有的話)：在切除后識(shí)別組織灌注，在組織內(nèi)定位不同尺寸的動(dòng)脈，測(cè)量血管密封的有效性，從熱特征(heat signature)識(shí)別患病的或死亡的組織，在切除后驗(yàn)證適當(dāng)?shù)墓δ?，區(qū)分敏感區(qū)域(例如，輸尿管)和周圍物質(zhì)(例如，周圍血液)，以及檢測(cè)對(duì)當(dāng)前測(cè)試不可見的超小泄漏。在一些手術(shù)中，或者未實(shí)施這些檢查，或者實(shí)施了更多創(chuàng)傷和/或耗時(shí)的測(cè)試以檢查這些和其他狀況和對(duì)象。

存在對(duì)在手術(shù)期間識(shí)別在手術(shù)相機(jī)的視場內(nèi)但在顯示器上所顯示的光譜內(nèi)不完全可見的更大范圍的可能狀況或?qū)ο蟮男枰?/p>

技術(shù)實(shí)現(xiàn)要素：

機(jī)器人手術(shù)系統(tǒng)可以包括兩個(gè)以上機(jī)器人手臂。每個(gè)機(jī)器人手臂可以具有兩個(gè)以上自由度。每個(gè)機(jī)器人手臂可以包括連接地布置的兩個(gè)以上構(gòu)件以提供兩個(gè)以上自由度。在一些實(shí)例下，所述構(gòu)件可以通過關(guān)節(jié)、鉸鏈、聯(lián)接件或聯(lián)動(dòng)裝置連接。

圖像捕獲裝置可以附接到機(jī)器人手臂中的第一機(jī)器人手臂的手術(shù)組件。圖像捕獲裝置可以被構(gòu)造為插入到患者體內(nèi)。圖像捕獲裝置還可以被配置為在手術(shù)操作期間捕獲患者體內(nèi)的感興趣區(qū)域的圖像。

手術(shù)器械可以附接到機(jī)器人手臂中的第二機(jī)器人手臂的手術(shù)組件。手術(shù)器械可以被構(gòu)造為插入到患者體內(nèi)。手術(shù)器械還可以被配置為在手術(shù)操作期間操縱患者體內(nèi)的組織。

機(jī)器人手術(shù)系統(tǒng)的輸入裝置可以被配置為在手術(shù)操作期間操縱附接到第一機(jī)器人手臂的圖像捕獲裝置和/或附接到第二機(jī)器人手臂的手術(shù)器械。

機(jī)器人手術(shù)系統(tǒng)中的圖像處理濾波器可以被配置為從捕獲自圖像捕獲裝置的圖像以預(yù)定空間頻率對(duì)圖像數(shù)據(jù)濾波，以識(shí)別對(duì)象的在預(yù)定空間頻率下對(duì)機(jī)器人手術(shù)系統(tǒng)的用戶而言不可感知的屬性。當(dāng)所述屬性對(duì)于用戶而言難以感知時(shí)，對(duì)象的屬性可是不可感知的。這在某些情況下可能發(fā)生，因?yàn)樵搶傩员蛔璧K、被模糊或是不可見的。

圖像處理濾波器可以包括：空間分解濾波器，其被配置為將圖像分解為至少兩個(gè)空間頻帶；時(shí)間濾波器，其被配置為應(yīng)用于空間頻帶以產(chǎn)生至少兩個(gè)時(shí)間濾波帶；相加器，其被配置為將每個(gè)空間頻帶與時(shí)間濾波帶中的對(duì)應(yīng)帶相加以產(chǎn)生至少兩個(gè)相應(yīng)的增強(qiáng)帶；以及重構(gòu)濾波器，其被配置為通過合并增強(qiáng)帶來產(chǎn)生增強(qiáng)圖像。

機(jī)器人手術(shù)系統(tǒng)中的控制器可以被配置為加強(qiáng)對(duì)象的所識(shí)別的屬性的可感知性?？刂破鬟€可以被配置為輸出所識(shí)別的屬性的加強(qiáng)的可感知性，以使得用戶更容易感知所識(shí)別的屬性。

控制器可以包括圖形處理器，所述圖形處理器被配置為加強(qiáng)所識(shí)別的屬性的可見表示，并將所加強(qiáng)的可見表示輸出到顯示器以便顯示?？刂破骺梢员慌渲脼榉糯笏鶠V波的圖像數(shù)據(jù)以加強(qiáng)所識(shí)別的屬性的可見表示?？刂破骺梢员慌渲脼閷⒕哂胁豢梢婎l率的所濾波的圖像數(shù)據(jù)的至少一部分轉(zhuǎn)變?yōu)榭梢姽忸l率范圍中的頻率，以加強(qiáng)所識(shí)別的屬性的可見表示。

控制器可以包括觸覺處理器，所述觸覺處理器被配置為加強(qiáng)所識(shí)別的屬性的力反饋表示，并將所加強(qiáng)的力反饋表示輸出到輸入裝置上的觸覺裝置，所述觸覺裝置被配置為向用戶提供觸覺反饋?？刂破骺梢员慌渲脼榉糯笏鶠V波的圖像數(shù)據(jù)以加強(qiáng)所識(shí)別的屬性的力反饋表示。

連接到機(jī)器人手術(shù)系統(tǒng)的顯示器可以被配置為在手術(shù)操作期間顯示來自圖像捕獲裝置的圖像捕獲。

機(jī)器人手術(shù)系統(tǒng)還可以包括控制裝置?？刂蒲b置可以被配置為識(shí)別附接到第二機(jī)器人手臂的手術(shù)器械，并且基于對(duì)手術(shù)器械的識(shí)別從多個(gè)圖像處理濾波器中選擇圖像處理濾波器。

控制裝置還可以被配置為在手術(shù)操作期間判定附接到第二機(jī)器人手臂的手術(shù)器械是否在圖像捕獲裝置的視場內(nèi)。如果手術(shù)器械在圖像捕獲裝置的視場內(nèi)，則控制裝置可以被配置為選擇所述圖像處理濾波器。

機(jī)器人手術(shù)系統(tǒng)還可以具有第三機(jī)器人手臂，所述第三機(jī)器人手臂具有附接有手術(shù)器械的手術(shù)組件?？刂蒲b置可以被配置為識(shí)別附接到第三手臂的手術(shù)器械?？刂蒲b置還可以被配置為確定附接到第二機(jī)器人手臂和第三機(jī)器人手臂的手術(shù)器械中的哪個(gè)出現(xiàn)在圖像捕獲裝置的視場內(nèi)?？刂蒲b置還可以被配置為基于該確定的結(jié)果來選擇圖像處理濾波器。

控制裝置還可以被配置為在手術(shù)操作期間識(shí)別由所識(shí)別的手術(shù)器械正在執(zhí)行的任務(wù)，并且基于所述正在執(zhí)行的任務(wù)來選擇圖像處理濾波器?？刂蒲b置還可以被配置為在手術(shù)操作期間識(shí)別由所識(shí)別的手術(shù)器械正在執(zhí)行的初始任務(wù)，并且基于初始任務(wù)初始地選擇圖像處理濾波器并將圖像處理濾波器應(yīng)用到初始捕獲的圖像數(shù)據(jù)?？刂蒲b置還可以被配置為在手術(shù)操作期間識(shí)別由所識(shí)別的手術(shù)器械正在執(zhí)行的后續(xù)任務(wù)，并且基于后續(xù)任務(wù)選擇不同的圖像處理濾波器并將不同的圖像處理濾波器應(yīng)用到隨后捕獲的圖像數(shù)據(jù)。所述任務(wù)可以涉及手術(shù)器械的特定事件、操作或移動(dòng)。

例如，控制裝置可以被配置為將手術(shù)器械以小于閾值的速率的移動(dòng)與初始任務(wù)相關(guān)聯(lián)，并將手術(shù)器械以大于閾值的速率的移動(dòng)與后續(xù)任務(wù)相關(guān)聯(lián)。作為第二示例，控制裝置可以被配置為將手術(shù)器械的以第一縮放速率的移動(dòng)與初始任務(wù)相關(guān)聯(lián)，并將手術(shù)器械的以不同的縮放因子速率的移動(dòng)與后續(xù)任務(wù)相關(guān)聯(lián)。作為第三示例，控制裝置可以被配置為將手術(shù)器械在第一時(shí)間段內(nèi)的致動(dòng)與初始任務(wù)相關(guān)聯(lián)，并將手術(shù)器械在第二時(shí)間段內(nèi)的非致動(dòng)與后續(xù)任務(wù)相關(guān)聯(lián)。

一種方法，可以包括在手術(shù)操作期間利用圖像捕獲裝置捕獲患者體內(nèi)的感興趣區(qū)域的圖像。圖像捕獲裝置可以附接到具有至少兩個(gè)機(jī)器人手臂的手術(shù)機(jī)器人系統(tǒng)中的第一機(jī)器人手臂的手術(shù)組件。

一種方法還可包括在手術(shù)操作期間于手術(shù)器械附接到手術(shù)操作機(jī)器人系統(tǒng)中的至少兩個(gè)機(jī)器人手臂中的第二機(jī)器人手臂的手術(shù)組件之后，在手術(shù)操作期間操縱患者體內(nèi)的手術(shù)器械?？梢皂憫?yīng)于用戶操縱手術(shù)機(jī)器人系統(tǒng)的輸入裝置來操縱手術(shù)器械。

一種方法還可以包括以預(yù)定空間頻率對(duì)來自所捕獲的圖像的圖像數(shù)據(jù)濾波，以識(shí)別對(duì)象的在預(yù)定空間頻率下不可感知的屬性。

一種方法還可以包括加強(qiáng)對(duì)象的所識(shí)別的屬性的可感知性。

一種方法還可以包括向手術(shù)機(jī)器人系統(tǒng)的用戶輸出加強(qiáng)的可感知性。對(duì)象的所識(shí)別的屬性的加強(qiáng)的可感知性可以包括脆弱組織的位置。

一種方法還可以包括以輸出的與手術(shù)器械的操縱有關(guān)的加強(qiáng)的可感知性向用戶提供附加信息。提供給用戶的附加信息可以包括血管密封有效性的可視化和/或異常組織的可視化。提供給用戶的附加信息可以包括在機(jī)器人手術(shù)系統(tǒng)的輸入裝置處響應(yīng)于用戶移動(dòng)輸入裝置以在識(shí)別為脆弱的組織的位置的預(yù)定距離內(nèi)操縱手術(shù)器械而施加的力反饋。

一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令在由處理裝置執(zhí)行時(shí)使處理裝置執(zhí)行一種方法。計(jì)算機(jī)可讀介質(zhì)可以包括能夠以機(jī)械裝置可讀的格式存儲(chǔ)數(shù)據(jù)的材料，其包括但不限于閃存、固態(tài)驅(qū)動(dòng)器和光盤。

一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令在由處理裝置執(zhí)行時(shí)使處理裝置在手術(shù)操作期間以預(yù)定空間頻率對(duì)圖像數(shù)據(jù)濾波以從患者體內(nèi)的感興趣區(qū)域的圖像來識(shí)別對(duì)象的在預(yù)定空間頻率下不可感知的屬性，所述圖像獲取自圖像捕獲裝置，所述圖像捕獲裝置附接到手術(shù)機(jī)器人系統(tǒng)的至少兩個(gè)機(jī)器人手臂中的第一機(jī)器人手臂的手術(shù)組件。

所存儲(chǔ)的指令在執(zhí)行時(shí)還可以使處理裝置在手術(shù)操作期間于手術(shù)器械附接到至少兩個(gè)機(jī)器人手臂中的第二機(jī)器人手臂的手術(shù)組件之后響應(yīng)于用戶操縱手術(shù)機(jī)器人系統(tǒng)的輸入裝置而在手術(shù)操作期間操縱患者體內(nèi)的手術(shù)器械。

所存儲(chǔ)的指令在執(zhí)行時(shí)還可以使處理裝置加強(qiáng)對(duì)象的來自所濾波的圖像數(shù)據(jù)的所識(shí)別的屬性的可感知性。

所存儲(chǔ)的指令在執(zhí)行時(shí)還可以使處理裝置向手術(shù)機(jī)器人系統(tǒng)的用戶輸出加強(qiáng)的可感知性。

所存儲(chǔ)的指令在執(zhí)行時(shí)還可以使處理裝置以輸出的與手術(shù)器械的操縱有關(guān)的加強(qiáng)的可感知性向用戶提供附加信息。

附圖說明

根據(jù)下文的詳細(xì)描述并結(jié)合附圖，本公開的上述和其他方案、特征和優(yōu)點(diǎn)將變得更加明顯，其中：

圖1是用于增強(qiáng)手術(shù)環(huán)境的系統(tǒng)的框圖；

圖2A至圖2D是如何可能實(shí)現(xiàn)圖1的系統(tǒng)的示例；

圖3是圖1的控制器的系統(tǒng)框圖；

圖4是用于增強(qiáng)圖像或視頻的系統(tǒng)的第一框圖；

圖5是用于增強(qiáng)圖像或視頻的系統(tǒng)的第二框圖；

圖6是用于增強(qiáng)圖像或視頻的系統(tǒng)的第三框圖；

圖7是用于增強(qiáng)圖像或視頻的系統(tǒng)的第四框圖；以及

圖8是機(jī)器人手術(shù)系統(tǒng)的系統(tǒng)框圖。

具體實(shí)施方式

可以分析在手術(shù)操作期間從手術(shù)相機(jī)捕獲的圖像數(shù)據(jù)以識(shí)別相機(jī)視場內(nèi)的對(duì)象的附加的不可感知屬性，所述對(duì)象可以是不可見的或可見的，但是使人在觀看顯示在屏幕上的相機(jī)圖像時(shí)難以清楚地看到?？梢詫⒏鞣N圖像處理技術(shù)應(yīng)用于該圖像數(shù)據(jù)以識(shí)別患者體內(nèi)的不同狀況。例如，歐拉圖像放大技術(shù)可以用于識(shí)別捕獲圖像的不同部分中的光的波長或“顏色”變化?？梢赃M(jìn)一步分析這些變化以識(shí)別再灌注、動(dòng)脈血流和/或血管類型。

歐拉圖像放大還可以用于使圖像幀之間的運(yùn)動(dòng)或活動(dòng)對(duì)臨床醫(yī)生更可見。在一些實(shí)例中，可以向臨床醫(yī)生呈現(xiàn)不同圖像幀之間的預(yù)定波長的光的測(cè)量強(qiáng)度的變化，以使臨床醫(yī)生更加意識(shí)到特定感興趣對(duì)象(例如，血液)的運(yùn)動(dòng)。

圖像代數(shù)(image algebra)可用于識(shí)別在手術(shù)操作期間用于切割組織或其它物質(zhì)的最佳位置。在一些實(shí)例中，圖像代數(shù)可以包括邊緣檢測(cè)和/或歐拉圖像放大以識(shí)別最佳切割位置。

高光譜圖像分析可用于識(shí)別視域范圍內(nèi)的小區(qū)域中的微小變化，所述微小變化可以是不可見的或者對(duì)于人眼來說難以辨別。這些高光譜圖像分析技術(shù)可以與歐拉圖像放大結(jié)合以識(shí)別這些區(qū)域的具體的一組變化。

圖像代數(shù)可以與高光譜圖像分析結(jié)合以識(shí)別對(duì)象或其他塊體(mass)的邊緣。圖像代數(shù)可以包括邊緣檢測(cè)和/或可以與高光譜圖像分析和歐拉圖像放大二者結(jié)合以識(shí)別塊體的邊緣。

紅外光可以用于識(shí)別患病的、死亡的和/或異常的組織的邊界。濾波器可以用于從所捕獲的圖像數(shù)據(jù)隔離紅外、近紅外或其它范圍中的一個(gè)或多個(gè)期望的波長。歐拉圖像放大和/或圖像代數(shù)可以用于分析濾波的圖像數(shù)據(jù)并識(shí)別特定的組織邊界。

歐拉圖像放大、圖像代數(shù)、高光譜圖像分析和濾波技術(shù)中的一個(gè)或多個(gè)可以被包括來作為成像系統(tǒng)的部分。這些技術(shù)可以使成像系統(tǒng)能夠提供關(guān)于相機(jī)視場內(nèi)的不明顯狀況和對(duì)象的附加信息并加強(qiáng)手術(shù)預(yù)后。該附加信息可以包括但不限于：識(shí)別組織灌注、定位特定尺寸的動(dòng)脈(諸如較大的動(dòng)脈)、驗(yàn)證血管密封的有效性、識(shí)別異常組織的熱特征、驗(yàn)證期望的對(duì)象運(yùn)動(dòng)(諸如，在死亡組織的邊緣缺乏活動(dòng)或在切除后驗(yàn)證適當(dāng)?shù)牧鲃?dòng))、區(qū)分看起來相似的對(duì)象(諸如區(qū)分輸尿管、腸系膜下動(dòng)脈和/或周圍血液)、以及檢測(cè)小的泄漏(例如，在吻合術(shù)后可能發(fā)生的泄漏)。

這些技術(shù)中的一個(gè)或多個(gè)可以被包括來作為手術(shù)機(jī)器人系統(tǒng)中的成像系統(tǒng)的部分，以向臨床醫(yī)生實(shí)時(shí)提供關(guān)于內(nèi)窺鏡視場內(nèi)的不明顯狀況和對(duì)象的附加信息。這可以使臨床醫(yī)生能夠在手術(shù)期間快速識(shí)別、避免和/或糾正不期望的情況和狀況。例如，臨床醫(yī)生能夠在手術(shù)期間驗(yàn)證血管已經(jīng)被適當(dāng)?shù)孛芊?、血液適當(dāng)?shù)亓鲃?dòng)、在吻合術(shù)后沒有漏氣、和/或已經(jīng)移除了患病組織。然后，如果有需要，臨床醫(yī)生則能夠在手術(shù)期間糾正這些問題。臨床醫(yī)生還能夠識(shí)別體內(nèi)的手術(shù)器械應(yīng)避免接觸或額外小心地處置的脆弱的或關(guān)鍵的對(duì)象，諸如較大的動(dòng)脈或輸尿管。

本公開針對(duì)用于在手術(shù)操作期間向臨床醫(yī)生實(shí)時(shí)提供增強(qiáng)圖像的系統(tǒng)和方法。本文描述的系統(tǒng)和方法將圖像處理濾波器應(yīng)用于所捕獲的圖像，以經(jīng)由顯示器向臨床醫(yī)生提供增強(qiáng)或加強(qiáng)的圖像。在一些實(shí)施例中，該系統(tǒng)和方法允許在手術(shù)操作期間的視頻捕獲。捕獲的視頻被實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地處理，然后作為增強(qiáng)圖像顯示給臨床醫(yī)生。圖像處理濾波器應(yīng)用于捕獲的視頻的每個(gè)幀。向臨床醫(yī)生提供增強(qiáng)圖像或視頻允許臨床醫(yī)生識(shí)別并解決潛在的不利生理狀況，從而減少對(duì)額外手術(shù)操作的需要以及確保原始手術(shù)操作的有效性。

本文所述的實(shí)施例使臨床醫(yī)生能夠識(shí)別接收過多或無效血液的區(qū)域、吻合或密封的有效性、用于識(shí)別患病組織的器官中的溫度變化、用于判定組織是否存活的微小的組織活動(dòng)以及組織厚度。另外，本文所述的實(shí)施例可用于識(shí)別切除后的組織灌注、動(dòng)脈位置，區(qū)分不同組織，以及判定漏氣。

現(xiàn)轉(zhuǎn)向圖1，根據(jù)本公開的實(shí)施例的用于增強(qiáng)手術(shù)環(huán)境的系統(tǒng)一般性地被示出為100。系統(tǒng)100包括具有處理器104和存儲(chǔ)器106的控制器102。系統(tǒng)100還包括記錄靜止幀圖像(still frame image)或動(dòng)像的圖像捕獲裝置108(例如，相機(jī))。傳感器陣列110向控制器102提供關(guān)于手術(shù)環(huán)境的信息。例如，傳感器陣列110包括生物計(jì)量傳感器，該生物計(jì)量傳感器能夠獲取患者的例如脈搏、體溫、血壓、血氧水平、心律等生物計(jì)量數(shù)據(jù)。傳感器陣列110還可以包括高光譜傳感器以執(zhí)行高光譜成像。顯示器112在手術(shù)操作期間向臨床醫(yī)生顯示增強(qiáng)圖像。在一些實(shí)施例中，控制器102可以經(jīng)由無線或有線連接與中央服務(wù)器(未示出)通信。該中央服務(wù)器可以存儲(chǔ)一個(gè)患者或多個(gè)患者的圖像，該圖像可以利用X射線、計(jì)算機(jī)斷層掃描或磁共振成像來獲取。

圖2A至圖2D描述了圖1的系統(tǒng)如何在手術(shù)環(huán)境中實(shí)施的示例。如圖2A至圖2D所示，圖像捕獲裝置108在手術(shù)操作期間捕獲手術(shù)環(huán)境的圖像。由圖像捕獲裝置108所記錄的圖像、來自傳感器陣列110的數(shù)據(jù)以及來自中央服務(wù)器(未示出)的圖像通過控制器102結(jié)合以產(chǎn)生增強(qiáng)圖像，該增強(qiáng)圖像經(jīng)由顯示器112提供給臨床醫(yī)生。如圖2A至圖2D所示，顯示器112可以是投影儀(圖2A)，激光投影系統(tǒng)(圖2B)，一副眼鏡，或監(jiān)視器(圖2D)，所述眼鏡將圖像投影到的一個(gè)鏡片上(諸如谷歌眼鏡(GOOGLE)(由提供))(圖2C)、兩個(gè)鏡片上或面罩上。當(dāng)使用如在圖2D中所示的監(jiān)視器時(shí)，增強(qiáng)圖像覆蓋在由圖像捕獲裝置108獲取的患者的圖像上。

圖3描述了控制器102的系統(tǒng)框圖。如圖3所示，控制器102包括收發(fā)器114，收發(fā)器114被配置為從圖像捕獲裝置108接收靜止幀圖像或視頻，或者從傳感器陣列110接收數(shù)據(jù)。在一些實(shí)施例中，收發(fā)器114可以包括經(jīng)由無線通信協(xié)議接收靜止幀圖像、視頻或數(shù)據(jù)的天線。靜止幀圖像、視頻或數(shù)據(jù)被提供給處理器104。處理器104包括圖像處理濾波器116，圖像處理濾波器116處理所接收的靜止幀圖像、視頻或數(shù)據(jù)以產(chǎn)生增強(qiáng)圖像或視頻。圖像處理濾波器116可以利用分立的部件、軟件或其組合來實(shí)施。增強(qiáng)圖像或視頻被提供給顯示器112。

現(xiàn)轉(zhuǎn)向圖4，可以應(yīng)用于由收發(fā)器114接收的視頻的圖像處理濾波器的系統(tǒng)框圖被示出為116A。在圖像處理濾波器116A中，利用空間分解濾波器118將所接收的視頻的每個(gè)幀分解為不同的空間頻帶S₁至S_N。空間分解濾波器118采用被稱為金字塔(pyramid)的圖像處理技術(shù)，其中圖像經(jīng)過重復(fù)平滑和子采樣。

在所述幀經(jīng)過使用空間分解濾波器118之后，時(shí)間濾波器120被應(yīng)用于所有空間頻帶S₁至S_N以產(chǎn)生時(shí)間濾波帶ST₁至ST_N。時(shí)間濾波器120是用于提取一個(gè)或多個(gè)期望頻帶的帶通濾波器。例如，如果臨床醫(yī)生知道患者的脈搏，則臨床醫(yī)生可以利用用戶界面(未示出)設(shè)置時(shí)間濾波器120的帶通頻率，以放大對(duì)應(yīng)于患者的脈搏的空間頻帶。換句話說，該帶通濾波器被設(shè)置為包括患者的脈搏的狹窄范圍，并且應(yīng)用到所有空間頻帶S₁至S_N。只有對(duì)應(yīng)于帶通濾波器的所設(shè)定范圍的空間頻帶會(huì)被隔離或通過。所有時(shí)間濾波帶ST₁至ST_N由具有增益α的放大器單獨(dú)地放大。因?yàn)闀r(shí)間濾波器隔離或通過期望的空間頻帶，所以只有期望的空間頻帶得到放大。然后放大的時(shí)間濾波帶ST₁至ST_N被加到原始空間頻帶S₁至S_N以產(chǎn)生增強(qiáng)帶S′₁至S′_N。然后利用重構(gòu)濾波器122通過合并增強(qiáng)帶S′1到S′N來重構(gòu)視頻的每個(gè)幀，以產(chǎn)生增強(qiáng)幀。所有的增強(qiáng)幀被組合以產(chǎn)生增強(qiáng)視頻。向臨床醫(yī)生顯示的增強(qiáng)視頻包括被放大的部分(即，對(duì)應(yīng)于期望的空間頻帶的部分)以使臨床醫(yī)生能夠容易地識(shí)別這樣的部分。

在一些實(shí)施例中，代替使用放大器放大所隔離的時(shí)間濾波帶，圖像處理濾波器116A可以在重構(gòu)該視頻之前使用一種或多種顏色來突出時(shí)間濾波帶。針對(duì)患者的期望部位(例如，血管或神經(jīng))采用不同的顏色可以使臨床醫(yī)生更容易識(shí)別這種部位的位置。

現(xiàn)轉(zhuǎn)向圖5，圖像處理濾波器的系統(tǒng)框圖被示出為116B，該圖像處理濾波器可以應(yīng)用于通過收發(fā)器114接收的靜止幀圖像或視頻。如圖5所示，輸入圖像124(即，捕獲的圖像或來自視頻的幀)被輸入到圖像處理濾波器116B。然后圖像處理濾波器116B對(duì)輸入圖像124采用邊緣檢測(cè)算法，并輸出突出了在輸入圖像124中發(fā)現(xiàn)的邊緣的濾波圖像126。

圖6描繪了用于產(chǎn)生高光譜圖像的系統(tǒng)的框圖。如圖6所示，傳感器陣列110包括高光譜傳感器128。高光譜傳感器128采集一組圖像，其中每個(gè)圖像表示電磁波譜的不同范圍。該組圖像被發(fā)送到圖像處理濾波器116C，圖像處理濾波器116C采用高光譜算法來組合該組圖像以形成三維(3D)高光譜圖像立方體。3D高光譜圖像立方體被輸出到顯示器112。

圖7描繪了用于產(chǎn)生紅外圖像的系統(tǒng)的框圖。如圖7所示，紅外相機(jī)130捕獲圖像或視頻，并將所捕獲的圖像或視頻發(fā)送到圖像處理濾波器116D。圖像處理濾波器116D處理接收到的所捕獲的圖像或視頻，以產(chǎn)生在顯示器112上顯示的紅外圖像。

上述的圖像處理濾波器(即，圖像處理濾波器116A-116D)可以單獨(dú)地用于識(shí)別手術(shù)操作期間的身體狀況。在一些實(shí)施例中，圖像處理濾波器116A可以用于識(shí)別顏色的變化，以便識(shí)別組織灌注或切除后的再灌注、動(dòng)脈血流、血管類型。圖像處理濾波器116A還可用于提高壞死組織的運(yùn)動(dòng)識(shí)別邊緣的可見性或切除后組織的適當(dāng)?shù)臋C(jī)能。

在一些實(shí)施例中，可以組合上述濾波器以輔助臨床醫(yī)生識(shí)別不利的身體狀況。例如，圖像處理濾波器116A和116B可以被組合成識(shí)別不同組織的邊緣，以確定用于執(zhí)行任務(wù)(例如，切割)的最有效的布置。圖像處理濾波器116A和116C可以被組合成識(shí)別小區(qū)域中的微小變化，例如，無法通過常規(guī)方法判定的漏氣。圖像處理濾波器116A、116B和116C可以被組合以識(shí)別塊體(例如，腫瘤)的邊緣。圖像處理濾波器116A、116B和116D可以被組合以識(shí)別患病組織的邊界。

圖像處理濾波器116A、116B、116C和116D可以利用不同的電路來實(shí)施，或者它們可以利用基于應(yīng)用于圖像的濾波器來執(zhí)行不同子例程的單個(gè)處理器來實(shí)施。

上述實(shí)施例還可以集成到機(jī)器人手術(shù)系統(tǒng)中。圖8示出了可以包括在機(jī)器人手術(shù)系統(tǒng)1中的各種部件，諸如兩個(gè)以上的機(jī)器人手臂2、3；控制裝置4；以及與控制裝置4耦合的操作控制臺(tái)5。操作控制臺(tái)5可以包括顯示裝置6，其可以特別地設(shè)置為顯示三維圖像；以及一個(gè)或多個(gè)手動(dòng)輸入裝置7、8，人(未示出)(例如，外科醫(yī)生)能夠通過該手動(dòng)輸入裝置在第一操作模式下遙控操縱機(jī)器人手臂2、3。

輸入裝置7、8的移動(dòng)可以被縮放而使得附接到機(jī)器人手臂2、3的手術(shù)器械具有與輸入裝置7、8的移動(dòng)不同(例如，更小或更大)的對(duì)應(yīng)的移動(dòng)。比例因子(scale factor)或傳動(dòng)比(gearing ratio)可以是可調(diào)節(jié)的，使得臨床醫(yī)生可以控制手術(shù)器械的操作端的分辨率。

機(jī)器人手臂2、3中的每個(gè)可以包括通過接頭而連接的多個(gè)構(gòu)件和手術(shù)組件20，手術(shù)組件20可以附接有(例如)諸如(例如)圖像捕獲裝置108(諸如內(nèi)窺鏡)的手術(shù)器械或根據(jù)本文公開的任何實(shí)施例的具有末端執(zhí)行器200的其它手術(shù)器械。手術(shù)組件20的遠(yuǎn)端可以被配置為支撐圖像捕獲裝置108和/或具有末端執(zhí)行器200的其它手術(shù)器械，末端執(zhí)行器200包括但不限于抓緊器、手術(shù)吻合器、手術(shù)切割器、手術(shù)吻合切割器、線性手術(shù)吻合器、線性手術(shù)吻合切割器、圓形手術(shù)吻合器、圓形手術(shù)吻合切割器、手術(shù)施夾器、手術(shù)夾結(jié)扎器、手術(shù)夾緊裝置、血管擴(kuò)張裝置、管腔擴(kuò)張裝置、手術(shù)刀、流體輸送裝置或任何其它類型的手術(shù)器械。這些手術(shù)器械中的每個(gè)可以被配置為通過機(jī)器人手臂2、3經(jīng)由力傳遞構(gòu)件進(jìn)行致動(dòng)和操縱。力傳遞構(gòu)件可以以各種方式配置為諸如(例如)海波管(hypotube)、推桿、軸或栓系件，并且可以傳遞諸如(例如)軸向(即，推和拉)力、旋轉(zhuǎn)力的各種力和/或各種扭矩。具有作為關(guān)節(jié)式運(yùn)動(dòng)的末端執(zhí)行器200的相機(jī)的圖像捕獲裝置108(諸如內(nèi)窺鏡)可以包括這種力傳遞構(gòu)件。這些力傳遞構(gòu)件中的一個(gè)或多個(gè)可以被構(gòu)造成控制相機(jī)的關(guān)節(jié)式運(yùn)動(dòng)。

機(jī)器人手臂2、3可以通過連接到控制裝置4的電驅(qū)動(dòng)器來驅(qū)動(dòng)?？刂蒲b置4(例如，計(jì)算機(jī))被設(shè)置成尤其借助計(jì)算機(jī)程序的方式來觸發(fā)驅(qū)動(dòng)器，從而使機(jī)器人手臂2、3及其手術(shù)組件20進(jìn)而使末端執(zhí)行器200根據(jù)借助手動(dòng)輸入裝置7、8所定義的移動(dòng)來執(zhí)行期望的移動(dòng)?？刂蒲b置4還可以設(shè)置成使其調(diào)節(jié)機(jī)器人手臂2、3的移動(dòng)和/或驅(qū)動(dòng)器的移動(dòng)。

控制裝置4還可以通信地聯(lián)接到手術(shù)系統(tǒng)1的其它部件，包括但不限于手術(shù)組件20；顯示器6；輸入裝置7、8；以及聯(lián)接到機(jī)器人手臂2、3的手術(shù)器械，諸如圖像捕獲裝置108和具有末端執(zhí)行器200的器械?？刂蒲b置4還可以包括控制器102或被聯(lián)接到控制器102?？刂破?02和/或控制裝置4可以包括收發(fā)器114，收發(fā)器114可以被配置為從圖像捕獲裝置108接收靜止幀圖像或視頻，或者從傳感器陣列110接收數(shù)據(jù)。在一些實(shí)施例中，收發(fā)器114可以包括天線，用于經(jīng)由無線通信協(xié)議來接收靜止幀圖像、視頻或數(shù)據(jù)。收發(fā)器114還可以經(jīng)由有線連接來接收靜止幀圖像、視頻或數(shù)據(jù)。該靜止幀圖像、視頻或數(shù)據(jù)可以被發(fā)送到處理器104。處理器104包括圖像處理濾波器116，圖像處理濾波器116處理所接收的靜止幀圖像、視頻或數(shù)據(jù)以產(chǎn)生增強(qiáng)圖像或視頻。處理器104可以包括用于存儲(chǔ)正在處理的圖像、視頻或數(shù)據(jù)的緩沖器或存儲(chǔ)器106。圖像處理濾波器116可以利用分立的部件、軟件或其組合來實(shí)施。增強(qiáng)圖像或視頻可以被存儲(chǔ)和/或發(fā)送到顯示器6或另一輸出設(shè)備。

在手術(shù)系統(tǒng)1中，至少一個(gè)圖像捕獲裝置108可以聯(lián)接到兩個(gè)以上機(jī)器人手臂2、3中的至少第一機(jī)器人手臂。圖像捕獲裝置108可以被配置為在手術(shù)操作期間插入到患者體內(nèi)并且捕獲患者體內(nèi)的感興趣區(qū)域的圖像。所捕獲的圖像可以顯示在顯示器6上。

另一手術(shù)器械具有被配置為在手術(shù)操作期間操縱感興趣區(qū)域中的組織的末端執(zhí)行器200，該手術(shù)器械可以聯(lián)接到兩個(gè)以上機(jī)器人手臂2、3中的至少第二機(jī)器人手臂。

控制器102可以被配置為處理從圖像裝置108所捕獲的圖像，并將至少一個(gè)圖像處理濾波器116(例如，在本申請(qǐng)通篇提到的一種或多種不同方式的濾波器116A至116D)應(yīng)用于捕獲的圖像，以識(shí)別在手術(shù)操作期間的感興趣區(qū)域中的對(duì)象的不可感知屬性?？刂破?02可以向臨床醫(yī)生輸出在手術(shù)操作期間所識(shí)別的不可感知屬性。該不可感知屬性可以以不同的方式輸出，包括輸出到可以向臨床醫(yī)生顯示不可感知屬性的顯示器6，和/或通過觸覺的方式輸出使得臨床醫(yī)生可以感覺到不可感知屬性。當(dāng)不可感知屬性被輸出到顯示器時(shí)，不可感知屬性可以被改變或變換成更加清晰可見的信號(hào)，該信號(hào)可以被覆蓋到捕獲的圖像的對(duì)應(yīng)部分上并且在顯示器上顯示給臨床醫(yī)生。

可以附接到機(jī)器人手臂2、3的每個(gè)器械可以配備有工具類型標(biāo)識(shí)符，諸如，快速響應(yīng)代碼、存儲(chǔ)在器械的存儲(chǔ)器中的標(biāo)識(shí)符、與工具類型相關(guān)聯(lián)的特定電路配置等等。手術(shù)系統(tǒng)1可以包括被配置為從附接到機(jī)器人手臂2、3的每個(gè)器械接收和/或讀取工具類型標(biāo)識(shí)符的部件或電路。然后可以使用該信息來選擇可以被應(yīng)用于所捕獲的圖像的特定的圖像處理濾波器116。

工具類型標(biāo)識(shí)符信息可以用于識(shí)別利用圖像捕獲裝置108的視場定位的、附接到機(jī)器人手臂2、3的手術(shù)器械。例如，如果快速響應(yīng)代碼或其它工具類型標(biāo)識(shí)符位于手術(shù)器械的、出現(xiàn)在圖像裝置108的視場內(nèi)的末端執(zhí)行器200、軸或其它部件上，則可以分析所捕獲的圖像數(shù)據(jù)以根據(jù)從圖像捕獲數(shù)據(jù)識(shí)別出的快速響應(yīng)代碼或其它標(biāo)識(shí)符來識(shí)別該手術(shù)器械。

在其它情況下，進(jìn)入圖像捕獲裝置108的視場的手術(shù)器械可基于對(duì)關(guān)于圖像捕獲裝置108(和/或附接有圖像裝置108的機(jī)器人手臂2)與附接到其它機(jī)器人手臂3中的一個(gè)機(jī)器人手臂的器械(和/或附接有該器械的機(jī)器人手臂3)的位置信息的比較來識(shí)別?？梢詮拿總€(gè)器械中的或者機(jī)器人手臂2、3中的一個(gè)或多個(gè)位置傳感器來獲取位置信息?？梢圆捎米儞Q來將來自不同機(jī)器人手臂2、3的不同坐標(biāo)系中的絕對(duì)位置信息進(jìn)行轉(zhuǎn)換，從而可以獲取一個(gè)機(jī)器人手臂2上的圖像捕獲裝置108相對(duì)于附接到另一個(gè)機(jī)器人手臂3的手術(shù)器械的相對(duì)位置。該相對(duì)位置信息可以用于識(shí)別附接到另一個(gè)機(jī)器人手臂3的手術(shù)器械是否在圖像捕獲裝置108的視場內(nèi)。

在其它情況下，一個(gè)或多個(gè)相機(jī)可以用于捕獲一個(gè)或多個(gè)機(jī)器人手臂2、3的圖像?？梢苑治鰜碜赃@些相機(jī)的圖像數(shù)據(jù)以識(shí)別每個(gè)機(jī)器人手臂2、3的位置。可以分析該位置信息以判定附接有手術(shù)器械的機(jī)器人手臂3是否位于圖像捕獲裝置108的視場內(nèi)。也可以采用用于判定附接有手術(shù)器械的機(jī)器人手臂3是否位于圖像捕獲裝置108的視場內(nèi)的其它系統(tǒng)和方法。

如果位置信息和/或工具類型標(biāo)識(shí)符指示特定的手術(shù)器械處于圖像捕獲裝置108的視場內(nèi)，則可以自動(dòng)地選擇對(duì)應(yīng)于特定的手術(shù)器械的一個(gè)或多個(gè)圖像處理濾波器116。例如，如果電烙式手術(shù)器械被識(shí)別為處于圖像捕獲裝置108的視場內(nèi)，則可以自動(dòng)地選擇示出血管密封的有效性的圖像處理濾波器116。如果電烙式器械然后被移出視場并且諸如手術(shù)刀的切割器械被移入到視場中，則可以作為替代而自動(dòng)地選擇示出大動(dòng)脈的位置的不同的圖像處理濾波器116。

可以根據(jù)要執(zhí)行的任務(wù)來自動(dòng)地選擇不同的圖像處理濾波器116。例如，如果切割工具處于視場中，并且正以超過預(yù)定閾值的速率移動(dòng)、和/或輸入裝置7、8的縮放因子(scaling factor)被改變使得手術(shù)器械移動(dòng)得較快，則可以自動(dòng)地選擇示出大動(dòng)脈的位置的圖像處理濾波器116。然而，如果切割工具以較慢的速率移動(dòng)和/或被觸發(fā)以有條不紊地切割和/或移除組織，則可以作為替代而采用示出異常組織的圖像處理濾波器116。相同的分析可以應(yīng)用于電烙式工具：如果該工具在預(yù)定時(shí)段內(nèi)沒有被激活和/或正以超過預(yù)定閾值的速率移動(dòng)，則可以自動(dòng)地選擇示出大動(dòng)脈的位置的圖像處理濾波器116。然而，如果電烙式工具正以較慢的速率移動(dòng)和/或在預(yù)定時(shí)段內(nèi)被激活以有條不紊地切割和/或移除組織，則可以作為替代而采用示出血管密封的有效性或其它期望屬性的圖像處理濾波器116。

輸入裝置7、8可以包括觸覺件216以向臨床醫(yī)生提供與不可感知屬性相關(guān)的反饋。例如，可以產(chǎn)生表示組織參數(shù)或狀況(例如，由于操縱、切割或其它處理而引起的組織阻力、器械對(duì)組織的壓力、組織溫度、組織阻抗等)的輸出信號(hào)并將其傳輸?shù)捷斎胙b置7、8以向臨床醫(yī)生提供基于不可感知屬性而變化的觸覺反饋。觸覺件216可以向臨床醫(yī)生提供關(guān)于可以提高患者安全性的對(duì)象的不可感知屬性的加強(qiáng)觸覺反饋。例如，觸覺件216可以經(jīng)實(shí)施以在通過輸入裝置7、8移動(dòng)的手術(shù)器械進(jìn)入大動(dòng)脈或其他脆弱組織的預(yù)定距離內(nèi)時(shí)向臨床醫(yī)生提供反饋，以防止對(duì)動(dòng)脈和/脆弱的組織的可能的損傷。觸覺件216可以包括振動(dòng)電機(jī)、電活性聚合物、壓電裝置、靜電裝置、亞音速聲波表面致動(dòng)裝置、反向電振動(dòng)裝置、或能夠向用戶提供觸反饋的任何其它裝置。輸入裝置7、8還可以包括用于脆弱組織操縱或處理的各種不同的致動(dòng)器，進(jìn)一步加強(qiáng)臨床醫(yī)生模擬實(shí)際操作狀況的能力。

本文公開的實(shí)施例是本公開的示例，并且可以以各種形式實(shí)施。本文公開的具體結(jié)構(gòu)的和功能的細(xì)節(jié)不應(yīng)被解釋為一種限制，而是作為權(quán)利要求的基礎(chǔ)并且作為教導(dǎo)本領(lǐng)域技術(shù)人員以實(shí)際上任何適當(dāng)?shù)丶?xì)化結(jié)構(gòu)來以各種方式采用本公開的代表性基礎(chǔ)。貫穿附圖的描述，相同的附圖標(biāo)記可以指相似或相同的元件。

短語“在實(shí)施例中”、“在各實(shí)施例中”、“在一些實(shí)施例中”或“在其它實(shí)施例中”各自可以指代根據(jù)本公開的相同或不同實(shí)施例中的一個(gè)或多個(gè)?！癆或B”形式的短語表示“(A)、(B)或(A和B)”?！癆、B或C中的至少一個(gè)”形式的短語表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。臨床醫(yī)生可以指臨床醫(yī)生或諸如醫(yī)生、護(hù)士、技術(shù)人員、醫(yī)療助理等執(zhí)行醫(yī)療程序的任何醫(yī)學(xué)專業(yè)人員。

本文描述的系統(tǒng)還可以利用一個(gè)或多個(gè)控制器來接收各種信息并且變換所接收的信息以產(chǎn)生輸出。所述控制器可以包括任何類型的計(jì)算設(shè)備、計(jì)算電路或能夠執(zhí)行存儲(chǔ)在存儲(chǔ)器中的一系列指令的任何類型的處理器或處理電路。所述控制器可以包括多個(gè)處理器和/或多核中央處理單元(CPU)，并且可以包括任何類型的處理器，諸如微處理器、數(shù)字信號(hào)處理器、微控制器等。所述控制器還可以包括用于存儲(chǔ)數(shù)據(jù)和/或算法以執(zhí)行一系列指令的存儲(chǔ)器。

本文描述的方法、程序、算法或代碼中的任一種可以被轉(zhuǎn)換或表示成編程語言或計(jì)算機(jī)程序?！熬幊陶Z言”和“計(jì)算機(jī)程序”包括用于向計(jì)算機(jī)指定指令的任何語言，并且包括(但不限于)這些語言及其派生：匯編語言、Basic、批處理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、機(jī)器代碼、操作系統(tǒng)命令語言、Pascal、Perl、PL1、腳本語言、Visual Basic、自身指定程序的元語言以及所有的第一代、第二代、第三代、第四代和第五代計(jì)算機(jī)語言。還包括數(shù)據(jù)庫和其它數(shù)據(jù)模式、以及任何其它元語言。對(duì)解釋的語言、編譯的語言或采用編譯和解釋兩者方法的語言不作區(qū)分。在程序的編譯版本和源版本之間也不作區(qū)分。因而，對(duì)編程語言可以以多于一種狀態(tài)(諸如源的、編譯的、對(duì)象的或鏈接的)存在的程序的引用是對(duì)任何所有這種狀態(tài)的引用。對(duì)程序的引用可以包括實(shí)際指令和/或這些指令的意圖。

本文描述的方法、程序、算法或代碼中的任一種可以包含在一個(gè)或多個(gè)機(jī)器可讀介質(zhì)或存儲(chǔ)器上。術(shù)語“存儲(chǔ)器”可以包括以機(jī)器(諸如處理器、計(jì)算機(jī)或數(shù)字處理設(shè)備)可讀的形式提供(例如，存儲(chǔ)和/或傳輸)信息的機(jī)制。例如，存儲(chǔ)器可以包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁盤存儲(chǔ)介質(zhì)、光存儲(chǔ)介質(zhì)、閃存設(shè)備或任何其它易失性或非易失性存儲(chǔ)器存儲(chǔ)設(shè)備。其上所包含的代碼或指令可以由載波信號(hào)、紅外信號(hào)、數(shù)字信號(hào)和其它類似方式的信號(hào)表示。

應(yīng)當(dāng)理解，前面的描述僅僅是對(duì)本公開的說明。本領(lǐng)域技術(shù)人員可以不偏離本公開來設(shè)計(jì)各種替代例和變形例。例如，本文所述的任何增強(qiáng)圖像可以組合成單個(gè)增強(qiáng)圖像以顯示給臨床醫(yī)生。相應(yīng)地，本公開旨在涵蓋所有這樣的替代例、變形例和變化例。參照附圖所描述的實(shí)施例僅用于示范本公開的某些示例。與上述和/或所附權(quán)利要求中所述的大致無異的其它元件、步驟、方法和技術(shù)也旨在處于本公開的范圍內(nèi)。