本申請要求2014年7月25日提交的、申請?zhí)柺?2/028,974的美國臨時專利申請的權(quán)益和優(yōu)先權(quán)，該申請的全部公開通過引用方式并入本文中。

技術(shù)領(lǐng)域

本公開涉及用于改善患者的手術(shù)預(yù)后的手術(shù)技術(shù)。更具體地，本公開針對用于在執(zhí)行手術(shù)技術(shù)的同時增強和加強臨床醫(yī)生的視場的系統(tǒng)和方法。

背景技術(shù)：

微創(chuàng)手術(shù)涉及代替使用一個較大的開口而使用多個小切口來執(zhí)行手術(shù)操作。小切口減少了患者的不適并改善了恢復(fù)時間。小切口也限制了內(nèi)部器官、組織和其他物質(zhì)的可見度。

內(nèi)窺鏡被插入到一個或多個切口中，以使臨床醫(yī)生在手術(shù)期間更容易看到體內(nèi)的內(nèi)部器官、組織和其他物質(zhì)。這些內(nèi)窺鏡包括聯(lián)接到顯示器的具有光學(xué)和/或數(shù)字變焦能力的相機，顯示器顯示如通過相機捕獲的體內(nèi)的器官、組織以及物質(zhì)的放大視圖?，F(xiàn)有的內(nèi)窺鏡和顯示器，特別是那些在手術(shù)機器人系統(tǒng)中使用的內(nèi)窺鏡和顯示器具有有限的識別在相機的視場內(nèi)但在顯示器上所顯示的光譜內(nèi)不完全可見的狀況或?qū)ο蟮哪芰Α?/p>

例如，現(xiàn)有的微創(chuàng)和機器人手術(shù)工具(包括但不限于內(nèi)窺鏡和顯示器)的以下能力有限(如果有的話)：在切除后識別組織灌注，在組織內(nèi)定位不同尺寸的動脈，測量血管密封的有效性，從熱特征(heat signature)識別患病的或死亡的組織，在切除后驗證適當(dāng)?shù)墓δ埽瑓^(qū)分敏感區(qū)域(例如，輸尿管)和周圍物質(zhì)(例如，周圍血液)，以及檢測對當(dāng)前測試不可見的超小泄漏。在一些手術(shù)中，或者未實施這些檢查，或者實施了更多創(chuàng)傷和/或耗時的測試以檢查這些和其他狀況和對象。

存在對在手術(shù)期間識別在手術(shù)相機的視場內(nèi)但在顯示器上所顯示的光譜內(nèi)不完全可見的更大范圍的可能狀況或?qū)ο蟮男枰?/p>

技術(shù)實現(xiàn)要素：

在本公開的一方案中，提供了一種用于在手術(shù)操作期間觀察感興趣區(qū)域的增強圖像的增強現(xiàn)實手術(shù)系統(tǒng)。所述系統(tǒng)包括圖像捕獲裝置，所述圖像捕獲裝置被配置為捕獲所述感興趣區(qū)域的圖像。所述系統(tǒng)還包括控制器，所述控制器被配置為接收所述圖像并且對所述圖像應(yīng)用至少一個圖像處理濾波器以產(chǎn)生增強圖像。所述圖像處理濾波器包括：空間分解濾波器，其被配置為將所述圖像分解成多個空間頻帶；時間濾波器，其被配置為應(yīng)用于所述多個空間頻帶以產(chǎn)生多個時間濾波帶；相加器(adder)，其被配置為將所述多個空間頻帶中的每個帶與所述多個時間濾波帶中的對應(yīng)帶相加，以產(chǎn)生多個增強帶；和重構(gòu)濾波器，其被配置為通過合并所述多個增強帶來產(chǎn)生增強圖像。然后向用戶顯示所述增強圖像。

所述圖像捕獲裝置可以捕獲具有多個圖像幀的視頻，并且所述控制器將所述至少一個圖像處理濾波器應(yīng)用于所述多個圖像幀中的每個圖像幀。

所述時間濾波器從所述多個空間頻帶中隔離至少一個空間頻帶，以產(chǎn)生所述多個時間濾波帶。在所述多個空間頻帶中的每個帶與所述多個時間濾波帶中的對應(yīng)帶相加以產(chǎn)生所述多個增強帶之前，所述多個時間濾波帶通過放大器放大。

所述圖像處理濾波器可以使用被配置為高亮所述圖像中的一個或多個邊緣的邊緣檢測算法，其中一個或多個高亮的邊緣被添加到所述增強圖像。

所述系統(tǒng)可以包括被配置為獲取多個高光譜圖像的至少一個高光譜傳感器(hyper-spectral sensor)。所述圖像處理濾波器使用高光譜算法來組合所述多個光譜圖像以產(chǎn)生三維高光譜圖像立方體，所述三維高光譜圖像立方體添加到所述增強圖像。

所述系統(tǒng)還可以包括紅外相機，所述紅外相機被配置為捕獲至少一個圖像，其中所述圖像處理濾波器產(chǎn)生紅外圖像，該紅外圖像被添加到所述增強圖像。

在本公開的另一個方案中，提供了一種用于產(chǎn)生增強圖像的方法。非暫時性計算機可讀介質(zhì)包括但不限于閃存、光盤和固態(tài)驅(qū)動器，該非暫時性計算機可讀介質(zhì)可以存儲指令，所述指令在由包括但不限于控制器或中央處理單元的處理設(shè)備執(zhí)行時使處理設(shè)備執(zhí)行一個或多個功能，包括本文所述的方法。方法可以包括利用圖像捕獲裝置捕獲至少一個圖像。所述至少一個圖像被分解以產(chǎn)生多個空間頻帶。時間濾波器被應(yīng)用于所述多個空間頻帶以產(chǎn)生多個時間濾波帶。所述多個空間頻帶中的每個帶與所述多個時間濾波帶中的對應(yīng)帶相加，以產(chǎn)生多個增強帶。所述多個增強帶被合并以產(chǎn)生增強圖像，該增強圖像顯示在顯示器上。

從所述多個空間頻帶隔離至少一個空間頻帶。在將所述多個空間頻帶中的每個帶與所述多個時間濾波帶中的對應(yīng)帶相加以產(chǎn)生多個增強帶之前，可以放大所述時間濾波帶。

邊緣檢測算法可以被應(yīng)用為高亮所述圖像中的一個或多個邊緣，并且所述一個或多個高亮的邊緣被添加到所述增強圖像。

可以獲取多個高光譜圖像。所述多個高光譜圖像被組合以產(chǎn)生三維高光譜圖像立方體。所述三維高光譜圖像立方體被添加到所述增強圖像。

紅外圖像可以被獲取并添加到所述增強圖像。

附圖說明

根據(jù)下文的詳細描述并結(jié)合附圖，本公開的上述和其他方案、特征和優(yōu)點將變得更加明顯，其中：

圖1是用于增強手術(shù)環(huán)境的系統(tǒng)的框圖；

圖2A至圖2D是如何可能實現(xiàn)圖1的系統(tǒng)的示例；

圖3是圖1的控制器的系統(tǒng)框圖；

圖4是用于增強圖像或視頻的系統(tǒng)的第一框圖；

圖5是用于增強圖像或視頻的系統(tǒng)的第二框圖；

圖6是用于增強圖像或視頻的系統(tǒng)的第三框圖；

圖7是用于增強圖像或視頻的系統(tǒng)的第四框圖；以及

圖8是機器人手術(shù)系統(tǒng)的系統(tǒng)框圖。

具體實施方式

可以分析在手術(shù)操作期間從手術(shù)相機捕獲的圖像數(shù)據(jù)以識別相機視場內(nèi)的對象的附加的不可感知屬性，所述對象可以是不可見的或可見的，但是使人在觀看顯示在屏幕上的相機圖像時難以清楚地看到?？梢詫⒏鞣N圖像處理技術(shù)應(yīng)用于該圖像數(shù)據(jù)以識別患者體內(nèi)的不同狀況。例如，歐拉圖像放大技術(shù)可以用于識別捕獲圖像的不同部分中的光的波長或“顏色”變化?？梢赃M一步分析這些變化以識別再灌注、動脈血流和/或血管類型。

歐拉圖像放大還可以用于使圖像幀之間的運動或活動對臨床醫(yī)生更可見。在一些實例中，可以向臨床醫(yī)生呈現(xiàn)不同圖像幀之間的預(yù)定波長的光的測量強度的變化，以使臨床醫(yī)生更加意識到特定感興趣對象(例如，血液)的運動。

圖像代數(shù)(image algebra)可用于識別在手術(shù)操作期間用于切割組織或其它物質(zhì)的最佳位置。在一些實例中，圖像代數(shù)可以包括邊緣檢測和/或歐拉圖像放大以識別最佳切割位置。

高光譜圖像分析可用于識別視域范圍內(nèi)的小區(qū)域中的微小變化，所述微小變化可以是不可見的或者對于人眼來說難以辨別。這些高光譜圖像分析技術(shù)可以與歐拉圖像放大結(jié)合以識別這些區(qū)域的具體的一組變化。

圖像代數(shù)可以與高光譜圖像分析結(jié)合以識別對象或其他塊體(mass)的邊緣。圖像代數(shù)可以包括邊緣檢測和/或可以與高光譜圖像分析和歐拉圖像放大二者結(jié)合以識別塊體的邊緣。

紅外光可以用于識別患病的、死亡的和/或異常的組織的邊界。濾波器可以用于從所捕獲的圖像數(shù)據(jù)隔離紅外、近紅外或其它范圍中的一個或多個期望的波長。歐拉圖像放大和/或圖像代數(shù)可以用于分析濾波的圖像數(shù)據(jù)并識別特定的組織邊界。

歐拉圖像放大、圖像代數(shù)、高光譜圖像分析和濾波技術(shù)中的一個或多個可以被包括來作為成像系統(tǒng)的部分。這些技術(shù)可以使成像系統(tǒng)能夠提供關(guān)于相機視場內(nèi)的不明顯狀況和對象的附加信息并加強手術(shù)預(yù)后。該附加信息可以包括但不限于：識別組織灌注、定位特定尺寸的動脈(諸如較大的動脈)、驗證血管密封的有效性、識別異常組織的熱特征、驗證期望的對象運動(諸如，在死亡組織的邊緣缺乏活動或在切除后驗證適當(dāng)?shù)牧鲃?、區(qū)分看起來相似的對象(諸如區(qū)分輸尿管、腸系膜下動脈和/或周圍血液)、以及檢測小的泄漏(例如，在吻合術(shù)后可能發(fā)生的泄漏)。

這些技術(shù)中的一個或多個可以被包括來作為手術(shù)機器人系統(tǒng)中的成像系統(tǒng)的部分，以向臨床醫(yī)生實時提供關(guān)于內(nèi)窺鏡視場內(nèi)的不明顯狀況和對象的附加信息。這可以使臨床醫(yī)生能夠在手術(shù)期間快速識別、避免和/或糾正不期望的情況和狀況。例如，臨床醫(yī)生能夠在手術(shù)期間驗證血管已經(jīng)被適當(dāng)?shù)孛芊狻⒀哼m當(dāng)?shù)亓鲃?、在吻合術(shù)后沒有漏氣、和/或已經(jīng)移除了患病組織。然后，如果有需要，臨床醫(yī)生則能夠在手術(shù)期間糾正這些問題。臨床醫(yī)生還能夠識別體內(nèi)的手術(shù)器械應(yīng)避免接觸或額外小心地處置的脆弱的或關(guān)鍵的對象，諸如較大的動脈或輸尿管。

本公開針對用于在手術(shù)操作期間向臨床醫(yī)生實時提供增強圖像的系統(tǒng)和方法。本文描述的系統(tǒng)和方法將圖像處理濾波器應(yīng)用于所捕獲的圖像，以經(jīng)由顯示器向臨床醫(yī)生提供增強或加強的圖像。在一些實施例中，該系統(tǒng)和方法允許在手術(shù)操作期間的視頻捕獲。捕獲的視頻被實時或準(zhǔn)實時地處理，然后作為增強圖像顯示給臨床醫(yī)生。圖像處理濾波器應(yīng)用于捕獲的視頻的每個幀。向臨床醫(yī)生提供增強圖像或視頻允許臨床醫(yī)生識別并解決潛在的不利生理狀況，從而減少對額外手術(shù)操作的需要以及確保原始手術(shù)操作的有效性。

本文所述的實施例使臨床醫(yī)生能夠識別接收過多或無效血液的區(qū)域、吻合或密封的有效性、用于識別患病組織的器官中的溫度變化、用于判定組織是否存活的微小的組織活動以及組織厚度。另外，本文所述的實施例可用于識別切除后的組織灌注、動脈位置，區(qū)分不同組織，以及判定漏氣。

現(xiàn)轉(zhuǎn)向圖1，根據(jù)本公開的實施例的用于增強手術(shù)環(huán)境的系統(tǒng)一般性地被示出為100。系統(tǒng)100包括具有處理器104和存儲器106的控制器102。系統(tǒng)100還包括記錄靜止幀圖像(still frame image)或動像的圖像捕獲裝置108(例如，相機)。傳感器陣列110向控制器102提供關(guān)于手術(shù)環(huán)境的信息。例如，傳感器陣列110包括生物計量傳感器，該生物計量傳感器能夠獲取患者的例如脈搏、體溫、血壓、血氧水平、心律等生物計量數(shù)據(jù)。傳感器陣列110還可以包括高光譜傳感器以執(zhí)行高光譜成像。顯示器112在手術(shù)操作期間向臨床醫(yī)生顯示增強圖像。在一些實施例中，控制器102可以經(jīng)由無線或有線連接與中央服務(wù)器(未示出)通信。該中央服務(wù)器可以存儲一個患者或多個患者的圖像，該圖像可以利用X射線、計算機斷層掃描或磁共振成像來獲取。

圖2A至圖2D描述了圖1的系統(tǒng)如何在手術(shù)環(huán)境中實施的示例。如圖2A至圖2D所示，圖像捕獲裝置108在手術(shù)操作期間捕獲手術(shù)環(huán)境的圖像。由圖像捕獲裝置108所記錄的圖像、來自傳感器陣列110的數(shù)據(jù)以及來自中央服務(wù)器(未示出)的圖像通過控制器102結(jié)合以產(chǎn)生增強圖像，該增強圖像經(jīng)由顯示器112提供給臨床醫(yī)生。如圖2A至圖2D所示，顯示器112可以是投影儀(圖2A)，激光投影系統(tǒng)(圖2B)，一副眼鏡，或監(jiān)視器(圖2D)，所述眼鏡將圖像投影到的一個鏡片上(諸如谷歌眼鏡(GOOGLE)(由提供))(圖2C)、兩個鏡片上或面罩上。當(dāng)使用如在圖2D中所示的監(jiān)視器時，增強圖像覆蓋在由圖像捕獲裝置108獲取的患者的圖像上。

圖3描述了控制器102的系統(tǒng)框圖。如圖3所示，控制器102包括收發(fā)器114，收發(fā)器114被配置為從圖像捕獲裝置108接收靜止幀圖像或視頻，或者從傳感器陣列110接收數(shù)據(jù)。在一些實施例中，收發(fā)器114可以包括經(jīng)由無線通信協(xié)議接收靜止幀圖像、視頻或數(shù)據(jù)的天線。靜止幀圖像、視頻或數(shù)據(jù)被提供給處理器104。處理器104包括圖像處理濾波器116，圖像處理濾波器116處理所接收的靜止幀圖像、視頻或數(shù)據(jù)以產(chǎn)生增強圖像或視頻。圖像處理濾波器116可以利用分立的部件、軟件或其組合來實施。增強圖像或視頻被提供給顯示器112。

現(xiàn)轉(zhuǎn)向圖4，可以應(yīng)用于由收發(fā)器114接收的視頻的圖像處理濾波器的系統(tǒng)框圖被示出為116A。在圖像處理濾波器116A中，利用空間分解濾波器118將所接收的視頻的每個幀分解為不同的空間頻帶S₁至S_N?？臻g分解濾波器118采用被稱為金字塔(pyramid)的圖像處理技術(shù)，其中圖像經(jīng)過重復(fù)平滑和子采樣。

在所述幀經(jīng)過使用空間分解濾波器118之后，時間濾波器120被應(yīng)用于所有空間頻帶S₁至S_N以產(chǎn)生時間濾波帶ST₁至ST_N。時間濾波器120是用于提取一個或多個期望頻帶的帶通濾波器。例如，如果臨床醫(yī)生知道患者的脈搏，則臨床醫(yī)生可以利用用戶界面(未示出)設(shè)置時間濾波器120的帶通頻率，以放大對應(yīng)于患者的脈搏的空間頻帶。換句話說，該帶通濾波器被設(shè)置為包括患者的脈搏的狹窄范圍，并且應(yīng)用到所有空間頻帶S₁至S_N。只有對應(yīng)于帶通濾波器的所設(shè)定范圍的空間頻帶會被隔離或通過。所有時間濾波帶ST₁至ST_N由具有增益α的放大器單獨地放大。因為時間濾波器隔離或通過期望的空間頻帶，所以只有期望的空間頻帶得到放大。然后放大的時間濾波帶ST₁至ST_N被加到原始空間頻帶S₁至S_N以產(chǎn)生增強帶S′₁至S′_N。然后利用重構(gòu)濾波器122通過合并增強帶S′1到S′N來重構(gòu)視頻的每個幀，以產(chǎn)生增強幀。所有的增強幀被組合以產(chǎn)生增強視頻。向臨床醫(yī)生顯示的增強視頻包括被放大的部分(即，對應(yīng)于期望的空間頻帶的部分)以使臨床醫(yī)生能夠容易地識別這樣的部分。

在一些實施例中，代替使用放大器放大所隔離的時間濾波帶，圖像處理濾波器116A可以在重構(gòu)該視頻之前使用一種或多種顏色來突出時間濾波帶。針對患者的期望部位(例如，血管或神經(jīng))采用不同的顏色可以使臨床醫(yī)生更容易識別這種部位的位置。

現(xiàn)轉(zhuǎn)向圖5，圖像處理濾波器的系統(tǒng)框圖被示出為116B，該圖像處理濾波器可以應(yīng)用于通過收發(fā)器114接收的靜止幀圖像或視頻。如圖5所示，輸入圖像124(即，捕獲的圖像或來自視頻的幀)被輸入到圖像處理濾波器116B。然后圖像處理濾波器116B對輸入圖像124采用邊緣檢測算法，并輸出突出了在輸入圖像124中發(fā)現(xiàn)的邊緣的濾波圖像126。

圖6描繪了用于產(chǎn)生高光譜圖像的系統(tǒng)的框圖。如圖6所示，傳感器陣列110包括高光譜傳感器128。高光譜傳感器128采集一組圖像，其中每個圖像表示電磁波譜的不同范圍。該組圖像被發(fā)送到圖像處理濾波器116C，圖像處理濾波器116C采用高光譜算法來組合該組圖像以形成三維(3D)高光譜圖像立方體。3D高光譜圖像立方體被輸出到顯示器112。

圖7描繪了用于產(chǎn)生紅外圖像的系統(tǒng)的框圖。如圖7所示，紅外相機130捕獲圖像或視頻，并將所捕獲的圖像或視頻發(fā)送到圖像處理濾波器116D。圖像處理濾波器116D處理接收到的所捕獲的圖像或視頻，以產(chǎn)生在顯示器112上顯示的紅外圖像。

上述的圖像處理濾波器(即，圖像處理濾波器116A-116D)可以單獨地用于識別手術(shù)操作期間的身體狀況。在一些實施例中，圖像處理濾波器116A可以用于識別顏色的變化，以便識別組織灌注或切除后的再灌注、動脈血流、血管類型。圖像處理濾波器116A還可用于提高壞死組織的運動識別邊緣的可見性或切除后組織的適當(dāng)?shù)臋C能。

在一些實施例中，可以組合上述濾波器以輔助臨床醫(yī)生識別不利的身體狀況。例如，圖像處理濾波器116A和116B可以被組合成識別不同組織的邊緣，以確定用于執(zhí)行任務(wù)(例如，切割)的最有效的布置。圖像處理濾波器116A和116C可以被組合成識別小區(qū)域中的微小變化，例如，無法通過常規(guī)方法判定的漏氣。圖像處理濾波器116A、116B和116C可以被組合以識別塊體(例如，腫瘤)的邊緣。圖像處理濾波器116A、116B和116D可以被組合以識別患病組織的邊界。

圖像處理濾波器116A、116B、116C和116D可以利用不同的電路來實施，或者它們可以利用基于應(yīng)用于圖像的濾波器來執(zhí)行不同子例程的單個處理器來實施。

上述實施例還可以集成到機器人手術(shù)系統(tǒng)中。圖8示出了可以包括在機器人手術(shù)系統(tǒng)1中的各種部件，諸如兩個以上的機器人手臂2、3；控制裝置4；以及與控制裝置4耦合的操作控制臺5。操作控制臺5可以包括顯示裝置6，其可以特別地設(shè)置為顯示三維圖像；以及一個或多個手動輸入裝置7、8，人(未示出)(例如，外科醫(yī)生)能夠通過該手動輸入裝置在第一操作模式下遙控操縱機器人手臂2、3。

輸入裝置7、8的移動可以被縮放而使得附接到機器人手臂2、3的手術(shù)器械具有與輸入裝置7、8的移動不同(例如，更小或更大)的對應(yīng)的移動。比例因子(scale factor)或傳動比(gearing ratio)可以是可調(diào)節(jié)的，使得臨床醫(yī)生可以控制手術(shù)器械的操作端的分辨率。

機器人手臂2、3中的每個可以包括通過接頭而連接的多個構(gòu)件和手術(shù)組件20，手術(shù)組件20可以附接有(例如)諸如(例如)圖像捕獲裝置108(諸如內(nèi)窺鏡)的手術(shù)器械或根據(jù)本文公開的任何實施例的具有末端執(zhí)行器200的其它手術(shù)器械。手術(shù)組件20的遠端可以被配置為支撐圖像捕獲裝置108和/或具有末端執(zhí)行器200的其它手術(shù)器械，末端執(zhí)行器200包括但不限于抓緊器、手術(shù)吻合器、手術(shù)切割器、手術(shù)吻合切割器、線性手術(shù)吻合器、線性手術(shù)吻合切割器、圓形手術(shù)吻合器、圓形手術(shù)吻合切割器、手術(shù)施夾器、手術(shù)夾結(jié)扎器、手術(shù)夾緊裝置、血管擴張裝置、管腔擴張裝置、手術(shù)刀、流體輸送裝置或任何其它類型的手術(shù)器械。這些手術(shù)器械中的每個可以被配置為通過機器人手臂2、3經(jīng)由力傳遞構(gòu)件進行致動和操縱。力傳遞構(gòu)件可以以各種方式配置為諸如(例如)海波管(hypotube)、推桿、軸或栓系件，并且可以傳遞諸如(例如)軸向(即，推和拉)力、旋轉(zhuǎn)力的各種力和/或各種扭矩。具有作為關(guān)節(jié)式運動的末端執(zhí)行器200的相機的圖像捕獲裝置108(諸如內(nèi)窺鏡)可以包括這種力傳遞構(gòu)件。這些力傳遞構(gòu)件中的一個或多個可以被構(gòu)造成控制相機的關(guān)節(jié)式運動。

機器人手臂2、3可以通過連接到控制裝置4的電驅(qū)動器來驅(qū)動。控制裝置4(例如，計算機)被設(shè)置成尤其借助計算機程序的方式來觸發(fā)驅(qū)動器，從而使機器人手臂2、3及其手術(shù)組件20進而使末端執(zhí)行器200根據(jù)借助手動輸入裝置7、8所定義的移動來執(zhí)行期望的移動?？刂蒲b置4還可以設(shè)置成使其調(diào)節(jié)機器人手臂2、3的移動和/或驅(qū)動器的移動。

控制裝置4還可以通信地聯(lián)接到手術(shù)系統(tǒng)1的其它部件，包括但不限于手術(shù)組件20；顯示器6；輸入裝置7、8；以及聯(lián)接到機器人手臂2、3的手術(shù)器械，諸如圖像捕獲裝置108和具有末端執(zhí)行器200的器械?？刂蒲b置4還可以包括控制器102或被聯(lián)接到控制器102?？刂破?02和/或控制裝置4可以包括收發(fā)器114，收發(fā)器114可以被配置為從圖像捕獲裝置108接收靜止幀圖像或視頻，或者從傳感器陣列110接收數(shù)據(jù)。在一些實施例中，收發(fā)器114可以包括天線，用于經(jīng)由無線通信協(xié)議來接收靜止幀圖像、視頻或數(shù)據(jù)。收發(fā)器114還可以經(jīng)由有線連接來接收靜止幀圖像、視頻或數(shù)據(jù)。該靜止幀圖像、視頻或數(shù)據(jù)可以被發(fā)送到處理器104。處理器104包括圖像處理濾波器116，圖像處理濾波器116處理所接收的靜止幀圖像、視頻或數(shù)據(jù)以產(chǎn)生增強圖像或視頻。處理器104可以包括用于存儲正在處理的圖像、視頻或數(shù)據(jù)的緩沖器或存儲器106。圖像處理濾波器116可以利用分立的部件、軟件或其組合來實施。增強圖像或視頻可以被存儲和/或發(fā)送到顯示器6或另一輸出設(shè)備。

在手術(shù)系統(tǒng)1中，至少一個圖像捕獲裝置108可以聯(lián)接到兩個以上機器人手臂2、3中的至少第一機器人手臂。圖像捕獲裝置108可以被配置為在手術(shù)操作期間插入到患者體內(nèi)并且捕獲患者體內(nèi)的感興趣區(qū)域的圖像。所捕獲的圖像可以顯示在顯示器6上。

另一手術(shù)器械具有被配置為在手術(shù)操作期間操縱感興趣區(qū)域中的組織的末端執(zhí)行器200，該手術(shù)器械可以聯(lián)接到兩個以上機器人手臂2、3中的至少第二機器人手臂。

控制器102可以被配置為處理從圖像裝置108所捕獲的圖像，并將至少一個圖像處理濾波器116(例如，在本申請通篇提到的一種或多種不同方式的濾波器116A至116D)應(yīng)用于捕獲的圖像，以識別在手術(shù)操作期間的感興趣區(qū)域中的對象的不可感知屬性?？刂破?02可以向臨床醫(yī)生輸出在手術(shù)操作期間所識別的不可感知屬性。該不可感知屬性可以以不同的方式輸出，包括輸出到可以向臨床醫(yī)生顯示不可感知屬性的顯示器6，和/或通過觸覺的方式輸出使得臨床醫(yī)生可以感覺到不可感知屬性。當(dāng)不可感知屬性被輸出到顯示器時，不可感知屬性可以被改變或變換成更加清晰可見的信號，該信號可以被覆蓋到捕獲的圖像的對應(yīng)部分上并且在顯示器上顯示給臨床醫(yī)生。

可以附接到機器人手臂2、3的每個器械可以配備有工具類型標(biāo)識符，諸如，快速響應(yīng)代碼、存儲在器械的存儲器中的標(biāo)識符、與工具類型相關(guān)聯(lián)的特定電路配置等等。手術(shù)系統(tǒng)1可以包括被配置為從附接到機器人手臂2、3的每個器械接收和/或讀取工具類型標(biāo)識符的部件或電路。然后可以使用該信息來選擇可以被應(yīng)用于所捕獲的圖像的特定的圖像處理濾波器116。

工具類型標(biāo)識符信息可以用于識別利用圖像捕獲裝置108的視場定位的、附接到機器人手臂2、3的手術(shù)器械。例如，如果快速響應(yīng)代碼或其它工具類型標(biāo)識符位于手術(shù)器械的、出現(xiàn)在圖像裝置108的視場內(nèi)的末端執(zhí)行器200、軸或其它部件上，則可以分析所捕獲的圖像數(shù)據(jù)以根據(jù)從圖像捕獲數(shù)據(jù)識別出的快速響應(yīng)代碼或其它標(biāo)識符來識別該手術(shù)器械。

在其它情況下，進入圖像捕獲裝置108的視場的手術(shù)器械可基于對關(guān)于圖像捕獲裝置108(和/或附接有圖像裝置108的機器人手臂2)與附接到其它機器人手臂3中的一個機器人手臂的器械(和/或附接有該器械的機器人手臂3)的位置信息的比較來識別?？梢詮拿總€器械中的或者機器人手臂2、3中的一個或多個位置傳感器來獲取位置信息?？梢圆捎米儞Q來將來自不同機器人手臂2、3的不同坐標(biāo)系中的絕對位置信息進行轉(zhuǎn)換，從而可以獲取一個機器人手臂2上的圖像捕獲裝置108相對于附接到另一個機器人手臂3的手術(shù)器械的相對位置。該相對位置信息可以用于識別附接到另一個機器人手臂3的手術(shù)器械是否在圖像捕獲裝置108的視場內(nèi)。

在其它情況下，一個或多個相機可以用于捕獲一個或多個機器人手臂2、3的圖像。可以分析來自這些相機的圖像數(shù)據(jù)以識別每個機器人手臂2、3的位置?？梢苑治鲈撐恢眯畔⒁耘卸ǜ浇佑惺中g(shù)器械的機器人手臂3是否位于圖像捕獲裝置108的視場內(nèi)。也可以采用用于判定附接有手術(shù)器械的機器人手臂3是否位于圖像捕獲裝置108的視場內(nèi)的其它系統(tǒng)和方法。

如果位置信息和/或工具類型標(biāo)識符指示特定的手術(shù)器械處于圖像捕獲裝置108的視場內(nèi)，則可以自動地選擇對應(yīng)于特定的手術(shù)器械的一個或多個圖像處理濾波器116。例如，如果電烙式手術(shù)器械被識別為處于圖像捕獲裝置108的視場內(nèi)，則可以自動地選擇示出血管密封的有效性的圖像處理濾波器116。如果電烙式器械然后被移出視場并且諸如手術(shù)刀的切割器械被移入到視場中，則可以作為替代而自動地選擇示出大動脈的位置的不同的圖像處理濾波器116。

可以根據(jù)要執(zhí)行的任務(wù)來自動地選擇不同的圖像處理濾波器116。例如，如果切割工具處于視場中，并且正以超過預(yù)定閾值的速率移動、和/或輸入裝置7、8的縮放因子(scaling factor)被改變使得手術(shù)器械移動得較快，則可以自動地選擇示出大動脈的位置的圖像處理濾波器116。然而，如果切割工具以較慢的速率移動和/或被觸發(fā)以有條不紊地切割和/或移除組織，則可以作為替代而采用示出異常組織的圖像處理濾波器116。相同的分析可以應(yīng)用于電烙式工具：如果該工具在預(yù)定時段內(nèi)沒有被激活和/或正以超過預(yù)定閾值的速率移動，則可以自動地選擇示出大動脈的位置的圖像處理濾波器116。然而，如果電烙式工具正以較慢的速率移動和/或在預(yù)定時段內(nèi)被激活以有條不紊地切割和/或移除組織，則可以作為替代而采用示出血管密封的有效性或其它期望屬性的圖像處理濾波器116。

輸入裝置7、8可以包括觸覺件216以向臨床醫(yī)生提供與不可感知屬性相關(guān)的反饋。例如，可以產(chǎn)生表示組織參數(shù)或狀況(例如，由于操縱、切割或其它處理而引起的組織阻力、器械對組織的壓力、組織溫度、組織阻抗等)的輸出信號并將其傳輸?shù)捷斎胙b置7、8以向臨床醫(yī)生提供基于不可感知屬性而變化的觸覺反饋。觸覺件216可以向臨床醫(yī)生提供關(guān)于可以提高患者安全性的對象的不可感知屬性的加強觸覺反饋。例如，觸覺件216可以經(jīng)實施以在通過輸入裝置7、8移動的手術(shù)器械進入大動脈或其他脆弱組織的預(yù)定距離內(nèi)時向臨床醫(yī)生提供反饋，以防止對動脈和/脆弱的組織的可能的損傷。觸覺件216可以包括振動電機、電活性聚合物、壓電裝置、靜電裝置、亞音速聲波表面致動裝置、反向電振動裝置、或能夠向用戶提供觸反饋的任何其它裝置。輸入裝置7、8還可以包括用于脆弱組織操縱或處理的各種不同的致動器，進一步加強臨床醫(yī)生模擬實際操作狀況的能力。

本文公開的實施例是本公開的示例，并且可以以各種形式實施。本文公開的具體結(jié)構(gòu)的和功能的細節(jié)不應(yīng)被解釋為一種限制，而是作為權(quán)利要求的基礎(chǔ)并且作為教導(dǎo)本領(lǐng)域技術(shù)人員以實際上任何適當(dāng)?shù)丶毣Y(jié)構(gòu)來以各種方式采用本公開的代表性基礎(chǔ)。貫穿附圖的描述，相同的附圖標(biāo)記可以指相似或相同的元件。

短語“在實施例中”、“在各實施例中”、“在一些實施例中”或“在其它實施例中”各自可以指代根據(jù)本公開的相同或不同實施例中的一個或多個?！癆或B”形式的短語表示“(A)、(B)或(A和B)”?！癆、B或C中的至少一個”形式的短語表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。臨床醫(yī)生可以指臨床醫(yī)生或諸如醫(yī)生、護士、技術(shù)人員、醫(yī)療助理等執(zhí)行醫(yī)療程序的任何醫(yī)學(xué)專業(yè)人員。

本文描述的系統(tǒng)還可以利用一個或多個控制器來接收各種信息并且變換所接收的信息以產(chǎn)生輸出。所述控制器可以包括任何類型的計算設(shè)備、計算電路或能夠執(zhí)行存儲在存儲器中的一系列指令的任何類型的處理器或處理電路。所述控制器可以包括多個處理器和/或多核中央處理單元(CPU)，并且可以包括任何類型的處理器，諸如微處理器、數(shù)字信號處理器、微控制器等。所述控制器還可以包括用于存儲數(shù)據(jù)和/或算法以執(zhí)行一系列指令的存儲器。

本文描述的方法、程序、算法或代碼中的任一種可以被轉(zhuǎn)換或表示成編程語言或計算機程序。“編程語言”和“計算機程序”包括用于向計算機指定指令的任何語言，并且包括(但不限于)這些語言及其派生：匯編語言、Basic、批處理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、機器代碼、操作系統(tǒng)命令語言、Pascal、Perl、PL1、腳本語言、Visual Basic、自身指定程序的元語言以及所有的第一代、第二代、第三代、第四代和第五代計算機語言。還包括數(shù)據(jù)庫和其它數(shù)據(jù)模式、以及任何其它元語言。對解釋的語言、編譯的語言或采用編譯和解釋兩者方法的語言不作區(qū)分。在程序的編譯版本和源版本之間也不作區(qū)分。因而，對編程語言可以以多于一種狀態(tài)(諸如源的、編譯的、對象的或鏈接的)存在的程序的引用是對任何所有這種狀態(tài)的引用。對程序的引用可以包括實際指令和/或這些指令的意圖。

本文描述的方法、程序、算法或代碼中的任一種可以包含在一個或多個機器可讀介質(zhì)或存儲器上。術(shù)語“存儲器”可以包括以機器(諸如處理器、計算機或數(shù)字處理設(shè)備)可讀的形式提供(例如，存儲和/或傳輸)信息的機制。例如，存儲器可以包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、磁盤存儲介質(zhì)、光存儲介質(zhì)、閃存設(shè)備或任何其它易失性或非易失性存儲器存儲設(shè)備。其上所包含的代碼或指令可以由載波信號、紅外信號、數(shù)字信號和其它類似方式的信號表示。

應(yīng)當(dāng)理解，前面的描述僅僅是對本公開的說明。本領(lǐng)域技術(shù)人員可以不偏離本公開來設(shè)計各種替代例和變形例。例如，本文所述的任何增強圖像可以組合成單個增強圖像以顯示給臨床醫(yī)生。相應(yīng)地，本公開旨在涵蓋所有這樣的替代例、變形例和變化例。參照附圖所描述的實施例僅用于示范本公開的某些示例。與上述和/或所附權(quán)利要求中所述的大致無異的其它元件、步驟、方法和技術(shù)也旨在處于本公開的范圍內(nèi)。