本申請要求2014年3月19日提交的題為“使用眼球凝視跟蹤的醫(yī)療裝置、系統(tǒng)和方法(Medical Devices，Systems，and Methods Using Eye Gaze Tracking)”的美國臨時(shí)專利申請61/9555,314和2014年3月19日提交的題為“用于次要成像的使用眼球凝視跟蹤的醫(yī)療裝置、系統(tǒng)和方法(Medical Devices，Systems，and Methods Using Eye Gaze Tracking for Secondary Imaging)”的美國臨時(shí)專利申請61/955,355的申請日的優(yōu)先權(quán)和利益，申請通過引用全部并入本文。

背景技術(shù)：

外科手術(shù)能夠以微創(chuàng)方式使用遠(yuǎn)程操作醫(yī)療系統(tǒng)執(zhí)行。微創(chuàng)外科手術(shù)的好處是眾所周知的并且當(dāng)與傳統(tǒng)的開放式切口外科手術(shù)相比時(shí)包括較少的患者創(chuàng)傷、較少的失血和較快的恢復(fù)時(shí)間。另外，諸如由加利福尼亞森尼韋爾的直觀外科手術(shù)公司(Intuitive Surgical，Inc.)商業(yè)化的DA手術(shù)系統(tǒng)的遠(yuǎn)程操作醫(yī)療系統(tǒng)的使用是已知的。當(dāng)與手動微創(chuàng)手術(shù)相比時(shí)，此類遠(yuǎn)程操作醫(yī)療系統(tǒng)可以允許外科醫(yī)生用直觀控制和增加的精確性操作。

遠(yuǎn)程操作醫(yī)療系統(tǒng)可以包括聯(lián)接到一個(gè)或更多個(gè)機(jī)器臂的一個(gè)或更多個(gè)器械。如果系統(tǒng)用于執(zhí)行微創(chuàng)手術(shù)，則器械可以通過諸如小切口的患者體內(nèi)的一個(gè)或更多個(gè)小開口或諸如例如口、尿道或肛門的自然腔道進(jìn)入手術(shù)區(qū)域。在一些情況下，不通過(一個(gè)或更多個(gè))開口直接插入(一個(gè)或更多個(gè))器械，套管或其他引導(dǎo)元件能夠插入每個(gè)開口中，并且器械可以通過套管插入以進(jìn)入手術(shù)區(qū)域。諸如內(nèi)窺鏡的成像工具能夠用于觀看手術(shù)區(qū)域，并且由成像工具捕獲的圖像能夠顯示在圖像顯示器上，以在外科手術(shù)期間由外科醫(yī)生觀看。

用于提供一種能夠在微創(chuàng)醫(yī)療程序期間針對各種應(yīng)用有效地控制并監(jiān)視的遠(yuǎn)程操作醫(yī)療系統(tǒng)是可取的。本文公開的系統(tǒng)和方法克服現(xiàn)有技術(shù)的缺點(diǎn)中的一個(gè)或更多個(gè)。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)示例性方面，本公開涉及一種包括眼球跟蹤單元和控制單元的遠(yuǎn)程操作醫(yī)療系統(tǒng)。在一方面，眼球跟蹤單元包括經(jīng)配置向使用者顯示術(shù)野的圖像的圖像顯示器和經(jīng)配置測量關(guān)于使用者的凝視點(diǎn)的數(shù)據(jù)的至少一個(gè)眼球跟蹤器。在一方面，眼球跟蹤單元包括處理器，其經(jīng)配置處理數(shù)據(jù)，以在所顯示的圖像中確定使用者的凝視點(diǎn)指示的觀看位置。在一方面，控制單元經(jīng)配置基于所確定的觀看位置控制遠(yuǎn)程操作醫(yī)療系統(tǒng)的至少一個(gè)功能。

在另一個(gè)示例性方面，本公開涉及一種用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的方法。在一方面，方法包括在圖像顯示器上顯示包括術(shù)野圖像的圖像。在一方面，方法包括測量在圖像顯示器中的使用者的凝視點(diǎn)。在一方面，方法包括在所顯示的圖像中確定使用者的凝視點(diǎn)指示的觀看位置。在一方面，方法包括基于所確定的觀看位置控制遠(yuǎn)程操作醫(yī)療系統(tǒng)的至少一個(gè)功能。

在另一示例性方面，本公開涉及一種包括第一眼球跟蹤單元和第二眼球跟蹤單元的遠(yuǎn)程操作醫(yī)療系統(tǒng)。在一方面，第一眼球跟蹤單元包括一個(gè)或更多個(gè)第一圖像顯示器、一個(gè)或更多個(gè)第一眼球跟蹤器和第一處理器，第一處理器聯(lián)接到一個(gè)或更多個(gè)第一眼球跟蹤器并經(jīng)配置計(jì)算當(dāng)?shù)谝皇褂谜哂^看由一個(gè)或更多個(gè)第一圖像顯示器顯示的第一圖像時(shí)第一使用者的第一凝視點(diǎn)。在一方面，第二眼球跟蹤單元包括一個(gè)或更多個(gè)第二圖像顯示器、一個(gè)或更多個(gè)第二眼球跟蹤器和第二處理器，第二處理器聯(lián)接到一個(gè)或更多個(gè)第二眼球跟蹤器并經(jīng)配置計(jì)算當(dāng)?shù)诙褂谜哂^看由一個(gè)或更多個(gè)第二圖像顯示器顯示的第二圖像時(shí)第二使用者的第二凝視點(diǎn)。在一方面，一個(gè)或更多個(gè)第一圖像顯示器聯(lián)接到第二處理器。在一方面，一個(gè)或更多個(gè)第二圖像顯示器聯(lián)接到第一處理器。

在另一個(gè)示例性方面，本公開涉及一種用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的方法。在一方面，方法包括在手術(shù)部位的3D圖像顯示器中跟蹤眼球凝視動態(tài)。在一方面，方法包括當(dāng)使用者觀看3D圖像顯示器時(shí)確定使用者的條件。

在另一個(gè)示例性方面，本公開涉及一種用于操作手術(shù)系統(tǒng)的方法。在一方面，方法包括確定3D凝視點(diǎn)用于第一使用者在第一顯示器中觀看3D圖像和在第二顯示器中的3D圖像中顯示3D凝視點(diǎn)。在一方面，方法包括從在第二顯示器上觀看第一使用者的3D凝視點(diǎn)的第二使用者接收指令。

在另一個(gè)示例性方面，本公開涉及一種用于操作包括器械和3D顯示器的手術(shù)系統(tǒng)的方法。在一方面，方法包括在3D顯示器上顯示3D圖像和確定3D凝視點(diǎn)的位置用于使用者觀看3D圖像。在一方面，方法包括比較3D圖像和3D凝視點(diǎn)的位置。

這些及其他實(shí)施例相對于下列附圖在下面進(jìn)一步討論。

附圖說明

當(dāng)結(jié)合附圖閱讀時(shí)，本公開的各方面從下列詳細(xì)描述最好地理解。根據(jù)本行業(yè)中的標(biāo)準(zhǔn)慣例，強(qiáng)調(diào)的是各種特征未按比例繪制。事實(shí)上，為了便于討論，各種特征的尺寸可以任意地增大或減小。另外，本公開可以在各種示例中重復(fù)參考標(biāo)號和/或字母。此重復(fù)是為了簡單和清楚起見，并且本身不指示所討論的各種實(shí)施例和/或配置的關(guān)系。

圖1A根據(jù)本公開的一個(gè)實(shí)施例示出示例性遠(yuǎn)程操作醫(yī)療系統(tǒng)。

圖1B、圖1C和圖1D根據(jù)本公開的各種實(shí)施例示出遠(yuǎn)程操作醫(yī)療系統(tǒng)的示例性組件。具體地，圖1B根據(jù)本公開的一個(gè)實(shí)施例示出示例性遠(yuǎn)程操作組件的正視圖。圖1C根據(jù)本公開的一個(gè)實(shí)施例示出示例性操作員輸入系統(tǒng)的正視圖。圖1D根據(jù)本公開的一個(gè)實(shí)施例示出示例性視覺手推車(vision cart)組件的前視圖。

圖2A根據(jù)本公開的一個(gè)實(shí)施例示出相對于示例性圖像顯示器和術(shù)野的使用者的3D坐標(biāo)框架的方框圖。

圖2B根據(jù)本公開的一個(gè)實(shí)施例示出由圖1A、圖1B和圖1C的遠(yuǎn)程操作醫(yī)療系統(tǒng)使用的示例性眼球跟蹤單元。

圖2C是根據(jù)本公開的一個(gè)實(shí)施例示出使用眼球跟蹤單元控制并影響遠(yuǎn)程操作醫(yī)療系統(tǒng)和/或手術(shù)器械的示例性方法的流程圖。

圖2D根據(jù)本公開的一個(gè)實(shí)施例示出示例性代理人的眼球跟蹤單元，其聯(lián)接到被訓(xùn)練的外科醫(yī)生的示例性眼球跟蹤單元。

圖3A根據(jù)本公開的一個(gè)實(shí)施例示出用于使用圖2B的眼球跟蹤單元200確定并顯示外科醫(yī)生的3D凝視點(diǎn)的示例性方法。

圖3B根據(jù)本公開的一個(gè)實(shí)施例示出使用圖2D的雙眼球跟蹤單元的示例性訓(xùn)練/代理方法。

圖3C根據(jù)本公開的一個(gè)實(shí)施例示出用于確認(rèn)并啟用對應(yīng)的控制接口以輸送要在操作中使用的預(yù)定手術(shù)器械的示例性凝視點(diǎn)確認(rèn)方法。

圖4根據(jù)本公開的一個(gè)實(shí)施例示出用于使用圖2B的眼球跟蹤單元評價(jià)在外科手術(shù)期間外科醫(yī)生的表現(xiàn)的示例性方法。

圖5是根據(jù)本公開的一個(gè)實(shí)施例示出帶有3D坐標(biāo)系統(tǒng)的手術(shù)部位的3D圖像的外科醫(yī)生的控制臺的3D圖像顯示器的一個(gè)示例。

圖6A-6B根據(jù)本公開示出能夠在圖1A-圖1C的遠(yuǎn)程操作醫(yī)療系統(tǒng)中使用的內(nèi)窺鏡的各種實(shí)施例。

圖6C是根據(jù)本公開的一個(gè)實(shí)施例的能夠用作圖6A-圖6B的內(nèi)窺鏡的成像模塊的立體攝像機(jī)的示意圖。

圖7A根據(jù)本公開的一個(gè)實(shí)施例示出內(nèi)窺鏡系統(tǒng)的方框圖。內(nèi)窺鏡系統(tǒng)包括圖6A-圖6B中所示的示例性內(nèi)窺鏡。

圖7B是根據(jù)本公開的一個(gè)實(shí)施例示出用于使用遠(yuǎn)程操作醫(yī)療系統(tǒng)應(yīng)用圖像修改的方法的流程圖。

圖8A是根據(jù)本公開的一個(gè)實(shí)施例示出用于控制使用內(nèi)窺鏡系統(tǒng)的遠(yuǎn)程操作醫(yī)療系統(tǒng)的一個(gè)或更多個(gè)內(nèi)窺鏡以顯示重疊主要圖像的放大圖像的方法的流程圖。

圖8B根據(jù)本公開的一個(gè)實(shí)施例示出在虛擬放大的區(qū)域內(nèi)顯示的預(yù)定眼球跟蹤精確性閾值。

圖8C根據(jù)本公開的一個(gè)實(shí)施例示出顯示重疊主要圖像的放大圖像的示例。

圖8D是根據(jù)本公開的一個(gè)實(shí)施例示出使用圖6A的內(nèi)窺鏡以捕獲并產(chǎn)生如圖8C中所示的主要圖像和放大圖像的示意圖。

圖8E是根據(jù)本公開的一個(gè)實(shí)施例示出使用圖6B的兩個(gè)內(nèi)窺鏡以捕獲并產(chǎn)生如8C中所示的主要圖像和放大圖像的示意圖。

圖9是根據(jù)本公開的一個(gè)實(shí)施例示出用于使用控制系統(tǒng)控制遠(yuǎn)程操作醫(yī)療系統(tǒng)的一個(gè)或更多個(gè)內(nèi)窺鏡來捕獲并顯示不同成像模式的方法的流程圖。

圖10A是根據(jù)本公開的一個(gè)實(shí)施例示出用于顯示內(nèi)窺鏡隨著外科醫(yī)生的眼球凝視在顯示器的主要圖像上掃描時(shí)捕獲的多個(gè)圖像的方法的流程圖。

圖10B-10C根據(jù)本公開的各種實(shí)施例示出隨著外科醫(yī)生的眼球凝視在圖像顯示器的主要圖像上掃描時(shí)捕獲并顯示的多個(gè)圖像的示例。

具體實(shí)施方式

為了促進(jìn)對本公開的原理的理解，現(xiàn)在將參考附圖中所示的實(shí)施例，并且將使用具體語言來描述相同的實(shí)施例。然而，將理解的是，不意在限制本公開的范圍。在下列具體實(shí)施方式中，詳細(xì)闡述許多具體細(xì)節(jié)，以便提供對所公開的實(shí)施例的全面理解。然而，對本領(lǐng)域的技術(shù)人員將明顯的是，本公開的實(shí)施例可以在無這些具體細(xì)節(jié)的情況下實(shí)踐。在其他情況下，眾所周知的方法、過程、組件和線路尚未詳細(xì)地描述，以便不會不必要地模糊本公開的實(shí)施例的各方面。

對所描述的裝置、器械、方法和本公開的原理的任何進(jìn)一步應(yīng)用的任何替代和進(jìn)一步修改充分地設(shè)想為將通常被本公開涉及的本領(lǐng)域的技術(shù)人員容易想到的。特別地，充分地設(shè)想到，相對于一個(gè)實(shí)施例描述的特征、組件和/或步驟可以與相對于本公開的其他實(shí)施例描述的特征、組件和/或步驟組合。這些組合的許多重復(fù)不會單獨(dú)地描述。另外，本文提供的尺寸是用于具體示例，并且設(shè)想到可以使用不同的大小、尺寸和/或比例來實(shí)施本公開的各概念。為了避免不需要的描述性重復(fù)，根據(jù)一個(gè)說明性實(shí)施例描述的一個(gè)或更多個(gè)組件或動作在適用時(shí)能夠根據(jù)其他說明性實(shí)施例使用或省略。為了簡便，在一些情況下，在附圖中使用相同參考標(biāo)號，以指代相同的或類似的部件。

以下實(shí)施例將就其在三維空間中的狀態(tài)而言，描述各種器械和各器械的各部分。如本文所用，術(shù)語“位置”是指物體或物體的一部分在三維空間(例如，沿笛卡爾X、Y、Z坐標(biāo)的三個(gè)平移自由度)中的位置。如本文所用，術(shù)語“取向”是指物體或物體的一部分的旋轉(zhuǎn)放置(三個(gè)旋轉(zhuǎn)自由度——例如，滾動(roll)、俯仰(pitch)和搖動(yaw))。如本文所用，術(shù)語“姿勢”是指物體或物體的一部分在至少一個(gè)平移自由度中的位置，并指物體或物體的一部分在至少一個(gè)旋轉(zhuǎn)自由度(高達(dá)六自由度)中的取向。如本文所用，術(shù)語“形狀”是指沿伸長物體測量的一組姿勢、位置或取向。

將理解的是，術(shù)語“近端”和“遠(yuǎn)端”通過參照臨床醫(yī)生操縱從臨床醫(yī)生延伸到手術(shù)部位的器械端部在本文使用。術(shù)語“近端”是指更接近臨床醫(yī)生的器械的部分，而術(shù)語“遠(yuǎn)端”是指遠(yuǎn)離臨床醫(yī)生并更接近手術(shù)部位的器械的部分。為了精確和簡便起見，諸如“水平”、“垂直”、“在上面”和“在下面”等空間術(shù)語可以相對于附圖在本文使用。然而，手術(shù)器械在許多取向和位置中使用，并且術(shù)語不意在是限制性的和絕對的。

本公開通常涉及使用眼球跟蹤系統(tǒng)在包括但不限于診斷、手術(shù)和/或治療手術(shù)的各種醫(yī)療程序中使用的遠(yuǎn)程操作醫(yī)療系統(tǒng)和/或器械的使用期間觀察并測量使用者的眼球的特征(例如，眼球凝視跟蹤)。特別地，在一些實(shí)施例中，本文公開的眼球跟蹤系統(tǒng)依賴于在手術(shù)控制臺、顯示系統(tǒng)或其他醫(yī)療或手術(shù)系統(tǒng)組件上跟蹤使用者的眼球凝視的精確位置(例如，2D或3D位置)的能力。在一些實(shí)施例中，眼球跟蹤系統(tǒng)可以用于通過直接地操作系統(tǒng)器械和/或通過影響系統(tǒng)特征來控制遠(yuǎn)程操作系統(tǒng)來實(shí)現(xiàn)全系統(tǒng)變化。特別地，本公開的一些實(shí)施例涉及系統(tǒng)和器械控制，并且具體地涉及通過在操作員在微創(chuàng)手術(shù)期間使用遠(yuǎn)程操作醫(yī)療系統(tǒng)的同時(shí)跟蹤操作員的眼球凝視進(jìn)行的系統(tǒng)和器械控制。在一些實(shí)施例中，多個(gè)眼球跟蹤系統(tǒng)(例如，用于培訓(xùn)師/代理人以及學(xué)生)可以一起使用來允許通過給定程序代理和訓(xùn)練。在一些實(shí)施例中，眼球跟蹤系統(tǒng)可以用于在給定程序期間在操作遠(yuǎn)程操作系統(tǒng)中獲得性能度量或評估使用者技能。特別地，在一些實(shí)施例中，并入遠(yuǎn)程操作醫(yī)療系統(tǒng)中的眼球跟蹤系統(tǒng)可以跟蹤外科醫(yī)生的眼球凝視，以評價(jià)在外科手術(shù)期間外科醫(yī)生的技能水平、一致性、物理狀態(tài)和/或任何其他性能測量。本領(lǐng)域的技術(shù)人員將認(rèn)識到本文公開的眼球跟蹤系統(tǒng)可以在從系統(tǒng)/器械控制、訓(xùn)練/代理和/或性能評價(jià)獲益的類似的(例如，非遠(yuǎn)程操作)實(shí)施方式中使用。通過使用本文公開的眼球跟蹤系統(tǒng)和方法，使用者可以經(jīng)歷與遠(yuǎn)程操作醫(yī)療系統(tǒng)的更直觀和更有效交互。

根據(jù)各種實(shí)施例，微創(chuàng)醫(yī)療程序可以使用遠(yuǎn)程操作系統(tǒng)以引導(dǎo)器械輸送和操作而執(zhí)行。參照附圖的圖1A，用于在例如包括診斷、治療或外科手術(shù)的醫(yī)療程序中的遠(yuǎn)程操作醫(yī)療系統(tǒng)通常用參考標(biāo)號10表示。如將描述，本公開的遠(yuǎn)程操作醫(yī)療系統(tǒng)是在外科醫(yī)生的遠(yuǎn)程操作控制下。在替代性的實(shí)施例中，遠(yuǎn)程操作醫(yī)療系統(tǒng)可以在經(jīng)編程執(zhí)行程序或子程序的計(jì)算機(jī)的部分控制下。在其他替代性的實(shí)施例中，在經(jīng)編程執(zhí)行程序或子程序的計(jì)算機(jī)的完全控制下的全自動化醫(yī)療系統(tǒng)可以用于執(zhí)行程序或子程序。如圖1中所示，遠(yuǎn)程操作醫(yī)療系統(tǒng)10通常包括靠近或安裝到其上定位患者P的手術(shù)臺O的遠(yuǎn)程操作組件12。遠(yuǎn)程操作組件12可以指患者側(cè)操縱器(PSM)。醫(yī)療器械系統(tǒng)14可操作地聯(lián)接到遠(yuǎn)程操作組件12。操作員輸入系統(tǒng)16允許外科醫(yī)生或其他類型的臨床醫(yī)生S觀看手術(shù)部位的圖像或表示手術(shù)部位的圖像并控制醫(yī)療器械系統(tǒng)14的操作。操作員輸入系統(tǒng)16可以被稱為主控制臺或外科醫(yī)生的控制臺。能夠用于實(shí)施本公開中描述的系統(tǒng)和技術(shù)的遠(yuǎn)程操作醫(yī)療系統(tǒng)的一個(gè)示例是由加利福尼亞森尼韋爾的直觀外科手術(shù)公司制造的da外科手術(shù)系統(tǒng)。

遠(yuǎn)程操作組件12支持醫(yī)療器械系統(tǒng)14并且可以包括一個(gè)或更多個(gè)非伺服控制的連桿的運(yùn)動結(jié)構(gòu)(例如，可以手動地定位并鎖定在適當(dāng)位置中的一個(gè)或更多個(gè)連桿，通常稱為裝配結(jié)構(gòu))和遠(yuǎn)程操作操縱器。(參見例如圖2)遠(yuǎn)程操作組件12包括驅(qū)動醫(yī)療器械系統(tǒng)14上的輸入的多個(gè)電動機(jī)。這些電動機(jī)響應(yīng)于來自控制系統(tǒng)22的命令移動。電動機(jī)包括驅(qū)動系統(tǒng)，驅(qū)動系統(tǒng)在聯(lián)接到醫(yī)療器械系統(tǒng)14時(shí)可以推進(jìn)醫(yī)療器械到自然或手術(shù)上產(chǎn)生的解剖孔中。其他機(jī)動化的驅(qū)動系統(tǒng)可以在多個(gè)自由度中移動醫(yī)療器械的遠(yuǎn)端，多個(gè)自由度可以包括三個(gè)線性運(yùn)動度(例如，沿X、Y、Z笛卡爾軸線的線性運(yùn)動)和三個(gè)旋轉(zhuǎn)運(yùn)動度(例如，圍繞X、Y、Z笛卡爾軸線的旋轉(zhuǎn))。此外，電動機(jī)可以用于致動器械的可鉸接末端執(zhí)行器。

遠(yuǎn)程操作醫(yī)療系統(tǒng)10也包括圖像捕獲系統(tǒng)18，圖像捕獲系統(tǒng)18包括諸如內(nèi)窺鏡等圖像捕獲裝置和相關(guān)的圖像處理硬件和軟件。遠(yuǎn)程操作醫(yī)療系統(tǒng)10也包括控制系統(tǒng)22，控制系統(tǒng)22操作地聯(lián)接到遠(yuǎn)程操作組件12的傳感器、電動機(jī)、致動器和其他組件、操作員輸入系統(tǒng)和圖像捕獲系統(tǒng)18。

操作員輸入系統(tǒng)16可以位于外科醫(yī)生的控制臺處，外科醫(yī)生的控制臺通常位于與手術(shù)臺O相同的房間中。然而，應(yīng)該理解的是，外科醫(yī)生S能夠位于與患者P不同的房間或完全不同的建筑物中。操作員輸入系統(tǒng)16通常包括用于控制醫(yī)療器械系統(tǒng)14的一個(gè)或更多個(gè)控制裝置。更具體地，響應(yīng)于外科醫(yī)生的輸入命令，控制系統(tǒng)22影響伺服機(jī)械運(yùn)動醫(yī)療器械系統(tǒng)14。(一個(gè)或更多個(gè))控制裝置可以包括任何數(shù)量的諸如手柄、操縱桿、跟蹤球、數(shù)據(jù)手套、觸發(fā)槍、手操作控制器、足操作控制器、聲音識別裝置、觸摸屏、身體運(yùn)動或存在傳感器等各種輸入裝置中的一個(gè)或更多個(gè)。在一些實(shí)施例中，(一個(gè)或更多個(gè))控制裝置將提供有與遠(yuǎn)程操作組件的醫(yī)療器械相同的自由度，以提供外科醫(yī)生遠(yuǎn)程呈現(xiàn)的感知，其中，(一個(gè)或更多個(gè))控制裝置與器械成一整體，使得外科醫(yī)生具有直接控制器械就好像存在于手術(shù)部位處的強(qiáng)感知。在其他實(shí)施例中，(一個(gè)或更多個(gè))控制裝置可以具有比相關(guān)聯(lián)的醫(yī)療器械更多或更少的自由度，并且仍然提供外科醫(yī)生遠(yuǎn)程呈現(xiàn)。在一些實(shí)施例中，(一個(gè)或更多個(gè))控制裝置是手動輸入裝置，手動輸入裝置以六個(gè)自由度移動并且也可以包括用于致動器械(例如，用于關(guān)閉抓爪，施加電勢至電極，輸送醫(yī)學(xué)治療等)的可致動手柄。

系統(tǒng)操作員看見由圖像捕獲系統(tǒng)18捕獲的圖像，圖像經(jīng)呈現(xiàn)用于在操作地聯(lián)接到或并入操作員輸入系統(tǒng)16的顯示系統(tǒng)20上觀看。顯示系統(tǒng)20顯示如由圖像捕獲系統(tǒng)18的子系統(tǒng)產(chǎn)生的手術(shù)部位和(一個(gè)或更多個(gè))醫(yī)療器械系統(tǒng)14的圖像或表示。顯示系統(tǒng)20和操作員輸入系統(tǒng)16可以經(jīng)取向，使得操作員能夠在遠(yuǎn)程呈現(xiàn)的感知下控制醫(yī)療器械系統(tǒng)14和操作員輸入系統(tǒng)16。顯示系統(tǒng)20可以包括多個(gè)顯示器，如用于向操作員的每個(gè)眼呈現(xiàn)單獨(dú)圖像的單獨(dú)右顯示器和左顯示器，從而允許操作員觀看立體圖像。

替代性地或另外地，顯示系統(tǒng)20可以呈現(xiàn)使用諸如計(jì)算機(jī)層析術(shù)(CT)、磁共振成像(MRI)、熒光檢查、溫度記錄、超聲波、光學(xué)相干斷層成像(OCT)、熱成像、阻抗成像、激光成像、納米管X射線成像等成像技術(shù)在手術(shù)前或在手術(shù)中記錄和/或成像的手術(shù)部位的圖像。所呈現(xiàn)的手術(shù)前或手術(shù)中圖像可以包括二維、三維或四維(包括例如基于時(shí)間或基于速度的信息)圖像和用于再現(xiàn)圖像的相關(guān)聯(lián)圖像數(shù)據(jù)組。

控制系統(tǒng)22包括至少一個(gè)存儲器和至少一個(gè)處理器(未示出)，和典型地多個(gè)處理器，用于實(shí)現(xiàn)在遠(yuǎn)程操作系統(tǒng)12、醫(yī)療器械系統(tǒng)14、操作員輸入系統(tǒng)16、圖像捕獲系統(tǒng)18和顯示系統(tǒng)20之間的控制。控制系統(tǒng)22也包括編程指令(例如，存儲指令的計(jì)算機(jī)可讀介質(zhì))，以實(shí)施根據(jù)本文公開的各方面描述的部分或全部方法。雖然控制系統(tǒng)22被示出作為圖1的簡化示意圖中的單個(gè)方框，但是系統(tǒng)可以包括兩個(gè)或更多個(gè)數(shù)據(jù)處理線路，其中處理的一部分可選地在遠(yuǎn)程操作組件12上或鄰近遠(yuǎn)程操作組件12執(zhí)行，處理的另一部分在操作員輸入系統(tǒng)16處執(zhí)行等?？梢圆捎脧V泛的各種集中或分布式數(shù)據(jù)處理構(gòu)造中的任何一個(gè)。類似地，所編程的指令可以實(shí)施作為若干單獨(dú)程序或子例程，或者它們可以集成到本文描述的遠(yuǎn)程操作系統(tǒng)的若干其他方面中。在一個(gè)實(shí)施例中，控制系統(tǒng)22支持諸如藍(lán)牙、IrDA、HomeRF、IEEE 802.11、DECT和無線遙測等無線通信協(xié)議。

在一些實(shí)施例中，控制系統(tǒng)22可以包括從醫(yī)療器械系統(tǒng)104接收力和/或轉(zhuǎn)矩反饋的一個(gè)或更多個(gè)伺服控制器。響應(yīng)于反饋，伺服控制器傳送信號至操作員輸入系統(tǒng)16。(一個(gè)或更多個(gè))伺服控制器也可以傳送指示遠(yuǎn)程操作組件12移動(一個(gè)或更多個(gè))醫(yī)療器械系統(tǒng)14的信號，(一個(gè)或更多個(gè))醫(yī)療器械系統(tǒng)14經(jīng)由身體中的開口延伸到患者身體內(nèi)的內(nèi)部手術(shù)部位中?？梢允褂萌魏魏线m的常規(guī)或?qū)ｉT的伺服控制器。伺服控制器可以與遠(yuǎn)程操作組件12分離，或者與遠(yuǎn)程操作組件12集成。在一些實(shí)施例中，伺服控制器和遠(yuǎn)程操作組件設(shè)置作為與患者的身體鄰近定位的遠(yuǎn)程操作臂手推車的一部分。

在此實(shí)施例中，遠(yuǎn)程操作醫(yī)療系統(tǒng)10也包括可以操作地聯(lián)接到或并入操作員輸入系統(tǒng)16的眼球跟蹤單元24。眼球跟蹤單元24操作地聯(lián)接到控制系統(tǒng)22用于操作員正在觀看顯示器20和/或在操作員輸入系統(tǒng)16處操作操作員控制時(shí)感測、測量、記錄和傳送與操作者的眼部相關(guān)的信息。

遠(yuǎn)程操作醫(yī)療系統(tǒng)10還可以包括諸如照明系統(tǒng)等可選操作和支持系統(tǒng)(未示出)、轉(zhuǎn)向控制系統(tǒng)、諸如灌注系統(tǒng)和/或抽吸系統(tǒng)等流體管理系統(tǒng)。在替代性的實(shí)施例中，遠(yuǎn)程操作系統(tǒng)可以包括一個(gè)以上的遠(yuǎn)程操作組件和/或一個(gè)以上的操作員輸入系統(tǒng)。準(zhǔn)確數(shù)量的操縱器組件將取決于手術(shù)過程和手術(shù)室內(nèi)的空間限制等其他因素。操作員輸入系統(tǒng)可以并置，或者它們可以定位在單獨(dú)的位置中。多個(gè)操作員輸入系統(tǒng)允許一個(gè)以上的操作員以各種組合控制一個(gè)或更多個(gè)操縱器組件。

圖1B是根據(jù)一個(gè)實(shí)施例的遠(yuǎn)程操作組件100(例如，圖1A中所示的遠(yuǎn)程操作組件12)的正視圖。組件100包括依靠在地板上的底座102、安裝在底座102上的支撐塔104和支撐手術(shù)工具(包括圖像捕獲系統(tǒng)18的各部分)的若干臂。如圖1B中所示，臂106a、106b、106c是支撐并移動用于操縱組織的手術(shù)器械的器械臂，并且臂108是支撐并移動內(nèi)窺鏡的攝像機(jī)臂。圖1B還示出分別安裝在器械臂106a、106b、106c上的可交換手術(shù)器械110a、110b、110c，并且示出安裝在攝像機(jī)臂108上的內(nèi)窺鏡112。內(nèi)窺鏡112可以是立體內(nèi)窺鏡，用于捕獲手術(shù)部位的立體圖像并提供單獨(dú)的立體圖像至顯示系統(tǒng)20。在行的人將理解到，支撐器械和攝像機(jī)的臂也可以由安裝到天花板或墻壁，或者在一些情況下安裝到手術(shù)室中的另一件設(shè)備(例如，手術(shù)臺)的(固定的或可移動的)底座平臺支撐。同樣地，將理解到可以使用兩個(gè)或更多個(gè)單獨(dú)底座(例如，一個(gè)底座支撐每個(gè)臂)。

如圖1B中進(jìn)一步所示，器械110a、110b、110c和內(nèi)窺鏡112分別包括器械接口150a、150b、150c和150d，并分別包括器械軸152a、152b、152c和152d。在一些實(shí)施例中，遠(yuǎn)程操作組件100可以包括用于相對于套管固定器械110a、110b、110c和內(nèi)窺鏡112的套管的支撐件。在一些實(shí)施例中，每個(gè)器械臂106a、106b、106c和108的各部分可以由手術(shù)室中的工作人員調(diào)節(jié)，以便相對于患者定位器械110a、110b、110c和內(nèi)窺鏡112。臂106a、106b、106c和108的其他部分可以由操作員在操作員輸入系統(tǒng)120處致動和控制(如圖1C中所示)。手術(shù)器械110a、110b、110c和內(nèi)窺鏡112也可以由操作員在操作員輸入系統(tǒng)120處控制。

圖1C是操作員輸入系統(tǒng)120(例如，圖1A中所示的操作員輸入系統(tǒng)16)的正視圖。操作員輸入系統(tǒng)120包括配備有左右多自由度(DOF)控制接口122a和122b的控制臺121，左右多自由度控制接口122a和122b是用于控制手術(shù)器械110a、110b、110c和內(nèi)窺鏡112的運(yùn)動鏈。外科醫(yī)生典型地用大拇指和食指抓持在每個(gè)控制接口122上的夾錠鉗(pincher)組件124a、124b，并且能夠移動夾錠鉗組件至各種位置和取向。當(dāng)選擇工具控制模式時(shí)，每個(gè)控制接口122經(jīng)配置控制對應(yīng)手術(shù)器械和器械臂106。例如，左控制接口122a可以經(jīng)聯(lián)接控制器械臂106a和手術(shù)器械110a，并且右控制接口122b可以經(jīng)聯(lián)接控制器械臂106b和手術(shù)器械110b。如果第三器械臂106c在手術(shù)過程期間使用并定位在左側(cè)上，則左控制接口122a能夠從控制臂106a和手術(shù)器械110a切換到控制臂106c和手術(shù)器械110c。同樣地，如果第三器械臂106c在手術(shù)過程期間使用并定位在右側(cè)上，則右控制接口122a能夠從控制臂106b和手術(shù)器械110b切換到控制臂106c和手術(shù)器械110c。在一些情況下，控制接口122a、122b和臂106a/手術(shù)器械110a的組合和臂106b/手術(shù)器械110b的組合之間的控制分配也可以交換。例如如果內(nèi)窺鏡滾動180度使得在內(nèi)窺鏡的視場中移動的器械看上去在與外科醫(yī)生正在移動的控制接口相同的一側(cè)上，這可以完成。夾錠鉗組件典型地用于在手術(shù)器械110的遠(yuǎn)端處操作帶卡爪的手術(shù)末端執(zhí)行器(例如，剪刀、抓持牽開器等)。

附加的控件提供有足踏板128。每個(gè)足踏板128能夠啟用在所選擇的器械110之一上的某些功能。例如，足踏板128可以啟用鉆頭或燒灼工具，或者可以操作灌注、抽吸或其他功能。多個(gè)器械可以通過壓下多個(gè)踏板128啟用。器械110的某個(gè)功能可以由其他控件啟用。

外科醫(yī)生的控制臺120也包括立體圖像觀看器系統(tǒng)126(例如，圖1A中所示的顯示系統(tǒng)20)。立體圖像觀看器系統(tǒng)126包括左目鏡125a和右目鏡125b，使得外科醫(yī)生可以在立體圖像觀看器系統(tǒng)126內(nèi)分別使用外科醫(yī)生的左右眼觀看左右立體圖像。由內(nèi)窺鏡112捕獲的左側(cè)圖像和右側(cè)圖像在對應(yīng)的左圖像顯示器和右圖像顯示器上輸出，外科醫(yī)生感知作為顯示系統(tǒng)(例如，圖1A中所示的顯示系統(tǒng)20)上的三維圖像。在一個(gè)有利的配置中，控制接口122定位在立體圖像觀看器系統(tǒng)126下面，使得顯示器中所示的手術(shù)工具的圖像看上去在顯示器下面的外科醫(yī)生的手附近。這個(gè)特征允許外科醫(yī)生在三維顯示器中直觀地控制各種手術(shù)器械，就好像直接觀看手部。因此，相關(guān)聯(lián)的器械臂和器械的伺服控制是基于內(nèi)窺鏡圖像參考框架。

如果控制接口122切換到攝像機(jī)控制模式，則也使用內(nèi)窺鏡圖像參考框架。在一些情況下，如果選擇了攝像機(jī)控制模式，則外科醫(yī)生可以通過一起移動控制接口122中的一個(gè)或兩者來移動內(nèi)窺鏡112的遠(yuǎn)端。外科醫(yī)生然后可以通過移動控制接口122就好像保持圖像在他的或她的手部中而直觀地移動(例如，平移、傾斜、縮放)所顯示的立體圖像。

如在圖1C中進(jìn)一步所示，頭靠件130定位在立體圖像觀看器系統(tǒng)126上面。隨著外科醫(yī)生正在通過立體圖像觀看器系統(tǒng)126看，外科醫(yī)生的前額頭緊貼頭靠件130定位。在本公開的一些實(shí)施例中，內(nèi)窺鏡112或其他手術(shù)器械的操縱能夠通過頭靠件130的操縱，而不是通過控制接口122的利用實(shí)現(xiàn)。在一些實(shí)施例中，頭靠件130可以例如包括壓力傳感器、搖板、光學(xué)監(jiān)測的滑動板或能夠檢測外科醫(yī)生的頭部的運(yùn)動的其他傳感器。關(guān)于使用感測方法操縱頭靠件以便控制內(nèi)窺鏡攝像機(jī)的附加細(xì)節(jié)可以例如在題為“內(nèi)窺鏡控制系統(tǒng)(ENDOSCOPE CONTROL SYSTEM)”的美國申請No.61/865,996中發(fā)現(xiàn)，該申請通過引用并入本文。

圖1D是手術(shù)系統(tǒng)的視覺手推車組件140的前視圖。例如，在一個(gè)實(shí)施例中，視覺手推車組件140是圖1A中所示的醫(yī)療系統(tǒng)10的一部分。視覺手推車140能夠封裝醫(yī)療系統(tǒng)的中央電子數(shù)據(jù)處理單元142(例如，圖1A中所示的所有控制系統(tǒng)22或部分控制系統(tǒng)22)和視覺設(shè)備144(例如，圖1A中所示的圖像捕獲系統(tǒng)18的各部分)。中央電子數(shù)據(jù)處理單元142包括用于操作手術(shù)系統(tǒng)的很多數(shù)據(jù)處理。然而，在各種實(shí)施方式中，電子數(shù)據(jù)處理可以分布在外科醫(yī)生控制臺120和遠(yuǎn)程操作組件100中。視覺設(shè)備144可以包括用于內(nèi)窺鏡112的左右圖像捕獲功能的攝像機(jī)控制單元。視覺設(shè)備144也可以包括提供照明用于使手術(shù)部位成像的照明設(shè)備(例如，氙氣燈)。如圖1D中所示，視覺手推車140包括可選的觸摸屏監(jiān)視器146(例如，24寸監(jiān)視器)，其可以安裝在例如組件100上或者安裝在患者側(cè)手推車上的其他位置。視覺手推車140還包括用于諸如電外科手術(shù)單元、吹藥器、抽吸灌注器械或第三方燒灼設(shè)備等可選的輔助手術(shù)設(shè)備的空間148。遠(yuǎn)程操作組件100和外科醫(yī)生的控制臺120例如經(jīng)由光纖通信鏈路聯(lián)接到視覺手推車140，使得三個(gè)組件一起用作為外科醫(yī)生提供直觀遠(yuǎn)程監(jiān)控的單個(gè)遠(yuǎn)程操作的微創(chuàng)手術(shù)系統(tǒng)。

注意在一些實(shí)施例中，遠(yuǎn)程操作手術(shù)系統(tǒng)的一些或全部組件100可以在虛擬的(模擬的)環(huán)境中實(shí)施，其中由外科醫(yī)生在外科醫(yī)生的控制臺120處看到的一些或全部圖像能夠是器械和/或解剖結(jié)構(gòu)的同步圖像。在一些實(shí)施例中，此類同步圖像能夠由視覺手推車組件140提供和/或直接地在外科醫(yī)生的控制臺120處(例如，經(jīng)由模擬模塊)產(chǎn)生。

在用參照圖1A-1D描述的遠(yuǎn)程操作手術(shù)系統(tǒng)的典型微創(chuàng)手術(shù)過程期間，向患者身體中做出至少兩個(gè)切口(通常使用套管針以放置相關(guān)聯(lián)的套管)。一個(gè)切口是用于內(nèi)窺鏡攝像機(jī)器械，并且其他切口是用于手術(shù)器械。在一些手術(shù)過程中，若干器械和/或攝像機(jī)端口用于提供手術(shù)部位進(jìn)入和成像。雖然切口與用于傳統(tǒng)開放式外科手術(shù)的較大切口相比是相對小的，但是需要最小數(shù)量的切口，以進(jìn)一步減少患者創(chuàng)傷和用于改進(jìn)的美容術(shù)。在其他實(shí)施例中，遠(yuǎn)程操作醫(yī)療系統(tǒng)10可以通過對患者解剖結(jié)構(gòu)的單個(gè)切口的進(jìn)入或通過穿過諸如鼻、口、肛門、陰道等自然孔口的進(jìn)入而使用。

在典型的遠(yuǎn)程操作外科手術(shù)期間，對于外科醫(yī)生實(shí)際地操縱各種控件以控制手術(shù)系統(tǒng)、成像裝置和/或與系統(tǒng)相關(guān)聯(lián)的其他手術(shù)器械，通常是必要的。例如，外科醫(yī)生可能需要通過實(shí)際地操縱控件來引導(dǎo)并影響裝置而調(diào)節(jié)成像裝置的視場。外科醫(yī)生可以使用他的或她的手部，以手動地控制操縱桿或鼠標(biāo)，或者使用他的或她的腳部，以在外科醫(yī)生的控制臺處輕踏足踏板，以登錄至手術(shù)系統(tǒng)，以搜索在內(nèi)窺鏡的視圖內(nèi)的目標(biāo)手術(shù)部位，以操作諸如夾鉗等手術(shù)器械的運(yùn)動和/或以調(diào)節(jié)系統(tǒng)設(shè)置或顯示設(shè)置。常規(guī)方法要求外科醫(yī)生將一只手從手術(shù)操作釋放，或者以使用一只腳輕踏足踏板，其均可以不必要地延遲或打擾手術(shù)操作。例如，手部或腳部動作可以從目標(biāo)手術(shù)部位重新引導(dǎo)外科醫(yī)生的凝視和注意至外科醫(yī)生的控制臺，這可以延遲或打擾操作。在執(zhí)行所需要的手動調(diào)節(jié)之后，外科醫(yī)生可能需要花費(fèi)附加時(shí)間將他的或她的注意和凝視點(diǎn)重新聚焦在目標(biāo)手術(shù)部位上。

本文公開的實(shí)施例利用凝視檢測，以增強(qiáng)一個(gè)或更多個(gè)使用者(例如，外科醫(yī)生和/或培訓(xùn)師)與手術(shù)系統(tǒng)交互的方式。通過將使用者的眼球凝視(例如，相對于手術(shù)控制臺、顯示系統(tǒng)或其他醫(yī)療或手術(shù)系統(tǒng)組件的使用者的眼球凝視的3D位置)轉(zhuǎn)換為指引至手術(shù)系統(tǒng)的命令中，本文公開的實(shí)施例可以允許比由常規(guī)的控制方法提供的更快和更有效的對遠(yuǎn)程操作醫(yī)療系統(tǒng)10的控制。眼球跟蹤或眼球凝視跟蹤是測量凝視點(diǎn)(POG)(即，使用者正通常在3D空間中看的地方)或相對于頭部的眼球的運(yùn)動的過程。換句話說，POG是在其中一個(gè)人的凝視指示的空間中的點(diǎn)，并且也已經(jīng)定義為在每個(gè)眼的視網(wǎng)膜(即小凹)的最高敏銳區(qū)域的中心上成像的空間中的點(diǎn)。

圖2A示意性地示出相對于圖像顯示器151(例如，圖1A中所示的圖像顯示系統(tǒng)20)和術(shù)野155(例如，患者P的內(nèi)部解剖結(jié)構(gòu)的區(qū)域)的使用者U(例如，外科醫(yī)生S或代理人)。使用者(和他的或她的眼)存在于使用者3D笛卡爾坐標(biāo)參考系統(tǒng)160(即，使用者框架)。為了便于理解和詞語的經(jīng)濟(jì)性，術(shù)語“笛卡爾坐標(biāo)參考系統(tǒng)”將簡單地在本說明書的剩余部分中稱為“框架”。圖像顯示器151存在于二維或三維圖像框架165中，并且術(shù)野存在于手術(shù)框架170中。每個(gè)框架160、165、170包括與其他不同的尺寸和屬性。隨著使用者相對于第二框架165中的圖像顯示器165轉(zhuǎn)移在第一框架160中的他的或她的凝視，本文公開的實(shí)施例能夠?qū)⒃撗矍蜻\(yùn)動轉(zhuǎn)換為控制信號，以對應(yīng)地影響遠(yuǎn)程操作醫(yī)療系統(tǒng)10，遠(yuǎn)程操作醫(yī)療系統(tǒng)10包括在顯示器的框架165中可見的手術(shù)器械和存在于術(shù)野的框架170中。

在一方面，其他眼球特征的眼球凝視跟蹤和觀察能夠用于整體地與遠(yuǎn)程操作醫(yī)療系統(tǒng)10連通和/或影響遠(yuǎn)程操作醫(yī)療系統(tǒng)10的行為。例如，由圖1A中所示的眼球跟蹤單元24觀察的眼球特征和動態(tài)可以用于外科醫(yī)生識別和登錄(例如，以與視網(wǎng)膜掃描類似的方式)。此特征相對于圖4A和圖4B在下面進(jìn)一步詳細(xì)地描述。在一些情況下，使用者的眼球凝視能夠用于校準(zhǔn)在術(shù)野框架170中的手術(shù)器械的3D位置并考慮遠(yuǎn)程機(jī)器人臂運(yùn)動鏈的可能不精確性。在一些情況下，如果使用者的凝視未朝向圖像顯示器框架165指示或者未指示到框架165內(nèi)的具體觀看位置，則遠(yuǎn)程操作醫(yī)療系統(tǒng)10能夠經(jīng)配置阻止手術(shù)器械在手術(shù)框架170中的運(yùn)動(即，鎖定使用者)。在一些情況下，如果使用者的眼球未由眼球跟蹤器檢測到，則遠(yuǎn)程操作醫(yī)療系統(tǒng)10能夠經(jīng)配置阻止手術(shù)器械在手術(shù)框架170中的運(yùn)動(即，鎖定使用者)。在一些實(shí)施例中，使用者接口(例如，菜單)可以重疊在圖像顯示器上所示的術(shù)野的圖像上。使用者在使用者框架160中的眼球凝視可以用于確定在圖像框架165中的圖像顯示器151上顯示的圖像中的觀看位置，并且能夠識別與所確定的觀看位置對應(yīng)的使用者接口的使用者可選擇選項(xiàng)之中的使用者的選擇。在一些情況下，相對于圖像顯示器的圖像框架165的使用者的凝視的3D位置可以確定在圖像顯示器151上顯示的使用者接口的深度、位置和尺寸。例如，使用者接口可以在與使用者的凝視的當(dāng)前3D位置最佳對應(yīng)的深度、位置和尺寸處自動地顯示，從而最小化使用者重新聚焦他的或她的眼球來與使用者接口交互的需要。在一些情況下，如果使用者正在立體觀看或者不基于兩只眼球之間觀察的動態(tài)，則使用者的凝視的3D位置可以用于量化。在一些情況下，使用者的凝視的3D位置可以用于調(diào)節(jié)立體觀察器的人體工程設(shè)置(例如，高度、取向等)，使得使用者能夠看到整個(gè)顯示器(且反之使用者的凝視能夠穿過整個(gè)屏幕確定)或者以將使用者的凝視集中在屏幕的中間。

在另一方面，實(shí)時(shí)眼球凝視跟蹤能夠用于啟用、停用和以其他方式控制在手術(shù)框架170中的區(qū)別的手術(shù)器械，區(qū)別的手術(shù)器械聯(lián)接到如通過非限制性示例，成像裝置和/或能量輸送裝置的遠(yuǎn)程操作醫(yī)療系統(tǒng)10。例如，如果處理器確定相對于圖像顯示器上的圖像的觀看位置在預(yù)定的時(shí)間長度內(nèi)匹配手術(shù)器械的位置，則系統(tǒng)10可以經(jīng)配置啟用該手術(shù)器械。在一個(gè)實(shí)施例中，凝視檢測能夠用于定義使用者想要引導(dǎo)成像裝置到的地方以定義視場。本文公開的實(shí)施例可以經(jīng)配置在使用者的眼球凝視的方向上自動地移動成像裝置，以連續(xù)地保持使用者的期望的視場(例如，目標(biāo)手術(shù)部位)在顯示器上，而使用者不必手動地改變成像裝置的位置或觀看角度。例如，在一些實(shí)施例中，使用者的眼球凝視能夠用于自動地集中成像裝置的觀看，以對應(yīng)于使用者的眼球凝視的方向。在一些實(shí)施例中，使用者的眼球凝視可以用于將器械從一個(gè)模式切換為另一個(gè)模式。例如，在一種情況下，使用者的眼球凝視可以解釋為改變成像裝置的操作模式(例如，在諸如顏色成像、黑白成像、熒光成像、超聲成像和/或任何其他成像模式的成像模式之間的切換)。類似地，在另一種情況下，使用者可以執(zhí)行眨眼或其他眼球運(yùn)動的特定模式，以改變成像裝置的操作模式(例如，在諸如顏色成像、黑白成像、熒光成像、超聲成像和/或任何其他成像模式的成像模式之間的切換)。

在另一種情況下，凝視檢測可以協(xié)助使用者將標(biāo)記施加到術(shù)野的實(shí)時(shí)顯示圖像或者以其他方式標(biāo)記術(shù)野的實(shí)時(shí)顯示圖像。外科醫(yī)生可以看在術(shù)野中的3D位置，并用次要?jiǎng)幼鞔_認(rèn)(例如，通過非限制性示例的方式，通過按壓單獨(dú)按鈕，維持延長的凝視或者以特定模式眨眼)，以施加虛擬標(biāo)記在術(shù)野中和/或在所顯示的圖像150上來識別感興趣的解剖區(qū)域。

在另一種情況下，僅當(dāng)眼球跟蹤單元確認(rèn)外科醫(yī)生的眼球凝視在預(yù)定的時(shí)間長度內(nèi)聚焦在特定器械上時(shí)，可以啟用該特定的手術(shù)器械。例如，遠(yuǎn)程操作醫(yī)療系統(tǒng)10可以經(jīng)配置在允許縫合器(stapler)器械輸送U形釘之前，要求外科醫(yī)生的眼球凝視應(yīng)該在指定的時(shí)間段內(nèi)聚焦在縫合器器械上。這促進(jìn)器械在外科醫(yī)生的視場內(nèi)的故意啟用，并且可以阻止在視場之外和/或不注意的器械的不經(jīng)意啟用。當(dāng)外科醫(yī)生的眼球凝視已經(jīng)在指定的時(shí)間段內(nèi)指向其他位置時(shí)，可以停用手術(shù)器械。在另一實(shí)施例中，當(dāng)眼球跟蹤單元確認(rèn)第二使用者的眼球凝視在預(yù)定的時(shí)間長度內(nèi)聚焦在特定器械上或者以某一方式聚焦在特定器械上時(shí)，對該特定手術(shù)器械的控制可以從第一使用者轉(zhuǎn)移至第二使用者。這些實(shí)施例中的一些實(shí)施例參照圖3C在下面進(jìn)一步描述。

在另一方面，實(shí)時(shí)眼球凝視跟蹤能夠用于促進(jìn)在手術(shù)期間外科醫(yī)生的訓(xùn)練或代理。在一種情況下，如圖2D中所示，遠(yuǎn)程操作醫(yī)療系統(tǒng)10可以包括單獨(dú)的手術(shù)控制臺和單獨(dú)一組眼球跟蹤單元用于外科醫(yī)生和代理人，其中每組眼球跟蹤單元經(jīng)配置識別并輸送外科醫(yī)生或代理人的眼球凝視運(yùn)動，以影響遠(yuǎn)程操作醫(yī)療系統(tǒng)10和/或手術(shù)器械的操作。代理或訓(xùn)練的示例性方法參照圖3A和圖3B在下面描述。外科醫(yī)生的眼球凝視的3D位置可以顯示在外部3D圖像顯示器上用于代理人(例如，代理外科醫(yī)生)來看和評價(jià)，以便實(shí)時(shí)提供反饋和引導(dǎo)。類似地，代理人的眼球凝視的3D位置可以顯示在手術(shù)控制臺上的外部3D圖像顯示器上用于外科醫(yī)生來看并實(shí)時(shí)地引導(dǎo)。例如，在遠(yuǎn)程操作醫(yī)療系統(tǒng)10的操作期間(例如，在訓(xùn)練期間或在實(shí)際外科手術(shù)期間)，確保外科醫(yī)生正聚焦在手術(shù)部位的正確部分上能夠是可取的。通過觀看在手術(shù)控制臺內(nèi)的圖像顯示器上的代理人的凝視的3D位置，外科醫(yī)生可以知道在術(shù)野內(nèi)看的地方(例如，通過看代理人正在術(shù)野內(nèi)看的地方)。在一些情況下，代理人的眼球凝視能夠從各種可能的裝置(包括通過非限制性示例的方式，視覺手推車140、手術(shù)控制臺120、雙或共享的控制臺、觸摸屏顯示器和/或諸如平板裝置的遠(yuǎn)程裝置)上的圖像顯示器捕獲。

在一些情況下，外科醫(yī)生的圖像顯示器可以實(shí)時(shí)改變，以反映代理人的凝視的3D位置。在一個(gè)實(shí)施例中，當(dāng)系統(tǒng)10檢測到代理人正在看與手術(shù)框架170內(nèi)的特定3D位置對應(yīng)的他的或她的圖像顯示器的特定區(qū)域時(shí)，系統(tǒng)10可以強(qiáng)調(diào)或以其他方式指示外科醫(yī)生的圖像顯示器的對應(yīng)區(qū)域(例如，與手術(shù)框架170內(nèi)的相同3D位置對應(yīng)的外科醫(yī)生的圖像顯示器上的區(qū)域)。例如，外科醫(yī)生的圖像顯示器151可以使與代理人的凝視的3D位置對應(yīng)的圖像顯示器的區(qū)域銳化(例如，增加分辨率)或者在與代理人的凝視的3D位置對應(yīng)的圖像顯示器的區(qū)域中變得更明亮。在另外的或替代性的實(shí)施例中，外科醫(yī)生的圖像顯示器可以使與其中未指示代理人的凝視的3D位置對應(yīng)的圖像顯示器的區(qū)域變暗淡或者在與其中未指示代理人的凝視的3D位置對應(yīng)的圖像顯示器的區(qū)域中變得更模糊。

在另一方面，實(shí)時(shí)眼球凝視跟蹤能夠用于對外科醫(yī)生在手術(shù)期間和/或在手術(shù)之后的表現(xiàn)進(jìn)行評價(jià)和評分。本文公開的眼球凝視跟蹤實(shí)施例能夠用于測量并量化外科醫(yī)生基于包括但不限于眼球凝視固定、掃視和/或眼球凝視占據(jù)的屏幕的哪個(gè)區(qū)域的各種眼球特征操作遠(yuǎn)程操作醫(yī)療系統(tǒng)10的技能水平。另外，實(shí)時(shí)跟蹤外科醫(yī)生的眼球凝視動態(tài)和/或瞳孔直徑波動能夠用于監(jiān)視外科醫(yī)生的條件(例如，壓力水平和/或工作負(fù)荷)。在一些實(shí)施例中，如果基于所檢測的變化或眼球凝視的模式確定條件的下降，則系統(tǒng)10能夠經(jīng)配置提供警告。此特征相對于圖4A和圖4B在下面進(jìn)一步詳細(xì)描述。

圖2B是根據(jù)本公開的一些實(shí)施例示出可以由圖1A、圖1B和圖1C的遠(yuǎn)程操作醫(yī)療系統(tǒng)10使用的眼球跟蹤單元200的一些示例的示意圖。如上所述，眼球凝視跟蹤或眼球跟蹤是測量POG(例如，“使用者正在看的地方”)或眼球相對于頭部的運(yùn)動的過程。因此，眼球跟蹤單元200包括用于測量諸如眼球位置和眼球運(yùn)動的使用者的眼球特征的裝置。有若干方法用于測量眼球運(yùn)動和凝視方向。一些方法使用從其中提取眼球位置的視頻圖像，并且其他方法使用搜索線圈或者基于電動眼電波圖。在另一方法中，紅外光由具有紅外攝像機(jī)或檢測器或者與紅外攝像機(jī)或檢測器連通的裝置發(fā)射。紅外光從使用者的視網(wǎng)膜反射回到紅外攝像機(jī)或檢測器上，并且所反射的紅外光的量是基于相對于發(fā)射器的一個(gè)人的凝視的方向。一旦所反射的紅外光在某一時(shí)間量內(nèi)達(dá)到特定閾值，就可以確定在3D空間中的使用者的凝視點(diǎn)。凝視的小失誤能夠解釋為眨眼并且通常被忽視。

在所圖示的實(shí)施例中，眼球跟蹤單元200包括左目鏡125a和右目鏡125b、左圖像顯示器202a和右圖像顯示器202b、左眼球跟蹤器204a和右眼球跟蹤器204b和處理器206。在其他實(shí)施例中，眼球跟蹤單元200可以包括單個(gè)眼球跟蹤器，其經(jīng)配置同時(shí)跟蹤左右眼(例如，即使左右眼具有獨(dú)立的圖像顯示器202a、202b)。在一些實(shí)施例中，眼球跟蹤單元200還包括反射系統(tǒng)和/或光發(fā)射器，以給外科醫(yī)生的眼球照明用于眼球跟蹤器跟蹤凝視點(diǎn)。在一些實(shí)施例中，反射系統(tǒng)可以包括多個(gè)鏡，其經(jīng)布置反射來自光發(fā)射器的光至外科醫(yī)生的眼球中并將外科醫(yī)生的眼球的凝視點(diǎn)反射到眼球跟蹤器中。關(guān)于立體觀看器126的各種實(shí)施例的附加細(xì)節(jié)可以例如在2014年3月19日提交的題為“集成眼球凝視跟蹤用于立體觀看器的醫(yī)療裝置、系統(tǒng)和方法(MEDICAL DEVICES，SYSTEMS，AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER)”的美國臨時(shí)申請No.61/955,334中發(fā)現(xiàn)，該申請通過引用全部并入本文。

在一些實(shí)施例中，位于遠(yuǎn)程操作組件100處的內(nèi)窺鏡112能夠被操縱，以在手術(shù)期間捕獲術(shù)野的圖像，并且這些圖像在左圖像顯示器202a和右圖像顯示器202b上示出。然后由內(nèi)窺鏡112捕獲的圖像可以由處理器206處理，以產(chǎn)生左右立體圖像。在一些實(shí)施例中，處理器206可以位于視覺手推車140處，例如作為中央電子數(shù)據(jù)處理單元142的一部分。替代性地，處理器206可以位于遠(yuǎn)程操作組件100和/或外科醫(yī)生的控制臺120處。在一些實(shí)施例中，眼球跟蹤單元200也可以在與模擬模塊，例如daSkills Simulator^TM集成的外科醫(yī)生的控制臺中使用，其中虛擬圖像能夠在左圖像顯示器202a和右圖像顯示器202b上示出。

參照圖2B，所產(chǎn)生的左右立體圖像可以分別在左圖像顯示器202a和右圖像顯示器202b上示出。左目鏡125a和右目鏡125b包括透鏡，并且外科醫(yī)生可以分別用外科醫(yī)生的左右眼通過左目鏡125a和右目鏡125b觀看左圖像顯示器202a和右圖像顯示器202b。術(shù)野的3D立體圖像可以由外科醫(yī)生經(jīng)由眼球跟蹤單元200感知。在一些實(shí)施例中，左目鏡125a和右目鏡125b之間的距離可調(diào)節(jié)，以適應(yīng)不同使用者的不同瞳孔間的距離。在一些實(shí)施例中，左目鏡125a和右目鏡125b可以分別基于外科醫(yī)生的左右視覺的需要獨(dú)立地調(diào)節(jié)。左眼和右眼圖像顯示器可以是2D或3D顯示屏幕。在一些實(shí)施例中，左眼和右眼圖像顯示器是液晶顯示器(LCD)屏幕。

仍然參照圖2B，左眼球跟蹤器204a可以用于跟蹤外科醫(yī)生的左眼的凝視點(diǎn)，并且右眼球跟蹤器204b可以用于跟蹤外科醫(yī)生的右眼的凝視點(diǎn)。在一些實(shí)施例中，眼球跟蹤單元200也可以包括光發(fā)射器，光發(fā)射器能夠發(fā)射光以照明外科醫(yī)生的眼球，使得外科醫(yī)生的左右眼的凝視點(diǎn)可以分別由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲。光發(fā)射器可以與或可以不與左眼球跟蹤器204a和/或右眼球跟蹤器204b集成在一起。在一些實(shí)施例中，光發(fā)射器可以是紅外(IR)光發(fā)射器，如紅外光發(fā)射二極管(IR LED)。在一些實(shí)施例中，左目鏡125a和右目鏡125b可以包括合適的光學(xué)覆層，合適的光學(xué)覆層經(jīng)配置最小化來自光發(fā)射器和/或左眼圖像顯示器202a和右眼圖像顯示器202b的光的反射并最大化來自光發(fā)射器和/或左眼圖像顯示器202a和右眼圖像顯示器202b的光的傳送。在一些實(shí)施例中，左眼球跟蹤器204a和右眼球跟蹤器204b包括立體攝像機(jī)。在一些實(shí)施例中，左眼球跟蹤器204a和右眼球跟蹤器204b是帶電聯(lián)接裝置(CCD)攝像機(jī)。在一些實(shí)施例中，左眼球跟蹤器204a和右眼球跟蹤器204b是對IR光敏感且能夠捕獲從IR光發(fā)射器發(fā)射的IR光的紅外(IR)攝像機(jī)。左眼球跟蹤器204a和右眼球跟蹤器204b可以位于立體圖像觀看器系統(tǒng)126中，并且可以安裝在左圖像顯示器202a和右圖像顯示器202b的底座處。左眼球跟蹤器204a和右眼球跟蹤器204b以及左圖像顯示器202a和右圖像顯示器202b可以布置在任何合適的布置中，如在美國臨時(shí)申請No.61/955,334中所討論。

在一些實(shí)施例中，處理器206聯(lián)接到左眼球跟蹤器204a和右眼球跟蹤器204b，并且經(jīng)配置計(jì)算外科醫(yī)生的凝視點(diǎn)相對于圖像顯示器151的圖像框架165的3D位置并將該3D位置轉(zhuǎn)換為(圖2A中所示的)術(shù)野155的手術(shù)框架170中的對應(yīng)3D位置。例如，由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲的凝視點(diǎn)能夠被調(diào)整，并且能夠確定外科醫(yī)生的左右眼的凝視點(diǎn)之間的不一致。然后，外科醫(yī)生的凝視點(diǎn)的3D位置能夠使用左眼球跟蹤器204a和右眼球跟蹤器204b之間的距離、與左眼球跟蹤器204a和右眼球跟蹤器204b中的每個(gè)的焦距相關(guān)的參數(shù)和所確定的不一致計(jì)算。在一些實(shí)施例中，處理器206包括在外科醫(yī)生的控制臺120中的眼球跟蹤成像系統(tǒng)200中。在一些實(shí)施例中，處理器206包括在圖1D中所示的視覺手推車140中，例如作為中央電子數(shù)據(jù)處理單元142的一部分。在一些實(shí)施例中，處理器是控制系統(tǒng)22的一部分。在一些實(shí)施例中，處理器206也能夠聯(lián)接到存儲器，以存儲3D凝視點(diǎn)測量、登記和校準(zhǔn)數(shù)據(jù)。在一些實(shí)施例中，處理器206可以用于計(jì)算外科醫(yī)生的凝視點(diǎn)的2D位置。在一些實(shí)施例中，所計(jì)算的外科醫(yī)生的凝視點(diǎn)的2D或3D位置能夠在諸如示出外科醫(yī)生的凝視點(diǎn)的變化的點(diǎn)、標(biāo)示或矢量的各種合適表示中的任何中顯示，并且外科醫(yī)生的凝視點(diǎn)能夠與左圖像顯示器202a和右圖像顯示器202b上的術(shù)野155的圖像組合顯示。

在一些實(shí)施例中，外科醫(yī)生在手術(shù)期間的頭部/面部運(yùn)動能夠使用左眼球跟蹤器204a和右眼球跟蹤器204b跟蹤?？赡芪挥?D或3D凝視點(diǎn)位置處的所計(jì)算的觀看位置還可以基于外科醫(yī)生的所跟蹤的頭部/面部運(yùn)動而調(diào)整或補(bǔ)償。關(guān)于頭部/面部運(yùn)動跟蹤和補(bǔ)償?shù)倪^程的附加細(xì)節(jié)可以例如在美國臨時(shí)申請No.61/955334和題為“內(nèi)窺鏡控制系統(tǒng)(ENDOSCOPE CONTROL SYSTEM)”的美國申請No.61/865,996中發(fā)現(xiàn)，該申請通過引用全部并入本文。

眼球跟蹤單元200可以如圖2B中所示聯(lián)接到圖像顯示器或凝視點(diǎn)顯示器210。在一些實(shí)施例中，凝視點(diǎn)顯示器210是3D凝視點(diǎn)顯示器。在一些實(shí)施例中，凝視點(diǎn)顯示器210與圖2A中所示的圖像顯示器151相同。所產(chǎn)生的外科醫(yī)生的凝視點(diǎn)的2D或3D位置可以輸出到凝視點(diǎn)顯示器210作為諸如示出外科醫(yī)生的凝視點(diǎn)的變化的點(diǎn)、標(biāo)示或矢量的任何合適表示。術(shù)野155的圖像可以與外科醫(yī)生的凝視點(diǎn)在凝視點(diǎn)顯示器210上的3D位置組合顯示。在一些實(shí)施例中，凝視點(diǎn)顯示器210可以是外部3D圖像顯示器。例如，凝視點(diǎn)顯示器210可以是位于圖1D中所示的視覺手推車140處的3D觸摸屏監(jiān)視器146。在一些示例中，凝視點(diǎn)顯示器210可以安裝在圖1B中所示的遠(yuǎn)程操作組件100上。在一些示例中，凝視點(diǎn)顯示器210可以是便攜式顯示裝置，如平板電腦。在一些情況下，凝視點(diǎn)顯示器210可以在多個(gè)顯示屏幕或裝置上同時(shí)呈現(xiàn)。

因此，眼球跟蹤單元200包括：凝視點(diǎn)顯示器210，其經(jīng)配置向使用者顯示圖像；至少一個(gè)眼球跟蹤器，其經(jīng)配置測量反映使用者的凝視點(diǎn)的數(shù)據(jù)；和處理器206，其經(jīng)配置處理數(shù)據(jù)，以確定其中指示使用者的凝視點(diǎn)的凝視點(diǎn)顯示器210上的圖像中的觀看位置，并基于所確定的觀看位置控制遠(yuǎn)程操作醫(yī)療系統(tǒng)10的至少一個(gè)功能。例如，在一些實(shí)施例中，眼球跟蹤單元200的處理器206可以聯(lián)接到器械控制單元212，器械控制單元212經(jīng)配置控制至少一個(gè)手術(shù)器械的運(yùn)動和能量排放。器械控制單元212可以是控制系統(tǒng)22的組件。器械控制單元212可以包括單獨(dú)處理器和控制一個(gè)或更多個(gè)手術(shù)器械的功能的一個(gè)或更多個(gè)致動器。在一些實(shí)施例中，器械控制單元212經(jīng)配置控制一個(gè)或更多個(gè)手術(shù)器械的啟用、停用和運(yùn)動。在一些實(shí)施例中，器械控制單元212的處理器提供控制信號至一個(gè)或更多個(gè)電動機(jī)。例如，在一個(gè)實(shí)施例中，一個(gè)或更多個(gè)電動機(jī)可以包括經(jīng)配置釋放或啟動(fire)諸如縫合器的手術(shù)器械的啟動電動機(jī)。

在一些實(shí)施例中，眼球跟蹤單元200的處理器206可以聯(lián)接到系統(tǒng)控制單元214，系統(tǒng)控制單元214經(jīng)配置調(diào)整遠(yuǎn)程操作醫(yī)療系統(tǒng)100的各種系統(tǒng)參數(shù)和特征。系統(tǒng)控制單元214可以是控制系統(tǒng)22的組件。系統(tǒng)控制單元214可以包括一個(gè)或更多個(gè)單獨(dú)處理器。系統(tǒng)控制單元214可以包括提供外科醫(yī)生和遠(yuǎn)程操作醫(yī)療系統(tǒng)100之間的交互的一個(gè)或更多個(gè)使用者接口。在一些示例中，使用者接口包括外科醫(yī)生的控制臺、顯示器、鍵盤、觸摸屏或其他合適的輸入裝置。使用者接口也可以包括一個(gè)或更多個(gè)軟件應(yīng)用。

圖2C示出描述使用眼球跟蹤單元200控制并影響遠(yuǎn)程操作醫(yī)療系統(tǒng)100和/或任何相關(guān)聯(lián)手術(shù)器械的示例性方法的流程圖215。本文描述的方法步驟中的任何方法步驟可以至少部分地以存儲在可以由一個(gè)或更多個(gè)處理器運(yùn)行的非臨時(shí)、有形的機(jī)器可讀介質(zhì)上的可執(zhí)行代碼的形式實(shí)施。在步驟216處，圖2A中所示的使用者框架160中的使用者U凝視圖像顯示器151上所示的圖像中的特定觀看位置(即，3D位置)，特定觀看位置在圖像框架165中。在步驟218處，眼球跟蹤單元200的左眼球跟蹤器204a和右眼球跟蹤器204b觀察并測量使用者U的眼球特征(例如，反映眼球凝視的特征)。在一些實(shí)施例中，眼球跟蹤器204a和204b測量相對于圖像框架165的使用者的每個(gè)眼的眼球凝視。在步驟220處，處理器206使用所測量的來自于眼球跟蹤器204a、204b的眼球凝視數(shù)據(jù)，以確定其中使用者的眼球指示的(圖像框架165內(nèi)的)圖像顯示器151上的圖像中的3D觀看位置。在一些實(shí)施例中，處理器206可以通過跟蹤由眼球跟蹤器204a、204b從眼球的反射接收的光的入射角，確定所觀看的位置。在一些實(shí)施例中，處理器206可以初始地執(zhí)行校準(zhǔn)過程(例如，圖3A中描述的校準(zhǔn)過程302)，以隨著使用者觀看在圖像顯示器151上的已知位置處顯示的目標(biāo)標(biāo)記，確定基線入射角并在所檢測的角度和所觀察的圖像顯示器151上的位置之間產(chǎn)生函數(shù)關(guān)系。然后隨著使用者觀看圖像顯示器151上的其他位置，處理器206能夠跟蹤入射角，并使用所產(chǎn)生的函數(shù)關(guān)系，以確定對應(yīng)的觀看位置(例如，從所校準(zhǔn)的角度和位置推斷)。

在步驟222處，處理器206確定所顯示的圖像顯示器151上的標(biāo)記之一是否由使用者以滿足選擇該標(biāo)記的定義的條件(例如，標(biāo)記是在觀看位置中和/或在預(yù)定的持續(xù)時(shí)間內(nèi)是在觀看位置中)的方式觀看。如果是，在步驟224處，使用者的標(biāo)記選擇引起處理器206啟動與所顯示的標(biāo)記對應(yīng)的功能。例如，在一些實(shí)施例中，使用者的凝視可以指示與到遠(yuǎn)程操作醫(yī)療系統(tǒng)100的登錄或與圖像顯示器151的照明或與各種其他系統(tǒng)設(shè)置相關(guān)聯(lián)的標(biāo)記的選擇。

如果否，在步驟226處，處理器206將圖像框架165中的所觀看的3D位置圖像融合(co-register)至手術(shù)框架170中的術(shù)野155中的對應(yīng)3D位置。在步驟228處，處理器確定使用者是否正在以滿足用于操縱在圖像顯示器151上可見的術(shù)野中的成像裝置或其他手術(shù)手術(shù)器械的定義條件的方式觀看術(shù)野。如果是，在步驟230處，使用者在術(shù)野的特定區(qū)域或術(shù)野內(nèi)的特定器械上的凝視引起處理器206以與使用者的凝視的特征對應(yīng)的方式影響相關(guān)器械。例如，在一些實(shí)施例中，如上所述，如果使用者凝視術(shù)野155的特定區(qū)域，則成像裝置可以“遵循”使用者的凝視并重新定位其視場的中心(例如，以將其視場的中心定位在使用者的凝視點(diǎn)處)。在其他實(shí)施例中，如果使用者在預(yù)定的時(shí)間長度內(nèi)凝視特定的手術(shù)器械，則該手術(shù)器械可以自動啟用或通過第二使用者事件(例如，經(jīng)由踏板壓下、足開關(guān)、手指開關(guān)等)啟用。如果否，在步驟232處，眼球跟蹤器繼續(xù)評價(jià)使用者的凝視用于可能的指令。

在一些實(shí)施方式中，如圖2D中所示，兩個(gè)或更多個(gè)外科醫(yī)生的控制臺120(定位在相同位置或遠(yuǎn)離彼此)可以一起連接成網(wǎng)絡(luò)，使得兩個(gè)使用者能夠同時(shí)觀看并控制在手術(shù)部位處的工具。在一些實(shí)施例中，兩個(gè)不同的外科醫(yī)生的控制臺120可以在訓(xùn)練過程期間由代理人和實(shí)習(xí)生使用，使得每個(gè)使用者能夠觀看顯示從兩個(gè)單獨(dú)眼球跟蹤單元200(例如，在每個(gè)控制臺120上一個(gè)眼球跟蹤單元200)獲得的眼球凝視數(shù)據(jù)的區(qū)別立體圖像。圖2C根據(jù)本公開的一些實(shí)施例示出包括聯(lián)接到實(shí)習(xí)生的眼球跟蹤單元240的代理人的眼球跟蹤單元200的訓(xùn)練/代理系統(tǒng)。實(shí)習(xí)生的眼球跟蹤單元240可以具有與代理人的眼球跟蹤單元200基本上相同的設(shè)計(jì)和功能性。如圖2D中所示，代理人的眼球跟蹤單元200的處理器206聯(lián)接到實(shí)習(xí)生的眼球跟蹤單元240的左圖像顯示器244a和右圖像顯示器244b。類似地，實(shí)習(xí)生的眼球跟蹤單元240的處理器248聯(lián)接到代理人的眼球跟蹤單元200的左圖像顯示器204a和右圖像顯示器204b。因此，代理人的凝視點(diǎn)顯示可以向?qū)嵙?xí)生顯示，并且代理人的凝視點(diǎn)顯示可以向代理人顯示。

例如，在一些實(shí)施例中，代理人的3D眼球凝視點(diǎn)能夠在實(shí)習(xí)生的眼球跟蹤單元240的3D凝視點(diǎn)顯示器250上顯示，使得實(shí)習(xí)生可以在手術(shù)期間實(shí)時(shí)地具有代理人的凝視點(diǎn)的直接觀看。在一些實(shí)施例中，代理人的3D眼球凝視點(diǎn)可以被示出作為實(shí)習(xí)生的眼球跟蹤單元240的左圖像顯示器244a和右圖像顯示器244b上的立體圖像，使得實(shí)習(xí)生可以被實(shí)時(shí)協(xié)助，以使用代理人的凝視點(diǎn)作為遵循的視覺引導(dǎo)完成外科手術(shù)。在一些實(shí)施例中，在訓(xùn)練過程期間，實(shí)習(xí)生的3D凝視點(diǎn)可以在顯示器210或代理人的眼球跟蹤單元200的左圖像顯示器202a和右圖像顯示器202b上示出，使得外科醫(yī)生的表現(xiàn)可以由代理人實(shí)時(shí)地監(jiān)視和評價(jià)。在其他實(shí)施例中，代理人凝視點(diǎn)和實(shí)習(xí)生凝視點(diǎn)兩者可以在代理人顯示器和實(shí)習(xí)生顯示器中的一個(gè)或兩個(gè)中示出，從而允許一個(gè)或兩個(gè)使用者看見其凝視點(diǎn)之間的任何不一致。以這種方式，代理人可以能夠及時(shí)向?qū)嵙?xí)生提供指令，使得實(shí)習(xí)生能夠?qū)崟r(shí)集中在正確手術(shù)部位上并且避免不正確的動作。

在一些實(shí)施例中，內(nèi)窺鏡112和/或其他手術(shù)器械110的控制可以在代理人和實(shí)習(xí)生之間切換。替代性地，內(nèi)窺鏡112和/或其他手術(shù)器械110可以由代理人和實(shí)習(xí)生二者同時(shí)操縱。雖然在圖2D中，處理器206和248分別包括在眼球跟蹤單元200和240中，本領(lǐng)域的技術(shù)人員將認(rèn)識到其他變化。例如，訓(xùn)練/代理系統(tǒng)能夠包括一個(gè)處理器用于兩個(gè)使用者的眼球跟蹤單元。

圖3A根據(jù)本公開的一些實(shí)施例示出用于使用圖2B的眼球跟蹤單元200確定圖像框架中的外科醫(yī)生的觀看位置的方法300。外科醫(yī)生的觀看位置可以如上是3D凝視點(diǎn)。然而在替代性的實(shí)施例中，可以使用2D凝視點(diǎn)。方法300包括三個(gè)過程：校準(zhǔn)過程302、測量過程304和輸出過程306。在一些實(shí)施例中，校準(zhǔn)過程302是3D校準(zhǔn)過程，其中在圖像框架的3D空間中的外科醫(yī)生的凝視點(diǎn)與具有已知的3D位置參數(shù)的圖像框架的3D空間中的預(yù)定目標(biāo)相比較。

校準(zhǔn)過程302通過示出圖像框架中的目標(biāo)從步驟312開始。在一些示例中，目標(biāo)可以是手術(shù)工具圖標(biāo)。目標(biāo)可以是移動目標(biāo)或者是可以動態(tài)地改變大小的目標(biāo)。替代性地，目標(biāo)也可以是在術(shù)野中的實(shí)際手術(shù)工具，其位置能夠使用任何合適的工具跟蹤技術(shù)跟蹤和識別。例如，校準(zhǔn)過程302可以包含2005年5月16日提交的題為“用于在微創(chuàng)機(jī)器手術(shù)期間通過傳感器和/或攝像機(jī)獲取的數(shù)據(jù)的融合執(zhí)行3D工具跟蹤的方法和系統(tǒng)(Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery)”的美國專利公開No.2006/0258938中公開的特征，該申請通過引用全部并入本文。3D圖像框架中所示的目標(biāo)的圖像可以分成左立體圖像和右立體圖像，并且分別在圖2B中所示的左圖像顯示器202a和右圖像顯示器202b上顯示。在校準(zhǔn)過程期間，例如用3D圖像框架中的已知3D位置參數(shù)預(yù)先確定目標(biāo)的3D位置，使得所測量的數(shù)據(jù)可以與目標(biāo)的已知位置參數(shù)比較，以在下列步驟中確定各種模型。

在所示的實(shí)施例中，通過接收分別由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲的左右眼的瞳孔的2D位置和2D角膜反射數(shù)據(jù)，校準(zhǔn)過程302前進(jìn)到步驟314。在一些實(shí)施例中，瞳孔的2D位置和2D角膜反射數(shù)據(jù)可以包括坐標(biāo)值、位移和/或角度。在一些實(shí)施例中，外科醫(yī)生的頭部/面部運(yùn)動也可以由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲。

通過使用外科醫(yī)生的左右眼的瞳孔的2D位置和2D角膜反射數(shù)據(jù)確定外科醫(yī)生的瞳孔的位置和角膜反射數(shù)據(jù)，校準(zhǔn)過程304前進(jìn)到步驟316。在一些實(shí)施例中，左右眼球跟蹤器包括立體攝像機(jī)，并且包括瞳孔的2D位置和2D角膜反射數(shù)據(jù)的立體圖像能夠由處理器206捕獲和處理，以計(jì)算兩個(gè)立體圖像之間的不一致。在一些實(shí)施例中，所確定的位置數(shù)據(jù)可以包括外科醫(yī)生的瞳孔的2D位置和2D角膜反射數(shù)據(jù)。然后可以組合所確定的每個(gè)眼的2D位置數(shù)據(jù)，以估計(jì)外科醫(yī)生的3D眼球凝視位置。在一些實(shí)施例中，所確定的位置數(shù)據(jù)可以包括瞳孔的3D位置和3D角膜反射數(shù)據(jù)。包括外科醫(yī)生的瞳孔和角膜反射的深度的3D數(shù)據(jù)可以使用不一致進(jìn)行估計(jì)。例如，外科醫(yī)生的左眼的3D數(shù)據(jù)可以使用左眼球跟蹤器204a之間的距離，與每個(gè)左眼球跟蹤器204a的焦距相關(guān)的參數(shù)和所計(jì)算的不一致計(jì)算。不一致到深度的轉(zhuǎn)換圖可以使用此方法在校準(zhǔn)過程期間獲得。在一些實(shí)施例中，瞳孔的位置和角膜反射數(shù)據(jù)可以補(bǔ)償用于所捕獲的頭部/面部運(yùn)動。

在校準(zhǔn)過程302的步驟318處，瞳孔的確定3D位置和3D角膜反射數(shù)據(jù)與預(yù)定目標(biāo)的預(yù)定3D位置參數(shù)相比較，以確定凝視點(diǎn)確定模型。在一些實(shí)施例中，凝視點(diǎn)確定模型可以包括能夠用于使用瞳孔的確定位置和角膜反射數(shù)據(jù)繪制3D眼球凝視位置的函數(shù)。在一些實(shí)施例中，多個(gè)校準(zhǔn)目標(biāo)用于校準(zhǔn)過程，并且函數(shù)中的參數(shù)可以使用從校準(zhǔn)過程收集的瞳孔的位置和角膜反射數(shù)據(jù)確定。在一些示例中，諸如最少平方優(yōu)化或最大可能估計(jì)的方法可以用于確定函數(shù)的參數(shù)。在一些實(shí)施例中，凝視點(diǎn)確定模型也可以包括矩陣，矩陣示出在3D空間中的坐標(biāo)系統(tǒng)中從瞳孔的3D位置和3D角膜反射數(shù)據(jù)到目標(biāo)的3D位置的轉(zhuǎn)換。在一些實(shí)施例中，凝視點(diǎn)確定模型可以保存在聯(lián)接到處理器206的存儲器中。關(guān)于如何確定瞳孔的3D位置和3D角膜反射數(shù)據(jù)的附加細(xì)節(jié)和與凝視點(diǎn)確定模型相關(guān)的細(xì)節(jié)可以例如在2014年3月19日提交的美國臨時(shí)申請No.61/955,334中發(fā)現(xiàn)，該美國臨時(shí)申請通過引用全部并入本文。

在一些實(shí)施例中，校準(zhǔn)過程302可以重復(fù)多次，使得凝視點(diǎn)確定模型的精確性可以改進(jìn)以滿足預(yù)先確定的系統(tǒng)要求。在一些實(shí)施例中，在形成第一凝視點(diǎn)確定模型之后，真實(shí)目標(biāo)可以用于估計(jì)第一凝視點(diǎn)確定模型的精確性。例如，通過使用真實(shí)目標(biāo)重新運(yùn)行繪制的優(yōu)化，可以更新第一凝視點(diǎn)確定模型，以形成第二凝視點(diǎn)確定模型。比較并評價(jià)第一模型和第二模型之間的精確性，使得更精確的凝視點(diǎn)確定模型可以形成。

在完成校準(zhǔn)過程302之后，方法300前進(jìn)到測量過程304。當(dāng)內(nèi)窺鏡112正在捕獲手術(shù)部位的圖像時(shí)，測量過程304可以在手術(shù)或訓(xùn)練過程期間執(zhí)行。

當(dāng)外科醫(yī)生正在看顯示在左圖像顯示器202a和右圖像顯示器202b上的手術(shù)部位時(shí)，通過接收針對外科醫(yī)生的左右眼的瞳孔的2D位置和2D角膜反射數(shù)據(jù)，測量過程304在步驟320處開始。手術(shù)部位的圖像可以由內(nèi)窺鏡112捕獲，并處理和分成分別顯示在左圖像顯示器202a和右圖像顯示器202b上的左立體圖像和右立體圖像。外科醫(yī)生的左右眼的瞳孔的2D位置和2D角膜反射數(shù)據(jù)分別由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲。在一些實(shí)施例中，外科醫(yī)生的頭部/面部運(yùn)動也可以由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲。

通過使用在校準(zhǔn)過程302期間獲得的凝視點(diǎn)確定模型確定外科醫(yī)生的3D凝視點(diǎn)位置，測量過程304前進(jìn)到步驟322。瞳孔的3D位置和3D角膜反射數(shù)據(jù)可以首先通過使用如前面討論關(guān)于方法300的步驟316的基本類似的方法，使用瞳孔的2D位置和2D角膜反射數(shù)據(jù)來確定。在一些實(shí)施例中，在步驟320處的所捕獲的頭部/面部運(yùn)動也可以用于補(bǔ)償瞳孔的位置和角膜反射數(shù)據(jù)或外科醫(yī)生的3D凝視點(diǎn)。在一些示例中，在校準(zhǔn)過程302期間，在外科醫(yī)生使用他的或她的瞳孔聚焦在校準(zhǔn)目標(biāo)上并旋轉(zhuǎn)他的或她的頭部時(shí)，可以跟蹤外科醫(yī)生的眼角。在頭部/面部運(yùn)動和眼角的跟蹤運(yùn)動之間的函數(shù)能夠在校準(zhǔn)過程期間形成。在測量過程304期間，也可以跟蹤眼角的運(yùn)動，并且外科醫(yī)生的頭部/面部運(yùn)動可以使用從校準(zhǔn)過程302形成的函數(shù)估計(jì)。然后瞳孔的3D位置和3D角膜反射數(shù)據(jù)可以通過使用在步驟318處獲得的凝視點(diǎn)確定模型由處理器206轉(zhuǎn)換為外科醫(yī)生的3D凝視點(diǎn)位置。

在輸出過程306的步驟324處，所確定的3D凝視點(diǎn)位置可以在圖2B中所示的凝視點(diǎn)顯示器210上示出。3D凝視點(diǎn)位置可以以諸如但不限于點(diǎn)、線、矢量、箭頭和半透明圓的各種合適表示中的任何表示表達(dá)。在一些實(shí)施例中，(例如，由代理人的眼球跟蹤單元200的處理器206確定的)代理人的3D眼球凝視點(diǎn)可以在外科醫(yī)生的眼球跟蹤單元240(如圖2D中所示)的3D凝視點(diǎn)顯示器250上顯示，使得正接受訓(xùn)練的外科醫(yī)生可以具有代理人的凝視點(diǎn)的直接觀看。在一些實(shí)施例中，代理人的3D眼球凝視點(diǎn)可以在外科醫(yī)生的眼球跟蹤單元240的左圖像顯示器244a和右圖像顯示器244b上示出，使得外科醫(yī)生可以被引導(dǎo)以直觀地使用代理人的凝視點(diǎn)完成外科手術(shù)。在一些實(shí)施例中，外科醫(yī)生的3D眼球凝視點(diǎn)(例如由外科醫(yī)生的眼球跟蹤單元240的處理器248確定)可以在代理人的眼球跟蹤單元200的顯示器210上顯示，使得外科醫(yī)生的凝視點(diǎn)可以在外科手術(shù)期間由代理人實(shí)時(shí)地監(jiān)視。如上所討論由遠(yuǎn)程操作醫(yī)療系統(tǒng)10測量的凝視點(diǎn)可以在各種應(yīng)用中使用。

圖3B示出使用圖2D的雙眼球跟蹤單元200和240的訓(xùn)練/代理方法340。通過在外科手術(shù)期間由第二使用者在3D凝視點(diǎn)顯示器上監(jiān)視第一使用者的3D凝視點(diǎn)，方法340從步驟342開始。第一使用者的3D凝視點(diǎn)可以使用在如圖3A中所示的方法300中所示的第一眼球跟蹤單元(例如，眼球跟蹤單元200)確定。所確定的3D凝視點(diǎn)可以在第二眼球跟蹤單元(例如，眼球跟蹤單元240)的3D凝視點(diǎn)顯示器(例如，圖像顯示器244或凝視點(diǎn)顯示器250)上顯示，以由第二使用者監(jiān)視和評價(jià)。通過第二使用者向第一使用者發(fā)送指令，方法340前進(jìn)到步驟344。在一些實(shí)施例中，第一使用者可以是外科醫(yī)生，并且第二使用者可以是在外科手術(shù)期間訓(xùn)練外科醫(yī)生的代理人。例如，在一種情況下，當(dāng)代理人注意到外科醫(yī)生正在看與手術(shù)部位內(nèi)的目標(biāo)區(qū)域不同的手術(shù)部位內(nèi)的區(qū)域，或者外科醫(yī)生已經(jīng)選擇錯(cuò)誤的手術(shù)器械時(shí)，代理人可以向外科醫(yī)生發(fā)送指令，以實(shí)時(shí)地校正外科醫(yī)生的動作和/或觀看點(diǎn)。例如，代理人可以通過眼球凝視啟用的菜單選擇，手動地按下按鈕，或者輕踏代理人的控制臺上的足踏板來指示外科醫(yī)生。在一種情況下，代理人的指令以各種方式中的任何方式顯示在外科醫(yī)生的圖像顯示器上，以引導(dǎo)外科醫(yī)生朝向正確的方法。在一個(gè)實(shí)施例中，外科醫(yī)生的圖像顯示器(例如，眼球跟蹤單元200的左圖像顯示器202a和右圖像顯示器202b)可以變暗。在另一實(shí)施例中，外科醫(yī)生的圖像顯示器的凝視點(diǎn)區(qū)域可以呈現(xiàn)視覺的(例如，閃爍紅色)、可聽的(例如，發(fā)出蜂鳴)或觸覺的(例如，振動手動控件的一部分)警告，以警告外科醫(yī)生繼續(xù)進(jìn)行任何不正確的操作。在一些實(shí)施例中，代理人也可以使用觸摸屏上的標(biāo)注器(telestrator)或視頻標(biāo)記器或者外科醫(yī)生的控制臺或單獨(dú)控制臺上的3D指示器發(fā)送指令。

如上所述，在一些實(shí)施例中，外科醫(yī)生可以使用外科醫(yī)生的3D凝視點(diǎn)，以標(biāo)記并定位手術(shù)部位。例如，當(dāng)外科醫(yī)生想要在解剖結(jié)構(gòu)中標(biāo)記位置時(shí)，外科醫(yī)生可以盯著該位置，使得眼球跟蹤單元200捕獲外科醫(yī)生的3D凝視點(diǎn)并使用方法300確定3D坐標(biāo)值。然后外科醫(yī)生還可以按下外科醫(yī)生的控制臺120上的按鈕或輕踏足踏板128，以使用諸如標(biāo)記的圖標(biāo)將位置標(biāo)記在圖像顯示器上的當(dāng)前凝視點(diǎn)處。隨著內(nèi)窺鏡112在解剖環(huán)境中聚焦在其他四分體上，所標(biāo)記的3D位置可以補(bǔ)償隨后的攝像機(jī)運(yùn)動，或者通過從外部位置傳感器參考，以保持所標(biāo)記的位置。所標(biāo)記的位置可以用作參考位置，參考位置可以幫助外科醫(yī)生有效率地且有效地識別所期望的手術(shù)部位。

關(guān)于圖3A中所示的方法300，在一些實(shí)施例中，由眼球跟蹤單元200捕獲的3D凝視點(diǎn)位置可以用于調(diào)整內(nèi)窺鏡112，使得外科醫(yī)生的3D凝視點(diǎn)在視覺的中心處。例如，當(dāng)確認(rèn)外科醫(yī)生的3D凝視點(diǎn)是手術(shù)部位時(shí)，外科醫(yī)生可以例如通過按下按鈕和/或輕踏足踏板發(fā)送確認(rèn)指令。然后內(nèi)窺鏡112的控制單元可以從處理器206接收3D凝視點(diǎn)的位置數(shù)據(jù)，使得內(nèi)窺鏡112可以經(jīng)調(diào)整來捕獲具有位于圖像的中心處的外科醫(yī)生的3D凝視點(diǎn)的更新圖像。關(guān)于使用3D凝視點(diǎn)調(diào)整內(nèi)窺鏡112的附加細(xì)節(jié)可以例如在2014年3月19日提交的題為“使用眼球凝視跟蹤用于次要成像的醫(yī)療裝置、系統(tǒng)和方法(MEDICAL DEVICES，SYSTEMS，AND METHODS USING EYE GAZE TRACKING FOR SECONDARY IMAGING)”的美國臨時(shí)申請No.61/955,355中發(fā)現(xiàn)，該美國臨時(shí)申請通過引用全部并入本文。

圖3C示出用于在外科手術(shù)期間使用外科醫(yī)生的凝視點(diǎn)啟用安裝在遠(yuǎn)程操作組件100中的手術(shù)器械(例如，器械系統(tǒng)14)的凝視點(diǎn)啟用方法350。首先要求外科醫(yī)生通過眼球跟蹤單元200聚焦在諸如緊固件輸送工具(例如，縫合器)或能量施加工具(例如，切除器械)的要在手術(shù)中使用的手術(shù)器械的圖像上。圖像框架中的手術(shù)器械的3D位置數(shù)據(jù)存儲在諸如存儲器等的計(jì)算機(jī)可讀介質(zhì)中。圖像框架中的手術(shù)器械的3D圖像的3D位置被引用至手術(shù)框架中的手術(shù)器械的3D位置。在步驟351處，由內(nèi)窺鏡112捕獲的手術(shù)器械的圖像顯示在顯示器210上(例如，在眼球跟蹤單元200的圖像顯示器202a和202b上)用于外科醫(yī)生的觀看。在方法350的步驟352處，當(dāng)外科醫(yī)生被要求聚焦在顯示器上的手術(shù)器械的圖像上時(shí)，使用與方法300中所示的基本上類似的方法確定圖像框架中的外科醫(yī)生的凝視點(diǎn)。在一些實(shí)施例中，外科醫(yī)生可以將他的或她的凝視點(diǎn)聚焦在手術(shù)器械的圖像上或聚焦在手術(shù)器械附近的圖像的區(qū)域(如手術(shù)器械的尖端附近的組織)中。在步驟354處，外科醫(yī)生的3D凝視點(diǎn)的確定位置與存儲在計(jì)算機(jī)可讀介質(zhì)中的手術(shù)器械的3D位置數(shù)據(jù)相比較。如果外科醫(yī)生的3D凝視點(diǎn)的確定位置與手術(shù)器械的3D位置一致，或者如果外科醫(yī)生的3D凝視點(diǎn)的確定位置是在手術(shù)器械附近的預(yù)定區(qū)域內(nèi)，則步驟354前進(jìn)到步驟356，以啟用手術(shù)器械。例如，眼球凝視跟蹤系統(tǒng)的處理器206可以發(fā)送信號至器械控制單元212，以允許諸如縫合器等手術(shù)器械的能量排放。然后外科醫(yī)生能夠使用對應(yīng)的控制接口122控制并啟動縫合器。在一些實(shí)施例中，處理器206也能夠啟用并控制控制接口122，以輸送要由外科醫(yī)生為外科手術(shù)使用的手術(shù)器械。如果外科醫(yī)生的3D凝視點(diǎn)的確定位置不在手術(shù)器械附近的預(yù)定區(qū)域內(nèi)，則在步驟358處，停用手術(shù)器械。在步驟358處，因?yàn)橥饪漆t(yī)生不在看器械，所以器械控制單元212不能由任何外科醫(yī)生的實(shí)際指令啟用(例如，實(shí)際指令可以是偶然的)，并且手術(shù)器械被鎖定。因此，在無如方法350中討論的外科醫(yī)生的凝視點(diǎn)的確認(rèn)的情況下，手術(shù)器械不能執(zhí)行任何啟動動作或運(yùn)動。

在訓(xùn)練過程期間，正接受訓(xùn)練的外科醫(yī)生的當(dāng)前3D凝視點(diǎn)位置可以由代理人從諸如技能水平和/或壓力水平的各種角度監(jiān)視和評價(jià)。在一些實(shí)施例中，外科醫(yī)生的技能水平可以通過在手術(shù)過程期間跟蹤凝視點(diǎn)運(yùn)動而特征化。圖4A示出用于使用圖2B的眼球跟蹤單元200在外科手術(shù)期間評價(jià)外科醫(yī)生的方法400。評價(jià)可以包括外科醫(yī)生的技能水平、壓力水平、疲勞和/或任何其他凝視指示的表現(xiàn)或行為度量標(biāo)準(zhǔn)。圖5是示出具有3D圖像框架坐標(biāo)系統(tǒng)的手術(shù)部位的3D圖像的3D圖像顯示器450的示例。

通過獲取基線數(shù)據(jù)作為標(biāo)準(zhǔn)來評價(jià)并量化外科醫(yī)生的技能水平，方法400從可選步驟402開始。在一些實(shí)施例中，基線數(shù)據(jù)可以通過在標(biāo)準(zhǔn)操作期間測量有經(jīng)驗(yàn)的外科醫(yī)生的凝視點(diǎn)運(yùn)動在開始訓(xùn)練過程之前獲取。在一些示例中，基線數(shù)據(jù)可以在模擬練習(xí)期間獲取，模擬練習(xí)可以包括攝像機(jī)目標(biāo)鎖定、針驅(qū)動、操縱練習(xí)、縫合、燒灼/能量施加和/或任何其他合適練習(xí)。在一些示例中，基線數(shù)據(jù)可以包括與凝視點(diǎn)在目標(biāo)手術(shù)區(qū)域和手術(shù)器械之間前后移動的時(shí)間和/或位移以及凝視點(diǎn)從初始位置移動到目標(biāo)手術(shù)區(qū)域的時(shí)間和/或位移的時(shí)間比(T)和/或位移比(D)相關(guān)的信息。在一些實(shí)施例中，基線數(shù)據(jù)也可以包括在每個(gè)跟蹤點(diǎn)上的凝視點(diǎn)固定的時(shí)間。在一些實(shí)施例中，基線數(shù)據(jù)可以結(jié)合系統(tǒng)運(yùn)動和事件數(shù)據(jù)捕獲。在一些實(shí)施例中，可以有表示各種技能水平的時(shí)間比(T)和/或位移比(D)的不同值。在一些實(shí)施例中，基線數(shù)據(jù)可以保存在計(jì)算機(jī)可讀介質(zhì)中用于在未來重復(fù)使用。

通過確認(rèn)如圖5中所示的3D圖像顯示器450上的目標(biāo)P，方法400前進(jìn)到可選步驟404。指示確認(rèn)過程的開始的第一信號可以由被訓(xùn)練的外科醫(yī)生通過按下按鈕選擇確認(rèn)模式或者通過輕踏外科醫(yī)生的控制臺上的足踏板而輸出。如圖5中所示，在識別目標(biāo)區(qū)域P是需要外科手術(shù)的區(qū)域之后，通過將外科醫(yī)生的凝視點(diǎn)聚焦在圖像顯示器450上的目標(biāo)P上，可以在3D圖像顯示器450上確認(rèn)目標(biāo)P。在一些實(shí)施例中，目標(biāo)P也可以通過按下外科醫(yī)生的控制臺120上的按鈕或者通過輕踏足踏板128確認(rèn)和標(biāo)記。在其他實(shí)施例中，目標(biāo)P可以是顯示器450內(nèi)的預(yù)定位置或區(qū)域，或者能夠甚至通過由外科醫(yī)生進(jìn)入的(一個(gè)或更多個(gè))實(shí)際凝視位置即時(shí)建立。

在眼球跟蹤單元200接收確認(rèn)之后，通過接收另一指令，諸如按下按鈕和/或輕踏足踏板，內(nèi)窺鏡112的控制單元可以可選地從處理器206接收凝視點(diǎn)(即，目標(biāo)P)的位置數(shù)據(jù)，使得內(nèi)窺鏡112可以經(jīng)調(diào)整，以具有位于圖像顯示器450的中心處的目標(biāo)P。在一些實(shí)施例中，目標(biāo)P可以自動地分配有坐標(biāo)(0，0，0)作為當(dāng)前3D坐標(biāo)系統(tǒng)的原點(diǎn)。

通過確認(rèn)3D圖像顯示器450上的手術(shù)器械110a、110b或110c的尖端的初始位置，方法400前進(jìn)到可選步驟406。例如，如圖5中所示，手術(shù)器械的尖端的初始位置可以在位置Q₀處識別。然后位置Q₀可以通過將外科醫(yī)生的凝視點(diǎn)聚焦在3D圖像顯示器450上的位置Q₀上而在3D圖像顯示器450上確認(rèn)。在眼球跟蹤單元200接收確認(rèn)之后，位置Q₀可以自動地分配有相對于步驟404處定義的對應(yīng)3D坐標(biāo)系統(tǒng)的3D坐標(biāo)(q_x0，q_y0，q_z0)。在一些實(shí)施例中，位置Q₀也可以通過按下外科醫(yī)生的控制臺120上的按鈕或者通過輕踏足踏板128確認(rèn)。在其他實(shí)施例中，器械的尖端的位置可以通過諸如系統(tǒng)運(yùn)動、位置傳感器和/或光學(xué)工具跟蹤的任何其他方法建立。

通過例如相對于器械尖端和目標(biāo)P測量外科醫(yī)生的凝視點(diǎn)運(yùn)動，方法400前進(jìn)到步驟408。在一些實(shí)施例中，在完成步驟406后，指示測量過程的開始的信號可以通過任何合適方法，如外科醫(yī)生按下外科醫(yī)生的控制臺上的按鈕或輕踏足踏板而產(chǎn)生。在其他實(shí)施例中，測量過程可以由器械的特定狀態(tài)進(jìn)行或啟動。在一些實(shí)施例中，外科醫(yī)生的凝視點(diǎn)可以從3D圖像顯示器450上的目標(biāo)區(qū)域P開始。在一些實(shí)施例中，外科醫(yī)生的凝視點(diǎn)可以從3D圖像顯示器450上的手術(shù)器械的初始位置Q₀開始。

參照圖5，在一些實(shí)施例中，外科醫(yī)生的技能水平可以由外科醫(yī)生的凝視點(diǎn)運(yùn)動反映。例如，在外科手術(shù)期間，隨著他或她將手術(shù)器械從初始點(diǎn)移動到目標(biāo)點(diǎn)，或者執(zhí)行從初始點(diǎn)到目標(biāo)點(diǎn)的操作，業(yè)余外科醫(yī)生可以前后移動他的或她的凝視點(diǎn)多次，以在手術(shù)器械(例如，Q₀，Q₁，Q₂......)和目標(biāo)點(diǎn)(例如，P)之間檢查。相比之下，隨著他或她移動手術(shù)器械或執(zhí)行操作，有經(jīng)驗(yàn)的外科醫(yī)生可以在初始凝視點(diǎn)(例如，Q₀)和目標(biāo)點(diǎn)(例如，P)之間具有較平滑且較少頻率的凝視點(diǎn)運(yùn)動。因此，在一個(gè)實(shí)施例中，外科醫(yī)生的凝視點(diǎn)運(yùn)動的位移和/或時(shí)間可以用作一個(gè)或更多個(gè)因素來評價(jià)外科醫(yī)生的技能水平。

在步驟408處，外科醫(yī)生的凝視點(diǎn)的位置數(shù)據(jù)可以由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲，由處理器206處理來接收凝視點(diǎn)的3D位置數(shù)據(jù)，并如相對于圖3A中所示的方法300在上面討論實(shí)時(shí)地保存在存儲器中。隨著外科醫(yī)生的凝視點(diǎn)在3D圖像顯示器450上從初始位置Q₀移動到Q₁，Q₂......Q_n，外科醫(yī)生的凝視點(diǎn)的位置數(shù)據(jù)可以包括3D坐標(biāo)值(q_x0，q_z0，q_z0)，(q_x1，q_y1，q_z1)(q_x2，q_y2，q_z2)......(q_xn，q_yn，q_zn)。

在步驟408處，從一點(diǎn)到下一個(gè)點(diǎn)的外科醫(yī)生的凝視點(diǎn)運(yùn)動的時(shí)間也可以由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲，由處理器206處理，并且實(shí)時(shí)地保存在存儲器中。在一些實(shí)施例中，用于外科醫(yī)生的凝視點(diǎn)運(yùn)動的時(shí)間可以包括與運(yùn)動方向相關(guān)的信息。在一些實(shí)施例中，在步驟408處，也可以跟蹤在每個(gè)凝視點(diǎn)處的固定時(shí)間。

通過確定評價(jià)因素，方法400前進(jìn)到步驟410。評價(jià)因素可以包括位移比因素D。位移比因素D用于量化外科醫(yī)生的技能水平。例如，位移比因素D可以計(jì)算為D＝(|Q₀P|+|PQ₁|+|Q₁P|+|PQ₂|+|Q₂P|+......+|PQ_n|+|Q_nP|)/|Q₀P|，其中|AB|表示使用3D圖像顯示器450上的點(diǎn)A和B的坐標(biāo)值的凝視點(diǎn)A朝向凝視點(diǎn)B的位移。例如，|PQ₁|表示從凝視點(diǎn)P(0，0，0)朝向凝視點(diǎn)Q1(q_x1，q_y1，q_z1)的位移，并且|Q₁P|表示從凝視點(diǎn)Q1(q_x1，q_y1，q_z1)朝向凝視點(diǎn)P(0，0，0)的位移。

在一些實(shí)施例中，評價(jià)因素可以包括時(shí)間比因素T。時(shí)間比因素T也可以用于量化外科醫(yī)生的技能水平。例如，時(shí)間比因素T可以計(jì)算為T＝(t₁+t₂+......t_n)/t_i，其中t₁，t₂，......t_n表示從一個(gè)點(diǎn)移動到下一個(gè)點(diǎn)需要的外科醫(yī)生的凝視點(diǎn)的時(shí)間，直到測量過程的完成。在測量過程期間，由于在任何兩個(gè)移動的點(diǎn)之間捕獲位移(例如，|PQ₁|)和時(shí)間(例如，t₁)兩者，因此也可以計(jì)算在任何兩個(gè)點(diǎn)之間移動的凝視點(diǎn)的速度(v_i)。在測量過程完成時(shí)，還可以計(jì)算平均速度(v)。然后平均速度(v)可以用于計(jì)算時(shí)間t_i用于當(dāng)前使用者將他的或她的凝視點(diǎn)從初始點(diǎn)(例如，Q₀)移動到目標(biāo)點(diǎn)(例如，P)。

在一些實(shí)施例中，評價(jià)因素可以包括與在每個(gè)凝視點(diǎn)處測量的固定時(shí)間相關(guān)的因素。例如，在步驟408處測量在多個(gè)凝視點(diǎn)處的多個(gè)固定時(shí)間之后，可以計(jì)算外科醫(yī)生的眼球凝視的平均固定時(shí)間。然后眼球凝視固定的平均時(shí)間可以與存儲在基線數(shù)據(jù)中用于評價(jià)外科醫(yī)生的技能水平的眼球凝視固定信息相比較。

通過比較評價(jià)因素(例如，位移比因素D、時(shí)間比因素T和/或凝視固定時(shí)間)與(例如，在步驟402處獲取的)基線數(shù)據(jù)而確定外科醫(yī)生的技能水平，方法400前進(jìn)到步驟412。在一些實(shí)施例中，外科醫(yī)生的技能水平也可以使用與諸如從外科醫(yī)生的手、器械和/或攝像機(jī)的運(yùn)動測量的數(shù)據(jù)的系統(tǒng)動態(tài)數(shù)據(jù)和/或事件數(shù)據(jù)結(jié)合的評價(jià)因素確定。外科醫(yī)生的手、器械和/或攝像機(jī)運(yùn)動可以使用任何合適的方法跟蹤和分析。

在一些實(shí)施例中，如上所述，由眼球跟蹤單元200捕獲的外科醫(yī)生的3D凝視點(diǎn)位置也可以用于監(jiān)視外科醫(yī)生的表現(xiàn)和/或條件并在如果指示表現(xiàn)和/或條件的下降時(shí)提供警告。例如，3D凝視點(diǎn)可以用于確定外科醫(yī)生的壓力或疲勞水平，外科醫(yī)生的壓力或疲勞水平在一些實(shí)施例中可以在外科醫(yī)生的眼球凝視動態(tài)的變化中反映。眼球凝視動態(tài)可以包括瞳孔直徑波動和/或眼球凝視掃視。在一些示例中，在測量過程(例如，圖4A的方法400的步驟402)之前，當(dāng)外科醫(yī)生正在正常狀態(tài)下工作時(shí)，可以首先獲取包括外科醫(yī)生的眼球凝視動態(tài)的信息的基線。例如，基線可以包括外科醫(yī)生的眼球凝視掃視的頻率和/或外科醫(yī)生的瞳孔直徑波動的頻率和大小。在測量過程(例如，方法400的步驟408)期間，眼球凝視動態(tài)可以使用左眼球跟蹤器204a和右眼球跟蹤器204b監(jiān)視并處理以及與在正常工作狀態(tài)下獲取的基線比較。當(dāng)與正常狀態(tài)相比較(例如，方法400的步驟412)眼球凝視動態(tài)出現(xiàn)為不正常時(shí)，可以給出通知或警告，以阻止外科醫(yī)生繼續(xù)進(jìn)行任何操作。不正常眼球動態(tài)可以由諸如但不限于劇烈的瞳孔直徑波動或比正常的更頻繁的眼球凝視掃視的各種眼球特征指示。在一些實(shí)施例中，外科醫(yī)生的眼球動態(tài)也可以在位于遠(yuǎn)程操作組件100處的觸摸屏上監(jiān)視，并且告知外科醫(yī)生的眼球動態(tài)的不正常狀態(tài)的通知或警告可以發(fā)送至手術(shù)室(OR)工作人員，使得工作人員可以及時(shí)響應(yīng)。

在一些實(shí)施例中，除了在醫(yī)療程序期間監(jiān)視外科醫(yī)生的壓力水平以外，所跟蹤的眼球凝視動態(tài)信息也可以在手術(shù)之后采集并分析。在一些示例中，所分析的結(jié)果可以用于理解外科醫(yī)生為什么具有特定訓(xùn)練練習(xí)或手術(shù)的特定部分的難度。

在一些實(shí)施例中，所跟蹤的外科醫(yī)生的3D凝視點(diǎn)能夠用于系統(tǒng)登錄/退出和使用者識別。例如，在一個(gè)實(shí)施例中，外科醫(yī)生被要求在登錄系統(tǒng)之前聚焦在目標(biāo)點(diǎn)上。目標(biāo)點(diǎn)可以包括其中3D位置數(shù)據(jù)存儲在計(jì)算機(jī)可讀介質(zhì)中的手術(shù)器械。在外科醫(yī)生的3D凝視點(diǎn)的位置由眼球跟蹤系統(tǒng)使用如更早討論的方法300跟蹤之后，外科醫(yī)生的3D凝視點(diǎn)的位置與目標(biāo)點(diǎn)的3D位置相比較。當(dāng)外科醫(yī)生的3D凝視點(diǎn)與3D位置目標(biāo)點(diǎn)一致時(shí)，外科醫(yī)生可以自動地登錄到遠(yuǎn)程操作醫(yī)療系統(tǒng)10中。在一些實(shí)施例中，如果外科醫(yī)生的3D凝視點(diǎn)不匹配目標(biāo)點(diǎn)的3D位置，則外科醫(yī)生不能夠登錄遠(yuǎn)程操作醫(yī)療系統(tǒng)10中。在一些示例中，如果不能夠檢測到外科醫(yī)生的眼球(和/或外科醫(yī)生的凝視點(diǎn))，則遠(yuǎn)程操作醫(yī)療系統(tǒng)10被鎖住或者是未啟用的。

在一些實(shí)施例中，諸如虹膜特征、眼球動態(tài)或眼球凝視運(yùn)動速度的所存儲的使用者的眼球信息能夠用于使用者識別和系統(tǒng)登錄。例如，在開始外科手術(shù)之前，可以要求外科醫(yī)生實(shí)行若干眼球凝視運(yùn)動練習(xí)。眼球跟蹤單元200可以捕獲外科醫(yī)生的眼球動態(tài)，并且與對應(yīng)的眼球動態(tài)相關(guān)的輪廓數(shù)據(jù)相比較。在一些實(shí)施例中，眼球跟蹤單元200可以觀察或測量使用者的各種虹膜特征并將這些虹膜特征與所存儲的虹膜輪廓的數(shù)據(jù)庫比較，以允許不同使用者的虹膜識別。一旦外科醫(yī)生被識別為具有存儲在存儲器中的輪廓的重新出現(xiàn)的使用者，外科醫(yī)生就可以自動地登錄具有自定義設(shè)置的他或她自己的輪廓。

在一些實(shí)施例中，由眼球跟蹤單元200捕獲的外科醫(yī)生的3D凝視點(diǎn)位置可以用于使用圖2B中所示的系統(tǒng)控制單元214調(diào)整遠(yuǎn)程操作醫(yī)療系統(tǒng)10的系統(tǒng)特征。例如，所測量的外科醫(yī)生的眼球凝視包括手術(shù)部位(其能夠在活的患者、尸體、動物、模型或局部/全計(jì)算機(jī)模擬中)的3D位置數(shù)據(jù)。3D位置數(shù)據(jù)能夠用于將使用者接口(例如，圖1B的控制接口122a和122b)相對于3D圖像顯示器上的手術(shù)部位對準(zhǔn)在適當(dāng)位置(例如，適當(dāng)深度)處，使得外科醫(yī)生能夠觀看3D圖像顯示器上的手術(shù)部位并在外科手術(shù)期間直觀地控制手術(shù)器械。在一些實(shí)施例中，所測量的外科醫(yī)生的眼球凝視能夠用于調(diào)整外科醫(yī)生控制臺的人體工程設(shè)置，如圖像顯示器相對于使用者的頭部的位置和取向，使得使用者能夠看到整個(gè)圖像顯示器，而無阻塞。

在一些實(shí)施例中，為了更精確地在3D空間中校準(zhǔn)手術(shù)器械的3D位置，外科醫(yī)生的眼球凝視點(diǎn)可以聚焦在圖像顯示器上的手術(shù)器械，并且眼球跟蹤單元200可以捕獲外科醫(yī)生的3D眼球凝視點(diǎn)并基于由眼球跟蹤單元200接收的凝視點(diǎn)數(shù)據(jù)提供手術(shù)器械的精確3D位置信息。

在一個(gè)示例性實(shí)施例中，第一遠(yuǎn)程操作醫(yī)療系統(tǒng)包括第一眼球跟蹤單元，第一眼球跟蹤單元包括：一個(gè)或更多個(gè)第一圖像顯示器；一個(gè)或更多個(gè)第一眼球跟蹤器；和第一處理器，第一處理器聯(lián)接到一個(gè)或更多個(gè)第一眼球跟蹤器并經(jīng)配置在第一使用者看由一個(gè)或更多個(gè)第一圖像顯示器顯示的第一圖像時(shí)計(jì)算第一使用者的第一凝視點(diǎn)。系統(tǒng)也包括第二眼球跟蹤單元，第二眼球跟蹤單元包括：一個(gè)或更多個(gè)第二圖像顯示器；一個(gè)或更多個(gè)第二眼球跟蹤器；和第二處理器，第二處理器聯(lián)接到一個(gè)或更多個(gè)第二眼球跟蹤器并經(jīng)配置在第二使用者看由一個(gè)或更多個(gè)第二圖像顯示器顯示的第二圖像時(shí)計(jì)算第二使用者的第二凝視點(diǎn)。一個(gè)或更多個(gè)第一圖像顯示器聯(lián)接到第二處理器，并且一個(gè)或更多個(gè)第二圖像顯示器聯(lián)接到第一處理器。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，第一圖像和第二圖像包括手術(shù)部位的圖像。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，第一圖像還包括第二凝視點(diǎn)的表示。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，第二圖像還包括第一凝視點(diǎn)的表示。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，第一圖像還包括第一凝視點(diǎn)的表示。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，一個(gè)或更多個(gè)第一眼球跟蹤器包括左眼球跟蹤器和右眼球跟蹤器。

在第一遠(yuǎn)程操作醫(yī)療系統(tǒng)的另一實(shí)施例中，一個(gè)或更多個(gè)第二眼球跟蹤器包括左眼球跟蹤器和右眼球跟蹤器。

在一個(gè)示例性實(shí)施例中，用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法包括跟蹤手術(shù)部位的3D凝視點(diǎn)在3D圖像顯示器中的運(yùn)動；以及根據(jù)3D凝視點(diǎn)的運(yùn)動確定評價(jià)因素。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，方法還包括在3D圖像顯示器中確認(rèn)目標(biāo)點(diǎn)和初始點(diǎn)，其中運(yùn)動是在目標(biāo)點(diǎn)和初始點(diǎn)之間。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，確認(rèn)目標(biāo)點(diǎn)和初始點(diǎn)包括獲取目標(biāo)點(diǎn)和初始點(diǎn)的坐標(biāo)值。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，所獲取的目標(biāo)點(diǎn)的坐標(biāo)值用于給內(nèi)窺鏡重定中心。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，確認(rèn)目標(biāo)點(diǎn)和初始點(diǎn)包括按下按鈕或輕踏足踏板。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，確認(rèn)目標(biāo)點(diǎn)包括在3D圖像顯示器上將3D凝視點(diǎn)聚焦在目標(biāo)點(diǎn)上。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，確認(rèn)初始點(diǎn)包括在3D圖像顯示器上將3D凝視點(diǎn)聚焦在初始點(diǎn)上。

在另一實(shí)施例中，用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法包括通過比較評價(jià)因素與用于凝視點(diǎn)運(yùn)動的基線數(shù)據(jù)確定技能水平。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，在目標(biāo)點(diǎn)和初始點(diǎn)之間的3D凝視點(diǎn)的運(yùn)動包括3D凝視點(diǎn)的多個(gè)分段運(yùn)動，每個(gè)分段運(yùn)動是從器械點(diǎn)到目標(biāo)點(diǎn)，并且其中器械點(diǎn)是在初始點(diǎn)和目標(biāo)點(diǎn)之間。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，測量3D凝視點(diǎn)的運(yùn)動包括測量器械點(diǎn)的3D坐標(biāo)值。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，評價(jià)因素包括位移比因素，位移比因素是3D凝視點(diǎn)的分段運(yùn)動的各位移之和除以目標(biāo)點(diǎn)和初始點(diǎn)之間的位移的比率。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，測量3D凝視點(diǎn)的運(yùn)動包括測量3D凝視點(diǎn)在目標(biāo)點(diǎn)和器械點(diǎn)之間的每個(gè)分段運(yùn)動所需的時(shí)間。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，評價(jià)因素包括時(shí)間比因素，時(shí)間比因素是分段運(yùn)動所需的時(shí)間之和除以使用平均3D凝視點(diǎn)移動速度計(jì)算的3D凝視點(diǎn)從初始點(diǎn)移動到目標(biāo)點(diǎn)所需的時(shí)間的比率。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，平均3D凝視點(diǎn)移動速度是所有3D凝視點(diǎn)移動速度的平均值，3D凝視點(diǎn)移動速度中的每個(gè)移動速度使用每個(gè)分段運(yùn)動的位移和時(shí)間計(jì)算。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，測量3D凝視點(diǎn)的運(yùn)動包括在初始點(diǎn)和目標(biāo)點(diǎn)之間的器械點(diǎn)處測量3D凝視點(diǎn)的固定時(shí)間。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第一方法的另一實(shí)施例中，評價(jià)因素包括通過使用在初始點(diǎn)和目標(biāo)點(diǎn)之間的多個(gè)器械點(diǎn)上測量的多個(gè)固定時(shí)間計(jì)算的平均固定時(shí)間。

在一個(gè)示例性實(shí)施例中，一種用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法，方法包括：在手術(shù)部位的3D圖像顯示器中跟蹤眼球凝視動態(tài)和確定當(dāng)使用者看3D圖像顯示器時(shí)使用者的條件。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法的另一實(shí)施例中，跟蹤眼球凝視動態(tài)包括使用一個(gè)或更多個(gè)眼球跟蹤器跟蹤使用者的瞳孔直徑波動或眼球凝視掃視中的至少一個(gè)。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法的另一實(shí)施例中，使用者的條件包括使用者的壓力水平或疲勞水平中的至少一個(gè)。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法的另一實(shí)施例中，確定壓力水平包括將眼球凝視動態(tài)與用于眼球凝視動態(tài)的基線數(shù)據(jù)比較。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法的另一實(shí)施例中，基線數(shù)據(jù)包括當(dāng)外科醫(yī)生在正常狀態(tài)下工作時(shí)測量的眼球凝視動態(tài)。

在用于操作遠(yuǎn)程操作醫(yī)療系統(tǒng)的第二方法的另一實(shí)施例中，眼球凝視動態(tài)用于在系統(tǒng)登錄過程期間使用者的識別。

在一個(gè)示例性實(shí)施例中，用于操作手術(shù)系統(tǒng)的第一方法包括為觀看第一顯示器中的3D圖像的第一使用者確定3D凝視點(diǎn)；以及在第二顯示器中的3D圖像中顯示3D凝視點(diǎn)；以及從觀看第二顯示器上的第一使用者的3D凝視點(diǎn)的第二使用者接收指令。

在用于操作手術(shù)系統(tǒng)的第一方法的另一實(shí)施例中，第一使用者正在由第二使用者訓(xùn)練。

在用于操作手術(shù)系統(tǒng)的第一方法的另一實(shí)施例中，第一使用者的3D凝視點(diǎn)由眼球跟蹤單元確定。

在用于操作手術(shù)系統(tǒng)的第一方法的另一實(shí)施例中，來自于第二使用者的指令是使用第二顯示器上的標(biāo)注器發(fā)送的。

在一個(gè)示例性實(shí)施例中，一種用于操作包括器械和3D顯示器的手術(shù)系統(tǒng)的第二方法，第二方法包括：在3D顯示器上顯示3D圖像；為觀看3D圖像的使用者確定3D凝視點(diǎn)的位置；以及比較3D圖像和3D凝視點(diǎn)的位置。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，3D凝視點(diǎn)的位置使用眼球跟蹤單元確定。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，3D圖像包括顯示在眼球跟蹤單元的一個(gè)或更多個(gè)圖像顯示器上的器械的3D圖像。

在另一實(shí)施例中，用于操作手術(shù)系統(tǒng)的第二方法包括當(dāng)3D凝視點(diǎn)的位置在3D圖像周圍的預(yù)定區(qū)域內(nèi)時(shí)啟用器械。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，啟用器械包括啟用控制接口以輸送器械由使用者使用。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，啟用器械包括控制器械控制單元，以允許器械的能量排放。

在另一實(shí)施例中，用于操作手術(shù)系統(tǒng)的第二方法包括當(dāng)3D凝視點(diǎn)的位置在3D圖像周圍的預(yù)定區(qū)域外時(shí)停用器械。

在另一實(shí)施例中，用于操作手術(shù)系統(tǒng)的第二方法包括當(dāng)3D凝視點(diǎn)的位置是在3D圖像周圍的預(yù)定區(qū)域內(nèi)時(shí)允許自動登錄到手術(shù)系統(tǒng)。

在另一實(shí)施例中，用于操作手術(shù)系統(tǒng)的第二方法包括調(diào)整系統(tǒng)特征。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，3D圖像包括手術(shù)部位的3D圖像。

在用于操作手術(shù)系統(tǒng)的第二方法的另一實(shí)施例中，調(diào)整系統(tǒng)特征包括相對于顯示在3D顯示器上的手術(shù)部位對準(zhǔn)使用者接口。

在各種實(shí)施例中，眼球跟蹤系統(tǒng)200、控制單元210和成像系統(tǒng)(例如，成像裝置112)一致地操作，以提供使用者主要圖像和可選地各種次要調(diào)整圖像。通過非限制性示例的方式，所調(diào)整的圖像可以包括放大圖像、發(fā)亮圖像、銳化圖像、彩色圖像、標(biāo)記圖像和/或涉及不同波長范圍(例如，與可見光范圍相對的近紅外范圍)的圖像。手術(shù)區(qū)域的調(diào)整圖像可以至少部分地通過外科醫(yī)生的眼球凝視控制。為了提供主要圖像和次要圖像，成像系統(tǒng)可以使用單個(gè)成像模塊和后成像操縱(例如，數(shù)字操縱)，以提供所調(diào)整的圖像。替代性地或另外地，如下在各種實(shí)施例中描述的，成像系統(tǒng)包括多個(gè)成像模塊。多個(gè)成像模塊可以設(shè)置在通過單個(gè)患者孔口部署的共同器械上，或者可以設(shè)置在通過多個(gè)患者孔口部署的多個(gè)器械上。在一些實(shí)施例中，成像系統(tǒng)可以包括剛性范圍(即具有剛性軸)，其中用于剛性范圍的姿勢(例如，位置、取向、滾動)通過安裝在其上的特定攝像機(jī)或器械臂的運(yùn)動確定。在其他實(shí)施例中，成像裝置112可以另外地或替代性地包括集成鉸接能力。

圖6A示出能夠用作圖1B的遠(yuǎn)程操作組件100中的成像裝置112的示例性成像系統(tǒng)112a。成像系統(tǒng)112a包括兩個(gè)成像模塊714、715作為單個(gè)成像裝置的組件。成像模塊714、715可以獨(dú)立于彼此控制，以向使用者產(chǎn)生示出不同信息或感興趣觀看的感興趣區(qū)域的主要圖像和次要圖像，如放大圖像重疊。成像系統(tǒng)112a還包括器械接口150d(例如，聯(lián)接到圖1B中所示的攝像機(jī)臂108)、連接到接口150d的軸152d，電纜、桿和/或穿過軸152d的光纖710和711的組合、連接到軸152d的腕形件(例如，鉸接部分)712和713、和在成像裝置112a的遠(yuǎn)端處的成像模塊714和715。

在一些實(shí)施例中，器械接口150d可以從圖2C中所示的控制單元210接收指令。成像模塊714、715中的每個(gè)或兩者可以包括光學(xué)件和機(jī)械件，以給手術(shù)區(qū)域照明。在一些實(shí)施例中，成像模塊714和/或成像模塊715也可以包括能夠捕獲手術(shù)區(qū)域的圖像(例如，立體圖像)的裝置。在一些實(shí)施例中，成像裝置包括立體攝像機(jī)。

感興趣的手術(shù)區(qū)域的圖像能夠由輔助成像模塊715捕獲，并且所調(diào)整的圖像能夠顯示在顯示器(例如，圖像顯示器202a、202b、圖2C中所示的凝視點(diǎn)顯示器207和/或圖4中所示的顯示器416)上。

如圖6A中所示，成像裝置112a的軸152d經(jīng)配置保持電纜、桿和/或光纖710和711。在一些實(shí)施例中，第一組的電纜、桿和/或光纖710可以通過腕形件712聯(lián)接到成像模塊714，并且第二組的電纜、桿和/或光纖711可以通過腕形件713聯(lián)接到成像模塊715。此類配置能夠通過經(jīng)由兩個(gè)不同組710、711的電纜、桿和/或光纖提供不同指令且通過用不同運(yùn)動控件控制腕形件712、713，在成像模塊714和715之間提供獨(dú)立的控制和操縱。腕形件712、713在軸152d的遠(yuǎn)端716處連接到軸152d，并分別聯(lián)接到成像模塊714、715。腕形件712允許成像模塊714以至少兩個(gè)自由度的運(yùn)動，并且可以用穿過軸152d的第一組的電纜或桿710控制。類似地，腕形件713允許成像模塊715以至少兩個(gè)自由度的運(yùn)動，并且用穿過軸152d的第二組的電纜或桿711控制。光纖710、711可以聯(lián)接到成像模塊714、715的光學(xué)件，以均提供照明并傳送圖像。

在一些實(shí)施例中，器械接口150d將攝像機(jī)臂108中的致動電動機(jī)分別聯(lián)接到軸152d中的電纜和桿710和711。在一些實(shí)施例中，器械接口150d可以包括能夠通過攝像機(jī)臂108中的致動電動機(jī)驅(qū)動以控制腕形件712和腕形件713分別操縱成像模塊714和715的機(jī)制。例如，在一個(gè)實(shí)施例中，當(dāng)成像模塊714用作主要成像模塊并且成像模塊715用作輔助或次要成像模塊時(shí)，器械接口150d可以發(fā)送指令至致動電動機(jī)，使得輔助成像模塊715可以由致動電動機(jī)驅(qū)動以移動成像模塊715至外科醫(yī)生的凝視點(diǎn)(如，關(guān)于圖2B和圖2C在上面描述的，基于相對于圖像顯示器202a、202b的檢測的凝視點(diǎn))。

成像模塊714和/或成像模塊715能夠調(diào)整由成像裝置獲得的圖像的類型。例如，在一個(gè)實(shí)施例中，成像模塊714、715能夠“縮放”手術(shù)區(qū)域，以獲得手術(shù)區(qū)域的更詳細(xì)圖像和不太詳細(xì)圖像。在一些實(shí)施例中，成像模塊714、715能夠改變相對于遠(yuǎn)端716的沿軸152d的縱向軸線LA的位置，從而提供實(shí)際的基于距離的縮放功能。成像模塊714和/或成像模塊715也能夠通過分別操縱腕形件712、713在多個(gè)維度(例如，球形空間內(nèi))重新取向。在遠(yuǎn)程操作醫(yī)療系統(tǒng)10中操作的軟件可以通過控制腕形件712、713和/或成像模塊714、715的實(shí)際位置和取向，或者通過控制由成像模塊714、715獲得的圖像的數(shù)字操縱(例如，通過數(shù)字放大或圖像調(diào)整)來控制縮放特征。另外地或替代性地，縮放特征可以由成像模塊714和/或成像模塊715本身控制。

圖6B示出包括成像裝置112c和成像裝置112d的成像系統(tǒng)112b。在一個(gè)實(shí)施例中，成像裝置112c、112d可以與圖1B中所示的遠(yuǎn)程操作組件100的兩個(gè)單獨(dú)攝像機(jī)臂108一起使用，其中每個(gè)成像裝置112c、112d分別附接到獨(dú)立的攝像機(jī)臂108a、108b。在所示的實(shí)施例中，成像裝置112c、112d每個(gè)分別包括獨(dú)立的成像模塊720、722。例如，在所示的實(shí)施例中，成像模塊720安裝在成像裝置112d的遠(yuǎn)端處，并且成像模塊722安裝在成像裝置112c的遠(yuǎn)端處。成像裝置112c、112d可以在術(shù)野內(nèi)緊密地彼此對準(zhǔn)，以幫助從成像模塊720、722獨(dú)立獲取的圖像至單個(gè)顯示器(即圖4中所示的顯示器416)的配準(zhǔn)(register)。關(guān)于圖6B的成像裝置112c、112d基本上類似于在上面描述的成像模塊112a，除此處描述的差異以外。例如，成像裝置112d包括器械接口150e、連接到接口150e的軸152e、連接到軸152e的腕形件324、連接到腕形件724的成像模塊720和穿過軸152e的電纜、桿和/或光纖726。類似地，成像裝置112c包括器械接口150f、連接到接口150f的軸152f、連接到軸152f的腕形件727、連接到腕形件727的成像模塊722和穿過軸152f的電纜、桿和/或光纖728。成像裝置112c和/或成像裝置112d的組件的功能基本上類似于如上所述的成像裝置112a的對應(yīng)組件。

圖6C是根據(jù)本公開的一個(gè)實(shí)施例的立體攝像機(jī)730的示意圖。立體攝像機(jī)730可以用作包括圖6A的成像模塊714、715和圖6C的成像模塊720、722的上述成像模塊中的任何成像模塊。立體攝像機(jī)330能夠用于捕獲能夠向人的左右眼顯示并由人的左右眼感知為3D圖像的立體圖像。

成像模塊(例如，成像模塊714、715、720、722)能夠在3D空間中獨(dú)立地移動，以提供手術(shù)區(qū)域的不同圖像。例如，成像裝置112a的成像模塊714和/或成像裝置112b的成像模塊720能夠用于提供手術(shù)區(qū)域的主要圖像。成像裝置112a的成像模塊715和/或成像裝置112c的成像模塊722能夠用于提供次要的或調(diào)整的圖像，如與外科醫(yī)生的當(dāng)前凝視點(diǎn)對應(yīng)的手術(shù)區(qū)域的放大圖像，其在圖8C中作為圖像960示出。在一些示例中，成像模塊715和內(nèi)窺鏡執(zhí)行器732也可以用于提供其他成像模式，如熒光或超聲波成像，其他成像模式能夠用于識別和/或突出放大成像區(qū)域內(nèi)的結(jié)構(gòu)。在一些實(shí)施例中，如以下進(jìn)一步詳細(xì)地描述，隨著外科醫(yī)生的凝視點(diǎn)掃描過一區(qū)域(例如，患者的腹腔)來識別感興趣的區(qū)域(例如，損傷)，成像裝置112a的成像模塊715和/或成像裝置112c的成像模塊722能夠用于捕獲以非重疊方式布置的不同區(qū)域的圖像。與感興趣的區(qū)域?qū)?yīng)的圖像還可以用其他成像模式(例如，通過光學(xué)操縱和/或數(shù)字處理)放大或處理。

包括眼球跟蹤系統(tǒng)200和一個(gè)或更多個(gè)成像裝置112的遠(yuǎn)程操作醫(yī)療系統(tǒng)10能夠用于施加各種圖像修改至外科醫(yī)生的凝視區(qū)域和非凝視區(qū)域。例如，圖像修改可以包括各種成像效果中的任何成像效果，成像效果包括但不限于放大、縮放(放大或縮小)、突出、重新著色、脫色、標(biāo)記、發(fā)亮、模糊和銳化。在一些實(shí)施例中，圖像修改可以突出或改變凝視區(qū)域，同時(shí)不強(qiáng)調(diào)非凝視區(qū)域。例如，在一些實(shí)施例中，圖像修改可以包括散開、脫色或模糊非凝視區(qū)域，以通過對比突出凝視區(qū)域。在一些實(shí)施例中，圖像修改包括響應(yīng)于外科醫(yī)生的指令的外科醫(yī)生的凝視區(qū)域的放大。在一些實(shí)施例中，圖形修改包括在手術(shù)部位的主要視圖上面重疊外科醫(yī)生的放大的凝視區(qū)域。在一些實(shí)施例中，圖像修改包括施加各種圖像模式至外科醫(yī)生的凝視區(qū)域。在一些實(shí)施例中，遠(yuǎn)程操作醫(yī)療系統(tǒng)10要求附加的使用者輸入(除使用者眼球凝視以外)，以啟動圖像修改。在一些實(shí)施例中，遠(yuǎn)程操作系統(tǒng)和眼球跟蹤系統(tǒng)200解釋使用者眼球凝視，以確定哪一個(gè)成像裝置獲得主要圖像和哪一個(gè)成像裝置獲得或產(chǎn)生輔助或次要圖像。

圖7A示出能夠包括有圖6A-6B中所示的任何成像裝置112a、112b、112c、112d來實(shí)現(xiàn)所期望的圖像修改的圖像處理系統(tǒng)800的方框圖。圖像處理系統(tǒng)800包括可以與圖2C中所示的控制單元210相同的控制單元802?？刂茊卧?02可以包括一個(gè)或更多個(gè)處理器，以處理輸入數(shù)據(jù)和發(fā)布命令。處理器可以與存儲器(易失性存儲器、非易失性存儲器或兩者的組合)聯(lián)接，以保留數(shù)據(jù)和編程指令?？刂茊卧?02可以從圖2C中所示的眼球凝視處理器206接收指令信號?？刂茊卧?02也可以以諸如來自于圖1C中所示的控制接口122的輸入信號的輸入的其他形式接收指令。編程指令可以包括將從例如眼球凝視處理器206接收的數(shù)據(jù)信號轉(zhuǎn)換成表示由成像裝置112產(chǎn)生的原始圖像的請求修改的命令信號的指令。使用那些信號，控制單元802能夠確定外科醫(yī)生意在的圖像變化的類型和/或程度。例如，控制單元802能夠確定外科醫(yī)生是否請求縮放或放大功能或者外科醫(yī)是否請求不同的成像模式顯示。在一些實(shí)施例中，控制單元802可以接收指令，以施加不同圖像修改至與外科醫(yī)生的凝視點(diǎn)對應(yīng)的區(qū)域(即，凝視區(qū)域)和圖像場地的剩余部分(即，非凝視區(qū)域)。

在接收指令之后，控制單元802可以發(fā)送信號至修改器計(jì)算單元804。在一些實(shí)施例中，修改器計(jì)算單元也可以稱為內(nèi)窺鏡操縱計(jì)算單元。在一些實(shí)施例中，修改器計(jì)算單元804可以包括在成像裝置112(例如，112a、112b、112c、112d)的器械接口150(例如，150d、150e、150f)中。修改器計(jì)算單元804可以包括處理器，以將從控制單元802接收的信號轉(zhuǎn)換為命令或動作信號。在一些實(shí)施例中，命令信號由內(nèi)窺鏡處理器直接處理，以數(shù)字地改變?nèi)缬擅钚盘栔甘镜膱D像。另外地或替代性地，命令信號可以傳送至能夠影響成像裝置112的運(yùn)動的致動器806。在一些實(shí)施例中，當(dāng)致動器806引起適當(dāng)內(nèi)窺鏡或成像模塊的對應(yīng)運(yùn)動時(shí)，可以實(shí)現(xiàn)外科醫(yī)生的意在圖像修改(例如，放大、縮放(放大或縮小))。修改器計(jì)算單元804可以包括一個(gè)或更多個(gè)處理器，一個(gè)或更多個(gè)處理器聯(lián)接到保持?jǐn)?shù)據(jù)和編程(例如，凝視點(diǎn)數(shù)據(jù)、運(yùn)動相關(guān)命令數(shù)據(jù)、凝視點(diǎn)跟蹤算法、圖像修改算法)的存儲器(易失性存儲器、非易失性存儲器或兩者的組合)。在一些實(shí)施例中，控制單元802、修改器計(jì)算單元804和/或內(nèi)窺鏡處理器808的上述功能可以由單個(gè)處理器執(zhí)行。

致動器806能夠機(jī)械地聯(lián)接到成像裝置112的器械接口150。例如，致動器806能夠機(jī)械地聯(lián)接到圖6A中所示的成像裝置112a的器械接口150d。致動器806能夠例如是容納在遠(yuǎn)程操作組件100的攝像機(jī)臂108(例如，攝像機(jī)臂108、108a和/或108b)中的旋轉(zhuǎn)式電動機(jī)，其中對應(yīng)成像裝置112附接在其上。如上所討論，在一些實(shí)施例中，器械接口150的修改器計(jì)算單元804可以將致動器806的機(jī)械輸入轉(zhuǎn)換成成像裝置的對應(yīng)腕形件和成像模塊的運(yùn)動。

控制單元802也能夠控制照明單元810的光輸出。照明單元810可以通過一個(gè)或更多個(gè)光纖，如圖6A中的成像裝置112a的光纖710和/或光纖711和圖6B中的成像裝置112d中的光纖726和成像裝置112c中的光纖728提供光，以便給手術(shù)區(qū)域照明。

圖像處理系統(tǒng)800可以包括多個(gè)內(nèi)窺鏡處理器808，每個(gè)內(nèi)窺鏡處理器808經(jīng)配置執(zhí)行圖像捕獲、圖像處理和/或圖像顯示功能用于對應(yīng)的成像模塊，如成像模塊714、715、720或722。內(nèi)窺鏡處理器808可以位于視覺手推車140處，例如作為中央電子數(shù)據(jù)處理單元142的一部分。內(nèi)窺鏡處理器808也可以位于遠(yuǎn)程操作組件100和/或外科醫(yī)生控制臺120。內(nèi)窺鏡處理器808可以聯(lián)接到保持?jǐn)?shù)據(jù)和編程的存儲器(易失性存儲器、非易失性存儲器或兩者的組合)。

由內(nèi)窺鏡處理器808處理的圖像可以輸出到圖4A中所示的顯示器816上。在一些實(shí)施例中，顯示器816可以包括圖像顯示器202a、圖像顯示器202b和/或如圖2C中所示的眼球跟蹤系統(tǒng)200的凝視點(diǎn)顯示器207。在一些實(shí)施例中，顯示器816是安裝在圖1D中所示的視覺手推車140上的觸屏監(jiān)視器146。在一些實(shí)施例中，顯示器816能夠示出在外科醫(yī)生控制臺120處重疊例如顯示在顯示器202a和202b上的主要圖像的次要或修改圖像。在一些實(shí)施例中，顯示器816能夠示出以重疊的或非重疊的方式并置顯示的多個(gè)圖像(例如，主要圖像和修改圖像)。

成像模塊，例如成像模塊714、715、720或722可以包括能夠捕獲手術(shù)區(qū)域的立體圖像的立體攝像機(jī)。手術(shù)區(qū)域的立體圖像可以由諸如光纖710、711、726或728的光纖輸送至內(nèi)窺鏡處理器808。內(nèi)窺鏡處理器808能夠數(shù)字化由成像模塊捕獲的立體圖像，并提供立體圖像到顯示器816上。顯示器816上顯示的立體圖像能夠由外科醫(yī)生通過(圖2C中所示的)眼球跟蹤系統(tǒng)200感知作為3D立體圖像。外科醫(yī)生的指令可以使用由眼球跟蹤器204a、204b捕獲的外科醫(yī)生的眼球凝視數(shù)據(jù)識別和啟動。眼球凝視處理器206能夠處理這些指令并將它們通信到控制單元802。眼球跟蹤器204a、204b和眼球凝視處理器206可以能夠捕獲并產(chǎn)生外科醫(yī)生的3D眼球凝視的圖像，如相對于圖2A-2C在上面詳細(xì)地討論。

相對于圖6A，在一些實(shí)施例中，當(dāng)成像裝置112a用在遠(yuǎn)程操作醫(yī)療系統(tǒng)10中時(shí)，兩個(gè)成像模塊714、715可以共享相同的器械接口150d。如上所述，在一些實(shí)施例中，成像模塊714用于捕獲手術(shù)區(qū)域的主要圖像，并且成像模塊715用于基于外科醫(yī)生的指令捕獲次要(例如，修改的)圖像。當(dāng)成像模塊714捕獲手術(shù)部位的主要圖像時(shí)，眼球凝視處理器206可以解釋并發(fā)送外科醫(yī)生的指令至控制單元802，以指示成像模塊715來捕獲并顯示與外科醫(yī)生的眼球凝視點(diǎn)對應(yīng)的術(shù)野中的區(qū)域的調(diào)整圖像(例如，通過非限制性示例的方式，放大圖像、銳化圖像、彩色圖像、脫色圖像)。指令可以由控制單元802和修改器計(jì)算單元804的一個(gè)或更多個(gè)處理器處理。

在一些實(shí)施例中，所得的命令信號發(fā)送至內(nèi)窺鏡處理器808，以數(shù)字地影響(例如，數(shù)字地放大或以其他方式修改)由成像模塊714、715接收的圖像。在一些實(shí)施例中，所得的命令信號發(fā)送至內(nèi)窺鏡處理器408，以改變成像模塊715的成像模式(例如，通過非限制性示例的方式，以改變成像的波長范圍、光學(xué)放大率或視場的寬度)。在一些實(shí)施例中，所得到的命令信號可以經(jīng)由電纜、桿或光纖711發(fā)送，以控制成像模塊715的運(yùn)動，并且成像模塊715可以基于外科醫(yī)生的指令移動或調(diào)整。例如，當(dāng)外科醫(yī)生期望觀看由他的或她的凝視點(diǎn)識別的區(qū)域的放大圖像時(shí)，成像模塊715可以沿軸152d的縱向軸線LA移位，以獲取“縮小”或放大圖像。在一些實(shí)施例中，成像模塊715可以經(jīng)控制捕獲并顯示手術(shù)區(qū)域的主要圖像，并且成像模塊714可以基于外科醫(yī)生的指令捕獲并顯示次要圖像。次要圖像可以包括主要圖像的視覺調(diào)整部分。

在一些實(shí)施例中，如圖6B中所示，成像裝置112b和成像裝置112c可以用在遠(yuǎn)程操作醫(yī)療系統(tǒng)10中。如圖6B中所示，成像裝置112b包括器械接口150d，并且成像裝置112c包括器械接口150f。在一些實(shí)施例中，可以有一個(gè)以上的控制單元802，其中每個(gè)控制單元402聯(lián)接到器械接口150d和150f之一。在替代性的實(shí)施例中，可以有一個(gè)控制單元802，該控制單元802聯(lián)接到器械接口150d、150f兩者并且能夠發(fā)送獨(dú)立指令至器械接口150d、150f。例如，在一些實(shí)施例中，成像裝置112b可以用于基于由器械接口150d接收的指令捕獲手術(shù)區(qū)域的主要圖像，并且成像裝置112c可以用于基于由器械接口150f接收的指令捕獲次要的或修改的圖像。

在一個(gè)實(shí)施例中，當(dāng)成像模塊620捕獲手術(shù)部位的主要圖像時(shí)，眼球凝視處理器206可以解釋并發(fā)送外科醫(yī)生的指令至控制單元802，以指示成像模塊722捕獲并顯示與外科醫(yī)生的眼球凝視點(diǎn)對應(yīng)的術(shù)野中的區(qū)域的調(diào)整圖像(例如，通過非限制性示例的方式，放大圖像、銳化圖像、彩色圖像、脫色圖像)。指令可以由控制單元802和修改器計(jì)算單元804的一個(gè)或更多個(gè)處理器處理。

在一些實(shí)施例中，所得的命令信號發(fā)送至內(nèi)窺鏡處理器808，以數(shù)字地影響(例如，數(shù)字地放大或以其他方式修改)由成像模塊720、722接收的圖像。在一些實(shí)施例中，所得的命令信號發(fā)送至內(nèi)窺鏡708，以改變成像模塊722的成像模式(例如，通過非限制性示例的方式，以改變所成像的波長范圍、光學(xué)放大率或視場的寬度)。在一些實(shí)施例中，所得的命令信號可以經(jīng)由電纜、桿或光纖728發(fā)送，以控制成像模塊722的運(yùn)動，并且成像模塊722可以基于外科醫(yī)生的而指令移動或調(diào)整。例如，當(dāng)外科醫(yī)生期望觀看由他的或她的凝視點(diǎn)識別的區(qū)域的放大圖像時(shí)，成像模塊722可以沿軸152f的縱向軸線移位，以獲取“縮小”或放大圖像。在替代性的實(shí)施例中，成像模塊722可以經(jīng)控制捕獲并顯示手術(shù)區(qū)域的主要圖像，并且成像模塊720可以基于外科醫(yī)生的指令捕獲并顯示次要圖像。

圖7B是根據(jù)本公開的一個(gè)實(shí)施例示出用于控制遠(yuǎn)程操作醫(yī)療系統(tǒng)10的(一個(gè)或更多個(gè))成像裝置以施加各種成像修改的方法850的流程圖。在過程852處，第一成像模塊捕獲手術(shù)區(qū)域的第一圖像或主要圖像。第一成像模塊可以是經(jīng)配置捕獲手術(shù)區(qū)域的立體圖像的立體攝像機(jī)。其中第一成像模塊聚焦的術(shù)野內(nèi)的位置可以由除使用者以外的人，例如接近患者的手術(shù)室中的工作人員調(diào)整。另外地或替代性地，第一成像模塊可以由外科醫(yī)生在外科醫(yī)生控制臺120(如圖1C中所示)或遠(yuǎn)程操作醫(yī)療系統(tǒng)10的其他組件處致動和控制。在一些實(shí)施例中，如關(guān)于圖2A-2C在上面描述，第一成像模塊能夠由外科醫(yī)生的凝視點(diǎn)控制。特別地，外科醫(yī)生的凝視點(diǎn)能夠由圖2C中所示的眼球跟蹤系統(tǒng)200跟蹤和解釋，以影響第一成像模塊。在一些實(shí)施例中，第一圖像是零或低放大率的手術(shù)區(qū)域(如患者的腹部)的概觀圖像。在一些實(shí)施例中，第一圖像包括零或低放大率的手術(shù)區(qū)域(例如，其中外科醫(yī)生正在工作的手術(shù)區(qū)域)的主要圖像。

在方法850的過程854處，第一圖像由聯(lián)接到第一成像模塊的圖7A中所示的內(nèi)窺鏡處理器808處理用于顯示。內(nèi)窺鏡處理器808接收表示第一圖像的數(shù)據(jù)并數(shù)字化諸如第一圖像的位置、邊界和/或放大率等圖像數(shù)據(jù)的各種特征。數(shù)字化的信息可以保存在聯(lián)接到內(nèi)窺鏡處理器808的一個(gè)或更多個(gè)存儲器中。內(nèi)窺鏡處理器808處理第一圖像的成像信息并將第一圖像顯示在圖7A中所示的顯示器816上。當(dāng)?shù)谝怀上衲K是立體攝像機(jī)時(shí)，第一圖像是立體圖像。立體圖像能夠顯示在外科醫(yī)生控制臺120的左眼圖像顯示器202a和右眼圖像顯示器202b上。然后，手術(shù)區(qū)域的3D主要圖像能夠由外科醫(yī)生觀看。

在過程856處，眼球跟蹤系統(tǒng)200相對于第一圖像的顯示跟蹤外科醫(yī)生的眼球凝視點(diǎn)。例如，當(dāng)?shù)谝粓D像顯示在左眼圖像顯示器202a、右眼圖像顯示器202b上時(shí)，圖2C的眼球跟蹤系統(tǒng)可以相對于第一圖像確定外科醫(yī)生的眼球凝視。眼球凝視處理器206可以數(shù)字化眼球凝視信息，以提供例如外科醫(yī)生的凝視點(diǎn)的3D位置。數(shù)字化的信息可以保存在聯(lián)接到眼球凝視處理器206的一個(gè)或更多個(gè)存儲器208(圖2C中所示的)中。隨著外科醫(yī)生通過外科醫(yī)生的眼球凝視發(fā)送指令，眼球凝視處理器206能夠提供數(shù)字化的信息至控制單元210。關(guān)于用于由眼球凝視跟蹤進(jìn)行的遠(yuǎn)程操作醫(yī)療系統(tǒng)的控制的裝置、系統(tǒng)和方法的附加細(xì)節(jié)可以例如在2014年3月19日提交的題為“集成眼球凝視跟蹤用于立體觀看器的醫(yī)療裝置、系統(tǒng)和方法(MEDICAL DEVICES，SYSTEMS，AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER)”的美國臨時(shí)申請No.61/955334中發(fā)現(xiàn)，該美國臨時(shí)申請全部并入本文。

在過程858處，遠(yuǎn)程操作醫(yī)療系統(tǒng)10從外科醫(yī)生接收指令，以提供各種圖像修改。在一些實(shí)施例中，來自于外科醫(yī)生的指令包括提供外科醫(yī)生的凝視區(qū)域的放大圖像。在一些實(shí)施例中，來自于外科醫(yī)生的指令也包括在第一圖像上重疊第二修改圖像。來自于外科醫(yī)生的指令也可以包括在任何合適的成像模式中顯示第二圖像。

在過程860處，遠(yuǎn)程操作醫(yī)療系統(tǒng)10基于在過程858處接收的指令和在過程856處跟蹤的外科醫(yī)生的凝視點(diǎn)捕獲第二圖像。在一些實(shí)施例中，第二圖像可以由第二成像模塊使用指令和由控制單元210接收的凝視點(diǎn)信息捕獲。在一些實(shí)施例中，第二成像模塊的位置和取向能夠由圖7A中所示的圖像處理系統(tǒng)800相應(yīng)地調(diào)整，以捕獲第二圖像。在其他實(shí)施例中，所期望的第二圖像通過數(shù)字處理獲得，而無第二成像模塊的光學(xué)操縱。在一些實(shí)施例中，光學(xué)操縱和數(shù)字操縱兩者用于實(shí)現(xiàn)所期望的第二圖像。

在過程862處，第二圖像顯示在圖7A中所示的顯示器816上。例如，第二圖像能夠是外科醫(yī)生的凝視點(diǎn)的放大圖像，或如由外科醫(yī)生請求的在不同成像模式中顯示的圖像。

圖8A、圖9和圖10A是示出呈現(xiàn)能夠使用遠(yuǎn)程操作醫(yī)療系統(tǒng)10實(shí)現(xiàn)的不同圖像修改的各種方法900、1000和1100的流程圖。應(yīng)當(dāng)理解的是，這些方法在本質(zhì)上僅是示例性的并且不意在限制。設(shè)想了其他圖像修改。

圖8A是示出用于使用本公開的遠(yuǎn)程操作醫(yī)療系統(tǒng)10顯示重疊主要圖像的放大圖像的方法900的流程圖。特別地，方法900涉及使用主要成像模塊的主要圖像的捕獲和顯示，并涉及使用輔助成像模塊的與外科醫(yī)生的凝視點(diǎn)對應(yīng)的區(qū)域的放大圖像的捕獲和顯示。圖8B根據(jù)本公開的一些實(shí)施例示出顯示在放大區(qū)域930內(nèi)的預(yù)定眼球跟蹤閾值區(qū)域935。圖8C示出將放大圖像960顯示在主要圖像950的頂部上的示例。圖8D是示出使用圖6A的成像裝置112a來捕獲并產(chǎn)生圖8C中所示的主要圖像950和放大圖像960的示意圖。圖8E是示出使用圖6B的成像裝置112b和112c來捕獲并產(chǎn)生圖8C中所示的主要圖像950和放大圖像960的示意圖。圖8A-8E為了簡單起見描述輔助或次要圖像作為放大圖像，并且應(yīng)當(dāng)理解的是設(shè)想了其他成像效果(例如，通過非限制性示例的方式，顏色/灰度級成像、銳化/模糊成像和發(fā)亮/陰暗成像)。

方法900參照圖8A和圖8C-8E在下面描述。在過程902處，手術(shù)區(qū)域的主要圖像950由圖8D的主要成像模塊714或圖8E的主要成像模塊720捕獲。在一些實(shí)施例中，主要成像模塊可以是在圖8B中所示的方法950的過程952中討論的第一成像模塊。

在方法900的過程904處，所捕獲的主要圖像950由聯(lián)接到主要成像模塊714或主要成像模塊720的內(nèi)窺鏡處理器908處理，并且主要圖像顯示在顯示器816上。

在過程906處，圖2C的眼球跟蹤系統(tǒng)200跟蹤并解釋外科醫(yī)生的眼球凝視點(diǎn)。眼球凝視信息可以包括外科醫(yī)生的凝視點(diǎn)的3D位置。如參照圖8B中的過程956討論，眼球凝視信息能夠提供給控制單元210。

在一些實(shí)施例中，外科醫(yī)生可能想要更詳細(xì)地調(diào)查手術(shù)區(qū)域內(nèi)的感興趣區(qū)域。例如，外科醫(yī)生可能希望檢查諸如神經(jīng)、血管和損傷的手術(shù)區(qū)域的精細(xì)結(jié)構(gòu)的放大視圖。在一些情況下，外科醫(yī)生也可能想要啟動在主要圖像950的頂部上或重疊主要圖像950的微型手術(shù)施加。在方法900的過程908處，遠(yuǎn)程操作醫(yī)療系統(tǒng)10從外科醫(yī)生接收指令，以觀看感興趣的區(qū)域的虛擬放大圖像。在一些實(shí)施例中，外科醫(yī)生可以使用他的或她的眼球凝視點(diǎn)定位感興趣的區(qū)域，并使用各種其他輸入方法中的任何方法輸入確認(rèn)指令。例如，外科醫(yī)生可以按下在外科醫(yī)生控制臺處的按鈕，輕踏足踏板，發(fā)送音頻消息，或眨眼。確認(rèn)指令可以發(fā)送至輔助成像模塊如圖8D的成像模塊715或圖8E的成像模塊722的控制單元210。在一些實(shí)施例中，確認(rèn)指令也包括關(guān)于所選擇的圖像修改的特點(diǎn)或程度的更詳細(xì)信息。例如，在一些實(shí)施例中，確認(rèn)指令包括關(guān)于外科醫(yī)生的優(yōu)選放大水平的信息。另外，由眼球凝視處理器206提供的關(guān)于外科醫(yī)生的凝視點(diǎn)的位置信息也可以發(fā)送至聯(lián)接到對應(yīng)輔助成像模塊的控制單元210。

如上提及，圖8B示出顯示在虛擬放大區(qū)域930內(nèi)的預(yù)定眼球跟蹤閾值區(qū)域935。虛擬放大區(qū)域930可以使用(例如，由眼球凝視處理器206提供的)關(guān)于外科醫(yī)生的眼球凝視的數(shù)字化位置信息和包括在(例如，在過程908處獲取的)外科醫(yī)生的指令中的優(yōu)選放大水平產(chǎn)生。預(yù)定眼球跟蹤閾值區(qū)域反映遠(yuǎn)程操作醫(yī)療系統(tǒng)10的當(dāng)前使用者的特征化眼球運(yùn)動。通常，人眼球運(yùn)動可以包括頻繁掃視，并且眼球運(yùn)動行為因人變化。因此，眼球跟蹤閾值區(qū)域935包括其中外科醫(yī)生的眼球凝視頻繁地掃視并可以對應(yīng)于外科醫(yī)生的觀察眼球運(yùn)動行為的區(qū)域。因?yàn)椴煌耐饪漆t(yī)生可以具有不同的掃視頻率、速率和振幅，所以眼球跟蹤閾值區(qū)域935的形狀和大小能夠從一個(gè)外科醫(yī)生至另一個(gè)外科醫(yī)生變化。特定的外科醫(yī)生的眼球跟蹤閾值區(qū)域935可以在眼球跟蹤校準(zhǔn)過程期間決定。

外科醫(yī)生的預(yù)定眼球跟蹤閾值區(qū)域935可以反映此外科醫(yī)生的眼球凝視測量的精確性和準(zhǔn)確性范圍。在一些實(shí)施例中，眼球跟蹤閾值區(qū)域935可以用于判定所測量的外科醫(yī)生的眼球凝視點(diǎn)的中心位置以及在該點(diǎn)處的重復(fù)測量的一致性。預(yù)定眼球跟蹤閾值區(qū)域935可以經(jīng)布置與放大區(qū)域930共同定中心(co-center)，以促進(jìn)在眼球跟蹤閾值區(qū)域935和放大區(qū)域930之間的比較。

應(yīng)當(dāng)理解的是，放大區(qū)域930和眼球跟蹤閾值區(qū)域935的圓形形狀僅是示例性的用于在本公開中說明，并且區(qū)域930、935的形狀可以成形在各種合適形狀中的任何形狀中，通過非限制性示例的方式包括長方形、橢圓形或正方形。在一些實(shí)施例中，因?yàn)橥饪漆t(yī)生的眼球跟蹤閾值區(qū)域935可以由于積累的壓力或疲勞變化，所以外科醫(yī)生可以經(jīng)受另一校準(zhǔn)部分來更新眼球跟蹤閾值區(qū)域935。在一些實(shí)施例中，外科醫(yī)生的眼球運(yùn)動行為可以由眼球跟蹤系統(tǒng)200實(shí)時(shí)地監(jiān)視，以當(dāng)檢測到外科醫(yī)生的任何不正常眼球運(yùn)動行為時(shí)警告外科醫(yī)生和/或其他醫(yī)療工作人員。例如，如果眼球跟蹤系統(tǒng)200檢測到外科醫(yī)生的不正常和/或無特征的眼球運(yùn)動行為，則系統(tǒng)200可以(例如，經(jīng)由顯示器816)向外科醫(yī)生發(fā)送要求重新校準(zhǔn)過程的警告，或者可以建議外科醫(yī)生停止當(dāng)前工作部分。

在方法900的過程910處，外科醫(yī)生(例如，當(dāng)前使用者)的預(yù)定眼球跟蹤閾值區(qū)域935的大小(例如，由圖7A中所示的圖像處理系統(tǒng)800)與虛擬放大區(qū)域930的大小比較，以便避免在放大視圖中發(fā)生的不經(jīng)意抖動。此比較能夠由眼球凝視處理器206和/或控制單元210的處理器執(zhí)行。如果放大區(qū)域930比預(yù)定眼球跟蹤閾值區(qū)域935更小，外科醫(yī)生的當(dāng)前凝視點(diǎn)可能不在所期望的精確性和準(zhǔn)確性范圍內(nèi)，并且外科醫(yī)生的當(dāng)前凝視點(diǎn)的放大圖像930可以用不經(jīng)意的抖動或掃視顯示。換句話說，如果外科醫(yī)生的眼球凝視點(diǎn)位于預(yù)定眼球跟蹤閾值935外部，由放大圖像930表示的手術(shù)區(qū)域隨著外科醫(yī)生的眼球凝視相對于圖7A中所示的圖像顯示器816(例如，圖2C中所示的圖像顯示器202a、202b)移位而變化。在一些實(shí)施例中，平均凝視點(diǎn)(例如，在特定時(shí)間段內(nèi)或特定數(shù)量N的圖像框架上的凝視點(diǎn)的時(shí)間平均權(quán)重)能夠由凝視處理器206和/或控制單元210的處理器計(jì)算，并且平均凝視點(diǎn)可以與預(yù)定眼球跟蹤閾值區(qū)域935比較。例如，如果平均凝視點(diǎn)(例如，最后N個(gè)圖像框架上)在預(yù)定眼球跟蹤閾值區(qū)域935外部移動，則放大區(qū)域930的位置相對于圖7A中所示的圖像顯示器816(例如，圖2C中所示的圖像顯示器202a、202b)移位。因此，預(yù)定眼球跟蹤閾值區(qū)域935允許自然掃視或使用者眼球凝視的移位，而不引起放大視圖的位置的不經(jīng)意抖動(例如，而不改變放大圖像930來跟蹤或反映外科醫(yī)生的眼球凝視的自然掃視)。

在一些實(shí)施例中，如果外科醫(yī)生的眼球凝視點(diǎn)位于預(yù)定眼球跟蹤閾值區(qū)域935外部，外科醫(yī)生的當(dāng)前凝視點(diǎn)不可以放大，并且方法900返回到過程906，以繼續(xù)跟蹤外科醫(yī)生的眼球凝視。在一些實(shí)施例中，如果外科醫(yī)生想要通過改變主要成像模塊的聚焦位置來改變主要圖像，則方法900返回到過程902，以捕獲不同的主要圖像。

然而，如果反映外科醫(yī)生的眼球凝視的放大區(qū)域930(例如，由圖7A中所示的圖像處理系統(tǒng)800)經(jīng)確定大于預(yù)定眼球跟蹤閾值區(qū)域935，(例如，由眼球跟蹤系統(tǒng)200測量的)外科醫(yī)生的當(dāng)前凝視點(diǎn)可以被視為在當(dāng)前外科醫(yī)生的眼球凝視測量的期望的精確性和準(zhǔn)確性范圍內(nèi)。換句話說，如果外科醫(yī)生的凝視點(diǎn)經(jīng)確定位于預(yù)定眼球跟蹤閾值區(qū)域935內(nèi)，則放大圖像530保持靜止。可以顯示外科醫(yī)生的當(dāng)前凝視點(diǎn)的放大圖像930(例如，作為放大區(qū)域930)，而不反映眼球的不經(jīng)意抖動或掃視。

在過程911處，眼球凝視處理器206和/或控制單元210的處理器詢問放大區(qū)域930是否在主要圖像內(nèi)。在一些示例中，外科醫(yī)生的眼球凝視可以有意地或不經(jīng)意地移位至在由主要成像模塊714或主要成像模塊720捕獲的主要圖像的邊緣外部或邊緣處的區(qū)域。通常，可以更容易且更精確定位并控制在主要圖像的中間區(qū)域附近而不是在主要圖像的邊緣外部或邊緣處的使用者放大視覺(例如，感興趣的區(qū)域的放大區(qū)域930)。因此，在過程911處，外科醫(yī)生的眼球凝視的虛擬放大區(qū)域930還可以與由主要成像模塊捕獲的主要圖像950比較，以確認(rèn)外科醫(yī)生的眼球凝視點(diǎn)位于主要圖像內(nèi)。

如果放大區(qū)域930位于主要圖像950的邊緣外部或邊緣處，通過調(diào)整主要成像模塊和/或輔助成像模塊的位置和取向來獲取新的主要圖像和放大圖像，方法900可以前進(jìn)回到過程902。在一些情況下，主要成像模塊可以“遵循”輔助成像模塊在術(shù)野內(nèi)的運(yùn)動或方向。例如，圖7A中所示的圖像處理系統(tǒng)800可以與外科醫(yī)生的眼球凝視點(diǎn)的移位配合來移位輔助成像模塊715或722(分別在圖8D和圖8E中示出)，并且可以移位主要成像模塊714或720(分別在圖8D和圖8E中示出)以“遵循”放大區(qū)域930，從而維持放大區(qū)域在主要圖像的中間部分內(nèi)。在一些實(shí)施例中，數(shù)字化的外科醫(yī)生的眼球凝視信息可以由對應(yīng)主要成像模塊的控制單元210使用，以適當(dāng)?shù)卣{(diào)整其位置。

當(dāng)遠(yuǎn)程操作醫(yī)療系統(tǒng)10(例如，圖7A中所示的圖像處理系統(tǒng)800)確定外科醫(yī)生的放大眼球凝視的虛擬放大區(qū)域930位于主要圖像950內(nèi)時(shí)，方法900前進(jìn)到過程912。在過程912處，控制單元210經(jīng)由外科醫(yī)生的眼球凝視和/或其他輸入接收并處理外科醫(yī)生的指令。例如，控制單元210從眼球凝視處理器206接收外科醫(yī)生的凝視點(diǎn)的數(shù)字化位置信息。控制單元210也可以接收由外科醫(yī)生輸入的優(yōu)選放大率。控制單元210可以發(fā)送位置和放大數(shù)據(jù)至器械接口150(例如，分別連接到輔助成像模塊715或輔助成像模塊722的器械接口150d或器械接口150f)。如上所述，在一些實(shí)施例中，器械接口150d或器械接口150f可以發(fā)送位置和放大信息至聯(lián)接到輔助成像模塊715或輔助成像模塊722的致動器806，并且致動器806能夠驅(qū)動輔助成像模塊，以移動對應(yīng)成像模塊至外科醫(yī)生的凝視點(diǎn)的位置，如圖8D-8E中所示。軸152d/腕形件713或軸152f/腕形件727和對應(yīng)的輔助成像模塊715或成像模塊722分別可以沿軸的縱向軸線朝向外科醫(yī)生的凝視點(diǎn)延伸與所期望的放大水平對應(yīng)的某一距離，并且放大圖像960(如圖8D和圖8E中所示)可以由對應(yīng)的輔助成像模塊715或722捕獲。

在過程914處，在致動器806已經(jīng)響應(yīng)于外科醫(yī)生的指令調(diào)整輔助成像模塊之后，輔助成像模塊(例如，715或722)捕獲由外科醫(yī)生的凝視點(diǎn)指示的感興趣的區(qū)域的次要或修改圖像。輔助成像模塊捕獲由外科醫(yī)生的凝視點(diǎn)指示的感興趣的區(qū)域的放大圖像960。在一些實(shí)施例中，輔助成像模塊包括能夠捕獲立體圖像的圖6C中所示的立體攝像機(jī)730。

在過程916處，(圖7A中所示的)圖像處理系統(tǒng)800處理并顯示外科醫(yī)生的凝視點(diǎn)的放大圖像960作為在主要圖像950上重疊的圖像。在一些實(shí)施例中，放大圖像960可以經(jīng)由光學(xué)放大方法(例如，相對于由外科醫(yī)生的眼球凝視點(diǎn)表示的感興趣的區(qū)域的輔助成像模塊的實(shí)際調(diào)整)捕獲。另外地或替代性地，放大圖像960可以由內(nèi)窺鏡處理器808(例如，經(jīng)由數(shù)字化操縱)產(chǎn)生。內(nèi)窺鏡處理器808能夠數(shù)字化由輔助成像模塊捕獲的放大圖像960，并且然后配準(zhǔn)放大圖像960，以將其重疊在顯示器816上的主要圖像950頂部。

在一些實(shí)施例中，共同的基于特征部的方法(例如，共同的界標(biāo)方法)可以用于配準(zhǔn)放大圖像960，以將其重疊在主要圖像950頂部。例如，在一些實(shí)施例中，內(nèi)窺鏡處理器808能夠識別共同特征部，如圖8C的特征955，其出現(xiàn)于主要圖像950和放大圖像960二者中。然后內(nèi)窺鏡處理器808可以在空間上將放大圖像960的共同特征部955與主要圖像950中的共同特征部955對準(zhǔn)。雖然共同的基于特征部的方法在本文描述作為將放大圖像960與主要圖像950圖像融合的方法，但是應(yīng)該理解的是通過非限制性示例的方式，諸如基于強(qiáng)度的方法或基于特征部的方法等任何合適方法可以用于配準(zhǔn)放大圖像960，以將其重疊在主要圖像950上。

在一些實(shí)施例中，顯示器816可以與圖像顯示器202a和202b相同。當(dāng)輔助成像模塊包括如圖6C中所示的立體攝像機(jī)時(shí)，立體攝像機(jī)可以以要求的放大率捕獲立體圖像，并且內(nèi)窺鏡處理器808可以產(chǎn)生要顯示的左右立體圖像并將主要圖像950的立體圖像分別重疊在圖像顯示器202a和202b上。外科醫(yī)生可以感知立體圖像為放大眼球凝視點(diǎn)的3D圖像。另外地或替代性地，顯示器816可以包括外部顯示器，如圖1D中所示的觸摸屏146。

在過程918處，遠(yuǎn)程操作醫(yī)療系統(tǒng)10詢問外科醫(yī)生是否期望放大圖像。在手術(shù)期間，外科醫(yī)生可以將放大圖像打開和關(guān)閉，或者“切換”放大圖像打開和關(guān)閉。在外科醫(yī)生觀看放大圖像960之后，外科醫(yī)生可以發(fā)送結(jié)束指令，以關(guān)閉、隱藏或關(guān)斷放大圖像960。外科醫(yī)生可以使用任何方法發(fā)送結(jié)束指令，例如，外科醫(yī)生可以按下在外科醫(yī)生控制臺處的按鈕，輕踏足踏板，或發(fā)送音頻消息，或甚至眨眼。

在從外科醫(yī)生接收指令以關(guān)閉、隱藏或關(guān)斷放大圖像960后，方法900前進(jìn)到過程920。在過程920處，圖像處理系統(tǒng)800從顯示器816關(guān)閉、隱藏或關(guān)斷放大圖像960。當(dāng)放大圖像960被從視圖關(guān)閉或隱藏時(shí)，顯示器816僅顯示主要圖像950。結(jié)束指令可以發(fā)送至聯(lián)接到對應(yīng)輔助成像模塊的控制單元210，以注銷圖像顯示器816上的放大圖像960，使得放大圖像960在主要圖像950上的重疊外形消失。在一些實(shí)施例中，輔助成像模塊繼續(xù)獲得放大圖像960，即使放大圖像960未顯示在顯示器816上。在其他實(shí)施例中，停用輔助成像模塊?？刂茊卧?10可以關(guān)閉輔助成像模塊，并通過控制致動器806將輔助成像模塊移出外科醫(yī)生的凝視點(diǎn)的位置。在一些實(shí)施例中，在外科醫(yī)生不發(fā)送指令來打開放大圖像816或者以其他方式示出顯示器816上的放大圖像960(例如，經(jīng)由重新開始指令)這一情況下，僅在預(yù)定的時(shí)間量已經(jīng)通過之后，可以停用輔助成像模塊。

在一些情況下，外科醫(yī)生可能想要觀看術(shù)野內(nèi)的另一感興趣的區(qū)域的放大圖像。如果圖像處理系統(tǒng)900不接收指令來結(jié)束放大，或者如果系統(tǒng)900從外科醫(yī)生接收指令來重新開始放大的指令，則方法900可以返回到過程908。在一些實(shí)施例中，外科醫(yī)生可以改變他的或她的眼球凝視點(diǎn)，并且新的指令可以包括捕獲并顯示外科醫(yī)生的新的眼球凝視點(diǎn)的放大圖像(例如，如由過程910-918概述)。在一些實(shí)施例中，當(dāng)當(dāng)前放大不足以充分地檢查精細(xì)結(jié)構(gòu)時(shí)，新的指令可以使用過程910-918指示在外科醫(yī)生的凝視點(diǎn)的當(dāng)前放大圖像上的進(jìn)一步放大或“進(jìn)行放大”。

圖9是根據(jù)本公開的一個(gè)實(shí)施例示出用于使用圖像處理系統(tǒng)800控制成像裝置112a、112b和/或112c以使用不同成像模式捕獲并顯示主要圖像和次要圖像的方法1000的流程圖。當(dāng)使用圖6A的成像裝置112a時(shí)，在第一成像模式中的主要圖像可以使用主要成像模塊714捕獲和顯示，并且輔助或次要圖像可以使用諸如熒光透視法或超聲波檢查法等不同成像模式，使用輔助成像模塊715捕獲。輔助圖像可以協(xié)助外科醫(yī)生特征化和/或識別與外科醫(yī)生的凝視點(diǎn)對應(yīng)的感興趣的區(qū)域內(nèi)的結(jié)構(gòu)。在一些實(shí)施例中，輔助成像模塊715可以經(jīng)配置或調(diào)整用不同成像模式提供外科醫(yī)生的凝視點(diǎn)的放大圖像。

在一些實(shí)施例中，當(dāng)使用圖6B的成像裝置112b時(shí)，主要圖像可以使用主要成像裝置112b與主要成像模塊720捕獲和顯示，并且次要或輔助圖像可以使用輔助成像裝置112c的輔助成像模塊722用諸如熒光透視法或超聲檢查法等不同成像模式捕獲，以特征化和/或識別在外科醫(yī)生的凝視點(diǎn)處的結(jié)構(gòu)。在一些實(shí)施例中，輔助成像模塊722可以經(jīng)調(diào)整用不同成像模式提供外科醫(yī)生的凝視點(diǎn)的放大圖。

在外科手術(shù)的開始之前，經(jīng)配置提供輔助圖像的圖像處理系統(tǒng)800可以基于外科醫(yī)生的請求修改。在一些實(shí)施例中，例如，如果外科醫(yī)生想要以熒光透視法具有輔助圖像，照明單元810可以采用X射線源，并且顯示器816可以是熒光屏幕。在一些實(shí)施例中，圖像處理系統(tǒng)800可以包括任何已知技術(shù)，以將X射線轉(zhuǎn)換成可見光輸出，并且可以用CCD視頻攝像機(jī)將顯示器816聯(lián)接到輔助成像模塊。用于熒光透視法的圖像處理系統(tǒng)800可以允許圖像在顯示器816上記錄并示出。

在一些實(shí)施例中，如果外科醫(yī)生想要以超聲檢查法具有輔助圖像，照明單元810可以采用經(jīng)配置產(chǎn)生超聲波的壓電式換能器，輔助成像模塊可以是在適當(dāng)?shù)念l率范圍中操作的超聲掃描器，并且內(nèi)窺鏡處理器808可以能夠處理所接收的聲波并將所接收的聲波轉(zhuǎn)換為要顯示在顯示器816上的數(shù)字圖像。因此，圖像處理系統(tǒng)800可以經(jīng)修改和配置采用具有所要求的組件的任何合適布置的任何合適的技術(shù)，以能夠基于外科醫(yī)生的請求捕獲并顯示期望的成像模式。

在方法1000的過程1002處，主要成像模塊用于捕獲手術(shù)區(qū)域的主要圖像。在過程1004處，圖像處理系統(tǒng)800在顯示器816上處理并顯示主要圖像。在過程1006處，(圖2C中所示的)眼球跟蹤系統(tǒng)200跟蹤外科醫(yī)生的眼球凝視點(diǎn)。在一些實(shí)施例中，主要圖像可以包括立體圖像，并跟蹤外科醫(yī)生的凝視點(diǎn)的3D位置。方法1000的過程1002、1004和1006可以基本上類似于圖8A中所示的方法850的過程902、904和906。

在方法1000的過程1008處，外科醫(yī)生可以指示在感興趣的區(qū)域處他的或她的凝視點(diǎn)，并使用任何合適的方法輸入指令(例如，用于觀看次要圖像)。例如，外科醫(yī)生可以通過按下在外科醫(yī)生的控制臺處的按鈕，輕踏足踏板，發(fā)送音頻消息，或通過眨眼發(fā)送指令。指令可以發(fā)送至聯(lián)接到輔助成像模塊的(圖6A中所示的)控制單元802。在一些實(shí)施例中，指令也可以包括諸如優(yōu)選類型的成像模式和/或優(yōu)選放大等信息。另外，由(圖2C中所示的)眼球凝視處理器206提供的外科醫(yī)生的凝視點(diǎn)的位置信息也可以發(fā)送至輔助成像模塊的控制單元802。

在過程1010處，類似于圖8A中的過程911，圖像處理系統(tǒng)400確定外科醫(yī)生的眼球凝視是否指示在由主要成像模塊捕獲的主要圖像表示的區(qū)域外部的區(qū)域處。如果外科醫(yī)生的眼球凝視點(diǎn)經(jīng)確定在由主要圖像表示的區(qū)域外部，則通過調(diào)整主要成像模塊的位置和取向以形成包括與外科醫(yī)生的眼球凝視點(diǎn)對應(yīng)的區(qū)域的更新主要圖像，方法1000可以前進(jìn)回到過程1002。當(dāng)外科醫(yī)生的眼球凝視點(diǎn)是在主要圖像內(nèi)時(shí)，方法1000前進(jìn)到過程1012。

在過程1012處，控制單元802處理在過程1008處接收的外科醫(yī)生的指令，并準(zhǔn)備輔助成像模塊來捕獲所期望的次要圖像。在一些實(shí)施例中，控制單元802可以指示致動器806實(shí)際地定位或調(diào)整輔助成像模塊，以捕獲所要求的圖像。

在過程1014處，輔助成像模塊可以根據(jù)外科醫(yī)生的指令用請求的模式捕獲圖像。另外地或替代性地，控制單元802指示內(nèi)窺鏡處理器808用期望的模式數(shù)字地準(zhǔn)備次要圖像。

在過程1016處，內(nèi)窺鏡處理器808在顯示器816上處理并顯示所要求的次要圖像。在一些實(shí)施例中，如上所述，內(nèi)窺鏡處理器808處理并識別次要圖像和主要圖像之間的共同特征，使得次要圖像能夠?qū)?zhǔn)并顯示為在圖像顯示器816上的主要圖像頂部的重疊物。應(yīng)當(dāng)理解的是其他合適的方法可以用于配準(zhǔn)次要圖像并將其重疊在主要圖像上。在其他實(shí)施例中，次要圖像可以以重疊或非重疊的方式與主要圖像鄰近顯示。

在過程1018處，圖像處理系統(tǒng)800確定外科醫(yī)生是否期望繼續(xù)輔助成像過程和/或繼續(xù)觀看輔助圖像。如果外科醫(yī)生請求連續(xù)的輔助成像，無論用于在不同位置上的圖像或用于在不同模式中的圖像，則方法1000返回到過程1008，以從外科醫(yī)生獲得新的指令。如果圖像處理系統(tǒng)800確定外科醫(yī)生期望結(jié)束輔助成像和/或中斷觀看輔助圖像，則能夠在過程1020處結(jié)束輔助成像過程和/或能夠隱藏輔助圖像(例如，切換為關(guān)閉)。方法1000的過程1012-1020基本上類似于圖8A的方法900的過程912-920。

圖10A示出用于顯示隨著成像模塊遵循外科醫(yī)生的眼球凝視并穿過由圖像顯示器816上的主要圖像表示的區(qū)域掃描而捕獲的多個(gè)圖像(例如，圖10B中所示的圖像1150-1154、1160-1164和1170-1174)的方法1100。圖10B示出隨著成像模塊遵循由外科醫(yī)生的眼球凝視輸送的指令以穿過圖像顯示器816上的主要圖像掃描而捕獲并顯示的多個(gè)示例性圖像。

在過程1102處，圖像處理系統(tǒng)800使用主要成像模塊(例如，圖6A的主要成像模塊714或圖6B的主要成像模塊720)捕獲并顯示主要圖像。如上所示，主要成像模塊可以是經(jīng)配置捕獲手術(shù)區(qū)域的立體圖像的立體攝像機(jī)。主要成像模塊也可以由外科醫(yī)生在外科醫(yī)生控制臺120(如圖1C中所示)致動和控制。主要成像模塊也可以由手術(shù)室中的其他工作人員調(diào)整。在一些實(shí)施例中，主要圖像可以是諸如零或低放大率的患者腹腔等手術(shù)區(qū)域的概述圖像。所捕獲的主要圖像能夠由可以聯(lián)接到主要成像模塊的內(nèi)窺鏡處理器808處理。內(nèi)窺鏡處理器808可以接收主要圖像并數(shù)字化諸如主要圖像的位置、邊界和/或放大水平等各種類型的主要圖像數(shù)據(jù)。數(shù)字化信息可以保存在聯(lián)接到內(nèi)窺鏡處理器808的一個(gè)或更多個(gè)存儲器中。內(nèi)窺鏡處理器808也能夠處理主要圖像的成像信息，以將主要圖像顯示在顯示器816上。

在過程1104處，隨著外科醫(yī)生的眼球穿過在過程1102處獲得的主要圖像掃描，圖2C的眼球跟蹤系統(tǒng)200跟蹤外科醫(yī)生的眼球凝視。外科醫(yī)生的眼球凝視可以使用眼球跟蹤系統(tǒng)200的眼球跟蹤器204a和204b跟蹤。眼球凝視處理器206可以處理由眼球跟蹤器204a和204b提供的眼球凝視信息，并數(shù)字化關(guān)于外科醫(yī)生的凝視點(diǎn)的數(shù)據(jù)，如相對于圖像顯示器202和/或術(shù)野的外科醫(yī)生的凝視點(diǎn)的3D位置。數(shù)字化信息可以保存在聯(lián)接到眼球凝視處理器206的一個(gè)或更多個(gè)存儲器208處。當(dāng)外科醫(yī)生基于外科醫(yī)生的眼球凝視發(fā)送指令時(shí)，眼球凝視處理器206也可以提供信息至控制單元802。

在過程1106處，圖像處理系統(tǒng)800從外科醫(yī)生接收指令。在一些實(shí)施例中，外科醫(yī)生可以識別一個(gè)或更多個(gè)感興趣的區(qū)域，同時(shí)穿過主要圖像掃描用于進(jìn)一步調(diào)查。外科醫(yī)生可以請求感興趣的區(qū)域的修改視圖(例如，通過非限制性示例的方式，放大視圖、在不同成像模式中的視圖、突出的或銳化的視圖、發(fā)亮的或彩色的視圖或以其他圖形方式調(diào)整的視圖)。例如，外科醫(yī)生也可以請求以不同成像模式的感興趣的區(qū)域的視圖，以進(jìn)一步調(diào)查和/或特征化感興趣的結(jié)構(gòu)。在一些實(shí)施例中，外科醫(yī)生可以請求感興趣的區(qū)域的放大視圖，以觀看感興趣的區(qū)域內(nèi)的結(jié)構(gòu)的更詳細(xì)圖像。

隨著外科醫(yī)生凝視感興趣的區(qū)域，外科醫(yī)生可以使用各種合適的輸入方法中的任何輸入方法輸入確認(rèn)指令。例如，外科醫(yī)生可以按下在外科醫(yī)生控制臺處的對應(yīng)按鈕，輕踏足踏板，發(fā)送音頻消息或以特定的模式眨眼，以輸入所期望的指令。確認(rèn)指令可以發(fā)送至控制單元802，控制單元802聯(lián)接到可以或可以不與主要成像模塊相同的成像模塊。當(dāng)成像模塊不同于主要成像模塊714或主要成像模塊720時(shí)，圖6A的輔助成像模塊715或圖6B的輔助成像模塊722可以由控制單元802啟用。在一些實(shí)施例中，確認(rèn)指令也可以包括外科醫(yī)生的期望的調(diào)查模式信息，如優(yōu)選的成像模式、用于“放大”圖像的期望的放大水平和/或其他類型的視覺/圖形效果。另外，由眼球凝視處理器206提供的外科醫(yī)生的凝視點(diǎn)的3D位置信息發(fā)送至控制單元802。在一些實(shí)施例中，在發(fā)送外科醫(yī)生的確認(rèn)指令至控制單元802之前，圖像處理系統(tǒng)800(例如，控制單元802的處理器和/或眼球凝視處理器206)可以執(zhí)行類似于方法900的過程910和911的一個(gè)或更多個(gè)確定過程。

在過程1108處，圖像處理系統(tǒng)800處理外科醫(yī)生的確認(rèn)指令?？刂茊卧?02從眼球凝視處理器206接收外科醫(yī)生的凝視點(diǎn)的位置信息和確認(rèn)指令(包括外科醫(yī)生的期望的調(diào)查模式信息)?？刂茊卧?02可以發(fā)送位置數(shù)據(jù)和確認(rèn)指令至連接到適當(dāng)成像模塊的器械接口150。在一些實(shí)施例中，器械接口150可以發(fā)送位置數(shù)據(jù)和確認(rèn)指令至致動器806，并且致動器806可以驅(qū)動成像模塊至實(shí)際位置，其中成像模塊能夠獲得由外科醫(yī)生的凝視點(diǎn)表示的感興趣的區(qū)域的期望圖像。例如，當(dāng)外科醫(yī)生已經(jīng)請求由外科醫(yī)生的凝視點(diǎn)識別的感興趣的區(qū)域的放大圖像時(shí)，成像模塊可以由致動器806驅(qū)動，以沿軸的軸線延伸以在期望的放大水平處捕獲放大圖像。

在過程1110處，成像模塊捕獲由外科醫(yī)生的凝視點(diǎn)指示的感興趣的區(qū)域的次要圖像(例如，基于在過程1106處發(fā)送的外科醫(yī)生的指令)。特別地，在一些實(shí)施例中，致動器1106調(diào)整成像模塊的位置和取向至由外科醫(yī)生的眼球凝視點(diǎn)表示的感興趣的區(qū)域，并且成像模塊捕獲感興趣的區(qū)域的次要圖像用于外科醫(yī)生的調(diào)查。在一些實(shí)施例中，在成像模塊到達(dá)由外科醫(yī)生的凝視點(diǎn)反映的感興趣的區(qū)域處之前，成像模塊也可以在成像模塊穿過術(shù)野朝向感興趣的區(qū)域的運(yùn)動期間捕獲圖像。在一些實(shí)施例中，成像模塊可以包括能夠捕獲立體圖像的如圖6C中所示的立體攝像機(jī)。

在過程1112處，圖像處理系統(tǒng)800處理由外科醫(yī)生的凝視點(diǎn)反映的感興趣的區(qū)域的所捕獲的次要圖像和/或隨著成像模塊朝向感興趣的區(qū)域行進(jìn)而捕獲的圖像。內(nèi)窺鏡處理器808可以在顯示器816上呈現(xiàn)圖像之前數(shù)字化次要圖像。例如，在一些實(shí)施例中，內(nèi)窺鏡處理器808可以根據(jù)主要圖像產(chǎn)生數(shù)字地放大的次要圖像和/或施加各種圖形效果至所捕獲的次要圖像。內(nèi)窺鏡處理器808也可以產(chǎn)生次要圖像的數(shù)字化信息，如關(guān)于外科醫(yī)生的凝視點(diǎn)的位置信息以及關(guān)于用于捕獲圖像的成像模塊的位置和取向信息。通過非限制性示例的方式，此數(shù)字化數(shù)據(jù)可以存儲在諸如圖2C的存儲器208和/或圖7A的存儲器812等存儲器中。

在過程1114處，圖像處理系統(tǒng)800在顯示器816上顯示由外科醫(yī)生的凝視點(diǎn)指示的感興趣的區(qū)域的所捕獲的次要圖像。在一些實(shí)施例中，內(nèi)窺鏡處理器808可以比較并識別次要圖像和主要圖像之間的共同特征部，并且然后在空間上配準(zhǔn)所捕獲的圖像，以使用共同特征部正確地對準(zhǔn)并重疊次要圖像在主要圖像頂部。應(yīng)當(dāng)理解的是，任何其他合適的方法可以用于將所捕獲的圖像和主要圖像圖像融合。在一些實(shí)施例中，當(dāng)成像模塊包括如圖6C中所示的立體攝像機(jī)時(shí)，立體攝像機(jī)可以捕獲立體圖像，并且內(nèi)窺鏡處理器808可以產(chǎn)生左右立體圖像以在顯示器816上顯示，使得外科醫(yī)生可以感知眼球凝視點(diǎn)指示的區(qū)域的3D立體圖像。

在過程1116處，圖像處理系統(tǒng)800詢問外科醫(yī)生是否已經(jīng)結(jié)束穿過主要圖像掃描。如果外科醫(yī)生尚未完成掃描主要圖像，或者當(dāng)外科醫(yī)生希望雙倍檢查一個(gè)或更多個(gè)前面掃描的點(diǎn)時(shí)，方法1100可以前進(jìn)回到過程1104，以繼續(xù)跟蹤外科醫(yī)生的眼球凝視。如圖10B中所示，如果隨著他或她穿過主要圖像掃描，外科醫(yī)生指示系統(tǒng)10在不同位置處捕獲他的或她的凝視點(diǎn)的多個(gè)次要圖像，則由凝視點(diǎn)指示的感興趣的區(qū)域的多個(gè)圖像1150-1154、1160-1164和1170-1174能夠被處理并在顯示器816上示出。圖像1150-1154、1160-1164和1170-1174可以在顯示器816上示出作為在主要圖像頂部重疊的圖像，或者可以與主要圖像鄰近示出。

在手術(shù)期間，外科醫(yī)生可能想要在任何時(shí)間出于任何理由停止掃描主要圖像，并且外科醫(yī)生能夠使用任何合適的方法發(fā)送指令至系統(tǒng)10。在過程1116處，當(dāng)圖像處理系統(tǒng)800確定外科醫(yī)生已經(jīng)完成掃描主要圖像時(shí)，眼球凝視處理器206可以通過告知外科醫(yī)生次要圖像的捕獲的中止來確認(rèn)掃描過程的結(jié)束。在一些實(shí)施例中，圖像處理系統(tǒng)800也可以促使外科醫(yī)生查看多個(gè)圖像并選擇一個(gè)圖像，用于進(jìn)一步的評價(jià)。

在過程1118處，外科醫(yī)生可以查看示出隨著外科醫(yī)生穿過主要圖像掃描使用外科醫(yī)生的凝視點(diǎn)跟蹤和捕獲的多個(gè)感興趣的區(qū)域的多個(gè)圖像1150-1154、1160-1164和1170-1174。外科醫(yī)生可以選擇要在顯示器816中示出的一個(gè)或更多個(gè)圖像(例如，如圖10C中所示的顯示器816的中間圖像1162)，用于進(jìn)一步調(diào)查。外科醫(yī)生可以通過使用他的或她的凝視點(diǎn)，或者通過使用任何其他合適方法輸入他的或她的選擇來選擇圖像。

在過程1120處，圖像處理系統(tǒng)800處理外科醫(yī)生的選擇。外科醫(yī)生可以請求特定成像效果或成像模式的類型，用于所選擇的圖像的進(jìn)一步調(diào)查。例如，外科醫(yī)生可以指示系統(tǒng)800顯示所選擇的圖像1162的放大圖像1176，并且放大圖像1176可以重疊在圖像1162頂部，如圖10C中所示。聯(lián)接到執(zhí)行所請求的成像功能的成像模塊的圖像處理系統(tǒng)800可以經(jīng)配置在任何合適布置中具有任何合適的技術(shù)，以滿足外科醫(yī)生的請求。所接收的選擇和圖像處理指令可以發(fā)送至控制單元802以處理。在一些實(shí)施例，控制單元802也可以與存儲器208和/或812交換信息，以檢索最新選擇的感興趣的區(qū)域的位置數(shù)據(jù)和捕獲感興趣的點(diǎn)的圖像的成像模塊的位置和取向數(shù)據(jù)。在一些實(shí)施例中，所檢索的數(shù)據(jù)可以用于調(diào)整致動器806，以重新定位成像模塊來基于外科醫(yī)生的請求捕獲與所選擇的圖像對應(yīng)的感興趣的區(qū)域的另一圖像。

在過程1122處，所選擇的圖像的所請求的圖像被捕獲或以數(shù)字方式產(chǎn)生且然后在顯示器816上顯示，用于外科醫(yī)生的調(diào)查。圖10C示出基于外科醫(yī)生的請求顯示來自于圖10B的多個(gè)圖像的圖像1162的放大圖像1176的示例。在所示的實(shí)施例中，放大圖像1176被示出在所選擇的圖像1162頂部重疊。在一些實(shí)施例中，所請求的圖像(例如，放大圖像1176)可以在顯示器816的中間部分示出，不管所選擇的圖像在顯示器816上的原始位置。在一些實(shí)施例中，立體攝像機(jī)可以用作成像模塊以捕獲放大圖像，并且立體圖像可以經(jīng)顯示以由外科醫(yī)生感知為所選擇的圖像1162的3D放大圖像。在一些實(shí)施例中，新產(chǎn)生或捕獲的圖像可以是圖像融合的，以使用如相對于過程1114在前面討論的基本類似方法疊加前面捕獲的圖像。過程1118-1122在一些手術(shù)操作中可以是可選的。

第一醫(yī)療系統(tǒng)的實(shí)施例包括：圖像顯示器，其經(jīng)配置向使用者顯示術(shù)野的主要圖像；眼球跟蹤系統(tǒng)，其經(jīng)配置測量使用者的凝視點(diǎn)數(shù)據(jù)并基于凝視點(diǎn)數(shù)據(jù)確定在主要圖像中的觀看位置，其中使用者的凝視點(diǎn)指示該位置；和圖像處理系統(tǒng)，其聯(lián)接到圖像顯示器并經(jīng)配置基于觀看位置調(diào)整圖像顯示器上的主要圖像。

在第一醫(yī)療系統(tǒng)中，圖像處理系統(tǒng)經(jīng)配置接收來自使用者的指令輸入并基于指令調(diào)整主要圖像。

在第一醫(yī)療系統(tǒng)中，圖像處理系統(tǒng)經(jīng)配置基于凝視點(diǎn)數(shù)據(jù)通過顯示圖像顯示器上的觀看位置的次要圖像，調(diào)整主要圖像。

在第一醫(yī)療系統(tǒng)中，圖像處理系統(tǒng)經(jīng)配置將次要圖像與主要圖像圖像融合，使得觀看位置的次要圖像在圖像顯示器上顯示為在主要圖像頂部的重疊。

在第一醫(yī)療系統(tǒng)中，圖像處理系統(tǒng)經(jīng)配置將次要圖像與主要圖像圖像融合，使得觀看位置的次要圖像在圖像顯示器上顯示為與主要圖像鄰近。

第一醫(yī)療系統(tǒng)還包括第一成像模塊和第二成像模塊，其中第一成像模塊經(jīng)配置獲得主要圖像并且第二成像模塊經(jīng)配置基于凝視點(diǎn)數(shù)據(jù)捕獲次要圖像，第一成像模塊和第二成像模塊被獨(dú)立地控制。

在第一醫(yī)療系統(tǒng)中，第一成像模塊和第二成像模塊是第一成像裝置的組件部分。

在第一醫(yī)療系統(tǒng)中，第一成像模塊構(gòu)成第一成像裝置并且第二成像模塊構(gòu)成第二成像裝置。

在第一醫(yī)療系統(tǒng)中，第一成像模塊和第二成像模塊中的至少一個(gè)包括立體攝像機(jī)。

在第一醫(yī)療系統(tǒng)中，第一成像模塊以第一成像模式操作并且第二成像模塊以第二成像模式操作。

在第一醫(yī)療系統(tǒng)中，第一成像模塊在第一波長范圍中操作并且第二成像模塊在第二波長范圍中操作，其中第一波長范圍不同于第二波長范圍。

第一醫(yī)療系統(tǒng)包括在次要圖像內(nèi)的眼球跟蹤閾值區(qū)域，眼球跟蹤閾值區(qū)域小于次要圖像，其中圖像處理系統(tǒng)經(jīng)配置響應(yīng)于反映使用者在眼球跟蹤閾值區(qū)域內(nèi)移位眼球凝視的凝視點(diǎn)數(shù)據(jù)的變化，維持主要圖像和次要圖像。

第一醫(yī)療系統(tǒng)還包括聯(lián)接到第一成像模塊和第二成像模塊的內(nèi)窺鏡處理器，內(nèi)窺鏡處理器經(jīng)配置響應(yīng)于所確定的觀看位置和來自于使用者的指令輸入調(diào)整主要圖像或次要圖像中的至少一個(gè)。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置基于所確定的在主要圖像中的觀看位置獨(dú)立地控制第一成像模塊的至少一個(gè)功能和第二成像模塊的至少一個(gè)功能。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置在術(shù)野內(nèi)定向并定位第二成像模塊，以基于來自于使用者的指令輸入和所確定的在主要圖像中的觀看位置捕獲次要圖像。

第一醫(yī)療系統(tǒng)還包括用于調(diào)整第一成像模塊的位置和取向的第一鉸接腕形件和用于調(diào)整第二成像模塊的位置和取向的第二鉸接腕形件，其中第一鉸接腕形件和第二鉸接腕形件響應(yīng)于來自于內(nèi)窺鏡處理器的命令信號移動。

第一醫(yī)療系統(tǒng)還包括聯(lián)接到第二成像模塊的第一軸，其中第二成像模塊經(jīng)配置響應(yīng)于來自于內(nèi)窺鏡處理器的命令信號沿第一軸的縱向軸線移動。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置在術(shù)野內(nèi)定向和定位第一成像模塊，以基于凝視點(diǎn)數(shù)據(jù)和所確定的在主要圖像中的觀看位置維持次要圖像在主要圖像內(nèi)。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置基于來自于使用者的指令輸入調(diào)整由第二成像模塊獲得的次要圖像。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置在圖像顯示器上相對于主要圖像強(qiáng)調(diào)次要圖像。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置在圖像顯示器上相對于主要圖像數(shù)字地改變次要圖像。

在第一醫(yī)療系統(tǒng)中，內(nèi)窺鏡處理器經(jīng)配置在圖像顯示器上相對于主要圖像數(shù)字地放大次要圖像。

在第一醫(yī)療系統(tǒng)中，眼球跟蹤系統(tǒng)包括至少兩個(gè)眼球跟蹤器。

在第一醫(yī)療系統(tǒng)中，圖像顯示器包括在眼球跟蹤系統(tǒng)中并包括左眼圖像顯示器和右眼圖像顯示器。

在第一醫(yī)療系統(tǒng)中，圖像顯示器是經(jīng)配置向使用者顯示主要圖像的3D圖像的3D圖像顯示器。

用于操作手術(shù)系統(tǒng)的第一方法包括在圖像顯示器上顯示主要圖像；隨著使用者觀看圖像顯示器上的主要圖像，使用眼球跟蹤系統(tǒng)跟蹤使用者的凝視點(diǎn)數(shù)據(jù)；以及基于凝視點(diǎn)數(shù)據(jù)調(diào)整主要圖像。

用于操作手術(shù)系統(tǒng)的第一方法還包括接收來自于使用者的指令輸入。

在用于操作手術(shù)系統(tǒng)的第一方法中，調(diào)整主要圖像包括基于來自于使用者的指令輸入顯示由凝視點(diǎn)數(shù)據(jù)識別的感興趣的區(qū)域的次要圖像。

在用于操作手術(shù)系統(tǒng)的第一方法中，次要圖像包括基于凝視點(diǎn)數(shù)據(jù)的主要圖像的可視調(diào)整的部分。

在用于操作手術(shù)系統(tǒng)的第一方法中，次要圖像包括基于凝視點(diǎn)數(shù)據(jù)的主要圖像的放大部分。

在用于操作手術(shù)系統(tǒng)的第一方法中，次要圖像包括基于凝視點(diǎn)數(shù)據(jù)的主要圖像的銳化部分。

在用于操作手術(shù)系統(tǒng)的第一方法中，次要圖像包括基于凝視點(diǎn)數(shù)據(jù)的主要圖像的突出部分。

在用于操作手術(shù)系統(tǒng)的第一方法中，次要圖像是不同于主要圖像的成像模式。

用于操作手術(shù)系統(tǒng)的第一方法還包括基于來自于使用者的指令輸入和凝視點(diǎn)數(shù)據(jù)，使用成像模塊捕獲次要圖像。

用于操作手術(shù)系統(tǒng)的第一方法還包括：基于凝視點(diǎn)數(shù)據(jù)確定主要圖像中的觀看位置，其中使用者的凝視點(diǎn)指示該觀看位置；確定觀看位置是否位于預(yù)定眼球跟蹤閾值區(qū)域外部；以及如果觀看位置位于預(yù)定眼球跟蹤閾值外部，基于觀看位置更新次要圖像。

在用于操作手術(shù)系統(tǒng)的第一方法中，基于觀看位置和指令輸入調(diào)整成像模塊的位置和取向。

在用于操作手術(shù)系統(tǒng)的第一方法中，成像模塊經(jīng)配置隨著使用者穿過主要圖像掃描捕獲多個(gè)次要圖像。

在用于操作手術(shù)系統(tǒng)的第一方法中，主要圖像使用第一成像模塊捕獲并且次要圖像使用次要圖像模塊捕獲。

在用于操作手術(shù)系統(tǒng)的第一方法中，主要成像模塊位于第一成像裝置處，并且第二成像模塊位于不同于第一成像裝置的第二成像裝置處。

在用于操作手術(shù)系統(tǒng)的第一方法中，確定觀看位置是否位于預(yù)定眼球跟蹤閾值區(qū)域外部包括比較在預(yù)定數(shù)量的圖像框架之上的平均觀看位置與預(yù)定眼球跟蹤閾值區(qū)域。

在用于操作手術(shù)系統(tǒng)的第一方法中，確定觀看位置是否位于預(yù)定眼球跟蹤閾值區(qū)域外部包括比較在預(yù)定時(shí)間段內(nèi)的平均觀看位置與預(yù)定眼球跟蹤閾值區(qū)域。

雖然說明性實(shí)施例已經(jīng)示出并描述，但是寬范圍的修改、變化和替代在前面的公開中設(shè)想，并且在一些情況下可以采用實(shí)施例的一些特征而無其他特征的對應(yīng)使用。本領(lǐng)域的普通技術(shù)人員將認(rèn)識到許多變化、替代和修改。因此，本公開的范圍應(yīng)該僅由隨附權(quán)利要求限制，并且應(yīng)當(dāng)理解，權(quán)利要求應(yīng)該廣泛地并以與本文公開的實(shí)施例的范圍一致的方式解釋。