本申請要求于2014年3月28日提交的名稱為“手術(shù)場景的定量三維成像(QUANTITATIVETHREE-DIMENSIONALIMAGINGOFSURGICALSCENES)”的美國臨時(shí)專利申請No.61/971,749；以及于2014年12月23日提交的名稱為“帶有基于定量三維成像的觸覺反饋的手術(shù)系統(tǒng)(SURGICALSYSTEMWITHHAPTICFEEDBACKBASEDUPONQUANTITATIVETHREE-DIMENSIONALIMAGING)”的美國臨時(shí)專利申請No.62/096,522的優(yōu)先權(quán)的利益，所述專利申請的全部內(nèi)容以引用方式并入本文。
技術(shù)領(lǐng)域：
本發(fā)明總體涉及具有相關(guān)聯(lián)的圖像傳感器的手術(shù)內(nèi)窺鏡檢查系統(tǒng)，并且更具體地涉及確定顯示在手術(shù)圖像中的物理結(jié)構(gòu)的三維坐標(biāo)。
背景技術(shù)：
：定量三維(Q3D)視覺提供關(guān)于真實(shí)世界場景中的目標(biāo)點(diǎn)的實(shí)際物理(x、y、z)3D坐標(biāo)的數(shù)值信息。借助定量3D視覺，人不僅可以獲得真實(shí)世界場景的三維感知，而且可以獲得關(guān)于該場景中的對象的物理尺寸和該場景中的對象之間的物理距離的數(shù)值信息。以往，已經(jīng)提出了一些Q3D系統(tǒng)，其使用飛行時(shí)間(time-of-flight)相關(guān)的信息或相位信息以確定關(guān)于場景的3D信息。其他Q3D系統(tǒng)已經(jīng)使用結(jié)構(gòu)光來確定關(guān)于場景的3D信息。飛行時(shí)間信息的使用在名稱為“CMOS兼容的三維圖像傳感器IC(CMOS-compatiblethree-dimensionalimagesensorIC)”的美國專利No.6,323,942中有所公開，該專利公開了三維成像系統(tǒng)，該系統(tǒng)包括使用CMOS制造技術(shù)在普通IC上制造的二維像素陣列光感測檢測器。每個(gè)檢測器具有相關(guān)聯(lián)的高速計(jì)數(shù)器，該計(jì)數(shù)器累積在數(shù)量上與系統(tǒng)發(fā)出的脈沖的飛行時(shí)間(TOF)成正比的時(shí)鐘脈沖，以從物點(diǎn)反射并且通過聚焦在該點(diǎn)上的像素檢測器來檢測。TOF數(shù)據(jù)提供從特定像素到反射所發(fā)出的光脈沖的對象上的點(diǎn)的距離的直接數(shù)字測量。在第二實(shí)施例中，計(jì)數(shù)器和高速時(shí)鐘電路被省略，并且作為替代，每個(gè)像素檢測器具有電荷積聚器和電子快門?？扉T在光脈沖發(fā)出時(shí)打開并且在其后關(guān)閉，使得每個(gè)像素檢測器根據(jù)落在相關(guān)聯(lián)的像素檢測器上的返回光子能累積電荷。累積的電荷量提供來回TOF的直接測量。延時(shí)信息的使用在名稱為“用于內(nèi)窺鏡3D數(shù)據(jù)收集的裝置和方法(Apparatusandmethodforendoscopic3Ddatacollection)”的美國專利No.8,262,559中有所公開，除了光成像機(jī)構(gòu)以外，該專利公開了經(jīng)調(diào)節(jié)的測量光束和光傳送機(jī)構(gòu)，用于將測量光束傳導(dǎo)至要觀察的區(qū)域上，其中光傳送機(jī)構(gòu)包括照明透鏡，光成像機(jī)構(gòu)用于將來自要觀察區(qū)域的信號光束至少成像到相敏圖像傳感器上。可對應(yīng)毫米范圍內(nèi)的深度差異的時(shí)間延遲導(dǎo)致相位信息，相位信息使描繪深度信息和距離信息的圖像的產(chǎn)生成為可能。使用結(jié)構(gòu)光以確定對象在視覺圖像中的物理坐標(biāo)在名稱為“內(nèi)窺鏡(Endoscope)”的美國專利申請公開No.2012/0190923中；以及在C.Schmalz等人的“基于結(jié)構(gòu)光的內(nèi)窺鏡3D掃描儀(Anendoscopic3Dscannerbasedonstructuredlight)”，MedicalImageAnalysis，16(2012)1063-1072中有所公開。三角形法用于測量表面形貌。可具有不同顏色光譜范圍的呈投影光線形式的結(jié)構(gòu)光入射在表面上并且從該表面反射出。反射光線通過被校準(zhǔn)的相機(jī)來觀察，以使用反射的顏色光譜信息來確定表面的3D坐標(biāo)。更具體地，結(jié)構(gòu)光的使用通常涉及照亮3D表面上的光圖案，并且基于由于物理對象輪廓而產(chǎn)生的光的變形圖案來確定物理距離。已經(jīng)構(gòu)建成像器陣列相機(jī)，其包括可以用于計(jì)算用于陣列中的像素的場景深度信息的多個(gè)像素陣列。高分辨率(HR)圖像自多個(gè)低分辨率(LR)圖像生成。選擇基準(zhǔn)視點(diǎn)并且生成如通過該視點(diǎn)所看到的HR圖像。視差處理技術(shù)利用混疊效應(yīng)來確定無基準(zhǔn)圖像關(guān)于基準(zhǔn)圖像像素的像素對應(yīng)。融合和超分辨率用于從多個(gè)LR圖像產(chǎn)生HR圖像。參見例如名稱為“使用帶有異構(gòu)成像器的單片相機(jī)陣列捕捉并處理圖像(CapturingandProcessingImagesusingMonolithicCameraArraywithHeterogeneousImager)”的美國專利No.8,514,491；名稱為“用于使用假設(shè)融合從包括混疊的場景的多個(gè)視圖確定深度的系統(tǒng)和方法(SystemsandMethodsforDeterminingDepthfrommultipleViewsofaScenethatIncludeAliasingusingHypothesizedFusion)”的美國專利申請公開No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能單片相機(jī)陣列(PiCam：Anultra-ThinhighPerformanceMonolithicCameraArray)”。圖1為示出根據(jù)一些實(shí)施例的已知成像器傳感器180的細(xì)節(jié)的示意圖。圖像傳感器180包括傳感器184的排列。在該排列中的每個(gè)傳感器包括二維的像素排列，該二維的像素排列在每個(gè)維度中至少具有兩個(gè)像素。每個(gè)傳感器包括透鏡堆疊186。每個(gè)透鏡堆疊186具有對應(yīng)的焦平面188。每個(gè)透鏡堆疊186創(chuàng)建單獨(dú)的光學(xué)通道，光學(xué)通道將圖像分解到設(shè)置在其對應(yīng)焦平面188中的對應(yīng)像素排列上。像素用作光傳感器，并且每個(gè)焦平面188與其多個(gè)像素一起用作圖像傳感器。每個(gè)傳感器與其焦平面188一起占據(jù)的傳感器排列區(qū)域與其他傳感器和焦平面所占據(jù)的傳感器排列區(qū)域不同。圖2為示出圖1的傳感器184的已知排列的簡化平面圖的示意圖，傳感器184的已知排列包括被標(biāo)記為傳感器S11到S33的傳感器。成像器傳感器布置184在半導(dǎo)體芯片上進(jìn)行制造以包括多個(gè)傳感器S11到S33。傳感器S11到S33中的每個(gè)包括多個(gè)像素(例如，0.32兆像素)，并且耦接到包括獨(dú)立讀出控制和像素?cái)?shù)字化的外圍電路(未示出)。在一些實(shí)施例中，傳感器S11到S33排列成如圖2所示的格網(wǎng)格式。在其他實(shí)施例中，傳感器以非格網(wǎng)格式排列。例如，傳感器可以環(huán)形圖案、之字形圖案、分散圖案或包括子像素偏移的不規(guī)則圖案排列。圖1至圖2的傳感器184的每個(gè)單個(gè)像素包括微透鏡像素堆疊。圖3為示出圖1至圖2的傳感器的已知微透鏡像素堆疊的示意圖。像素堆疊800包括微透鏡802，其放置在氧化層804之上。通常，氧化層的下方可以有濾色鏡806，其設(shè)置在氮化層808之上，氮化層808設(shè)置在第二氧化層810之上，第二氧化層810位于硅層812的頂上，硅層812包括單個(gè)像素的有效區(qū)域814(通常是光電二極管)。微透鏡802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效區(qū)域814上。像素孔徑通過微透鏡的擴(kuò)展度來確定。關(guān)于上述已知的成像器傳感器排列架構(gòu)的附加信息在美國申請No.US8,514,491B2(提交于2010年11月22日)和美國專利申請公開No.US2013/0070060A1(提交于2012年9月19日)中有所提供。技術(shù)實(shí)現(xiàn)要素：在一方面，提供一種系統(tǒng)以在醫(yī)療程序期間提供觸覺反饋(hapticfeedback)。定量三維(Q3D)內(nèi)窺鏡被設(shè)置成使其視野內(nèi)的場景成像。設(shè)置在視野內(nèi)的手術(shù)器械可操作以使視野內(nèi)的組織結(jié)構(gòu)變形。觸覺用戶界面設(shè)備經(jīng)配置響應(yīng)于指示組織結(jié)構(gòu)變形測量的信息提供組織結(jié)構(gòu)變形的指示。一個(gè)或多個(gè)處理器經(jīng)配置產(chǎn)生Q3D模型，并且將指示組織結(jié)構(gòu)變形測量的信息提供給觸覺用戶界面設(shè)備，其中所述Q3D模型包括指示組織結(jié)構(gòu)變形測量的信息。在另一方面，提供一種系統(tǒng)，以在醫(yī)療程序期間提供觸覺反饋。定量三維(Q3D)內(nèi)窺鏡被設(shè)置成使其視野內(nèi)的場景成像。設(shè)置在視野內(nèi)的手術(shù)器械可操作以使視野內(nèi)的組織結(jié)構(gòu)變形。一個(gè)或多個(gè)處理器經(jīng)配置產(chǎn)生包括指示組織結(jié)構(gòu)變形測量的信息的Q3D模型?；跍y量的組織變形和組織硬度的知識，一個(gè)或多個(gè)處理器計(jì)算或估計(jì)通過器械施加到組織上的力。處理器或多個(gè)處理器提供指示施加到觸覺用戶界面設(shè)備的力的信息。在另一方面，提供一種系統(tǒng)以在醫(yī)療程序期間提供觸覺反饋。定量三維(Q3D)內(nèi)窺鏡被設(shè)置成使其視野內(nèi)的場景成像。設(shè)置其視野內(nèi)的器械可操作以對視野內(nèi)的組織結(jié)構(gòu)進(jìn)行觸診。一個(gè)或多個(gè)處理器經(jīng)配置產(chǎn)生包括指示觸診期間組織結(jié)構(gòu)變形測量的信息的Q3D模型?；跍y量的組織變形和施加的力的知識，一個(gè)或多個(gè)處理器計(jì)算或估計(jì)組織硬度的測量。處理器或多個(gè)處理器將指示觸診的組織硬度的信息提供給觸覺用戶界面設(shè)備。附圖說明當(dāng)結(jié)合附圖閱讀時(shí)，從下面詳細(xì)描述可以最好地理解本公開的方面。應(yīng)當(dāng)強(qiáng)調(diào)的是，根據(jù)行業(yè)中的標(biāo)準(zhǔn)實(shí)踐，各種特征不是按比例繪制的。實(shí)際上，為了便于論述，各種特征的尺寸可任意增大或減小。此外，本公開可以在各種示例中重復(fù)參考標(biāo)號和/或字母。這種重復(fù)是出于簡化和清楚的目的，而其本身并不表示所討論的各種實(shí)施例和/或構(gòu)造之間的關(guān)系。圖1為示出已知成像器傳感器陣列的細(xì)節(jié)的示意圖。圖2為示出包括多個(gè)傳感器的已知成像器傳感器陣列的簡化平面圖的示意圖。圖3為已知微透鏡像素堆疊的示意圖。圖4為示出根據(jù)一些實(shí)施例的透過觀察器的手術(shù)場景的透視圖的示意圖。圖5為根據(jù)一些實(shí)施例的遠(yuǎn)程操作手術(shù)系統(tǒng)的示意方框圖，該系統(tǒng)使用一個(gè)或多個(gè)機(jī)械臂來執(zhí)行微創(chuàng)手術(shù)程序。圖6為根據(jù)一些實(shí)施例的圖5系統(tǒng)的患者側(cè)系統(tǒng)的示意透視圖。圖7A為根據(jù)一些實(shí)施例的第一圖像捕捉系統(tǒng)的示意圖。圖7B為根據(jù)一些實(shí)施例的第二圖像捕捉系統(tǒng)的示意圖。圖8為示出根據(jù)一些實(shí)施例的與圖7A的第一圖像捕捉系統(tǒng)相關(guān)聯(lián)的控制塊，并且示出操作中的系統(tǒng)的示意方框圖。圖9為根據(jù)一些實(shí)施例的表示確定物理目標(biāo)的定量三維位置的過程的示意流程圖。圖10為示出根據(jù)一些實(shí)施例的通常對應(yīng)于模塊圖9以系統(tǒng)地選擇目標(biāo)的過程的某些細(xì)節(jié)的示意流程圖。圖11為根據(jù)一些實(shí)施例的示例傳感器成像器陣列的示意圖，傳感器成像器陣列包括多個(gè)傳感器并且設(shè)置成具有包含示例性三維物理世界場景的視野，示例性三維物理世界場景包括三個(gè)示例性對象。圖12為表示根據(jù)一些實(shí)施例的圖11的多個(gè)物理對象到多個(gè)傳感器上的投影的示意圖。圖13為指示根據(jù)一些實(shí)施例的從現(xiàn)實(shí)世界場景內(nèi)選擇感興趣區(qū)域(ROI)的示意圖。圖14為示出根據(jù)一些實(shí)施例的關(guān)于多個(gè)傳感器中的投影圖像的相對幾何偏移的細(xì)節(jié)的示意圖。圖15為示出根據(jù)一些實(shí)施例的感興趣區(qū)域(ROI)內(nèi)的某些示例傳感器中的投影圖像的示意圖，所述投影圖像向右偏移以與ROI內(nèi)的指定基準(zhǔn)傳感器中的投影圖像對齊。圖16為示出根據(jù)一些實(shí)施例的所選目標(biāo)點(diǎn)到多個(gè)傳感器上的投影的示意圖。圖17為示出根據(jù)一些實(shí)施例的包括圖16的多個(gè)傳感器的成像器陣列的一部分和設(shè)置在物理空間中的適當(dāng)位置處的所選目標(biāo)點(diǎn)T的示意圖。圖18為根據(jù)一些實(shí)施例的當(dāng)前所選目標(biāo)點(diǎn)T到圖16的多個(gè)圖像傳感器上的投影的示意性正視圖。圖19為示出根據(jù)一些實(shí)施例的當(dāng)前所選目標(biāo)相對于如上參考圖17所述的多個(gè)傳感器的布置的示意圖，并且該示意圖還示出傳感器中的每個(gè)的候選像素的y方向像素偏移。圖20為表示根據(jù)一些實(shí)施例的在手術(shù)程序期間使用Q3D信息的第一過程的示意流程圖。圖21為示出根據(jù)一些實(shí)施例的按照圖20的過程在顯示屏上所顯示的菜單選擇的示意圖。圖22A至圖22B為表示根據(jù)一些實(shí)施例的按照圖20的過程接收用戶輸入的某些細(xì)節(jié)的示意圖。圖23為表示根據(jù)一些實(shí)施例的在手術(shù)程序期間使用Q3D信息的第二過程的示意圖。圖24為示出根據(jù)一些實(shí)施例的按照圖23的過程在顯示屏上所顯示的菜單選擇的示意圖。圖25為表示根據(jù)一些實(shí)施例的使用Q3D信息確定觸覺反饋的過程的示意流程圖。圖26為示出根據(jù)一些實(shí)施例的與手術(shù)器械的端部接觸的組織結(jié)構(gòu)和Q3D內(nèi)窺鏡的示意圖。圖27A至圖27C為表示根據(jù)一些實(shí)施例的有形用戶界面(TUI)的第一實(shí)施例的示意圖，有形用戶界面(TUI)用作適用于提供觸覺反饋的形狀顯示器。圖28A至圖28C為表示其形狀通過手術(shù)器械施加的力而變形的組織結(jié)構(gòu)的示意圖。圖29A至圖29C為根據(jù)一些實(shí)施例的表示替代實(shí)施例的有形用戶界面(TUI)的示意圖，有形用戶界面(TUI)用作適用于提供觸覺反饋的形狀顯示器。圖30為示出根據(jù)一些實(shí)施例的安裝在外科醫(yī)生手指上的替代實(shí)施例TUI的示意圖。圖31為根據(jù)一些實(shí)施例的經(jīng)配置根據(jù)組織表面變形確定觸覺反饋的示意計(jì)算塊。圖32為表示根據(jù)一些實(shí)施例的使用圖31的計(jì)算塊執(zhí)行的過程的示意流程圖。圖33為根據(jù)一些實(shí)施例的與圖27A至圖27C的TUI一起使用的第一觸覺反饋過程的示意流程圖。圖34為根據(jù)一些實(shí)施例的與圖29A至圖29C的替代實(shí)施例TUI一起使用的第二觸覺反饋過程的示意流程圖。圖35為根據(jù)一些實(shí)施例的控制施加到所選組織表面位置的力的第三過程的示意流程圖。圖36A至圖36E為示出根據(jù)一些實(shí)施例的組織結(jié)構(gòu)表面的一系列橫截面視圖的示意圖，所述橫截面視圖示出響應(yīng)通過器械施加的力所產(chǎn)生的組織表面的變形。圖37A至圖37E為示出根據(jù)一些實(shí)施例的圖27A至圖27C的TUI的一系列橫截面視圖的示意圖，所述橫截面視圖經(jīng)配置示出TUI插針(pin)頂表面界面的示例性“即時(shí)”變形，該變形對應(yīng)于圖36A至圖36E的一系列橫截面視圖所示的示例組織結(jié)構(gòu)變形。圖38A至圖38E為示出根據(jù)一些實(shí)施例的圖27A至圖27C的TUI的一系列橫截面視圖的示意圖，所述橫截面視圖示出TUI反饋表面的示例“復(fù)合”變形，該變形對應(yīng)于圖36A至圖36E的一系列橫截面視圖所示的示例目標(biāo)組織變形。圖39A至圖39E為示出根據(jù)一些實(shí)施例的圖29A至圖29C的替代實(shí)施例TUI內(nèi)的一個(gè)或多個(gè)插針響應(yīng)于圖36A至圖36E中所示的目標(biāo)組織表面的示例變形的一系列位移的示意圖。具體實(shí)施方式給出以下描述以使本領(lǐng)域技術(shù)人員能夠創(chuàng)建并使用手術(shù)內(nèi)窺鏡檢查系統(tǒng)，該系統(tǒng)捕捉定量三維(Q3D)信息并且基于Q3D信息產(chǎn)生觸覺反饋。對于本領(lǐng)域的技術(shù)人員而言，將易于對本實(shí)施例進(jìn)行各種修改，并且本文所定義的一般原則可以應(yīng)用于其他實(shí)施例和應(yīng)用，而不背離本發(fā)明主題的精神和范圍。而且，在下面描述中，出于說明的目的闡述了許多細(xì)節(jié)。然而，本領(lǐng)域的普通技術(shù)人員將認(rèn)識到本發(fā)明主題可在沒有這些具體細(xì)節(jié)的情況下進(jìn)行實(shí)踐。在其他情況下，為了不因不需要的細(xì)節(jié)而混淆本公開，因此以方框圖形式示出眾所周知的機(jī)器部件、過程和數(shù)據(jù)結(jié)構(gòu)。相同的參考標(biāo)號可以在不同附圖中用于表示相同項(xiàng)的不同視圖。下面所參考的附圖中的流程圖用于表示過程。計(jì)算機(jī)系統(tǒng)可以經(jīng)配置執(zhí)行這些過程中的一些。表示計(jì)算機(jī)實(shí)施過程的流程圖內(nèi)的模塊表示根據(jù)計(jì)算機(jī)程序代碼的計(jì)算機(jī)系統(tǒng)的配置，以執(zhí)行參考這些模塊描述的作用。因此，本發(fā)明主題并非旨在被限于所示實(shí)施例，而是符合與本文所公開的原則和特征一致的最廣范圍。簡要概述根據(jù)一些實(shí)施例，成像器包括與內(nèi)窺鏡相關(guān)聯(lián)的傳感器陣列。圖像傳感器陣列包括多個(gè)傳感器，并且每個(gè)傳感器包括像素陣列。內(nèi)窺鏡的一部分插入人體體腔中，并且使用光源來照亮圖像傳感器陣列的視野中的目標(biāo)對象。目標(biāo)對象的物理位置和/或尺寸基于投影到陣列的單個(gè)傳感器上的目標(biāo)對象的圖像來確定。圖4為示出根據(jù)一些實(shí)施例的透過觀察器312的手術(shù)場景的透視圖的示意圖。具有兩個(gè)觀察元件401R、401L的觀察系統(tǒng)可以提供優(yōu)良的3D觀察透視圖。表示手術(shù)場景中的物理結(jié)構(gòu)的物理尺寸和/或位置信息的所示數(shù)值覆蓋在手術(shù)場景圖像上。例如，所示數(shù)值距離值“d_Instr_Trgt”顯示在器械400和目標(biāo)410之間的場景內(nèi)。遠(yuǎn)程操作醫(yī)療系統(tǒng)遠(yuǎn)程操作指的是在一定距離處的機(jī)器的操作。在微創(chuàng)遠(yuǎn)程操作醫(yī)療系統(tǒng)中，外科醫(yī)生可以使用包括相機(jī)的內(nèi)窺鏡以觀察患者體內(nèi)的手術(shù)部位。立體圖像已經(jīng)被捕捉，其允許在手術(shù)程序期間進(jìn)行深度的感知。根據(jù)一些實(shí)施例，相機(jī)系統(tǒng)安裝在內(nèi)窺鏡上并且包括成像器傳感器陣列，所述相機(jī)系統(tǒng)提供加上顏色和照明數(shù)據(jù)的定量三維信息，所述定量三維信息可以用于生成三維圖像。圖5為根據(jù)一些實(shí)施例的遠(yuǎn)程操作手術(shù)系統(tǒng)100的示意方框圖，系統(tǒng)100使用一個(gè)或多個(gè)機(jī)械臂158來執(zhí)行微創(chuàng)手術(shù)程序。系統(tǒng)100的方面包括遙控機(jī)器人和自主操作的特征。這些機(jī)械臂經(jīng)常支撐器械。例如，機(jī)械手術(shù)臂(例如，中心機(jī)械手術(shù)臂158C)可以用于支撐帶有立體或三維手術(shù)圖像捕捉設(shè)備101C(諸如內(nèi)窺鏡相關(guān)聯(lián)的Q3D圖像傳感器陣列)的內(nèi)窺鏡。機(jī)械手術(shù)臂158C可以包括無菌適配器或夾鉗、夾子、螺釘、狹槽/凹槽或其他緊固件機(jī)構(gòu)，以將包括圖像捕捉設(shè)備101C的內(nèi)窺鏡機(jī)械地固定到機(jī)械臂。相反地，帶有圖像捕捉設(shè)備101C的內(nèi)窺鏡可以包括與機(jī)械手術(shù)臂158C互補(bǔ)的物理輪廓和/或結(jié)構(gòu)，以便牢固地與其互相配合。用戶或操作者O(通常是外科醫(yī)生)通過在主控制臺(tái)150處操縱控制輸入設(shè)備160來對患者P執(zhí)行微創(chuàng)手術(shù)程序。操作者可以通過立體顯示設(shè)備164來觀察患者身體內(nèi)部的手術(shù)部位的圖像的視頻幀，立體顯示設(shè)備164包括以上參考圖4所描述的觀察器312。控制臺(tái)150的計(jì)算機(jī)151經(jīng)由控制線159引導(dǎo)遠(yuǎn)程操作控制的內(nèi)窺鏡手術(shù)器械101A至101C的移動(dòng)，從而使用患者側(cè)系統(tǒng)152(也稱為“患者側(cè)推車”)來影響器械的移動(dòng)?；颊邆?cè)系統(tǒng)152包括一個(gè)或多個(gè)機(jī)械臂158。通常，患者側(cè)系統(tǒng)152包括至少三個(gè)機(jī)械手術(shù)臂158A至158C(通常稱為機(jī)械手術(shù)臂158)，所述機(jī)械手術(shù)臂158通過對應(yīng)的定位組合臂(set-uparm)156來支撐。中心機(jī)械手術(shù)臂158C可以支撐內(nèi)窺鏡相機(jī)101C，內(nèi)窺鏡相機(jī)101C適合于捕捉用于相機(jī)視野內(nèi)的圖像的Q3D信息。中心左側(cè)和右側(cè)的機(jī)械手術(shù)臂158A和158B分別可以支撐可操縱組織的器械101A和器械101B。圖6為根據(jù)一些實(shí)施例的患者側(cè)系統(tǒng)152的示意透視圖?；颊邆?cè)系統(tǒng)152包括通過基座172支撐的推車柱170。一個(gè)或多個(gè)機(jī)械插入手術(shù)臂/連桿158分別附接到一個(gè)或多個(gè)組合臂156，組合臂156是患者側(cè)系統(tǒng)152的定位部分的一部分。近似地位于基座172上的中心位置處，推車柱170包括保護(hù)配重子系統(tǒng)和制動(dòng)子系統(tǒng)的部件遠(yuǎn)離污染物的保護(hù)罩180。除監(jiān)控器臂154之外，每個(gè)機(jī)械手術(shù)臂158均用于控制器械101A至101C。而且，在本發(fā)明的一個(gè)實(shí)施例中，每個(gè)機(jī)械手術(shù)臂158均耦接到組合臂156，組合臂156進(jìn)而耦接到托架殼體190。一個(gè)或多個(gè)機(jī)械手術(shù)臂158各自通過其相應(yīng)的組合臂156來支撐，如圖6所示。機(jī)械手術(shù)臂158A至158D各自可以包括一個(gè)或多個(gè)位移換能器、定向傳感器和/或定位傳感器185，以生成原始的未校正的運(yùn)動(dòng)學(xué)信息，從而通過追蹤系統(tǒng)輔助器械的初始獲取和追蹤。在本發(fā)明的一些實(shí)施例中，器械還可以包括位移換能器、定位傳感器和或定向傳感器186。而且，一個(gè)或多個(gè)器械可以包括標(biāo)記189來輔助器械的獲取和追蹤。關(guān)于遠(yuǎn)程操作醫(yī)療系統(tǒng)的附加信息在美國專利申請公開No.US2012/0020547(提交于2011年9月30日)中有所公開。內(nèi)窺鏡成像器系統(tǒng)圖7A為根據(jù)一些實(shí)施例的帶有第一圖像捕捉系統(tǒng)101C的第一內(nèi)窺鏡的示意圖。圖像捕捉系統(tǒng)101C包括內(nèi)窺鏡，內(nèi)窺鏡包括伸長部分202，伸長部分202包括第一端部204和第二端部206以及第一端部204的頂端部分208。第一端部204的尺寸設(shè)定成插入人體體腔中。包括多個(gè)圖像傳感器(未示出)的傳感器陣列210耦接在第一端部204的頂端部分208處。根據(jù)一些實(shí)施例，傳感器陣列210中的每個(gè)傳感器包括像素陣列。伸長部分202具有足以將頂端部分208定位成足夠靠近體腔內(nèi)的目標(biāo)對象的長度，使得可以通過成像器傳感器陣列210來使對象成像。根據(jù)一些實(shí)施例，第二端部206可以包括通常如上所述的物理輪廓和/或結(jié)構(gòu)(未示出)，以便牢固地與機(jī)械臂(未示出)互相配合。伸長部分202還包括一個(gè)或多個(gè)電子信號路徑212以電子地與成像器傳感器陣列210傳達(dá)信息。設(shè)置光源214來照亮要成像的對象。根據(jù)一些實(shí)施例，光源214可以是非結(jié)構(gòu)化的光，例如白光、濾色光或處于一些所選波長的光。根據(jù)一些實(shí)施例，光源214位于頂端208處，而在其他實(shí)施例中其任意地與內(nèi)窺鏡101C分開定位。圖7B為根據(jù)一些實(shí)施例的帶有第二圖像捕捉系統(tǒng)101C2的第二內(nèi)窺鏡的示意圖?；旧吓c帶有第一圖像捕捉系統(tǒng)101C的第一內(nèi)窺鏡相同的第二圖像捕捉系統(tǒng)101C2的方面由相同的參考標(biāo)號指示并且不再描述。到光導(dǎo)管輸入的輸入端諸如棒形透鏡設(shè)置在第一端部204的頂端部分208處。光導(dǎo)管主體在伸長部分202內(nèi)延伸，以便將作為光導(dǎo)管輸入接收的圖像傳輸?shù)匠上衿鱾鞲衅麝嚵?10，成像器傳感器陣列210從頂端部分208物理移置。在一些實(shí)施例中，成像器傳感器陣列210移置到距頂端部分208足夠遠(yuǎn)，使得成像器傳感器陣列210在觀察體腔內(nèi)的對象期間位于人體體腔外部。圖8為示出根據(jù)一些實(shí)施例的與帶有圖7A的第一圖像捕捉系統(tǒng)101C的第一內(nèi)窺鏡101相關(guān)聯(lián)的控制塊，并且示出操作中的系統(tǒng)的示意方框圖。通過成像器傳感器陣列210捕捉的圖像通過數(shù)據(jù)總線212發(fā)送到視頻處理器104，視頻處理器104經(jīng)由總線105與控制器106進(jìn)行通信。視頻處理器104可以包括相機(jī)控制單元(CCU)和視頻信號檢測器(VSD)板。CCU對成像傳感器210的各種設(shè)置諸如亮度、顏色方案、白平衡等進(jìn)行編程或控制。VSD處理從成像傳感器接收的視頻信號。替代地，CCU和VSD結(jié)合到一個(gè)功能塊中。根據(jù)一些實(shí)施例，包括一個(gè)或多于一個(gè)處理器的處理器系統(tǒng)經(jīng)配置執(zhí)行處理器功能。在一些實(shí)施例中，處理器系統(tǒng)包括多個(gè)處理器，所述多個(gè)處理器經(jīng)配置一起進(jìn)行操作以執(zhí)行本文所述的處理器功能。因此，本文提及的經(jīng)配置執(zhí)行一種或多種功能的至少一個(gè)處理器包括處理器系統(tǒng)，在處理器系統(tǒng)中，所述功能可以通過一個(gè)處理器單獨(dú)執(zhí)行或者通過多個(gè)處理器一起工作來執(zhí)行。在一種實(shí)施方式中，包括處理器和存儲(chǔ)設(shè)備(未示出)的控制器106計(jì)算場景中的鄰近伸長部分202的頂端208的點(diǎn)的定量3D坐標(biāo)，并且驅(qū)動(dòng)視頻處理器104和3D顯示器驅(qū)動(dòng)器109兩者來構(gòu)成3D場景，然后3D場景可以顯示在3D顯示器110上。根據(jù)一些實(shí)施例，生成關(guān)于手術(shù)場景的Q3D信息，諸如場景中對象的表面輪廓的尺寸數(shù)值記號或距手術(shù)場景內(nèi)的對象的距離。如下面更充分解釋的那樣，數(shù)值Q3D深度信息可以用于借助距離信息或表面輪廓信息對手術(shù)場景的立體圖像加以注釋。數(shù)據(jù)總線107和數(shù)據(jù)總線108交換信息并且控制視頻處理器104、控制器106和顯示器驅(qū)動(dòng)器109之中的信號。在一些實(shí)施例中，這些元件可以在內(nèi)窺鏡主體內(nèi)部與圖像傳感器陣列210結(jié)合。替代地，它們可以分布在內(nèi)窺鏡的內(nèi)部和/或外部。所示內(nèi)窺鏡經(jīng)由插管140定位以穿透人體組織130，以便提供到包括目標(biāo)120的手術(shù)場景的可視化入口。替代地，內(nèi)窺鏡和一個(gè)或多個(gè)器械還可以穿過單個(gè)開口(單個(gè)切口或自然孔口)以到達(dá)手術(shù)部位。目標(biāo)120可以是解剖目標(biāo)、另一手術(shù)器械或患者身體內(nèi)部的手術(shù)場景的任何其他方面。輸入系統(tǒng)112接收3D視覺表示并且將其提供給處理器106。輸入系統(tǒng)112可以包括耦接到電子通信總線(未示出)的存儲(chǔ)設(shè)備，該存儲(chǔ)設(shè)備從生成3D模型的系統(tǒng)(未示出)接收3D模型，諸如CRT或MRI。處理器106例如可以用于計(jì)算Q3D模型和3D視覺表示之間的預(yù)期對齊。更具體地，在沒有限制的情況下，輸入系統(tǒng)112可以包括處理器，處理器經(jīng)配置在系統(tǒng)152和成像系統(tǒng)(未示出)(諸如MRI、CT或超聲波成像系統(tǒng))之間建立以太網(wǎng)通信連接。可以使用其他成像系統(tǒng)?？梢允褂闷渌愋偷耐ㄐ胚B接，諸如藍(lán)牙、WiFi、光纖等。替代地，系統(tǒng)152和成像系統(tǒng)可以結(jié)合在一個(gè)更大的系統(tǒng)中。對齊過程的結(jié)果可保存在與處理器106相關(guān)聯(lián)的存儲(chǔ)設(shè)備中，為外部設(shè)備或系統(tǒng)或如圖25所顯示的流程提供進(jìn)一步的操縱。添加到場景圖像的Q3D信息的示例再次參考圖4，圖4為示出根據(jù)一些實(shí)施例的圖5的主控制臺(tái)150的觀察器312的透視圖的示意圖。根據(jù)一些實(shí)施例，為提供三維透視圖，觀察器312包括針對每只眼睛的立體圖像。如圖所示，手術(shù)部位的左側(cè)圖像400L和右側(cè)圖像400R包括分別在左側(cè)取景器410L和右側(cè)取景器401R中的任何器械400和目標(biāo)410。取景器中的圖像400L和圖像400R分別可以通過左側(cè)顯示設(shè)備402L和右側(cè)顯示設(shè)備402R來提供。顯示設(shè)備402L、402R可以任選地為一對陰極射線管(CRT)監(jiān)控器、液晶顯示器(LCD)或其他類型的圖像顯示設(shè)備(例如，等離子體、數(shù)字光投影等)。在本發(fā)明的優(yōu)選實(shí)施例中，彩色圖像通過一對彩色顯示設(shè)備402L、402R來提供；諸如彩色CRT或彩色LCD。為支持與現(xiàn)有設(shè)備的向后兼容性，立體顯示設(shè)備402L和402R可以與Q3D系統(tǒng)一起使用。替代地，Q3D成像系統(tǒng)可以連接到3D監(jiān)控器、3DTV或自由立體顯示器，諸如無需使用3D效果眼鏡的顯示器。具有兩個(gè)觀察元件401R、401L的觀察系統(tǒng)可以提供優(yōu)良的3D觀察透視圖。Q3D成像系統(tǒng)使用手術(shù)場景中的物理結(jié)構(gòu)的實(shí)際尺寸信息補(bǔ)充該觀察透視圖。與Q3D內(nèi)窺鏡檢查系統(tǒng)結(jié)合使用的立體觀察器312可以顯示覆蓋在手術(shù)場景的立體圖像上的Q3D信息。例如，如圖4所示，器械400和目標(biāo)410之間的數(shù)字Q3D距離值“d_Instr_Trgt”可以顯示在立體觀察器312內(nèi)?？梢杂糜诟采w手術(shù)場景的3D透視圖上的物理位置和尺寸信息的視頻立體觀察系統(tǒng)的說明在美國專利申請公開No.US2012/0020547(提交于2011年9月30日)的[0043]至[0053]段和對應(yīng)附圖中有所提供，其以引用方式明確地并入本文。處理定量三維物理信息圖9為根據(jù)一些實(shí)施例的表示確定物理目標(biāo)的定量三維位置的過程的流程圖。該過程參考帶有圖8實(shí)施例的圖像捕捉系統(tǒng)101C的內(nèi)窺鏡進(jìn)行描述。模塊401配置控制器106以從成像傳感器Sij獲取視頻數(shù)據(jù)。應(yīng)該認(rèn)識到，雖然圖像傳感器陣列210使全部視野“成像”，但圖像傳感器陣列210中的不同傳感器和不同傳感器內(nèi)的不同像素可以通過來自視野內(nèi)的不同對象點(diǎn)的圖像投影來照亮。例如，視頻數(shù)據(jù)可以包括顏色或光強(qiáng)度數(shù)據(jù)。每個(gè)傳感器的每個(gè)像素可以提供指示投影在其上的圖像的顏色和強(qiáng)度的一個(gè)或多個(gè)信號。模塊402配置控制器以從物理世界視圖(worldview)中的所選感興趣區(qū)域中系統(tǒng)地選擇目標(biāo)。模塊403配置控制器以開始使用初始(x0，y0，z0)設(shè)置計(jì)算目標(biāo)3D坐標(biāo)(x，y，z)。然后，通過使用來自接收目標(biāo)投影圖像的所有傳感器Sij的圖像多樣性數(shù)據(jù)，該算法檢查坐標(biāo)的一致性。坐標(biāo)計(jì)算在決定模塊404處進(jìn)行精確化，直到達(dá)到可接受的精確度。決定模塊404還配置控制器以確定當(dāng)前計(jì)算的物理位置是否足夠精確。響應(yīng)于當(dāng)前計(jì)算的位置不精確的確定，控制流程返回到模塊403以嘗試不同的可能的物理位置。響應(yīng)于當(dāng)前計(jì)算的位置足夠精確的確定，模塊405配置控制器以確定是否已經(jīng)掃描整個(gè)感興趣區(qū)域。響應(yīng)于尚未掃描整個(gè)感興趣區(qū)域的確定，控制流程返回到模塊402并且選擇不同的目標(biāo)。響應(yīng)于已經(jīng)掃描整個(gè)感興趣區(qū)域的確定，控制流程到模塊406，模塊406配置控制器以組合感興趣的成像體積的三維模型?；谥甘灸繕?biāo)的結(jié)構(gòu)的物理位置的三維信息組合目標(biāo)的3D圖像對本領(lǐng)域的技術(shù)人員而言是已知的并且不需要在本文進(jìn)行描述。模塊407配置控制器以存儲(chǔ)通過使用為多個(gè)目標(biāo)確定的物理位置信息而形成的3D模型以用于進(jìn)一步的查看和操縱。例如，3D模型可以稍后用于手術(shù)應(yīng)用，諸如針對患者器官的特定尺寸設(shè)定植入物的尺寸。在又一不同示例中，當(dāng)新手術(shù)器械101安裝在機(jī)器人系統(tǒng)152上時(shí)，需要回調(diào)所述3D模型并且將其顯示在顯示器110上，以便將新器械引用到先前的手術(shù)場景。模塊407還可以存儲(chǔ)3D視覺表示和Q3D模型之間的對齊結(jié)果。模塊408配置控制器以使用為多個(gè)目標(biāo)確定的物理位置信息來顯示定量3D視圖。Q3D視圖的示例是圖4所示的距離值“d_Instr_Trgt”。應(yīng)當(dāng)注意到，三維中的立體顯示產(chǎn)生觀察錯(cuò)覺。然而，實(shí)際的3D顯示呈現(xiàn)3D圖像，諸如全息圖像或投影在曲面上的圖像。通常，3D顯示允許視野移動(dòng)以改變觀察視角。圖10為示出根據(jù)一些實(shí)施例的通常對應(yīng)于圖9的模塊402的過程的某些細(xì)節(jié)的示意流程圖。模塊402.1配置控制器以捕捉來自傳感器陣列210中所有傳感器的物理世界場景的圖像。模塊402.2配置控制器以從捕捉的場景內(nèi)指定感興趣的區(qū)域。模塊402.3配置控制器以搜尋如感興趣區(qū)域內(nèi)的場景圖像之間的最佳匹配，以便識別在不同傳感器中的通過相同目標(biāo)的投影照亮的像素位置。如稍后所解釋，在沒有限制的情況下，通過使來自傳感器Sij的單個(gè)圖像移位，直到移位圖像和基準(zhǔn)圖像之間的二維交叉相關(guān)函數(shù)最大化，可實(shí)現(xiàn)最佳匹配?；鶞?zhǔn)圖像例如可以是從傳感器S11接收的場景圖像。模塊402.4配置控制器以識別通過來自相同目標(biāo)的投影照亮的候選像素。模塊402.5配置控制器以計(jì)算用于所選目標(biāo)的兩個(gè)或更多個(gè)像素坐標(biāo)(Nx，Ny)，從而確定候選像素是否通過來自相同目標(biāo)的投影照亮。決定模塊402.6確定計(jì)算的2D像素坐標(biāo)值是否指示候選像素通過來自相同目標(biāo)的投影照亮。通過使用多個(gè)傳感器Sij觀察相同場景所導(dǎo)致的圖像多樣性在與各種單個(gè)圖像Sij中的具體目標(biāo)相關(guān)聯(lián)的正確識別(Nx，Ny)中起作用。例如，根據(jù)一些實(shí)施例，假設(shè)一種僅使用三個(gè)傳感器S11、S12和S13的簡化情境，如果2D像素坐標(biāo)的三元數(shù)組[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不對應(yīng)于相同目標(biāo)到[S11，S12和S13]上的投影，則數(shù)量和(y方向上投影移位的估計(jì)值)將產(chǎn)生不同的值。根據(jù)稍后提出的方程式，如果像素坐標(biāo)(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)來自相同目標(biāo)的投影，則和應(yīng)該是相等的。如果和不近似相等，則控制流程返回到模塊402.4并且使傳感器平面Sij上的目標(biāo)投影的最佳候選精確化。如上所述，上述僅是算法的簡化實(shí)施。通常，如圖10模塊402.6所示，和之間差的范數(shù)應(yīng)該小于可接受公差ε，以便使模塊402完成其迭代。對于x軸線的對應(yīng)估計(jì)值和應(yīng)滿足類似的限制。響應(yīng)于確定計(jì)算的2D像素坐標(biāo)值(Nx，Ny)確實(shí)指示候選像素通過來自相同目標(biāo)的投影來照亮，則控制流程到至模塊403。應(yīng)該認(rèn)識到，每個(gè)像素直接從世界場景捕捉顏色和強(qiáng)度信息。而且，根據(jù)上述過程，每個(gè)像素與投影在像素上的世界視圖中物理對象的(x，y，z)坐標(biāo)相關(guān)聯(lián)。因此，顏色信息、照明強(qiáng)度信息和物理位置信息，即被投影的物理對象的顏色和照明以及位置，可以與非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)設(shè)備中的像素相關(guān)聯(lián)。下面表格1示出該關(guān)聯(lián)。表格1像素標(biāo)識符顏色值強(qiáng)度值位置(x，y，z)確定Q3D信息的示例投影匹配的示例圖11為根據(jù)一些實(shí)施例的示例傳感器陣列210的示意圖，傳感器陣列210包括傳感器S11至S33的陣列，傳感器S11至S33的陣列被設(shè)置為具有包括示例性三維物理世界場景的視野，該場景包括三個(gè)示例性對象。陣列中的每個(gè)傳感器Sij包括像素的二維排列，所述排列在每個(gè)維度中至少具有兩個(gè)像素。每個(gè)傳感器包括透鏡堆疊(lensstack)，透鏡堆疊創(chuàng)建單獨(dú)的光學(xué)通道，光學(xué)通道將圖像分解到設(shè)置在透鏡堆疊的焦平面中的對應(yīng)像素排列上。每個(gè)像素用作光傳感器，并且每個(gè)焦平面和其多個(gè)像素一起用作圖像傳感器。每個(gè)傳感器S11至S33和其焦平面一起占據(jù)的傳感器陣列區(qū)域與其他傳感器和焦平面占據(jù)的傳感器陣列區(qū)域不同。合適的已知圖像傳感器在美國專利No.US8,514,491(提交于2010年11月22日)和美國專利申請公開No.US2013/0070060(提交于2012年9月19日)中有所公開，所述專利在上面進(jìn)行了描述。根據(jù)一些實(shí)施例，傳感器的特征為Nx和Ny(傳感器在x方向和y方向上的像素的總數(shù))，以及視野角度θx和θy。在一些實(shí)施例中，期望x軸線和y軸線的傳感器特征是相同的。然而，在替代實(shí)施例中，傳感器具有不對稱的x軸線特征和y軸線特征。類似地，在一些實(shí)施例中，所有的傳感器將具有相同的像素總數(shù)和相同的視野角度。傳感器以良好受控制的方式分布在整個(gè)傳感器陣列210中。例如，傳感器可以在所示的二維格網(wǎng)上以δ距離分開。傳感器布置間距δ在整個(gè)此格網(wǎng)上可以對稱或不對稱。在圖11所示的實(shí)施例中，傳感器排列在矩形格網(wǎng)中，在該矩形格網(wǎng)中，傳感器S11至S13占據(jù)頂行，傳感器S21至S23占據(jù)中間行，并且傳感器S31至S33占據(jù)底行。每個(gè)傳感器包括N行像素和N列像素。由虛線指示的通過光源產(chǎn)生的光線從三角形的第一對象、球形的第二對象和矩形的第三對象中的每個(gè)反射到成像器陣列中的每個(gè)傳感器。為了進(jìn)行示意性的說明，僅示出到頂行中的傳感器S11、S12和S13的光線。例如，光源可以是非結(jié)構(gòu)化的白光或背景光。替代地，光源可以提供處于所選波長的光，諸如例如在可見光譜或紅外線光譜中的光，或者光可以被過濾或分割以提供所選波長(例如，顏色)或波長范圍(例如，顏色范圍)。應(yīng)該認(rèn)識到，光線類似地從目標(biāo)中的每個(gè)反射到傳感器S21至S33。然而，為了簡化說明，未示出這些其他光線。根據(jù)模塊401和模塊402.1，傳感器陣列210的傳感器單獨(dú)地從世界視圖中捕捉圖像。圖12為根據(jù)一些實(shí)施例的表示圖11的三個(gè)對象到傳感器Sij(僅示出S11、S12和S13)上的投影的示意圖。本領(lǐng)域的技術(shù)人員將認(rèn)識到入射在傳感器上的反射光線投影視野中的物體的圖像。更具體地，從視野中的對象反射出的入射到成像器陣列的多個(gè)不同圖像傳感器上的光線在接收反射光線的每個(gè)傳感器中產(chǎn)生對象的從三維到二維的透視投影，即不同投影。具體地，當(dāng)從S11前進(jìn)到S12到S13時(shí)，對象投影的相對位置從左側(cè)移位到右側(cè)。通過入射光線照亮的圖像傳感器像素響應(yīng)于入射光產(chǎn)生電信號。因此，對于每個(gè)圖像傳感器，響應(yīng)于指示該圖像傳感器內(nèi)的圖像投影的形狀和位置的反射光，通過該圖像傳感器的像素產(chǎn)生電信號的圖案。根據(jù)模塊402.2，感興趣的區(qū)域選自世界場景。圖13為指示從場景內(nèi)選擇感興趣區(qū)域的示意圖。在該示例中，三角形的第一對象、球形的第二對象和矩形的第三對象均在所選的感興趣區(qū)域中。該步驟可以通過接受來自操作者的輸入來實(shí)現(xiàn)，或者其可以使用由軟件以規(guī)定方式配置的計(jì)算機(jī)來自動(dòng)執(zhí)行，或者通過操作者輸入和自動(dòng)軟件控制選擇的組合實(shí)現(xiàn)。例如，在一些實(shí)施例中，世界場景可以示出人類解剖結(jié)構(gòu)的內(nèi)腔，并且對象可以是內(nèi)部人體器官或手術(shù)器械或其部分。外科醫(yī)生可以從內(nèi)腔內(nèi)接收實(shí)時(shí)視覺影像，并且可以看到人類解剖結(jié)構(gòu)的組織區(qū)域和在體腔內(nèi)突出的手術(shù)器械的一部分。外科醫(yī)生可以指定視野內(nèi)的那些對象，對象的位置信息通過眾所周知的技術(shù)來確定，所述技術(shù)諸如遠(yuǎn)程圖顯視頻標(biāo)記。替代地或另外地，此操作者請求，自動(dòng)化處理諸如邊緣檢測算法可以用于指定感興趣區(qū)域(ROI)。根據(jù)模塊402.3，確定在感興趣區(qū)域內(nèi)的場景圖像之間的最佳匹配，以便識別不同傳感器中的通過相同目標(biāo)的投影照亮的像素位置。圖14為示出根據(jù)一些實(shí)施例的關(guān)于傳感器S11、S12和S13中投影圖像的相對幾何偏移的附加細(xì)節(jié)的示意圖。根據(jù)一些實(shí)施例，來自傳感器S13的圖像被認(rèn)為是基準(zhǔn)圖像，并且所選ROI中的對象的投影相對于它們在傳感器S13中的位置在傳感器S12中按照量σ23像素向右偏移。類似地，所選ROI中的對象的投影相對于它們在傳感器S13中的位置在傳感器S11中按照量σ13像素向右偏移。應(yīng)該認(rèn)識到，由于傳感器S12、S11的視野(FOV)觀察軸各自偏移到傳感器S13的FOV觀察軸的右側(cè)(此類觀察軸垂直于傳感器平面)，所以來自ROI的投影圖像相對于傳感器S11在傳感器S13和傳感器S12中向左偏移。圖15為示出根據(jù)一些實(shí)施例的ROI內(nèi)的傳感器S11和S12中的投影圖像的示意圖，所述投影圖像向右側(cè)移位以與ROI內(nèi)的傳感器S13中的投影圖像對齊。在當(dāng)前示例中，傳感器S13被指定用作基準(zhǔn)傳感器。應(yīng)該認(rèn)識到，可選擇其他傳感器用于確定對齊和幾何尺寸。所選ROI內(nèi)對象的投影在指定傳感器例如傳感器S13中被識別，并且在其他傳感器例如傳感器S11和傳感器S12中的投影被移位直到其與指定傳感器中的投影對齊。用這種方式，可以在其他傳感器內(nèi)識別所選ROI內(nèi)對象的對應(yīng)投影，連同其相對于指定傳感器中投影的位置的偏移。具體地，例如，三個(gè)示例對象的投影在傳感器S12中按照量σ23像素向右移位，并且三個(gè)示例性對象的投影在傳感器S13中按照量σ13像素向右移位。在示例性示例中，為了簡化說明，假設(shè)投影僅在y方向上偏移不在x方向上偏移，但是相同的原則應(yīng)用于如傳感器之間的x方向投影偏移。然而，雖然該示例示出線性偏移，但本領(lǐng)域的技術(shù)人員可以應(yīng)用其他轉(zhuǎn)換諸如旋轉(zhuǎn)，以使不同傳感器中的具有相對偏移的投影對齊。根據(jù)一些實(shí)施例，例如，二維(2D)交叉相關(guān)技術(shù)或主成分分析(PCA)可以用于將S13中ROI內(nèi)的投影與S12中ROI內(nèi)的投影對齊，并且將S13中ROI內(nèi)的投影與S11中ROI內(nèi)的投影對齊。通常，希望關(guān)于指定為基準(zhǔn)的傳感器的圖像最佳匹配或?qū)R來自傳感器Sij的圖像。更具體地，S12中ROI內(nèi)的投影圖像被移位并且與S13中ROI內(nèi)的投影圖像交叉相關(guān)，直到實(shí)現(xiàn)最高的相關(guān)系數(shù)。同樣地，S11中ROI內(nèi)的投影圖像被移位并且與S13中ROI內(nèi)的投影圖像交叉相關(guān)，直到實(shí)現(xiàn)最高的相關(guān)系數(shù)。因此，ROI的投影對齊用于通過確定S13中ROI的投影和S12中ROI的投影之間的偏移，并且通過確定S13中ROI的投影和S11中ROI的投影之間的偏移，來識別傳感器S11和傳感器S12中ROI的投影位置。候選像素選擇和精確化的示例根據(jù)模塊402.4，識別在不同傳感器內(nèi)的候選像素，根據(jù)最佳匹配過程，所述不同傳感器通過來自相同目標(biāo)的投影照亮。一旦已經(jīng)在傳感器S11、S12和S13中的每個(gè)中識別ROI內(nèi)的對象的投影，則可確定ROI內(nèi)單個(gè)目標(biāo)點(diǎn)相對于成像器陣列的物理(x，y，z)投影。根據(jù)一些實(shí)施例，對于ROI內(nèi)多個(gè)目標(biāo)點(diǎn)中的每個(gè)，識別通過來自目標(biāo)點(diǎn)的投影照亮的多個(gè)傳感器中的每個(gè)內(nèi)的一個(gè)或多個(gè)像素。對于每個(gè)此目標(biāo)點(diǎn)，至少部分基于設(shè)置在確定通過來自目標(biāo)點(diǎn)的投影照亮的不同傳感器中的像素之間的幾何關(guān)系確定物理(x，y，z)目標(biāo)點(diǎn)位置。應(yīng)該認(rèn)識到，一系列的目標(biāo)點(diǎn)可以通過系統(tǒng)地遍歷ROI(例如，以特定的步長大小從右向左并且以步長大小從上到下)來自動(dòng)選擇，并且可以確定每個(gè)所選目標(biāo)點(diǎn)的物理(x，y，z)目標(biāo)點(diǎn)位置。由于S11和S12與S13最佳匹配，所以遍歷在移位的感興趣區(qū)域內(nèi)部執(zhí)行。選擇目標(biāo)包括識別通過目標(biāo)的投影照亮的傳感器S11、S12和S13中的每個(gè)中的像素。因此，S11、S12和S13中的每個(gè)中的候選像素被識別為通過所選目標(biāo)點(diǎn)的投影照亮的像素。換言之，為了選擇目標(biāo)點(diǎn)T，在通過目標(biāo)點(diǎn)T的投影照亮的傳感器S11、S12和S13中的每個(gè)中選擇像素。應(yīng)該認(rèn)識到，目標(biāo)T的(x，y，z)物理位置在其選擇的時(shí)候是未知的。而且，應(yīng)該認(rèn)識到，上述對齊過程的不精確可以導(dǎo)致每個(gè)傳感器中哪些像素被所選目標(biāo)T的投影照亮的確定的不精確。因此，如參考圖17、圖18和圖19所解釋，根據(jù)通過當(dāng)前所選目標(biāo)T的投影照亮的S11、S12和S13中的每個(gè)中的像素確定的精確度作出進(jìn)一步確定。繼續(xù)上述示例，假設(shè)三角形的第一對象為當(dāng)前所選目標(biāo)點(diǎn)。圖16為示出根據(jù)一些實(shí)施例的所選三角形目標(biāo)點(diǎn)到傳感器S11、S12和S13上的投影的示意圖。根據(jù)這些投影，確定目標(biāo)T的2D像素坐標(biāo)[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]。為了簡單化，圖16僅示出y軸像素坐標(biāo)。使用這些2D像素坐標(biāo)，應(yīng)用表達(dá)式(402.5-1)和(402.5-2)并且計(jì)算的和作為模塊402.5的一部分。作為模塊402.6的一部分，計(jì)算范數(shù)并且將其與可接受公差ε相比。類似地，計(jì)算x軸像素坐標(biāo)和位置估計(jì)值并且將其與可接受公差相比較。如果模塊402.6的條件滿足，則過程繼續(xù)到模塊403。否則，過程返回到模塊402.4以使目標(biāo)候選進(jìn)一步精確化。參考圖17，其示出包括傳感器S11、S12和S13的成像器陣列的一部分，和設(shè)置在物理空間中的位置(x，y，z)處的所選三角形第一對象目標(biāo)點(diǎn)T。成像器陣列內(nèi)的傳感器在其之間具有已知間距δij。S11和S12之間的物理位置間距為δ12，并且S12和S13之間的物理位置間距為δ23。在一些實(shí)施例中，所有傳感器Sij之間的間距是相同的、等于δ的構(gòu)造規(guī)格。傳感器Sij還具有已知的視野角度θ。如上所解釋，在一些實(shí)施例中，每個(gè)傳感器構(gòu)造成2D成像元件，其中像素以行和列的矩形圖案排列。替代地，像素可以例如環(huán)形圖案、之字形圖案、分散圖案或以包括子像素偏移的不規(guī)則圖案排列。這些元件的角度和像素特性可以相同，或替代地傳感器之間彼此可不同。然而，這些特性假設(shè)為已知。為了簡化說明，假設(shè)傳感器相同，但是，然而，它們可以不同。為了簡化起見，假設(shè)所有的傳感器Sij均具有N×N像素。在距傳感器S11的距離z處，傳感器的N像素寬度向外擴(kuò)展到通過FOV1指示的S11的y維度視野。同樣地，在距傳感器S12的距離z處，傳感器S12的y維度視野通過FOV2來指示。而且，在距傳感器S13的距離z處，傳感器S13的y維度視野通過FOV3來指示。長度FOV1、FOV2和FOV3彼此重疊，預(yù)示著傳感器S11、S12和S13實(shí)現(xiàn)物理地位于一些(未知的)距離z處的目標(biāo)T的3路采樣多樣性。當(dāng)然，如果傳感器相同地構(gòu)建，如在示例中所假設(shè)的，則長度FOV1、FOV2和FOV3也將相同。應(yīng)該認(rèn)識到，三個(gè)長度FOV1、FOV2和FOV3均具有相同的大小并且共面，因?yàn)樗鼈兲幱诰喑上衿麝嚵邢嗤?未知的)z距離處，但是為了進(jìn)行示意性的說明，將它們描繪成如同它們彼此鄰近堆疊。參考圖18，其示出當(dāng)前所選目標(biāo)點(diǎn)T到圖像傳感器S11、S12和S13上的投影的示意性正視圖。為了簡化起見，假設(shè)傳感器包括大小為N×N像素的幾何學(xué)矩形像素陣列。還假設(shè)目標(biāo)T投影的x坐標(biāo)均相等。換言之，假設(shè)對于目標(biāo)T到S11、S12和S13上的投影，nx1＝nx2＝nx3。為了簡化說明，還假設(shè)水平的幾何視野角度θ與其垂直時(shí)相同，θx＝θy。如果上述假設(shè)中的任一個(gè)改變，本領(lǐng)域的技術(shù)人員將知道如何修改下面提出的過程，以便計(jì)算目標(biāo)T的x、y和z物理坐標(biāo)。目標(biāo)T的圖像在圖像傳感器S11的平面中，投影到傳感器S11內(nèi)的幾何坐標(biāo)(nx1，ny1)處的物理點(diǎn)。更具體地，目標(biāo)點(diǎn)T到傳感器S11上的投影沿y軸線位于ny1像素，并且沿x軸線位于nx1像素，x軸線和y軸線均取自原點(diǎn)。目標(biāo)T的圖像在圖像傳感器S12的平面中，投影到傳感器S12內(nèi)的幾何坐標(biāo)(nx2，ny2)處的物理點(diǎn)。目標(biāo)T的圖像在圖像傳感器S13的平面中，投影到傳感器S13內(nèi)的幾何坐標(biāo)(nx3，ny3)處的物理點(diǎn)。應(yīng)該認(rèn)識到，每個(gè)傳感器內(nèi)的像素位置(nxi，nyi)相對于提供給傳感器的原點(diǎn)(0，0)基準(zhǔn)坐標(biāo)來確定。如圖17或圖19所示，全球坐標(biāo)系(x，y，z)被定義并且用于引用目標(biāo)。例如，在沒有限制的情況下，此類坐標(biāo)系的原點(diǎn)可以放置在傳感器S11的幾何中心處。參考圖16和圖18兩者，可以看出目標(biāo)的投影的y像素距離在每個(gè)傳感器中是不同的。當(dāng)前所選目標(biāo)T的投影在S11中被設(shè)置到原點(diǎn)左側(cè)的ny1像素。所選目標(biāo)T的投影在S12中被設(shè)置到原點(diǎn)左側(cè)的ny2像素。所選目標(biāo)T的投影在S13中被設(shè)置到原點(diǎn)左側(cè)的ny3像素。如上所述，為簡化說明，假設(shè)目標(biāo)的投影在所有三個(gè)傳感器中均落在距原點(diǎn)相同的x像素距離處。參考圖19，其示出當(dāng)前所選目標(biāo)T相對于如上參考圖17所述的傳感器S11、S12和S13的布置，并且還示出在傳感器中的每個(gè)中的候選像素的y方向像素偏移。應(yīng)該理解，圖19的附圖提出用于確定所選目標(biāo)點(diǎn)T的(x，y，z)物理坐標(biāo)的物理結(jié)構(gòu)和分析框架。在距成像器陣列平面的(未知的)距離z處，每個(gè)傳感器的y方向視野延伸過標(biāo)記為FOVi的長度。在一些實(shí)施例中，該長度FOVi對應(yīng)于傳感器的最大像素寬度，最大像素為N像素?？紤]到工作假設(shè)為傳感器具有x方向和y方向上對稱的視野，長度還可以是沿x軸線是豎直的FOVi。如上所述，候選像素選擇至少部分地基于可以具有不確定水平的關(guān)聯(lián)過程，該關(guān)聯(lián)過程可以導(dǎo)致所選目標(biāo)的物理位置的確定不精確。因此，根據(jù)一些實(shí)施例，進(jìn)一步檢查目標(biāo)投影候選選擇的精確度可以如下進(jìn)行。確定目標(biāo)的物理(x，y)位置并檢查目標(biāo)投影候選選擇的精確度的示例根據(jù)模塊402.5，為所選目標(biāo)計(jì)算兩個(gè)或更多個(gè)二維(Nx，Ny)坐標(biāo)值，以確定來自相同目標(biāo)的投影實(shí)際上是否照亮候選像素。基于上面討論的假設(shè)并且將3D坐標(biāo)系的原點(diǎn)放置在傳感器S11的中心處，圖19中的示例中的成像器陣列和當(dāng)前所選目標(biāo)T具有如下關(guān)系：其中：N為成像傳感器的像素維度；nx1為目標(biāo)點(diǎn)T的以在x方向上距S11平面的原點(diǎn)的像素?cái)?shù)目來表達(dá)的位置；ny1為目標(biāo)點(diǎn)T的以在y方向上距離S11平面的原點(diǎn)的像素?cái)?shù)目來表達(dá)的位置；ny2為目標(biāo)點(diǎn)T的以在y方向上距離S12平面的原點(diǎn)的像素?cái)?shù)目來表達(dá)的位置；以及ny2為目標(biāo)點(diǎn)T的以在y方向上距離S12平面的原點(diǎn)的像素?cái)?shù)目來表達(dá)的位置；θ為視野的角度。而且，如果使用傳感器S11和傳感器S13執(zhí)行相同的公式并且假定S11和S13之間的間隔為2δ，則我們得到：其中：nx3為目標(biāo)點(diǎn)T的以在x方向上距S13平面的原點(diǎn)的像素?cái)?shù)目表達(dá)的位置；以及ny3為目標(biāo)點(diǎn)T的以在y方向上距S13平面的原點(diǎn)的像素?cái)?shù)目表達(dá)的位置。因此，所選目標(biāo)T的物理x坐標(biāo)的確定可以基于表達(dá)式(3)或表達(dá)式(6)來確定。所選目標(biāo)T的物理y坐標(biāo)的確定可以基于表達(dá)式(2)或表達(dá)式(5)來確定。所選目標(biāo)T的物理z坐標(biāo)的確定可以基于方程式(1)或方程式(4)來確定。更一般地說，根據(jù)模塊402.6，作出關(guān)于計(jì)算的2D坐標(biāo)值是否指示候選像素通過來自相同目標(biāo)的投影照亮的確定。應(yīng)該認(rèn)識到，目標(biāo)T的物理(x，y，z)坐標(biāo)的更可靠的確定可以通過使用用于每個(gè)坐標(biāo)的兩個(gè)公式來得到。例如，用于目標(biāo)T的y坐標(biāo)可以使用公式(2)和公式(5)兩者來確定。如果使用兩個(gè)公式計(jì)算的所得y坐標(biāo)值相差超過某些可接受公差值εy，則可以作出以下確定，即匹配過程未能夠以足夠精確度解決不同傳感器中的投影之間的偏移，并且因此候選像素不相符，因?yàn)樗鼈儧]有接收到來自相同目標(biāo)T的投影。在y計(jì)算匹配失敗的情況下，可執(zhí)行匹配過程的另外的迭代，試圖改善各自對應(yīng)于所選目標(biāo)T的傳感器內(nèi)的候選像素的選擇。應(yīng)該認(rèn)識到，因?yàn)椴煌瑐鞲衅魃系牟煌敢曂队坝捎诶缫暡钚?yīng)而可以不同，因此計(jì)算的y值不太可能相等。因此，可接受公差值根據(jù)預(yù)期的應(yīng)用加以規(guī)定。對于手術(shù)成像應(yīng)用，0.1mm至0.3mm的ε通常提供可接受的Q3D精確度。在沒有背離本發(fā)明的精神的情況下，本領(lǐng)域的技術(shù)人員可以定義不同的可接受公差水平。考慮到圍繞x軸線和y軸線的假設(shè)的傳感器對稱性，本領(lǐng)域的技術(shù)人員將認(rèn)識到，使用類似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同類型的確定。公式(3)和公式(6)不可以作為402.5和402.6的一部分被使用，因?yàn)樗龉叫枰獄坐標(biāo)的知識。然而，模塊402.5和模塊402.6的本質(zhì)是確定傳感器S11、S12和S13的平面上的正確目標(biāo)投影。為此，針對x軸線和y軸線調(diào)整的公式(2)和公式(5)是足夠的。完整的一組坐標(biāo)(x，y，z)作為模塊403和模塊404的一部分被計(jì)算，如下文所述。確定目標(biāo)的物理z位置的示例如圖19所示，根據(jù)模塊403和404，z坐標(biāo)的初始估計(jì)值z0用于開始實(shí)施計(jì)算過程。根據(jù)醫(yī)療應(yīng)用，該初始值被自動(dòng)定義。醫(yī)療應(yīng)用定義要進(jìn)行可視化的預(yù)期世界視圖。初始值z0開始于最接近內(nèi)窺鏡的視野邊緣。參考圖8，例如，對于包括手術(shù)內(nèi)窺鏡檢查的Q3D應(yīng)用，z0可以遠(yuǎn)離Q3D內(nèi)窺鏡202的遠(yuǎn)端2081mm至5mm。此初始估計(jì)值通常足以用于該應(yīng)用，因?yàn)椴惶赡苁谷魏谓M織或手術(shù)器械如此緊密接近Q3D內(nèi)窺鏡的存在。接下來，將值z0插入公式(3)和公式(6)中。假設(shè)目標(biāo)的x坐標(biāo)是唯一的，則如果z0為目標(biāo)的真實(shí)且正確的z坐標(biāo)，那么公式(3)和公式(6)可產(chǎn)生在可接受的公差水平εx內(nèi)的相同值或大致相等的值。|x(3)-x(6)|＜εx(7)如果(3)和(6)在可接受的公差εx以外，那么迭代繼續(xù)并且嘗試z的新估計(jì)值。根據(jù)一些實(shí)施例，新估計(jì)值被自動(dòng)定義。例如，z1＝z0+Δ，其中Δ為迭代的步長。通常，在第k次迭代處，zk＝zk-1+Δ。當(dāng)滿足條件(7)時(shí)，迭代過程停止。在確定正確的目標(biāo)坐標(biāo)時(shí)，更小的Δ產(chǎn)生增加的精確度，但還需要更多計(jì)算時(shí)間以完成該過程，因此等待時(shí)間增加。等待時(shí)間增加可以導(dǎo)致手術(shù)器械的移動(dòng)和通過操作的外科醫(yī)生對其可視化之間的延遲。換言之，外科醫(yī)生可以落后于命令感知系統(tǒng)。對于20cm至30cm深的手術(shù)觀察空間，0.1mm至0.3mm的Δ可以是足夠的。當(dāng)然，本領(lǐng)域的技術(shù)人員將知道平衡Δ的步長和完成迭代過程所需的計(jì)算時(shí)間。出于展示的原因，已將上述說明簡化，并且因此其僅包括三個(gè)傳感器S11、S12和S13。通常，更多個(gè)傳感器不僅可以用于增加Q3D坐標(biāo)計(jì)算的精確度，而且減少總體迭代次數(shù)。例如，如果使用多于三個(gè)的傳感器，優(yōu)選地3×3傳感器陣列，則可以利用方法諸如最陡梯度法以趨向通過模塊402.5和模塊403造成的估計(jì)誤差的方向。迭代步長和方向可以被調(diào)整以匹配朝向3D誤差梯度表面的局部極值的進(jìn)展。借助Q3D信息引導(dǎo)內(nèi)窺鏡手術(shù)圖20為根據(jù)一些實(shí)施例的表示在手術(shù)程序期間使用Q3D信息的第一過程2000的示意流程圖。計(jì)算機(jī)程序代碼配置計(jì)算機(jī)151以執(zhí)行過程2000。模塊2002配置計(jì)算機(jī)以接收用戶輸入，從而當(dāng)看向觀察器312時(shí)選擇在外科醫(yī)生視野內(nèi)的至少兩個(gè)對象。模塊2004配置計(jì)算機(jī)以響應(yīng)于接收用戶選擇在計(jì)算機(jī)控制臺(tái)上顯示菜單。決定模塊2006配置計(jì)算機(jī)以確定到菜單的顯示距離的用戶輸入是否被接收。響應(yīng)于確定顯示距離的用戶輸入被接收，模塊2008配置計(jì)算機(jī)以在外科醫(yī)生視野中的視頻圖像內(nèi)顯示數(shù)值距離。決定模塊2010配置計(jì)算機(jī)以等待接收選擇距離顯示的用戶輸入的規(guī)定時(shí)間間隔，并且響應(yīng)于在“超時(shí)”間隔內(nèi)未接收到用戶輸入而結(jié)束決定模塊2006的操作。決定模塊2012配置計(jì)算機(jī)以確定到菜單的輸入/錄入(enter)接近度(proximity)警報(bào)界限的用戶輸入是否被接收。響應(yīng)于確定輸入接近度閾值的用戶輸入被接收，模塊2014配置計(jì)算機(jī)以使用Q3D信息來監(jiān)控外科醫(yī)生視野內(nèi)的兩個(gè)或更多個(gè)對象之間的接近度。決定模塊2016確定是否已經(jīng)越過接近度閾值。響應(yīng)于確定已經(jīng)越過接近度閾值，模塊2018配置計(jì)算機(jī)以激活警報(bào)。警報(bào)可以包括聲音、視覺隊(duì)列諸如閃光信號燈、器械移動(dòng)的鎖定以避免碰撞，或其他觸覺反饋。響應(yīng)于確定還未越過接近度閾值，控制流程返回到監(jiān)控模塊2014。決定模塊2020配置計(jì)算機(jī)以等待接收輸入接近度閾值的用戶輸入的規(guī)定時(shí)間間隔，并且響應(yīng)于在“超時(shí)”間隔內(nèi)未接收到用戶輸入而結(jié)束決定模塊2012的操作。圖21為示出根據(jù)一些實(shí)施例的按照圖20過程在顯示屏2102上所顯示的菜單選擇的示意圖。顯示屏2102包括與計(jì)算機(jī)151相關(guān)聯(lián)的觀察監(jiān)控器。替代地，顯示屏2102可以包括觀察器312的觀察元件401R、401L的區(qū)域。響應(yīng)于用戶輸入，模塊2004使菜單2104得以顯示，菜單2104包括第一菜單項(xiàng)“顯示距離”2106和第二菜單項(xiàng)“設(shè)定接近度警報(bào)”2108。響應(yīng)于選擇“顯示距離”菜單項(xiàng)2106的用戶輸入，模塊2008使兩個(gè)或更多個(gè)對象之間的Q3D距離得以顯示。再次參考圖4，其示出器械400和使用模塊2008顯示的目標(biāo)之間的Q3D距離“d_Instr_Trgt”的顯示。響應(yīng)于選擇“設(shè)定接近度警報(bào)”菜單項(xiàng)2108的用戶輸入，顯示“輸入距離”UI輸入2110，UI輸入2110包括用戶可以輸入接近度距離閾值例如1cm的欄。在替代實(shí)施例(未示出)中，可以提前為所有器械設(shè)定默認(rèn)的接近度閾值，并且用戶可以使用例如圖21的菜單來改變接近度閾值。在替代實(shí)施例中，用戶可以決定選擇默認(rèn)閾值而不是輸入閾值。在一些實(shí)施例中，用戶可以選擇顯示距離和設(shè)定接近度警報(bào)兩者。圖22A至圖22B為表示根據(jù)一些實(shí)施例的按照圖20的過程接收用戶輸入的某些細(xì)節(jié)的示意圖。圖22A示出目標(biāo)410L、401R諸如人體組織的示例第一高光區(qū)域2202L、2202R，第一高光區(qū)域可以使用視頻標(biāo)記工具諸如遠(yuǎn)程圖顯，或者使用操縱圖4的控制輸入設(shè)備160的外科醫(yī)生控制臺(tái)創(chuàng)建。圖22B示出器械頂端400L、400R的示例第二高光區(qū)域2206L、2206R，第二高光區(qū)域可以使用視頻標(biāo)記工具創(chuàng)建。在根據(jù)一些實(shí)施例的操作中，用戶創(chuàng)建第一高光區(qū)域2202L、2202R。接下來，用戶使用視頻標(biāo)記工具來創(chuàng)建器械頂端400L、400R的示例第二高光區(qū)域2206L、2206R。應(yīng)該理解，將項(xiàng)加亮的順序并不重要。然后用戶致動(dòng)選擇器(未示出)(例如，按壓ENTER鍵)以輸入選擇。模塊2002將接收到的用戶輸入解釋為目標(biāo)圖像410L、410R和器械圖像400L、400R的選擇。圖23為表示根據(jù)一些實(shí)施例的在手術(shù)程序期間使用Q3D信息的第二過程2300的示意流程圖。計(jì)算機(jī)程序代碼配置計(jì)算機(jī)151以執(zhí)行過程2300。模塊2302配置計(jì)算機(jī)以接收用戶輸入，從而當(dāng)看向觀察器312時(shí)選擇外科醫(yī)生視野內(nèi)的對象。例如，再次參考圖22A，其示出用戶輸入被接收以使用視頻標(biāo)記工具來創(chuàng)建器械頂端400L、400R的第二高光區(qū)域2206L、2206R。用戶輸入(未示出)被接收，以致動(dòng)選擇器(未示出)(例如，按壓ENTER鍵)從而輸入器械頂端400L、400R的圖像的選擇。再一次返回到圖23，響應(yīng)于接收用戶選擇，模塊2304配置計(jì)算機(jī)以在計(jì)算機(jī)控制臺(tái)上顯示菜單。決定模塊2306配置計(jì)算機(jī)以確定到菜單的使所選對象的圖像旋轉(zhuǎn)的用戶輸入是否被接收。響應(yīng)于確定使圖像旋轉(zhuǎn)的用戶輸入被接收，模塊2308配置計(jì)算機(jī)以使圖像旋轉(zhuǎn)從而示出對象的不同三維透視圖。決定模塊2310配置計(jì)算機(jī)以等待接收使圖像旋轉(zhuǎn)的用戶輸入的規(guī)定時(shí)間間隔，并且響應(yīng)于在“超時(shí)”間隔內(nèi)未接收到用戶輸入而結(jié)束決定模塊2306的操作。圖24為示出根據(jù)一些實(shí)施例的按照圖23的過程在顯示屏2402上所顯示的菜單選擇的示意圖。顯示屏2402包括與計(jì)算機(jī)151相關(guān)聯(lián)的觀察監(jiān)控器。替代地，顯示屏2402可以包括觀察器312的觀察元件401R、401L的區(qū)域。響應(yīng)于接收到的用戶輸入，模塊2304使菜單2404得以顯示，菜單2404包括第三菜單項(xiàng)“向左旋轉(zhuǎn)”2406和第四菜單項(xiàng)“向右旋轉(zhuǎn)”2408。響應(yīng)于選擇第三菜單項(xiàng)2406或第四菜單項(xiàng)2408中的一個(gè)或另一個(gè)的用戶輸入，模塊2308使按照圖9的模塊407創(chuàng)建并存儲(chǔ)的3D模型旋轉(zhuǎn)。應(yīng)該認(rèn)識到，由于傳感器成像器陣列210具有有限的總體視野，所以旋轉(zhuǎn)量可以限制到幾度，例如小于30度。由Q3D內(nèi)窺鏡檢查系統(tǒng)提供的觸覺反饋觸覺學(xué)通常描述觸摸反饋，觸摸反饋可以包括動(dòng)覺的(力)和皮膚的(觸知)反饋，以及振動(dòng)和移動(dòng)。在手動(dòng)微創(chuàng)手術(shù)(MIS)中，外科醫(yī)生經(jīng)由長軸感覺器械和患者的相互作用，長軸消除了觸知提示和掩模力(masksforce)提示。在遠(yuǎn)程操作手術(shù)系統(tǒng)中，因?yàn)橥饪漆t(yī)生不再直接操縱器械，所以自然的觸覺反饋大部分被消除。在遠(yuǎn)程操作微創(chuàng)手術(shù)系統(tǒng)中，觸覺技術(shù)的目的在于提供“透明性”，其中外科醫(yī)生不會(huì)感覺好像他正在操作遠(yuǎn)程機(jī)構(gòu)，而是他自己的手正在接觸患者。描述這個(gè)概念的另一種方式為觸覺遠(yuǎn)程呈現(xiàn)。通常，這需要在患者側(cè)設(shè)備上的人造觸覺傳感器以獲取觸覺信息，并且需要在外科醫(yī)生側(cè)上的觸覺顯示器以將感測到的信息傳達(dá)給外科醫(yī)生。動(dòng)覺的或力反饋系統(tǒng)通常測量或估計(jì)通過手術(shù)器械施加到患者的力，并且經(jīng)由力反饋設(shè)備將分解的力提供到手部。觸知反饋可以用于提供信息，諸如局部組織變形和整個(gè)組織表面上的壓力分布。觸知反饋可用于例如模擬觸診，在觸診中外科醫(yī)生使用指尖來檢測組織的局部機(jī)械性質(zhì)，諸如順從性、黏度和表面紋理，這些局部機(jī)械性質(zhì)是組織健康的指示。參見OkamuraA.M.的“機(jī)器人輔助微創(chuàng)手術(shù)中的觸覺反饋(HapticFeedbackinRobot-AssistedMinimallyInvasiveSurgery)”，CurrentOpinioninUrology，2009年，第19(1)卷，第102頁至第107頁。具有已知硬度的組織結(jié)構(gòu)的變形可以根據(jù)施加于其上的力來確定，并且相反地，施加于具有已知硬度的組織結(jié)構(gòu)的力可以根據(jù)組織結(jié)構(gòu)變形確定。響應(yīng)于由外科醫(yī)生引起的運(yùn)動(dòng)，人體組織結(jié)構(gòu)的形狀在手術(shù)期間變形。軟組織變形可依據(jù)線性彈性來近似，并且導(dǎo)致組織變形的接觸力可以基于所得的組織變形來近似。通常，組織結(jié)構(gòu)可以限定為一組具有類似尺寸的有限元。由于解剖模型的形狀不規(guī)則性，所以將組織體積分解為四面體元素可以是優(yōu)選的方法。因此，通過將目標(biāo)組織結(jié)構(gòu)分解為一組多邊形(例如，四面體)元素，可以建模目標(biāo)組織結(jié)構(gòu)的配置。通常，組織變形與根據(jù)下面公式的力有關(guān)：[K]u＝f(8)其中[K]為硬度矩陣并且是對稱的、正的、確定的以及稀疏的；u為位移場；以及f為外力。該矩陣的尺寸為3N×3N，其中N為網(wǎng)格頂點(diǎn)的數(shù)目。如果假設(shè)至少一些水平的組織均向性，那么矩陣K可以表示成N×N矩陣。更具體地，基于對象的變形施加到可變形對象表面的外力可以基于下面的公式來確定，在公式中獲得可變形對象的位移u*所需的力可以根據(jù)下面公式來確定：其中[K]為由向量ei組成的矩陣，其中1在第i個(gè)位置中并且零在別處。該系統(tǒng)由用于為計(jì)算變量強(qiáng)加指定值的拉格朗日乘數(shù)法產(chǎn)生。變分公式化和拉格朗日乘數(shù)可以用于使最小化。在對系統(tǒng)求解之后所獲得的[λ]的值λi等于相反的力，該力需要以自由度ui施加從而強(qiáng)加位移ui＝ui*。參見Cotin，S.等人的“用于手術(shù)模擬的軟組織的實(shí)時(shí)彈性變形(Real-timeelasticdeformationsofsofttissuesforsurgerysimulation)”，IEEETransactionsonVisualizationandComputerGraphics(影響因子：1.9)，01/1999；5：62-73。DOI：10.1109/2945.764872，其全部內(nèi)容以引用方式并入本文。組織硬度值是已知的或者可以容易地確定。例如，McKnightA.L.等人的“乳腺癌的MR彈性成像：初步結(jié)果(MRelastographyofbreastcancer：preliminaryresults)”，Am.J.Roentgenology，2002；178：1411-1417；UffmannK.等人的“在借助MR彈性成像的極端骨骼肌的體內(nèi)彈性測量(InvivoelasticitymeasurementsofextremityskeletalmusclewithMRelastography)”，NMRinBiomedicine，2004；17：181-190；以及TayB.K.等人的“在腹腔內(nèi)器官的體內(nèi)機(jī)械行為(Invivomechanicalbehaviorofintra-abdominalorgans)”，IEEETransactionsonBiomedicalEngineering，2006；53：2129-2138，所述文獻(xiàn)通過該引用明確地并入本文，并且所述文獻(xiàn)提供了用于各種組織結(jié)構(gòu)的組織硬度的報(bào)告。它們的數(shù)據(jù)和其他數(shù)據(jù)可以用于確定矩陣[K]，如同適用于根據(jù)方程式(8)的力計(jì)算。圖25為表示根據(jù)一些實(shí)施例的使用Q3D信息以確定觸覺反饋的過程2500的示意流程圖。過程2500可以采用系統(tǒng)152和Q3D內(nèi)窺鏡系統(tǒng)101C中的一個(gè)或多個(gè)。圖5或圖6中的系統(tǒng)152，與圖8的Q3D內(nèi)窺鏡系統(tǒng)101C結(jié)合，根據(jù)公式(8)或公式(9)計(jì)算通過器械施加到組織上的力向量f。硬度矩陣[K]可以包括已知的組織硬度值。一旦被計(jì)算出，通過器械施加到組織上的力就可以被顯示或者用于驅(qū)動(dòng)觸覺界面設(shè)備。參考圖25，模塊2502捕捉手術(shù)場景的Q3D信息，并且Q3D信息用于產(chǎn)生場景的Q3D模型。示例場景包括組織結(jié)構(gòu)和手術(shù)器械。模塊2504識別并配準(zhǔn)場景內(nèi)的手術(shù)器械。當(dāng)使用一些力抵靠場景內(nèi)的組織結(jié)構(gòu)表面推進(jìn)器械時(shí)，模塊2506使用Q3D信息來確定器械周圍的組織的位移u。模塊2508獲得場景內(nèi)的組織結(jié)構(gòu)的組織類型的合適的組織硬度矩陣信息[K]。模塊2510使用確定的組織位移信息u和組織硬度矩陣信息來確定力f。模塊2512覆蓋確定的力f的手術(shù)場景內(nèi)的外科醫(yī)生視野內(nèi)的視覺顯示。模塊2514致動(dòng)觸覺界面為外科醫(yī)生提供觸覺反饋，該觸覺反饋指示確定的位移u和確定的力f。圖26為示出根據(jù)一些實(shí)施例的與手術(shù)器械2604的端部執(zhí)行器部分接觸的組織結(jié)構(gòu)2602和具有圖像傳感器210陣列的內(nèi)窺鏡2606的示意圖，圖像傳感器210陣列被設(shè)置成具有視野(FOV)以捕捉用于組織結(jié)構(gòu)2602和器械2604之間的接觸的Q3D圖像信息。應(yīng)該理解，內(nèi)窺鏡還可以用于在手術(shù)期間捕捉由外科醫(yī)生可查看的立體視覺圖像。在遠(yuǎn)程操作手術(shù)程序期間，外科醫(yī)生通過立體顯示設(shè)備164來觀察手術(shù)場景，同時(shí)操縱圖5所示的控制輸入設(shè)備160來調(diào)動(dòng)器械的端部執(zhí)行器部分與目標(biāo)組織結(jié)構(gòu)的表面接觸。外科醫(yī)生控制器械的運(yùn)動(dòng)，以便將力施加到組織表面上的位置，這使該位置處的組織表面輪廓變形。Q3D信息用于量化要提供給外科醫(yī)生的觸覺反饋的水平，使得該反饋指示通過器械2604施加到組織表面2608的變形和/或力。更具體地，使用Q3D信息確定的組織表面2604的位移2610的尺寸用于生成觸覺反饋。假設(shè)組織結(jié)構(gòu)或至少感興趣的子區(qū)域具有基本上均勻的硬度，則更大的位移變形指示手術(shù)器械施加更大的力。根據(jù)方程式(8)，對于已知的硬度矩陣K，使用通過圖8的Q3D內(nèi)窺鏡系統(tǒng)101C測量的位移u，能夠計(jì)算或近似通過圖26的器械2604施加到組織的力向量f。類似地，能夠根據(jù)力向量f計(jì)算或近似通過組織呈現(xiàn)的阻力。此信息對于組織觸診應(yīng)用可以是有用的。因此，根據(jù)一些實(shí)施例，能夠向外科醫(yī)生提供指示更大的變形和/或更大的力，或組織柔軟度的觸覺反饋。相反地，更小的位移變形可以指示手術(shù)器械施加更小的力，或者指示組織呈現(xiàn)增強(qiáng)的硬度，并且根據(jù)一些實(shí)施例，能夠向外科醫(yī)生提供指示更小變形和/或更小力或更高組織硬度的觸覺反饋。組織結(jié)構(gòu)2602可以不具有均勻的硬度。嵌入組織結(jié)構(gòu)內(nèi)的局部的亞表面結(jié)構(gòu)，諸如具有與組織結(jié)構(gòu)硬度不同的硬度的腫瘤或血管，可以改變組織結(jié)構(gòu)的局部硬度。局部亞表面結(jié)構(gòu)在本文應(yīng)被稱為“異常物”。異常物的存在可影響響應(yīng)于通過器械施加到覆蓋異常的組織表面位置的力的局部位移變形。換言之，響應(yīng)于一定量的力的覆蓋亞表面異常物的組織表面位置的位移變形，將不同于響應(yīng)于相同量的力的未覆蓋亞表面異常物的不同組織表面位置處的位移變形。因此，作為組織結(jié)構(gòu)硬度的此類變化，將基本上相同的力施加到組織結(jié)構(gòu)的不同位置可以在那些不同位置處導(dǎo)致不同的變形。不同的變形可以指示亞表面異常物的存在。為了解決組織硬度矩陣K的可變性，外科醫(yī)生可以必須抵靠已知無異常物的相鄰組織結(jié)構(gòu)輕拍器械。這是可實(shí)現(xiàn)的目標(biāo)，因?yàn)橥ǔＭㄟ^使用前置程序成像來識別異常物的位置。此類圖形可以引導(dǎo)外科醫(yī)生朝向無異常物的相鄰區(qū)域。當(dāng)?shù)挚堪ó惓Ｎ锏膮^(qū)域輕拍器械2604時(shí)，Q3D內(nèi)窺鏡系統(tǒng)101C提供關(guān)于小于預(yù)期位移量u的定量信息。因此，可以獲得組織硬度的相關(guān)映射。替代地，如果圖26的器械2604裝備有力傳感器(未示出)，則可以基于方程式(8)計(jì)算或近似組織硬度映射。力傳感器提供力向量f，并且Q3D內(nèi)窺鏡系統(tǒng)101C提供位移u。如果f和u在感興趣區(qū)域內(nèi)的足夠多的點(diǎn)處被測量，則可以計(jì)算或近似硬度矩陣K的元素。例如，假設(shè)組織均向性和對稱性，矩陣K具有多達(dá)N*(N+1)/2個(gè)不同的元素。因此，位移u和力向量f應(yīng)該在多達(dá)N*(N+1)/2個(gè)位置處測量，以便充分地表征矩陣K。根據(jù)一些實(shí)施例，向外科醫(yī)生提供指示不同組織表面位置處的不同組織結(jié)構(gòu)的位移的觸覺反饋。觸覺用戶界面如本文所使用的，術(shù)語“觸覺用戶界面”指的是向用戶提供觸覺信息的用戶界面。存在許多不同種類的觸覺界面。例如，如本文所述，也被稱為有形用戶界面的形狀顯示器可以用作提供指示對象的形狀或輪廓的觸覺信息的觸覺界面。例如，觸覺用戶界面可以通過例如插針的選擇性延伸和縮回或者通過可變的振動(dòng)強(qiáng)度產(chǎn)生的機(jī)械刺激來提供觸覺信息。觸覺用戶界面可以通過例如可變強(qiáng)度電刺激來提供觸覺信息。圖27A至圖27C為表示根據(jù)一些實(shí)施例的呈有形用戶界面(TUI)2702形式的觸覺用戶界面的第一實(shí)施例的示意圖，有形用戶界面(TUI)2702用作適用于提供觸覺反饋的形狀顯示器。TUI2702包括容納多個(gè)插針2706的外殼結(jié)構(gòu)2704，插針2706可以選擇性地從外殼向外移置。圖27A示出TUI的第一實(shí)施例，其中許多個(gè)插針向外移置以創(chuàng)建通過圖4的觀察器312可觀察到的在手術(shù)場景內(nèi)可視的組織結(jié)構(gòu)的三維模型2708。圖27A所示的插針的配置對應(yīng)于不存在指示組織結(jié)構(gòu)變形的反饋的初始TUI狀態(tài)。由TUI2702的第一實(shí)施例產(chǎn)生的處于其初始狀態(tài)的組織結(jié)構(gòu)的三維模型2708，表示組織結(jié)構(gòu)在不存在可使其形狀變形的表面力時(shí)靜止。圖27B示出第一實(shí)施例TUI，其中第一(x，y)位置處的插針2706-1相對于插針的初始狀態(tài)位置向內(nèi)(如圖所示，向下)移置第一量。圖27C示出第一實(shí)施例TUI，其中第二插針2706-2相對于第二插針的初始狀態(tài)位置向內(nèi)移置不同于第一量的第二量。圖28A至圖28C為表示其形狀通過手術(shù)器械2804施加的力而變形的組織結(jié)構(gòu)2802的示意圖。圖28A示出處于其自然靜止?fàn)顟B(tài)下的組織結(jié)構(gòu)2802，其中器械2804被設(shè)置成不接觸組織結(jié)構(gòu)。圖28B示出借助足以按照第一位移量引起組織結(jié)構(gòu)變形2806-1的力而在第一組織結(jié)構(gòu)位置處接觸組織結(jié)構(gòu)的器械2804。圖28C示出借助足以按照第二位移量引起組織結(jié)構(gòu)變形2806-2的力而在第二組織結(jié)構(gòu)位置處接觸組織結(jié)構(gòu)的器械。再次參考圖27A至圖27C，TUI2702的第一實(shí)施例包括布置在笛卡爾坐標(biāo)(x，y)平面中的軸向?qū)R的插針2706的陣列。每個(gè)插針與陣列中的(x，y)位置相關(guān)聯(lián)。插針可在靜止位置和可變凸起位移程度之間軸向移動(dòng)。當(dāng)所有插針2706均靜止時(shí)，即沒有軸向移位時(shí)，其頭部(頂端)在外殼2704內(nèi)限定平坦的、平面的(x，y)表面。每個(gè)插針2706與其自身的致動(dòng)器(未示出)相關(guān)聯(lián)，使得每個(gè)插針可以獨(dú)立地軸向凸起、降低或凸起和降低可控制的可變位移量。根據(jù)一些實(shí)施例，在初始狀態(tài)中，許多個(gè)插針被布置成創(chuàng)建組織結(jié)構(gòu)2708的三維模型。插針位移相對于初始狀態(tài)三維模型的變化提供觸覺反饋，該觸覺反饋指示模型式化組織結(jié)構(gòu)的對應(yīng)形狀變化。使用第一實(shí)施例TUI產(chǎn)生的三維模型被幾何地設(shè)定尺寸，使得外科醫(yī)生可以在醫(yī)療程序期間以類似于外科醫(yī)生觸診實(shí)際組織結(jié)構(gòu)的方式的方式與模型相互作用。響應(yīng)于通過與在外科醫(yī)生的遠(yuǎn)程操作控制下的器械2804接觸所引起的圖28A至圖28C的組織結(jié)構(gòu)2802的表面變形，TUI組織模型2708的形狀被改變，從而在手術(shù)程序期間向外科醫(yī)生提供通過觀察器312觀察的指示組織結(jié)構(gòu)變形的觸覺反饋。FollmerS.等人的“inFORM：憑借形狀和對象的動(dòng)態(tài)物理效能和限制(inFORM：DynamicPhysicalAffordancesandConstraintsthroughShapeandObject)”，Actuation，UIST’13，10月8-11，英國，圣安德魯斯，公開了使用形狀顯示器來提供觸覺反饋的2.5D形狀顯示器，并且此TUI裝置可以被修改以起到本文所描述的作用。例如，TUI2702可以通過根據(jù)硬度矩陣K的Q3D內(nèi)窺鏡系統(tǒng)101C來驅(qū)動(dòng)，硬度矩陣K如上所解釋進(jìn)行計(jì)算或近似。因此，至少可向外科醫(yī)生提供關(guān)于組織硬度的相關(guān)信息，并且允許外科醫(yī)生執(zhí)行間接的或虛擬的組織觸診。作為另一示例，外科醫(yī)生操縱手術(shù)器械以便將基本上恒定的力提供給組織結(jié)構(gòu)上的各個(gè)位置。恒力施加可以被調(diào)節(jié)，諸如通過使用傳感器和可視儀表，或者通過設(shè)定遠(yuǎn)程操作操縱器來施加力直到感測到閾值力水平。替代地，施加可通過使用外科醫(yī)生的感知到的感覺來完成。響應(yīng)于基本上恒定的力施加，Q3D內(nèi)窺鏡捕捉力施加的位置和在各個(gè)組織位置處的組織變形的測量。響應(yīng)于基本上恒定的力施加，方程式(8)的關(guān)系可以用于確定不同位置處的不同組織硬度，并且然后將位置和硬度映射到觸覺TUI。觸覺界面向外科醫(yī)生提供指示不同位置處的不同組織硬度的反饋，以便產(chǎn)生到外科醫(yī)生的虛擬觸診輸出。然后，外科醫(yī)生可以類似于外科醫(yī)生在真實(shí)組織上的活動(dòng)的方式，沿TUI上的路徑追蹤手指或手，并且沿該路徑感測改變的硬度以對模擬的組織結(jié)構(gòu)進(jìn)行觸診。根據(jù)一些實(shí)施例，組織硬度矩陣K或硬度映射可以映射到單個(gè)TUI插針2706的(x，y)位置。換言之，給定插針2706的物理位置(x，y)位置映射到組織結(jié)構(gòu)2802的表面上的位置。出于該示例的目的，假設(shè)圖27中的第一(x，y)位置處的TUI插針2706-1映射到圖28B中的第一組織結(jié)構(gòu)位置2806-1，并且圖27C中第二(x，y)位置處的TUI插針2706-2映射到圖28C中的第二組織結(jié)構(gòu)位置2806-2。假設(shè)TUI2702具有W×L個(gè)插針，則組織表面的組織結(jié)構(gòu)2802的Q3D模型可以被網(wǎng)格化到W×L格網(wǎng)上。然后，網(wǎng)格的每個(gè)節(jié)點(diǎn)可對應(yīng)于TUI插針。假定Q3D模型提供感興趣的組織表面的實(shí)際寬度(W組織)和長度(L組織)，則插針的對應(yīng)(x，y)坐標(biāo)和TUI位置計(jì)數(shù)NW和NL一起可以計(jì)算為(NW/W*W組織，NL/L*L組織)。相反地，對于已知Q3D模型，坐標(biāo)點(diǎn)(x，y)和對應(yīng)TUI插針的TUI位置計(jì)數(shù)一起可以計(jì)算為NX＝x*W/W組織和NY＝y(tǒng)*L/L組織。映射存儲(chǔ)于非暫時(shí)性的、計(jì)算機(jī)可讀的存儲(chǔ)設(shè)備(未示出)中。TUI2702的許多個(gè)插針2706向外(如圖所示，向上)凸起，以便產(chǎn)生組織結(jié)構(gòu)2802或者至少組織結(jié)構(gòu)的感興趣區(qū)域的組織表面輪廓的三維模型2708。將手術(shù)器械與映射的組織表面位置配準(zhǔn)。換言之，器械2804相對于組織結(jié)構(gòu)2802的組織表面的映射位置的運(yùn)動(dòng)學(xué)位置在整個(gè)手術(shù)程序中進(jìn)行配準(zhǔn)并且更新。例如，配準(zhǔn)可以通過使用類似于圖9和圖10所描述的識別算法來識別Q3D內(nèi)窺鏡的FOV中的目標(biāo)器械得以實(shí)現(xiàn)。因此，由于器械2804的配準(zhǔn)和組織位置與TUI位置之間的映射，器械2804和組織結(jié)構(gòu)2804的表面位置之間的每次接觸均可以映射到一個(gè)或多個(gè)TUI插針位置。而且，圖像傳感器陣列210捕捉器械和組織表面之間的每次接觸的Q3D信息，Q3D信息可以用于確定由于接觸所造成的組織表面的變形位移。進(jìn)而，Q3D信息可以用于確定在一個(gè)或多個(gè)插針2706響應(yīng)于與器械的接觸的向外位移中的改變量，所述向外位移映射到接觸的組織表面位置。例如，圖27A示出靜止的第一實(shí)施例TUI2702的示例性姿勢，當(dāng)如圖28A所示時(shí)，外科醫(yī)生已經(jīng)移動(dòng)器械鄰近組織結(jié)構(gòu)，但未使用器械以實(shí)際接觸組織結(jié)構(gòu)。圖27B和圖28B示出在外科醫(yī)生的器械操縱中的觸覺反饋，以引起圖28B所示的第一組織位置2806-1的變形，該變形導(dǎo)致第一(x，y)位置處的TUI插針2706-1相對于其初始狀態(tài)位置向內(nèi)移動(dòng)?；谌缡褂肣3D內(nèi)窺鏡系統(tǒng)101C測量的第一位移量來確定第一(x，y)位置處的插針2706-1的向內(nèi)位置的量，其中器械使圖28B中的第一組織位置2806-1移置所述第一位移量。類似地，圖27C和圖28C示出在外科醫(yī)生的器械2804操縱中的觸覺反饋，以引起圖27C所示的第二組織位置2806-2的變形，該變形導(dǎo)致第二(x，y)位置處的TUI插針2706-2相對于其初始位置向內(nèi)移動(dòng)?；诘诙灰屏縼泶_定在第二(x，y)位置處的插針2706-2的向外位移的改變，其中器械使圖28C中的第二組織位置2806-2移置所述第二位移量。替代地，感測為Q3D信息的組織變形可以與識別器械頂端位姿的運(yùn)動(dòng)學(xué)信息配準(zhǔn)(例如，識別保持器械的運(yùn)動(dòng)學(xué)臂的位姿的運(yùn)動(dòng)學(xué)信息)。然后，將組合的組織變形信息與器械頂端位置和取向信息映射到TUI，以創(chuàng)建允許外科醫(yī)生對模擬的組織結(jié)構(gòu)進(jìn)行觸診的觸覺界面。圖29A至圖29C為表示根據(jù)一些實(shí)施例的呈有形用戶界面(TUI)2902形式的替代實(shí)施例觸覺用戶界面的示意圖，有形用戶界面(TUI)2902用作適合提供觸覺反饋的形狀顯示器。替代TUI實(shí)施例2902包括外殼2904結(jié)構(gòu)，外殼2904結(jié)構(gòu)容納多個(gè)軸向?qū)R的插針2906，插針2906可以響應(yīng)于組織表面的位移按照可變量向外(如圖所示，向上)移置。圖29A示出靜止的無插針2906凸起的替代TUI2906。圖29B示出插針2906凸起第一量的替代TUI2902。圖29C示出插針2906凸起第二量的替代TUI2902，其中第二量大于第一量。通常，圖29A至圖29C的替代實(shí)施例TUI2902的插針配置與圖27A至圖27C的TUI2702的插針配置類似。然而，替代實(shí)施例TUI2906更小并且?guī)缀蔚卦O(shè)定尺寸用于安裝在外科醫(yī)生的指尖上。此替代TUI2906的示例已知。KillebrewJ.H.等人的“生成任意時(shí)空觸知刺激的密集陣列刺激器(ADenseArrayStimulatortoGenerateArbitrarySpatio-TemporalTactileStimuli)”，JournalofNeuroscienceMethods，2007年，第161(1)卷，第62頁至第74頁，公開了400-探頭刺激器“即時(shí)地”生成到皮膚的任意時(shí)空刺激。每個(gè)探頭包括單個(gè)馬達(dá)以控制其軸向位移。MoyG.等人的“用于遠(yuǎn)程觸知的柔順觸知顯示(ACompliantTactileDisplayforTeletaction)”，ProceedingsofICRAinRoboticsandAutomation，2000，IEEE，第4卷，公開了由硅橡膠模塑而成的一體式氣動(dòng)致動(dòng)的觸覺顯示器。Howe，RobertD.等人的“遠(yuǎn)程觸診技術(shù)(RemotePalpationTechnology)”，IEEEEngineeringinMedicineandBiology，1995年，5月/6月，公開了觸覺形狀顯示器，由于形狀金屬合金線的高功率體積比和高功率重量比以及力重量比，因此該觸覺形狀顯示器使用其作為致動(dòng)器。與圖27A至圖27C的TUI2702類似，響應(yīng)于通過與例如在外科醫(yī)生的遠(yuǎn)程控制下的器械接觸所引起的組織結(jié)構(gòu)表面的變形，由圖29A至圖29C的替代實(shí)施例TUI2902的插針2906的頭部表示的TUI表面形狀改變。然而，圖29A至圖29C的替代實(shí)施例TUI2902和圖27A至圖27C的TUI2702不同，替代實(shí)施例TUI的插針位置并未映射到組織表面位置。相反，通過替代實(shí)施例TUI2902的插針2906的向外位移所產(chǎn)生的觸覺反饋映射到組織表面的位置，組織表面通過立體顯示設(shè)備164同時(shí)可見并且在外科醫(yī)生控制下與手術(shù)器械當(dāng)前接觸。例如，TUI2702的中心點(diǎn)被映射以對應(yīng)于器械頂端，使得當(dāng)器械頂端移動(dòng)時(shí)，發(fā)生在TUI2906上居中的改變的觸覺知覺。外科醫(yī)生將其手指放在TUI2702上，以便感知該改變。通過此替代TUI2902提供的觸覺反饋的量與通過Q3D內(nèi)窺鏡系統(tǒng)101C提供的計(jì)算或近似的組織位移，或者與力如使用方程式(8)計(jì)算或近似的向量f相關(guān)聯(lián)。在替代實(shí)例中，一種實(shí)例為，插針最初向外軸向移置預(yù)定距離，并且插針被驅(qū)動(dòng)以試圖停留在該距離處。設(shè)定默認(rèn)硬度，使得手指在壓抵插針的頂部使插針稍微向下移置，同時(shí)插針被驅(qū)動(dòng)以返回到其默認(rèn)水平。因此，插針感覺“松軟”。當(dāng)器械橫穿組織并且遇到一個(gè)或多個(gè)硬度改變時(shí)，硬度的改變轉(zhuǎn)移到TUI，使得在TUI處感覺到帶有增強(qiáng)硬度的組織為不太“松軟”(朝向手指軸向移置的插針)，并且?guī)в袦p小硬度的組織被感覺為更加“松軟”(遠(yuǎn)離手指軸向移置的插針)。這樣，器械頂端起到遠(yuǎn)程觸診器械的作用，其中觸診知覺轉(zhuǎn)移到TUI。同樣地，在替代實(shí)施例中，插針最初設(shè)置在與TUI表面齊平的軸向位移(參見例如，圖29A)，并且?guī)в袦p小硬度的組織在TUI處感覺為更硬(朝向手指軸向移置的插針)。圖30為示出根據(jù)一些實(shí)施例的安裝在外科醫(yī)生手指3002上的替代實(shí)施例TUI2902的示意圖。當(dāng)被安裝時(shí)，替代實(shí)施例TUI2902被定向，使得當(dāng)插針2906響應(yīng)于組織表面的組織位移向外移置時(shí)，插針2906壓抵外科醫(yī)生的指尖3002。根據(jù)一些實(shí)施例，不同插針位移量指示組織表面當(dāng)前接觸部分的不同組織位移，或者通過器械施加到組織表面的當(dāng)前接觸部分的力的不同量?，F(xiàn)在參考圖28A至圖28C和29A至圖29C，圖29A示出靜止的替代實(shí)施例TUI2902的示例姿勢，當(dāng)如圖28A示出時(shí)，外科醫(yī)生已經(jīng)移動(dòng)器械2804鄰近組織結(jié)構(gòu)2802，但還未使用器械以實(shí)際接觸組織結(jié)構(gòu)。圖29B示出使用替代實(shí)施例TUI2902的插針2906產(chǎn)生的界面表面形狀，其中多個(gè)插針2906按照基于第一組織位移量確定的位移量凸起，以便給接觸插針的用戶提供第一刺激水平，其中器械2804按照所述凸起的位移量移置圖28B中的第一組織位置2806-1。圖29C示出使用替代實(shí)施例TUI2902的插針2906產(chǎn)生的界面表面形狀，其中多個(gè)插針2906按照基于第二組織位移量確定位移量凸起，以便給接觸插針的用戶提供第二刺激水平，其中器械2804按照所述凸起的位移量移置圖28C中的第二組織位置2806-2?？梢钥闯鲈诘谝唤M織位置2806-1和第二組織位置2806-2處的組織位移量是不同的，并且因此，響應(yīng)于第一組織位移和第二組織位移的TUI插針位移量也是不同的。本領(lǐng)域的技術(shù)人員將知道用其他形式的觸覺刺激來替代插針的使用。例如，使用緊靠手部或手指抓握處的機(jī)械致動(dòng)插針來代替刺激外科醫(yī)生的手指3002，例如，可以提供亞閾值電觸覺刺激。此類系統(tǒng)可以使用如通過Q3D內(nèi)窺鏡系統(tǒng)101C提供的安全水平的電流，該電流僅稍微超過人類感知的水平，通過組織位移u或組織力f的大小來調(diào)節(jié)。已知觸覺刺激的此類其他形式。例如，Kaczmarek等人的“最大動(dòng)態(tài)范圍電觸覺刺激波形(MaximalDynamicRangeElectrotactileStimulationWaveforms)”，IEEETransactionsonBiomedicalEngineering，第39卷，第7期，1992年7月，已經(jīng)提出用于合適的電觸覺刺激的技術(shù)和波形，其全部內(nèi)容以引用方式并入本文。在替代實(shí)施例中，操作的外科醫(yī)生可以具有觸覺反饋，該觸覺反饋振動(dòng)或提供操縱阻力到圖5的控制輸入設(shè)備160。振動(dòng)或操縱阻力的量可根據(jù)組織位移u或組織力f的大小來調(diào)節(jié)，如通過圖8的Q3D內(nèi)窺鏡系統(tǒng)101C所提供的。已知合適的實(shí)施方式，諸如美國專利No.US6,594,552B2(提交于2000年4月6日)和美國專利No.US8,561,473B2(提交于2009年3月30日)中所描述的，所述專利示出帶有觸覺反饋的控制輸入設(shè)備的使用，并且其全部內(nèi)容以引用方式并入本文。Q3D信息到觸覺反饋的轉(zhuǎn)換圖31為根據(jù)一些實(shí)施例的經(jīng)配置根據(jù)組織結(jié)構(gòu)變形確定觸覺反饋的示意計(jì)算塊3102。根據(jù)一些實(shí)施例，觸覺反饋通過可變插針軸向位移來提供。替代地，例如電刺激或振動(dòng)刺激可以用于提供觸覺反饋。圖5的計(jì)算機(jī)151可以經(jīng)配置實(shí)施該計(jì)算塊。使用圖像傳感器陣列210收集的Q3D信息包括以下信息，該信息包括單個(gè)組織表面位置在某一時(shí)間的垂直變形距離Xti測量的指示。計(jì)算塊接收指示變形距離Xti的信息作為輸入，并且塊3102根據(jù)變形距離Xti產(chǎn)生一個(gè)或多個(gè)插針位移量XUIi作為輸出。雖然本文討論了使用圖像傳感器陣列的Q3D內(nèi)窺鏡，但在不背離本發(fā)明的精神的情況下，可以使用其他類型的Q3D內(nèi)窺鏡。例如，可以使用具有相同性能的使用飛行時(shí)間傳感器的Q3D內(nèi)窺鏡。美國專利No.US8,262,559B2(提交于2009年4月9日)描述了此類替代Q3D內(nèi)窺鏡的至少一個(gè)示例，該專利以引用方式并入本文。圖32為表示根據(jù)一些實(shí)施例的使用圖31的計(jì)算塊來執(zhí)行的過程3200的示意流程圖。在模塊3202，Q3D內(nèi)窺鏡系統(tǒng)計(jì)算圖26的組織表面2608的位移u的3D坐標(biāo)，例如，組織表面2608通過器械2604而變形。3D坐標(biāo)計(jì)算根據(jù)圖8至圖19所描述的元素和模塊來執(zhí)行。在模塊3204，組織位移u的3D坐標(biāo)映射到插針位置計(jì)數(shù)和插針位移。例如，假設(shè)組織表面點(diǎn)(x，y)具有測量的位移uxy，帶有如上所述計(jì)算出的位置計(jì)數(shù)NX和NY的插針被驅(qū)動(dòng)以按照Dxy來移置其高度?；诠烙?jì)的組織位移范圍和TUI構(gòu)造細(xì)節(jié)，D和u之間的關(guān)系可以是成比例的。例如，如果組織被估計(jì)為在高達(dá)20mm的范圍內(nèi)偏轉(zhuǎn)，則D和u之間的關(guān)系可以為1∶1。然后，對于每1mm的組織位移，TUI插針的高度可以改變1mm。如果手術(shù)程序在具有增強(qiáng)硬度的結(jié)構(gòu)上執(zhí)行，則使用更小的組織位移范圍。在這種情況下，高達(dá)5mm的范圍可以是最佳的。為了向外科醫(yī)生提供足夠的觸覺反饋分辨率，插針位移D可以計(jì)算為4*u。換言之，對于每0.25mm的組織位移，TUI插針的高度改變1mm。本領(lǐng)域的技術(shù)人員知道如何用其他形式的觸覺反饋界面來替代TUI觸覺反饋系統(tǒng)的使用。例如，如果亞閾值電刺激用作觸覺反饋的形式，那么刺激電流的大小根據(jù)上面討論的比例關(guān)系來調(diào)節(jié)。替代地，如果控制輸入設(shè)備160的振動(dòng)用作觸覺反饋，則振動(dòng)的加速度或振動(dòng)強(qiáng)度可以根據(jù)上面描述的比例關(guān)系來調(diào)節(jié)。通常，流程圖的模塊3204將位移uxy映射到通過圖5或圖6的系統(tǒng)152使用的觸覺界面來提供的反饋的大小。在模塊3206，該過程被迭代以覆蓋與圖26的器械2604接觸的感興趣的組織表面的所有點(diǎn)。在模塊3208，觸覺界面被驅(qū)動(dòng)以提供根據(jù)計(jì)算的映射提供反饋。任選模塊3210還可以以視覺格式在與系統(tǒng)152相關(guān)聯(lián)的顯示器中的任一個(gè)上提供組織位移信息。力反饋界面再次參考圖26，可以看出可視記號2602覆蓋在手術(shù)場景中的手術(shù)器械上，以向用戶提供根據(jù)一些實(shí)施例的指示器械施加到目標(biāo)組織結(jié)構(gòu)的力的量的可視反饋。ReileyC.E.等人的“關(guān)于機(jī)器人輔助手術(shù)任務(wù)性能的可視反饋效果(Effectsofvisualfeedbackonrobot-assistedsurgicaltaskperformance)”，TheJournalofThoracicandCardiovascularSurgery，2008年1月，教導(dǎo)可視標(biāo)記的使用以提供觸知反饋同時(shí)在遠(yuǎn)程手術(shù)期間系手術(shù)結(jié)。可視記號包括覆蓋在手術(shù)場景中的器械的圖像上的顏色編碼標(biāo)記。標(biāo)記的著色隨通過力傳感器感測到的力的量改變。響應(yīng)于施加的力的理想量，標(biāo)記被涂上黃色。響應(yīng)于小于施加的力的理想量，標(biāo)記被涂上綠色。響應(yīng)于大于施加的力的理想量，標(biāo)記被涂上紅色。在操作中，用戶可以使用標(biāo)記顏色作為引導(dǎo)來根據(jù)需要重新定位器械，以實(shí)現(xiàn)力的理想量。響應(yīng)于觀察到綠色標(biāo)記，用戶可以重新定位器械以增大力的量。響應(yīng)于觀察到紅色標(biāo)記，用戶可以重新定位標(biāo)記以減小力的量。此力反饋界面可以結(jié)合在系統(tǒng)152內(nèi)，系統(tǒng)152通過處理由圖8的Q3D內(nèi)窺鏡系統(tǒng)101C提供的位移信息計(jì)算或近似力的量，如上所解釋。替代地，可以使用其他類型的力反饋界面。例如，通過器械施加的力的量可以呈柱狀圖的形式或作為數(shù)字顯示在圖22A和圖22B的觀察器312的一側(cè)上。使用Q3D信息以提供觸覺反饋的總體過程圖33為與根據(jù)一些實(shí)施例的與圖27A至圖27C的TUI2702一起使用的第一觸覺反饋過程的示意流程圖。模塊3302將組織表面位置映射到TUI位置并且將映射存儲(chǔ)在非暫時(shí)性的、計(jì)算機(jī)可讀的存儲(chǔ)設(shè)備中。模塊3304將手術(shù)器械與組織位置配準(zhǔn)。配準(zhǔn)例如可以通過使用類似于圖9和圖10所描述的識別算法來識別Q3D內(nèi)窺鏡的FOV中的目標(biāo)器械來實(shí)現(xiàn)。模塊3306接收選擇組織表面位置的用戶輸入，并且移動(dòng)器械以與所選組織表面位置對齊。模塊3308接收用戶輸入以施加所選的力，并且移動(dòng)器械接觸所選組織位置并施加所選的力。模塊3310接收指示所選組織表面響應(yīng)于所施加的力的變形距離的Q3D信息。模塊3312根據(jù)所選組織位置處的指示的組織變形距離確定映射到所選組織表面位置的一個(gè)或多個(gè)插針的位移量。模塊3314按照預(yù)定的量實(shí)現(xiàn)映射到所選組織位置的一個(gè)或多個(gè)插針的位移。決定模塊3316確定改變所選不同組織表面位置的新的用戶輸入是否被接收。如果未接收到此用戶輸入，那么模塊3318引起一段規(guī)定量的等待，其后控制流程圖再次返回到?jīng)Q定模塊3316。響應(yīng)于選擇新的組織表面位置的用戶輸入的接收，控制流程圖到模塊3306。本領(lǐng)域的技術(shù)人員知道如何用其他形式的觸覺反饋界面來替代TUI觸覺反饋的使用。例如，如果亞閾值電刺激用作觸覺反饋的形式，那么刺激電流的大小根據(jù)上面討論的步驟進(jìn)行調(diào)節(jié)。替代地，如果控制輸入設(shè)備160的振動(dòng)用作觸覺反饋，則振動(dòng)的加速度或振動(dòng)強(qiáng)度可以根據(jù)上述步驟進(jìn)行調(diào)節(jié)。而且，如果可視界面用于提供觸覺反饋，則提供反饋的可視元素(例如，可視記號、柱狀圖、數(shù)字顯示等)根據(jù)上述步驟來修改。圖34為與根據(jù)一些實(shí)施例的與圖29A至圖29C的替代實(shí)施例TUI2902一起使用的第二觸覺反饋過程的示意流程圖。應(yīng)該認(rèn)識到，第一觸覺過程和第二觸覺過程是類似的。模塊3406接收選擇組織表面位置的用戶輸入并且移動(dòng)器械以與所選組織表面位置對齊。模塊3408接收用戶輸入以施加所選的力，并且移動(dòng)器械以接觸所選組織位置并施加所選的力。模塊3410接收指示所選組織表面響應(yīng)于施加的力的變形距離的Q3D信息。模塊3412根據(jù)所選組織位置處的指示組織變形距離確定一個(gè)或多個(gè)插針位移量。模塊3414按照確定的量實(shí)現(xiàn)映射到所選組織位置的一個(gè)或多個(gè)插針的位移。決定模塊3416確定改變所選不同組織表面位置的新的用戶輸入是否被接收。如果未接收到此用戶輸入，那么模塊3418引起一段規(guī)定量的等待，其后控制再次返回到?jīng)Q定模塊3416。響應(yīng)于接收選擇新的組織表面位置的用戶輸入，控制流程圖到模塊3406。圖35為根據(jù)一些實(shí)施例的控制施加到所選組織表面位置的力的第三過程3500的示意流程圖。如參考圖26所解釋，視覺提示2602可以提供在手術(shù)場景中，以提供是否改變施加到組織表面位置的力的指示。第三過程可以與第一過程或第二過程平行進(jìn)行。模塊3502接收使用與器械的頂端部分相關(guān)聯(lián)的傳感器感測的力的指示，并且在手術(shù)屏顯示器內(nèi)產(chǎn)生感測力的大小的可視記號。決定模塊3504確定改變通過器械施加的力的量的用戶輸入是否被接收。響應(yīng)于確定改變力的量的用戶輸入被接收，模塊3506依據(jù)該用戶輸入改變施加的力。響應(yīng)于確定未接收到改變力的量的用戶輸入，控制返回到模塊3502。用于虛擬組織觸診的基于Q3D的觸覺反饋圖36A至圖36E為示出根據(jù)一些實(shí)施例的組織結(jié)構(gòu)3602表面的一系列橫截面視圖的示意圖，所述橫截面視圖示出響應(yīng)于通過器械3604施加的力所產(chǎn)生的組織表面3608的變形。更具體地，這些附圖示出用于虛擬組織觸診的基于Q3D的觸覺反饋的實(shí)施方式。在示例性序列中，器械3604接觸組織結(jié)構(gòu)3602的表面3608并且在其上施加具有垂直向下分量的力。附圖示出組織表面3608響應(yīng)于力在多個(gè)離散位置處的偏轉(zhuǎn)。所示Q3D內(nèi)窺鏡202被設(shè)置成捕捉表示多個(gè)不同組織表面位置中的每個(gè)處的組織變形的圖像信息。所示異常物3612在組織表面3608之下嵌入組織結(jié)構(gòu)3602內(nèi)。組織結(jié)構(gòu)3602具有特征硬度Kt。異常物3612組織結(jié)構(gòu)具有不同的特征硬度Ka。由于異常物組織結(jié)構(gòu)3612在目標(biāo)組織結(jié)構(gòu)表面之下，所以其在使用Q3D內(nèi)窺鏡202所捕捉的圖像中是不可見的。如上所述，硬度矩陣Kt和Ka可以是已知的先驗(yàn)。在這種情況下，當(dāng)圖36A的器械3604行進(jìn)穿過包括異常物的區(qū)域時(shí)，系統(tǒng)152可以經(jīng)配置用矩陣Kt來替代矩陣Ka。如上所述，基于示出異常物相對于組織表面的位置的操作前圖像，用戶或系統(tǒng)能夠識別從Kt到Ka的過渡區(qū)。替代地，如上所討論的，確定或近似帶有異常物3612的區(qū)域和沒有異常物的區(qū)域之間的相對硬度差異的機(jī)構(gòu)可以結(jié)合到系統(tǒng)152中。在所有此類情況下，系統(tǒng)152提供給操作者關(guān)于通過器械施加的力或者關(guān)于通過組織呈現(xiàn)的硬度的直接觸覺反饋、間接觸覺反饋或觸覺反饋的相對量。圖37A至圖37E為示出根據(jù)一些實(shí)施例的圖27A至圖27C的TUI2702的一系列橫截面視圖的示意圖，所述橫截面視圖經(jīng)配置示出TUI插針頂端表面界面的示例“即時(shí)”變形，該變形對應(yīng)于圖36A至圖36E的一系列橫截面圖所示的示例組織結(jié)構(gòu)變形。參考圖37A，TUI2702包括根據(jù)一些實(shí)施例的具有輪廓的表面結(jié)構(gòu)3706，所述輪廓對應(yīng)于并反映形成于組織結(jié)構(gòu)表面3608的變形。更具體地，TUI2702包括形狀改變的觸覺反饋表面結(jié)構(gòu)3706，觸覺反饋表面結(jié)構(gòu)3706包括多個(gè)插針2706，插針2706響應(yīng)于通過器械3604施加的力的量，通過組織結(jié)構(gòu)3602呈現(xiàn)的硬度或通過Q3D內(nèi)窺鏡測量的組織偏轉(zhuǎn)的量進(jìn)行協(xié)作以改變觸覺反饋表面3706的物理形狀。根據(jù)一些實(shí)施例，TUI形狀改變表面3706包括共同限定TUI表面的多個(gè)垂直的插針2706。單個(gè)插針2706選擇性地凸起和降低，以改變TUI表面結(jié)構(gòu)的形狀。響應(yīng)于組織結(jié)構(gòu)表面輪廓的改變，構(gòu)成TUI表面的插針頂部的垂直(軸向)位置被改變，使得TUI表面輪廓連續(xù)地匹配組織結(jié)構(gòu)輪廓。圖37A至圖37E中TUI表面變形被稱為“即時(shí)的”，意味著它們與對應(yīng)組織結(jié)構(gòu)變形的存在基本上同時(shí)存在(即，用戶未體驗(yàn)到可感知的延遲)的概念。給定的TUI變形響應(yīng)于對應(yīng)位置處的組織結(jié)構(gòu)變形而出現(xiàn)，并且響應(yīng)于對應(yīng)位置處的組織結(jié)構(gòu)形狀返回到其自然形狀而消失。替代地，TUI變形可以對應(yīng)虛擬觸診期間通過器械施加的力的量，或者通過組織呈現(xiàn)的硬度的量。TUI的此替代實(shí)施例使用圖37A至圖37E中所解釋的相同原理來實(shí)施。圖36A示出在與器械3604接觸之前的目標(biāo)組織結(jié)構(gòu)3602的第一橫截面視圖。圖37A示出在器械3604接觸目標(biāo)組織表面3608之前的TUI表面3706輪廓的對應(yīng)第一橫截面視圖。為了簡化下面的解釋，所示的示例組織結(jié)構(gòu)3602的外表面輪廓相對平坦。然而，應(yīng)該理解，組織結(jié)構(gòu)3602可以具有自然的曲線輪廓并且可以具有自然出現(xiàn)的不規(guī)則行為，諸如缺口和碰撞。圖36B示出組織結(jié)構(gòu)3602的第二橫截面視圖，其中器械3604被壓抵組織表面3608到表面下異常物3612結(jié)構(gòu)的左側(cè)，以便施加使組織結(jié)構(gòu)3602的第一區(qū)域3606-1變形的力。在器械3604和第一表面區(qū)域3606-1處的組織表面之間的接觸點(diǎn)處的變形深度為至少施加到接觸點(diǎn)處的表面上的力Ft1和接觸點(diǎn)處的目標(biāo)組織表面的硬度的函數(shù)。在示例第二橫截面視圖中，第一區(qū)域內(nèi)的最低偏轉(zhuǎn)點(diǎn)為距組織表面3608的鄰近未受干擾區(qū)域的垂直距離Xt1。垂直距離Xt1通過圖8的Q3D內(nèi)窺鏡系統(tǒng)101C來測量。然后，系統(tǒng)152可以計(jì)算對應(yīng)的器械力Ft1，或估計(jì)對應(yīng)的局部組織硬度Kt1，如上所述。圖37B示出TUI表面3706的輪廓的對應(yīng)第二橫截面視圖，其中響應(yīng)于使組織結(jié)構(gòu)3602的第一區(qū)域3606-1按照量Xt1變形的器械3604，TUI表面3706的第一區(qū)域3706-1中的插針按照第一量XUI1縮回。替代地，可以響應(yīng)于Ft1或Kt1應(yīng)用相同的技術(shù)、元素或步驟來修改TUI表面。形成于對應(yīng)于目標(biāo)組織表面3606-1的第一區(qū)域的TUI表面3706-1的第一區(qū)域處的變形的形狀對應(yīng)于目標(biāo)組織表面的第一區(qū)域的變形的形狀。目標(biāo)表面的第一區(qū)域的形狀已經(jīng)返回到其自然輪廓。TUI表面的第一區(qū)域處的變形深度XUI1為至少目標(biāo)組織表面的變形深度Xt1的函數(shù)，所述變形深度Xt1響應(yīng)于施加到目標(biāo)組織表面的第一區(qū)域內(nèi)的目標(biāo)組織表面的力。替代地，TUI表面的第一區(qū)域處的變形深度XUI1可以是至少Ft1或Kt1的函數(shù)。圖36C示出組織結(jié)構(gòu)3602的第三橫截面視圖，其中器械3604被壓抵在表面下異常物結(jié)構(gòu)3612上方的組織表面的第二區(qū)域3602，以便施加使目標(biāo)組織表面變形的力。在該示例中，在器械3604和組織結(jié)構(gòu)3602之間的接觸點(diǎn)處的變形深度為至少施加在接觸點(diǎn)處的目標(biāo)表面上的力和接觸點(diǎn)處的目標(biāo)組織表面與接觸點(diǎn)下方的表面下異常物結(jié)構(gòu)兩者的硬度的函數(shù)。在該示例中，假設(shè)異常物3612具有比目標(biāo)組織結(jié)構(gòu)3602大的硬度。在該示例中，還假設(shè)表面下異常物結(jié)構(gòu)足夠靠近目標(biāo)組織表面，表面下異常物結(jié)構(gòu)的硬度影響目標(biāo)組織表面的響應(yīng)通過器械施加的力的目標(biāo)組織表面的偏轉(zhuǎn)深度。在示例第三橫截面視圖中，目標(biāo)組織表面的第二區(qū)域3606-2內(nèi)的最低偏轉(zhuǎn)點(diǎn)為距目標(biāo)組織表面的鄰近未受干擾區(qū)域的垂直距離Xt2。圖37C示出TUI表面3706的輪廓的對應(yīng)第三橫截面視圖，其中響應(yīng)按照量Xt2使目標(biāo)組織表面的第二區(qū)域3606-2變形的器械，TUI表面3706的第一區(qū)域3706-2中的插針按照第一量XUI2縮回。可以看出，響應(yīng)于從中去除器械力，目標(biāo)組織表面的第一區(qū)域已經(jīng)返回到其自然形狀。并且，響應(yīng)于第一組織區(qū)域返回到其自然形狀，TUI表面3706-1的第一區(qū)域回復(fù)到其被施力之前的靜止形狀。形成于對應(yīng)于組織表面的第二區(qū)域3606-2的TUI表面的第二區(qū)域3706-2處的變形的形狀對應(yīng)于組織表面的第二區(qū)域的變形的形狀。TUI表面的第二區(qū)域處的變形深度XUI2為至少目標(biāo)組織表面的變形深度Xt2的函數(shù)，所述變形深度Xt2響應(yīng)于施加到目標(biāo)組織表面的第二區(qū)域內(nèi)的目標(biāo)組織表面的力。替代地，根據(jù)上述原理、技術(shù)、元素和步驟，TUI表面的第二區(qū)域處的變形深度XUI2可以為至少對應(yīng)的力或硬度值Ft2或Kt2的函數(shù)。在示例性示例中，由于表面下異常物3612的存在，組織結(jié)構(gòu)3602的第二區(qū)域3606-2中的硬度由于表面下異常而高于目標(biāo)組織結(jié)構(gòu)3602的第一區(qū)域3606-1中的硬度。換言之，更硬的表面下異常物對目標(biāo)組織結(jié)構(gòu)的第二區(qū)域3606-2具有硬化作用。因此，第一區(qū)域3606-1中的目標(biāo)組織表面的變形深度Xt1大于第二區(qū)域中的目標(biāo)組織表面2606-2的變形深度Xt2。而且，TUI反饋表面的第一區(qū)域3706-1處的對應(yīng)變形深度XUI1，大于TUI反饋表面的第二區(qū)域3706-2處的變形深度XUI2，其中，變形深度XUI1為第一區(qū)域3606-1中的目標(biāo)組織表面的變形深度Xt1的函數(shù)，變形深度XUI2為第二區(qū)域3606-2中的組織表面的變形深度Xt2的函數(shù)。然而，如果TUI根據(jù)局部組織硬度Kt2而不是變形深度來改變其形狀，則變形量XUI2大于XUI1，以便反映由異常物的存在而引起的增強(qiáng)的組織硬度。類似地，如果器械力映射到TUI2702上，則根據(jù)力從Ft1到Ft2的改變，變形量XUI2可以大于或小于XUI1。圖36D示出組織結(jié)構(gòu)3602的第四橫截面視圖，其中器械3604被壓抵組織表面3608的第三區(qū)域3606-3。在示例第四橫截面視圖中，第三區(qū)域3606-3內(nèi)的最低偏轉(zhuǎn)點(diǎn)為距目標(biāo)組織表面3608的鄰近未受干擾區(qū)域的垂直距離Xt3。圖37D示出響應(yīng)于按照量Xt3使組織結(jié)構(gòu)的第三區(qū)域3606-3變形的器械所產(chǎn)生的TUI反饋表面3706的輪廓的對應(yīng)第四橫截面視圖。形成于對應(yīng)于組織表面的第三區(qū)域3606-3的TUI反饋表面3706的第三區(qū)域3706-3處的變形的形狀對應(yīng)于組織表面的第三區(qū)域3606-3的變形的形狀。此外，響應(yīng)于從中去除器械力，目標(biāo)組織表面的第二區(qū)域3606-2已經(jīng)返回到其自然形狀。并且，響應(yīng)于第二目標(biāo)組織區(qū)域返回到其自然形狀，TUI反饋表面3706的第二區(qū)域3706-2回復(fù)到其被施力之前的靜止形狀。由于目標(biāo)組織結(jié)構(gòu)的硬度在目標(biāo)組織表面的第一區(qū)域和第二區(qū)域兩者中基本上相同，所以變形深度Xt1與變形深度XUI3基本上相同。此外，由于變形深度XUI1為變形深度Xt1的函數(shù)，并且變形深度XUI3為變形深度Xt3的函數(shù)，變形深度XUI1與變形深度XUI3基本上相同。圖36E示出目標(biāo)組織結(jié)構(gòu)3602的第四橫截面視圖，其中器械3604被壓抵組織表面3608的第四區(qū)域3606-4。在示例第四橫截面視圖中，第四區(qū)域3606-4內(nèi)的最低偏轉(zhuǎn)點(diǎn)為距目標(biāo)組織表面3608的鄰近未受干擾區(qū)域的垂直距離Xt4。圖37E示出響應(yīng)于按照量Xt4使組織結(jié)構(gòu)的第三區(qū)域3606-3變形的器械所產(chǎn)生的TUI反饋表面3706的輪廓的對應(yīng)第四橫截面視圖。響應(yīng)于從中去除器械力，目標(biāo)組織表面的第三區(qū)域3606-3已經(jīng)返回到其自然形狀。并且，響應(yīng)于第三目標(biāo)組織區(qū)域3606-3返回到其自然形狀，TUI反饋表面的第三區(qū)域3706-3回復(fù)到其被施力之前的靜止形狀。形成于對應(yīng)于組織表面3608的第四區(qū)域3606-4的TUI表面的第四區(qū)域3706-4的變形的形狀對應(yīng)于組織結(jié)構(gòu)3602的第四區(qū)域3606-4的變形的形狀。TUI反饋表面3706的第四區(qū)域3706-4處的變形深度XUI4為至少目標(biāo)組織表面的變形深度Xt4的函數(shù)，所述變形深度Xt4響應(yīng)于施加到目標(biāo)組織表面的第四區(qū)域內(nèi)的目標(biāo)組織表面的力。在目標(biāo)組織表面的示例橫截面視圖中，目標(biāo)組織變形Xt1、Xt3和Xt4基本上相同，并且示例TUI表面變形XUI1、XUI3和XUI4基本上相同。應(yīng)該認(rèn)識到，雖然所示器械3604在組織表面3608上的一系列離散位置處引起變形，用戶還可以使器械以平滑的運(yùn)動(dòng)側(cè)向移動(dòng)穿過組織表面，以便使變形正面(deformationfront)移動(dòng)穿過目標(biāo)組織表面。在這種情況下，圖36A至圖36E所示的離散位置表示在該變形正面上的離散位置。替代地，用戶可以使器械以離散跳躍方式從一個(gè)位置移動(dòng)到下一個(gè)位置。替代地，系統(tǒng)152可在直接或間接的用戶控制下自動(dòng)地將器械移動(dòng)到各個(gè)位置。間接用戶控制指的是響應(yīng)于用戶啟動(dòng)通過程序化的指令控制器械的移動(dòng)。類似地，系統(tǒng)152可以被實(shí)施為根據(jù)程序化指令定義的算法使器械的移動(dòng)完全自動(dòng)化。在使器械以一系列的離散運(yùn)動(dòng)或平滑運(yùn)動(dòng)移動(dòng)穿過目標(biāo)組織表面期間，響應(yīng)于器械力施加到不同目標(biāo)組織位置，用戶可以觸摸TUI反饋3706表面以感覺其輪廓并且得到目標(biāo)組織表面的形狀和硬度改變的物理感受。由于目標(biāo)組織變形的量至少部分地為在施加器械力的點(diǎn)處的目標(biāo)組織硬度的函數(shù)，所以TUI表面區(qū)域的變形量提供目標(biāo)組織表面的對應(yīng)區(qū)域的硬度指示。具體地，例如，用戶可以感受到一只手上的第二TUI位置處的XUI2和另一只手上的第一TUI位置、第三TUI位置變形和第四TUI位置處的變形XUI1、XUI3、XUI4之間的變形差異，這可以向用戶指示第二目標(biāo)組織位置處的目標(biāo)組織硬度不同于第一目標(biāo)組織位置、第三目標(biāo)組織位置和第四目標(biāo)組織位置處的目標(biāo)組織硬度。如圖36A至圖36E所示，該組織硬度差異可以指示看不見的表面下異常物的存在。因此，該虛擬組織觸診系統(tǒng)和方法提供關(guān)于組織變形、通過器械施加的力或局部組織硬度的觸覺反饋。圖38A至圖38E為示出根據(jù)一些實(shí)施例的圖27A至圖27C的TUI的一系列橫截面視圖的示意圖，所述橫截面視圖示出TUI反饋表面3806的示例“復(fù)合”變形，該變形對應(yīng)于圖36A至圖36E的一系列橫截面視圖所示的示例目標(biāo)組織變形。圖38A至圖38E中的TUI反饋表面變形被稱為“復(fù)合的”以意味著變形積累的概念。在創(chuàng)建其他TUI表面變形時(shí)，每個(gè)TUI表面變形存留，使得在一系列離散目標(biāo)組織變形結(jié)束時(shí)或者在變形正面的出現(xiàn)結(jié)束時(shí)，積累的TUI表面變形提供包括所有單個(gè)TUI表面變形的復(fù)合TUI表面變形。在圖36A至圖36E的一系列目標(biāo)表面變形之后，例如，響應(yīng)于器械力施加到不同目標(biāo)組織位置，用戶可以觸摸TUI反饋表面3806的輪廓，以得到不同離散位置處的目標(biāo)組織表面3608的形狀改變差異的物理感受。在TUI表面的不同位置處的變形的形狀或深度的差異可以指示對應(yīng)目標(biāo)組織位置處的目標(biāo)組織表面硬度的差異，或者指示通過器械施加到相應(yīng)組織位置處的力。例如，可以看出，第一TUI表面位置3806-1、第三TUI表面位置3806-3和第四TUI表面位置3806-4分別相對于TUI表面的靜止水平按照量XUI1、XUI3和XUI4凹進(jìn)去，并且第二TUI表面位置3806-2相對于TUI的靜止水平按照量XUI2凹進(jìn)去。假設(shè)基本上對于所有組織變形器械施加基本上相同的力，則由于在示例性示例中，量XUI1、XUI3和XUI4基本上相同，那些量和量XUI2之間的差異是由于第二區(qū)域3606-2中目標(biāo)組織表面的硬度差異造成，該硬度差異可以指示隱藏的表面下異常物3612。圖39A至圖39E為示出根據(jù)一些實(shí)施例的在圖29A至圖29C的替代實(shí)施例TUI2902內(nèi)的一個(gè)或多個(gè)插針的一系列位移的示意圖，所述位于響應(yīng)圖36A至圖36E中所示的目標(biāo)組織表面的示例變形。TUI2902提供包括插針2906陣列的觸覺界面，插針2906中的一個(gè)或多個(gè)可以選擇性的軸向延伸，以提供組織表面硬度的指示。在示例性示例中，插針延伸的長度與硬度成比例：更長的插針延伸對應(yīng)于更大的硬度。替代地，如上所述，軸向驅(qū)動(dòng)力可以增大以指示對應(yīng)于更大的硬度。如上所解釋，組織表面的不同區(qū)域可以具有不同的硬度，并且不同區(qū)域的不同硬度可以指示隱藏的表面下異常物的存在。圖39A所示的示例初始插針位移表示量為Xp0的靜止的或不活動(dòng)的初始插針位移，其對應(yīng)于在與圖36A所表示的器械接觸之前的示例目標(biāo)組織表面。圖39B表示量為Xp1的第一插針位移，其響應(yīng)于在圖36B中所表示的組織表面上的第一位置3606-1處的量為Xt1的示例變形。圖39C表示量為Xp2的第二插針位移，其響應(yīng)于在圖36C中所表示的組織表面上的第二位置3606-2處的量為Xt2的示例變形。圖39D表示量為Xp3的第三插針位移，其響應(yīng)于在圖39D中所表示的組織表面上的第三位置3606-3處的量為Xt3的示例變形。圖36E表示量為Xp4的第四插針位移，其響應(yīng)于在圖39E中所表示的組織表面上的第四位置3606-4處的量為Xt4的示例變形。由于目標(biāo)組織表面硬度在第一組織表面位置、第三組織表面位置和第四組織表面位置處是相同的，因此第一插針位移Xp1、第三插針位移Xp3和第四插針位移Xp4基本上相同。由于在第二組織位置3606-2處組織表面硬度更大，因此第二插針位移Xp2大于其他三個(gè)。因此，當(dāng)用戶可控制地移動(dòng)器械通過由圖36A至圖36E所表示的目標(biāo)組織表面上的一系列接觸位置時(shí)，不論是通過器械從一個(gè)位置到下一個(gè)位置的離散移動(dòng)還是通過器械的更加連續(xù)的移動(dòng)，插針位移均提供目標(biāo)組織表面硬度的指示。而且，當(dāng)器械從一個(gè)位置移動(dòng)到另一個(gè)位置時(shí)，插針位移的改變指示這兩個(gè)位置之間的目標(biāo)組織結(jié)構(gòu)硬度的改變。替代地，如果器械力f或組織硬度K映射到TUI上，則位移Xp1-p4具有基于f和K并且根據(jù)上面討論的步驟進(jìn)行計(jì)算的值。因此，虛擬組織觸診系統(tǒng)和方法提供關(guān)于組織變形、通過器械施加的力或局部組織硬度的觸覺反饋。本領(lǐng)域的技術(shù)人員知道如何用其他形式的觸覺反饋界面來替代上面討論的TUI觸覺反饋系統(tǒng)的使用。例如，如果亞閾值電觸覺刺激用作觸覺反饋的形式，那么刺激電流的大小根據(jù)上面討論的步驟進(jìn)行調(diào)節(jié)。刺激電流的大小相應(yīng)地改變，而不是調(diào)節(jié)的位移XUIi或Xpi。替代地，如果控制輸入設(shè)備160的振動(dòng)用作觸覺反饋，則振動(dòng)的加速度或振動(dòng)強(qiáng)度可以根據(jù)組織位移Xt、力Ft或硬度Kt進(jìn)行調(diào)節(jié)。而且，如果可視界面用于提供觸覺反饋，則提供反饋的可視元素(例如，可視記號、柱狀圖、數(shù)字顯示等)根據(jù)上面討論的步驟來修改。在操作中，當(dāng)器械離散地或以連續(xù)的移動(dòng)移動(dòng)穿過目標(biāo)組織表面，并且使用小的垂直力被向下按壓(相對于目標(biāo)組織表面)時(shí)，用戶可視地觀察手術(shù)場景，其中所述垂直力足以按照臨床安全的量使目標(biāo)組織表面變形，根據(jù)程序和組織類型，臨床安全的量在例如零點(diǎn)幾毫米，到幾毫米或高達(dá)幾厘米的范圍內(nèi)，所述臨床安全的量充分大以觸發(fā)提供組織表面硬度指示的反作用力，但并未足夠大到引起組織損傷。例如，在心臟程序期間可以使用5g至40g范圍內(nèi)的力。在對肺進(jìn)行干預(yù)期間可以使用更小的力范圍1g至30g。在較硬的結(jié)構(gòu)諸如骨骼上執(zhí)行的程序可以使用更高水平的力，在某些情況下超過100g。當(dāng)器械移動(dòng)穿過目標(biāo)組織表面時(shí)，觸覺反饋提供目標(biāo)組織結(jié)構(gòu)變形、硬度或通過器械施加的力的實(shí)時(shí)指示(沒有用戶可感知的延遲)。因此，用戶可視地跟隨目標(biāo)組織表面上的器械在其中對目標(biāo)施加它的力的當(dāng)前位置，并且與器械實(shí)時(shí)地、同時(shí)地向給定的目標(biāo)組織表面位置提供力。如上面參考圖35所解釋的，根據(jù)一些實(shí)施例，Q3D內(nèi)窺鏡系統(tǒng)101C測量組織位移，并且然后計(jì)算或近似施加到目標(biāo)組織表面的力的量。在操作中，在硬度確定期間，諸如在虛擬觸診過程期間，施加到目標(biāo)組織表面的力維持在上述安全范圍內(nèi)。更具體地，根據(jù)一些實(shí)施例，如果基本相同的力施加到圖36B至圖36E中所表示的目標(biāo)組織表面上的示例離散位置中的每個(gè)，那么通過觸覺反饋界面信息所表示的組織偏轉(zhuǎn)與局部組織硬度成反比例。在一些實(shí)施例中，用戶控制器械和目標(biāo)組織結(jié)構(gòu)之間的接觸，以便調(diào)整器械施加于目標(biāo)組織結(jié)構(gòu)上的力。因此，在整個(gè)所有的硬度確定期間，力傳感器可以用于實(shí)現(xiàn)目標(biāo)組織結(jié)構(gòu)上的基本上恒定的、標(biāo)準(zhǔn)化的力。替代地，系統(tǒng)152可以自動(dòng)地或半自動(dòng)地控制力。系統(tǒng)152還可以根據(jù)由Q3D位移測量值確定的器械力的水平來警告外科醫(yī)生或手術(shù)工作人員。例如，在圖35中，如果通過器械施加的力超過一定的安全閾值，則除提供適合的可視指標(biāo)外，系統(tǒng)152還可以發(fā)出聲音警報(bào)/聽得見的警報(bào)或者提供可視警報(bào)或觸知警報(bào)。實(shí)施例的上述描述和附圖僅說明本發(fā)明的原則。在不背離所附權(quán)利要求中限定的本發(fā)明的精神和范圍的情況下，本領(lǐng)域的技術(shù)人員可以對實(shí)施例進(jìn)行各種修改。當(dāng)前第1頁1 2 3