專利名稱：用于內(nèi)窺鏡手術(shù)的基于圖像整合的配準(zhǔn)和導(dǎo)航的制作方法
用于內(nèi)窺鏡手術(shù)的基于圖像整合的配準(zhǔn)和導(dǎo)航本發(fā)明總體涉及相對于手術(shù)前規(guī)劃和手術(shù)中圖像對身體的解剖區(qū)域內(nèi)的手木工具進(jìn)行實(shí)時跟蹤。本發(fā)明尤其涉及手術(shù)前掃描圖像、手術(shù)中熒光透視圖像和手術(shù)中內(nèi)窺鏡圖像的整合，以實(shí)現(xiàn)對手術(shù)工具的實(shí)時跟蹤和定位。微創(chuàng)內(nèi)窺鏡手術(shù)是ー種手術(shù)流程，在該流程中，通過自然孔ロ或皮膚上的小切ロ(即，端ロ)將剛性或柔性內(nèi)窺鏡引入到患者的身體內(nèi)。將額外的手木工具通過類似的端ロ引入到患者的身體內(nèi)，其中，采用內(nèi)窺鏡就手術(shù)部位向手木工具的外科醫(yī)生提供視覺反饋。例如，圖I圖示了膝蓋10的前十字韌帶(“ACL”)關(guān)節(jié)內(nèi)窺鏡手術(shù)的示意性表示，如圖所示，膝蓋具有ACL 11、軟骨12和膝蓋骨13。關(guān)節(jié)內(nèi)窺鏡手術(shù)涉及手術(shù)前階段和手術(shù)中階段。手術(shù)前階段涉及對膝蓋10的三維(“3D”)掃描成像(例如，CT圖像、MRI圖像、超聲圖像、X射線圖像等)，從而對膝蓋10進(jìn)行診斷性評估，以及對膝蓋10的ACL關(guān)節(jié)內(nèi)窺鏡手術(shù)進(jìn)行規(guī)劃。 手術(shù)中階段涉及通過膝蓋10的前面區(qū)域中的端ロ引入關(guān)節(jié)內(nèi)窺鏡20(8卩，針對關(guān)節(jié)的內(nèi)窺鏡)，由此可以使關(guān)節(jié)內(nèi)窺鏡20發(fā)生移動和/或樞軸轉(zhuǎn)動，以采集膝蓋10的各個區(qū)域的實(shí)時圖像，尤其是ACL 11以及軟骨12的損傷區(qū)的實(shí)時圖像。此外，通過膝蓋10的后面區(qū)域中的端ロ引入沖洗儀器22，并通過膝蓋10的前面區(qū)域中的端ロ以垂直于關(guān)節(jié)內(nèi)窺鏡20的視角的角度引入如修整儀器21的各種手術(shù)儀器，以便于對損傷軟骨12的手木部位的可視化。在本發(fā)明之前，存在兩種主要對手術(shù)工具20-22的位置和取向進(jìn)行跟蹤的方案。第一種方案是無導(dǎo)航的徒手技木，因此外科醫(yī)生通過三種(3)不同的模態(tài)來觀察手術(shù)區(qū)域。例如，如圖2中所示，出于診斷和手術(shù)規(guī)劃的目的，采用CT掃描器30采集手術(shù)前CT掃描圖像31。采用X射線裝置40采集一幅或多幅手術(shù)中二維(“2D”)熒光透視圖像，諸如示范性圖像41，以觀察一個或多個手術(shù)工具20-22相對于膝蓋10的位置和取向。并且，采用關(guān)節(jié)內(nèi)窺鏡20連續(xù)采集手術(shù)中關(guān)節(jié)內(nèi)窺鏡圖像，諸如示范性圖像23，以觀察膝蓋10的手術(shù)部位。外科醫(yī)生可以觀察不同顯示屏上的或同一顯示屏上的圖像。在任一種情況下，這種方案都無法建立各圖像之間的關(guān)系，而這種關(guān)系便于對ー個或多個手術(shù)工具20-22相對于膝蓋10的位置和取向，特別是相對于膝蓋10的手術(shù)部位的位置和取向進(jìn)行跟蹤。第二種方案是基于導(dǎo)航的手術(shù)，其利用外部位置跟蹤系統(tǒng)解決了對手術(shù)工具20-22中的一個或多個相對于膝蓋10的位置和取向進(jìn)行跟蹤的問題。例如，圖3圖示了一種光學(xué)跟蹤系統(tǒng)50，其用于在系統(tǒng)50的跟蹤攝像機(jī)的坐標(biāo)系內(nèi)跟蹤修整儀器21的位置和取向，從而必須執(zhí)行患者配準(zhǔn)流程，以便將修整儀器21呈現(xiàn)為掃描圖像和(一幅或多幅)熒光透視圖像中的疊加(overlay)，諸如處于掃描圖像31和熒光透視圖像42的相應(yīng)坐標(biāo)系中的示范性疊加32和43。所述配準(zhǔn)可以采用附著到患者的皮膚或骨骼上的并利用修整儀器21觸碰的基準(zhǔn)標(biāo)記，該基準(zhǔn)標(biāo)記在熒光透視圖像42上可見?；蛘?，可以執(zhí)行涉及CT掃描圖像31和熒光透視圖像42的無標(biāo)記配準(zhǔn)。
圖3所示的第二種方案為外科醫(yī)生提供了修整儀器21相對于膝蓋10和手術(shù)前規(guī)劃的位置和取向的實(shí)時反饋。然而，采用光學(xué)跟蹤系統(tǒng)50或者備選的外部跟蹤系統(tǒng)(例如，電磁跟蹤系統(tǒng))因患者配準(zhǔn)而延長了手術(shù)流程的時間，不能跟蹤所有的工具20-22，并且還可能給外科醫(yī)生増加身體活動限制(例如，必須總是保持系統(tǒng)50與修整儀器21之間的視線)。本發(fā)明提供了對手術(shù)工具的相對于手術(shù)前手術(shù)規(guī)劃和手術(shù)中圖像的實(shí)時跟蹤，其涉及基于圖像的配準(zhǔn)和工具跟蹤?；趫D像的配準(zhǔn)實(shí)施對身體解剖區(qū)域的多幅圖像的整合，所述圖像包括手術(shù)前掃描圖像(例如，3D CT/MRI圖像)、手術(shù)中熒光透視圖像(例如，2DX射線圖像)和手術(shù)中內(nèi)窺鏡圖像(例如，2D關(guān)節(jié)內(nèi)窺鏡圖像)。所述工具跟蹤通過手術(shù)中內(nèi)窺鏡圖像實(shí)施對一個或多個手術(shù)工具的跟蹤在手術(shù)前掃描圖像和/或手術(shù)中熒光透視圖像內(nèi)的呈現(xiàn)。本發(fā)明的ー種形式是用于整合身體的解剖區(qū)域的多幅圖像的手術(shù)導(dǎo)航系統(tǒng)，所述多幅圖像包括手術(shù)前掃描圖像(例如，3D CT/MRI圖像)、手術(shù)中熒光透視圖像(例如，2D X射 線圖像)和手術(shù)中內(nèi)窺鏡圖像(例如，2D關(guān)節(jié)內(nèi)窺鏡圖像)。所述手術(shù)導(dǎo)航系統(tǒng)包括圖像整合器和工具跟蹤器。在工作過程中，圖像整合器生成整合圖像矩陣，所述整合圖像矩陣包括熒光透視圖像矩陣與內(nèi)窺鏡圖像矩陣的整合(例如，矩陣乘法)，其中，熒光透視圖像矩陣包括手術(shù)中熒光透視圖像與手術(shù)前掃描圖像之間的變換，并且其中，內(nèi)窺鏡圖像矩陣包括手術(shù)前掃描圖像與手術(shù)中內(nèi)窺鏡圖像之間的變換。繼而，工具跟蹤器生成整合跟蹤矩陣，其中，所述整合跟蹤矩陣包括整合圖像矩陣和內(nèi)窺鏡跟蹤矩陣的整合(例如，矩陣乘法)，并且其中，所述內(nèi)窺鏡跟蹤矩陣表示在手術(shù)中內(nèi)窺鏡圖像內(nèi)對手術(shù)工具的跟蹤。所述工具跟蹤器可以進(jìn)一歩生成或備選地生成掃描跟蹤矩陣，其中，所述掃描跟蹤矩陣包括內(nèi)窺鏡圖像矩陣和內(nèi)窺鏡跟蹤矩陣的整合(例如，矩陣乘法)。就本發(fā)明的目的而言，可以將本文采用的“生成”一詞廣義地定義為包括當(dāng)前已知的或者以后已知的用于創(chuàng)建、提供、配備、獲得、產(chǎn)生、形成、開發(fā)、演化、修改、變換、改變或制作可用信息(例如，數(shù)據(jù)、文本、圖像、語音和視頻)，以實(shí)現(xiàn)計(jì)算機(jī)處理目的和存儲器存儲/檢索目的的任何技木，特別是對圖像數(shù)據(jù)集和視頻幀而言，將本文采用的“配準(zhǔn)”一詞廣義地定義為包括本領(lǐng)域當(dāng)前已知或者以后已知的用于將不同的圖像數(shù)據(jù)集變換到ー個坐標(biāo)系內(nèi)的技術(shù)。此外，將本文采用的“手術(shù)前”一詞廣義地定義為描述在內(nèi)窺鏡應(yīng)用之前的時期或準(zhǔn)備過程(例如，針對內(nèi)窺鏡的路徑規(guī)劃)中發(fā)生的或者與之相關(guān)的活動，并且將本文采用的“手術(shù)中”一詞廣義地定義為描述在內(nèi)窺鏡應(yīng)用(例如，根據(jù)規(guī)劃的路徑操作內(nèi)窺鏡)的過程中發(fā)生、執(zhí)行或者遇到的活動。內(nèi)窺鏡應(yīng)用的例子包括，但不限于，關(guān)節(jié)內(nèi)窺鏡檢查、支氣管鏡檢查、結(jié)腸鏡檢查、腹腔鏡檢查、腦部內(nèi)窺鏡檢查和內(nèi)窺鏡心臟手術(shù)。內(nèi)窺鏡心臟手術(shù)的范例包括，但不限于，內(nèi)窺鏡冠狀動脈旁路術(shù)、內(nèi)窺鏡ニ尖瓣和主動脈瓣修補(bǔ)和置換。在大多數(shù)情況下，手術(shù)前活動和手術(shù)中活動將發(fā)生在截然不同的分立時間段期間。然而，本發(fā)明也包括涉及手術(shù)前和手術(shù)中時間段發(fā)生任何程度的重疊的情況。此外，本文將“內(nèi)窺鏡”一詞廣義地定義為由具有從身體內(nèi)部成像的能力的任何類型的內(nèi)窺鏡采集的圖像的特征表述，并且本文將“熒光透視”ー詞廣義地定義為由具有提供身體內(nèi)部結(jié)構(gòu)的實(shí)時圖像的能力的任何類型的熒光透視儀采集的圖像的特征表述。用于本發(fā)明的目的的內(nèi)窺鏡的范例包括，但不限于，任何類型的檢查鏡，柔性或剛性的(例如，內(nèi)窺鏡、關(guān)節(jié)內(nèi)窺鏡、支氣管鏡、膽管鏡、結(jié)腸鏡、膀胱鏡、十二指腸鏡、胃窺器、宮腔鏡、腹窺鏡、喉鏡、神經(jīng)鏡、耳鏡、推進(jìn)腸鏡、鼻喉鏡、こ狀結(jié)腸鏡、竇窺鏡、胸腔鏡等)以及與檢查鏡類似的配備有成像系統(tǒng)的任何裝置(例如，具有成像功能的嵌套插管)。所述成像是局部的，可以利用光纖、透鏡或微型(例如，基于CCD的)成像系統(tǒng)獲得表面圖像。用于本發(fā)明的目的的熒光透視儀的范例包括，但不限干，X射線成像系統(tǒng)。通過下文結(jié)合附圖
對本發(fā)明的各實(shí)施例的詳細(xì)描述，本發(fā)明的上述形式及其他形式以及本發(fā)明的各種特征和優(yōu)點(diǎn)將變得更加明顯。所述詳細(xì)描述和附圖僅用于對本發(fā)明進(jìn)行舉例說明而非對其構(gòu)成限制，本發(fā)明的范圍由權(quán)利要求及其等同要件界定。
圖I圖不了本領(lǐng)域已知的ACL關(guān)節(jié)內(nèi)窺鏡手術(shù)的不意性表不。圖2圖示了本領(lǐng)域已知的無手術(shù)導(dǎo)航的示范性ACL關(guān)節(jié)內(nèi)窺鏡手術(shù)。圖3圖示了本領(lǐng)域已知的具有手術(shù)導(dǎo)航的示范性ACL關(guān)節(jié)內(nèi)窺鏡手木。圖4圖示了根據(jù)本發(fā)明的手術(shù)導(dǎo)航系統(tǒng)的示范性實(shí)施例的具有手術(shù)導(dǎo)航的示范性ACL關(guān)節(jié)內(nèi)窺鏡手木。圖5圖示了表示根據(jù)本發(fā)明的圖像整合方法的示范性實(shí)施例的流程圖。圖6圖示了表示根據(jù)本發(fā)明的工具跟蹤方法的示范性實(shí)施例的流程圖。圖7圖示了根據(jù)本發(fā)明的手術(shù)導(dǎo)航方法的示范性實(shí)施例的流程圖。參考圖4，其示出了本發(fā)明的手術(shù)導(dǎo)航系統(tǒng)60，其用于相對于手術(shù)規(guī)劃和手術(shù)中圖像對手木工具進(jìn)行實(shí)時跟蹤，該過程涉及基于圖像的配準(zhǔn)和工具跟蹤。為此，系統(tǒng)60包括圖像整合器61、工具跟蹤器62以及用于圖示圖像23、31、43的顯示裝置。本文將圖像整合器61廣義地定義為在結(jié)構(gòu)上被構(gòu)造成實(shí)施基于圖像的配準(zhǔn)的任何裝置，所述配準(zhǔn)涉及身體的解剖區(qū)域的多幅圖像的整合，所述多幅圖像包括手術(shù)前掃描圖像(例如，3D CT/MRI圖像)、手術(shù)中熒光透視圖像(例如，2D X射線圖像)以及手術(shù)中內(nèi)窺鏡圖像(例如，2D關(guān)節(jié)內(nèi)窺鏡圖像)。本文將工具跟蹤器62廣義地定義為在結(jié)構(gòu)上被構(gòu)造成實(shí)施工具跟蹤的任何裝置，所述跟蹤涉及手木工具在手術(shù)前掃描圖像和/或手術(shù)中熒光透視圖像內(nèi)的疊加，其表示在手術(shù)中內(nèi)窺鏡圖像內(nèi)對手術(shù)工具的跟蹤。本文將顯示裝置廣義地定義為在結(jié)構(gòu)上被構(gòu)造為根據(jù)任何適當(dāng)?shù)募夹g(shù)顯示圖像和受到跟蹤的手木工具的任何裝置，例如，所述技術(shù)可以是對圖像和受到跟蹤的手木工具的增強(qiáng)虛擬可視化。圖5圖示了表示由圖像整合器61執(zhí)行的圖像整合方法的流程圖70。參考圖5，流程圖70具有熒光透視路徑和內(nèi)窺鏡路徑，兩條路徑都引向圖像整合階段S74。所述熒光透視路徑包括流程圖70的階段S71，其包括手術(shù)中熒光透視圖像(例如，圖4中的圖像41)與手術(shù)前掃描圖像(例如，圖4的圖像31)的熒光透視圖像配準(zhǔn)。在階段S71的一個實(shí)施例中，熒光透視圖像配準(zhǔn)涉及將2D手術(shù)中熒光透視圖像剛性空間變換為目標(biāo)圖像，從而使之與作為參考圖像的3D手術(shù)前掃描圖像對準(zhǔn)，由此生成熒光透視圖像矩陣
其中，ベ表示本領(lǐng)域已知的矩陣求逆)，其中，所述剛性空間變換是本領(lǐng)域已知的?；蛘撸鰺晒馔敢晥D像配準(zhǔn)可以涉及將3D手術(shù)前掃描圖像剛性空間變換為目標(biāo)圖像，從而使之與作為參考圖像的2D手術(shù)中熒光透視圖像對準(zhǔn)，由此生成熒光透視圖像矩陣(TCT_X)，其中，所述剛性空間變換是本領(lǐng)域已知的。階段S71是由圖像整合器60在通過熒光透視儀(例如，圖4的X射線系統(tǒng)40)生成每個新的圖像幀時執(zhí)行的，其以手術(shù)流程期間由外科醫(yī)生決定的需求為基礎(chǔ)。內(nèi)窺鏡路徑包括流程圖70的階段S72和階段S73。階段S72包括手術(shù)中內(nèi)窺鏡圖像(例如，圖4的圖像23)內(nèi)的對象的表面重建。在階段S72的針對立體內(nèi)窺鏡(例如，具有兩個照相機(jī)的同時拍攝兩幅圖像的關(guān)節(jié)內(nèi)窺鏡)的示范性實(shí)施例中，可以采用本領(lǐng)域已知的任何立體3D重建方法。在階段S72的針對單筒內(nèi)窺鏡(例如，拍攝圖像的單照相機(jī)關(guān)節(jié)內(nèi)窺鏡)的示范性實(shí)施例中，可以采用本領(lǐng)域已知的任何攝影測量重建技術(shù)。例如，在給定單筒內(nèi)窺鏡的速度的情況下，可以從光流提取深度圖。具體而言，光流是表示圖像內(nèi)的每個點(diǎn)或特征在圖像時間序列內(nèi)的運(yùn)動的矢量場，其中，將光流上的在連續(xù)片層內(nèi)不發(fā)生移動的點(diǎn)稱為擴(kuò)展焦點(diǎn)(“F0E”)。使內(nèi)窺鏡的光軸與其移動對準(zhǔn)，由此使FOE與內(nèi)窺鏡的移動對準(zhǔn)?？梢酝ㄟ^了解每個點(diǎn)或特征距FOE的距離(D)、每個點(diǎn)內(nèi)的光流的幅度(V)以及內(nèi)窺鏡的速度(V)而根據(jù)Z=v*D/V提取深度信息(Z)?？梢詮墓逃械恼障鄼C(jī)參數(shù)(例如，焦點(diǎn)等)計(jì)算內(nèi)窺鏡的X和Y位置。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，在不采用光學(xué)線索(cue)的情況下使內(nèi)窺鏡進(jìn)行樞軸轉(zhuǎn)動，以實(shí)現(xiàn)表面重建目的，而備選地，在采用光學(xué)線索的情況下不必使內(nèi)窺鏡進(jìn)行樞軸運(yùn)動來實(shí)現(xiàn)表面重建目的。階段S73包括手術(shù)前掃描圖像(例如，圖4中的圖像31)的內(nèi)窺鏡圖像配準(zhǔn)以及手術(shù)中內(nèi)窺鏡圖像內(nèi)的表面重建(例如，圖4的圖像23)。在階段S73的ー個示范性實(shí)施例中，內(nèi)窺鏡圖像配準(zhǔn)涉及將手術(shù)中內(nèi)窺鏡圖像內(nèi)的表面重建剛性空間變換成目標(biāo)圖像，從而使之與作為參考圖像的3D手術(shù)前掃描圖像對準(zhǔn)，由此生成內(nèi)窺鏡圖像矩陣TCT_E(VfrU，其中，所述剛性空間變換是本領(lǐng)域已知的。具體而言，可以按照所定義的特征性亨氏(Hounsfield)單位(例如，175HU)利用圖像閾值化對手術(shù)前掃描圖像中所示的骨骼表面進(jìn)行分割，并且可以執(zhí)行迭代最近點(diǎn)(ICP)算法，從而對所述圖像進(jìn)行變換?；蛘撸鰞?nèi)窺鏡圖像配準(zhǔn)涉及將3D手術(shù)前掃描圖像剛性空間變換成目標(biāo)圖像，從而使之與作為參考圖像的手術(shù)中內(nèi)窺鏡圖像內(nèi)的表面重建對準(zhǔn)，由此生成內(nèi)窺鏡圖像矩陣TE_CT，其中，所述剛性空間變換是本領(lǐng)域已知的。由圖像整合器60在通過(ー個或多個)內(nèi)窺鏡裝置(例如，圖4的關(guān)節(jié)內(nèi)窺鏡40)生成每個新的圖像幀時執(zhí)行階段S73，其在手術(shù)過程中采取連續(xù)的方式。階段S74包括階段S71的熒光透視圖像矩陣TX_CT和階段S73的內(nèi)窺鏡圖像矩陣TCT_E的圖像整合。在階段S74的一個示范性實(shí)施例中，圖像整合包括對熒光透視圖像 矩陣TX_CT和內(nèi)窺鏡圖像矩陣TCT_E實(shí)施本領(lǐng)域已知的矩陣乘法，由此得到整合圖像矩陣TX_E
(Te-x_T x-e )。流程圖70仍然處于手術(shù)流程期間的ー個循環(huán)內(nèi)，這時通過與階段71的最當(dāng)前的熒光透視圖像配準(zhǔn)發(fā)生了整合的內(nèi)窺鏡路徑S72和S73對階段S74持續(xù)不斷地更新。圖6圖示了表示由工具跟蹤器62 (圖4)執(zhí)行的工具跟蹤方法的流程圖80。參考圖6，流程圖80的階段S81包括在手術(shù)中內(nèi)窺鏡圖像(例如，圖4的圖像23)內(nèi)跟蹤手木工具，以及生成表示手木工具(T)在手術(shù)中內(nèi)窺鏡圖像(E)中的位置的內(nèi)窺鏡圖像矩陣Ττ_Ε(例如，所述內(nèi)窺鏡圖像矩陣Ττ_Ε可以是通過平移分量示出工具尖端，通過旋轉(zhuǎn)分量示出工具取向的變換矩陣)。在階段S81的一個示范性實(shí)施例中，工具跟蹤器61執(zhí)行本領(lǐng)域已知的攝影測量跟蹤技木。具體而言，與內(nèi)窺鏡圖像的背景(例如，骨骼)相比，手木工具在內(nèi)窺鏡圖像內(nèi)通常具有高對比度。因而，有可能利用三(3)種顏色通道上的閾值化來對圖像進(jìn)行分害わ由此檢測手木工具在內(nèi)窺鏡圖像內(nèi)的位置?；蛘撸梢韵蚴帜竟ぞ叩募舛送可烯`種在人體內(nèi)極少觀察到的截然不同的顔色(例如，緑色)，由此將得到通過綠色通道實(shí)施的分割。在任一種情況下，一旦通過內(nèi)窺鏡圖像的分割檢測到了手木工具，那么可以采用先前本文描述的深度估算技術(shù)估算工具相對于內(nèi)窺鏡框架(endoscopic frame)的深度。流程圖80的階段82包括通過內(nèi)窺鏡跟蹤矩陣Ττ_Ε (ΤΕ_τ=ΤΛ_Ε)與整合圖像矩陣ΤΧ_Ε的整合在手術(shù)中熒光透視圖像內(nèi)跟蹤手木工具。在階段S82的一個示范性實(shí)施例中，所述整合包括對內(nèi)窺鏡跟蹤矩陣Ττ_Ε和所述整合圖像矩陣ΤΧ_Ε的逆矩陣實(shí)施本領(lǐng)域已知的矩陣乘法，從而得到熒光透視跟蹤矩陣Ττ_χ (Τχ_τ=ΤΛ_χ)。流程圖80的階段S83包括通過內(nèi)窺鏡跟蹤矩陣Ττ_Ε與內(nèi)窺鏡圖像矩陣TCT_E的整合在手術(shù)前掃描圖像內(nèi)跟蹤手木工具。在階段S83的一個示范性實(shí)施例中，所述整合包括對內(nèi)窺鏡跟蹤矩陣Ττ_Ε和內(nèi)窺鏡圖像矩陣TCT_E的逆矩陣實(shí)施本領(lǐng)域已知的矩陣乘法，由此得到掃描跟蹤矩陣TT_CT ( Tct_t=T^t_ct )。階段S82和S83的結(jié)果是在手術(shù)前掃描圖像和手術(shù)中熒光透視圖像中對手術(shù)工具的實(shí)時跟蹤的顯示，例如，圖4所示的手術(shù)前掃描圖像31的跟蹤疊加32和圖4所示的手術(shù)中熒光透視圖像42的跟蹤疊加43。不需要外部成像系統(tǒng)(但是可以采用外部成像系統(tǒng)對內(nèi)窺鏡裝置進(jìn)行補(bǔ)充)和患者配準(zhǔn)就可以達(dá)到這ー目的。圖7圖示了表示在ACL關(guān)節(jié)內(nèi)窺鏡手術(shù)的背景下表示流程圖70 (圖5)和流程圖80 (圖6)的手術(shù)導(dǎo)航方法的流程圖90。具體而言，流程圖90的階段S91包括采集手術(shù)前掃描圖像(例如，3DCT圖像、3DMRI圖像、3D X射線圖像、3D熒光透視圖像等)。流程圖90的階段S92包括對患者進(jìn)行準(zhǔn)備以實(shí)施ALC關(guān)節(jié)內(nèi)窺鏡手木。例如，患者準(zhǔn)備可以包括對膝蓋的肌腱描畫格柵以及對膝蓋固定，以實(shí)施手木。流程圖90的階段S93包括采集手術(shù)中熒光透視圖像(例如，2D X射線圖像)以及執(zhí)行階段S71的熒光透視配準(zhǔn)(圖5)。第一次通過流程圖90涉及階段S93并由其進(jìn)行至階段S95-S98。階段95包括在膝蓋內(nèi)部署關(guān)節(jié)內(nèi)窺鏡(例如，圖4的關(guān)節(jié)內(nèi)窺鏡20)。階段S96包括在膝蓋內(nèi)部署額外的手木工具(例如，圖4的修整儀器21和沖洗儀器22)。階段S97包括采集手術(shù)中內(nèi)窺鏡圖像和執(zhí)行階段S72的表面重建(圖5)，還包括階段S73的內(nèi)窺鏡配準(zhǔn)(圖5)以及階段S74的圖像整合(圖5)。并且，階段S98包括根據(jù)流程圖80對手術(shù)工具進(jìn)行跟蹤(圖6)。判決階段S99-S101允許在手術(shù)流程階段S102和工具跟蹤階段S98之間形成連續(xù)的循環(huán)，直到發(fā)生下述情況為止(I)外科醫(yī)生移動了關(guān)節(jié)內(nèi)窺鏡，從而迫使流程返回至階段S97，(2)外科醫(yī)生在膝蓋內(nèi)引入了新的要跟蹤的手木工具，其迫使流程返回至階段S96，或者(3)外科醫(yī)生確定需要新的熒光透視圖像，其迫使流程返回至階段S93。如果關(guān)節(jié)內(nèi)窺鏡和受到跟蹤的手木工具仍然部署著，那么任何一次返回至階段S93都將經(jīng)由判決階段S94進(jìn)行至階段S97。在實(shí)踐中，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到如何針對其他內(nèi)窺鏡應(yīng)用實(shí)施流程圖90。盡管已經(jīng)對本發(fā)明的各種實(shí)施例給出了圖示和描述，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，本文描述的方法和系統(tǒng)僅僅是示范性的，在不背離本發(fā)明的實(shí)際范圍的情況下，可以、做出各種變化和修改，并且可以采用等價(jià)要素替代其要素。此外，在不背離本發(fā)明的核心范圍的情況下，可以做出很多修改，使之適應(yīng)本發(fā)明的教導(dǎo)。因此，其目的是說，本發(fā)明不受作為為了實(shí)施本發(fā)明而構(gòu)思的最佳模式而公開的具體實(shí)施例的限制，相反本發(fā)明 包括所有落在權(quán)利要求的范圍內(nèi)的實(shí)施例。
權(quán)利要求
1.一種用于整合身體的解剖區(qū)域的多幅圖像的手術(shù)導(dǎo)航系統(tǒng)(60)，所述多幅圖像包括手術(shù)前掃描圖像(31)、手術(shù)中熒光透視圖像(42)和手術(shù)中內(nèi)窺鏡圖像(23)，所述手術(shù)導(dǎo)航系統(tǒng)(60)包括 圖像整合器(61 )，其能夠用于生成整合圖像矩陣(TX_E)，所述整合圖像矩陣包括熒光透視圖像矩陣(TX_CT)與內(nèi)窺鏡圖像矩陣(TCT_E)的整合， 其中，所述熒光透視圖像矩陣(TX_CT)包括所述手術(shù)中熒光透視圖像(42)與所述手術(shù)前掃描圖像(31)之間的變換，并且 其中，所述內(nèi)窺鏡圖像矩陣(TCT_E)包括所述手術(shù)前掃描圖像(31)與所述手術(shù)中內(nèi)窺鏡圖像(23)之間的變換，以及 工具跟蹤器(62)，其能夠用于生成整合跟蹤矩陣(Ττ_χ)和掃描跟蹤矩陣(TT_CT)， 其中，所述整合跟蹤矩陣(Ττ_χ)包括所述整合圖像矩陣(ΤΧ_Ε)與內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的整合， 其中，所述掃描跟蹤矩陣(TT_CT)包括所述內(nèi)窺鏡圖像矩陣(Tct_e)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的整合，并且 其中，所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)表示在所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)對手術(shù)工具(21)的跟蹤。
2.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述圖像整合器(61)還能夠用于執(zhí)行所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)的對象的表面的攝影測量重建，從而以其作為所述手術(shù)前掃描圖像(31)與所述手術(shù)中內(nèi)窺鏡圖像(23 )之間的所述變換的基礎(chǔ)。
3.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述熒光透視圖像矩陣(TX_CT)與所述內(nèi)窺鏡圖像矩陣(TCT_E)的所述整合包括執(zhí)行涉及所述熒光透視圖像矩陣(TX_CT)與所述內(nèi)窺鏡圖像矩陣(TCT_E)的矩陣乘法。
4.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述整合圖像矩陣(TX_E)與內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的所述整合包括執(zhí)行涉及所述整合圖像矩陣(ΤΧ_Ε)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的矩陣乘法。
5.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述內(nèi)窺鏡圖像矩陣(TCT_E)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的所述整合包括執(zhí)行涉及所述內(nèi)窺鏡圖像矩陣(TCT_E)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的矩陣乘法。
6.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，還包括 用于顯示所述手術(shù)中熒光透視圖像(42)的顯示裝置，所述手術(shù)中熒光透視圖像具有作為所述整合跟蹤矩陣(Ττ_χ)的函數(shù)的手木工具(21)的疊加(43)。
7.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，還包括 用于顯示所述手術(shù)前掃描圖像(31)的顯示裝置，所述手術(shù)前掃描圖像具有作為所述掃描跟蹤矩陣(TT_CT)的函數(shù)的手木工具(21)的疊加(43)。
8.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述工具跟蹤器(62)還能夠用于執(zhí)行在所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)對所述手木工具(21)的攝影測量跟蹤。
9.根據(jù)權(quán)利要求I所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述手術(shù)前掃描圖像(31)選自包括計(jì)算機(jī)斷層攝影圖像、磁共振圖像、超聲圖像和X射線圖像的組。
10.一種用于整合身體的解剖區(qū)域的多幅圖像的手術(shù)導(dǎo)航系統(tǒng)(60)，所述多幅圖像包括手術(shù)前掃描圖像(31)、手術(shù)中熒光透視圖像(42)和手術(shù)中內(nèi)窺鏡圖像(23)，所述手術(shù)導(dǎo)航系統(tǒng)(60)包括 圖像整合器(61)，其能夠用于生成整合圖像矩陣(TX_E)，所述整合圖像矩陣包括熒光透視圖像矩陣(Tx_ct)與內(nèi)窺鏡圖像矩陣(Tct_e)的整合， 其中，所述熒光透視圖像矩陣(TX_CT)包括所述手術(shù)中熒光透視圖像(42)與所述手術(shù)前掃描圖像(31)之間的變換，并且 其中，所述內(nèi)窺鏡圖像矩陣(TCT_E)包括所述手術(shù)前掃描圖像(31)與所述手術(shù)中內(nèi)窺鏡圖像(23)之間的變換，以及 工具跟蹤器(62 )，其能夠用于生成整合跟蹤矩陣(Tt_x)， 其中，所述整合跟蹤矩陣(Tt_x)包括所述整合圖像矩陣(Tx_e)與內(nèi)窺鏡跟蹤矩陣(Tt_e)的整合，并且 其中，所述內(nèi)窺鏡跟蹤矩陣(Tt_e)表示在所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)對手術(shù)工具(21)的跟蹤。
11.根據(jù)權(quán)利要求10所述的手術(shù)導(dǎo)航系統(tǒng)(60)，所述圖像整合器(61)還能夠用于重建所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)的對象的表面，從而以其作為所述手術(shù)前掃描圖像(31)與所述手術(shù)中內(nèi)窺鏡圖像(23 )之間的所述變換的基礎(chǔ)。
12.根據(jù)權(quán)利要求10所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述熒光透視圖像矩陣(Tx_ct)與所述內(nèi)窺鏡圖像矩陣(Tct_e)的所述整合包括執(zhí)行涉及所述熒光透視圖像矩陣(Tx_ct)與所述內(nèi)窺鏡圖像矩陣(Tct_e)的矩陣乘法。
13.根據(jù)權(quán)利要求10所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述整合圖像矩陣(TX_E)與內(nèi)窺鏡跟蹤矩陣(Tt_e)的所述整合包括執(zhí)行涉及所述整合圖像矩陣(tx_e)與所述內(nèi)窺鏡跟蹤矩陣(Tt_e)的矩陣乘法。
14.根據(jù)權(quán)利要求10所述的手術(shù)導(dǎo)航系統(tǒng)(60)，還包括 用于顯示所述手術(shù)中熒光透視圖像(42)的顯示裝置，所述手術(shù)中熒光透視圖像具有作為所述整合跟蹤矩陣(Tt_x)的函數(shù)的手術(shù)工具(21)的疊加(43)。
15.根據(jù)權(quán)利要求10所述的手術(shù)導(dǎo)航系統(tǒng)(60)，其中，所述工具跟蹤器(62)還能夠用于執(zhí)行在所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)對所述手術(shù)工具(21)的攝影測量跟蹤。
16.一種用于整合身體的解剖區(qū)域的多幅圖像的手術(shù)導(dǎo)航方法，所述多幅圖像包括手術(shù)前掃描圖像(31)、手術(shù)中熒光透視圖像(42)和手術(shù)中內(nèi)窺鏡圖像(23)，所述方法包括 生成整合圖像矩陣(TX_E)，所述整合圖像矩陣包括熒光透視圖像矩陣(TX_CT)與內(nèi)窺鏡圖像矩陣(Tct_e)的整合， 其中，所述熒光透視圖像矩陣(TX_CT)包括所述手術(shù)中熒光透視圖像(42)與所述手術(shù)前掃描圖像(31)之間的變換，并且 其中，所述內(nèi)窺鏡圖像矩陣(TCT_E)包括所述手術(shù)前掃描圖像(31)與所述手術(shù)中內(nèi)窺鏡圖像(23)之間的變換，以及 生成整合跟蹤矩陣(Tt_x)和掃描跟蹤矩陣(Tt_ct)， 其中，所述整合跟蹤矩陣(Tt_x)包括所述整合圖像矩陣(Tx_e)與內(nèi)窺鏡跟蹤矩陣(Tt_e)的整合， 其中，所述掃描跟蹤矩陣(Tt_ct)包括所述內(nèi)窺鏡圖像矩陣(Tct_e)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的整合，并且 其中，所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)表示對所述手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)的手木工具(21)的跟蹤。
17.根據(jù)權(quán)利要求16所述的手術(shù)導(dǎo)航方法，其中，所述熒光透視圖像矩陣(TX_CT)與所述內(nèi)窺鏡圖像矩陣(TCT_E)的所述整合包括執(zhí)行涉及所述熒光透視圖像矩陣(TX_CT)與所述內(nèi)窺鏡圖像矩陣(TCT_E)的矩陣乘法。
18.根據(jù)權(quán)利要求16所述的手術(shù)導(dǎo)航方法，其中，所述整合圖像矩陣(TX_E)與內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的所述整合包括執(zhí)行涉及所述整合圖像矩陣(ΤΧ_Ε)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的矩陣乘法。
19.根據(jù)權(quán)利要求16所述的手術(shù)導(dǎo)航方法，其中，所述內(nèi)窺鏡圖像矩陣(TCT_E)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的所述整合包括執(zhí)行涉及所述內(nèi)窺鏡圖像矩陣(TCT_E)與所述內(nèi)窺鏡跟蹤矩陣(Ττ_Ε)的矩陣乘法。
20.根據(jù)權(quán)利要求16所述的手術(shù)導(dǎo)航方法，還包括 顯示所述手術(shù)中熒光透視圖像(42)，所述手術(shù)中熒光透視圖像具有作為所述整合跟蹤矩陣(Ττ_χ)的函數(shù)的手木工具(21)的疊加(43);以及 顯示所述手術(shù)前掃描圖像(31)，所述手術(shù)前掃描圖像具有作為所述掃描跟蹤矩陣(TT_CT)的函數(shù)的手術(shù)工具(21)的疊加(43)。
全文摘要
一種相對于手術(shù)前手術(shù)規(guī)劃和手術(shù)中圖像對手術(shù)工具實(shí)施的實(shí)時跟蹤涉及基于圖像的配準(zhǔn)和工具跟蹤配準(zhǔn)。所述基于圖像的配準(zhǔn)實(shí)施對身體的解剖區(qū)域的多幅圖像的整合，所述多幅圖像包括手術(shù)前掃描圖像(31)(例如，3D CT/MRI圖像)、手術(shù)中熒光透視圖像(42)(例如，2D X射線圖像)和手術(shù)中內(nèi)窺鏡圖像(23)(例如，2D關(guān)節(jié)內(nèi)窺鏡圖像)。所述工具跟蹤配準(zhǔn)實(shí)施在手術(shù)中內(nèi)窺鏡圖像(23)內(nèi)對一個或多個手術(shù)工具的跟蹤在手術(shù)前掃描圖像(31)和/或手術(shù)中熒光透視圖像(42)內(nèi)的表示。
文檔編號A61B19/00GK102711650SQ201080061265
公開日2012年10月3日 申請日期2010年12月6日 優(yōu)先權(quán)日2010年1月13日
發(fā)明者A·波波維奇 申請人:皇家飛利浦電子股份有限公司