專利名稱：用于內窺鏡實時校準的系統(tǒng)和方法
用于內窺鏡實時校準的系統(tǒng)和方法本公開涉及內窺鏡系統(tǒng)，更具體而言，涉及在醫(yī)學過程期間用于內窺鏡?；吹南到y(tǒng)和方法。在全世界肺癌是癌癥死亡的首要原因。胸部中央淋巴結的支氣窺管鏡活檢是肺癌分級的重要步驟。在支氣管窺鏡檢查之前，醫(yī)生需要從視覺上評估患者的三維(3D)計算機斷層攝影(CT)胸部掃描以識別可疑的淋巴結部位。在支氣管窺鏡檢查期間，醫(yī)生將支氣管窺鏡引導到每個期望的淋巴結部位。令人遺憾的是，醫(yī)生在3D CT圖像數(shù)據(jù)和支氣管窺鏡檢查期間提供的實況視頻流之間沒有任何關聯(lián)。醫(yī)生實際上是在沒有實時視覺反饋的情況下執(zhí)行活檢的，這增大了過程的難度。開發(fā)虛擬支氣管窺鏡檢查(VB)使人們對向諸如肺癌分級的過程中引入基于CT的計算機圖形技術感興趣。在VB中，可以沿著循氣道中心軸的路徑生成氣道的內部(腔內)呈現(xiàn)并實現(xiàn)實況視頻支氣管窺鏡檢查的在線模擬。在VB中，器官的內視圖是從輻射圖像由計算機生成的。這類似于在所述過程期間呈現(xiàn)器官的實際支氣管窺鏡檢查(RB)視圖的狀況。 根據(jù)本原理，VB使得能夠使用基于計算機的圖像引導來輔助醫(yī)生執(zhí)行經(jīng)支氣管針吸(TBNA)和其他過程。通過配準RB和VB，醫(yī)生能夠在CT數(shù)據(jù)集中定位支氣管窺鏡。配準RB和VB的一種方式是使用電磁(EM)跟蹤。可以將6自由度EM傳感器附著于支氣管窺鏡接近攝像機的遠端?？梢酝ㄟ^一次性校準過程確定攝像機坐標系和傳感器本地坐標系之間的固定變換。在將EM配準到CT之后可以獲得RB/VB融合。根據(jù)本原理，提供了一種內窺鏡?；?。在一個實施例中，需要支氣管窺鏡校準以利用電磁跟蹤在支氣管窺鏡檢查中進行圖像引導。也可以想到其他過程(例如超聲校準等)和觀察鏡(例如結腸鏡等)。需要確定支氣管窺鏡的攝像機和跟蹤傳感器之間的變換以將支氣管鏡檢查圖像配準手術前CT圖像。不過，將跟蹤傳感器附著到支氣管窺鏡的外部可能是有問題的，因為它可能使得消毒過程復雜化。另一方面，跟蹤傳感器不能持久占據(jù)支氣管窺鏡的工作通道，因為標準支氣管窺鏡僅具有一個通常用于傳遞手術裝置的工作通道。根據(jù)一個實施例，利用能圖像識別的特征標記跟蹤傳感器，允許實時確定支氣管窺鏡的攝像機和傳感器之間的變換。一種傳感器跟蹤裝置、系統(tǒng)和方法包括配置于導線或線纜上并適于配合到內窺鏡的工作通道中的傳感器。在所述傳感器的遠端部分上形成能圖像識別的特征，在傳感器從內窺鏡延伸時可以該特征能夠被識別。由內窺鏡收集能圖像識別的特征的圖像并允許確定內窺鏡的位姿。一種用于跟蹤內窺鏡的系統(tǒng)包括具有工作通道的內窺鏡、空間跟蹤系統(tǒng)和遠端設置的成像裝置。傳感器配置于導線上并適于配合到所述工作通道中。在所述傳感器的遠端部分上形成至少一個能圖像識別的特征，在傳感器從內窺鏡延伸時該特征能夠被識別。變換模塊被配置成通過采用所述成像裝置收集的至少一個能圖像識別的特征的圖像位置和所述空間跟蹤系統(tǒng)的位置計算所述內窺鏡的位姿。一種用于跟蹤內窺鏡的方法包括校準內窺鏡的遠端設置的成像裝置和傳感器之間的變換，所述傳感器在所述傳感器的遠端部分上形成有至少一個能圖像識別的特征，在所述傳感器從所述內窺鏡延伸時，所述特征能夠被識別。通過所述內窺鏡的工作通道傳遞所述傳感器，直到對所述至少一個能圖像識別的特征成像為止，從而跟蹤內窺鏡，并利用至少一個能圖像識別的特征的圖像和變換計算內窺鏡的當前位姿。從其例示性實施例的以下詳細描述，本公開的這些和其他目的、特征和優(yōu)點將變得顯而易見，要結合附圖閱讀其描述。將參考以下附圖在優(yōu)選實施例的以下描述中給出本公開，附圖中圖I是適用于根據(jù)本發(fā)明原理的具有工作通道的內窺鏡的透視圖；圖2是示出了根據(jù)一個實施例用于跟蹤內窺鏡的系統(tǒng)的方框/流程圖；圖3A-3C示出了用于配準內窺鏡和跟蹤系統(tǒng)的能圖像識別的特征的例示性范例；圖4是示出了根據(jù)本發(fā)明原理配準內窺鏡的系統(tǒng)/方法的方框/流程圖；以及圖5是示出了醫(yī)學過程期間具有能識別的圖像特征的傳感器的圖像。本公開描述了一種設備、系統(tǒng)和方法，通過利用內窺鏡攝像機和跟蹤傳感器之間的坐標變換將內窺鏡圖像配準到手術前圖像(例如，CT圖像)來校準內窺鏡。利用能圖像識別的特征標記跟蹤傳感器。在支氣管窺鏡實施例中，可以在一次性初始校準過程中使六自由度(6D0F)電磁(EM)傳感器通過支氣管窺鏡的工作通道，直到可以在支氣管鏡檢查圖像中識別出EM傳感器的特征為止。在必須要跟蹤支氣管窺鏡時，使EM傳感器通過支氣管窺 鏡的工作通道，直到可以在支氣管鏡檢查圖像中識別EM傳感器的特征。然后處理支氣管鏡檢查圖像以在一次性校準過程中相對于參考位姿確定EM傳感器的實時位姿。這種“就地”校準可以無需額外硬件或必須在內窺鏡中提供額外工作通道來執(zhí)行。即使內窺鏡在患者體內，也可以在手術過程期間實時進行校準。應當理解，將針對內窺鏡檢查過程和內窺鏡裝置描述本發(fā)明；不過，本發(fā)明的教導要寬得多，適用于能夠定位在患者體內用于醫(yī)學過程等的任何部件，例如導管、針或其他被引導的儀器。一開始利用手術前成像技術，例如CT掃描、超聲波掃描圖、X射線等定位這里描述的實施例。也可以采用其他技術。還應當理解，將針對醫(yī)療儀器描述本發(fā)明；不過，本發(fā)明的教導要寬得多，適用于跟蹤或分析復雜生物學或機械系統(tǒng)中采用的任何儀器。具體而言，本發(fā)明原理適用于生物系統(tǒng)的內部跟蹤過程、身體所有區(qū)域，例如肺、胃腸道、排泄器官、血管等中的過程。圖中描繪的元件可以實現(xiàn)于硬件和軟件的各種組合中并提供可以在單個元件或多個元件中組合的功能。可以利用專用硬件以及能夠結合適當軟件執(zhí)行軟件的硬件提供圖中所示的各種元件的功能。在由處理器提供時，可以由單個專用處理器，由單個共享處理器，或由多個個體處理器(其中一些可以共享)提供功能。此外，明確使用術語“處理器”、“模塊”或“控制器”不應被理解為僅僅指能夠執(zhí)行軟件的硬件，可能暗含地包括，但不限于數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)、非易失性存儲器等。此外，這里提到本發(fā)明原理、方面和實施例以及其具體范例的所有陳述都意在涵蓋其結構和等價功能。此外，意在使這樣的等價物包括當前已知的等價物以及將來開發(fā)的等價物(即開發(fā)的執(zhí)行相同功能的任何元件，不論其結構如何)。于是，例如，本領域的技術人員將認識到，這里給出的方框圖表示實現(xiàn)本發(fā)明原理的例示性系統(tǒng)部件和/或電路的概念圖。類似地，要認識到，任何流程圖等都代表基本可以在計算機可讀存儲介質中給出并從而由計算機或處理器執(zhí)行的各種過程，無論是否明確示出了這樣的計算機或處理器。此外，本發(fā)明的實施例可以采取可從計算機可用或計算機可讀存儲介質訪問的計算機程序產(chǎn)品的形式，提供程序代碼，供計算機或任何指令執(zhí)行系統(tǒng)使用或結合它們使用。出于本說明書的目的，計算機可用或計算機可讀存儲介質可以是可以包括、存儲、傳遞、傳播或傳送程序的任何設備，程序供指令執(zhí)行系統(tǒng)、設備或裝置使用或結合它們使用。該介質可以是電子的、磁性的、光學的、電磁的、紅外的或半導體的系統(tǒng)(或設備或裝置)或傳播介質。計算機可讀介質的范例包括半導體或固態(tài)存儲器、磁帶、可移除計算機盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、剛性磁盤和光盤。當前光盤的范例包括高密度盤-只讀存儲器(⑶-ROM)、高密度盤-讀/寫(⑶-R/W)和DVD。圖中描繪的元件可以實現(xiàn)于硬件的各種組合中并提供可以在單個元件或多個元件中組合的功能?，F(xiàn)在參考附圖，其中類似數(shù)字表示相同或類似元件，一開始參考

圖1，根據(jù)一個示范性實施例例示性示出了內窺鏡100的遠端部分102的透視圖。本實施例中的內窺鏡100包括附著于遠端部分102，接近攝像機108的孔徑的EM傳感器106。提供光109以照射內 部區(qū)域進行成像。采用長導線或線纜110以將傳感器106連接到跟蹤系統(tǒng)112，跟蹤系統(tǒng)112可以在內窺鏡100內部或外部。將導線110保持在內窺鏡100外部是不理想的，因為這使得消毒流程很復雜，并可能改變過程期間醫(yī)生對內窺鏡100的感覺。不過，標準的內窺鏡僅有一個工作通道116，用于插入手術裝置，例如鉗子、導管或刷子。跟蹤導線110不能永久占據(jù)工作通道116。因此，可以在每次需要跟蹤時在過程期間通過工作通道116插入跟蹤傳感器118。跟蹤傳感器118可以采用同一跟蹤系統(tǒng)112或不同跟蹤系統(tǒng)。每次插入傳感器118時，使攝像機108和跟蹤傳感器118之間的變換保持不變是困難的，或接近不可能的。因此，提供了原地校準系統(tǒng)和方法。跟蹤傳感器118包括定位器特征120，其可以包括形狀、標記、3D特征等。即使內窺鏡100在患者內部，也采用定位器特征120實時校準攝像機108。如果攝像機108的固有參數(shù)，例如圖像中心、焦距等，以及圖像特征120的幾何性質是已知的，可以利用單個圖像確定圖像特征120和攝像機108之間的變換(例如，在6個自由度中)。例如，圖像特征120包括不等邊三角形的三個頂點，假設我們知道頂點之間的物理距離，則可以從三角形的一個圖像中唯一地確定攝像機108和三角形(120)之間的變換?？梢詫⒋艘话慊狡渌卣黝愋?，因為任何圖像特征120都可以由一組點表示。參考圖2，根據(jù)一個例示性實施例示出了根據(jù)本發(fā)明原理用于跟蹤內窺鏡的系統(tǒng)200。系統(tǒng)200優(yōu)選包括硬件和軟件部件。系統(tǒng)200包括空間跟蹤系統(tǒng)206和具有能圖像識別的特征220 (相當于特征120)的多自由度(DOF)傳感器218。優(yōu)選在包括攝像機108的內窺鏡100上提供跟蹤系統(tǒng)206和傳感器218。跟蹤系統(tǒng)206和傳感器218可以是EM跟蹤系統(tǒng)232的一部分，EM跟蹤系統(tǒng)232能夠在三維空間中監(jiān)測裝置的位置。一種工作站(WS)或其他處理裝置222包括硬件，該硬件配置成運行軟件以采集和顯示在顯示裝置230上的實時醫(yī)學過程圖像。工作站222在空間上跟蹤傳感器218的位置和取向。工作站222充當變換模塊，以為將圖像中特征220的位置和取向變換成手術前圖像或模型(實際或虛擬)提供所需元件。傳感器218優(yōu)選包括六ODF傳感器；不過可以采用更少或更多數(shù)量的自由度。工作站222包括存儲器225中的圖像處理軟件224，其處理包括傳感器218上特征220的內部圖像。軟件224計算傳感器相對于內窺鏡攝像機108的位姿。觀察鏡100包括工作通道116。通過工作通道116饋送傳感器218，直到傳感器218從觀察鏡100延伸到遠端并可以在攝像機108中看到特征220。由于觀察鏡包括跟蹤系統(tǒng)206，所以可以相對于傳感器218確定其位置?？梢娞卣?20允許計算系統(tǒng)206和傳感器218之間的位置差異并產(chǎn)生之間的相對取向。這種計算能夠提供系統(tǒng)206/攝像機108和傳感器218之間的變換，可以在整個醫(yī)學過程中采用該變換。處理裝置222可以連接到計算機系統(tǒng)或是其一部分，并包括存儲器225和操作系統(tǒng)234，以提供根據(jù)本發(fā)明原理描述的功能。程序224將手術前圖像(CT圖像)與實時內窺鏡位置組合，從而在過程期間實時在顯示器230上呈現(xiàn)手術前圖像。處理裝置或控制器222包括處理器238，其實施程序224并提供程序選項和應用。 輸入/輸出(I/O)裝置或接口 228提供與控制器222、內窺鏡100和傳感器218的實時交互以比較和顯示圖像。接口 228可以包括鍵盤、鼠標、觸摸屏系統(tǒng)等。參考圖3A-3C，例示性示出了圖像可見傳感器特征220。在圖3A所示的一個實施例中，特征220可以包括多個分開的圓302?？梢詫A302布置成重復圖案或形成諸如三角形等形狀。圓302可以包括具體的直徑或其他已知的尺度(例如，圓之間的距離等)或提供角度?？梢圆捎镁嚯x和/或角度以在圖像之內可視地確定位置或取向?？梢栽趫D像之內比較已知的尺度作為參考。在3B中所示的另一實施例中，可以為特征220采用箭頭304。箭頭可以具有已知長度的線段，箭頭可以相對于攝像機108沿一定方向指向，以輔助計算觀察鏡(100)的位姿。在3C所示的又一實施例中，可以在傳感器218上或中形成突起306、凹坑308或其他3D特征。這提供了三維特征，用于相對于攝像機圖像定位傳感器。也可以采用其他形狀、尺寸、標記和設計。參考圖4，可以如下確定EM傳感器和支氣管窺鏡攝像機之間的變換。在方框402中，可以在醫(yī)學過程之前，例如支氣管窺鏡檢查之前，離線執(zhí)行一次性校準過程。通過觀察鏡的工作通道傳遞多自由度EM傳感器，直到在方框404中可以在圖像中識別EM傳感器的特征為止。在方框406中，然后相對于支氣管窺鏡的攝像機固定傳感器，這被稱為“參考位姿”。在方框408中保存支氣管窺鏡的圖像。參考圖5，例示性示出了傳感器218的內窺鏡圖像450，其上具有能圖像識別的特征220。圖像是從內窺鏡攝像機的角度看的。再次參考圖4，在方框410中，確定攝像機和EM傳感器之間的變換。在方框411中，這可以包括使用校準體模，其中將特征的體模圖像從參考點移動并覆蓋在圖像中所示的實際特征上。然后針對校準體模的運動計算差異。在方框412中，在醫(yī)學過程期間，跟蹤觀察鏡。在方框413中，通過支氣管窺鏡的工作通道傳遞EM傳感器，直到可以在攝像機圖像中識別EM傳感器的特征為止。然后在方框414中處理圖像以在一次性校準過程(離線校準)中相對于參考位姿確定EM傳感器的實時位姿。EM傳感器和攝像機之間的實時變換可以如下計算
rSmiafMim =* T^Sswim (I)
其中是從B到A的變換。因此,彳丨@是方框402的校準結果，
是EM傳感器的位姿I和位姿2之間的相對變換。在方框415中，可以將內窺鏡圖像配準手術前圖像(例如CT圖像)。在方框415中，在EM跟蹤的引導下放置觀察鏡。在方框416中可以從支氣管窺鏡的工作通道中拉出EM傳感器。然后在方框418中，醫(yī)學過程繼續(xù)下去，可以向工作通道中插入手術裝置，以采取活檢樣本或執(zhí)行其他動作。在解釋所附的權利要求時，應當理解a) “包括”一詞不排除有給定權利要求中列出的那些之外的其他元件或動作；b)元件前的“一” 一詞不排除存在多個這樣的元件； c)權利要求中的任何附圖標記都不限制其范圍；d)可以由同一項目或硬件或軟件實現(xiàn)的結構或功能代表幾個“模塊”；并且e)除非具體指出，并不要求動作有具體的順序。已經(jīng)描述了用于實時內窺鏡校準的系統(tǒng)和方法的優(yōu)選實施例(意在是例示性的而非限制性的)，要指出的是，本領域的技術人員根據(jù)以上教導能夠做出修改和變化。因此要理解，可以在公開內容的特定實施例中做出變化，它們在如所附權利要求勾勒的這里所公開實施例的范圍之內。這樣描述完專利法要求的細節(jié)和特性之后，在所附權利要求中闡述專利證書主張并希望保護的范圍。
權利要求
1.一種傳感器跟蹤裝置，包括 傳感器(118)，其配置在導線(110)上并適于配合到內窺鏡(100)的工作通道(116)中；以及 形成于所述傳感器的遠端部分上的至少一個能圖像識別的特征(120)，在所述傳感器從所述內窺鏡延伸時該特征能夠被識別，使得由所述內窺鏡收集的所述至少一個能圖像識別的特征的圖像允許確定所述內窺鏡的位姿。
2.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述傳感器(118)包括多自由度傳感器。
3.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述內窺鏡(100)包括成像裝置(108),所述成像裝置配置成從所述內窺鏡的遠端部分收集圖像。
4.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述至少一個能圖像識別的特征(120)包括參考尺度。
5.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述至少一個能圖像識別的特征(120)包括參考角度。
6.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述至少一個能圖像識別的特征(120)包括指示所述傳感器的取向的一個或多個形狀。
7.根據(jù)權利要求I所述的傳感器跟蹤裝置，其中，所述至少一個能圖像識別的特征(120)包括所述傳感器上一體形成的形狀。
8.一種用于跟蹤內窺鏡的系統(tǒng)，包括 內窺鏡(100)，其具有工作通道(116)、空間跟蹤系統(tǒng)(206)和遠端設置的成像裝置(108)； 傳感器(218)，其配置于導線上并適于配合到所述工作通道中； 形成于所述傳感器的遠端部分上的至少一個能圖像識別的特征(220)，在所述傳感器從所述內窺鏡延伸時該特征能夠被識別；以及 變換模塊(222)，其配置成通過采用所述成像裝置收集的所述至少一個能圖像識別的特征的圖像的位置和所述空間跟蹤系統(tǒng)的位置計算所述內窺鏡的位姿。
9.根據(jù)權利要求8所述的系統(tǒng)，其中，所述傳感器(218)包括多自由度傳感器。
10.根據(jù)權利要求8所述的系統(tǒng)，其中，所述至少一個能圖像識別的特征(220)包括參考尺度。
11.根據(jù)權利要求8所述的系統(tǒng)，其中，所述至少一個能圖像識別的特征(220)包括參考角度。
12.根據(jù)權利要求8所述的系統(tǒng)，其中，所述至少一個能圖像識別的特征(220)包括指示所述傳感器的取向和位置的一個或多個形狀。
13.根據(jù)權利要求8所述的系統(tǒng)，其中，所述至少一個能圖像識別的特征(220)包括所述傳感器上一體形成的形狀。
14.根據(jù)權利要求8所述的系統(tǒng)，其中，所述變換模塊包括圖像處理器(224)，所述圖像處理器配置成識別所述至少一個能圖像識別的特征，并計算所述傳感器相對于所述成像裝置的位置和取向。
15.—種用于跟蹤內窺鏡的方法,包括校準(402)內窺鏡的遠端設置的成像裝置和傳感器之間的變換，所述傳感器在所述傳感器的遠端部分上形成有至少一個能圖像識別的特征，在所述傳感器從所述內窺鏡延伸時，所述特征能夠被識別；以及 通過如下方式跟蹤(412)所述內窺鏡 通過所述內窺鏡的工作通道傳遞(413)所述傳感器，直到所述至少一個能圖像識別的特征被成像為止；以及 利用所述至少一個能圖像識別的特征的圖像和所述變換計算(414)當前位姿。
16.根據(jù)權利要求15所述的方法，其中，校準(402)包括采用校準體模圖像(411)。
17.根據(jù)權利要求15所述的方法，其中，所述至少一個能圖像識別的特征(120)包括參考尺度和參考角度中的至少一個。
18.根據(jù)權利要求15所述的方法，其中，所述至少一個能圖像識別的特征(120)包括指示所述傳感器的取向和位置的一個或多個形狀。
19.根據(jù)權利要求15所述的方法，其中，在過程期間在患者體內跟蹤(412)所述內窺鏡。
20.根據(jù)權利要求15所述的方法，還包括在所述內窺鏡已經(jīng)與跟蹤系統(tǒng)配準時，從所述工作通道移除(416)所述傳感器。
全文摘要
一種傳感器跟蹤裝置、系統(tǒng)和方法包括傳感器(118)，所述傳感器配置于導線(110)上并適于配合到內窺鏡(100)的工作通道(116)中。在所述傳感器遠端部分上形成能圖像識別特征(120)，在傳感器從內窺鏡延伸時該特征能夠被識別。由內窺鏡收集能圖像識別的特征的圖像并允許確定內窺鏡的位姿。
文檔編號A61B19/00GK102946784SQ201180030501
公開日2013年2月27日 申請日期2011年5月26日 優(yōu)先權日2010年6月22日
發(fā)明者S·徐, D·A·斯坦頓 申請人:皇家飛利浦電子股份有限公司