使用手術(shù)前和手術(shù)中的3d圖像來人工操縱內(nèi)窺鏡的引導(dǎo)工具的制作方法
【專利摘要】用于受引導(dǎo)的內(nèi)窺鏡導(dǎo)航的系統(tǒng)和方法包括配準(zhǔn)模塊(118)，所述配準(zhǔn)模塊(118)被配置為使用處理器來將第一組圖像(112)與內(nèi)窺鏡(102)的第二組圖像(114)進(jìn)行配準(zhǔn)。選擇模塊(120)被配置為接收在所述第一組圖像上選擇的感興趣區(qū)域并將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架。引導(dǎo)模塊(122)被配置為將引導(dǎo)工具疊加到所述第二組圖像上以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
【專利說明】使用手術(shù)前和手術(shù)中的3D圖像來人工操縱內(nèi)窺鏡的引導(dǎo)工具

【技術(shù)領(lǐng)域】
[0001 ] 本公開涉及醫(yī)學(xué)器械，并且更具體地涉及用于人工操縱內(nèi)窺鏡的引導(dǎo)工具。

【背景技術(shù)】
[0002]冠狀動(dòng)脈旁路移植術(shù)(CABG)是用于對(duì)阻塞的冠狀動(dòng)脈進(jìn)行血管重建的外科流程。微創(chuàng)CABG使用內(nèi)窺鏡作為來自手術(shù)位置的唯一反饋來執(zhí)行。在針對(duì)微創(chuàng)CABG流程的標(biāo)準(zhǔn)設(shè)置中，外科醫(yī)生使用雙手握住器械，同時(shí)助手握住內(nèi)窺鏡。通常將內(nèi)窺鏡從患者的右側(cè)或者從后前方向插入胸腔。這可以產(chǎn)生三個(gè)相關(guān)的坐標(biāo)系:內(nèi)窺鏡(例如，照相機(jī))的坐標(biāo)系、外科醫(yī)生的坐標(biāo)系和助手的坐標(biāo)系。這能夠?qū)е略S多問題。例如，當(dāng)外科醫(yī)生正在向前注視著屏幕時(shí)，照相機(jī)卻正在顯示來自側(cè)視圖的解剖結(jié)構(gòu)。另外，如果位于內(nèi)窺鏡頂部的照相機(jī)被旋轉(zhuǎn)180°，則圖像將在屏幕上顯現(xiàn)倒轉(zhuǎn)。然而，目前沒有獲知照相機(jī)的取向的方法。此外，助手必須對(duì)來自外科醫(yī)生的關(guān)于如何移動(dòng)內(nèi)窺鏡的指令作出響應(yīng)。諸如“右”的命令可以對(duì)應(yīng)于向左和向下移動(dòng)內(nèi)窺鏡，這對(duì)于助手來說可能是高度反直覺的并可能導(dǎo)致嘗試性且錯(cuò)誤的方法。這些問題可能導(dǎo)致手術(shù)室時(shí)間的延長以及工作流程的低效。


【發(fā)明內(nèi)容】

[0003]根據(jù)本原理，提供了針對(duì)用于人工操縱內(nèi)窺鏡的引導(dǎo)工具的新穎解決方案。在一個(gè)實(shí)施例中，本原理可以包括將手術(shù)前和/或手術(shù)中圖像與內(nèi)窺鏡的圖像進(jìn)行配準(zhǔn)?？梢詫⒁曈X提示疊加到內(nèi)窺鏡視圖上作為引導(dǎo)工具以允許用戶將所述內(nèi)窺鏡導(dǎo)航向所選擇的感興趣區(qū)域。可以使用圖像特征來實(shí)時(shí)追蹤所述內(nèi)窺鏡的運(yùn)動(dòng)以更新所述視覺提示。在另一實(shí)施例中，本原理可以對(duì)內(nèi)窺鏡的照相機(jī)進(jìn)行預(yù)取向，使得所述照相機(jī)的坐標(biāo)系與所述用戶的優(yōu)選坐標(biāo)系相對(duì)應(yīng)。可以將所述內(nèi)窺鏡的所述照相機(jī)安裝在致動(dòng)平臺(tái)上，所述致動(dòng)平臺(tái)通過對(duì)所述照相機(jī)進(jìn)行旋轉(zhuǎn)來對(duì)所述內(nèi)窺鏡進(jìn)行預(yù)取向以對(duì)應(yīng)于所述用戶的優(yōu)選方向。有利地，本原理為對(duì)內(nèi)窺鏡進(jìn)行人工導(dǎo)航提供高效操縱。這可以導(dǎo)致手術(shù)室時(shí)間的減少以及更高效的工作流程。
[0004]一種用于受引導(dǎo)的內(nèi)窺鏡導(dǎo)航的系統(tǒng)包括配準(zhǔn)模塊，所述配準(zhǔn)模塊被配置為使用處理器來將第一組圖像與內(nèi)窺鏡的第二組圖像進(jìn)行配準(zhǔn)。選擇模塊被配置為接收在所述第一組圖像上選擇的感興趣區(qū)域并將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架。引導(dǎo)模塊被配置為將引導(dǎo)工具疊加到所述第二組圖像上以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
[0005]一種用于受引導(dǎo)的內(nèi)窺鏡導(dǎo)航的系統(tǒng)包括配準(zhǔn)模塊，所述配準(zhǔn)模塊被配置為使用處理器來將第一組圖像與內(nèi)窺鏡的第二組圖像進(jìn)行配準(zhǔn)。選擇模塊被配置為接收在所述第一組圖像上選擇的感興趣區(qū)域并將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架。引導(dǎo)模塊被配置為將引導(dǎo)工具疊加到所述第二組圖像上。致動(dòng)模塊被配置為對(duì)所述內(nèi)窺鏡的照相機(jī)進(jìn)行取向，使得所述照相機(jī)的坐標(biāo)系與所述用戶的坐標(biāo)系相對(duì)應(yīng)以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
[0006]一種用于受引導(dǎo)的內(nèi)窺鏡導(dǎo)航的方法包括使用處理器來將第一組圖像與內(nèi)窺鏡的第二組圖像進(jìn)行配準(zhǔn)。在所述第一組圖像上選擇感興趣區(qū)域并將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架。將引導(dǎo)工具疊加到所述第二組圖像上以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
[0007]本公開的這些和其他目標(biāo)、特征和優(yōu)點(diǎn)將從結(jié)合附圖閱讀的對(duì)本公開的說明性實(shí)施例的以下詳細(xì)描述中變得顯而易見。

【專利附圖】

【附圖說明】
[0008]本公開將參考以下附圖詳細(xì)地呈現(xiàn)對(duì)優(yōu)選實(shí)施例的以下描述，其中:
[0009]圖1是示出根據(jù)一個(gè)實(shí)施例的用于使用引導(dǎo)工具來人工操縱內(nèi)窺鏡的系統(tǒng)的框圖/流程圖；
[0010]圖2A是根據(jù)一個(gè)實(shí)施例的具有疊加的方向、路徑和方向誤差指示符的內(nèi)窺鏡圖像的說明性范例；
[0011]圖2B是根據(jù)一個(gè)實(shí)施例的具有疊加的顯示距離的距離誤差指示符的內(nèi)窺鏡圖像的說明性范例；
[0012]圖2C是根據(jù)一個(gè)實(shí)施例的具有疊加的使用虛擬彈簧的距離誤差指示符的內(nèi)窺鏡圖像的說明性范例；
[0013]圖3A是示出根據(jù)一個(gè)實(shí)施例的用于利用內(nèi)窺鏡用戶的坐標(biāo)系來對(duì)內(nèi)窺鏡照相機(jī)的坐標(biāo)系進(jìn)行取向的系統(tǒng)的框圖/流程圖；
[0014]圖3B是根據(jù)一個(gè)實(shí)施例的利用內(nèi)窺鏡用戶的坐標(biāo)系來對(duì)內(nèi)窺鏡照相機(jī)的坐標(biāo)系進(jìn)行取向的內(nèi)窺鏡圖像的說明性范例；
[0015]圖4是示出根據(jù)一個(gè)實(shí)施例的用于使用引導(dǎo)工具來人工操縱內(nèi)窺鏡的方法的框圖/流程圖。

【具體實(shí)施方式】
[0016]根據(jù)本原理，針對(duì)系統(tǒng)、裝置和方法的實(shí)施例提供用于人工操縱內(nèi)窺鏡的引導(dǎo)工具。在一個(gè)實(shí)施例中，將手術(shù)前和/或手術(shù)中圖像與內(nèi)窺鏡的圖像進(jìn)行配準(zhǔn)?？梢詫⒁曈X提示疊加到內(nèi)窺鏡視圖上作為引導(dǎo)工具以允許用戶(例如，外科醫(yī)生助手)將內(nèi)窺鏡操縱向選擇的感興趣區(qū)域。可以使用圖像特征來實(shí)時(shí)追蹤內(nèi)窺鏡的運(yùn)動(dòng)以更新所述視覺提示。所述視覺提示可以包括但不限于:方向指示符，其示出到所選擇的感興趣區(qū)域的方向；內(nèi)窺鏡示蹤器，其示出內(nèi)窺鏡的運(yùn)動(dòng)；方向誤差指示符，其示出內(nèi)窺鏡的運(yùn)動(dòng)與到所選擇的感興趣區(qū)域的方向相比較的角誤差；距離誤差指示符，其示出到所選擇的感興趣區(qū)域的距離；以及解剖參考方向，其示出解剖方向。其他視覺提示是可能的并已經(jīng)被預(yù)見在本原理的范圍內(nèi)。
[0017]在另一實(shí)施例中，本原理可以利用用戶的優(yōu)選坐標(biāo)系來對(duì)內(nèi)窺鏡照相機(jī)的坐標(biāo)系進(jìn)行預(yù)取向。為了以優(yōu)選方向來對(duì)照相機(jī)進(jìn)行預(yù)取向，可以將內(nèi)窺鏡的照相機(jī)安裝在致動(dòng)平臺(tái)上。內(nèi)窺鏡用戶在他或她優(yōu)選對(duì)應(yīng)于例如圖像中的“向上”方向的物理方向上移動(dòng)內(nèi)窺鏡。確定內(nèi)窺鏡的物理移動(dòng)與圖像中的實(shí)際向上方向之間的角，并且致動(dòng)平臺(tái)相應(yīng)地對(duì)照相機(jī)進(jìn)行旋轉(zhuǎn)以對(duì)坐標(biāo)框架進(jìn)行預(yù)取向。應(yīng)當(dāng)指出，本原理不限于向上方向，而是可以包括任何方向。
[0018]應(yīng)當(dāng)理解，將根據(jù)內(nèi)窺鏡來描述本發(fā)明；然而，本發(fā)明的教導(dǎo)更廣泛得多，并且，本發(fā)明可應(yīng)用于能夠在對(duì)分支的、彎曲的、盤繞的或其他形狀的系統(tǒng)進(jìn)行內(nèi)部觀察中采用的任何光學(xué)鏡。在一些實(shí)施例中，本原理被采用在追蹤或分析復(fù)雜生物或機(jī)械系統(tǒng)(例如，消化系統(tǒng)、循環(huán)系統(tǒng)、管道系統(tǒng)、通道、礦井、洞室等)中。具體而言，本原理可應(yīng)用于生物系統(tǒng)的內(nèi)部追蹤流程，在諸如肺、胃腸道、排泄器官、血管等的身體的所有區(qū)域中的流程。附圖中描繪的元件可以在硬件與軟件的各種組合中得以實(shí)施，并且提供可以被組合在單個(gè)元件或多個(gè)元件中的功能。優(yōu)選顯示本文描述的實(shí)施例，以便在顯示監(jiān)視器上觀察。這樣的監(jiān)視器可以包括任何適當(dāng)?shù)娘@示設(shè)備，包括但不限于:手持式顯示器(例如，在個(gè)人數(shù)字助理、電話設(shè)備等上)、計(jì)算機(jī)顯示器、電視、指定的監(jiān)視器等。取決于所述鏡，顯示器可以作為系統(tǒng)的一部分而被提供，或者可以是單獨(dú)的單元或設(shè)備。
[0019]還應(yīng)當(dāng)理解，光學(xué)鏡可以包括與所述鏡相連接或相關(guān)聯(lián)的多個(gè)不同的設(shè)備。這樣的設(shè)備可以包括燈、切割設(shè)備、刷子、真空裝置、照相機(jī)等。這些部件可以與所述鏡的遠(yuǎn)端部分上的頭部整體地形成。所述光學(xué)鏡可以包括設(shè)置在所述鏡頂端處的照相機(jī)，或者照相機(jī)可以設(shè)置在與頂端相對(duì)的光纜的端部處。
[0020]能夠通過使用專用硬件以及能夠運(yùn)行與合適的軟件相關(guān)聯(lián)的軟件的硬件來提供附圖中示出的各種元件的功能。在由處理器提供時(shí)，所述功能能夠由單個(gè)專用處理器、由單個(gè)共享處理器、或由多個(gè)單獨(dú)的處理器(它們中的一些能夠被共享)來提供。此外，術(shù)語“處理器”或“控制器”的明確使用不應(yīng)被解釋為唯一地指代能夠運(yùn)行軟件的硬件，并且能夠暗含地包括而不限于數(shù)字信號(hào)處理器(“DSP”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)存取存儲(chǔ)器(“RAM”)、非易失性存儲(chǔ)設(shè)備等。
[0021]此外，本文記載本發(fā)明的原理、方面和實(shí)施例的所有陳述，以及其具體范例，旨在涵蓋其結(jié)構(gòu)及功能的等價(jià)物。額外地，這樣的等價(jià)物旨在包括當(dāng)前已知的等價(jià)物以及未來發(fā)展的等價(jià)物(即，無論其結(jié)構(gòu)執(zhí)行相同功能的所發(fā)展的任何元件)。因此，例如，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，本文呈現(xiàn)的框圖表示實(shí)現(xiàn)本發(fā)明的原理的說明性系統(tǒng)部件和/或電路的概念視圖。類似地，將認(rèn)識(shí)到，任何流程表、流程圖等表示基本上可以被表示在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中并因此可以由計(jì)算機(jī)或處理器來運(yùn)行的各種過程，而無論這樣的計(jì)算機(jī)或處理器是否被明確不出。
[0022]此外，本發(fā)明的實(shí)施例能夠采取計(jì)算機(jī)程序產(chǎn)品的形式，所述計(jì)算機(jī)程序產(chǎn)品可從計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存取，所述計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)提供用于由計(jì)算機(jī)或任何指令運(yùn)行系統(tǒng)使用或者與計(jì)算機(jī)或任何指令運(yùn)行系統(tǒng)結(jié)合來使用的程序代碼。出于該描述目的，計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)能夠是可以包括、存儲(chǔ)、通信、傳播或運(yùn)輸用于由指令運(yùn)行系統(tǒng)、裝置或設(shè)備使用或與其結(jié)合來使用的程序的任何裝置。所述介質(zhì)能夠是電子的、磁性的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)(或者裝置或設(shè)備)或傳播介質(zhì)。計(jì)算機(jī)可讀介質(zhì)的范例包括半導(dǎo)體或固態(tài)存儲(chǔ)器、磁帶、可移除計(jì)算機(jī)軟盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、剛性磁盤以及光盤。光盤的當(dāng)前范例包括壓縮盤-只讀存儲(chǔ)器(CD-ROM)、壓縮盤-讀/寫(CD-R/W)、Blu-Ray?以及DVD。
[0023]現(xiàn)在參考附圖，其中類似的附圖標(biāo)記表示相同或相似的元件，并且首先參考圖1，根據(jù)一個(gè)實(shí)施例說明性地描繪了用于使用引導(dǎo)工具來人工操縱內(nèi)窺鏡的系統(tǒng)100。系統(tǒng)100可以包括工作站或控制臺(tái)108，從工作站或控制臺(tái)108監(jiān)督并管理流程(例如，內(nèi)窺鏡檢查)。工作站108優(yōu)選包括一個(gè)或多個(gè)處理器138以及用于存儲(chǔ)程序和應(yīng)用的存儲(chǔ)器110。應(yīng)當(dāng)理解，系統(tǒng)100的功能和部件可以被集成到一個(gè)或多個(gè)工作站或系統(tǒng)中。
[0024]存儲(chǔ)器110可以存儲(chǔ)圖像112。圖像112可以包括手術(shù)前圖像和手術(shù)中圖像，所述手術(shù)前圖像和所述手術(shù)中圖像可以從系統(tǒng)接收，所述系統(tǒng)包括但不限于:磁共振成像(MRI)系統(tǒng)、計(jì)算機(jī)斷層攝影(CT)系統(tǒng)、X射線系統(tǒng)、3-D超聲系統(tǒng)等。存儲(chǔ)器110還可以存儲(chǔ)從鏡102接收的鏡圖像114。在優(yōu)選實(shí)施例中，鏡102是從照相機(jī)106捕捉手術(shù)位置的手術(shù)中圖像的內(nèi)窺鏡。鏡圖像114可以優(yōu)選包括來自內(nèi)窺鏡102的照相機(jī)106的視頻。
[0025]本原理可以應(yīng)用于內(nèi)窺鏡引導(dǎo)的微創(chuàng)外科手術(shù)的不同應(yīng)用。例如，本原理可以用于心臟手術(shù)(例如，微創(chuàng)冠狀動(dòng)脈旁路移植、心房中膈缺損閉合、瓣膜修復(fù)/置換等)、腹腔鏡手術(shù)(例如，子宮切除術(shù)、前列腺切除術(shù)、膽囊手術(shù)等)、經(jīng)自然腔道手術(shù)、肺/支氣管鏡檢查手術(shù)、神經(jīng)外科介入以及視頻輔助胸腔手術(shù)。然而，應(yīng)當(dāng)指出，本原理的教導(dǎo)比這更廣泛得多，例如鏡102可以包括用于各種類型的應(yīng)用的任何類型的鏡。在一個(gè)示范性實(shí)施例中，本原理可以被應(yīng)用于將管道疏通器(plumber’s snake)人工導(dǎo)航通過管道。也預(yù)見其他應(yīng)用。
[0026]工作站108可以包括一個(gè)或多個(gè)顯示器134，一個(gè)或多個(gè)顯示器134用于觀察手術(shù)前和手術(shù)中圖像112以及包括本原理的引導(dǎo)特征的鏡圖像114。顯示器134還可以允許用戶與工作站108及其部件和功能進(jìn)行交互。通過用戶接口 136進(jìn)一步方便所述交互，用戶接口 136可以包括鍵盤、鼠標(biāo)、操縱桿或任何其他外圍設(shè)備或控制設(shè)備，以允許用戶與工作站108進(jìn)行交互。
[0027]計(jì)算機(jī)實(shí)施的程序116被存儲(chǔ)在工作站108的存儲(chǔ)器110中。程序116可以包括許多模塊，每個(gè)被配置為執(zhí)行各種功能。應(yīng)當(dāng)理解，所述模塊可以在硬件與軟件的各種組合中得以實(shí)施。
[0028]程序116可以包括配準(zhǔn)模塊118，配準(zhǔn)模塊118被配置為執(zhí)行圖像112 (例如，手術(shù)前圖像和/或手術(shù)中圖像)與鏡(例如，內(nèi)窺鏡)圖像114之間的配準(zhǔn)。如本領(lǐng)域已知的執(zhí)行配準(zhǔn)。
[0029]程序116還可以包括選擇模塊120，選擇模塊120被配置為允許用戶(例如，外科醫(yī)生)在(例如，CT或X射線)手術(shù)前和手術(shù)中圖像112上選擇感興趣區(qū)域。例如，選擇的感興趣區(qū)域可以是在冠狀動(dòng)脈旁路移植流程中的目標(biāo)旁路動(dòng)脈。選擇模塊120可以包括對(duì)顯示器134和用戶接口 136的使用以方便該選擇。然后，選擇模塊120使用在配準(zhǔn)模塊118中確定的配準(zhǔn)變換來將所選擇的感興趣區(qū)域從手術(shù)前和/或手術(shù)中圖像坐標(biāo)框架變換到內(nèi)窺鏡坐標(biāo)框架。
[0030]程序116可以包括弓丨導(dǎo)模塊122，引導(dǎo)模塊122被配置為使用內(nèi)窺鏡視圖中的所選擇的感興趣區(qū)域來確定多個(gè)引導(dǎo)指示符。引導(dǎo)模塊122可以包括但不限于以下模塊中的任何或全部:方向模塊124、路徑模塊126和距離模塊128。也已經(jīng)預(yù)見其他指示符。
[0031]方向模塊124確定從內(nèi)窺鏡圖像的當(dāng)前中心到所選擇的感興趣區(qū)域的方向以將方向指示符疊加到內(nèi)窺鏡圖像上。暫時(shí)參考圖2A，根據(jù)一個(gè)實(shí)施例說明性地描繪了包括疊加的指示符的內(nèi)窺鏡圖像200。將方向指示符206疊加在內(nèi)窺鏡圖像上以示出從內(nèi)窺鏡圖像的中心202到所選擇的感興趣區(qū)域204的方向。
[0032]圖1的引導(dǎo)模塊122可以包括路徑模塊126以進(jìn)一步幫助用戶(例如，外科醫(yī)生或助手)對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航。暫時(shí)返回參考圖2A，將內(nèi)窺鏡蹤跡208疊加到內(nèi)窺鏡圖像上以示出內(nèi)窺鏡的運(yùn)動(dòng)。蹤跡208通過追蹤位于內(nèi)窺鏡圖像中心處的一個(gè)或多個(gè)解剖特征的位置并通過疊加箭頭以在內(nèi)窺鏡圖像上標(biāo)記該位置而得以生成。在每幀或一段幀處，在內(nèi)窺鏡圖像上利用箭頭來疊加圖像的中心中的當(dāng)前特征，同時(shí)繼續(xù)追蹤先前圖像的中心處的特征。繼續(xù)該過程，可以創(chuàng)建視覺軌跡以幫助用戶操縱內(nèi)窺鏡以導(dǎo)航至所選擇的感興趣區(qū)域 204。
[0033]可以將蹤跡208的方向與目標(biāo)感興趣區(qū)域204的方向進(jìn)行比較以使用視覺提示來顯示角誤差。在一個(gè)實(shí)施例中，刻度盤210能夠被顯示為分別使用指針212和214來指示內(nèi)窺鏡的運(yùn)動(dòng)208與所選擇的感興趣區(qū)域的方向206之間的角偏移。也預(yù)見指示角誤差的其他視覺提示。例如，能夠顯示到選擇的感興趣區(qū)域的方向206與內(nèi)窺鏡的運(yùn)動(dòng)208之間的角(例如，以度為單位)。
[0034]引導(dǎo)模塊122還可以包括距離模塊128，距離模塊128被配置為指示從內(nèi)窺鏡圖像的中心到目標(biāo)感興趣區(qū)域的距離。暫時(shí)參考圖2B，根據(jù)一個(gè)實(shí)施例說明性地描繪了具有疊加的距離誤差指示符的內(nèi)窺鏡圖像220。內(nèi)窺鏡圖像可以包括方向指示符206，方向指示符206示出了從內(nèi)窺鏡圖像的中心202到目標(biāo)感興趣區(qū)域204的方向。在一個(gè)實(shí)施例中，能夠?qū)⒕嚯x222 (例如，以像素為單位)在屏幕上指示為數(shù)字。在另一實(shí)施例中，能夠根據(jù)距離來表示內(nèi)窺鏡圖像的中心202與所選擇的感興趣區(qū)域204之間的線。例如，暫時(shí)參考圖2C，根據(jù)一個(gè)實(shí)施例說明性地描繪了具有使用虛擬彈簧的疊加的距離指示符的內(nèi)窺鏡圖像240。虛擬彈簧242連接內(nèi)窺鏡圖像的中心202與所選擇的感興趣區(qū)域204。虛擬彈簧可以隨著兩個(gè)點(diǎn)之間的距離增大得更遠(yuǎn)而顯現(xiàn)被拉伸并可以隨著距離變得更接近而顯現(xiàn)被壓縮。也已經(jīng)預(yù)見其他距離誤差指示符。例如，內(nèi)窺鏡圖像的中心202與所選擇的感興趣區(qū)域204之間的線的顏色能夠隨著距離而變化，利用在屏幕上顯示的圖例來定義顏色。在另一實(shí)施例中，線的寬度能夠隨著距離變化而被修改。
[0035]在本原理的又一實(shí)施例中，圖1的方向模塊124可以將解剖參考方向疊加到內(nèi)窺鏡圖像上。當(dāng)由配準(zhǔn)模塊118將手術(shù)前和手術(shù)中圖像112與內(nèi)窺鏡圖像114配準(zhǔn)時(shí)，手術(shù)前和手術(shù)中圖像的解剖參考方向被確定。解剖參考方向被變換到內(nèi)窺鏡坐標(biāo)系中并被疊加到內(nèi)窺鏡圖像上。解剖參考方向可以包括但不限于:前/后、左/右和頭/腳方向。也預(yù)見其他解剖方向。
[0036]使用引導(dǎo)模塊122的疊加的引導(dǎo)指示符，用戶對(duì)內(nèi)窺鏡102進(jìn)行導(dǎo)航。如以上所討論的，追蹤內(nèi)窺鏡運(yùn)動(dòng)以確定內(nèi)窺鏡102是否已經(jīng)到達(dá)所選擇的感興趣區(qū)域。重復(fù)對(duì)引導(dǎo)模塊122的操作，直到到達(dá)所選擇的感興趣區(qū)域。一旦到達(dá)所選擇的感興趣區(qū)域，該過程就結(jié)束。
[0037]在本原理的一個(gè)實(shí)施例中，圖1的程序116也可以包括致動(dòng)模塊130以進(jìn)一步幫助用戶對(duì)內(nèi)窺鏡102進(jìn)行導(dǎo)航。致動(dòng)模塊130被配置為使用致動(dòng)平臺(tái)104對(duì)照相機(jī)106進(jìn)行預(yù)取向使得照相機(jī)的坐標(biāo)系與用戶的優(yōu)選坐標(biāo)系相對(duì)應(yīng)。致動(dòng)模塊130接收用戶偏好對(duì)應(yīng)于例如向上方向的方向。例如，用戶可以在優(yōu)選的向上方向中物理地移動(dòng)內(nèi)窺鏡。內(nèi)窺鏡的物理運(yùn)動(dòng)與內(nèi)窺鏡圖像的真實(shí)向上方向之間的角被計(jì)算并作為輸入被傳遞到致動(dòng)平臺(tái)，致動(dòng)平臺(tái)相應(yīng)地對(duì)照相機(jī)進(jìn)行預(yù)取向。應(yīng)當(dāng)指出，對(duì)應(yīng)方向不限于向上方向，而是可以包括任何方向。
[0038]現(xiàn)在參考圖3A，根據(jù)一個(gè)實(shí)施例說明性地描繪了用于利用內(nèi)窺鏡用戶的坐標(biāo)系來對(duì)內(nèi)窺鏡照相機(jī)的坐標(biāo)系進(jìn)行取向的系統(tǒng)300。照相機(jī)106被安裝在鏡102上的致動(dòng)平臺(tái)104上。致動(dòng)平臺(tái)104根據(jù)所接收的角進(jìn)行旋轉(zhuǎn)以相應(yīng)地對(duì)照相機(jī)進(jìn)行預(yù)取向。暫時(shí)參考圖3B，根據(jù)一個(gè)實(shí)施例示出具有疊加的取向指示符的內(nèi)窺鏡圖像320的說明性范例。用戶在優(yōu)選的向上方向上移動(dòng)內(nèi)窺鏡，從而導(dǎo)致內(nèi)窺鏡從圖像指示符的中心202的運(yùn)動(dòng)324。計(jì)算內(nèi)窺鏡的運(yùn)動(dòng)324與圖像的真實(shí)向上方向322之間的角以確定角326，角326被傳遞到致動(dòng)平臺(tái)104以相應(yīng)地對(duì)照相機(jī)進(jìn)行取向。
[0039]現(xiàn)在參考圖4，根據(jù)一個(gè)實(shí)施例說明性地描繪了用于使用引導(dǎo)工具來人工操縱內(nèi)窺鏡的方法400。在框402中，將鏡圖像與手術(shù)前和/或手術(shù)中圖像進(jìn)行配準(zhǔn)。鏡圖像優(yōu)選是內(nèi)窺鏡的圖像，內(nèi)窺鏡包括捕捉手術(shù)位置的手術(shù)中圖像的照相機(jī)。內(nèi)窺鏡圖像可以優(yōu)選包括視頻。手術(shù)前和/或手術(shù)中圖像可以從系統(tǒng)接收，所述系統(tǒng)可以包括但不限于=MRI系統(tǒng)、CT系統(tǒng)、X射線系統(tǒng)、3D超聲系統(tǒng)等。如本領(lǐng)域已知地來執(zhí)行配準(zhǔn)。
[0040]在框404中，可以在手術(shù)前和手術(shù)中圖像上選擇感興趣區(qū)域。在框406中，可以將所選擇的感興趣區(qū)域從手術(shù)前和手術(shù)中圖像坐標(biāo)框架變換到內(nèi)窺鏡圖像坐標(biāo)框架。這可以包括在框402中對(duì)確定的配準(zhǔn)變換的使用。
[0041]在框408中，在內(nèi)窺鏡圖像中確定從內(nèi)窺鏡圖像的當(dāng)前中心到所選擇的感興趣區(qū)域的方向。在框410中，使用該方向?qū)⒁龑?dǎo)指示符疊加到內(nèi)窺鏡圖像上。引導(dǎo)指示符例如可以包括但不限于:方向指示符、內(nèi)窺鏡示蹤器、方向誤差指示符、距離誤差指示符以及解剖參考方向指示符。也預(yù)見其他引導(dǎo)指示符。
[0042]在一個(gè)實(shí)施例中，引導(dǎo)指示符可以包括疊加到內(nèi)窺鏡圖像上的方向指示符以示出從內(nèi)窺鏡圖像的當(dāng)前中心到所選擇的感興趣區(qū)域的方向。在另一實(shí)施例中，可以將內(nèi)窺鏡蹤跡疊加到內(nèi)窺鏡圖像上以示出內(nèi)窺鏡運(yùn)動(dòng)。所述蹤跡可以通過追蹤位于內(nèi)窺鏡圖像中心處的每個(gè)解剖特征的位置并通過疊加箭頭以在內(nèi)窺鏡圖像上標(biāo)記該位置而得以生成。在每幀或每段幀處，在內(nèi)窺鏡圖像上利用箭頭來疊加圖像的中心中的當(dāng)前特征，同時(shí)繼續(xù)追蹤先前位于圖像的中心處的特征。繼續(xù)該過程，在內(nèi)窺鏡圖像中顯示特征中的每個(gè)的位置以提供能夠幫助用戶對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航的視覺軌跡。
[0043]在又一實(shí)施例中，可以將內(nèi)窺鏡蹤跡與所選擇的感興趣區(qū)域的方向進(jìn)行比較以確定角誤差，所述角誤差表示內(nèi)窺鏡的運(yùn)動(dòng)與到所選擇的感興趣區(qū)域的方向之間的角偏移?？梢允褂靡曈X提示將角誤差疊加到內(nèi)窺鏡圖像上。在實(shí)施例中，將包括兩個(gè)指針的刻度盤疊加到內(nèi)窺鏡圖像上，其中，每個(gè)指針分別指示內(nèi)窺鏡的追蹤與到所選擇的感興趣區(qū)域的方向。在另一范例中，可以通過在內(nèi)窺鏡圖像上顯示角(例如，以度為單位)來指示角誤差。
[0044]在一個(gè)實(shí)施例中，引導(dǎo)指示符可以包括被疊加到內(nèi)窺鏡圖像上的距離誤差指示符。當(dāng)移動(dòng)內(nèi)窺鏡時(shí)，從內(nèi)窺鏡圖像的中心到所選擇的感興趣區(qū)域的距離將發(fā)生變化。能夠?qū)⒕嚯x誤差疊加到內(nèi)窺鏡圖像上以幫助用戶對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航。例如，能夠?qū)⑺鼍嚯x(例如，以像素為單位)指示為屏幕的數(shù)字。在另一范例中，能夠根據(jù)距離來表示連接內(nèi)窺鏡圖像的中心與所選擇的感興趣區(qū)域的線。這可以包括將所述線表示為虛擬彈簧，所述虛擬彈簧可以隨著距離變得更大而顯現(xiàn)被拉伸并隨著距離變得更小而顯現(xiàn)被壓縮?；蛘?，線的顏色或?qū)挾瓤梢愿鶕?jù)距離而變化。也預(yù)見其他距離誤差的表示。
[0045]在另一實(shí)施例中，可以將解剖參考方向疊加到內(nèi)窺鏡圖像上。當(dāng)將手術(shù)前和手術(shù)中圖像配準(zhǔn)(框402)時(shí)，手術(shù)前和手術(shù)中圖像的解剖參考方向被確定并被變換到內(nèi)窺鏡視圖中。解剖參考方向可以包括例如前/后、左/右和頭/腳方向。也預(yù)見其他解剖參考方向。
[0046]在框414中，使用被疊加到內(nèi)窺鏡圖像上的引導(dǎo)指示符，用戶能夠以提高的效率來對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航。追蹤內(nèi)窺鏡運(yùn)動(dòng)以確定是否到達(dá)所選擇的感興趣區(qū)域。在框416中，如果沒有到達(dá)所選擇的感興趣區(qū)域，則重復(fù)步驟408、410、414和416直到在框418中到達(dá)所選擇的感興趣區(qū)域。有利地，本原理幫助用戶高效地對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航，從而導(dǎo)致手術(shù)室時(shí)間的減少。
[0047]在本發(fā)明的一個(gè)實(shí)施例中，在框412中，能夠?qū)?nèi)窺鏡的照相機(jī)進(jìn)行預(yù)取向使得照相機(jī)的坐標(biāo)系與用戶的優(yōu)選坐標(biāo)系相對(duì)應(yīng)。用戶能夠指示優(yōu)選的例如向上方向。這可以包括用戶在優(yōu)選的向上方向上物理地移動(dòng)內(nèi)窺鏡。內(nèi)窺鏡的物理運(yùn)動(dòng)與內(nèi)窺鏡圖像的實(shí)際向上方向之間的角被計(jì)算并且作為輸入被傳遞到被安裝在照相機(jī)與內(nèi)窺鏡之間的致動(dòng)平臺(tái)。致動(dòng)平臺(tái)根據(jù)所接收的角來對(duì)照相機(jī)進(jìn)行旋轉(zhuǎn)以幫助用戶對(duì)內(nèi)窺鏡進(jìn)行導(dǎo)航。應(yīng)當(dāng)指出，對(duì)應(yīng)方向不限于向上方向，而是可以包括任何方向。
[0048]在解讀權(quán)利要求書時(shí)，應(yīng)當(dāng)理解:
[0049]a)詞語“包括”不排除除了在給定的權(quán)利要求中列出的元件或動(dòng)作以外的其他元件或動(dòng)作的存在；
[0050]b)元件前面的詞語“一”或“一個(gè)”不排除多個(gè)這樣的元件的存在；
[0051]c)權(quán)利要求中的任何附圖標(biāo)記不限制其范圍；
[0052]d)若干“單元”可以由相同項(xiàng)或者硬件或軟件實(shí)施的結(jié)構(gòu)或功能來表示；并且
[0053]e)除非明確地指示，否則并不旨在要求動(dòng)作的具體順序。
[0054]已經(jīng)描述了針對(duì)使用手術(shù)前和手術(shù)中的3D圖像來人工操縱內(nèi)窺鏡的引導(dǎo)工具的優(yōu)選實(shí)施例(其旨在為說明性的而非限制性的)，應(yīng)當(dāng)指出，本領(lǐng)域技術(shù)人員能夠鑒于以上教導(dǎo)而作出修改和變型。因此應(yīng)當(dāng)理解，可以在所公開的本公開的特定實(shí)施例中做出變化，所述變化在如權(quán)利要求書所概括的本文所公開的實(shí)施例的范圍內(nèi)。因而已經(jīng)描述了專利法所要求的細(xì)節(jié)和特性，由專利證書所主張并期望保護(hù)的內(nèi)容在權(quán)利要求書中得以闡述。
【權(quán)利要求】
1.一種用于內(nèi)窺鏡導(dǎo)航的引導(dǎo)系統(tǒng)，包括: 配準(zhǔn)模塊(118)，其被配置為使用處理器來將第一組圖像(112)與內(nèi)窺鏡(102)的第二組圖像(114)進(jìn)行配準(zhǔn)； 選擇模塊(120)，其被配置為接收在所述第一組圖像上選擇的感興趣區(qū)域并將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架；以及 引導(dǎo)模塊(122)，其被配置為將引導(dǎo)工具疊加到所述第二組圖像上以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
2.如權(quán)利要求1中所述的系統(tǒng)，還包括: 致動(dòng)模塊(130)，其被配置為對(duì)所述內(nèi)窺鏡的照相機(jī)(106)進(jìn)行取向，使得所述照相機(jī)的坐標(biāo)系與所述用戶的坐標(biāo)系相對(duì)應(yīng)。
3.如權(quán)利要求2中所述的系統(tǒng)，其中，所述致動(dòng)模塊(130)還被配置為根據(jù)第一方向與所述第一方向的實(shí)際方向之間的角來對(duì)包括所述照相機(jī)的致動(dòng)平臺(tái)進(jìn)行旋轉(zhuǎn)。
4.如權(quán)利要求1中所述的系統(tǒng)，其中，所述引導(dǎo)模塊(122)包括方向模塊(124)，所述方向模塊被配置為將方向指示符(206)疊加到所述第二組圖像上，所述方向指示符是從所述第二組圖像的幀的中心(202)到所選擇的感興趣區(qū)域(204)的。
5.如權(quán)利要求1中所述的系統(tǒng)，其中，所述引導(dǎo)模塊(122)包括路徑模塊(126)，所述路徑模塊被配置為將所述內(nèi)窺鏡的運(yùn)動(dòng)的路徑(208)疊加到所述第二組圖像上。
6.如權(quán)利要求5中所述的系統(tǒng)，其中，所述路徑(208)通過追蹤解剖特征的位置得以生成，所述解剖特征包括位于所述第二組圖像的幀的中心處的解剖特征和先前位于所述幀的所述中心處的解剖特征中的至少一個(gè)。
7.如權(quán)利要求4中所述的系統(tǒng)，其中，所述方向模塊(124)還被配置為將角誤差指示符(210)疊加到所述第二組圖像上以示出所述方向指示符(206)與所述內(nèi)窺鏡的運(yùn)動(dòng)的路徑(208)之間的角誤差。
8.如權(quán)利要求1中所述的系統(tǒng)，其中，所述引導(dǎo)模塊(122)包括距離模塊(128)，所述距離模塊被配置為將距離指示符(222)疊加到所述第二組圖像上以指示從所述第二組圖像的幀的中心(202)到所選擇的感興趣區(qū)域(204)的距離。
9.如權(quán)利要求8中所述的系統(tǒng)，其中，所述距離指示符(222)是從所述幀的所述中心到所選擇的感興趣區(qū)域的線(242)，所述線根據(jù)距離而變化。
10.如權(quán)利要求9中所述的系統(tǒng)，其中，所述線是虛擬彈簧(242)，所述虛擬彈簧隨著所述距離減小而顯現(xiàn)被壓縮并隨著所述距離增大而顯現(xiàn)被拉伸。
11.如權(quán)利要求9中所述的系統(tǒng)，其中，所述線的顏色根據(jù)距離而變化。
12.如權(quán)利要求1中所述的系統(tǒng)，其中，所述引導(dǎo)模塊(122)包括方向模塊(124)，所述方向模塊被配置為將所述第一組圖像的解剖方向疊加到所述第二組圖像上。
13.一種用于內(nèi)窺鏡導(dǎo)航的引導(dǎo)系統(tǒng)，包括: 配準(zhǔn)模塊(118)，其被配置為使用處理器來將第一組圖像(112)與內(nèi)窺鏡(102)的第二組圖像(114)進(jìn)行配準(zhǔn)； 選擇模塊(120)，其被配置為接收在所述第一組圖像上選擇的感興趣區(qū)域，并且將所選擇的感興趣區(qū)域變換到內(nèi)窺鏡坐標(biāo)框架； 引導(dǎo)模塊(122)，其被配置為將引導(dǎo)工具疊加到所述第二組圖像上；以及 致動(dòng)模塊(130)，其被配置為對(duì)所述內(nèi)窺鏡的照相機(jī)(106)進(jìn)行取向，使得所述照相機(jī)的坐標(biāo)系與用戶的坐標(biāo)系相對(duì)應(yīng)，以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
14.如權(quán)利要求13中所述的系統(tǒng)，其中，所述致動(dòng)模塊(130)還被配置為根據(jù)第一方向與所述第一方向的實(shí)際方向之間的角來對(duì)包括所述照相機(jī)的致動(dòng)平臺(tái)進(jìn)行旋轉(zhuǎn)。
15.—種用于受引導(dǎo)的內(nèi)窺鏡導(dǎo)航的方法,包括: 使用處理器來將第一組圖像與內(nèi)窺鏡的第二組圖像進(jìn)行配準(zhǔn)(402)； 在所述第一組圖像上選擇(404)感興趣區(qū)域并將所選擇的感興趣區(qū)域變換(406)到內(nèi)窺鏡坐標(biāo)框架；并且 將引導(dǎo)工具疊加(410)到所述第二組圖像上以允許所述內(nèi)窺鏡的用戶向所選擇的感興趣區(qū)域進(jìn)行導(dǎo)航。
16.如權(quán)利要求15中所述的方法，還包括: 對(duì)所述內(nèi)窺鏡的照相機(jī)進(jìn)行取向(412)，使得所述照相機(jī)的坐標(biāo)系與所述用戶的坐標(biāo)系相對(duì)應(yīng)。
17.如權(quán)利要求16中所述的方法，其中，取向(412)包括根據(jù)第一方向與所述第一方向的實(shí)際方向之間的角來對(duì)包括所述照相機(jī)的致動(dòng)平臺(tái)進(jìn)行旋轉(zhuǎn)。
18.如權(quán)利要求15中所述的方法，其中，疊加(410)包括將方向指示符疊加到所述第二組圖像上，所述方向指示符是從所述第二組圖像的幀的中心到所選擇的感興趣區(qū)域的。
19.如權(quán)利要求15中所述的方法，其中，疊加(410)包括將所述內(nèi)窺鏡的運(yùn)動(dòng)的路徑疊加到所述第二組圖像上。
20.如權(quán)利要求19中所述的方法，其中，所述路徑通過追蹤解剖特征的位置得以生成，所述解剖特征包括位于所述第二組圖像的幀的中心處的解剖特征和先前位于所述幀的所述中心處的解剖特征中的至少一個(gè)。
21.如權(quán)利要求18中所述的方法，其中，疊加(410)包括將角誤差指示符疊加到所述第二組圖像上以示出所述方向指示符與所述內(nèi)窺鏡的運(yùn)動(dòng)的路徑之間的角誤差。
22.如權(quán)利要求15中所述的方法，其中，疊加(410)包括將距離指示符疊加到所述第二組圖像上以指示從所述第二組圖像的幀的中心到所選擇的感興趣區(qū)域的距離。
23.如權(quán)利要求22中所述的方法，其中，所述距離指示符是從所述幀的所述中心到所選擇的感興趣區(qū)域的線，所述線根據(jù)距離而變化。
24.如權(quán)利要求23中所述的方法，其中，所述線是虛擬彈簧，所述虛擬彈簧隨著所述距離減小而顯現(xiàn)被壓縮并隨著所述距離增大而顯現(xiàn)被拉伸。
25.如權(quán)利要求23中所述的方法，其中，所述線的顏色根據(jù)距離而變化。
26.如權(quán)利要求15中所述的方法，其中，疊加(410)包括將所述第一組圖像的解剖方向疊加到所述第二組圖像上。
【文檔編號(hào)】A61B19/00GK104244800SQ201380020657
【公開日】2014年12月24日 申請(qǐng)日期:2013年4月8日 優(yōu)先權(quán)日:2012年4月19日
【發(fā)明者】A·波波維奇, H·埃爾哈瓦林 申請(qǐng)人:皇家飛利浦有限公司