本公開內(nèi)容涉及用于以動(dòng)態(tài)和變化的方式顯示醫(yī)學(xué)圖像的系統(tǒng)和方法。更具體地，本公開內(nèi)容涉及用于在路徑規(guī)劃期間基于被導(dǎo)航通過肺的氣道的虛擬相機(jī)的位置和方向在虛擬支氣管鏡向前和向后的移動(dòng)過程中動(dòng)態(tài)顯示醫(yī)學(xué)圖像的系統(tǒng)和方法。

背景技術(shù)：

路徑規(guī)劃可視化技術(shù)正迅速地在各種醫(yī)學(xué)領(lǐng)域增長?？梢暬夹g(shù)有助于最小化切口的尺寸、在外科手術(shù)中非侵入性地治療患者的疾病、以及非侵入性地在患者內(nèi)部導(dǎo)航以識別和治療目標(biāo)病變。但是，如果顯示了不正確的信息，則可視化會帶來意外的風(fēng)險(xiǎn)。例如，當(dāng)在向后或回撤的方向使虛擬相機(jī)視圖導(dǎo)航通過肺的氣道時(shí)，提供給臨床醫(yī)師的視圖可能使臨床醫(yī)師難以回撤先前采取的步驟并且返回到先前的位置。而且，用戶會發(fā)現(xiàn)虛擬相機(jī)視圖在肺的氣道的外部導(dǎo)航。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)方面中，本公開內(nèi)容的特征在于用于在導(dǎo)航通過虛擬支氣管鏡的氣道的同時(shí)顯示虛擬支氣管鏡視圖的方法。該方法包括確定第一位置和在第一位置處的第一方向、將第一位置和第一方向存儲在存儲器中、顯示對應(yīng)于第一位置的第一虛擬相機(jī)視圖、確定對應(yīng)于移動(dòng)通過虛擬支氣管鏡的氣道的第二位置、將第二位置存儲在存儲器中、顯示對應(yīng)于第二位置的第二虛擬相機(jī)視圖、基于第一位置和第二位置確定第二方向、將第二方向存儲在存儲器中、確定對應(yīng)于進(jìn)一步移動(dòng)通過虛擬支氣管鏡的第三位置、以及確定所述進(jìn)一步移動(dòng)是在向前的方向還是在向后的方向。

如果確定所述進(jìn)一步移動(dòng)是在向前的方向，則該方法包括顯示對應(yīng)于第三位置的第三虛擬相機(jī)視圖。并且如果確定移動(dòng)是在向后的方向，則該方法包括從存儲器中取回存儲的第一方向和存儲的第二方向、基于存儲的第一方向和存儲的第二方向確定平滑向量、基于平滑向量獲得經(jīng)平滑的虛擬相機(jī)視圖、以及顯示經(jīng)平滑的虛擬相機(jī)視圖。

在實(shí)施例中，確定所述進(jìn)一步移動(dòng)是在向前的方向還是在向后的方向包括在虛擬支氣管鏡屏幕上確定下一指針位置和當(dāng)前指針位置、計(jì)算下一指針位置的坐標(biāo)和當(dāng)前指針位置的坐標(biāo)之間的差。如果計(jì)算出的差為正，則確定所述進(jìn)一步移動(dòng)是在向后的方向。并且如果計(jì)算出的差為負(fù)，則確定所述進(jìn)一步移動(dòng)是在向前的方向。

在實(shí)施例中，第一位置、第二位置和第三位置基于顯示虛擬相機(jī)視圖的屏幕上的指針或光標(biāo)的位置來確定。在還有的另一個(gè)實(shí)施例中，該方法還包括如果確定進(jìn)一步的移動(dòng)是在向前的方向，則基于第二位置和第三位置確定第三方向，以及將第三方向存儲在存儲器中。

在實(shí)施例中，確定平滑向量包括基于第一位置和第一方向確定第一向量、基于第一位置和第二方向確定第二向量、以及對第一向量和第二向量求平均以獲得平滑向量。

在實(shí)施例中，樣條是二階樣條或四階樣條。在實(shí)施例中，該方法還包括從用戶接收改變第一虛擬相機(jī)視圖、第二虛擬相機(jī)視圖、第三虛擬相機(jī)視圖或平滑虛擬相機(jī)視圖的輸入，以及存儲改變的第一虛擬相機(jī)視圖、第二虛擬相機(jī)視圖、第三虛擬相機(jī)視圖或平滑虛擬相機(jī)視圖。在還有的實(shí)施例中，確定平滑向量包括確定具有在第一方向和第二方向之間的方向的向量。

在另一方面中，本公開內(nèi)容的特征在于用于在導(dǎo)航通過虛擬支氣管鏡的氣道的同時(shí)顯示虛擬支氣管鏡視圖的裝置。該裝置包括配置為從導(dǎo)航儀器的至少一個(gè)位置傳感器接收導(dǎo)航儀器的位置信息的網(wǎng)絡(luò)接口，該位置信息包括物理位置；存儲虛擬支氣管鏡的多個(gè)虛擬相機(jī)視圖、指令、第一位置、在第一位置處的第一方向、第二位置、以及在第二位置處的第二方向的存儲器；配置為執(zhí)行指令的處理器。當(dāng)指令被處理器執(zhí)行時(shí)，使得處理器確定移動(dòng)通過虛擬支氣管鏡的氣道是在向前的方向還是在向后的方向。如果確定移動(dòng)是在向前的方向，則指令還使得處理器確定對應(yīng)于移動(dòng)通過虛擬支氣管鏡的氣道的第三位置、以及基于第二位置和第三位置確定第三方向。如果確定移動(dòng)是在向后的方向，則指令還使得處理器從儲器中取回第一方向和第二方向、以及基于第一方向和第二方向確定平滑向量。該裝置還包括配置為在屏幕上動(dòng)態(tài)地顯示對應(yīng)于所確定的平滑向量的經(jīng)平滑的虛擬相機(jī)視圖的圖像的顯示器。

在不背離本公開內(nèi)容的范圍的情況下，本公開內(nèi)容的任何上述方面和實(shí)施例都可以被組合。

附圖說明

當(dāng)參照附圖閱讀各種實(shí)施例的描述時(shí)，當(dāng)前公開的系統(tǒng)和方法的目的和特征將對本領(lǐng)域普通技術(shù)人員變得顯而易見，附圖中：

圖1是根據(jù)本公開內(nèi)容實(shí)施例的、用于路徑規(guī)劃的計(jì)算設(shè)備的示意圖；

圖2是示出根據(jù)本公開內(nèi)容的路徑規(guī)劃的四個(gè)階段的圖；

圖3是示出根據(jù)本公開內(nèi)容實(shí)施例的、用于動(dòng)態(tài)地確定和顯示用于在肺氣道內(nèi)向前和后向運(yùn)動(dòng)的虛擬相機(jī)視圖的方法的流程圖；

圖4是示出根據(jù)本公開內(nèi)容實(shí)施例的、確定在肺氣道內(nèi)的向前或向后方向的方法的流程圖；

圖5和圖6A-圖6C是根據(jù)本公開內(nèi)容實(shí)施例的、當(dāng)在肺氣道內(nèi)導(dǎo)航時(shí)的視圖的圖形示圖；及

圖7是根據(jù)本公開內(nèi)容一些實(shí)施例的、所采取的導(dǎo)航通過肺氣道的步驟的圖形示圖。

具體實(shí)施方式

虛擬支氣管鏡(VB)視圖使得用戶能夠與虛擬相機(jī)(或用戶的視點(diǎn))交互并且能夠修改虛擬相機(jī)視圖在肺的氣道內(nèi)部的位置和方向兩者。在VB視圖中向后移動(dòng)可以通過在其中一個(gè)平面視圖上(橫斷面、矢狀面、冠狀面)調(diào)整虛擬相機(jī)(或用戶視點(diǎn))并且然后在VB視圖中沿直線回退來實(shí)現(xiàn)。但是，這種方法會涉及至少兩個(gè)視圖，并且可能難以撤回實(shí)際步驟并且返回到先前位置。另外，用戶會發(fā)現(xiàn)虛擬相機(jī)在氣道外部導(dǎo)航。

根據(jù)本公開內(nèi)容的實(shí)施例，包括轉(zhuǎn)向的向前移動(dòng)通過將每個(gè)單獨(dú)的步驟存儲在堆棧中被記錄，并且當(dāng)虛擬相機(jī)向后移動(dòng)時(shí)，其向后的步驟從堆棧中取得，因此保持了虛擬相機(jī)的實(shí)際位置和方向兩者。向前移動(dòng)通過沿直線移動(dòng)來執(zhí)行。側(cè)向移動(dòng)通過在VB視圖上的位置處操作諸如鼠標(biāo)指針的數(shù)據(jù)輸入設(shè)備來執(zhí)行，并且VB視圖的中心以動(dòng)畫的方式更新到那個(gè)位置，以允許較好的用戶體驗(yàn)。

當(dāng)虛擬相機(jī)視圖在向前移動(dòng)的同時(shí)響應(yīng)于由操作諸如鼠標(biāo)或觸摸板的用戶輸入設(shè)備的用戶移動(dòng)屏幕上的光標(biāo)或指針和/或選擇按鈕而(向右或向左)轉(zhuǎn)向時(shí)，在沿直線的移動(dòng)被執(zhí)行之后，發(fā)生轉(zhuǎn)向。軟件將向前的一個(gè)步驟或若干個(gè)步驟以及然后帶有轉(zhuǎn)向的步驟存儲在堆棧中。轉(zhuǎn)向的步驟以單個(gè)動(dòng)畫來執(zhí)行，以提供平滑的轉(zhuǎn)向。動(dòng)畫基于虛擬相機(jī)的當(dāng)前位置、當(dāng)前方向、新的旋轉(zhuǎn)軸、以及在視圖的2D x-軸的增量(即，向左或向右方向中的變化)來計(jì)算。

為了當(dāng)在向后的方向上移動(dòng)時(shí)提供類似的用戶體驗(yàn)，根據(jù)本公開內(nèi)容的系統(tǒng)和方法在光標(biāo)或指針已被用戶經(jīng)由諸如鼠標(biāo)、觸摸板、跟蹤球或觸摸屏的數(shù)據(jù)輸入設(shè)備的操作移動(dòng)之后，記錄光標(biāo)或指針在顯示設(shè)備上的位置。如本文所討論，光標(biāo)或指針在顯示設(shè)備上的位置的x-坐標(biāo)和y-坐標(biāo)被存儲在堆棧中并且用來確定虛擬相機(jī)的向前和向后移動(dòng)。當(dāng)虛擬相機(jī)向后移動(dòng)時(shí)，當(dāng)前位置和在當(dāng)前位置處的方向，連同先前的位置和方向從堆棧中取得。在向后移動(dòng)期間或之前，為堆棧中兩個(gè)相鄰的步驟(例如，步驟i和i-1)計(jì)算為向后導(dǎo)航優(yōu)化的平均方向向量或其它平滑向量。在一些實(shí)施例中，平滑向量基于樣條或蘭克澤斯(Lanczos)算法被應(yīng)用到第一向量和第二向量。在向后的移動(dòng)中，對應(yīng)于計(jì)算出的平均方向向量或其它平滑向量的虛擬相機(jī)視圖被使用。這允許當(dāng)在向后移動(dòng)的同時(shí)執(zhí)行轉(zhuǎn)向時(shí)較平滑的動(dòng)畫。

現(xiàn)在參考圖1，本公開內(nèi)容一般而言針對用于規(guī)劃用于在手術(shù)期間使用的通過患者的解剖腔網(wǎng)絡(luò)的路徑的路徑規(guī)劃系統(tǒng)10和方法。路徑規(guī)劃系統(tǒng)10可以包括計(jì)算設(shè)備100，計(jì)算設(shè)備100諸如例如膝上型計(jì)算機(jī)、臺式機(jī)、平板電腦或其它類似的設(shè)備，其具有顯示器102、存儲器104、一個(gè)或多個(gè)處理器106和/或通常在計(jì)算設(shè)備中找到的其它類型部件。顯示器102可以是觸敏和/或語音激活的，從而使得顯示器102能夠充當(dāng)輸入設(shè)備和輸出設(shè)備兩者?？商娲兀梢圆捎面I盤113、鼠標(biāo)114或其它數(shù)據(jù)輸入設(shè)備。

存儲器104包括用于存儲數(shù)據(jù)和/或軟件的任何非臨時(shí)性、計(jì)算機(jī)可讀存儲介質(zhì)，其中軟件可被處理器106執(zhí)行并且控制計(jì)算設(shè)備100的操作。在實(shí)施例中，存儲器104可以包括一個(gè)或多個(gè)固態(tài)存儲設(shè)備，諸如閃存芯片。在可替代的實(shí)施例中，存儲器104可以是通過大容量存儲控制器(未示出)和通信總線(未示出)連接到處理器106的大容量存儲設(shè)備。

雖然本文包含的計(jì)算機(jī)可讀介質(zhì)的描述指固態(tài)存儲，但是本領(lǐng)域技術(shù)人員應(yīng)該認(rèn)識到，計(jì)算機(jī)可讀存儲介質(zhì)可以是可被處理器106訪問的任何可用的介質(zhì)。即，計(jì)算機(jī)可讀存儲介質(zhì)包括以任何方法或技術(shù)實(shí)現(xiàn)的、用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的信息的非臨時(shí)性、易失性和非易失性、以及可移除和不可移除介質(zhì)。例如，計(jì)算機(jī)可讀存儲介質(zhì)包括RAM、ROM、EPROM、EEPROM、閃存存儲器或其它固態(tài)存儲器技術(shù)、CD-ROM、DVD或其它光學(xué)存儲、磁帶盒、磁帶、磁盤存儲或其它磁存儲設(shè)備、或者可用來存儲期望信息并且可被計(jì)算設(shè)備100訪問的任何其它介質(zhì)。

計(jì)算設(shè)備100也可以包括經(jīng)由用于向其它來源發(fā)送和從其他來源接收數(shù)據(jù)的有線或無線連接連接到分布式網(wǎng)絡(luò)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)模塊108。例如，計(jì)算設(shè)備100可以從例如醫(yī)院服務(wù)器、互聯(lián)網(wǎng)服務(wù)器、或其它類似的服務(wù)器的服務(wù)器接收患者的計(jì)算機(jī)斷層掃描(CT)圖像以用于在路徑規(guī)劃期間使用?；颊逤T圖像也可以經(jīng)由存儲器104提供給計(jì)算設(shè)備100，其中存儲器104可以是可移除存儲器。

路徑規(guī)劃模塊200包括存儲在存儲器104中并且被計(jì)算設(shè)備100的處理器106執(zhí)行的軟件程序。如下面將更詳細(xì)描述的，路徑規(guī)劃模塊200指導(dǎo)臨床醫(yī)師通過一系列步驟來開發(fā)用于以后在醫(yī)療過程中使用的路徑計(jì)劃。路徑規(guī)劃模塊200與用于在顯示器102上向臨床醫(yī)師顯示視覺交互功能和用于接收臨床醫(yī)師輸入的用戶接口模塊202通信。

如本文所使用的，術(shù)語“臨床醫(yī)師”指任何醫(yī)療專業(yè)人員(例如，醫(yī)生、外科醫(yī)生、護(hù)士等)或在規(guī)劃、執(zhí)行、監(jiān)視和/或監(jiān)督涉及使用本文所描述的系統(tǒng)、方法和裝置的實(shí)施例的醫(yī)療過程中涉及的路徑規(guī)劃系統(tǒng)10的其它用戶。

現(xiàn)在參考圖2，在實(shí)施例中，利用路徑規(guī)劃模塊200的路徑規(guī)劃可以在四個(gè)不同階段執(zhí)行。在第一階段S1中，臨床醫(yī)師選擇用于路徑規(guī)劃的患者。在第二階段S2中，臨床醫(yī)師添加目標(biāo)。在第三階段S3中，臨床醫(yī)師創(chuàng)建到目標(biāo)的路徑。最后，在第四階段S4中，臨床醫(yī)師審查和接受計(jì)劃，并且可以輸出計(jì)劃用于在醫(yī)療過程中使用。臨床醫(yī)師可以根據(jù)需要重復(fù)第二階段S2和第三階段S3中的任一個(gè)或兩者，以選擇附加目標(biāo)和/或創(chuàng)建用于特定患者的附加路徑。例如，臨床醫(yī)師可以選擇附加的目標(biāo)并且可以創(chuàng)建到每個(gè)目標(biāo)的路徑。臨床醫(yī)師也可以或可替代地創(chuàng)建到同一目標(biāo)的多個(gè)路徑。一旦生成了路徑計(jì)劃，虛擬支氣管鏡視圖(在圖6A-圖6C中示出)就可以被顯示，這允許臨床醫(yī)師基于路徑計(jì)劃在患者的虛擬氣道內(nèi)導(dǎo)航。

圖3是示出根據(jù)本公開內(nèi)容實(shí)施例的、用于基于虛擬相機(jī)的位置和方向信息動(dòng)態(tài)顯示虛擬支氣管鏡視圖的方法300的流程圖。在步驟305-310，顯示了在顯示器102上虛擬支氣管鏡視圖內(nèi)由數(shù)據(jù)輸入設(shè)備112指向的位置。在一些實(shí)施例中，該位置被設(shè)置是在已知的氣道中，諸如患者的氣管或入口點(diǎn)。由數(shù)據(jù)輸入設(shè)備112在顯示器102上指向的位置被獲得為2D x-坐標(biāo)和y-坐標(biāo)。在步驟315，虛擬位置被利用，以便生成在虛擬位置處的虛擬相機(jī)視圖。當(dāng)臨床醫(yī)師在虛擬支氣管鏡視圖中前進(jìn)通過患者的氣道時(shí)，臨床醫(yī)師點(diǎn)擊或選擇呼吸道內(nèi)的不同位置以向前和向后移動(dòng)。

在步驟310，當(dāng)由數(shù)據(jù)輸入設(shè)備112(例如通過使用指針或光標(biāo))指向的顯示器102上的虛擬位置到達(dá)位置L_i時(shí)(如下面相對于圖7進(jìn)一步描述的)，視圖方向D_i被利用。基于位置L_i，一個(gè)或多個(gè)處理器106確定對應(yīng)于位置L_i的視圖方向D_i。位置L_i是具有相對于氣道在顯示器102上的位置的x-坐標(biāo)和y-坐標(biāo)的2D坐標(biāo)。

視圖方向D_i可以被表達(dá)為具有幅度和角度Θ_i的向量角度Θ_i可以被定義為當(dāng)前向量的角度與先前向量的角度之間的差，如在圖7中所示。例如，對于從第一位置L₁延伸到第二位置L₂的第一向量和以正交于第一向量的方向從第二位置L₂延伸的第二向量第二向量的角度Θ₂是90°。

在步驟315，一旦位置L_i和視圖方向D_i被確定，一個(gè)或多個(gè)處理器106就基于位置L_i和視圖方向D_i從存儲器104中獲取虛擬相機(jī)視圖C_i。虛擬相機(jī)視圖C_i是要在虛擬支氣管鏡窗口600被顯示的2D虛擬圖像(在圖6A、6B和6C中示出)。虛擬相機(jī)視圖C_i是從虛擬相機(jī)的末端的角度看氣道內(nèi)部的視圖。虛擬相機(jī)視圖C_i的例子在圖6A-圖6C中示出。

在步驟320，一個(gè)或多個(gè)處理器106將第一位置L_i和視圖方向D_i存儲在存儲器104中，例如，存儲在堆?；虿檎冶韮?nèi)步驟S_i處。查詢表(LUT)的例子在下面示出。

表1

如本文所使用的，術(shù)語位置指的是指示指針或光標(biāo)在顯示器102上的位置的坐標(biāo)值和數(shù)據(jù)。視圖方向指的是在從當(dāng)前位置沿直線的視圖(第一向量)和從先前位置沿直線的視圖(第二向量)之間的角度差，如在圖7中進(jìn)一步示出的。

在步驟325，虛擬相機(jī)視圖C_i被顯示在顯示器102上的虛擬支氣管鏡窗口600中，如在圖6A-圖6C中所示。在一些實(shí)施例中，用戶可以通過點(diǎn)擊鼠標(biāo)114上的按鈕或者按下鍵盤113上的鍵或鍵的組合來改變和更新虛擬相機(jī)視圖C_i。例如，用戶可以改變方向，從而顯示在不同視圖方向上的新的虛擬相機(jī)視圖。

向前移動(dòng)

圖3的步驟330-步驟355示出了虛擬相機(jī)通過氣道在向前方向上的移動(dòng)。在步驟330，虛擬相機(jī)的下一位置L_i+1和下一視圖方向D_i+1基于指針或光標(biāo)在顯示器102上的位置而獲得。下一視圖方向D_i+1可以通過確定從位置L_i延伸到下一位置L_i+1的向量的方向來確定。在步驟335，做出關(guān)于虛擬相機(jī)是否已在先前方向從位置L_i移動(dòng)到下一位置L_i+1的確定，如下面參考圖4所描述的。

如果確定虛擬相機(jī)在向前方向從位置L_i移動(dòng)到下一位置L_i+1，則方法前進(jìn)到步驟340。在步驟340，一旦下一位置L_i+1和視圖方向D_i兩者都被確定，則一個(gè)或多個(gè)處理器106基于下一位置L_i+1和下一視圖方向D_i+1從存儲器104中獲得下一虛擬相機(jī)視圖C_i+1。

在步驟345，一個(gè)或多個(gè)處理器106將下一位置L_i+1和下一視圖方向D_i+1存儲在存儲器104中下一步驟S_i+1處。在步驟350，下一虛擬相機(jī)視圖C_i+1被顯示在顯示器102上的虛擬支氣管鏡窗口600中。在步驟355，一個(gè)或多個(gè)處理器106在返回到步驟330以確定下一位置L_i+1之前，將在下一步驟S_i+1處的當(dāng)前位置L_i+1設(shè)置為當(dāng)前步驟S_i。

向后移動(dòng)

在一些實(shí)施例中，如果在步驟335確定虛擬相機(jī)沒有在向前方向移動(dòng)，則方法前進(jìn)到步驟360。在步驟360，確定虛擬相機(jī)是否在向后方向移動(dòng)。使用步驟360來確認(rèn)虛擬相機(jī)是在向后方向上移動(dòng)。向后方向的移動(dòng)可以被定義為移動(dòng)到或接近先前訪問過的位置。如果在步驟360確定移動(dòng)不是在向后的方向，則方法返回到步驟335來確定虛擬相機(jī)的移動(dòng)是否是在向前的方向。

如果在步驟360確定移動(dòng)是在向后的方向，則方法前進(jìn)到步驟370。基于在向后方向上的下一位置L_i+1，一個(gè)或多個(gè)處理器106訪問存儲器104中的查找表來確定先前在查找表中存儲的、對應(yīng)于下一位置L_i+1的步驟。例如，如果在下一位置L_i+1處，坐標(biāo)是x_i+1、y_i+1，則處理器將訪問以上在表1中示出的查找表，并且確定先前位置L_i和L_i-1分別對應(yīng)于步驟S_i和S_i-1。一旦步驟S_i和S_i-1被確定，一個(gè)或多個(gè)處理器106就在步驟370從表1中獲得在步驟S_i處的視圖方向D_i和在步驟S_i-1處的視圖方向D_i-1。因此，例如，如果確定虛擬相機(jī)的移動(dòng)是在向后的方向并且位置對應(yīng)于步驟S₅，一個(gè)或多個(gè)處理器106就從表1中示出的查找表中獲得視圖方向D₄和視圖方向D₃。

在步驟375，一個(gè)或多個(gè)處理器106基于視圖方向D_i-1和視圖方向D_i計(jì)算平滑向量V。如在以上表1中所示，視圖方向D_i-1和D_i分別對應(yīng)于向量角度Θ_i-1和Θ_i。在一些實(shí)施例中，平滑向量是具有角度ΘN_i+1的新的向量，其平分向量角Θ_i-1和Θ_i。因此，對于向后的運(yùn)動(dòng)，通過向視圖方向D_i的角度Θ_i應(yīng)用平滑向量，利用等于Θ_i/2的新的角度創(chuàng)建在位置L_i+1處的新的視圖方向。

在實(shí)施例中，平滑向量V是如下向量：基于(1)由位置L_i-1和方向D_i-1定義的第一或先前向量和(2)由位置L_i和方向D_i定義的第二或當(dāng)前向量，并且對向后導(dǎo)航進(jìn)行優(yōu)化使得例如相機(jī)視圖不離開氣道和/或相機(jī)視圖的動(dòng)畫看起來平滑。平滑向量V可以是在第一向量和第二向量之間的向量，諸如是第一向量和第二向量的平均或加權(quán)平均的向量。平滑向量V可以替代地通過利用諸如樣條(spline)或蘭克澤斯(Lanczos)算法的平滑算法來確定。樣條可以是二次樣條(二度的樣條)或三次樣條(四度的樣條)。

在基于平滑向量確定在位置L_i+1處的新的視圖方向DN_i+1之后，一個(gè)或多個(gè)處理器106在步驟380確定在位置L_i+1處的新的虛擬相機(jī)視圖DN_i+1。在一些實(shí)施例中，位置L_i+1可以是位置L_i-1或接近位置L_i-1的位置。因此，不是利用在位置L_i+1處的原始虛擬相機(jī)視圖C_i+1，而是一個(gè)或多個(gè)處理器106從存儲器104中獲得原始虛擬相機(jī)視圖C_i+1并且通過利用平滑向量的新的視線方向D_i+1改變虛擬相機(jī)視圖C_i+1，并且生成新的虛擬相機(jī)視圖CN_i+1。在步驟385，新的虛擬相機(jī)視圖DN_i+1被顯示在顯示器102上的虛擬支氣管鏡窗口中。在步驟385之后，一個(gè)或多個(gè)處理器106在返回到步驟330以確定下一位置L_i+1之前，在步驟390將用于步驟S_i+1的當(dāng)前位置L_i+1設(shè)置為步驟S_i。

現(xiàn)在轉(zhuǎn)到圖4，其中更詳細(xì)地描述了示出用于確定圖3的步驟335和360的向前和向后運(yùn)動(dòng)的方法400的流程圖。利用指針或光標(biāo)在顯示器102上的當(dāng)前位置L_i和先前位置L_i-1，可以做出虛擬相機(jī)在當(dāng)前位置L_i處在向前或向后的哪個(gè)方向移動(dòng)的確定。

在步驟405，一個(gè)或多個(gè)處理器106獲得指針在顯示器102上的當(dāng)前位置L_i的2D x-坐標(biāo)和y-坐標(biāo)。接著，在步驟410，一個(gè)或多個(gè)處理器106獲得在顯示器102上的(通過數(shù)據(jù)輸入設(shè)備112的用戶操作從位置L_i移動(dòng)到的)下一虛擬位置L_i+1的2D x-坐標(biāo)和y-坐標(biāo)。

在步驟415，一個(gè)或多個(gè)處理器106確定指針在顯示器102上的下一位置L_i+1的y-坐標(biāo)值和位置L_i的y-坐標(biāo)值之間的差是否小于零。如果在步驟415確定下一位置L_i+1的y-坐標(biāo)值和位置L_i的y-坐標(biāo)值之間的差小于零，則一個(gè)或多個(gè)處理器106確定虛擬相機(jī)是在向前的方向移動(dòng)。

如果在步驟415，確定指針在顯示器102上的位置L_i+1的y-坐標(biāo)值和位置L_i的y-坐標(biāo)值之間的差不小于零，則方法400前進(jìn)到步驟420，其中確定下一位置L_i+1的y-坐標(biāo)值和位置L_i的y-坐標(biāo)值之間的差是否大于零。如果在步驟415確定下一位置L_i+1的y-坐標(biāo)值和位置L_i的y-坐標(biāo)值之間的差大于零，則一個(gè)或多個(gè)處理器106確定虛擬相機(jī)是在向后的方向移動(dòng)。

現(xiàn)在參考圖5和圖6A-圖6C，其中顯示了用于虛擬支氣管鏡的3D圖窗口500。當(dāng)目標(biāo)和路徑被計(jì)算設(shè)備100識別時(shí)，臨床醫(yī)師可能希望以導(dǎo)航預(yù)覽模式審查路徑。圖5示出了根據(jù)本公開內(nèi)容實(shí)施例的規(guī)劃階段的導(dǎo)航預(yù)覽模式，其中計(jì)算設(shè)備100在顯示器102的屏幕上示出了3D圖窗口500和虛擬支氣管鏡窗口600(圖6A-圖6C)。

3D圖窗口500示出了3D圖并且虛擬支氣管鏡窗口600示出了虛擬支氣管鏡視頻圖像。3D圖窗口500顯示并且覆蓋到目標(biāo)550的路徑505和當(dāng)前位置指示器507。在導(dǎo)航預(yù)覽模式下，顯示器102將虛擬支氣管鏡窗口600示為從氣管到目標(biāo)550的飛行通過(fly-through)視圖。

虛擬支氣管鏡窗口600也示出了朝目標(biāo)550的路徑660用于審查。當(dāng)前位置指示器507基于和根據(jù)在虛擬支氣管鏡窗口600中示出的當(dāng)前位置在3D圖窗口500中移動(dòng)。在一個(gè)方面中，路徑660或505可以基于臨床醫(yī)師可在顯示路徑或不顯示路徑之間進(jìn)行設(shè)置的顯示選項(xiàng)不被顯示。

虛擬支氣管鏡窗口600包括用于透明度的滑塊670。通過移動(dòng)滑塊670，虛擬支氣管鏡視頻圖像的不透明度可以從不透明改變?yōu)橥该?。但是，虛擬支氣管鏡的透明度狀態(tài)不與3D圖窗口500中示出的3D圖同步。

如在圖5中所示，氣道通道501包含在三個(gè)相應(yīng)位置510、520和530處的三個(gè)相機(jī)視圖。當(dāng)虛擬相機(jī)在每個(gè)位置510、520和530處導(dǎo)航到目標(biāo)550時(shí)，視圖方向510a、520a和530a分別被顯示在虛擬支氣管鏡窗口600中。每個(gè)視圖方向510a、520a和530a分別對應(yīng)于在圖6A、6B和6C示出的虛擬支氣管鏡的視頻圖像。當(dāng)虛擬相機(jī)從位置510前進(jìn)到530時(shí)，由用戶看到的視圖被改變，如分別在圖6A至圖6C中所示。

在圖6A中，用戶能夠在虛擬支氣管鏡窗口600中看到包含位置510、520和530的路徑660，連同氣道通道501的分叉分支。當(dāng)虛擬相機(jī)接近位置520時(shí)(圖6B)，在虛擬支氣管鏡窗口600中示出的視圖正接近分叉分支。一旦虛擬相機(jī)到達(dá)位置530(圖6C)，氣道通道就顯示在位置530處。在向前移動(dòng)期間，用戶利用諸如鼠、鍵盤或觸摸板的輸入設(shè)備來移動(dòng)指針或光標(biāo)，并且選擇沿路徑660向前的位置，諸如位置510、520和530。因此，當(dāng)用戶注意到分叉分支時(shí)，用戶能夠沿路徑660選擇進(jìn)入分叉分支的位置，諸如位置530。當(dāng)每個(gè)位置在向前移動(dòng)期間被選擇時(shí)，虛擬相機(jī)在那個(gè)位置處居中視圖。在向后移動(dòng)期間，當(dāng)用戶移動(dòng)指針或光標(biāo)并且選擇沿路徑660向后的位置時(shí)，本公開內(nèi)容的系統(tǒng)和方法改變在向后位置處的視圖并且使其平滑，而不是顯示在向后位置處居中的虛擬相機(jī)視圖，從而向用戶提供防止用戶在虛擬支氣管鏡窗口600中看到的視圖在氣道外部的相機(jī)視圖。例如，對于在圖6C的氣道中選擇向后運(yùn)動(dòng)的用戶，本公開內(nèi)容的系統(tǒng)和方法將防止用戶看到的視圖被顯示為就像虛擬相機(jī)在氣道的分叉分支處位于氣道外部。

圖7是與虛擬支氣管視圖的氣道內(nèi)的移動(dòng)相關(guān)聯(lián)的氣道和向量的圖形示圖700。圖形示圖700示出了在氣道內(nèi)不同位置處的向量和平滑向量，諸如圖6的位置510、520和530。如在圖7中所示，氣道通道501包含五個(gè)位置L₀-L₄(705-740)以及相應(yīng)的視圖方向D₀-D₄(705a-740a)。每個(gè)視圖方向705a-740a被示為從位置705-740延伸的實(shí)線向量。

在向前移動(dòng)的情況下，當(dāng)虛擬相機(jī)從位置L₀前進(jìn)到位置L₄時(shí)，如由用戶在每個(gè)位置705-740處看到的虛擬相機(jī)視圖分別在沿視圖方向705a-740a的方向上被顯示。

在向后移動(dòng)的情況下，例如，遍歷位置740-730-720，在先前位置處顯示的每個(gè)視圖方向(例如，730a和720a)被平滑向量改變。例如，對于作為當(dāng)前向量和在當(dāng)前位置處的先前向量的平均值的平滑向量，改變的視圖方向730c由虛線示出，并且被示為730a和730b的平分線。改變的視圖方向730c被創(chuàng)建為位置L₃ 730的正常視圖方向730a和先前位置L₂ 720的視圖方向的平分線，其由從位置L₃ 730延伸的虛線730b示出。

類似地，對于從位置L₃ 730到位置L₂ 720的向后運(yùn)動(dòng)，改變的視圖方向720由虛線示出并且被示為L₂ 720的正常視圖方向720a和先前位置L₁ 710的視圖方向的平分線，其通由從位置L₂ 720延伸的虛線720b示出。

雖然本公開內(nèi)容已經(jīng)根據(jù)具體的說明性實(shí)施例進(jìn)行了描述，但是對于本領(lǐng)域技術(shù)人員來說，將顯然，在不脫離本公開的精神的情況下，可以進(jìn)行各種重新布置和替代。例如，平滑向量的確定在上面被示為在虛擬相機(jī)的移動(dòng)期間在線或動(dòng)態(tài)地執(zhí)行?？梢灶A(yù)期在其它實(shí)施例中，平滑向量可以被離線確定或者在貫穿氣道的預(yù)定位置處開始導(dǎo)航模式之前確定。當(dāng)利用更復(fù)雜的方法來確定優(yōu)化在向后方向移動(dòng)時(shí)虛擬相機(jī)視圖的平滑向量或其它向量時(shí)，這種其它實(shí)施例可能是有益的。本公開內(nèi)容的范圍由所附權(quán)利要求來定義。

除了以上提到的，還對以下其中除了描述與本文所描述的系統(tǒng)相關(guān)的其它特征之外，還描述圖像處理和用戶界面更新特征的共同轉(zhuǎn)讓申請進(jìn)行了引用：于2014年7月2日提交的、標(biāo)題為“System And Method For Navigating Within The Lung”的美國臨時(shí)專利申請No.62/020,240；于2014年7月2日提交的、標(biāo)題為“Real-Time Automatic Registration Feedback”的美國臨時(shí)專利申請No.62/020,220；于2014年7月2日提交的、標(biāo)題為“Methods for Marking Biopsy Location”的美國臨時(shí)專利申請No.62/020,177；于2014年7月2日提交的、標(biāo)題為“Unified Coordinate System For Multiple CT Scans Of Patient Lungs”的美國臨時(shí)專利申請No.62/020,242；于2014年7月2日提交的、Klein等人的、標(biāo)題為“Alignment CT”的美國臨時(shí)專利申請No.62/020,245；于2014年7月2日提交的、標(biāo)題為“Algorithm for Fluoroscopic Pose Estimation”的美國臨時(shí)專利申請No.62/020,250；于2014年7月2日提交的、標(biāo)題為“Trachea Marking”的美國臨時(shí)專利申請No.62/020,253；于2014年7月2日提交的、標(biāo)題為“Lung And Pleura Segmentation”的美國臨時(shí)專利申請No.62/020,261；于2014年7月2日提交的、標(biāo)題為“Cone View–A Method Of Providing Distance And Orientation Feedback While Navigating In 3D”的美國臨時(shí)專利申請No.62/020,258；于2014年7月2日提交的、標(biāo)題為“Dynamic 3D Lung Map View for Tool Navigation Inside the Lung”的美國臨時(shí)專利申請No.62/020,262；于2014年7月2日提交的、標(biāo)題為“System and Method for Segmentation of Lung”的美國臨時(shí)專利申請No.62/020,261；于2014年7月2日提交的、標(biāo)題為“Automatic Detection Of Human Lung Trachea”的美國臨時(shí)專利申請No.62/020,257；所有這些引用都針對處理DICOM圖像、檢測氣管、肺中導(dǎo)航、以及顯示DICOM圖像和處理圖像，以提供用于與肺治療規(guī)劃和導(dǎo)航等相關(guān)的分析、診斷和治療系統(tǒng)的增強(qiáng)的清晰度和性能的方面。所有以上引用的申請的內(nèi)容都通過引用被結(jié)合于此。