用于手術(shù)和介入性醫(yī)療過程中的成像系統(tǒng)和方法
【專利摘要】一種用于顯示內(nèi)部解剖結(jié)構(gòu)的圖像的系統(tǒng)和方法包括用于在過程中從低分辨率掃描提供手術(shù)區(qū)域的高分辨率圖像的圖像處理裝置。圖像處理裝置數(shù)字地操作先前獲得的高分辨率基線圖像以基于基線圖像的運(yùn)動(dòng)排列產(chǎn)生很多代表圖像。在過程中，選擇具有與新的低分辨率圖像的可接受的關(guān)聯(lián)度的代表圖像。合并所選擇的代表圖像與新圖像以提供手術(shù)區(qū)域的更高分辨率的圖像。圖像處理裝置還用于基于成像裝置的運(yùn)動(dòng)提供顯示圖像的交互運(yùn)動(dòng)，以及允許在顯示圖像上布置注釋以幫助放射技師和外科醫(yī)生之間的通信。
【專利說明】用于手術(shù)和介入性醫(yī)療過程中的成像系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2011年10月5日提交的美國(guó)專利申請(qǐng)?zhí)朜0.13/253，838的權(quán)益，其全部公開內(nèi)容通過引用并入本文。
【背景技術(shù)】
[0003]本發(fā)明構(gòu)思一種用于改變觀看和獲得患者圖像(例如，通過X射線)的方式的系統(tǒng)和方法。更特別地，本發(fā)明的系統(tǒng)和方法提供用于減少手術(shù)過程中患者受到的總輻射而不明顯地犧牲獲得的圖像的質(zhì)量或分辨率的方法。
[0004]很多手術(shù)過程要求獲取患者的內(nèi)部身體結(jié)構(gòu)(例如器官和骨骼)的圖像。在一些過程中，借助于手術(shù)部位的周期性圖像完成手術(shù)。手術(shù)可以廣泛地指由醫(yī)療人員(例如，夕卜科醫(yī)生、介入放射科醫(yī)生、心臟病醫(yī)生、疼痛治療的醫(yī)師等)進(jìn)行的侵入性測(cè)試或介入。在實(shí)際上由連續(xù)成像導(dǎo)引的(我們將稱作圖像導(dǎo)引的)手術(shù)和介入中，頻繁的患者圖像對(duì)于醫(yī)師的手術(shù)儀器(它們是導(dǎo)管、針、儀器或植入物)的適當(dāng)放置或某些醫(yī)療過程的操作是必要的。熒光檢查或熒光是手術(shù)期間發(fā)生的X射線的一種形式并且由熒光單元(也稱作C形臂)提供。C形臂發(fā)送穿過患者的X射線束并采集在那個(gè)區(qū)域中的解剖結(jié)構(gòu)(例如，骨骼和血管結(jié)構(gòu))的圖片。與其他圖片類似，這個(gè)圖片是三維(3D)空間的二維(2D)圖像。但是，與通過照相機(jī)采集的其他圖片類似，關(guān)鍵的3D信息可能存在于基于誰在誰前面以及一個(gè)東西相對(duì)于另一個(gè)東西是多大的2D圖像中。
[0005]DRR是通過采取患者的CT掃描以及模擬從不同角度和距離采取X射線而獲得的X射線的數(shù)字表示。結(jié)果是，可以模擬可以被那個(gè)患者接受的任何可能的X射線，這對(duì)于患者的解剖特征相對(duì)于彼此看起來如何是唯一且特定的。因?yàn)椤皥?chǎng)景”是受控的，即，通過控制C形臂到患者的虛擬位置以及兩者之間的角度，因此可以生成看起來像在手術(shù)室(OR)中捕獲的X射線的圖片。
[0006]很多成像方法(例如采集熒光圖像)涉及將患者暴露于輻射，盡管是小劑量的輻射。但是，在這些圖像導(dǎo)引的過程中，小劑量的數(shù)量增加，從而總輻射暴露不僅對(duì)患者是有問題的，對(duì)外科醫(yī)生或放射科醫(yī)生或參與手術(shù)過程的其他人也是有問題的。存在降低在采集圖像時(shí)對(duì)患者/外科醫(yī)生的輻射暴露的量的各種已知方式，但是這些方法實(shí)現(xiàn)的代價(jià)是降低獲得的圖像的分辨率。例如，某些方法使用與標(biāo)準(zhǔn)成像不同的脈沖成像，而其他方法涉及手動(dòng)地改變曝光時(shí)間或亮度?？s小視場(chǎng)也可能可以減小輻射暴露的區(qū)域以及它的量(即改變輻射“散射”的量)，但是也以減少外科醫(yī)生做醫(yī)療決定時(shí)可用的信息為代價(jià)。進(jìn)一步地，手術(shù)介入期間采集的圖像經(jīng)常被無關(guān)的OR設(shè)備或用于執(zhí)行介入的實(shí)際儀器/植入物遮擋。限制這些物體對(duì)后面的正常解剖結(jié)構(gòu)的遮擋對(duì)醫(yī)學(xué)界具有切實(shí)的利益。
[0007]需要一種可與標(biāo)準(zhǔn)醫(yī)療過程連接使用、減少對(duì)患者和醫(yī)療人員的輻射暴露但不犧牲X射線圖像的準(zhǔn)確性和分辨率的成像系統(tǒng)。還需要一種對(duì)儀器和硬件(例如，植入物)做出解釋(否則可能遮蓋手術(shù)部位的全視圖)的成像系統(tǒng)。
【發(fā)明內(nèi)容】

[0008]根據(jù)一方面，提供一種用于基于先前獲取的高分辨率基線圖像和新獲取的低分辨率圖像在手術(shù)或介入性醫(yī)療過程中生成患者的內(nèi)部解剖結(jié)構(gòu)的顯示的系統(tǒng)和方法。高分辨率圖像可以是在過程中獲得的圖像或前置過程圖像(例如，DRR)。低分辨率圖像可以使用脈沖和/或低劑量輻射設(shè)備獲取。系統(tǒng)構(gòu)思一種用于數(shù)字地操作高分辨率基線圖像以產(chǎn)生基線圖像組的圖像處理裝置，基線圖像組包括4D或6D空間中的基線圖像的多個(gè)運(yùn)動(dòng)排列處的基線圖像的代表圖像。將新的低分辨率圖像與基線圖像組比較以選擇具有與新圖像的可接受的關(guān)聯(lián)度的代表圖像。圖像處理裝置可實(shí)施進(jìn)行比較的算法，例如主成分分析或其他統(tǒng)計(jì)測(cè)試。圖像處理裝置進(jìn)一步用于將所選擇的代表性的高分辨率圖像與新的低分辨率圖像合并以生成待顯示的合并圖像?？蛇M(jìn)一步處理合并圖像以允許所選擇的高分辨率圖像和新的低分辨率圖像之間的交替，或者調(diào)整并入顯示圖像的兩個(gè)圖像的量。
[0009]在本發(fā)明的另一個(gè)特征中，成像系統(tǒng)可包括在成像裝置相對(duì)于患者移動(dòng)時(shí)用作取景器的圖像處理裝置。根據(jù)這個(gè)特征，使用成像裝置在第一方向獲取手術(shù)區(qū)域的圖像。當(dāng)成像裝置、患者或手術(shù)臺(tái)從第一方向開始移動(dòng)時(shí)，連續(xù)地顯示獲取的圖像。使用圖像處理裝置跟蹤這個(gè)運(yùn)動(dòng)以相對(duì)于跟蹤運(yùn)動(dòng)移動(dòng)顯示圖像。通過這個(gè)特征，顯示器用作取景器以預(yù)測(cè)被成像裝置在那時(shí)捕獲的新圖像如何表現(xiàn)。由此，這個(gè)特征可用于確定在何處采集患者的解剖結(jié)構(gòu)的下一個(gè)現(xiàn)場(chǎng)圖像或者可用于幫助將多個(gè)圖像縫合在一起以形成手術(shù)區(qū)域的更大全景。圖像處理裝置可實(shí)施適于優(yōu)化預(yù)測(cè)圖像和最小化顯示的偏差或偏離角(off-angle)現(xiàn)象的軟件。另一方面，圖像處理系統(tǒng)允許顯示圖像的注釋以識(shí)別解剖特征或期望的圖像軌跡或?qū)R。
[0010]在公開的實(shí)施例的進(jìn)一步特征中，在基線方向中獲取手術(shù)區(qū)域中的解剖結(jié)構(gòu)的基線圖像，數(shù)字地操作這個(gè)基線圖像以產(chǎn)生基線圖像組，基線圖像組包括基線圖像的多個(gè)運(yùn)動(dòng)排列處的基線圖像的代表圖像。手術(shù)區(qū)域的新圖像中的解剖結(jié)構(gòu)的部分被物體遮擋。這個(gè)新圖像與基線圖像組比較以選擇具有與新圖像的可接受的關(guān)聯(lián)度的代表圖像。圖像處理系統(tǒng)生成示出遮擋物體被最小化或消除的手術(shù)區(qū)域的顯示圖像。系統(tǒng)進(jìn)一步允許遮擋物體淡入和淡出顯示。
【專利附圖】

【附圖說明】
[0011]圖1是包括成像系統(tǒng)、圖像處理裝置以及跟蹤裝置的圖像導(dǎo)引手術(shù)設(shè)備的示圖；
[0012]圖2a是使用成像系統(tǒng)中的全劑量輻射獲取的手術(shù)區(qū)域的圖像；
[0013]圖2b是圖2a示出的手術(shù)區(qū)域的圖像，其中圖像是使用低劑量輻射獲取的；
[0014]圖2c是根據(jù)本發(fā)明一方面的將圖2a_b示出的兩個(gè)圖像合并得到的手術(shù)區(qū)域的合并圖像；
[0015]圖3是通過圖1示出的圖像處理裝置執(zhí)行的圖形處理步驟的流程圖；
[0016]圖4a是包括遮擋部分的解剖結(jié)構(gòu)的物體的手術(shù)區(qū)域的圖像；
[0017]圖4b是邊緣增強(qiáng)的圖4a示出的手術(shù)區(qū)域的圖像；
[0018]圖4c_4j是示出將不同的函數(shù)應(yīng)用至圖4b的手術(shù)區(qū)域以確定視圖中的解剖特征和非解剖特征的圖像；
[0019]圖4k_41是使用閾值和查找表生成的掩模(mask)的圖像；[0020]圖4m_4n分別是圖4k_41示出的掩模被膨脹和腐蝕后的圖像；
[0021]圖4o-4p分別是將圖4m_4n的掩模應(yīng)用至圖4b的過濾圖像以消除圖像的非解剖特征而產(chǎn)生的圖像；
[0022]圖5a是包括遮擋部分的解剖結(jié)構(gòu)的物體的手術(shù)區(qū)域的圖像；
[0023]圖5b是圖5a示出的手術(shù)區(qū)域的圖像與基線圖像部分地合并以顯示被遮擋的解剖結(jié)構(gòu)的圖像；
[0024]圖6a_b是包括遮擋物體的手術(shù)區(qū)域的基線圖像和合并圖像；
[0025]圖7a_b是因成像裝置或C形臂的運(yùn)動(dòng)而調(diào)整的手術(shù)區(qū)域的顯示，其中提供用于獲取新圖像的成像裝置的界內(nèi)位置和界外位置的指示符；
[0026]圖8a_b是因成像裝置或C形臂的運(yùn)動(dòng)而調(diào)整的手術(shù)區(qū)域的顯示，其中提供新圖像何時(shí)可被縫合至先前獲取的圖像的指示符；
[0027]圖9a_b是因成像裝置或C形臂的運(yùn)動(dòng)而調(diào)整的手術(shù)區(qū)域的顯示，其中提供成像裝置與用于獲取新圖像的期望軌跡的對(duì)齊的指示符；
[0028]圖10是用于圖1示出的圖像處理裝置的顯示器和用戶界面的視圖；
[0029]圖11是根據(jù)本發(fā)明的圖像對(duì)齊過程的圖形表示。
【具體實(shí)施方式】
[0030]為了促進(jìn)本發(fā)明的原理的理解的目的，現(xiàn)在將參考附圖中示出的以及下面的說明書描述的實(shí)施例。應(yīng)理解的是，不意欲由此限制本發(fā)明的范圍。應(yīng)進(jìn)一步理解的是，如本發(fā)明所屬領(lǐng)域的技術(shù)人員通常想到的，本發(fā)明包括對(duì)示出的實(shí)施例的任何替換和修改，且包括對(duì)本發(fā)明的原理的進(jìn)一步應(yīng)用。
[0031]圖1示出典型的成像系統(tǒng)100。成像系統(tǒng)包括支撐C形臂成像裝置103的底座單元102。C形臂包括輻射源104，輻射源104定位在患者P的下方，并向上朝接收器105發(fā)送輻射束。已知的是，從源104發(fā)射的輻射束是圓錐形的，從而通過將源向患者移動(dòng)或遠(yuǎn)離患者移動(dòng)可以改變曝光的區(qū)域。C形臂103可以在箭頭108的方向繞患者P旋轉(zhuǎn)以得到手術(shù)部位的不同觀測(cè)角。在一些示例中，植入物或儀器T可位于手術(shù)部位，迫使觀測(cè)角的改變以實(shí)現(xiàn)部位的無阻觀測(cè)。因此，接收器相對(duì)于患者的位置(特別是相對(duì)于感興趣的手術(shù)部位的位置)可以在過程中根據(jù)外科醫(yī)生或放射醫(yī)生的需要而改變。因此，接收器105可包括安裝至其的跟蹤目標(biāo)106以允許使用跟蹤裝置103跟蹤C(jī)形臂的位置。例如，跟蹤目標(biāo)106可包括繞目標(biāo)分布的多個(gè)紅外發(fā)射器，跟蹤裝置用于從元件發(fā)射的紅外信號(hào)用三角學(xué)測(cè)出接收器105的位置。底座單元102包括控制面板110，放射技師可通過控制面板110控制C形臂的位置以及輻射暴露。由此，典型的控制面板110允許技師在外科醫(yī)生的方向上“拍攝手術(shù)部位的圖片”，控制輻射劑量，以及發(fā)起輻射脈沖圖像。
[0032]C形臂103的接收器105將圖像數(shù)據(jù)傳送至圖像處理裝置122。圖像處理裝置可包括與其相關(guān)聯(lián)的數(shù)字存儲(chǔ)器以及用于執(zhí)行數(shù)字和軟件指令的處理器。圖像處理裝置還可包含使用幀捕獲技術(shù)來產(chǎn)生用于在顯示裝置126上投影為顯示123、124的數(shù)字圖像的幀捕獲器。定位顯示以便外科醫(yī)生在過程中交互式地觀測(cè)。兩個(gè)顯示可用于示出來自兩個(gè)視角(例如橫向和AP)的圖像，或者可示出手術(shù)部位的基線掃描和當(dāng)前掃描，或當(dāng)前掃描和基于先前基線掃描和低輻射當(dāng)前掃描的“合并”掃描，如本文所描述的。輸入裝置125 (例如鍵盤或觸摸屏)可允許外科醫(yī)生選擇和操作屏幕上的圖像。應(yīng)理解的是，輸入裝置可包含與通過圖像處理裝置122執(zhí)行的各種任務(wù)和特征相對(duì)應(yīng)的鍵陣列或觸摸屏圖標(biāo)。圖像處理裝置包括將從接收器105獲得的圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字格式的處理器。在一些情況下，C形臂可以以電影曝光模式操作并且每秒產(chǎn)生很多圖像。在這些情況下，可以將短時(shí)間周期內(nèi)的多個(gè)圖像平均成單個(gè)圖像以減少運(yùn)動(dòng)偽像和噪聲。
[0033]在本發(fā)明的一個(gè)方面中，圖像處理裝置122用于在從使用低劑量輻射獲得的較少細(xì)節(jié)的圖像得到的顯示123、124上提供高質(zhì)量實(shí)時(shí)圖像。作為示例，圖2a是“全劑量”(FD)X射線圖像，而圖2b是相同解剖結(jié)構(gòu)的低劑量和/或脈沖(LD)圖像。明顯地，LD圖像是太“噪聲的”并且不能為精確的圖像導(dǎo)引手術(shù)提供關(guān)于局部解剖結(jié)構(gòu)的足夠信息。雖然FD圖像提供手術(shù)部位的清晰視圖，較高的輻射劑量使得在過程中采集多個(gè)FD圖像存在很多問題。使用本文描述的步驟，為外科醫(yī)生提供圖2c所示的大大地減少了 LD圖像的噪聲(在一些情況下，減少大約90%的噪聲)的當(dāng)前圖像，從而使用脈沖或低劑量輻射設(shè)備為外科醫(yī)生提供清晰的實(shí)時(shí)圖像。這個(gè)性能允許在成像過程中顯著地減小輻射暴露以在過程中驗(yàn)證儀器和植入物的位置。
[0034]圖3的流程圖描述根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例。在第一步驟200中，獲取手術(shù)部位的基線高分辨率FD圖像并將其存儲(chǔ)在與圖像處理裝置相關(guān)聯(lián)的存儲(chǔ)器中。在過程中移動(dòng)C形臂的一些情況下，可以在手術(shù)部位中的不同位置獲得多個(gè)高分辨率圖像，然后將這些多個(gè)圖像“縫合”在一起以形成合成基線圖像(如下面討論的)。在本文更詳細(xì)描述的其他步驟中解釋C形臂的運(yùn)動(dòng)，特別是在這些運(yùn)動(dòng)中“跟蹤”獲取的圖像。為了本發(fā)明的討論，假設(shè)成像系統(tǒng)是相對(duì)固定的，這意味著僅僅預(yù)期C形臂和/或患者的非常有限的運(yùn)動(dòng)，例如可能出現(xiàn)在硬膜外疼痛過程、脊髓K-鋼針布置或取石中。在步驟202中，將基線圖像投影到顯示123上以驗(yàn)證手術(shù)部位正好位于圖像的中心。在一些情況下，直到獲得適當(dāng)?shù)幕€圖像才可獲得新的FD圖像。在移動(dòng)C形臂的過程中，如下面所討論的，在成像裝置的新位置處獲得新的基線圖像。如果顯示的圖像可被接受作為基線圖像，可按下用戶界面上(例如顯示裝置126或界面125上)的按鈕。在解剖區(qū)域上進(jìn)行的過程中(其中由于生理過程(例如呼吸)發(fā)生大量的運(yùn)動(dòng))，對(duì)于相同的區(qū)域，可在循環(huán)的多個(gè)階段上獲取多個(gè)基線圖像。這些圖像可被標(biāo)記為來自其他醫(yī)療儀器(例如ECG或脈搏血氧儀)的暫態(tài)數(shù)據(jù)。
[0035]一旦獲取基線圖像，在步驟204中生成基線圖像組，其中數(shù)字地旋轉(zhuǎn)、平移原始基線圖像以及調(diào)整原始基線圖像的大小以產(chǎn)生原始基線圖像的許多排列。例如，可將典型的128X128像素的二維(2D)圖像在x方向和y方向上以I像素為間隔平移± 15像素，以3°為間隔旋轉(zhuǎn)±9°，以2.5%為間隔從92.5%到107.5%按比例調(diào)節(jié)(4個(gè)自由度，4D)，產(chǎn)生基線圖像組中的47089個(gè)圖像。由于增加與X軸和I軸正交的兩個(gè)額外的旋轉(zhuǎn)，三維(3D)圖像隱含6D解空間。原始CT圖像數(shù)據(jù)組可用于以相似的方式形成許多DRR。因此，在這個(gè)步驟中，原始基線圖像繁衍出許多新的圖像表示，好像原始基線圖像是在不同運(yùn)動(dòng)排列的每一個(gè)處獲取的。在步驟206中，可將這個(gè)“解空間”存儲(chǔ)在圖形卡存儲(chǔ)器中(例如圖像處理裝置122的圖形處理單元(GPU)中)或者根據(jù)解空間中的圖像的數(shù)量和GPU可以產(chǎn)生這些圖像的速度形成隨后被發(fā)送至GPU的新圖像。在獨(dú)立的醫(yī)療級(jí)計(jì)算機(jī)上，使用當(dāng)前的計(jì)算能力，可以在少于一秒的時(shí)間內(nèi)在GPU中生成具有約850000個(gè)圖像的基線圖像組，因?yàn)镚PU的多個(gè)處理器可以各自同時(shí)處理圖像。[0036]在過程期間，在步驟208中獲取新的LD圖像，將新的LD圖像存儲(chǔ)在與圖像處理裝置相關(guān)聯(lián)的存儲(chǔ)器中，并將新的LD圖像投影到顯示123上。由于新圖像是在低劑量的輻射下獲得的，因此它是非常噪聲的。由此，本發(fā)明提供將新圖像與來自基線圖像組的圖像“合并”以在第二顯示124上產(chǎn)生向外科醫(yī)生傳遞更有用信息的更清晰的圖像的步驟。由此，本發(fā)明構(gòu)思圖像識(shí)別或配準(zhǔn)步驟210，其中將新圖像與基線圖像組中的圖像比較以發(fā)現(xiàn)統(tǒng)計(jì)上有意義的匹配。在步驟212中生成可在鄰近原始新圖像的視圖的顯示124上顯示的新“合并”圖像。在整個(gè)過程的不同時(shí)間，可在步驟216中獲得用于生成步驟204中的新基線圖像組的新基線圖像。
[0037]步驟210構(gòu)思將當(dāng)前的新圖像與基線圖像組中的圖像比較。由于這個(gè)步驟發(fā)生在手術(shù)過程中，因此時(shí)間和準(zhǔn)確度是關(guān)鍵性的。優(yōu)選地，步驟可以在少于一秒的時(shí)間內(nèi)獲得圖像配準(zhǔn)，以便在C形臂采集圖像的時(shí)間和在裝置126上顯示合并圖像的時(shí)間之間不存在有意義的延遲。可以根據(jù)不同的因素(例如，基線圖像組中的圖像的數(shù)量，進(jìn)行算法計(jì)算的計(jì)算機(jī)處理器或圖形處理器的大小和速度，為進(jìn)行計(jì)算分配的時(shí)間，被比較的圖像的大小(例如，128X128像素，1024X1024像素等)采用不同的算法。一種方法中，在4D空間的網(wǎng)格圖案中的上述的預(yù)定位置處的像素之間進(jìn)行比較。在另一種試探性方法中，像素比較可以集中在認(rèn)為提供較大可能性的相關(guān)匹配的圖像區(qū)域中。可以基于來自網(wǎng)格或(下面限定的)PCA搜索的知識(shí)、來自跟蹤系統(tǒng)(例如光學(xué)手術(shù)導(dǎo)航裝置)的數(shù)據(jù)、或者來自DICOM文件或等同的位置數(shù)據(jù)“預(yù)播種”這些區(qū)域。可選地，用戶可通過在基線圖像上標(biāo)記被認(rèn)為是與過程相關(guān)的解剖特征來指定圖像的一個(gè)或多個(gè)區(qū)域用于比較。通過這個(gè)輸入，可以為區(qū)域中的每個(gè)像素分配O至I之間的相關(guān)度分值，該相關(guān)度分值度量當(dāng)新圖像與基線圖像比較時(shí)像素對(duì)圖像相似度函數(shù)的貢獻(xiàn)。相關(guān)度分值可被校準(zhǔn)以識(shí)別被關(guān)注的區(qū)域和被忽略的區(qū)域。
[0038]在另一種方法中，進(jìn)行主成分分析(PCA)，與全分辨率網(wǎng)格方法相比，PCA可允許在分配量的時(shí)間內(nèi)對(duì)較多數(shù)量的較大圖像進(jìn)行比較。在PCA方法中，做出關(guān)于圖像組的每個(gè)像素如何彼此共變的決策。使用總解集的僅僅一小部分(例如，從基線圖像組隨機(jī)選擇的10%)可以生成協(xié)方差矩陣。將來自基線圖像組的每個(gè)圖像轉(zhuǎn)換成列向量。在一個(gè)示例中，70X40像素圖像變成2800X1向量。這些列向量被歸一化成均值為O、方差為I并被組合成更大的矩陣。從這個(gè)更大的矩陣確定協(xié)方差矩陣并選擇最大的本征向量。對(duì)于這個(gè)特定的示例，已經(jīng)發(fā)現(xiàn)，30個(gè)PCA向量可以說明各個(gè)圖像的差異的80%。由此，可以將每個(gè)2800X1圖像向量乘以2800X30PCA向量以產(chǎn)生1X30向量。將相同的步驟應(yīng)用至新圖像-新圖像轉(zhuǎn)換成2800 X I圖像向量，并乘以2800X30PCA向量產(chǎn)生與新圖像對(duì)應(yīng)的I X 30向量。對(duì)解集(基線圖像)向量和新圖像向量歸一化，并計(jì)算新圖像向量與解空間中的每個(gè)向量的點(diǎn)積。將產(chǎn)生最大點(diǎn)積(即，接近于I)的解空間基線圖像向量確定為與新圖像最接近的圖像。應(yīng)理解的是，可以使用不同的圖像大小和/或用于分析的不同主成分改變本示例。應(yīng)進(jìn)一步理解的是，可以實(shí)施其他已知的技術(shù)，例如，這些其他已知的技術(shù)可利用本征向量、奇異值確定、均方差、平均絕對(duì)誤差和邊緣檢測(cè)。進(jìn)一步構(gòu)思的是，可以將各種圖像識(shí)別方法應(yīng)用至圖像的選定區(qū)域，或者可以應(yīng)用各種統(tǒng)計(jì)度量以發(fā)現(xiàn)落在適當(dāng)?shù)闹眯哦乳撝祪?nèi)的匹配?？梢灾付ㄖ眯哦戎祷蛳嚓P(guān)度值，該置信度值或相關(guān)度值量化新圖像與選定基線圖像或基線圖像組的多個(gè)選定圖像之間的相關(guān)度，可以顯示這個(gè)置信度值以用于外科醫(yī)生的檢查。外科醫(yī)生可以決定置信度值對(duì)于特定的顯示是否是可接受的以及是否應(yīng)獲取其他圖像。
[0039]在圖像導(dǎo)引的手術(shù)過程中，工具、植入物和儀器將不可避免地出現(xiàn)在圖像區(qū)域中。這些物體典型地是不透射線的，因此阻擋相關(guān)的患者解剖結(jié)構(gòu)被觀測(cè)到。由此，步驟210中獲得的新圖像將包括不與基線圖像組的任何圖像無關(guān)的工具T的偽像。由此，工具在圖像中的出現(xiàn)保證上述的比較技術(shù)不產(chǎn)生新圖像與基線圖像組的任何圖像之間的高配準(zhǔn)度。然而，如果上述過程的每個(gè)的最終結(jié)果是找出統(tǒng)計(jì)相關(guān)的或超出某個(gè)閾值的最大相關(guān)度，可以使用整個(gè)新圖像、工具偽像等進(jìn)行圖像配準(zhǔn)。
[0040]可選地，可以改變圖像配準(zhǔn)步驟以解釋新圖像上的工具偽像。在一種方法中，可對(duì)新圖像進(jìn)行評(píng)估以確定被工具“遮擋”的圖像像素的數(shù)量。這個(gè)評(píng)估可包含將每個(gè)像素的灰度值與閾值比較以及排除落在那個(gè)閾值外的像素。例如，如果像素灰度值從O(完全被遮擋)變化到10(完全透明)，可以應(yīng)用閾值3來從評(píng)估中消除某些像素。額外地，當(dāng)可獲得各種被跟蹤的工具的位置數(shù)據(jù)時(shí)，在算法上可以數(shù)學(xué)地避免被遮擋的區(qū)域。
[0041]在另一種方法中，圖像識(shí)別或配準(zhǔn)步驟210可以包括測(cè)量LD圖像與患者或基線圖像的轉(zhuǎn)換版本(即，已經(jīng)被轉(zhuǎn)換以解釋C形臂的運(yùn)動(dòng)的基線圖像，如下關(guān)于圖11的描述)的相似度的步驟。在圖像導(dǎo)引的手術(shù)過程中，C形臂系統(tǒng)獲取相同解剖結(jié)構(gòu)的多個(gè)X射線圖像。這個(gè)圖像系列的獲取過程中，系統(tǒng)可以小增量移動(dòng)，手術(shù)工具可以進(jìn)入視場(chǎng)或者從視場(chǎng)中移除，但是解剖特征可保持相對(duì)穩(wěn)定。下述方法通過使用存在于一個(gè)圖像中的解剖特征填充其他后續(xù)圖像中的丟失細(xì)節(jié)來利用這個(gè)解剖特征的一致性。這個(gè)方法進(jìn)一步允許從高質(zhì)量的全劑量圖像轉(zhuǎn)到隨后的低劑量圖像。
[0042]在本方法中，使用圖像的標(biāo)量函數(shù)形式的相似度函數(shù)來確定當(dāng)前LD圖像和基線圖像之間的配準(zhǔn)。為了確定這個(gè)配準(zhǔn)，首先必須確定圖像之間已經(jīng)發(fā)生的增量運(yùn)動(dòng)。這個(gè)運(yùn)動(dòng)可通過與四個(gè)自由度(標(biāo)度、旋轉(zhuǎn)、垂直平移和水平平移)相對(duì)應(yīng)的四個(gè)數(shù)值來描述。對(duì)于給定的待比較的圖像對(duì)，這四個(gè)數(shù)值的認(rèn)知允許操作兩個(gè)圖像的一個(gè)，以便相同的解剖特征出現(xiàn)在兩個(gè)圖像的相同位置。標(biāo)量函數(shù)是這個(gè)配準(zhǔn)的度量，并可使用相關(guān)系數(shù)、點(diǎn)積或均方差獲得。作為示例，點(diǎn)積標(biāo)量函數(shù)對(duì)應(yīng)于兩個(gè)圖像中的每個(gè)像素對(duì)的亮度值的積的總和。例如,將位于LD圖像和基線圖像的每個(gè)中的1234、1234處的像素的亮度值相乘。對(duì)每個(gè)其他像素位置進(jìn)行類似的計(jì)算，并將所有這些乘值相加以獲得標(biāo)量函數(shù)。應(yīng)理解的是，當(dāng)兩個(gè)圖像被精確配準(zhǔn)時(shí)，這個(gè)點(diǎn)積將具有最大可能的幅度。換句話說，當(dāng)發(fā)現(xiàn)最佳組合時(shí)，相對(duì)應(yīng)的點(diǎn)積典型地比其他點(diǎn)積大，這可被報(bào)告為Z分值(即，平均值之上的標(biāo)準(zhǔn)偏差的值)。大于7.5的Z分值表示99.9999999%地確定碰巧沒有發(fā)現(xiàn)配準(zhǔn)。應(yīng)記住的是，使用這個(gè)點(diǎn)積尋找的配準(zhǔn)是在患者的解剖結(jié)構(gòu)的基線圖像與視場(chǎng)和成像設(shè)備已經(jīng)被移動(dòng)或非解剖物體已經(jīng)引入到視場(chǎng)之后的時(shí)間采集的相同解剖結(jié)構(gòu)的實(shí)時(shí)低劑量圖像之間。
[0043]這個(gè)方法特別地適于使用并行計(jì)算結(jié)構(gòu)(例如包含能夠并行地執(zhí)行相同計(jì)算的多個(gè)處理器的GPU)執(zhí)行。由此，GPU的每個(gè)處理器可用于計(jì)算LD圖像與基線圖像的一個(gè)轉(zhuǎn)換版本的相似度函數(shù)。以這種方式，可以同時(shí)將基線圖像的多個(gè)轉(zhuǎn)換版本與LD圖像比較。當(dāng)獲取到基線時(shí)，可預(yù)先生成轉(zhuǎn)換的基線圖像并將其存儲(chǔ)在GPU存儲(chǔ)器中。可選地，可以存儲(chǔ)單個(gè)基線圖像，并在比較過程中通過讀取帶有紋理拾取的變換坐標(biāo)對(duì)單個(gè)基線圖像進(jìn)行轉(zhuǎn)換。在GPU的處理器的數(shù)量遠(yuǎn)大于待考慮的轉(zhuǎn)換的數(shù)量時(shí)，可將基線圖像和LD圖像分解成不同的部分，可以在不同的處理器上計(jì)算每個(gè)部分的相似度函數(shù)，然后進(jìn)行合并。
[0044]為了進(jìn)一步加速最佳轉(zhuǎn)換的確定以對(duì)齊兩個(gè)圖像，可以首先使用包含較少像素的下采樣圖像計(jì)算相似度函數(shù)。通過求相鄰像素群的平均，可預(yù)先進(jìn)行這個(gè)下采樣。對(duì)于下采樣圖像，可首先計(jì)算廣范圍的可能運(yùn)動(dòng)上的很多轉(zhuǎn)換的相似度函數(shù)。一旦從這個(gè)組確定最佳轉(zhuǎn)換，可使用這個(gè)轉(zhuǎn)換作為應(yīng)用至具有較多像素的圖像的可能轉(zhuǎn)換的較細(xì)網(wǎng)格的中心。以這種方式，在少量時(shí)間內(nèi)考慮大范圍的可能轉(zhuǎn)換時(shí)，使用多個(gè)步驟高精度地確定最佳轉(zhuǎn)換。
[0045]為了減小因不同圖像中的整體亮度水平的差異引起的相似度函數(shù)的偏差，以及為了優(yōu)先對(duì)齊用戶感興趣的圖像中的解剖特征，可以在計(jì)算相似度函數(shù)之前對(duì)圖像進(jìn)行過濾。這種過濾理想地抑制與低劑量圖像相關(guān)聯(lián)的非常高的空間頻率的噪音，同時(shí)還抑制與缺少重要解剖特征的大且平坦區(qū)域相關(guān)聯(lián)的低空間頻率信息。例如，可以使用傅里葉域的卷積、乘積或巴特沃斯過濾器實(shí)現(xiàn)這個(gè)圖像過濾。因此，構(gòu)思的是在生成相似度函數(shù)之前相應(yīng)地過濾LD圖像和基線圖像。
[0046]如上所述，圖像中可能存在非解剖特征(例如手術(shù)工具)，在這種情況下，可能必須改變相似度函數(shù)計(jì)算過程以保證僅僅解剖特征用于確定LD圖像和基線圖像之間的對(duì)齊?？梢陨勺R(shí)別像素是否為解剖特征的一部分的掩模圖像。一方面，可將解剖像素指定為值為1，而將非解剖像素指定為值為O。這種值的指定允許在如上所述計(jì)算相似度函數(shù)之前，將基線圖像和LD圖像均乘以相應(yīng)的掩模圖像。換句話說，掩模圖像可消除非解剖像素以避免對(duì)相似度函數(shù)計(jì)算的影響。
[0047]為了確定像素是否為解剖像素，可以在每個(gè)像素的鄰域中計(jì)算各種不同的函數(shù)。這些鄰域的函數(shù)可包括標(biāo)準(zhǔn)偏差、梯度幅度、和/或像素在原始灰度圖和過濾圖像中的相應(yīng)值。像素的“鄰域”包括預(yù)定數(shù)量的相鄰像素，例如5X5或3X3網(wǎng)格。額外地，可以合成這些函數(shù)，例如通過發(fā)現(xiàn)標(biāo)準(zhǔn)偏差的鄰域中的標(biāo)準(zhǔn)偏差，或者通過計(jì)算標(biāo)準(zhǔn)偏差和梯度幅度的二次函數(shù)。鄰域的適當(dāng)函數(shù)的一個(gè)示例是使用邊緣檢測(cè)技術(shù)來區(qū)別骨骼和金屬儀器。金屬比骨骼呈現(xiàn)“更尖銳的”邊緣，使用“邊緣”像素的鄰域中的標(biāo)準(zhǔn)偏差或梯度計(jì)算可以確定這個(gè)差異。由此，鄰域函數(shù)可基于這個(gè)邊緣檢測(cè)方法確定像素為解剖像素還是非解剖像素，并視情況為像素指定O或I的值。
[0048]一旦已經(jīng)為特定像素計(jì)算了一組值，可將這些值與從先前獲取的圖像的測(cè)量確定的閾值相比較并可以基于被超過的閾值的數(shù)量為像素指定二進(jìn)制值。可選地，可以為像素指定O和I之間的分?jǐn)?shù)值，反映關(guān)于將像素識(shí)別為解剖特征或非解剖特征的一部分的確定度。通過將圖像中的每個(gè)像素處的計(jì)算分配到GPU上的一個(gè)處理器從而保證同時(shí)計(jì)算多個(gè)像素的值，可以加速這些步驟?？梢詫?duì)掩模進(jìn)行操作以使用圖像形態(tài)學(xué)操作(例如腐蝕和膨脹)填充和擴(kuò)大與非解剖特征相對(duì)應(yīng)的區(qū)域。
[0049]在圖4a_4p的圖像中示出這個(gè)方法的步驟的示例。在圖4a中，手術(shù)部位的圖像包括解剖特征(患者的頭骨)和非解剖特征(例如夾鉗)。過濾圖4a的圖像以邊緣增強(qiáng)，產(chǎn)生圖4b的過濾圖像?？梢岳斫獾氖牵猿Ｒ?guī)的方式通過數(shù)千個(gè)像素表示這個(gè)圖像，根據(jù)過濾器的邊緣增強(qiáng)屬性改變每個(gè)像素的亮度值。在這個(gè)示例中，過濾器是巴特沃斯過濾器。然后，這個(gè)過濾圖像經(jīng)歷生成與非解剖特征對(duì)應(yīng)的掩模的八個(gè)不同的技術(shù)。由此，將上述的鄰域函數(shù)(即，標(biāo)準(zhǔn)偏差、梯度及其合成函數(shù))應(yīng)用至圖4b的過濾圖像以產(chǎn)生圖4c-4j的不同圖像。這些圖像的每個(gè)存儲(chǔ)為基線圖像用于與現(xiàn)場(chǎng)LD圖像比較和配準(zhǔn)。
[0050]由此，圖4c_4j的每個(gè)圖像用于生成掩模。如上所述，掩模生成過程可以是通過像素亮度與閾值的比較或者通過查找表(其中，與已知的非解剖特征對(duì)應(yīng)的亮度值與像素亮度比較)進(jìn)行的。圖4k-41示出通過閾值和查找表技術(shù)為鄰域函數(shù)圖像中的每個(gè)生成的掩模。然后，可以操作掩模以填充和擴(kuò)大與非解剖特征相對(duì)應(yīng)的區(qū)域，如圖4m-4n的圖像所示。然后，將產(chǎn)生的掩模應(yīng)用至圖4b的過濾圖像以產(chǎn)生將與現(xiàn)場(chǎng)LD圖像比較的圖4o-4p的“最終”基線圖像。如上所述，可以在GPU的各個(gè)處理器中進(jìn)行這些計(jì)算和像素評(píng)估的每個(gè)，以便可以在非常短的時(shí)間內(nèi)生成所有這些圖像。而且，可以對(duì)這些掩?；€圖像的每個(gè)進(jìn)行轉(zhuǎn)換以解釋手術(shù)區(qū)域或成像裝置的運(yùn)動(dòng)，并將這些掩模基線圖像的每個(gè)與現(xiàn)場(chǎng)LD圖像比較以發(fā)現(xiàn)產(chǎn)生最高Z分值的基線圖像，其中最高Z分值對(duì)應(yīng)于基線圖像和LD圖像之間的最佳對(duì)齊。然后，以下面描述的方式使用這個(gè)被選擇的基線圖像。
[0051]一旦完成圖像配準(zhǔn)，可以以不同方式顯示新圖像以及從基線圖像組選擇的圖像。在一種方法中，合并兩個(gè)圖像，如圖5a和圖5b所示。圖5a示出原始的新圖像，儀器T是清晰可見的并遮擋下面的解剖結(jié)構(gòu)。圖5b示出步驟212(圖3)中生成的部分合并的圖像，其中儀器T仍然是可見的但大體上減輕，并且下面的解剖結(jié)構(gòu)是可見的。通過以常規(guī)的方式組合圖像的數(shù)字表示(例如通過相加或平均兩個(gè)圖像的像素?cái)?shù)據(jù))可以合并兩個(gè)圖像。在一個(gè)實(shí)施例中，外科醫(yī)生可識(shí)別顯示圖像中的感興趣的一個(gè)或多個(gè)特定區(qū)域，例如通過用戶界面125，合并操作可用于為利用感興趣的區(qū)域外的顯示的基線圖像數(shù)據(jù)以及對(duì)感興趣的區(qū)域內(nèi)的顯示進(jìn)行合并操作。用戶界面125可提供有控制合并圖像中顯示的基線圖像對(duì)新圖像的量的“游標(biāo)”。在另一種方法中，外科醫(yī)生可在相關(guān)基線圖像和新圖像或合并圖像之間切換，如圖6a和6b所示。圖6a中的圖像是來自基線圖像組的被發(fā)現(xiàn)具有與新圖像的最高相關(guān)度的圖像。圖6b中的圖像是獲得的新圖像。外科醫(yī)生可在這些視圖之間切換以得到下面的解剖結(jié)構(gòu)的更清楚的視圖和具有儀器T的當(dāng)前區(qū)域的視圖，通過切換圖像，實(shí)際上從視場(chǎng)中數(shù)字地移除儀器，使儀器相對(duì)于被它遮擋的解剖結(jié)構(gòu)的位置清楚。
[0052]在另一種方法中，可以在基線圖像和新圖像之間進(jìn)行對(duì)數(shù)減法以識(shí)別兩個(gè)圖像之間的差異。生成的差分圖像(其可能包含外科醫(yī)生感興趣的工具或注射對(duì)比劑)可以單獨(dú)地顯示，彩色地覆蓋到或增加到基線圖像、新圖像或合成圖像，從而更明顯地顯示感興趣的特征。這可能需要在減法之前度量圖像亮度值以解釋C形臂暴露設(shè)置的變化。數(shù)字圖像處理操作(例如腐蝕和膨脹)可用于移除差分圖像中的與圖像噪聲相對(duì)應(yīng)而不是與物理物體相對(duì)應(yīng)的特征。如所描述的，方法可用于增強(qiáng)圖像差或從合并圖像移除差分圖像。換句話說，差分圖像可用作基線圖像、新圖像或合并圖像中的差分圖像的排除或包含的工具。
[0053]如上所述，本發(fā)明還構(gòu)思一種手術(shù)導(dǎo)航過程，其中移動(dòng)成像裝置或C形臂103。由此，本發(fā)明構(gòu)思使用市場(chǎng)上可購(gòu)買的跟蹤裝置或來自成像裝置的DICOM信息，跟蹤C(jī)形臂的位置，而不是如傳統(tǒng)的手術(shù)導(dǎo)航技術(shù)中那樣跟蹤手術(shù)儀器和植入物的位置。跟蹤C(jī)形臂要求的精確度比跟蹤儀器和植入物要求的精確度低很多。在這個(gè)實(shí)施例中，圖像處理裝置122接收來自跟蹤裝置130的跟蹤信息。本發(fā)明的這個(gè)方面的目的是保證外科醫(yī)生看見與實(shí)際手術(shù)部位一致的圖像，不論C形臂相對(duì)于患者的方向如何。
[0054]跟蹤C(jī)形臂的位置可以解釋“漂移”，“漂移”是物理空間和成像(或虛擬)空間的漸進(jìn)錯(cuò)位。這個(gè)“偏移”可因?yàn)槲⑿〉幕颊哌\(yùn)動(dòng)、與手術(shù)臺(tái)或成像裝置的意外接觸甚至是重力而發(fā)生。這個(gè)錯(cuò)位經(jīng)常是視覺上感覺不到的，但是可在圖像中生成被外科醫(yī)生觀測(cè)到的明顯位移。當(dāng)正在進(jìn)行手術(shù)導(dǎo)航過程(醫(yī)師依賴于從這個(gè)裝置獲取的信息)時(shí)或者當(dāng)要求新圖像與基線圖像的對(duì)齊以改進(jìn)圖像清晰度時(shí)，這個(gè)位移可以是有問題的。圖像處理的使用消除基線圖像和新圖像的不可避免的錯(cuò)位。圖像處理裝置122進(jìn)一步可包含校準(zhǔn)模式，其中解剖結(jié)構(gòu)的當(dāng)前圖像與預(yù)測(cè)圖像相比較。通過下面描述的“質(zhì)心”或COM的知識(shí)以及漂移可以解釋圖像的預(yù)測(cè)運(yùn)動(dòng)和實(shí)際運(yùn)動(dòng)之間的差異。一旦獲取新圖像，并且精確地評(píng)估C0M，對(duì)采集的每個(gè)連續(xù)圖像可自動(dòng)進(jìn)行系統(tǒng)的重新校準(zhǔn)，從而消除漂移的影響。
[0055]圖像處理裝置122可以以“跟蹤模式”操作，其中監(jiān)控C形臂的運(yùn)動(dòng)以及相應(yīng)地移動(dòng)當(dāng)前顯示的圖像。當(dāng)前顯示的圖像可以是最近的基線圖像、新LD圖像或如上所述生成的合并圖像。該圖像留在顯示123、124中的一個(gè)上，直到通過成像裝置100采集到新圖片。使用通過跟蹤裝置130獲取的位置數(shù)據(jù)在顯示上移動(dòng)這個(gè)圖像以匹配C形臂的運(yùn)動(dòng)?？稍陲@示上示出跟蹤圈240,如圖7a和圖6b所示。跟蹤圈確定圖像的“界內(nèi)”位置。當(dāng)跟蹤圈顯示為紅色時(shí)，將在當(dāng)前C形臂位置獲取的圖像相對(duì)于基線圖像位置將位于“界外”，如圖7a所示。隨著通過放射技術(shù)移動(dòng)C形臂，顯示上的代表圖像也移動(dòng)。當(dāng)圖像移動(dòng)到“界內(nèi)”，如圖7b所示，跟蹤圈240變綠，以便技師立刻得到C形臂現(xiàn)在位于獲取新圖像的適當(dāng)位置的指示。跟蹤圈可以被技師用于在手術(shù)過程中導(dǎo)引C形臂的運(yùn)動(dòng)。跟蹤圈還可用于幫助技師準(zhǔn)備基線縫合圖像。由此，如圖8a所示，沒有被適當(dāng)對(duì)齊以縫合至另一圖像的圖像位置將具有紅色的跟蹤圈，而如圖8b所示，適當(dāng)對(duì)齊的圖像位置將具有綠色的跟蹤圈。然后，技師可以獲取圖像以形成部分的基線縫合圖像。
[0056]本發(fā)明構(gòu)思一種增強(qiáng)外科醫(yī)生和放射技師之間的通信的特征。在過程中，外科醫(yī)生可請(qǐng)求在特定位置和方向處的圖像。一個(gè)示例是已知的脊椎麻醉過程中的“弗格森視圖”，其中傾斜AP方向的C形臂以將脊椎終板與“平直”方向的終板直接對(duì)齊或者與C形臂的射束軸基本平行。獲取弗格森視圖要求在獲取脊椎的多個(gè)AP視圖的同時(shí)旋轉(zhuǎn)C形臂或患者手術(shù)臺(tái)，這對(duì)于使用當(dāng)前技術(shù)是不方便和不精確的，當(dāng)前技術(shù)要求操作大量熒光圖像以發(fā)現(xiàn)與終板最佳對(duì)齊的那個(gè)圖像。本發(fā)明允許外科醫(yī)生將網(wǎng)格疊加在單個(gè)圖像或縫合圖像上并且提供解剖特征的標(biāo)簽，然后技師可使用標(biāo)簽定位C形臂的方向。由此，如圖9a所示，圖像處理裝置122用于允許外科醫(yī)生將網(wǎng)格245放置在疊加在橫向圖像上的跟蹤圈240內(nèi)。外科醫(yī)生還可定位標(biāo)識(shí)解剖結(jié)構(gòu)(在這種情況下為脊椎椎骨)的標(biāo)簽250。在這個(gè)特定的示例中，目標(biāo)是將L2-L3磁盤空間與中心網(wǎng)格線246對(duì)齊。為了幫助技師，將軌跡箭頭255疊加到圖像上以指示使用當(dāng)前位置的C形臂獲取的圖像的軌跡。隨著C形臂移動(dòng)，改變純AP的方向，圖像處理裝置評(píng)估從跟蹤裝置230獲取的C形臂位置數(shù)據(jù)以確定軌跡箭頭255的新方向。由此，軌跡箭頭隨著C形臂移動(dòng)，從而當(dāng)它與中心網(wǎng)格線246對(duì)齊時(shí)(如圖％所示)，技師可以拍攝已知C形臂是適當(dāng)對(duì)齊的圖像從而獲取沿著L3終板的弗格森視圖。由此，監(jiān)控橫向圖像(直至它以中心網(wǎng)格線為中心旋轉(zhuǎn))允許放射技師在不猜測(cè)和不采集大量不正確的圖像的情況下發(fā)現(xiàn)AP弗格森角度。
[0057]圖像處理裝置可進(jìn)一步用于分別在顯示123和124上同時(shí)示出橫向視圖和AP視圖，如圖10所示。任一個(gè)視圖或者兩個(gè)視圖可包含網(wǎng)格、標(biāo)簽和軌跡箭頭。這個(gè)相同的橫向視圖可顯示在用于成像系統(tǒng)100的控制面板110上以被技師觀看。如上所示，隨著C形臂移動(dòng)以將軌跡箭頭與中心網(wǎng)格線對(duì)齊，橫向圖像和AP圖像也相應(yīng)地移動(dòng)，從而外科醫(yī)生對(duì)新圖像看起來如何有直接的感知。此外，一旦技師如通過軌跡箭頭與中心網(wǎng)格線的對(duì)齊所指示的適當(dāng)定位C形臂的方向，獲取新的AP圖像。如圖10所示，視圖可包括多個(gè)軌跡箭頭，每個(gè)軌跡箭頭與特定的磁盤空間對(duì)齊。例如，最上邊的軌跡箭頭與L1-L2磁盤空間對(duì)齊，而最下邊的軌跡箭頭與L5-S1磁盤空間對(duì)齊。在多層次的過程中，外科醫(yī)生可要求不同層次的弗格森視圖，這可通過請(qǐng)求技師將C形臂與特定軌跡箭頭對(duì)齊而容易地獲得。
[0058]在另一個(gè)特征中，可以將不透射線的非對(duì)稱形狀放置在C形臂檢測(cè)器上的已知位置。這產(chǎn)生將C形臂的坐標(biāo)系關(guān)聯(lián)至C形臂的圖像坐標(biāo)系的任意方向的能力。由于C形臂的顯示可被改變以生成具有任何旋轉(zhuǎn)或鏡像的圖像，檢測(cè)這個(gè)形狀根本上簡(jiǎn)化圖像比較和圖像縫合的過程。由此，如圖11所示，基線圖像B包括在圖像的9點(diǎn)鐘位置處的標(biāo)記“K”。獲取新圖像N，其中已經(jīng)通過醫(yī)師或技師將標(biāo)記旋轉(zhuǎn)為遠(yuǎn)離默認(rèn)方向。由于這個(gè)角偏置，t匕較這個(gè)新圖像和基線圖像組不可能產(chǎn)生圖像之間的任何配準(zhǔn)。在一個(gè)實(shí)施例中，圖像處理裝置檢測(cè)C形臂從基線方向的實(shí)際旋轉(zhuǎn)，而在另一個(gè)實(shí)施例中，圖像處理裝置使用圖像配準(zhǔn)軟件將“K”標(biāo)記定位在新圖像中并確定與默認(rèn)位置的角偏置。這個(gè)角偏置用于改變基線圖像組中的圖像的旋轉(zhuǎn)和/或鏡像。在它的轉(zhuǎn)換后的方向中保持圖像配準(zhǔn)步驟210中選擇的基線圖像以與新獲取的圖像合并。這個(gè)轉(zhuǎn)換可包括旋轉(zhuǎn)和鏡像成像以消除存在于C形臂上的顯示效果。
[0059]另一方面，已知的是，隨著C形臂輻射源104移近手術(shù)臺(tái)，通過接收器105捕獲的圖像的尺寸變大；將接收器移近手術(shù)臺(tái)導(dǎo)致圖像尺寸的減小。然而，可以容易地確定圖像隨著朝向人體和遠(yuǎn)離人體的運(yùn)動(dòng)而變化的量，如果C形臂沿著手術(shù)臺(tái)平移，圖像將移動(dòng)，這個(gè)改變的幅度取決于患者的“質(zhì)心”(COM)與輻射源的鄰近度。盡管成像的解剖結(jié)構(gòu)是3D結(jié)構(gòu)的，且具有高精確度，但是數(shù)學(xué)上我們可以將這個(gè)解剖結(jié)構(gòu)表示成放置在結(jié)構(gòu)的COM處的2D圖片。然后，例如，當(dāng)COM接近于輻射源時(shí)，小運(yùn)動(dòng)將導(dǎo)致產(chǎn)生的圖像大幅移動(dòng)?？墒牵敝链_定C0M，物體在屏幕上的位移的計(jì)算量與它們的實(shí)際運(yùn)動(dòng)成正比而不是相等。差異用于計(jì)算COM的實(shí)際位置。基于那些差異的量調(diào)整C0M，當(dāng)圖像移動(dòng)太多時(shí)，遠(yuǎn)離輻射源移動(dòng)，如果圖像移動(dòng)太小，朝相反的方向移動(dòng)。假設(shè)COM初始位于跟蹤裝置的參考弧所附接的手術(shù)臺(tái)的中心。COM的真實(shí)位置使用成像系統(tǒng)的初始設(shè)置過程中采集的初始的兩個(gè)或三個(gè)圖像相當(dāng)精確地確定，使用采集的每個(gè)新圖像再確認(rèn)/調(diào)整。一旦在全局空間確定C0M，可以計(jì)算C形臂相對(duì)于COM的運(yùn)動(dòng)，并將其應(yīng)用于相應(yīng)地平移基線圖像組以圖像配準(zhǔn)。
[0060]圖像處理裝置122還可用于允許外科醫(yī)生將其他跟蹤元素引入圖像，以幫助在過程中指導(dǎo)外科醫(yī)生。閉環(huán)反饋方法允許外科醫(yī)生確認(rèn)這個(gè)感知到的跟蹤元素的位置以及取出那個(gè)相應(yīng)的元素的圖像。具體地，將現(xiàn)場(chǎng)X射線與從手術(shù)導(dǎo)航系統(tǒng)確定的位置比較。以相同的方式，圖像識(shí)別中的基線圖像的認(rèn)知可以用于跟蹤患者的解剖結(jié)構(gòu)，即使解剖結(jié)構(gòu)被不透射線的物體遮擋，當(dāng)將采集的圖像與它們的跟蹤位置相比較時(shí)，不透射線的物體的認(rèn)知可以用于確認(rèn)它們的跟蹤。當(dāng)同時(shí)跟蹤儀器/植入物和C形臂時(shí)，已知解剖結(jié)構(gòu)相對(duì)于成像源的位置以及設(shè)備相對(duì)于成像源的位置。由此，這個(gè)信息可用于快速且交互地確定設(shè)備或硬件相對(duì)于解剖結(jié)構(gòu)的位置。作為示例，例如，這個(gè)特征對(duì)于在血管造影過程中跟蹤導(dǎo)管的路徑可以具有特別的適用性。在典型的血管造影過程中，電影或連續(xù)的熒光用于跟蹤導(dǎo)管沿血管的行徑。本發(fā)明允許將先前生成的具有導(dǎo)管的虛擬圖示的解剖結(jié)構(gòu)的圖像與解剖結(jié)構(gòu)和實(shí)際導(dǎo)管的現(xiàn)場(chǎng)熒光照片相互拼接。由此，與典型的電影過程的每秒采集15幅熒光照片不同，本發(fā)明允許放射技師每秒僅采集一幅照片以在導(dǎo)管沿血管行進(jìn)時(shí)有效且精確地跟蹤導(dǎo)管。拼接先前生成的圖像以解釋未采集的照片。如果必要的話，虛擬表示可被證實(shí)為被采集和重新校準(zhǔn)時(shí)的現(xiàn)場(chǎng)照片。
[0061]在某些過程中，可以將血管解剖結(jié)構(gòu)的位置固定至更大的特征(例如附近的骨骼)。這可使用來自先前的CT血管造影片(CTA)或過程中采集的實(shí)際血管造影片的DDR完成。或者，方法可用作將血管造影片關(guān)聯(lián)回骨骼解剖結(jié)構(gòu)的方式，反之亦然。為了更詳細(xì)地描述，相同的CTA可用于產(chǎn)生不同的DDR，例如僅僅突出骨骼解剖結(jié)構(gòu)的DDR和包括血管解剖結(jié)構(gòu)和骨骼的匹配組中的另一個(gè)的DDR。然后，可以將采集的患者的骨骼解剖結(jié)構(gòu)的基線熒光圖像與骨骼DDR相比較以確定最佳匹配。包括血管解剖解剖的匹配的DDR可以用于與新圖像合并，而不是使用僅有骨骼的DDR顯示結(jié)果。在這種方法中，骨骼幫助將導(dǎo)管的放射照相的位置放置至血管解剖結(jié)構(gòu)中的它的位置。由于沒有必要連續(xù)地對(duì)血管自身成像(因?yàn)檫@個(gè)結(jié)構(gòu)的圖片可以疊加到獲取的僅有骨骼的圖像上)，與先前的過程相比可以限制造影劑的使用，在先前的過程中造影劑對(duì)于持續(xù)地看見血管是必要的。
[0062]下面是利用上述的圖像處理裝置的特征的特定過程的一些示例。這些僅僅是關(guān)于如何使用基線圖像類型、顯示選項(xiàng)和輻射劑量的不同組合操作軟件的一些示例，不意味是詳盡清單。
[0063]脈沖新圖像/相間/FD熒光或術(shù)前X射線
[0064]采集脈沖圖像并將其與包含在手術(shù)過程前采集的較高分辨率非脈沖圖像的先前獲取的基線圖像組相比較。當(dāng)前圖像和基線解集的一個(gè)之間的配準(zhǔn)提供反映當(dāng)前位置和解剖結(jié)構(gòu)的視圖的基線圖像。新圖像被交替地顯示或疊加有配準(zhǔn)的基線圖像，示出疊加的當(dāng)前信息且與較少被遮蓋或較清晰的圖像交替。
[0065]脈沖新圖像/相間/從DRR得到的基線
[0066]采集脈沖圖像并將其與先前獲得的基線圖像的解集相比較，基線圖像的解集包含從CT掃描獲得的較高分辨率的DRR。DRR圖像可被限制為僅示出骨骼解剖結(jié)構(gòu)，而不示出經(jīng)常使OR中采集的影片“模糊”的其他模糊的信息(例如，博威繩子、心電圖引線等)以及使骨骼的清晰度模糊的物體(例如，腸積氣、器官等)。與上述示例一樣，新圖像與先前DRR圖像的一個(gè)進(jìn)行配準(zhǔn)，這些圖像在顯示123、124上交替或疊加。
[0067]脈沖新圖像/合并而不是交替
[0068]可以應(yīng)用上述的所有技術(shù)而不是交替新圖像和配準(zhǔn)的基線圖像，合并先前圖像和當(dāng)前圖像。通過進(jìn)行加權(quán)平均或類似的合并技術(shù)，可以獲取示出關(guān)于解剖結(jié)構(gòu)的當(dāng)前信息(例如，儀器、植入物、導(dǎo)管等的放置)與解剖結(jié)構(gòu)的較高分辨率圖片合并的單個(gè)圖像。在一個(gè)示例中，可以提供兩個(gè)圖像的合并的多個(gè)視圖，范圍從100 %脈沖圖像到100 % DRR圖像。用戶界面125上的滑動(dòng)按鈕允許外科醫(yī)生按需調(diào)整這個(gè)合并范圍。
[0069]新圖像是較大基線圖像組的小段
[0070]在任何給定時(shí)間進(jìn)行的成像包含有限的信息，整個(gè)人體部分的一部分。例如，瞄準(zhǔn)減小總組織輻射暴露量且減小朝向醫(yī)師的輻射散射，但是以限制獲得的圖像的視場(chǎng)為代價(jià)。示出較大圖像(例如，術(shù)前或術(shù)中獲得的，或從CT得到的)的背景中的實(shí)際最后投射的圖像-在校正位置合并或交替-可以補(bǔ)充關(guān)于較小圖像區(qū)域的信息以允許并入較大人體結(jié)構(gòu)的參考。應(yīng)用如上所述的相同的圖像配準(zhǔn)技術(shù)，除了配準(zhǔn)是應(yīng)用至與新圖像中的視圖的區(qū)域相對(duì)應(yīng)的(縫合的或非縫合的)基線圖像中的較小區(qū)域。
[0071]同h,位于梓合區(qū)域或摭擋區(qū)域
[0072]不是少見的，特別在具有不同總密度(例如，胸部對(duì)相鄰的腹部，頭部/頸部/頸椎對(duì)上胸)的區(qū)域，清楚地可視化的X射線的區(qū)域僅僅是獲得的實(shí)際圖像的一部分。當(dāng)它限制將窄視圖放置進(jìn)人體的較大背景下的能力時(shí)，或者當(dāng)需要被評(píng)估的區(qū)域在圖像的遮擋部分中時(shí)，這是令醫(yī)師沮喪的。通過將多個(gè)圖像(每個(gè)在局部理想環(huán)境下采集)縫合在一起，可以獲得較大的圖像。進(jìn)一步，可以將當(dāng)前圖像增加至較大背景(如上所述)以填充被它的相關(guān)位置模糊的圖像的部分。
[0073]未遮擋隱藏的解剖結(jié)構(gòu)或減輕它的局部效果
[0074]如上所述，圖像處理裝置在當(dāng)前新圖像和基線圖像組之間進(jìn)行圖像配準(zhǔn)步驟，這實(shí)際上限制噪聲(X射線散射或小遮擋物體(例如，繩子等)或者甚至更大的物體(例如，工具、儀器等)的形式)給予的錯(cuò)誤信息。在很多情況下，它是被工具或儀器遮擋的對(duì)正在進(jìn)行的手術(shù)非常重要的解剖圖像的那部分。通過從圖像消除遮擋物體，手術(shù)變得更安全且更有效，醫(yī)師變得能夠使用改進(jìn)的認(rèn)知繼續(xù)手術(shù)。使用在增加噪聲之前采集的圖像(例如，舊影片、基線單個(gè)FD圖像、手術(shù)之前采集的縫合在一起的熒光照片等)或理想化的圖像(例如，從CT數(shù)據(jù)生成的DRR)，顯示那個(gè)先前的“清楚”圖像，與當(dāng)前圖像合并或交替，將使得那些物體從圖像消失或變成陰影而不是濃厚的物體。如果這些是被跟蹤的物體，那么可以隨著正在進(jìn)行的數(shù)學(xué)比較，進(jìn)一步淡化遮擋區(qū)域或者可以消除來自它的信息，從而進(jìn)一步改進(jìn)比較的速度和準(zhǔn)確度。
[0075]如本文所描述的圖像處理裝置提供三個(gè)一般特征:(I)減小可接受的現(xiàn)場(chǎng)圖像所需的輻射暴露的量，(2)為外科醫(yī)生提供可以幫助手術(shù)過程的圖像，以及(3)改進(jìn)放射技師和外科醫(yī)生之間的通信。關(guān)于減小輻射暴露的方面，本發(fā)明允許在手術(shù)過程期間采集低劑量圖像，并將其填充進(jìn)當(dāng)前圖像中由“噪聲”產(chǎn)生的間隙以產(chǎn)生具有全劑量圖像的細(xì)節(jié)的當(dāng)前視場(chǎng)的合成或合并圖像。在實(shí)際中，這允許使用所有普通的、市場(chǎng)上可購(gòu)買的C形臂上存在的未修改特征以比標(biāo)準(zhǔn)FD成像的輻射暴露少的輻射暴露量級(jí)生成患者的解剖結(jié)構(gòu)的高可用且高質(zhì)量的圖像。本文描述的用于圖像配準(zhǔn)的技術(shù)可以在圖形處理單元中實(shí)施并且可以在瞬間發(fā)生以真實(shí)地交互；當(dāng)要求在例如CINE模式時(shí)，圖像配準(zhǔn)可以每秒發(fā)生多次。用戶界面允許外科醫(yī)生確定獲取配準(zhǔn)圖像所需的置信度水平以及為外科醫(yī)生提供關(guān)于顯示的性質(zhì)的選項(xiàng)，從并排視圖到淡入/淡出合并視圖。
[0076]關(guān)于為外科醫(yī)生提供幫助手術(shù)過程的圖像的特征，多個(gè)數(shù)字圖像技術(shù)可以用于改進(jìn)用戶的體驗(yàn)。一個(gè)示例是可以用于不管可能在圖像捕獲之間發(fā)生的任何位置變化將向外科醫(yī)生顯示的圖像保持在基本“靜止”的位置的圖像跟蹤特征。根據(jù)這個(gè)特征，基線圖像可以在空間中固定，新圖像向其調(diào)整，而不是反過來。當(dāng)在過程的步驟中采集連續(xù)圖像時(shí)，可以相對(duì)于先前圖像穩(wěn)定每個(gè)新圖像，從而將感興趣的特定物體(例如，解剖結(jié)構(gòu)或儀器)保持為在連續(xù)視圖中是靜止的。例如，當(dāng)將接骨螺釘引入人體部分時(shí)采集序列圖像時(shí)，人體部分在顯示屏幕上保持靜止，以便可以直接觀測(cè)螺釘?shù)膶?shí)際進(jìn)度。
[0077]在這個(gè)特征的另一方面中，包括遮擋物體的當(dāng)前圖像可以與沒有任何遮擋物體的早前圖像進(jìn)行比較。在配準(zhǔn)過程中，圖像處理裝置可以生成新圖像和基線圖像之間的合并圖像，該合并圖像從顯示圖像淡化物體的遮擋特征。用戶界面還為醫(yī)師提供將遮擋物體淡入和淡出顯示視圖的能力。
[0078]在物體自身被跟蹤的其他實(shí)施例中，可以將遮擋物體的虛擬版本增加回顯示圖像。圖像處理裝置可以從跟蹤遮擋物體的位置的跟蹤裝置獲取位置數(shù)據(jù)并使用這個(gè)位置數(shù)據(jù)確定顯示圖像中的虛擬物體的適當(dāng)位置和方向。虛擬物體可以應(yīng)用至將與新的當(dāng)前圖像比較(用做檢查步驟)的基線圖像-如果新圖像在給定公差內(nèi)與生成的圖像(工具和解剖結(jié)構(gòu))相匹配，那么可以進(jìn)行手術(shù)。如果匹配是不好的，可以停止手術(shù)(在自動(dòng)手術(shù)的情況下)和/或可以進(jìn)行重新校準(zhǔn)。這允許閉環(huán)反饋特征以幫助醫(yī)療介入的自動(dòng)化的安全性。
[0079]對(duì)于某些過程，例如偽血管造影過程，將來自基線圖像的血管投影到當(dāng)前圖像上可以允許醫(yī)師在工具沿著脈管系統(tǒng)行進(jìn)時(shí)觀察工具(例如，微導(dǎo)管、支架等)，同時(shí)使用更少的造影劑負(fù)載。相鄰的骨骼解剖結(jié)構(gòu)用作血管的“錨(anchor)”-在圖像配準(zhǔn)過程中基本上跟蹤骨骼，且假設(shè)血管保持與這個(gè)結(jié)構(gòu)相鄰。換句話說，當(dāng)解剖結(jié)構(gòu)在連續(xù)圖像之間移動(dòng)時(shí)，新圖像與基線圖像組的與“背景”解剖結(jié)構(gòu)的新位置對(duì)應(yīng)的不同一個(gè)配準(zhǔn)。然后可以將包含血管結(jié)構(gòu)的來自不同但是已經(jīng)關(guān)聯(lián)的基線圖像的血管與缺少對(duì)比的顯示圖像疊加或合并。如果必要或需要，可以進(jìn)行間歇血管造影以確認(rèn)。當(dāng)與被跟蹤的導(dǎo)管相結(jié)合時(shí)，可以將儀器位置的工作知識(shí)引入圖像?？梢援a(chǎn)生電影(當(dāng)獲得血管造影片時(shí)，經(jīng)常使用熒光照片的連續(xù)影像循環(huán))，其中將生成的圖像相互拼接成電影圖像，允許在操作血管造影片或放置導(dǎo)管時(shí)獲得很多較少的X射線。最后，一旦已經(jīng)將圖像關(guān)聯(lián)至原始基線圖像，這些圖像的任一個(gè)可以用于合并至當(dāng)前圖像，產(chǎn)生監(jiān)控植入物的運(yùn)動(dòng)、構(gòu)建體的形成、支架的放置等的工具。
[0080]在第三特征-改進(jìn)通信-中，本文描述的圖像處理裝置允許外科醫(yī)生以這樣的方式對(duì)圖像做注釋:可以幫助指導(dǎo)技師關(guān)于如何和何處采集新圖片定位C形臂。由此，圖像處理裝置122的用戶界面125為外科醫(yī)生提供工具以將網(wǎng)格增加至顯示圖像、標(biāo)記解剖結(jié)構(gòu)和識(shí)別用于成像裝置的對(duì)齊的軌跡。隨著技師移動(dòng)成像裝置或C形臂，顯示圖像也移動(dòng)。這個(gè)特征允許放射技師將期望成像在屏幕的中心的解剖結(jié)構(gòu)集中在期望方向，而不在每次將C形臂帶回獲取這個(gè)的區(qū)域中時(shí)采集多個(gè)圖像。這個(gè)特征為C形臂提供取景器，當(dāng)前缺少的特征。技師可以驅(qū)動(dòng)C形臂采集具有為滿足外科醫(yī)生的表達(dá)需求定制的視圖的新圖像。
[0081]另外，例如，將C形臂的運(yùn)動(dòng)關(guān)聯(lián)至使用DICOM數(shù)據(jù)或手術(shù)導(dǎo)航支柱采集的圖像，幫助隨著C形臂的移動(dòng)而移動(dòng)顯示圖像以為隨后的圖像獲取做準(zhǔn)備。“界內(nèi)”和“界外”指示符可以為技師提供C形臂的當(dāng)前運(yùn)動(dòng)是否導(dǎo)致不能與任何基線圖像相關(guān)聯(lián)或配準(zhǔn)或者不能與其他圖像縫合在一起以形成復(fù)合視場(chǎng)的圖像的直接指示。由此，圖像處理裝置提供允許外科醫(yī)生和技師將C形臂的位置和軌跡的計(jì)劃改變的效果可視化的圖像顯示。而且，圖像處理裝置可幫助醫(yī)師例如改變手術(shù)臺(tái)的位置或C形臂的角度，以便適當(dāng)?shù)貙?duì)齊解剖結(jié)構(gòu)(例如，與手術(shù)臺(tái)平行或垂直)。圖像處理裝置還可使用來自兩個(gè)或更多個(gè)不同掃描架角度/位置的兩個(gè)或更多個(gè)X射線照片確定X射線照射的物體的正中心的質(zhì)心(COM)，然后使用這個(gè)COM信息改進(jìn)物理空間(毫米級(jí))與顯示的成像空間(像素級(jí))的關(guān)聯(lián)。
[0082]本文描述的圖像識(shí)別部件可以克服缺少對(duì)待采集的下一圖像的位置的認(rèn)知的問題，提供大量的益處。粗略地知道新圖像相對(duì)于基線的中心位置可以限制掃描成像空間的較大區(qū)域的需求，由此明顯地增加圖像識(shí)別軟件的速度。可以忍受較大量的輻射減少(因此，噪聲)，因?yàn)樵趫D像識(shí)別上存在內(nèi)部檢查?？梢詫]有手術(shù)導(dǎo)航而設(shè)計(jì)的系統(tǒng)中的多個(gè)手動(dòng)特征(例如，基線圖像生成、多個(gè)基線圖像組之間的切換、和縫合)自動(dòng)化。這些特征在圖像跟蹤背景下同樣有用。
[0083]如上所述，本系統(tǒng)和方法將先前獲取的圖像與現(xiàn)場(chǎng)圖像相關(guān)聯(lián)或綜合以保證向外科醫(yī)生呈現(xiàn)手術(shù)部位、解剖結(jié)構(gòu)和硬件的精確視圖。在最佳情況下，先前獲取的圖像是來自特定患者的并且是在臨近手術(shù)過程的時(shí)間獲取的。但是，在一些情況下，沒有這種先驗(yàn)圖像可用。在這種情況下，可以從CT和DRR圖像的數(shù)據(jù)庫(kù)提取“先前獲取的圖像”。根據(jù)患者的身高和身材，多數(shù)患者的解剖結(jié)構(gòu)是相對(duì)一致的。存在可以從圖像的大數(shù)據(jù)庫(kù)中獲取具有基本相似的解剖結(jié)構(gòu)的患者的先驗(yàn)圖像的高可能性。可以通過圖像處理裝置122執(zhí)行的軟件將圖像關(guān)聯(lián)至當(dāng)前成像裝置位置和視圖以確定先驗(yàn)圖像是否足夠接近當(dāng)前患者的解剖結(jié)構(gòu)以可靠地用作將與現(xiàn)場(chǎng)圖像相互拼接的“先前獲取的圖像”。
[0084]圖10中的顯示表明可被包含到圖像處理裝置122、用戶界面125和顯示裝置126中的顯示和用戶界面的類型。例如，顯示裝置可包括兩個(gè)顯示122、123以及繞顯示的周圍的“無線”按鈕或圖標(biāo)。圖標(biāo)可以是激活特定特征(例如，顯示中示出的“標(biāo)簽”、“網(wǎng)格”和“軌跡”特征)的觸摸屏按鈕。激活觸摸屏或無線按鈕可以訪問可被外科醫(yī)生使用以進(jìn)行特定行動(dòng)的不同屏幕或下拉菜單。例如，激活“標(biāo)簽”按鈕可以訪問具有標(biāo)簽“L1”、“L2”等的下拉菜單以及允許外科醫(yī)生將標(biāo)簽放置在圖像上的期望位置處的拖動(dòng)和下降特征。相同的過程可用于放置圖10中示出的網(wǎng)格和軌跡箭頭。
[0085]盡管已經(jīng)在附圖和前面的描述中詳細(xì)說明和描述本發(fā)明，其被理解為說明性的且不限制特征。應(yīng)理解的是，僅僅已經(jīng)示出優(yōu)選實(shí)施例，期望保護(hù)落在本發(fā)明的精神范圍內(nèi)的所有改變、修改和進(jìn)一步應(yīng)用。
【權(quán)利要求】
1.一種用于在醫(yī)療過程中生成手術(shù)區(qū)域中的患者的內(nèi)部解剖結(jié)構(gòu)的圖像顯示的方法，包括: 在基線方向獲取包括所述患者的內(nèi)部解剖結(jié)構(gòu)的所述手術(shù)區(qū)域的高分辨率基線圖像； 數(shù)字地操作所述高分辨率基線圖像以生成基線圖像組，所述基線圖像組包括從所述基線方向開始的所述基線圖像的多個(gè)運(yùn)動(dòng)排列處的所述基線圖像的代表圖像； 以較低的分辨率獲取所述手術(shù)區(qū)域的新圖像； 將所述新圖像與所述基線圖像組中的所述代表圖像比較，并選擇具有與所述新圖像的可接受的關(guān)聯(lián)度的所述代表圖像；以及 將所選擇的代表圖像與所述新圖像合并并顯示合并圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中所述基線圖像是預(yù)處理全劑量熒光圖像或CT掃描圖像的一個(gè)。
3.根據(jù)權(quán)利要求1所述的方法，其中所述基線圖像是DRR。
4.根據(jù)權(quán)利要求1所述的方法，其中所述新圖像是脈沖和/或低劑量圖像的一個(gè)。
5.根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)字地操作所述基線圖像的步驟中的運(yùn)動(dòng)排列包括與2D圖像相對(duì)應(yīng)的4D運(yùn)動(dòng)。
6.根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)字地操作所述基線圖像的步驟中的運(yùn)動(dòng)排列包括與3D圖像相對(duì)應(yīng)的6D運(yùn)動(dòng)。
7.根據(jù)權(quán)利要求1所述的方法，其中: 在所述數(shù)字地操作所述高分辨率圖像的步驟中，所述運(yùn)動(dòng)排列形成預(yù)定的圖像運(yùn)動(dòng)網(wǎng)格；以及 將所述新圖像與所述基線圖像組的所述代表圖像比較的步驟包括比較所述代表圖像與所述新圖像之間的重疊像素。
8.根據(jù)權(quán)利要求1所述的方法，其中將所述新圖像與所述基線圖像組的所述代表圖像比較的步驟包括試探性地選擇用于比較的代表圖像。
9.根據(jù)權(quán)利要求1所述的方法，其中將所述新圖像與所述基線圖像組的所述代表圖像比較的步驟包括: 對(duì)所述基線圖像組中的所述代表圖像的像素進(jìn)行主成分分析(PCA)以生成一個(gè)或多個(gè)PCA向量； 生成代表圖像中的每個(gè)像素的PCA向量的PCA矩陣； 生成每個(gè)代表圖像和所述圖像中的每個(gè)像素的像素?cái)?shù)據(jù)的所述新圖像的列向量； 對(duì)所述PCA矩陣和每個(gè)列向量進(jìn)行矩陣運(yùn)算以生成每個(gè)代表圖像和所述新圖像的新列向量； 獲取所述新圖像的列向量和每個(gè)代表圖像的列向量的點(diǎn)積；以及 選擇所述點(diǎn)積在預(yù)定閾值內(nèi)的代表圖像。
10.根據(jù)權(quán)利要求1所述的方法，其中所述醫(yī)療過程包括遮擋或遮蓋所述手術(shù)區(qū)域的圖像中的所述內(nèi)部解剖結(jié)構(gòu)的工具、儀器、植入物或其他物體，其中將所述新圖像與所述基線圖像組的所述代表圖像比較的步驟包括僅比較被遮擋或遮蓋的部分外的所述圖像的部分。
11.根據(jù)權(quán)利要求10所述的方法，其中通過確定具有在預(yù)定閾值外的值的像素確定所述新圖像的被遮擋或遮蓋的部分的位置。
12.根據(jù)權(quán)利要求1所述的方法，其中: 數(shù)字地操作所述高分辨率基線圖像的步驟包括提供每個(gè)代表圖像的平行圖像，在所述平行圖像中減少或增強(qiáng)某些解剖特征；以及 合并所選擇的代表圖像的步驟包括將所述平行圖像合并且顯示到所述所選擇的代表圖像。
13.一種用于在醫(yī)療過程中生成患者的內(nèi)部解剖結(jié)構(gòu)的圖像顯示的圖像處理裝置，包括: 存儲(chǔ)器，用于存儲(chǔ)所述手術(shù)區(qū)域在基線方向的高分辨率基線圖像以及低分辨率的所述手術(shù)區(qū)域的新圖像，其中所述手術(shù)區(qū)域包括患者的內(nèi)部解剖結(jié)構(gòu)；以及處理器，用于: 數(shù)字地操作所述高分辨率基線圖像以生成基線圖像組，所述基線圖像組包括從所述基線方向開始的所述基線圖像的多個(gè)運(yùn)動(dòng)排列處的所述基線圖像的代表圖像； 執(zhí)行用于將所述新圖像 與所述基線圖像組中的所述代表圖像比較以及選擇具有與所述新圖像的可接受的關(guān)聯(lián)度的代表圖像的軟件指令； 數(shù)字地合并所選擇的代表圖像與所述新圖像；以及 生成用于在顯示裝置上顯示合并圖像的信號(hào)。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中運(yùn)動(dòng)排列包括與2D圖像相對(duì)應(yīng)的4D運(yùn)動(dòng)。
15.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中運(yùn)動(dòng)排列包括與3D圖像相對(duì)應(yīng)的6D運(yùn)動(dòng)。
16.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中: 所述處理器用于數(shù)字地操作所述高分辨率圖像，以便所述運(yùn)動(dòng)排列形成預(yù)定的圖像運(yùn)動(dòng)網(wǎng)格；以及 所述用于將所述新圖像與所述基線圖像組的所述代表圖像比較的所述軟件指令包括比較所述代表圖像與所述新圖像之間的重疊像素。
17.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中用于將所述新圖像與所述基線圖像組的所述代表圖像比較的所述軟件指令包括: 對(duì)所述基線圖像組中的所述代表圖像的像素進(jìn)行主成分分析(PCA)以生成一個(gè)或多個(gè)PCA向量； 生成代表圖像中的每個(gè)像素的PCA向量的PCA矩陣； 生成每個(gè)代表圖像和所述圖像中的每個(gè)像素的像素?cái)?shù)據(jù)的所述新圖像的列向量；對(duì)所述PCA矩陣和每個(gè)列向量進(jìn)行矩陣運(yùn)算以生成每個(gè)代表圖像和所述新圖像的新的列向量； 獲取所述新圖像的列向量和所述每個(gè)代表圖像的列向量的點(diǎn)積；以及 選擇所述點(diǎn)積在預(yù)定閾值內(nèi)的代表圖像。
18.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中所述醫(yī)療過程包括遮擋或遮蓋在手術(shù)區(qū)域的圖像中的所述內(nèi)部解剖結(jié)構(gòu)的工具、儀器、植入物或其他物體，其中用于將所述新圖像與所述基線圖像組的所述代表圖像比較的所述軟件指令包括僅比較被遮擋或遮蓋的部分外的所述圖像的部分。
19.根據(jù)權(quán)利要求18所述的圖像處理裝置，其中通過確定具有預(yù)定閾值外的值的像素確定所述新圖像的被遮擋或遮蓋的部分的位置。
20.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中進(jìn)一步包括用戶界面，所述用戶界面可操作用于允許手動(dòng)調(diào)節(jié)數(shù)字地合并所選擇的代表圖像和所述新圖像的程度。
21.根據(jù)權(quán)利要求20所述的圖像處理裝置，其中: 所述用戶界面進(jìn)一步可操作用于允許在所述代表圖像、所述新圖像和所述合并圖像的一個(gè)或多個(gè)的顯示之間的手動(dòng)切換；以及 所述處理器根據(jù)所述用戶界面生成用于在顯示裝置上顯示的信號(hào)。
22.一種用于在醫(yī)療過程中生成手術(shù)區(qū)域中的患者的內(nèi)部解剖結(jié)構(gòu)的圖像顯示的方法，包括: 使用成像裝置在第一方向獲取所述手術(shù)區(qū)域的圖像； 顯示獲取的圖像； 從所述第一方向移動(dòng)所述成像裝置、患者或手術(shù)臺(tái)； 跟蹤所述成像裝置、患者或手術(shù)臺(tái)從所述第一方向的運(yùn)動(dòng)； 在使用所述成像裝置獲取所述手術(shù)區(qū)域的新圖像之前，關(guān)于跟蹤的運(yùn)動(dòng)而移動(dòng)顯示圖像。
23.根據(jù)權(quán)利要求22所述的方法，其中移動(dòng)顯示圖像的步驟包括補(bǔ)償由所述成像裝置相對(duì)于所述手術(shù)區(qū)域的位置生成的顯示圖像的運(yùn)動(dòng)中的誤差。
24.根據(jù)權(quán)利要求23所述的方法，其中補(bǔ)償誤差的步驟包括確定所述手術(shù)區(qū)域的質(zhì)心以及基于所述成像裝置相對(duì)于所述質(zhì)心的位置而調(diào)整所述顯示圖像的運(yùn)動(dòng)。
25.根據(jù)權(quán)利要求22所述的方法，其中顯示獲取的圖像的步驟包括在所述顯示圖像上疊加表明所述新圖像的期望視場(chǎng)的標(biāo)記。
26.根據(jù)權(quán)利要求25所述的方法，其中在所述顯示圖像位于所述期望視場(chǎng)外的第一狀態(tài)以及所述顯示圖像在所述期望視場(chǎng)內(nèi)的第二狀態(tài)顯示所述標(biāo)記。
27.根據(jù)權(quán)利要求26所述的方法，其中響應(yīng)于所述標(biāo)記的狀態(tài)，移動(dòng)所述成像裝置。
28.根據(jù)權(quán)利要求26所述的方法，其中在保持所述成像裝置靜止的同時(shí)，將所述患者或手術(shù)臺(tái)移動(dòng)至所述手術(shù)區(qū)域中的患者位于所述期望視場(chǎng)內(nèi)的位置。
29.根據(jù)權(quán)利要求25所述的方法，其中所述期望視場(chǎng)與用于縫合所述手術(shù)區(qū)域的多個(gè)新圖像的方向相對(duì)應(yīng)。
30.根據(jù)權(quán)利要求22所述的方法，其中顯示所述獲取的圖像的步驟包括在所述顯示圖像上疊加表明所述成像裝置相對(duì)于全局坐標(biāo)系的位置的標(biāo)記。
31.根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括疊加表明所述顯示圖像的期望運(yùn)動(dòng)的標(biāo)記。
32.根據(jù)權(quán)利要求31所述的方法，其中所述標(biāo)記是疊加在所述顯示圖像上的網(wǎng)格，當(dāng)所述顯示圖像運(yùn)動(dòng)時(shí),所述標(biāo)記相對(duì)于所述顯示圖像保持靜止。
33.根據(jù)權(quán)利要求32所述的方法，其中所述標(biāo)記包括表明隨所述顯示圖像移動(dòng)的所述新圖像的觀看視場(chǎng)的軌跡指示符。
34.根據(jù)權(quán)利要求33所述的方法，其中在獲取所述新圖像之前，移動(dòng)所述成像裝置直至所述軌跡指示符與所述網(wǎng)格的部分對(duì)齊。
35.根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括在所述顯示圖像中疊加與所述解剖特征相對(duì)應(yīng)的標(biāo)識(shí)符，所述標(biāo)識(shí)符隨所述顯示圖像移動(dòng)。
36.根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括: 獲取所述新圖像； 將所述新圖像與所述顯示圖像比較，以及調(diào)整所述顯示圖像以消除兩個(gè)圖像之間的任何偏移。
37.根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括: 獲取所述新圖像； 將所述新圖像與所述顯示圖像比較，以及調(diào)整所述顯示圖像以穩(wěn)定所顯示的解剖結(jié)構(gòu)的位置。
38.根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括: 從圖像導(dǎo)引系統(tǒng)接收位置數(shù)據(jù)；以及 將所述顯示圖像與所述位置數(shù)據(jù)相關(guān)聯(lián)以及相應(yīng)地調(diào)整所述顯示圖像。
39.根據(jù)權(quán)利要求22所述的方法，其中所述醫(yī)療過程是跟蹤例如工具或儀器的物體的位置的手術(shù)導(dǎo)航過程，其中所述新圖像包括所述工具或儀器的圖像，所述方法進(jìn)一步包括: 在所述獲取的圖像上引入所述物體的表示； 在相對(duì)于跟蹤的運(yùn)動(dòng)而移動(dòng)所述顯示圖像之后，獲取與所述物體的跟蹤位置相對(duì)應(yīng)的位置數(shù)據(jù)以及將所述位置數(shù)據(jù)與所述物體在所述運(yùn)動(dòng)圖像上的位置相比較；以及 基于所述位置數(shù)據(jù)與所述物體在所述運(yùn)動(dòng)圖像上的位置的比較，重新校準(zhǔn)所述運(yùn)動(dòng)圖像。
40.一種在醫(yī)療過程中生成手術(shù)區(qū)域中的患者的內(nèi)部解剖結(jié)構(gòu)的圖像顯示的方法，其中所述醫(yī)療過程包括遮擋或遮蓋所述內(nèi)部解剖結(jié)構(gòu)形成在手術(shù)區(qū)域的圖像中的工具、儀器、植入物或其他物體，所述方法包括: 在基線方向獲取所述手術(shù)區(qū)域中的解剖結(jié)構(gòu)的高分辨率基線圖像； 數(shù)字地操作所述高分辨率基線圖像以生成基線圖像組，所述基線圖像組包括從所述基線方向開始的所述基線圖像的多個(gè)運(yùn)動(dòng)排列處的所述基線圖像的代表圖像； 獲取所述手術(shù)區(qū)域的新圖像，其中所述解剖結(jié)構(gòu)的部分被所述物體遮擋； 將所述新圖像與所述基線圖像組中的所述代表圖像比較以選擇具有與所述新圖像的可接受的關(guān)聯(lián)度的代表圖像；以及 顯示所選擇的代表圖像以示出最小化、強(qiáng)化或消除遮擋物體的手術(shù)區(qū)域。
41.根據(jù)權(quán)利要求40所述的方法，其中將所述新圖像與所述基線圖像組的所述代表圖像比較的步驟包括僅比較被遮擋或遮蓋的部分外的所述圖像的部分。
42.根據(jù)權(quán)利要求41所述的方法，其中通過確定具有預(yù)定閾值外的值的像素確定所述新圖像的被遮擋或遮蓋的部分的位置。
43.根據(jù)權(quán)利要求40所述的方法，進(jìn)一步包括: 從圖像導(dǎo)引系統(tǒng)接收位置數(shù)據(jù)；以及將所述顯示圖像與所述位置數(shù)據(jù)相關(guān)聯(lián)并相應(yīng)地調(diào)整所述顯示圖像。
44.根據(jù)權(quán)利要求40所述的方法，其中: 數(shù)字地操作所述高分辨率基線圖像的步驟包括提供每個(gè)代表圖像的平行圖像，所述平行圖像中減小或增強(qiáng)某些解剖特征；以及 顯示所選擇的代表圖像的所述步驟包括顯示所選擇的代表圖像的平行圖像。
45.根據(jù)權(quán)利要求1所述的方法，其中所述比較步驟包括: 獲取所述基線圖像組的每個(gè)基線圖像的每個(gè)像素的亮度值； 獲取所述新圖像的每個(gè)像素的亮度值； 生成所述新圖像和每個(gè)基線圖像的相同位置像素的亮度值的標(biāo)量函數(shù)，所述標(biāo)量函數(shù)生成標(biāo)量值；以及 選擇具有最大標(biāo)量值的基線圖像作為所述所選擇的代表圖像。
46.根據(jù)權(quán)利要求45所述的方法，其中生成每個(gè)基線圖像的標(biāo)量函數(shù)相對(duì)于所有基線圖像的標(biāo)量函數(shù)的Z分值，并選擇具有最大Z分值的基線圖像。
47.根據(jù)權(quán)利要求45所述的方法，其中: 至少在具有圖形處理單元(GPU)的裝置中進(jìn)行比較步驟；以及 用于生成標(biāo)量函數(shù)的像素的倍增在GPU的多個(gè)處理器中同時(shí)發(fā)生。
48.根據(jù)權(quán)利要求45所述的方法，其中生成所述標(biāo)量函數(shù)的步驟包括: 基于所述基線圖像和所述新圖像的下采樣圖像生成所述標(biāo)量函數(shù)，其中所述下采樣圖像包括比原始基線圖像和新圖像的所有像素少的像素。
49.根據(jù)權(quán)利要求48所述的方法，其中選擇具有最大標(biāo)量值的圖像的步驟包括: 選擇具有最大標(biāo)量值的下采樣基線圖像； 在所選擇的圖像的多個(gè)運(yùn)動(dòng)排列處進(jìn)一步操作所選擇的下采樣基線圖像以生成第二基線圖像組中的第二基線圖像； 生成所述新圖像和所述第二基線圖像組中的每個(gè)第二基線圖像中的相同位置的像素的第二標(biāo)量值；以及 選擇具有最大標(biāo)量值的第二基線圖像作為所選擇的代表圖像。
50.根據(jù)權(quán)利要求1所述的方法，其中數(shù)字地操作所述高分辨率基線圖像的步驟包括過濾所述基線圖像以辨別所述基線圖像中的解剖特征和非解剖特征。
51.根據(jù)權(quán)利要求50所述的方法，其中所述過濾包括邊緣檢測(cè)。
52.根據(jù)權(quán)利要求50所述的方法，其中所述過濾包括: 在每個(gè)像素的預(yù)定鄰域中應(yīng)用鄰域函數(shù)；以及 如果所述鄰域函數(shù)的結(jié)果在預(yù)定閾值外，識(shí)別每個(gè)像素為解剖的像素。
53.根據(jù)權(quán)利要求50所述的方法，其中所述過濾包括: 在每個(gè)像素的預(yù)定鄰域中應(yīng)用鄰域函數(shù)；以及 如果所述鄰域函數(shù)的結(jié)果與預(yù)定查找表中的結(jié)果相對(duì)應(yīng)，識(shí)別每個(gè)像素為非解剖的像素。
54.根據(jù)權(quán)利要求52和53所述的方法，其中所述鄰域函數(shù)選自標(biāo)準(zhǔn)偏差、梯度以及標(biāo)準(zhǔn)偏差和梯度的復(fù)合函數(shù)的一個(gè)或多個(gè)。
55.根據(jù)權(quán)利要求54所述的方法，其中所述鄰域函數(shù)應(yīng)用至限定為以每個(gè)像素為中心的預(yù)定大小的網(wǎng)格的鄰域。
56.根據(jù)權(quán)利要求55所述的方法，其中所述網(wǎng)格是5個(gè)像素乘以5個(gè)像素。
57.根據(jù)權(quán)利要求55所述的方法，其中所述網(wǎng)格是3個(gè)像素乘以3個(gè)像素。
58.根據(jù)權(quán)利要求50所述的方法，其中數(shù)字地操作所述高分辨率基線圖像的步驟包括: 生成與所述圖像中的非解剖特征相對(duì)應(yīng)的掩模； 將所述掩模應(yīng)用至所述基線圖像以生成所述非解剖特征被移除的修改的基線圖像。
59.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中: 所述處理器是具有多個(gè)處理器的圖形處理單元(GPU);以及 所述軟件指令包括逐像素地進(jìn)行所述圖像之間的比較，所述多個(gè)處理器的每個(gè)同時(shí)進(jìn)行所述圖像中的不同像素的比較。
60.根據(jù)權(quán)利要求45所述的方法，其中所述標(biāo)量函數(shù)選自點(diǎn)積、關(guān)聯(lián)系數(shù)、平均絕對(duì)誤差和均方差。
61.根據(jù)權(quán)利要求45所述的方法，其中獲取亮度值的步驟包括: 用戶在所述新圖像中選擇一個(gè)或多個(gè)感興趣的區(qū)域；以及 通過所述新圖像和基線圖像中的像素與所述感興趣的區(qū)域的距離縮放所述新圖像和基線圖像中的像素。
62.根據(jù)權(quán)利要求1所述的方法，其中所述基線圖像和新圖像的一個(gè)或兩個(gè)由多個(gè)連續(xù)圖像被平均而得到。
63.根據(jù)權(quán)利要求1所述的方法，其中: 獲取高分辨率基線圖像的步驟包括在連續(xù)時(shí)間內(nèi)獲取相同解剖結(jié)構(gòu)和相同基線方向的多個(gè)高分辨率基線圖像；以及 數(shù)字地操作的步驟包括操作所有的所述多個(gè)基線圖像。
64.根據(jù)權(quán)利要求1所述的方法，其中: 比較步驟包括從所述代表圖像與所述新圖像之間的區(qū)別生成圖像差分；以及合并步驟包括選擇性地將所述差分圖像疊加至所述合并圖像、代表圖像和新圖像的一個(gè)或多個(gè)。
65.根據(jù)權(quán)利要求64所述的方法，其中所述合并步驟包括在疊加之前增強(qiáng)所述差分圖像。
66.根據(jù)權(quán)利要求11所述的方法，其中所述預(yù)定的閾值選自像素亮度的標(biāo)準(zhǔn)偏差、梯度和標(biāo)準(zhǔn)偏差和梯度的復(fù)合函數(shù)的一個(gè)或多個(gè)。
67.根據(jù)權(quán)利要求19所述的方法，其中所述預(yù)定的閾值選自像素亮度的標(biāo)準(zhǔn)偏差、梯度和標(biāo)準(zhǔn)偏差和梯度的復(fù)合函數(shù)的一個(gè)或多個(gè)。
68.根據(jù)權(quán)利要求42所述的方法，其中所述預(yù)定的閾值選自像素亮度的標(biāo)準(zhǔn)偏差、梯度和標(biāo)準(zhǔn)偏差和梯度的復(fù)合函數(shù)的一個(gè)或多個(gè)。
69.根據(jù)權(quán)利要求1所述的方法，其中比較步驟包括選擇具有可接受的關(guān)聯(lián)度的連續(xù)的圖像組以在一個(gè)或多個(gè)連續(xù)迭代中進(jìn)行下采樣從而發(fā)現(xiàn)最終的代表圖像。
70.根據(jù)權(quán)利要求69所述的方法，其中所述下采樣圖像是增加所述圖像中的逐漸減小的感興趣區(qū)域中的分辨率的圖像。
【文檔編號(hào)】G06K9/00GK104025119SQ201280060069
【公開日】2014年9月3日 申請(qǐng)日期:2012年10月5日 優(yōu)先權(quán)日:2011年10月5日
【發(fā)明者】羅伯特·E·艾薩克斯, 塞繆爾·莫里斯·約翰斯頓 申請(qǐng)人:塞伏瑞斯派恩公司