專利名稱：將來自預(yù)對準(zhǔn)圖像對的先驗信息結(jié)合到基于emst的圖像配準(zhǔn)中的制作方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及圖像處理，并且更具體地涉及用于使用來自預(yù)對準(zhǔn)圖像對的先驗信息進行自動圖像配準(zhǔn)的系統(tǒng)和方法。
背景技術(shù)：
典型的圖像配準(zhǔn)算法具有三個部分配準(zhǔn)量度，其量化兩幅圖像之間的相似性；變換空間，其確定所允許的空間變換；以及優(yōu)化方案，其用于在所允許的空間變換中搜索使配準(zhǔn)量度最大化(或最小化)的變換。
使用先驗信息來改善多模配準(zhǔn)性能的問題已經(jīng)由Leventon等人提出。他們提出使用訓(xùn)練數(shù)據(jù)來估計配準(zhǔn)圖像對的基本聯(lián)合先驗亮度分布并且應(yīng)用最大似然性方法來定義新的圖像對的配準(zhǔn)量度。隨后，Chung等人提出了一種替代方法，其中配準(zhǔn)的質(zhì)量由預(yù)對準(zhǔn)數(shù)據(jù)的所估計的聯(lián)合亮度分布和新圖像的聯(lián)合亮度分布之間的Kullback-Leibler散度決定。然后通過使這個K-L散度最小化來完成配準(zhǔn)。Leventon和Chung都用實驗方法指出了使用先驗信息改善配準(zhǔn)方法的穩(wěn)健性。

發(fā)明內(nèi)容
根據(jù)本公開內(nèi)容的實施方案，用于自動圖像配準(zhǔn)的計算機實現(xiàn)的方法包括提供預(yù)先對準(zhǔn)的圖像對，從預(yù)先對準(zhǔn)的圖像對中提取第一數(shù)量的特征樣本，并且從所觀察的圖像對中提取第二數(shù)量的特征樣本。該方法進一步包括確定來自預(yù)先對準(zhǔn)的圖像對和所觀察的圖像對的特征樣本的并集的歐幾里得最小生成樹(EMST)，確定所觀察的圖像對的基于EMST的相似性量度，估計相似性量度的梯度，其中梯度估計被用于更新被應(yīng)用于配準(zhǔn)所觀察的圖像對的變換參數(shù)，以及輸出所觀察的圖像對的配準(zhǔn)，其中所觀察的圖像對的配準(zhǔn)被顯示或被存儲在存儲介質(zhì)上。
預(yù)先對準(zhǔn)的圖像對是在配準(zhǔn)問題的序列中較早的圖像對以及訓(xùn)練圖像對之一。
相似性量度的梯度使用歐幾里得最小生成樹的冪加權(quán)邊長度的梯度的總和來估計。
第二預(yù)定數(shù)量的特征樣本被周期性地提取。
所觀察的圖像對的配準(zhǔn)被確定為Qα(I1，I2)＝Jα，w(pt，po)+λ*Hα(po)，其中Jα，w(pt，po)是alpha-Jensen距離，以及λ＝|Io|/(|It|+|Io|)是確定項Hα(po)和w＝1-λ的相對影響的權(quán)重。
第一和第二數(shù)量的特征樣本是相同和不同數(shù)量的樣本之一。
根據(jù)本公開內(nèi)容的實施方案，提供一種機器可讀的程序存儲裝置，明確地包括用于執(zhí)行自動圖像配準(zhǔn)方法步驟的機器可執(zhí)行的指令程序。該方法步驟包括提供預(yù)先對準(zhǔn)的圖像對，從預(yù)先對準(zhǔn)的圖像對中提取第一數(shù)量的特征樣本，并且從所觀察的圖像對中提取第二數(shù)量的特征樣本。該方法進一步包括確定來自預(yù)先對準(zhǔn)的圖像對和所觀察的圖像對的特征樣本的并集的EMST，確定所觀察的圖像對的基于EMST的相似性量度，估計相似性量度的梯度，其中梯度估計被用于更新被應(yīng)用于配準(zhǔn)所觀察的圖像對的變換參數(shù)，并且輸出所觀察的圖像對的配準(zhǔn)。


下面將參考附圖更詳細地描述本發(fā)明的優(yōu)選實施方案圖1A和1B分別是T1和T2加權(quán)的MRI圖像；圖1C是根據(jù)本公開內(nèi)容的實施方案通過來自圖1A和1B的聯(lián)合圖像的亮度樣本確定的EMST(圖1C)；圖2A是根據(jù)本公開內(nèi)容的實施方案的樣本訓(xùn)練集的EMST；圖2B是根據(jù)本公開內(nèi)容的實施方案的樣本并集的EMST；圖3是根據(jù)本公開內(nèi)容的實施方案的方法的流程圖；圖4是根據(jù)本公開內(nèi)容的實施方案的系統(tǒng)的框圖。
具體實施例方式
根據(jù)本公開內(nèi)容的實施方案，一種系統(tǒng)和方法應(yīng)用來自預(yù)先對準(zhǔn)的圖像對的信息來改善例如在多模醫(yī)療數(shù)據(jù)集(例如2D和3D，病人之間和內(nèi)部數(shù)據(jù))的配準(zhǔn)和合并時自動圖像配準(zhǔn)(例如空間對準(zhǔn))方法的性能。
根據(jù)本公開內(nèi)容的實施方案，一種方法使用兩種不同的熵量度alpha-Renyi熵和alpha-Jensen散度。alpha-Renyi熵量度目的在于僅基于將被對準(zhǔn)的圖像對來盲目地量化對準(zhǔn)質(zhì)量。alpha-Jensen散度被用于結(jié)合來自被正確對準(zhǔn)的圖像對的訓(xùn)練集的先驗信息。兩種方法的質(zhì)量通過引入混合量度被結(jié)合到該方法中。
根據(jù)本公開內(nèi)容的實施方案，應(yīng)用混合量度的基于EMST的估計來量化對準(zhǔn)質(zhì)量。EMST是平面中一組點的最小生成樹，其中每對點之間的邊的權(quán)重是點之間的距離?；旌狭慷鹊幕贓MST的估計可被應(yīng)用于不同種類的變換、例如剛體變換，并且描述對更豐富種類的變換的潛在擴展、例如自由形式變形、非線性參數(shù)變換模式(薄板、B樣條)等等。
根據(jù)本公開內(nèi)容的實施方案，在基于EMST的圖像配準(zhǔn)方法中，配準(zhǔn)量度按以下方式來確定。從將被對準(zhǔn)的圖像對中提取特征對值(例如像素亮度值之類的標(biāo)量或例如小波系數(shù)、梯度之類的向量)的列表。特征列表的EMST中的邊的冪加權(quán)歐幾里得長度的總和定義配準(zhǔn)量度，如圖1A-1C中所示。圖1A和1B是將被對準(zhǔn)的圖像，并且EMST(圖1C)通過來自聯(lián)合圖像的亮度樣本來確定。這個EMST的總(冪加權(quán))邊長度是對準(zhǔn)質(zhì)量的量度。在假設(shè)每個特征是相同分布的隨機變量的獨立實現(xiàn)的情況下，這個方法在數(shù)學(xué)上等同于應(yīng)用圖像對的alpha-Renyi熵(Hα(.))。注意可以主張alpha-Renyi熵是兩幅圖像之間的統(tǒng)計依賴性的量度。因為配準(zhǔn)量度僅應(yīng)用來自將被對準(zhǔn)的圖像對的信息并且忽略來自預(yù)先對準(zhǔn)的圖像對的任何潛在的先驗信息，所以在此其被稱為盲目配準(zhǔn)量度。
根據(jù)本公開內(nèi)容的實施方案，先驗信息以EMST配準(zhǔn)量度來實現(xiàn)?？紤]多模圖像對的序列(I1k，I2k)，k＝0，1，2，...將被配準(zhǔn)的情形。在時刻k-1，j＝0，...，k-1的圖像對(I1j，I2j)已被配準(zhǔn)。如果兩個不同對的空間對準(zhǔn)是獨立的，那么先驗空間對準(zhǔn)不傳遞關(guān)于I1k和I2k的對準(zhǔn)的直接信息。然而，假設(shè)模態(tài)關(guān)系沿著該序列是不變的，并且因此關(guān)于從先驗對準(zhǔn)獲得的模態(tài)關(guān)系的信息在圖像對(I1k，I2k)的配準(zhǔn)過程中是潛在有用的。
根據(jù)本公開內(nèi)容的實施方案，先驗信息的使用被結(jié)合到基于EMST的圖像配準(zhǔn)框架中并且配準(zhǔn)量度結(jié)合來自預(yù)先對準(zhǔn)的圖像對的信息。這些圖像對可以是在配準(zhǔn)問題的序列中較早的圖像對或者可以來自訓(xùn)練樣本集。在任何一種情況下，隨著先驗信息的質(zhì)量改善，該先驗信息以加權(quán)的方式被用于提高相同模態(tài)之間的新配準(zhǔn)的精度。
根據(jù)本公開內(nèi)容的實施方案，alpha-Jensen距離被用于基于所觀察的分布和先驗分布之間的差異來測量對準(zhǔn)質(zhì)量。alpha-Jensen距離是使用Renyi熵所定義的概率分布之間的距離量度。對于固定的α∈(0，1)，w∈(0，1)，從px到py的alpha-Jensen距離是Jα，ω(px，py)＝Hα(wpx+(1-w)py)-[wHα(px)+(1-w)Hα(py)]因為Hα是凹形的，所以當(dāng)px≠py時Jα，ω(px，py)＞0以及當(dāng)px＝py時Jα，ω(px，py)＝0，其中px或py不等于零?；贘ensen距離的配準(zhǔn)量度的性能將取決于先驗信息的質(zhì)量和數(shù)量。另一方面，Renyi熵量度忽略這個潛在有用的信息。根據(jù)本公開內(nèi)容的實施方案，這兩種量度按以下方式被組合為混合配準(zhǔn)量度。假定It和Io和分別表示來自訓(xùn)練集It和所觀察的圖像對Io的特征樣本集，以及pt和po表示相應(yīng)的分布。然后通過下式來定義混合量度Qα(I1，I2)＝Jα，ω(pt，po)+λ*Hα(po)，(1)其中λ＝|Io|/(|It|+|Io|)(2)是確定Renyi熵項和w＝1-λ的相對影響的權(quán)重。注意|·|表示集基數(shù)。
基于這種量度的EMST估計，根據(jù)包括訓(xùn)練樣本加上所觀察的樣本的并集確定的EMST的總冪加權(quán)邊長度作為配準(zhǔn)量度來實現(xiàn)(參見圖2A和2B)。
圖2A和2B分別示出樣本的訓(xùn)練和并集的EMST。右邊的EMST的總(冪加權(quán))邊長度是所觀察的圖像的對準(zhǔn)質(zhì)量的量度。這種量度結(jié)合來自預(yù)對準(zhǔn)圖像對的先驗信息。
參考圖3，在以下描述中參數(shù)空間被定義為通過旋轉(zhuǎn)角和平移向量參數(shù)化的剛體變換。提供預(yù)先對準(zhǔn)的圖像對301。
通過從預(yù)先對準(zhǔn)的圖像對中提取特征樣本來建立訓(xùn)練集302。特征的類型包括、但是不限于像素亮度值、亮度梯度以及小波系數(shù)。EMST是基于該集來確定的。不包括在這個EMST中的邊將被稱為冗余邊。
從所觀察的圖像對中提取固定數(shù)量的特征樣本303。特征的類型包括、但是不限于像素亮度值、亮度梯度以及小波系數(shù)。不均勻的子采樣技術(shù)可被應(yīng)用來提高精度和速度。
使用Kruskal算法或其它現(xiàn)有的技術(shù)來確定樣本的并集的EMST 304。在這之前所應(yīng)用的Delaunay三角測量可被用于加快EMST方法。此外，在確定這個EMST時，冗余邊可被丟棄。用于高維度特征的替代方法是對(例如通過投影獲得的)減小的維度空間執(zhí)行Delaunay三角測量并且可在原始空間中確定該三角測量的EMST。這給出存在于高維度空間中的樣本的近似EMST。
確定基于EMST的相似性量度305。該相似性量度包括配準(zhǔn)質(zhì)量的指示和變換參數(shù)的梯度的指示，例如怎樣改變變換參數(shù)來改善配準(zhǔn)。
因為所提取的樣本被量化，所以EMST的總(冪加權(quán))長度不能對變換參數(shù)求微分。假設(shè)EMST的拓撲對于固定的正的迭代次數(shù)k∈Z+來說保持恒定，那么EMST量度、即相似度量度的梯度的估計被確定為加權(quán)邊長速的梯度的總和306。梯度估計被用于更新用于配準(zhǔn)所觀察的圖像對的優(yōu)化的變換參數(shù)。每k次迭代該方法返回到模塊303。
優(yōu)化可以是其變量的迭代梯度下降的實現(xiàn)。該方法可與多分辨率和多初始點優(yōu)化相結(jié)合來防止受限于局部極值。例如，以配準(zhǔn)所觀察的圖像的粗略(低分辨率)表示開始。高斯模糊和均勻子采樣可被用于獲得這些低分辨率圖像。從粗略級獲得的配準(zhǔn)結(jié)果被用于初始化下一級的配準(zhǔn)。
一旦滿足停止標(biāo)準(zhǔn)307，例如如果在最后X次迭代中參數(shù)值的變化沒有超過預(yù)定閾值，則該方法終止，其中X是迭代的某個預(yù)定數(shù)量。輸出配準(zhǔn)的圖像對308，例如輸出到顯示器以用于查看或輸出到存儲介質(zhì)。
應(yīng)當(dāng)理解的是本發(fā)明可以以各種形式的硬件、軟件、固件、專用處理器或它們的組合來實現(xiàn)。在一種實施方案中，本發(fā)明可以以軟件被實現(xiàn)為明確被包括在程序存儲裝置上的應(yīng)用程序。該應(yīng)用程序可被上載到包括任何合適結(jié)構(gòu)的機器中并且由其執(zhí)行。
參考圖4，根據(jù)本公開內(nèi)容的實施方案，用于自動圖像配準(zhǔn)的計算機系統(tǒng)401尤其可包括中央處理單元(CPU)402、存儲器403以及輸入/輸出(I/O)接口404。計算機系統(tǒng)401通常通過I/O接口404耦合到顯示器405以及各種輸入裝置406、比如鼠標(biāo)和鍵盤上。支持電路可包括諸如高速緩存、電源、時鐘電路以及通信總線之類的電路。存儲器403可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、磁盤驅(qū)動器、磁帶驅(qū)動器等等或它們的組合。本發(fā)明可以被實現(xiàn)為例行程序1007，該例行程序被存儲在存儲器403中并且由CPU 402執(zhí)行以處理來自信號源408的信號。同樣地，計算機系統(tǒng)401是通用計算機系統(tǒng)，當(dāng)執(zhí)行本發(fā)明的例行程序407時該通用計算機系統(tǒng)變成專用計算機系統(tǒng)。
計算機平臺401還包括操作系統(tǒng)和微指令代碼。在此描述的各種處理和功能可以是微指令代碼的一部分或者應(yīng)用程序的一部分(或它們的組合)，其通過操作系統(tǒng)來執(zhí)行。此外，各種其它外圍設(shè)備、例如附加的數(shù)據(jù)存儲裝置和打印裝置可連接到計算機平臺上。
應(yīng)進一步理解的是，因為附圖中所描繪的某些組成系統(tǒng)的部件和方法步驟可以以軟件來實現(xiàn)，所以系統(tǒng)部件(或處理步驟)之間的實際連接可根據(jù)本發(fā)明被編程的方式而不同。給定在此所提供的本公開內(nèi)容的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠設(shè)想到這些和類似的實現(xiàn)或配置。
雖然已描述了用于自動圖像配準(zhǔn)的系統(tǒng)和方法的實施方案，但應(yīng)注意，根據(jù)上述教導(dǎo)，本領(lǐng)域技術(shù)人員可作出修改和變化。因此應(yīng)當(dāng)理解的是，在本公開內(nèi)容的在其范圍和精神內(nèi)的實施方案中可作出改變。
權(quán)利要求
1.一種用于自動圖像配準(zhǔn)的計算機實現(xiàn)的方法，包括提供預(yù)先對準(zhǔn)的圖像對；從預(yù)先對準(zhǔn)的圖像對中提取第一數(shù)量的特征樣本；從所觀察的圖像對中提取第二數(shù)量的特征樣本；確定來自預(yù)先對準(zhǔn)的圖像對和所觀察的圖像對的特征樣本的并集的歐幾里得最小生成樹；確定所觀察的圖像對的基于歐幾里得最小生成樹的相似性量度；估計相似性量度的梯度，其中梯度估計被用于更新被應(yīng)用于配準(zhǔn)所觀察的圖像對的變換參數(shù)；并且輸出所觀察的圖像對的配準(zhǔn)，其中所觀察的圖像對的配準(zhǔn)被顯示或被存儲在存儲介質(zhì)上。
2.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中預(yù)先對準(zhǔn)的圖像對是在配準(zhǔn)問題的序列中較早的圖像對以及訓(xùn)練圖像對之一。
3.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中使用歐幾里得最小生成樹的冪加權(quán)邊長度的梯度的總和來估計相似性量度的梯度。
4.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中第二數(shù)量的特征樣本被周期性地提取。
5.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所觀察的圖像對的配準(zhǔn)被確定為Qα(I1，I2)＝Jα，w(pt，po)+λ*Hα(po)，其中Jα，w(pt，po)是alpha-Jensen距離，以及λ＝|To|/(|Tt|+|To|)是確定項Hα(po)和w＝1-λ的相對影響的權(quán)重。
6.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中第一和第二數(shù)量的樣本是相同和不同數(shù)量的樣本之一。
7.一種機器可讀的程序存儲裝置，明確包括用于執(zhí)行自動圖像配準(zhǔn)方法步驟的機器可執(zhí)行的指令程序，該方法步驟包括提供預(yù)先對準(zhǔn)的圖像對；從預(yù)先對準(zhǔn)的圖像對中提取第一數(shù)量的特征樣本；從所觀察的圖像對中提取第二數(shù)量的特征樣本；確定來自預(yù)先對準(zhǔn)的圖像對和所觀察的圖像對的特征樣本的并集的歐幾里得最小生成樹；確定所觀察的圖像對的基于歐幾里得最小生成樹的相似性量度；估計相似性量度的梯度，其中梯度估計被用于更新被應(yīng)用于配準(zhǔn)所觀察的圖像對的變換參數(shù)；并且輸出所觀察的圖像對的配準(zhǔn)。
8.如權(quán)利要求7所述的方法，其中預(yù)先對準(zhǔn)的圖像對是在配準(zhǔn)問題的序列中較早的圖像對以及訓(xùn)練圖像對之一。
9.如權(quán)利要求7所述的方法，其中使用歐幾里得最小生成樹的冪加權(quán)邊長度的梯度的總和來估計相似性量度的梯度。
10.如權(quán)利要求7所述的方法，其中第二數(shù)量的特征樣本被周期性地提取。
11.如權(quán)利要求7所述的方法，其中所觀察的圖像對的配準(zhǔn)被確定為Qα(I1，I2)＝Jα，w(pt，po)+λ*Hα(po)，其中Jα，w(pt，po)是alpha-Jensen距離，以及λ＝|To|/(|Tt|+|To|)是確定項Hα(po)和w＝1-λ的相對影響的權(quán)重。
12.如權(quán)利要求7所述的方法，其中第一和第二數(shù)量的樣本是相同和不同數(shù)量的樣本之一。
全文摘要
一種用于自動圖像配準(zhǔn)的計算機實現(xiàn)的方法包括提供預(yù)先對準(zhǔn)的圖像對(301)，從預(yù)先對準(zhǔn)的圖像對中提取第一數(shù)量的特征樣本(302)，并且從所觀察的圖像對中提取第二數(shù)量的特征樣本(303)。該方法進一步包括確定來自預(yù)先對準(zhǔn)的圖像對和所觀察的圖像對的特征樣本的并集的歐幾里得最小生成樹(304)，確定所觀察的圖像對的基于EMST的相似性量度(305)，估計相似性量度的梯度(306)，其中梯度估計被用于更新被應(yīng)用于配準(zhǔn)所觀察的圖像對的變換參數(shù)，并且輸出所觀察的圖像對的配準(zhǔn)(308)，其中所觀察的圖像對的配準(zhǔn)被顯示或者被存儲在存儲介質(zhì)上。
文檔編號G06T3/00GK1892703SQ20061010609
公開日2007年1月10日 申請日期2006年6月22日 優(yōu)先權(quán)日2005年6月22日
發(fā)明者M·R·薩邦庫, C·徹夫德霍特爾 申請人:西門子共同研究公司