專利名稱：全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法。
背景技術(shù)：
圖像配準是計算機視覺、模式識別、圖像分析等應(yīng)用領(lǐng)域的一項基礎(chǔ)而重要的工作，它通過優(yōu)化圖像相似性測度目標函數(shù)進而搜索圖像匹配的最優(yōu)幾何變換參數(shù)，使多幅圖像能夠消除在空間時間上的差異性，集成到統(tǒng)一的坐標框架中，從而便于圖像信息之間的互補理解。配準不同模式不同時段采集的圖像在醫(yī)學(xué)成像應(yīng)用、遙感、計算機視覺、國防成像等領(lǐng)域都非常重要。由于不同成像傳感器的物理特性差異和不同時間景物的變化，一些在一幅圖像中存在的顯著特征在另外一幅圖像中可能僅是部分存在或者完全沒有對應(yīng)。這些沒有一一對應(yīng)關(guān)系的特征就是在圖像配準中的全局異常信號。它具體可以表現(xiàn)為外科手術(shù)中腫瘤的切除、在術(shù)前圖像中不可見的手術(shù)特征點、植被變化或云層的遮蓋等。如果這些異常信號沒有被正確處理，將會導(dǎo)致配準誤差增大。
就目前的技術(shù)水平而言，圖像配準的方法大致可分為兩類基于體素灰度的方法和基于特征的方法。第一類方法，即基于體素灰度配準方法，有一個重要的假設(shè)前提兩幅圖像的灰度場具有統(tǒng)計(或線性)的關(guān)系，而這一假設(shè)在有異常信號的情況下將很難成立。異常信號的存在將會嚴重影響灰度的均一性，導(dǎo)致兩幅圖像的灰度對應(yīng)關(guān)系變得不確定起來，更為嚴重的是這種影響往往并不是空間不變的。第二類方法，即基于特征的圖像配準方法，盡管在提取特征、尋找特征對應(yīng)性的環(huán)節(jié)中具有速度和效率上的優(yōu)勢，但很難同時滿足既排斥全局異常信號的影響、又有效重建特征對應(yīng)關(guān)系的雙重要求。因此，如何盡量減少過多的預(yù)處理，自動、精確、魯棒地配準具有異常信號的圖像，是本領(lǐng)域的一個技術(shù)難題。當(dāng)前解決圖像配準中全局異常信號的一般方法是結(jié)合前述兩類配準方法的優(yōu)點并融入一些檢測異常的手段，以去除或降低配準過程中異常信號的影響。但現(xiàn)存方法很少涉及如何定位待配準兩幅圖像中的公共顯著區(qū)域(顯著區(qū)域就是局部區(qū)域圖像特征對比度或灰度復(fù)雜度較為顯著的感興趣區(qū)域)，并利用這些公共顯著區(qū)域之間對應(yīng)性對其進行突出重點的配準。
經(jīng)對現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)存在以下專利最接近于本發(fā)明，其中國專利公開號為CN1920882，
公開日為2007.02.28，專利名稱為基于顯著區(qū)域特征的醫(yī)學(xué)圖像三維多模配準的系統(tǒng)和方法，描述為“在第一圖像和第二圖像中標識顯著特征區(qū)域，其中每個區(qū)域與空間尺度相關(guān)；通過每個區(qū)域的中心點來定位特征區(qū)域；根據(jù)局部灰度將一幅圖像的特征點與另一幅圖像的特征點進行配準?！逼渲袑τ谂懦绯鲋?異常)有特殊處理，但該方法并沒有考慮導(dǎo)致圖像特征對應(yīng)性缺失的全局異常信號，因而未針對全局異常信號做出特別優(yōu)化，在有大量異常的情況下，其配準結(jié)果并未可知。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，使其能在不降低配準精度的情況下，削弱導(dǎo)致圖像對應(yīng)性缺失的全局異常信號的影響，最終實現(xiàn)對圖像自適應(yīng)的精確配準。本發(fā)明能夠適用于多種模式的、多維的、多時段的圖像配準。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，包括步驟如下(1)首先利用傳統(tǒng)的配準方法，對待配準圖像進行粗配準，使得圖像的互相重疊區(qū)域足夠大；(2)對當(dāng)前配準參數(shù)下的結(jié)果圖像重疊區(qū)域計算聯(lián)合顯著圖，聯(lián)合顯著圖給出了對異常信號所處位置的建模，能夠顯示具體到每個重疊體素位置該圖像信號的異常程度，即該位置是否都對應(yīng)了兩幅圖像的公共顯著區(qū)域。如果該位置點不對應(yīng)圖像的公共顯著區(qū)域，就被設(shè)定為異常信號，不參與接下來的配準；(3)利用(2)得到的聯(lián)合顯著圖，統(tǒng)計加權(quán)聯(lián)合灰度直方圖，最優(yōu)化基于灰度的相似性測度，得到當(dāng)前聯(lián)合顯著圖下的最優(yōu)幾何匹配參數(shù)；(4)在步驟(2)、(3)之間循環(huán)優(yōu)化，以前后兩次的配準參數(shù)的變化作為終止條件結(jié)束配準，得到最終配準結(jié)果。
本發(fā)明作進一步的說明如下
1、聯(lián)合顯著圖聯(lián)合顯著圖是本發(fā)明的關(guān)鍵創(chuàng)新之一，它的提出主要基于一種普遍認可的假設(shè)不同模式不同時段下針對同一物體采集的圖像具有局部顯著區(qū)域的互對應(yīng)性(圖像局部區(qū)域的顯著性程度度量了圖像局部區(qū)域特征的對比度或者灰度信息的復(fù)雜程度)，即由于組織結(jié)構(gòu)的等同，在不同模式不同時段采集的圖像總能表現(xiàn)出局部顯著性區(qū)域的相似性或一一對應(yīng)性。
1)提取顯著測度圖本發(fā)明首先將兩幅圖像的顯著區(qū)域提取出來，并選用一種測度度量顯著性程度，得到待配準圖像各自的顯著測度圖。
2)基于聯(lián)合顯著圖的建模定位本發(fā)明提出利用相似性分析度量顯著測度圖中公共顯著區(qū)域的位置和程度，得到待配準圖像之間的聯(lián)合顯著圖，實現(xiàn)對非公共顯著區(qū)域即異常信號點的定位。
聯(lián)合顯著圖的值域被歸一化到
(以下稱為歸一化聯(lián)合顯著值)，它在配準過程中的應(yīng)用解釋如下如果歸一化聯(lián)合顯著值接近于1，表示待配準圖像在該點具有相似的顯著特征分布，則認定該點是非異常信號點，屬于公共顯著區(qū)域，繼續(xù)參與進一步的配準；如果歸一化聯(lián)合顯著值接近于0，則表示在該點兩幅圖像沒有相對應(yīng)的顯著特征分布，此點是異常信號，不屬于公共顯著區(qū)域，應(yīng)當(dāng)被排除參與下一步的配準過程。這樣就實現(xiàn)了對全局異常信號的建模定位。
其中需要說明的是，可以選一閾值，將待配準圖像各自的顯著測度值低于閾值的點在聯(lián)合顯著圖中直接賦為0，因為低顯著性的點意味著不包含顯著性特征，無利于配準的進行。
2、結(jié)合聯(lián)合顯著圖的基于灰度相似性測度的計算上述1中闡述的聯(lián)合顯著圖，必須結(jié)合相應(yīng)的相似性測度才可用于具體配準，本發(fā)明著眼于基于灰度相似性測度的改進。
在計算基于灰度相似性測度時，往往需要對待配準圖像的概率分布、聯(lián)合概率分布做出估計從而可以計算熵的值。一種普遍接受的較簡易快捷的估計方法是通過統(tǒng)計圖像的聯(lián)合灰度直方圖來近似概率分布。本發(fā)明將1中得到的聯(lián)合顯著圖包含的聯(lián)合顯著信息融合到聯(lián)合灰度直方圖的統(tǒng)計中，可增強公共顯著區(qū)域在配準中的權(quán)重，從而達到自適應(yīng)的排除全局異常信號的效果。
具體的融合方法如下在統(tǒng)計圖像聯(lián)合灰度直方圖的過程中，由于它與配準變換參數(shù)相關(guān)，需要將其中一幅如浮動圖像F變換后與參考圖像R進行統(tǒng)計，如果變換后的位置不在參考圖像規(guī)整坐標網(wǎng)格上，則需要插值計算出該位置處的參考圖像灰度。本發(fā)明使用歸一化聯(lián)合顯著值確定圖像上的每對體素對聯(lián)合灰度直方圖的貢獻權(quán)重，即在得到了浮動圖像F與參考圖像R的灰度對(f，r)后，用歸一化聯(lián)合顯著值計入直方圖頻數(shù)h(f，r)中。如果其權(quán)值很小，這些被判為異常信號或顯著性很小的點就被自動排除在了配準過程之外。
本發(fā)明提出的步驟，要求配準過程在計算聯(lián)合顯著圖和優(yōu)化幾何變換參數(shù)間循環(huán)進行，本質(zhì)上是將對于異常信號的建模和配準結(jié)合起來進行。由既得的配準結(jié)果可以估計出較理想的聯(lián)合顯著圖，而基于更準確的聯(lián)合顯著圖又能夠反映出更準確的異常信號所處的位置，雙方交替進行將使得配準結(jié)果得到逐步的改善。
本發(fā)明通過提出一種對異常信號位置建模的方法——聯(lián)合顯著圖，定位待配準兩幅圖像中的公共顯著區(qū)域，并利用這些公共顯著區(qū)域之間對應(yīng)性對其進行突出重點的配準，而那些被認定為導(dǎo)致圖像間灰度場關(guān)系不確定的異常信號的體素則被排除在配準過程之外。由此本發(fā)明實現(xiàn)了全局異常信號環(huán)境下多模、多時段圖像配準中對于異常信號的特別優(yōu)化，在有大量全局異常信號的情況下亦能較好的配準。在方法的設(shè)計上，吸收了基于特征的(提取顯著測度圖)和基于灰度體素的(采用基于灰度的相似性測度作為優(yōu)化目標函數(shù))兩類傳統(tǒng)方法的優(yōu)點，使得方法的魯棒性和效率都能滿足實際需求，可應(yīng)用于醫(yī)學(xué)圖像、航拍圖像、視頻圖像等多種場合的配準。經(jīng)過許多測試表明，本發(fā)明大大提高了在全局異常信號下圖像配準的成功率，配準的精度能達到亞像素級(即配準偏差＜1像素)。


圖1是本發(fā)明的流程圖。
圖2是實例結(jié)果圖；其中(a)圖為MRI-PD與MRI-T1配準實例；(b)圖為CT-PET配準實例；(c)圖為MRI不同時段配準實例。每幅實例圖分布均為左上參考圖像R，右上浮動圖像F，左下配準結(jié)束后最終的聯(lián)合顯著圖(顏色越白表示歸一化聯(lián)合顯著值越大)，右下為配準結(jié)果。
具體實施例方式
下面對本發(fā)明的實施例作詳細說明本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范圍不限于下述的實施例配準的對象為實際的二維圖像(附圖2)，配準的流程圖如圖1所示在得到了粗配準結(jié)果后，由顯著性提取算子得到參考圖像和浮動圖像各自的“顯著測度圖”，經(jīng)過相似性分析可得兩者的“聯(lián)合顯著圖”，結(jié)合“聯(lián)合顯著圖”和某種插值算法計算“基于灰度的相似性測度”，以其作為目標函數(shù)，優(yōu)化得到最優(yōu)幾何配準參數(shù)。若未達“終止條件”，則以該配準參數(shù)重新計算“顯著測度圖”、“聯(lián)合顯著圖”，進行新一輪的優(yōu)化，否則則終止，輸出最終結(jié)果。下面就某些部分的具體實施作詳細說明1、粗配準采用基于傳統(tǒng)的歸一化互信息的方法，變換模型選取二維剛體變換模型，優(yōu)化算法為單純形算法。
2、計算聯(lián)合顯著圖(1)提取顯著測度圖傳統(tǒng)的圖像處理的算法都將圖像中的每一個體素看成是一個獨立的隨機變量，而這在真實的圖像中顯然是不滿足的，至少每一個體素會影響它的鄰域體素。基于多維隨機場的局部能量函數(shù)的計算模型考慮了這種鄰域關(guān)系，本實例將該計算模型具體化作為顯著性提取算子如下E(v)=Σm,n(I(v)-I(vx-m,vy-n)2---(1)]]>特別說明，v是一個二維向量，代表二維體素(以下稱為像素)，I(v)代表v點對應(yīng)的灰度值，vx，vy是v的二維分量，m，n是某種類型鄰域系統(tǒng)確定的鄰域范圍閾值，常見的3*3鄰域時，m，n均為{-1，0，1}，為了得到旋轉(zhuǎn)不變性能量，本發(fā)明所施行的是圓周鄰域，即以v點為中心某個半徑(像素長度)做圓，圓內(nèi)部的灰度信息作為其鄰域信息的方法。E(v)即為v點對應(yīng)的顯著測度值。
(2)計算聯(lián)合顯著圖這里選取矩相似性分析作為產(chǎn)生聯(lián)合顯著圖的方法。待配準的兩幅圖像中每一對重疊像素的位置可通過矩分析得到各自的慣性矩陣主軸方向向量。如果該位置屬于雙方公共顯著區(qū)域，則此對向量將具有相似性，在數(shù)學(xué)上表現(xiàn)為向量間的平行度或相關(guān)度。
具體實施過程如下對于兩幅圖像中的每一對重疊像素，以該點為中心計算其鄰域像素(采用(1)中的圓域系統(tǒng))的慣性矩陣及特征值和特征向量，記錄最大特征值對應(yīng)的特征向量。以下式計算得出歸一化聯(lián)合顯著值W(v)=|eig(vf)Teig(vr)eig(vf)Teig(vf)eig(vr)Teig(vr)|---(2)]]>eig(vf)和eig(vr)分別代表浮動圖像和參考圖像對應(yīng)點鄰域的灰度能量場主軸方向向量。其中將在顯著圖中低于0.005倍能量最高值的點直接賦予W(v)為0。
3、結(jié)合聯(lián)合顯著圖的歸一化互信息測度本實例選取歸一化互信息作為配準的相似性測度，它是基于灰度的相似性測度的一種。在統(tǒng)計圖像聯(lián)合灰度直方圖的過程中，選取主流簡便的雙線性內(nèi)插作為內(nèi)插方法，即可得到浮動圖像與參考圖像(f，r)圖像灰度對。將2中得到的重疊位置點的歸一化聯(lián)合顯著值加入到(f，r)所對應(yīng)的直方圖頻數(shù)中。其余計算歸一化互信息的部分與傳統(tǒng)方法類似，在此不做詳述。
4、優(yōu)化方案利用上述3中提到的歸一化互信息測度作為配準優(yōu)化的目標對象，其達到最大值的時候所對應(yīng)的幾何變換參數(shù)即為當(dāng)前聯(lián)合顯著圖下的最優(yōu)配準參數(shù)。以此配準參數(shù)對浮動圖像F進行變換得到F′，可以對F′和參考圖像R進行新一輪的聯(lián)合顯著圖的計算。在得到了聯(lián)合顯著圖后，再進行新一輪的配準優(yōu)化過程。這樣就實現(xiàn)了計算聯(lián)合顯著圖和配準優(yōu)化交替迭代進行。
實施例中采用前后兩次所得到的最優(yōu)配準參數(shù)的歐拉距離作為終止條件，選取0.00001。另外設(shè)定了一個最大迭代步數(shù)200防止程序無法跳出的情況發(fā)生。
5、配準結(jié)果
(1)多組實例結(jié)果說明實例中分別對于MRI-PD和MRI-T1、CT和PET、MRI不同時段的圖像實例(圖像大小均為256*256)進行了上述配準。均得到了令人滿意的結(jié)果。附圖2中選取了其中幾例MRI-PD與MRI-T1(圖a)、CT-PET(圖b)和MRI不同時段的圖像(圖c)來顯示本發(fā)明對于多模多時段圖像在有異常信號的情況下所能達到的配準結(jié)果。其中MRI-PD-MRI-T1在浮動圖像加入了人為的噪聲；CT-PET由于模式的不同，兩者具有很不相似的特性，含有腫瘤；MRI不同時段的圖像則是采集與病人在腫瘤切除前后的圖像。附圖2每幅圖像的排布方式均為左上參考圖像R，右上浮動圖像F，左下最終迭代得到的聯(lián)合顯著圖(以灰度顯示)，右下最終配準結(jié)果，直線的十字交叉顯示了配準的精度。在迭代了數(shù)次后均自動收斂退出。從圖中看出，所得出的聯(lián)合顯著圖均良好的反映了異常信號的位置。
(2)配準精度說明應(yīng)用實例中的已配準好的一組MRI圖像作為標準，對浮動圖像F進行位移和旋轉(zhuǎn)的變換，產(chǎn)生30幅不同位移和旋轉(zhuǎn)的待配準圖像，分別與參考圖像R應(yīng)用本方法配準，最終得出的配準誤差(平均配準誤差±標準偏差)為水平位移為0.31±0.59個像素，垂直位移為-0.38±0.43個像素，旋轉(zhuǎn)角度為0.11±0.21度。30幅圖像全部配準成功。從結(jié)果來看，配準精度已經(jīng)達到了亞像素級，完全可以應(yīng)用于實際。
(3)配準曲線比較說明選取了一組來自ITK(Insight ToolKit，www.itk.org)中已經(jīng)精確配準的實例，作配準曲線的比較。具體實現(xiàn)方式是分別做出變化范圍在[-20，20]的x方向、y方向及旋轉(zhuǎn)角度的測度曲線圖，比較其異同。
結(jié)果顯示，在有了初始配準結(jié)果后，新的歸一化互信息測度比原來的測度的梯度將更大，意味著新測度有更快的收斂速度。其原因是本發(fā)明將公共顯著區(qū)域特征信息融入到了測度的計算中，加快了相似性測度的收斂速度。
權(quán)利要求
1.一種全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，包括以下步驟(1)首先利用傳統(tǒng)的配準方法，對待配準圖像進行粗配準；(2)用當(dāng)前配準的結(jié)果分別提取顯著測度圖，計算聯(lián)合顯著圖；(3)利用聯(lián)合顯著圖最優(yōu)化基于灰度的相似性測度，得到當(dāng)前聯(lián)合顯著圖下的最優(yōu)幾何配準參數(shù)；(4)在步驟(2)、(3)之間循環(huán)優(yōu)化，以前后兩次的配準參數(shù)的變化作為終止條件結(jié)束配準，得到最終配準結(jié)果。
2.根據(jù)權(quán)利要求1所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述計算聯(lián)合顯著圖，具體實現(xiàn)辦法如下a)提取待配準圖像的顯著測度圖；b)依據(jù)得到的顯著測度圖，計算出每一對重疊體素點的歸一化聯(lián)合顯著值，得到聯(lián)合顯著圖。
3.根據(jù)權(quán)利要求2所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述a)，提取待配準圖像的顯著測度圖，是指利用顯著性算子將待配準圖像的顯著區(qū)域提取出來，并選用一種測度度量顯著性程度，得到待配準圖像各自的顯著測度圖。
4.根據(jù)權(quán)利要求2所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述b)，是指基于假設(shè)利用相似性分析度量顯著測度圖中公共顯著區(qū)域的位置和程度，得到每一對重疊體素點的歸一化聯(lián)合顯著值，從而構(gòu)建待配準圖像之間的聯(lián)合顯著圖。
5.根據(jù)權(quán)利要求1或4所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述歸一化聯(lián)合顯著值范圍為
，在配準過程中，如果歸一化聯(lián)合顯著值接近于1，表示待配準圖像在該點具有相似的顯著特征分布，則認定該點是非異常信號點，屬于公共顯著區(qū)域，繼續(xù)參與進一步的配準；如果歸一化聯(lián)合顯著值接近于0，則表示在該點兩幅圖像沒有相對應(yīng)的顯著特征分布，此點是異常信號，不屬于公共顯著區(qū)域，應(yīng)當(dāng)被排除參與下一步的配準過程，這樣就實現(xiàn)了對全局異常信號的建模定位。
6.根據(jù)權(quán)利要求4所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，通過設(shè)定閾值將顯著測度值過低的位置點排除在聯(lián)合顯著圖的計算之外。
7.根據(jù)權(quán)利要求1所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述步驟(3)中，基于灰度的相似性測度所用到的聯(lián)合灰度直方圖按照如下方式進行統(tǒng)計用歸一化聯(lián)合顯著值確定圖像上的每對體素對聯(lián)合灰度直方圖的貢獻權(quán)重，在插值得到了浮動圖像F與參考圖像R的灰度對(f，r)后，用歸一化聯(lián)合顯著值計入灰度直方圖頻數(shù)h(f，r)中。
8.根據(jù)權(quán)利要求1所述的全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，其特征是，所述步驟(4)，具體如下計算聯(lián)合顯著圖和優(yōu)化匹配參數(shù)是交替迭代進行的，每一次得到了聯(lián)合顯著圖后，在此基礎(chǔ)上對相似性測度進行優(yōu)化，得出該聯(lián)合顯著圖下的最優(yōu)配準幾何參數(shù)，這樣就完成了一次迭代；上一次迭代所得的配準參數(shù)將作為下一次迭代的初始參數(shù)，直至滿足終止條件時迭代停止。
全文摘要
一種全局異常信號環(huán)境下基于聯(lián)合顯著圖的魯棒圖像配準方法，步驟為(1)首先利用傳統(tǒng)的配準方法進行粗配準；(2)對當(dāng)前配準結(jié)果提取顯著測度圖，計算對應(yīng)重疊區(qū)域的聯(lián)合顯著圖。聯(lián)合顯著圖給出了異常信號點所處位置的建模，增強公共顯著區(qū)域在相似性測度計算中的貢獻權(quán)重，從而自適應(yīng)地去除異常信號的影響；(3)利用聯(lián)合顯著圖最優(yōu)化基于灰度的相似性測度，得到當(dāng)前聯(lián)合顯著圖下的最優(yōu)幾何配準參數(shù)；(4)循環(huán)優(yōu)化，以前后兩次的配準參數(shù)的變化作為終止條件結(jié)束配準，得到最終配準結(jié)果。本發(fā)明對異常信號的建模和對圖像的配準迭代進行，適用于在全局異常信號下多模多時段圖像配準，配準精度符合實際應(yīng)用的需求。
文檔編號G06T7/00GK101038669SQ20071003937
公開日2007年9月19日 申請日期2007年4月12日 優(yōu)先權(quán)日2007年4月12日
發(fā)明者顧志俊, 秦斌杰 申請人:上海交通大學(xué)