專利名稱：一種基于互信息和交互的醫(yī)學(xué)圖像拼接方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，具體涉及一種醫(yī)學(xué)圖像拼接的新方法。
背景技術(shù)：
近年來(lái)，醫(yī)學(xué)圖像已經(jīng)成為醫(yī)學(xué)技術(shù)中發(fā)展最快的領(lǐng)域之一，特別是計(jì)算機(jī)技術(shù)的發(fā)展以及X射線、MR1、CT、PET等新型成像技術(shù)和設(shè)備的出現(xiàn)，使得醫(yī)學(xué)圖像處理技術(shù)對(duì)醫(yī)學(xué)科研以及臨床實(shí)踐的作用和影響日益增大。然而由于醫(yī)學(xué)成像設(shè)備的機(jī)械限制，一般只能得到局部的圖像，無(wú)法得到全景圖像。當(dāng)醫(yī)生要觀察多幅圖像的綜合信息時(shí)，通常只能通過(guò)自己的觀察將幾幅圖像在空間上對(duì)齊，這種做法常常帶有較強(qiáng)的主觀性，可靠性不高，重復(fù)性也差，誤差較大。因此，尋求一種專門針對(duì)醫(yī)學(xué)圖像特點(diǎn)的拼接方法和為醫(yī)生開發(fā)一個(gè)交互式的拼接系統(tǒng)是十分必要的。醫(yī)學(xué)圖像拼接中最重要的一步是配準(zhǔn)，只有配準(zhǔn)精確才能得到圖像之間正確的重疊區(qū)域，從而完成拼接。因此配準(zhǔn)是目前醫(yī)學(xué)圖像分析關(guān)注的熱點(diǎn)，近些年來(lái)，國(guó)內(nèi)外很多知名學(xué)者在這方面做了大量的有益成果，這其中的方法主要有:基于特征的方法:Harris等人在1988年率先使用Harris角點(diǎn)檢測(cè)方法進(jìn)行圖像配準(zhǔn)；Lindeberg等人在1998年提出了一種自動(dòng)尺度選擇的概念；Lowe等人在1999年提出了 SIFT特征提取算法， 生成描述每一個(gè)特征點(diǎn)的描述子；Ke等人2004年在Lowe的基礎(chǔ)上提出PCA-SIFT方法，提升了匹配速度；Herbert Bay等人在2008年又提出了經(jīng)典的SURF算法進(jìn)行圖像配準(zhǔn)；基于像素灰度值的方法:Hajnal，J.V.等人在1995年提出使用灰度差的平方和作為相似性度量衡量單模態(tài)圖像匹配度程度；Studh0lme，C等人在1999年提出了針對(duì)多模態(tài)圖像配準(zhǔn)和拼接的互信息法，之后他又在2001年對(duì)其進(jìn)行了改善，提出了歸一化的互信息測(cè)度。專利方面，申請(qǐng)?zhí)枮镃N201010154362.8的中國(guó)發(fā)明專利申請(qǐng)借助二維小波變換實(shí)現(xiàn)對(duì)PCB圖像的快速拼接；申請(qǐng)?zhí)枮镃N201010117300.X的中國(guó)發(fā)明專利申請(qǐng)利用自然圖像邊緣信息提取SIFT特征，有效改善了拼接質(zhì)量；申請(qǐng)?zhí)枮镃N201210261546.3的中國(guó)發(fā)明專利通過(guò)篩選特征點(diǎn)匹配，提升拼接精度的同時(shí)還降低了算法的復(fù)雜度。申請(qǐng)?zhí)枮镃N201110159291.5的中國(guó)發(fā)明專利公開了一種用于圖像拼接的魚眼校正方法；申請(qǐng)?zhí)枮镃N201210066218.8的中國(guó)發(fā)明專利將SURF算法應(yīng)用于用于水下監(jiān)測(cè)的聲納圖像。相比較于其他圖像，醫(yī)學(xué)圖像有其本身的特點(diǎn)和特殊的應(yīng)用。醫(yī)學(xué)圖像一般來(lái)講分辨率不高，大多是灰度圖，所拍攝的人體骨骼、內(nèi)臟等物體特征點(diǎn)不明顯，并不適合使用基于特征的方法，尤其是所提取的用于配準(zhǔn)的關(guān)鍵特征點(diǎn)個(gè)數(shù)較少；其次，醫(yī)學(xué)圖像常常涉及到專業(yè)的醫(yī)學(xué)知識(shí)，拼接結(jié)果是否正確、是否反映出了病理、怎樣的結(jié)果更利于醫(yī)生診斷等等這些問(wèn)題，只依靠專門開發(fā)拼接方法的技術(shù)人員是不夠的，需要有專業(yè)的醫(yī)生配合，因此拼接時(shí)的交互功能在開發(fā)中也顯得非常重要。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的是提供一種基于互信息和交互的醫(yī)學(xué)圖像拼接方法，通過(guò)直接利用圖像的灰度信息就能夠?qū)崿F(xiàn)配準(zhǔn)，并且提供接口，將一定的主動(dòng)權(quán)交給醫(yī)生，通過(guò)這樣的交互使得圖像拼接，方便醫(yī)生診斷。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是:將多幅連續(xù)拍攝的醫(yī)學(xué)圖像進(jìn)行拼接，總體上說(shuō)，拼接過(guò)程首先是得到待拼接圖像中每?jī)煞g的重疊區(qū)域參數(shù)，然后一幅接一幅對(duì)重合區(qū)域進(jìn)行融合，完成拼接。本發(fā)明專門針對(duì)醫(yī)學(xué)圖像利用互信息，改進(jìn)配準(zhǔn)和融合過(guò)程的策略，并加入交互功能，最終得到超大視角的醫(yī)學(xué)圖像。在尋找圖像配準(zhǔn)參數(shù)的搜索策略上改進(jìn)為目標(biāo)區(qū)域和比較區(qū)域同時(shí)增大，并且在水平和豎直兩個(gè)方向依次進(jìn)行配準(zhǔn)。然后根據(jù)得到的配準(zhǔn)參數(shù)進(jìn)行圖像融合和無(wú)縫處理，除了利用線性加權(quán)函數(shù)平滑過(guò)渡重合區(qū)域之外，在確定拼接結(jié)果圖像的區(qū)域大小上也進(jìn)行了改進(jìn)，實(shí)現(xiàn)任意幅圖像的自動(dòng)無(wú)縫拼接，最終得到超大視角的 醫(yī)學(xué)圖像。另外，為了提升拼接速度和適應(yīng)醫(yī)生需求，實(shí)現(xiàn)時(shí)增加了與醫(yī)生的交互，醫(yī)生可以人為劃定待匹配的區(qū)域，按需簡(jiǎn)化拼接過(guò)程。一種基于互信息和交互的醫(yī)學(xué)圖像拼接方法，包括如下步驟:第一步，圖像預(yù)處理:將待拼接圖像raw格式數(shù)據(jù)從二進(jìn)制16位降為8位；第二步，圖像配準(zhǔn):確定拼接主方向之后，利用互信息度量相似度，分別從水平和豎直方向上進(jìn)行配準(zhǔn)得到配準(zhǔn)參數(shù)，主拼接方向采用目標(biāo)區(qū)域和比較區(qū)域同時(shí)增大的策略，另一個(gè)方向采用選定固定的比較區(qū)域、搜索匹配的目標(biāo)區(qū)域的策略；第三步，圖像融合:利用配準(zhǔn)參數(shù)，首先采取確定拼接結(jié)果圖像大小的策略得到最終結(jié)果圖像的寬和高，然后融合圖像數(shù)據(jù)，重疊區(qū)域采取線性加權(quán)融合進(jìn)行平滑過(guò)渡；所述確定拼接結(jié)果圖像大小的策略，是指:圖像采用一幅接一幅拼，即每步把已經(jīng)拼好的作為新的一幅圖和下一幅圖去拼，并且以下一幅圖的上下邊界作為結(jié)果的上下邊界，在兩幅圖拼接的時(shí)候，拼接結(jié)果的寬度為兩張圖的寬之和減去重合區(qū)域的寬度，高度為后面第二張圖的高度，并且就以第二張圖的上邊界和下邊界作為拼接結(jié)果的邊界，拼接好的圖和第三張圖繼續(xù)重復(fù)上述過(guò)程，如此反復(fù)直至拼接完成。優(yōu)選地，所述圖像預(yù)處理進(jìn)一步包括去除圖像中的噪聲和/或圖像增強(qiáng)。優(yōu)選地，所述的圖像配準(zhǔn)，首先在水平和豎直方向依次進(jìn)行配準(zhǔn)，其次在不同方向上采取了不同的搜索策略，具體如下:待配準(zhǔn)的兩幅圖，在水平方向，采取比較區(qū)域和目標(biāo)區(qū)域同時(shí)增大的策略，每一次互信息計(jì)算迭代之時(shí)，都加入新的像素參與計(jì)算；而在豎直方向，采取選定固定比較區(qū)域、移動(dòng)搜索匹配目標(biāo)區(qū)域的策略。更優(yōu)選地，所述水平方向作為拼接的主方向，使每次迭代參與計(jì)算互信息匹配的兩塊區(qū)域同時(shí)增大，在選定初始區(qū)域大小后，寬度以+2的幅度增加，直到搜索截止條件，得到水平方向上的位移偏移量dx。所述的圖像配準(zhǔn)中區(qū)域的選取方式為以下兩種的任一種:一種是自動(dòng)默認(rèn)的區(qū)域選取方式，以源圖像的最右邊和目標(biāo)圖像的最左邊為邊界，選取height*(l/10*Width)的區(qū)域作為起始區(qū)域?qū)?，每次?jì)算完成互信息計(jì)算后寬度以+2的幅度增加，直至寬度增加到l/2*width(50%)截止；另一種是通過(guò)交互的接口自行定義模板對(duì)的起始區(qū)域和終止區(qū)域。
更優(yōu)選地，所述豎直方向，是指在水平方向搜索到重疊區(qū)域的寬度即位移偏移量dx后，采用搜索策略來(lái)確定豎直方向的偏移量，在源圖像中選定dx* (l/3*height)的比較區(qū)域，然后在目標(biāo)圖像中已經(jīng)通過(guò)dx確定的重疊搜索區(qū)域范圍內(nèi)移動(dòng)目標(biāo)區(qū)域，尋找出互信息值最大時(shí)對(duì)應(yīng)的豎直方向的位移偏移量dy。優(yōu)選地，所述的圖像融合，在拼接結(jié)果圖像的大小確定之后，非重疊區(qū)域直接取原圖灰度值，重疊區(qū)域由兩幅圖按照權(quán)值各自貢獻(xiàn)一部分組成新的灰度值，剩余的區(qū)域用O填充。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:首先，對(duì)任意幅圖像都可以實(shí)現(xiàn)準(zhǔn)確的拼接，方法的穩(wěn)健性較強(qiáng)；其次，拼接結(jié)果圖像的大小精簡(jiǎn)；最后，加 入交互功能使得拼接過(guò)程更加便捷，滿足醫(yī)生需求；本發(fā)明通過(guò)對(duì)現(xiàn)有醫(yī)學(xué)圖像拼接中交互功能、搜索策略的改進(jìn)以及最后拼接結(jié)果圖像大小的確定，能取得令人滿意的拼接結(jié)果，有著重要的臨床應(yīng)用價(jià)值和研究意義。


通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:圖1水平方向配準(zhǔn)時(shí)的示意圖。圖2為豎直方向配準(zhǔn)時(shí)的示意圖。圖3為水平拼接的三幅圖豎直方向位移偏向同一方向時(shí)，最后確定結(jié)果圖像區(qū)域大小的示意圖。圖4為水平拼接的三幅圖豎直方向位移偏向不同方向時(shí)，最后確定結(jié)果圖像區(qū)域大小的示意圖。圖5為拼接測(cè)試樣例圖。圖6為測(cè)試圖水平方向配準(zhǔn)示意圖。圖7為測(cè)試圖豎直方向配準(zhǔn)示意圖。圖8為測(cè)試圖拼接結(jié)果。圖9-圖12為更多測(cè)試圖像的拼接結(jié)果。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。本發(fā)明提出一種專門針對(duì)醫(yī)學(xué)圖像拼接的方法，該方法首先利用互信息配準(zhǔn)得到多幅圖像兩兩之間的重疊區(qū)域參數(shù)，再對(duì)重疊區(qū)域進(jìn)行圖像融合和最后的拼接，從而實(shí)現(xiàn)了超大視角醫(yī)學(xué)圖像的獲取。具體可以包括如下步驟:1、圖像預(yù)處理。圖像序列來(lái)源于醫(yī)院CT成像，均為raw格式原始圖像，灰度數(shù)據(jù)是16位，最重要的一步是將灰度數(shù)據(jù)降為8位(0-255)，主要是為接下來(lái)互信息的計(jì)算提供便利。數(shù)據(jù)范圍縮小從而更加集中，不僅利于編程和運(yùn)算，還會(huì)很大程度上避免運(yùn)算過(guò)程中出現(xiàn)的局部極值問(wèn)題。16位二進(jìn)制可表達(dá)的像素值范圍是0-65536，然而一般的醫(yī)學(xué)圖像其像素值分布范圍遠(yuǎn)沒(méi)有這么寬，所以將其降為8位(0-255)，使得數(shù)據(jù)更加集中，這主要是便于之后用于計(jì)算近似概率密度函數(shù)的直方圖，而且數(shù)據(jù)范圍縮小也利于互信息計(jì)算局部極值的出現(xiàn)和最終編程的實(shí)現(xiàn)。圖像預(yù)處理還可以進(jìn)一步包括去除圖像中的噪聲和圖像增強(qiáng)等。圖像的獲取過(guò)程中都存在一定的噪聲，而且噪聲往往與信號(hào)交織在一起，一般采用頻域?yàn)V波、空間域?yàn)V波和形態(tài)學(xué)濾波等方法。圖像增強(qiáng)技術(shù)按照提高灰度分辨能力和提高細(xì)節(jié)分辨能力可分為對(duì)比度增強(qiáng)和邊緣細(xì)節(jié)增強(qiáng)。直方圖均衡化是常用的一種對(duì)比度增強(qiáng)方法，當(dāng)一幅圖像的對(duì)比度比較低時(shí)，說(shuō)明它的灰度級(jí)別不夠多或者分布不均勻，因此需要進(jìn)行直方圖均衡化處理。由于圖像預(yù)處理不是本發(fā)明的重點(diǎn)，因此這里不做進(jìn)一步展開。在實(shí)施醫(yī)學(xué)圖像拼接的過(guò)程中，根據(jù)所處理圖像的性質(zhì)等選擇合適的圖像預(yù)處理和增強(qiáng)方法，以保證后續(xù)的拼接工作更加高質(zhì)量的實(shí)現(xiàn)。2、重疊區(qū)域搜索，這里以兩幅圖像、拼接方向?yàn)樗椒较驗(yàn)槔M(jìn)行闡述。此步即為最重要的配準(zhǔn)步驟，圖像配準(zhǔn)是依據(jù)相似性度量來(lái)決定圖像見(jiàn)的變換參數(shù)，使不同視角、不同時(shí)間獲取的同一場(chǎng)景的多幅圖像變換到同一坐標(biāo)系下，在像素層上得到最佳匹配的過(guò)程。圖像配準(zhǔn)過(guò)程中，本發(fā)明通過(guò)搜索最佳區(qū)域來(lái)確定圖像重疊區(qū)域。設(shè)有兩幅圖像Il和12，左邊的Il為源圖像，右邊的12為目標(biāo)圖像。選擇區(qū)域時(shí)可以根據(jù)圖像的特征來(lái)定義，盡量包含重疊區(qū)域的主要特征物，一般來(lái)講要拼接的醫(yī)學(xué)圖像有5% — 25%的重疊區(qū)。搜索過(guò)程分為水平方向和豎直方向兩步:(1)、水平方向作為拼接的主方向，要求配準(zhǔn)參數(shù)精度較高，本發(fā)明采取一種不同于傳統(tǒng)方法的搜索策略。傳統(tǒng)的搜索策略是在源圖像Il中選定一塊固定的比較區(qū)域，在目標(biāo)圖像12中搜索匹配的對(duì)應(yīng)區(qū)域，即比較區(qū)域及其大小是不變的，這樣做的缺點(diǎn)有二，一來(lái)無(wú)法確定合適的大小，二來(lái)參與計(jì)算的像素個(gè)數(shù)固定，無(wú)法提供更多信息。本發(fā)明采用的策略是使得每次迭代參與計(jì)算互信息匹配的兩塊區(qū)域同時(shí)增大，在選定初始區(qū)域大小后，寬度以+2的幅度增加，直到搜索截止條件，得到重疊區(qū)域(如圖1所示)。這樣雖然計(jì)算時(shí)間上略有增加，但每次都有額外的像素加入計(jì)算，提升了精度。對(duì)于區(qū)域選取本發(fā)明提供兩種選取方式，一種是自動(dòng)默認(rèn)的區(qū)域選取方式，基于對(duì)大量CT圖像的觀察和一般重疊度大小的估計(jì)，以源圖像的最右邊和目標(biāo)圖像的最左邊為邊界，選取height* (l/10*width)的區(qū)域作為起始區(qū)域?qū)?，每次?jì)算完成互信息計(jì)算后寬度以+2的幅度增加，直至寬度增加到l/2*width(50%)截止。另一種是由醫(yī)生自行定義模板對(duì)的起始區(qū)域和終止區(qū)域，由于醫(yī)生經(jīng)驗(yàn)豐富，可以人為快速地確定兩幅圖中重疊區(qū)域的大概范圍，這樣縮小搜索比對(duì)區(qū)域，避免了大量的無(wú)謂計(jì)算，該發(fā)明在實(shí)現(xiàn)時(shí)專門為醫(yī)生留有交互的接口。(2)豎直方向在水平方向搜索到重疊區(qū)域的寬度dx后，這一步采用傳統(tǒng)的搜索策略來(lái)確定豎直方向的偏移量。在源圖像Il中選定dx*(l/3*height)的比較區(qū)域，然后在目標(biāo)圖像12中已經(jīng)通過(guò)dx確定的重疊搜索區(qū)域范圍內(nèi)移動(dòng)目標(biāo)區(qū)域，尋找出互信息值最大時(shí)對(duì)應(yīng)的豎直方向的位移偏移量dy (如圖2所示)。設(shè)在源圖像中的區(qū)域?yàn)镽，在目標(biāo)圖像中的區(qū)域?yàn)镕，則其灰度相關(guān)用互信息I (R, F)來(lái)度量，表達(dá)式見(jiàn)(1)-(4)所示。I (R, F) = H(R) +H(F) -H(R, F)(I)H(R)= - Σ rpK (r) log2pK Cr)(2)H(F) = - Σ fpF(f) log2pF (f)(3)H(R, F) = - Σ r,fpEF(r, f) log2pEF(r, f)(4)其中H(R)、H(F)、H(R, F)分別為區(qū)域R的熵、區(qū)域F的熵、聯(lián)合熵；pE(r)和pF(f)為R和F的概率密度函數(shù)，pKF(r，f)為兩幅圖像的聯(lián)合概率密度函數(shù)，具體計(jì)算時(shí)均以圖像的直方圖近似作為概率密度函數(shù)?；バ畔⒅翟酱笳f(shuō)明兩區(qū)域的相關(guān)度越大，即重疊概率越大，所搜到的重疊區(qū)域越完整。遍歷整個(gè)搜索范圍，尋找最大相似度，得到最佳匹配區(qū)域，即找到待拼接圖像的重疊區(qū)域。然后進(jìn)行兩幅圖像配準(zhǔn)，變換到同一坐標(biāo)中。3、圖像融合與拼接。這一步包含兩個(gè)任務(wù)，一個(gè)是圖像融合，另一個(gè)是確定最終結(jié)果圖像的大小。圖像融合是圖像拼接的一個(gè)關(guān)鍵技術(shù)。圖像融合是將兩幅已配準(zhǔn)圖像中有用信息綜合到一幅圖像中并以可視化方法顯示的技術(shù)。配準(zhǔn)后的圖像中，由于光照、旋轉(zhuǎn)和平移等因素的影響，直接拼接出來(lái)或者單純的重疊區(qū)域覆蓋，效果往往不是很理想，重疊部分有時(shí)會(huì)產(chǎn)生模糊、鬼影或噪聲點(diǎn)，邊界處也可能形成明顯的拼縫。為了改善拼接圖像的視覺(jué)效果和客觀質(zhì)量，需要對(duì)拼接后的圖像進(jìn)行融合。以重疊區(qū)域的兩邊界為起始位置，本發(fā)明按照線性加權(quán)方法融合得到新區(qū)域。拼接策略如下，非重疊區(qū)域直接取原圖灰度值，重疊區(qū)域由兩幅圖按照權(quán)值各自貢獻(xiàn)一部分組成新的灰度值，權(quán)值見(jiàn)表達(dá)式(5)所示。
f1.l(.x,yX(x,y)ellI(x,y) = < (1- w) * Il(x,y) + w * i2(x, y), (x, y) E (11 n 12)(5)
II2(x, y),(x,y) e 12其中，I(x，y)表示拼接結(jié)果圖像的像素值，11(1，7)、12(1，7)表示圖像Il和12的像素值，W為權(quán)值:W = 3，Xr為圖像Il重疊區(qū)域的左邊界。待拼接的多幅圖像兩兩之間水平方向必有位移偏移(因?yàn)槭撬椒较蚱唇?，豎直方向也可能同時(shí)存在位移偏移，而且有的向上偏，有的向下偏，會(huì)出現(xiàn)多種情況的組合，這樣對(duì)最后結(jié)果圖像的大小的確定構(gòu)成了一定困難。傳統(tǒng)的策略是通過(guò)確定偏移量中的最大值來(lái)確定最后畫布的大小，但是這只能是針對(duì)都偏向同一方向的情況，而且一般作為研究大多數(shù)情況只研究?jī)煞鶊D像的拼接。本發(fā)明針對(duì)的是面向應(yīng)用的，不僅要找到任意多幅圖像兩兩之間的配準(zhǔn)參數(shù)，還要最后拼接起來(lái)，所以采取了一種新的策略。首先大方向是一幅接一幅的拼，而不是多幅圖一起拼；其次在兩幅圖拼接的時(shí)候，拼接結(jié)果的寬度為兩張圖的寬之和減去重合區(qū)域的寬度，高度為后面第二張圖的高度，并且就以第二張圖的上邊界和下邊界作為拼接結(jié)果的邊界，拼接好的圖和第三張圖繼續(xù)重復(fù)上述過(guò)程，如此反復(fù)直至拼接完成。這樣的策略不僅依然能夠保證圖像的主要部分都出現(xiàn)在最后結(jié)果而沒(méi)有被截掉，還最精簡(jiǎn)地得到了結(jié)果圖像的大小(如圖3、4所示)。實(shí)施例:為了使得方法效果顯示的更加明顯，本實(shí)施例選取了兩幅水平方向和豎直方向都存在位移偏差的醫(yī)學(xué)圖像進(jìn)行拼接(如圖5所示，height=width=2021)，主方向是水平方向拼接。這兩圖對(duì)比度比較適宜，也不存在明顯的噪聲，故略去了預(yù)處理環(huán)節(jié)。首先進(jìn)行水平方向的配準(zhǔn)。先在源圖像Il和目標(biāo)圖像12中選定初始區(qū)域?qū)Γ_始計(jì)算互信息，然后按照箭頭的方向，每一次區(qū)域的寬度都以+2的幅度增加(注意要保證區(qū)域?qū)Φ膬蓚€(gè)面積始終相同)，增加一次計(jì)算一次互信息，如此反復(fù)直至到達(dá)搜索終點(diǎn)(程序默認(rèn)是搜索到1/4寬度，啟動(dòng)交互功能后醫(yī)生可以自行設(shè)定)。互信息達(dá)到最大時(shí)對(duì)應(yīng)的區(qū)域其寬度為dx=922，代表此時(shí)來(lái)自兩幅圖的兩個(gè)區(qū)域相似度是最大的，重疊區(qū)域就在這個(gè)范圍內(nèi)(如圖6所示)。其次是豎直方向的配準(zhǔn)。先在源圖像Il中選定一個(gè)包含主要特征物的比較區(qū)域，然后在目標(biāo)圖像12中以相同大小的目標(biāo)區(qū)域從上向下搜索，直到目標(biāo)區(qū)域到達(dá)圖像底部為止?；バ畔⑦_(dá)到最大時(shí)對(duì)應(yīng)的區(qū)域即為與Il中相似度最大的區(qū)域，可認(rèn)為是最終的重疊區(qū)域，此時(shí)豎直方向的偏移量為dy=268，代表目標(biāo)圖像12應(yīng)該在拼接的時(shí)候向上移dy的距離(如圖7所示)。接下來(lái)需要對(duì)重合區(qū)域進(jìn)行圖像融合以及最后的拼接。如果不進(jìn)行融合而直接用目標(biāo)圖像12去覆蓋源圖像II，得到的結(jié)果如圖所示，有明顯的縫存在，但是進(jìn)行線性加權(quán)融合后得到的結(jié)果如圖 所示，這樣的結(jié)果是比較令人滿意的。而確定這幅結(jié)果圖的大小時(shí)，采用的策略見(jiàn)圖所示，由于相對(duì)源圖像II，目標(biāo)圖像12向下偏了，拼接的時(shí)候需要向上移動(dòng)，那么在確定最后結(jié)果圖像大小的時(shí)候，就以目標(biāo)圖像12的上邊界和下邊界作為結(jié)果的邊界。可以看到源圖像Il中損失的只是靠下的黑色背景部分，這部分本身對(duì)診斷也無(wú)用，當(dāng)然上邊多出來(lái)的部分要用O填充。最終的結(jié)果如圖8所示(height=2021，width=3120)。對(duì)于多幅圖的拼接，就是將上述兩幅圖的拼接過(guò)程迭代重復(fù)，圖9-圖12是更多測(cè)試圖像的拼接結(jié)果，包括了三幅和四幅圖拼接的情況，可以看到效果都很令人滿意。為了驗(yàn)證交互功能帶來(lái)的好處，這里以拼接時(shí)間作為評(píng)價(jià)標(biāo)準(zhǔn)。對(duì)于如圖9所示的三幅圖拼接，當(dāng)選擇默認(rèn)搜索區(qū)域進(jìn)行拼接時(shí)耗時(shí)32s ;然而對(duì)于醫(yī)生來(lái)說(shuō)，可以快速選擇更小的搜索范圍，觀察發(fā)現(xiàn)這三幅圖的重疊度在20%左右，只需要搜索到25%即可，可見(jiàn)醫(yī)生人為的操作可以減少不必要的計(jì)算，本實(shí)施例最終拼接耗時(shí)14s，可以看到有很明顯的改善。以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。
權(quán)利要求
1.一種基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于包括如下步驟: 第一步，圖像預(yù)處理:將待拼接圖像raw格式數(shù)據(jù)從二進(jìn)制16位降為8位； 第二步，圖像配準(zhǔn):確定拼接主方向之后，利用互信息度量相似度，分別從水平和豎直方向上進(jìn)行配準(zhǔn)得到配準(zhǔn)參數(shù)，主拼接方向采用目標(biāo)區(qū)域和比較區(qū)域同時(shí)增大的策略，另一個(gè)方向采用選定固定的比較區(qū)域、搜索匹配的目標(biāo)區(qū)域的策略； 第三步，圖像融合:利用配準(zhǔn)參數(shù)，首先采取確定拼接結(jié)果圖像大小的策略得到最終結(jié)果圖像的寬和高，然后融合圖像數(shù)據(jù)，重疊區(qū)域采取線性加權(quán)融合進(jìn)行平滑過(guò)渡； 所述確定拼接結(jié)果圖像大小的策略，是指:圖像采用一幅接一幅拼，即每步把已經(jīng)拼好的作為新的一幅圖和下一幅圖去拼，并且以下一幅圖的上下邊界作為結(jié)果的上下邊界，在兩幅圖拼接的時(shí)候，拼接結(jié)果的寬度為兩張圖的寬之和減去重合區(qū)域的寬度，高度為后面第二張圖的高度，并且就以第二張圖的上邊界和下邊界作為拼接結(jié)果的邊界，拼接好的圖和第三張圖繼續(xù)重復(fù)上述過(guò)程，如此反復(fù)直至拼接完成。
2.根據(jù)權(quán)利要求1所述的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述圖像預(yù)處理進(jìn)一步包括去除圖像中的噪聲和/或圖像增強(qiáng)。
3.根據(jù)權(quán)利要求1所述的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述的圖像配準(zhǔn)，首先在水平和豎直方向依次進(jìn)行配準(zhǔn)，其次在不同方向上采取了不同的搜索策略，具體如下: 待配準(zhǔn)的兩幅圖，在水平方向，采取比較區(qū)域和目標(biāo)區(qū)域同時(shí)增大的策略，每一次互信息計(jì)算迭代之時(shí)，都加入新的像素參與計(jì)算；而在豎直方向，采取選定固定比較區(qū)域、移動(dòng)搜索匹配目標(biāo)區(qū)域的策略。
4.根據(jù)權(quán)利要求3所述 的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述水平方向作為拼接的主方向，使每次迭代參與計(jì)算互信息匹配的兩塊區(qū)域同時(shí)增大，在選定初始區(qū)域大小后，寬度以+2的幅度增加，直到搜索截止條件，得到重疊區(qū)域的寬度。
5.根據(jù)權(quán)利要求4所述的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述的區(qū)域，其選取方式為以下兩種的任一種: 一種是自動(dòng)默認(rèn)的區(qū)域選取方式，以源圖像的最右邊和目標(biāo)圖像的最左邊為邊界，選取height* (l/10*width)的區(qū)域作為起始區(qū)域?qū)?每次計(jì)算完成互信息計(jì)算后寬度以+2的幅度增加，直至寬度增加到l/2*width(50%)截止； 另一種是通過(guò)交互的接口自行定義模板對(duì)的起始區(qū)域和終止區(qū)域。
6.根據(jù)權(quán)利要求3所述的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述豎直方向，是指在水平方向搜索到重疊區(qū)域的寬度dx后，采用搜索策略來(lái)確定豎直方向的偏移量，在源圖像中選定dX*(l/3*height)的比較區(qū)域，然后在目標(biāo)圖像中已經(jīng)通過(guò)dx確定的重疊搜索區(qū)域范圍內(nèi)移動(dòng)目標(biāo)區(qū)域，尋找出互信息值最大時(shí)對(duì)應(yīng)的豎直方向的位移偏移量dy。
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的基于互信息和交互的醫(yī)學(xué)圖像拼接方法，其特征在于所述的圖像融合，在拼接結(jié)果圖像的大小確定之后，非重疊區(qū)域直接取原圖灰度值，重疊區(qū)域由兩幅圖按照權(quán)值各自貢獻(xiàn)一部分組成新的灰度值，剩余的區(qū)域用O填充。
全文摘要
本發(fā)明提供一種基于互信息和交互的醫(yī)學(xué)圖像拼接方法，該方法在尋找圖像配準(zhǔn)參數(shù)的搜索策略上改進(jìn)為目標(biāo)區(qū)域和比較區(qū)域同時(shí)增大，并且在水平和豎直兩個(gè)方向依次進(jìn)行配準(zhǔn)。然后根據(jù)得到的配準(zhǔn)參數(shù)進(jìn)行圖像融合和無(wú)縫處理，除了利用線性加權(quán)函數(shù)平滑過(guò)渡重合區(qū)域之外，在確定拼接結(jié)果圖像的區(qū)域大小上也進(jìn)行了改進(jìn)，實(shí)現(xiàn)任意幅圖像的自動(dòng)無(wú)縫拼接，最終得到超大視角的醫(yī)學(xué)圖像。另外，為了提升拼接速度和適應(yīng)醫(yī)生需求，實(shí)現(xiàn)時(shí)增加了與醫(yī)生的交互，醫(yī)生可以人為劃定待匹配的區(qū)域，按需簡(jiǎn)化拼接過(guò)程。實(shí)驗(yàn)證明該方法能取得令人滿意的拼接結(jié)果，有著重要的臨床應(yīng)用價(jià)值和研究意義。
文檔編號(hào)G06T5/50GK103236048SQ201310135209
公開日2013年8月7日 申請(qǐng)日期2013年4月18日 優(yōu)先權(quán)日2013年4月18日
發(fā)明者李一君, 楊杰 申請(qǐng)人:上海交通大學(xué)