專利名稱：基于顯著性區(qū)域的可見光圖像配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，模式識(shí)別技術(shù)，特別涉及一種基于顯著性區(qū)域的自動(dòng)圖像
配準(zhǔn)技術(shù)。
背景技術(shù)：
目前主流的自動(dòng)圖像配準(zhǔn)方法，主要有基于特征點(diǎn)的配準(zhǔn)，基于圖像灰度值的配 準(zhǔn)，基于互信息的配準(zhǔn)方法等。這些方法都還存在一些不足之處，基于特征點(diǎn)的配準(zhǔn)，對(duì)一 些質(zhì)量比較差的可見光圖像，特征點(diǎn)難以準(zhǔn)確提取，基于圖像灰度值的配準(zhǔn)要求兩幅圖像 的灰度值必須要一致，對(duì)受光照等環(huán)境影響的圖像配準(zhǔn)精度不高，基于互信息的配準(zhǔn)，配準(zhǔn) 需要的時(shí)間比較長(zhǎng)，而且可能會(huì)陷入局部極值，無法得到精確配準(zhǔn)結(jié)果。因此，對(duì)于低質(zhì)量 的圖像很多還是采用手動(dòng)配準(zhǔn)，手動(dòng)配準(zhǔn)的成功率和精度都比較高，但是它加大了操作者 的負(fù)擔(dān)，配準(zhǔn)的速度比較慢。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的是提供一種快速、精確、魯棒、基于顯著性區(qū) 域的可見光圖像配準(zhǔn)方法。 為達(dá)成所述目的，本發(fā)明提供一種基于顯著性區(qū)域的自動(dòng)圖像配準(zhǔn)方法，該方法 的步驟如下 步驟1 :在計(jì)算機(jī)上加載兩幅待配準(zhǔn)圖像，選擇一幅作為參考圖像，另一幅作為浮 動(dòng)圖像； 步驟2 :將參考圖像和浮動(dòng)圖像分成MXN個(gè)矩形區(qū)域，計(jì)算每一個(gè)區(qū)域R的局部 顯著性函數(shù)Ls(R);對(duì)局部顯著性函數(shù)Ls(R)進(jìn)行高斯擬合，計(jì)算擬合后的局部顯著性函數(shù) 值Fls(R);選擇Fls(R)的局部極值區(qū)域的中心作為顯著性區(qū)域中心；對(duì)每一個(gè)顯著性區(qū)域 中心，根據(jù)鄰域內(nèi)的Fls(R)分布計(jì)算區(qū)域的半徑，提取參考圖像和浮動(dòng)圖像的顯著性區(qū)域 R ; 步驟3 :對(duì)提取出的顯著性區(qū)域R構(gòu)建一個(gè)72維的尺度無關(guān)特征描述子Lfd(R); 定義一個(gè)距離度量函數(shù)為Dist (Lf d (R》，Lf d (R2))，衡量?jī)蓚€(gè)特征描述子Lf d (R》，Lf d (R2) 間的相似性；對(duì)兩幅圖像的任一顯著性區(qū)域?qū)(i， j)，計(jì)算C(i， j)的區(qū)域匹配相似度，采 用由粗到精的匹配策略，進(jìn)行顯著性區(qū)域的匹配； 步驟4 :對(duì)初步匹配上的顯著性區(qū)域?qū)mp(i， j)，采用基于歸一化相關(guān)系數(shù)的相 似性度量進(jìn)行局部剛體配準(zhǔn)； 步驟5 :對(duì)局部剛體配準(zhǔn)后的區(qū)域，采用聚類分析的方法，提取精確匹配成功的區(qū)
域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)，實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。 其中，所述局部顯著性函數(shù)Ls(R)是Ls(R) =Av(R) 'Lge(R)，式中:Av(R)是區(qū)
域R的歸一化區(qū)域差異函數(shù)表示為Av(R) = 0/y， o是區(qū)域R的標(biāo)準(zhǔn)差，y是區(qū)域R的
均值；Lge (R)是區(qū)域R的梯度場(chǎng)熵表示如下
5<formula>formula see original document page 6</formula> Pi (R)是梯度方向位于第i個(gè)扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占的梯度幅值比例 表示如下 A(李 '
Ri是由所有梯度方向位于第i個(gè)扇形區(qū)域內(nèi)的像素
點(diǎn)構(gòu)成的點(diǎn)集，I g(義)|= ^/G,(Z)2 + GJX)2是像素點(diǎn)X梯度幅值，Xi是點(diǎn)集&中的像素 點(diǎn)。 其中，所述擬合后的局部顯著性函數(shù)值Fls(R)的計(jì)算為 = EZ^M^exp—((。—') +(")2)一2)，式中:用。=L 5的高斯核函數(shù)進(jìn)行
擬合，M是圖像在X方向上劃分的矩形區(qū)域數(shù)，N是圖像在Y方向上劃分的矩形區(qū)域數(shù)，(a， i) G {1，2，... ，Mh是區(qū)域R在MXN矩形區(qū)域陣列中X方向上的坐標(biāo)，(b，j) G {1，2，...， N}是區(qū)域R在MXN矩形區(qū)域陣列中Y方向上的坐標(biāo)，矩形區(qū)域?yàn)镽ab。
其中，所述每一個(gè)顯著性區(qū)域中心的區(qū)域半徑的計(jì)算包括以顯著性區(qū)域中心所 在矩形區(qū)域Rab為中心，構(gòu)建一個(gè)半徑最大的正方形矩形區(qū)域集合Q， Q必須滿足以下條
件 Fls ay > A Fls (Rab) ， Vi^ e Q , 式中Fls(Rij)是區(qū)域Rij擬合后的局部顯著性函數(shù)值，A是矩形區(qū)域半徑控制參 數(shù)，經(jīng)驗(yàn)取值為0.75;選擇Q的長(zhǎng)度和寬度中的較小值作為顯著性區(qū)域半徑。
其中，所述構(gòu)建一個(gè)72維的尺度無關(guān)特征描述子為:Lfd(R) = (p具…P36(R)， dai (R) ，. . . da36 (R))，式中Pi (R)是梯度方向位于第i個(gè)扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占 的梯度幅值比例，cK(R) G
<formula>formula see original document page 6</formula> 式中Eud(dai(R》，dai(ig)是&和R2中對(duì)應(yīng)第i個(gè)方向角間的夾角。
其中，所述顯著性區(qū)域的匹配包括1)遍歷兩幅圖像的每一個(gè)可能的顯著性區(qū)域 匹配C(i， j)，式中i表示參考圖像的第i個(gè)顯著性區(qū)域Ri， j表示浮動(dòng)圖像的第j個(gè)顯著 性區(qū)域Rj ;滿足以下條件的C(i， j)則認(rèn)為是粗匹配上的顯著性區(qū)域?qū)mp(i， j): M-"(碎,),律》)M ,),_Lge(^)) <formula>formula see original document page 6</formula>
式中Min ( )函數(shù)是求最小值，Max ( )函數(shù)是求最大值，T是粗匹配控制參數(shù)，經(jīng) 驗(yàn)取值為0. 6 ; 2)對(duì)每一個(gè)粗匹配區(qū)域?qū)mp (i， j)，按如下方法計(jì)算&和Rj間的相似性S (i， j)
以及旋轉(zhuǎn)角度9ij^z-"^'
36 S(i，j) = Dist(Lfd(Ri) ， Lfd(Rjk))，k = argk Min(Dist(Lfd(Ri) ， Lfd(Rjk))) ， k G {0，1，...35}， 式中，Rjk是將Rj逆時(shí)針旋轉(zhuǎn)10 ，k度得到的新區(qū)域；每一個(gè)粗匹配區(qū)域?qū)mp(i，
j)確定三個(gè)全局剛性變換參數(shù)為二維平移(由&和Rj的區(qū)域中心決定)以及旋轉(zhuǎn)參數(shù)
9 一
ij ， 3)按S(i， j)升序排列所有的Cmp(i， j)，選取前2000 (如果提取的粗匹配區(qū)域?qū)?br> 數(shù)目不足則以實(shí)際的數(shù)目為準(zhǔn))個(gè)粗匹配區(qū)域?qū)mp(i， j)作為輸入樣本集合，設(shè)置合適的
類內(nèi)距離閾值，對(duì)Cmp(i， j)進(jìn)行全局剛性變換參數(shù)空間上的聚類，選取聚類內(nèi)數(shù)目最多的
類作為初步匹配上的顯著性區(qū)域?qū)(i，j);按S(i，j)的大小來剔除重復(fù)的區(qū)域，保證初步
匹配上的顯著性區(qū)域?qū)(i， j)中不包含重復(fù)的區(qū)域，減小后續(xù)的計(jì)算量。 其中，所述局部剛體配準(zhǔn)是對(duì)初步匹配上的顯著性區(qū)域?qū)(i， j)，以顯著性區(qū)域
Ri， Rj的中心位置和旋轉(zhuǎn)角度9 ij作為初始配準(zhǔn)參數(shù)，進(jìn)行局部剛體配準(zhǔn)。 其中，所述實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)包括對(duì)局部剛體配準(zhǔn)后的區(qū)域，設(shè)置更精細(xì)
的類內(nèi)距離閾值，進(jìn)行全局剛性變換參數(shù)空間上的聚類分析，提取精確匹配上的區(qū)域?qū)Γ徊?br> 以精確匹配上的區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)，實(shí)現(xiàn)兩幅圖像的精
確配準(zhǔn)。 本發(fā)明的有益效果本發(fā)明利用提取圖像中的顯著性區(qū)域，計(jì)算區(qū)域特征描述子， 然后采用由粗到精的顯著性區(qū)域匹配策略，將初步匹配上的顯著性區(qū)域?qū)M(jìn)行局部剛體配 準(zhǔn)，最后提取局部剛體配準(zhǔn)成功的區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)， 實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。由于我們很好的定義了區(qū)域顯著性函數(shù)和特征描述子，采用由 粗到精的顯著性區(qū)域匹配策略以及圖像配準(zhǔn)策略，整個(gè)算法的計(jì)算量大大減少，同時(shí)對(duì)低 質(zhì)量的圖像也能很好的完成精確配準(zhǔn)，算法具有非常高的魯棒性。實(shí)驗(yàn)結(jié)果表明，本方法可 以在4s左右完成一般圖像的配準(zhǔn)，低質(zhì)量圖像配準(zhǔn)時(shí)間會(huì)長(zhǎng)一些，在10s左右也可完成精 確配準(zhǔn)，對(duì)1548X1260的圖像配準(zhǔn)精度可以達(dá)到2個(gè)像素。因此，具有重大的應(yīng)用價(jià)值。


圖1是本發(fā)明方法執(zhí)行流程示意圖； 圖2(a)浮動(dòng)圖像； 圖2(b)參考圖像； 圖2 (c)是提取的浮動(dòng)圖像顯著性區(qū)域； 圖2(d)是提取的參考圖像顯著性區(qū)域 圖2(e)是初步匹配上的顯著性區(qū)域示意圖； 圖3是梯度方向劃分示意圖； 圖4(a)是顯著性區(qū)域R的梯度分布示意 圖4(b)是顯著性區(qū)域特征描述子前36維特征向量示意圖； 圖4(c)是顯著性區(qū)域特征描述子后36維特征向量示意圖； 圖5是配準(zhǔn)后的浮動(dòng)圖像示意圖； 圖6是融合后的圖像示意具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。 如圖l示出本發(fā)明方法執(zhí)行流程示意圖；在計(jì)算機(jī)101上加載兩幅待配準(zhǔn)圖像，選
擇一幅作為參考圖像，另一幅作為浮動(dòng)圖像；利用計(jì)算機(jī)101實(shí)現(xiàn)以下四個(gè)順序處理單元
對(duì)可見光圖像配準(zhǔn)顯著性區(qū)域提取單元102，用來提取可見光圖像中的顯著性區(qū)域；區(qū)域
特征描述子計(jì)算及顯著性區(qū)域匹配單元103，用來計(jì)算顯著性區(qū)域的特征描述子，以及基于
特征描述子間的相似性進(jìn)行顯著性區(qū)域匹配；局部剛體配準(zhǔn)單元104，對(duì)初步匹配上的顯
著性區(qū)域進(jìn)行局部剛體配準(zhǔn)；全局二次多項(xiàng)式變換配準(zhǔn)單元105，提取局部剛體配準(zhǔn)后的
區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換，實(shí)現(xiàn)圖像的精確配準(zhǔn)。 所述顯著性區(qū)域提取單元102，具體實(shí)現(xiàn)是應(yīng)用計(jì)算機(jī)IOI，并可以利用編程語(yǔ)言 區(qū)域特征描述子計(jì)算及顯著性區(qū)域匹配單元103，具體實(shí)現(xiàn)是應(yīng)用計(jì)算機(jī)101，并 可以利用編程語(yǔ)言0++編寫程序，實(shí)現(xiàn)如下功能對(duì)提取出的顯著性區(qū)域，計(jì)算它的72維的 尺度無關(guān)特征描述子Lfd (R)，定義距離度量函數(shù)Dist (Lfd (R》，Lfd (R2))，衡量?jī)蓚€(gè)特征描 述子Lfd(R》，Lfd(R2)間的相似性，對(duì)兩幅圖像的任一顯著性區(qū)域?qū)?，?jì)算它們的區(qū)域匹配 相似度，采用由粗到精的匹配策略，進(jìn)行顯著性區(qū)域的匹配。 所述局部剛體配準(zhǔn)單元104，具體實(shí)現(xiàn)是應(yīng)用計(jì)算機(jī)IOI，并可以利用編程語(yǔ)言 〔++編寫程序，實(shí)現(xiàn)如下功能對(duì)初步匹配上的顯著性區(qū)域?qū)?，采用基于歸一化相關(guān)系數(shù)的 相似性度量進(jìn)行局部剛體配準(zhǔn)。 所述全局二次多項(xiàng)式變換配準(zhǔn)單元105，具體實(shí)現(xiàn)是應(yīng)用計(jì)算機(jī)IOI，并可以利用 編程語(yǔ)言0++編寫程序，實(shí)現(xiàn)如下功能對(duì)局部剛體配準(zhǔn)后的區(qū)域，設(shè)置更精細(xì)的類內(nèi)距離 閾值，進(jìn)行全局剛性變換參數(shù)空間上的聚類分析，提取精確匹配成功的區(qū)域中心點(diǎn)作為控 制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)，實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。
本發(fā)明的配準(zhǔn)方法主要包括以下步驟 步驟1 :加載兩幅待配準(zhǔn)圖像，應(yīng)用計(jì)算機(jī)讀取圖像，將圖像轉(zhuǎn)化為二維數(shù)組，存 儲(chǔ)在計(jì)算機(jī)中，以方便后續(xù)單元進(jìn)行處理，選擇一幅作為參考圖像，另一幅作為浮動(dòng)圖像， 如圖2(a)，圖2(b)所示。 步驟2 :運(yùn)行顯著性區(qū)域提取單元102，提取兩幅圖像的顯著性區(qū)域。
顯著性區(qū)域的提取主要由以下幾步完成 1、將參考圖像和浮動(dòng)圖像分成MXN個(gè)矩形區(qū)域，M， N的取值跟圖像大小相關(guān)，在 我們的方法中，將1548X1260的圖像分成100X100個(gè)矩形區(qū)域，計(jì)算每一個(gè)矩形區(qū)域R的 局部顯著性函數(shù)Ls(R):
Ls (R) = Av (R) Lge (R)， 其中Av(R)是區(qū)域R的歸一化區(qū)域差異函數(shù)，表示為Av(R) = o/ii ，式中o是 區(qū)域R的標(biāo)準(zhǔn)差，P是區(qū)域R的均值； Lge (R)是區(qū)域R的梯度場(chǎng)熵，表示如下
36 Lge(7 ) = —SA(i )l0g2/7,(7 )式中Pi(R)是梯度方向(像素點(diǎn)X的梯度方向
,'=1
由該點(diǎn)的梯度向量g(X) = [GX(X)， Gy(X)]確定，如圖3所示，我們將整個(gè)G,Gy平面分成36 等分)位于第i個(gè)扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占的梯度幅值比例表示如下 二 ^- 式中Ri是由所有梯度方向位于第i個(gè)扇形區(qū)域內(nèi)的像素點(diǎn)構(gòu)成的點(diǎn)集，
I g(義)|= V《(Z)2 + (I)2是像素點(diǎn)X梯度幅值，Xi是點(diǎn)集Ri中的像素點(diǎn)。如果區(qū)域的
歸一化區(qū)域差異函數(shù)Av(R)的值比較小，那么區(qū)域的像素值分布比較一致，區(qū)域同質(zhì)性比 較強(qiáng)，區(qū)域顯著性不明顯，如果Av(R)的值比較大，區(qū)域像素值分布比較復(fù)雜，區(qū)域異質(zhì)性 比較強(qiáng)，區(qū)域顯著性比較明顯。另一方面，如果區(qū)域是同質(zhì)的，那么局部梯度場(chǎng)分布應(yīng)該是 規(guī)則的，梯度場(chǎng)熵Lge(R)的值比較小，區(qū)域顯著性低，如果區(qū)域是異質(zhì)的，那么局部梯度場(chǎng) 的分布就比較復(fù)雜，梯度場(chǎng)熵Lge(R)的值比較大，區(qū)域顯著性增強(qiáng)。結(jié)合Av(R)和Lge (R) 的區(qū)域顯著性度量，Ls(R)能更好的度量區(qū)域的顯著性水平。 2、在完成局部顯著性函數(shù)Ls(R)的計(jì)算之后，我們采用o = 1. 5的高斯核函數(shù)進(jìn) 行擬合，計(jì)算擬合后的局部顯著性函數(shù)值Fls(R):=zs^^exp—((a—') ("))/()
i=1 乂=1 2;rcr M是圖像在X方向上劃分的矩形區(qū)域數(shù)，N是圖像在Y方向上劃分的矩形區(qū)域數(shù)， (a， i) G {1，2， ...，Mh是區(qū)域R在MXN矩形區(qū)域陣列中X方向上的坐標(biāo)，(b， j) G {1， 2，...，N}是區(qū)域R在MXN矩形區(qū)域陣列中Y方向上的坐標(biāo)，通過對(duì)Ls(R)進(jìn)行高斯擬合， Fls(R)可以反映區(qū)域R的鄰域的顯著性水平，從而能更準(zhǔn)確的度量R的區(qū)域顯著性，所以我 們選擇Fls(R)的局部極值區(qū)域的中心點(diǎn)作為顯著性區(qū)域中心。 3、在完成顯著性區(qū)域中心提取后，根據(jù)鄰域內(nèi)的Fls(R)分布計(jì)算每一個(gè)顯著性 區(qū)域中心的區(qū)域半徑，包括 以顯著性區(qū)域中心所在矩形區(qū)域Rab為中心，構(gòu)建一個(gè)半徑最大的正方形矩形區(qū)
域集合Q ， Q必須滿足以下條件 Fls (Rij) > A Fls (Rab) ， V《).G Q ， 其中Fls(Rij)是區(qū)域Rij擬合后的局部顯著性函數(shù)值，A是區(qū)域半徑控制參數(shù)， 經(jīng)驗(yàn)取值為0.75。選擇Q的長(zhǎng)度(X方向包含的像素?cái)?shù))和寬度(Y方向包含的像素?cái)?shù)) 中的較小值作為顯著性區(qū)域半徑，完成圖像的顯著性區(qū)域提取，如圖2 (c)，圖2 (d)所示。
步驟3 :運(yùn)行區(qū)域特征描述子計(jì)算及顯著性區(qū)域匹配單元103，完成兩幅圖像的顯
9著性區(qū)域匹配。
顯著性區(qū)域匹配主要由以下幾步完成 1、對(duì)每一個(gè)顯著性區(qū)域R，我們遍歷區(qū)域R的每一個(gè)像素，計(jì)算其梯度幅值和梯度 方向。然后統(tǒng)計(jì)區(qū)域R的梯度向量分布和每個(gè)梯度方向上包含的像素點(diǎn)集合，構(gòu)建一個(gè)72 維的尺度無關(guān)特征描述子Lfd(R): <formula>formula see original document page 10</formula> 其中pjR)是梯度方向位于第i個(gè)扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占的梯度幅值 比例，cki(R) G
其中Min( )函數(shù)是求最小值，Max( )函數(shù)是求最大值，T是粗匹配控制參數(shù)， T值設(shè)定越高，則粗匹配條件要求越嚴(yán)格，粗匹配上的顯著性區(qū)域?qū)mp (i， j)也越少，經(jīng)驗(yàn) 取值為0.6。 4、對(duì)每一個(gè)粗匹配區(qū)域?qū)mp(i， j)，按如下方法計(jì)算&和Rj間的相似性S(i， j) 以及旋轉(zhuǎn)角度9 ij :<formula>formula see original document page 10</formula>
其中，是將Rj逆時(shí)針旋轉(zhuǎn)10 k角度得到的新區(qū)域。 每一個(gè)粗匹配區(qū)域?qū)mp(i， j)都可以確定三個(gè)全局剛性變換參數(shù)為浮動(dòng)圖像 中心相對(duì)參考圖像中心的平移tx，ty(tx = 0jX-0iX，ty = 0jy-0iy)以及繞浮動(dòng)圖像中心的旋 轉(zhuǎn)角度9ij。其中0iX，0iy是顯著性區(qū)域Ri中心0i的X和Y方向上的坐標(biāo)，0jX，0j.y是顯著 性區(qū)域Rj中心0j的X和Y方向上的坐標(biāo)。 5、按S (i， j)升序排列所有的Cmp (i， j)，選取前2000 (如果提取的粗匹配區(qū)域?qū)?shù) 目不足則以實(shí)際的數(shù)目為準(zhǔn))個(gè)粗匹配區(qū)域?qū)mp(i， j)作為輸入樣本集合，設(shè)置合適的類 內(nèi)距離閾值，對(duì)Cmp(i， j)進(jìn)行全局剛性變換參數(shù)空間上的聚類，選取聚類內(nèi)數(shù)目最多的類 作為初步匹配上的顯著性區(qū)域?qū)(i， j)。具體的聚類方法如下固定浮動(dòng)圖像的中心Cm， 通過每一個(gè)粗匹配對(duì)Cmp(i， j)確定的三個(gè)剛體變換變換參數(shù)，將Cm映射到參考圖像上的 Cf 點(diǎn)，具體表達(dá)式如下
《O乂x
_+
0, 其中Cmx， Cmy， CfijX， Cfijy分別是Cm和CfJ和Y方向上的坐標(biāo)。我們對(duì)映射后 的Cfij點(diǎn)在二維歐式空間上進(jìn)行聚類，通過設(shè)置合適的類內(nèi)閾值(跟圖像的尺寸大小相關(guān)， 在我們的實(shí)驗(yàn)中選取的類內(nèi)閾值t為50)，選取聚類內(nèi)數(shù)目最多的類作為初步匹配上的顯 著性區(qū)域?qū)(i， j) 。 二維歐式空間上的聚類步驟如下
1.初始化分類數(shù)目N為0。 2.按順序遍歷映射后的Cfij點(diǎn)，如果N二O，將當(dāng)前Cfij作為第一類的中心，N =
N+l ;反之，依次計(jì)算Cfij與第k(k二 l，... ，N)類中心的距離dk，選取最小值dkmin，如果dkmin
< t，則將Cfij歸入第kmin類并更新第kmin類的中心以及類內(nèi)元素?cái)?shù)，如果dkmin > t，則將 Cfij作為第N+l類的中心，N = N+l。 3.選取類內(nèi)數(shù)目最多的類對(duì)應(yīng)的粗匹配Cmp(i，j)對(duì)作為初步匹配上的顯著性區(qū) 域?qū)(i， j)，然后，我們按S(i， j)的大小來剔除重復(fù)的區(qū)域，如果F(3，5)和F(3，7)都是 F(i， j)中的元素，我們比較S(3，5)和S(3，7)的大小，剔除值比較大的匹配。保證初步匹 配上的顯著性區(qū)域?qū)(i， j)中不包含重復(fù)的區(qū)域，減小后續(xù)的計(jì)算量。初步匹配上的顯著 性區(qū)域?qū)θ鐖D2(e)所示。 步驟4 :運(yùn)行局部剛體配準(zhǔn)單元104。對(duì)步驟3中初步匹配上的顯著性區(qū)域?qū)(i， j)，以區(qū)域Ri， Rj的中心確定初始平移參數(shù)tx， ty，以旋轉(zhuǎn)角度9 u作為初始旋轉(zhuǎn)參數(shù)，以歸 一化相關(guān)系數(shù)作為區(qū)域相似性度量，進(jìn)行局部剛體配準(zhǔn)。歸一化相關(guān)系數(shù)的定義如下
Z 二 (巧(x)-響.(M, (x)-両)
7VCC(F,M)=.
,-，)-F(x))2 .VL(M,W-M(x))2 ， 其中N是參考圖像和浮動(dòng)圖像重疊區(qū)域內(nèi)包含的像素?cái)?shù)，F(xiàn)i(x)和Mi(x)分別是參 考圖像和浮動(dòng)圖像第i個(gè)像素值，？^和^分別是參考圖像和浮動(dòng)圖像區(qū)域內(nèi)像素的均 步驟5 :運(yùn)行全局二次多項(xiàng)式變換配準(zhǔn)單元105。在步驟4中完成局部剛體配準(zhǔn)后， 可能存在錯(cuò)誤的區(qū)域配準(zhǔn)結(jié)果，在進(jìn)行全局二次多項(xiàng)式變換前需要剔除錯(cuò)誤的區(qū)域配準(zhǔn)結(jié) 果，在這里我們對(duì)局部剛體配準(zhǔn)后的區(qū)域及對(duì)應(yīng)的全局剛性配準(zhǔn)參數(shù)，采用步驟3中第5步
11所描述的聚類分析方法，設(shè)置更精細(xì)的類內(nèi)距離閾值(和圖像大小相關(guān)，在我們的實(shí)驗(yàn)中 取為20)，進(jìn)行全局剛性變換參數(shù)空間上的聚類分析，選擇聚類內(nèi)數(shù)目最多的類作為精確匹 配上的區(qū)域?qū)Α２⒁跃_匹配上的區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)， 實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。全局二次多項(xiàng)式變換配準(zhǔn)的數(shù)學(xué)模型如下
Xr = A B，
oo
10
01
20
02
^。
6U 6，n 6,
20
'02 爿=
i 。00 5=[1 X0h X么 ' XD = [XD，y。]T是浮動(dòng)圖像中的點(diǎn)坐標(biāo)，Xc = [Xc，yc]T是參考圖像中的點(diǎn)坐標(biāo)，A是 二次多項(xiàng)式變換矩陣，A可以通過以下方法進(jìn)行求解，其中K是控制點(diǎn)個(gè)數(shù) i =
XC2
少cx _D =
1
x
￡12
化
b2
X>1
》
X>2
A
—少01
RDT (DDT)
>^2
1冗,.
運(yùn)行結(jié)果 為了驗(yàn)證本發(fā)明方法，我們選取了 20對(duì)圖像作為實(shí)驗(yàn)樣本，其中包含5對(duì)低質(zhì)量 的圖像，實(shí)驗(yàn)結(jié)果表明，本算法可以在4s左右完成一般圖像的配準(zhǔn)，低質(zhì)量的圖像配準(zhǔn)時(shí) 間會(huì)長(zhǎng)一些，在10s左右也可完成精確配準(zhǔn)，對(duì)1548X1260的圖像配準(zhǔn)精度可以達(dá)到2個(gè) 像素。具體的配準(zhǔn)結(jié)果如圖5，圖6所示。實(shí)驗(yàn)表明，我們的方法是快速，精確，魯棒的，具有 巨大的應(yīng)用價(jià)值。 以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
1權(quán)利要求
基于顯著性區(qū)域的可見光圖像配準(zhǔn)方法，其特征在于，包括以下步驟步驟1在計(jì)算機(jī)上加載兩幅待配準(zhǔn)圖像，選擇一幅作為參考圖像，另一幅作為浮動(dòng)圖像；步驟2將參考圖像和浮動(dòng)圖像分成M×N個(gè)矩形區(qū)域，計(jì)算每一個(gè)區(qū)域R的局部顯著性函數(shù)Ls(R)；對(duì)局部顯著性函數(shù)Ls(R)進(jìn)行高斯擬合，計(jì)算擬合后的局部顯著性函數(shù)值Fls(R)；選擇Fls(R)的局部極值區(qū)域的中心作為顯著性區(qū)域中心；對(duì)每一個(gè)顯著性區(qū)域中心，根據(jù)鄰域內(nèi)的Fls(R)分布計(jì)算區(qū)域的半徑，提取參考圖像和浮動(dòng)圖像的顯著性區(qū)域R；步驟3對(duì)提取出的顯著性區(qū)域R構(gòu)建一個(gè)72維的尺度無關(guān)特征描述子Lfd(R)；定義一個(gè)距離度量函數(shù)為Dist(Lfd(R1)，Lfd(R2))，衡量?jī)蓚€(gè)特征描述子Lfd(R1)，Lfd(R2)間的相似性；對(duì)兩幅圖像的任一顯著性區(qū)域?qū)(i，j)，計(jì)算C(i，j)的區(qū)域匹配相似度，采用由粗到精的匹配策略，進(jìn)行顯著性區(qū)域的匹配；步驟4對(duì)初步匹配上的顯著性區(qū)域?qū)mp(i，j)，采用基于歸一化相關(guān)系數(shù)的相似性度量進(jìn)行局部剛體配準(zhǔn)；步驟5對(duì)局部剛體配準(zhǔn)后的區(qū)域，采用聚類分析的方法，提取精確匹配成功的區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)，實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。
2. 根據(jù)權(quán)利要求l所述的方法，其特征在于，所述局部顯著性函數(shù)Ls(R)是Ls(R)= Av(R) Lge(R)，其中:Av(R)是區(qū)域R的歸一化區(qū)域差異函數(shù)表示為Av(R) = 。/y，式中o是區(qū)域R的標(biāo) 準(zhǔn)差，P是區(qū)域R的均值；Lge (R)是區(qū)域R的梯度場(chǎng)熵表示如下36丄洲=-》,(爭(zhēng)g2柳， ' =1式中Pi(R)是梯度方向位于第i個(gè)扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占的梯度幅值比例 表示如下式中Ri是由所有梯度方向位于第i個(gè)扇形區(qū)域內(nèi)的像素點(diǎn)構(gòu)成的點(diǎn)集， I g(X) |= ^^(X)2+(^(X)2是像素點(diǎn)X梯度幅值，&是點(diǎn)集&中的像素點(diǎn)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述擬合后的局部顯著性函數(shù)值Fls(R) 的計(jì)算為^d) = 2 Z^^exP如')2+(")2)/("2)，式中用o = 1.5的高斯核函數(shù)進(jìn)行擬合，M是圖像在X方向上劃分的矩形區(qū)域數(shù)，N 是圖像在Y方向上劃分的矩形區(qū)域數(shù)，(a， i) G (1，2，...，Mh是區(qū)域R在MXN矩形區(qū)域 陣列中X方向上的坐標(biāo)，(b，j) G {1，2，...，N}是區(qū)域R在MXN矩形區(qū)域陣列中Y方向上 的坐標(biāo)。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每一個(gè)顯著性區(qū)域中心的區(qū)域半徑 的計(jì)算，包括以顯著性區(qū)域中心所在矩形區(qū)域Rab為中心，構(gòu)建一個(gè)半徑最大的正方形矩形區(qū)域集合Q， Q必須滿足以下條件<formula>formula see original document page 3</formula>式中Fls(Rij)是區(qū)域Rij擬合后的局部顯著性函數(shù)值，A是矩形區(qū)域半徑控制參數(shù)， 經(jīng)驗(yàn)取值為0.75;選擇Q的長(zhǎng)度和寬度中的較小值作為顯著性區(qū)域半徑。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建一個(gè)72維的尺度無關(guān)特征描述子為L(zhǎng)fd(R) = (Pl(R)， ...p36(R)， dai(R)， ...da36(R))，式中Pi(R)是梯度方向位于第i個(gè) 扇形區(qū)域的像素點(diǎn)集在區(qū)域R中占的梯度幅值比例，cki(R) G [0，2jt)是梯度方向位于第 i個(gè)扇形區(qū)域的像素點(diǎn)集的幾何中心到顯著性區(qū)域中心的方向角；然后定義一個(gè)距離度量 函數(shù)Dist(Lfd(R》，Lfd(R2))，衡量?jī)蓚€(gè)特征描述子Lfd(R》，Lfd(R2)間的相似性為<formula>formula see original document page 3</formula>式中Eud(d魂)，cMR2))是R丄和R2中對(duì)應(yīng)第i個(gè)方向角間的夾角。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述顯著性區(qū)域的匹配包括1) 遍歷兩幅圖像的每一個(gè)可能的顯著性區(qū)域匹配C(i，j)，其中i表示參考圖像的第i 個(gè)顯著性區(qū)域Ri， j表示浮動(dòng)圖像的第j個(gè)顯著性區(qū)域Rj ;滿足以下條件的C(i， j)則認(rèn)為 是粗匹配上的顯著性區(qū)域?qū)mp(i， j):Mox(^v(i ,)Xi 》)Mm:(丄ge(i ,.),丄ge(") '式中Min(O函數(shù)是求最小值，Max。)函數(shù)是求最大值，T是粗匹配控制參數(shù)，經(jīng)驗(yàn)取 值為0. 6 ;2) 對(duì)每一個(gè)粗匹配區(qū)域?qū)mp(i， j)，按如下方法計(jì)算Ri和Rj間的相似性S(i， j)以及旋轉(zhuǎn)角度9 ij :<formula>formula see original document page 3</formula>k = argkMin(Dist(Lfd(Ri) ， Lfd(Rjk))) ， k G {0， 1， . 35}， 式中，Rjk是將Rj逆時(shí)針旋轉(zhuǎn)10 k度得到的新區(qū)域；每一個(gè)粗匹配區(qū)域?qū)mp(i， j)確定三個(gè)全局剛性變換參數(shù)為二維平移以及旋轉(zhuǎn)參 數(shù)9 ij，二維平移由&和Rj的區(qū)域中心決定；3) 按S(i， j)升序排列所有的Cmp(i， j)，選取前2000個(gè)粗匹配區(qū)域?qū)mp(i， j)作為 輸入樣本集合，如果提取的粗匹配區(qū)域?qū)?shù)目不足則以實(shí)際的數(shù)目為準(zhǔn)，設(shè)置合適的類內(nèi) 距離閾值，對(duì)Cmp(i， j)進(jìn)行全局剛性變換參數(shù)空間上的聚類，選取聚類內(nèi)數(shù)目最多的類作為初步匹配上的顯著性區(qū)域?qū)(i，j);按S(i，j)的大小來剔除重復(fù)的區(qū)域，保證初步匹配 上的顯著性區(qū)域?qū)(i， j)中不包含重復(fù)的區(qū)域，減小后續(xù)的計(jì)算量。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述局部剛體配準(zhǔn)是對(duì)初步匹配上的顯 著性區(qū)域?qū)(i，j)，以顯著性區(qū)域Ri，Rj的中心位置和旋轉(zhuǎn)角度9ij作為初始配準(zhǔn)參數(shù)，進(jìn) 行局部剛體配準(zhǔn)。
8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)包括對(duì)局 部剛體配準(zhǔn)后的區(qū)域，設(shè)置更精細(xì)的類內(nèi)距離閾值，進(jìn)行全局剛性變換參數(shù)空間上的聚類 分析，提取精確匹配上的區(qū)域?qū)?；并以精確匹配上的區(qū)域中心點(diǎn)作為控制點(diǎn)進(jìn)行全局二次 多項(xiàng)式變換配準(zhǔn)，實(shí)現(xiàn)兩幅圖像的精確配準(zhǔn)。
全文摘要
本發(fā)明涉及圖像配準(zhǔn)領(lǐng)域，特別是一種基于顯著性區(qū)域的可見光圖像配準(zhǔn)方法，包括(1)加載圖像。(2)提取圖像的顯著性區(qū)域。(3)對(duì)提取出的顯著性區(qū)域，計(jì)算區(qū)域特征描述子，根據(jù)區(qū)域特征描述子的相似性進(jìn)行顯著性區(qū)域的匹配。(4)對(duì)步驟(3)中初步匹配上的顯著性區(qū)域進(jìn)行局部剛性配準(zhǔn)。(5)采用局部剛性配準(zhǔn)后的顯著性區(qū)域中心作為控制點(diǎn)，進(jìn)行全局二次多項(xiàng)式變換配準(zhǔn)。本發(fā)明方法是一種快速、精確、魯棒的自動(dòng)圖像配準(zhǔn)方法，在圖像配準(zhǔn)方面有重大的應(yīng)用價(jià)值。
文檔編號(hào)G06T7/00GK101763633SQ20091008897
公開日2010年6月30日 申請(qǐng)日期2009年7月15日 優(yōu)先權(quán)日2009年7月15日
發(fā)明者徐敏, 楊鑫, 田捷, 鄧可欣, 鄭健 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所