專利名稱：基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的方法，特別是一種使用改進(jìn)技術(shù)尋找 特征點(diǎn)對(duì)實(shí)現(xiàn)對(duì)具有對(duì)角度變換，尺度變換的基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn) 方法。
背景技術(shù)：
隨著新型傳感器的不斷涌現(xiàn)，人們獲取圖像的能力迅速提高，不同物理特 性的傳感器所產(chǎn)生的圖像也不斷增多。由于不同圖像傳感器獲取的圖像數(shù)據(jù)存 在明顯的局限性和差異性，所以僅僅利用一種圖像數(shù)據(jù)往往難以滿足實(shí)際需求。 為此，需要通過圖像融合技術(shù)將不同傳感器獲取的圖像綜合起來使用，達(dá)到對(duì) 目標(biāo)更全面、清晰、準(zhǔn)確的理解和認(rèn)識(shí)的目的。而圖像配準(zhǔn)技術(shù)是實(shí)現(xiàn)圖像融 合的重要前提，因此圖像配準(zhǔn)是圖像處理領(lǐng)域中的一項(xiàng)重要課題，在遙感圖像處 理、計(jì)算機(jī)視覺、運(yùn)動(dòng)估計(jì)、醫(yī)學(xué)圖像分析等領(lǐng)域有著廣泛的應(yīng)用，是圖像融合 特別是圖像數(shù)據(jù)層融合技術(shù)中需要先期解決的問題。不同傳感器、不同成像模 式和不同時(shí)間得到的同一個(gè)對(duì)象的圖像數(shù)據(jù)之間存在相對(duì)的平移、旋轉(zhuǎn)、不同 比例縮放甚至畸變關(guān)系,對(duì)其進(jìn)行綜合分析和利用時(shí),首先要解決圖像間的配準(zhǔn) 問題。
圖像配準(zhǔn)技術(shù)根據(jù)需要被配準(zhǔn)的圖像之間存在的幾何變換可以分為多類， 比較常見的有旋轉(zhuǎn)變換，這種類型的配準(zhǔn)技術(shù)在遙感圖像，航拍圖像配準(zhǔn)的應(yīng) 用中很常見。但是在工業(yè)生產(chǎn)，科學(xué)研究，軍事應(yīng)用中，大量的圖像采集系統(tǒng) 中存在著其他種類的幾何變換，比如說仿射變換和尺度變換，這樣的圖像不能 用和旋轉(zhuǎn)變換一樣的配準(zhǔn)技術(shù)來配準(zhǔn)，因此，有必要引入更新，更先進(jìn)的配準(zhǔn) 方法，在這方面的研究與探索具有重要的理論意義和應(yīng)用價(jià)值。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，針對(duì)具有尺度和仿射變換的圖 像，本發(fā)明提出了一種基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法。本發(fā)明應(yīng)用在仿射變換和尺度變換存在情況下特征點(diǎn)選取，獲得了比傳統(tǒng)的SIFT匹配點(diǎn)對(duì)具有更 高的匹配精度。
為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下步驟
步驟一、使用多尺度Harris角點(diǎn)檢測(cè)算子尋找待配準(zhǔn)圖像的尺度空間并在 尺度空間求取Harris角點(diǎn)
步驟二、利用圖像仿射形態(tài)修改技術(shù)對(duì)具有尺度不變性的特征點(diǎn)進(jìn)行迭代 處理，達(dá)到收斂的特征點(diǎn)具有仿射不變性；
步驟三、對(duì)特征點(diǎn)使用描述子和匹配方法，計(jì)算得正確的匹配點(diǎn)對(duì),使用匹 配點(diǎn)對(duì)求解仿射變換的變換參數(shù)，實(shí)現(xiàn)圖像的配準(zhǔn)。
所述的使用多尺度Harris角點(diǎn)檢測(cè)算子，將待配準(zhǔn)圖像與各個(gè)大小的高斯 核巻積，得到待配準(zhǔn)圖像的尺度空間；在尺度空間的不同尺度上計(jì)算二階矩矩 陣；根據(jù)二階矩矩陣計(jì)算角點(diǎn)程度值；求取角點(diǎn)程度值的局部極大值點(diǎn)作為候 選點(diǎn)；計(jì)算候選點(diǎn)的歸一化LOG值；求取歸一化LOG值在尺度方向上的局部極大 值點(diǎn)，即尺度空間的Harris角點(diǎn)。
所述的圖像仿射形態(tài)修改技術(shù)，用二階單位矩陣初始化變換矩陣；計(jì)算正 交化窗口；計(jì)算積分尺度參數(shù)；計(jì)算微分尺度參數(shù)；計(jì)算空間坐標(biāo)參數(shù)；將空 間坐標(biāo)參數(shù)變換回原來的圖像坐標(biāo)；更新變換矩陣；正交化變換矩陣直到其最 大的特征值為l;判斷結(jié)束條件決定是否返回繼續(xù)迭代過程或者結(jié)束迭代過程。
所述的使用描述子和匹配方法，用SIFT特征點(diǎn)描述子和匹配方法對(duì)特征點(diǎn) 進(jìn)行匹配，并由匹配點(diǎn)計(jì)算幾何變換參數(shù)，有幾何變換將兩幅圖像進(jìn)行配準(zhǔn)。
與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果
1. 實(shí)現(xiàn)了在仿射變換和尺度變換存在情況下特征點(diǎn)選取，并應(yīng)用這些特征 點(diǎn)獲得正確的匹配點(diǎn)對(duì)，拓展了配準(zhǔn)圖像的適應(yīng)范圍。
2. 利用傳統(tǒng)Harris角點(diǎn)的可靠性提高了匹配點(diǎn)對(duì)的精度，比傳統(tǒng)的SIFT匹 配點(diǎn)對(duì)具有更髙的匹配精度。
本發(fā)明在圖像融合，遙感圖像處理、計(jì)算機(jī)視覺、雙目視覺領(lǐng)域有廣泛的 應(yīng)用前景。


圖l為本發(fā)明中為本發(fā)明中基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法中匹配點(diǎn)對(duì)的結(jié)果圖2為SIFT方法的匹配點(diǎn)對(duì)的結(jié)果圖3為本發(fā)明中基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法中將幾何變換之后的
圖像與參考圖像重合部分求取的差值圖4為使用SIFT方法的將幾何變換之后的圖像與參考圖像重合部分求取的
差值圖5為本發(fā)明中基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法中將幾何變換之后的 圖像與參考圖像重合部分求取的差值的直方圖6為使用SIFT方法的將幾何變換之后的圖像與參考圖像重合部分求取的 差值的直方圖7為實(shí)施例1中求取的五尺度Harr i s角點(diǎn)分布三維圖8為實(shí)施例2中進(jìn)行仿射形態(tài)修改后的角點(diǎn)分布三維圖。
具體實(shí)施例方式
下面結(jié)合附圖及實(shí)例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)該指出，此處所 描述的具體實(shí)施實(shí)例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本實(shí)施例在 以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過 程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
實(shí)施例l
多尺度Harris角點(diǎn)的提取方法
1.將待配準(zhǔn)圖像與一系列不同大小的高斯核
(公式一)
巻積，得到圖像尺度空間描述
丄(x,:M)-g(x,:M)"(x，力 (公式二)
其中參數(shù)取值(/ = 1.5,1.5*1.4，1.5*1.42，...,1.5*1.44)，對(duì)應(yīng)于產(chǎn)生的五尺度
空間的尺度系數(shù)。
2.在尺度空間的不同尺度上計(jì)算二階矩矩陣，其表達(dá)式為//(>:，_)^，力=《0，少，力*
(公式三)
二階矩矩陣是一個(gè)2X2的矩陣，下標(biāo)x， y表示在x， y方向上求取圖像灰 度函數(shù)的一階導(dǎo)數(shù)。
3. 根據(jù)二階矩矩陣計(jì)算角點(diǎn)程度值，其表達(dá)式為-
Mc (jc， :v， t" = |//0， 乂 /， 。| 一 4TV(〃(x， y, f ， ")]2 (公式四)
其中參數(shù)取值(K=0.04)。
4. 求取角點(diǎn)程度值的局部極大值點(diǎn)作為候選點(diǎn)
j)， 0 = arg max /oca/(x,少)Mc (x, y， 0 (公式五)
其中求取局部最大值過程中采取八鄰域方法首先得到局部最大值候選點(diǎn)， 然后在這些候選點(diǎn)中求取最大的25個(gè)點(diǎn)。
5. 計(jì)算候選點(diǎn)的歸一化LOG值，其表達(dá)式為
▽L ";e,jU)-A72z(i，:P,0 = "4 (; ，:P,/) + z"",i)，o)(公式六)
歸一化LOG值是一個(gè)標(biāo)量，上式中下標(biāo)xx, yy表示在x， y方向上求取圖
像灰度函數(shù)的二階導(dǎo)數(shù)。
6. 求取歸一化LOG值在尺度方向上的局部極大值點(diǎn)
f-argmax/oca/fV^^O^j,/) (公式七) 從而得到尺度空間的Harris角點(diǎn)(;，j)，f)。
圖7顯示了采用本實(shí)施例中處理方法以后獲得的處于五尺度空間的Harris 角點(diǎn)的分布情況圖?？梢钥吹剑緦?shí)施例所述處理方法具有以下優(yōu)點(diǎn)
不同尺度上對(duì)應(yīng)于某一位置的特征點(diǎn)數(shù)量不同，說明尺度的變化可以幫助 更好的提取出反映結(jié)構(gòu)特征的點(diǎn)。
實(shí)施例2
仿射形態(tài)修改技術(shù)的應(yīng)用方法
尺度空間的Harris角點(diǎn)作為初始點(diǎn)x^ ，迭代處理具體包括以下步驟: 1.用二階單位矩陣初始化矩陣[/(())2.計(jì)算以<formula>formula see original document page 7</formula>
(公式八)
的正交化窗口『(&) = /00;
3. 計(jì)算積分尺度參數(shù)，其表達(dá)式為
<formula>formula see original document page 7</formula>
其中參數(shù)取值G =
)。
4. 計(jì)算微分尺度參數(shù)，其表達(dá)式為
<formula>formula see original document page 7</formula>
其中參數(shù)取值(^ = [0.5，0.75〗)。
5. 計(jì)算空間坐標(biāo)參數(shù)，其表達(dá)式為
<formula>formula see original document page 7</formula>
其中參數(shù)取值(K=0.04)。
6. 將空間坐標(biāo)參數(shù)變換回原來的圖像坐標(biāo)
<formula>formula see original document page 7</formula>(公式九)
<formula>formula see original document page 7</formula>(公式十)
<formula>formula see original document page 7</formula>(公式十一)
<formula>formula see original document page 7</formula>(公式十二)
<formula>formula see original document page 7</formula>(公式十三)
<formula>formula see original document page 7</formula>(公式十四)
7. 計(jì)算<formula>formula see original document page 7</formula>
8. 更新變換矩陣，其表達(dá)式為
<formula>formula see original document page 7</formula>(公式十五)
9. 正交化"("直到其最大的特征值為1;
10. 判斷如果條件
<formula>formula see original document page 7</formula> (公式十六) 為真返回步驟2，否則結(jié)束迭代過程，達(dá)到收斂；
圖8顯示了本實(shí)施例所述的仿射形態(tài)修改技術(shù)對(duì)特征點(diǎn)分布情況的效果。 多角度Harris角點(diǎn)中的一部分點(diǎn)達(dá)到了收斂，另外一部分被淘汰。達(dá)到收斂的 點(diǎn)在迭代過程中在尺度方向及空間方向上也發(fā)生了變化，逐步逼近真實(shí)的特征點(diǎn)。
通過仿真實(shí)例進(jìn)一步說明本發(fā)明的效果
1. 仿真條件-
實(shí)驗(yàn)對(duì)目標(biāo)圖像從兩個(gè)不同的視角，不同的距離進(jìn)行拍照， 一幅圖像在目 標(biāo)的正前方距離目標(biāo)3.00米處拍攝，作為參照?qǐng)D像，另一幅圖像從參照?qǐng)D像左 方的45度方向距離目標(biāo)5.50米處拍攝，目標(biāo)在成像區(qū)域內(nèi)的水平位置相同。 兩幅圖像中有多達(dá)95%以上區(qū)域反映相同的目標(biāo)區(qū)域。采集的兩幅圖像的像素均 為640X480的JPG格式。
2. 仿真內(nèi)容及結(jié)果
'仿真首先比較了匹配點(diǎn)對(duì)的結(jié)果，圖1是本方法結(jié)果，圖2是SIFT方法結(jié) 果；然后比較將幾何變換之后的圖像與參考圖像重合部分求取的差值，圖3是 本方法得到的差值，圖4是SIFT方法得到的差值；最后比較差值圖像的灰度直 方圖，圖5是本方法得到的差值圖像的灰度直方圖，圖6是SIFT得到的差值圖 像的灰度直方圖。 觀察并比較圖1和圖2中用連線表示的特征點(diǎn)對(duì)，可以發(fā)現(xiàn)使用本方法獲 得的特征點(diǎn)對(duì)雖然比使用SIFT方法獲得的特征點(diǎn)對(duì)要少，但是所有的特征點(diǎn)均 是對(duì)應(yīng)同一個(gè)具備角點(diǎn)特征的結(jié)構(gòu)，這是本方法對(duì)大量具備角點(diǎn)特征的候選點(diǎn) 進(jìn)行多尺度，仿射形態(tài)修改兩次篩選之后獲得的具備角度不變性和尺度不變性 的角點(diǎn)，因此具備更加穩(wěn)定的特性，有利于計(jì)算出精確的幾何變換參數(shù)。這一 點(diǎn)在下面的圖3和圖4中可以得到反映。
圖3和圖4反映了經(jīng)過配準(zhǔn)之后的兩幅圖像重合部分的差值，即待配準(zhǔn)圖 像經(jīng)過幾何變換后的灰度函數(shù)在于基準(zhǔn)圖像的灰度函數(shù)重合的區(qū)域內(nèi)相減的道 德灰度函數(shù)，理論上這一差值可以最直觀的反映配準(zhǔn)的效果，當(dāng)配準(zhǔn)中使用的 模型接近于圖像之間真實(shí)的幾何變換時(shí)，差值趨近于零。配準(zhǔn)結(jié)果偏差越大， 差值中灰度值越大。圖3中的差值圖像接近于0，僅在輪廓邊緣處有少量的灰度 殘余，這說明幾何變換后的圖像與基準(zhǔn)圖像的相似程度非常接近，反觀圖4，由 于圖2中存在太多的匹配點(diǎn)對(duì)，其中存在的不精確的匹配點(diǎn)和錯(cuò)誤的匹配點(diǎn)勢(shì) 必會(huì)對(duì)配準(zhǔn)參數(shù)的正確計(jì)算造成不利影響，圖4中的大塊白色斑塊反映了配準(zhǔn)的精度不是很理想。
為了對(duì)差值圖像的灰度分布有一個(gè)更加精確的描述，我們使用灰度直方圖 的方法來對(duì)灰度的分布進(jìn)行統(tǒng)計(jì)，直方圖中橫軸表示灰度等級(jí)，從0到255分 別對(duì)應(yīng)黑色到白色的256中不同灰階?？v軸反映的是在不同灰階上的像素點(diǎn)的 個(gè)數(shù)，或者百分比。圖像中的灰度值越小，直方圖在左邊近零區(qū)域的分布理應(yīng) 越多。反之分布會(huì)隨灰度值的升高向右方近255區(qū)域移動(dòng)。圖5中絕大部份分 布靠近O點(diǎn)，圖6中的分布則向橫軸中部區(qū)域延伸。
權(quán)利要求
1、一種基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法，其特征在于，包括下列步驟步驟一、使用多尺度Harris角點(diǎn)檢測(cè)算子尋找待配準(zhǔn)圖像的尺度空間并在尺度空間求取Harris角點(diǎn)；步驟二、利用圖像仿射形態(tài)修改技術(shù)對(duì)具有尺度不變性的特征點(diǎn)進(jìn)行迭代處理，達(dá)到收斂的特征點(diǎn)具有仿射不變性；步驟三、對(duì)特征點(diǎn)使用描述子和匹配方法，計(jì)算得正確的匹配點(diǎn)對(duì)，使用匹配點(diǎn)對(duì)求解仿射變換的變換參數(shù)，實(shí)現(xiàn)圖像的配準(zhǔn)。
2、 根據(jù)權(quán)利要求l所述的基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法，其特征是， 所述的使用多尺度Harris角點(diǎn)檢測(cè)算子，將待配準(zhǔn)圖像與各個(gè)大小的高斯核巻 積，得到待配準(zhǔn)圖像的尺度空間；在尺度空間的不同尺度上計(jì)算二階矩矩陣； 根據(jù)二階矩矩陣計(jì)算角點(diǎn)程度值；求取角點(diǎn)程度值的局部極大值點(diǎn)作為候選點(diǎn)； 計(jì)算候選點(diǎn)的歸一化LOG值；求取歸一化LOG值在尺度方向上的局部極大值點(diǎn)， 即尺度空間的Harris角點(diǎn)j計(jì)算待配準(zhǔn)圖像的尺度空間并在尺度空間求取Harris角點(diǎn)。
3、 根據(jù)權(quán)利要求l所述的基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法，其特征是， 所述的圖像仿射形態(tài)修改技術(shù)，是指用二階單位矩陣初始化變換矩陣、計(jì)算正 交化窗口、計(jì)算積分尺度參數(shù)、計(jì)算微分尺度參數(shù)、計(jì)算空間坐標(biāo)參數(shù)、將空 間坐標(biāo)參數(shù)變換回原來的圖像坐標(biāo)、更新變換矩陣，正交化變換矩陣直到其最 大的特征值為l,判斷結(jié)束條件決定是否返回繼續(xù)迭代過程或者結(jié)束迭代過程。
4、 根據(jù)權(quán)利要求l所述的基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法，其特征 是，所述的使用描述子和匹配方法，用SIFT特征點(diǎn)描述子和匹配方法對(duì)特征點(diǎn) 進(jìn)行匹配，并由匹配點(diǎn)計(jì)算幾何變換參數(shù)，有幾何變換將兩幅圖像進(jìn)行配準(zhǔn)。
全文摘要
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的基于改進(jìn)Harris角點(diǎn)的圖像配準(zhǔn)方法。包括下列步驟步驟一、計(jì)算待配準(zhǔn)圖像的尺度空間并在尺度空間求取Harris角點(diǎn)；步驟二、用仿射形態(tài)修改技術(shù)對(duì)尺度空間的Harris角點(diǎn)進(jìn)行迭代處理；步驟三、對(duì)特征點(diǎn)使用描述子和匹配方法進(jìn)行匹配，通過匹配實(shí)現(xiàn)配準(zhǔn)。本發(fā)明改進(jìn)Harris角點(diǎn)不僅具有對(duì)光照變化，旋轉(zhuǎn)變換的不變性，通過使用尺度空間還具有對(duì)尺度變換的不變性，通過仿射形態(tài)修改技術(shù)還具有仿射變換的不變性，這使本方法能夠在具有以上描述的變換的圖像中找到匹配點(diǎn)進(jìn)行配準(zhǔn)，這是類似SIFT的同類方法不具備的性質(zhì)。
文檔編號(hào)G06T7/00GK101655982SQ20091019513
公開日2010年2月24日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者琦 曾, 李建勛 申請(qǐng)人:上海交通大學(xué)