專利名稱：：一種基于仿射參數(shù)估計的圖像配準方法
技術領域：
：本發(fā)明屬于計算機圖像處理領域，涉及一種圖像配準方法。
背景技術：
：圖像配準是同一場景的兩幅或多幅圖像在空間上的對準。它在醫(yī)學，遙感圖像分析、圖像融合、圖像檢索、目標識別等領域得到廣泛的應用。同時它也是多傳感器圖像融合、遙感圖像鑲嵌、目標變化檢測、三維重建等領域中提高精度和有效性的瓶頸，是必需的前期工作。圖像配準方法分為基于圖像灰度和基于圖像特征的配準。其中，基于灰度信息的圖像配準方法一般不需要對圖像進行復雜的預先處理，而是利用圖像本身具有灰度的一些統(tǒng)計信息來度量圖像的相似程度，實現(xiàn)起來比較簡單，經過幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準方法，如互相關法(也稱模板匹配法)、序貫相似度檢測匹配法、交互信息法等?；谔卣鞯钠ヅ浞椒ㄊ紫纫獙Υ錅蕡D像進行預處理，也就是圖像分割和特征提取的過程，再利用提取得到的特征完成兩幅圖像特征之間的匹配，通過特征的匹配關系建立圖像之間的配準映射關系。由于圖像中有很多種可以利用的特征，因而產生了多種基于特征的方法。常用到的圖像特征有特征點(包括角點、高曲率點等)直線段、邊緣、輪廓、閉合區(qū)域、特征結構以及統(tǒng)計特征如矩不變量、重心等等。以上兩種方法雖然都有各自的優(yōu)勢，且都取得了不錯的效果，但這兩種方法也都有自己的不足之處，基于圖像灰度的配準方法配準速度比較慢；基于圖像特征的配準方法算法復雜，而且往往由于特征提取的不完全，導致匹配率較低，對誤匹配比較敏感，隨著誤匹配率的增大，配準效果會有明顯的下降。這在很大程度上限制了以上兩種方法在實際工程中的應用，由于現(xiàn)有的基于灰度和基于特征的圖像配準方法對誤匹配均比較敏感，因此對特征點配準準確度提出了很高的要求，然而在許多實際工程中，例如航遙感空影像配準，由于飛機飛行姿態(tài)受氣流影響比較嚴重，導致相鄰幀圖像之間存在很大的畸變，在進行點配準時誤匹配在所難免，利用傳統(tǒng)方法進行圖像配準就會出現(xiàn)較大的偏差。
發(fā)明內容本發(fā)明的目的是克服現(xiàn)有技術的上述缺陷，提供一種對誤匹配具有較強的魯棒性，實現(xiàn)起來比較簡單并且有較好的實時性的圖像配準方法。本發(fā)明的技術方案如下一種基于仿射參數(shù)估計的圖像配準方法，包括第一步采用SIFT算法提取圖像的特征點，然后對不同圖像的特征點進行匹配，步驟如下1)檢測尺度空間極值點首先對原圖和待匹配的圖像分別生成一個尺度空間，然后進行采樣，并將每一個采樣點和它所有的相鄰點比較以得到空間極值點；2)精確定位極值點設定閾值以去除低對比度的極值點和產生不穩(wěn)定邊緣響應的極值點，得到關鍵點，并通過擬和三維二次函數(shù)確定關鍵點的位置和尺度；3)確定每個關鍵點方向參數(shù)利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)；4)關鍵點描述子的生成對原圖和待匹配的圖像的每個關鍵點，首先將坐標軸旋轉為關鍵點的方向，以關鍵點為中心取8X8的窗口，將8X8窗口分成4個小塊，在每個4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，從而生成原圖和待匹配的圖像各自的SIFT特征向量；設定一個比例閾值，取原圖中的某個關鍵點，并找出其與待配準圖像中歐式距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點，用這種方法即可得到原圖中的點列和待配準圖像中對應的點列；第二步根據(jù)仿射變換的具體情況，建立數(shù)學模型如下已知待配準圖像中的點列(Xi，Yj)(i=1,2,AM,j=1,2.AN)和原圖像中的點列(Xi,Yj)α=1,2,AM,j=1,2.AN)(M，N分別為圖像的長和寬)和原圖像中初始點X0的坐標(Xtl,Y0)的值，令它們近似滿足'mjdCOS^-sin^\0"'Xi-KX0Si(XiJ1).sin^COS^0ky_Yi--Yo_"Γ7ο_其中(i=1，2，ΛΝ)，θe(-π，Ji]，kx>0，ky>0，估計其中的仿射變換參數(shù)θ，kx，ky，x0,yQ，使得誤差函數(shù)F=I^CZ1(K)-Xi)2+(A(K)-^)2)達到最小，其i=l中，θ為圖像旋轉角度，kx，ky分別為圖像在χ軸，y軸方向的畸變，Xtl，y(l分別為圖像在χ軸，1軸方向的位移，記g=W7，好=W，X=(θ，kx，ky，x0,y0)，該算法步驟如下1)選定初始點X°，計算F的梯度=VF(JT)，令k=0；2)計算ZZt=V2F(Xk)-,3)如果Hk接近奇異，取f=~g't=；””τ；計算Xk+1=Xk+tPk；否則，由方(gkygk(gkYHgk程HkPk=-gk解出Pk，進行如下判斷若F(Xk+Pk)<F(Xk)，令Xk+1=Xk+Pk,,,(skYsk若F(Xk+Pk)彡F(Xk)，令嚴=~gk,t=W；k，計算Xk+1=Xk+tPk；(g)Hg4)計算Ilgk+1Il，判斷其是否滿足迭代終止條件Ilgk+1Il<ε，如滿足，則Xk+1即為仿射變換參數(shù)，否則，k=k+Ι，重復上述過程直到滿足迭代終止條件為止；第三步采用估算出的圖像間的仿射變換參數(shù)，進行運動補償，得到配準后圖像。本發(fā)明結合了SIFT特征點匹配法和改進后的基于牛頓法的仿射參數(shù)估計方法提出了一種新的圖像配準算法，并將其成功運用于圖像配準領域。本發(fā)明對傳統(tǒng)的基于圖像灰度和基于圖像特征的配準方法的改進之處在于采用改進后的牛頓法求解仿射變換參數(shù)，有更高的收斂速度，與原方法相比最大的優(yōu)點是對誤匹配有更好的魯棒性，時間也比原方法快了一個數(shù)量級，實時性更強，計算簡單，便于實現(xiàn)，能夠更好地滿足實際工程需要。圖1θ估計結果隨誤匹配率變化曲線圖；圖2kx估計結果隨誤匹配率變化的情況；圖3ky估計結果隨誤匹配率變化的情況；圖4x0估計結果隨誤匹配率變化的情況；圖5y0估計結果隨誤匹配率變化的情況；圖6PSNR隨誤匹配率變化情況；圖7圖像配準及拼接后效果圖。具體實施例方式本發(fā)明提供的是結合了SIFT特征點匹配法和改進后的基于牛頓法的仿射參數(shù)估計法的圖像配準方法，其具體步驟如下(1)采用SIFT算法提取圖像的特征點，然后對不同圖像的特征點進行匹配，步驟如下1)檢測尺度空間極值點首先對原圖和待匹配的圖像分別生成一個尺度空間，然后進行采樣，并將每一個采樣點和它所有的相鄰點比較以得到空間極值點；2)精確定位極值點設定閾值以去除低對比度的極值點和產生不穩(wěn)定邊緣響應的極值點，得到關鍵點，并通過擬和三維二次函數(shù)確定關鍵點的位置和尺度；3)確定每個關鍵點方向參數(shù)利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具備旋轉不變性；4)關鍵點描述子的生成對于每個關鍵點，首先將坐標軸旋轉為關鍵點的方向，以關鍵點為中心取8X8的窗口。將8X8窗口分成4個小塊，在每個4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，從而生成原圖像和待匹配的圖像各自的SIFT特征向量；當兩幅待匹配的圖像的SIFT特征向量生成后，采用關鍵點特征向量的歐式距離來做為兩幅圖像中關鍵點的相似性判定度量取原圖中的某個關鍵點，并找出其與待配準圖像中歐式距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點。用這種方法即可得到原圖中的點列和待配準圖像中對應的點列，以進行仿射參數(shù)估計。(2)根據(jù)仿射變換的具體情況，建立數(shù)學模型如下已知待配準圖像中的點列(Xi，Yj)(i=1,2,AM,j=1,2.AN)和原圖像中的點列(Xi,Yj)α=1,2,AM,j=1,2.AN)(M，N分別為圖像的長和寬)和原圖像中初始點X0坐標XciYci的值，令它們近似滿足6「00481卜]=「服義)]=|^0矽"Sin^lp1Ojx,.-X0]Γχ0⑴UJ'Lsin^cos0Io丄n」+UJ其中(i=1，2，ΛΝ)，θe(-π，ji],kx>O,ky>0，估計其中的仿射變換參數(shù)θkxkyx0y0,使得誤差函數(shù)F=Σ((/ι(不A)_A)2+(幻(不，_兄)2)達到最小，其中，θi=l為圖像旋轉角度，kx，ky分別為圖像在X軸，y軸方向的畸變，X0,Y0分別為圖像在X軸，y軸方向的位移，記g=W7，好=W，X=(θ，kx，ky，x0,y0)，該算法步驟如下1)選定初始點X°，計算F的梯度=VF(JT)，令k=0；2)計算/Zt=V2jF(JTt);,,(skYSk3)如果Hk接近奇異，取嚴=_gk,t=^k；計算Xk+1=Xk+tPk；否則，由方(g)Hg程HkPk=-gk解出Pk，進行如下判斷若F(Xk+Pk)<F(Xk)，令Xk+1=Xk+Pk,,,(skYsk若F(Xk+Pk)彡F(Xk),Pk=~gk,t=;S,Jt;tk，計算Xk+1=Xk+tPk；(g)Hg(3)計算Ilgk+1Il，判斷其是否滿足迭代終止條件Ilgk+1Il<ε，如滿足，輸出Xk+1，即仿射變換參數(shù)，否則，k=k+Ι，重復上述過程直到滿足迭代終止條件為止。(3)采用估算出的圖像間的仿射變換參數(shù)，進行運動補償，得到配準后圖像。隨著誤匹配率的增大，利用本發(fā)明中提出的基于改進后牛頓法的仿射參數(shù)估計方法與傳統(tǒng)仿射變換參數(shù)估計方法(以超定方程法為例)的參數(shù)估計誤差分別如圖1-5所示，其中，橫坐標代表圖像的誤匹配率，縱坐標代表估計出的參數(shù)和實際參數(shù)之間的絕對誤差?；诒景l(fā)明及基于特征的圖像配準方法對兩幀圖像進行配準，當誤匹配率從升至10%，兩種方法PSNR的變化情況如圖6所示。其中，橫坐標代表誤匹配率，縱坐標代表配準后圖像與原圖像的峰值信噪比(PSNR)?；诒景l(fā)明及基于灰度的圖像配準方法對對60幀圖像進行配準后的平均峰值信噪比(PSNR)以及平均參數(shù)估計時間如表1所示。表1兩種方法配準后的平均峰值信噪比及參數(shù)估計時間比較平均峰值信噪比(dB)平均參數(shù)估計時間(ms)基于灰度的圖像配準方法27.187272.7845本發(fā)明28.61686.4573以下通過下面的實例對本發(fā)明做進一步的說明。選用60幀畸變比較嚴重的實際航空遙感視頻影像，采用本發(fā)明提出的圖像配準方法對相鄰圖像進行配準。首先，利用SIFT算法提取圖像的特征點，然后對不同圖像的特征點進行匹配，構建參數(shù)矩陣，然后采用本發(fā)明提出的基于牛頓法的參數(shù)估計模型進行迭代，迭代初值選為[θ,kx,ky,x0,y0]T=τ，迭代終止條件為Ilgk+1||<ε,ε取0.01。即可估計出兩幅圖像間的仿射變換參數(shù)，最后通過仿射參數(shù)逆變換進行運動補償，得到配準后圖像。將配準后的60幀圖像進行拼接，效果如圖7所示。從圖7中可以看出，利用上述7方法能夠實現(xiàn)幀間圖像的精確配準，證明了本發(fā)明提出的方法，配準結果具有很高的精度，能夠滿足實際工程的需要。權利要求一種基于仿射參數(shù)估計的圖像配準方法，包括第一步采用SIFT算法提取圖像的特征點，然后對不同圖像的特征點進行匹配，步驟如下1)檢測尺度空間極值點首先對原圖和待匹配的圖像分別生成一個尺度空間，然后進行采樣，并將每一個采樣點和它所有的相鄰點比較以得到空間極值點；2)精確定位極值點設定閾值以去除低對比度的極值點和產生不穩(wěn)定邊緣響應的極值點，得到關鍵點，并通過擬和三維二次函數(shù)確定關鍵點的位置和尺度；3)確定每個關鍵點方向參數(shù)利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)；4)關鍵點描述子的生成對原圖和待匹配的圖像的每個關鍵點，首先將坐標軸旋轉為關鍵點的方向，以關鍵點為中心取8×8的窗口，將8×8窗口分成4個小塊，在每個4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，從而生成原圖和待匹配的圖像各自的SIFT特征向量；設定一個比例閾值，取原圖中的某個關鍵點，并找出其與待配準圖像中歐式距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點，用這種方法即可得到原圖中的點列和待配準圖像中對應的點列；第二步根據(jù)仿射變換的具體情況，建立數(shù)學模型如下已知待配準圖像中的點列(xi，yj)(i＝1，2，ΛM，j＝1，2.ΛN)和原圖像中的點列(Xi，Yj)(i＝1，2，ΛM，j＝1，2.ΛN)(M，N分別為圖像的長和寬)和原圖像中初始點X0的坐標(X0，Y0)的值，令它們近似滿足<mrow><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>i</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>f</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>,</mo><msub><mi>Y</mi><mi>i</mi></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><msub><mi>g</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>,</mo><msub><mi>Y</mi><mi>i</mi></msub><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><mi>cos</mi><mi>&theta;</mi></mtd><mtd><mo>-</mo><mi>sin</mi><mi>&theta;</mi></mtd></mtr><mtr><mtd><mi>sin</mi><mi>&theta;</mi></mtd><mtd><mi>cos</mi><mi>&theta;</mi></mtd></mtr></mtable></mfenced><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>k</mi><mi>x</mi></msub></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>k</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><msub><mi>X</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><msub><mi>Y</mi><mi>i</mi></msub><mo>-</mo><msub><mi>Y</mi><mn>0</mn></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>x</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>0</mn></msub></mtd></mtr></mtable></mfenced></mrow>其中(i＝1，2，ΛN)，θ∈(π，π]，kx＞0，ky＞0，估計其中的仿射變換參數(shù)θ，kx，ky，x0，y0，使得誤差函數(shù))達到最小，其中，θ為圖像旋轉角度，kx，ky分別為圖像在x軸，y軸方向的畸變，x0，y0分別為圖像在x軸，y軸方向的位移，記X＝(θ，kx，ky，x0，y0)，該算法步驟如下1)選定初始點X0，計算F的梯度令k＝0；2)計算3)如果Hk接近奇異，取計算Xk+1＝Xk+tPk；否則，由方程HkPk＝gk解出Pk，進行如下判斷若F(Xk+Pk)＜F(Xk)，令Xk+1＝Xk+Pk，若F(Xk+Pk)≥F(Xk)，令計算Xk+1＝Xk+tPk；4)計算‖gk+1‖，判斷其是否滿足迭代終止條件‖gk+1‖＜ε，如滿足，則Xk+1即為仿射變換參數(shù)，否則，k＝k+1，重復上述過程直到滿足迭代終止條件為止；第三步采用估算出的圖像間的仿射變換參數(shù)，進行運動補償，得到配準后圖像。FDA0000025010800000012.tif,FDA0000025010800000013.tif,FDA0000025010800000014.tif,FDA0000025010800000015.tif,FDA0000025010800000016.tif,FDA0000025010800000021.tif,FDA0000025010800000022.tif全文摘要本發(fā)明屬于計算機圖像處理領域，涉及一種基于仿射參數(shù)估計的圖像配準方法，包括下列步驟采用SIFT算法提取圖像的特征點，然后對不同圖像的特征點進行匹配；根據(jù)仿射變換的具體情況，建立數(shù)學模型，并估計其中的仿射變換參數(shù)；采用估算出的圖像間的仿射變換參數(shù)，進行運動補償，得到配準后圖像。本發(fā)明的圖像配準方法，對誤匹配具有較強的魯棒性，實現(xiàn)起來比較簡單并且有較好的實時性。文檔編號G06T7/00GK101916445SQ20101026307公開日2010年12月15日申請日期2010年8月25日優(yōu)先權日2010年8月25日發(fā)明者何凱,卓磊,牟聰翀,遠中文申請人:天津大學