專(zhuān)利名稱(chēng)：一種用于圖像匹配的控制點(diǎn)均勻化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，具體地說(shuō)，是在圖像匹配流程中加入控制 點(diǎn)均勻化步驟，使控制點(diǎn)分布均勻，減少誤匹配控制點(diǎn)，提高匹配精度。
技術(shù)背景目前常用的圖像幾何精糾正方法是基于控制點(diǎn)的幾何精糾正，即先對(duì) 圖像進(jìn)行匹配生成控制點(diǎn)，再用控制點(diǎn)坐標(biāo)擬合糾正函數(shù)參數(shù)進(jìn)行糾正。常用的匹配方 法是基于模板匹配的自動(dòng)匹配方法，該方法的一般流程是首先使用特征點(diǎn)提取算子在 圖像上提取特征點(diǎn)作為控制點(diǎn)，再以控制點(diǎn)為中心，分別在兩幅圖像中提取模板窗口和 搜索窗口，最后以一定的匹配準(zhǔn)則對(duì)兩幅圖像進(jìn)行匹配，以達(dá)到象元級(jí)的匹配精度。模 板窗口是指從基準(zhǔn)圖像中提取的用來(lái)進(jìn)行模板匹配的模板，搜索窗口是指從原始圖像中 提取出來(lái)的待匹配區(qū)域，模板匹配的過(guò)程就是用模板窗口在搜索窗口中逐點(diǎn)移動(dòng)，利用 相似性判別準(zhǔn)則計(jì)算模板和其重疊區(qū)域的匹配度，找到匹配度最大的位置，如果匹配度 大于設(shè)定的閾值，就認(rèn)為找到了一個(gè)匹配點(diǎn)。但該方法得到的控制點(diǎn)完全依賴(lài)于圖像的 特征分布，對(duì)提取出的控制點(diǎn)進(jìn)行匹配、篩選時(shí)，通常以匹配度作為唯一篩選依據(jù)，因 而對(duì)于某些特征分布不均的圖像會(huì)造成最后生成的控制點(diǎn)分布不均勻。而在進(jìn)行糾正 時(shí)，每一對(duì)控制點(diǎn)都具有相同的權(quán)重，在控制點(diǎn)分布較密的區(qū)域，精度高，在控制點(diǎn)分 布稀疏的區(qū)域則精度較差，并且圖像特征會(huì)受到噪聲等的影響，使得匹配結(jié)果存在一定 數(shù)量的誤匹配點(diǎn)，從而影響了匹配精度。
因此需要在匹配過(guò)程中或者匹配后對(duì)控制點(diǎn)進(jìn)行處理，使控制點(diǎn)分布均勻，減 少誤匹配點(diǎn)，提高匹配精度。目前，一些方法是在匹配流程中使用隨機(jī)采樣一致性方法 (RANSAC方法)迭代篩選表現(xiàn)一致的子集，消除誤匹配點(diǎn)影響；一些方法在匹配流程中 使用Hough變換消除誤匹配點(diǎn)；一些結(jié)合實(shí)際應(yīng)用提出消除誤匹配點(diǎn)的方法。雖然這些 方法有效的消除了誤匹配點(diǎn)，但并沒(méi)有進(jìn)行控制點(diǎn)均勻化處理，匹配結(jié)果的控制點(diǎn)分布 依然不均勻。文獻(xiàn)“張翼、曾慶業(yè)、唐娉.獲取均勻控制點(diǎn)的遙感影像自動(dòng)空間匹配方 法[J].中國(guó)圖象圖形學(xué)報(bào)，2009，14(8) 1475-1479.”，對(duì)控制點(diǎn)均勻化進(jìn)行了研究， 提出了兩種均勻化方法控制點(diǎn)提取時(shí)均勻化、匹配后均勻化，其匹配后均勻化只是在 劃分網(wǎng)格后保留了匹配度最大的控制點(diǎn)。該方法不能消除誤匹配點(diǎn)，對(duì)于沒(méi)有控制點(diǎn)的 網(wǎng)格也沒(méi)有進(jìn)行處理。匹配過(guò)程中，由于受到噪聲、匹配方法本身等的影響，可能會(huì)導(dǎo) 致局部區(qū)域沒(méi)有控制點(diǎn)，因此控制點(diǎn)均勻化需要對(duì)這些區(qū)域進(jìn)行加點(diǎn)處理，已保證控制 點(diǎn)分布均勻。本發(fā)明針對(duì)匹配后控制點(diǎn)均勻化提出了一個(gè)合理、高效的解決方法，既能 有效消除誤匹配點(diǎn)，又能對(duì)沒(méi)有控制點(diǎn)的網(wǎng)格進(jìn)行處理，盡可能的保證每個(gè)網(wǎng)格都有控 制點(diǎn)，提高了整體圖像的匹配精度，具有很好的實(shí)際應(yīng)用價(jià)值
發(fā)明內(nèi)容
本發(fā)明公開(kāi)一種技術(shù)方案，使用多種圖像處理技術(shù)，對(duì)匹配后的控制 點(diǎn)進(jìn)行均勻化，使控制點(diǎn)分布更均勻，減少誤匹配點(diǎn)，提高圖像的整體匹配精度。本發(fā) 明實(shí)施的前提是自動(dòng)匹配找到了較多的匹配度較高的控制點(diǎn)。
本發(fā)明的基本思路為首先進(jìn)行傳統(tǒng)的圖像自動(dòng)匹配，生成控制點(diǎn)；然后使用 RANSAC方法對(duì)生成的控制點(diǎn)進(jìn)行篩選，利用篩選后的控制點(diǎn)建立兩幅圖像之間的對(duì)應(yīng) 關(guān)系；再對(duì)原始圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格大小為MXM，網(wǎng)格劃分后，把所有控制點(diǎn)按照坐標(biāo)分配到不同的網(wǎng)格中；最后，對(duì)于有控制點(diǎn)和沒(méi)控制點(diǎn)的網(wǎng)格分別進(jìn)行篩點(diǎn)和加 點(diǎn)處理，盡可能保證每個(gè)網(wǎng)格都有一個(gè)控制點(diǎn)。
實(shí)現(xiàn)本發(fā)明思路的技術(shù)方案流程如圖1所示，其優(yōu)點(diǎn)是使用RANSAC方法篩 選控制點(diǎn)，有效減少了誤匹配點(diǎn)；根據(jù)網(wǎng)格內(nèi)控制點(diǎn)分布情況，采取加點(diǎn)、刪點(diǎn)、保留 點(diǎn)三種策略，盡可能的保證每個(gè)網(wǎng)格都有控制點(diǎn)。最終的結(jié)果控制點(diǎn)分布更均勻，精度 更高；計(jì)算復(fù)雜度低，計(jì)算速度快，易于實(shí)現(xiàn)。具體描述如下
A.圖像自動(dòng)匹配對(duì)圖像進(jìn)行自動(dòng)匹配，生成控制點(diǎn)；
B.RANSAC方法篩選控制點(diǎn)使用RANSAC方法篩選出匹配度較好的控制點(diǎn)， 減少誤匹配的控制點(diǎn)；
C.建立圖像間的對(duì)應(yīng)關(guān)系在篩選出控制點(diǎn)后，使用最小二乘法建立兩幅圖像 之間的對(duì)應(yīng)關(guān)系；
D.劃分網(wǎng)格、分配控制點(diǎn)對(duì)原始圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格大小為MXM，網(wǎng) 格劃分后，把所有原始圖像控制點(diǎn)按照坐標(biāo)分配到不同的網(wǎng)格中；
E.控制點(diǎn)均勻化對(duì)于有控制點(diǎn)和沒(méi)控制點(diǎn)的網(wǎng)格分別進(jìn)行處理(1)對(duì)于有 控制點(diǎn)的網(wǎng)格，取匹配度Y最大的控制點(diǎn)作為該網(wǎng)格的控制點(diǎn)；(2)對(duì)于沒(méi)有控制點(diǎn)的 網(wǎng)格，在原始圖像上取網(wǎng)格中心點(diǎn)作為原始圖像待匹配點(diǎn)，然后在一個(gè)小的區(qū)域范圍內(nèi) 進(jìn)行圖像自動(dòng)匹配，篩選符合條件的基準(zhǔn)圖像上的控制點(diǎn)。如果圖像自動(dòng)匹配失敗，利 用已經(jīng)建立的兩幅圖像之間的對(duì)應(yīng)關(guān)系，估算對(duì)應(yīng)的基準(zhǔn)圖像上的控制點(diǎn)。
其中，步驟C的建立圖像間的對(duì)應(yīng)關(guān)系也可以調(diào)到步驟D后進(jìn)行。
圖像自動(dòng)匹配可以根據(jù)實(shí)際情況，選擇不同的圖像匹配方法，目的是找出足夠 多的，且存在一些精度較高的控制點(diǎn)，從而使控制點(diǎn)均勻化達(dá)到好的效果。步驟A中的 自動(dòng)匹配和步驟E中的自動(dòng)匹配可以是相同方法，也可以不同。
網(wǎng)格劃分中網(wǎng)格的大小為經(jīng)驗(yàn)選擇，但不能太小，否則就會(huì)導(dǎo)致計(jì)算速度降 低、控制點(diǎn)過(guò)多。網(wǎng)格大小可以是固定的，比如200X200，或者300X300，也可以根據(jù)圖像大小動(dòng)態(tài)調(diào)整。
和直接的匹配結(jié)果相比，經(jīng)過(guò)控制點(diǎn)均勻化后，控制點(diǎn)分布更加均勻，同時(shí)也 減少了誤匹配控制點(diǎn)，提高了圖像匹配精度。


圖1是技術(shù)方案流程示意圖
圖2是劃分網(wǎng)格、分配控制點(diǎn)后控制點(diǎn)分布情況示意圖
圖3是控制點(diǎn)相對(duì)密集的網(wǎng)格控制點(diǎn)分布情況示意圖
圖4是只有一個(gè)控制點(diǎn)的網(wǎng)格示意圖
圖5是沒(méi)有控制點(diǎn)的網(wǎng)格示意圖
圖6模板匹配示意圖
具體實(shí)施方式
現(xiàn)在結(jié)合附圖，描述本發(fā)明的一種具體實(shí)施方式
。
依據(jù)技術(shù)方案流程示意1和“發(fā)明內(nèi)容”中的具體描述，控制點(diǎn)均勻化的 過(guò)程主要包括圖像自動(dòng)匹配，RANSAC方法篩選控制點(diǎn)，劃分網(wǎng)格、分配控制點(diǎn)，控 制點(diǎn)均勻化。
第一步是圖像自動(dòng)匹配。圖像自動(dòng)匹配就是結(jié)合實(shí)際圖像，選擇一種適合實(shí)際 圖像的匹配方法，生成初始控制點(diǎn)。不管采用什么匹配方法，一般要求生成的控制點(diǎn)盡可能的多，且存在一些精度較高的控制點(diǎn)，如果太少就會(huì)影響控制點(diǎn)均勻化的效果。
第二步是RANSAC方法篩選控制點(diǎn)。RANSAC方法是從一個(gè)觀察數(shù)據(jù)集合中， 估計(jì)模型參數(shù)(模型擬合)的迭代方法。它是一種隨機(jī)算法，每次運(yùn)算求出的結(jié)果不完 全相同，但多次迭代后總能給出點(diǎn)集中整體表現(xiàn)一致的子集，篩除與整體模型相差遠(yuǎn)的 點(diǎn)，為了提高精度必須提高迭代次數(shù)。本發(fā)明中采用一般的RANSAC方法，把RANSAC 方法認(rèn)為是內(nèi)點(diǎn)的控制點(diǎn)保留下來(lái)，把其它控制點(diǎn)篩除掉。
第三步是建立圖像間的對(duì)應(yīng)關(guān)系。該步驟的目的是根據(jù)篩選后的控制點(diǎn)使用最 小二乘法建立原始圖像和基準(zhǔn)圖像之間的對(duì)應(yīng)關(guān)系，然后把該對(duì)應(yīng)關(guān)系作為控制點(diǎn)均勻 化步驟的約束關(guān)系和估算控制點(diǎn)的計(jì)算依據(jù)，本步驟中擬合模型使用一階多項(xiàng)式。
第四步是劃分網(wǎng)格、分配控制點(diǎn)。對(duì)原始圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格大小為 MXM,把原始圖像分為大小相等的若干個(gè)網(wǎng)格。然后根據(jù)原始圖像的控制點(diǎn)坐標(biāo)和網(wǎng) 格的坐標(biāo)范圍，把原始圖像的控制點(diǎn)分配到不同的網(wǎng)格中，并記錄相對(duì)應(yīng)的基準(zhǔn)圖像的 控制點(diǎn)。網(wǎng)格大小可以根據(jù)圖像的寬、高進(jìn)行選擇，盡可能的保證大部分網(wǎng)格都有控制 點(diǎn)ο
第五步是控制點(diǎn)均勻化?？刂泣c(diǎn)均勻化是指通過(guò)不同的處理方式，盡可能的保 證每個(gè)網(wǎng)格都有一個(gè)控制點(diǎn)。對(duì)有控制點(diǎn)和沒(méi)控制點(diǎn)的網(wǎng)格分別進(jìn)行處理，這樣處理可 充分使用匹配中已經(jīng)找到的控制點(diǎn)，還可以對(duì)沒(méi)有控制點(diǎn)的網(wǎng)格進(jìn)行加點(diǎn)，使圖像的控 制點(diǎn)分布比較均勻。
控制點(diǎn)均勻化策略劃分網(wǎng)格、分配控制點(diǎn)后，控制點(diǎn)整體分布情況如圖2所 示，網(wǎng)格內(nèi)控制點(diǎn)分布一般分為三種情況(1)控制點(diǎn)相對(duì)密集的網(wǎng)格，如圖3所示，只 保留一個(gè)匹配度最高的控制點(diǎn)，起到“刪點(diǎn)”效果；(2)只有一個(gè)控制點(diǎn)的網(wǎng)格，如圖4 所示，保留僅有的控制點(diǎn)；⑶沒(méi)有控制點(diǎn)的網(wǎng)格，如圖5所示，則重新在小區(qū)域內(nèi)進(jìn)行 自動(dòng)匹配，如果匹配失敗，則估算控制點(diǎn)，起到“加點(diǎn)”效果。
具體處理方法如下
(1)有控制點(diǎn)的網(wǎng)格把網(wǎng)格內(nèi)的控制點(diǎn)按照匹配度從大到小進(jìn)行排序，然后 取匹配度最大的一個(gè)控制點(diǎn)作為該網(wǎng)格的控制點(diǎn)。
(2)沒(méi)有控制點(diǎn)的網(wǎng)格不再進(jìn)行特征點(diǎn)提取，而是取每個(gè)網(wǎng)格的中心點(diǎn)作為 特征點(diǎn)，然后在一個(gè)圖像的一個(gè)小范圍內(nèi)進(jìn)行模板匹配，把匹配成功的點(diǎn)作為相關(guān)網(wǎng)格 的控制點(diǎn)。對(duì)于自動(dòng)匹配沒(méi)有找到控制點(diǎn)的網(wǎng)格，按照已經(jīng)建立的圖像之間的對(duì)應(yīng)關(guān) 系，利用原始圖像上的控制點(diǎn)在基準(zhǔn)圖像上估算一個(gè)點(diǎn)，把控制點(diǎn)和估算的點(diǎn)作為一對(duì) 控制點(diǎn)。
由于只是在一個(gè)小的網(wǎng)格內(nèi)進(jìn)行匹配，并且已經(jīng)進(jìn)行了自動(dòng)匹配和用匹配度較 高的控制點(diǎn)建立了兩幅圖像之間的對(duì)應(yīng)關(guān)系，所以簡(jiǎn)化和改進(jìn)了一般的模板匹配步驟， 方法如下直接把網(wǎng)格的中心點(diǎn)作為特征點(diǎn)，再以特征點(diǎn)為中心，根據(jù)圖像間的對(duì)應(yīng)關(guān) 系分別在兩幅圖像中提取很小的模板窗口和搜索窗口，然后以某種匹配度判定準(zhǔn)則對(duì)兩 幅圖像進(jìn)行模板匹配。一般情況下，為了找到最佳的控制點(diǎn)，模板窗口和搜索窗口會(huì)取 的比較大，速度比較慢。本發(fā)明中，由于有了較準(zhǔn)確的圖像之間的對(duì)應(yīng)關(guān)系，所以取一 個(gè)非常小的模板窗體和搜索窗體，比如模板窗體為5X5，搜索窗體為10X10。該值為經(jīng) 驗(yàn)選擇，可以取更小，但不需要太大。這樣做的好處是既可以提高匹配速度和精度，又可以防止模板匹配偏離正確位置，出現(xiàn)誤匹配點(diǎn)。模板匹配過(guò)程示意圖如圖6所示，分 別從基準(zhǔn)圖像和原始圖像中提取的模板窗口在提取的搜索窗口，模板窗口在搜索窗口中 逐點(diǎn)移動(dòng)，計(jì)算每次移動(dòng)后的匹配度，匹配度最大值對(duì)應(yīng)的位置就是在搜索窗體中找到 的控制點(diǎn)的位置。
該步驟中，把圖像間的對(duì)應(yīng)關(guān)系作為自動(dòng)匹配中提取模板窗口和搜索窗口的依 據(jù)以及估算控制點(diǎn)的依據(jù)是合理的，因?yàn)榻?jīng)過(guò)RANSAC篩選控制點(diǎn)后，保留的控制點(diǎn)匹 配度較高，依據(jù)這些控制點(diǎn)建立的圖像之間的對(duì)應(yīng)關(guān)系是比較準(zhǔn)確的。
本發(fā)明在自動(dòng)匹配后進(jìn)行控制點(diǎn)均勻化，采取加點(diǎn)、刪點(diǎn)、保留點(diǎn)三種策略， 盡可能的保證每個(gè)網(wǎng)格都有一個(gè)控制點(diǎn)。本發(fā)明的一個(gè)實(shí)施例在PC平臺(tái)實(shí)現(xiàn)，可以使控 制點(diǎn)分布更均勻，圖像匹配精度更高，并且計(jì)算復(fù)雜度低，計(jì)算速度快，易于實(shí)現(xiàn)。
權(quán)利要求
1.一種技術(shù)方案，使用多種圖像處理技術(shù)，對(duì)匹配后的控制點(diǎn)進(jìn)行均勻化，使控制 點(diǎn)分布更均勻，減少誤匹配點(diǎn)，提高圖像的匹配精度，包括如下步驟A.圖像自動(dòng)匹配對(duì)圖像進(jìn)行自動(dòng)匹配，生成控制點(diǎn)；B.RANSAC方法篩選控制點(diǎn)使用RANSAC方法篩選出匹配度較好的控制點(diǎn)，減少 誤匹配的控制點(diǎn)；C.建立圖像間的對(duì)應(yīng)關(guān)系在篩選出控制點(diǎn)后，使用最小二乘法建立兩幅圖像之間 的對(duì)應(yīng)關(guān)系；D.劃分網(wǎng)格、分配控制點(diǎn)對(duì)原始圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格大小為MXM，網(wǎng)格劃 分后，把所有原始圖像控制點(diǎn)按照坐標(biāo)分配到不同的網(wǎng)格中；E.控制點(diǎn)均勻化對(duì)于有控制點(diǎn)和沒(méi)控制點(diǎn)的網(wǎng)格分別進(jìn)行處理(1)對(duì)于有控制 點(diǎn)的網(wǎng)格，取匹配度Y最大的控制點(diǎn)作為該網(wǎng)格的控制點(diǎn)；(2)對(duì)于沒(méi)有控制點(diǎn)的網(wǎng) 格，在原始圖像上取網(wǎng)格中心點(diǎn)作為原始圖像待匹配點(diǎn)，然后在一個(gè)小的區(qū)域范圍內(nèi)進(jìn) 行圖像自動(dòng)匹配，篩選符合條件的基準(zhǔn)圖像上的控制點(diǎn)；如果圖像自動(dòng)匹配失敗，利用 已經(jīng)建立的兩幅圖像之間的對(duì)應(yīng)關(guān)系，估算對(duì)應(yīng)的基準(zhǔn)圖像上的控制點(diǎn)；其特征在于步驟C的建立圖像間的對(duì)應(yīng)關(guān)系也可以調(diào)到步驟D后執(zhí)行；圖像自動(dòng)匹配可以根據(jù)實(shí)際情況，選擇不同的圖像匹配方法，目的是找出足夠多 的，且精度較高的控制點(diǎn)，從而使控制點(diǎn)均勻化達(dá)到好的效果；步驟A中的自動(dòng)匹配和 步驟E中的自動(dòng)匹配可以是相同方法，也可以不同；網(wǎng)格劃分中網(wǎng)格的大小為經(jīng)驗(yàn)選擇，但不能太小，否則就會(huì)導(dǎo)致計(jì)算速度降低、控 制點(diǎn)過(guò)多；網(wǎng)格大小可以是固定的，比如200X200，或者300X300，也可以根據(jù)圖像大 小動(dòng)態(tài)調(diào)整。
2.根據(jù)權(quán)利要求1中所述的控制點(diǎn)均勻化方法，其特征在于步驟C中的最小二乘法，也可以使用二階或者更高階的多項(xiàng)式，其目的是建立比較 準(zhǔn)確的圖像間的對(duì)應(yīng)關(guān)系。
3.根據(jù)權(quán)利要求1中所述的控制點(diǎn)均勻化方法，其特征在于步驟E中的模板匹配中，也可以使用某種特征提取方法在網(wǎng)格中進(jìn)行特征點(diǎn)提取， 而不是直接以網(wǎng)格的中心點(diǎn)作為特征點(diǎn)。
4.根據(jù)權(quán)利要求1中所述的控制點(diǎn)均勻化方法，其特征在于步驟E中的控制點(diǎn)均勻化策略中，對(duì)于有多個(gè)控制點(diǎn)的網(wǎng)格，也可以保留兩個(gè)或者 多個(gè)匹配度高的控制點(diǎn)；對(duì)于只有一個(gè)控制點(diǎn)的網(wǎng)格，如果控制點(diǎn)的匹配度低于某一閾 值，可以?huà)仐壴摽刂泣c(diǎn)，重新進(jìn)行自動(dòng)匹配。
全文摘要
本發(fā)明公開(kāi)一種技術(shù)方案，綜合使用多種圖像處理技術(shù)，對(duì)自動(dòng)匹配后的控制點(diǎn)進(jìn)行均勻化，均勻化后，控制點(diǎn)分布更均勻，減少了誤匹配控制點(diǎn)，圖像匹配精度更高。處理過(guò)程為首先進(jìn)行傳統(tǒng)的圖像自動(dòng)匹配，生成控制點(diǎn)；然后使用RANSAC方法對(duì)生成的控制點(diǎn)進(jìn)行篩選，利用篩選后的控制點(diǎn)建立兩幅圖像之間的對(duì)應(yīng)關(guān)系；再對(duì)原始圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格大小為M×M，網(wǎng)格劃分后，把所有控制點(diǎn)按照坐標(biāo)分配到不同的網(wǎng)格中；最后，對(duì)于有控制點(diǎn)和沒(méi)控制點(diǎn)的網(wǎng)格分別進(jìn)行篩點(diǎn)和加點(diǎn)處理，盡可能保證每個(gè)網(wǎng)格都有一個(gè)控制點(diǎn)。
文檔編號(hào)G06K9/64GK102024154SQ201010560790
公開(kāi)日2011年4月20日 申請(qǐng)日期2010年11月26日 優(yōu)先權(quán)日2010年11月26日
發(fā)明者劉偉卿, 單小軍, 唐亮, 張翼, 王開(kāi)棟 申請(qǐng)人:中國(guó)人民解放軍第二炮兵裝備研究院第五研究所, 中國(guó)科學(xué)院遙感應(yīng)用研究所