本發(fā)明屬于遙感影像處理技術(shù)領(lǐng)域，涉及一種基于三角結(jié)構(gòu)一致的無(wú)人機(jī)線陣與面陣影像匹配方法。

背景技術(shù)：

影像匹配是攝影測(cè)量與遙感領(lǐng)域中的研究熱點(diǎn)和重點(diǎn)，其結(jié)果可用于影像配準(zhǔn)、影像拼接以及三維重建等。隨著遙感技術(shù)的極大發(fā)展，用于獲取影像的傳感器已經(jīng)從傳統(tǒng)膠片航攝儀發(fā)展到數(shù)字航攝儀。數(shù)字航攝儀的成像方式主要分為框幅式(面陣)和推掃式(線陣)兩種。面陣ccd相機(jī)為中心投影，像片具有分辨率高、幾何保真度好等特點(diǎn)，但相幅相對(duì)較小，而線陣ccd相機(jī)是多中心投影，具有更大掃描寬度和更高的測(cè)圖生產(chǎn)效率，但是數(shù)據(jù)量大且處理難度高。為了更好地利用線陣影像和面陣影像的優(yōu)點(diǎn)，研究如何解決面陣影像與線陣影像之間的高效自動(dòng)匹配對(duì)后續(xù)的空中三角測(cè)量和空間數(shù)據(jù)產(chǎn)品生產(chǎn)有重大意義。

線陣影像每一行都具有一個(gè)投影中心，使得線陣影像在匹配時(shí)因?yàn)闊o(wú)法確定具體投影參數(shù)而加大匹配難度，同時(shí)，由于成像環(huán)境的不同，影像間往往存在著尺度差異大，旋轉(zhuǎn)角度等問(wèn)題，使得匹配難以獲得穩(wěn)定可靠的匹配點(diǎn)，也難以滿足匹配的時(shí)效性。目前，影像匹配算法很多，但是這些方法都是大多是針對(duì)單一來(lái)源的傳感器影像進(jìn)行匹配，且很少能將匹配的精度、速度及可信度三大制約因素很好地結(jié)合起來(lái)，形成高效實(shí)用技術(shù)的方法。因此，如何針對(duì)對(duì)于無(wú)人機(jī)線陣影像和面陣影像的匹配能力仍有待提高。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種三角結(jié)構(gòu)一致的無(wú)人機(jī)線陣與面陣影像匹配方法，充分利用pos數(shù)據(jù)輔助影像匹配，有效地克服無(wú)人機(jī)面陣影像與線陣影像之間存在的尺度、旋轉(zhuǎn)等幾何差異，并利用預(yù)處理影像后同名特征點(diǎn)之間幾何結(jié)構(gòu)的一致性，精確估算待匹配點(diǎn)所在區(qū)域，極大地提高了影像匹配的效率和正確率。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為一種基于三角結(jié)構(gòu)一致的無(wú)人機(jī)線陣與面陣影像匹配方法，包括以下步驟，

步驟1，對(duì)無(wú)人機(jī)所采集原始的面陣影像和線陣影像進(jìn)行預(yù)處理；

步驟2，設(shè)左影像為面陣影像，設(shè)右影像為線陣影像，在左影像上提取均勻分布的特征點(diǎn)，并根據(jù)像點(diǎn)與地平面的仿射變換關(guān)系，在右影像上搜索同名點(diǎn)，獲得初始匹配點(diǎn)對(duì)；

步驟3，對(duì)初始匹配點(diǎn)對(duì)進(jìn)行誤匹配剔除，獲得正確的匹配點(diǎn)對(duì)；

步驟4，根據(jù)步驟3所得結(jié)果，對(duì)特征點(diǎn)進(jìn)行聚類，并根據(jù)聚類中心對(duì)左右影像進(jìn)行voronoi圖劃分；

步驟5，將左影像上任一個(gè)特征點(diǎn)作為待匹配點(diǎn)，選擇距離最近的兩個(gè)聚類中心構(gòu)成三角結(jié)構(gòu)；然后根據(jù)三角結(jié)構(gòu)的一致性，在右影像上基于相應(yīng)聚類中心估算待匹配點(diǎn)的同名點(diǎn)所在區(qū)域，并在此區(qū)域內(nèi)搜索和匹配，得到最終的同名點(diǎn)對(duì)；

步驟6，將步驟5獲取的同名點(diǎn)對(duì)反算至原始的面陣影像和線陣影像，得到匹配結(jié)果。

而且，步驟1中，根據(jù)粗略條件對(duì)無(wú)人機(jī)所采集原始的面陣影像和線陣影像進(jìn)行預(yù)處理，消除影像之間存在的幾何差異。

而且，步驟2中，將左影像按照m*m個(gè)像素進(jìn)行網(wǎng)格劃分，并在每個(gè)網(wǎng)格內(nèi)提取harris特征點(diǎn)，并保留興趣值最大的harris點(diǎn)作為當(dāng)前格網(wǎng)內(nèi)的特征點(diǎn)，m*m為預(yù)設(shè)的網(wǎng)格尺寸。

而且，步驟3中，采用基于單應(yīng)性矩陣的ransac方法進(jìn)行誤匹配剔除處理。

而且，步驟5中，根據(jù)三角結(jié)構(gòu)的一致性，在右影像上基于相應(yīng)聚類中心估算待匹配點(diǎn)的同名點(diǎn)所在區(qū)域，實(shí)現(xiàn)方式如下，

設(shè)對(duì)于左影像上任一個(gè)特征點(diǎn)p，和左影像上距離最近的兩個(gè)聚類中心b和d建立三角結(jié)構(gòu)，計(jì)算特征點(diǎn)p到聚類中心的b的距離及相應(yīng)的角度，同時(shí)根據(jù)左影像上的三角形的相似性，在右影像上確定相應(yīng)聚類中心b'和d'為三角形的一邊，并以距離d1+δd1、d2+δd2和角度α+δα、β+δβ構(gòu)成的區(qū)域作為同名點(diǎn)p'所在的范圍，δα和δβ為相應(yīng)角度容差和δd1和δd2為相應(yīng)距離容差。

而且，角度容差和距離容差的設(shè)定方式如下，

對(duì)于每一個(gè)voronoi圖劃分所得影像分區(qū)，根據(jù)步驟3獲取的區(qū)內(nèi)各匹配點(diǎn)對(duì)，計(jì)算到相應(yīng)的聚類中心的距離差絕對(duì)值δdi1和δdi2以及角度差絕對(duì)值δαi和δβi，并取均值作為該影像分區(qū)中待匹配點(diǎn)進(jìn)行匹配時(shí)的角度和距離容差。

本發(fā)明提供的技術(shù)方案的有益效果為：

(1)在無(wú)人機(jī)線陣影像和面陣影像的匹配中，充分利用低精度的pos數(shù)據(jù)和平均dem數(shù)據(jù)輔助影像匹配，從而減小特征匹配時(shí)的搜索范圍，提高了初始匹配效率；

(2)根據(jù)初始匹配點(diǎn)對(duì)對(duì)影像進(jìn)行區(qū)域劃分，獲得分布均勻的基準(zhǔn)點(diǎn)坐標(biāo)，從而精確構(gòu)建所提取特征點(diǎn)和基準(zhǔn)點(diǎn)之間的三角結(jié)構(gòu)關(guān)系，并將這種三角結(jié)構(gòu)用于再次搜索同名點(diǎn)特征，提高了影像匹配的可靠性和正確率，具有重要的市場(chǎng)價(jià)值。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的流程圖。

圖2為本發(fā)明實(shí)施例中左影像上待匹配特征點(diǎn)與基準(zhǔn)點(diǎn)之間構(gòu)成的三角結(jié)構(gòu)示意圖。

圖3為本發(fā)明實(shí)施例中根據(jù)幾何關(guān)系確定的同名點(diǎn)所在區(qū)域示意圖。

具體實(shí)施方式

為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明提供一種基于幾何結(jié)構(gòu)一致的無(wú)人機(jī)線陣與面陣影像匹配方法，其中幾何結(jié)構(gòu)是采用三角結(jié)構(gòu)。具體實(shí)施時(shí)，本發(fā)明可采用計(jì)算機(jī)軟件技術(shù)實(shí)現(xiàn)自動(dòng)運(yùn)行流程。為詳細(xì)說(shuō)明本發(fā)明技術(shù)方案，參見(jiàn)圖1，本發(fā)明實(shí)施例提供的一種基于幾何結(jié)構(gòu)一致的無(wú)人機(jī)線陣與面陣影像匹配方法，包括以下步驟：

步驟1，根據(jù)粗略條件對(duì)無(wú)人機(jī)所采集原始的面陣影像和線陣影像進(jìn)行預(yù)處理，基本消除影像之間存在的尺度、旋轉(zhuǎn)等幾何差異，減小影像之間存在的尺度、旋轉(zhuǎn)等幾何差異對(duì)影像匹配結(jié)果的影響。

為了消除影像之間存在的尺度、旋轉(zhuǎn)等幾何差異，本發(fā)明采用低精度的pos數(shù)據(jù)和影像覆蓋區(qū)域的平均高程對(duì)原始面陣影像和線陣影像進(jìn)行預(yù)處理。即使用的粗略條件包括精度較低的pos數(shù)據(jù)和影像覆蓋區(qū)域的平均高程，同時(shí)，對(duì)分辨率較高的影像采用間接法進(jìn)行降采樣。具體實(shí)施時(shí)，考慮到效率，采用雙線性差值算法，消除兩幅影像間的尺度差異，同時(shí)根據(jù)兩幅影像間的角元素關(guān)系對(duì)影像進(jìn)行旋轉(zhuǎn)處理。

實(shí)施例統(tǒng)一面陣影像和線陣影像分辨率的方式如下：

首先利用pos數(shù)據(jù)和平均高程計(jì)算面陣影像和線陣影像的分辨率，具體計(jì)算為現(xiàn)有技術(shù)，本發(fā)明不予贅述。實(shí)施例中無(wú)人機(jī)線陣影像的分辨率高于面陣影像分辨率，因此，對(duì)無(wú)人機(jī)線陣影像進(jìn)行降采樣處理，考慮到采樣精度和效率，實(shí)施例中采用雙線性內(nèi)插法對(duì)無(wú)人機(jī)線陣影像進(jìn)行降采樣。

考慮到處理效率，將像幅較小的面陣影像進(jìn)行旋轉(zhuǎn)，使之方向與線陣影像一致。面陣影像相對(duì)線陣影像的相對(duì)旋轉(zhuǎn)關(guān)系的確定方式如下：根據(jù)兩張影像之間的角元素關(guān)系得到相對(duì)旋轉(zhuǎn)角度。

步驟2，設(shè)左影像為面陣影像，設(shè)右影像為線陣影像，在左影像上提取均勻分布的特征點(diǎn)，并根據(jù)像點(diǎn)與地平面的仿射變換關(guān)系，在右影像上搜索和匹配同名點(diǎn)，獲得初始匹配點(diǎn)對(duì)。

由于面陣影像像幅相對(duì)線陣影像較小，本發(fā)明在具體實(shí)施時(shí)，在左影像即面陣影像上進(jìn)行特征點(diǎn)提取。將左影像按照m*m個(gè)像素進(jìn)行網(wǎng)格劃分，并在每個(gè)網(wǎng)格內(nèi)提取harris特征點(diǎn)，并保留興趣值最大的harris點(diǎn)作為當(dāng)前格網(wǎng)內(nèi)的特征點(diǎn)。具體實(shí)施時(shí)，m*m為預(yù)設(shè)的網(wǎng)格尺寸，本領(lǐng)域技術(shù)人員可根據(jù)具體分辨率情況預(yù)設(shè)大小，例如50*50。

實(shí)施例中，提取特征點(diǎn)時(shí)，顧及均勻、效率等因素，首先對(duì)面陣影像按照m*m像素大小進(jìn)行分塊構(gòu)成網(wǎng)格，然后在每個(gè)格網(wǎng)內(nèi)提取harris特征點(diǎn)，最后保留興趣值最大的harris點(diǎn)作為當(dāng)前格網(wǎng)內(nèi)的特征點(diǎn)。

特征點(diǎn)提取完成后，對(duì)于左影像上的任意特征點(diǎn)(xi,yi)，采用如下方式在右影像上預(yù)估同名點(diǎn)和搜索窗口，左影像上的任意特征點(diǎn)和右影像上相應(yīng)預(yù)估的同名點(diǎn)構(gòu)成一對(duì)初始匹配點(diǎn)對(duì)：

(1)計(jì)算左影像上特征點(diǎn)的地面坐標(biāo)(xi,yi)。包括根據(jù)特征點(diǎn)像點(diǎn)坐標(biāo)(xi,yi)、外方位元素以及區(qū)域平均高程z，利用共線方程計(jì)算特征點(diǎn)的地面坐標(biāo)(xi,yi)。

(2)構(gòu)建右影像坐標(biāo)與地平面坐標(biāo)的局部仿射變換關(guān)系。采用迭代的方式估算右影像上像點(diǎn)與地平面之間的仿射系數(shù)，采用如下方式進(jìn)行：

①根據(jù)右影像外方位元素求解影像四角對(duì)應(yīng)的地面坐標(biāo)，然后根據(jù)影像四角坐標(biāo)和對(duì)應(yīng)地面坐標(biāo)構(gòu)建仿射變換方程，確定初始的仿射變換系數(shù)；令迭代次數(shù)n＝1；

②根據(jù)當(dāng)前的仿射關(guān)系，計(jì)算地面點(diǎn)(xi,yi)在右影像上對(duì)應(yīng)像點(diǎn)坐標(biāo)(x'i,yi')；第一次執(zhí)行②時(shí)，當(dāng)前的仿射關(guān)系采用初始的仿射變換系數(shù)，后續(xù)執(zhí)行時(shí)采用上一次迭代執(zhí)行③所得局部像平面與地面之間的仿射系數(shù)；

③以(x'i,yi')像點(diǎn)為中心，類似于步驟①，計(jì)算像點(diǎn)和對(duì)應(yīng)局部像平面與地面之間的仿射系數(shù)；h、w分別是影像高度和寬度；

④若n小于3，令n＝n+1，返回至②，如此循環(huán)步驟②和③，當(dāng)n＝3時(shí)，結(jié)束循環(huán)。

(3)在右影像上預(yù)估同名點(diǎn)和預(yù)估搜索窗口。根據(jù)步驟(2)獲取的仿射關(guān)系，計(jì)算左影像上對(duì)應(yīng)地面點(diǎn)在右影像上的像點(diǎn)坐標(biāo)，并以此預(yù)估點(diǎn)為中心，確定w*w大小的區(qū)域作為搜索窗口。具體實(shí)施時(shí)，w*w可根據(jù)具體分辨率情況預(yù)設(shè)大小，例如200*200。

在右影像的搜索窗口內(nèi)搜索同名點(diǎn)時(shí)，可以采用自上到下，由粗到細(xì)的匹配策略進(jìn)行灰度相關(guān)匹配，最后采用最小二乘匹配獲得精確的匹配點(diǎn)。

步驟3，對(duì)步驟2獲取的匹配結(jié)果初始匹配點(diǎn)對(duì)進(jìn)行誤匹配剔除，獲得若干正確的匹配點(diǎn)對(duì)。

由于pos數(shù)據(jù)和區(qū)域平均高程的不準(zhǔn)確，可能出現(xiàn)的誤預(yù)估點(diǎn)和相似紋理區(qū)域等各種因素的影響，導(dǎo)致步驟2獲取的初始匹配點(diǎn)不可避免的存在誤匹配點(diǎn)，為保證兩幅影像上基于匹配點(diǎn)構(gòu)成的幾何結(jié)構(gòu)的一致性，必需剔除誤匹配點(diǎn)。本發(fā)明在具體實(shí)施時(shí)，可采用基于單應(yīng)性矩陣的ransac方法剔除錯(cuò)誤匹配點(diǎn)，具體實(shí)現(xiàn)為現(xiàn)有技術(shù)，本發(fā)明不予贅述。

步驟4根據(jù)步驟3所得的正確匹配點(diǎn)，對(duì)特征點(diǎn)進(jìn)行聚類，并根據(jù)聚類中心對(duì)左右影像進(jìn)行voronoi圖劃分。

本發(fā)明在構(gòu)建同名點(diǎn)之間的幾何結(jié)構(gòu)時(shí)，并不采用單個(gè)特征點(diǎn)進(jìn)行構(gòu)建，而是綜合利用局部同名特征點(diǎn)的信息，一定程度能夠削弱誤匹配點(diǎn)對(duì)三角結(jié)構(gòu)一致性的影響。采用k均值算法對(duì)步驟3提取正確匹配點(diǎn)進(jìn)行聚類，然后將各類的聚類中心作為種子點(diǎn)生成voronoi圖，從而實(shí)現(xiàn)對(duì)左影像平面的劃分；這樣對(duì)左影像分塊區(qū)域上的每個(gè)特征點(diǎn)，可根據(jù)步驟3獲得的匹配點(diǎn)確定幾何結(jié)構(gòu)。相應(yīng)地，根據(jù)同名點(diǎn)的對(duì)應(yīng)關(guān)系，可將步驟3獲得的右影像同名點(diǎn)直接進(jìn)行類別劃分，計(jì)算出聚類中心并作為種子點(diǎn)生成voronoi圖，從而實(shí)現(xiàn)與左影像平面一致的劃分

實(shí)施例實(shí)現(xiàn)如下：

首先，采用k均值算法根據(jù)步驟3獲得的正確匹配點(diǎn)對(duì)聚類。設(shè)聚成m類(實(shí)施例中為6類)，然后將各類的聚類中心作為種子點(diǎn)構(gòu)成delaunay三角網(wǎng)，然后再生成voronoi圖，從而實(shí)現(xiàn)對(duì)影像平面的均勻劃分。

步驟5，將左影像上任一個(gè)特征點(diǎn)作為待匹配點(diǎn)，選擇距離最近的兩個(gè)聚類中心構(gòu)成三角結(jié)構(gòu)；然后根據(jù)三角結(jié)構(gòu)的一致性，在右影像上基于相應(yīng)聚類中心估算待匹配點(diǎn)的同名點(diǎn)所在區(qū)域，并在此區(qū)域內(nèi)搜索和匹配，得到最終的同名點(diǎn)對(duì)。

對(duì)于左影像上任意一個(gè)特征點(diǎn)，通過(guò)幾何結(jié)構(gòu)的一致性，可在右影像上精確預(yù)估同名點(diǎn)所在區(qū)域，并在此小范圍區(qū)域內(nèi)搜索和匹配同名點(diǎn)，獲得最終匹配結(jié)果。

對(duì)于左影像上任意一個(gè)特征點(diǎn)，構(gòu)建其幾何結(jié)構(gòu)的方式如下：

計(jì)算該特征點(diǎn)與所有聚類中心的距離，并找出與其距離最近的和第二鄰近的聚類中心，這樣，特征點(diǎn)以及與其最近的兩個(gè)聚類中心點(diǎn)可構(gòu)成一個(gè)穩(wěn)定的三角幾何結(jié)構(gòu)。由于劃分影像區(qū)域時(shí)，采用的是voronoi圖的形式，離該特征點(diǎn)距離最近的點(diǎn)即為生成v圖區(qū)域的種子點(diǎn)，因此，具體實(shí)施時(shí)只需要計(jì)算該特征點(diǎn)與其他區(qū)域聚類中心的距離，并選出最近的另一個(gè)聚類中心來(lái)與之構(gòu)建幾何結(jié)構(gòu)。

在右影像上精確確定同名點(diǎn)所在區(qū)域的方式如下：在左影像中分別計(jì)算該待匹配點(diǎn)的特征點(diǎn)到兩個(gè)最近聚類中心的距離d1和d2，同時(shí)分別計(jì)算該點(diǎn)到聚類中心連線與兩個(gè)最近聚類中心連線的夾角α和β，根據(jù)距離延長(zhǎng)線的交點(diǎn)以及角度的交點(diǎn)，就可以確定右影像上同名點(diǎn)所在位置。由于誤匹配點(diǎn)的存在，進(jìn)一步地，本發(fā)明提出給同名點(diǎn)到聚類中心的距離以及相應(yīng)的角度值給定一個(gè)容差，增加容錯(cuò)能力，因而，可以根據(jù)這些條件精確構(gòu)建同名點(diǎn)的搜索范圍。

所述步驟5中，各個(gè)閾值的確定采用自適應(yīng)的方法，如下：

對(duì)于每一個(gè)voronoi圖劃分所得影像分區(qū)，根據(jù)步驟3獲取的區(qū)內(nèi)各匹配點(diǎn)對(duì)i，計(jì)算其到左影像和右影像上相應(yīng)的兩個(gè)聚類中心的距離差絕對(duì)值δdi1和δdi2以及聚類中心連線的夾角角度差絕對(duì)值δαi和δβi，并取其均值作為該影像分區(qū)中待匹配點(diǎn)進(jìn)行匹配時(shí)的角度容差δα和δβ和距離容差δd1和δd2。

本發(fā)明實(shí)施例中根據(jù)幾何結(jié)構(gòu)一致性確定的同名點(diǎn)所在區(qū)域，實(shí)現(xiàn)基于三角結(jié)構(gòu)的約束匹配：如圖2所示左影像上待匹配特征點(diǎn)與基準(zhǔn)點(diǎn)之間構(gòu)成的三角結(jié)構(gòu)，及圖3所述右影像上根據(jù)幾何關(guān)系確定的同名點(diǎn)所在區(qū)域：圖2中聚類中心有a、b、c、d、e、f，對(duì)于左影像上任意一個(gè)特征點(diǎn)p，在左影像上的與其距離最近的兩個(gè)聚類中心b和d建立三角結(jié)構(gòu)，計(jì)算該點(diǎn)到聚類中心b的距離d1及兩個(gè)聚類中心連線的夾角α，以及該點(diǎn)到聚類中心d的距離d2及兩個(gè)聚類中心連線的夾角β；同時(shí)根據(jù)左影像上的三角形的相似性，在右影像上確定聚類中心b'和d'(和左影像上聚類中心b和d相應(yīng))為三角形的一邊，并以距離d1+δd1、d2+δd2和角度α+δα、β+δβ構(gòu)成的區(qū)域作為同名點(diǎn)p'所在的范圍(圖3中扇形區(qū)域)，并在此范圍內(nèi)采用灰度相關(guān)和最小二乘匹配方法確定同名點(diǎn)的最終位置。

步驟6，將步驟5獲取的同名點(diǎn)對(duì)反算至原始影像，即原始的面陣影像和線陣影像，得到匹配結(jié)果。

以上實(shí)施方式僅用于對(duì)本發(fā)明做進(jìn)一步相似說(shuō)明，而非對(duì)本發(fā)明的限制，不能認(rèn)為本發(fā)明的具體實(shí)施僅限于上述說(shuō)明，本領(lǐng)域的技術(shù)人員都應(yīng)該理解，在不脫離所附權(quán)利要求書限定的情況下，可以在細(xì)節(jié)上對(duì)此做出各種修改，但所有等同的技術(shù)方案也屬于本發(fā)明的范疇。