拼接航空多元并掃圖像的方法
【專利摘要】本發(fā)明提供了一種拼接航空多元并掃圖像的方法。該方法相鄰兩幀的幾何變換模型中采用了“尺度+旋轉(zhuǎn)”的變換模型，而沒有采用面陣相機(jī)的透視投影模型，適應(yīng)了航空多元并掃的相鄰圖像間的幾何變換模型，較好地解決相鄰圖像間的整體變換問(wèn)題。
【專利說(shuō)明】拼接航空多元并掃圖像的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及遙感圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種拼接航空多元并掃圖像的方法。
【背景技術(shù)】
[0002]航空多元并掃是源于傳統(tǒng)膠片時(shí)代的全景攝影相機(jī)，具有很大的旁向視場(chǎng)角、分辨率高的特點(diǎn)，只需線陣探測(cè)器，就可以獲取寬幅圖像，常常應(yīng)用于紅外/夜視圖像的快速獲取。但由于多元并掃相機(jī)的焦距是保持不變的，在掃描的同時(shí)飛機(jī)向前運(yùn)動(dòng)，以及掃描鏡擺動(dòng)的非線性等因素，使得圖像的畸變較為復(fù)雜。為了獲取地面某個(gè)區(qū)域的圖像，常常利用多元并掃相機(jī)在飛行過(guò)程中通過(guò)物鏡的左右擺掃獲取圖像，而且在前后獲取的相鄰圖像根據(jù)飛行速度設(shè)計(jì)一定的重疊，而后通過(guò)圖像處理得到區(qū)域圖像，但由于飛機(jī)飛行中干擾因素較多，使得獲取的區(qū)域圖像之間的重疊是不斷變化的，增加了區(qū)域圖像處理的復(fù)雜度和難度。
[0003]目前國(guó)內(nèi)外對(duì)航空多元并掃圖像的自動(dòng)拼接處理的研究成果報(bào)道極少，而研究比較多的是無(wú)人機(jī)獲取的CXD圖像以及其他航空面陣圖像的拼接。這些拼接處理方法都是通過(guò)匹配算法提取重疊區(qū)域的同名點(diǎn)，然后計(jì)算相鄰面陣圖像的空間變換關(guān)系，在變換的基礎(chǔ)上完成圖像的拼接。例如胡慶武等人(胡慶武、艾明耀、殷萬(wàn)玲、袁輝，大旋角無(wú)人機(jī)影像全自動(dòng)拼接方法研究，計(jì)算機(jī)工程，第38卷，第15期，2012)提出的大旋角無(wú)人機(jī)影像全自動(dòng)拼接方法，采用SIFT特征的單應(yīng)約束影像匹配算法，計(jì)算相鄰影像的最優(yōu)變換矩陣，在此基礎(chǔ)上給出了最優(yōu)變換矩陣的多分辨率樣條融合影像拼接算法。魯恒等人(魯恒、李永樹、何敬、陳強(qiáng)、任志明，一種基于特征點(diǎn)的無(wú)人機(jī)影像自動(dòng)拼接方法，地理與地理信息科學(xué)，第26卷第5期，2010)基于特征點(diǎn)的無(wú)人機(jī)影像自動(dòng)拼接方法，將穩(wěn)健的SIFT算法引入無(wú)人機(jī)影像自動(dòng)拼接中，并結(jié)合無(wú)人機(jī)自身的特點(diǎn)對(duì)算法進(jìn)行改進(jìn)，在進(jìn)行特征點(diǎn)提取前通過(guò)估算相鄰影像問(wèn)的重疊度縮小了搜索范圍，應(yīng)用LM方法求得相鄰圖像間的精確變換矩陣，完成影像的拼接和鑲嵌。
[0004]目前已有的航空遙感圖像拼接技術(shù)，尤其是無(wú)人機(jī)獲取的航空?qǐng)D像，都是針對(duì)面陣CCD相機(jī)圖像拼接。面陣相機(jī)獲取圖像時(shí)都是同時(shí)獲取視場(chǎng)范圍內(nèi)所有的像素，因此在考慮相鄰圖像的變換關(guān)系時(shí)，都是以面陣成像幾何關(guān)系為基礎(chǔ)。相鄰圖像間的變換模型采用透視投影模型，需要提取重疊區(qū)域的四個(gè)或更多的同名點(diǎn)控制點(diǎn)進(jìn)行計(jì)算。例如上面提及的兩種無(wú)人機(jī)圖像拼接方法，都是采用了透視投影模型。而一幅航空多元并掃圖像是采用線陣CCD通過(guò)掃描方式獲取的，即一幅圖像是按時(shí)間順序掃描成像的，不滿足面陣相機(jī)的透視投影模型，而且掃描過(guò)程中圖像會(huì)有局部的變形。因此相鄰的多元并掃圖像之間既要考慮整體的變換關(guān)系，還需要考慮掃描過(guò)程中局部的不均勻變形。

【發(fā)明內(nèi)容】

[0005](一 )要解決的技術(shù)問(wèn)題[0006]鑒于上述技術(shù)問(wèn)題，本發(fā)明提供了一種拼接航空多元并掃圖像的方法，以準(zhǔn)確拼接航空多元并掃圖像。
[0007]( 二)技術(shù)方案
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種拼接航空多元并掃圖像的方法。該方法包括:步驟A:在當(dāng)前幀圖像和上一幀圖像的重疊區(qū)域內(nèi)，分別提取兩幀圖像兩端的兩個(gè)最佳同名特征點(diǎn)；步驟B，根據(jù)當(dāng)前幀圖像和上一幀圖像的兩個(gè)最佳同名特征點(diǎn)計(jì)算兩幀圖像間的尺度因子m，旋轉(zhuǎn)參數(shù)Θ ;步驟C，按照計(jì)算得到的尺度因子m和旋轉(zhuǎn)參數(shù)Θ對(duì)當(dāng)前幀圖像的每個(gè)像素進(jìn)行坐標(biāo)變換；步驟D，在掃描方向上每隔一段預(yù)設(shè)的像素距離提取經(jīng)過(guò)像素坐標(biāo)變換后的當(dāng)前幀圖像和上一幀圖像之間的同名點(diǎn)；步驟E，對(duì)于當(dāng)前幀圖像的每個(gè)像素，其縱向坐標(biāo)都保持不變，依照其左右兩側(cè)的兩個(gè)同名點(diǎn)調(diào)整當(dāng)前幀每個(gè)像素的每個(gè)列向坐標(biāo)；以及步驟F，將調(diào)整后的當(dāng)前幀圖像和上一幀圖像組合在一起，從而得到拼接后的航空多元并掃圖像。
[0009](三)有益效果
[0010]從上述技術(shù)方案可以看出，本發(fā)明拼接航空多元并掃圖像的方法具有以下有益效果:
[0011](I)在相鄰兩幀的幾何變換模型中采用了 “尺度+旋轉(zhuǎn)”的變換模型，而沒有采用面陣相機(jī)的透視投影模型，適應(yīng)了航空多元并掃的相鄰圖像間的幾何變換模型，較好地解決相鄰圖像間的整體變換問(wèn)題。
[0012](2)在整體變換模型計(jì)算中應(yīng)用了掃描圖像兩側(cè)的同名點(diǎn)計(jì)算相鄰幀圖像之間存在的尺度和旋轉(zhuǎn)參數(shù)，通過(guò)整體的尺度和旋轉(zhuǎn)變換處理實(shí)現(xiàn)了相鄰圖像間大致的幾何粗拼接。
[0013](3)在整體變換模型的基礎(chǔ)上，根據(jù)歸一化互相關(guān)匹配得到的大量局部同名點(diǎn)對(duì)圖像的掃描方向進(jìn)行局部坐標(biāo)變換和調(diào)整，較好地解決了相鄰圖像間的局部幾何不均勻性變形。從而能夠保證了局部圖像拼接的效果
【專利附圖】

【附圖說(shuō)明】
[0014]圖1為根據(jù)本發(fā)明實(shí)施例拼接航空多元并掃圖像方法的流程圖；
[0015]圖2為相鄰兩幀航空多元并掃圖像中特征點(diǎn)分布的示意圖；
[0016]圖3A為拼接如相鄰兩巾貞航空多兀并掃圖像；
[0017]圖3B為利用圖1所示方法對(duì)圖3A所示的兩幀航空多元并掃圖像進(jìn)行拼接后的效果圖。
【具體實(shí)施方式】
[0018]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。需要說(shuō)明的是，在附圖或說(shuō)明書描述中，相似或相同的部分都使用相同的圖號(hào)。附圖中未繪示或描述的實(shí)現(xiàn)方式，為所屬【技術(shù)領(lǐng)域】中普通技術(shù)人員所知的形式。另外，雖然本文可提供包含特定值的參數(shù)的示范，但應(yīng)了解，參數(shù)無(wú)需確切等于相應(yīng)的值，而是可在可接受的誤差容限或設(shè)計(jì)約束內(nèi)近似于相應(yīng)的值。實(shí)施例中提到的方向用語(yǔ)，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向。因此，使用的方向用語(yǔ)是用來(lái)說(shuō)明并非用來(lái)限制本發(fā)明的保護(hù)范圍。
[0019]本發(fā)明拼接航空多元并掃圖像的方法應(yīng)用掃描圖像兩側(cè)的同名點(diǎn)計(jì)算相鄰幀圖像之間存在的尺度和旋轉(zhuǎn)參數(shù)，通過(guò)坐標(biāo)變換處理實(shí)現(xiàn)了相鄰圖像間大致的幾何粗拼接；在粗拼接的基礎(chǔ)上，根據(jù)局部歸一化互相關(guān)匹配的同名點(diǎn)對(duì)圖像的掃描方向進(jìn)行坐標(biāo)精細(xì)調(diào)整，從而能夠保證了局部拼接的效果。
[0020]在本發(fā)明的一個(gè)示例性實(shí)施例中，提供了一種拼接航空多元并掃圖像的方法。圖1為根據(jù)本發(fā)明實(shí)施例拼接航空多元并掃圖像方法的流程圖。請(qǐng)按照?qǐng)D1，本實(shí)施例拼接航空多元并掃圖像的方法包括:
[0021]步驟A:在當(dāng)前幀圖像和上一幀圖像的重疊區(qū)域內(nèi)，采用尺度不變特征變換(SIFT)算子分別提取兩幀圖像兩端的兩個(gè)最佳同名特征點(diǎn)-第一同名點(diǎn)P1和第二同名點(diǎn)P2，如圖2所示；
[0022]本步驟中，利用尺度不變特征變換算子提取相鄰兩幀圖像兩端最佳同名特征點(diǎn)的方法為本領(lǐng)域通用的方法，大致來(lái)講，其主要包括:
[0023]子步驟Al，分別針對(duì)當(dāng)前幀圖像和上一幀圖像利用差分高斯算子檢測(cè)圖像尺度空間中的興趣點(diǎn)；
[0024]子步驟A2，在檢測(cè)的興趣點(diǎn)基礎(chǔ)上應(yīng)用該興趣點(diǎn)鄰域窗口內(nèi)的梯度信息計(jì)算梯度主方向，并根據(jù)梯度直方圖構(gòu)建該興趣點(diǎn)對(duì)應(yīng)的128個(gè)維度的特征向量；
[0025]子步驟A3，逐一計(jì)算當(dāng)前幀圖像中檢測(cè)的興趣點(diǎn)特征向量和上一幀圖像中檢測(cè)的興趣點(diǎn)特征向量之間的歐式距離，其中歐式距離最近的兩個(gè)興趣點(diǎn)就是最佳的同名特征點(diǎn)。
[0026]步驟B，根據(jù)當(dāng)前幀圖像和上一幀圖像的兩個(gè)最佳同名特征點(diǎn)計(jì)算兩幀圖像間的尺度因子m，旋轉(zhuǎn)參數(shù)Θ，其中:
【權(quán)利要求】
1.一種拼接航空多元并掃圖像的方法，其特征在于，包括: 步驟A:在當(dāng)前幀圖像和上一幀圖像的重疊區(qū)域內(nèi)，分別提取兩幀圖像兩端的兩個(gè)最佳同名特征點(diǎn)； 步驟B，根據(jù)當(dāng)前幀圖像和上一幀圖像的兩個(gè)最佳同名特征點(diǎn)計(jì)算兩幀圖像間的尺度因子m,旋轉(zhuǎn)參數(shù)Θ ； 步驟C，按照計(jì)算得到的尺度因子m和旋轉(zhuǎn)參數(shù)Θ對(duì)當(dāng)前幀圖像的每個(gè)像素進(jìn)行坐標(biāo)變換； 步驟D，在掃描方向上每隔一段預(yù)設(shè)的像素距離提取經(jīng)過(guò)像素坐標(biāo)變換后的當(dāng)前幀圖像和上一幀圖像之間的同名點(diǎn)； 步驟E，對(duì)于當(dāng)前幀圖像的每個(gè)像素，其縱向坐標(biāo)都保持不變，依照其左右兩側(cè)的兩個(gè)同名點(diǎn)調(diào)整當(dāng)前幀每個(gè)像素的每個(gè)列向坐標(biāo)；以及 步驟F，將調(diào)整后的當(dāng)前幀圖像和上一幀圖像組合在一起，從而得到拼接后的航空多元并掃圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B中，按照以下公式計(jì)算兩幀圖像間的尺度因子m，旋轉(zhuǎn)參數(shù)Θ:

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟C中，按照以下公式對(duì)當(dāng)前幀圖像的像素進(jìn)行坐標(biāo)變換:

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟C中，按照以下公式對(duì)當(dāng)前幀圖像的像素進(jìn)行坐標(biāo)變換:

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟E中，對(duì)于當(dāng)前幀每個(gè)像素的列向坐標(biāo)，按照以下公式計(jì)算調(diào)整后的列向坐標(biāo):
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，所述步驟A中，采用尺度不變特征變換算子提取兩幀圖像兩端的兩個(gè)最佳同名特征點(diǎn)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述采用尺度不變特征變換算子提取兩幀圖像兩端的兩個(gè)最佳同名特征點(diǎn)的步驟包括: 子步驟Al，針對(duì)當(dāng)前幀圖像和上一幀圖像分別利用差分高斯算子檢測(cè)圖像尺度空間中的興趣點(diǎn)； 子步驟A2，在檢測(cè)的興趣點(diǎn)基礎(chǔ)上應(yīng)用該興趣點(diǎn)鄰域窗口內(nèi)的梯度信息計(jì)算梯度主方向，并根據(jù)梯度直方圖構(gòu)建該興趣點(diǎn)對(duì)應(yīng)的128個(gè)維度的特征向量； 子步驟A3，逐一計(jì)算當(dāng)前幀圖像中檢測(cè)的興趣點(diǎn)特征向量和上一幀圖像中檢測(cè)的興趣點(diǎn)特征向量之間的歐式距離，其中歐式距離最近的兩個(gè)興趣點(diǎn)就是最佳的同名特征點(diǎn)。
8.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，所述步驟D中，采用歸一化互相關(guān)匹配方法，在掃描方向上每隔預(yù)設(shè)像素距離提取經(jīng)過(guò)像素坐標(biāo)變換后的當(dāng)前幀圖像和上一幀圖像之間的同名點(diǎn)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述預(yù)設(shè)像素距離的范圍介于50到200個(gè)像素之間。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述采用歸一化互相關(guān)匹配方法，在掃描方向上每隔預(yù)設(shè)像素距離提取經(jīng)過(guò)像素坐標(biāo)變換后的當(dāng)前幀圖像和上一幀圖像之間的同名點(diǎn)的步驟包括: 子步驟D1，提取當(dāng)前幀圖像的矩形窗口圖像作為目標(biāo)圖像，該目標(biāo)圖像的中心位置代表了當(dāng)前幀的一個(gè)圖像特征點(diǎn)； 子步驟D2，在上一幀圖像也取同樣大小的矩形窗口圖像，并計(jì)算這兩組圖像數(shù)據(jù)的歸一化互相關(guān)系數(shù)； 子步驟D3，通過(guò)不斷的計(jì)算和比較求得當(dāng)前幀的目標(biāo)圖像在上一幀圖像中歸一化互相關(guān)系數(shù)最大時(shí)的所對(duì)應(yīng)的窗口圖像位置，該位置點(diǎn)就代表了上一幀圖像中和當(dāng)前幀圖像特征點(diǎn)的具有相同特征的同名點(diǎn)位置，即得到了同名點(diǎn)。
【文檔編號(hào)】G06T5/50GK103455992SQ201310412484
【公開日】2013年12月18日 申請(qǐng)日期:2013年9月11日 優(yōu)先權(quán)日:2013年9月11日
【發(fā)明者】尤紅建, 付琨 申請(qǐng)人:中國(guó)科學(xué)院電子學(xué)研究所