專利名稱：一種基于飛行控制信息的無(wú)人機(jī)遙感影像自動(dòng)拼接方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無(wú)人機(jī)遙感影像自動(dòng)化處理，具體包括根據(jù)無(wú)人機(jī)飛行控制系統(tǒng)獲取 的飛行控制信息，進(jìn)行無(wú)人機(jī)遙感影像的航偏角自動(dòng)校正和拼接。本發(fā)明可適用于無(wú)人機(jī) 遙感影像的實(shí)時(shí)快速拼接。
背景技術(shù)：
無(wú)人機(jī)技術(shù)最初用于軍事領(lǐng)域。在第二次世界大戰(zhàn)之后，無(wú)人機(jī)技術(shù)得到了快速 發(fā)展，主要用于危險(xiǎn)和環(huán)境惡劣地區(qū)的軍事偵察、實(shí)時(shí)監(jiān)測(cè)等。從20世紀(jì)80年代開始，無(wú) 人機(jī)得到日益廣泛的應(yīng)用，并開始應(yīng)用到航空攝影測(cè)量領(lǐng)域。無(wú)人機(jī)作為衛(wèi)星遙感重要的 補(bǔ)充手段，具有在云下低空飛行能力，彌補(bǔ)了衛(wèi)星光學(xué)遙感和普通航空攝影測(cè)量易受云層 遮擋影響的缺陷；具有靈活機(jī)動(dòng)的特點(diǎn)，無(wú)需機(jī)場(chǎng)起降，具有車載起飛、傘降和水面降落等 多種方式；由于無(wú)人駕駛，回避了飛行員人身安全的風(fēng)險(xiǎn)，適用于救災(zāi)應(yīng)急等；并且成本相 對(duì)低廉，相對(duì)其他方式具有不可替代的優(yōu)勢(shì)。當(dāng)前國(guó)內(nèi)外無(wú)人機(jī)遙感技術(shù)的研究主要集中在無(wú)人機(jī)遙感系統(tǒng)的設(shè)計(jì)，具體包 括無(wú)人機(jī)系統(tǒng)設(shè)計(jì)、地面的飛行控制系統(tǒng)、姿態(tài)控制系統(tǒng)等。隨著全球定位系統(tǒng)(GPS)和 慣性測(cè)量單元(IMU)的發(fā)展，獲取無(wú)人機(jī)上傳感器的位置和姿態(tài)參數(shù)相對(duì)容易，從而促進(jìn) 了無(wú)人機(jī)在攝影測(cè)量領(lǐng)域的應(yīng)用。國(guó)內(nèi)外的重要參考文獻(xiàn)如李兵，岳京憲，李和軍，“無(wú) 人機(jī)攝影測(cè)量技術(shù)的探索與應(yīng)用研究”，北京測(cè)繪，2008 ；劉慶元，徐柳華，沈彩蓮，王小平， “基于無(wú)人飛行器遙感影像的數(shù)字?jǐn)z影測(cè)量關(guān)鍵技術(shù)研究”，測(cè)繪科學(xué)，2010;姬淵，秦志 遠(yuǎn)，王秉杰，劉曉輝，小型無(wú)人機(jī)遙感平臺(tái)在攝影測(cè)量中的應(yīng)用研究，測(cè)繪技術(shù)裝備，2008 ； HenriEisenbeiss，Applications of photogrammetric processing using an autonomous model helicopter，ISPRS Commission I Symposium“ From sensors to imagery“ ，2006; RB Haarbrink, E Koers， Helicopter UAV for photogrammetry and rapid response， 2006 ；H Piischel，M Sauerbier，HEisenbeiss，A 3D Model of Castle Landenberg(CH) from combined photogrammetric processing ofterrestrial and UAV-based images， The International Archives of the Photogrammetry, RemoteSensing and Spatial Information Sciences，2008。針對(duì)無(wú)人機(jī)遙感技術(shù)另一個(gè)方面的研究主要集中在應(yīng)用方面，如在無(wú)人機(jī)上搭載 高空間分辨率、高光譜分辨率的攝影相機(jī)，獲取地表的高分辨率影像，并將其應(yīng)用在精細(xì)農(nóng) 業(yè)、遺產(chǎn)保護(hù)、道路檢測(cè)等領(lǐng)域，服務(wù)于經(jīng)濟(jì)和社會(huì)建設(shè)，其重要的文獻(xiàn)包括L. F. Johnson, S. HerWitz, S Dunagana，B. Lobitz, D.Sullivan, R· Slye，"Collection of Ultra High Spatial and SpectralResolution Image Data over California Vineyards with a Small UAV”， Proceedings， Int’ ISymposium on Remote Sensing of Environment,2003 ； Albert Rango, Andrea Laliberte，Jeffrey E. Herrick, Craig Winters，Kris Havstad， Development of an Operational UAV/Remote SensingCapability for Rangeland Management，23rd International UAV Systems Conference，2008 等
無(wú)人機(jī)在云下低空飛行，獲取影像的分辨率較高，但是覆蓋范圍較小，需要將 多景無(wú)人機(jī)遙感影像進(jìn)行拼接，才能形成覆蓋整個(gè)研究區(qū)的影像。因此，研究無(wú)人機(jī)遙 感影像自動(dòng)拼接技術(shù)具有十分重要的意義。當(dāng)前針對(duì)無(wú)人機(jī)自動(dòng)拼接的研究和文獻(xiàn)較 少。雖然在計(jì)算機(jī)視覺領(lǐng)域發(fā)表了一些重要文獻(xiàn)，如MATTHEW BROWN, DAVID G LOWE， “AutomaticPanoramic Image Stitching using Invariant Features，，，International Journal of Computer Vision74(1), 59-73, 2007 ；Zomet A, Levin A, Peleg S, Weiss Y, Seamless image stitching by minimizingfalse edges, IEEE Trans Image Process. 200615(4) :969_77。但是，這些研究不是針對(duì)無(wú)人機(jī)遙感應(yīng)用，而是針對(duì)普通的攝 影，沒有充分利用無(wú)人機(jī)遙感影像的飛行控制信息，并且沒有考慮航偏等因素引起的變形， 不適合于無(wú)人機(jī)遙感影像的拼接。本發(fā)明提供一種根據(jù)無(wú)人機(jī)飛行控制信息的遙感影像自 動(dòng)拼接方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種根據(jù)飛行控制信息進(jìn)行無(wú)人機(jī)遙感影像的自動(dòng)拼接方 法，特別是根據(jù)無(wú)人機(jī)飛行控制系統(tǒng)獲取的飛行控制信息，進(jìn)行無(wú)人機(jī)遙感影像的航偏角 自動(dòng)校正和拼接。本發(fā)明的思路為通過無(wú)人機(jī)飛行控制系統(tǒng)獲取的位置和姿態(tài)參數(shù)，確定影像的 鄰接關(guān)系并進(jìn)行影像的航偏角校正；對(duì)校正后的影像進(jìn)行特征點(diǎn)提取，并對(duì)鄰接影像進(jìn)行 特征點(diǎn)匹配，提取同名點(diǎn)；根據(jù)同名點(diǎn)解算影像之間的幾何變換模型和空間范圍，并與根 據(jù)姿態(tài)參數(shù)確定的范圍進(jìn)行比較，若在容差范圍內(nèi)，則認(rèn)為相鄰影像具有重疊區(qū)域，即“連 通”；搜索所有影像之間的連通關(guān)系，并求取影像之間的最大連通分量；對(duì)最大連通分量進(jìn) 行幾何模型解算，確定幾何變換參數(shù)，并輸出整個(gè)研究區(qū)的全景影像。本發(fā)明的技術(shù)方案提供了一種基于飛行控制信息的無(wú)人機(jī)遙感影像的自動(dòng)拼接 方法，其特征在于以下的實(shí)施步驟1)根據(jù)無(wú)人機(jī)飛行控制系統(tǒng)獲取的航偏角(YAW)，糾正航偏角引起的幾何變形；2)根據(jù)影像獲取時(shí)的位置信息，確定影像之間的鄰接關(guān)系；3)對(duì)航偏校正后的影像進(jìn)行特征點(diǎn)自動(dòng)提取，并根據(jù)步驟2)確定的鄰接關(guān)系對(duì) 相鄰影像進(jìn)行特征點(diǎn)匹配，獲取同名點(diǎn)；4)對(duì)匹配得到的同名點(diǎn)進(jìn)行粗差剔除，確定影像之間的幾何變換模型和空間范 圍；5)根據(jù)飛行姿態(tài)的位置信息、影像大小，確定影像拼接后的大致范圍。并與步驟 4)計(jì)算所得的空間范圍進(jìn)行比較；若計(jì)算所得空間范圍滿足誤差要求，則認(rèn)為影像之間具 有重疊區(qū)域，即“連通”；6)重復(fù)步驟4)和5)，搜索所有影像與其相鄰影像之間的“連通”關(guān)系；7)根據(jù)步驟6)確定的連通關(guān)系，求取最大連通分量，確定影像拼接的順序；8)計(jì)算影像坐標(biāo)變換矩陣，進(jìn)行影像重采樣，輸出全景影像。上述實(shí)施步驟的特征在于根據(jù)無(wú)人機(jī)的飛行控制信息，進(jìn)行航偏角校正和確定影像之間的鄰接關(guān)系，并結(jié) 合影像的大小，確定影像輸出的大致范圍，用以驗(yàn)證特征點(diǎn)提取與匹配的精度；特征點(diǎn)的提取與匹配采用全自動(dòng)的SIFT特征匹配，并采用多項(xiàng)式模型進(jìn)行參數(shù)解算，確定影像變換矩 陣，實(shí)現(xiàn)影像拼接的自動(dòng)化；通過影像之間的特征點(diǎn)匹配，確定鄰接影像之間是否“連通”， 求取最大連通分量，優(yōu)化影像拼接順序，減小變形和提高精度。本發(fā)明與現(xiàn)有技術(shù)相比具有如下特點(diǎn)充分利用無(wú)人機(jī)飛行控制系統(tǒng)獲取的飛行 控制信息，進(jìn)行無(wú)人機(jī)影像的自動(dòng)拼接。本發(fā)明所涉及的無(wú)人機(jī)數(shù)據(jù)處理適用于各種類型 的無(wú)人機(jī)數(shù)據(jù)自動(dòng)化處理等。


圖1基于飛行控制信息的無(wú)人機(jī)遙感影像自動(dòng)拼接方法的流程圖
圖2無(wú)人機(jī)遙感影像航偏校正示意圖其中，圖2(B)和圖2(C)是相鄰兩景無(wú)人機(jī)遙感影像，圖2㈧和圖2(D)是經(jīng)過航 偏校正的結(jié)果影像，分別對(duì)應(yīng)圖2(B)和圖2(C)；圖3無(wú)人機(jī)遙感影像鄰接關(guān)系圖其中，圖3㈧表示影像IMG 3768與周圍四個(gè)方向影像的鄰接關(guān)系，圖3 (B)示意 了影像方向確定的方法；圖4鄰接影像特征點(diǎn)提取與匹配圖其中，圖4(A)和圖4(B)表示兩景相鄰影像，圖4(C)表示圖4(A)和圖4(B)經(jīng)過 特征點(diǎn)提取和特征點(diǎn)匹配的結(jié)果影像，黑框中的點(diǎn)表示影像間的同名點(diǎn)；圖5無(wú)人機(jī)遙感影像遍歷順序示意圖其中，圖5(A)表示以DSC01764為起始影像確定的最大連通分量，圖5 (B)表示影 像所在范圍，圖5(C)表示影像拼接后的結(jié)果；圖5(D)是以影像DSC01764為起點(diǎn)，依據(jù)影像 遍歷順序建立的廣度優(yōu)先樹；圖6影像輸出范圍示意圖其中，圖6(A)是原始影像，圖6(B)是圖6㈧經(jīng)過航偏校正后的結(jié)果影像，圖6 (C) 為根據(jù)同名點(diǎn)計(jì)算得到的影像輸出范圍，圖6(D)為將原始影像重采樣后得到輸出影像；圖7天津無(wú)人機(jī)遙感影像拼接結(jié)果8新疆和田地區(qū)無(wú)人機(jī)遙感影像拼接結(jié)果示意圖
具體實(shí)施例方式圖1是一種基于飛行控制信息的無(wú)人機(jī)遙感影像自動(dòng)拼接方法的流程圖。本發(fā)明 充分利用無(wú)人機(jī)飛行控制系統(tǒng)獲取的飛行控制信息，進(jìn)行影像航偏角校正、鄰接關(guān)系確定， 并在此基礎(chǔ)上進(jìn)行特征點(diǎn)提取和匹配，這使得計(jì)算量從ο (η2)降低到ο (η)，并提高了匹配的 精度，最后進(jìn)行模型計(jì)算，確定坐標(biāo)變換矩陣，輸出全景影像。結(jié)合圖1，具體實(shí)施方式
描述 如下首先，根據(jù)無(wú)人機(jī)航偏角對(duì)幾何變形進(jìn)行校正。圖2是無(wú)人機(jī)遙感影像航偏校正 的示意圖，圖2(B)和圖2(C)具有較大的重疊區(qū)域，但是由于相鄰航帶間無(wú)人機(jī)的飛行方向 相反，加上航偏角的影響，存在較大的旋轉(zhuǎn)變形誤差。若直接進(jìn)行匹配，將會(huì)導(dǎo)致較高的誤 匹配率，不利于后續(xù)幾何模型參數(shù)的解算及其影像拼接。本專利根據(jù)航偏角對(duì)待拼接的影 像進(jìn)行校正。其原理為將影像圍繞像主點(diǎn)旋轉(zhuǎn)航偏角(YAW)，矩陣旋轉(zhuǎn)可以表示為(Χ&Θ sin"、 -san^ OOS^其中，Icor和Iorg分別指原始影像和校正后影像，θ為航偏角。圖2(B)和圖 2(C)的校正結(jié)果分別對(duì)應(yīng)圖2(A)和圖2(D)所示，從中可以看出航偏角校正消除了航偏角 造成的影像旋轉(zhuǎn)誤差，校正后影像主要存在獲取點(diǎn)移動(dòng)造成平移誤差和航高變化造成比例 尺誤差，通過后續(xù)的特征點(diǎn)提取與匹配，并采用解算模型進(jìn)行消除。其次，確定影像之間的鄰接關(guān)系。其主要原理是通過搭載在無(wú)人機(jī)上的GPS獲取 影像拍攝時(shí)刻無(wú)人機(jī)的空間位置(17，2)，其中1是經(jīng)度、7是緯度、2是高程。由于無(wú)人機(jī) 獲取數(shù)據(jù)的范圍通常較小，可忽略地球表面為球面的影響，近似認(rèn)為是平面。采用出租車距 離搜索每景影像東、南、西、北四個(gè)方向最鄰近的影像，即Dis(i，j) = abs(xi-xj)+abs(yi-yj)其中，Dis (i，j)表示第i影像，與第j景影像之間距離，abs表示求絕對(duì)值，Xi^yi 和\、h表示各個(gè)點(diǎn)的坐標(biāo)。方向判斷采用如下公式 其中，kj是i，j兩點(diǎn)的斜率，abs表示求絕對(duì)值?？梢愿鶕?jù)以下公式確定影像 之間的相對(duì)關(guān)系其中，當(dāng)Dir(i，j)在時(shí)候，認(rèn)為第i景影像在第j景影像的東側(cè)，依次確
定其他方向的影像。影像鄰接關(guān)系確定結(jié)果如圖3(A)所示，IMG_3768四個(gè)方向均有影像， 虛線箭頭指示了該影像周圍影像的位置，圖3(B)示意了影像方向確定的方法。確定鄰接影 像后，只需與其鄰接的影像進(jìn)行特征點(diǎn)匹配，從而使運(yùn)算量從ο (η2)降低到ο (η)，并提高運(yùn) 算的準(zhǔn)確程度。第三，對(duì)影像進(jìn)行特征點(diǎn)提取及相鄰影像間進(jìn)行特征點(diǎn)匹配。圖4(A)和圖4(B)是 兩景相鄰影像。影像特征點(diǎn)提取與匹配采用SIFT點(diǎn)特征提取算法，主要由以下三步組成 點(diǎn)特征提取、特征描述子計(jì)算、特征匹配。首先對(duì)原始影像采用不同標(biāo)準(zhǔn)差(ο)進(jìn)行高斯 平滑，然后對(duì)平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值極大或極小的 點(diǎn)作為特征點(diǎn)；然后以特征點(diǎn)為中心，取給定高、寬的影像區(qū)域，計(jì)算該區(qū)域內(nèi)每個(gè)像素的 梯度方向和梯度強(qiáng)度；最后計(jì)算待配準(zhǔn)影像和參考影像上不同特征點(diǎn)的特征向量的歐式距 離，將距離最小的特征點(diǎn)作為初始匹配點(diǎn)，并根據(jù)最鄰近和次鄰近的歐式距離之比剔除誤 匹配點(diǎn)。圖4(C)是進(jìn)行特征點(diǎn)提取與特征匹配的結(jié)果，框內(nèi)的點(diǎn)表示影像之間的同名點(diǎn)。
\-ki*kj hi + kj
6第四，根據(jù)鄰接影像提取的特征點(diǎn)，進(jìn)行模型解算，并與飛行控制信息確定的影像范圍進(jìn)行 比較，確定影像之間的連通關(guān)系；重復(fù)以上過程，確定所有影像之間的連通關(guān)系；選擇一景 與周圍方向連通數(shù)最大的影像，加入隊(duì)列，作為拼接的起始影像；從隊(duì)頭取一景影像，將其 鄰接影像加入隊(duì)尾，并將隊(duì)頭的影像刪除，注意入過隊(duì)列的不需要重復(fù)入隊(duì)；重復(fù)上述過 程，直到隊(duì)列為空；上述各影像出隊(duì)的順序，就可以構(gòu)成了最大連通分量。結(jié)果如圖5所示， 其中，圖5(A)表示以DSC01764為起始影像確定的最大連通分量，圖5 (B)表示影像所在范 圍，圖5(C)表示影像拼接后的結(jié)果；圖5(D)是以影像DSC01764為起點(diǎn)，依據(jù)影像遍歷順序 建立的廣度優(yōu)先樹；第五，影像重采樣，其過程是將原始影像按照上述航偏校正和相鄰影像同名點(diǎn)匹 配，并通過同名點(diǎn)進(jìn)行模型解算，確定輸入影像與輸出影像之間的關(guān)系。其中，模型解算采 用多項(xiàng)式模型，多項(xiàng)式次數(shù)由用戶設(shè)置，一般一次多項(xiàng)式就可以消除平移和旋轉(zhuǎn)的誤差；根 據(jù)模型解算的參數(shù)，對(duì)原始影像進(jìn)行重采樣，生成輸出影像。圖6(A)所示的原始影像進(jìn)行 航偏校正，得到圖6(B)所示，圖6(C)為根據(jù)同名點(diǎn)計(jì)算得到的影像輸出范圍，圖6(D)為將 原始影像重采樣后得到輸出影像。圖7是12景天津地區(qū)無(wú)人機(jī)遙感影像的全自動(dòng)拼接圖。該地區(qū)主要為城區(qū)和農(nóng) 田，地面特征點(diǎn)豐富，拼接效果較好，影像之間接縫較好。說(shuō)明本發(fā)明能夠適應(yīng)對(duì)城市、農(nóng)村 等景觀復(fù)雜地區(qū)進(jìn)行較好的拼接，滿足要求。圖8是新疆和田地區(qū)的無(wú)人機(jī)遙感拼接影像， 和田地區(qū)景觀類型主要為荒漠，地表特征點(diǎn)較少，影像色差較大，拼接較為困難。本發(fā)明也 能進(jìn)行較好的拼接，說(shuō)明了算法具有較好的適用性。
權(quán)利要求
一種基于飛行控制信息的無(wú)人機(jī)遙感影像自動(dòng)拼接方法，其特征在于包括以下幾個(gè)步驟步驟1根據(jù)無(wú)人機(jī)飛行控制系統(tǒng)獲取的航偏角(YAW)，糾正航偏角引起的幾何變形；步驟2根據(jù)影像獲取時(shí)的位置信息，確定影像之間的鄰接關(guān)系；步驟3對(duì)航偏校正后的影像進(jìn)行特征點(diǎn)自動(dòng)提取，并根據(jù)步驟2確定的鄰接關(guān)系對(duì)相鄰影像進(jìn)行特征點(diǎn)匹配，獲取同名點(diǎn)；步驟4對(duì)匹配得到的同名點(diǎn)進(jìn)行粗差剔除，確定影像之間的幾何變換模型和空間范圍；步驟5根據(jù)飛行姿態(tài)的位置信息、影像大小，確定影像拼接后的大致范圍。并與步驟4計(jì)算所得的空間范圍進(jìn)行比較；若計(jì)算所得空間范圍滿足誤差要求，則認(rèn)為影像之間具有重疊區(qū)域，即“連通”；步驟6重復(fù)步驟4和步驟5，搜索所有影像與其相鄰影像之間的“連通”關(guān)系；步驟7根據(jù)步驟6確定的連通關(guān)系，求取最大連通分量，確定影像拼接的順序；步驟8計(jì)算影像坐標(biāo)變換矩陣，進(jìn)行影像重采樣，輸出全景影像。
2.根據(jù)權(quán)利要求1所述的無(wú)人機(jī)遙感影像自動(dòng)拼接方法，其特征包括以下三個(gè)方面 根據(jù)無(wú)人機(jī)的飛行控制信息，進(jìn)行航偏角校正和確定影像之間的鄰接關(guān)系，并結(jié)合影像的 大小，確定影像輸出的大致范圍，用以驗(yàn)證特征點(diǎn)提取與匹配的精度；特征點(diǎn)的提取與匹配 采用全自動(dòng)的SIFT特征匹配，并采用多項(xiàng)式模型進(jìn)行參數(shù)解算，確定影像變換矩陣，實(shí)現(xiàn) 影像拼接的自動(dòng)化；通過影像之間的特征點(diǎn)匹配，確定鄰接影像之間是否“連通”，求取最大 連通分量，優(yōu)化影像拼接順序，減小變形和提高精度。
全文摘要
本發(fā)明提供一種基于飛行控制信息的無(wú)人機(jī)遙感影像自動(dòng)拼接方法，特別是實(shí)現(xiàn)了根據(jù)飛行控制系統(tǒng)獲取的姿態(tài)參數(shù)進(jìn)行無(wú)人機(jī)遙感影像的自動(dòng)校正與拼接。該方法通過無(wú)人機(jī)飛行控制系統(tǒng)獲取的姿態(tài)參數(shù)，進(jìn)行影像的航偏角校正和確定影像的鄰接關(guān)系；對(duì)校正后的影像進(jìn)行特征點(diǎn)提取，并對(duì)鄰接影像進(jìn)行特征點(diǎn)匹配，提取同名點(diǎn)；根據(jù)影像解算模型計(jì)算輸出影像的范圍，并與根據(jù)姿態(tài)參數(shù)確定的范圍進(jìn)行比較，若在容差范圍內(nèi)，則認(rèn)為相鄰影像之間的同名點(diǎn)數(shù)量和質(zhì)量滿足“拼接”要求，認(rèn)為其“連通”；依次計(jì)算所有影像之間的連通關(guān)系，并求取影像之間的最大連通分量；根據(jù)連通分量進(jìn)行模型解算，確定變換參數(shù)，輸出研究區(qū)的拼接影像。
文檔編號(hào)G06K9/46GK101916452SQ20101023640
公開日2010年12月15日 申請(qǐng)日期2010年7月26日 優(yōu)先權(quán)日2010年7月26日
發(fā)明者吳煒, 周亞男, 朱志文, 沈占鋒, 郜麗靜, 駱劍承 申請(qǐng)人:中國(guó)科學(xué)院遙感應(yīng)用研究所