基于局部反饋機(jī)制與稀疏全局調(diào)整的航拍圖像拼接方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特指一種基于局部反饋機(jī)制與稀疏全局調(diào)整的航拍 圖像拼接方法。
【背景技術(shù)】：
[0002] 對(duì)高原地區(qū)遙感影像的獲取和有效處理，在高原地區(qū)軍事地形偵察、泥石流災(zāi)害 評(píng)估、動(dòng)植物生態(tài)調(diào)查等實(shí)際工作中發(fā)揮著關(guān)鍵作用?？焖倬_、全面直觀地獲取目標(biāo)區(qū) 域地面影像并大范圍展現(xiàn)目標(biāo)區(qū)域地面場(chǎng)景實(shí)態(tài)是偵察監(jiān)測(cè)、災(zāi)情調(diào)查等應(yīng)用中不可或缺 的一部分。以無(wú)人機(jī)為平臺(tái)，搭載現(xiàn)代化攝像機(jī)快速獲取低空高分辨率視頻圖像的無(wú)人機(jī) 航拍系統(tǒng)，具有自動(dòng)化、低風(fēng)險(xiǎn)、低成本、高時(shí)效、能在陰天云下低空快速獲取光學(xué)影像等優(yōu) 勢(shì)，并且無(wú)人機(jī)在高危地區(qū)、復(fù)雜環(huán)境下可做遠(yuǎn)距離、長(zhǎng)航時(shí)、復(fù)雜航線飛行，很好地解決了 傳統(tǒng)航拍存在的問(wèn)題，是載人機(jī)航拍和衛(wèi)星遙感的有效技術(shù)補(bǔ)充手段。將無(wú)人機(jī)航拍系統(tǒng) 應(yīng)用于高原地區(qū)目標(biāo)區(qū)域的實(shí)測(cè)，能在短時(shí)間內(nèi)獲取海量特定區(qū)域的視頻數(shù)據(jù)，通過(guò)對(duì)這 些數(shù)據(jù)的有效處理，能夠獲得高原地區(qū)目標(biāo)區(qū)域的大量所需信息并在實(shí)際工作中發(fā)揮關(guān)鍵 作用。
[0003] 單幅圖像視場(chǎng)范圍小，只能覆蓋部分區(qū)域以及圖像相幅小，數(shù)量多是無(wú)人機(jī)偵察 視頻圖像的共同特點(diǎn)。除了具有無(wú)人機(jī)視頻圖像的共同特點(diǎn)以外，高原地區(qū)無(wú)人機(jī)偵察視 頻圖像（如圖1所示）還具有以下顯著特點(diǎn)：（1)無(wú)人機(jī)機(jī)體小，飛行高度低，其穩(wěn)定性和抗 風(fēng)能力差，易發(fā)生傾斜、抖動(dòng)，因此圖像存在比較嚴(yán)重的幾何畸變；（2)圖像紋理比較單一， 主要表現(xiàn)為荒漠、凍土，圖像特征很不明顯。以上特點(diǎn)使得傳統(tǒng)目標(biāo)區(qū)域圖像全景拼接方法 在圖像特征提取和特征匹配環(huán)節(jié)特別容易出現(xiàn)失配、誤配的情況，同時(shí)由于環(huán)境的復(fù)雜，無(wú) 法通過(guò)設(shè)立地面控制點(diǎn)實(shí)現(xiàn)圖像幾何畸變校正，給高原地區(qū)無(wú)人機(jī)偵察視頻圖像全景拼接 帶來(lái)了諸多挑戰(zhàn)。

【發(fā)明內(nèi)容】
：
[0004] 本發(fā)明要解決的技術(shù)問(wèn)題在于：結(jié)合無(wú)人機(jī)慣導(dǎo)數(shù)據(jù)等多源信息，提出一種基于 局部反饋機(jī)制與稀疏全局調(diào)整的航拍圖像拼接方法，解決高原地區(qū)無(wú)人機(jī)偵察視頻圖像拼 接過(guò)程中的容易出現(xiàn)失配、誤配這一難題。
[0005] 為解決上述技術(shù)問(wèn)題，本發(fā)明采取的技術(shù)方案是：
[0006] 一種基于局部反饋機(jī)制與稀疏全局調(diào)整的航拍圖像拼接方法，其特征是：
[0007] 首先，根據(jù)SIFT特征提取算法，提取無(wú)人機(jī)偵察視頻圖像的SIFT特征點(diǎn)并利用 特征點(diǎn)進(jìn)行特征匹配從而得到圖像之間的幾何變換關(guān)系；在對(duì)無(wú)人機(jī)偵察視頻圖像進(jìn)行 SIFT特征提取和匹配過(guò)程中，一旦出現(xiàn)無(wú)人機(jī)偵察視頻圖像的SIFT特征點(diǎn)少，特征匹配對(duì) 不足以建立幾何變換模型，或足以建立幾何變換模型但圖像拼縫處有明顯錯(cuò)位，就利用無(wú) 人機(jī)慣導(dǎo)系統(tǒng)獲取的輔助信息數(shù)據(jù)對(duì)前兩次的拼接進(jìn)行反饋調(diào)節(jié)，建立了一種局部反饋機(jī) 制，包括如下步驟：
[0008]1)根據(jù)無(wú)人機(jī)慣導(dǎo)系統(tǒng)所記錄的慣導(dǎo)數(shù)據(jù)中獲得圖像的坐標(biāo)信息（經(jīng)煒度等）， 將圖像投影到WGS84坐標(biāo)系下，確定圖像在拼接圖中的粗略位置和圖像間的變換參數(shù)；
[0009] 2)根據(jù)圖像在拼接圖中的粗略位置控制偏差在20個(gè)像素以內(nèi)，對(duì)目標(biāo)圖像In_i和 In_2進(jìn)行旋轉(zhuǎn)、平移等局部微調(diào)操作。假設(shè)第n次拼接時(shí)需進(jìn)行反饋調(diào)節(jié)，根據(jù)建立的局部 反饋機(jī)制，將對(duì)第n-1次拼接和第n-2次拼接進(jìn)行調(diào)節(jié)。選取第一幀圖像作為參考圖像，用 L表示，從第二幀開(kāi)始的無(wú)人機(jī)視頻圖像序列作為目標(biāo)圖像，表示為Mi= 1，2, 3...);每 次拼接后得到的拼接圖像表示為吣（i= 1，2, 3...);
[0010] 其次，建立一個(gè)優(yōu)化目標(biāo)函數(shù)，通過(guò)求解優(yōu)化目標(biāo)函數(shù)對(duì)拼接全景圖進(jìn)行稀疏全 局調(diào)整，包括如下步驟：
[0011] 1)對(duì)于無(wú)法通過(guò)特征匹配得到單應(yīng)矩陣的這些圖像，可以利用通過(guò)坐標(biāo)信息得到 的變換參數(shù)對(duì)這些圖像提取出來(lái)的少數(shù)稀疏的特征點(diǎn)進(jìn)行坐標(biāo)變換，確定它們?cè)谌皥D中 的位置；
[0012] 2)對(duì)于其他特征信息豐富，能通過(guò)特征匹配建立圖像變換模型的圖像中的特征 點(diǎn)，通過(guò)這些特征點(diǎn)之間的對(duì)應(yīng)關(guān)系和它們與通過(guò)坐標(biāo)信息進(jìn)行坐標(biāo)變換的特征點(diǎn)之間的 對(duì)應(yīng)關(guān)系，建立優(yōu)化目標(biāo)函數(shù)/(z)=!?,， /=i
[0013] 其4
【主權(quán)項(xiàng)】
1.基于局部反饋機(jī)制與稀疏全局調(diào)整的航拍圖像拼接方法，其特征在于： 首先，根據(jù)SIFT特征提取算法，提取無(wú)人機(jī)偵察視頻圖像的SIFT特征點(diǎn)并利用特征點(diǎn) 進(jìn)行特征匹配從而得到圖像之間的幾何變換關(guān)系；在對(duì)無(wú)人機(jī)偵察視頻圖像進(jìn)行SIFT特 征提取和匹配過(guò)程中，一旦出現(xiàn)無(wú)人機(jī)偵察視頻圖像的SIFT特征點(diǎn)少，特征匹配對(duì)不足以 建立幾何變換模型，或足以建立幾何變換模型但圖像拼縫處有明顯錯(cuò)位，就利用無(wú)人機(jī)慣 導(dǎo)系統(tǒng)獲取的輔助信息數(shù)據(jù)對(duì)前兩次的拼接進(jìn)行反饋調(diào)節(jié)，建立了一種局部反饋機(jī)制，包 括如下步驟： 1) 根據(jù)無(wú)人機(jī)慣導(dǎo)系統(tǒng)所記錄的慣導(dǎo)數(shù)據(jù)中獲得圖像的坐標(biāo)信息，將圖像投影到 WGS84坐標(biāo)系下，確定圖像在拼接圖中的粗略位置和圖像間的變換參數(shù)； 2) 根據(jù)圖像In在拼接圖中的粗略位置控制偏差在20個(gè)像素以內(nèi)，對(duì)目標(biāo)圖像In_i和 In_2進(jìn)行旋轉(zhuǎn)、平移等局部微調(diào)操作；假設(shè)第n次拼接時(shí)需進(jìn)行反饋調(diào)節(jié)，根據(jù)建立的局部 反饋機(jī)制，將對(duì)第n-1次拼接和第n-2次拼接進(jìn)行調(diào)節(jié)；選取第一幀圖像作為參考圖像，用 L表示，從第二幀開(kāi)始的無(wú)人機(jī)視頻圖像序列作為目標(biāo)圖像，表示為Mi= 1，2, 3…）；每 次拼接后得到的拼接圖像表示為Mji= 1，2,3-); 其次，建立了一個(gè)優(yōu)化目標(biāo)函數(shù)，通過(guò)求解優(yōu)化目標(biāo)函數(shù)對(duì)拼接全景圖進(jìn)行稀疏全局 調(diào)整，包括如下步驟： 1) 對(duì)于無(wú)法通過(guò)特征匹配得到單應(yīng)矩陣的這些圖像，利用通過(guò)坐標(biāo)信息得到的變換參 數(shù)對(duì)這些圖像提取出來(lái)的少數(shù)稀疏的特征點(diǎn)進(jìn)行坐標(biāo)變換，確定它們?cè)谌皥D中的位置； 2) 對(duì)于其他特征信息豐富，能通過(guò)特征匹配建立圖像變換模型的圖像中的特征點(diǎn)，通 過(guò)這些特征點(diǎn)之間的對(duì)應(yīng)關(guān)系和它們與通過(guò)坐標(biāo)信息進(jìn)行坐標(biāo)變換的特征點(diǎn)之間的對(duì)應(yīng) 關(guān)系，建立優(yōu)化目標(biāo)函數(shù)f00 ; 優(yōu)化目標(biāo)函數(shù)f(x)定義為
乂表示利用坐標(biāo)信息的圖像與利用特征信息的圖像之間的特征對(duì)應(yīng)個(gè)數(shù)；表示利 用坐標(biāo)信息得到的圖像變換參數(shù)對(duì)圖像中的特征點(diǎn)坐標(biāo)變換后的坐標(biāo)，在式（2)中為常 量；Tn(Pi，n)表示用通過(guò)特征匹配的Mu幀圖像中的第n幀圖像的變換參數(shù)Xn對(duì)該圖像中的 一個(gè)特征點(diǎn)Pi，n進(jìn)行坐標(biāo)變換的坐標(biāo)；是利用坐標(biāo)信息的圖像與利用特征信息的 圖像之間的一對(duì)匹配的特征點(diǎn)；(Pu，Pi，s)是利用坐標(biāo)信息的圖像之間的一對(duì)匹配的特征 點(diǎn)；
，其中\(zhòng)表示Mu幀圖像中第i幀的圖像變換參數(shù)，由其對(duì)應(yīng)的單 應(yīng)矩陣H中的8個(gè)參數(shù)組成的列向量構(gòu)成； 3) 以全部圖像通過(guò)坐標(biāo)信息得到的變換參數(shù)作為初值，用最小二乘法（LM)進(jìn)行求解； 令A(yù)=JTJ+AE，A表示一個(gè)稀疏矩陣，A表示任意兩幅無(wú)法通過(guò)特征匹配得到單應(yīng)矩陣的 圖像，它們的中心點(diǎn)之間的距離與圖像的長(zhǎng)邊的比，本發(fā)明中A的值取1.5,E表示單位矩 陣，J表示雅克比矩陣； 4. LM算法通過(guò)線性方程AAX= -JTe迭代求解X，其中：
5) 利用矩陣A的稀疏特性，使用直接稀疏cholesky分解方法求解式AAX= -JTe; 6) 根據(jù)解X，能夠得到稀疏全局調(diào)整后每幅圖像的變換矩陣H'，將圖像通過(guò)H'都變換 到同一平面即得到優(yōu)化后的拼接全景圖。
【專利摘要】本發(fā)明公開(kāi)了一種基于局部反饋機(jī)制與稀疏全局調(diào)整的航拍圖像拼接方法，主要解決對(duì)特征點(diǎn)不明顯的高原地區(qū)無(wú)人機(jī)航拍視頻圖像采用常規(guī)方法拼接易出現(xiàn)誤配、失配的問(wèn)題。其首先對(duì)圖像進(jìn)行SIFT特征提取和匹配，若通過(guò)特征匹配能建立圖像變換模型且配準(zhǔn)效果較好，則繼續(xù)拼接下一幀圖像；若提取SIFT特征后，特征匹配對(duì)不足以建立圖像變換模型，或足以建立圖像變換模型但圖像拼縫處有明顯錯(cuò)位，則建立一種局部反饋機(jī)制，對(duì)前兩次的拼接進(jìn)行反饋調(diào)節(jié)；若反饋調(diào)節(jié)失敗，則利用無(wú)人機(jī)慣導(dǎo)數(shù)據(jù)信息進(jìn)行圖像配準(zhǔn)，繼續(xù)拼接至最終拼接出一幅全景圖；最后利用拼接圖像特征點(diǎn)間的對(duì)應(yīng)關(guān)系建立優(yōu)化目標(biāo)函數(shù)，對(duì)全景圖進(jìn)行稀疏全局調(diào)整，改善全景圖效果。
【IPC分類】G06T3-40
【公開(kāi)號(hào)】CN104574278
【申請(qǐng)?zhí)枴緾N201510054757
【發(fā)明人】王煒, 袁晶, 張茂軍, 劉煜, 張政
【申請(qǐng)人】中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué)
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2015年2月3日