本發(fā)明屬于圖像融合處理領域，涉及一種飛行器態(tài)勢感知用多源圖像實時融合方法；還涉及一種飛行器態(tài)勢感知用多源圖像實時融合的裝置。

背景技術(shù)：

隨著傳感器技術(shù)的發(fā)展，飛行器態(tài)勢感知系統(tǒng)大都含有多種傳感器對同一目標區(qū)域進行感知，如紅外傳感器、可見光傳感器。傳感器的陣列的增大，給數(shù)據(jù)的實時傳輸帶來一定困難，并且在不同的環(huán)境下，單一傳感器獲取的目標信息有限，上傳的數(shù)據(jù)目標信息含量較少，而多源圖像融合技術(shù)成為解決這一難題的關鍵。多源圖象配準與融合是多源圖像融合系統(tǒng)中的關鍵技術(shù)，直接決定著融合的成敗，現(xiàn)有專利中融合的輸入圖像大都是經(jīng)過配準的圖像，或尺度變化不大，或幾何特征比較明顯的圖像，且在地面站實現(xiàn)。

現(xiàn)有的圖像融合技術(shù)中圖像配準還采用的突顯目標、區(qū)域分割、梯度相關方法難以解決尺度變化較大條件下異源圖像的配準，如相機隨意變焦；另外，還有直接采用sift或surf等方法，但上述方法還是難以實現(xiàn)異源圖像灰度紋理差異較大的配準，如紅外與可見光的配準，且計算復雜度較高難以實現(xiàn)機載嵌入式實時圖像配準，未能解決機載多源圖像的實時融合問題。

公開號為cn104574332a的發(fā)明專利還提出了一種機載光電吊艙用圖像融合方法，以可見光成像系統(tǒng)的焦距值為基準進行聯(lián)動計算得到紅外圖像的相應焦距值，進而將焦距映射為尺度變換，并對平移參數(shù)進行補償，實現(xiàn)了圖像的實時融合。該方法對成像系統(tǒng)焦距的精度要求極高(誤差<0.001m)，才能實現(xiàn)亞像素的圖像配準，并且無法抗旋轉(zhuǎn)變換，難以解決大尺度變換及旋轉(zhuǎn)變換的實時精確融合問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種飛行器態(tài)勢感知用多源圖像實時融合方法；解決了飛行器機載多源圖像實時融合問題，豐富下傳圖像的信息量，減少圖像下傳帶寬，提高后續(xù)圖像處理的有效性。

本發(fā)明的目的還在于提供上述飛行器態(tài)勢感知用多源圖像實時融合的裝置，該裝置能夠?qū)崿F(xiàn)可見光與紅外相機的隨機變焦引起的大尺度變化時的圖像配準與融合，實現(xiàn)晝夜全天可見光與紅外灰度差異較大的圖像配準與融合，同時該裝置能夠在飛行環(huán)境下實現(xiàn)機載多源圖像數(shù)據(jù)的實時融合。

本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：

這種飛行器態(tài)勢感知用多源圖像實時融合方法，包括以下步驟：

步驟1，以可見光圖像為基準圖像，通過圖像配準方法獲取變換參數(shù)tfin，并且對紅外圖像進行變換，實現(xiàn)圖像灰度的插值，得到變換后的紅外圖像；

步驟2，將可見光圖像從彩色空間變換到hsi空間，并提取i分量；

步驟3，通過fambed分解算法將可見光圖像的i分量、變換后的紅外圖像分解到不同的頻率層上；

步驟4，對分解的頻率層進行融合處理，其中低頻圖像層采用加權(quán)平均融合，高頻圖像層采用分解值的最大化加權(quán)融合；

步驟5，通過fambed重構(gòu)以及hsi逆變換，獲得融合圖像。

更進一步的，本發(fā)明的特點還在于：

其中步驟1中變換參數(shù)tfin的計算步驟是：步驟1.1，對實時采集的紅外圖像和可見光圖像進行幀同步處理；步驟1.2，計算紅外圖像和可見光圖像的尺度變化參數(shù)s，其中s＝ivf*psir/irf/psiv，ivf為可見光相機的焦距，psiv為可見光相機的像元尺寸，irf為紅外相機的焦距，psir為紅外相機的像元尺寸；步驟1.3，s＜3&s＞0.3時，采用topn-surf匹配算法，否則采用帶通紋理信息匹配算法；步驟1.4，根據(jù)相應的匹配算法確定并輸出變換參數(shù)tfin。

其中步驟1.3中topn-surf匹配算法包括以下步驟：步驟1.3.1，提取多個特征點，并且建立特征點的質(zhì)量空間和最小堆二叉樹，對手選特征點hessian響應值進行排序；步驟1.3.2，確定圖像之間的初始變換參數(shù)tor，根據(jù)初始變換參數(shù)中的旋轉(zhuǎn)參數(shù)對待匹配圖像進行旋轉(zhuǎn)；步驟1.3.3，根據(jù)圖像實時的焦距及像元尺寸信息，通過s＝ivf*psir/irf/psiv計算圖像之間的尺度變化參數(shù)s，進而對特征匹配區(qū)域范圍進行限定。

其中步驟1.3中帶通紋理信息匹配算法包括以下步驟：步驟1.3.a，根據(jù)尺度變化參數(shù)s和初始變換參數(shù)tor，計算變換參數(shù)tnew；步驟1.3.b，使用變換參數(shù)tnew對待配準圖像i_sen進行變換，得到變換后的圖像ti_sen，其中ti_sen＝i_sen*tnew；步驟1.3.c，分別對參考圖像i_ref和變換后圖像ti_sen的某一區(qū)域進行不同方差的高斯濾波進行帶通紋理信息提取，分別得到bp_ref和bp_sen；步驟1.3.d，計算bp_ref和bp_sen的相關系數(shù)corr，并確定最終的平移變換參數(shù)tran_xf和tran_yf；步驟1.3.e，輸出變換參數(shù)tfin。

其中步驟3中fambed分解可見光包括以下步驟：步驟3.1，將可見光圖像iv提取出的i分量賦給初始圖像ivi，并按照濾波器窗口的大小確定統(tǒng)計次序；步驟3.2，對初始圖像ivi進行最大/小濾波，并平滑，獲得極大/小包絡曲面ue和le，并且獲得平均包絡曲面me；步驟3.3，將初始圖像ivi與平均包絡面me差分得到第一層高頻分量imf1，并將平均包絡面me傳回輸入端；步驟3.4，將重復步驟3.1-3.3，獲得第二層高頻分量imf2、第三層高頻分量imf3和低頻分量residue。

其中步驟5中fambed重構(gòu)為：將得到的融合后的頻率層求和。

本發(fā)明的另一技術(shù)方案是，一種飛行器態(tài)勢感知用多源圖像實時融合的裝置，包括圖像輸入模塊，fpga模塊將輸入的圖像進行幀同步處理，并轉(zhuǎn)發(fā)至dsp配準模塊；dsp配準模塊計算輸入圖像間的尺度變換參數(shù)s，并根據(jù)s匹配相應的匹配模塊，并獲得變換參數(shù)tfin；fpga模塊通過變換參數(shù)tfin對待配準圖像進行變換，變換后的圖像通過fambed分解模塊進行分解，得到多個頻率層；fambed重構(gòu)模塊將頻率層進行重構(gòu)計算，輸出融合圖像。

更進一步的，本發(fā)明的特點還在于：

其中fambed分解模塊包括存儲器，存儲器與存儲器調(diào)度器連接，存儲器調(diào)度器與包絡曲面計算模塊連接，包絡曲面計算模塊與輸出模塊連接。

其中fambed重構(gòu)模塊包括存儲器，存儲器與存儲器調(diào)度器連接，存儲器調(diào)度器與融合計算模塊連接，融合計算模塊與輸出模塊連接。

其中dsp配準模塊判斷尺度變換參數(shù)s在0.3-3之間，通過topn-surf匹配模塊，計算匹配點對>8時，將變換參數(shù)tfin發(fā)送至fpga模塊；尺度變換參數(shù)s＜0.3或s＞3或計算匹配點對<8時，通過bpti匹配模塊將變換參數(shù)tfin發(fā)送至fpga模塊。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：解決了在相機實時變焦引起的大的幾何形變、環(huán)境變化引起的灰度變化的條件下的多源圖像的實時融合問題。該方法采用優(yōu)化特征描述topn-surf與帶通紋理信息bpti相結(jié)合的配準技術(shù)、優(yōu)化的快速自適應二維經(jīng)驗模式分解fambed融合技術(shù)，并對上述技術(shù)進行嵌入式實現(xiàn)，利用該系統(tǒng)對真實飛行數(shù)據(jù)進行了測試，實現(xiàn)了可見光與紅外相機在不同焦距下的圖像實時融合。

更進一步的，topn-surf匹配算法使圖像紋理較豐富，尺度變化在0.3～3之間時，可實現(xiàn)對可見光圖像(1024×768)與紅外圖像(640×512)的嵌入式實時配準。

本發(fā)明的有益效果還在于：采用特征描述與帶通紋理信息相結(jié)合的配準技術(shù)，可實現(xiàn)尺度變化在20倍之內(nèi)，任意旋轉(zhuǎn)與平移的1080p可見光圖像與紅外圖像的機載實時配準與融合(30f/s)，融合后的圖像能夠發(fā)揮紅外圖像對熱目標敏感、穿透能力強等特點，且能保持可見光圖像對比度高、目標細節(jié)明顯的優(yōu)勢。該裝置可應用于雙光非共軸成像系統(tǒng)中，以解決多路異源監(jiān)控視頻傳輸帶寬不足問題、解決觀測終端切換相機過程中的目標觀察的連續(xù)性問題。

本發(fā)明可應用于軍用偵察機、無人機、無人飛艇、導彈、航空炸彈等軍用武器的多源圖像融合感知，為后續(xù)深層次圖像處理提供穩(wěn)定可靠的信息源。

附圖說明

圖1為本發(fā)明的方法流程圖；

圖2為本發(fā)明中圖像配準流程圖；

圖3為本發(fā)明裝置嵌入式實現(xiàn)流程圖；

圖4為本發(fā)明中dsp配準模塊的工作流程圖；

圖5為本發(fā)明中fambed的分解流程圖；

圖6為本發(fā)明中fambed分解模塊的示意圖；

圖7為本發(fā)明中fambed重構(gòu)模塊的示意圖；

圖8為本發(fā)明第一組實施例的輸入圖片；

圖9為本發(fā)明第一組實施例topn-surf算法的匹配結(jié)果示意圖；

圖10本發(fā)明第一組實施例的融合結(jié)果示意圖；

圖11為發(fā)明第二組實施例的輸入圖片；

圖12為發(fā)明第二組實施例bpti算法相關性最大的帶通紋理圖像；

圖13為發(fā)明第二組實施例的融合結(jié)果示意圖；

圖14為本發(fā)明第三組實施例的輸入圖片；

圖15為本發(fā)明第三組實施例bpti算法相關性最大的帶通紋理圖像；

圖16為本發(fā)明第三組實施例的融合結(jié)果示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明做進一步詳細描述：

本發(fā)明提供了一種飛行器態(tài)勢感知用多源圖像實時融合方法，其具體過程如圖1所示，包括以下步驟：

步驟1，以可見光圖像為基準圖像，通過圖像配準方法獲取變換參數(shù)tfin，并且對紅外圖像進行變換，實現(xiàn)圖像灰度的插值，得到變換后的紅外圖像；如圖2所示，變換參數(shù)tfin的計算步驟是：步驟1.1，對實時采集的紅外圖像和可見光圖像進行幀同步處理；步驟1.2，計算紅外圖像和可見光圖像的尺度變化參數(shù)s，其中

s＝ivf*psir/irf/psiv(1)

ivf為可見光相機的焦距，psiv為可見光相機的像元尺寸，irf為紅外相機的焦距，psir為紅外相機的像元尺寸；步驟1.3，s＜3&s＞0.3時，采用topn-surf匹配算法，否則采用帶通紋理信息匹配算法；步驟1.4，根據(jù)相應的匹配算法確定并輸出變換參數(shù)tfin。

步驟1.3中topn-surf匹配算法包括以下步驟：步驟1.3.1，提取多個特征點，并且建立特征點的質(zhì)量空間和最小堆二叉樹，對手選特征點hessian響應值進行排序；步驟1.3.2，確定圖像之間的初始變換參數(shù)tor，根據(jù)初始變換參數(shù)中的旋轉(zhuǎn)參數(shù)對待匹配圖像進行旋轉(zhuǎn)；步驟1.3.3，根據(jù)圖像實時的焦距及像元尺寸信息，通過s＝ivf*psir/irf/psiv計算圖像之間的尺度變化參數(shù)s，進而對特征匹配區(qū)域范圍進行限定。

在步驟1.3中，帶通紋理信息匹配算法包括以下步驟：步驟1.3.a，根據(jù)尺度變化參數(shù)s和初始變換參數(shù)tor，假設

則參考圖像、待配準圖像及待配準圖像變換后圖像的中心坐標分別為(row_sen,col_sen)、(row_ref,col_ref)和(row_new,col_new)，更新平移參數(shù)tran_x和tran_y分別為：

tran_x＝col_ref-(col_sen*t11+row_sen*t21)/sor(3)，

tran_y＝row_ref-(col_sen*t12+row_sen*t22)/sor(4)，

其中由此可得更新的變換參數(shù)tnew為：

步驟1.3.b，使用變換參數(shù)tnew對待配準圖像i_sen進行變換，得到變換后的圖像ti_sen，其中ti_sen＝i_sen*tnew；步驟1.3.c，分別對參考圖像i_ref和變換后圖像ti_sen的某一區(qū)域進行不同方差的高斯濾波進行帶通紋理信息提取，分別得到bp_ref和bp_sen，其中

bp_ref＝gauss(δ1)*i_ref-gauss(δ2)*i_ref(6)，

bp_sen＝gauss(δ1)*ti_sen-gauss(δ2)*ti_sen(7)；

步驟1.3.d，對平移換參數(shù)tran_x和tran_y進行(-10,10)范圍內(nèi)的抖動，計算bp_ref和bp_sen的相關系數(shù)corr：

corr＝corr2(bp_ref,bp_sen)(8)，

并確定最終的平移變換參數(shù)tran_xf和tran_yf；步驟1.3.e，輸出變換參數(shù)tfin，

步驟2，將可見光圖像rgb從彩色空間變換到hsi空間，并提取i分量；

步驟3，通過fambed分解算法將可見光圖像的i分量、變換后的紅外圖像分解到不同的頻率層上；其中fambed分解可見光包括以下步驟：步驟3.1，將可見光圖像iv提取出的i分量賦給初始圖像ivi，并按照濾波器窗口的大小確定統(tǒng)計次序；步驟3.2，對初始圖像ivi進行最大/小濾波，并平滑，獲得極大/小包絡曲面ue和le，并且獲得平均包絡曲面me；步驟3.3，將初始圖像ivi與平均包絡面me差分得到第一層高頻分量imf1，并將平均包絡面me傳回輸入端；步驟3.4，將重復步驟3.1-3.3，獲得第二層高頻分量imf2、第三層高頻分量imf3和低頻分量residue。

步驟4，對分解的頻率層進行融合處理，其中低頻圖像層采用加權(quán)平均融合，高頻圖像層采用分解值的最大化加權(quán)融合；

步驟5，通過fambed重構(gòu)，即將得到的融合后的頻率層求和，然后進行hsi逆變換，獲得融合圖像。

本發(fā)明還提供了一種飛行器態(tài)勢感知用多源圖像實時融合的裝置，該裝置基于上述方法設計，如圖3所示，圖像輸入模塊包括可見光圖像輸入模塊vimg(i)和紅外圖像輸入模塊fimg(i)，圖像輸入模塊將獲取到的可見光圖像和紅外圖像輸入到fpga模塊內(nèi)，fpga模塊將輸入的圖像進行幀同步處理，并將處理后的圖像發(fā)送至dsp配準模塊；dsp配準模塊計算輸入圖像間的尺度變換參數(shù)s，如圖4所示dsp配準模塊的工作流程是：dsp配準模塊判斷尺度變換參數(shù)s在0.3-3之間，通過topn-surf匹配模塊，計算匹配點對>8時，將變換參數(shù)tfin發(fā)送至fpga模塊；尺度變換參數(shù)s＜0.3或s＞3或計算匹配點對<8時，通過bpti匹配模塊將變換參數(shù)tfin發(fā)送至fpga模塊；fpga模塊通過變換參數(shù)tfin對待配準圖像進行變換，變換后的圖像通過fambed分解模塊進行分解，得到多個頻率層；fambed重構(gòu)模塊將頻率層進行重構(gòu)計算，輸出融合圖像。

如圖6所示，fambed分解模塊包括存儲器，存儲器與存儲器調(diào)度器連接，存儲器調(diào)度器與包絡曲面計算模塊連接，包絡曲面計算模塊與輸出模塊連接。

如圖7所示，fambed重構(gòu)模塊包括存儲器，存儲器與存儲器調(diào)度器連接，存儲器調(diào)度器與融合計算模塊連接，融合計算模塊與輸出模塊連接。

如圖5所示，可見光圖像和紅外圖像經(jīng)過fambed分解模塊分解成多個頻率層，包括第一層高頻分量imf1，第二層高頻分量imf2……第n層高頻分量imfn和低頻分量residue；然后fambed重構(gòu)模塊將其融合后的頻率層求和后得到融合圖像。

本發(fā)明一種飛行器態(tài)勢感知用多源圖像實時融合的裝置，采用dsp+fpga架構(gòu)實現(xiàn)，對外由連接器與外部系統(tǒng)互聯(lián)。電纜需進行雙絞和屏蔽處理；圖像的輸入和輸出通過lvds芯片實現(xiàn)，dsp配準模塊由tms320c6713芯片實現(xiàn)，其與fpga模塊之間通過upp接口互聯(lián)，傳輸速率可達到70m×8bit，滿足實時傳輸圖像的要求，spi接口用于為dsp配準模塊和fpga模塊之間傳遞配準參數(shù)，實現(xiàn)紅外圖像的配準和分解。

圖像的坐標變換、圖像的同步、給dsp配準模塊發(fā)送/接收數(shù)據(jù)、輸出圖像的控制及時序生成由轉(zhuǎn)接fpga模塊實現(xiàn)。

輸入電源要求為16v-36v，使用4.5v-36v輸入的lt3680芯片，其最大輸出電流能力為3a。

如圖4所示，dsp配準模塊的工作流程為：a初始化寄存器，配置upp接口，rs422串口，spi接口，中斷、申請緩存；b打開upp接收fpga模塊發(fā)送的紅外圖像與可見光圖像數(shù)據(jù)，讀取紅外圖像與可見光圖像的焦距信息，連續(xù)5幀圖像焦距不變進行步驟d；c根據(jù)焦距計算尺度因子是否在0.3～3之間，是進行步驟d，否則進行步驟e；d運行topn-surf配準算法，判斷有效匹配對是否大于8，是進行步驟f，否則運行步驟e；e運行bpti配準算法；f通過spi向fpga發(fā)送配準參數(shù)。

本發(fā)明的具體實施例為：

對某無人機采集的3組真實數(shù)據(jù)進行處理的實施例，第一組數(shù)據(jù)為尺度變化不大，紋理信息相對豐富，融合系統(tǒng)采用topn-surf進行配準，并采用fabemd進行融合給出結(jié)果；第二組數(shù)據(jù)尺度變化較大且紋理信息清晰，融合系統(tǒng)采用bpti實現(xiàn)圖像配準，然后利用fabemd給出融合結(jié)果；第二組數(shù)據(jù)尺度變化不大但紋理信息較為模糊，融合系統(tǒng)在topn-surf失效的情況下采用bpti實現(xiàn)圖像配準，然后利用fabemd實現(xiàn)融合。

第一組實施例

如圖8所示，第一組實施例中，兩幅圖像的尺度變化不大且紋理信息豐富，其中圖8a為可見光圖像，圖8b為紅外圖像。

根據(jù)融合系統(tǒng)的實現(xiàn)流程，dsp接收到圖像后首先根據(jù)圖像的焦距參數(shù)ivf＝6.5mm,irf＝25mm及傳感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)計算圖像之間的尺度變換s＝0.821，根據(jù)判決準則將可見光作為參考圖像(i_ref)，紅外為待配準圖像(i_sen)，則系統(tǒng)調(diào)用topn-surf算法，計算得到的匹配結(jié)果如圖9所示，匹配點對ncm＝130大于8，故系統(tǒng)采用得到的變換參數(shù)tfin進行后續(xù)的融合計算。

融合系統(tǒng)的fpga利用dsp給出的參數(shù)tfin，對參考圖像進行變換：

ti_sen＝i_sen*tfin，并采用fabemd算法對i_ref和ti_sen進行融合處理，最終融合結(jié)果如圖10所示。

第二組實施例

如圖11所示，第二組實施例兩幅圖像的尺度變化較大，其中圖11a為可見光圖像，圖11b為紅外圖像。topn-surf算法的特征描述向量差異較大，難以實現(xiàn)精確匹配。根據(jù)融合方法，dsp接收到圖像后首先根據(jù)圖像的焦距參數(shù)ivf＝130.2mm,irf＝44.3mm及傳感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)計算圖像之間的尺度變換s＝9.28，根據(jù)判決準則將紅外作為參考圖像i_ref，可見光為待配準圖像i_sen，則系統(tǒng)調(diào)用bpti方法，計算得到相關性最大帶通信息圖如圖12所示，其中圖12a為可將光圖像某區(qū)域，圖12b為紅外圖像對應的某區(qū)域。

融合系統(tǒng)的fpga利用dsp運算bpti算法給出的參數(shù)tfin，對參考圖像進行變換：

ti_sen＝i_sen*tfin，并采用fabemd算法對i_ref和ti_sen進行融合處理，最終融合結(jié)果如圖13所示。

第三組實施例

如圖14所示，第三組實施例的輸入的兩幅圖像的尺度變化不大，但紋理信息不夠豐富，其中圖14a為可見光圖像，圖14b為紅外圖像。

根據(jù)融合方法，dsp接收到圖像后首先根據(jù)圖像的焦距參數(shù)ivf＝130.2mm,irf＝300mm及傳感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)計算圖像之間的尺度變換s＝1.37，根據(jù)判決準則將紅外作為參考圖像i_ref，可見光為待配準圖像i_sen，系統(tǒng)采用topn-surf算法得到的正確匹配點對數(shù)小于8個，因此，系統(tǒng)自動調(diào)用bpti匹配算法，計算得到相關性最大帶通信息圖如圖15所示，其中圖15a為可見光圖像某區(qū)域，圖15b為紅外圖像對應的某區(qū)域。

融合系統(tǒng)fpga利用dsp的bpti給出的參數(shù)tfin，對參考圖像進行變換：

ti_sen＝i_sen*tfin，并采用fabemd算法對i_ref和ti_sen進行融合處理，最終融合結(jié)果如圖16所示。