專利名稱：多傳感器圖像融合處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理系統(tǒng)，特別涉及一種多傳感器圖像融合處理系統(tǒng)。
背景技術(shù)：
近年來，無論在軍事領(lǐng)域還是在非軍事領(lǐng)域，多傳感器數(shù)據(jù)融合技術(shù)都獲得了廣泛的關(guān)注，正在應(yīng)用于越來越多的領(lǐng)域中。然而，目前采用的數(shù)據(jù)融合平臺(tái)無法有效滿足應(yīng) 用中對(duì)圖像實(shí)時(shí)融合顯示處理的需要。構(gòu)建一種可以實(shí)時(shí)處理、融合效果優(yōu)良的數(shù)據(jù)融合 平臺(tái)迫在眉睫。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種可以實(shí)時(shí)處理、融合效果優(yōu)良的多傳感器圖 像融合處理系統(tǒng)。為了解決上述技術(shù)問題，本發(fā)明的多傳感器圖像融合處理系統(tǒng)包括與傳感器數(shù)量 相應(yīng)的圖像數(shù)據(jù)采集裝置和多特征圖像數(shù)據(jù)處理裝置，及數(shù)據(jù)融合裝置；所述圖像數(shù)據(jù)采 集裝置對(duì)傳感器輸出的圖像數(shù)據(jù)進(jìn)行預(yù)處理后以整頁突發(fā)的模式緩存；多特征圖像數(shù)據(jù)處 理裝置提取圖像數(shù)據(jù)采集裝置存儲(chǔ)的圖像數(shù)據(jù)，完成目標(biāo)的多特征運(yùn)算，生成待匹配圖像， 計(jì)算目標(biāo)在待匹配圖像中位置，并將待匹配圖像及目標(biāo)位置存入圖像數(shù)據(jù)采集裝置；數(shù)據(jù) 融合裝置讀取各路圖像數(shù)據(jù)采集裝置存儲(chǔ)的待匹配圖像及目標(biāo)位置，進(jìn)行圖像匹配、融合 處理，生成最后的融合圖像。本發(fā)明利用圖像數(shù)據(jù)采集裝置完成多傳感器的圖像接收、傳輸與預(yù)處理功能，利 用多特征圖像數(shù)據(jù)處理裝置生成待匹配圖像，并計(jì)算目標(biāo)在待匹配圖像中位置，利用數(shù)據(jù) 融合裝置對(duì)各路圖像進(jìn)行匹配、融合處理，生成最后的融合圖像。本發(fā)明具有很高的實(shí)用 性，可有效滿足實(shí)時(shí)、融合效果優(yōu)良的使用要求、應(yīng)用廣泛，可實(shí)施性強(qiáng)。所述多特征圖像處理裝置包括用于讀取圖像數(shù)據(jù)的裝置；用于讀取傳感器像元分辨率倍率、焦距值以及傳感器視角的裝置；用于將實(shí)時(shí)獲得的圖像變換到與規(guī)定傳感器采集的圖像視角相同的圖像的裝 置；用于生成與規(guī)定傳感器采集的圖像相同分辨率倍率、相同焦距值的待匹配圖像， 并將其存入圖像數(shù)據(jù)采集裝置的裝置；用于根據(jù)圖像灰度信息計(jì)算圖像梯度的裝置；用于根據(jù)圖像梯度確定目標(biāo)邊緣的裝置；用于根據(jù)目標(biāo)邊緣計(jì)算目標(biāo)位置的裝置；用于根據(jù)目標(biāo)位置置是否有效標(biāo)志，并將目標(biāo)位置存入圖像數(shù)據(jù)采集裝置的裝置。所述數(shù)據(jù)融合裝置包括
用于讀取各路圖像數(shù)據(jù)采集裝置存儲(chǔ)的待匹配圖像的裝置；用于讀取目標(biāo)位置信息的裝置；用于判斷目標(biāo)位置是否有效的裝置；用于完成圖像配準(zhǔn)的裝置若目標(biāo)位置有效，則根據(jù)該路待匹配圖像中目標(biāo)位置相對(duì)于規(guī)定的標(biāo)準(zhǔn)圖像的目標(biāo)位置存儲(chǔ)該路圖像；若目標(biāo)位置無效，則以規(guī)定的標(biāo)準(zhǔn)圖像中心設(shè)定大小的圖像為匹配 模板，在該路圖像中找到與該匹配模板灰度值相同的圖像，計(jì)算該圖像相對(duì)于標(biāo)準(zhǔn)圖像的 位置，并根據(jù)計(jì)算結(jié)果存儲(chǔ)該路圖像，完成圖像配準(zhǔn)；用于對(duì)各幅配準(zhǔn)后的圖像進(jìn)行拉普拉斯金字塔分解的裝置；用于對(duì)分解后的各層圖像進(jìn)行融合的裝置對(duì)于頂層分解圖像選取區(qū)域平均梯度最大值的像素作為融合后圖像在該區(qū)域上 的像素；對(duì)于其他層分解圖像選區(qū)域平均能量最大值的像素作為融合后圖像在該區(qū)域上的 像素；用于對(duì)融合金字塔做拉普拉斯金字塔反變換得到最終的融合圖像的裝置。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。圖1為本發(fā)明的傳感器圖像融合處理系統(tǒng)結(jié)構(gòu)框圖。圖2為實(shí)現(xiàn)本發(fā)明的硬件電路結(jié)構(gòu)示意圖。圖3為多特征圖像處理裝置程序流程圖。圖4為數(shù)據(jù)融合裝置程序流程圖。
具體實(shí)施例方式如圖1所示，本發(fā)明的多傳感器圖像融合處理系統(tǒng)包括與傳感器數(shù)量相應(yīng)的圖像 數(shù)據(jù)采集裝置和多特征圖像數(shù)據(jù)處理裝置，及數(shù)據(jù)融合裝置；如圖2所示，所述圖像數(shù)據(jù)采集裝置采用可編程邏輯器件(FPGA)和存儲(chǔ)器 (SDRAM)；傳感器攝入的圖像送入FPGA，圖像在FPGA中經(jīng)過預(yù)處理(即對(duì)圖像數(shù)據(jù)進(jìn)行組 織)后以整頁突發(fā)的模式存入SDRAM，通過FPGA時(shí)序控制，使SDRAM實(shí)現(xiàn)多端口圖像緩存器 的功能。所述多特征圖像數(shù)據(jù)處理裝置采用DSPs或者其他普通的嵌入式處理器實(shí)現(xiàn)。所述數(shù)據(jù)融合裝置采用微型計(jì)算機(jī)或其他普通的嵌入式處理器實(shí)現(xiàn)。SDRAM的第一端口供圖像輸入使用，傳感器輸出的圖像數(shù)據(jù)經(jīng)FPGA采集到SDRAM 中。第二個(gè)端口供DSPs實(shí)時(shí)讀取圖像，生成的待匹配圖像及目標(biāo)位置通過FPGA暫存在 SDRAM中；DSPs可通過該端口對(duì)FPGA進(jìn)行控制，如控制采集圖像大小、圖像存儲(chǔ)位置等。第 三個(gè)端口供PCI-bridge (PCI橋)使用，計(jì)算機(jī)可以隨時(shí)通過PCI總線讀取任意幀的待匹配 圖像，DSPs計(jì)算的目標(biāo)位置與生成的待匹配圖像等信息也通過此端口送到計(jì)算機(jī)中。如圖3所示，DSPs負(fù)責(zé)多特征圖像處理，多特征圖像處理程序流程包括下述步驟初始化；讀取圖像數(shù)據(jù)；
讀取傳感器像元分辨率倍率、焦距值以及傳感器的方位、俯仰角度；規(guī)定以其中一個(gè)傳感器為標(biāo)準(zhǔn)傳感器，根據(jù)實(shí)時(shí)獲得的傳感器的方位角度、俯仰角度與規(guī)定標(biāo)準(zhǔn)傳感器的方位角度、俯仰角度之間的差值，將圖像變換到與規(guī)定傳感器采 集的圖像視角相同的圖像；生成與規(guī)定傳感器采集的圖像相同分辨率倍率、相同焦距值的待匹配圖像，并將 其存入SDRAM指定位置；根據(jù)待匹配圖像灰度信息計(jì)算圖像梯度；根據(jù)圖像梯度確定目標(biāo)邊緣；根據(jù)目標(biāo)邊緣計(jì)算目標(biāo)位置；判斷目標(biāo)位置是否有效，若目標(biāo)位置有效，則將目標(biāo)位置存入SDRAM ；返回。微型計(jì)算機(jī)通過PCI以DMA方式讀取待匹配圖像及目標(biāo)位置信息，并進(jìn)行融合處 理，具體流程包括如下步驟初始化通過PCI總線讀取SDRAM中存儲(chǔ)的各路待匹配圖像；通過PCI總線讀取各路待匹配圖像中目標(biāo)位置信息；判斷目標(biāo)位置是否有效，若目標(biāo)位置有效，則計(jì)算該路待匹配圖像中的目標(biāo)相對(duì) 于規(guī)定的標(biāo)準(zhǔn)圖像中目標(biāo)的位置，并根據(jù)計(jì)算結(jié)果存儲(chǔ)該路圖像；若目標(biāo)位置無效，則以規(guī) 定的標(biāo)準(zhǔn)圖像中心位置96*96大小的圖像為匹配模板，在該路圖像中找到與該匹配模板灰 度值相同的96*96大小的圖像，計(jì)算該圖像相對(duì)于標(biāo)準(zhǔn)圖像的位置，并根據(jù)計(jì)算結(jié)果存儲(chǔ) 該路圖像；完成融合前的圖像配準(zhǔn)；對(duì)各幅配準(zhǔn)后的圖像進(jìn)行拉普拉斯金字塔分解；對(duì)分解后的各層圖像采用不同的融合準(zhǔn)則進(jìn)行融合，具體融合規(guī)則為選擇局部 區(qū)域?yàn)橐云涓鱾€(gè)像素為中心的3X3臨域，對(duì)于頂層分解圖像采用選取區(qū)域平均梯度最大 值的像素作為融合后圖像在該區(qū)域上的像素；對(duì)于其他層分解圖像采用區(qū)域特征量測的方 法選能量最大區(qū)域的像素作為融合后圖像在該區(qū)域上的像素；對(duì)融合金字塔做拉普拉斯金字塔反變換得到最終的融合圖像。本發(fā)明的優(yōu)點(diǎn)由于本發(fā)明采用DSPs分別計(jì)算不同傳感器采集到的圖像數(shù)據(jù)中 包含灰度信息、目標(biāo)位置等信息，將計(jì)算結(jié)果交給微型計(jì)算機(jī)進(jìn)行圖像匹配、融合處理，生 成最后的融合圖像。計(jì)算速度可以滿足實(shí)時(shí)處理要求、更加有利于融合效果的提高。
權(quán)利要求
一種多傳感器圖像融合處理系統(tǒng)，其特征在于包括與傳感器數(shù)量相應(yīng)的圖像數(shù)據(jù)采集裝置和多特征圖像數(shù)據(jù)處理裝置，及數(shù)據(jù)融合裝置；所述圖像數(shù)據(jù)采集裝置對(duì)傳感器輸出的圖像數(shù)據(jù)進(jìn)行預(yù)處理后以整頁突發(fā)的模式緩存；多特征圖像數(shù)據(jù)處理裝置提取圖像數(shù)據(jù)采集裝置存儲(chǔ)的圖像數(shù)據(jù)，完成目標(biāo)的多特征運(yùn)算，生成待匹配圖像，計(jì)算目標(biāo)在待匹配圖像中位置，并將待匹配圖像及目標(biāo)位置存入圖像數(shù)據(jù)采集裝置；數(shù)據(jù)融合裝置讀取各路圖像數(shù)據(jù)采集裝置存儲(chǔ)的待匹配圖像及目標(biāo)位置，進(jìn)行圖像匹配、融合處理，生成最后的融合圖像。
2.根據(jù)權(quán)利要求1所述的多傳感器圖像融合處理系統(tǒng)，其特征在于所述多特征圖像處 理裝置包括用于讀取圖像數(shù)據(jù)的裝置；用于讀取傳感器像元分辨率倍率、焦距值以及傳感器視角的裝置； 用于將實(shí)時(shí)獲得的圖像變換到與規(guī)定傳感器采集的圖像視角相同的圖像的裝置； 用于生成與規(guī)定傳感器采集的圖像相同分辨率倍率、相同焦距值的待匹配圖像，并將 其存入圖像數(shù)據(jù)采集裝置的裝置；用于根據(jù)圖像灰度信息計(jì)算圖像梯度的裝置； 用于根據(jù)圖像梯度確定目標(biāo)邊緣的裝置； 用于根據(jù)目標(biāo)邊緣計(jì)算目標(biāo)位置的裝置；用于根據(jù)目標(biāo)位置置是否有效標(biāo)志，并將目標(biāo)位置存入圖像數(shù)據(jù)采集裝置的裝置。
3.根據(jù)權(quán)利要求1或2所述的多傳感器圖像融合處理系統(tǒng)，其特征在于所述數(shù)據(jù)融合 裝置包括用于讀取各路圖像數(shù)據(jù)采集裝置存儲(chǔ)的待匹配圖像的裝置； 用于讀取目標(biāo)位置信息的裝置； 用于判斷目標(biāo)位置是否有效的裝置； 用于完成圖像配準(zhǔn)的裝置若目標(biāo)位置有效，則根據(jù)該路待匹配圖像中目標(biāo)位置相對(duì)于規(guī)定的標(biāo)準(zhǔn)圖像的目標(biāo)位 置存儲(chǔ)該路圖像；若目標(biāo)位置無效，則以規(guī)定的標(biāo)準(zhǔn)圖像中心設(shè)定大小的圖像為匹配模板， 在該路圖像中找到與該匹配模板灰度值相同的圖像，計(jì)算該圖像相對(duì)于標(biāo)準(zhǔn)圖像的位置， 并根據(jù)計(jì)算結(jié)果存儲(chǔ)該路圖像，完成圖像配準(zhǔn)；用于對(duì)各幅配準(zhǔn)后的圖像進(jìn)行拉普拉斯金字塔分解的裝置； 用于對(duì)分解后的各層圖像進(jìn)行融合的裝置對(duì)于頂層分解圖像選取區(qū)域平均梯度最大值的像素作為融合后圖像在該區(qū)域上的像 素；對(duì)于其他層分解圖像選區(qū)域平均能量最大值的像素作為融合后圖像在該區(qū)域上的像 素；用于對(duì)融合金字塔做拉普拉斯金字塔反變換得到最終的融合圖像的裝置。
全文摘要
本發(fā)明涉及一種多傳感器圖像融合處理系統(tǒng)，該系統(tǒng)包括與傳感器數(shù)量相應(yīng)的圖像數(shù)據(jù)采集裝置和多特征圖像數(shù)據(jù)處理裝置，及數(shù)據(jù)融合裝置；所述圖像數(shù)據(jù)采集裝置對(duì)傳感器輸出的圖像數(shù)據(jù)進(jìn)行預(yù)處理后以整頁突發(fā)的模式緩存；多特征圖像數(shù)據(jù)處理裝置提取圖像數(shù)據(jù)采集裝置存儲(chǔ)的圖像數(shù)據(jù)，完成目標(biāo)的多特征運(yùn)算，生成待匹配圖像，計(jì)算目標(biāo)在待匹配圖像中位置，并將待匹配圖像及目標(biāo)位置存入圖像數(shù)據(jù)采集裝置；數(shù)據(jù)融合裝置讀取各路圖像數(shù)據(jù)采集裝置存儲(chǔ)的待匹配圖像及目標(biāo)位置，進(jìn)行圖像匹配、融合處理，生成最后的融合圖像。本發(fā)明具有很高的實(shí)用性，可有效滿足實(shí)時(shí)、融合效果優(yōu)良的使用要求、應(yīng)用廣泛，可實(shí)施性強(qiáng)。
文檔編號(hào)G06T5/50GK101819677SQ20101014374
公開日2010年9月1日 申請(qǐng)日期2010年4月12日 優(yōu)先權(quán)日2010年4月12日
發(fā)明者武治國, 王明佳 申請(qǐng)人:中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所