本發(fā)明涉及一種高分辨率圖像融合處理電路，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

可見(jiàn)光圖像是反射圖像，高頻成分多，在一定照度下能反映場(chǎng)景的細(xì)節(jié)；紅外圖像是輻射圖像，灰度由目標(biāo)與背景的溫差決定，不能反映真實(shí)的場(chǎng)景。單獨(dú)使用可見(jiàn)光圖像或紅外圖像均存在不足之處，對(duì)于這兩種具有互補(bǔ)性的圖像，圖像融合技術(shù)能夠有效地綜合和發(fā)掘它們的特征信息，增強(qiáng)場(chǎng)景理解，突出目標(biāo)，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測(cè)目標(biāo)。隨著可見(jiàn)光圖像與紅外圖像的融合技術(shù)的發(fā)展，融合技術(shù)已經(jīng)達(dá)到了實(shí)用化水平，但目前市面上已知的圖像融合實(shí)時(shí)處理平臺(tái)主要基于pal制式模擬視頻的處理。

近年來(lái)，高分辨率ccd及紅外機(jī)芯的成功研制，市場(chǎng)對(duì)高分辨率的實(shí)時(shí)數(shù)字融合處理系統(tǒng)的需求增加?，F(xiàn)有圖像融合處理電路主要有dsp+fpga與fpga兩種架構(gòu)。主要對(duì)pal制式模擬視頻信號(hào)進(jìn)行處理。采用dsp+fpga架構(gòu)的圖像融合處理電路，圖像處理延時(shí)較大，通常要超過(guò)40ms，使用fpga芯片的處理電路圖像處理延時(shí)較小。但目前的融合處理電路主要是處理模擬視頻信號(hào)，模擬視頻圖像幀頻低、圖像分辨率低、數(shù)據(jù)量小、電路處理速度慢。為此，本發(fā)明設(shè)計(jì)了一種實(shí)時(shí)高分辨率圖像融合處理電路。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種高分辨率圖像融合處理電路，實(shí)現(xiàn)對(duì)實(shí)時(shí)高分辨微光圖像與紅外圖像的融合處理，以實(shí)現(xiàn)高分辨率ccd與高分辨率紅外機(jī)芯在圖像融合上的應(yīng)用。

按照本發(fā)明提供的技術(shù)方案，所述的高分辨率圖像融合處理電路包括：核心處理器以及與其連接的視頻輸入模塊、視頻輸出模塊、電源模塊、時(shí)鐘模塊、存儲(chǔ)器模塊；

所述視頻輸入模塊，包括兩路camralink接口芯片，用于對(duì)camralink數(shù)據(jù)進(jìn)行解碼，并將解碼后數(shù)據(jù)傳送到核心處理器；

所述核心處理器，用于實(shí)現(xiàn)對(duì)實(shí)時(shí)視頻圖像數(shù)據(jù)的接收、圖像縮放、字符疊加、圖像平移、圖像存儲(chǔ)、圖像融合算法、實(shí)時(shí)視頻圖像數(shù)據(jù)輸出；

所述視頻輸出模塊，對(duì)核心處理器產(chǎn)生的實(shí)時(shí)視頻圖像數(shù)據(jù)進(jìn)行vga輸出；

所述時(shí)鐘模塊，用于產(chǎn)生各個(gè)模塊所需的時(shí)鐘；

所述存儲(chǔ)器模塊包括ddr3、sram、flash存儲(chǔ)器，用于對(duì)視頻圖像數(shù)據(jù)及系統(tǒng)數(shù)據(jù)進(jìn)行存儲(chǔ)；

電路上電啟動(dòng)后，核心處理器輸出同步信號(hào)給電路外的探測(cè)器，探測(cè)器根據(jù)核心處理器同步信號(hào)通過(guò)camralink接口輸出數(shù)字視頻圖像數(shù)據(jù)，通過(guò)視頻輸入模塊的camlink接口芯片對(duì)數(shù)據(jù)進(jìn)行解碼，并傳給核心處理器；核心處理器接收到數(shù)據(jù)后，通過(guò)ddr3對(duì)視頻圖像數(shù)據(jù)進(jìn)行緩存，對(duì)兩個(gè)通道的數(shù)據(jù)進(jìn)行圖像的縮放處理，使得兩個(gè)通道的圖像的像素及圖像的放大率一致，并對(duì)兩個(gè)通道的數(shù)據(jù)進(jìn)行十字分劃疊加，通過(guò)圖像平移進(jìn)行圖像的空間配準(zhǔn)，配準(zhǔn)后的圖像同時(shí)進(jìn)入核心處理器中的圖像融合模塊進(jìn)行處理，對(duì)兩個(gè)通道的圖像數(shù)據(jù)進(jìn)行圖像融合處理，融合成一幅偽彩色圖像，再轉(zhuǎn)換為rgb彩色圖像；視頻輸出模塊可以選擇實(shí)時(shí)輸出通道一視頻圖像、通道二視頻圖像以及融合后視頻圖像，并在輸出圖像上疊加所需字符。

進(jìn)一步的，所述圖像融合模塊的圖像融合處理方法為：

第一步：將兩路cameralink輸入圖像的每個(gè)像素亮度值(v1，v2)轉(zhuǎn)換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個(gè)像素的亮度值，v2為另一路輸入圖像每個(gè)像素的亮度值；ys為像素亮度值，cbs為藍(lán)色差分量，crs為紅色差分量，公式如下：

ys＝v1；

cbs＝v1-v2；

crs＝v2-v1；

其中，ys，cbs，crs均為有符號(hào)數(shù)據(jù)，取值范圍為-255～255；

第二步：將(ys，cbs，crs)轉(zhuǎn)換成(yc，cbc，crc)，公式如下：

其中，yc，cbc，crc均為無(wú)符號(hào)8bit數(shù)據(jù)，取值范圍為0～255，當(dāng)計(jì)算結(jié)果大于255時(shí)取值為255，當(dāng)結(jié)算結(jié)果小于0時(shí)取值為0；

ay，by，ab，bb，ar，br這6個(gè)系數(shù)預(yù)存6組，通過(guò)設(shè)置寄存器在六組系數(shù)中進(jìn)行切換；6個(gè)系數(shù)的數(shù)據(jù)類(lèi)型與精度如下：

ay，ab，ar：有符號(hào)定點(diǎn)數(shù)，整數(shù)位與方差整數(shù)位相同16bit，小數(shù)位與方差小數(shù)位相同8bit；

by，bb，br：有符號(hào)定點(diǎn)數(shù)，整數(shù)位與均值整數(shù)位相同8bit，小數(shù)位與均值小數(shù)位相同8bit；

為上一幀ys的均值和均方差；為上一幀cbs的均值和均方差；為上一幀crs的均值和均方差；均值為無(wú)符號(hào)數(shù)據(jù)，整數(shù)位8bit，小數(shù)位8bit；均方差為無(wú)符號(hào)數(shù)據(jù)，整數(shù)位16bit，小數(shù)位8bit；

第三步：將(yc，cbc，crc)轉(zhuǎn)換為rgb彩色圖像輸出到xga顯示，(yc，cbc，crc)轉(zhuǎn)換為rgb數(shù)據(jù)的公式如下：

r＝1.164(yc-16)+1.596(crc-128)

g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)

b＝1.164(yc-16)+1.596(cbc-128)

r，g，b為無(wú)符號(hào)8bit數(shù)據(jù)，取值范圍為0～255，當(dāng)計(jì)算結(jié)果大于255時(shí)取值為255，當(dāng)結(jié)算結(jié)果小于0時(shí)取值為0。

進(jìn)一步的，本發(fā)明所使用的核心處理器為fpga處理器。

本發(fā)明的優(yōu)點(diǎn)是：本發(fā)明實(shí)現(xiàn)了高分辨率實(shí)時(shí)數(shù)字圖像的融合，比模擬視頻圖像融合處理電路處理速度快、數(shù)據(jù)處理量大，融合后圖像分辨率高。

附圖說(shuō)明

圖1是本發(fā)明的硬件組成框圖。

圖2是本發(fā)明的原理框圖。

具體實(shí)施方式

本發(fā)明是一種圖像處理電路，主要用于兩路實(shí)時(shí)高分辨率視頻(圖像)數(shù)據(jù)的融合處理?？捎糜诟叻直媛饰⒐馀c紅外、白光與紅外實(shí)時(shí)圖像的融合處理。

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

如圖1所示，本發(fā)明主要包括核心處理器、視頻輸入模塊、視頻輸出模塊、電源模塊、時(shí)鐘模塊、存儲(chǔ)器模塊等。

1.核心處理器：用于實(shí)現(xiàn)對(duì)實(shí)時(shí)圖像數(shù)據(jù)的接收、圖像縮放、字符疊加、圖像平移、圖像存儲(chǔ)、圖像融合算法、實(shí)時(shí)圖像數(shù)據(jù)輸出。

2.視頻輸入模塊：對(duì)camralink數(shù)據(jù)進(jìn)行解碼，并將解碼后數(shù)據(jù)傳送到fpga。

3.視頻輸出模塊：對(duì)核心處理器產(chǎn)生的實(shí)時(shí)視頻圖像數(shù)據(jù)進(jìn)行vga輸出。

4.電源模塊：為各個(gè)模塊或芯片提供所需的電源。

5.時(shí)鐘模塊：用于產(chǎn)生各個(gè)模塊所需的時(shí)鐘。

6.存儲(chǔ)器模塊：包括ddr3、sram、flash，用于對(duì)圖像數(shù)據(jù)及系統(tǒng)數(shù)據(jù)進(jìn)行存儲(chǔ)。

本實(shí)施例主要元器件型號(hào)見(jiàn)表1。

表1器件型號(hào)表

本發(fā)明的工作原理如圖2所示。本處理電路的核心處理器為fpga，所有圖像處理算法均在fpga中實(shí)現(xiàn)。fpga不僅要進(jìn)行兩個(gè)通道視頻圖像數(shù)據(jù)的輸入處理、傳輸控制，還要負(fù)責(zé)camralink外同步信號(hào)輸出、ddr3控制、sram讀寫(xiě)控制、flash控制、rs422控制，最重要的，還要執(zhí)行融合處理算法以及進(jìn)行vga輸出控制。

電路上電啟動(dòng)，fpga輸出同步信號(hào)給電路外的探測(cè)器，探測(cè)器根據(jù)fpga同步信號(hào)通過(guò)camralink接口輸出數(shù)字視頻數(shù)據(jù)，電路通過(guò)視頻接收模塊通過(guò)camlink接口芯片對(duì)數(shù)據(jù)進(jìn)行解碼，并傳給fpga，fpga接收到數(shù)據(jù)后，通過(guò)ddr3對(duì)圖像數(shù)據(jù)進(jìn)行緩存，對(duì)兩個(gè)通道的數(shù)據(jù)進(jìn)行圖像的縮放處理，使得兩個(gè)通道的圖像的像素及圖像的放大率一致。并對(duì)兩個(gè)通道的數(shù)據(jù)進(jìn)行十字分劃疊加，通過(guò)圖像平移進(jìn)行圖像的空間配準(zhǔn)，配準(zhǔn)后的圖像同時(shí)進(jìn)入圖像融合模塊進(jìn)行處理。圖像輸出模塊可以選擇輸出通道一視頻圖像、通道二視頻圖像、融合后視頻圖像，并在輸出圖像上疊加所需字符。圖中rs422實(shí)現(xiàn)與外界的數(shù)據(jù)交互；flash用于存儲(chǔ)電路運(yùn)行中的數(shù)據(jù)，以及某些系統(tǒng)設(shè)置。

電路工作流程：

1.開(kāi)機(jī)上電，電路工作，通過(guò)rs422輸出電路的自檢數(shù)據(jù)，自檢通過(guò)后，電路正常工作。

2.同時(shí)接收兩個(gè)通道的圖像數(shù)據(jù)，先對(duì)幀圖像數(shù)據(jù)進(jìn)行緩存，再進(jìn)行圖像的縮放、十字分劃疊加、圖像平移等圖像處理，處理后的圖像分辨率為1024×768。

3.對(duì)兩個(gè)通道的圖像數(shù)據(jù)進(jìn)行圖像融合處理，融合成一幅分辨率為1024×768的偽彩色圖像，再轉(zhuǎn)換為rgb彩色圖像。

4.通過(guò)圖像輸出模塊進(jìn)行輸出，實(shí)時(shí)輸出兩路xga圖像。

以下結(jié)合實(shí)施例詳細(xì)說(shuō)明本發(fā)明的圖像融合算法流程。

第一步：將兩路cameralink輸入圖像的每個(gè)像素亮度值(v1，v2)轉(zhuǎn)換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個(gè)像素的亮度值，v2為另一路輸入圖像每個(gè)像素的亮度值；ys為像素亮度值，cbs為藍(lán)色差分量，crs為紅色差分量，公式如下：

ys＝v1；

cbs＝v1-v2；

crs＝v2-v1；

ys，cbs，crs均為有符號(hào)數(shù)據(jù)，取值范圍為-255～255。

第二步：再將(ys，cbs，crs)轉(zhuǎn)換成(yc，cbc，crc)，(ys，cbs，crs)到(yc，cbc，crc)的算法公式如下：

yc，cbc，crc均為無(wú)符號(hào)8bit數(shù)據(jù)，取值范圍為0～255，當(dāng)計(jì)算結(jié)果大于255時(shí)取值為255，當(dāng)結(jié)算結(jié)果小于0時(shí)取值為0。

ay，by，ab，bb，ar，br6個(gè)系數(shù)預(yù)存6組，可通過(guò)設(shè)置寄存器在六組系數(shù)中進(jìn)行切換。6個(gè)系數(shù)的數(shù)據(jù)類(lèi)型與精度如下：

ay，ab，ar：有符號(hào)定點(diǎn)數(shù)(補(bǔ)碼)，整數(shù)位與方差整數(shù)位相同16bit，小數(shù)位與方差小數(shù)位相同8bit(十進(jìn)制小數(shù)點(diǎn)后兩位有效數(shù)字)。

by，bb，br：有符號(hào)定點(diǎn)數(shù)(補(bǔ)碼)，整數(shù)位與均值整數(shù)位相同8bit，小數(shù)位與均值小數(shù)位相同8bit(十進(jìn)制小數(shù)點(diǎn)后兩位有效數(shù)字)。

為上一幀ys的均值和均方差；為上一幀cbs的均值和均方差；為上一幀crs的均值和均方差。

均值和均方差的計(jì)算公式如下：

均值和均方差的數(shù)據(jù)類(lèi)型與精度如下：

均方差：無(wú)符號(hào)數(shù)據(jù)，整數(shù)位16bit，小數(shù)位8bit(十進(jìn)制小數(shù)點(diǎn)后兩位有效數(shù)字)。

均值：無(wú)符號(hào)數(shù)據(jù)，整數(shù)位8bit，小數(shù)位8bit(十進(jìn)制小數(shù)點(diǎn)后兩位有效數(shù)字)。

第三步：將(yc，cbc，crc)轉(zhuǎn)換為rgb彩色圖像輸出到xga顯示。(yc，cbc，crc)轉(zhuǎn)換為rgb數(shù)據(jù)算法公式如下：

r＝1.164(yc-16)+1.596(crc-128)

g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)

b＝1.164(yc-16)+1.596(cbc-128)

r，g，b為無(wú)符號(hào)8bit數(shù)據(jù)，取值范圍為0～255，當(dāng)計(jì)算結(jié)果大于255時(shí)取值為255，當(dāng)結(jié)算結(jié)果小于0時(shí)取值為0。