本發(fā)明涉及一種圖像處理系統(tǒng)，特別是涉及一種紅外圖像和低照度圖像實(shí)時(shí)融合系統(tǒng)，屬于數(shù)字圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

夜視技術(shù)不僅成為軍隊(duì)的不可缺少的現(xiàn)代裝備，而且在各行各業(yè)有廣泛的應(yīng)用。近年來(lái)，隨著非制冷紅外探測(cè)器的國(guó)產(chǎn)化和價(jià)格下降，民用紅外夜視市場(chǎng)進(jìn)入快速增長(zhǎng)期。

夜視技術(shù)包括紅外夜視技術(shù)和微光夜視技術(shù)兩方面。紅外夜視中的熱成像技術(shù)是一種被動(dòng)紅外夜視技術(shù)，通過(guò)借助目標(biāo)自身發(fā)射的紅外輻射來(lái)實(shí)現(xiàn)觀察，它根據(jù)目標(biāo)與背景或目標(biāo)各部分之間的溫度差或熱輻射差來(lái)發(fā)現(xiàn)目標(biāo)。熱成像技術(shù)相對(duì)其他夜視技術(shù)有獨(dú)特的優(yōu)點(diǎn)，如可在霧、雨、雪的天氣下工作，作用距離遠(yuǎn)，能識(shí)別偽裝和抗干擾等。

微光夜視儀則是利用月光、星光等夜光，通過(guò)像增強(qiáng)器的光增強(qiáng)作用，幫助人眼實(shí)現(xiàn)夜間觀察的一種夜視器材。主要由望遠(yuǎn)光學(xué)系統(tǒng)、像增強(qiáng)和高壓供電裝置組成。微光夜視圖像的獲得，可以使人類在亮度極低的天光環(huán)境下，依然能夠較為清楚的觀察到目標(biāo)。隨著ccd（電荷耦合元件）/cmos（互補(bǔ)金屬氧化物半導(dǎo)體）技術(shù)的發(fā)展，低照度傳感器成為新的微光夜視技術(shù)的發(fā)展方向，低照度傳感器設(shè)計(jì)的夜視成像產(chǎn)品成本大大降低，將進(jìn)入各應(yīng)用領(lǐng)域。

盡管紅外夜視技術(shù)和低照度夜視技術(shù)各自取得了顯著性地發(fā)展，但是依舊存在各自的局限性。利用紅外傳感器拍攝的紅外圖像在全黑的條件下也能夠識(shí)別目標(biāo)，但是層次和立體感較差，缺少細(xì)節(jié)和對(duì)比度，與可見(jiàn)光圖像相比灰度分布方式不一致，不具有直觀性和識(shí)別性特征；利用低照度傳感器拍攝的低照度圖像，與人眼已經(jīng)適應(yīng)的可見(jiàn)光圖像在灰度分布上保持同一性，但是低照度圖像傳感器僅在天光條件下適用，全黑條件下則失效，且易受到強(qiáng)光影響。

圖像融合是將兩種來(lái)自不同時(shí)間或同一時(shí)間來(lái)自不同傳感器所獲取的關(guān)于同一場(chǎng)景的圖像進(jìn)行綜合處理，并生成新的有關(guān)此場(chǎng)景解釋的信息處理過(guò)程。利用圖像融合技術(shù)，能夠?qū)煞N不同來(lái)源的圖像進(jìn)行多級(jí)別、多層次、多方面地處理與綜合，提取出更豐富、更精確可靠的關(guān)鍵信息。圖像融合技術(shù)實(shí)現(xiàn)紅外圖像和低照度圖像的融合，能夠彌補(bǔ)各傳感器的局限性，獲得更為可靠的信息，使系統(tǒng)具有信息量大，可全天候觀察等特點(diǎn)。目前的夜視裝置僅能夠提供單色的圖像，利用圖像融合中的偽彩色技術(shù)，則能夠還原圖像的彩色信息，更有助于目標(biāo)識(shí)別。

目前，最常見(jiàn)的夜視融合技術(shù)是可見(jiàn)光與中、遠(yuǎn)紅外波段的融合。從實(shí)現(xiàn)的手段上劃分，圖像融合的技術(shù)方案有兩種：光學(xué)融合方法、全數(shù)字融合方法。簡(jiǎn)單光學(xué)融合依賴于光學(xué)結(jié)構(gòu)，融合過(guò)程沒(méi)有延遲，但融合的畫面不方便調(diào)整，且無(wú)法實(shí)現(xiàn)儲(chǔ)存記錄功能；全數(shù)字融合方法將不同的夜視圖像逐個(gè)像素地進(jìn)行融合，能夠更好地適應(yīng)外界環(huán)境的變化，但是實(shí)現(xiàn)起來(lái)相對(duì)更復(fù)雜。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明解決的問(wèn)題之一是：克服現(xiàn)有簡(jiǎn)單光學(xué)融合系統(tǒng)中圖像質(zhì)量較差的問(wèn)題，基于全數(shù)字融合系統(tǒng)方案集成高性能數(shù)字圖像處理算法并實(shí)現(xiàn)較好的圖像融合效果。

本發(fā)明解決的問(wèn)題之二是：克服現(xiàn)有融合系統(tǒng)中視場(chǎng)、時(shí)間同步較難的問(wèn)題，利用光學(xué)同步調(diào)焦設(shè)計(jì)以及圖像信號(hào)處理器同步觸發(fā)設(shè)計(jì)方法，滿足視場(chǎng)、時(shí)間同步的同步需求，簡(jiǎn)化圖像配準(zhǔn)算法和圖像融合算法的復(fù)雜性。

本發(fā)明解決的問(wèn)題之三是：針對(duì)融合系統(tǒng)中算法復(fù)雜度高但要求處理器體積小的矛盾，采用嵌入式多核異構(gòu)微處理器am572x作為系統(tǒng)控制中心以及圖像數(shù)字化融合算法的運(yùn)行載體，使系統(tǒng)設(shè)計(jì)容易實(shí)現(xiàn)小型化、便攜化。

本發(fā)明為了克服上述不足，提供一種紅外圖像與低照度圖像純數(shù)字化融合系統(tǒng)的實(shí)現(xiàn)方案，具體通過(guò)如下措施來(lái)實(shí)現(xiàn)：

一種紅外圖像與低照度圖像融合系統(tǒng)，包括低照度光學(xué)鏡組、紅外光學(xué)鏡組、同步調(diào)焦裝置、低照度圖像傳感器、紅外圖像傳感器、低照度圖像傳感器驅(qū)動(dòng)模塊、紅外圖像傳感器驅(qū)動(dòng)模塊、圖像傳感器模擬前端、低照度圖像信號(hào)處理器、紅外圖像信號(hào)處理器、同步信號(hào)發(fā)生器、主控處理器、圖像同步采集模塊、數(shù)字圖像處理模塊、圖像顯示控制模塊、顯示切換按鍵、第一微顯示器、第二微顯示器、第一顯示器放大鏡組、第二顯示器放大鏡組、處理器外圍電路、電源模塊，所述圖像同步采集模塊、數(shù)字圖像處理模塊、圖像顯示控制模塊分別為主控處理器的子處理單元。

進(jìn)一步，所述主控處理器為am572x型嵌入式多核異構(gòu)處理器。主控處理器采用德州儀器的sitara多核異構(gòu)處理器am572x作為主處理器并執(zhí)行圖像采集、圖像處理、圖像顯示等相關(guān)程序，其中圖像采集過(guò)程主要由多核異構(gòu)處理器中的arm核心控制，而圖像算法主要運(yùn)行在多核異構(gòu)處理器的dsp核心中。

進(jìn)一步，所述低照度光學(xué)鏡組、紅外光學(xué)鏡組、同步調(diào)焦裝置為一體聯(lián)合設(shè)計(jì)。

進(jìn)一步，所述低照度圖像傳感器為高靈敏度低照度圖像傳感器mccd，具體型號(hào)為bg0601d。

進(jìn)一步，所述圖像傳感器模擬前端包括低照度圖像傳感器模擬前端和紅外圖像傳感器模擬前端，低照度圖像傳感器模擬前端和紅外圖像傳感器模擬前端的芯片均采用afe芯片。

進(jìn)一步，所述同步信號(hào)發(fā)生器所產(chǎn)生的同步信號(hào)由8051單片機(jī)實(shí)現(xiàn)；

進(jìn)一步，所述圖像顯示控制模塊利用am572x處理器中的協(xié)處理器實(shí)現(xiàn)。

進(jìn)一步，所述數(shù)字圖像處理模塊由紅外圖像預(yù)處理、紅外圖像復(fù)制、低照度圖像處理、低照度圖像復(fù)制、數(shù)字圖像配準(zhǔn)、數(shù)字圖像融合、輸出圖像選擇構(gòu)成。

進(jìn)一步，所述顯示切換按鍵用于切換顯示模式，所支持的模式包括低照度圖像顯示模式、紅外圖像顯示模式、融合圖像顯示模式。

進(jìn)一步，所述第一微顯示器和第二微顯示器均為oled微顯示器，系統(tǒng)采用兩個(gè)oled微顯示器作為顯示器，且微顯示器顯示的圖像經(jīng)過(guò)放大鏡組進(jìn)一步放大使圖像最終適合人眼觀看。

進(jìn)一步，所述電源模塊包括鋰電池、直流供電端子、電源管理模塊、多路直流穩(wěn)壓器、輸出端子。

進(jìn)一步，處理器外圍電路包括時(shí)鐘震蕩電路、復(fù)位電路、儲(chǔ)存器。

本發(fā)明與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

（1）采用紅外傳感器與低照度圖像傳感器所采集的圖像進(jìn)行數(shù)字化融合，并以偽彩色方式顯示融合后的圖像信息；

（2）紅外與低照度雙路圖像采集、調(diào)焦同步、時(shí)間同步的采集系統(tǒng)設(shè)計(jì)；

（3）采用體積較小的嵌入式多核異構(gòu)微處理器作為系統(tǒng)控制中心以及圖像數(shù)字化融合算法的運(yùn)行載體，使設(shè)備具有便攜性特征。同時(shí)，嵌入式多核異構(gòu)微處理器的采用也保證了算法運(yùn)行的流暢性，能夠運(yùn)行復(fù)雜度高、數(shù)據(jù)量大的數(shù)字圖像融合算法；

（4）紅外、低照度與偽彩色三種顯示模式的雙目微型oled顯示、切換功能。

附圖說(shuō)明

圖1是本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖；

圖2是本發(fā)明數(shù)字圖像處理模塊實(shí)現(xiàn)框圖；

圖3是本發(fā)明電源模塊內(nèi)部原理圖。

附圖標(biāo)記說(shuō)明：101低照度光學(xué)鏡組，102紅外光學(xué)鏡組，103同步調(diào)焦裝置，104低照度圖像傳感器，105紅外圖像傳感器，106低照度圖像傳感器模擬前端，107低照度圖像傳感器驅(qū)動(dòng)模塊，108紅外圖像傳感器模擬前端，109紅外圖像傳感器驅(qū)動(dòng)模塊，110低照度圖像信號(hào)處理器isp，111同步信號(hào)發(fā)生器，112紅外圖像信號(hào)處理器，113主控處理器，114圖像同步采集模塊，115數(shù)字圖像處理模塊，116圖像顯示控制模塊，117顯示切換按鍵，118第一微顯示器，119第二微顯示器，120第一顯示器放大鏡組，121第二顯示器放大鏡組，122處理器外圍電路，123電源模塊，201紅外圖像預(yù)處理，203紅外圖像復(fù)制，202低照度圖像預(yù)處理，204低照度圖像復(fù)制，205數(shù)字圖像配準(zhǔn)，206數(shù)字圖像融合，207輸出圖像選擇，301鋰電池，302直流供電端子，303電源管理模塊，304多路直流穩(wěn)壓器，305輸出端子。

具體實(shí)施方式

以下將結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行進(jìn)一步描述：

如圖1所示，本發(fā)明的系統(tǒng)結(jié)構(gòu)由低照度光學(xué)鏡組101、紅外光學(xué)鏡組102、同步調(diào)焦裝置103、低照度圖像傳感器104、紅外圖像傳感器105、低照度圖像傳感器模擬前端106、低照度圖像傳感器驅(qū)動(dòng)模塊107、紅外圖像傳感器模擬前端108、紅外圖像傳感器驅(qū)動(dòng)模塊109、低照度圖像信號(hào)處理器isp110、同步信號(hào)發(fā)生器111、紅外圖像信號(hào)處理器112、主控處理器113、圖像同步采集模塊114、數(shù)字圖像處理模塊115、圖像顯示控制模塊116、顯示切換按鍵117、第一微顯示器118、第二微顯示器119、第一顯示器放大鏡組120、第二顯示器放大鏡組121、處理器外圍電路122、電源模塊123組成。

所述系統(tǒng)工作原理為：場(chǎng)景的光學(xué)圖像通過(guò)低照度光學(xué)鏡組101和紅外光學(xué)鏡組102分別成像于低照度圖像傳感器104和紅外圖像傳感器105中，低照度圖像傳感器驅(qū)動(dòng)模塊107和紅外圖像傳感器驅(qū)動(dòng)模塊109分別為上述兩個(gè)圖像傳感器提供基本驅(qū)動(dòng)時(shí)序，這兩個(gè)傳感器同時(shí)啟動(dòng)并將光學(xué)圖像轉(zhuǎn)換為與圖像強(qiáng)度分布呈正相關(guān)的電信號(hào)，低照度圖像傳感器模擬前端106和紅外圖像傳感器模擬前端108對(duì)來(lái)自兩個(gè)圖像傳感器的模擬信號(hào)分別進(jìn)行放大，并完成模擬/數(shù)字的轉(zhuǎn)換后，圖像信號(hào)處理器isp110根據(jù)同步信號(hào)發(fā)生器111產(chǎn)生同步信號(hào)對(duì)電信號(hào)進(jìn)行同步采樣、處理，將轉(zhuǎn)換結(jié)果輸出到視頻接口總線；微處理器中的圖像同步采集控制模塊114輸出同步信號(hào)，并從視頻總線中接收?qǐng)D像數(shù)據(jù)到內(nèi)存中，數(shù)字圖像處理模塊115從內(nèi)存中分別提取紅外圖像和低照度圖像，進(jìn)而進(jìn)行圖像融合等相關(guān)處理工作；圖像顯示控制模塊116輸出時(shí)序邏輯信號(hào)，驅(qū)動(dòng)兩個(gè)顯示器工作，將圖像數(shù)據(jù)輸出到第一微型顯示器118和第二微型顯示器119的數(shù)據(jù)輸入端口，最后，兩個(gè)微顯示器屏幕中同步顯示融合圖像，并分別經(jīng)第一光學(xué)放大鏡組120和第二光學(xué)放大鏡組121將圖像進(jìn)一步放大，使人眼能夠觀看到合適大小的畫面。

所述圖像同步采集模塊114、數(shù)字圖像處理模塊115和圖像顯示控制模塊116分別為主控處理器113的子處理單元，主控處理器113為am572x型嵌入式多核異構(gòu)處理器；采用德州儀器的sitara多核異構(gòu)處理器am572x作為主處理器并執(zhí)行圖像采集、圖像處理、圖像顯示等相關(guān)程序，其中圖像采集過(guò)程主要由多核異構(gòu)處理器中的arm核心控制，而圖像算法主要運(yùn)行在多核異構(gòu)處理器的dsp核心中。

所述融合系統(tǒng)通過(guò)實(shí)時(shí)采集紅外圖像和低照度圖像作為圖像源進(jìn)行融合，紅外圖像由被動(dòng)式非制冷焦平面紅外探測(cè)器采集，低照度圖像由被動(dòng)式低照度圖像傳感器104采集。

所述低照度圖像傳感器104采用高靈敏度低照度圖像傳感器mccd，具體型號(hào)為bg0601d。

所述系統(tǒng)在光學(xué)設(shè)計(jì)上采用了同步調(diào)焦設(shè)計(jì)和初步同視場(chǎng)設(shè)計(jì)，所述低照度光學(xué)鏡組101、紅外光學(xué)鏡組102、同步調(diào)焦裝置103為一體聯(lián)合設(shè)計(jì)，即利用一個(gè)調(diào)焦旋鈕同時(shí)控制兩個(gè)光路中的透鏡位置，可在光學(xué)上保證紅外圖像傳感器105和低照度圖像傳感器104所呈圖像大小一致的效果，從而實(shí)現(xiàn)兩個(gè)傳感器同步調(diào)焦的功能；

為實(shí)現(xiàn)同步曝光，使用一個(gè)同步信號(hào)發(fā)生器產(chǎn)生同步信號(hào)同時(shí)控制兩個(gè)圖像信號(hào)處理器啟動(dòng)采集和轉(zhuǎn)換，以保證每次采集時(shí)捕獲到同一個(gè)時(shí)刻的紅外圖像和可見(jiàn)光圖像。

所述同步信號(hào)發(fā)生器111所產(chǎn)生的同步信號(hào)由8051單片機(jī)實(shí)現(xiàn)，該單片機(jī)能夠根據(jù)配置參數(shù)產(chǎn)生固定頻率和占空比的同步脈沖。

所述低照度圖像傳感器模擬前端106和紅外圖像傳感器模擬前端108均采用通用的afe芯片，如tlv990。兩個(gè)圖像傳感器模擬前端afe對(duì)來(lái)自兩個(gè)圖像傳感器的模擬信號(hào)分別進(jìn)行放大，并完成模擬-數(shù)字的轉(zhuǎn)換，最后輸出數(shù)字信號(hào)給后一個(gè)處理單元。

所述的低照度圖像傳感器驅(qū)動(dòng)模塊107和紅外圖像傳感器驅(qū)動(dòng)模塊109驅(qū)動(dòng)圖像傳感器的過(guò)程為：將圖像信號(hào)處理器isp輸出的驅(qū)動(dòng)邏輯轉(zhuǎn)換成低照度圖像傳感器及紅外圖像傳感器的高壓驅(qū)動(dòng)信號(hào)，驅(qū)動(dòng)低照度圖像傳感器和紅外圖像傳感器實(shí)現(xiàn)圖像像素掃描。

所述低照度圖像信號(hào)處理器110和紅外圖像信號(hào)處理器112即圖像信號(hào)處理器isp對(duì)來(lái)自圖像傳感器的圖像數(shù)據(jù)做初級(jí)數(shù)字圖像處理，包括自動(dòng)曝光控制aec、自動(dòng)增益控制agc和白平衡awb、伽馬gamma矯正，處理后以并行方式輸出到視頻總線中并由處理器中的圖像同步采集模塊114采集，且上述圖像信號(hào)處理器對(duì)圖像數(shù)據(jù)進(jìn)行初步處理的方法和參數(shù)是能夠被后端處理器調(diào)整設(shè)置。

所述融合系統(tǒng)開(kāi)始采集一次圖像時(shí)，圖像同步采集模塊114首先發(fā)送一個(gè)采集指令，同步信號(hào)發(fā)生器111將指令轉(zhuǎn)換為同步采集脈沖，采集脈沖觸發(fā)圖像信號(hào)處理器isp啟動(dòng)一次圖像采集，待采集完畢后，同步采集模塊114從總線中讀取圖像數(shù)據(jù)至內(nèi)存中。

如圖2所示，數(shù)字圖像處理模塊115由紅外圖像預(yù)處理201、紅外圖像復(fù)制203、低照度圖像預(yù)處理202、低照度圖像復(fù)制204、數(shù)字圖像配準(zhǔn)205、數(shù)字圖像融合206、輸出圖像選擇207構(gòu)成，以上子功能模塊的處理過(guò)程是利用現(xiàn)有軟件算法實(shí)現(xiàn)的。其中，紅外圖像預(yù)處理201對(duì)圖像進(jìn)行初步的圖像增強(qiáng)和濾波處理；紅外圖像復(fù)制203和低照度圖像復(fù)制204過(guò)程分別將圖像復(fù)制為兩個(gè)副本，其中一個(gè)副本用于圖像配準(zhǔn)和圖像融合處理，另外一個(gè)副本用于直接顯示；數(shù)字圖像配準(zhǔn)205過(guò)程利用圖像配準(zhǔn)算法對(duì)圖像進(jìn)行矯正和配準(zhǔn)，使兩幅圖像中的對(duì)象在位置上重疊、統(tǒng)一；配準(zhǔn)后的圖像通過(guò)圖像融合算法進(jìn)行融合，產(chǎn)生一幅融合后的圖像；圖像選擇器根據(jù)按鈕狀態(tài)從3幅圖像復(fù)制的紅外圖像、復(fù)制的低照度圖像、融合圖像中選擇一幅圖像輸出到顯示設(shè)備。

所述圖像顯示控制模塊116利用am572x處理器中的協(xié)處理器實(shí)現(xiàn)，其功能是輸出驅(qū)動(dòng)邏輯，驅(qū)動(dòng)oled顯示器工作。

所述顯示器即第一微顯示器118和第二微顯示器119為兩個(gè)型號(hào)為svga050的微型顯示器，為0.5英寸微型oled顯示器，兩個(gè)顯示器顯示的內(nèi)容一致，微顯示器顯示的圖像經(jīng)過(guò)光學(xué)放大鏡組進(jìn)一步放大，使適合人眼觀察。

特別的，所述系統(tǒng)還包括顯示切換按鍵117，該切換按鍵用于切換顯示模式，每按一次切換按鈕，系統(tǒng)就切換一個(gè)模式，所支持模式包括：純低照度顯示模式、純紅外顯示模式、融合圖像顯示模式。

所述電源模塊123為整個(gè)系統(tǒng)提供多種穩(wěn)定可靠的供電電壓，為實(shí)現(xiàn)便攜式的系統(tǒng)設(shè)計(jì)，供電方式包括ac適配器供電和鋰電池供電兩種方式，且系統(tǒng)適配器采用dc12v/2a適配器。

如圖3所示，所述電源模塊123包括鋰電池301、直流供電端子302、電源管理模塊303、多路直流穩(wěn)壓器304、輸出端子305，所述鋰電池301和直流供電端子302為兩種備選供電方式，默認(rèn)采用電池供電。當(dāng)有外部供電時(shí)切換到外部供電，同時(shí)給鋰電池充電；切換過(guò)程以及給鋰電池充電的控制過(guò)程均由電源管理模塊303實(shí)現(xiàn)；多路直流穩(wěn)壓器304提供多種穩(wěn)定的直流電壓輸出，提供能量給系統(tǒng)各個(gè)模塊；各個(gè)電壓最終通過(guò)輸出端子305輸出。

所述處理器外圍電路122包括時(shí)鐘震蕩電路、復(fù)位電路、儲(chǔ)存器等，為處理器提供基本工作條件。