專(zhuān)利名稱(chēng)：一種對(duì)于可見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及一種快速圖像融合處理的科學(xué)實(shí)驗(yàn)系統(tǒng)，具體地說(shuō)是一種對(duì)于可 見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)。
背景技術(shù)：
在一般的多傳感器設(shè)備觀察目標(biāo)時(shí)，不可避免地要進(jìn)行各通道圖像的切換，而在 切換過(guò)程中，由于光軸的一致性，視場(chǎng)大小的一致性等問(wèn)題導(dǎo)致觀察有效性的降低。因此設(shè) 計(jì)一套可見(jiàn)圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)能夠大大提高觀察效率，并能給決策 提供更有效地幫助。近年來(lái)，在各行各業(yè)中，特別是基于光學(xué)傳感器的計(jì)算機(jī)視覺(jué)處理領(lǐng)域，圖像融合 技術(shù)被廣泛關(guān)注和研究。越來(lái)越多的基于圖像處理的工業(yè)領(lǐng)域正在加快對(duì)圖像融合技術(shù)的 算法研究。圖像融合屬于數(shù)據(jù)融合的形態(tài)中的一類(lèi)，是將多源傳感器獲取的多源信息在某 種標(biāo)準(zhǔn)下進(jìn)行匹配，自動(dòng)合成以形成具有更大信息量的簡(jiǎn)約表達(dá)。這樣做的主要目的是方 便后期的決策如模式識(shí)別等工作任務(wù)，利于計(jì)算機(jī)和人的快速判斷處理。圖像融合將多源傳感器獲得的多源圖像序列的冗余信息加以刪除，互補(bǔ)信息加以 綜合，最終形成對(duì)觀測(cè)的目標(biāo)對(duì)象們的高清晰、高分辨、高信息量的一致性描述和表達(dá)。換 句話說(shuō)，圖像融合也可以看成是某種形式的信息歸約。歸約后的數(shù)據(jù)，也就是融合后的圖像 具有高可靠性，高畫(huà)質(zhì)，高信息量的特征，既減少了不必要的重復(fù)信息，又提升了單幅圖像 的信息容量，讓圖像信息更加清楚易辨識(shí)。目前，對(duì)圖像融合的研究已經(jīng)有超過(guò)二十多年的歷史，特別在近幾年，隨著各型傳 感器的發(fā)展，圖像融合技術(shù)正在飛速前進(jìn)。首先引導(dǎo)數(shù)據(jù)/圖像融合發(fā)展的是軍事科技方 面的發(fā)展應(yīng)用。美國(guó)軍方的信息化作戰(zhàn)時(shí)建立在各類(lèi)信息的融合判斷決策之上的高科技作 戰(zhàn)模式，這些多源信息很大一部分都來(lái)源于各類(lèi)圖像信息，如可見(jiàn)光信息，紅外光信息，微 光信息，激光信息，雷達(dá)成像信息等等。在融合信息基礎(chǔ)之上所得到的多目標(biāo)探測(cè)與識(shí)別， 偵查監(jiān)視，導(dǎo)航制導(dǎo)等應(yīng)用將會(huì)更加準(zhǔn)確。另外，在非軍事方面的應(yīng)用在近十年來(lái)也正蓬 勃發(fā)展，高水平的工業(yè)生產(chǎn)，比如智能機(jī)器人的研究方面，圖像融合是建立機(jī)器人智能視覺(jué) 必不可少的前提環(huán)節(jié)；在民用航拍圖像處理方面，也同樣要對(duì)遙感圖像進(jìn)行圖像融合。目 前，圖像融合還沒(méi)有建立起完備的理論研究體系。因此融合算法都只是在各種數(shù)據(jù)處理背 景下的一種嘗試。這些數(shù)據(jù)處理方法包括了濾波方法，如維納濾波，卡爾曼濾波；概率統(tǒng)計(jì) 方法，如貝葉斯極大似法；數(shù)據(jù)聚類(lèi)法，如基于各種評(píng)判標(biāo)準(zhǔn)的聚類(lèi)方法；智能計(jì)算方法， 如基于蟻群算法、遺傳算法等啟發(fā)式算法的近似算法等等。可見(jiàn)光圖像和紅外圖像是目前應(yīng)用領(lǐng)域中使用最為廣泛的兩類(lèi)圖像。它們能夠表 達(dá)被觀察目標(biāo)在兩個(gè)頻譜范圍的豐富信息特征。因此，在成像系統(tǒng)中，兩類(lèi)傳感器往往會(huì)被 并列安裝，并保證瞄準(zhǔn)線的統(tǒng)一，從而能夠更好地觀察目標(biāo)。但是，兩類(lèi)圖像無(wú)法同時(shí)觀察， 只能進(jìn)行相應(yīng)的切換。這給觀察者帶來(lái)了麻煩，因此，如何將可見(jiàn)光圖像和紅外圖像進(jìn)行快 速實(shí)時(shí)融合是多傳感器成像系統(tǒng)所面臨的難題。
實(shí)用新型內(nèi)容本實(shí)用新型的目的就是為解決上述問(wèn)題，提供一種對(duì)于可見(jiàn)光圖像和紅外圖像的 快速實(shí)時(shí)融合處理系統(tǒng)，它可以將從紅外熱像儀獲取的紅外圖像和從CCD攝像機(jī)獲取的可 見(jiàn)光圖像，進(jìn)行像素層級(jí)上的實(shí)時(shí)融合，將刪除冗余信息，綜合互補(bǔ)信息的融合圖像提供給 用戶(hù)，最終形成對(duì)觀測(cè)的目標(biāo)對(duì)象的高清晰、高分辨、高信息量的一致性描述和表達(dá)。為實(shí)現(xiàn)上述目的，本實(shí)用新型采用如下技術(shù)方案一種對(duì)于可見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)，它包括至少一個(gè)可見(jiàn) 光傳感器和至少一個(gè)紅外傳感器，它們與數(shù)據(jù)采集設(shè)備連接，數(shù)據(jù)采集設(shè)備與計(jì)算機(jī)連接。所述可見(jiàn)光傳感器和紅外傳感器通過(guò)數(shù)據(jù)總線與數(shù)據(jù)采集設(shè)備連接。本實(shí)用新型在使用時(shí)，首先讀入可見(jiàn)光和紅外視頻圖像，經(jīng)過(guò)傳輸環(huán)節(jié)和數(shù)據(jù)采 集單元讀入計(jì)算機(jī)，然后由處理軟件對(duì)序列圖像的進(jìn)行基于圖像偏移參數(shù)的配準(zhǔn)方法來(lái)進(jìn) 行快速匹配，得到相應(yīng)位置粗匹配的待融合圖像。然后采用基于底層的像素層級(jí)的圖像融 合處理，其基本步驟包括以下幾個(gè)方面步驟一、待融合圖像的預(yù)處理工作。圖像預(yù)濾波降噪增強(qiáng)等預(yù)處理以獲得高品質(zhì) 的待融合圖像序列。步驟二、圖像的校正工作。待融合圖像首先需要進(jìn)行基于特征的精配準(zhǔn)等精確校 正工作。根據(jù)多源傳感器的成像原理采用相應(yīng)的變換模型進(jìn)行準(zhǔn)確調(diào)整。步驟三、圖像的一致性采樣。為了讓像素層級(jí)的融合工作能夠快速有效，對(duì)于具有 不同分辨率的傳感器圖像，采用一致性像素插值形成相同規(guī)模尺寸的圖像。步驟四、像素層級(jí)的逐一融合。步驟五、融合后圖像的后處理工作。由于融合后圖像往往在整體的灰度表現(xiàn)上會(huì) 引入一定的噪聲，因此后處理工作一般包括圖像去噪，圖像提升，圖像裁剪等。下面詳細(xì)敘述步驟三至步驟五。首先，對(duì)圖像分別進(jìn)行多層的小波分解變換，形成 塔形小波圖像系數(shù)。然后，對(duì)上述分解得到的塔形小波圖像系數(shù)按照某種融合算法進(jìn)行融 合，即對(duì)于不同頻帶的小波系數(shù)分別進(jìn)行融合，得到具有相應(yīng)塊標(biāo)志的融合后塔形小波圖 像系數(shù)。最后，對(duì)上述融合后的塔形小波圖像系數(shù)進(jìn)行小波反變換重構(gòu)形成融合后圖像。如 果融合效果不夠，可以進(jìn)行相應(yīng)的后處理。在整個(gè)融合流程中，對(duì)最終融合結(jié)果影響較大的包括小波種類(lèi)的選取、塔形小波 分解層數(shù)的選取以及融合準(zhǔn)則算法的選取。尤其是融合準(zhǔn)則的選擇是影響融合效果起作 用最大的方面，是融合過(guò)程的核心和關(guān)鍵，它直接決定了融合的計(jì)算速度和融合結(jié)果的好 壞。本實(shí)用新型不采用傳統(tǒng)的單小波分解模塊，而采用多維方向?yàn)V波器組(N-dimensional Directional Filter Banks,NDFB)的Surfacelet變換作為二代小波變換實(shí)現(xiàn)非自適應(yīng)性 多尺度幾何分析，對(duì)任意維數(shù)的信號(hào)進(jìn)行方向性分解。一般對(duì)于低頻段圖像的融合算法修 正可以很大程度上的決定整幅圖像的信息獲取量，因此一個(gè)好的融合算法一定要在低頻段 融合算法中作出最佳選擇，經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，以梯度模為塊融合標(biāo)志的低頻融合算法充分考 慮了圖像的低頻特性，是較佳選擇。對(duì)于高頻段的圖像，融合算法首先必須考慮到這些方向 性因素，經(jīng)過(guò)實(shí)驗(yàn)證實(shí)，能量值作為塊融合標(biāo)志的高頻融合算法的確使圖像的精細(xì)程度有 了很大的提高。[0019]在基于小波的圖像融合過(guò)程中，對(duì)圖像進(jìn)行小波分解，分解得到的系數(shù)分為低頻 分量和高頻分量，需要根據(jù)低頻分量來(lái)獲得塊效應(yīng)所在區(qū)域，也就是重影所在區(qū)域。首先對(duì) 低頻分量按照融合規(guī)則獲得融合標(biāo)識(shí)圖像，該融合標(biāo)識(shí)圖像為二值圖像，即其中的像素值 若為1，表明應(yīng)該選擇左源圖像的低頻分量；若為0，則選擇右源圖像的低頻分量。在獲得 了該標(biāo)識(shí)圖像后，需要對(duì)標(biāo)識(shí)圖像進(jìn)行濾波，以刪除雜波區(qū)域，但保留主要信號(hào)區(qū)域，選擇 3X3的模板進(jìn)行中值濾波。然后以較大的模板對(duì)標(biāo)識(shí)圖像再次進(jìn)行濾波，以獲得背景圖像， 我們選擇16X16大小的模板。接著將濾波后的標(biāo)識(shí)圖像與背景圖像進(jìn)行想減，獲得待濾波 區(qū)域的圖像，用以指示哪些區(qū)域需要進(jìn)行濾波以消除重影，同時(shí)保證保留不需要濾波區(qū)域 的絕對(duì)質(zhì)量。濾波過(guò)程應(yīng)沿著圖像的邊緣方向進(jìn)行擴(kuò)散，保證圖像邊緣不會(huì)退化模糊。本實(shí)用新型的有益效果是能夠?yàn)橛^察者提供更加直觀豐富的目標(biāo)圖像，能夠?qū)?目標(biāo)的紅外特征疊加在可見(jiàn)光特征之上。能夠?qū)梢?jiàn)光視頻和紅外視頻進(jìn)行配準(zhǔn)處理，保 證視頻圖像瞄準(zhǔn)線的一致，同時(shí)能夠保證二者在空間上的高度一致。能夠?qū)梢?jiàn)光視頻圖 像和紅外視頻圖像進(jìn)行一致性裁剪，保證二者觀察視場(chǎng)大小的一致。能夠?qū)梢?jiàn)光視頻圖 像、紅外視頻圖像以及融合后視頻圖像三者進(jìn)行同時(shí)數(shù)字輸出。并能夠在融合圖像上進(jìn)行 操作，顯示疊加和非疊加效果。本實(shí)用新型具有設(shè)計(jì)合理，操作方便，結(jié)果精確客觀等特點(diǎn)， 具有很好的推廣使用價(jià)值。

圖1為本實(shí)用新型的結(jié)構(gòu)示意圖。圖2為本實(shí)用新型的處理流程圖。其中，1.可見(jiàn)光傳感器，2.紅外傳感器，3.數(shù)據(jù)總線，4.數(shù)據(jù)采集設(shè)備，5.計(jì)算機(jī)。
具體實(shí)施方式

以下結(jié)合附圖與實(shí)施例對(duì)本實(shí)用新型做進(jìn)一步說(shuō)明。圖1中，它包括至少一個(gè)可見(jiàn)光傳感器1和至少一個(gè)紅外傳感器2，它們通過(guò)數(shù)據(jù) 總線3與數(shù)據(jù)采集設(shè)備4連接，數(shù)據(jù)采集設(shè)備4與計(jì)算機(jī)5連接。圖2中，本實(shí)用新型的工作步驟為首先由融合處理系統(tǒng)讀入相應(yīng)的需要融合的可見(jiàn)光序列圖像和紅外序列圖像。同 時(shí)根據(jù)光軸調(diào)節(jié)輸入?yún)?shù)作為依據(jù)對(duì)圖像對(duì)進(jìn)行粗對(duì)準(zhǔn)，以調(diào)整相差。然后分別對(duì)可見(jiàn)光 圖像和紅外圖像進(jìn)行相應(yīng)的圖像去噪預(yù)處理。接著對(duì)預(yù)處理后的圖像按照基于特征角點(diǎn)的 方法進(jìn)行圖像精配準(zhǔn)。送入圖像融合模塊進(jìn)行Surfacelet變換、融合和回復(fù)，并依據(jù)變換 中獲得的信息進(jìn)行濾波后處理消除融合塊效應(yīng)。最后輸出融合后圖像供模式識(shí)別等后處理 或觀察使用。除說(shuō)明書(shū)所述的技術(shù)特征外，其余均為本專(zhuān)業(yè)人員已知技術(shù)。
權(quán)利要求1.一種對(duì)于可見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)，其特征是，它包括至少 一個(gè)可見(jiàn)光傳感器和至少一個(gè)紅外傳感器，它們與數(shù)據(jù)采集設(shè)備連接，數(shù)據(jù)采集設(shè)備與計(jì) 算機(jī)連接。
2.如權(quán)利要求1所述的對(duì)于可見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)，其特征 是，所述可見(jiàn)光傳感器和紅外傳感器通過(guò)數(shù)據(jù)總線與數(shù)據(jù)采集設(shè)備連接。
專(zhuān)利摘要本實(shí)用新型涉及一種對(duì)于可見(jiàn)光圖像和紅外圖像的快速實(shí)時(shí)融合處理系統(tǒng)，它可以將從紅外熱像儀獲取的紅外圖像和從CCD攝像機(jī)獲取的可見(jiàn)光圖像，進(jìn)行像素層級(jí)上的實(shí)時(shí)融合，將刪除冗余信息，綜合互補(bǔ)信息的融合圖像提供給用戶(hù)，最終形成對(duì)觀測(cè)的目標(biāo)對(duì)象的高清晰、高分辨、高信息量的一致性描述和表達(dá)。它包括至少一個(gè)可見(jiàn)光傳感器和至少一個(gè)紅外傳感器，它們與數(shù)據(jù)采集設(shè)備連接，數(shù)據(jù)采集設(shè)備與計(jì)算機(jī)連接。
文檔編號(hào)G06T5/50GK201927079SQ201120056628
公開(kāi)日2011年8月10日 申請(qǐng)日期2011年3月7日 優(yōu)先權(quán)日2011年3月7日
發(fā)明者王濱海, 王騫, 陳西廣 申請(qǐng)人:山東電力研究院