本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種圖像融合方法、裝置和紅外熱像設(shè)備。

背景技術(shù)：

紅外熱像設(shè)備是利用紅外探測(cè)器和光學(xué)成像物鏡接收被測(cè)目標(biāo)的紅外輻射能量分布圖形反映到紅外探測(cè)器的光敏元件上，從而獲得紅外熱圖像。這種紅外熱圖像與物體表面的熱分布場(chǎng)相對(duì)應(yīng)。也就是說(shuō)，紅外熱像設(shè)備就是將物體發(fā)出的不可見(jiàn)紅外能量轉(zhuǎn)變?yōu)榭梢?jiàn)的紅外熱圖像。紅外熱圖像的不同顏色代表被測(cè)物體的不同溫度。紅外熱像設(shè)備將物體溫度的差異用顏色表示出來(lái)，但在物體表面溫度和環(huán)境溫度一致或者接近時(shí)就不能識(shí)別物體。因此，一般較高級(jí)的紅外熱像設(shè)備都會(huì)附加一個(gè)可見(jiàn)光傳感器，用于當(dāng)溫差不大時(shí)輔助紅外熱像設(shè)備識(shí)別目標(biāo)物體。

現(xiàn)有技術(shù)雖然能利用可見(jiàn)光傳感器對(duì)紅外熱圖像進(jìn)行圖像融合增強(qiáng)，但是在紅外熱圖像比較清晰的時(shí)候仍然將可見(jiàn)光圖像疊加到紅外熱圖像，這會(huì)造成紅外熱圖像細(xì)節(jié)的損失。另外，傳統(tǒng)的圖像融合方法，在不同的場(chǎng)景需要手動(dòng)不停調(diào)整融合比例，已達(dá)到準(zhǔn)確識(shí)別目標(biāo)物體的目的，這樣不但操作復(fù)雜，而且對(duì)操作者有一定專業(yè)知識(shí)的要求，不利于紅外熱像設(shè)備的智能化和普及化。

技術(shù)實(shí)現(xiàn)要素：

基于此，有必要提供一種紅外熱圖像細(xì)節(jié)損失較小的圖像融合方法、裝置和紅外熱像設(shè)備。

一種圖像融合方法，包括：

以相同的視角和比例，采集可見(jiàn)光圖像和紅外熱圖像；

計(jì)算每一幀紅外熱圖像的融合比；以及

根據(jù)所述融合比，將每一幀紅外熱圖像與相應(yīng)的一幀可見(jiàn)光圖像進(jìn)行灰度值融合。

一種紅外熱像設(shè)備，包括：

至少一個(gè)處理器；以及

存儲(chǔ)指令的至少一個(gè)存儲(chǔ)器，當(dāng)所述至少一個(gè)處理器執(zhí)行所述指令，使得以下被執(zhí)行：

以相同的視角和比例，采集可見(jiàn)光圖像和紅外熱圖像；

計(jì)算每一幀紅外熱圖像的融合比；以及

根據(jù)所述融合比，將每一幀紅外熱圖像與相應(yīng)的一幀可見(jiàn)光圖像進(jìn)行灰度值融合。

一種圖像融合裝置，包括：

采集模塊，用于以相同的視角和比例，采集可見(jiàn)光圖像和紅外熱圖像；

計(jì)算模塊，用于計(jì)算每一幀紅外熱圖像的融合比；以及

融合模塊，用于根據(jù)所述融合比，將每一幀紅外熱圖像與相應(yīng)的一幀可見(jiàn)光圖像進(jìn)行灰度值融合。

上述圖像融合方法、裝置和紅外熱像設(shè)備，對(duì)每一幀紅外熱圖像計(jì)算融合比，由此在整個(gè)圖像采集過(guò)程中能自動(dòng)辨別紅外目標(biāo)和環(huán)境的溫差，最大的利用了紅外熱圖像和可見(jiàn)光圖像的優(yōu)勢(shì)互補(bǔ)，使得在溫差較小和紅外圖像模糊時(shí)，自動(dòng)計(jì)算出紅外-可見(jiàn)光圖像的融合比，實(shí)現(xiàn)目標(biāo)細(xì)節(jié)得到最大的體現(xiàn)。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他實(shí)施例的附圖。

圖1是一實(shí)施例的通過(guò)紅外熱像設(shè)備執(zhí)行的圖像融合方法的流程圖；

圖2是圖1所示的計(jì)算每一幀紅外熱圖像的融合比步驟的流程圖；

圖3是圖2所示的計(jì)算所述每一幀紅外熱圖像的參考區(qū)域的預(yù)定數(shù)量的像素點(diǎn)的平均溫度步驟的流程圖；

圖4是圖2所示的確定所述每一幀紅外熱圖像中的像素點(diǎn)的最高溫度和最低溫度步驟的流程圖；

圖5是圖2所示的根據(jù)所述平均溫度、所述最高溫度和所述最低溫度，計(jì)算所述融合比步驟的流程圖；

圖6是一實(shí)施例的紅外熱像設(shè)備的模塊圖；

圖7是一實(shí)施例的圖像融合裝置的模塊圖。

具體實(shí)施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對(duì)本發(fā)明進(jìn)行更全面的描述。附圖中給出了本發(fā)明的較佳實(shí)施例。但是，本發(fā)明可以以許多不同的形式來(lái)實(shí)現(xiàn)，并不限于本文所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開(kāi)內(nèi)容的理解更加透徹全面。

除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中在本發(fā)明的說(shuō)明書中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)施例的目的，不是旨在限制本發(fā)明。本文所使用的術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)的所列項(xiàng)目的任意的和所有的組合。

如在本申請(qǐng)中所使用的，術(shù)語(yǔ)“模塊”旨在表示計(jì)算機(jī)相關(guān)的實(shí)體，它可以是硬件、硬件和軟件的組合、軟件、或者執(zhí)行中的軟件。

圖1示出了一實(shí)施例的通過(guò)紅外熱像設(shè)備執(zhí)行的圖像融合方法的流程圖。該方法由上述紅外熱像設(shè)備操作執(zhí)行。具體地，如圖6所示，該紅外熱像設(shè)備包括至少一個(gè)處理器140(例如，圖像處理器)、存儲(chǔ)指令的至少一個(gè)存儲(chǔ)器130、可見(jiàn)光傳感器120和紅外探測(cè)器110。該方法通過(guò)處理器140、存儲(chǔ)器130、可見(jiàn)光傳感器120和紅外探測(cè)器110的相互配合來(lái)完成以下步驟：

步驟S10：可見(jiàn)光傳感器120(例如，攝像頭)和紅外探測(cè)器110以相同的視角和比例，采集可見(jiàn)光圖像和紅外熱圖像，也就是說(shuō)，每一幀的可見(jiàn)光圖像和紅外熱圖像均是一一對(duì)應(yīng)的。然后可見(jiàn)光傳感器120和紅外探測(cè)器110將采集到的可見(jiàn)光圖像和紅外熱圖像存儲(chǔ)到存儲(chǔ)器130中。另外，存儲(chǔ)器130中存儲(chǔ)有執(zhí)行圖像融合的指令。

步驟S20：處理器140從存儲(chǔ)器130讀取指令來(lái)執(zhí)行計(jì)算每一幀紅外熱圖像的融合比。也就是說(shuō)，處理器140為每一幀紅外熱圖像分別計(jì)算相應(yīng)的融合比，由此融合比是逐幀動(dòng)態(tài)變化的。以及

步驟S30：接著，處理器140對(duì)于每一幀紅外熱圖像，根據(jù)每一幀紅外熱圖像的融合比，將每一幀紅外熱圖像與相應(yīng)的一幀可見(jiàn)光圖像進(jìn)行灰度值融合。也就是說(shuō)，在圖像融合時(shí)，處理器140將根據(jù)融合比，調(diào)節(jié)紅外熱圖像和可見(jiàn)光圖像的像素點(diǎn)的灰度值。由此，能自動(dòng)辨別紅外目標(biāo)和環(huán)境的溫差，最大的利用了紅外熱圖像和可見(jiàn)光圖像的優(yōu)勢(shì)互補(bǔ)，使得在溫差較小和紅外圖像模糊時(shí)，自動(dòng)計(jì)算出紅外-可見(jiàn)光圖像的融合比，實(shí)現(xiàn)目標(biāo)細(xì)節(jié)得到最大的體現(xiàn)。

如圖2所示，處理器140從存儲(chǔ)器130讀取指令來(lái)執(zhí)行以下過(guò)程從而完成步驟S20：

步驟S21：處理器140計(jì)算每一幀紅外熱圖像的參考區(qū)域的預(yù)定數(shù)量的像素點(diǎn)的平均溫度。該參考區(qū)域可以在每一幀紅外熱圖像的任意位置。在一實(shí)施例中，該參考區(qū)域是矩形圖像幀的中心區(qū)域。也就是說(shuō)，參考區(qū)域的像素點(diǎn)數(shù)量的選擇可根據(jù)實(shí)際需要進(jìn)行靈活設(shè)置。該預(yù)定數(shù)量的像素點(diǎn)可預(yù)先固定設(shè)置，也可以是在圖像融合過(guò)程中動(dòng)態(tài)改變的。在一實(shí)施例中，可選擇中心矩形區(qū)域的像素點(diǎn)，即a*b個(gè)像素點(diǎn)，其中a和b均是正整數(shù)。

步驟S22：接著，處理器140確定每一幀紅外熱圖像中的像素點(diǎn)的最高溫度和最低溫度。以及

步驟S23：然后，處理器140根據(jù)上述平均溫度T1、最高溫度T_max和最低溫度T_min，計(jì)算融合比。也就是說(shuō)，融合比是基于上述平均溫度T1、最高溫度T_max和最低溫度T_min來(lái)計(jì)算得出的。在一實(shí)施例中，該融合比與最高溫度T_max與平均溫度T1的差的絕對(duì)值△T1＝|T1-T_max|以及最低溫度T_min與平均溫度T1的差的絕對(duì)值△T2＝|T1-T_min|相關(guān)。

如圖3所示，處理器140從存儲(chǔ)器130讀取指令來(lái)執(zhí)行以下過(guò)程從而完成步驟S21：

步驟S211：處理器140選取每一幀紅外熱圖像的參考區(qū)域的預(yù)定數(shù)量的像素點(diǎn)。也就是說(shuō)，根據(jù)實(shí)際需要，處理器140對(duì)于每一幀紅外熱圖像均選取固定數(shù)量的像素點(diǎn)，也可以對(duì)于不同幀的紅外熱圖像，選取不同數(shù)量的像素點(diǎn)，以及

步驟S212：在確定像素點(diǎn)的數(shù)量后，處理器140計(jì)算該預(yù)定數(shù)量的像素點(diǎn)的所述平均溫度。

如圖4所示，處理器140從存儲(chǔ)器130讀取指令來(lái)執(zhí)行以下過(guò)程從而完成步驟S22：

步驟S221：處理器140將統(tǒng)計(jì)每一幀紅外熱圖像中所有像素點(diǎn)的溫度值。

步驟S222：然后，對(duì)于這些溫度值，處理器140將去除這些溫度值中的預(yù)定數(shù)量的極值溫度。也就是說(shuō)，處理器140將去除統(tǒng)計(jì)的溫度值兩端的一部分極值。例如，根據(jù)實(shí)際情況，將溫度值按照從高到低進(jìn)行排序，處理器140去除從最高溫值起的10個(gè)高溫極值和從最低溫值起的10個(gè)低溫極值。由此可去除紅外熱圖像中并非觀察有興趣的像素點(diǎn)。例如，吸煙時(shí)燃燒的煙頭所對(duì)應(yīng)的高溫像素點(diǎn)，或者冷飲中冰塊所對(duì)應(yīng)的低溫像素點(diǎn)。以及

步驟S223：處理器140將剩余溫度值中的最高溫度值和最低溫度值分別確定為每一幀紅外熱圖像的最高溫度T_max和最低溫度T_min。

如圖5所示，處理器140從存儲(chǔ)器130讀取指令來(lái)執(zhí)行以下過(guò)程從而完成步驟S23：

步驟S231：處理器140將計(jì)算每一幀紅外熱圖像的整幀平均溫度T_avg；

步驟S232：處理器140將判斷平均溫度T1是否大于或等于整幀平均溫度T_avg。

步驟S233：如果是，即當(dāng)平均溫度T1大于或等于整幀平均溫度T_avg時(shí)，以平均溫度T1與最低溫度T_min的差的絕對(duì)值△T2作為自變量，采用多項(xiàng)式函數(shù)計(jì)算融合比Y；以及

步驟S234：如果否，即當(dāng)平均溫度T1小于整幀平均溫度T_avg時(shí)，以最高溫度T_max與平均溫度T1的差的絕對(duì)值T1作為自變量，采用上述多項(xiàng)式函數(shù)計(jì)算所述融合比。也就是說(shuō)，處理器140將根據(jù)平均溫度T1、最高溫度T_max、最低溫度T_min和整幀平均溫度T_avg來(lái)選擇動(dòng)態(tài)自變量以應(yīng)用于相同的多項(xiàng)式函數(shù)。在一實(shí)施例中，該多項(xiàng)式函數(shù)是三次多項(xiàng)式函數(shù)。

在一實(shí)施例中，處理器140采用三次多項(xiàng)式函數(shù)F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5計(jì)算融合因子F。然后將將該融合因子F除以預(yù)定義的系數(shù)得到融合比Y。例如，該預(yù)定義的系數(shù)可以選擇為二進(jìn)制整數(shù)256或1024。即Y＝F/256或F/1024。得到融合比Y后，處理器140將根據(jù)該融合比Y調(diào)節(jié)紅外熱圖像和可見(jiàn)光圖像的灰度值比例，進(jìn)行紅外熱圖像和可見(jiàn)光圖像的融合，由此在整個(gè)圖像采集過(guò)程中能自動(dòng)辨別紅外目標(biāo)和環(huán)境的溫差，最大的利用了紅外熱圖像和可見(jiàn)光圖像的優(yōu)勢(shì)互補(bǔ)，使得在溫差較小和紅外圖像模糊時(shí)，自動(dòng)計(jì)算出紅外-可見(jiàn)光圖像的融合比，實(shí)現(xiàn)目標(biāo)細(xì)節(jié)得到最大的體現(xiàn)。在一實(shí)施例中，當(dāng)一幀紅外熱圖像的參考區(qū)域?yàn)橐槐瓱崴畷r(shí)，熱水的溫度值是大大高于整幀圖像的平均溫度，此時(shí)如果預(yù)定義的系數(shù)為256，則可計(jì)算出融合因子F為256，最后得出融合比Y為1，即，全部為紅外熱圖像。在一實(shí)施例中，當(dāng)一幀紅外熱圖像的參考區(qū)域?yàn)槿说氖直蹠r(shí)，手臂的溫度稍高于整幀圖像的平均溫度，此時(shí)如果預(yù)定義的系數(shù)為256，可以算出來(lái)融合參數(shù)F為180，最后得出融合比Y為0.7。在一實(shí)施例中，當(dāng)一幀紅外熱圖像的參考區(qū)域?yàn)闀緯r(shí)，書本的溫度和環(huán)境溫度很接近，此時(shí)如果預(yù)定義的系數(shù)為256，可以算出來(lái)融合參數(shù)F為130，最后得出融合比0.5。

圖7示出了一實(shí)施例的圖像融合裝置的模塊圖。該圖像融合裝置包括采集模塊310、計(jì)算模塊320和融合模塊330。其中，采集模塊310以相同的視角和比例，采集可見(jiàn)光圖像和紅外熱圖像。計(jì)算模塊320計(jì)算每一幀紅外熱圖像的融合比。融合模塊330根據(jù)計(jì)算出的融合比，將每一幀紅外熱圖像與相應(yīng)的一幀可見(jiàn)光圖像進(jìn)行灰度值融合。

在一個(gè)實(shí)施例中，計(jì)算模塊320還用于計(jì)算所述每一幀紅外熱圖像的參考區(qū)域的預(yù)定數(shù)量的像素點(diǎn)的平均溫度；確定所述每一幀紅外熱圖像中的像素點(diǎn)的最高溫度和最低溫度；以及根據(jù)所述平均溫度、所述最高溫度和所述最低溫度，計(jì)算所述每一幀紅外熱圖像的融合比。

在一個(gè)實(shí)施例中，計(jì)算模塊320還用于選取所述每一幀紅外熱圖像的參考區(qū)域的所述預(yù)定數(shù)量的像素點(diǎn)；以及計(jì)算所述預(yù)定數(shù)量的像素點(diǎn)的所述平均溫度。

在一個(gè)實(shí)施例中，計(jì)算模塊320還用于統(tǒng)計(jì)所述每一幀紅外熱圖像中所有像素點(diǎn)的溫度值；去除所述溫度值中的預(yù)定數(shù)量的極值溫度；以及將剩余溫度值中的最高溫度值和最低溫度值分別確定為所述每一幀紅外熱圖像的最高溫度和最低溫度。

在一個(gè)實(shí)施例中，計(jì)算模塊320還用于計(jì)算所述每一幀紅外熱圖像的整幀平均溫度；當(dāng)所述平均溫度大于或等于所述整幀平均溫度時(shí)，以所述平均溫度與所述最高溫度的差的絕對(duì)值作為自變量，采用多項(xiàng)式函數(shù)計(jì)算所述融合比；以及當(dāng)所述平均溫度小于所述整幀平均溫度時(shí)，以所述最低溫度與所述平均溫度的差的絕對(duì)值作為自變量，采用所述多項(xiàng)式函數(shù)計(jì)算所述融合比。

在一個(gè)實(shí)施例中，計(jì)算模塊320還用于采用所述多項(xiàng)式函數(shù)計(jì)算融合因子；以及將所述融合因子除以預(yù)定義的系數(shù)得到所述融合比。預(yù)定義的系數(shù)是256或1024。

三次多項(xiàng)式函數(shù)為：F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5，其中F是所述融合因子，T是所述自變量。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述方法實(shí)施例的步驟或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成，前述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟，而前述的存儲(chǔ)介質(zhì)包括：ROM、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。