專利名稱：基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體地說，是一種基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法。
背景技術(shù)：
過去十幾年來信息融合，特別是圖像融合已引發(fā)了世界范圍的廣泛興趣和研究熱潮，其應(yīng)用領(lǐng)域遍及國防、對地觀測、機器視覺、智能交通、醫(yī)學(xué)成像、安全檢查和工業(yè)過程等場合。圖像融合是關(guān)于協(xié)同利用多種成像傳感器，組合來自同一場景的多源動態(tài)圖像信息，形成更適合于人類和機器感知，或者進一步圖像分析與理解的單一圖像的多層次智能信息處理過程，這種單一圖像包含有比任何多源圖像對動態(tài)場景更精確的描述，其處理過程涉及多源動態(tài)圖像信息的檢測、關(guān)聯(lián)、相關(guān)、估計、識別與合成、以及系統(tǒng)優(yōu)化、管理與控制、態(tài)勢分析和威脅評估等要素。近年來，圖像融合已成為一種十分重要和有用的圖像分析與計算機視覺技術(shù)。圖像融合過程必須滿足如下的要求盡可能的保留源圖像中所有的顯著信息；不要引入任何人為的信息；要保持移不變性；要求時間的穩(wěn)定性和一致性。在序列圖像的融合當(dāng)中，最后這兩點尤其重要。圖像融合過程可在不同的信息表示層進行，按照信息抽象的程度，圖像信息層可分為信號級、像素級、特征級和符號級。目前，從最簡單的像素加權(quán)到復(fù)雜的多分辨率方法(包括金字塔方法和小波方法)，像素級的靜態(tài)圖像融合方法已得到了國內(nèi)外學(xué)者的廣泛研究。
經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，Oliver Rockinger等在“SPIE Conf onSignal Processing，Sensor Fusion，and Target Recognition VII”(pp.378-388，1998.4.)上發(fā)表“Pixel-level Image FusionThe case of ImageSequences”(像素級圖像融合基于圖像序列，SPIE信號處理、傳感器融合和目標(biāo)識別會議，奧蘭多)。該文應(yīng)用離散小波框架(DWF，或者說移不變離散小波變換)對序列圖像進行融合，但他們所用的變換方法雖然具有很好的移不變性，但是該變換卻存在高度的冗余信息，計算量多，而且，由于在大多數(shù)情況下我們只是對圖像中的目標(biāo)信息感興趣而不是其中的像素，而該方法由于融合方法單一，卻不能最大限度的保留目標(biāo)信息。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)和方法中的不足，提供一種基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，使融合序列圖像在具有很好的移不變性、時間的穩(wěn)定性和一致性的同時，可以使其計算效率比較高，并且能最大限度的保留目標(biāo)信息，使背景信息具有較高的清晰度，有利于提高監(jiān)控人員在復(fù)雜背景下對目標(biāo)情景的感知能力。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明首先利用區(qū)域生長法分割每一幀源圖像，根據(jù)有效測量計算，自動得出背景區(qū)域和目標(biāo)區(qū)域，但為了提高計算效率，在后續(xù)的每一幀源圖像里面采用模板匹配法找到目標(biāo)區(qū)域；對分割后的源圖像序列采用雙樹復(fù)小波變換(DT-CWT)方法進行變換；在得到變換后的小波系數(shù)后，對目標(biāo)和背景區(qū)域分別應(yīng)用不同的融合規(guī)則，以實現(xiàn)特征級的序列圖像融合；最后，得到不同區(qū)域的小波融合系數(shù)后，使用DT-CWT逆變換，即可以得到融合序列圖像。特征級融合可以使融合序列圖像具有很好的移不變性、時間穩(wěn)定性和一致性，且能盡可能多的保留目標(biāo)信息。
以下對本發(fā)明作進一步的說明，包括以下步驟第一，目標(biāo)檢測首先，采用一種區(qū)域生長方法來分割初始序列圖像，區(qū)域生長是將具有相似性質(zhì)的像素集合起來構(gòu)成區(qū)域。采用一種區(qū)域生長方法來分割初始紅外序列圖像，這能比較容易的在分割的紅外序列圖像里找到目標(biāo)區(qū)域，因為這些目標(biāo)區(qū)域與其余的鄰域有著很高的對比度。
對于區(qū)域生長的判決條件，本發(fā)明采用灰度相似性判決設(shè)已分割區(qū)域R的灰度均值為x，待測像素點灰度為y，則待測像素點與已分割區(qū)域相似性s表示為s＝w(y-x)2(1)式中，w為非負(fù)權(quán)值。
對于足夠小的s(根據(jù)本發(fā)明的要求，s的值取為s≤100w)，可認(rèn)為待測像素與已分割區(qū)域相似，并入已分割的區(qū)域中，否則，不進行合并。同時用y更新均值
xnew←(Nxold+y)/(N+1)(2)式中，N是已生長區(qū)域的像素點個數(shù)。
然后，對每個候選的區(qū)域進行有效測量計算Ci=1(1+e-λ1(μf-μ1))×1(1+e-λ2(μf-μb-μ2))···(2)]]>這里，μf和μb分別表示第i個目標(biāo)的前景和背景的灰度平均值，λ1和λ2控制指數(shù)函數(shù)的傾斜度，μ1和μ2分別表示指數(shù)函數(shù)的偏移量。這就可以根據(jù)Ci的值自動得出目標(biāo)區(qū)域和背景區(qū)域。
但對每一圖像幀里面的候選區(qū)域都計算其有效測量會使算法變得低效，所以，采用一種模板匹配方法在以后的幀里面找出目標(biāo)區(qū)域。
本發(fā)明采用以像素為匹配特征的相關(guān)算法，通過求相似函數(shù)h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)···(4)]]>的最大值來作為對最佳匹配點的定量度量。
其中，h(u，v)表示相似系數(shù)，f(u+x，v+y)表示待匹配圖像點的灰度值，t(x，y)表示匹配模板像素點的灰度值。
在可見光序列圖像里面，目標(biāo)檢測也類似于紅外序列圖像。
第二，雙樹復(fù)小波變換(DT-CWT)雙樹復(fù)小波變換很好的解決了標(biāo)準(zhǔn)的離散小波變換(DWT)系數(shù)不具備良好的方向選擇性的缺點，而且也比Rockinger應(yīng)用的離散小波框架(或稱為移不變離散小波變換)減少了大量的信息冗余。雙樹復(fù)小波變換(DT-CWT)能解決傅立葉濾波器不具備良好的重構(gòu)性和頻率域特性的問題。
為了使得雙樹復(fù)小波變換具備近似的移不變性，對樹狀結(jié)構(gòu)的每一層濾波器的輸出做因子為2的子采樣，兩棵樹的濾波器長度分別為奇數(shù)和偶數(shù)且它們的相位為線性，保證了濾波器的沖擊響應(yīng)對應(yīng)于復(fù)小波變換系數(shù)的實數(shù)部分和虛數(shù)部分。通過對圖像的行和列分別進行雙樹復(fù)小波濾波，即對列濾波器的輸出再進行行濾波器共軛濾波，可把一維DT-CWT擴展為二維，這就使得二維信號的DT-CWT變換具有4∶1的冗余度。行濾波器的子采樣輸出和它們的復(fù)共軛構(gòu)成6個帶通圖像，這些子圖像在±15°、±45°和±75°具有很強的方向選擇性。
雙樹復(fù)小波變換對于濾波器的設(shè)計比較嚴(yán)格，為了保證小波變換的完美重建，本發(fā)明采用Nick Kingsbury發(fā)明的Q-shift9小波。
第三，圖像融合在單一的目標(biāo)區(qū)域里，融合規(guī)則為系數(shù)選擇法對于第二步驟中得到的小波系數(shù)，在該區(qū)域內(nèi)采用目標(biāo)區(qū)域出現(xiàn)的圖像幀里所對應(yīng)區(qū)域的小波系數(shù)作為融合小波系數(shù)。
在重疊目標(biāo)區(qū)域可視條件不同而分別采取系數(shù)選擇法或者加權(quán)平均法對于第二步驟中得到的小波系數(shù)，如果該區(qū)域的能量系數(shù)小于某一相似性系數(shù)，就選取小波系數(shù)值大的系數(shù)作為該區(qū)域的融合小波系數(shù)；否則，對相應(yīng)的兩個小波系數(shù)采用加權(quán)平均作為融合小波系數(shù)。
在背景區(qū)域的融合里面，采用最簡單的最大選擇規(guī)則對于第二步驟中得到的小波系數(shù)，在該區(qū)域內(nèi)采用小波系數(shù)值大的系數(shù)作為融合的小波系數(shù)。
第四，雙樹復(fù)小波逆變換對上面得到的小波系數(shù)進行雙樹復(fù)小波逆變換即可得到融合的序列圖像。
不過由于圖像信號是作為實數(shù)信號，所以不把兩棵數(shù)的小波系數(shù)作為像素的實部和虛部，而是對這兩棵數(shù)上的小波系數(shù)采用系數(shù)為0.5的加權(quán)平均，從而得到逆變換后的圖像像素灰度值。
本發(fā)明所提的基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法所得的融合后序列圖像具有時間的穩(wěn)定性和一致性，其計算效率比較高，且有較好的目標(biāo)指示特性，具有清晰度較高的背景信息，有利于提高監(jiān)控人員對目標(biāo)情景的感知能力，可應(yīng)用于空地導(dǎo)彈多傳感器多源動態(tài)圖像信息融合，航空電子與機載武器火控系統(tǒng)，多傳感器多目標(biāo)探測、跟蹤與識別等各類民用及軍用系統(tǒng)中，具有廣闊的市場前景和應(yīng)用價值。


圖1為基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合體系。
圖2雙樹復(fù)小波變換(DT-CWT)及其逆變換。
其中圖2(a)雙樹復(fù)小波變換；圖2(b)雙樹復(fù)小波逆變換。
圖3為源序列圖像的某一幀及其對應(yīng)不同融合體系的融合圖像。
其中圖3(a)可見光源序列圖像幀；圖3(b)紅外源序列圖像幀；圖3(c)使用DWT(DB4小波)的像素級融合圖像幀；圖3(d)使用DWT(BIOR4.4小波)的像素級融合圖像幀；圖3(e)使用DT-CWT(Q-shift9小波)的像素級融合圖像幀；圖3(f)使用DWF(DB4小波)的像素級融合圖像幀；圖3(g)使用DWF(BIOR4.4小波)的像素級融合圖像幀；圖3(h)使用DWT(DB4小波)的特征級融合圖像幀；圖3(i)使用DWT(BIOR4.4小波)的特征級融合圖像幀；圖3(j)使用DT-CWT(Q-shift9小波)的特征級融合圖像幀；圖3(k)使用DWF(DB4小波)的特征級融合圖像幀；圖3(1)使用DWF(BIOR4.4小波)的特征級融合圖像幀。
具體實施例方式
下面結(jié)合附圖對本發(fā)明的實施例作詳細說明本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。
1.圖像分割首先，采用一種區(qū)域生長方法來分割初始序列圖像。區(qū)域生長的基本思想是將具有相似性質(zhì)的像素集合起來構(gòu)成區(qū)域。具體實現(xiàn)對每個分割的區(qū)域找個種子像素作為生長的起點，再將種子像素周圍鄰域中與種子像素有相同或相似性質(zhì)的像素(根據(jù)某種事先確定的生長或相似準(zhǔn)則來判定)合并到種子像素所在的區(qū)域中。將這些新像素當(dāng)作新的種子像素繼續(xù)進行上面的過程，直到再沒有滿足條件的像素可被包括進來，這樣一個區(qū)域就長成了。
種子像素的選擇通?？山柚唧w問題的特點進行。在紅外圖像中檢測目標(biāo)時，由于一般情況下目標(biāo)輻射較大，所以可選取圖像中最亮的像素作為種子像素。在本實施例中，在圖像經(jīng)過預(yù)處理之后，在其中選取灰度值最高的像素點作為種子。為了使生長過程能夠各個方向比較均勻，使最終得到的分割結(jié)果和實際目標(biāo)比較相似，本實施例使用先進先出隊列，按層次遍歷了由起點開始生長所建立的樹。
對于區(qū)域生長的判決條件，本實施例采用灰度相似性判決設(shè)已分割區(qū)域R的灰度均值為x，待測像素點灰度為y，則待測像素點與已分割區(qū)域相似性s表示為s＝w(y-x)2(5)式中，w為非負(fù)權(quán)值。
對于足夠小的s(根據(jù)本發(fā)明的要求，s的值取為s≤100w)，可認(rèn)為待測像素與已分割區(qū)域相似，并入已分割的區(qū)域中，否則，不進行合并。同時用y更新均值xnew ←(Nxold+y)/(N+1)(6)式中，N是已生長區(qū)域的像素點個數(shù)。
2.目標(biāo)檢測采用區(qū)域生長方法來分割初始紅外序列圖像之后，對每個候選的區(qū)域進行有效測量計算Ci=1(1+e-λ1(μf-μ1))×1(1+e-λ2(μf-μb-μ2))···(7)]]>這里，μf和μb分別表示第i個目標(biāo)的前景和背景的灰度平均值，λ1和λ2控制指數(shù)函數(shù)的傾斜度，μ1和μ2分別表示指數(shù)函數(shù)的偏移量。如果一個目標(biāo)區(qū)域和它的鄰域具有很高的對比度，那方程(7)就表示一個接近1的有效測量，否則，這個有效測量就接近0。具有高值有效測量的區(qū)域就被選為可能的目標(biāo)區(qū)域。
然而，對每一圖像幀里面的候選區(qū)域都計算其有效測量會使算法變得低效，所以，本實施例采用一種模型匹配方法在以后的幀里面找出目標(biāo)區(qū)域首先是記錄當(dāng)前圖像幀里目標(biāo)區(qū)域的中心位置，并將該目標(biāo)區(qū)域的灰度信息作為模板(模板面積至少應(yīng)將目標(biāo)框住)；在下一幀圖像中，在當(dāng)前幀目標(biāo)中心位置所在的局部區(qū)域內(nèi)，根據(jù)當(dāng)前幀的目標(biāo)模板在下一幀圖像中進行模板匹配，采用以像素為匹配特征的相關(guān)算法，通過求相似函數(shù)
h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)···(8)]]>的最大值來作為對最佳匹配點的定量度量。
其中，h(u，v)表示相似系數(shù)，f(u+x，v+y)表示待匹配圖像點的灰度值，t(x，y)表示匹配模板像素點的灰度值。
在獲得下一幀圖像中的目標(biāo)區(qū)域后，將下一幀目標(biāo)區(qū)域的灰度信息作為目標(biāo)模板。此過程可以依次迭代，從而可檢測出紅外序列圖像中的目標(biāo)。如果在某些連續(xù)的圖像幀里面沒有檢測到目標(biāo)，基于分割的初始檢測算子和有效測量將會反復(fù)進行直到檢測到了目標(biāo)。
3.雙樹復(fù)小波變換對于復(fù)小波變換，可以得到近似的移不變性和很好的方向選擇性，然而，它卻不能得到完美的重建，且在單一的樹上使用FIR濾波器時也不能得到很好的頻率特性，因此，使用有兩棵樹的雙樹復(fù)小波變換來解決這個問題。它的結(jié)構(gòu)如圖2(a)所示。
對于單棵樹，其結(jié)構(gòu)和標(biāo)準(zhǔn)的離散小波變換(DWT)一樣，然而，雙樹復(fù)小波變換需要設(shè)計出濾波器來滿足如下性能近似的半采樣延遲性能；完美重建(正交或雙正交)；FIR濾波器。本發(fā)明中的濾波器設(shè)計采用Q-shift小波，這就能使雙樹復(fù)小波變換的濾波器滿足所提出的性能，具體如下把h0(n)和g0(n)設(shè)置成滿足如下條件g0(n)＝h0(N-1-n)(9)且使其相角滿足如下關(guān)系∠G0(ejω)＝-∠H0(ejω)-(N-1)ω(10)即可得到∠H0(ejω)-0.5ω≈-∠H0(ejω)-(N-1)ω(11)
亦即∠H0(ejω)≈-0.5(N-1)ω+0.25ω(12)Q-shift小波就可以解決單一樹不能同時得到完美重建和相角線性的問題，使雙樹復(fù)小波變換具有如下優(yōu)點近似移不變性；很好的方向選擇性；完美重建；有限冗余。
4.圖像融合為了盡可能的在目標(biāo)區(qū)域里面保留所有的信息，必須使用一種特殊的融合規(guī)則。假設(shè)目標(biāo)檢測在某一紅外幀圖像里面給出了M個目標(biāo)區(qū)域TIR={tIR1,tIR2,···,tIRM},]]>在相對應(yīng)的可見光幀圖像里面給出了N個目標(biāo)區(qū)域TV={tV1,tV2,···tVN}]]>。在每一層上，目標(biāo)區(qū)域被2m(與分解系數(shù)的分辨率是一致的)進行下采樣，得到一個大大減小的目標(biāo)區(qū)域。在兩個源圖像幀里面的目標(biāo)區(qū)域可以綜合成TJ＝TIR∪TV，于是該幀可以分解為三個集合單一的目標(biāo)區(qū)域集，重疊的目標(biāo)區(qū)域集和背景區(qū)域集。重疊目標(biāo)區(qū)域表示為TO＝TIR∩TV，單一的目標(biāo)區(qū)域集是由那些沒有重疊的所有目標(biāo)區(qū)域組成的，表示為TS＝TJ∩TO，很明顯，TJ＝TS∪TO，背景區(qū)域集可以表示為B＝TJ。
存單一的目標(biāo)區(qū)域里，融合規(guī)則為系數(shù)選擇法cf(x,y)=cir(x,y),if(x,y)∈TIRcr(x,y),if(x,y)∈TV···(13)]]>在連接的重疊目標(biāo)區(qū)域t∈TO里面，定義兩個源圖像幀的相似測量為M(t)=2·Σ(x,y)∈tIir(x,y)·Iv(x,y)Σ(x,y)∈t[Iir(x,y)]2+Σ(x,y)∈t[Iv(x,y)]2···(14)]]>這里，Iir和Iv分別表示紅外和可見光圖像幀。然后，在重疊的目標(biāo)區(qū)域里面的紅外和可見光圖像幀的系數(shù)能量指數(shù)可以分別按如下所示計算
Si(t)=Σ(x,y)∈tci(x,y)2···(15)]]>這里，t∈TO，且i＝ir，v分別表示紅外和可見光圖像幀。這里，要引入一個初始的相似性系數(shù)α∈
，并通常設(shè)定一個合適的值α＝0.85(這是通過多次的實驗結(jié)果取最好的效果得到的)。
如果M(t)＜α，則重疊目標(biāo)區(qū)域t∈TO的融合規(guī)則為系數(shù)選擇法 如果M(t)≥α，則采用加權(quán)平均方法 這里的權(quán)重系數(shù) 和 可以這樣得到 最后，在背景區(qū)域的融合里面，采用最簡單的最大選擇(MS)規(guī)則。
5.雙樹復(fù)小波逆變換雙樹復(fù)小波逆變換的結(jié)構(gòu)如圖2(b)所示，它也是由標(biāo)準(zhǔn)的離散小波變換的兩棵樹所組成的。該逆變換的關(guān)鍵也是在于兩棵樹的濾波器的設(shè)計，其設(shè)計仍采用本實施例所提的Q-shift小波。
通過本實施例的融合規(guī)則進行小波系數(shù)的融合之后，采用雙樹復(fù)小波逆變換即可由小波系數(shù)得到融合的圖像序列。
不過由于圖像信號是作為實數(shù)信號，所以不把兩棵數(shù)的小波系數(shù)作為像素的實部和虛部，而是對這兩棵數(shù)上的小波系數(shù)采用系數(shù)為0.5的加權(quán)平均，從而得到逆變換后的圖像像素灰度值。
6.結(jié)果評價為了評價本實施例的有效性和實用性，本實施例采用基于互信息理論的評價方法首先，定義圖像序列sx(n1，n2，t)的兩個連續(xù)幀之間的幀間差異(IFD)為dsx(n1，n2，t)＝sx(n1，n2，t)-sx(n1，n2，t+1)(19)為了評價融合圖像的時間穩(wěn)定性和一致性，需要分出融合序列圖像的幀間差異的某些至少可以被源序列圖像所解釋的部分。為了評價幀間信息的關(guān)系，在幀間差異上使用基于互信息的信息定量評價。對于穩(wěn)定性和一致性評價，建立所有源序列圖像的幀間差異的隨機變量(S1，S2)，并在(S1，S2)和變量F(對應(yīng)于融合序列圖像的幀間差異)之間計算其互信息I((S1，S2)；F)＝H(S1，S2)+H(F)-H(S1，S2，F(xiàn))(20)如果該互信息最大，則融合圖像序列的幀間差異的信息最小。一種時間穩(wěn)定性和一致性很好的融合方法就會得到一個高值的互信息量，且表明其具有更好的移不變性。
一個連續(xù)隨機變量A的熵(作為微分熵)可以定義為它的密度函數(shù)(ψ(a))的對數(shù)的負(fù)期望值，即為H(A)=-E{logψ(a)}=-∫-∞∞ψ(a)·logψ(a)da···(21)]]>通過N步采樣近似得到幀間差異的實際的灰度密度為ψ^(a)=1NΣi=1NW(a-ai)···(22)]]>這里的W(a)表示一個窗函數(shù)，通常是一個0均值和方差為σ2的高斯核。然后，通過采樣大小為M的第二次采樣可以得到變量A的熵H(A)=-1MΣj=1Mlogψ^(aj)=-1MΣj=1Mlog(1NΣi=1NW(aj-ai))···(23)]]>這個熵的計算方法可以很容易的就擴展到多維隨機變量。
如圖3所示，本實施例能最大限度的保留目標(biāo)信息，有利于提高監(jiān)控人員在復(fù)雜背景下對目標(biāo)情景的感知能力，且使背景信息具有較高的清晰度。
使用雙樹復(fù)小波變換(DT-CWT)，可以使其計算效率比較高(離散小波框架對于m維和n級信號分解，其冗余信息比為(2m×n))∶1；雙樹復(fù)小波變換對于m維分解和任意級信號分解，其冗余信息比為2m∶1)。
結(jié)果定量評價如表1所示，評價結(jié)果表明本實施例相比以往技術(shù)文獻的方法，能夠得到更好的融合序列圖像，使融合序列圖像具有更好的移不變性、時間的穩(wěn)定性和一致性。
表1紅外與可將光序列圖像幀間差異(IFDs)的平均互信息(AMI)

其中平均互信息是指由32幀序列圖像得到的31幀的幀間差異的平均互信息量，像素級指現(xiàn)有文獻中的序列圖像融合方法——像素級融合，特征級是指本發(fā)明提出的的序列圖像融合方法——基于目標(biāo)檢測的特征級融合方法。
權(quán)利要求
1.一種基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，其特征在于，首先利用區(qū)域生長法分割每一幀源圖像，根據(jù)有效測量計算，自動得出背景區(qū)域和目標(biāo)區(qū)域，對分割后的源圖像序列采用雙樹復(fù)小波變換方法進行變換；在得到變換后的小波系數(shù)后，對目標(biāo)和背景區(qū)域分別應(yīng)用不同的融合規(guī)則，以實現(xiàn)特征級的序列圖像融合；得到不同區(qū)域的小波融合系數(shù)后，使用雙樹復(fù)小波逆變換，即得到融合序列圖像。
2.根據(jù)權(quán)利要求1所述的基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，其特征是，包括以下步驟第一，目標(biāo)檢測首先，采用一種區(qū)域生長方法來分割初始序列圖像，區(qū)域生長是將具有相似性質(zhì)的像素集合起來構(gòu)成區(qū)域，對于區(qū)域生長的判決條件，采用灰度相似性判決設(shè)已分割區(qū)域R的灰度均值為x，待測像素點灰度為y，則待測像素點與已分割區(qū)域相似性s表示為S＝w(y-x)2，式中，w為非負(fù)權(quán)值，對于s≤100w，則認(rèn)為待測像素與已分割區(qū)域相似，并入已分割的區(qū)域中，否則，不進行合并，同時用y更新均值xnew←(Nxold+y)/(N+1)，式中，N是已生長區(qū)域的像素點個數(shù)；然后，對每個候選的區(qū)域進行有效測量計算Ci=1(1+e-λ1(μf-μ1))1(1+e-λ2(μf-μb-μ2))]]>這里，μf和μb分別表示第i個目標(biāo)的前景和背景的灰度平均值，λ1和λ2控制指數(shù)函數(shù)的傾斜度，μ1和μ2分別表示指數(shù)函數(shù)的偏移量，這樣就能根據(jù)Ci的值自動得出目標(biāo)區(qū)域和背景區(qū)域；第二，雙樹復(fù)小波變換對樹狀結(jié)構(gòu)的每一層濾波器的輸出做因子為2的子采樣，兩棵樹的濾波器長度分別為奇數(shù)和偶數(shù)且它們的相位為線性，這樣濾波器的沖擊響應(yīng)對應(yīng)于復(fù)小波變換系數(shù)的實數(shù)部分和虛數(shù)部分，通過對圖像的行和列分別進行雙樹復(fù)小波濾波，即對列濾波器的輸出再進行行濾波器共軛濾波，把一維雙樹復(fù)小波變換擴展為二維，這就使得二維信號的雙樹復(fù)小波變換具有4∶1的冗余度，行濾波器的子采樣輸出和它們的復(fù)共軛構(gòu)成6個帶通圖像；第三，圖像融合在單一的目標(biāo)區(qū)域里，融合規(guī)則為系數(shù)選擇法對于第二步驟中得到的小波系數(shù)，在該區(qū)域內(nèi)采用目標(biāo)區(qū)域出現(xiàn)的圖像幀里所對應(yīng)區(qū)域的小波系數(shù)作為融合小波系數(shù)；在重疊目標(biāo)區(qū)域采取系數(shù)選擇法或者加權(quán)平均法對于第二步驟中得到的小波系數(shù)，如果該區(qū)域的能量系數(shù)小于某一相似性系數(shù)，就選取小波系數(shù)值大的系數(shù)作為該區(qū)域的融合小波系數(shù)；否則，對相應(yīng)的兩個小波系數(shù)采用加權(quán)平均作為融合小波系數(shù)；在背景區(qū)域的融合里面，采用最大選擇規(guī)則對于第二步驟中得到的小波系數(shù)，在該區(qū)域內(nèi)采用小波系數(shù)值大的系數(shù)作為融合的小波系數(shù)；第四，雙樹復(fù)小波逆變換對第三步驟得到的小波系數(shù)進行雙樹復(fù)小波逆變換得到融合的序列圖像，其中，對兩棵數(shù)上的小波系數(shù)采用系數(shù)為0.5的加權(quán)平均，得到逆變換后的圖像像素灰度值。
3.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，其特征是，在后續(xù)的每一幀源圖像里面采用模板匹配法找到目標(biāo)區(qū)域，具體為采用以像素為匹配特征的算法，通過求相似函數(shù)h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)]]>的最大值來作為對最佳匹配點的定量度量，其中，h(u，v)表示相似系數(shù)，f(u+x，v+y)表示待匹配圖像點的灰度值，t(x，y)表示匹配模板像素點的灰度值。
4.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，其特征是，所述的雙樹復(fù)小波變換以及雙樹復(fù)小波逆變換，均采用Q-shift9小波。
全文摘要
一種基于目標(biāo)檢測的紅外與可見光序列圖像特征級融合方法，用于圖像融合技術(shù)領(lǐng)域。本發(fā)明利用區(qū)域生長法分割每一幀源圖像，根據(jù)有效測量計算，自動得出背景區(qū)域和目標(biāo)區(qū)域，對分割后的源圖像序列采用雙樹復(fù)小波變換方法進行變換；在得到變換后的小波系數(shù)后，對目標(biāo)和背景區(qū)域分別應(yīng)用不同的融合規(guī)則，以實現(xiàn)特征級的序列圖像融合；得到不同區(qū)域的小波融合系數(shù)后，使用雙樹復(fù)小波逆變換，即得到融合序列圖像。本發(fā)明通過使用不同的融合規(guī)則，可盡可能多的保留所感興趣的目標(biāo)信息；應(yīng)用雙樹復(fù)小波變換，可以使融合序列圖像具有很好的移不變性、時間穩(wěn)定性和一致性，計算效率比較高。
文檔編號G06T5/00GK1932882SQ20061011727
公開日2007年3月21日 申請日期2006年10月19日 優(yōu)先權(quán)日2006年10月19日
發(fā)明者敬忠良, 劉從義, 楊波, 肖剛 申請人:上海交通大學(xué)