本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，涉及一種基于區(qū)域特性的紅外與可見光圖像融合方法。
背景技術(shù)：
：圖像融合是將來源于同一場景，且性質(zhì)不同的兩幅或多幅圖像通過采取某種方法提取每幅圖像中我們所需要的信息，最終融合成一副可以清晰、準(zhǔn)確地表達(dá)場景信息的圖像。近年來圖像融合技術(shù)越來越成為一個研究熱點，他在軍事、醫(yī)學(xué)、目標(biāo)跟蹤等方面均得到了廣泛的應(yīng)用。紅外圖像的獲得主要是根據(jù)目標(biāo)物和場景物體的紅外輻射的空間分布，而可見光的獲取是根據(jù)物體對光的反射，因此在夜間或條件惡劣的氣候下紅外圖像目標(biāo)呈現(xiàn)的較好，但分辨率低、視覺效果模糊，而可見光圖像的獲得主要靠物體對光的反射能力，在同一場景可見光圖像具有識別目標(biāo)能力較弱而對場景成像清晰度較高的特點，因此要得到一副有目標(biāo)且場景分辨率較高的圖像，我們就要進行兩者融合，充分利用兩者的互補信息，使得我們可以準(zhǔn)確得到目標(biāo)的位置和清晰的場景。目前，傳統(tǒng)的方法主要是基于像素級融合，如：金字塔變換，小波變換，輪廓波變換和非下采樣輪廓波變換(NSCT)等，這些方法將源圖像分解為多個尺度的圖像，并對每個尺度設(shè)計融合規(guī)則進行融合，最后再進行反變換得最終融合圖像，這樣只進行了多分辨率分析，沒有對源圖像進行區(qū)域特性分析，而且采用簡單、一致的融合規(guī)則會使最終融合圖像的目標(biāo)與場景區(qū)域?qū)Ρ榷冉档停荒茌^好地保留紅外圖像的目標(biāo)信息，而且場景分辨率也較低，容易導(dǎo)致融合圖像失真。隨后研究者又提出基于區(qū)域的融合方法，雖然基于區(qū)域融合相比基于像素級融合在視覺特征和細(xì)節(jié)上有所提升，但還是有所缺陷，如：提出一種基于相似度的區(qū)域融合，該方法相對于像素級融合效果雖然有所提升，但是此方法的區(qū)域映射圖依賴初始融合規(guī)則，初始融合結(jié)果的好壞決定區(qū)域映射圖的劃分；還有基于目標(biāo)區(qū)域提取融合方法，這種將目標(biāo)與背景分開來融合，可以較好地保留紅外圖像的目標(biāo)特性，但它只考慮了紅外的目標(biāo)區(qū)域且只考慮了紅外單目標(biāo)情況，也沒有考慮可見光圖像場景的區(qū)域特性，因此得到的融合圖像雖然凸顯了目標(biāo)，但是場景模糊，分辨率不高。因此要想獲得較好的融合效果，必須同時考慮紅外圖像和可見光圖像的區(qū)域特性。技術(shù)實現(xiàn)要素：本發(fā)明的目的是克服現(xiàn)有圖像融合技術(shù)在融合過程中進行目標(biāo)區(qū)域融合存在場景區(qū)域干擾，使得提取目標(biāo)不夠完善引入少量的場景區(qū)域，提出了一種能夠提出完整目標(biāo)且避免干擾區(qū)域的引入的圖像處理方法。為此，本發(fā)明提供了一種基于區(qū)域特性的紅外與可見光圖像融合方法，包括如下步驟：步驟1：對紅外圖像A進行處理得到紅外增強圖像A1；步驟2：對場景進行區(qū)域劃分得到區(qū)域劃分圖C，并通過圖C分別對紅外增強圖像A1、可見光圖像B和紅外圖像A進行區(qū)域映射；步驟3：對可見光圖像B、紅外圖像A、紅外增強圖像A1分別進行NSCT變換，得到各個子區(qū)域的高低頻系數(shù)；步驟4：對步驟3得到的各個子區(qū)域進行高低頻系數(shù)融合；步驟5：對步驟4分區(qū)域融合后的高低頻系數(shù)進行NSCT反變換得最終融合圖像。所述對紅外圖像進行處理得到紅外增強圖像，方法如下：其中，u＝mean(A)*t式中，A1(i,j)為增強后的圖像像素點灰度值，t為常系數(shù)取值范圍為1<t<2，A(i,j)為原紅外線圖像像素點位于(i,j)處的灰度值。所述紅外圖像A1結(jié)合所述紅外圖像A通過區(qū)域生長和引導(dǎo)濾波得到目標(biāo)區(qū)域。所述可見光圖像B通過梯度值對比得到平滑區(qū)域、紋理區(qū)域，目標(biāo)區(qū)域、平滑區(qū)域和紋理區(qū)域聯(lián)合得到區(qū)域劃分圖C。通過劃分圖C對圖A1、圖A和圖B分別進行區(qū)域映射得到目標(biāo)區(qū)域oA1、目標(biāo)區(qū)域oB、平滑區(qū)域sB、紋理區(qū)域tB、平滑區(qū)域sA和紋理區(qū)域tA。所述紅外圖像A1結(jié)合紅外圖像A利用區(qū)域生長和引導(dǎo)濾波，進行目標(biāo)提取，得到目標(biāo)區(qū)域包括如下步驟：步驟(1)：在紅外圖像A中根據(jù)下述公式(2)選取種子點集合Z：Z＝{A(i,j)|A(i,j)＞M-AV/8}(2)式中，M為圖像A中像素點的灰度最大值，AV為圖像A中像素點的灰度平均值；步驟(2)：把紅外增強圖像A1中與紅外圖像A中的種子點對應(yīng)的點作為A1中的種子點并得到種子點集合Z1，根據(jù)如下規(guī)則進行生長：1)選取A1中像素點的最大值T＝max(A1)；2)將T作為閥值應(yīng)用到生長判決準(zhǔn)則公式中，有：abs(A1(i,j)-z)＜T/4(3)式中A1(i,j)代表待生長像素點位于(i,j)處的灰度值，z代表位于Z1集合中的種子點的灰度值。若A1(i,j)滿足公式3，則位于(i,j)處的像素點被納入生長區(qū)域，直到?jīng)]有滿足公式3的條件時生長停止；3)遍歷Z1中的每個種子點，重復(fù)2)，可得到初始目標(biāo)圖IO。步驟(3)：剔除初始目標(biāo)圖IO中的干擾區(qū)域，得到目標(biāo)圖IO1，滿足公式(4)要求的區(qū)域為干擾區(qū)域；IO1＝{IO(m)＜IOM/3}m∈{1,2,...L}(4)式中，IOM為初始目標(biāo)圖IO中最大的區(qū)域面積，L為初始目標(biāo)圖IO中目標(biāo)區(qū)域個數(shù)，IO(m)為第m個目標(biāo)區(qū)域的面積；步驟(4)：對目標(biāo)圖IO1中的每個目標(biāo)進行區(qū)域分離，使每個目標(biāo)區(qū)域用單個圖像表示，計算每個目標(biāo)圖像的質(zhì)心On：式中，L1為目標(biāo)圖IO1目標(biāo)的區(qū)域個數(shù)，Nn為第n個圖像目標(biāo)區(qū)域像素點的個數(shù)，(in,jn)為第n個圖像目標(biāo)區(qū)域像素點的坐標(biāo)；計算第n個目標(biāo)圖像位于目標(biāo)區(qū)域中的每個像素點到質(zhì)心的距離RnJ：RnJ＝[(iJ-Oni)2+(jJ-Onj)2]1/2,J∈{1,2,...Nn}(6)對所有的RnJ求平均值記做且另步驟(5)：根據(jù)濾波公式(7)對位于IO1中的每個目標(biāo)分離出的目標(biāo)圖像進行引導(dǎo)濾波；式中，I為引導(dǎo)圖像A1，pn為輸入圖像即IO1分離出的每個目標(biāo)圖像，qn為輸出圖像，ωk為窗口個數(shù)，窗口ωk的大小為rn*rn，uk和分別是I在窗口ωk中的均值和方差；是pn在窗口ωk中的均值；步驟(6)：對qn,n∈{1,2,...L1}再進行區(qū)域生長，得到每個目標(biāo)圖像的最終目標(biāo)區(qū)域；首先，選擇種子點為qn中像素點的灰度最大值Tn＝max(qn)；其次，選擇生長準(zhǔn)則為：abs(qn(i,j)-Tn)＜Tn/2n∈{1,2,...L1}(9)式中qn(i,j)為qn圖像中像素點位于(i,j)處的灰度值，最后，再進行整合所有目標(biāo)圖像中的目標(biāo)區(qū)域，得到最終目標(biāo)圖IO2。上述梯度值G為：Gx＝filter(hx,B),Gy＝filter(hy,B)G＝abs(Gx)+abs(Gy)(10)式中，Gx為圖像B的水平梯度，Gy為圖像B的縱向梯度，hx為sobel水平梯度算子，hx＝[-1,0,1；-2,0,2；-1,0,1]，hy為sobel豎直梯度算子，hy＝hx'。對得到的梯度值圖G再利用K-means進行自動聚類，將圖像B聚類為平滑區(qū)域和紋理區(qū)域。將最終目標(biāo)區(qū)域聯(lián)合上述的紋理區(qū)域和平滑區(qū)域得區(qū)域劃分圖C，并將紅外圖像與可見光圖像融合劃分為各個子區(qū)域的融合即目標(biāo)區(qū)域融合、平滑區(qū)域融合和紋理區(qū)域融合。所述目標(biāo)區(qū)域融合步驟為：A、采用下述公式分別計算目標(biāo)區(qū)域oA1與目標(biāo)區(qū)域oB以像素點(i,j)為中心，大小為3*3窗口的區(qū)域的局部能量，記為EoA1、EoB；式中，W為窗口的大小，LT(i,j)為目標(biāo)區(qū)域T在點(i,j)的低頻子帶系數(shù)，[-1≤x≤1],[-1≤y≤1]。B、采用如下公式，進行目標(biāo)區(qū)域低頻子帶系數(shù)的融合；LoF(i,j)＝aLoA1(i,j)+bLoB(i,j)(12)式中，a＝EoA1(i,j)/(EoA1(i,j)+EoB(i,j)),b＝1-a，LoF(i,j)為融合的目標(biāo)區(qū)域低頻子帶系數(shù)，LoA1(i,j)、LoB(i,j)分別為目標(biāo)區(qū)域oA1和目標(biāo)區(qū)域oB的低頻子帶系數(shù)。C、采用絕對值取大原則進行高頻系數(shù)的融合：式中，HoA1(i,j)、HoB(i,j)分別為目標(biāo)區(qū)域oA1、oB在點(i,j)的高頻子帶系數(shù)，HoF(i,j)為融合的目標(biāo)高頻子帶系數(shù)。所述平滑區(qū)域融合步驟為：a、采用局部能量取大原則進行低頻系數(shù)LsF融合：式中，ESA(i,j)為平滑區(qū)域sA在點(i,j)處的能量，ESB(i,j)為平滑區(qū)域sB在點(i,j)處的能量，LsF(i,j)為融合的平滑區(qū)域低頻子帶系數(shù)，LsA(i,j)、LsB(i,j)分別為平滑區(qū)域sA和sB的低頻子帶系數(shù)；b、采用絕對值取大原則進行高頻系數(shù)HsF融合：式中，HsA為平滑區(qū)域sA在點(i,j)處的高頻系數(shù)，HsB為平滑區(qū)域sB在點(i,j)處的高頻系數(shù)，HsF(i,j)為融合的目標(biāo)區(qū)域高頻子帶系數(shù)。所述紋理區(qū)域融合步驟為：(a)、計算圖像的局部梯度能量EOG能量：CR1(i,j)＝corr2(E3tA(i,j),E3tB(i,j))(19)設(shè)h＝0.5,當(dāng)CR1(i,j)≥h：當(dāng)CR1(i,j)＜h：式中，ETL(i,j)為紋理區(qū)域T低頻系數(shù)的局部EOG能量，E3T(i,j)為在ETL矩陣位于(i,j)的3*3鄰域，CR1(i,j)為E3tA(i,j),E3tB(i,j)的相關(guān)系數(shù)，LtA(i,j)、LtB(i,j)分別為紋理區(qū)域tA和紋理區(qū)域tB在(i,j)位置處的低頻系數(shù)，LtF(i,j)為融合的紋理區(qū)域低頻子帶系數(shù)。[-1≤p≤1]，[-1≤q≤1]，w為3*3大小的窗口，m，n分別表示原圖像的行和列。(b)、高頻系數(shù)融合：首先計算每層高頻系數(shù)的各個點銳度：CR2(i,j)＝corr2(PS3tA(i,j),PS3tB(i,j))(24)設(shè)h＝0.5，當(dāng)CR2(i,j)≥h：當(dāng)CR2(i,j)＜h：式中，psT(i,j)為紋理區(qū)域T中像素點位于(i,j)處的點銳度大小，PS3T(i,j)為在psT矩陣位于(i,j)的3*3鄰域，CR2(i,j)為ps3tA(i,j),ps3tB(i,j)的相關(guān)系數(shù)HtA(i,j)為紋理區(qū)域tA在點(i,j)處的高頻系數(shù)，HtB(i,j)為紋理區(qū)域tB在點(i,j)處的高頻系數(shù)，HtF(i,j)為融合的紋理區(qū)域高頻子帶系數(shù)。PStA(i,j)為紋理區(qū)域tA在點(i,j)處的點銳度，PStB(i,j)為紋理區(qū)域tB在點(i,j)處的點銳度。本發(fā)明的有益效果：本發(fā)明提供的這種基于圖像區(qū)域特性的紅外與可見光圖像融合方法，能夠避免干擾區(qū)域，完整的提取目標(biāo)區(qū)域，充分考慮到紅外與可見光的成像特點及其區(qū)域特性，利用區(qū)域生長與引導(dǎo)濾波較好地提取了紅外圖像的目標(biāo)，同時考慮到多目標(biāo)的處理情況，對濾波半徑進行自適應(yīng)改進；利用可見光圖像對場景成像較清晰的特點，利用sobel算子與k-means將場景劃分為不同的區(qū)域，然后根據(jù)各區(qū)域的不同特性采用不同的融合規(guī)則，即有效的保留了紅外目標(biāo)，又有效地獲取了源圖像的空間域信息，得到了較好的融合效果。以下將結(jié)合附圖對本發(fā)明做進一步詳細(xì)說明。附圖說明圖1是基于圖像區(qū)域特性的紅外與可見光圖像融合方法流程示意圖。圖2是紅外目標(biāo)提取流程示意圖。圖3是第一示例的原始圖像示意圖。圖4是第一示例的紅外增強圖像示意圖。圖5是第一示例的初始目標(biāo)圖像示意圖。圖6是第一示例的剔除干擾后的目標(biāo)圖像示意圖。圖7是第一示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖8是第一示例的最終目標(biāo)示意圖。圖9是第一示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖10是第一示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖11是第二示例的原始圖像示意圖。圖12是第二示例的紅外增強圖像示意圖。圖13是第二示例的初始目標(biāo)圖像示意圖。圖14是第二示例的剔除干擾后的目標(biāo)圖像示意圖。圖15是第二示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖16是第二示例的最終目標(biāo)示意圖。圖17是第二示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖18是第二示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖19是第三示例的原始圖像示意圖。圖20是第三示例的紅外增強圖像示意圖。圖21是第三示例的初始目標(biāo)圖像示意圖。圖22是第三示例的剔除干擾后的目標(biāo)圖像示意圖。圖23是第三示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖24是第三示例的最終目標(biāo)示意圖。圖25是第三示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖26是第三示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖27是第四示例的原始圖像示意圖。圖28是第四示例的紅外增強圖像示意圖。圖29是第四示例的初始目標(biāo)圖像示意圖。圖30是第四示例的剔除干擾后的目標(biāo)圖像示意圖。圖31是第四示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖32是第四示例的最終目標(biāo)示意圖。圖33是第四示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖34是第四示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖35是第五示例的原始可見光圖像示意圖。圖36是第五示例的原始紅外圖像示意圖。圖37是第五示例的紅外目標(biāo)圖像示意圖。圖38是第五示例的可見光圖像的區(qū)域劃分圖像示意圖。圖39是第五示例的最終區(qū)域劃分圖像示意圖。圖40是第六示例的原始可見光圖像示意圖。圖41是第六示例的原始紅外圖像示意圖。圖42是第六示例的紅外目標(biāo)圖像示意圖。圖43是第六示例的可見光圖像的區(qū)域劃分圖像示意圖。圖44是第六示例的最終區(qū)域劃分圖像示意圖。圖45是第五示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖一。圖46是第五示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖二。圖47是第五示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖三。圖48是第五示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖四。圖49是第五示例為紋理區(qū)域、平滑區(qū)域采取平滑區(qū)域融合規(guī)則圖像的示意圖。圖50是第五示例為紋理區(qū)域、平滑區(qū)域采取目標(biāo)區(qū)域融合規(guī)則圖像的示意圖。圖51是第五示例為本發(fā)明融合圖像的示意圖。圖52是第六示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖一。圖53是第六示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖二。圖54是第六示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖三。圖55是第六示例采用現(xiàn)有技術(shù)進行圖像融合的示意圖四。圖56是第六示例為紋理區(qū)域、平滑區(qū)域采取平滑區(qū)域融合規(guī)則圖像的示意圖。圖57是第六示例為紋理區(qū)域、平滑區(qū)域采取目標(biāo)區(qū)域融合規(guī)則圖像的示意圖。圖58是第六示例為本發(fā)明融合圖像的示意圖。具體實施方式為進一步闡述本發(fā)明達(dá)成預(yù)定目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及實施例對本發(fā)明的具體實施方式、結(jié)構(gòu)特征及其功效，詳細(xì)說明如下。為了克服現(xiàn)有圖像融合技術(shù)在融合過程中進行目標(biāo)區(qū)域融合存在場景區(qū)域干擾，提取目標(biāo)不夠完善等問題。本實施例提出了一種基于圖像目標(biāo)提取和區(qū)域特性的紅外與可見光融合方法，該方法針對傳統(tǒng)融合方法不足，對原始融合圖像進行特性分析，提取完整的目標(biāo)和進行場景區(qū)域劃分，根據(jù)不同的區(qū)域特性采用不同的方法進行融合。首先，提出基于區(qū)域生長和引導(dǎo)濾波的目標(biāo)提取，在該方法中考慮了紅外的多目標(biāo)特性和干擾目標(biāo)的引入，并進行了剔除，而且通過改進自適應(yīng)引導(dǎo)濾波半徑有效的實現(xiàn)了自適應(yīng)目標(biāo)濾波，使得到的目標(biāo)區(qū)域較完整且避免了引入場景信息。其次，考慮到可見光圖像對場景成像相對較清晰，通過計算可見光圖像的梯度圖并對其進行聚類有效地實現(xiàn)了對背景的劃分，結(jié)合目標(biāo)區(qū)域和背景區(qū)域的劃分得最終區(qū)域劃分圖。然后，設(shè)計基于增強的紅外圖像和區(qū)域劃分圖的融合方法，使融合圖像的目標(biāo)對比度高，場景較清晰。如圖1所示，基于圖像目標(biāo)提取和區(qū)域特性的紅外與可見光融合方法，包括如下步驟：步驟1：對紅外圖像A進行處理得到紅外增強圖像A1；步驟2：對場景進行區(qū)域劃分得到區(qū)域劃分圖C，并通過圖C分別對紅外增強圖像A1、可見光圖像B和紅外圖像A進行區(qū)域映射；步驟3：對可見光圖像B、紅外圖像A、紅外增強圖像A1分別進行NSCT變換，得到各個子區(qū)域的高低頻系數(shù)；步驟4：對步驟3得到的各個子區(qū)域進行高低頻系數(shù)融合；步驟5：對步驟4分區(qū)域融合后的高低頻系數(shù)進行NSCT反變換得最終融合圖像；如圖2所示，為提高紅外圖像的目標(biāo)與場景的對比度和得到較準(zhǔn)確的紅外目標(biāo)，故先對紅外圖像進行對比度增強，上述紅外圖像進行處理得到紅外增強圖像，方法如下：其中，u＝mean(A)*t式中，A1(i,j)為增強后的圖像像素點灰度值，t為常系數(shù)取值范圍為1<t<2，A(i,j)為原紅外線圖像像素點位于(i,j)處的灰度值。該函數(shù)使得圖像中的像素點灰度值大于u的像素點更亮，小于u的像素點更暗，一般目標(biāo)區(qū)域相比場景要亮，當(dāng)某些場景區(qū)域與目標(biāo)區(qū)域?qū)Ρ榷炔桓叩那闆r下，為了避免場景區(qū)域的增強故u的大小設(shè)為上述值。上述紅外圖像A1結(jié)合紅外圖像A通過區(qū)域生長和引導(dǎo)濾波得到目標(biāo)區(qū)域。所述可見光圖像B通過梯度值對比得到平滑區(qū)域、紋理區(qū)域，聯(lián)合目標(biāo)區(qū)域、平滑區(qū)域和紋理區(qū)域得到區(qū)域劃分圖C。通過劃分圖C對圖A1、圖A和圖B進行區(qū)域映射得到目標(biāo)區(qū)域oA1、目標(biāo)區(qū)域oB、平滑區(qū)域sB、紋理區(qū)域tB、平滑區(qū)域sA和紋理區(qū)域tA。區(qū)域生長是根據(jù)預(yù)先定義的生長準(zhǔn)則來把像素或子區(qū)域集合成較大區(qū)域的處理方法?；驹硖幚矸椒ㄊ且砸唤M“種子”點來開始形成生長區(qū)域，即將那些預(yù)定義屬性類似于種子的鄰域像素附加到每個種子。本實施例采取區(qū)域生長法對目標(biāo)進行定位提取。由于在紅外圖像A中目標(biāo)熱輻射率較大故亮度較高,考慮到紅外圖像的多目標(biāo)情況，且目標(biāo)灰度值不相近，為了不丟失目標(biāo)我們不選取灰度值最高的像素點作為種子點而選取灰度值相對較高的點作為種子點。上述區(qū)域生長包括如下步驟：步驟(1)：在紅外圖像A中根據(jù)下述公式(2)選取種子點集合Z：Z＝{A(i,j)|A(i,j)＞M-AV/8}(2)式中，M為圖像A中像素點的灰度最大值，AV為圖像A中像素點的灰度平均值；步驟(2)：把紅外增強圖像A1中與紅外圖像A中的種子點對應(yīng)的點作為A1中的種子點并得到種子點集合Z1，根據(jù)如下規(guī)則進行生長：1)選取A1中像素點的最大值T＝max(A1)；2)將T作為閥值應(yīng)用到生長判決準(zhǔn)則公式中，有：abs(A1(i,j)-z)＜T/4(3)式中A1(i,j)代表待生長像素點位于(i,j)處的灰度值，z代表位于Z1集合中的種子點的灰度值。若A1(i,j)滿足公式(3)，則位于(i,j)處的像素點被納入生長區(qū)域，直到?jīng)]有滿足公式3的條件時生長停止；3)遍歷Z1中的每個種子點，重復(fù)2)，可得到初始目標(biāo)圖IO。由于上述種子點選取方法可能會導(dǎo)致目標(biāo)圖IO引入場景的局部區(qū)域，故需要剔除干擾目標(biāo)區(qū)域。我們認(rèn)為IO中相對較大的區(qū)域為我們想要的目標(biāo)區(qū)域，而相對較小的區(qū)域為干擾區(qū)域，故對得到的初始目標(biāo)圖IO進行連通區(qū)域個數(shù)L標(biāo)記并進行計算每個區(qū)域的面積，并求出最大的區(qū)域面積記為IOM，為了得到較準(zhǔn)確的目標(biāo)區(qū)域，我們需要剔除較小的目標(biāo)區(qū)域。步驟(3)：剔除初始目標(biāo)圖IO中的干擾區(qū)域，得到目標(biāo)圖IO1，滿足公式(4)要求的區(qū)域為干擾區(qū)域；IO1＝{IO(m)＜IOM/3}m∈{1,2,...L}(4)式中，IOM為初始目標(biāo)圖IO中最大的區(qū)域面積，L為初始目標(biāo)圖IO中目標(biāo)區(qū)域個數(shù)，IO(m)為第m個目標(biāo)區(qū)域的面積；IO1為剔除后的目標(biāo)圖，它只是對大概的目標(biāo)區(qū)域進行定位，可能沒有提取出完整的目標(biāo)區(qū)域，故采用引導(dǎo)濾波器對其進行進一步的處理。上述引導(dǎo)濾波包括如下步驟：為了確保所得目標(biāo)區(qū)域的準(zhǔn)確性和較好的邊緣特性，我們采用引導(dǎo)濾波器對目標(biāo)區(qū)域進行濾波。對比度增強的圖像A1其目標(biāo)與背景有較好的對比度，且邊緣特性較好，故圖像A1作為引導(dǎo)圖像，則輸入圖像為IO1，這樣的輸出圖像可以使IO1中的目標(biāo)較完整并且可以較好的保持圖像A1的目標(biāo)邊緣特性，但是對于窗口半徑r的選取，當(dāng)輸入圖像存在多個目標(biāo)且每個目標(biāo)區(qū)域大小不一，若r較大，則會在輸出圖像中引入目標(biāo)區(qū)域外的一些場景，若r較小則無法再輸出圖像中得到完整的目標(biāo)，因此要在輸出圖像中既不引入干擾場景，又可以得到完整目標(biāo)區(qū)域，我們需要設(shè)定適應(yīng)各目標(biāo)區(qū)域的r值進行引導(dǎo)濾波具體如下：步驟(4)：對目標(biāo)圖IO1中的每個目標(biāo)進行區(qū)域分離，使每個目標(biāo)區(qū)域用單個圖像表示，計算每個目標(biāo)圖像的質(zhì)心On：式中，L1為目標(biāo)圖IO1目標(biāo)的區(qū)域個數(shù)，Nn為第n個圖像目標(biāo)區(qū)域像素點的個數(shù)，(in,jn)為第n個圖像目標(biāo)區(qū)域像素點的坐標(biāo)；計算第n個目標(biāo)圖像位于目標(biāo)區(qū)域中的每個像素點到質(zhì)心的距離RnJ，RnJ＝[(iJ-Oni)2+(jJ-Onj)2]1/2,J∈{1,2,...Nn}(6)對所有的RnJ求平均值記做且另步驟(5)：根據(jù)濾波公式(7)對位于IO1中的每個目標(biāo)分離出的目標(biāo)圖像進行引導(dǎo)濾波；式中，I為引導(dǎo)圖像A1，pn為輸入圖像即IO1分離出的每個目標(biāo)圖像，qn為輸出圖像，ωk為窗口個數(shù)，窗口ωk的大小為rn*rn，uk和分別是I在窗口ωk中的均值和方差；是pn在窗口ωk中的均值；步驟(6)：對qn,n∈{1,2,...L1}再進行區(qū)域生長，得到每個目標(biāo)圖像的最終目標(biāo)區(qū)域；首先，選擇種子點為qn中像素點的灰度最大值Tn＝max(qn)；其次，選擇生長準(zhǔn)則為：abs(qn(i,j)-Tn)＜Tn/2n∈{1,2,...L1}(9)式中qn(i,j)為qn圖像中像素點位于(i,j)處的灰度值，最后，再進行整合所有目標(biāo)圖像中的目標(biāo)區(qū)域，得到最終目標(biāo)圖IO2。如圖3至圖34所示，其中，圖3是第一示例的原始圖像示意圖。圖4是第一示例的紅外增強圖像示意圖。圖5是第一示例的初始目標(biāo)圖像示意圖。圖6是第一示例的剔除干擾后的目標(biāo)圖像示意圖。圖7是第一示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖8是第一示例的最終目標(biāo)示意圖。圖9是第一示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖10是第一示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖11是第二示例的原始圖像示意圖。圖12是第二示例的紅外增強圖像示意圖。圖13是第二示例的初始目標(biāo)圖像示意圖。圖14是第二示例的剔除干擾后的目標(biāo)圖像示意圖。圖15是第二示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖16是第二示例的最終目標(biāo)示意圖。圖17是第二示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖18是第二示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。圖19是第三示例的原始圖像示意圖。圖20是第三示例的紅外增強圖像示意圖。圖21是第三示例的初始目標(biāo)圖像示意圖。圖22是第三示例的剔除干擾后的目標(biāo)圖像示意圖。圖23是第三示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖24是第三示例的最終目標(biāo)示意圖。圖25是第三示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖26是第三示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖圖27是第四示例的原始圖像示意圖。圖28是第四示例的紅外增強圖像示意圖。圖29是第四示例的初始目標(biāo)圖像示意圖。圖30是第四示例的剔除干擾后的目標(biāo)圖像示意圖。圖31是第四示例的經(jīng)引導(dǎo)濾波后圖像示意圖。圖32是第四示例的最終目標(biāo)示意圖。圖33是第四示例的現(xiàn)有技術(shù)基于Rentyi方法提取目標(biāo)示意圖。圖34是第四示例的現(xiàn)有技術(shù)基于灰色理論方法提取目標(biāo)示意圖。從上述圖中可以看出，圖9、圖17、圖25、圖33為基于Rentyi方法提取目標(biāo)雖然可以提出目標(biāo)但沒有考慮干擾區(qū)域的引入，使得目標(biāo)不夠完善引入少量的場景區(qū)域，圖10、圖18、圖26、圖34為基于灰色理論方法提取紅外小目標(biāo)時，結(jié)果還算可觀，但對于稍大的紅外目標(biāo)且場景稍復(fù)雜的圖像，提取目標(biāo)不完整，且引進了背景的干擾區(qū)域，而本實施例方法通過區(qū)域生長先對目標(biāo)位置進行大概定位，然后剔除干擾目標(biāo)，在通過引導(dǎo)慮波得到目標(biāo)的局部區(qū)域，再進行提取，不但可以提取完整的目標(biāo)，還避免了場景的引入，提取結(jié)果較好，如圖8、圖16、圖24、圖32所示。上述梯度值G為：Gx＝filter(hx,B),Gy＝filter(hy,B)G＝abs(Gx)+abs(Gy)(10)式中，Gx為圖像B的水平梯度，Gy為圖像B的縱向梯度，hx為sobel水平梯度算子，hx＝[-1,0,1；-2,0,2；-1,0,1]，hy為sobel豎直梯度算子，hy＝hx'。G為圖像梯度映射圖，它的每個像素點的值代表原圖像對應(yīng)的像素點的梯度值得大小，其值越大表示原圖像在當(dāng)前位置灰度值變化較多，代表此位置細(xì)節(jié)信息越豐富。因此我們可以對G進行k-means聚類，(K-means方法是硬聚類方法，是典型的基于原型的目標(biāo)函數(shù)聚類方法的代表，它是數(shù)據(jù)點到原型的某種距離作為優(yōu)化的目標(biāo)函數(shù)，利用函數(shù)求極值的方法得到迭代運算的調(diào)整規(guī)則。K-means方法以歐式距離作為相似度測度，它是求對應(yīng)某一初始聚類中心向量V最優(yōu)分類，使得評價指標(biāo)J最小。方法采用誤差平方和準(zhǔn)則函數(shù)作為聚類準(zhǔn)則函數(shù)。)根據(jù)梯度值的大小將可將光圖像聚類為平滑區(qū)域和紋理區(qū)域。然后聯(lián)合目標(biāo)提取圖將場景劃分為：目標(biāo)區(qū)域，平滑區(qū)域、紋理區(qū)域記為圖C。如圖35至圖44所示，黑色區(qū)域代表平滑區(qū)域，白色區(qū)域代表目標(biāo)區(qū)域，灰色區(qū)域代表紋理區(qū)域。其中，圖35、圖40為第五示例、第六示例的原始可見光圖像，圖36、圖41為第五示例、第六示例的原始紅外圖像，圖37、圖42為第五示例、第六示例的紅外目標(biāo)圖像，圖38、圖43為第五示例、第六示例的可見光圖像的區(qū)域劃分圖，；圖38、圖43為第五示例、第六示例的最終區(qū)域劃分圖?？紤]紅外目標(biāo)對比度低、邊界不清晰，可見光圖像對場景成像較好等特點。我們將紅外圖像與可見光圖像融合劃分為各個子區(qū)域的融合即目標(biāo)區(qū)域融合、平滑區(qū)域融合和紋理區(qū)域融合。為了增強目標(biāo)與場景的對比度我們采用紅外增強圖像與可見光圖像進行目標(biāo)融合。上述目標(biāo)區(qū)域融合采用采用紅外增強圖像與可見光圖像進行，具體步驟為：A、采用下述公式分別計算目標(biāo)區(qū)域oA1與目標(biāo)區(qū)域oB以像素點(i,j)為中心，大小為3*3窗口的區(qū)域的局部能量，記為EoA1、EoB；式中，W為窗口的大小，LT(i,j)為目標(biāo)區(qū)域T在點(i,j)的低頻子帶系數(shù)，[-1≤x≤1],[-1≤y≤1]。B、采用如下公式，進行目標(biāo)區(qū)域低頻子帶系數(shù)的融合；LoF(i,j)＝aLoA1(i,j)+bLoB(i,j)(12)式中，a＝EoA1(i,j)/(EoA1(i,j)+EoB(i,j)),b＝1-a，LoF(i,j)為融合的目標(biāo)區(qū)域低頻子帶系數(shù)，LoA1(i,j)、LoB(i,j)分別為目標(biāo)區(qū)域oA1和目標(biāo)區(qū)域oB的低頻子帶系數(shù)。C、采用絕對值取大原則進行高頻系數(shù)的融合：式中，HoA1(i,j)、HoB(i,j)分別為目標(biāo)區(qū)域oA1、oB在點(i,j)的高頻子帶系數(shù)，HoF(i,j)為融合的目標(biāo)高頻子帶系數(shù)。平滑區(qū)域信息相對不夠豐富，其區(qū)域特性主要為亮度信息故低頻采取局部能量取大原則,高頻采用系數(shù)絕對值取大原則；上述平滑區(qū)域融合步驟為：a、采用局部能量取大原則進行低頻系數(shù)LsF融合：式中，ESA(i,j)為平滑區(qū)域sA在點(i,j)處的能量，ESB(i,j)為平滑區(qū)域sB在點(i,j)處的能量，LsF(i,j)為融合的平滑區(qū)域低頻子帶系數(shù)，LsA(i,j)、LsB(i,j)分別為平滑區(qū)域sA和sB的低頻子帶系數(shù)；b、采用絕對值取大原則進行高頻系數(shù)HsF融合：式中，HsA為平滑區(qū)域sA在點(i,j)處的高頻系數(shù)，HsB為平滑區(qū)域sB在點(i,j)處的高頻系數(shù)，HsF(i,j)為融合的目標(biāo)區(qū)域高頻子帶系數(shù)。紋理區(qū)域包含了圖像大量的邊緣、紋理、方向等信息。為了更多的提取紋理信息和邊緣信息，低頻采取局部EOG(圖像梯度能量)進行融合；高頻采用點銳度進行融合,點銳度是圖像中每個點與其八鄰域點的差的絕對加權(quán)和，它是對圖像中每個點周圍的灰度變化程度的一個統(tǒng)計，其值越大，則表示圖像越清晰。上述紋理區(qū)域融合步驟為：(a)、計算紋理區(qū)域的局部梯度能量EOG能量：CR1(i,j)＝corr2(E3tA(i,j),E3tB(i,j))(19)設(shè)h＝0.5,當(dāng)CR1(i,j)≥h：當(dāng)CR1(i,j)＜h：式中，ETL(i,j)為紋理區(qū)域T低頻系數(shù)的局部EOG能量，E3T(i,j)為在ETL矩陣位于(i,j)的3*3鄰域，CR1(i,j)為E3tA(i,j),E3tB(i,j)的相關(guān)系數(shù)，LtA(i,j)、LtB(i,j)分別為紋理區(qū)域tA和紋理區(qū)域tB在(i,j)位置處的低頻系數(shù)，LtF(i,j)為融合的紋理區(qū)域低頻子帶系數(shù)。[-1≤p≤1]，[-1≤q≤1]，w為3*3大小的窗口，m，n分別表示原圖像的行和列。(b)、高頻系數(shù)融合：首先計算每層高頻系數(shù)的各個點銳度：CR2(i,j)＝corr2(PS3tA(i,j),PS3tB(i,j))(24)設(shè)h＝0.5，當(dāng)CR2(i,j)≥h：當(dāng)CR2(i,j)＜h：式中，psT(i,j)為紋理區(qū)域T中像素點位于(i,j)處的點銳度大小，PS3T(i,j)為在psT矩陣位于(i,j)的3*3鄰域，CR2(i,j)為ps3tA(i,j),ps3tB(i,j)的相關(guān)系數(shù)HtA(i,j)為紋理區(qū)域tA在點(i,j)處的高頻系數(shù)，HtB(i,j)為紋理區(qū)域tB在點(i,j)處的高頻系數(shù)，HtF(i,j)為融合的紋理區(qū)域高頻頻子帶系數(shù)。PStA(i,j)為紋理區(qū)域tA在點(i,j)處的點銳度，PStB(i,j)為紋理區(qū)域tB在點(i,j)處的點銳度。為了驗證本實施例的融合效果，本實施例采用了兩組已配準(zhǔn)的可見光圖像與紅外進行試驗并與近年來的一些融合方法進行比較，主觀上對實驗結(jié)果分析，對比試驗結(jié)果，圖45至圖48，圖52至圖55分別為近年來基于NSCT的一些融合方法，可以看出該方法的融合圖像目標(biāo)對比度不高、目標(biāo)邊緣模糊、場景模糊等。圖49、圖50、圖56、圖57，為采用本實施例方法對目標(biāo)區(qū)域進行提取、融合，而場景區(qū)域的融合規(guī)則分別為目標(biāo)區(qū)域和平滑區(qū)域的融合規(guī)則的實驗結(jié)果，可以看出目標(biāo)區(qū)域相對較完整，且目標(biāo)對比度也有所提升，但是場景區(qū)域還是模糊，分辨率不高；圖51、圖58為本實施例方法融合結(jié)果，它很好的獲得了目標(biāo)信息及細(xì)節(jié)信息，清晰度高，目標(biāo)對比度好，有很好的視覺效果。下述提供了利用本實施例提供的方法進行第五、第六實示例的實驗數(shù)據(jù)，圖45的數(shù)據(jù)為表1的Ref[20]，圖46的數(shù)據(jù)為表1的Ref[21]，圖47的數(shù)據(jù)為表1的Ref[22]，圖48的數(shù)據(jù)為表1的Ref[23]，圖49的數(shù)據(jù)為表1的pinghua，圖50為的數(shù)據(jù)為表1的Mubiao，圖52的數(shù)據(jù)為表2的Ref[20]，圖53的數(shù)據(jù)為表1Ref[21]，圖54的數(shù)據(jù)為表2的Ref[22]，圖55的數(shù)據(jù)為表2的Ref[23]，圖56的數(shù)據(jù)為表2的pinghua，圖57為的數(shù)據(jù)為表2的Mubiao，客觀評價分析，從表1，2中可以看出本實施例提出的方法各項評價指標(biāo)都優(yōu)于其它方法，由以上得知本實施例融合效果更符合人類的視覺感知。表1第五示例的客觀參數(shù)比較ESFAVGEIMIRef[20]6.567111.72064.526444.34991.7242Ref[21]6.756211.53894.376642.60202.9312Ref[22]6.604411.36364.198540.30142.4421Ref[23]6.689011.66664.393342.65942.5067proposed7.156913.07104.843047.54293.5698Pinghua6.765712.17534.554644.23202.8762Mubiao6.616811.88904.354441.80592.4113表2第六示例的客觀參數(shù)比較ESFAVGEIMIRef[20]7.169719.59678.251985.50532.1643Ref[21]7.170418.01427.098672.41643.4763Ref[22]7.096317.71456.943570.60083.0336Ref[23]7.255518.82447.636378.30443.4728proposed7.342720.50708.424487.42395.4326Pinghua7.172718.16367.146372.87323.4000Mubiao7.103717.87496.991571.07883.0317本實施例提出了一種基于圖像區(qū)域特性的紅外與可見光圖像融合方法，同時考慮了紅外與可見光的成像特點及其區(qū)域特性，在考慮了多目標(biāo)情況下利用區(qū)域生長與引導(dǎo)濾波較好地提取了紅外圖像的目標(biāo)，并對濾波半徑進行自適應(yīng)改進，而利用可見光圖像對場景成像較清晰的特點，利用sobel算子與k-means將場景劃分為不同的區(qū)域，然后根據(jù)各區(qū)域的不同特性采用不同的融合規(guī)則，即有效的保留了紅外目標(biāo)，又有效地獲取了源圖像的空間域信息，得到了較好的融合效果。通過客觀主觀分析，實驗結(jié)果表明本方法優(yōu)于其他幾種方法更符合人類的視覺感知。以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。當(dāng)前第1頁1 2 3