專利名稱：基于方向波域隱馬爾可夫樹模型的多源圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及對(duì)多源圖像的融合方法，可用于多源圖像的目標(biāo)識(shí)別與計(jì)算機(jī)的后續(xù)處理。
背景技術(shù)：
圖像融合是一種對(duì)不同來源的圖像進(jìn)行綜合處理的技術(shù)，早期被應(yīng)用于多光譜衛(wèi)星遙感圖像的分析和處理中；20世紀(jì)80年代初期，Daily, Laner和Todd進(jìn)行了雷達(dá)圖像、Landsat-RBV圖像、Landsat-MSS圖像的融合實(shí)驗(yàn)。到80年代后期，圖像融合技術(shù)開始引起人們的關(guān)注，并逐步利用遙感光譜圖像的融合來進(jìn)行地質(zhì)、礦產(chǎn)、氣候、環(huán)境的探測(cè)與研究。90年代后，隨著遙感衛(wèi)星JERS-1、ERS-U Radarsat等的出現(xiàn)，圖像融合技術(shù)成為遙感圖像處理的研究熱點(diǎn)，其研究領(lǐng)域擴(kuò)展到對(duì)SAR圖像、航拍圖像、可見光圖像、紅外圖像、醫(yī)學(xué)圖像的處理。近年來，圖像融合技術(shù)已經(jīng)成為計(jì)算機(jī)視覺、自動(dòng)控制、機(jī)器人、目標(biāo)識(shí)別跟蹤、軍事應(yīng)用等領(lǐng)域的關(guān)鍵技術(shù)之一，在遙感、國土探測(cè)與規(guī)劃、地理信息系統(tǒng)、反恐怖安全檢測(cè)、軍事國防方面的目標(biāo)探測(cè)識(shí)別與精確定位，以及在農(nóng)業(yè)產(chǎn)量評(píng)估、醫(yī)學(xué)圖像分析、環(huán)境保護(hù)和災(zāi)情檢測(cè)與預(yù)報(bào)等領(lǐng)域的應(yīng)用有著重要的意義。傳統(tǒng)的圖像融合方法如線性加權(quán)法、主分量分析法等，這些方法雖然實(shí)現(xiàn)簡(jiǎn)單，但容易產(chǎn)生圖像細(xì)節(jié)模糊。80年代出現(xiàn)的基于多分辨率的方法主要有基于金字塔和基于小波變換的兩種融合方法，其基本思想是首先對(duì)原始圖像分別進(jìn)行多尺度分解，在不同尺度上對(duì)圖像進(jìn)行融合，最后通過重構(gòu)獲得融合圖像。不足之處是不能很好的捕捉圖像的邊緣和紋理信息，不能充分利用數(shù)據(jù)之間的相關(guān)性，“振鈴效應(yīng)”和塊效應(yīng)很明顯。之后Crouse等人對(duì)傳統(tǒng)的基于小波變換的融合方法進(jìn)行了改進(jìn)，利用小波系數(shù)具有非高斯性和持續(xù)性的統(tǒng)計(jì)特性，同一尺度內(nèi)及不同尺度間的鄰域系數(shù)存在相關(guān)性的特性，將小波理論與隱馬爾可夫模型HMM聯(lián)系起來，提出了小波域隱馬爾可夫模型JinzhongYang等人采用小波域隱馬爾可夫樹HMT統(tǒng)計(jì)模型來捕捉小波系數(shù)不同尺度間的相關(guān)性，并將該模型用在圖像融合上，應(yīng)用統(tǒng)計(jì)學(xué)方法對(duì)模型參數(shù)進(jìn)行訓(xùn)練來得到融合圖像，這類方法存在以下不足I)小波系數(shù)低頻部分的融合規(guī)則過于簡(jiǎn)單，導(dǎo)致許多信息丟失；2)小波基的特點(diǎn)使得對(duì)圖像特征的選擇缺少方向性，只能有效地表達(dá)圖像中水平、垂直和對(duì)角三個(gè)方向的信息，因而不能充分提取出原始圖像中的細(xì)節(jié)信息，影響融合效果;3)圖像中的邊緣和輪廓奇異性屬于圖像的各向異性特征，不能被各向同性小波變換有效地捕捉。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有方法存在的融合規(guī)則簡(jiǎn)單，未能充分捕捉圖像中的邊緣等奇異性特征，存在細(xì)節(jié)模糊和塊效應(yīng)的問題，提出一種基于方向波域隱馬爾可夫模型的多源圖像融合方法，以提高融合圖像的質(zhì)量。本發(fā)明的技術(shù)思路是，利用基于小波變換的融合方法從兩幅原始圖像得到一幅初始融合圖像，使用Velisavljevic' V等人提出的方向波即Directionlet變換,對(duì)兩幅原始圖像和初始融合圖像分別進(jìn)行分解，分別得到三幅圖像的Directionlet低頻系數(shù)和高頻系數(shù)。對(duì)兩幅原始圖像的Directionlet低頻系數(shù)進(jìn)行自適應(yīng)加權(quán),得到融合圖像的Directionlet低頻系數(shù)；對(duì)初始融合圖像的Directionlet高頻系數(shù)建立HMT統(tǒng)計(jì)模型,根據(jù)Dempster等人提出的EM算法,分別計(jì)算兩幅原始圖像的Directionlet高頻系數(shù)的后驗(yàn)概率，根據(jù)顯著性測(cè)量的融合規(guī)則選擇最優(yōu)的Directionlet高頻系數(shù)作為融合圖像的Directionlet高頻系數(shù)。通過Directionlet逆變換得到最終的融合圖像。其實(shí)現(xiàn)步驟包括如下(I)輸入兩幅原始圖像，并利用基于小波變換的融合方法從兩幅原始圖像中得到一幅初期融合圖像；(2)對(duì)兩幅原始圖像與得到的初期融合圖像分別進(jìn)行Directionlet變換，分別得到三幅圖像的Directionlet低頻系數(shù)和高頻系數(shù)；(3)對(duì)得到的初始融合圖像的Directionlet高頻系數(shù)建立HMT模型,構(gòu)造該模型的參數(shù)集e ；(4)利用期望最大算法即EM算法對(duì)構(gòu)造的參數(shù)集0進(jìn)行訓(xùn)練得到它的估計(jì)值表根據(jù)S分別計(jì)算兩幅原始圖像的每個(gè)Directionlet高頻系數(shù)的后驗(yàn)概率；(5)對(duì)兩幅原始圖像的Directionlet低頻系數(shù)采用自適應(yīng)加權(quán)融合規(guī)則進(jìn)行融合，得到融合圖像的Directionlet低頻系數(shù)；(6)根據(jù)步驟(4)中得到的參數(shù)集S和后驗(yàn)概率，對(duì)兩幅原始圖像的Directionlet高頻系數(shù)采用顯著性測(cè)量的融合規(guī)則進(jìn)行融合，得到融合圖像的Directionlet高頻系數(shù)；(7)對(duì)上述的融合圖像的Directionlet系數(shù)進(jìn)行Directionlet逆變換得到融合圖像。本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)1.本發(fā)明中采用了方向波對(duì)圖像進(jìn)行變換，相比基于小波變換的方法，能夠提取出原始圖像中更豐富的邊緣和紋理等各向異性特征，能夠充分利用原始圖像的優(yōu)勢(shì)和互補(bǔ)信息，選擇最佳的融合系數(shù)，且在融合過程中，能夠抑制基于小波變換的融合方法存在的方向性混疊和“振鈴現(xiàn)象”。2.本發(fā)明利用HMT模型對(duì)圖像的Directionlet高頻系數(shù)建模，與傳統(tǒng)的基于小波變換的方法相比，能充分挖掘數(shù)據(jù)之間的相關(guān)性，達(dá)到更好的融合效果。3.本發(fā)明中，對(duì)原始圖像的Directionlet低頻分量采用自適應(yīng)加權(quán)的融合規(guī)則，相比傳統(tǒng)的取平均的融合規(guī)則更加合理。本發(fā)明對(duì)多組類型的圖像進(jìn)行了融合測(cè)試，分別從視覺效果和客觀評(píng)價(jià)指標(biāo)方面對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)，結(jié)果均表明本發(fā)明方法是有效和可行的。


圖1是本發(fā)明的流程圖2是本發(fā)明中初期融合圖像的方向波域HMT模型參數(shù)訓(xùn)練子流程圖；圖3是本發(fā)明與其它方法對(duì)市區(qū)遙感圖像的融合結(jié)果比較圖；圖4是本發(fā)明與其它方法對(duì)高光譜光學(xué)相機(jī)拍攝的林區(qū)圖像融合結(jié)果比較圖；圖5是本發(fā)明方法與其它方法對(duì)多聚圖像融合結(jié)果比較圖。
具體實(shí)施例方式參照?qǐng)D1，對(duì)本發(fā)明的實(shí)現(xiàn)步驟如下步驟1:利用現(xiàn)有的基于小波變換的融合方法對(duì)兩幅原始圖像進(jìn)行融合，得到一幅初期融合圖像。(Ia)對(duì)兩幅原始圖像分別進(jìn)行小波分解，得到其各自對(duì)應(yīng)的小波低頻系數(shù)和小波高頻系數(shù)；(Ib)對(duì)上述的兩幅原始圖像的小波低頻系數(shù)進(jìn)行平均，得到初期融合圖像的小波低頻系數(shù)；(Ic)對(duì)上述的兩幅原始圖像的小波高頻系數(shù)，取兩者中絕對(duì)值較大的作為初期融合圖像的小波高頻系數(shù)；(Id)對(duì)上述的初期融合圖像的小波低頻系數(shù)和高頻系數(shù)進(jìn)行小波逆變換，得到初期融合圖像。步驟2 :把得到的初期融合圖像作為標(biāo)準(zhǔn)圖像，分別與待融合的兩幅原始圖像一起進(jìn)行Directionlet變換。(2a)給出一組為±30°，土45°，土60°，0° ,90°的方向，并從給出的方向中任意選擇兩個(gè)，分別作為變換方向和隊(duì)列方向，構(gòu)造采樣矩陣Ma，
權(quán)利要求
1.一種基于方向波域隱馬爾可夫樹模型的多源圖像融合方法，包括如下步驟 (1)輸入兩幅原始圖像，并利用基于小波變換的融合方法從兩幅原始圖像中得到一幅初期融合圖像； (2)對(duì)兩幅原始圖像與得到的初期融合圖像分別進(jìn)行Directionlet變換，分別得到三幅圖像的Directionlet低頻系數(shù)和高頻系數(shù)； (3)對(duì)得到的初始融合圖像的Directionlet高頻系數(shù)建立HMT模型,構(gòu)造該模型的參數(shù)集Θ ; (4)利用期望最大算法即EM算法對(duì)構(gòu)造的參數(shù)集Θ進(jìn)行訓(xùn)練得到它的估計(jì)值I根據(jù)鄉(xiāng)分別計(jì)算兩幅原始圖像的每個(gè)Directionlet高頻系數(shù)的后驗(yàn)概率； (5)對(duì)兩幅原始圖像的Directionlet低頻系數(shù)采用自適應(yīng)加權(quán)融合規(guī)則進(jìn)行融合，得到融合圖像的Directionlet低頻系數(shù)； (6)根據(jù)步驟(4)中得到的參數(shù)集#和后驗(yàn)概率，對(duì)兩幅原始圖像的Directionlet高頻系數(shù)采用顯著性測(cè)量的融合規(guī)則進(jìn)行融合，得到融合圖像的Directionlet高頻系數(shù)； (7)對(duì)上述的融合圖像的Directionlet系數(shù)進(jìn)行Directionlet逆變換得到融合圖像。
2.根據(jù)權(quán)利要求1所述的多源圖像融合方法，其中步驟(2)所述的對(duì)兩幅原始圖像與得到的初期融合圖像分別進(jìn)行Directionlet變換,按如下步驟進(jìn)行 (2a)給出一組為±30°，土45°，土60°，0° ,90°的方向，并從給出的方向中任意選擇兩個(gè)，分別作為變換方向和隊(duì)列方向，構(gòu)造采樣矩陣Μλ， M =卜味H’ 其中，X1, X2, V1 Y2是構(gòu)成采樣矩陣Μλ的四個(gè)整數(shù)元素值，X1和Y1由變換方向的斜率確定，X2和I2由隊(duì)列方向的斜率確定，向量Cl1和d2分別為沿變換方向和隊(duì)列方向的向量；(2b)基于整數(shù)格理論通過采樣矩陣^將所述的兩幅原始圖像及初期融合圖像依次劃分為關(guān)于整數(shù)格Λ的|det(MA) I個(gè)陪集，每一個(gè)陪集對(duì)應(yīng)一個(gè)位移矢量Sk= (skl，sk2)，其中Λ是由被劃分的圖像構(gòu)成的整數(shù)格，表達(dá)式為Λ = (C1Cl^C2Cl2, C1, C2 e Z}，det(MA)是采樣矩陣Μλ的行列式的絕對(duì)值，k = 0,1,2,... , det(MA) -1, skl, sk2 e Z，Z為整數(shù)域；(2c)對(duì)每個(gè)陪集沿變換和隊(duì)列方向分別進(jìn)行兩次和一次一維正交小波變換，得到相應(yīng)的高頻和低頻子帶。
3.根據(jù)權(quán)利要求1所述的多源圖像融合方法，其中步驟(3)所述的對(duì)得到的初始融合圖像的Directionlet高頻系數(shù)建立HMT模型,構(gòu)造該模型的參數(shù)集Θ,按如下步驟進(jìn)行 (3a)初始融合圖像中的每個(gè)Directionlet高頻系數(shù)建立兩狀態(tài)的高斯混合模型,分別得到其高斯混合模型的參數(shù)盡(m)- 其中，表示序號(hào)為j的節(jié)點(diǎn)的狀態(tài)變量I取值為m時(shí)高斯模型的均值， 表示序號(hào)為j的節(jié)點(diǎn)的狀態(tài)變量S」取值為m時(shí)高斯模型的方差， pS 表示序號(hào)為j的節(jié)點(diǎn)的狀態(tài)變量S」取值為m時(shí)的概率， m為狀態(tài)數(shù),取值為I或2 ; (3b)利用Directionlet同一方向尺度系數(shù)狀態(tài)間的依賴性，引入狀態(tài)轉(zhuǎn)移概率C,，ε表示序號(hào)為j的節(jié)點(diǎn)的狀態(tài)Sj為m時(shí)它的父節(jié)點(diǎn)狀態(tài)Sp (J)為η的轉(zhuǎn)移概率，m和η為狀態(tài)數(shù),取值均為I或2 ;(3c)利用上述所得參數(shù)組成HMT模型的參數(shù)集Θ，g卩0=|/丨(// )，￡:,
4.根據(jù)權(quán)利要求1所述的多源圖像融合方法，其中步驟(5)所述的對(duì)兩幅原始圖像的 Directionlet低頻系數(shù)采用自適應(yīng)加權(quán)融合規(guī)則進(jìn)行融合,按如下步驟進(jìn)行(5a)設(shè)兩幅原始圖像Directionlet系數(shù)的低頻分量分別為A和B,分別計(jì)算A和B中以點(diǎn)(P^P2)為中心，大小為MXM的鄰域內(nèi)的灰度偏差Ra(Pl，p2)和Rb(Pl，p2)
5.根據(jù)權(quán)利要求1所述的多源圖像融合方法，其中步驟(6)所述的對(duì)兩幅原始圖像的 Directionlet高頻系數(shù)采用顯著性測(cè)量的融合規(guī)則進(jìn)行融合，按如下步驟進(jìn)行(6a)設(shè)兩幅原始圖像的Directionlet系數(shù)的高頻分量分別為C和D ;(6b)任意給定一個(gè)節(jié)點(diǎn)j,設(shè)C中節(jié)點(diǎn)j處的高頻系數(shù)值為w。,D中節(jié)點(diǎn)j處的高頻系數(shù)值為wD，比較W。的后驗(yàn)概率= 2 I KV, A與wD的后驗(yàn)概率= 2 I wD，而的大小，選擇后驗(yàn)概率較大的系數(shù)值作為融合圖像中該位置的Directionlet高頻系數(shù)Clj d =k. PiScj =2\wcJ)>P(S^=2\wdJ)J — W =2\wcJ)<P(Sf=2\wD,θ),其中，巧和S13分別表示C和D中節(jié)點(diǎn)j的狀態(tài)變量，取值為I時(shí)表示節(jié)點(diǎn)j處于小狀態(tài)， 取值為2時(shí)表示節(jié)點(diǎn)j處于大狀態(tài)j為步驟(4)中迭代得到的估計(jì)值。
全文摘要
本發(fā)明公開了一種基于方向波域隱馬爾可夫樹模型的多源圖像融合方法，主要解決現(xiàn)有方法中融合規(guī)則簡(jiǎn)單和塊效應(yīng)明顯的問題。其實(shí)現(xiàn)步驟是(1)從原始圖像得到一幅初期融合圖像；(2)用方向波分解原始圖像和初期融合圖像；(3)建立初期融合圖像的方向波域HMT模型，訓(xùn)練得出參數(shù)集估計(jì)值(4)利用得到原始圖像的方向波高頻系數(shù)的后驗(yàn)概率；(5)根據(jù)得到的后驗(yàn)概率，采用顯著性測(cè)量融合規(guī)則對(duì)原始圖像高頻系數(shù)融合；(6)采用自適應(yīng)加權(quán)融合規(guī)則對(duì)原始圖像低頻系數(shù)進(jìn)行融合；(7)對(duì)融合后的方向波系數(shù)進(jìn)行方向波逆變換得到融合圖像。本發(fā)明能提取原始圖像更豐富的奇異性特征，充分挖掘數(shù)據(jù)中的相關(guān)性，可用于多源圖像的目標(biāo)識(shí)別與計(jì)算機(jī)的后續(xù)處理。
文檔編號(hào)G06T5/50GK103020931SQ201210493328
公開日2013年4月3日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者白靜, 焦李成, 王爽, 趙白妮, 胡波, 馬文萍, 馬晶晶, 李陽陽 申請(qǐng)人:西安電子科技大學(xué)