專利名稱：：一種紅外與可見光偽彩色圖像融合及增強方法
技術領域：
：本發(fā)明涉及一種信息處理方法，特別涉及一種紅外與可見光偽彩色圖像融合及增強方法。
背景技術：
：總體上而言，圖像融合方法目前分成兩大分支，一支是面向于灰度圖像的融合方法，其代表性的是基于多分辨率的圖像融合方法；另外一支是面向于彩色的圖像融合方法，主要是對具有色彩信息的待融合圖像進行融合處理，其中也包括將灰度圖像進行色彩補償?shù)膫尾噬珗D像融合方法。總體而言，這兩種方法主要目的都是為了提高融合后圖像的位置評估的準確度，從而達到無論是人眼觀測還是機器識別都能達到較高的識別率。面向于灰度圖像的融合方法，即多分辨率的圖像融合方法，在邊緣特征和紋理特征以及區(qū)域特征方面都有較好的解決方案。如目前具有代表性的方法有塔形變換的方法、子波變換等基于多尺度的方法。多尺度圖像融合的過程是首先將配準后圖像經(jīng)多尺度分解，分解方法包括拉普拉斯、梯度金字塔以及小波分解等方法；分解后圖像的每層看作為圖像在這一尺度或波段的特征，根據(jù)這些特征所反應的能量測度進行加權平均或選擇，以達到融合的目的。由于離散小波變換在提取圖像低頻信息的同時，又獲得了三個方向的高頻細節(jié)信息，在理論上，與傳統(tǒng)的基于塔型變換的融合方法相比，具有更好的分解效果，且執(zhí)行效率高?，F(xiàn)代的多分辨率變換方法又提出了后小波理論，后小波理論具有代表性的方法有Counterlet的變換方法、Bemmlet的變換方法、Bondelet的變換方法等等。但這些方法與傳統(tǒng)的多分辨率方法相比在重構精度和性能方面略有提升，但是在執(zhí)行效率方面卻遠遠不如傳統(tǒng)的方法。最近幾年由于對夜視觀測的需求，紅外和可見光圖像融合方法越來越受到廣泛關注，從前基于灰度的圖像融合方法已不能完全滿足人們對夜視圖像的要求，因此基于色彩信息的圖像融合方法應運而生。Reinhard等人首先提出了彩色變換方法，即將色彩信息從一副彩色圖像傳遞到另一幅灰度圖像；此后Toet將其應用于多波段的夜視圖像融合中得到了良好的效果，從而又發(fā)展出各種各樣的圖像融合方法，然而這種彩色傳遞方法并未考慮圖像的內(nèi)容信息，而是全局性的將色彩從一幅圖像傳遞給另一幅圖像，這將使得最終的融合圖像彩色失真。
發(fā)明內(nèi)容本發(fā)明是針對現(xiàn)在的融合方法易使融合圖像彩色失真的問題，提出了一種紅外與可見光偽彩色圖像融合及增強方法，該方法是通過將紅外圖像經(jīng)過預先的分割處理，得出背景信息、目標信息以及冷目標信息三種不同的區(qū)域特征，保留特征信息并對紅外與可見光圖像在YUV的彩色空間下進行偽彩色融合，得到偽彩色融合圖像后再利用給定的彩色參考圖像對其進行彩色傳遞及色彩增強處理，得到最終的融合圖像。本發(fā)明的技術方案為一種紅外與可見光偽彩色圖像融合及增強方法，方法包括如下具體步驟1)對紅外圖像進行分割，分割前首先對紅外圖像進行灰度的直方圖分布進行統(tǒng)計，根據(jù)直方圖得到的分布特征，按照雙正態(tài)分布求取其相應的六個分布特征參數(shù)，分別為第一個正態(tài)分布的期望i^、方差oi以及第二個正態(tài)分布參數(shù)P2、02和第三個正態(tài)分布參數(shù)il3、O3;2)根據(jù)設定閾值對紅外圖像進行分割，并就分割后目標分別進行區(qū)域提取，將區(qū)域提取后的信息保存在自動分配空間的變量X中；3)對圖像在YUV空間下進行偽彩色的圖像融合，Y分量使用可見光的背景信息和紅外的目標信息以及紅外的冷目標信息組合而成；U、V分量使用了可見光圖像與紅外圖像之間的差異，它們的區(qū)別在于方向相反；4)對圖像在YUV空間下進行彩色傳遞和增強處理；使用了參考圖像的期望和方差進行傳遞，該傳遞過程是在區(qū)域中局部完成的；先求取參考圖像在YUV空間下的期望和方差；再求取偽彩色后圖像在YUV空間下相關區(qū)域的期望和方差，而后進行增強，得到最終的融合圖像。所述步驟1)中的六個分布特征參數(shù)算法如下f)給定待定系數(shù)的雙正態(tài)分布函數(shù)//、2、/(+Z入12;rcrt《xp22(公式1)其中A為待定系數(shù)，力^=1;g)給期望i^和方差h、02進行初始化，這里假定直方圖分布為0IOO，初始化步驟采用了三等分的策略，取^=17、ii2=50、ii3=84、3of=(0-17)2、3ct22=(67—50)2，3ct32=(84-67)2，得出of=cr22=cr3290;初始化入i=0.33，i=1，2，3;h)根據(jù)期望yp方差o工以及參數(shù)y2、o2求取兩個閾值和Th2:77^-a+V^o",;772=//2+VJct2(公式2)也就是說，小于的樣本是屬于第一個正態(tài)分布的，大于且小于Th2屬于第二個正態(tài)分布，大于等于Th2屬于第三個正態(tài)分布；i)根據(jù)分布函數(shù)(公式1)和樣本值，重新計算第一個正態(tài)分布的期望Pp方差oi以及第二個正態(tài)分布參數(shù)P2、o2和第三個正態(tài)分布參數(shù)P3、o3，并對公式1進行更新/WW附，/"詣2(公式3)/WW/W-公式3反映的是對于各個不同分布的期望值的計算公式，對于方差的計算公式與5此相仿，公式3中nuivnum2，num3分別表示了在各個分布區(qū)間的計數(shù)值，也就是樣本總數(shù)；j)將樣本和分布函數(shù)的參數(shù)帶入公式4，求取該三正態(tài)分布函數(shù)得似然函數(shù)，并將其保存在一個迭代變量數(shù)組QM中/<formula>formulaseeoriginaldocumentpage6</formula>力、式4)個誤差e，這里取e1=1^2;ro^乂一一k乂重復執(zhí)行c)、d)、e)三步，直到閾值的變化小于一個誤差"這里取e=1。所述步驟2)中閾值分割圖像按照公式5進行'255，卿，力>7^150,7A〈/i(/，力27^(公式5)0,/及a力《7A當IR圖像灰度為255時，該部分為熱目標；當IR圖像灰度為150時，該部分圖像為背景目標；當IR灰度為0時，該部分為冷目標；將這些值賦值給枚舉變量OBJi，i=1，2，3分別取這些值，對不同目標區(qū)域進行區(qū)域提取，區(qū)域提取的方法使用最近鄰的判別方法進行增長，增長完成的判別條件是區(qū)域周圍不再存在相似像素點。本發(fā)明的有益效果在于本發(fā)明紅外與可見光偽彩色圖像融合及增強方法，此方法能夠使得最終的融合圖像具有更多的區(qū)域特征信息，并且保證了系統(tǒng)實時性的同時最大限度的提升了融合后圖像的色彩質(zhì)量。圖1為本發(fā)明紅外與可見光偽彩色圖像融合及增強方法的系統(tǒng)硬件結構圖；圖2為本發(fā)明紅外與可見光偽彩色圖像融合及增強方法的軟件結構圖；圖3為本發(fā)明所用到的CCD圖像中實際視頻中的某一幀；圖4為本發(fā)明所用到的紅外圖像中實際視頻中的某一幀；圖5為本發(fā)明對紅外圖像采用自適應閾值的分割結果；圖6為本發(fā)明紅外與可見光偽彩色融合結果；圖7為本發(fā)明所使用的參考彩色圖像；圖8為本發(fā)明經(jīng)過彩色傳遞增強后的融合效果圖。具體實施例方式采用基于圖像融合的嵌入式系統(tǒng)硬件結構如圖1所示。其具體配置如下所述采用了兩個成像傳感器，一個是AVT工業(yè)CCD攝像頭F-032B/C，另外一個是InfraredSolutions公司可提供一款基于非冷卻輻射熱計技術的熱成像儀IR-160型成像儀，其可輸出160X120像素NTSC或PAL視頻輸出信號；傳感器種類選擇開關和DSP圖像融合芯片均采用了TI公司的TMS320C6000;A/D多路采集芯片采用24位A/D轉換器CS5381;ARM芯片采用了ARM公司生產(chǎn)的ARM940T。軟件結構如圖2所示，通過將紅外圖像經(jīng)過預先的分割處理，得出背景信息、目標信息以及冷目標信息三種不同的區(qū)域特征，保留特征信息并對紅外與可見光圖像在YUV的彩色空間下進行偽彩色融合，得到偽彩色融合圖像后再利用給定的彩色參考圖像對其進行彩色傳遞及色彩增強處理，得到最終的融合圖像。6利用熱成像儀獲得的320X240(或更大分辨率)圖像成像如圖3所示，圖像中包含了熱成像熱目標(圖像中的人)，背景目標(圖像中的草叢)以及冷目標(圖像中的河流)等，其中背景目標在紅外圖像中反映并不清晰?？梢姽鈭D像中對這些信息的分辨率不高，但背景信息的細節(jié)特征是比較清晰的，如圖4所示。利用新的偽彩色圖像融合方法能夠使得最終的融合圖像具有更多的區(qū)域特征信息，具體步驟第一步，對紅外圖像進行分割，分割前首先對紅外圖像進行灰度的直方圖分布進行統(tǒng)計，直方圖獲取方法是比較成熟常用的方法，本發(fā)明不再詳述。根據(jù)直方圖得到的分布特征，按照雙正態(tài)分布求取其相應的六個分布特征參數(shù)，分別為第一個正態(tài)分布的期望Pp方差oi以及第二個正態(tài)分布參數(shù)P2、o2和第三個正態(tài)分布參數(shù)P3、o3。本發(fā)明采用了一種修正的期望值最大算法，簡化了迭代過程，具體過程是k)給定待定系數(shù)的雙正態(tài)分布函數(shù)(a-a)2<formula>formulaseeoriginaldocumentpage7</formula>(公式1)其中入為待定系數(shù)，|>,.=1。4=1l)給期望iip112和方差0l、02進行初始化，這里假定直方圖分布為0IOO，初始化步驟采用了三等分的策略，取^=17、ii2=50、ii3=84、3of=(0-17)2、3<722=(67—50)2,k卜(84—67)2，得出^=^=^90;初始化入丄=()33，i=1，2，3。m)根據(jù)期望yp方差o工以及參數(shù)y2、o2求取兩個閾值和Th2:77^=a+;772=//2+VJ<72(公式2)也就是說，小于的樣本是屬于第一個正態(tài)分布的，大于且小于Th2屬于第二個正態(tài)分布，大于等于Th2屬于第三個正態(tài)分布。n)根據(jù)分布函數(shù)(公式1)和樣本值，重新計算第一個正態(tài)分布的期望Pp方差oi以及第二個正態(tài)分布參數(shù)P2、o2和第三個正態(tài)分布參數(shù)P3、o3，并對公式1進行更新<formula>formulaseeoriginaldocumentpage7</formula>(公式3)<formula>formulaseeoriginaldocumentpage7</formula>此相仿'公式4反映的是對于各個不同分布的期望值的計算公式，對于方差的計算公式與公式4中nmv皿iv皿m3分別表示了在各個分布區(qū)間的計數(shù)值，也就是樣本總數(shù)；o)將樣本和分布函數(shù)的參數(shù)帶入公式4，求取該三正態(tài)分布函數(shù)得似然函數(shù)，并將其保存在一個迭代變量數(shù)組QM中2=U/00=UZ^=14=1，exp(公式4)p)重復執(zhí)行c)、d)、e)三步，直到閾值的變化小于一個誤差e，這里取e=1;此外，由于迭代過程需要保證似然函數(shù)最大，因此最后仍然需要判斷最后一步的迭代變量數(shù)組QM中的最后一項是最大，實驗表明，多數(shù)情況下是成立的；第二步根據(jù)閾值對紅外圖像進行分割，并就分割后目標分別進行區(qū)域提取，將區(qū)域提取后的信息保存在自動分配空間的變量X中。如圖5為對紅外圖像采用自適應閾值的分割結果圖。a)閾值分割圖像按照公式5進行'255,卿,力〉772/i=<150,77^〈/i(/,/)2772(公式5)0,/及(/,力《7^當IR圖像灰度為255時，該部分為熱目標；當IR圖像灰度為150時，該部分圖像為背景目標；當IR灰度為O時，該部分為冷目標。將這些值賦值給枚舉變量OBJi，i=l，2，3分別取這些值。b)對不同目標區(qū)域進行區(qū)域提取，區(qū)域提取的方法使用最近鄰的判別方法進行增長，增長完成的判別條件是區(qū)域周圍不再存在相似像素點。以象素點灰度值為255為例進行闡述。象素在進行區(qū)域提取時，首先需要給定一個初始的象素位置，將其放入到臨時數(shù)組型變量TEMP中，并在該位置做一個標記，以防止下一次被用于增長，以該位置為起點，取周圍3X3的8個象素點進行比較，將8個象素點中灰度值為255的位置記錄下來，并在這些位置上做標記，將其放入到臨時數(shù)組型變量TEMP中。在記錄下來的象素點中任取一個點進行3X3鄰域的查找，但是作有標記的點除外，找到關聯(lián)的所有象素點，保存在TEMP中并作標記。重復本次操作，直到在象素點中不再有記錄的點存在，循環(huán)結束。將TEMP中的所有點輸出，即為1個熱目標區(qū)域的象素點值，將其保存在熱目標的區(qū)域列表中，hot={&，X2，......，Xn}。同樣對冷目標的所有區(qū)域進行提取，會得到冷目標區(qū)域列表co1d=K，Y2，......，Ym};對背景目標的所有區(qū)域進行提取，會得到背景目標區(qū)域列表bkg={Z15.，Z0}。其偽代碼如下for(inti=1;i<img.m_Size;i++)Z2，…for(int1;i<img.m_Size;i++)CPixelpx=img.getpixel(i，j)if(!px.getflag())img.regionGrow(px);}}}regionGrow()是圖像類對象img的成員函數(shù)，用于調(diào)用本發(fā)明區(qū)域增長的方法。第三步，對圖像在YUV空間下進行偽彩色的圖像融合，如圖6為紅外與可見光偽彩色融合結果。Y分量使用可見光的背景信息和紅外的目標信息以及紅外的冷目標信息組合而成；U、V分式6:使用了可見光圖像與紅外圖像之間的差異，它們的區(qū)別在于方向相反，如公(公式6)第四步，對圖像在YUV空間下進行彩色傳遞和增強處理；使用了參考圖像的期望和方差進行傳遞，該傳遞過程是在區(qū)域中局部完成的；如圖7所示參考圖像，在某個背景區(qū)域下，求取參考圖像在YUV空間下的期望和方差(對彩色圖像進行YUV變換的方法是非常成熟的方法，此處不再進行闡述)；再求取偽彩色后圖像在YUV空間下相關區(qū)域的期望和方差，而后進行增強，如圖8是所示經(jīng)過彩色傳遞增強后的融合效果圖，其局部的增強公式如下p—,G&，G=(「C，G-Ac，G)+Ai,(公式7)'C,G其中下標G表示在統(tǒng)一的區(qū)域下進行彩色傳遞和增強。表1利用了兩種評價指標對未增強的圖像、Yin方法的結果以及本發(fā)明的結果進行了評價，第一種評價指標是色彩保持度，該值反映了當前圖像的色彩與參考圖像色彩之間的差異AM，AM越小，色彩保持度越大。第二個評價指標是邊緣互信息，也就是特征保持度，即待融合圖像在融合后圖像特征的保持度，該值在01之間變化，越大表明保持度越好。從表1可以看出，本發(fā)明的一種紅外與可見光偽彩色圖像融合及增強方法具有適用范圍廣、融合精度高等優(yōu)點，對于圖像識別等后續(xù)處理、基于特征級及決策級等人工智能的處理或者人機交互判斷決策等工作具有重要意義和實用價值。表19<table>tableseeoriginaldocumentpage10</column></row><table>權利要求一種紅外與可見光偽彩色圖像融合及增強方法，其特征在于，方法包括如下具體步驟1)對紅外圖像進行分割，分割前首先對紅外圖像進行灰度的直方圖分布進行統(tǒng)計，根據(jù)直方圖得到的分布特征，按照雙正態(tài)分布求取其相應的六個分布特征參數(shù)，分別為第一個正態(tài)分布的期望μ1、方差σ1以及第二個正態(tài)分布參數(shù)μ2、σ2和第三個正態(tài)分布參數(shù)μ3、σ3；2)根據(jù)設定閾值對紅外圖像進行分割，并就分割后目標分別進行區(qū)域提取，將區(qū)域提取后的信息保存在自動分配空間的變量X中；3)對圖像在YUV空間下進行偽彩色的圖像融合，Y分量使用可見光的背景信息和紅外的目標信息以及紅外的冷目標信息組合而成；U、V分量使用了可見光圖像與紅外圖像之間的差異，它們的區(qū)別在于方向相反；4)對圖像在YUV空間下進行彩色傳遞和增強處理；使用了參考圖像的期望和方差進行傳遞，該傳遞過程是在區(qū)域中局部完成的；先求取參考圖像在YUV空間下的期望和方差；再求取偽彩色后圖像在YUV空間下相關區(qū)域的期望和方差，而后進行增強，得到最終的融合圖像。2.根據(jù)權利要求1所述的一種紅外與可見光偽彩色圖像融合及增強方法，其特征在于，所述步驟l)中的六個分布特征參數(shù)算法如下a)給定待定系數(shù)的雙正態(tài)分布函數(shù)<formula>formulaseeoriginaldocumentpage2</formula>其中A為待定系數(shù)，<formula>formulaseeoriginaldocumentpage2</formula>b)給期望PpP2和方差opo2進行初始化，這里假定直方圖分布為0100，初始化步驟采用了三等分的策略，取<formula>formulaseeoriginaldocumentpage2</formula>，得出<formula>formulaseeoriginaldocumentpage2</formula>；初始化入i=0.33，i=1，2，3;c)根據(jù)期望yp方差oi以及參數(shù)y2、o2求取兩個閾值化和Th2:<formula>formulaseeoriginaldocumentpage2</formula>也就是說，小于的樣本是屬于第一個正態(tài)分布的，大于且小于Th2屬于第二個正態(tài)分布，大于等于Th2屬于第三個正態(tài)分布；d)根據(jù)分布函數(shù)(公式1)和樣本值，重新計算第一個正態(tài)分布的期望Pp方差o工以及第二個正態(tài)分布參數(shù)P2、o2和第三個正態(tài)分布參數(shù)P3、o3，并對公式1進行更新、<formula>formulaseeoriginaldocumentpage2</formula>公式3反映的是對于各個不同分布的期望值的計算公式，對于方差的計算公式與此相仿，公式3中nmvnum2，num3分別表示了在各個分布區(qū)間的計數(shù)值，也就是樣本總數(shù)；e)將樣本和分布函數(shù)的參數(shù)帶入公式4，求取該三正態(tài)分布函數(shù)得似然函數(shù)，并將其保存在一個迭代變量數(shù)組QM中<formula>formulaseeoriginaldocumentpage3</formula>(公式4)重復執(zhí)行c)、d)、e)三步，直到閾值的變化小于一個誤差e，這里取e=1。3.根據(jù)權利要求1所述的一種紅外與可見光偽彩色圖像融合及增強方法，其特征在于，所述步驟2)中閾值分割圖像按照公式5進行「255,卿，力〉77z2150，7^</及(/，_/)^77^(公式5)0，/及(/,力^7^當IR圖像灰度為255時，該部分為熱目標；當IR圖像灰度為150時，該部分圖像為背景目標；當IR灰度為O時，該部分為冷目標；將這些值賦值給枚舉變量OBJi，i=1，2，3分別取這些值，對不同目標區(qū)域進行區(qū)域提取，區(qū)域提取的方法使用最近鄰的判別方法進行增長，增長完成的判別條件是區(qū)域周圍不再存在相似像素點。全文摘要本發(fā)明涉及一種紅外與可見光偽彩色圖像融合及增強方法，該方法是通過將紅外圖像經(jīng)過預先的分割處理，得出背景信息、目標信息以及冷目標信息三種不同的區(qū)域特征，保留特征信息并對紅外與可見光圖像在YUV的彩色空間下進行偽彩色融合，得到偽彩色融合圖像后再利用給定的彩色參考圖像對其進行彩色傳遞及色彩增強處理，得到最終的融合圖像。此方法能夠使得最終的融合圖像具有更多的區(qū)域特征信息，并且保證了系統(tǒng)實時性的同時最大限度的提升了融合后圖像的色彩質(zhì)量。文檔編號G06T5/00GK101714251SQ200910201568公開日2010年5月26日申請日期2009年12月22日優(yōu)先權日2009年12月22日發(fā)明者劉剛,張楊,錢虹申請人:上海電力學院