專利名稱：基于顏色查找表的雙波段視頻快速自然感彩色融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于顏色查找表的雙波段視頻快速自然感彩色融合方法，屬于彩 色夜視成像領(lǐng)域。
背景技術(shù)：
現(xiàn)代戰(zhàn)場偵察對目標(biāo)的探測和識別要求越來越高，戰(zhàn)場偽裝使得目標(biāo)的探測更加 困難。單波段的成像儀器已經(jīng)不能滿足戰(zhàn)場的需要。為了更有效的發(fā)現(xiàn)目標(biāo)，長波、中波紅 外熱像儀、可見光傳感器包括微光夜視儀都廣泛應(yīng)用于軍事領(lǐng)域。而多波段圖像融合技術(shù) 可以充分利用不同傳感器各自的優(yōu)勢，彌補單一傳感器的不足。由于人眼能分辨的顏色等 級是灰度等級的幾百倍，因此，在以人眼觀察為主的任務(wù)中，如直升機巡邏、車輛駕駛等，彩 色融合圖像更有利于場景的記憶，提高觀察者的反應(yīng)速度，增強對場景的印象。適于人眼感 知的多波段自然感彩色融合成像成為國內(nèi)外研究的重要方向。上世紀(jì)九十年代美國MIT林肯實驗室Waxman等基于對生物視覺特性增強波段內(nèi) 圖像對比度和波段間彩色對比度，提出了多種符合人眼視覺的微光和紅外圖像融合方法。 荷蘭TNO研究所的Toet等提出用局部最小算子確定微光與紅外圖像的共有和獨有成分并 增強特定細節(jié)的自然感彩色融合方法。2003年借鑒Reinhard等為校正彩色照片偏色所做 的處理，Toet等提出基于色彩傳遞的多波段圖像彩色融合方法，將白光彩色圖像的色彩傳 遞到顏色對比強烈的融合圖像中，明顯改善了圖像自然感。然而，多數(shù)自然感彩色融合方法 的運算量很大，對硬件的要求較高，不利于快速處理，限制了該方法在成像系統(tǒng)中的應(yīng)用。計算機科學(xué)中的查找表是一種以提取內(nèi)存數(shù)據(jù)代替復(fù)雜計算的數(shù)據(jù)結(jié)構(gòu)，而顏色 查找表則是多媒體技術(shù)中存儲和顯示彩色圖像時常用的數(shù)據(jù)結(jié)構(gòu)，通過圖像像素值索引顏 色查找表的顏色值，能減少空間占用、提高處理速度。彩色印刷、網(wǎng)頁編輯等技術(shù)經(jīng)常使用 顏色查找表。2008年Toet等曾用顏色查找表進行視頻融合，但他們建立顏色查找表時沒有 解決顏色查找表中某些像素沒有顏色值的問題，而且建立顏色查找表過程中沒有對圖像做 色彩傳遞處理；另外，他們的方法中同時采集的配準(zhǔn)視頻包括了夜視視頻和白天光照條件 的視頻，所以并不符合實際應(yīng)用場合。

發(fā)明內(nèi)容
本發(fā)明的目的是為解決現(xiàn)有技術(shù)中雙波段視頻的自然感彩色融合的實現(xiàn)速度較 低，以及融合視頻中同一景物在不同幀的顏色不穩(wěn)定的問題，提出一種基于顏色查找表的 雙波段視頻快速自然感彩色融合方法。本發(fā)明所述方法的設(shè)計原理為根據(jù)雙波段灰度圖像和用色彩傳遞方法得到的自 然感彩色圖像之間的像素灰度值和顏色值的對應(yīng)關(guān)系，初步建立二維顏色查找表；然后，按 像素間歐氏距離越接近顏色越相似的原則，進一步得到完整的顏色查找表；最后，使用該完 整顏色查找表進行雙波段視頻的快速自然感彩色融合，建立起實際應(yīng)用中有利于不同觀察 者感知場景的操作模式。
本發(fā)明的基于顏色查找表的雙波段視頻快速自然感彩色融合方法，包括如下步 驟步驟一、在同一時間點，分別從雙波段視頻中提取一幀圖像。首先采集經(jīng)光學(xué)配準(zhǔn)的兩個波段視頻，然后從得到的兩個視頻的同一時間點分別提取一幀圖像，從而得到兩幅配準(zhǔn)的灰度圖像，其目的是用于建立二維顏色查找表。步驟二、將步驟一得到的兩幀灰度圖像映射到RGB顏色空間，得到雙波段圖像的 假彩色融合圖像。首先新建一幅R、G、B三個顏色通道值全為0的RGB圖像，然后將步驟一得到的兩 幅灰度圖像分別映射到其中兩個顏色通道中，得到雙波段圖像的假彩色融合圖像。步驟三、對步驟二得到的假彩色融合圖像通過色彩傳遞處理進行自然感顏色校 正。為校正步驟二得到的假彩色融合圖像的整體色調(diào)，改善顏色飽和度，用預(yù)存的一 組白天光照下采集的自然感彩色圖像作參考圖像，將參考圖像的色彩分別傳遞給假彩色融 合圖像，得到一組色彩傳遞結(jié)果圖像，并由觀察者選取其中色彩自然感最佳的一幅。步驟四、建立不完整的二維顏色查找表。同時逐像素掃描步驟一得到的兩幅灰度圖像和步驟三得到的色彩自然感最佳的 色彩傳遞結(jié)果圖像，以得到的兩幅灰度圖像各像素灰度值分別作橫縱坐標(biāo)，以色彩傳遞結(jié) 果圖像對應(yīng)的與兩灰度圖像像素位置相同的像素的三個顏色值0 、6、8顏色值)作查找表 的取值，初步建立不完整的顏色查找表。步驟五、建立完整的二維顏色查找表。對于步驟四得到的不完整的二維顏色查找表中沒有顏色值的像素，將與其歐氏距 離最近的像素顏色均值賦值給它們，得到完整的二維顏色查找表。步驟六、用步驟五得到的完整二維顏色查找表進行雙波段視頻快速自然感彩色融
I=I O將步驟一中采集到的已配準(zhǔn)的雙波段視頻做如下的連續(xù)處理用雙波段視頻的各 幀圖像的各像素點灰度值，以在步驟四中所建立坐標(biāo)系為依據(jù)，查詢步驟五得到的二維顏 色查找表，確定出融合后對應(yīng)各像素的顏色值，從而快速獲得雙波段自然感彩色融合視頻。有益效果本發(fā)明在實現(xiàn)雙波段視頻自然感彩色融合時，相對于以往的基于生物視覺特性的 自然感彩色融合算法，以及基于色彩傳遞的自然感彩色融合算法具有以下優(yōu)勢(1)現(xiàn)有技術(shù)有的采用傳統(tǒng)方法對各幀圖像分別處理，有的雖應(yīng)用了顏色查找表 但建立顏色查找表的方式不符合實際應(yīng)用需求。本發(fā)明提出一種基于色彩傳遞處理建立二 維顏色查找表的方法，并通過二維顏色查找表給輸入視頻各幀圖像直接進行顏色賦值，算 法運行速度有大幅提升。(2)現(xiàn)有的圖像色彩傳遞處理技術(shù)在處理視頻的各幀圖像時，需分別計算各幀圖 像的三個顏色通道的均值和標(biāo)準(zhǔn)差，造成融合視頻中景物的顏色會隨著各幀圖像整體場景 的不同而變化。本發(fā)明基于顏色查找表的雙波段視頻快速自然感彩色融合方法中，因為同 一組灰度值輸入顏色查找表索引到的顏色值也相同，所以融合視頻中景物顏色的穩(wěn)定性明
顯改善。
(3)對人眼視覺特性的研究和實驗表明，人眼顏色視覺是視覺生理和心理共同作 用的結(jié)果，因此不同觀察者對某圖像或者視頻的色彩自然感程度會有不同的主觀評價。本 發(fā)明基于顏色查找表的雙波段視頻快速自然感彩色融合方法中，融合視頻色彩效果由觀察 者選定，這十分有利于觀察者對場景的感知，符合實際應(yīng)用中的操作模式。


圖1為本發(fā)明基于顏色查找表的雙波段視頻快速自然感彩色融合方法的流程圖；圖2為具體實施例中實際場景的假彩色融合效果圖；其中，(a)為長波紅外圖像、 (b)為可見光圖像、(c)為假彩色融合圖像；圖3為具體實施例中圖2中假彩色融合圖像的一組色彩傳遞結(jié)果圖像；
圖4為具體實施例中根據(jù)觀察者選擇建立的二維顏色查找表；圖5為具體實施例中基于圖4的二維顏色查找表的雙波段快速自然感彩色融合視 頻的其中四幀圖像；圖6為具體實施例中采用現(xiàn)有技術(shù)進行的雙波段自然感彩色融合視頻的其中四 幀圖像。
具體實施例方式本發(fā)明所提供的基于顏色查找表的雙波段視頻快速自然感彩色融合方法，與現(xiàn)有 技術(shù)相比，主要改進之處在于①采用一組參考圖像進行色彩傳遞處理，得到的一組結(jié)果圖像具有若干色彩效 果，可供用戶根據(jù)主觀判斷進行選擇，有利于場景感知，符合進一步實際應(yīng)用的操作模式。②初步建立顏色查找表時，采用觀察者選取的色彩傳遞結(jié)果圖像提供顏色值，而 不是采用與雙波段灰度圖像配準(zhǔn)的白天光照條件下采集的灰度圖像，降低了獲取輸入視頻 的難度，與實際應(yīng)用場合情況相符。③為解決查找表中顏色信息不完整的問題，根據(jù)像素距離越近顏色也應(yīng)越相似的 原則，將查找表中歐氏距離最近的像素顏色值賦值給沒有顏色值的像素，得到顏色信息完 整的顏色查找表。為了進一步說明本發(fā)明的目的和優(yōu)點，下面結(jié)合附圖和具體實施例對本發(fā)明作進 一步的說明。本實施例中采用長波紅外視頻與可見光視頻來進行基于顏色查找表的快速自然 感彩色融合。其具體實現(xiàn)過程包括如圖1所示的六個步驟步驟一、在同一時間點，分別從長波紅外視頻和可見光視頻中各提取一幀圖像。采集光學(xué)配準(zhǔn)的長波紅外與可見光兩路視頻，然后從得到的兩路視頻的同一時間 點分別提取一幀圖像，從而得到兩幅配準(zhǔn)的灰度圖像，即長波紅外波段圖像Iik和可見光波 段圖像Ivis。Iik和Ivis的各像素灰度值將作為二維顏色查找表的輸入。步驟二、將步驟一得到的長波紅外與可見光的兩幀灰度圖像Iik和Ivis映射到RGB 顏色空間，得到長波紅外與可見光圖像的假彩色融合圖像。長波紅外圖像動態(tài)范圍大，目標(biāo)與背景溫差大時對比度很好；可見光圖像高頻成 分多，能反映場景細節(jié)。為了使兩種圖像特征得以互補，假彩色融合時通常采用將長波紅外圖像映射到R顏色通道，將可見光送入G顏色通道，B顏色通道置零的方式。附圖2給出一 組實際場景的假彩色融合效果，其中(a)為長波紅外圖像，(b)為可見光圖像，(c)為假彩色 融合圖像。
步驟三、對步驟二得到的假彩色融合圖像通過色彩傳遞處理進行自然感顏色校 正。用多幅參考圖像分別對假彩色融合圖像進行色彩傳遞，獲得不同的傳遞目標(biāo)圖 像。由于色彩傳遞時只用到參考圖像在去相關(guān)對立色空間Ια β中各通道均值和標(biāo)準(zhǔn)差， 因此系統(tǒng)硬件中只需預(yù)存儲參考圖像的均值和標(biāo)準(zhǔn)差，選擇一定數(shù)量的典型參考圖像庫 (如山林、灌木、丘陵、沙漠、城鎮(zhèn)、海面以及藍天白云等)并不占用更多的存儲空間，進而可 保證不同環(huán)境的應(yīng)用要求。附圖3給出了利用參考圖像對附圖2 (c)做色彩傳遞所獲得的6幅傳遞結(jié)果圖像， 可以看出色彩傳遞的結(jié)果圖像與源圖像相比都更加鮮艷，飽和度也均有明顯改善，但是圖 像的色彩自然感有所差別。根據(jù)觀察者的視覺喜好，選擇其中一種色彩傳遞結(jié)果圖像效果， 本實施例選擇的是圖3(d)。步驟四、建立不完整的二維顏色查找表。根據(jù)輸入的雙波段圖像灰度值與選定的色彩傳遞結(jié)果圖像顏色值建立不完整的 二維顏色查找表，即長波紅外與可見光兩個波段圖像的灰度值對應(yīng)一個色彩傳遞結(jié)果圖像 顏色值。輸入的雙波段圖像為Iik和Ivis，經(jīng)彩色空間映射和色彩傳遞處理后得到觀察者認 可的傳遞結(jié)果Iteans,初步建立一個二維顏色查找表Ltl，具體方法是把Iik和Ivis各像素的灰 度值作為Ltl的橫、縱坐標(biāo)，將相同位置的Iik和Ivis灰度值所對應(yīng)Iteans在該位置的顏色值 (RGB值)作為Ltl的值，表達式寫為
L0 [Im (χ, γ), Ivis (χ, γ),1] = Itrans (χ, γ, 1)j L0 [Iir (χ, γ), Ivis (χ, γ), 2] = Itrans (χ, γ, 2)⑴
.L0 [Iir (χ, y\Ivis (x, y), 3] = Itrans ο, γ, 3)其中Xe {0,1,2, -,m-l},y e {0,1,2,…，η_1}，m、n 為圖像行列數(shù)。圖像 IIK、 Ivis的灰度及Itrans各顏色通道的取值均為W，255]，顏色查找表Ltl橫縱坐標(biāo)范圍均為W， 255]，最多可索引65536種顏色。步驟五、建立完整的二維顏色查找表。由于實際的雙波段視頻圖像通常不會占據(jù)全部灰度值，上述過程建立的其實是一 個不完整的二位顏色查找表。其一方面的原因為Iik和Ivis的灰度值集合包含于查找表的 坐標(biāo)值集合，即{[I1R(x,_y), Ivis ^)] } c , ^0) I ^0, ^0 G {0,1,2,..255}}(2)另一方面的原因為彩色融合圖像Itrans提供的數(shù)據(jù)不能覆蓋整幅顏色查找表，因 此查找表Ltl中會出現(xiàn)橫或豎線和若干間斷點。Ltl只給出了部分灰度與顏色之間的映射關(guān) 系，直接應(yīng)用于視頻融合會使某些幀的部分像素不能彩色化。對于不完整查找表的問題，我們根據(jù)“輸入灰度值越接近，輸出顏色應(yīng)越相似”的 原則，將歐氏距離最近的像素顏色賦值給Ltl中沒有顏色的像素，從而建立完整的顏色查找表。具體實現(xiàn)方法是以Ltl中R+G+B = O的像素為圓心，畫包含有顏色像素而且半徑最小的 圓，取圓上顏色均值作圓心的顏色值，遍歷Ltl后得到完整顏色查找表L，如附圖4。
步驟六、用步驟五得到的完整二維顏色查找表L對長波紅外和可見光視頻進行快 速自然感彩色融合。利用二維顏色查找表L直接對輸入的長波紅外和可見光雙路視頻進行顏色賦值， 即由同幀時雙波段視頻圖像的同坐標(biāo)像素點灰度值查詢完整的二維顏色查找表，確定出自 然感彩色融合后對應(yīng)像素的顏色值。附圖5給出了基于圖4的二維顏色查找表實際得到的 雙波段快速自然感彩色融合視頻序列中的4幀圖像。附圖6為采用現(xiàn)有技術(shù)對長波紅外和 可見光雙波段視頻進行色彩傳遞處理得到的4幀圖像，可以看出雖然4幀圖像整體色彩差 異不大，但第219幀的樹葉與其它三幀中的相同樹葉相比顏色偏紅，而第463幀的建筑物與 其它三幀中的相同建筑物相比顏色又較暗。與附圖6所示的處理效果對比可見，本發(fā)明基于顏色查找表的雙波段視頻快速自 然感彩色融合方法得到的融合視頻具有很好的色彩穩(wěn)定性，可避免傳統(tǒng)方法在場景變化 時，由于各幀假彩色圖像各通道均值Psc和標(biāo)準(zhǔn)差改變而產(chǎn)生的不同幀間同一景物 色彩不穩(wěn)定現(xiàn)象。由于二維顏色查找方式省去了對每幀圖像進行顏色空間變換與反變換、 Ια β通道的均值與標(biāo)準(zhǔn)差計算以及色彩傳遞計算等過程，因此，計算量明顯減少，可實現(xiàn) 實時雙通道自然感彩色融合處理。其中，本具體實施方式
中的步驟一在獲取配準(zhǔn)的雙波段視頻時，不僅可采集長波 紅外波段與可見光波段的灰度視頻，也可采集紫外、近紅外、中波紅外等波段的灰度視頻， 即可實現(xiàn)相應(yīng)的雙波段視頻快速自然感彩色融合。另外，為得到更多種效果的色彩傳遞結(jié) 果圖像，步驟二雙波段圖像映射到RGB空間時，可將長波紅外圖像和可見光圖像分別映射 到R和B通道或者G和B通道，還可改變灰度圖像與顏色通道的排列組合，以獲得不同的融 合色彩效果。以上所述的具體描述，對發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說 明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范 圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明 的保護范圍之內(nèi)。
權(quán)利要求
基于顏色查找表的雙波段視頻快速自然感彩色融合方法，其特征在于首先根據(jù)雙波段灰度圖像和用色彩傳遞方法得到的自然感彩色圖像之間的像素灰度值和顏色值的對應(yīng)關(guān)系，初步建立二維顏色查找表；然后，按像素間歐氏距離越接近顏色越相似的原則，進一步得到完整的顏色查找表；最后，使用該完整顏色查找表進行雙波段視頻的快速自然感彩色融合，建立起實際應(yīng)用中有利于不同觀察者感知場景的操作模式；具體包括如下步驟步驟一、在同一時間點，分別從雙波段視頻中提取一幀圖像；首先采集經(jīng)光學(xué)配準(zhǔn)的兩個波段視頻，然后從得到的兩個視頻的同一時間點分別提取一幀圖像，得到兩幅配準(zhǔn)的灰度圖像，用于建立二維顏色查找表；步驟二、將步驟一得到的兩幀灰度圖像映射到RGB顏色空間，得到雙波段圖像的假彩色融合圖像；首先新建一幅R、G、B三個顏色通道值全為0的RGB圖像，然后將步驟一得到的兩幅灰度圖像分別映射到其中兩個顏色通道中，得到雙波段圖像的假彩色融合圖像；步驟三、對步驟二得到的假彩色融合圖像通過色彩傳遞處理進行自然感顏色校正；為校正步驟二得到的假彩色融合圖像的整體色調(diào)，改善顏色飽和度，用預(yù)存的一組白天光照下采集的自然感彩色圖像作參考圖像，將參考圖像的色彩分別傳遞給假彩色融合圖像，得到一組色彩傳遞結(jié)果圖像，并由觀察者選取其中色彩自然感最佳的一幅；步驟四、建立不完整的二維顏色查找表；同時逐像素掃描步驟一得到的兩幅灰度圖像和步驟三得到的色彩自然感最佳的色彩傳遞結(jié)果圖像，以得到的兩幅灰度圖像各像素灰度值分別作橫縱坐標(biāo)，以色彩傳遞結(jié)果圖像對應(yīng)的與兩灰度圖像像素位置相同的像素的三個顏色值(R、G、B顏色值)作查找表的取值，初步建立不完整的顏色查找表；步驟五、建立二維顏色查找表；對于步驟四得到的不完整的二維顏色查找表中沒有顏色值的像素，將與其歐氏距離最近的像素顏色均值賦值給它們，得到完整的二維顏色查找表；步驟六、用步驟五得到的完整二維顏色查找表進行雙波段視頻快速自然感彩色融合將步驟一中采集到的已配準(zhǔn)的雙波段視頻做如下的連續(xù)處理用雙波段視頻的各幀圖像的各像素點灰度值，以在步驟四中所建立坐標(biāo)系為依據(jù)，查詢步驟五得到的二維顏色查找表，確定出融合后對應(yīng)各像素的顏色值，從而快速獲得雙波段自然感彩色融合視頻。
2.根據(jù)權(quán)利要求1所述的基于顏色查找表的雙波段視頻快速自然感彩色融合方法，其 特征在于二維顏色查找表基于色彩傳遞處理建立，并通過二維顏色查找表給輸入視頻各 幀圖像直接進行顏色賦值。
3.根據(jù)權(quán)利要求1所述的基于顏色查找表的雙波段視頻快速自然感彩色融合方法，其 特征在于融合視頻色彩效果由觀察者選定。
全文摘要
本發(fā)明涉及一種基于顏色查找表的雙波段視頻快速自然感彩色融合方法，屬于彩色夜視成像領(lǐng)域。該方法首先根據(jù)雙波段灰度圖像和用色彩傳遞方法得到的自然感彩色圖像之間的像素灰度值和顏色值的對應(yīng)關(guān)系，初步建立二維顏色查找表；然后，按像素間歐氏距離越接近顏色越相似的原則，進一步得到完整的顏色查找表；最后，使用該完整顏色查找表進行雙波段視頻的快速自然感彩色融合，建立起實際應(yīng)用中有利于不同觀察者感知場景的操作模式。本發(fā)明通過二維顏色查找表給輸入視頻各幀圖像直接進行顏色賦值，使算法運行速度大幅提升；融合視頻中景物顏色的穩(wěn)定性明顯改善。由于融合視頻色彩效果由觀察者選定，這十分有利于觀察者對場景的感知，符合實際應(yīng)用中的操作模式。
文檔編號H04N1/60GK101867685SQ20101020953
公開日2010年10月20日 申請日期2010年6月25日 優(yōu)先權(quán)日2010年6月25日
發(fā)明者史世明, 王嶺雪, 王霞, 趙源萌, 金偉其, 駱媛 申請人:北京理工大學(xué)