專利名稱：一種基于近紅外圖像輔助的圖像可見性增強方法
技術領域：
本發(fā)明涉及圖像視覺增強技術領域，特別涉及一種基于近紅外圖像輔助的圖像可見性增強方法。
背景技術：
目前，計算機視覺領域的系統(tǒng)和算法通常假設輸入圖像的采集環(huán)境為真空，即不考慮空氣中介質的影響，假設場景在光照作用下輻射出的光強度被拍攝系統(tǒng)完全記錄。但是，在實際情況中，上述假設通常并不成立，成像系統(tǒng)通常會受到一定程度的霧氣、雨、雪等的影響。當出現(xiàn)霧氣、雨、雪等天氣時，在成像中起主導作用的是復雜的水分子聚合體，介質對成像光纖的投射衰減及散射，使得上述惡劣天氣條件下的戶外采集圖像色彩降質、對比 度降低。針對上述問題，現(xiàn)有的對惡劣天氣條件下的圖像可見性增強的方法主要有兩種一種是利用多幅特殊拍攝的圖像，其又主要分為兩類，一類是獲取同一場景在不同天氣條件下的采集圖像，該方法僅適用于固定場景、固定相機，并且需要較長的圖像采集時間以出現(xiàn)天氣的變化，因此實際應用性弱，第二類是在采集設備前加上極化濾光片以獲取同一場景在不同極化條件下的兩幅圖像，該方法實現(xiàn)的前提假設是圖像中由于介質散射的部分具有極化性質、空氣光為部分偏振光且偏振度不隨距離而變化，但是該假設在實際成像中不一定成立，從而導致圖像增強效果并不理想。第二種圖像可見性增強的方法是基于單幅圖像進行可見性恢復與增強，這種方法具有較強的實用性，但是，由于單幅圖像包含的信息量很少，因此需要基于較強的假設或者先驗知識，例如，假設在晴朗天氣條件下的實際采集圖像具有很高的對比度，或者假設場景具有豐富的顏色信息等，但是，在一些實際應用中，如機場監(jiān)視等，采集的圖像只具有較少的紋理信息且色彩和空氣光顏色接近，不滿足上述假設，使得基于單幅圖像的增強效果不理想。此外，還有一種針對惡劣天氣條件的物理成像模型I=J t+A (l~t) , t=e-0 "z其中，I表示當前場景實際采集到的受惡劣天氣條件影響的圖像；J表示當前場景在晴朗天氣條件下對應的圖像，即不受霧等介質影響的成像結果；z是當前場景的深度信息邛是天氣情況的表征因子，P越大，對應天氣條件的霧越濃；t表示場景實際的輻射光線在空氣中受介質影響而衰減的情況，一般認為其隨深度呈指數(shù)變化，即t=e_e % 0〈t < I，深度越小，t越接近于1，表明當前采集圖像受介質的影響越小，場景表面直接輻射的光線就越多的直接傳遞到成像系統(tǒng)中；A表示空氣光的顏色，場景直接輻射出的光線由于受到空氣中介質的作用而發(fā)生散射，這一部分光線偏離原來的傳播路徑向各個方向分散，經霧滴的多次散射后，最終在成像模型中可以抽象為空氣光的作用，場景中的點距離成像平面越遠，該部分的作用就越強烈。要根據(jù)這個物理成像模型恢復原始的清晰圖像，就需要估計深度和空氣光。但是在實際的處理過程中，由于該問題的高欠定性，使得這兩個參數(shù)很難得到準確的估計。
近年來，近紅外圖像在計算機視覺及計算攝像學領域得到了廣泛的重視和發(fā)展，并取得了一定的研究成果?？梢姽獾牟ㄩL為400nm-700nm，而近紅外的波長為700nm-1100nm。由于波長的不同，二者的散射特性也明顯不同，特別是當光線傳輸介質為霧及其他污染物時，對近紅外的傳播影響很小，得到的近紅外圖像更為清晰，且對遠處的物體可以保留更多的細節(jié)。同時，云與天空的顏色在可見光圖像中是非常相似的，而在近紅外圖像中二者的對比度明顯增大。綜上所述，現(xiàn)有的圖像可見性增強研究結果并不十分理想。而在惡劣天氣條件下，近紅外圖像能夠不受大氣介質的影響，比可見光圖像采集到更多的場景細節(jié)信息，從而有利于輔助可見光圖像進行快速、有效的可見性增強。因此，如何利用近紅外圖像輔助進行圖像可見性增強是目前亟需解決的一個技術問題。

發(fā)明內容
本發(fā)明旨在至少解決現(xiàn)有技術中存在的技術問題，特別創(chuàng)新地提出了一種基于近 紅外圖像輔助的圖像可見性增強方法。為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于近紅外圖像輔助的圖像可見性增強方法，其包括如下步驟SI :獲取場景的可見光圖像和近紅外圖像對；S2 :將可見光圖像轉換到亮度-色度空間，對可見光圖像亮度信息和近紅外圖像進行多尺度邊緣保持分解；S3 :對可見光圖像亮度信息的大尺度信息層進行增強；S4 :根據(jù)近紅外圖像細節(jié)層信息增強可見光細節(jié)層的對比度；S5:將可見光圖像增強后的大尺度信息、細節(jié)信息及色度信息重新組合得到可見性增強結果。本發(fā)明的基于近紅外圖像輔助的圖像可見性增強方法利用近紅外圖像受大氣介質影響小，比可見光圖像采集到更多的場景細節(jié)信息的優(yōu)點，結合近紅外圖像中豐富的高頻細節(jié)信息和強對比度，對可見光圖像進行快速、有效的可見性增強。該方法無論圖像中是否存在空氣介質的影響，都可以在無人為誤差的情況下實現(xiàn)圖像增強，而不需要對場景深度和空氣光進行估計，從而使得采集的圖像能夠更好地服務于各種應用。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖I是本發(fā)明基于近紅外圖像輔助的圖像可見性增強方法的一種優(yōu)選實施方式的流程圖；圖2是本發(fā)明一種優(yōu)選實施方式中采用的混合相機采集系統(tǒng)；圖3是本發(fā)明一種優(yōu)選實施方式中獲取的場景在霧天條件下的可見光圖像和近紅外圖像對；
圖4是使用現(xiàn)有增強圖像可見性的方法對圖3中的可見光圖像進行增強后的結果圖；圖5是使用本發(fā)明圖I所示圖像可見性增強方法對圖3中的可見光圖像進行增強后的結果圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。本發(fā)明提出了一種基于近紅外圖像輔助的圖像可見性增強方法，該方法包括如下步驟
SI :獲取場景的可見光圖像和近紅外圖像對；S2 :將可見光圖像轉換到亮度-色度空間，對可見光圖像亮度信息和近紅外圖像進行多尺度邊緣保持分解；S3 :對可見光圖像亮度信息的大尺度信息層進行增強；S4 :根據(jù)近紅外圖像細節(jié)層信息增強可見光細節(jié)層的對比度；S5:將可見光圖像增強后的大尺度信息、細節(jié)信息及色度信息重新組合得到可見性增強結果。圖I是本發(fā)明基于近紅外圖像輔助的圖像可見性增強方法的一種優(yōu)選實施方式的流程圖，圖2是本發(fā)明一種優(yōu)選實施方式中采用的混合相機采集系統(tǒng)，混合相機采集系統(tǒng)包括可見光相機、近紅外相機和分光鏡。結合圖I和圖2所示，本發(fā)明圖像可見性增強方法具體包括如下步驟第一步獲取場景的可見光圖像和近紅外圖像對。具體方法是利用分光鏡將光線中的可見光和近紅外光分為兩路，分別由已校準的可見光相機和近紅外相機獲取，得到對 齊的場景可見光圖像和近紅外圖像對。第二步將可見光圖像轉換到亮度-色度空間，對可見光圖像亮度信息V和近紅外圖像N進行多尺度邊緣保持分解。具體包括如下步驟S21 :將可見光圖像轉換到亮度-色度空間，只對圖像的亮度信息V進行處理；；S22:對可見光圖像亮度信息和近紅外圖像分別應用多尺度邊緣保持分解，得到大尺度信息層和對應的細節(jié)層，可見光圖像亮度信息V和近紅外圖像N的大尺度信息層分別為IVb1Jk=,..n、{Nbk}k = ,..n，可見光圖像亮度信息V和近紅外圖像N的細節(jié)層分別為{Vdk}k
{Ndk}kM...n，計算公式為
( f r sjb Y r Sjb Y YIhk=XgmmYdi (1Ibt-1,)' +4-1 axj ^lJ^lJ ，
, Jb .Tb
1 k+S其中，在計算Ivb1JknmbJk=^n時，Ibk分別是 Ivb1Jk=HmbJk=^nt5 在計算 IVdJkH {du 時，Idk 分別為 IVdJk = U {Ndk}k. L..n0
n為級數(shù)，e為避免分母為零的小值常數(shù)，A為平衡系數(shù)，ax i，ay i為平滑系數(shù)，
權利要求
1.一種基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，包括如下步驟 51:獲取場景的可見光圖像和近紅外圖像對； 52:將可見光圖像轉換到亮度-色度空間，對可見光圖像亮度信息和近紅外圖像進行多尺度邊緣保持分解； 53:對可見光圖像亮度信息的大尺度信息層進行增強； 54:根據(jù)近紅外圖像細節(jié)層信息增強可見光細節(jié)層的對比度； S5:將可見光圖像增強后的大尺度信息、細節(jié)信息及色度信息重新組合得到可見性增強結果。
2.如權利要求I所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，在所述步驟SI中獲取場景的可見光圖像和近紅外圖像對的方法為利用分光鏡將可見光和近紅外分為兩路，分別由已校準的可見光相機和近紅外相機，獲取對齊的場景可見光圖像和近紅外圖像對。
3.如權利要求I所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，所述步驟S2包括如下步驟 521:將可見光圖像轉換到亮度-色度空間； 522:對可見光圖像亮度信息和近紅外圖像分別應用多尺度邊緣保持分解，得到大尺度信息層和對應的細節(jié)層。
4.如權利要求3所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，對所述可見光圖像亮度信息V和近紅外圖像N分別應用多尺度邊緣保持分解，得到大尺度信息層 IVbJk = Lf (NbJk = ^jP對應的細節(jié)層 IVd1Jk=H (NdJk = ^1JA公式為
5.如權利要求4所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，取級數(shù) n = 6, e =0. 0001。
6.如權利要求4所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，a的取值范圍為I. 2-2. O。
7.如權利要求4所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，參數(shù)入的取值為入k=入QX2k，其中，入。=0. I。
8.如權利要求I所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，在所述步驟S3中利用近紅外圖像的梯度約束和小波系數(shù)約束對大尺度信息進行增強。
9.如權利要求8所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，包括如下步驟 S31 :對可見光圖像亮度信息和近紅外圖像的大尺度信息層進行小波分解； S32:對小波分解得到的低頻分量求取梯度，根據(jù)近紅外圖像低頻分量梯度的分布情況，對可見光亮度的梯度進行直方圖匹配； 533:利用修正過的可見光亮度的梯度信息，由泊松重建得到對應的圖像； 534:對小波分解得到的高頻分量，由近紅外圖像的小波系數(shù)高頻分量取代； 535:將兩部分分量重新組合，由小波逆變換得到增強后的大尺度信息層。
10.如權利要求I所述的基于近紅外圖像輔助的圖像可見性增強方法，其特征在于，在所述步驟S4中在細節(jié)層由近紅外圖像細節(jié)增大圖像對比度的方法為由可見光細節(jié)層和近紅外細節(jié)層對應點的較大值作為可見光細節(jié)層像素點的更新值。
全文摘要
本發(fā)明提出了一種基于近紅外圖像輔助的圖像可見性增強方法，其包括如下步驟首先，獲取場景的可見光圖像和近紅外圖像對；然后，將可見光圖像轉換到亮度-色度空間，對可見光圖像亮度信息和近紅外圖像進行多尺度邊緣保持分解；再后，對大尺度信息層進行增強；隨后，根據(jù)近紅外圖像細節(jié)層信息增強可見光細節(jié)層的對比度；最后，將增強后的大尺度信息、細節(jié)信息及色度信息重新組合得到可見性增強結果。本發(fā)明的圖像可見性增強方法利用近紅外圖像受大氣介質影響小，比可見光圖像采集到更多的場景細節(jié)信息的優(yōu)點，結合近紅外圖像中豐富的高頻細節(jié)信息和強對比度，對可見光圖像進行快速、有效的可見性增強。
文檔編號G06T5/00GK102800059SQ20121023267
公開日2012年11月28日 申請日期2012年7月5日 優(yōu)先權日2012年7月5日
發(fā)明者戴瓊海, 李雯, 張軍, 索津莉 申請人:清華大學, 北京航空航天大學