一種多曝光圖像融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機(jī)視覺領(lǐng)域，尤其涉及一種多曝光圖像融合方法。
【背景技術(shù)】
[0002] 近幾年，計算機(jī)視覺領(lǐng)域中新興起了計算攝影（Computational Photography)的 研宄方向，其宗旨是克服成像和顯示設(shè)備的局限性，用計算技術(shù)為視覺世界生成內(nèi)容豐富、 逼真的圖像，符合人類視覺系統(tǒng)對客觀世界的感知。
[0003] 計算攝影是一個多學(xué)科交叉性很強(qiáng)的研宄領(lǐng)域，涉及計算機(jī)圖形學(xué)、計算機(jī)視覺、 圖像處理、視覺感知、光學(xué)和傳統(tǒng)攝影術(shù)等技術(shù)。其中的多曝光融合研宄已成為一個很重要 的課題?，F(xiàn)有照相及顯示器材的動態(tài)范圍（1〇 2)遠(yuǎn)低于真實(shí)場景的動態(tài)范圍（101°)。在高 動態(tài)范圍場景中，用數(shù)字照相機(jī)拍攝出來的照片或者局部曝光不足或者局部過度曝光，總 會造成某些局部細(xì)節(jié)信息丟失。通過對一組多曝光圖像序列進(jìn)行一定的處理（如利用曝光 時間恢復(fù)相機(jī)響應(yīng)函數(shù)），可以得到一幅高動態(tài)范圍圖像。但是，由于現(xiàn)有的顯示設(shè)備是低 動態(tài)范圍的，無法對高動態(tài)范圍圖像直接顯示，因此，還需要將得到的高動態(tài)范圍圖像進(jìn)行 動態(tài)范圍壓縮處理才能夠在設(shè)備上顯示出來，這樣的處理方式計算量一般很大。多曝光圖 像融合是針對這一問題所衍生的一個研宄方向，同樣是根據(jù)多曝光圖像序列，將來自不同 圖像的特征融合在一起，能夠生成具有細(xì)節(jié)豐富且對比度高的圖像，最終目標(biāo)是使生成的 結(jié)果圖像在被顯示后，人類所獲得的感知要和其置身于真實(shí)環(huán)境中獲得的一樣，即被觀察 圖像與真實(shí)場景不但展現(xiàn)的信息一致，而且給人類帶來的視覺感覺也要是一致的。用什么 樣的特征來描述一幅圖像的細(xì)節(jié)信息，是該領(lǐng)域要解決的關(guān)鍵問題之一。
[0004] 為了解決這個問題，研宄學(xué)者提出利用稀疏表示理論來描述圖像邊緣、方向等顯 著信息，在稀疏表示框架的基礎(chǔ)上，實(shí)現(xiàn)多曝光融合。稀疏表示理論最早由Mallat提出，其 基本思想是用稱之為字典的超完備的冗余函數(shù)系統(tǒng)取代非冗余的正交基函數(shù)，字典中的元 素被稱為原子，信號由原子的線性組合來表示。其中原子的數(shù)目比信號的維數(shù)大，由此產(chǎn)生 了冗余（稱為超完備性）。正是由于這種特性，有很多表示信號的方法，其中具有最少系數(shù) (最稀疏）的表示是最簡單的，也被認(rèn)為是最優(yōu)的一種表示方法。超完備稀疏表示理論能夠 使得很多圖像處理方法的性能得以改進(jìn)，主要得益于稀疏表示的兩點(diǎn)特性：字典的過完備 性和表達(dá)系數(shù)的稀疏性。過完備性保證了字典內(nèi)容更加豐富，其中超完備字典中的原子不 僅可以是傅立葉變換、小波變換，離散余弦變換、脊波（Ridgelet)、曲波（Curvelet)、帶波 (Bandelet)、輪廓波（Contourlet)等變換的基函數(shù)，還可以是這幾種變換基的任意組合以 適應(yīng)不同類型的待處理信號。另外，超完備字典還可以根據(jù)不同的圖像類型以及不同圖像 處理任務(wù)通過樣本學(xué)習(xí)得到。
[0005] 基于稀疏表示框架的多曝光融合過程，如圖1所示，不同曝光的圖像序列，經(jīng)過 "滑窗技術(shù)"處理并向量化后，構(gòu)成圖像塊矩陣，利用訓(xùn)練好的過完備字典，得到相應(yīng)的稀疏 系數(shù)表示，最后采用取最大融合規(guī)則獲得融合后系數(shù)，經(jīng)重構(gòu)后得到融合結(jié)果圖像。在該框 架中，由于"滑窗技術(shù)"依賴圖像的大小，目前通用相機(jī)獲取的圖像通常是高分辨率，圖像大 小一般很大，致使基于該框架的多曝光融合算法時間復(fù)雜度較高，從而限制了其應(yīng)用。

【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種結(jié)合多尺度分解和稀疏表示框 架的多曝光圖像融合方法。利用拉普拉斯金字塔分解，把圖像分解為高頻圖像和低頻圖像， 由于圖像的低頻信息能夠近似模擬原始圖像，并繼承原始圖像的一些屬性，如平均亮度及 紋理信息，并且相對于原始圖像，低頻圖像的大小大大降低，這樣再采用"滑窗技術(shù)"進(jìn)行融 合，可以大大降低時間復(fù)雜度。針對于高頻圖像，采用像素點(diǎn)的鄰域信息作為衡量標(biāo)準(zhǔn)，它 相對于僅根據(jù)單一獨(dú)立像素的簡單選擇（灰度極值法）或簡單加權(quán)的方式進(jìn)行圖像融合， 更加合理。針對一幅1024X768大小的圖像，在原始基于稀疏表示框架的融合的處理過程， 需要30多秒的處理時間，而采用本發(fā)明提出的多曝光圖像融合方法，處理過程需要不到10 秒。另外，由于高頻信息的處理機(jī)制，可以保留更多的邊緣信息。
[0007] 本發(fā)明的一種多曝光圖像融合方法，其特征在于，包括：多尺度分解步驟，對于兩 幅圖像，對兩幅圖像進(jìn)行包括低通濾波、降采樣、內(nèi)插值和帶通濾波的拉普拉斯金字塔分 解，把兩幅圖像分解為包括相同層數(shù)的頻率層的拉普拉斯金字塔，分別得到兩幅圖像的低 頻圖像和高頻圖像；低頻圖像融合步驟，采用室內(nèi)室外場景圖像的拉普拉斯低頻圖像作為 訓(xùn)練樣本，利用字典學(xué)習(xí)算法K-SVD生成字典矩陣，根據(jù)字典矩陣將兩幅圖像各自的低頻 圖像分成多個圖像塊，根據(jù)兩幅圖像各自相同位置的低頻圖像塊的稀疏系數(shù)向量及對應(yīng)的 加權(quán)因子，求出兩幅圖像各自相同位置的低頻圖像融合后的待重構(gòu)系數(shù)，多個待重構(gòu)系數(shù) 組成的融合后的系數(shù)矩陣，系數(shù)矩陣和字典矩陣相乘，獲得融合后的低頻圖像，其中所述加 權(quán)因子由稀疏系數(shù)向量的范數(shù)確定；高頻圖像融合步驟，計算兩幅圖像的高頻圖像之間的 匹配度，當(dāng)匹配度小于閾值時，選擇能量大的區(qū)域中心像素灰度值作為融合后圖像在對應(yīng) 區(qū)域上的中心點(diǎn)的灰度值，當(dāng)匹配度不小于閾值時，對高頻圖像采用加權(quán)平均的方式確定 融合后圖像在對應(yīng)區(qū)域上的中心點(diǎn)的灰度值，依次求得的各個中心點(diǎn)的灰度值作為融合后 的高頻圖像各個點(diǎn)的像素的灰度值，獲得融合后的高頻圖像；圖像重構(gòu)步驟，經(jīng)過了上述的 低頻圖像融合和高頻圖像融合步驟，得到一個融合后的拉普拉斯金字塔，對其進(jìn)行反變換 重構(gòu)圖像，得到兩幅圖像融合后的圖像。
[0008] 進(jìn)一步地，本發(fā)明的多曝光圖像融合方法，其特征在于，把兩幅圖像分解為包括相 同層數(shù)的頻率層的拉普拉斯金字塔時，層數(shù)是人工設(shè)定的。
[0009] 進(jìn)一步地，本發(fā)明的多曝光圖像融合方法，其特征在于，用N層高斯金字塔的每一 層圖像減去其上一層圖像，對結(jié)果進(jìn)行上采樣并作高斯卷積處理，便可得到N-I個差值圖 像，即為拉普拉斯金字塔的高頻圖像，N層高斯金字塔的頂層圖像為拉普拉斯金字塔的低頻 圖像。
[0010] 進(jìn)一步地，本發(fā)明的多曝光圖像融合方法，其特征在于，把兩幅圖像分解為包括相 同層數(shù)的頻率層的拉普拉斯金字塔時，層數(shù)為4,每