一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法
【專利摘要】一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法，用于解決拍攝場景動態(tài)以及成像系統(tǒng)晃動影響的高動態(tài)范圍的圖像融合問題。其中，采用基于亮度映射函數(shù)標(biāo)定相機(jī)響應(yīng)函數(shù)的方法克服動態(tài)問題給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來的影響，然后結(jié)合總體最小二乘法引入校正矩陣，對誤差進(jìn)行聯(lián)合補(bǔ)償，從而無需高精度的圖像配準(zhǔn)即能夠獲得成像系統(tǒng)的相機(jī)響應(yīng)函數(shù)；進(jìn)而通過分析多曝光圖像序列特點選擇權(quán)重函數(shù)，結(jié)合標(biāo)定的相機(jī)響應(yīng)函數(shù)構(gòu)建高動態(tài)范圍圖像權(quán)重融合函數(shù)，利用輸入的多曝光圖像序列獲得高動態(tài)范圍圖像融合結(jié)果。本發(fā)明方法能夠克服動態(tài)問題給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來的困難，進(jìn)而提高了多曝光高動態(tài)范圍融合技術(shù)的適用性。
【專利說明】
一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種適用于解決拍攝場景動態(tài)以及成像系統(tǒng) 晃動影響的高動態(tài)范圍圖像融合方法。
【背景技術(shù)】
[0002] 現(xiàn)實環(huán)境及戰(zhàn)場環(huán)境中往往會出現(xiàn)動態(tài)范圍較大的場景，即同一視場中同時出現(xiàn) 較亮和較暗的信息。如果拍攝場景的動態(tài)范圍超過了成像器件的動態(tài)范圍，就會造成采集 的圖像出現(xiàn)過飽和或欠飽和的情況，從而影響目標(biāo)信息的采集及識別。如發(fā)射的導(dǎo)彈由于 尾焰過亮?xí)斐刹杉瘓D像飽和，從而無法看清彈體等現(xiàn)象，影響目標(biāo)的分析。因此，為了便 于目標(biāo)觀測，對觀測設(shè)備、發(fā)射時間窗口選取以及天氣環(huán)境等因素均提出了較高的要求。
[0003] 高動態(tài)范圍成像技術(shù)能夠避免因為拍攝方向（如逆光情況)和曝光量不足而使圖 像存在殼度?目息缺失和偏色等問題，不影響真實場景的?目息米集，有利于復(fù)雜環(huán)境下獲得 更高的成像質(zhì)量，因此被廣泛應(yīng)用于模式識別、智能交通系統(tǒng)、深空探測、視頻監(jiān)控跟蹤、機(jī) 器人視覺導(dǎo)航、工業(yè)檢測、遙感遙測、軍事監(jiān)視偵察以及武器導(dǎo)航制導(dǎo)等眾多領(lǐng)域，具有重 要的研究價值。
[0004] 成像系統(tǒng)的相機(jī)響應(yīng)函數(shù)能夠建立拍攝圖像強(qiáng)度信息與場景輻亮度之間的嚴(yán)格 映射關(guān)系，是高動態(tài)范圍圖像融合的關(guān)鍵技術(shù)，拍攝場景的動態(tài)以及成像系統(tǒng)的晃動也會 影響成像系統(tǒng)相機(jī)響應(yīng)函數(shù)的標(biāo)定，而多曝光圖像序列配準(zhǔn)很難達(dá)到較高的精度，從而給 動態(tài)目標(biāo)高精度的高動態(tài)范圍圖像融合帶來較大困難。
[0005] 目前已有的高動態(tài)范圍圖像融合方法主要是利用不同曝光量的已配準(zhǔn)的圖像序 列作為輸入，在已知圖像之間的曝光比例的情況下，建立了圖像各通道圖像強(qiáng)度信息與場 景輻照度之間的映射關(guān)系，從而獲得反映拍攝場景的高動態(tài)范圍圖像，但通常需要拍攝場 景保持靜態(tài)并假設(shè)圖像序列照度一致。例如2015年計算機(jī)工程與科學(xué)上的《基于相機(jī)響應(yīng) 曲線的高動態(tài)范圍圖像融合》一文，文中提出利用已配準(zhǔn)的多曝光圖像序列每個像素點的 信息標(biāo)定相機(jī)響應(yīng)函數(shù)，進(jìn)而利用相機(jī)響應(yīng)函數(shù)建立圖像亮度值與拍攝場景輻照度之間的 映射關(guān)系，從而獲得能夠反映拍攝場景高動態(tài)范圍的輻照度圖像。該算法需要精確配準(zhǔn)的 靜態(tài)場景多曝光量圖像序列作為輸入進(jìn)行相機(jī)響應(yīng)函數(shù)的標(biāo)定，當(dāng)拍攝場景存在動態(tài)問題 影響或相機(jī)晃動的情況下會給圖像配準(zhǔn)帶來較大困難，從而無法進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定， 也即該算法無法克服動態(tài)問題帶來的影響；而且，利用該算法獲得的高動態(tài)范圍圖像融合 存在偏色，需要結(jié)合相應(yīng)的色彩校正算法對輸出結(jié)果進(jìn)行白平衡。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明解決的技術(shù)問題是：克服現(xiàn)有技術(shù)的不足，提供了一種克服動態(tài)問題影響 的高動態(tài)范圍圖像融合方法，能夠利用彩色圖像各顏色通道的亮度統(tǒng)計特征獲得亮度映射 函數(shù)，從而克服動態(tài)問題影響完成相機(jī)響應(yīng)函數(shù)的標(biāo)定，進(jìn)而結(jié)合輸入圖像序列特征構(gòu)建 權(quán)重融合函數(shù)進(jìn)行高動態(tài)范圍的圖像融合。
[0007] 本發(fā)明的技術(shù)解決方案是:一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方 法，包括如下步驟：
[0008] (1)利用相機(jī)獲得目標(biāo)不同曝光量的曝光圖像序列；
[0009] (2)根據(jù)目標(biāo)的曝光圖像序列，獲取圖像的亮度映射函數(shù)T(m)，具體為：
[0010] (21)將曝光圖像序列按曝光量從低到高進(jìn)行排列，然后從第一幀圖像開始每兩幀 圖像組成一個輸入圖像對；
[0011] (22)針對每一個輸入圖像對，獲得該輸入圖像對中兩幀圖像各顏色通道的亮度信 息的累積直方圖；
[0012] (23)利用輸入圖像對的兩幀圖像各顏色通道亮度信息的累積直方圖，計算兩幀圖 像各顏色通道之間的亮度映射函數(shù)T(m)，
[0013]
[0014] 其中m為亮度值，HA(m)為輸入圖像對中的第一幀圖像的某顏色通道亮度值為m的 累積直方圖函數(shù)，/Y^(W)為輸入圖像對中的第二幀圖像的對應(yīng)顏色通道亮度值為m的累積 直方圖逆函數(shù)；
[0015] (3)利用亮度映射函數(shù)T(m)對相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定，獲得相機(jī)響應(yīng)逆函數(shù)的近 似表達(dá)式g;
[0016] (4)結(jié)合相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g及曝光圖像序列曝光時間信息△ t構(gòu)建圖 像權(quán)重融合函數(shù)，獲得彩色圖像各顏色通道的輻照度信息，從而獲得反映拍攝場景信息 的高動態(tài)范圍圖像。
[0017] 所述的圖像權(quán)重融合函數(shù)^為：
[0018]
[0019] 式中i為圖像中像素點的空間索引，j為曝光圖像序列中的圖像索引，Mij為輸入曝 光圖像序列中第j幀圖像上像素點i的亮度信息，w為三角帽權(quán)值函數(shù)，為曝光圖像序列 中第j幀圖像的曝光時間，P為曝光圖像序列中的圖像總幀數(shù)。
[0020] 所述步驟(3)中獲得相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g的方法為：
[0021] (31)獲取兩幀不同曝光量圖像對應(yīng)關(guān)系如下：
[0022] g(T(MA)) =kg(MA)
[0023] 其中Μα圖像A上被估計的像素點的圖像亮度信息，T是圖像B和圖像A之間的亮度傳 遞函數(shù)，k是兩幀不同曝光量圖像中圖像A和圖像B之間的曝光比；
[0024] (32)加入權(quán)重函數(shù)，將步驟(31)的結(jié)果修改為：
[0025]
[0026] 其中Ca是第一幀圖像A中亮度值為Μα的像素個數(shù)，Cb是第二幀圖像B中亮度值為Mb 的像素個數(shù)；
[0027] (33)利用多項式對相機(jī)響應(yīng)逆函數(shù)進(jìn)行建模，將不同輸入圖像對獲得的亮度傳遞 函數(shù)以及相機(jī)響應(yīng)逆函數(shù)多項式代入步驟(32)的表達(dá)式中獲得一組超定方程；
[0028] (34)利用總體最小二乘法求解所述的超定方程，獲得相機(jī)響應(yīng)逆函數(shù)的模型系 數(shù)，由此得到相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g。
[0029] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：
[0030] (1)本發(fā)明根據(jù)圖像亮度信息的統(tǒng)計特征，提出了基于累積直方圖建模的亮度映 射函數(shù)計算方法，進(jìn)而利用亮度映射函數(shù)而不是圖像各像素點信息進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo) 定，從而克服了拍攝場景動態(tài)問題以及成像系統(tǒng)的晃動給相機(jī)響應(yīng)函數(shù)標(biāo)定帶來的困難， 同時降低了相機(jī)響應(yīng)函數(shù)標(biāo)定算法方計算量，提高了計算效率；
[0031] (2)本發(fā)明利用總體最小二乘法求解相機(jī)響應(yīng)逆函數(shù)標(biāo)定模型系數(shù)，由于總體最 小二乘法引入校正矩陣對存在的誤差進(jìn)行聯(lián)合補(bǔ)償，抑制了誤差及噪聲對矩陣方程求解的 影響，能夠獲得更高精度的相機(jī)響應(yīng)函數(shù)標(biāo)定結(jié)果；
[0032] (3)本發(fā)明利用三角帽函數(shù)作為權(quán)重，結(jié)合標(biāo)定的相機(jī)響應(yīng)函數(shù)共同構(gòu)建高動態(tài) 范圍融合權(quán)重函數(shù)，可有效的提取輸入不同曝光量圖像序列中的有效信息，從而有效避免 高動態(tài)范圍圖像融合產(chǎn)生偏色的問題；
[0033] (4)本發(fā)明利用亮度映射函數(shù)標(biāo)定的相機(jī)響應(yīng)函數(shù)進(jìn)行高動態(tài)圖像融合，由于利 用的是圖像亮度值的統(tǒng)計特征而不是各像素點的信息，因此能夠消除高精度相機(jī)響應(yīng)函數(shù) 標(biāo)定對輸入圖像序列絕對空間一致的要求，從而克服場景動態(tài)問題以及成像系統(tǒng)自身晃動 帶來的影響，提升了高動態(tài)范圍圖像融合技術(shù)的應(yīng)用范圍。
【附圖說明】
[0034]圖1為本發(fā)明方法的流程框圖；
[0035]圖2為本發(fā)明拍攝的存在相機(jī)晃動的多曝光圖像序列；
[0036]圖3為本發(fā)明利用不同輸入圖像對獲得的亮度映射函數(shù)；
[0037] 圖4為本發(fā)明標(biāo)定的相機(jī)響應(yīng)逆函數(shù)結(jié)果；
[0038] 圖5為本發(fā)明高動態(tài)范圍圖像融合結(jié)果。
【具體實施方式】
[0039] 本發(fā)明方法的基本思想是：由于拍攝目標(biāo)光照條件不變的條件下，針對拍攝場景 中某一點，比其亮與比其暗的像素點個數(shù)比例是恒定的，基本不受成像系統(tǒng)晃動的影響，即 場景的動態(tài)問題影響不會明顯的改變圖像亮度信息的統(tǒng)計特征，場景輻亮度的總體直方圖 基本保持恒定。所以可利用不同曝光量的圖像通過累積直方圖規(guī)則化對輸入圖像對進(jìn)行直 方圖建模以獲得圖像之間的亮度映射函數(shù)，然后結(jié)合總體最小二乘法引入校正矩陣對誤差 進(jìn)行聯(lián)合補(bǔ)償，從而能夠利用亮度映射函數(shù)而非采集序列圖像每個像素點的信息實現(xiàn)成像 系統(tǒng)的高精度相機(jī)響應(yīng)函數(shù)標(biāo)定，進(jìn)而分析輸入的多曝光圖像序列特征，選擇合適的權(quán)重 函數(shù)結(jié)合標(biāo)定的相機(jī)響應(yīng)逆函數(shù)構(gòu)建高動態(tài)范圍圖像融合權(quán)重函數(shù)，最終獲得拍攝目標(biāo)的 高動態(tài)范圍圖像。這種處理方式能夠消除高精度相機(jī)響應(yīng)函數(shù)標(biāo)定對輸入圖像序列絕對空 間一致的要求，克服拍攝目標(biāo)的動態(tài)問題以及成像系統(tǒng)的晃動帶來的影響，同時降低計算 量，擴(kuò)展高動態(tài)范圍圖像融合的應(yīng)用范圍。
[0040] 如圖1所示，為本發(fā)明方法的流程框圖，主要包括如下幾個步驟：
[0041 ] (1)根據(jù)拍攝目標(biāo)特點，獲得目標(biāo)多曝光圖像序列；
[0042] 首先利用相機(jī)根據(jù)拍攝場景目標(biāo)需求，進(jìn)行相應(yīng)的不同曝光量設(shè)置，采集目標(biāo)的 多曝光圖像序列，曝光量由低到高為...，EP。
[0043] 假設(shè)f表示相機(jī)響應(yīng)函數(shù)，利用相機(jī)響應(yīng)函數(shù)f表示場景輻照度值I對應(yīng)采集圖像 上亮度值Μ的關(guān)系，如下所示：
[0044] M = f(I)
[0045] 根據(jù)相機(jī)響應(yīng)函數(shù)的單調(diào)性，存在反函數(shù)8 = = =
[0046] 針對同一場景拍攝的兩幀不同曝光量圖像對應(yīng)輻照度之間的映射關(guān)系如下所示：
[0047] g(mB)=kg(mA)
[0048] 式中mA是圖像A上被估計的像素點的圖像亮度信息，mB是圖像B上對應(yīng)點的亮度信 息，k是圖像A和圖像B之間的曝光比。
[0049] (2)根據(jù)目標(biāo)多曝光序列圖像，獲取圖像的亮度映射函數(shù)。
[0050] 該步驟又包括以下幾個步驟：
[0051] (21)根據(jù)曝光量將圖像序列分為每兩幀圖像組成的多組輸入圖像對。
[0052] 將輸入圖像序列按曝光量從低到高進(jìn)行排列，即E^Es，...，EP，由第一幀圖像開始 依次每兩幀圖像組成輸入圖像對(Ei，E 2)，. . .，（En，EP)。
[0053] (22)針對每一組輸入圖像對，獲得該兩幀圖像各顏色通道亮度統(tǒng)計特征信息； [0054]適當(dāng)?shù)哪繕?biāo)以及場景運動的情況下，場景輻亮度的總體直方圖基本保持恒定，因 此可利用不同曝光的圖像通過累積直方圖規(guī)則化對輸入圖像進(jìn)行直方圖建模，獲得圖像對 之間的亮度映射函數(shù)。
[0055] 假設(shè)輸入圖像的各顏色通道亮度信息對應(yīng)的直方圖沒有空缺部分，彩色圖像的各 顏色通道(分別為紅綠藍(lán)）的累積直方圖Hr(M)、Hg(M)及Hb(M)如下所示：
[0056]
[0057]式中Μ是圖像各顏色通道累積直方圖的最高亮度值，m是累積直方圖對應(yīng)亮度范圍 中的亮度信息，hR(m)、hc(m)以及hB(m)分別為紅綠藍(lán)三個顏色通道的直方圖。
[0058] (23)利用輸入圖像對的各顏色通道亮度信息的累積直方圖規(guī)則化計算兩幀圖像 各顏色通道之間的亮度映射函數(shù)。
[0059] 由于拍攝目標(biāo)光照條件不變的條件下，針對拍攝場景中某一點，比其亮與比其暗 的像素點個數(shù)比例是恒定的，基本不受成像系統(tǒng)晃動的影響。根據(jù)該性質(zhì)假設(shè)輸入的兩幀 圖像是在沒有大幅度相機(jī)晃動或場景變化的情況下獲得的，以圖像紅色通道為例，利用紅 色通道的亮度映射函數(shù)T建立輸入圖像對中的第二幀圖像紅色通道的亮度值Mb與第一幀圖 像中紅色通道的亮度值Μα的對應(yīng)關(guān)系，即Mb = T(Ma)。由于它們對應(yīng)于拍攝場景中相同的點， 第一幀圖像中亮度值小于Μα的像素點數(shù)目與第二幀圖像中亮度值小于Mb的像素點數(shù)目應(yīng)相 等，可利用累積直方圖表示，即Hra(Ma) =Hrb(Mb) =Hrb(T(Ma))。令MA=m，則：
[0060]
[0061 ]式中Tr為兩幀圖像之間紅色通道的亮度映射函數(shù)，Hra為第一幀圖像紅色通道的累 積直方圖，Hrb為第二幀圖像紅色通道的累積直方圖。
[0062]彩色圖像各顏色通道的亮度映射函數(shù)T可通過上式結(jié)合輸入圖像的累積直方圖獲 得。
[0063] (3)利用亮度映射函數(shù)對成像系統(tǒng)的相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定，建立成像系統(tǒng)的相 機(jī)響應(yīng)逆函數(shù)標(biāo)定模型；利用總體最小二乘法對相機(jī)響應(yīng)逆函數(shù)標(biāo)定模型系數(shù)進(jìn)行求解， 從而獲得成像系統(tǒng)的相機(jī)響應(yīng)逆函數(shù)。具體又分為如下步驟：
[0064] (31)將獲得的表述兩幀圖像對應(yīng)像素點亮度值之間關(guān)系的亮度映射函數(shù)Mb = T (Ma) : =g4(kg(MA))帶入g(mB)=kg(mA)，得到兩幀不同曝光量圖像對應(yīng)關(guān)系如下：
[0065] g(T(MA)) =kg(MA)
[0066] (32)加入權(quán)重函數(shù)。
[0067]用于計算圖像之間亮度傳遞函數(shù)的兩幀圖像的累積直方圖Ha和Hb并不是一致的， 這意味著任意一個顏色通道的亮度值對應(yīng)的亮度傳遞函數(shù)依賴于圖像中該亮度值對應(yīng)的 像素數(shù)目，因此需要對約束方程g(T(M A)) =kg(MA)加入相應(yīng)權(quán)重以提高相機(jī)響應(yīng)函數(shù)標(biāo)定 精度并克服相機(jī)響應(yīng)函數(shù)的分形自相似性。
[0068] 對于映射對(Ma，T(Ma))而言，hA(MA)=CA是第一幀圖像A中亮度值為Μα的像素個數(shù)， hB(Mb) = hB(T(Ma) ) = CB是第二幀圖像Β中亮度值為Mb的像素個數(shù)。為了求解后續(xù)的最小二乘 問題，將不同曝光量圖像結(jié)合相機(jī)響應(yīng)函數(shù)及相應(yīng)的約束權(quán)重得到：
[0069]
[0070] 由于直接在方程兩端乘以相應(yīng)的直方圖權(quán)重，過大的權(quán)重差異會造成方程結(jié)果震 蕩，給結(jié)果帶來較大的誤差，所以對直方圖進(jìn)行開根號處理降低兩端權(quán)重差異，從而獲得穩(wěn) 定的求解結(jié)果。
[0071] (33)建立相機(jī)響應(yīng)逆函數(shù)超定方程，并利用總體最小二乘法求解相機(jī)響應(yīng)逆函 數(shù)。
[0072] 可以利用六階多項式對相機(jī)響應(yīng)函數(shù)進(jìn)行建模，如下所示：
[0073] g=m〇+mix+m2X2+m3X3+m4X4+m5X 5+m6X6
[0074] 將不同輸入圖像對獲得的亮度傳遞函數(shù)結(jié)合相機(jī)響應(yīng)函數(shù)六階多項式模型帶入 另
慶得一組超定方程如下所示：
[0075]
[0076] 由于總體最小二乘法相較于最小二乘法能夠?qū)崿F(xiàn)對誤差的聯(lián)合補(bǔ)償，從而能夠抑 制誤差及噪聲對矩陣方程求解的影響，從而精確地求解系數(shù){πιο,πη，...，m 6}，獲得相機(jī)響應(yīng) 逆函數(shù)的近似表達(dá)式g。
[0077] (331)相機(jī)響應(yīng)逆函數(shù)超定方程模型線性化。
[0078] 利用變量代換法將相機(jī)響應(yīng)逆函數(shù)標(biāo)定的超定方程模型進(jìn)行簡化處理，如下所 示：
[0079]
[0080]
[0081]
[0082] (332)獲得零均值的數(shù)據(jù)矩陣。
[0083]
[0084] 式中
A為構(gòu)建的 零均值數(shù)據(jù)矩陣。
[0085] (333)求解相機(jī)響應(yīng)逆函數(shù)模型系數(shù)。
[0086] 對ATA進(jìn)行特征值分解如下所示：
[0087]
[0088] 式中〇〇>〇1>.">〇6為特征值，Ul，U2，…，U6為特征值對應(yīng)的特征向量。
[0089] 則相機(jī)響應(yīng)逆函數(shù)模型系數(shù)[mo mi ... m6]T向量取特征值〇6對應(yīng)的特征向量，即：
[0090] [m0 mi · · · m6]T=U6T
[0091 ]將此參數(shù)進(jìn)行代入劉姐相機(jī)響應(yīng)逆函數(shù)模型，從而實現(xiàn)相機(jī)響應(yīng)逆函數(shù)的標(biāo)定。
[0092] (4)利用標(biāo)定的成像系統(tǒng)的相機(jī)響應(yīng)逆函數(shù)建立彩色圖像各顏色通道亮度信息與 拍攝場景輻照度信息之間的映射關(guān)系，針對多曝光圖像序列特點構(gòu)建高動態(tài)范圍圖像權(quán)重 融合函數(shù)進(jìn)行高動態(tài)范圍圖像融合。
[0093] 相機(jī)響應(yīng)逆函數(shù)是闡述亮度信息與能夠反映真實拍攝信息的輻照度之間的映射 關(guān)系的。通過將彩色圖像分解為不同的顏色通道，分別對不同的顏色通道中的亮度信息通 過相應(yīng)的相機(jī)響應(yīng)逆函數(shù)進(jìn)行映射。對于動態(tài)范圍較大的拍攝場景，一幀低動態(tài)范圍圖像 無法完全反映拍攝場景包含的信息，但通過調(diào)節(jié)成像系統(tǒng)的曝光量，可獲得多曝光圖像序 列，每一幀不同曝光量的圖像中包含不同的動態(tài)范圍信息。所以可通過利用相機(jī)響應(yīng)逆函 數(shù)構(gòu)建高動態(tài)范圍融合權(quán)重函數(shù)結(jié)合輸入多曝光圖像序列實現(xiàn)高動態(tài)范圍圖像融合。 [0094] (41)選擇權(quán)重函數(shù)。
[0095] 高動態(tài)范圍圖像融合中權(quán)重函數(shù)的選取應(yīng)弱化欠曝光以及過飽和部分包含信息 量少的區(qū)域，強(qiáng)化曝光量合適的部分，即能夠有效表達(dá)圖像信息的部分，為此采用三角帽函 數(shù)作為權(quán)重函數(shù)：
[0096]
[0097]式中w(M)為亮度值Μ的三角帽權(quán)重函數(shù)值，Mmin為輸入圖像特定顏色通道最小亮度 值，Mmax為輸入圖像同一特定顏色通道最大亮度值。
[0098] (42)構(gòu)建高動態(tài)范圍圖像融合權(quán)重函數(shù)。
[0099]針對彩色圖像序列，將序列中的每一幀圖像分解為R、G、B三個顏色通道，分別對各 顏色通道的亮度信息進(jìn)行處理。由于相機(jī)響應(yīng)逆函數(shù)能夠獲得亮度信息與輻照度信息之間 的映射關(guān)系，但每一幀圖像的亮度信息由于其曝光量不同，所包含的有效信息不同，需要利 用選擇的權(quán)重函數(shù)對每一幀圖像中各像素點的亮度信息進(jìn)行加權(quán)融合，同時考慮各幀圖像 不同曝光量的影響，構(gòu)建高動態(tài)范圍圖像融合權(quán)重函數(shù)如下所示：
[0100]
[0101]式中i為圖像中像素點的空間索引，j為圖像序列中的圖像索引，g為標(biāo)定的相機(jī)響 應(yīng)逆函數(shù)，Mi j為輸入多曝光圖像序列中第j幀圖像上像素點i的亮度信息，w為三角帽權(quán)值函 數(shù)，Atj為圖像序列中第j幀圖像曝光時間。
[0102]上式即為構(gòu)建的高動態(tài)范圍圖像權(quán)重融合函數(shù)，通過多曝光圖像序列中對應(yīng)空間 位置像素點的亮度信息獲得的相應(yīng)權(quán)重以及相機(jī)響應(yīng)逆函數(shù)映射值，結(jié)合相應(yīng)輸入幀圖像 的曝光時間代入上式，即能夠獲得拍攝場景對應(yīng)點的輻照度信息。
[0103 ] (43)獲得拍攝場景的高動態(tài)范圍圖像。
[0104] 獲得彩色圖像R、G、B各顏色通道的亮度信息，結(jié)合標(biāo)定的相機(jī)響應(yīng)逆函數(shù)以及構(gòu) 建的高動態(tài)范圍圖像權(quán)重融合函數(shù)，針對每一個顏色通道亮度信息進(jìn)行逆映射，獲得相應(yīng) 顏色通道的輻照度信息，即能夠獲得通過單幀圖像反映拍攝場景豐富信息的高動態(tài)范圍圖 像。
[0105] (431)獲得彩色圖像各顏色通道的亮度信息。
[0106] (432)通過多曝光輸入圖像序列中對應(yīng)空間位置像素點的亮度信息獲得的相應(yīng)權(quán) 重以及相機(jī)響應(yīng)逆函數(shù)映射值，結(jié)合相應(yīng)輸入幀圖像的曝光時間代入(42)中構(gòu)建的高動態(tài) 范圍圖像權(quán)重融合函數(shù)，即能夠獲得拍攝場景對應(yīng)點的輻照度信息。
[0107] (433)分別獲得各顏色通道的輻照度信息，即獲得需要的反映拍攝場景高動態(tài)范 圍的RGB顏色模型高動態(tài)范圍圖像。
[0108] 實施例
[0109] 下面以一個具體實例對本發(fā)明方法的工作原理和過程作進(jìn)一步說明。
[0110] (1)獲得目標(biāo)多曝光圖像序列。利用佳能D90相機(jī)獲得的一組含有成像系統(tǒng)晃動的 目標(biāo)多曝光序列圖像如圖2所示，成像系統(tǒng)晃動給圖像之間帶來的影響不超過五個像素。圖 2中，圖2(a)的曝光時間為Ι/lOs，圖2(b)的曝光時間為l/5s，圖2(c)的曝光時間為l/2s，圖2 (d)的曝光時間為0.77s，圖2(e)的曝光時間為2s，圖2(f)的曝光時間為5s，圖2(g)的曝光時 間為8s，圖2(h)的曝光時間為13s。
[0111] (2)分解彩色圖像。將獲得的目標(biāo)多曝光彩色圖像按照R、G、B顏色通道進(jìn)行分解， 獲得各顏色通道的亮度信息。
[0112] (3)從序列圖像中選取圖像對獲得亮度映射函數(shù)，選取圖2(a)和圖2(b)、圖2(c)和 圖2(d)、圖2(e)和圖2(f)、圖2(g)和圖2(h)組成四組圖像對，分別獲得四組圖像對各顏色通 道相應(yīng)的亮度傳遞函數(shù)曲線如圖3所示。圖3(a)、圖3(b)、圖3(c)分別為紅色通道、綠色通 道、藍(lán)色通道不同輸入圖像對的亮度映射函數(shù)。
[0113] (4)利用亮度傳遞函數(shù)進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定，相機(jī)響應(yīng)逆函數(shù)標(biāo)定結(jié)果如圖4所 不。
[0114] 利用均方根誤差對存在動態(tài)問題影響條件下的相機(jī)響應(yīng)函數(shù)標(biāo)定結(jié)果進(jìn)行定量 的評價，同時采用目前成熟的Debevec和Malik提出的相機(jī)響應(yīng)標(biāo)定算法對相同的輸入圖像 進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo)定，對比結(jié)果如下表所示：
[0115]
[0116] 通過均方根誤差可以觀察到，針對存在動態(tài)問題影響到的圖像序列進(jìn)行相機(jī)響應(yīng) 函數(shù)標(biāo)定，基于亮度映射函數(shù)的相機(jī)響應(yīng)函數(shù)標(biāo)定方法仍然能夠獲得較為理想的標(biāo)定結(jié) 果，而Debevec和Malik提出算法無法對存在動態(tài)問題影響的輸入圖像進(jìn)行相機(jī)響應(yīng)函數(shù)標(biāo) 定。
[0117] (5)利用圖2中多曝光輸入圖像序列結(jié)合構(gòu)建的高動態(tài)范圍圖像權(quán)重融合函數(shù)進(jìn) 行高動態(tài)范圍圖像融合，結(jié)果如圖5所示。
[0118] 從實驗結(jié)果可以看出，在同一幀結(jié)果圖像中易于過曝光的照明燈處以及易于欠曝 光無法觀察的辦公桌下陰暗處均能在同一幀結(jié)果圖像中得以顯示，且克服了相機(jī)晃動帶來 的影響，從而實現(xiàn)了高動態(tài)范圍的圖像融合。
[0119] 本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬本領(lǐng)域技術(shù)人員的公知技術(shù)。
【主權(quán)項】
1. 一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法，其特征在于包括如下步 驟： (1) 利用相機(jī)獲得目標(biāo)不同曝光量的曝光圖像序列； (2) 根據(jù)目標(biāo)的曝光圖像序列，獲取圖像的亮度映射函數(shù)T(m)，具體為： (21) 將曝光圖像序列按曝光量從低到高進(jìn)行排列，然后從第一幀圖像開始每兩幀圖像 組成一個輸入圖像對； (22) 針對每一個輸入圖像對，獲得該輸入圖像對中兩幀圖像各顏色通道的亮度信息的 累積直方圖； (23) 利用輸入圖像對的兩幀圖像各顏色通道亮度信息的累積直方圖，計算兩幀圖像各 顏色通道之間的亮度映射函數(shù)T(m)，其中m為亮度值，HA(m)為輸入圖像對中的第一幀圖像的某顏色通道亮度值為m的累積直 方圖函數(shù)，為輸入圖像對中的第二幀圖像的對應(yīng)顏色通道亮度值為m的累積直方圖 逆函數(shù)； (3) 利用亮度映射函數(shù)T(m)對相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定，獲得相機(jī)響應(yīng)逆函數(shù)的近似表 達(dá)式g; (4) 結(jié)合相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g及曝光圖像序列曝光時間信息△ t構(gòu)建圖像權(quán) 重融合函數(shù)I1，獲得彩色圖像各顏色通道的輻照度信息，從而獲得反映拍攝場景信息的高 動態(tài)范圍圖像。2. 根據(jù)權(quán)利要求1所述的一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法，其 特征在于:所述的圖像權(quán)重融合函數(shù)I1S:式中i為圖像中像素點的空間索引，j為曝光圖像序列中的圖像索引，M1偽輸入曝光圖 像序列中第j幀圖像上像素點i的亮度信息，w為三角帽權(quán)值函數(shù)，△ tj為曝光圖像序列中第 j幀圖像的曝光時間，P為曝光圖像序列中的圖像總幀數(shù)。3. 根據(jù)權(quán)利要求1或2所述的一種用于克服動態(tài)問題影響的高動態(tài)范圍圖像融合方法， 其特征在于:所述步驟(3)中獲得相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g的方法為： (31) 獲取兩幀不同曝光量圖像對應(yīng)關(guān)系如下： g(T (Ma))= kg (Ma) 其中Ma圖像A上被估計的像素點的圖像亮度信息，T是圖像B和圖像A之間的亮度傳遞函 數(shù)，k是兩幀不同曝光量圖像中圖像A和圖像B之間的曝光比； (32) 加入權(quán)重函數(shù)，將步驟(31)的結(jié)果修改為：其中Ca是第一幀圖像A中亮度值為Ma的像素個數(shù)，Cb是第二幀圖像B中亮度值為Mb的像素 個數(shù)； (33) 利用多項式對相機(jī)響應(yīng)逆函數(shù)進(jìn)行建模，將不同輸入圖像對獲得的亮度傳遞函數(shù) 以及相機(jī)響應(yīng)逆函數(shù)多項式代入步驟(32)的表達(dá)式中獲得一組超定方程； (34) 利用總體最小二乘法求解所述的超定方程，獲得相機(jī)響應(yīng)逆函數(shù)的模型系數(shù)，由 此得到相機(jī)響應(yīng)逆函數(shù)的近似表達(dá)式g。
【文檔編號】H04N5/235GK105933617SQ201610335204
【公開日】2016年9月7日
【申請日】2016年5月19日
【發(fā)明人】都琳, 孫華燕, 張廷華, 王帥, 徐韜祜, 李迎春, 梁丹華, 高宇軒
【申請人】中國人民解放軍裝備學(xué)院