本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別是涉及一種HDR視頻生成方法。

背景技術(shù)：

高動態(tài)范圍(High Dynamic Range，簡稱HDR)視頻與低動態(tài)范圍(Low Dynamic Range，簡稱LDR)視頻相比，能夠更加準(zhǔn)確的記錄真實場景的絕大部分色彩和光照信息，并能表現(xiàn)出豐富的色彩細節(jié)和明暗層次，而且能夠提供更高的對比度、更豐富的信息和更真實的視覺感受，能更好地匹配人眼對現(xiàn)實世界場景的認知特性。正因為如此，HDR技術(shù)可以被應(yīng)用于對圖像質(zhì)量要求較高的領(lǐng)域，如醫(yī)學(xué)影像、視頻監(jiān)控、衛(wèi)星遙感和計算機視覺等領(lǐng)域中。

目前生成HDR視頻的方法主要分為兩類：一類是硬件方法，使用配有改進傳感器的專用HDR攝相機一次曝光直接生成HDR，這種特殊的HDR攝相機系統(tǒng)需要有特殊的定制的硬件，不僅價格昂貴而且市場應(yīng)用性不廣泛。另一類是軟件方法，包括：(1)使用普通的攝相機拍攝交替循環(huán)曝光的低動態(tài)范圍(Low Dynamic Range，簡稱LDR)視頻，然后利用多幅LDR相鄰幀的圖像生成HDR相應(yīng)幀的圖像，該方法獲取視頻源比較繁瑣；(2)每一幀都利用單幅圖像生成HDR圖像的方法，從而生成HDR視頻；該方法獲取視頻源較之簡單，但是每一幀都采用相同的方法生成HDR，導(dǎo)致會有冗余的操作。但是，與硬件的方法相比較，軟件的生成方法，細節(jié)信息更為細膩，而且對設(shè)備的要求較低。因此，實際應(yīng)用中大多使用軟件方法生成HDR視頻。

技術(shù)實現(xiàn)要素：

基于現(xiàn)有技術(shù)，本發(fā)明提出了一種基于LDR視頻的HDR視頻生成方法，在單幅圖像生成HDR圖像方法的基礎(chǔ)上，實現(xiàn)適用于LDR視頻的HDR視頻生成方案。

本發(fā)明提出了一種適用于LDR視頻的HDR視頻生成方法，該方法包括以下步驟：

步驟1、將一個正常曝光的圖像轉(zhuǎn)化為有著不同亮度的偽曝光圖像，建模如下：

其中，L_wk表示第k個偽曝光HDR圖像在坐標(biāo)(i,j)點處的亮度，P_k表示相鄰偽曝光之間的亮度差異的控制參數(shù)，L_d(i,j)表示在像素(i,j)點處的輸入LDR圖像的歸一化的亮度控制參數(shù)，L_max,k表示生成的第k個偽曝光圖像的最大亮度值。L_smax的值為382.5，L_ad,k表示第k幅偽曝光圖像的平均亮度控制參數(shù)：

L_ad,k＝1+exp(μEV_k)

其中，EV_k表示第k幅圖像的曝光值，μ的值設(shè)為0.85；對于給定不同的(EV_k，P_k)，得到LDR視頻第一幀圖像的多幅不同曝光的圖像；

根據(jù)圖像的對比度、飽和度以及曝光度，計算圖像的權(quán)重圖，并且得到N個多曝光圖像序列中第k個圖像(i,j)處的像素點的歸一化權(quán)重為：

圖像的權(quán)重圖W_ij,k計算公式如下：

其中，ij,k表示多曝光圖像序列中第k個圖像(i,j)處的像素點；ω_C、ω_S、ω_E分別用于控制的對比度測量因子C、飽和度測量因子S、曝光度測量因子E對標(biāo)量權(quán)重圖W的影響程度，ω_C＝ω_S＝ω_E＝1；

將N幅多曝光圖像序列分別進行拉普拉斯金字塔分解，得到關(guān)于不同分辨率的圖像和權(quán)重圖的金字塔融合公式如下：

式中，N表示輸入的圖像總數(shù)，即生成的偽曝光圖像數(shù)，I_ij,k表示第k個輸入的圖像在坐標(biāo)(i,j)處的值，即第一步生成的L_wk，i,j表示像素點坐標(biāo)(i,j)，l表示進行拉普拉斯金字塔分解或者高斯金字塔分解時的層，表示第k個輸入圖像在像素點坐標(biāo)為(i,j)處的歸一化的權(quán)重圖；表示對第k個輸入圖像在像素點坐標(biāo)為(i,j)處的歸一化權(quán)重圖進行高斯金字塔分解，得到的第l層高斯金字塔；表示坐標(biāo)為(i,j)處的融合后圖像R的第l層拉普拉斯金字塔；表示對像素點坐標(biāo)為(i,j)處的第k個輸入圖像進行拉普拉斯金字塔分解，得到的第l層拉普拉斯金字塔；

最后，將金字塔L{R}^l進行拉普拉斯逆變換得到融合后的圖像R；至此，求出對于LDR視頻的第一幀LDR圖像的HDR圖像；

步驟2、將輸入的第一幀LDR圖像的R,G和B通道所有像素值存放到一個行向量x里，將第一幀合成的HDR圖像的R,G和B通道所有像素值存放到行向量y里；

通過CFTOOL工具，輸入向量x和向量y，通過判別均方誤差的大小來決定一個擬合曲線的優(yōu)劣性，找到一個MSE最小的擬合曲線；

通過HDR圖像的平均亮度值的差異來對生成的曲線進行修正，從而得到最優(yōu)擬合曲線；具體處理包括：

定義灰度圖像的一元灰度熵為：

其中p_i表示圖像中灰度值為i的像素在該圖像中出現(xiàn)的概率；

通過人眼對生成的HDR圖像進行感知，再參考信息熵的大小，對生成擬合曲線進行修正，從而找到一條最優(yōu)化擬合曲線，作為LDR圖像和HDR圖像之間的曲線擬合結(jié)果；

步驟3、利用步驟2得到的最優(yōu)化擬合曲線，對輸入的LDR視頻的每一幀都進行相應(yīng)的像素級映射，得到最終的HDR視頻序列。

與現(xiàn)有技術(shù)相比，本發(fā)明實現(xiàn)的獲取視頻源的方法復(fù)雜度低、減少了冗余的操作，更能夠?qū)崿F(xiàn)實時的LDR視頻向HDR視頻的轉(zhuǎn)換；由于采用單曝光視頻，所生成的HDR視頻的色彩信息更符合人眼視覺特性，細節(jié)更加清晰，包含信息更豐富。

附圖說明

圖1為本發(fā)明的HDR圖像合成示意圖；

圖2為LDR視頻第一幀以及合成的HDR圖像，(a)LDR視頻第一幀；(b)偽曝光金字塔合成LDR視頻；(c)利用較優(yōu)曲線合成LDR視頻。

圖3為利用最優(yōu)曲線生成的HDR視頻，(a)LDR視頻第一幀圖像，(b)LDR視頻第一幀圖像合成的HDR圖像，(c)LDR視頻第二幀圖像，(d)LDR視頻第二幀圖像合成的HDR圖像。

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步詳細描述。

HDR視頻生成方法，具體步驟如下：

第一步、將LDR視頻第一幀圖像合成HDR圖像：將一個正常曝光的圖像轉(zhuǎn)化為有著不同亮度的偽曝光圖像，從而可以獲取更多的信息，建模如下：

其中，L_wk表示第k個偽曝光HDR圖像在坐標(biāo)(i,j)點處的亮度，P_k表示相鄰偽曝光之間的亮度差異的控制參數(shù)，L_d(i,j)表示在像素(i,j)點處的輸入LDR圖像的歸一化的亮度控制參數(shù)，L_max,k表示生成的第k個偽曝光圖像的最大亮度值。L_smax的值被設(shè)置為382.5，L_ad,k表示第k幅偽曝光圖像的平均亮度控制參數(shù)，而其是通過以下方程進行調(diào)整：

L_ad,k＝1+exp(μEV_k) (2)

其中，EV_k表示第k幅圖像的曝光值，μ被設(shè)置為0.85。

因此該逆色調(diào)映射函數(shù)受EV_k、P_k控制，對于給定不同的(EV_k，P_k)，就會產(chǎn)生不同的偽曝光圖像。

在得到LDR視頻第一幀圖像的多幅不同曝光的圖像后，利用金字塔融合的方法，最終生成LDR視頻第一幀圖像對應(yīng)的HDR圖像。對于同一場景，由于生成的圖像有的曝光過度或者曝光不足，因此會形成平滑區(qū)域和不飽和區(qū)域，這些區(qū)域包含的信息較少，應(yīng)給予較小的權(quán)重，而感興趣的區(qū)域應(yīng)給予較大的權(quán)重。因此，根據(jù)圖像的對比度、飽和度以及曝光度，計算圖像的權(quán)重圖。

圖像的權(quán)重圖W如下：

其中，ij,k表示多曝光圖像序列中第k個圖像(i,j)處的像素點；ω_C、ω_S、ω_E分別用于控制的對比度測量因子C、飽和度測量因子S、曝光度測量因子E對標(biāo)量權(quán)重圖W的影響程度，該算法中取ω_C＝ω_S＝ω_E＝1。將公式(3)進行歸一化，得到N個多曝光圖像序列中第k個圖像(i,j)處的像素點的權(quán)重為：

由于傳統(tǒng)的塔融合公式(5)合成效果不好，因此該算法使用金字塔來分解圖像，以多分辨率的方式來融合圖像。首先，將N幅多曝光圖像序列分別進行拉普拉斯金字塔分解，將N幅權(quán)重圖分別進行高斯金字塔分解，得到不同分辨率的圖像和權(quán)重圖，并記圖像A的第l層拉普拉斯金字塔分解為L{A}^l，記圖像B的第l層高斯金字塔分解為G{B}^l。然后，類似公式(5)，得到金字塔融合公式如下：

式中，N表示輸入的圖像總數(shù)，即生成的偽曝光圖像數(shù)，I表示輸入的偽曝光HDR圖像，即第一步生成的L_wk，i,j表示像素點(i,j)處，l表示進行拉普拉斯金字塔分解或者高斯金字塔分解時的層，表示歸一化的權(quán)重圖。

最后，將金字塔L{R}^l進行拉普拉斯逆變換得到融合后的圖像R。至此，就求出了對于LDR視頻的第一幀LDR圖像的HDR圖像。

第二步：生成LDR圖像和HDR圖像之間的曲線擬合

首先，將輸入的第一幀LDR圖像的R,G和B通道所有像素值存放到一個行向量x里，

將第一幀合成的HDR圖像的R,G和B通道所有像素值存放到行向量y里；

1)、通過CFTOOL工具，輸入向量x和向量y，通過判別均方誤差(Mean Squared Error,MSE)的大小來決定一個擬合曲線的優(yōu)劣性，找到一個MSE最小的擬合曲線，即為較優(yōu)的擬合曲線。

2)、由于該曲線是近似曲線，存在著誤差，因此需要對該曲線進行修正。本文采用HDR圖像信息熵最大準(zhǔn)則的方法，同時參考人眼對生成圖像的視覺感知差異，通過圖像的平均亮度值的差異來對1)生成的曲線進行修正，從而得到最優(yōu)擬合曲線。其中：

圖像信息熵：圖像信息熵是一種特征的統(tǒng)計形式，它反映了圖像中平均信息量的多少。

令p_i表示圖像中灰度值為i的像素所占的比例，則定義灰度圖像的一元灰度熵為：

其中p_i是某個灰度在該圖像中出現(xiàn)的概率，可由灰度直方圖獲得。

本發(fā)明通過人眼對生成的HDR圖像進行感知，再參考信息熵的大小，對1)生成的較優(yōu)的擬合曲線進行修正，從而找到一條最優(yōu)的擬合曲線。

第三步：利用擬合曲線將LDR視頻轉(zhuǎn)換為HDR視頻

利用第二步得到的最優(yōu)化擬合曲線，對輸入的LDR視頻的每一幀都進行相應(yīng)的像素級映射，得到最終的HDR視頻序列。

本發(fā)明僅在圖像RGB空間對LDR視頻向HDR視頻轉(zhuǎn)換的方法進行了詳細闡述，但是該方法也同樣適用于在圖像YUV或者HSV空間的LDR視頻向HDR視頻的轉(zhuǎn)換。

首先，尋找第一幀LDR圖像和基于單幅圖像生成的HDR圖像之間的對應(yīng)關(guān)系曲線，然后利用該曲線將LDR視頻映射生成HDR視頻。

1)采用生成5幅偽曝光的圖像，即：k＝0～4；L_smax＝382.5，EV_k＝(-1,-0.5,0,0.5,1)，P_k＝(1.3,1,0.8,0.6,0.4)，其余系數(shù)在技術(shù)方案中給出。

2)利用CFTOOL生成的較優(yōu)曲線為：

y＝1.173×x-0.1486 (8)

如圖2所示，圖(a)是輸入的LDR視頻第一幀圖像，圖(b)為LDR視頻第一幀圖像通過逆色調(diào)映射和金字塔融合生成的HDR圖像，圖(c)為利用CFTOOL生成的較優(yōu)曲線來生成的HDR圖像，其信息熵分別為圖(a)是7.5410、圖(b)是7.6978、圖(c)是7.5803，雖然圖(b)和圖(c)的信息熵都提高，但是兩者圖像之間還存在著差異，因此需要對較優(yōu)的曲線進行修正，通過調(diào)整截距來找到一個最優(yōu)的曲線，使之生成的HDR圖像視覺效果好，而且信息熵提高的大。

從圖2中的圖(b)和圖(c)可以觀測出圖(b)和圖(c)的亮度存在差異，因此通過圖(b)和圖(c)的平均亮度的差異對曲線進行調(diào)整，圖(b)和圖(c)的平均亮度差為32，因此在范圍為0～32之間通過二分法找到一個數(shù)值來調(diào)整截距，從而找到視覺上生成HDR圖像效果好而且信息熵大的最優(yōu)的HDR圖像的擬合曲線。

本文中最優(yōu)擬合曲線為：

y＝1.173×x-24.1486 (9)

其中，x是輸入圖像的每點的像素值，y是對應(yīng)生成的HDR圖像的每點的像素值。

3)然后按照公式(9)，可以求出來每幀輸入的視頻所對應(yīng)的HDR視頻。

4)LDR視頻第一幀和第二幀的利用最優(yōu)曲線合成效果如圖3所示：

圖3中的圖(a)表示LDR視頻第一幀圖像，圖(b)表示LDR視頻第一幀圖像合成的HDR圖像，圖(c)表示LDR視頻第二幀圖像，圖(d)表示LDR視頻第二幀圖像合成的HDR圖像。

表1是輸入的LDR視頻與合成的HDR視頻的信息熵對比圖(以5幀為例)，如下所示：

表1、信息熵對比圖

從圖3可以看出，合成的HDR圖像比輸入的圖像色彩更鮮明，對比度更高，而且對于掛歷上的細節(jié)，發(fā)現(xiàn)合成的HDR圖像中更清晰，更加符合人眼視覺特性。通過表1可以看出，合成HDR視頻的信息熵要明顯高于LDR視頻的信息熵，大約提高了0.125，這就表明合成的HDR視頻包含的信息更豐富。

另外，由于該方法只對LDR視頻第一幀利用偽曝光和金字塔融合的方法進行HDR圖像的合成，然后利用LDR和HDR圖像之間的相關(guān)性曲線進行LDR視頻到HDR視頻的低復(fù)雜度轉(zhuǎn)換。該方法僅僅利用了一次復(fù)雜度較高的融合生成HDR，相比于傳統(tǒng)的交替循環(huán)曝光的LDR視頻生成HDR視頻方法或者是LDR視頻每一幀都利用單幅圖像生成HDR方法來說，計算復(fù)雜度較低，可以適用于LDR視頻到HDR視頻的實時的轉(zhuǎn)換，而有利于視頻序列色彩的一致性。

由于交替循環(huán)曝光生成HDR視頻的方法，在獲取視頻上比較繁瑣，沒有單曝光生成HDR視頻方法中的視頻獲取簡單，因此本發(fā)明是針對單曝光視頻生成高動態(tài)范圍視頻，并且在以往的基礎(chǔ)上減少了冗余的操作。本發(fā)明首先利用偽曝光技術(shù)和金字塔融合方法將LDR視頻第一幀生成HDR圖像；然后擬合出LDR視頻第一幀與其生成出來的HDR圖像的對應(yīng)關(guān)系曲線，通過該曲線，將LDR視頻轉(zhuǎn)換為HDR視頻。