專利名稱：用于高動態(tài)范圍視頻色調(diào)映射的參數(shù)內(nèi)插的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示在低動態(tài)范圍(LDR)顯示器上的高動態(tài)范圍(HDR)內(nèi)容的色調(diào)再現(xiàn)，尤其涉及具有變化的光照條件(lighting conditions)的視頻的色調(diào)再現(xiàn)。
背景技術(shù)：
目前，大多數(shù)的顯示設(shè)備具有比真實(shí)世界場景中更低的有限的動態(tài)范圍。通常地， 顯示在低動態(tài)范圍(LDR)顯示設(shè)備上的HDR場景要么會變成與攝影中曝光過度對應(yīng)的過飽和，要么會變成與曝光不足對應(yīng)的非常暗。因?yàn)闀G失許多細(xì)節(jié)，所以任何一種都是不希望發(fā)生的。HDR視頻格式的視覺內(nèi)容的數(shù)量已經(jīng)大大增多。因此，用于HDR視頻的色調(diào)映射吸引了來自學(xué)術(shù)界和工業(yè)界的許多關(guān)注。然而，與靜態(tài)圖像的色調(diào)映射相比，對HDR視頻色調(diào)映射的研究所做出的努力依舊相對較少。對于具有相對靜態(tài)光照條件的視頻場景來說，已知的參數(shù)估計方法就可以表現(xiàn)很好。在這種情形中，通常將固定的參數(shù)集合應(yīng)用于具有靜態(tài)光照條件的相同的視頻片段(segment)內(nèi)的所有中貞。然而，對于視頻場景內(nèi)的變化的光照條件來說，將固定的參數(shù)集合應(yīng)用于幀會導(dǎo)致糟糕的色調(diào)映射結(jié)果，因?yàn)樯{(diào)映射參數(shù)可以逐幀變化。因此，存在以下需求一種可以合適并高效地在具有變化的光照的場景中執(zhí)行色調(diào)映射的色調(diào)映射處理。

發(fā)明內(nèi)容
一種用于對高動態(tài)范圍(HDR)視頻進(jìn)行色調(diào)映射以顯示在低動態(tài)范圍顯示器上的方法，該方法包括獲取(access)HDR視頻；生成單個幀的亮度信息；響應(yīng)于亮度信息將不同的連續(xù)的幀組分割成片段；將這些片段分類為靜態(tài)亮度片段和瞬態(tài)亮度片段；生成用于靜態(tài)亮度片段的色調(diào)映射參數(shù)集；響應(yīng)于相鄰的靜態(tài)亮度片段的色調(diào)映射參數(shù)集生成用于至少一個瞬態(tài)亮度片段的色調(diào)映射參數(shù)集；以及根據(jù)相應(yīng)的色調(diào)映射參數(shù)集對靜態(tài)亮度片段和瞬態(tài)亮度片段進(jìn)行色調(diào)映射。該方法可以進(jìn)一步包括內(nèi)插至少一個參數(shù)類型以從兩個相鄰的瞬態(tài)亮度片段的色調(diào)映射參數(shù)集生成用于至少一個瞬態(tài)亮度片段的色調(diào)映射參數(shù)集，其中至少一個參數(shù)類型可以是錨點(diǎn)、對比度增強(qiáng)等級(a contrast boost level)和/或曝光值。該分割步驟可以包括將巾貞間低通濾波器(a frame-to-frame low-pass filter)應(yīng)用于幀的幀級平均亮度以生成亮度信息，或可替代性地，該分割步驟可以進(jìn)一步包括生成濾波后的幀級平均亮度的亮度梯度以產(chǎn)生亮度信息。從幀間低通濾波步驟中的任何一步獲得的峰值和相關(guān)聯(lián)的帶寬數(shù)據(jù)都可以被用來分割組。并且，還可以將延遲應(yīng)用于某些瞬態(tài)亮度片段，其中不使用用于瞬態(tài)亮度片段的參數(shù)集對位于至少一個瞬態(tài)亮度片段的開始處的至少一個幀進(jìn)行色調(diào)映射，并且使用用于瞬態(tài)亮度片段的參數(shù)集對在至少一個瞬態(tài)亮度片段中的接下來的幀進(jìn)行色調(diào)映射。


將參考下列附圖以實(shí)例的方式對本發(fā)明進(jìn)行描述圖I為根據(jù)本發(fā)明的確定用于色調(diào)映射的參數(shù)集的流程圖；圖2為根據(jù)本發(fā)明的用于視頻序列分割的流程圖；圖3為展示在視頻序列中平均亮度可以如何逐幀變化的實(shí)例的圖；圖4為展示在視頻序列中平均亮度在經(jīng)過低通濾波后可以如何逐幀變化的實(shí)例的圖； 圖5為展示經(jīng)過低通濾波后的圖4中的視頻序列的梯度的圖；以及圖6為展示對圖5中的梯度進(jìn)行低通濾波的結(jié)果的圖。
具體實(shí)施例方式本公開通常與含有具有變化的光照條件的某些場景的視頻相關(guān)。大體的方法可以以首先檢測視頻內(nèi)的場景的開始和結(jié)束時間開始。然后，該方法包括通過內(nèi)插具有靜態(tài)照明的之前和之后場景的參數(shù)值計算用于具有變化的光照條件的場景的每一幀的參數(shù)。圖I示例了公開的本發(fā)明的通用系統(tǒng)框圖?？傮w上說，可以通過首先獲得具有多于一個場景的HDR視頻101來執(zhí)行參數(shù)內(nèi)插的方案。下一步可以包括分析視頻和將其分割成場景或片段102。這里的分析包括將這些片段分類為靜態(tài)或瞬態(tài)片段。其后面是估計用于靜態(tài)片段的參數(shù)集103。然后內(nèi)插104并評估105用于瞬態(tài)片段的參數(shù)集。該評估可以使用合適的用戶界面進(jìn)行。如果對用于靜態(tài)或瞬態(tài)片段的參數(shù)集的應(yīng)用感到滿意，那么根據(jù)該參數(shù)集執(zhí)行106色調(diào)映射。如果對參數(shù)集的應(yīng)用不滿意，那么重新運(yùn)行步驟103、104和105以估計并找到新的用于靜態(tài)片段的新參數(shù)集。圖2是根據(jù)本發(fā)明的用于步驟102中的視頻序列分割的流程圖。視頻101被獲得、分析并分割102成靜態(tài)和瞬態(tài)片段。該過程流程如下計算202每個幀的平均亮度；將幀間低通濾波203應(yīng)用于平均亮度數(shù)據(jù)；計算204低通濾波的亮度數(shù)據(jù)的梯度；將幀間低通濾波205應(yīng)用于梯度數(shù)據(jù)；檢測峰值并從濾波后的梯度數(shù)據(jù)計算206相關(guān)聯(lián)的帶寬；以及從峰值和帶寬數(shù)據(jù)計算207瞬態(tài)和靜態(tài)片段的位置。關(guān)于圖2中的過程流程，分析了輸入的HDR視頻的幀級平均亮度。記住每個幀的平均亮度可以隨時間變化是很重要的。這正如圖3所示，圖3展示了視頻序列中的不同幀的平均亮度可以如何變化。并且，可以根據(jù)平均亮度的變化將視頻分割成若干片段。這里將具有相似的平均亮度的連續(xù)的幀特征化(characterize)為靜態(tài)片段。兩個靜態(tài)片段之間的幀可以具有隨時間逐漸變化的平均亮度，它們可以被特征化為瞬態(tài)片段。例如，圖3中，0到大約60的幀和具有相似的平均亮度的峰值處的幀90附近的幀可以是靜態(tài)片段，而它們之間的幀可以包括瞬態(tài)片段。為了檢測每個瞬態(tài)片段的開始和結(jié)束時間點(diǎn)，提出基于平均亮度序列分析的方案。該方案如下
a)將低通濾波器應(yīng)用于圖3中的平均亮度序列203以對亮度進(jìn)行平滑，如圖4所示；b)計算平滑后的亮度序列的梯度204，如圖5所示，并可選擇地將低通濾波器205應(yīng)用于圖5中的梯度以獲得平滑梯度，如圖6所示。c)檢測圖5中的梯度曲線或圖6中低通濾波梯度曲線上的峰值和每個峰值的帶寬206 ;以及d)計算瞬態(tài)和靜態(tài)位置207?？梢酝ㄟ^從峰值幀序號減去帶寬的一半來計算或估計每個瞬態(tài)區(qū)域的開始時間點(diǎn)?？梢酝ㄟ^在峰值幀序號上加上帶寬的一半來計算瞬態(tài)區(qū)域的結(jié)束時間點(diǎn)。對靜態(tài)和瞬態(tài)片段定位之后，估計用于靜態(tài)片段的關(guān)鍵幀的參數(shù)集，然后應(yīng)用于整個片段。該參數(shù)集可以包括從其可以將圖像分割成若干區(qū)域的錨點(diǎn)、每個區(qū)域的曝光值、對比度增強(qiáng)參數(shù)和HDR色調(diào)映射需要的任何其它參數(shù)。對于參數(shù)集，可以通過許多技術(shù)中 的任何技術(shù)來獲得曝光值、錨點(diǎn)和對比度增強(qiáng)；然而，下面將更詳細(xì)地討論對比度增強(qiáng)和錨點(diǎn)。在至少一個實(shí)現(xiàn)方式中，可以定義一系列錨點(diǎn)Ai (i = I... N)，這樣每個Ai可以被用來定義一個區(qū)域，并生成單個曝光圖像。錨點(diǎn)可以被選擇為A1 = Lavg/E An+1 = 4 An (n = 2 …N-1)其中上面等式中的E是常數(shù)，可以取值為8。上面等式中的區(qū)域數(shù)目N可以按照下
面計算得到，它能夠覆蓋整個亮度范圍。
7 f (t F \ '
N= Iog2 max~,1 +1 /2 +1
\ I V JJL是亮度圖像，其可以從HDR數(shù)據(jù)計算得到。如果HDR數(shù)據(jù)是在XYZ色彩空間中的，那么Y分量可以被用作亮度圖像。如果HDR數(shù)據(jù)使用與Rec. 709相同的原色，那么對RGB色彩空間的轉(zhuǎn)換可以按照如下進(jìn)行L(i, j) = 0. 2126*R(i, j)+0. 7152*G(i, j)+0. 0722*B(i, j)可以依據(jù)輸入圖像的格式使用RGB (或其它色彩空間)和亮度圖像之間的其它轉(zhuǎn)換。一旦每個區(qū)域的錨點(diǎn)已知，就可以對每個區(qū)域計算每個像素的權(quán)重。整體上說，對于每個由相應(yīng)的錨點(diǎn)Ai定義的區(qū)域，具有最接近單個曝光圖像的值的像素是0.5，并且該像素對該區(qū)域來說具有比其它像素更大的權(quán)重。因此，位置(i，j)處的像素對區(qū)域n (由錨點(diǎn)An定義)的權(quán)重可以計算如下( ( 2為'J i 卟;々,./) = G其中C是歸一化因子，并被定義為
權(quán)利要求
1.一種方法，所述方法包括 獲取具有多個單個幀的視頻； 生成所述單個幀的亮度信息； 響應(yīng)于亮度信息將不同的連續(xù)的幀組分割成片段； 將所述片段分類為靜態(tài)亮度片段和瞬態(tài)亮度片段； 生成用于所述靜態(tài)亮度片段的色調(diào)映射參數(shù)集； 響應(yīng)于相鄰的靜態(tài)亮度片段的所述色調(diào)映射參數(shù)集生成至少一個所述瞬態(tài)亮度片段的色調(diào)映射參數(shù)集； 根據(jù)所述相應(yīng)的色調(diào)映射參數(shù)集對所述靜態(tài)亮度片段和瞬態(tài)亮度片段進(jìn)行色調(diào)映射。
2.如權(quán)利要求I所述的方法，所述方法包括內(nèi)插至少一個參數(shù)類型以從兩個相鄰的瞬態(tài)亮度片段的所述色調(diào)映射參數(shù)集生成用于所述至少一個瞬態(tài)亮度片段的所述色調(diào)映射參數(shù)集。
3.如權(quán)利要求2所述的方法，所述方法包括從包括錨點(diǎn)、對比度增強(qiáng)等級或曝光值的組中選擇所述至少一個參數(shù)類型。
4.如權(quán)利要求I所述的方法，所述方法將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度以生成用于所述分割步驟的所述亮度信息。
5.如權(quán)利要求I所述的方法，所述方法包括 將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度；和 生成所述濾波后的幀級平均亮度的亮度梯度以生成用于所述分割步驟的所述亮度信息
6.如權(quán)利要求I所述的方法，所述方法包括 將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度； 生成所述濾波后的幀級平均亮度的亮度梯度； 從所述梯度檢測峰值和相關(guān)聯(lián)的帶寬數(shù)據(jù)； 將所述峰值和所述相關(guān)聯(lián)的帶寬數(shù)據(jù)用作用于所述分割步驟的所述亮度信息。
7.如權(quán)利要求6所述的方法，其中，所述瞬態(tài)亮度片段的開始時間點(diǎn)由峰值幀的值和所述對應(yīng)的帶寬的一半的差確定，所述瞬態(tài)亮度片段的結(jié)束時間點(diǎn)由峰值幀的值和所述帶寬的一半的和確定。
8.如權(quán)利要求2所述的方法，所述方法包括 將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度；和 生成所述濾波后的幀級平均亮度的亮度梯度以生成用于所述分割步驟的所述亮度信息
9.如權(quán)利要求2所述的方法，所述方法包括 將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度； 生成所述濾波后的幀級平均亮度的亮度梯度； 從所述梯度檢測峰值和相關(guān)聯(lián)的帶寬數(shù)據(jù)； 將所述峰值和所述相關(guān)聯(lián)的帶寬數(shù)據(jù)用作用于所述分割步驟的所述亮度信息。
10.如權(quán)利要求9所述的方法，其中，所述瞬態(tài)亮度片段的開始時間點(diǎn)由峰值幀的值和所述對應(yīng)的帶寬的一半的差確定，以及所述瞬態(tài)亮度片段的結(jié)束時間點(diǎn)由峰值幀的值和所述帶寬的一半的和確定。
11.如權(quán)利要求2所述的方法，所述方法將幀間低通濾波器應(yīng)用于所述幀的幀級平均亮度以生成用于所述分割步驟的所述亮度信息。
12.如權(quán)利要求8所述的方法，所述方法包括從包括錨點(diǎn)、對比度增強(qiáng)等級或曝光值的組中選擇所述至少一個參數(shù)類型。
13.如權(quán)利要求9所述的方法，所述方法包括從包括錨點(diǎn)、對比度增強(qiáng)等級或曝光值的組中選擇所述至少一個參數(shù)類型。
14.如權(quán)利要求I所述的方法，所述方法包括將延遲應(yīng)用于至少一個瞬態(tài)亮度片段，使得不使用用于所述瞬態(tài)亮度片段的所述參數(shù)集對位于所述至少一個瞬態(tài)亮度片段的開始處的至少一幀進(jìn)行色調(diào)映射，以及使用用于所述瞬態(tài)亮度片段的所述參數(shù)集對在至少一個瞬態(tài)亮度片段中的隨后的幀進(jìn)行色調(diào)映射。
15.如權(quán)利要求14所述的方法，其中，所述延遲為3到6幀。
全文摘要
一種用于對高動態(tài)范圍(HDR)視頻進(jìn)行色調(diào)映射以顯示在低動態(tài)范圍顯示器上的方法包括獲取HDR視頻；生成單個幀的亮度信息；響應(yīng)于亮度信息將不同的連續(xù)的幀組分割成片段；將片段分類為靜態(tài)亮度片段和瞬態(tài)亮度片段；生成用于靜態(tài)亮度片段的色調(diào)映射參數(shù)集；響應(yīng)于相鄰的靜態(tài)亮度片段的色調(diào)映射參數(shù)集生成用于至少一個瞬態(tài)亮度片段的色調(diào)映射參數(shù)集；以及根據(jù)相應(yīng)的色調(diào)映射參數(shù)集對靜態(tài)亮度片段和瞬態(tài)亮度片段進(jìn)行色調(diào)映射。
文檔編號G06T7/00GK102763134SQ201180010160
公開日2012年10月31日 申請日期2011年2月11日 優(yōu)先權(quán)日2010年2月19日
發(fā)明者王喆, 翟杰夫 申請人:湯姆森特許公司