將高動態(tài)范圍視頻與低動態(tài)范圍視頻一起編碼的方法和設(shè)備、重建一起編碼的高和低動 ...的制作方法
【專利摘要】本發(fā)明人意識到使用LDR內(nèi)容和HDR殘差表示HDR內(nèi)容并非是沒有問題的。因此，本發(fā)明提出代替地使用LDR內(nèi)容、LDR殘差和全局照度數(shù)據(jù)表示HDR內(nèi)容。也就是說，提出一種用于將高動態(tài)范圍的HDR視頻和LDR視頻編碼在一起的方法，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪，所述方法包括使用處理裝置用于對LDR視頻的一個視頻以及與LDR視頻的其他視頻和HDR視頻獨立的從HDR視頻提取的另一LDR視頻進行編碼，并且使用一個視頻作為參考對另一視頻進行預(yù)測編碼，并且對從HDR視頻進一步提取的全局照度數(shù)據(jù)進行無損編碼。這具有預(yù)測更穩(wěn)定并且更容易找到全局最優(yōu)預(yù)測值的優(yōu)點。
【專利說明】將高動態(tài)范圍視頻與低動態(tài)范圍視頻一起編碼的方法和設(shè)備、重建一起編碼的高和低動態(tài)范圍視頻之一的方法和設(shè)備及非臨時性存儲介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明在對高動態(tài)范圍的視頻進行編碼的領(lǐng)域中做出。具體地，本發(fā)明在對高動態(tài)范圍的視頻和描繪與高動態(tài)范圍的視頻相同內(nèi)容的低動態(tài)范圍視頻編碼在一起的領(lǐng)域中做出。
【背景技術(shù)】
[0002]視頻通常表示在有限數(shù)量的比特(例如，8、10、12或更多比特)上，對應(yīng)于表示亮度信號的有限范圍的值。以這種方式表示的視頻被稱為低動態(tài)范圍的視頻，或簡而言之，LDR視頻。然而，人類視覺系統(tǒng)能夠感知更寬范圍的亮度。有限的表示通常不允許正確地重建具體地在極其黑暗或明亮的視頻圖像區(qū)域(即高或低亮度區(qū)域)中較小的信號變化。HDR(高動態(tài)范圍)格式在于將信號表示的比特深度顯著擴展到具有更多比特(例如20到64比特)的整數(shù)表示或甚至浮點表示，以便保持信號在其整個亮度范圍上的高精度。
[0003]HDR圖像或視頻可以以各種方式捕捉。例如，數(shù)字單反相機可以使用包圍技術(shù)(bracketing technique)來以不同曝光捕捉相同場景的連續(xù)圖像,其中曝光是在拍攝圖像的過程期間允許落在成像介質(zhì)(感光底片或圖像傳感器)上的總的光密度。那些不同曝光的圖像被表示為LDR圖像。如在圖1中對于不同曝光值EV示例性描繪的，曝光不足的圖像捕捉明亮區(qū)域中的細節(jié)，而過度曝光的圖像捕捉黑暗區(qū)域中的細節(jié)。
[0004]通過融合這些不同曝光的LDR圖像，可以以浮點表示產(chǎn)生HDR圖像/視頻，所產(chǎn)生的HDR圖像/視頻包含在黑暗區(qū)域中的細節(jié)以及明亮區(qū)域中的細節(jié)的全部細節(jié)。
[0005]在指定用于LDR圖像的設(shè)備中，例如機頂盒、PVR和傳統(tǒng)設(shè)備，HDR圖像/視頻不能以其源格式使用。無論如何，被稱為色調(diào)映射的過程允許具體地在高和低強度范圍中表示圖像同時確保不同信號強度部分的良好恢復(fù)。色調(diào)映射從HDR圖像創(chuàng)建LDR圖像，其中全部元素被正確地曝光。LDR圖像在黑暗區(qū)域和白光區(qū)域兩者中都具有更多細節(jié)。這在圖2中示例性描繪。
[0006]具體地，HDR在后期制作中使用。大多數(shù)(若非全部)特效工具處理以浮點表示的HDR圖像。自然場景和特效的混合也在HDR表示中實現(xiàn)。在后期制作過程結(jié)束時，色調(diào)映射通常應(yīng)用于在攝影導(dǎo)演的控制下創(chuàng)建標(biāo)準(zhǔn)的(例如8/10/12-比特)原版(master)。
[0007]在后期制作中應(yīng)用的色調(diào)映射通常是已知的色調(diào)映射。
[0008]在美國專利申請2008/0175494中描述了用于預(yù)測高動態(tài)范圍圖像元素的方法，所述方法包括:接收低動態(tài)范圍圖像數(shù)據(jù)；接收包括預(yù)測數(shù)據(jù)和HDR殘差圖像元素的高動態(tài)范圍圖像數(shù)據(jù)；從所述LDR圖像數(shù)據(jù)提取LDR圖像值；基于所述預(yù)測數(shù)據(jù)修改所述LDR圖像值；以及結(jié)合所述修改后的LDR圖像值和所述HDR殘差圖像元素以形成HDR圖像元素。

【發(fā)明內(nèi)容】
[0009]本發(fā)明人意識到使用LDR內(nèi)容和HDR殘差表示HDR內(nèi)容并非是沒有問題的。因此，本發(fā)明提出代替地使用LDR內(nèi)容、LDR殘差和全局照度數(shù)據(jù)表示HDR內(nèi)容。
[0010]也就是說，提出一種用于將高動態(tài)范圍的HDR視頻和LDR視頻編碼在一起的根據(jù)權(quán)利要求1的方法和根據(jù)權(quán)利要求2的設(shè)備，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪。所提出的方法包括使用處理裝置用于對LDR視頻的一個視頻以及與LDR視頻的其他視頻和HDR視頻獨立的從HDR視頻提取的另一 LDR視頻進行編碼，并且使用一個視頻作為參考對另一視頻進行預(yù)測編碼，并且對從HDR視頻進一步提取的全局照度數(shù)據(jù)進行無損編碼。編碼設(shè)備包括所述處理裝置。
[0011]這具有各種優(yōu)點。例如，由于參考和預(yù)測內(nèi)容的比特深度相同，因此預(yù)測更穩(wěn)定并且更容易找到全局最優(yōu)預(yù)測值。此外，該方式允許對該HDR內(nèi)容進行二次采樣而不引入像例如高梯度上的光暈的偽影。此外，采用該方式以高效使用像例如AVC的經(jīng)典8比特編碼方案。
[0012]在從屬權(quán)利要求中詳細說明編碼方法和編碼設(shè)備的其他有利實施例的特征。
[0013]進一步提出一種用于重建高動態(tài)范圍的HDR視頻的根據(jù)權(quán)利要求10的方法和根據(jù)權(quán)利要求11的設(shè)備。所述重建方法包括使用處理裝置用于解碼LDR視頻，LDR視頻提供HDR視頻內(nèi)容的更低的動態(tài)范圍描繪，使用LDR視頻和殘差用于解碼另一 LDR視頻，另一LDR視頻提供HDR視頻內(nèi)容的另一更低的動態(tài)范圍描繪，解碼全局照度數(shù)據(jù)并使用全局照度數(shù)據(jù)以及LDR視頻和另一 LDR視頻中的一個用于重建HDR視頻。重建設(shè)備包括所述處理
裝直。
[0014]在從屬權(quán)利要求中詳細說明重建方法和重建設(shè)備的其他有利實施例的特征。
[0015]本發(fā)明還提出一種攜帶與LDR視頻編碼在一起的HDR視頻的數(shù)據(jù)流和/或非臨時性存儲介質(zhì)，LDR視頻提供HDR視頻內(nèi)容的更低的動態(tài)范圍描繪，根據(jù)所提出的編碼方法或其實施例將HDR視頻與LDR視頻編碼在一起。
【專利附圖】

【附圖說明】
[0016]本發(fā)明的示例性實施例在附圖中示出并且在下列描述中更詳細地解釋。對示例性實施例進行解釋僅用于說明本發(fā)明，而非用于限制本發(fā)明的公開或在權(quán)利要求中限定的范圍。
[0017]在附圖中:
[0018]圖1描繪以不同曝光捕捉的相同內(nèi)容的示例性圖像；
[0019]圖2在左側(cè)描繪具有過度曝光區(qū)域的示例性低動態(tài)范圍圖像，在右側(cè)描繪全部區(qū)域良好曝光的從對應(yīng)的高動態(tài)范圍圖像的色調(diào)映射得到的另一示例性低動態(tài)范圍圖像；
[0020]圖3描繪本發(fā)明的第一示例性框架；
[0021]圖4描繪本發(fā)明的第一示例性框架；
[0022]圖5描繪全局照度數(shù)據(jù)提取器的第一示例性實施例；
[0023]圖6描繪與圖5中描繪的全局照度數(shù)據(jù)提取器的示例性實施例對應(yīng)的HDR視頻重建器的第一不例性實施例；
[0024]圖7描繪全局照度數(shù)據(jù)提取器的第二示例性實施例；以及
[0025]圖8描繪與圖7中描繪的全局照度數(shù)據(jù)提取器的示例性實施例對應(yīng)的HDR視頻重建器的第二示例性實施例。
【具體實施方式】
[0026]本發(fā)明可以在包括對應(yīng)地適配的處理設(shè)備的任何電子設(shè)備上實現(xiàn)。例如，本發(fā)明可以在電視、視頻電話、機頂盒、網(wǎng)關(guān)、個人計算機或數(shù)字視頻相機中實現(xiàn)。
[0027]本發(fā)明的一些示例性實施例基于多視圖(MVC)編碼方案，其中例如根據(jù)H.264/AVC對主視圖進行視圖內(nèi)預(yù)測編碼。主視圖可以獨立于解碼器是否可以進一步解碼MVC方案的輔助視圖地由任何AVC解碼器解碼。在這些實施例中，LDR視頻在主視圖中編碼。輔助視圖包含全局照度數(shù)據(jù)GID或LDR視頻殘差。如果全局照度數(shù)據(jù)GID未包含在輔助視圖中，則其作為MVC碼的無損編碼元數(shù)據(jù)不同地傳遞。
[0028]在其中輔助視圖包含全局照度數(shù)據(jù)GID的示例性實施例中，主視圖的LDR視頻圖像可以基于所述全局照度數(shù)據(jù)GID來修改用于形成HDR視頻圖像。
[0029]在其中輔助視圖包含LDR視頻殘差的第一示例性實施例中，主視圖的LDR視頻圖像可以基于全局照度數(shù)據(jù)GID來修改用于形成HDR視頻圖像。主視圖的LDR視頻圖像可以進一步與輔助視圖中的LDR殘差視頻圖像結(jié)合用于形成另一 LDR視頻圖像。
[0030]在其中輔助視圖包含LDR視頻殘差的第二示例性實施例中，主視圖的LDR視頻圖像可以與輔助視圖中的LDR殘差視頻圖像結(jié)合用于形成另一 LDR視頻圖像，其中另一 LDR視頻圖像可以基于全局照度數(shù)據(jù)GID來修改用于形成HDR視頻圖像。
[0031 ] 在所述第二示例性實施例中，LDR視頻圖像可以是HDR視頻圖像的色調(diào)映射版本，其中使用的色調(diào)映射UTM是無關(guān)的(例如未知的)。存在可以在后期制作中或在實時直播產(chǎn)品中使用的多種不同的色調(diào)映射技術(shù)。
[0032]然后，如在圖3中示例性描繪的，在編碼器側(cè)ENC，使用適當(dāng)色調(diào)映射技術(shù)的另一色調(diào)映射KTM可以應(yīng)用于HDR視頻以創(chuàng)建另一 LDR視頻，其是HDR視頻的第二 LDR色調(diào)映射版本。優(yōu)選地但不一定地，HDR視頻的第二 LDR色調(diào)映射版本接近原始色調(diào)映射版本以便使相對于原始色調(diào)映射版本的殘差最小化。
[0033]在所述第二示例性實施例中，MVC編碼裝置MVCENC用于將HDR視頻的原始LDR色調(diào)映射版本編碼為主視圖，即AVC視頻，并且將HDR視頻的另一 LDR色調(diào)映射版本視圖間預(yù)測編碼為輔助視圖。因為兩個版本相對類似，所以MVC應(yīng)非常高效地對第二視圖進行編碼，導(dǎo)致較小的開銷比特流。
[0034]在編碼器側(cè)ENC，從第二 LDR色調(diào)映射版本和原始HDR視頻進一步提取場景的全局照度GID。該信息不需要非常精確，因為人眼不具有區(qū)分大的照度區(qū)別的能力。在編碼裝置LLE中也將對該信息進行優(yōu)選地?zé)o損地編碼。例如，因為用于兩個LDR版本的視圖間預(yù)測不需要運動向量，所以對全局照度數(shù)據(jù)GID而非運動向量進行編碼。另一示例是被編碼為元數(shù)據(jù)的全局照度數(shù)據(jù)GID。
[0035]得到的數(shù)據(jù)流的主視圖可以由已經(jīng)部署的AVC解碼器讀取和解碼以產(chǎn)生原始LDR色調(diào)映射視頻。
[0036]根據(jù)本發(fā)明修改的解碼器DEC可以通過在全局照度結(jié)合器GIC中結(jié)合原始LDR色調(diào)映射視頻和第二視圖中的殘差并根據(jù)全局照度數(shù)據(jù)GID處理結(jié)合結(jié)果，來再現(xiàn)原始LDR色調(diào)映射視頻和HDR視頻兩者。[0037]這種解碼器DEC包括MVC解碼裝置MV⑶EC，其解碼進入的流以重新獲得主視圖和可以與主視圖一起用于重建第二視圖的第二視圖的殘差。主視圖或第二視圖可以輸出到LDR顯示器。在全局照度結(jié)合器GIC中主視圖或第二視圖可以進一步與使用解碼裝置LLD解碼的全局照度數(shù)據(jù)GID—起使用以重新獲得HDR視頻。使用哪一個視圖取決于用于提取全局照度數(shù)據(jù)GID的LDR視頻是否被編碼為主視圖或第二視圖。
[0038]存在用于提取全局照度數(shù)據(jù)GID和/或色調(diào)映射KTM HDR視頻的許多可能實現(xiàn)方式以創(chuàng)建第二 LDR色調(diào)映射版本。下面將詳細描述一些示例性情況。
[0039]例如，可以使用原始LDR色調(diào)映射版本和原始HDR視頻提取全局照度GID。這在圖4中示例性描繪。
[0040]在圖5中描繪的另一示例性情況中，HDR視頻的標(biāo)準(zhǔn)化亮度相對于原始LDR色調(diào)映射版本的標(biāo)準(zhǔn)化亮度之比可以用于提取全局照度數(shù)據(jù)GID。在該情況下，第二 LDR色調(diào)映射版本與原始LDR色調(diào)映射版本相同，因此不存在殘差并且全局照度數(shù)據(jù)可以被編碼在第二視圖中。
[0041]可選地，對原始LDR色調(diào)映射版本和HDR視頻在提取之前進行二次采樣SSP。
[0042]在圖3中描繪的第二示例性情況下，HDR視頻的標(biāo)準(zhǔn)化亮度相對于第二 LDR色調(diào)映射版本的標(biāo)準(zhǔn)化亮度之比可以用于提取全局照度數(shù)據(jù)，其中第二 LDR色調(diào)映射版本由原始HDR視頻的已知色調(diào)映射KTM獲得。
[0043]再次，存在對第二 LDR色調(diào)映射版本和HDR視頻在提取之前進行下采樣SSP的選擇。
[0044]在第一和第二示例性情況下，相對于從HDR視頻提取的最小和最大值執(zhí)行標(biāo)準(zhǔn)化NRM0亮度比被二進制化BIN。全局照度數(shù)據(jù)GID從二進制化數(shù)據(jù)和元數(shù)據(jù)得出。元數(shù)據(jù)通知在亮度比二進制化BIN之前的最小-最大值以及HDR亮度在標(biāo)準(zhǔn)化NRM之前的最小-最大值。如果應(yīng)用二次采樣，則元數(shù)據(jù)還通知二次采樣的參數(shù)數(shù)據(jù)。
[0045]在第二示例性情況下，第二 LDR色調(diào)映射版本可以通過任何色調(diào)映射技術(shù)確定。
[0046]在第三示例性情況下，應(yīng)用粗糙(coarse)照明提取器。這在圖7中示例性描繪。原理在于將原始HDR視頻分解為兩個成分:第一成分粗糙地通知每一個圖像的照明，并且第二成分是從原始HDR視頻移除粗糙照明的結(jié)果，即原始HDR視頻的第二色調(diào)映射版本。
[0047]首先，應(yīng)用原始HDR視頻的分解計算DEC。用于該分解的示例是平方根，但其他分解是可能的。然后，對得到的視頻進行二次采樣SSP，使得每一個數(shù)據(jù)表示區(qū)域(像素組)的亮度。該視頻表示作為向解碼器發(fā)送的全局照度數(shù)據(jù)GID的一部分的全局照度視頻。然后，該全局照度視頻使用對每一個點的照度進行建模的點擴散函數(shù)PSF進行卷積。例如，對于LED，這表示其空間照度。結(jié)果是格式與原始格式相同的視頻，因為卷積用作過采樣過濾器。得到的視頻使用原始HDR視頻和全局照度視頻進行計算以形成第二LDR色調(diào)映射視頻。例如，計算HDR亮度與全局照度比。
[0048]全局照度數(shù)據(jù)GID由全局照度視頻和某些元數(shù)據(jù)組成。組成元數(shù)據(jù)使得解碼器能夠單獨根據(jù)元數(shù)據(jù)或與編碼標(biāo)準(zhǔn)相結(jié)合地確定原始HDR視頻的分解模型、每一個照度點的點擴散函數(shù)PSF和二次采樣結(jié)構(gòu)。在其中用于計算第二 LDR視頻的方法可以改變的實施例中，進一步用信號通知(signal)最終計算(例如除法)。
[0049]在解碼器側(cè)，如圖8中示例性描繪的，全局照度結(jié)合器GIC用于使用點擴散函數(shù)PSF對全局照度數(shù)據(jù)進行卷積。然后，結(jié)果與解碼的第二 LDR色調(diào)映射視頻一起使用以通過倒轉(zhuǎn)(invert)在編碼器側(cè)進行的計算而形成重建的HDR視頻。因此，如果在編碼器側(cè)執(zhí)行了除法運算，則在解碼器側(cè)執(zhí)行乘法運算。
[0050]這對為使用在顯示器中實現(xiàn)的雙調(diào)制技術(shù)的顯示器提供源(source)尤其有用，即如果用于編碼的二次采樣和PSF與顯示器的二次采樣和LED PSF對應(yīng)，則第二 LDR色調(diào)映射視頻可以直接為LCD面板提供源并且全局照度數(shù)據(jù)GID可以直接為LED面板提供源。
[0051]在本發(fā)明的多個優(yōu)點中，能夠?qū)哂信c標(biāo)準(zhǔn)HDTV系統(tǒng)的向后兼容性(retro-compatibility)的HDR數(shù)據(jù)進行高效編碼。此外,本發(fā)明具有靈活性并且可以容易地適配用于具體顯示器技術(shù)。
[0052]因此，本發(fā)明可應(yīng)用于許多不同工業(yè)領(lǐng)域。
[0053]在本發(fā)明的示例性實施例中，在編碼器側(cè)使用像素亮度比確定全局照度數(shù)據(jù)GID。這在圖5中示例性描繪。全局照度提取裝置GIE接收HDR視頻和所述HDR視頻的LDR色調(diào)映射版本作為輸入，并且從所述HDR視頻及其色調(diào)映射版本提取亮度視頻Y?？蛇x地，得到的亮度視頻被二次采樣SUB并標(biāo)準(zhǔn)化NOR為值范圍(n_min ；n_max),其中例如n_min = O并且n_max=l?？商鎿Q地，得到的亮度視頻未被二次采樣而僅被標(biāo)準(zhǔn)化。然后，發(fā)生對標(biāo)準(zhǔn)化的亮度視頻進行逐個像素的除法運算，它是在不進行二次采樣的情況下逐個元素的除法運算。然后，使用b_min和b_max將得到的亮度比二進制化BIN。然后，二進制化的亮度比以及n_min、n_max、b_min和b_max —起表示全局照度數(shù)據(jù)GID。
[0054]在解碼器側(cè)，如圖6中示例性描繪的，全局照度數(shù)據(jù)GID可以與HDR視頻的LDR色調(diào)映射版本一起用于重建所述HDR視頻。
[0055]也就是說,在解碼器側(cè),13_1]1；[11、13_11^、11_1]1；[11和n_max用于對全局照度數(shù)據(jù)GID進行去二進制化DBN和去標(biāo)準(zhǔn)化DW。如果全局照度數(shù)據(jù)GID的分辨率小于要重建的HDR視頻的LDR色調(diào)映射版本的分辨率，則去標(biāo)準(zhǔn)化的數(shù)據(jù)被上采樣為所述LDR色調(diào)映射版本的分辨率。使用n_min和n_max對要重建的HDR視頻的LDR色調(diào)映射版本進行標(biāo)準(zhǔn)化。然后，標(biāo)準(zhǔn)化的LDR視頻與相同分辨率的去標(biāo)準(zhǔn)化的數(shù)據(jù)逐個像素相乘，其導(dǎo)致重建HDR。
[0056]在該示例性實施例中使用的HDR視頻的LDR色調(diào)映射版本可以是其中色調(diào)映射未知的LDR色調(diào)映射版本。在該情況下，不執(zhí)行二次采樣可能是有利的，因為這可能導(dǎo)致重建的HDR圖像中的偽影。
[0057]在HDR視頻的LDR色調(diào)映射版本的色調(diào)映射已知并傳遞到解碼側(cè)的情況下，可以移除在重建的HDR中可能出現(xiàn)的偽影。
[0058]在本發(fā)明的另一示例性實施例中，也使用像素亮度比在編碼器側(cè)確定全局照度數(shù)據(jù)GID。但在該另一示例性實施例中，點擴散函數(shù)用于從HDR視頻生成全局照度數(shù)據(jù)。也就是說，應(yīng)用分解。
[0059]這在圖7中示例性描繪。全局照度提取裝置GIE接收HDR視頻，并且使用HDR視頻的分解DEC、分解的HDR視頻的二次采樣SSP和使用點擴散函數(shù)PSF的二次采樣的分解的HDR視頻的卷積，從該HDR視頻生成全局照度數(shù)據(jù)GID。然后，使用點擴散函數(shù)PSF對全局照度數(shù)據(jù)GID進行卷積，并且HDR視頻逐個像素除以卷積結(jié)果，以便生成所述HDR視頻的LDR色調(diào)映射版本。然后，全局照度數(shù)據(jù)GID和LDR色調(diào)映射版本被編碼和傳送到編碼器或存儲。[0060]在圖8中示例性描繪對應(yīng)的HDR視頻的重建。接收全局照度數(shù)據(jù)GID和要重建的HDR視頻的LDR色調(diào)映射版本。然后，使用與在編碼器側(cè)相同的點擴散函數(shù)PSF對全局照度數(shù)據(jù)GID進行卷積，并且LDR色調(diào)映射版本逐個像素乘以卷積結(jié)果，以便重建所述HDR視頻。
[0061]在本發(fā)明的示例性實施例中，存在攜帶使用LDR視頻作為參考預(yù)測編碼的高動態(tài)范圍的HDR視頻的非臨時性存儲介質(zhì)，LDR視頻提供HDR視頻內(nèi)容的更低的動態(tài)范圍描繪。LDR視頻被進一步編碼。非臨時性存儲介質(zhì)攜帶關(guān)于作為參考的LDR視頻和無損編碼的全局照度數(shù)據(jù)的另一 LDR視頻的編碼的殘差，其中另一 LDR視頻提供HDR視頻內(nèi)容的另一更低的動態(tài)范圍描繪，并且全局照度數(shù)據(jù)允許使用另一 LDR視頻重建HDR視頻。
[0062]在示例性實施例中，還存在用于預(yù)測高動態(tài)范圍圖像元素的方法。所述方法包括接收低動態(tài)范圍圖像數(shù)據(jù)和接收包括全局照度數(shù)據(jù)和LDR殘差圖像元素的高動態(tài)范圍圖像數(shù)據(jù)。所述方法還包括從所述LDR圖像數(shù)據(jù)提取LDR圖像值；以及將所述LDR圖像值與所述LDR殘差圖像元素結(jié)合以形成LDR圖像元素。最后，基于所述全局照度數(shù)據(jù)修改所述LDR圖像元素以形成HDR圖像元素。
[0063]在示例性實施例中，還存在用于預(yù)測高動態(tài)范圍圖像元素的另一方法。所述方法包括接收低動態(tài)范圍圖像數(shù)據(jù)；接收包括預(yù)測數(shù)據(jù)和HDR殘差圖像元素的高動態(tài)范圍圖像數(shù)據(jù)；從所述LDR圖像數(shù)據(jù)提取LDR圖像值；基于所述預(yù)測數(shù)據(jù)修改所述LDR圖像值；以及將所述修改后的LDR圖像值與所述HDR殘差圖像元素結(jié)合以形成HDR圖像元素。
[0064]并且存在通過使用處理裝置從HDR視頻提取另一 LDR視頻和對應(yīng)的全局照度數(shù)據(jù)，獨立地對第一 LDR視頻進行編碼并且使用第一 LDR視頻作為參考對第二 LDR視頻進行預(yù)測編碼，以及對全局照度數(shù)據(jù)進行編碼來實現(xiàn)高動態(tài)范圍的HDR視頻以及LDR視頻的編碼的示例性實施例，其中LDR視頻提供HDR視頻內(nèi)容的更低的動態(tài)范圍描繪，其中第一 LDR視頻是LDR視頻且第二 LDR視頻是另一 LDR，或者第一 LDR視頻是另一 LDR視頻且第二 LDR視頻是LDR視頻。
【權(quán)利要求】
1.一種用于將高動態(tài)范圍的HDR視頻和LDR視頻編碼在一起的方法，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪，所述方法包括使用處理裝置用于 -對被稱為第一 LDR視頻的HDR視頻的第一色調(diào)映射版本以及獨立于第一 LDR視頻從HDR視頻提取的被稱為第二 LDR視頻的HDR視頻的第二色調(diào)映射版本進行編碼，并且使用第一LDR視頻作為參考對第二 LDR視頻進行預(yù)測編碼，以及 -對從HDR視頻進一步提取的全局照度數(shù)據(jù)進行無損編碼。
2.一種用于將高動態(tài)范圍的HDR視頻和LDR視頻編碼在一起的設(shè)備，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪，所述設(shè)備包括處理裝置用于 -對被稱為第一 LDR視頻的HDR視頻的第一色調(diào)映射版本以及獨立于第一 LDR視頻從HDR視頻提取的被稱為第二 LDR視頻的HDR視頻的第二色調(diào)映射版本進行編碼，并且使用第一LDR視頻作為參考對第二 LDR視頻進行預(yù)測編碼，以及 -對從HDR視頻進一步提取的全局照度數(shù)據(jù)進行無損編碼。
3.如權(quán)利要求1所述的方法或如權(quán)利要求2所述的設(shè)備，其中所述LDR視頻是第一LDR視頻。
4.如權(quán)利要求1 所述的方法或如權(quán)利要求2所述的設(shè)備，其中所述LDR視頻是第二LDR視頻。
5.如權(quán)利要求1、3或4所述的方法或如權(quán)利要求2、3或4所述的設(shè)備，其中提取全局照度數(shù)據(jù)包括:從HDR視頻和LDR視頻提取亮度視頻，將亮度視頻標(biāo)準(zhǔn)化，使用亮度視頻逐個像素計算原始照度數(shù)據(jù)并通過將原始照度數(shù)據(jù)二進制化來計算全局照度數(shù)據(jù)，所述方法還包括對允許去標(biāo)準(zhǔn)化和/或去二進制化的一個或多個參數(shù)進行編碼。
6.如權(quán)利要求5所述的方法或如權(quán)利要求5所述的設(shè)備，其中亮度視頻在標(biāo)準(zhǔn)化之前被二次采樣，并且其中一個或多個上采樣參數(shù)被編碼，上采樣參數(shù)允許倒轉(zhuǎn)二次采樣。
7.如權(quán)利要求1、3或4所述的方法或如權(quán)利要求2、3或4所述的設(shè)備，其中通過對HDR視頻應(yīng)用分解計算并且對分解的視頻進行二次采樣來提取全局照度數(shù)據(jù)，并且其中通過使用點擴散函數(shù)對二次采樣的視頻進行卷積并且使用卷積的視頻和HDR視頻逐個像素計算另一 LDR視頻來提取另一 LDR視頻。
8.一種攜帶與LDR視頻編碼在一起的HDR視頻的數(shù)據(jù)流，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪，根據(jù)權(quán)利要求1和3-7中的一個的方法將HDR視頻和LDR視頻編碼在一起。
9.一種攜帶與LDR視頻編碼在一起的HDR視頻的非臨時性存儲介質(zhì)，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪，根據(jù)權(quán)利要求1和3-7中的一個的方法將HDR視頻和LDR視頻編碼在一起。
10.一種重建高動態(tài)范圍的HDR視頻的方法，所述方法包括使用處理裝置用于 -解碼LDR視頻，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪， -使用LDR視頻和殘差用于解碼第二 LDR視頻，第二 LDR視頻提供HDR視頻內(nèi)容的另一更低動態(tài)范圍描繪， -解碼全局照度數(shù)據(jù)并使用全局照度數(shù)據(jù)和第一或第二 LDR視頻中的一個用于重建HDR視頻。
11.一種用于重建高動態(tài)范圍的HDR視頻的設(shè)備，所述設(shè)備包括處理裝置用于-解碼LDR視頻，LDR視頻提供HDR視頻內(nèi)容的更低動態(tài)范圍描繪， -使用LDR視頻和殘差用于解碼第二 LDR視頻，第二 LDR視頻提供HDR視頻內(nèi)容的另一更低動態(tài)范圍描繪， -解碼全局照度數(shù)據(jù)并使用全局照度數(shù)據(jù)和第一或第二 LDR視頻中的一個用于重建HDR視頻。
12.如權(quán)利要求10所述的方法或如權(quán)利要求11所述的設(shè)備，其中所述第一LDR視頻是LDR視頻。
13.如權(quán)利要求10所述的方法或如權(quán)利要求11所述的設(shè)備，其中所述第二LDR視頻是LDR視頻。
14.如權(quán)利要求10、12或13所述的方法或如權(quán)利要求11、12或13所述的設(shè)備，其中一個或多個參數(shù)被解碼并用于下列各項中的至少一個:去標(biāo)準(zhǔn)化、去二進制化和上采樣全局照度數(shù)據(jù)。
15.如權(quán)利要求10、12或13所述的方法或如權(quán)利要求11、12或13所述的設(shè)備，其中全局照度數(shù)據(jù)在解碼之后使 用點擴散函數(shù)進行卷積。
【文檔編號】H04N19/30GK104041046SQ201280066103
【公開日】2014年9月10日 申請日期:2012年12月18日 優(yōu)先權(quán)日:2012年1月6日
【發(fā)明者】Y.奧利維爾, D.圖澤, P.博德斯, F.希倫 申請人:湯姆遜許可公司