專(zhuān)利名稱：高動(dòng)態(tài)范圍視頻色調(diào)映射的制作方法
高動(dòng)態(tài)范圍視頻色調(diào)映射技術(shù)領(lǐng)域
本發(fā)明一般涉及高動(dòng)態(tài)范圍(HDR)圖像處理，具體而言，涉及用于色調(diào)映射MPEGHDR視頻流的系統(tǒng)和方法。
背景技術(shù)：
數(shù)字圖像的質(zhì)量在過(guò)去幾年中顯著地改善。圖片中的像素的數(shù)量由于照相機(jī)和顯示器兩者的改善而增大。然而，隨著高清晰度(HD)圖片中的像素的數(shù)量的增大和高動(dòng)態(tài)范圍(HDR)圖片中的改善的動(dòng)態(tài)信息，越來(lái)越大的量的數(shù)據(jù)與圖片相關(guān)聯(lián)。這會(huì)導(dǎo)致關(guān)于這樣的圖像的顯示的問(wèn)題。對(duì)于靜止圖像，已知應(yīng)用按試圖允許用戶觀察到與人眼相關(guān)的所有細(xì)節(jié)的方式允許縮小圖片的動(dòng)態(tài)范圍的色調(diào)映射技術(shù)。然而，對(duì)于由多個(gè)幀構(gòu)成的視頻數(shù)據(jù)，現(xiàn)有的解決方案存在許多局限性。
的確，高清晰度(HD)、高動(dòng)態(tài)范圍(HDR)視頻在常規(guī)顯示器(8比特顯示器)上的顯不涉及許多技術(shù)困難。HDR視頻具有與真實(shí)場(chǎng)景的売度相匹配的売度動(dòng)態(tài)范圍,這比顯不在標(biāo)準(zhǔn)、低動(dòng)態(tài)范圍(8比特)顯示器上的大得多。在這樣的顯示器上顯示HDR內(nèi)容要求使用“色調(diào)映射”操作來(lái)壓縮動(dòng)態(tài)范圍，但仍能提供可視化真實(shí)場(chǎng)景的類(lèi)似視覺(jué)體驗(yàn)。一個(gè)主要問(wèn)題是，高質(zhì)量色調(diào)映射算子要求相當(dāng)大的處理能力以對(duì)于高清晰度視頻維持60幀/秒的典型的幀率和1920x1080的高圖像分辨率。
允許HDR視頻的實(shí)時(shí)顯示的首先已知的方法不是實(shí)時(shí)地執(zhí)行色調(diào)映射，而是使用嵌入到HDR流中的預(yù)先色調(diào)映射的視頻流。此方法在U.S.專(zhuān)利20080310501，美國(guó)專(zhuān)利 20090003718,在 R.Mantiuk, G.Krawczyk, K.Myszkowski,以及 H.Seidel 所著的標(biāo)題為 “Perception-motivated high dynamic range video encoding，，的文章(ACM SIGGRAPH2004Papers;Los Angeles, California:ACM, 2004, pp.733-741),以及在G.Sullivan, Haoping Yuj S.SekiguchijHuifang Sun, T.Wedij S.WittmannjYung-LyulLee, A.Segallj and T.Suzuk1.所著的文章“New Standardized Extensions of MPEG4-AVC/H.264forProfessional-Quality Video Applications” (Image Processing,2007.1CIP2007.1EEE International Conference on，2007，pp.1-13-1-16)中進(jìn)行了描述。此方法消除色調(diào)映射的 必要性，這樣，顯示HDR視頻簡(jiǎn)單地通過(guò)解碼色調(diào)映射的流來(lái)完成。然而，此方法具有“離線”色調(diào)映射的主要缺點(diǎn)。這將此方法的適用性限制于預(yù)先記錄的視頻，因此，不能用于實(shí)況電視轉(zhuǎn)播。此外，色調(diào)映射算子是預(yù)定的，不能改變。
對(duì)此問(wèn)題的另一種方法是在文章“Perceptual effects in real-time tonemapping，，(Proceedings of the21st spring conference on Computer graphics, Budmerice, Slovakia:ACM, 2005，pp.195-202，by G.Krawczykj K.Myszkowskij 以及 H.Seidel 著)以及文章 “ Interactive time-dependent tone mapping using programmable graphicshardware，，(Proceedings of thel4th Eurographics workshop on Rendering, Leuven，Belgium:Eurographics Association,2003，pp.26—37，by N.Goodnight, R.Wang, C.Woolley, and G.Humphreys著)中所釆取的方法。此方法包括求特定色調(diào)映射運(yùn)算的近似值，并依賴于諸如圖形處理單元之類(lèi)的高性能計(jì)算來(lái)實(shí)時(shí)地執(zhí)行色調(diào)映射。然而，此方法具有這樣的缺點(diǎn):潛在地降低色調(diào)映射質(zhì)量以允許實(shí)時(shí)處理，而同時(shí)仍要求高能力/高成本的基本硬件以用于可接受質(zhì)量的色調(diào)映射。進(jìn)一步地，應(yīng)用此方法的解決方案通常對(duì)于特定色調(diào)映射算子高度調(diào)節(jié)，使得不可能改變色調(diào)映射算子以匹配想要的觀看特征(例如，強(qiáng)調(diào)細(xì)節(jié)并而非具有感覺(jué)上使人愉快的圖像)。對(duì)此問(wèn)題的另一個(gè)現(xiàn)有的解決方案是在J.Carletta和H.Firas所著的文章“Method for real-time implementabIe local tone mapping for high dynamic rangeimages”中所描述的。此解決方案構(gòu)建實(shí)時(shí)地執(zhí)行色調(diào)映射的自定義硬件實(shí)現(xiàn)。然而，此解決方案一般依賴于色調(diào)映射算子的顯著近似以降低硬件成本。此外，硬件也是應(yīng)用/色調(diào)映射特定的，這增大了實(shí)現(xiàn)成本，因?yàn)樵撚布荒苡糜谄渌δ堋Ｒ虼?，在現(xiàn)有技術(shù)的情況下，在常規(guī)顯示器上顯示HDR視頻高度受限。相應(yīng)地，需要對(duì)于HDR視頻流進(jìn)行實(shí)時(shí)地色調(diào)映射的改善的方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了根據(jù)所附的獨(dú)立的權(quán)利要求1所述的色調(diào)映射高動(dòng)態(tài)范圍視頻數(shù)據(jù)流的方法，分別根據(jù)所附的權(quán)利要求13到15所述的計(jì)算機(jī)程序、計(jì)算機(jī)可讀介質(zhì)和系統(tǒng)。優(yōu)選實(shí)施例在所附從屬權(quán)利要求中定義。相應(yīng)地，本發(fā)明提供不局限于特定色調(diào)映射算子的用于高清晰度HDR視頻的實(shí)時(shí)色調(diào)映射方法。本發(fā)明允許使用作為不涉及相對(duì)于解碼處理的大量額外開(kāi)銷(xiāo)的“副產(chǎn)物”來(lái)執(zhí)行色調(diào)映射的MPEG視頻解碼操作的標(biāo)準(zhǔn)過(guò)程。本發(fā)明的各實(shí)施例依賴于利用視頻中的已經(jīng)在MPEG編碼過(guò)程中標(biāo)識(shí)的時(shí)間冗余，并使用它來(lái)將色調(diào)映射操作減少到僅僅全局加法和縮放運(yùn)算。結(jié)果，對(duì)于一組幀只執(zhí)行一個(gè)完整的色調(diào)映射操作。本發(fā)明的一個(gè)優(yōu)點(diǎn)是將視頻色調(diào)映射的操作加快了與視頻幀率相當(dāng)?shù)囊蜃?例如，對(duì)于高清晰度視頻流，60幀每秒的幀率的15x加速)。本發(fā)明的再一個(gè)優(yōu)點(diǎn)是允許為幀內(nèi)色調(diào)映射選擇任何色調(diào)映射算子。本發(fā)明的解決方案可以容易地與MPEG視頻解碼過(guò)程及其它類(lèi)似的視頻編碼技術(shù)集成，而同時(shí)要求有限的硬件處理能力和功率要求。本發(fā)明的另一個(gè)優(yōu)點(diǎn)是，將色調(diào)映射的質(zhì)量與MPEG視頻壓縮的質(zhì)量相關(guān)聯(lián)。本發(fā)明的進(jìn)一步的優(yōu)點(diǎn)在本領(lǐng)域技術(shù)人員閱讀附圖和詳細(xì)描述之后將變得顯而易見(jiàn)。本文旨在包括任何額外的優(yōu)點(diǎn)。


現(xiàn)在將作為示例參考各個(gè)附圖來(lái)描述本發(fā)明的各實(shí)施例，相同的參考符號(hào)表示類(lèi)似的元件，其中:圖1示出了根據(jù)MPEG標(biāo)準(zhǔn)的幀序列；圖2示意地示出了對(duì)MPEG幀執(zhí)行的色調(diào)映射操作；圖3是根據(jù) 本發(fā)明的各實(shí)施例的用于顯示高動(dòng)態(tài)范圍(HDR)視頻數(shù)據(jù)流的高級(jí)別流程圖4示出了根據(jù)本發(fā)明的各實(shí)施例的用于色調(diào)映射高動(dòng)態(tài)范圍(HDR)的系統(tǒng)框圖；以及
圖5示出了根據(jù)本發(fā)明的各實(shí)施例的用于色調(diào)映射HDR圖像的計(jì)算機(jī)系統(tǒng)。
附圖旨在僅描述本發(fā)明的典型的實(shí)施例，因此，不應(yīng)該被視為限制本發(fā)明的范圍。
具體實(shí)施方式
多媒體設(shè)備一般實(shí)現(xiàn)視頻編碼技術(shù)，諸如MPEG-2、ITU-H.263、MPEG-4等等，以傳輸、接收、存儲(chǔ)或檢索數(shù)字內(nèi)容。在這些編碼技術(shù)之中，MPEG國(guó)際標(biāo)準(zhǔn)被擴(kuò)展以壓縮 HDR 視頻流，如:“New Standardized Extensions of MPEG4-AVC/H.264forProfessional-Quality Video Applications” (Image Processing, 2007.1CIP2007.1EEE International Conference on, 2007,pp.1-13-1-16, G.Sullivan, Haoping Yu,S.Sekiguchi, Huifang Sun, T.ffedi, S.ffittmann, Yung-Lyul Lee, A.Segall,以及 T.Suzuki著)所描述。
MPEG數(shù)據(jù)流由可以與音頻流及其它比特流打包的視頻流構(gòu)成。
圖1示出了包括以間隔獲取的幀的示例性MPEG序列100。幀通過(guò)時(shí)間信息被編碼的方式來(lái)指定。
使用MPEG編碼來(lái)生成包括具有不同類(lèi)型的多個(gè)幀的幀序列。更具體而言，MPEG幀序列包括邏輯組，每一個(gè)邏輯組包括三種類(lèi)型的幀:1幀101、P幀102和B幀103。
I幀101是單個(gè)解壓縮的幀的壓縮的版本。它只依賴于幀內(nèi)數(shù)據(jù)來(lái)進(jìn)行編碼，而不參考其它類(lèi)型的幀(即，沒(méi)有對(duì)冗余的時(shí)間編碼)。與P幀和B幀不同，I幀不取決于前面的或后面的幀中的數(shù)據(jù)。
P幀102依賴于從較早的I幀101的預(yù)測(cè)。通過(guò)前一 I幀101和下一 P幀102，對(duì)B幀103進(jìn)行時(shí)間編碼。如圖1所示，典型的幀序列如下:I BB…B P。在某些MPEG應(yīng)用中，對(duì)于HD視頻流，每第15個(gè)幀出現(xiàn)I幀。
一般而言，對(duì)于參考幀(I或P幀)后面的幀(P幀和B幀)，這些幀中的只有小部分不同于相應(yīng)的參考幀的相對(duì)應(yīng)的部分。對(duì)于這些參考幀，使用運(yùn)動(dòng)向量只捕捉和存儲(chǔ)差異。
為了從未來(lái)幀進(jìn)行逆預(yù)測(cè)，編碼設(shè)備一般從顯示順序到比特流順序?qū)M(jìn)行重新排序，以便在它所參考的前一和下一巾貞之后傳輸B圖片。
MPEG視頻編碼單元執(zhí)行兩個(gè)主要操作。由MPEG視頻編碼單元執(zhí)行的第一操作跨MPEG幀對(duì)數(shù)據(jù)的時(shí)間冗余·度進(jìn)行編碼。對(duì)于給定幀塊，編碼器根據(jù)前一幀和下一幀搜索匹配的兩個(gè)塊。然后，從匹配的兩個(gè)塊中減去當(dāng)前幀塊。
第二 MPEG操作是在時(shí)間還原操作之后對(duì)每一個(gè)幀內(nèi)部的空間冗余度的編碼。除使用量化步驟來(lái)編碼空間冗余度之外，還使用幀內(nèi)離散余弦變換(DCT)操作和運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)操作。
在MPEG編碼器中，首先確定運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)，并將其與DCT組合。從源圖片中減去運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)以形成“預(yù)測(cè)誤差”圖片，然后，利用DCT來(lái)轉(zhuǎn)換預(yù)測(cè)誤差，量化系數(shù)，并使用可變長(zhǎng)度編碼(VLC)來(lái)編碼這些經(jīng)量化的值。編碼的亮度和色度預(yù)測(cè)誤差與解碼器所需的“邊信息”(諸如運(yùn)動(dòng)向量和同步信息)組合，并形成用于傳輸?shù)谋忍亓鳌?br> 如此編碼的HDR數(shù)據(jù)流(在下文也稱為“比特流”)包括許多水平切片，每一個(gè)水平切片包括許多宏塊。每一個(gè)宏塊包括:量化值、運(yùn)動(dòng)向量、量化的DCT系數(shù)的亮度和色度塊坐寸O
根據(jù)本發(fā)明的各實(shí)施例的色調(diào)映射方法允許有效地顯示根據(jù)MPEG格式編碼的HDR視頻數(shù)據(jù)流。色調(diào)映射方法對(duì)色調(diào)映射I幀應(yīng)用色調(diào)映射算子，而同時(shí)基于預(yù)先為參考幀(I和P巾貞)確定的色調(diào)映射的幀、以及對(duì)HDR視頻數(shù)據(jù)流的MPEG解碼所產(chǎn)生的信息，色調(diào)映射P幀和B幀。
圖2示意地描繪了根據(jù)本發(fā)明的各實(shí)施例的色調(diào)映射方法的各階段。
當(dāng)接收到HDR比特流的I幀時(shí)，根據(jù)色調(diào)映射技術(shù)，對(duì)輸入的數(shù)據(jù)流的I幀201應(yīng)用色調(diào)映射操作，以成為經(jīng)色調(diào)映射的I幀210。經(jīng)色調(diào)映射的I幀存儲(chǔ)在存儲(chǔ)器中，以允許對(duì)它引用的幀(P幀或B幀)的色調(diào)映射值進(jìn)行差分的計(jì)算。
當(dāng)幀內(nèi)涉及完整的色調(diào)映射操作時(shí)，本發(fā)明的優(yōu)點(diǎn)是允許基于與為充當(dāng)參考幀的I幀獲取的經(jīng)色調(diào)映射的I幀值關(guān)聯(lián)的加法和縮放操作，對(duì)依賴幀(P幀和B幀)進(jìn)行“差分”色調(diào)映射。
更具體而言，當(dāng)接收到依賴于參考I巾貞的P巾貞202時(shí),使用與為參考I巾貞獲取的經(jīng)色調(diào)映射的I幀210關(guān)聯(lián)的加法和縮放函數(shù)、以及涉及比特流的MPEG解碼的其它信息來(lái)計(jì)算P幀的色調(diào)映射值，從而提供經(jīng)色調(diào)映射的P幀212。經(jīng)色調(diào)映射的P幀的值存儲(chǔ)在存儲(chǔ)器中，以允許對(duì)它所引用的幀(B幀)的色調(diào)映射值進(jìn)行差分計(jì)算。
當(dāng)接收到依 賴于給定I幀和P幀的B幀203時(shí)，基于為參考I幀獲取的經(jīng)色調(diào)映射的I幀210、為參考P幀獲取的經(jīng)色調(diào)映射的P幀212、以及涉及比特流的MPEG解碼的另外的信息，差分地計(jì)算B幀的色調(diào)映射值。這提供了經(jīng)色調(diào)映射的B幀214，而不涉及對(duì)幀的實(shí)際色調(diào)映射操作，從而節(jié)省了大量的計(jì)算時(shí)間、存儲(chǔ)器、以及功率。
相應(yīng)地，根據(jù)本發(fā)明的各實(shí)施例的色調(diào)映射方法對(duì)于幀內(nèi)只需要一個(gè)色調(diào)映射操作。對(duì)于跟隨參考幀的幀(P幀和B幀)，對(duì)相對(duì)應(yīng)的色調(diào)映射幀的計(jì)算只涉及不增加解碼時(shí)間的復(fù)雜度的一些加法和縮放。然后，HDR視頻數(shù)據(jù)流可以以較低的計(jì)算開(kāi)銷(xiāo)和改善的加速被轉(zhuǎn)換成適用于顯示在常規(guī)顯示設(shè)備上的幀序列。
圖3是用于顯示以MPEG編碼的HDR視頻數(shù)據(jù)流的流程圖。
方法在步驟300中以接收根據(jù)MPEG格式的HDR視頻數(shù)據(jù)流開(kāi)始。可以從任何類(lèi)型的適用于將原始視頻數(shù)據(jù)流編碼為MPEG格式的編碼設(shè)備，或從諸如硬盤(pán)、光盤(pán)等等之類(lèi)的將視頻數(shù)據(jù)流存儲(chǔ)為MPEG格式的數(shù)據(jù)存儲(chǔ)裝置接收輸入視頻流。編碼設(shè)備可以是從諸如衛(wèi)星接收器、攝像機(jī)之類(lèi)的任何類(lèi)型的源接收原始視頻數(shù)據(jù)流的通用計(jì)算機(jī)。
MPEG格式的HDR視頻數(shù)據(jù)流包括在MPEG編碼過(guò)程中獲得的可變長(zhǎng)度碼。
在步驟302中，對(duì)HDR比特流應(yīng)用MPEG解碼操作。MPEG解碼過(guò)程解碼并存儲(chǔ)充當(dāng)其它幀的參考的每一個(gè)接收到的幀，諸如I或P幀。充當(dāng)諸如I幀或P幀之類(lèi)的參考幀的每一個(gè)新重建的幀替換預(yù)先存儲(chǔ)的參考幀，以充當(dāng)輸入幀的新參考。使用運(yùn)動(dòng)補(bǔ)償函數(shù)重建取決于參考幀的P幀或B幀，運(yùn)動(dòng)補(bǔ)償函數(shù)對(duì)使用相鄰的解碼的參考幀(I幀和/或P中貞)的幀應(yīng)用。取決于參考幀的幀(諸如P幀和B巾貞)與引用相鄰的解碼的參考幀(I幀或P幀)中的塊的相應(yīng)的運(yùn)動(dòng)向量相關(guān)聯(lián)。MPEG解碼器使用每一個(gè)運(yùn)動(dòng)向量來(lái)確定每一個(gè)參考幀(I幀或P幀)中的相對(duì)應(yīng)的參考?jí)K，以便訪問(wèn)由運(yùn)動(dòng)向量指向的參考?jí)K。相應(yīng)地，從預(yù)先解碼并緩存在圖片緩存器中的相關(guān)聯(lián)的參考I幀重建P幀，從預(yù)先解碼并緩存在圖片緩存器中的兩個(gè)相關(guān)聯(lián)的參考幀(I幀和P幀)重建B幀。從而，MPEG解碼步驟生成I幀(全值)，重建的P幀和重建的B幀。它還為每一個(gè)接收到的P巾貞提供中介誤差(intermediary error)值ep(x, y),并為每一個(gè)接收到的B中貞提供誤差值eb(x，y)。誤差信號(hào)％(1，7)表示像素位置(x，y)處P幀中的誤差值，誤差信號(hào)eb(x, y)表示像素位置(X，y)處B幀中的誤差值。P和B幀的誤差值最初由MPEG編碼器來(lái)編碼。MPEG解碼器使用逆離散余弦變換來(lái)解碼它們。誤差通常用于運(yùn)動(dòng)補(bǔ)償操作中，以重建視頻數(shù)據(jù)流的原始幀，因此，其值是原始像素值和時(shí)間重建值之間的誤差或差異，時(shí)間重建值是通過(guò)使用來(lái)自其它幀的像素值來(lái)計(jì)算當(dāng)前幀像素而獲得的。更具體而言，MPEG解碼步驟302根據(jù)所使用的MPEG編碼標(biāo)準(zhǔn)和幀類(lèi)型，應(yīng)用可變長(zhǎng)度解碼函數(shù)，以恢復(fù)每一個(gè)可變長(zhǎng)度碼的運(yùn)行(run)、級(jí)別以及長(zhǎng)度。可變長(zhǎng)度碼可以使用查表技術(shù)或任何合適的技術(shù)來(lái)解碼。步驟302還包括將來(lái)自可變長(zhǎng)度解碼函數(shù)的系數(shù)分配到宏塊(例如，8*8像素)，并通過(guò)與在編碼的量化階段所使用的相同的相對(duì)應(yīng)的量化常數(shù)，應(yīng)用逆量化函數(shù)，以乘以宏塊中的每一個(gè)系數(shù)，并將結(jié)果四舍五入到最近的整數(shù)。步驟302還對(duì)宏塊應(yīng)用逆離散余弦變換(DCT)函數(shù)，以將塊返回到時(shí)間/空間域表示，其提供I幀以及P幀和B幀的誤差值e (X，y)。對(duì)于每一個(gè)接收到的P幀或B巾貞，MPEG解碼步驟302還使用相關(guān)聯(lián)的運(yùn)動(dòng)向量，以提供重建的P幀和B幀。

在步驟304中，根據(jù)任何合適的色調(diào)映射技術(shù)，對(duì)在步驟302中解碼的每一個(gè)I幀進(jìn)行色調(diào)映射。在下面的描述中，位置(X，y)處的I幀像素值將簡(jiǎn)稱為I (X，y)，而給定像素(X，y)處的I幀的色調(diào)映射值將簡(jiǎn)稱為像素位置(X，y)處的Il (X，y)。經(jīng)色調(diào)映射的I幀Il可以使用合適的色調(diào)映射算子來(lái)生成，該色調(diào)映射算子例如是Reinhard等人的攝影色調(diào)映射算子(Erik ReinharcUMichael Stark、Peter Shirley 以及 James Ferwerda:Photographic tone reproduction for digital images, SIGGRAPH ' 02:Proceedingsof the29th annual conference on Computer graphics and interactivetechniques, pages267_276, New York, N.Y., USA, 2002.ACM Press),這是包括經(jīng)典的 AnselAdams遮光-增光(dodging-and-burning)技術(shù)的本地自適應(yīng)算子(Ansel Adams, ThePrint, The Ansel Adams Photography Series/Book3, Little, Brown and Company, tenthedition, 2003,與Robert Balker協(xié)作)，這基于公知攝影原理，以對(duì)每個(gè)單個(gè)像素進(jìn)行色調(diào)映射?？梢允褂萌魏紊{(diào)映射算子，只要在空間上(在一個(gè)幀內(nèi))發(fā)生色調(diào)映射。這一般被大多數(shù)色調(diào)映射算子滿足。本發(fā)明還適用于可以對(duì)其執(zhí)行時(shí)間適應(yīng)步驟(在空間色調(diào)映射之后)以適應(yīng)隨時(shí)間而變化的亮度的色調(diào)映射算子。當(dāng)這樣的時(shí)間適應(yīng)依賴于當(dāng)前的經(jīng)色調(diào)映射的幀和時(shí)間信息時(shí)，可能需要對(duì)幀執(zhí)行額外的時(shí)間算子。然而，與色調(diào)映射操作相比，這樣的操作的開(kāi)銷(xiāo)微不足道。在“Perceptual effects in real-time tonemapping”中描述了示例性時(shí)間適應(yīng)方法(G.Krawczyk, K.Myszkowski以及H.Seidel所著的Proceedings of the21st spring conference on Computer graphics, Budmerice, Slovakia:ACM, 2005, pp.195-202)。在步驟306中，從在參考I幀相對(duì)應(yīng)的位置(X' ,j')獲得的經(jīng)色調(diào)映射的I幀的值I1(X' ,1')(根據(jù)步驟304)、以及涉及為P幀(如在步驟302中獲得的)編碼的誤差信號(hào)ep (x,y)(使用逆量化和離散余弦變換函數(shù))的縮放因子，為參考I幀之后的接收到的P幀差分地計(jì)算色調(diào)映射的P幀Pl (X，y)。與P幀相關(guān)聯(lián)的運(yùn)動(dòng)向量可以被用來(lái)確定對(duì)應(yīng)于P幀處的像素位置(X，y)的參考I幀的像素位置U丨,1')?？梢酝ㄟ^(guò)在MPEG視頻數(shù)據(jù)流的解碼過(guò)程中所使用的可變長(zhǎng)度解碼函數(shù)來(lái)提供運(yùn)動(dòng)向量。
在步驟308中，從為第一預(yù)定的位置(X' ,J')處的參考I幀獲取的經(jīng)色調(diào)映射的I幀的值I1(X' ,1')、為第二預(yù)定的位置(X"，y")處的參考P幀獲取的經(jīng)色調(diào)映射的P幀的值Pl(x"，y")、涉及為在步驟302中獲得的B幀編碼的誤差信號(hào)eb (x,y)(使用逆量化和離散余弦變換函數(shù))的縮放因子，為取決于參考I幀和參考P幀的接收到的B幀計(jì)算像素位置(x，y)處的經(jīng)色調(diào)映射的B幀值BI (x,y)0第一預(yù)定的位置(X' ,1')是對(duì)應(yīng)于B幀的像素位置(x，y)的參考I幀處的像素位置，而第二預(yù)定的位置(X"，y")是對(duì)應(yīng)于B幀的像素位置(X，y)的參考P幀處的像素位置?？梢允褂门c參考I幀相關(guān)聯(lián)的運(yùn)動(dòng)向量來(lái)確定第一預(yù)定的位置,1')。可以根據(jù)與參考P幀相關(guān)聯(lián)的運(yùn)動(dòng)向量來(lái)確定第二預(yù)定的位置(X"，y")。這兩個(gè)運(yùn)動(dòng)向量可以通過(guò)在對(duì)視頻數(shù)據(jù)流的MPEG解碼的開(kāi)始時(shí)應(yīng)用的視頻長(zhǎng)度解碼(VLC)函數(shù)來(lái)產(chǎn)生(步驟302)。
在步驟310中，從根據(jù)步驟304獲得的經(jīng)色調(diào)映射的I幀(II (x, y))，根據(jù)步驟306獲得的經(jīng)色調(diào)映射的P幀(PI (x,y))以及根據(jù)步驟308獲得的經(jīng)色調(diào)映射的B幀(BI(X，y))，執(zhí)行對(duì)HDR視頻數(shù)據(jù)流的色彩空間轉(zhuǎn)換?？梢詫?duì)RGB標(biāo)準(zhǔn)色彩空間進(jìn)行轉(zhuǎn)換，在RGB標(biāo)準(zhǔn)色彩空間中，每一個(gè)像素的顏色通過(guò)三個(gè)分量來(lái)表示，S卩，紅色(R)、綠色(G)以及藍(lán)色(B)。可以可另選地對(duì)Luv色彩空間進(jìn)行轉(zhuǎn)換，其中，L是亮度分量，u和V分別是色度分量。
圖4示出了根據(jù)本發(fā)明的某些實(shí)施例的表示用于解碼和色調(diào)映射HDR視頻數(shù)據(jù)流的顯示系統(tǒng)400的系統(tǒng)框圖。
顯示系統(tǒng)400 以HDR MPEG流作為輸入。它耦合到用于基于從參考I幀提取的數(shù)據(jù)和從在時(shí)間上壓縮的或編碼的幀P幀和/或B幀中提取的信息來(lái)顯示視頻數(shù)據(jù)流的顯示設(shè)備。
以MPEG格式編碼的HDR視頻數(shù)據(jù)流包括“切片”。每一個(gè)切片表示圖像幀的水平斷面，并包括宏塊的序列。每一個(gè)宏塊包括宏塊頭、運(yùn)動(dòng)向量部分以及離散余弦變換(DCT)系數(shù)的編碼塊。使用運(yùn)動(dòng)向量部分來(lái)為宏塊產(chǎn)生運(yùn)動(dòng)向量。
系統(tǒng)400包括用于對(duì)HDR MPEG流進(jìn)行第一處理的可變長(zhǎng)度解碼塊Cl?？勺冮L(zhǎng)度解碼塊Cl對(duì)HDR MPEG流執(zhí)行標(biāo)準(zhǔn)可變長(zhǎng)度解碼，以提供量化離散余弦變換(DCT)系數(shù)(例如，通過(guò)使用預(yù)定的霍夫曼碼表)。逆掃描函數(shù)(未示出)將來(lái)自可變長(zhǎng)度解碼塊的系數(shù)分配到塊(例如，8*8塊))。
然后,轉(zhuǎn)換塊C2執(zhí)行逆量化和逆離散余弦變換操作。逆量化操作將從逆掃描函數(shù)提供的塊中的每一個(gè)系數(shù)乘以如在編碼過(guò)程中的量化過(guò)程中所使用的同一個(gè)相對(duì)應(yīng)的量化常數(shù)，并將結(jié)果四舍五入到最近的整數(shù)。對(duì)塊應(yīng)用逆離散余弦變換操作，以將塊返回到空間域表示(形成圖像差塊)。根據(jù)本發(fā)明的某些實(shí)施例的逆DCT操作的功能之一具體包括解碼分別與P和B幀(最初是通過(guò)MPEG編碼器編碼的)相關(guān)聯(lián)的誤差信號(hào)。
然后，將編碼的運(yùn)動(dòng)向量和誤差信號(hào)傳輸?shù)竭\(yùn)動(dòng)補(bǔ)償塊C3。
使用運(yùn)動(dòng)補(bǔ)償塊C3來(lái)解碼分別與P和B幀相關(guān)聯(lián)的誤差信號(hào)(在下文稱為P和B幀的ep (x，y)和eb (x，y))，關(guān)于(與參考I幀相關(guān)聯(lián)的)每一個(gè)P幀的編碼的一組運(yùn)動(dòng)向量和關(guān)于(與參考I幀和P幀相關(guān)聯(lián)的)每一個(gè)B幀的兩組編碼的運(yùn)動(dòng)向量。在典型的MPEG解碼器中，每一個(gè)運(yùn)動(dòng)向量一般被用于檢索與逆離散余弦變換操作的輸出相結(jié)合的參考圖像塊，以產(chǎn)生解碼的圖像塊。如此，運(yùn)動(dòng)補(bǔ)償塊C3提供重建的P幀和B幀。然而，根據(jù)本發(fā)明的各實(shí)施例，運(yùn)動(dòng)補(bǔ)償塊C3主要用于解碼誤差信號(hào)和運(yùn)動(dòng)向量，以將它們提供到單向差分(Un1-Differential)色調(diào)映射計(jì)算塊C6和雙向差分(B1-Differential)色調(diào)映射計(jì)算塊C7。相應(yīng)地，塊C2和C3用于生成I幀(全值)、P幀和B幀的誤差信號(hào)值ep (x, y)和eb(x，y)，并提供解碼的運(yùn)動(dòng)向量。來(lái)自轉(zhuǎn)換塊C2的每一個(gè)解碼的I幀被饋送給色調(diào)映射塊C5。提供色調(diào)映射塊，以根據(jù)合適的色調(diào)映射技術(shù)對(duì)I幀執(zhí)行色調(diào)映射操作。執(zhí)行色調(diào)映射操作，以將一組顏色映射到另一組，并求HDR視頻的外觀的近似值。從色調(diào)映射塊C5 (經(jīng)色調(diào)映射的I幀)獲取的值Il(x，y)被饋送給單向差分色調(diào)映射計(jì)算塊C6和雙向差分色調(diào)映射計(jì)算塊c7，以便對(duì)它參考的P幀和B幀的色調(diào)映射值進(jìn)行差分計(jì)算。對(duì)于每一個(gè)解碼的P幀，與其參考I幀相關(guān)聯(lián)的經(jīng)色調(diào)映射的I幀(從塊C5獲取的)、P幀處編碼的誤差值ep (x,y)(從塊C2獲取的)、P幀運(yùn)動(dòng)向量和重建的P幀(從C3接收到的)被單向差分色調(diào)映射計(jì)算塊C6 (相對(duì)于充當(dāng)P幀的參考幀的較早的I幀被稱為“單向差分”)用來(lái)計(jì)算P幀的色調(diào)映射值。單差分色調(diào)映射計(jì)算塊C6根據(jù)下列公式，從經(jīng)色調(diào)映射的I巾貞的值計(jì)算經(jīng)色調(diào)映射的P巾貞的值=P1U, y)=I1(x/，i' )+ep(x, y)*Ii(x/ , i' )/Ι(χ' ,i')，，其中，P1U, y)是位置(χ, y)處的經(jīng)色調(diào)映射的P巾貞像素值，ep(x, y) ^I1 (Xi ,Y' )/I(x/，y')是縮放因子，I(x'，y')是I 幀中的位置(x' ,1’ )處的I幀像素值，而ep(x，y)是位置(x，y)處的P幀中的編碼的誤差值，y')是由色調(diào)映射塊C5預(yù)先確定的參考I幀的色調(diào)映射值。位置,1')是由P幀運(yùn)動(dòng)向量確定的。作為累積的絕對(duì)差ep(x ，y)來(lái)測(cè)量誤差信號(hào)ep(x，y)?？闪磉x地，如果誤差信號(hào)ep(x，y)高(S卩，優(yōu)于預(yù)定義的閾值)，則可以 對(duì)整個(gè)P幀進(jìn)行完全色調(diào)映射，而不求近似值。對(duì)于每一個(gè)解碼的B幀，預(yù)先為參考I幀確定的經(jīng)色調(diào)映射的I幀11 (X，y)(從C5獲取)、預(yù)先為參考P幀確定的經(jīng)色調(diào)映射的P幀Pl (X，y)(從C5獲取)、B幀處的誤差值eb(x, y)(從塊C2獲取)、分別與參考I幀和P幀相關(guān)聯(lián)的兩個(gè)運(yùn)動(dòng)向量、以及重建的參考P幀被雙向差分色調(diào)映射計(jì)算塊C7 (C7相對(duì)于參考I幀和P幀被稱為雙向差分)使用，以根據(jù)下列公式來(lái)計(jì)算B幀的色調(diào)映射值BI (x，y):B1(XJ)=I1U' ,i' )+Pi(x"，y" )+eb(x, y)^ai(x' ,y' HP1U"，y" ))/(I(x' ,y' )+P(x"，y"))，其中，B1 (x，y)是B幀處的像素(x，y)的色調(diào)映射值，I1U' ,Y')是經(jīng)色調(diào)映射的I幀處的相對(duì)應(yīng)的像素，P1U" ,Y")是經(jīng)色調(diào)映射的P幀處的相對(duì)應(yīng)的像素值，而eb(x，y)是B幀的誤差(像素)值。利用與參考I幀相關(guān)聯(lián)的B幀的運(yùn)動(dòng)向量來(lái)確定參考I幀處的相對(duì)應(yīng)的像素位置U丨,1')，并利用與參考P幀相關(guān)聯(lián)的B幀的運(yùn)動(dòng)向量來(lái)確定參考P幀處的相對(duì)應(yīng)的像素位置(X"，y")。可另選地，如果誤差信號(hào)(被測(cè)量為累積的絕對(duì)差eb (x，y))高(即，優(yōu)于預(yù)定義的閾值)，則對(duì)整個(gè)B幀進(jìn)行完全色調(diào)映射(使用色調(diào)映射算子)而不求近似值，否則，差分地計(jì)算色調(diào)映射值(即，通過(guò)近似來(lái)計(jì)算)。
最初，MPEG流中的I幀、P幀和B幀處于HSB空間，在HSB空間中，像素分量表示“色調(diào)”、“飽和度”、以及“明度”或亮度。系統(tǒng)400包括色彩空間轉(zhuǎn)換塊C4，該色彩空間轉(zhuǎn)換塊C4接收計(jì)算出的幀(經(jīng)色調(diào)映射的1、P和B幀)，并將它們轉(zhuǎn)換回到RGB空間，以匹配顯示色彩空間。這提供了可以顯示的經(jīng)色調(diào)映射的RGB圖像。
在其中每一個(gè)幀都要求用于色調(diào)映射的平均時(shí)間t1;以及用于視頻解碼的平均時(shí)間t2的本發(fā)明的示例性應(yīng)用中，根據(jù)本發(fā)明的各實(shí)施例，色調(diào)映射操作只有I幀需要。對(duì)于P幀和B幀，色調(diào)映射只涉及不增加解碼時(shí)間t2的復(fù)雜性的一些加法和縮放。因此，只對(duì)于色調(diào)映射操作的I幀和P幀產(chǎn)生時(shí)間ti。如果I幀每η個(gè)幀出現(xiàn)，則所需的總執(zhí)行時(shí)間Ta是TaZt1+!^當(dāng)實(shí)時(shí)地執(zhí)行解碼步驟時(shí)，t2相當(dāng)小。
本發(fā)明的優(yōu)點(diǎn)是:相對(duì)于其中與其它幀無(wú)關(guān)地為每個(gè)幀執(zhí)行色調(diào)映射的現(xiàn)有技術(shù)，加速色調(diào)映射操作。實(shí)際上，考慮時(shí)間Tb=n tAt2，其中，Tb表示當(dāng)對(duì)每一個(gè)幀執(zhí)行色調(diào)映射時(shí)的總執(zhí)行時(shí)間，相應(yīng)地，所產(chǎn)生的加速S如下:
S=TbAa= (nti+^)/ (t!+t2)
由于t2通常<〈tl，因此，Tb/Ta=n。誤差值與快速的場(chǎng)景變化關(guān)聯(lián)。MPEG編碼器通常將I幀插入在這樣的幀處，從而誤差可能很小。MPEG編碼器通常每15幀插入一個(gè)I幀。對(duì)于這樣的示例，n=15 (例如，PAL DVD)。因此，可以預(yù)期15x加速。引入的主要開(kāi)銷(xiāo)主要是對(duì)于幀I的色調(diào)映射操作。其它開(kāi)銷(xiāo)可以包括檢查誤差閾值，這是可忽略的。
圖5示出了根據(jù)本發(fā)明的各實(shí)施例的用于將視頻圖像從MPEGHDR圖像轉(zhuǎn)換為色彩空間轉(zhuǎn)換的圖像的計(jì)算機(jī)系統(tǒng)50。計(jì)算機(jī)系統(tǒng)50包括處理器51、耦合到處理器51的輸入設(shè)備52、耦合到處理器51的輸出設(shè)備53、以及各自耦合到處理器51的存儲(chǔ)器設(shè)備54和55。處理器51是諸如中央處理單元(CPU)之類(lèi)的處理單元。輸入設(shè)備52可以是鍵盤(pán)、鼠標(biāo)等等。輸出設(shè)備53可以是打印機(jī)、繪圖器、顯示設(shè)備(例如，計(jì)算機(jī)屏幕)、磁帶、可移動(dòng)硬盤(pán)、軟盤(pán)等等。存儲(chǔ)器設(shè)備54和55可以是硬盤(pán)、軟盤(pán)、磁帶、諸如光盤(pán)(CD)或數(shù)字視頻盤(pán)(DVD)之類(lèi)的光學(xué)存儲(chǔ)器、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、只讀存儲(chǔ)器(ROM)等等。存儲(chǔ)器設(shè)備55包括計(jì)算機(jī)代碼57，計(jì)算機(jī)代碼57是包括計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)程序。計(jì)算機(jī)代碼57包括用于將MPEG HDR圖像轉(zhuǎn)換為色空間圖像的算法。處理器51執(zhí)行計(jì)算機(jī)代碼57。存儲(chǔ)器設(shè)備54包括輸入數(shù)據(jù)56。輸入數(shù)據(jù)56包括計(jì)算機(jī)代碼57所需的輸入。輸出設(shè)備53顯示來(lái)自計(jì)算機(jī)代碼 57的輸出。存儲(chǔ)器設(shè)備54和55中的任何一個(gè)或者兩者可以被用作其中實(shí)現(xiàn)有計(jì)算機(jī)可讀程序和/或其中存儲(chǔ)有其它數(shù)據(jù)的計(jì)算機(jī)可使用的存儲(chǔ)介質(zhì)(或者程序存儲(chǔ)設(shè)備)，其中，計(jì)算機(jī)可讀程序包括計(jì)算機(jī)代碼57。一般而言，計(jì)算機(jī)系統(tǒng)50的計(jì)算機(jī)程序產(chǎn)品(或，可另選地，制品)可以包括所述計(jì)算機(jī)可使用的存儲(chǔ)介質(zhì)(或所述程序存儲(chǔ)設(shè)備)。
盡管圖5作為硬件和軟件的特定配置示出了計(jì)算機(jī)系統(tǒng)50，但是，為上文結(jié)合圖5的特定計(jì)算機(jī)系統(tǒng)50陳述的目的，可以使用如對(duì)那些精通本技術(shù)的普通人員已知的硬件和軟件的任何配置。例如，存儲(chǔ)器設(shè)備54和55可以是單個(gè)存儲(chǔ)器設(shè)備的組成部分而并非單獨(dú)的存儲(chǔ)器設(shè)備。
盡管此處為了說(shuō)明目的描述了本發(fā)明的特定實(shí)施例，許多修改將對(duì)所屬領(lǐng)域的技術(shù)人員變得顯而易見(jiàn)。
權(quán)利要求
1.一種用于色調(diào)映射以MPEG格式編碼的高動(dòng)態(tài)范圍(HDR)數(shù)據(jù)視頻流的方法，所述編碼的高動(dòng)態(tài)范圍(HDR)數(shù)據(jù)視頻流包括內(nèi)編碼的幀(I幀)、預(yù)測(cè)編碼的幀(P幀)、以及雙向預(yù)測(cè)編碼的幀(B幀)的幀序列，所述方法包括解碼(302)所述數(shù)據(jù)視頻HDR數(shù)據(jù)流以生成解碼的I幀、涉及P幀的輔助解碼數(shù)據(jù)、以及涉及B幀的輔助解碼數(shù)據(jù)，所述方法還包括: i對(duì)每一個(gè)解碼的I幀應(yīng)用色調(diào)映射函數(shù)(304)，以根據(jù)色調(diào)映射算子提供經(jīng)色調(diào)映射的I幀， 對(duì)于取決于參考I幀的每一個(gè)P幀，從預(yù)先為所述參考I幀確定的經(jīng)色調(diào)映射的I幀、所述參考I幀、以及涉及所述P幀的所述輔助解碼數(shù)據(jù)，計(jì)算(306)經(jīng)色調(diào)映射的P幀；和/或 iii對(duì)于每一個(gè)B幀，從預(yù)先為所述參考I幀確定的經(jīng)色調(diào)映射的I幀、預(yù)先為所述參考P幀確定的經(jīng)色調(diào)映射的P幀、以及涉及所述B幀的所述輔助解碼數(shù)據(jù)，計(jì)算(308)經(jīng)色調(diào)映射的B幀。
2.如權(quán)利要求1所述的方法，其中，所述步驟ii包括:從對(duì)應(yīng)于所述P幀的給定像素位置(x，y)的所述參考I幀的預(yù)定的像素位置(X' ,1')處的經(jīng)色調(diào)映射的I幀的值IKxi ,1')、所述預(yù)定的位置(X' ,1')處的所述參考I幀的值I (V ,1')、以及涉及P幀的所述輔助解碼數(shù)據(jù)，計(jì)算(306)所述給定像素位置(X，y)處的P幀的色調(diào)映射值。
3.如任何一個(gè)前面的權(quán)利要求所述的方法，其中，步驟iii包括:從對(duì)應(yīng)于所述B幀的給定像素位置(x，y)的所述參考I幀的第一預(yù)定的像素位置(X' ,1')處的經(jīng)色調(diào)映射的I幀的值Ι1(χ' ,1')、對(duì)應(yīng)于所述像素位置(x，y)的所述參考P幀的第二預(yù)定的像素位置(X"，y")處的經(jīng)色調(diào)映射的P幀的值Pl (X"，y")、所述第一預(yù)定的位置U' ,i')處的所述參考I幀的值I(f ,1')、以及涉及B幀的所述輔助解碼數(shù)據(jù)，計(jì)算(308)在所述給定像素位置(X，y)處的B幀的色調(diào)映射值BI U，y)。
4.如權(quán)利要求3所述的方法，其中，所述涉及P幀并在步驟ii中所使用的所述輔助數(shù)據(jù)包括所述P幀的解碼的誤差信號(hào)ep，和/或涉及每個(gè)B幀并在步驟iii中所使用的所述輔助數(shù)據(jù)包括解碼的誤差信號(hào)eb，所述解碼步驟(302)包括:使用逆離散余弦變換函數(shù)解碼來(lái)自MPEG視頻數(shù)據(jù)流的所述誤差信號(hào)ep和/或所述誤差信號(hào)eb。
5.如權(quán)利要求4所述的方法，其中，步驟ii包括:將涉及P幀的所述誤差信號(hào)ep按比率I1U'，y' )/I(x/，y')縮放，和/或步驟iii包括:將涉及B幀的所述誤差信號(hào)％按比率(I1U' ,1’ )+P1(x//，y" ))/(Ι(χ' ,1’ )+P(x"，y"))縮放，其中，P(x"，y")表示第二預(yù)定的位置處的參考P幀的重建的值。
6.如權(quán)利要求4和5中任一個(gè)所述的方法，其中，根據(jù)下列公式來(lái)確定給定像素位置(X，y)處的P巾貞的所述色調(diào)映射值Pl (x，y):P1 (x, y)=I1(x/ ,Y' )+ep (x,(x1 , y1 )/1 (x; , y1 ).
7.如權(quán)利要求4到6中任一個(gè)所述的方法，其中，根據(jù)下列公式來(lái)確定給定像素位置(X，y)處的B巾貞的所述色調(diào)映射值BI (x, y): B1(Xj)=I1U' ,1 ' )+P!(x "，y" )+eb(x,y)*(I1(x / ,y / KP1U"，y" ))/(Ι(χ' ,γ' )+P(x" , y" )).
8.如權(quán)利要求2到7中任一個(gè)所述的方法，其中，所述輔助解碼數(shù)據(jù)還包括與參考I幀相關(guān)聯(lián)的每個(gè)P幀的一組解碼的運(yùn)動(dòng) 向量，并且所述步驟ii包括:從與參考I幀相關(guān)聯(lián)的所述一組解碼的運(yùn)動(dòng)向量確定所述預(yù)定的位置,1' )o
9.如權(quán)利要求3到8中任一個(gè)所述的方法，其中，所述輔助解碼數(shù)據(jù)包括分別與參考I幀和參考P幀相關(guān)聯(lián)的每個(gè)B幀的兩組解碼的運(yùn)動(dòng)向量，而所述步驟iii包括:從與參考I幀相關(guān)聯(lián)的一組解碼的運(yùn)動(dòng)向量確定所述第一預(yù)定的位置,1')，并且從與參考P幀相關(guān)聯(lián)的一組運(yùn)動(dòng)向量確定所述第二預(yù)定的位置(X"，y")。
10.如權(quán)利要求8和9中任一個(gè)所述的方法，其中，所述運(yùn)動(dòng)向量組是從MPEG視頻數(shù)據(jù)流產(chǎn)生的，所述解碼步驟(302)包括:應(yīng)用運(yùn)動(dòng)補(bǔ)償函數(shù)以解碼所述運(yùn)動(dòng)向量組。
11.如任何一個(gè)前面的權(quán)利要求所述的方法，其中，所述解碼步驟(302)包括:對(duì)所述HDR視頻數(shù)據(jù)應(yīng)用可變長(zhǎng)度解碼函數(shù)以提供量化系數(shù)組的序列，對(duì)所述系數(shù)組應(yīng)用逆掃描函數(shù)以提供經(jīng)逆掃描的視頻數(shù)據(jù)信號(hào)，對(duì)所述經(jīng)逆掃描的視頻信號(hào)應(yīng)用逆量化函數(shù)，以及對(duì)所述逆量化視頻數(shù)據(jù)信號(hào)應(yīng)用逆離散余弦變換以提供逆量化的視頻數(shù)據(jù)信號(hào)。
12.如任何一個(gè)前面的權(quán)利要求所述的方法，還包括:對(duì)根據(jù)步驟1、ii和iii獲得的每個(gè)經(jīng)色調(diào)映射的幀執(zhí)行色彩空間轉(zhuǎn)換，并在顯示設(shè)備中顯示所述經(jīng)轉(zhuǎn)換的幀。
13.如權(quán)利要求12所述的方法，其中，執(zhí)行到RGB色彩空間的所述色彩空間轉(zhuǎn)換。
14.一種計(jì)算機(jī)程序，包括用于當(dāng)所述計(jì)算機(jī)程序在合適的計(jì)算機(jī)設(shè)備上執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1到13中的任何 一個(gè)所述的方法的步驟的指令。
15.—種系統(tǒng),包括適用于執(zhí)行如權(quán)利要求1到13中的任何一個(gè)權(quán)利要求所述的方法的步驟的裝置。
全文摘要
本發(fā)明提供了用于色調(diào)映射以MPEG格式提供的高動(dòng)態(tài)范圍(HDR)數(shù)據(jù)視頻流的方法。該方法包括解碼(302)HDR數(shù)據(jù)視頻流，以生成包括I幀、P幀以及B幀的MPEG幀序列，并提供輔助解碼數(shù)據(jù)。所述方法還包括i.對(duì)每一個(gè)接收到的I幀應(yīng)用色調(diào)映射操作(304)以提供經(jīng)色調(diào)映射的I幀，ii.對(duì)于取決于參考I幀的每一個(gè)接收到的P幀，從預(yù)先為參考I幀確定的經(jīng)色調(diào)映射的I幀、參考I幀、以及輔助解碼數(shù)據(jù)，計(jì)算(306)經(jīng)色調(diào)映射的P幀；iii.對(duì)于每一個(gè)接收到的B幀，從預(yù)先為參考I幀確定的經(jīng)色調(diào)映射的I幀、預(yù)先為參考P幀確定的經(jīng)色調(diào)映射的P幀、參考I幀、以及輔助解碼數(shù)據(jù)，計(jì)算(308)經(jīng)色調(diào)映射的B幀。
文檔編號(hào)G06T5/00GK103250182SQ201180059228
公開(kāi)日2013年8月14日 申請(qǐng)日期2011年12月8日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者A·H·埃爾-瑪?shù)? H·E·埃爾-西西尼 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司