處理高動(dòng)態(tài)范圍圖像的制作方法
【技術(shù)領(lǐng)域】
[0001] 描述設(shè)及數(shù)字圖像的實(shí)現(xiàn)方式。各種具體實(shí)現(xiàn)方式設(shè)及高動(dòng)態(tài)范圍（"皿R")圖 像。
【背景技術(shù)】
[0002] 技術(shù)正允許更復(fù)雜的圖像（諸如例如可W展現(xiàn)更大范圍的色彩或亮度的圖像）。 該些圖像通常被稱為皿R圖像。相對(duì)地，標(biāo)準(zhǔn)圖像通常被稱為低動(dòng)態(tài)范圍（"LDR")圖像。 對(duì)皿R圖像進(jìn)行編碼提出各種技術(shù)挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0003] 根據(jù)一般方面，根據(jù)較高動(dòng)態(tài)范圍生成較低動(dòng)態(tài)范圍圖像。根據(jù)所述較高動(dòng)態(tài)范 圍圖像生成允許重構(gòu)所述較高動(dòng)態(tài)范圍圖像的信息。對(duì)所述較低動(dòng)態(tài)范圍圖像和所述信息 進(jìn)行編碼。
[0004] 根據(jù)另外的一般方面，信號(hào)或信號(hào)結(jié)構(gòu)包括包含已編碼較低動(dòng)態(tài)范圍圖像的較低 動(dòng)態(tài)范圍區(qū)段。所述信號(hào)或信號(hào)結(jié)構(gòu)還包括包含已編碼信息的信息區(qū)段。所述信息允許從 所述較低動(dòng)態(tài)范圍圖像重構(gòu)較高動(dòng)態(tài)范圍圖像。
[0005] 根據(jù)另外的一般方面，對(duì)已編碼較低動(dòng)態(tài)范圍圖像進(jìn)行解碼。還對(duì)已編碼信息進(jìn) 行解碼。所述信息允許從所述較低動(dòng)態(tài)范圍圖像重構(gòu)較高動(dòng)態(tài)范圍圖像?；谝呀獯a較低 動(dòng)態(tài)范圍圖像和已解碼信息來(lái)重構(gòu)所述較高動(dòng)態(tài)范圍圖像。
[0006] 在下面的附圖和描述中闡述一個(gè)或多個(gè)實(shí)現(xiàn)方式的細(xì)節(jié)。盡管W-種具體方式描 述，也應(yīng)當(dāng)清楚，可各種方式來(lái)配置或?qū)嵤?shí)現(xiàn)方式。例如，實(shí)現(xiàn)方式可W執(zhí)行為方法， 或者實(shí)施為裝置（諸如例如被配置為執(zhí)行一組操作的裝置或存儲(chǔ)用于執(zhí)行一組操作的指 令的裝置），或者實(shí)施為信號(hào)。根據(jù)W下結(jié)合附圖和權(quán)利要求考慮的詳細(xì)描述，其他方面和 特征將變得顯而易見(jiàn)。
【附圖說(shuō)明】
[0007] 圖1是圖示用于處理皿R圖像的裝置和處理的實(shí)現(xiàn)方式的流程圖。
[0008] 圖2是圖示編碼裝置和處理的實(shí)現(xiàn)方式的流程圖。
[0009] 圖3是圖示解碼裝置和處理的實(shí)現(xiàn)方式的流程圖。
[0010] 圖4是圖示編碼器和編碼處理的實(shí)現(xiàn)方式的框圖。
[0011] 圖5是圖示解碼器和解碼處理的實(shí)現(xiàn)方式的框圖。
[0012] 圖6是圖示可W與一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的傳送系統(tǒng)和處理的實(shí)現(xiàn)方式 的框圖。
[0013] 圖7是圖示可W與一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的接收系統(tǒng)和處理的示例的框 圖。
【具體實(shí)施方式】
[0014] 作為本申請(qǐng)中所提出的一些特征的預(yù)覽，至少一個(gè)實(shí)現(xiàn)方式描述將皿R圖像分解 為L(zhǎng)DR圖像W及曝光圖（exposuremap)或查找表（"LUT")。LDR圖像連同曝光圖或LUT 一起被編碼并且被插入到比特流中，W便傳送或存儲(chǔ)。可WW某種方式聯(lián)合地對(duì)LDR圖像 和曝光圖進(jìn)行編碼。例如，可W基于已編碼LDR圖像的重構(gòu)對(duì)曝光圖進(jìn)行編碼。接收器存取 (access)比特流，例如通過(guò)接收具有從存儲(chǔ)設(shè)備讀取比特流的已編碼數(shù)據(jù)的傳送。然后，接 收端處的解碼器對(duì)LDR圖像W及曝光圖或LUT(如果存在）進(jìn)行解碼。基于已解碼信息，接 收器重組皿R圖像。下面更詳細(xì)地討論各種實(shí)現(xiàn)方式，包括曝光圖實(shí)現(xiàn)方式和LUT實(shí)現(xiàn)方 式。
[0015] 繼續(xù)該預(yù)覽，設(shè)及曝光圖的各種實(shí)現(xiàn)方式通常可W被表征為具有用于對(duì)皿R視頻 信號(hào)進(jìn)行編碼的W下步驟：
[0016] 1.皿R分解；將原始皿R信號(hào)分解為兩層，即LDR層和曝光圖層。
[0017] 曝光圖通常被定義為二維矩陣，其中，每個(gè)項(xiàng)表示可W被用于從在對(duì)應(yīng)像素坐標(biāo) 處的LDR圖像恢復(fù)皿R源的乘數(shù)（或增益）。該意味著，對(duì)于每個(gè)像素坐標(biāo)（X，y)，W下等 式成立：
[0018]
[001引其中，
[0020] f(.)是將伽瑪校正值映射為線性值的逆響應(yīng)函數(shù)，
[0021] C是導(dǎo)致LDR圖像和曝光圖處于所期望的或合理的數(shù)值范圍內(nèi)的常數(shù)，
[002引 H是皿R源值，
[0023] L是LDR圖像值，W及
[0024] E是曝光圖值。
[00巧]根據(jù)W下定義，可W存在用于分解皿R圖像/視頻的很多方式。然而，對(duì)于壓縮應(yīng) 用，各種實(shí)現(xiàn)方式W曝光圖是逐段平滑的信號(hào)的方式來(lái)分解皿R源。該意味著，曝光圖與原 始皿R圖像中的大規(guī)模的邊緣具有強(qiáng)相關(guān)性，同時(shí)平滑掉皿R圖像中的小規(guī)模的細(xì)節(jié)。
[0026] 注意，各種實(shí)現(xiàn)方式基于皿R源值和LDR圖像值的重構(gòu)值來(lái)確定曝光圖。也就是 說(shuō)，對(duì)LDR圖像值進(jìn)行編碼和解碼，W產(chǎn)生重構(gòu)的LDR圖像值。然后，該重構(gòu)的LDR圖像值 連同原始皿R源值一起被用于確定曝光圖值。在該些實(shí)現(xiàn)方式中的一些中，對(duì)曝光圖進(jìn)行 無(wú)損編碼，因此能夠允許完美地重組皿R源值。
[0027] 2.使用諸如例如H.264(即，現(xiàn)有的國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電子技術(shù)委員會(huì) ("ISCVIEC")運(yùn)動(dòng)圖像專家組-4( "MPEG-4")第10部分高級(jí)視頻編碼（"AVC")標(biāo)準(zhǔn)/ 國(guó)際電電信聯(lián)盟電信部（"ITU-T")H. 264推薦（W下，"H. 264/MPEG-4AVC標(biāo)準(zhǔn)"或其變 型，諸如"AVC標(biāo)準(zhǔn)"、"比264標(biāo)準(zhǔn)"，或者簡(jiǎn)單地，"AVC"或"比264"))該樣的傳統(tǒng)的視頻編 碼方案來(lái)壓縮LDR層。
[002引 3.使用重構(gòu)的LDR層來(lái)幫助壓縮曝光圖層。
[0029] 此外，設(shè)及曝光圖的各種實(shí)現(xiàn)方式通?？蒞被表征為在解碼器側(cè)具有W下步驟：
[0030] 1.提取屬于LDR層的比特流，并且使用傳統(tǒng)解碼器對(duì)LDR層進(jìn)行解碼。
[0031] 2.使用重構(gòu)的LDR帖來(lái)幫助對(duì)曝光圖層進(jìn)行解碼。
[003引 3.組合重構(gòu)的LDR層和已解碼曝光圖層，W重構(gòu)皿R視頻信號(hào)。
[003引參照?qǐng)D1，提供示出應(yīng)用于若干不同實(shí)現(xiàn)方式的系統(tǒng)100的組件的流程圖。圖1將 用于討論各種實(shí)現(xiàn)方式。
[0034]系統(tǒng)100包括五個(gè)區(qū)段。它們是分解區(qū)段102、編碼區(qū)段104、信號(hào)區(qū)段105、解碼 區(qū)段107和重組區(qū)段109。
[00巧]分解區(qū)段102也可W被稱為拆分區(qū)段。分解區(qū)段102接收皿R圖像110,并且將 皿R圖像110分解為L(zhǎng)DR圖像112和重組信息114。
[0036] 皿R圖像往往被定義為每個(gè)像素具有多于8個(gè)比特的圖像。相反，LDR圖像往往被 定義為每個(gè)像素具有8個(gè)或更少的比特的圖像。然而，術(shù)語(yǔ)皿R和LDR是相對(duì)的術(shù)語(yǔ)，并且 可W指每個(gè)像素具有任何數(shù)量的比特的圖像。相應(yīng)地，有時(shí)在本申請(qǐng)中，術(shù)語(yǔ)"較高"動(dòng)態(tài) 范圍和"較低"動(dòng)態(tài)范圍用于指代該些圖像。
[0037] 箭頭113連接LDR圖像112和重組信息114。箭頭113指示，在各種實(shí)現(xiàn)方式中， 或者是LDR圖像112基于重組信息114,或者是重組信息114基于LDR圖像112,或者該二 者，如下面進(jìn)一步解釋的那樣。
[0038] 在本申請(qǐng)中所討論的不同實(shí)現(xiàn)方式中，重組信息114是例如曝光圖116或LUT 118。LUT118是例如向前LUT或向后LUT(在圖1中簡(jiǎn)寫(xiě)為'卞或BLUT")。如W下進(jìn)一步 解釋的那樣，向前LUT提供被用于根據(jù)皿R圖像110確定LDR圖像112的LUT。如W下進(jìn)一 步解釋的那樣，向后LUT提供被用于根據(jù)LDR圖像112的重構(gòu)生成皿R圖像110的重組的 LUT。向后LUT往往是向前LUT的逆，或者W某種方式基于向前LUT。
[0039] 更一般地，重組信息114可W用在從LDR圖像112重組皿R圖像110中。在不同 實(shí)現(xiàn)方式中，重組信息為皿R圖像110的成分、描述皿R圖像110的分解的信息（例如，向 前LUT)或描述分解的逆的信息（例如，向后LUT)。在各種上下文中，重組信息也可W被稱 為分解信息或成分信息。
[0040] 重組信息也可W被稱為重構(gòu)信息。重構(gòu)是比重組更一般的術(shù)語(yǔ)，并且重組皿R圖 像也可W被稱為重構(gòu)皿R圖像。重構(gòu)圖像通常是指根據(jù)組成或成分信息生成圖像的任何 處理。在不同實(shí)現(xiàn)方式中，組成或成分信息包括例如LDR圖像、LUT、曝光圖、編碼基準(zhǔn)或殘 差。在各種實(shí)現(xiàn)方式中，重構(gòu)圖像可W是原始圖像的估計(jì)，或者與原始圖像相同。應(yīng)當(dāng)清楚 的是，重組圖像是重構(gòu)圖像。
[0041] 然而，在本文獻(xiàn)中，當(dāng)設(shè)及通過(guò)組合各個(gè)成分部分（例如LDR圖像和曝光圖或LUT) 來(lái)生成皿R圖像時(shí)，一般使用術(shù)語(yǔ)"重組"。此外，在本文獻(xiàn)中，當(dāng)設(shè)及通過(guò)對(duì)各種語(yǔ)法元 素進(jìn)行解碼來(lái)生成圖像W及使用該些已解碼語(yǔ)法元素W生成圖像的處理時(shí)，一般使用術(shù)語(yǔ) "重構(gòu)"。典型的重構(gòu)處理包括；（i)對(duì)諸如例如表示來(lái)自對(duì)圖片進(jìn)行編碼的殘差的DCT系數(shù) W及標(biāo)識(shí)基準(zhǔn)的信息（例如運(yùn)動(dòng)向量和編碼模式指示符）等各種語(yǔ)法元素進(jìn)行解碼，W及 (ii)基于已解碼殘差和所標(biāo)識(shí)的基準(zhǔn)來(lái)生成圖片的估計(jì)。然而，有時(shí)在本文獻(xiàn)中，術(shù)語(yǔ)"重 構(gòu)"被用作包括"重組"并且比"重組"更廣的更一般的術(shù)語(yǔ)。
[004引編碼區(qū)段104接收LDR圖像112。編碼區(qū)段104對(duì)LDR圖像112進(jìn)行編碼，W產(chǎn)生 已編碼LDR圖像122。
[0043] 在各種實(shí)現(xiàn)方式中，編碼區(qū)段104還接收曝光圖116。編碼區(qū)段104對(duì)曝光圖116 進(jìn)行編碼，W產(chǎn)生已編碼曝光圖126。在各種實(shí)現(xiàn)方式中，編碼區(qū)段104還接收LUT118。編 碼區(qū)段104對(duì)LUT118進(jìn)行編碼，W產(chǎn)生作為如先前所述的向前LUT或向后LUT的已編碼 LUT128。
[0044] 信號(hào)區(qū)段105接收已編碼LDR圖像122。信號(hào)區(qū)段105形成諸如例如適合于傳送 或存儲(chǔ)的比特流的信號(hào)。信號(hào)區(qū)段105基于已編碼LDR圖像122來(lái)形成信號(hào)的LDR信號(hào)部 分132(在圖1中簡(jiǎn)寫(xiě)為"LDR部分")。在本申請(qǐng)中所描述的各種實(shí)現(xiàn)方式中，信號(hào)區(qū)段105 還接收已編碼曝光圖126或已編碼LUT128。信號(hào)區(qū)段105基于已編碼曝光圖126或已編 碼LUT128中的任何一個(gè)或者可能地基于該二者來(lái)形成重組信息信號(hào)部分134。
[0045] 解碼區(qū)段107接收LDR信號(hào)部分132。解碼區(qū)段107對(duì)LDR信號(hào)部分132進(jìn)行解 碼，W形成已解碼LDR圖像，其又稱為重構(gòu)的LDR圖像142。解碼區(qū)段107還接收重組信息 信號(hào)部分134。解碼區(qū)段107對(duì)重組信息信號(hào)部分134進(jìn)行解碼。取決于在重組信息信號(hào) 部分134中包括什么信息，解碼區(qū)段107產(chǎn)生（i)重構(gòu)的曝光圖146、（ii)重構(gòu)的向前LUT 148或（iii)重構(gòu)的向后LUT149中的一個(gè)或者可能多個(gè)。
[0046] 重組區(qū)段109也可W被稱為重組區(qū)段或重構(gòu)區(qū)段。重組區(qū)段109接收重構(gòu)的LDR 圖像142。如果提供，則重組區(qū)段109還接收（i)重構(gòu)的曝光圖146、m)重構(gòu)的向前LUT 148或（iii)重構(gòu)的向后LUT149中的一個(gè)或者可能多個(gè)。
[0047] 為了使用重構(gòu)的LDR圖像142并且使用LUT來(lái)重組皿R圖像，系統(tǒng)100的重組區(qū) 段109使用向后LUT。也就是說(shuō)，按照定義，向后LUT接收LDR數(shù)據(jù)值作為輸入，并且提供 皿R數(shù)據(jù)值作為輸出。相應(yīng)地，如果接收到重構(gòu)的向前LUT 148,則重組區(qū)段109基于重構(gòu) 的向前LUT 148來(lái)產(chǎn)生所生成的向后LUT 158。
[004引重組區(qū)段109產(chǎn)生重組的皿R圖像160。如果提供，則重組的皿R圖像160基于重 構(gòu)的LDR圖像142W及（i)重構(gòu)的曝光圖146、（U)所生成的向后LUT158或（iii)重構(gòu) 的向后LUT149中的一個(gè)或者可能多個(gè)。
[0049] 參照?qǐng)D2,流程圖示出圖示編碼裝置和處理的實(shí)現(xiàn)方式的處理200。處理200還圖 示用于執(zhí)行處理200的所述操作的結(jié)構(gòu)。替代地，在各種實(shí)現(xiàn)方式中，使用系統(tǒng)100的結(jié)構(gòu) 來(lái)執(zhí)行處理200。
[0050] 處理200包括將皿R圖像分解為L(zhǎng)DR和重組信息（210)。在各種實(shí)現(xiàn)方式中，通過(guò) 將皿R圖像110分解為L(zhǎng)DR圖像112和重組信息114來(lái)執(zhí)行操作210。重組信息允許重組 皿R圖像。
[0051] 處理200還包括對(duì)LDR圖像進(jìn)行編碼（220)W及對(duì)重組信息進(jìn)行編碼（230)。在 各種實(shí)現(xiàn)方式中，在產(chǎn)生已編碼LDR圖像122中由編碼區(qū)段104執(zhí)行操作220。相似地，在 各種實(shí)現(xiàn)方式中，在產(chǎn)生已編碼曝光圖126或已編碼LUT128中由編碼區(qū)段104執(zhí)行操作 230。
[0052] 參照?qǐng)D3,流程圖示出圖示解碼裝置和處理的實(shí)現(xiàn)方式的處理300。處理300還圖 示用于執(zhí)行處理300的