本公開總體上涉及在包括雙調(diào)制編碼/解碼方案的分發(fā)框架中用信號通知輸出畫面/視頻格式。

本公開還涉及一種生成表示LDR畫面和照明畫面的比特流的編碼方法，以及根據(jù)通過所述比特流用信號通知的輸出畫面/視頻格式對LDR或HDR畫面進(jìn)行解碼的解碼方法和設(shè)備。

背景技術(shù)：

本部分是為了向讀者介紹可能與下文所描述的和/或所要求保護(hù)的本公開的各個方面相關(guān)的現(xiàn)有技術(shù)的各個方面。相信本討論有益于向讀者提供背景信息以便于更好地理解本發(fā)明的各個方面。因此，應(yīng)當(dāng)理解，這些陳述應(yīng)以這種方式被解讀，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。

在下文中，畫面(現(xiàn)有技術(shù)中有時稱為圖像或幀)包含特定畫面/視頻格式的一個或若干個樣本陣列(像素值)，所述特定畫面/視頻格式指定關(guān)于畫面(或視頻)的像素值的所有信息以及可由顯示器和/或解碼設(shè)備用來可視化和/或解碼畫面(或視頻)的所有信息。畫面包括呈第一樣本陣列的形狀的至少一個分量，通常是亮度(或發(fā)光度)分量，并且可能地，包括呈至少一個其他樣本陣列的形狀的至少一個其他分量，通常是顏色分量。

低動態(tài)范圍畫面(LDR畫面)是其亮度樣本由有限數(shù)量的比特(最常見為8或10)表示的畫面。這種有限的表示不允許小信號變化的正確呈現(xiàn)，特別是在灰暗和明亮的亮度范圍內(nèi)。在高動態(tài)范圍畫面(HDR畫面)中，信號表示被擴(kuò)展以便在其整個范圍上保持信號的高精度。在HDR畫面中，亮度樣本通常以浮點格式(對于每個分量為32位或16位，即浮點或半浮點)表示，最流行的格式為openEXR半浮點格式(每RGB分量16個比特，即每樣本48比特)或者具有長表示的整數(shù)，通常至少16個比特。

雙調(diào)制方案是用于在比特流中對輸入HDR畫面進(jìn)行編碼并通過至少部分地解碼所述比特流來獲得輸入HDR畫面的解碼版本的典型方法。其原理是根據(jù)輸入的HDR畫面獲得照明畫面(也稱為照明圖或背光畫面)。然后通過將輸入的HDR畫面除以照明畫面獲得殘差畫面，并且然后對照明畫面(或表示照明畫面的照明數(shù)據(jù))和殘差畫面二者進(jìn)行直接編碼。

使用這種方法對輸入HDR畫面進(jìn)行編碼導(dǎo)致對兩個分量進(jìn)行編碼：殘差畫面(以下稱為LDR畫面)，其可以是可見畫面；以及照明畫面(或表示照明畫面的照明數(shù)據(jù))。然后可以通過至少部分地直接解碼比特流來獲得LDR畫面的解碼版本，并且還可以通過將LDR畫面的解碼版本乘以至少部分地解碼比特流(或從至少部分地解碼比特流獲得的照明數(shù)據(jù))所獲得的照明畫面的解碼版本來獲得輸入HDR畫面的解碼版本。

LDR畫面和照明畫面可以具有不同的輸入畫面/視頻格式(YUV、RGB、XYZ、...)，并且不需要具有相同的格式。例如，照明畫面可以是單色的，并且LDR畫面格式可以是YUV或RGB。

下面稱為輸出LDR格式的輸入LDR畫面的解碼版本的畫面/視頻格式以及下面稱為輸出HDR格式的輸入HDR畫面的解碼版本的畫面/視頻格式可以與輸入LDR和HDR畫面的格式(在下文中分別稱為輸入LDR格式和輸入HDR格式)相同。

然而，輸入格式和輸出格式通常不相同，因為輸出格式適合于特定條件是有利的。例如，輸出LDR或HDR格式可以適用于一些目標(biāo)特定顯示器、用于顯示解碼后畫面的環(huán)境條件或用戶偏好。輸出格式的這種適應(yīng)性增加了所述目標(biāo)特定顯示器上的畫面的解碼版本的視覺質(zhì)量，因為編碼/解碼方案優(yōu)化了給定比特率的分布，以便達(dá)到所述目標(biāo)特定顯示器的更好視覺質(zhì)量。

本公開要解決的問題是，可以根據(jù)相同比特流解碼的LDR畫面或HDR畫面二者應(yīng)當(dāng)符合與輸入LDR或HDR格式不同的特定輸出LDR或HDR格式。

在適于編碼單個畫面(或單個視頻)的傳統(tǒng)編碼/解碼方案中，使用以下語法元素在雙向流中用信號通知輸入畫面的畫面/視頻格式：所謂的“視頻可用性信息”(VUI)，例如在HEVC推薦(“High Efficiency Video Coding”，SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS，Recommendation ITU-T H.265，Telecommunication Standardization Sector of ITU，April 2013)或H264/AVC推薦(“Advanced video coding for generic audiovisual Services”，SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS，Recommendation ITU-T H.264，Telecom munication Standardization Sector of ITU，F(xiàn)ebruary 2014)中定義的。

然后，輸入畫面的解碼版本的畫面/視頻格式是由VUI定義的畫面/視頻格式，即與輸入畫面的畫面/格式格式相同。

此外，因為這樣的傳統(tǒng)編碼/解碼方案僅允許單個VUI用信號通知要編碼的畫面的輸入畫面/視頻格式，所以它不適于在同一比特流中用信號通知兩種畫面/視頻輸出格式，其中每種畫面/視頻輸出格式與可根據(jù)比特流解碼的畫面相關(guān)。

技術(shù)實現(xiàn)要素：

鑒于前述內(nèi)容，本公開的各方面涉及在計算機(jī)系統(tǒng)上創(chuàng)建和維護(hù)數(shù)據(jù)對象之間的語義關(guān)系。以下呈現(xiàn)了本公開的簡要概括以便提供對本公開的一些方面的基本理解。本發(fā)明內(nèi)容不是本公開的廣泛概述。其不意在標(biāo)明本公開的關(guān)鍵或必要元素。以下發(fā)明內(nèi)容僅以簡化形式呈現(xiàn)本公開的一些方面，作為下面呈現(xiàn)的更詳細(xì)描述的前言。

本公開提出了通過利用一種用于在表示根據(jù)HDR畫面獲得的LDR畫面和照明畫面二者的比特流中用信號通知所述LDR畫面的解碼版本的畫面/視頻格式(稱為輸出LDR格式)和所述HDR畫面的解碼版本的畫面/視頻格式(稱為輸出HDR格式)二者的方法，來補(bǔ)救現(xiàn)有技術(shù)的一些缺點。該方法包括：在所述比特流中對定義輸出LDR格式的第一語法元素進(jìn)行編碼，其特征在于，其還包括：在所述比特流中對不同于第一語法元素并且定義輸出HDR格式的第二語法元素進(jìn)行編碼。

本公開還涉及編碼/解碼方法/設(shè)備、計算機(jī)程序產(chǎn)品、處理器可讀介質(zhì)、非暫時性存儲介質(zhì)和信號。

從以下結(jié)合附圖對實施例的描述中，本公開的具體性質(zhì)以及本公開的其他目的、優(yōu)點、特征和用途將變得顯而易見。

附圖說明

在附圖中，示出了本發(fā)明的實施例。其示出了：

圖1示出了根據(jù)本公開實施例的用于在比特流F1中對HDR畫面I進(jìn)行編碼的方法的步驟的框圖，其中在比特流中，根據(jù)所述HDR畫面獲得LDR畫面和照明畫面；

圖2示出了根據(jù)本公開實施例的用于根據(jù)表示LDR畫面和照明畫面的比特流解碼HDR畫面或LDR畫面的方法的框圖；

圖3示出了根據(jù)本公開實施例的其語法符合HEVC推薦的表示輸出LDR格式的VUI消息的示例；

圖4示出了HEVC規(guī)范的高級語法的變化以用信號通知新的SEI消息的存在；

圖5示出了根據(jù)本公開實施例的表示輸出HDR格式的SEI消息的示例；

圖5a示出了圖5中的SEI消息的變型；

圖6示出了用于嵌入照明畫面的數(shù)據(jù)的附加SEI消息的示例；

圖7示出了圖5所示的表示HDR輸出格式的SEI消息的語法的變型的示例；

圖8示出了根據(jù)本公開實施例的用于對根據(jù)HDR畫面獲得的LDR畫面和照明畫面二者進(jìn)行編碼的步驟11的子步驟的框圖；

圖9示出了根據(jù)本公開實施例的用于對表示LDR畫面和照明畫面的比特流進(jìn)行解碼的步驟21的子步驟的框圖；

圖10示出了根據(jù)本公開實施例的關(guān)于幀打包布置的SEI消息的語法的示例；

圖11示出了給出圖10的標(biāo)志“content_interpretation_type”的解釋的表；

圖12示出了給出圖10的標(biāo)志“frame_packing_arrangement_type”的解釋的表；

圖13示出了根據(jù)本公開實施例的幀打包布置方案的示例；

圖14示出了根據(jù)本公開實施例的幀打包布置方案的示例；

圖15示出了根據(jù)本公開實施例變型的幀打包布置方案的示例；

圖16示出了根據(jù)本公開實施例的步驟10的子步驟的框圖；

圖17示出了根據(jù)本發(fā)明實施例的步驟162的子步驟的框圖；

圖18示出了根據(jù)本發(fā)明實施例的步驟162的子步驟的框圖；

圖19示出了根據(jù)本發(fā)明實施例的步驟162的子步驟的框圖；

圖20示出了根據(jù)如圖1所述的方法的變型的方法步驟的框圖；

圖21示出了根據(jù)如圖2所述的方法的變型的方法步驟的框圖；

圖22至圖23示出了根據(jù)本公開實施例的表示輸出LDR格式的SEI消息的示例和表示輸出HDR格式的VUI消息的示例；

圖24示出了根據(jù)本公開實施例的設(shè)備的架構(gòu)的示例；以及

圖25示出了根據(jù)本公開實施例的通過通信網(wǎng)絡(luò)通信的兩個遠(yuǎn)程設(shè)備。

相似或相同的元件用相同的附圖標(biāo)記表示。

具體實施方式

下文中將參考示出了本公開實施例的附圖更全面地對本公開進(jìn)行描述。然而，本公開可以體現(xiàn)為多種備選形式，并且不應(yīng)當(dāng)被解釋為受限于本文闡述的實施例。因此，盡管本公開容許各種修改和替代形式，但是以示例方式在附圖中示出并將在本文中詳細(xì)描述其具體實施例。然而，應(yīng)理解，不意圖將本公開限制為所公開的具體形式，相反，本公開將覆蓋落入由權(quán)利要求限定的本公開的精神和范圍內(nèi)的所有修改、等同物和備選。

本文中所使用的術(shù)語僅僅是為了描述具體實施例的目的，而不是意在限制本公開。如本文中使用的，單數(shù)形式“一”、“一個”和“所述”意圖還包括復(fù)數(shù)形式，除非上下文明確地給出相反的指示。還將理解，當(dāng)在本說明書中使用時，術(shù)語“包括”和/或“包含”表示存在所陳述的特征、整數(shù)、步驟、操作、元件和/或組件，但是不排除存在或添加一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或其組合。此外，當(dāng)提及元件“響應(yīng)于”或“連接到”另一元件時，它可以直接響應(yīng)于或連接到該另一元件，或者可以存在介于中間的元件。相比之下，當(dāng)提及元件“直接響應(yīng)于”或“直接連接到”另一元件時，不存在介于中間的元件。如本文中使用的術(shù)語“和/或”包括關(guān)聯(lián)列出的項目中的一個或多個的任意和所有組合，并且可以縮寫為“/”。

將理解，雖然本文中可以使用術(shù)語第一、第二等來描述各元件，但是這些元件不應(yīng)被這些術(shù)語限制。這些術(shù)語僅用來將一個元件與另一元件區(qū)分開來。例如，在不背離本公開的教導(dǎo)的情況下，第一元件可以被稱為第二元件，類似地，第二元件可以被稱為第一元件。

盡管一些圖在通信路徑上包括箭頭來指示通信的主要方向，但是將理解通信可以在與所指示的箭頭的相反方向上發(fā)生。

參考框圖和操作流程圖來描述一些實施例，其中，每個框表示包括用于實現(xiàn)指定邏輯功能的一個或多個可執(zhí)行指令的電路元件、模塊或代碼部分。還應(yīng)當(dāng)注意，在其他實現(xiàn)方式中，框中標(biāo)注的功能可以不按所示順序發(fā)生。例如，根據(jù)所涉及到的功能，連續(xù)示出的兩個塊實際上可以被基本上同時執(zhí)行，或者塊有時可以以相反的順序執(zhí)行。

本文中對“一個實施例”或“實施例”的提及意味著結(jié)合實施例所描述的特定特征、結(jié)構(gòu)或特性可以包含在本公開的至少一個實現(xiàn)中。在說明書中各處出現(xiàn)短語“在一個實施例中”或“根據(jù)實施例”不一定都指代相同的實施例，也不是與其他實施例必需互斥的分離的或備選的實施例。

權(quán)利要求書中出現(xiàn)的附圖標(biāo)記僅作為舉例說明而不限制權(quán)利要求的范圍。

雖然沒有明確描述，但是所呈現(xiàn)的實施例和變型可以被實施為任意組合或子組合。

下面描述的方法適于對HDR畫面進(jìn)行編碼，但是可以擴(kuò)展以對HDR畫面序列(視頻)進(jìn)行編碼，因為序列中的畫面彼此獨立地編碼。

一般來說，本公開涉及一種用于在比特流中用信號通知根據(jù)HDR畫面獲得的LDR畫面RF的解碼版本的畫面/視頻格式(稱為輸出LDR格式)和所述原始HDR畫面I的解碼版本的畫面/視頻格式(稱為輸出HDR格式)的方法。

該方法包括：在所述比特流中對定義輸出LDR格式的第一語法元素以及不同于第一語法元素并定義輸出HDR格式的第二語法元素進(jìn)行編碼。

圖1示出了根據(jù)本公開實施例的用于在比特流F1中對HDR畫面I進(jìn)行編碼的方法的步驟的框圖，其中在比特流中根據(jù)所述HDR畫面獲得LDR畫面和照明畫面。

該方法包括模塊FENC，其被配置為在比特流F2中對定義輸出LDR格式的第一語法元素SE1以及不同于第一語法元素SE1并定義輸出HDR格式的第二語法元素SE2進(jìn)行編碼(步驟12)。

其是用于根據(jù)要編碼的輸入HDR畫面確定LDR畫面和照明畫面IF的公知方法。(“High Dynamic Range video coding”，JCTVC-P0159，San José，US，9-17 Jan.2014)

例如，照明畫面IF可以包括用于輸入HDR畫面I的每個樣本的照明值的三元組，三元組的每個值是樣本的顏色分量值的照明值。照明畫面IF可以由HDR畫面I的形狀函數(shù)的加權(quán)線性組合或亮度分量的低頻版本來表示，但是本公開不限于用于獲得或表示相對于要編碼的HDR畫面I的照明畫面IF的任何特定手段。

LDR畫面RF通常是根據(jù)HDR畫面和照明畫面IF獲得的殘差畫面。通常，通過將HDR畫面I除以照明畫面IF來獲得殘差畫面。

在步驟10，分離器SPLM被配置為獲得LDR畫面RF和照明畫面IF。

根據(jù)實施例，模塊SPLM被配置為從本地/遠(yuǎn)程存儲器和/或從通信網(wǎng)絡(luò)獲得LDR畫面RF或照明畫面IF或兩者。

根據(jù)實施例，模塊SPLM被配置為將HDR畫面I分割為LDR畫面RF和照明畫面IF。

在步驟11，LDR畫面和照明畫面(或者備選地，表示照明畫面IF的照明數(shù)據(jù))通過編碼器ENC進(jìn)行編碼。

根據(jù)變型，模塊FENC還被配置為對由編碼器ENC使用的一些參數(shù)Param進(jìn)行編碼。

根據(jù)實施例，參數(shù)Param在比特流F2中被編碼。

根據(jù)實施例，至少一些參數(shù)Param和比特流F1(和/或可能地F2)被異步地發(fā)送。

將在下面描述一些參數(shù)Param。

圖2示出了根據(jù)本公開實施例的用于根據(jù)表示LDR畫面和照明畫面的比特流對HDR畫面或LDR畫面進(jìn)行解碼的方法的框圖。

在步驟20，模塊FDEC被配置為通過至少部分地解碼比特流F2來獲得定義輸出LDR格式的第一語法元素SE1和定義輸出HDR格式的第二語法元素SE2。

根據(jù)變型，模塊FDEC還被配置為從本地存儲器或通過至少部分地解碼比特流F2來獲得一些參數(shù)Param。

根據(jù)變型，至少一些參數(shù)Param和比特流F1(和/或可能地F2)被異步地接收。

在步驟21，解碼器DEC被配置為通過至少部分地解碼比特流F1來獲得LDR畫面RF的解碼版本和照明畫面IF的解碼版本

根據(jù)步驟21的實施例，可以根據(jù)照明數(shù)據(jù)獲得照明畫面IF的解碼版本

根據(jù)變型，從本地存儲器獲得LDR畫面RF的解碼版本和/或照明畫面IF的解碼版本

根據(jù)變型，還根據(jù)一些參數(shù)Param獲得LDR畫面RF的解碼版本

LDR畫面RF的解碼版本具有由第一語法元素SE1的輸出LDR格式定義的格式。

在步驟22，模塊ISPLM被配置為根據(jù)LDR畫面RF的解碼版本和照明畫面IF的解碼版本獲得HDR畫面I的解碼版本

HDR畫面I的解碼版本具有由第二語法元素SE2的輸出HDR格式定義的格式。

根據(jù)變型，根據(jù)一些參數(shù)Param獲得HDR畫面I的解碼版本

根據(jù)該方法的第一實施例，第一語法元素SE1是被稱為例如“vui-parameter()”的VUI(視頻可用性信息)消息，并且第二語法元素SE2是被稱為例如“dual-modulation-info()”的SEI消息(補(bǔ)充增強(qiáng)信息)消息。

圖3示出了根據(jù)本公開實施例的其語法符合HEVC推薦的表示輸出LDR格式的VUI消息“vui-parameter()”的示例。

VUI消息包含標(biāo)簽，其實際上定義輸出LDR格式：

-video_format指示LDR畫面的格式(例如，PAL或SECAM)；

-video_full_range_flag指示LDR畫面是否占據(jù)編碼值的完整可用范圍；

-colour_description_present_flag是等于1的標(biāo)志，其指示三個元素colour_primaries、transfer_characteristics和matrix_coeffs是否將用于使顯示器能夠正確地渲染顏色；

-colour_primaries指示源基色的色度坐標(biāo)；

-transfer_characteristics指示LDR畫面的光電傳輸特性；

-matrix_coeffs描述了用于根據(jù)綠色、藍(lán)色和紅色基色導(dǎo)出亮度和色度分量的矩陣系數(shù)。

圖5示出了根據(jù)本公開實施例的表示輸出HDR格式的SEI消息“dual-modulation-info()”的示例。

SEI消息“dual-modulation-info()”提供關(guān)于HDR畫面I的解碼版本的輸出HDR格式的信息。

-modulation_channel_cancel_flag等于1指示SEI消息“dual-modulation-info()”以輸出順序取消任何先前SEI消息“dual-modulation-info()”的持續(xù)性。

-modulation_cancel_cancel_flag等于0指示接著是照明畫面信息。

-modulation_channel_target_sample_format指定HDR畫面I的解碼版本的亮度和色度樣本陣列的樣本的格式。

根據(jù)實施例，標(biāo)簽modulation_channel_target_sample_format等于0指示樣本為整數(shù)格式。modulation_channel_target_sample_format的大于0的值被保留以供ITU-T|ISO/IEC將來使用。當(dāng)不存在時，modulation_channel_target_sample_format的值被推斷為等于0。

根據(jù)實施例，標(biāo)簽modulation_channel_target_sample_format等于1支持16位半浮點格式。

根據(jù)實施例，標(biāo)簽modulation_channel_target_sample_format等于2支持32位全浮點格式。

-modulation_channel_target_bit_chroma_format_idc具有與上面引用的HEVC推薦的針對chroma_format_idc語法元素的子條款7.4.3.2中所規(guī)定的相同的語義，以下情況除外：modulation_channel_target_bit_chroma_format_idc指定HDR畫面I的解碼版本的色度格式，而不是用于編碼視頻序列(CVS)的色度格式。

當(dāng)modulation_channel_target_bit_chroma_format_idc不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_bit_chroma_format_idc的值被推斷為等于chroma_format_idc(其涉及LDR畫面)。

-modulation_channel_target_bit_depth_luma_minus8加8指定HDR畫面I的解碼版本的亮度樣本陣列的樣本的位深(bit depth)。

標(biāo)簽modulation_channel_target_bit_depth_luma_minus8應(yīng)在0到8(含)的范圍內(nèi)。當(dāng)modulation_channel_target_bit_depth_luma_minus8不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_bit_depth_luma_minus8的值被推斷為等于bit_depth_luma_minus8。

-modulation_channel_target_bit_depth_chroma_minus8加8指定HDR畫面I的解碼版本的色度樣本陣列的樣本的位深。

標(biāo)簽modulation_channel_target_bit_depth_chroma_minus8應(yīng)在0到8(含)的范圍內(nèi)。當(dāng)modulation_channel_target_bit_depth_chroma_minus8不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_bit_depth_chroma_minus8的值被推斷為等于bit_depth_chroma_minus8。

-modulation_channel_target_video_full_range_flag具有與上面引用的HEVC推薦的針對video_full_range_flag語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：modulation_channel_target_video_full_range_flag指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。

當(dāng)標(biāo)簽modulation_channel_target_video_full_range_flag不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_video_full_range_flag的值被推斷為等于video_full_range_flag。

-modulation_channel_target_colour_primaries具有與上面引用的HEVC推薦的針對colour_primaries語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：modulation_channel_target_colour_primaries指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。當(dāng)modulation_channel_target_colour_primaries不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_colour_primaries的值被推斷為等于colour_primaries。

-modulation_channel_target_transfer_characteristics具有與上面引用的HEVC推薦的針對transfer_characteristics語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：modulation_channel_target_transfer_characteristics指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。

當(dāng)modulation_channel_target_transfer_characteristics不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_transfer_characteristics的值被推斷為等于transfer_characteristics。

-modulation_channel_target_matrix_coeffs具有與上面引用的HEVC推薦的針對matrix_coeffs語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：modulation_channel_target_matrix_coeffs指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。

當(dāng)modulation_channel_target_matrix_coeffs不存在于SEI消息“dual-modulation-info()”中時，modulation_channel_target_matrix_coeffs的值被推斷為等于matrix_coeffs。

SEI消息“dual-modulation-info()”還提供用于獲得照明畫面IF的解碼版本的信息，所述照明畫面IF的解碼版本用于獲得HDR畫面I的解碼版本

-modulation_channel_type指示用于生成HDR畫面I的解碼版本的模式。標(biāo)簽modulation_channel_type等于0指示照明畫面IF的解碼版本對應(yīng)于輔助編碼畫面的樣本值，如果輔助畫面具有比主編碼畫面更小的寬度和/或高度，則可能在上采樣之后。注意，輔助畫面和主畫面由上面引用的HEVC推薦來定義。

根據(jù)圖5所示的實施例，標(biāo)簽modulation_channel_type等于1指示照明畫面IF的解碼版本由形狀函數(shù)(PSF，如下面詳細(xì)解釋的)的加權(quán)線性組合來表示。

在這種情況下，參數(shù)“modulation_PSF_X_spacing”、“modulation_PSF_Y_spacing”、“modulation_PSF_width”、“modulation_PSF_height”、“modulation_PSF_length_minus1”和“modulation_PSF_coefs”與PSF的描述相關(guān)。

modulation_channel_type的大于1的值被保留以供ITU-T|ISO/IEC將來使用。當(dāng)不存在時，modulation_channel_type的值被推斷為等于0。

根據(jù)實施例，應(yīng)用于PSF以獲得照明畫面IF的解碼版本的加權(quán)系數(shù)被嵌入在其語法符合HEVC推薦的輔助畫面中。

根據(jù)圖6所示的實施例，除了SEI消息“dual_modulation_info()”之外，還指定附加SEI消息“modulation_channel_info()”。

應(yīng)用于PSF以獲得照明畫面IF的解碼版本的加權(quán)系數(shù)被嵌入(編碼到)SEI消息“modulation_channel_info()”中。

-modulation_channel_width對應(yīng)于第一顏色分量(其可以是例如亮度分量或Y分量)的加權(quán)系數(shù)矩陣的每行樣本的數(shù)目。

-modulation_channel_height對應(yīng)于第一顏色分量(其可以是例如亮度分量或Y分量)的加權(quán)系數(shù)矩陣的每列樣本的數(shù)目。

-modulation_channel_width_CbCr對應(yīng)于第二和/或第三顏色分量(其可以是例如色度分量或X或Z分量)的加權(quán)系數(shù)矩陣的每行樣本的數(shù)目。

-modulation_channel_height_CbCr對應(yīng)于第二和/或第三顏色分量(其可以是例如色度分量或X或Z分量)的加權(quán)系數(shù)矩陣的每列樣本的數(shù)目。

-modulation_channel_sample[c][cy][cx]是加權(quán)系數(shù)矩陣中的水平位置cx和垂直位置cy處的顏色分量c的樣本的樣本值。

SEI消息“dual-modulation-info()”還提供關(guān)于后處理的參數(shù)的信息，所述后處理用于在LDR畫面RF的解碼版本與照明畫面IF的解碼版本相乘之前應(yīng)用于LDR畫面RF的解碼版本。

-“modulation_ldr_mapping_type”涉及將被應(yīng)用于LDR畫面RF的解碼版本的處理的類型。該標(biāo)簽指示LDR畫面是表示在Lab顏色空間中還是表示在YCbCr(或Yuv)顏色空間中。

根據(jù)變型，當(dāng)LDR畫面表示在YCbCr顏色空間中時，一些附加參數(shù)(“modulation_slog_a0”、“modulation_slog_b0”、“modulation_slog_c0”、“modulation_scaling_factor”、“modulation_RGB_factor”)被嵌入在圖5中的SEI消息“dual_modulation_info()”中。這些參數(shù)由后處理使用，后處理用于在相乘之前應(yīng)用于LDR畫面RF的解碼版本

根據(jù)該變型的替代，當(dāng)后處理涉及對單個樣本值的注入操作時，并且當(dāng)這些連續(xù)操作可以被連接成一個單操作時，將查找表嵌入在SEI消息中，而不是在SEI消息中編碼附加參數(shù)。

例如，對于每個樣本值，進(jìn)行簡單數(shù)學(xué)運算的級聯(lián)，例如：

s＝s*S/65536

s＝exp((s-c0)/a0)-b0

s＝s*RGB_factor/1024

其中，S、a0、b0、0、RGB_factor通常是根據(jù)先前變型嵌入在SEI消息中的參數(shù)。

-modulation_channel_LUT0_size指示陣列modulation_channel_LUT0_coefs的大小

-modulation_channel_LUT0_coefs對應(yīng)于大小為modulation_channel_LUT0_size的陣列，其應(yīng)用于照明畫面的第一分量陣列的樣本。

-modulation_channel_LUT1_size指示陣列modulation_channel_LUT1_coefs的大小

-modulation_channel_LUT1_coefs對應(yīng)于大小為modulation_channel_LUT1_size的陣列，其應(yīng)用于照明畫面的至少第二分量陣列的樣本。

-modulation_LDR_LUTo_size指示陣列modulation_LDR_LUT0_coefs的大小

-modulation_LDR_LUT0_coefs對應(yīng)于大小為modulation_LDR_LUT0_size的陣列，其應(yīng)用于LDR畫面的第一分量陣列的樣本。

-modulation_LDR_LUT1_size指示陣列modulation_LDR_LUT1_coefs的大小

-modulation_LDR_LUT1_coefs對應(yīng)于大小為modulation_LDR_LUT1_size的陣列，其應(yīng)用于LDR畫面的至少第二分量陣列的樣本。

該替代的變型是，在對樣本值進(jìn)行后處理之前，將參數(shù)(例如，“modulation_slog_a0”、“modulation_slog_b0”、“modulation_slog_c0”、“modulation_scaling_factor”、“modulation_RGB_factor”)編碼在SEI消息中，以根據(jù)這些參數(shù)建立查找表。

根據(jù)該方法的變型，當(dāng)比特流表示畫面序列時，可以針對每個畫面在比特流中對加權(quán)系數(shù)矩陣進(jìn)行編碼，并且第一和第二語法元素可以保持不變。

根據(jù)變型，當(dāng)使用用于LDR畫面的Lab顏色空間(這里對應(yīng)于等于0的modulation_ldr_mapping_type，圖5)時，VUI消息(圖3)中的一些參數(shù)必須被固定為對應(yīng)于“未指定(Unspecified)”的值，以指示LDR畫面RF的解碼版本不能在未被處理的情況下被顯示器或渲染設(shè)備直接解釋：

-colour_primaries＝2(未指定)

-transfer_characteristics＝2(未指定)

-matrix_coeffs＝2(未指定)。

當(dāng)如圖6所示照明畫面IF在附加SEI消息“modulation_channel_info”中用信號通知時，可以通過僅使與加權(quán)系數(shù)的小陣列的信令相對應(yīng)的調(diào)制模式能夠應(yīng)用于用于重建照明畫面的局部PSF來簡化SEI消息“dual-modulation-info()”。實際上，與照明畫面的通常樣本數(shù)(例如，對于HD畫面，從幾百到幾千個樣本)相比，該變型能夠顯著地減少SEI消息中的編碼值(樣本)的數(shù)目。因此，這更適合于將保持大小減小的SEI消息的構(gòu)思。但是簡化還可以應(yīng)用于照明畫面的任何類型的信令，即幀打包或附加的SEI消息。

圖7示出了圖5所示的表示HDR輸出格式的簡化SEI消息的示例。

在HEVC推薦之后，將在比特流中指示任何SEI消息的有效載荷。

圖4示出了被稱為“SEI_payload”的語法結(jié)構(gòu)中的SEI消息信令的示例。它用于在比特流F2中用信號通知關(guān)于圖5(或圖7)描述的特定SEI消息。SEI有效載荷“sei-payload()”具有符合HEVC推薦的語法，除了已經(jīng)被添加以用信號通知SEI消息“dual-modulation-info()”的粗體文本之外。注意，“XXX”是將基于HEVC推薦中已經(jīng)使用的值定義的固定給定值。

圖8示出了根據(jù)本公開實施例的用于對LDR畫面和照明畫面IF進(jìn)行編碼的步驟11的子步驟的框圖。

根據(jù)下面關(guān)于圖8描述的實施例的變型，通過從HDR畫面I中減去LDR畫面RF的解碼版本來獲得第二殘差畫面。該第二殘差畫面還在下面被稱為第二LDR畫面。該第二殘差畫面可以通過將HDR畫面I除以LDR畫面RF來獲得。然后，第二殘差畫面包括HDR畫面I和LDR畫面RF之間的比率殘差信息。

在子步驟80，模塊PACKM被配置為根據(jù)特定幀打包布置方案FPAS在單個幀SF中打包LDR畫面RF和照明畫面IF(以及可能地，至少另一個畫面，例如第二殘余畫面)。

在下文中，僅公開了LDR畫面和照明畫面的情況，但是顯然可以將以下公開擴(kuò)展為在單個幀SF中打包多于兩個的畫面。

在子步驟81，編碼器VENC將幀SF編碼到比特流F1中。

根據(jù)實施例，根據(jù)取決于特定幀打包布置方案的編碼參數(shù)來對單個幀SF進(jìn)行編碼。這些參數(shù)可以被認(rèn)為是一些參數(shù)Param。

根據(jù)該實施例的變型，定義編碼參數(shù)，以便將單個幀編碼在兩個不同的片中，一個片包含LDR畫面RF，另一個片包含照明畫面IF。根據(jù)所采用的標(biāo)準(zhǔn)編碼方案(H.264/AVC、HEVC、JPEG2000)，這些片還可以采取片組、分片、分片組、分區(qū)的形式。

該變型是有利的，因為其允許諸如特定編碼的特定處理應(yīng)用于照明畫面IF，分別應(yīng)用于LDR畫面RF，而是不應(yīng)用于LDR畫面RF，分別應(yīng)用于照明畫面IF。

比特流F1因此包括幀SF，幀SF包含兩個不同的打包構(gòu)成畫面(LDR畫面RF和照明畫面IF)的樣本。

在子步驟82，模塊IDM處理信息數(shù)據(jù)ID，信息數(shù)據(jù)ID指示幀SF包含根據(jù)特定幀打包布置方案FPAS的至少兩個不同的打包構(gòu)成畫面的樣本。

信息數(shù)據(jù)ID包括至少一個標(biāo)志并且可以是一些參數(shù)Param。

模塊IDM還被配置為指定信息數(shù)據(jù)ID指示所述至少兩個不同的打包構(gòu)成畫面中的一個對應(yīng)于LDR畫面RF，并且所述至少兩個不同的打包構(gòu)成畫面中的另一個對應(yīng)于與所述LDR畫面RF相關(guān)聯(lián)的照明畫面IF。

根據(jù)實施例，信息數(shù)據(jù)ID還指示所述至少兩個不同的打包構(gòu)成畫面中的另一個對應(yīng)于另一畫面，例如第二殘差畫面，即通過從LDR畫面減去LDR畫面的編碼/解碼版本所獲得的殘差畫面。

根據(jù)實施例，信息數(shù)據(jù)ID標(biāo)識特定幀打包布置方案。然后，編碼參數(shù)可以受特定幀打包布置方案約束。

根據(jù)子步驟82的實施例，模塊IDM還被配置為定義信息數(shù)據(jù)ID指示LDR畫面和照明畫面不具有相同的大小(不具有相同數(shù)目的行或相同數(shù)目的列或兩者)和/或在幀SF中具有特定位置。

根據(jù)子步驟82的實施例，模塊IDM還被配置為定義信息數(shù)據(jù)ID指示LDR畫面的大小(行數(shù)和列數(shù))和/或位置和/或照明畫面的大小和/或位置。

根據(jù)子步驟82的實施例，特定幀打包布置方案指示LDR畫面和/或照明畫面被分割成若干片段，并且然后模塊IDM被配置為在信息數(shù)據(jù)ID中添加用于指示每個片段在幀SF中的位置的至少一個參數(shù)。

根據(jù)實施例，特定幀打包布置方案FPAS以及可能地相關(guān)編碼參數(shù)是一些參數(shù)Param。

根據(jù)本公開的實施例，信息數(shù)據(jù)ID可以存儲在本地或遠(yuǎn)程存儲器上和/或通過通信接口(例如，到總線或通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò))發(fā)送。

根據(jù)本公開的實施例，比特流F1和信息數(shù)據(jù)ID通過不同的通信接口(到不同的總線或通過不同的通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò))發(fā)送。

根據(jù)本公開的實施例，以異步方式發(fā)送信息數(shù)據(jù)和比特流F1。

圖9示出了根據(jù)本公開實施例的用于對表示LDR畫面和照明畫面的比特流進(jìn)行解碼的步驟21的子步驟的框圖。

在子步驟90，解碼器VDEC通過至少部分地解碼比特流F1來獲得解碼幀SF。

在子步驟81，模塊IDD可能根據(jù)參數(shù)Param和/或從本地/遠(yuǎn)程存儲器獲得信息數(shù)據(jù)ID。信息數(shù)據(jù)ID指示解碼幀SF包含根據(jù)特定幀打包布置方案FPAS的至少兩個不同的打包構(gòu)成畫面的樣本。

根據(jù)實施例，特定幀打包布置方案FPAS由信息數(shù)據(jù)ID定義或從存儲器獲得。

在子步驟82，模塊CH檢查信息數(shù)據(jù)ID是否指示所述至少兩個不同的打包構(gòu)成畫面中的一個對應(yīng)于LDR畫面，并且所述至少兩個不同的打包構(gòu)成畫面中的另一個對應(yīng)于照明畫面。

當(dāng)信息數(shù)據(jù)指示至少一個不同的打包構(gòu)成畫面中的一個對應(yīng)于LDR畫面，并且至少一個不同的打包構(gòu)成畫面中的另一個對應(yīng)于照明畫面時，在子步驟83，模塊UPACKM根據(jù)解碼的單個幀SF獲得根據(jù)特定幀打包布置方案FPAS的LDR畫面和照明畫面兩者。

然后，例如，LDR畫面和照明畫面用于根據(jù)例如由信息數(shù)據(jù)ID定義的方法來獲得HDR畫面。

根據(jù)實施例，根據(jù)取決于特定幀打包布置方案FPAS的解碼參數(shù)來對解碼畫面進(jìn)行解碼。

根據(jù)本公開的實施例，信息數(shù)據(jù)是SEI消息(補(bǔ)充增強(qiáng)信息消息)。

圖10示出了根據(jù)本公開實施例的關(guān)于幀打包布置的SEI消息的語法的示例。

SEI消息的語法是由上面引用的H.264推薦定義的幀打包布置SEI消息的語法的擴(kuò)展。代替擴(kuò)展，除了現(xiàn)有的幀打包布置SEI消息之外，還可以針對HDR畫面解碼處理具體地定義新的幀打包布置SEI消息。為了避免多個不同的SEI消息，幀打包SEI消息還可以包括與輸出HDR格式相關(guān)的參數(shù)以及與模塊ISPLM相關(guān)的參數(shù)，其中模塊ISPLM根據(jù)LDR畫面RF的解碼版本和照明畫面IF的解碼版本生成HDR畫面I的解碼版本因此，該新的幀打包SEI消息將合并與幀打包相關(guān)的參數(shù)以及圖5或圖7中提到的參數(shù)。

簡言之，幀打包布置SEI消息向解碼器通知輸出的解碼畫面包含使用所指示的幀打包布置方案的多個不同的空間打包構(gòu)成畫面的樣本。該信息可以由解碼器用于適當(dāng)?shù)刂匦虏贾脴颖静⑦m當(dāng)?shù)靥幚順?gòu)成畫面的樣本以用于顯示或其他目的。

圖10中的SEI消息的語法類似于由引用的H.264推薦(以及還由HEVC推薦)的章節(jié)D.1.25的表給出的語法。

圖11示出了給出圖10的標(biāo)志“content_interpretation_type”的解釋的表。

標(biāo)簽“content_interpretation_type”可以等于如在引用的ITU-T推薦H.264(表D-10)中定義的三個值(0-2)。

根據(jù)本公開的實施例，該標(biāo)簽還可以等于特定值(這里是3)，該特定值指示至少兩個不同的打包構(gòu)成畫面中的一個對應(yīng)于LDR畫面，并且所述至少兩個不同的打包構(gòu)成畫面中的另一個對應(yīng)于與所述LDR畫面關(guān)聯(lián)的HDR照明畫面。

根據(jù)變型，例如，標(biāo)簽“content_interpretation_type”的該特定值還可以指示在幀SF的解碼之后要應(yīng)用的后處理，以便例如根據(jù)解碼的LDR畫面和照明畫面獲得HDR畫面。

圖12示出了給出圖10的標(biāo)志“frame_packing_arrangement_type”的解釋的表。

該標(biāo)志的每個值定義特定幀打包布置方案。該標(biāo)簽可以等于如在引用的H.264推薦(表D-9)中定義的高度值(0-7)。

根據(jù)本公開的實施例，該標(biāo)簽可以等于特定值(這里是8)以指示LDR畫面和照明畫面不具有相同大小和/或在幀SF中具有特定位置。

該標(biāo)簽還可以指示不同大小和/或位置由至少一個附加標(biāo)志定義。

根據(jù)變型，LDR畫面(分別地，照明畫面)的大小由SEI消息中的附加參數(shù)定義，而照明畫面(分別地，LDR畫面)的大小可以根據(jù)SPS(序列參數(shù)集)中導(dǎo)出。注意，SPS包含畫面SF的大小。

在SEI消息的語法中添加標(biāo)題為“different_views_size_flag”的第一附加標(biāo)志1，以指示LDR畫面和照明畫面不具有相同大小和/或在幀SF中具有特定位置。

在SFI消息的語法中添加一組附加參數(shù)2，以指示LDR畫面的大小(寬度和高度)以及照明畫面的大小：值“picture0_pic_width_in_luma_samples”指示畫面picture0從其左上角起的列數(shù)，值“picture0_pic_height_in_luma_samples”指示畫面picture0從其左上角起的行數(shù)，標(biāo)志“picture1_pic_width_in_luma_samples”指示畫面picture1從其左上角起的列數(shù)，并且標(biāo)志“picture1_pic_height_in_luma_samples”指示畫面picture1從其左上角起的行數(shù)。

在SEI消息的語法中添加一組附加參數(shù)3，以指示在幀SF中LDR畫面的位置和照明畫面的位置：值“picture0_offset_x_in_luma_samples”指示與畫面SF的第一行的偏移，值“picture0_offset_y_in_luma_samples”指示與幀SF的第一列的偏移，值“picture1_offset_x_in_luma_samples”指示與幀SF的第一行的偏移，并且值“picture1_offset_y_in_luma_samples”指示與幀SF的第一列的偏移。

在圖10中，picture0表示LDR畫面，分別地，照明畫面IF，picture1表示照明畫面IF，分別地，LDR畫面。

根據(jù)實施例，標(biāo)志“picture_packing_arrangement_type”可以等于特定值以約束編碼器根據(jù)特定幀打包布置FPAS對幀SF進(jìn)行編碼。

例如，編碼器可以被約束為逐片地對幀SF進(jìn)行編碼(例如，如圖13、圖14或圖15所示)或者使分片邊界與幀SF一致，如圖14和圖15所示。

根據(jù)實施例，標(biāo)志“picture_packing_arrangement_type”指示其中LDR畫面和/或照明畫面被分割成若干片段的特定幀打包布置方案FPAS。該特定幀打包布置方案FPAS還指示每個片段在幀SF中的位置。

圖13示出了根據(jù)該實施例的這種幀打包布置方案的示例。

根據(jù)該幀打包布置方案，picture1(LDR畫面或照明畫面)被分割為四個片(片段)并且這些片位于畫面SF的底部。

圖15示出了圖14的幀打包布置方案的變型。

這里，通過沿兩個方向?qū)icture1進(jìn)行下采樣來獲得四個子畫面。

本公開的范圍不限于所公開的幀打包布置方案，而是擴(kuò)展到在單個畫面中打包兩個畫面的任何幀打包布置方案。

圖16示出了根據(jù)本公開實施例的步驟10的子步驟的框圖。

在步驟161，模塊IC獲得要編碼的HDR畫面I的亮度分量L和潛在地至少一個顏色分量C(i)。

例如，當(dāng)HDR畫面I屬于顏色空間(X，Y，Z)時，通過分量Y的變換f(.)(例如，L＝f(Y))獲得亮度分量L。

當(dāng)HDR畫面I屬于顏色空間(R，G，B)時，例如在709色域中通過線性組合獲得亮度分量L，所述線性組合由下式給出：

L＝0.2127.R+0.7152.G+0.0722.B

在步驟162，模塊BAM根據(jù)HDR畫面I的亮度分量L確定照明畫面IF。

根據(jù)圖17所示的步驟162的實施例，模塊BI將背光畫面Ba確定為由下式給出的形狀函數(shù)ψ_i的加權(quán)線性組合：

Ba＝∑_ia_iψ_i (1)

其中a_i是加權(quán)系數(shù)。

因此，根據(jù)亮度分量L確定背光畫面Ba包括：找到最佳加權(quán)系數(shù)(并且如果事先不知道，則潛在地還有最佳形狀函數(shù))，以便背光畫面Ba適合亮度分量L。

存在許多公知的方法來找到加權(quán)系數(shù)a_i。例如，一種方法可以使用最小均方方法來最小化背光畫面Ba和亮度分量L之間的均方誤差。

可以注意到，形狀函數(shù)可以是顯示器背光(例如由LED制成，然后每個形狀函數(shù)對應(yīng)于一個LED的響應(yīng))的真實物理響應(yīng)，或者可以是純數(shù)學(xué)結(jié)構(gòu)，以便最佳地適合亮度分量。

根據(jù)該實施例，從步驟162輸出的照明畫面IF是由等式(1)給出的背光畫面Ba。

根據(jù)圖18所示的步驟162的實施例，模塊BM用通過模塊HL獲得的輸入HDR畫面I的平均亮度值L_mean來調(diào)制背光畫面Ba(由等式(1)給出)。

根據(jù)該實施例，從步驟162輸出的照明畫面IF是調(diào)制后的背光畫面。

根據(jù)實施例，模塊HL被配置為計算整個亮度分量L上的平均亮度值L_mean。

根據(jù)實施例，模塊HL被配置為通過下式計算平均亮度值L_mean：

其中β是小于1的系數(shù)，E(X)是亮度分量L的數(shù)學(xué)期望值(平均值)。

該上一個實施例是有利的，因為其避免了平均亮度值L_mean受到具有極高值的幾個像素的影響，其中，當(dāng)HDR畫面I屬于圖像序列時，極高值通常導(dǎo)致非常令人討厭的時間平均亮度不穩(wěn)定性。

本發(fā)明不限于用于計算平均亮度值L_mean的具體實施例。

根據(jù)圖19所示的該實施例的變型，模塊N通過背光圖像Ba(由等式(1)給出)的平均值E(Ba)對背光圖像Ba進(jìn)行歸一化，使得獲得用于HDR畫面(或者如果HDR畫面I屬于畫面序列，則用于所有HDR畫面)的中間灰度一致(mid-gray-at-one)背光圖像Ba_gray：

然后，模塊BM被配置為通過使用下面的關(guān)系用HDR畫面I的平均亮度值L_mean調(diào)制該中間灰度一致背光圖像Ba_gray：

Ba_mod≈cst_mod·L_mean^α·Ba_gray (2)

其中cst_mod是調(diào)制系數(shù)，α是小于1的另一個調(diào)制系數(shù)，通常是1/3。

根據(jù)該變型，從步驟162輸出的照明畫面IF是由等式(2)給出的調(diào)制后的背光圖像Ba_mod。

可以注意到，調(diào)制系數(shù)cst_mod被調(diào)整以獲得對于殘差畫面的良好的亮度，并且高度依賴于獲得背光畫面的處理。例如，對于通過最小均方獲得的背光畫面，cst_mod≈1.7。

實際上，通過線性，調(diào)制背光圖像的所有操作適用于背光系數(shù)a_i，作為將系數(shù)a_i變換為新系數(shù)的校正因子，使得獲得：

在步驟163，通過將HDR畫面I除以照明畫面IF的解碼版本來計算殘差畫面Res。

使用HDR照明畫面IF的解碼版本以確保編碼器和解碼器兩側(cè)的相同照明數(shù)據(jù)是有利的，從而導(dǎo)致HDR畫面I的解碼版本的更佳精度。

更精確地，將從模塊IC獲得的HDR畫面I的亮度分量L和潛在地每個顏色分量C(i)除以照明畫面IF的解碼版本該除法是逐像素進(jìn)行的。

例如，當(dāng)輸入HDR畫面I的分量R、G或B被表示在顏色空間(R，G，B)中時，如下獲得分量R_Res、G_Res和B_Res：

例如，當(dāng)HDR畫面I的分量X、Y或Z被表示在顏色空間(Y，Y，Z)中時，如下獲得分量X_Res、Y_Res和Z_Res：

根據(jù)該方法的實施例，照明畫面IF的解碼版本通過借助于如關(guān)于圖2所描述的解碼器DEC(步驟21)至少部分地解碼比特流F1來獲得。

圖20示出了根據(jù)如圖1所述的方法的變型的方法步驟的框圖。

在子步驟201，模塊TMO對步驟10輸出的殘差畫面Res進(jìn)行色調(diào)映射，以便獲得可見的LDR畫面Res_v。

可能出現(xiàn)殘差圖像Res不可見，因為其動態(tài)范圍太高，并且因為該殘差圖像Res的解碼版本顯示出太可見的偽影。對殘差圖像進(jìn)行色調(diào)映射補(bǔ)救了這些缺點中的至少一個。

本發(fā)明不限于任何特定色調(diào)映射算子。這個單一的條件是色調(diào)映射算子應(yīng)是可逆的。

例如，可以使用由Reinhard定義的色調(diào)映射算子(Reinhard，E.、Stark，M.、Shirley，P.和Ferwerda，J.，“Photographic tone reproduction for digital images”，ACM Transactions on Graphics 21(2002年7月)，或者Boitard，R.、Bouatouch，K.、Cozot，R.、Thoreau，D.、& Gruson，A.(2012).“Temporal coherency for videotone mapping”.A.M.J.van Eijk，C.C.Davis，S.M.Hammel，& A.K.Majumdar(Eds.)，Proc.SPIE 8499，Applications of Digital Image Processing(p.84990D-84990D-10))。

根據(jù)步驟201的實施例，對殘差畫面Res進(jìn)行色調(diào)映射包括：根據(jù)殘差畫面的像素值的伽馬校正或SLog校正。

然后，例如通過下式給出可見的LDR畫面Res_v：

Res_v＝A·Res^γ

其中A是恒定值，γ是等于例如1/2.4的伽馬曲線的系數(shù)。

備選地，例如通過下式給出可見的LDR畫面Res_v：

Res_v＝a·ln(Res+b)+c

其中a、b和c是被確定為使得0和1不變的SLog曲線的系數(shù)，并且當(dāng)被低于1的伽馬曲線延長時，SLog曲線的導(dǎo)數(shù)在1中是連續(xù)的。因此，a、b和c是參數(shù)γ的函數(shù)。

根據(jù)實施例，將伽馬-Slog曲線的參數(shù)γ編碼為參數(shù)Param。

對殘差畫面Res應(yīng)用伽馬校正拉起了暗區(qū)，但不降低足夠高的光以避免明亮像素的燃燒。

對殘差畫面Res應(yīng)用SLog校正降低了足夠高的光，但不拉起暗區(qū)。

然后，根據(jù)步驟201的優(yōu)選實施例，模塊TMO根據(jù)殘差畫面Res的像素值應(yīng)用伽馬校正或SLog校正。

當(dāng)殘差畫面Res的像素值低于閾值(例如等于1)時，應(yīng)用伽馬校正，否則應(yīng)用SLog校正。

通過構(gòu)造，取決于HDR畫面I的亮度，可見LDR畫面Res_v通常具有或多或少地接近1的平均值，使得使用上述伽馬-SLog組合特別有效。

根據(jù)該方法的實施例，在步驟202，模塊SCA在編碼(步驟11)之前通過將殘差畫面Res或可見LDR畫面Res_v的每個分量乘以縮放因子cst_scaling來縮放殘差畫面Res或可見殘差畫面Res_v。然后，通過下式給出所得LDR畫面Res_s：

Res_s＝cst_scaling.Res或者

Res_s＝cst_scaling.Res_v

在特定實施例中，定義縮放因子cst_scaling以將殘差畫面Res或可見LDR畫面Res_v的值映射在從0到最大值2^N-1之間，其中，N是被編碼器用于對殘差畫面Res或可見LDR畫面Res_v進(jìn)行編碼的所允許的作為編碼輸入的比特數(shù)。

這是通過將值1(其大致是殘差畫面Res或可見LDR畫面Res_v的平均值)映射到中間灰度值2^N-1而自然獲得的。因此，對于具有標(biāo)準(zhǔn)比特數(shù)N＝8的殘差畫面Res或可見LDR畫面Res_v，等于120的縮放因子是非常一致的值，因為在2⁷＝128處非常接近中性灰色。

根據(jù)該方法的實施例，在步驟203，模塊CLI在編碼之前截斷(clip)殘差畫面Res、Res_v或Res_s，以將其動態(tài)范圍限制到目標(biāo)動態(tài)范圍TDR，其中，例如根據(jù)編碼器用于對殘差畫面進(jìn)行編碼的能力來定義該目標(biāo)動態(tài)范圍TDR。

根據(jù)該上一個實施例，例如通過根據(jù)該方法的實施例的下式給出所得LDR畫面Res_c：

Res_c＝max(2^N，Res)

Res_c＝max(2^N，Res_v)或者

Res_c＝max(2^N，Res_s)。

本發(fā)明不限于這種截斷(max(.))，而是擴(kuò)展到任何種類的截斷。

組合縮放和截斷實施例導(dǎo)致通過根據(jù)該方法的實施例的下式給出的LDR畫面圖像Res_sc：

Res_sc＝max(2^N，cst_scaling*Res)

或者Res_sc＝max(2^N，cst_scaling*Res_v)。

根據(jù)該方法的實施例，殘差畫面RF是殘差畫面Res、Res_v、Res_s或Res_c之一。

然后，照明畫面IF和殘差畫面RF由編碼器ENC編碼(步驟11)，如結(jié)合圖1所述。

殘差畫面的色調(diào)映射和縮放是參數(shù)化過程?？梢宰⒁獾剑瑓?shù)α、cst_mod、cst_scaling、γ、β可以在后期制作和顏色分級中根據(jù)專家的喜好最佳地適合內(nèi)容。此外，這些參數(shù)可以是固定的或不是固定的，并且在后一種情況下，它們可以被認(rèn)為是一些參數(shù)Param。

另一方面，可以定義通用參數(shù)，以便對于所有的各種各樣的畫面是可接受的。

圖21示出了根據(jù)如圖2所述的方法的變型的方法步驟的框圖。

如上所述，從步驟21獲得LDR畫面RF的解碼版本和照明畫面IF的解碼版本

在步驟213，通過將LDR畫面RF的解碼版本乘以照明畫面IF的解碼版本來獲得HDR畫面I的解碼版本

根據(jù)實施例，參數(shù)和/或還從本地存儲器或從模塊FDEC獲得(步驟20)。

根據(jù)方法的實施例，在步驟211，模塊ISCA通過將LDR畫面RF的解碼版本除以參數(shù)來對LDR畫面RF的解碼版本應(yīng)用逆縮放。

根據(jù)實施例，在步驟212，模塊ITMO借助于參數(shù)對LDR畫面RF的解碼版本應(yīng)用逆色調(diào)映射。

例如，參數(shù)定義伽馬曲線，并且逆色調(diào)映射僅僅是通過伽馬曲線找到與LDR畫面RF的解碼版本的像素值相對應(yīng)的值。

因此，根據(jù)方法的一些實施例，在步驟213中使用的LDR畫面RF的解碼版本是步驟21輸出的LDR畫面RF的解碼版本或其逆縮放版本(步驟211的輸出)或其逆色調(diào)映射版本(沒有步驟211的步驟212的輸出)或其逆縮放和逆色調(diào)映射版本(具有步驟211的步驟212的輸出)。

比特流F1可以存儲在本地或遠(yuǎn)程存儲器上和/或通過通信接口(例如，到總線或通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò))發(fā)送。

比特流F2可以存儲在本地或遠(yuǎn)程存儲器上和/或通過通信接口(例如，到總線或通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò))發(fā)送。

比特流F1和F2可以被異步發(fā)送。

根據(jù)本公開的變型，比特流F1和F2可以組合在一起以表示單個比特流。

解碼器DEC、FDEC和VDEC被配置為分別對由編碼器ENC、FENC和VENC編碼的數(shù)據(jù)進(jìn)行解碼。

編碼器ENC、FENC和VENC(以及解碼器DEC、FDEC和VDEC)不限于特定編碼器(解碼器)，但是當(dāng)需要熵編碼器(解碼器)時，諸如霍夫曼編碼器、算術(shù)編碼器或如在h264/AVC或HEVC中使用的Cabac的上下文自適應(yīng)編碼器之類的熵編碼器是有利的。

編碼器ENC、FENC和VENC(以及解碼器DEC、FDEC和VDEC)不限于可以是例如諸如JPEG、JPEG2000、MPEG2、h264/AVC或HEVC的具有損失的圖像/視頻編碼器的特定編碼器。

根據(jù)變型，輸出LDR格式被編碼在SEI消息(第一消息SE1)中，并且輸出HDR格式被編碼在VUI消息(第二語法元素SE2)中。

當(dāng)解碼的LDR畫面在任何情況下在任何渲染LDR設(shè)備上都不可見時，這些變型可能是相關(guān)的，例如因為它對應(yīng)于任何現(xiàn)有渲染LDR設(shè)備不支持的顏色空間(例如，Lab顏色空間)。在這種情況下，可以優(yōu)選地保持VUI以用信號通知輸出HDR格式。

圖22至圖23示出了根據(jù)本公開實施例的其語法符合HEVC推薦的表示輸出LDR格式的SEI消息(例如稱為“LDR_video_info()”)的示例和表示輸出HDR格式的VUI消息(例如稱為“vui_parameters()”)的示例。

SEI消息“LDR_video_info()”包含以下標(biāo)簽，其實際上定義輸出LDR格式：

LDR_video_cancel_flag，

LDR_video_full_range_flag，

LDR_video_colour_primaries，

LDR_video_transfer_characteristics，和

LDR_video_matrix_coeffs。

這些標(biāo)簽的語義類似于針對關(guān)于圖3描述的SEI消息所提及的語義，除了語法元素與LDR畫面相關(guān)之外。例如：

-LDR_video_cancel_flag等于1指示SEI消息“LDR_video_info()”以輸出順序取消任何先前SEI消息“LDR_video_info()”的持續(xù)性。

-LDR_video_full_range_flag具有與上面引用的HEVC推薦的針對video_full_range_flag語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：LDR_video_full_range_flag指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。當(dāng)標(biāo)簽LDR_video_full_range_flag不存在于SEI消息“LDR_video_info()”中時，LDR_video_full_range_flag的值被推斷為等于video_full_range_flag。

-LDR_video_target_colour_primaries具有與上面引用的HEVC推薦的針對colour_primaries語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：LDR_video_target_colour_primaries指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。當(dāng)LDR_video_target_colour_primaries不存在于SEI消息“LDR_video_info()”中時，LDR_video_target_colour_primaries的值被推斷為等于colour_primaries。

-LDR_video_target_transfer_characteristics具有與上面引用的HEVC推薦的針對transfer_characteristics語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：LDR_video_target_transfer_characteristics指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。當(dāng)LDR_video_target_transfer_characteristics不存在于SEI消息“LDR_video_info()”中時，LDR_video_target_transfer_characteristics的值被推斷為等于transfer_characteristics。

-LDR_video_target_matrix_coeffs具有與上面引用的HEVC推薦的針對matrix_coeffs語法元素的子條款E.2.1中所規(guī)定的相同的語義，以下情況除外：LDR_video_target_matrix_coeffs指定用于HDR畫面I的解碼版本的顏色空間，而不是用于CVS的顏色空間。當(dāng)LDR_video_target_matrix_coeffs不存在于SEI消息“LDR_video_info()”中時，LDR_video_target_matrix_coeffs的值被推斷為等于matrix_coeffs。

SEI消息“LDR_video_info()”的其他標(biāo)簽提供用于獲得照明畫面IF的解碼版本的關(guān)于模塊ISPLM使用的參數(shù)的信息，所述照明畫面IF的解碼版本用于獲得HDR畫面I的解碼版本這些標(biāo)簽的語義類似于針對關(guān)于圖5描述的SEI消息所提及的語義。

圖23示出了VUI消息“vui_parameters()”的示例。

標(biāo)簽的語義類似于針對關(guān)于圖3描述的VUI消息所提及的語義，除了語法元素與HDR畫面相關(guān)之外。

根據(jù)變型，在VUI中添加特定語法元素“sample_format”以允許對非整數(shù)格式(浮點格式)的支持。作為示例，提出語法元素“sample_format”的語義以指定HDR畫面I的解碼版本的亮度和色度樣本陣列的樣本的格式。然后，圖23中的標(biāo)簽“sample_format”等于0，以指示樣本是整數(shù)格式。標(biāo)志“sample_format”的大于0的值被保留以供ITU-T|ISO/IEC將來使用。當(dāng)不存在時，標(biāo)簽“sample_format”的值被推斷為等于0。

例如，根據(jù)變型，標(biāo)簽“sample_format”等于1，以指示樣本是半浮點格式。

在圖1至圖23上，模塊是功能單元，其可以與可區(qū)分的物理單元相關(guān)或不相關(guān)。例如，這些模塊或它們中的一些可以在獨特的組件或電路中集合在一起，或者有助于軟件的功能。相反，一些模塊可能潛在地由單獨的物理實體組成。與本發(fā)明兼容的裝置使用純硬件來實現(xiàn)，例如使用諸如ASIC或FPGA或VLSI(分別為“專用集成電路”、“現(xiàn)場可編程門陣列”、“超大規(guī)模集成”)的專用硬件，或者由嵌入在設(shè)備中的若干集成電子組件或由硬件和軟件組件的混合物來實現(xiàn)。

圖24表示可以被配置為實現(xiàn)關(guān)于圖1至圖23描述的方法的設(shè)備240的示例性架構(gòu)。

設(shè)備240包括通過數(shù)據(jù)和地址總線241鏈接在一起的以下元件：

-微處理器242(或CPU)，其例如是DSP(或數(shù)字信號處理器)；

-ROM(或只讀存儲器)243；

-RAM(或隨機(jī)存取存儲器)244；

-I/O接口245，用于從應(yīng)用接收要發(fā)送的數(shù)據(jù)；以及

-電池246。

根據(jù)變型，電池246在設(shè)備的外部。圖24的這些元件中的每一個是本領(lǐng)域技術(shù)人員公知的，并且將不進(jìn)一步公開。在每個所提及的存儲器中，在本說明書中使用的詞語“寄存器”可以對應(yīng)于小容量的區(qū)域(一些比特)或非常大的區(qū)域(例如，整個程序或大量的接收或解碼的數(shù)據(jù))。ROM 243包括至少一個程序和參數(shù)。根據(jù)本發(fā)明的方法的算法存儲在ROM 243中。當(dāng)接通時，CPU 242將程序上傳到RAM中并執(zhí)行相應(yīng)的指令。

RAM 244在寄存器中包括由CPU 242執(zhí)行并在設(shè)備240接通之后上傳的程序、寄存器中的輸入數(shù)據(jù)、寄存器中方法的不同狀態(tài)中的中間數(shù)據(jù)以及寄存器中用于執(zhí)行方法的其他變量。

可以例如用方法或過程、裝置、軟件程序、數(shù)據(jù)流或信號來實現(xiàn)本文所描述的實施方式。雖然僅在單個實現(xiàn)形式的上下文中進(jìn)行討論(例如，僅作為方法或設(shè)備討論)，但是所討論特征的實現(xiàn)還可以以其他形式(例如，程序)來實現(xiàn)。裝置可以實現(xiàn)為例如適當(dāng)?shù)挠布?、軟件和固件。所述方法可被實現(xiàn)于諸如處理器的裝置中，所述處理器一般是指處理設(shè)備，包括例如計算機(jī)、微處理器、集成電路或可編程邏輯器件。處理器還包括通信設(shè)備(例如，計算機(jī)、蜂窩電話、便攜/個人數(shù)字助理(“PDA”))以及促進(jìn)終端用戶之間的信息通信的其他設(shè)備。

根據(jù)編碼或編碼器的具體實施例，從源獲得輸入HDR畫面。例如，所述源屬于包括以下項的組：

-本地存儲器(243或244)，例如，視頻存儲器或RAM(或隨機(jī)存取存儲器)、閃存、ROM(或只讀存儲器)、硬盤；

-存儲器接口(245)，例如，大容量存儲器、RAM、閃存、ROM、光盤或磁性載體的接口；

-通信接口(245)，例如，有線接口(例如，總線接口、廣域網(wǎng)接口、局域網(wǎng)接口)或無線接口(例如，IEEE 802.11接口或接口)；以及

-畫面捕獲電路(例如，傳感器，如CCD(或電荷耦合器件)或CMOS(或互補(bǔ)金屬氧化物半導(dǎo)體))。

根據(jù)解碼或解碼器的不同實施例，解碼畫面和/或IF被發(fā)送到目的地；具體地，所述目的地屬于包括以下項的組：

-本地存儲器(243或244)，例如，視頻存儲器或RAM、閃存、硬盤；

-存儲器接口(245)，例如，大容量存儲器、RAM、閃存、ROM、光盤或磁性載體的接口；

-通信接口(245)，例如，有線接口(例如，總線接口(例如，USB(或通用串行總線))、廣域網(wǎng)接口、局域網(wǎng)接口、HDMI(高清多媒體接口)接口)或無線接口(例如，IEEE 802.11接口、或接口)；以及

-顯示器。

根據(jù)編碼或編碼器的不同實施例，將比特流F和信息數(shù)據(jù)ID發(fā)送到目的地。作為一個例子，比特流F和信息數(shù)據(jù)ID或二者被存儲在本地或遠(yuǎn)程存儲器中，例如，視頻存儲器(244)或RAM(244)、硬盤(243)。在變型中，將比特流F或信息數(shù)據(jù)ID或二者發(fā)送到存儲器接口(245)，例如，與大容量存儲器、閃存、ROM、光盤或磁性載體的接口、和/或通過通信接口(245)(例如，到點對點鏈路、通信總線、點對多點鏈路或廣播網(wǎng)絡(luò)的接口)進(jìn)行發(fā)送。

根據(jù)解碼或解碼器的不同實施例，從源獲得比特流F和/或信息數(shù)據(jù)ID。示例性地，從本地存儲器讀取比特流和/或信息數(shù)據(jù)ID，例如，視頻存儲器(244)、RAM(244)、ROM(243)、閃存(243)或硬盤(243)。在變型中，從存儲器接口(1405)接收比特流和/或信息數(shù)據(jù)ID，例如，與大容量存儲器、RAM、ROM、閃存、光盤或磁性載體的接口，和/或從通信接口(245)(例如，到點對點鏈路、總線、點對多點鏈路或廣播網(wǎng)絡(luò)的接口)接收比特流和/或信息數(shù)據(jù)ID。

根據(jù)不同實施例，被配置為實現(xiàn)關(guān)于圖1所描述的方法的設(shè)備240屬于包括以下項的組：

-移動設(shè)備；

-通信設(shè)備；

-游戲設(shè)備；

-平板(或平板計算機(jī))；

-膝上型計算機(jī)；

-靜止圖像相機(jī)；

-視頻相機(jī)；

-編碼芯片；

-靜止圖像服務(wù)器；以及

-視頻服務(wù)器(例如，廣播服務(wù)器、視頻點播服務(wù)器或網(wǎng)絡(luò)服務(wù)器)。

根據(jù)不同實施例，被配置為實現(xiàn)關(guān)于圖2所描述的方法的設(shè)備240屬于包括以下項的組：

-移動設(shè)備；

-通信設(shè)備；

-游戲設(shè)備；

-機(jī)頂盒；

-電視機(jī)；

-平板(或平板計算機(jī))；

-膝上型計算機(jī)；

-顯示器；以及

-解碼芯片。

根據(jù)圖25所示的實施例，在兩個遠(yuǎn)程設(shè)備A和B之間通過通信網(wǎng)絡(luò)NET的傳輸上下文中，設(shè)備A包括被配置為實現(xiàn)如關(guān)于圖1所描述的方法的裝置，并且設(shè)備B包括被配置為實現(xiàn)關(guān)于圖2所描述的方法的裝置。

根據(jù)本發(fā)明的變型，網(wǎng)絡(luò)是廣播網(wǎng)絡(luò)，其適于將靜態(tài)畫面或視頻畫面從設(shè)備A廣播到包括設(shè)備B的解碼設(shè)備。

本文所述的多種處理和特征的實現(xiàn)方案可以實現(xiàn)為多種不同設(shè)備或應(yīng)用，具體地，例如，設(shè)備或應(yīng)用。這種設(shè)備的示例包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、膝上型計算機(jī)、個人計算機(jī)、蜂窩電話、PDA以及其他通信設(shè)備。應(yīng)當(dāng)清楚，設(shè)備可以是移動的，甚至安裝在移動交通工具中。

另外，方法可以通過由處理器執(zhí)行的指令來實現(xiàn)，并且這樣的指令(和/或由實現(xiàn)所產(chǎn)生的數(shù)據(jù)值)可以存儲在計算機(jī)可讀存儲介質(zhì)上。計算機(jī)可讀存儲介質(zhì)可采用計算機(jī)可讀程序產(chǎn)品的形式，所述計算機(jī)可讀程序產(chǎn)品實現(xiàn)在一個或多個計算機(jī)可讀介質(zhì)中，并且其上實現(xiàn)有可由計算機(jī)執(zhí)行的計算機(jī)可讀程序代碼。本文使用的計算機(jī)可讀存儲介質(zhì)被認(rèn)為是非暫時存儲介質(zhì)，其具有用來在其中存儲信息的內(nèi)在能力以及從中獲取信息的內(nèi)在能力。計算機(jī)可讀存儲介質(zhì)可以是例如但不限于：電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備或前述系統(tǒng)、裝置或設(shè)備的任意合適組合。應(yīng)當(dāng)認(rèn)識到，在提供本發(fā)明原理可以應(yīng)用到的計算機(jī)可讀存儲介質(zhì)的更具體示例的同時，如本領(lǐng)域普通技術(shù)人員容易理解的，以下內(nèi)容僅是說明性的而不是詳盡列表：便攜式計算機(jī)磁盤；硬盤；只讀存儲器(ROM)；可擦除可編程只讀存儲器(EPROM或閃存)；便攜式緊湊盤只讀存儲器(CD-ROM)；光存儲設(shè)備；磁存儲設(shè)備；或者前述項的任意適當(dāng)組合。

指令可以形成在處理器可讀介質(zhì)上有形實現(xiàn)的應(yīng)用程序。

指令可位于例如硬件、固件、軟件或其組合中?？梢栽诶绮僮飨到y(tǒng)、單獨應(yīng)用或兩者組合中發(fā)現(xiàn)指令。因此，處理器可以被特征化為例如配置用于執(zhí)行處理的設(shè)備和包括具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如，存儲設(shè)備)的設(shè)備。此外，處理器可讀介質(zhì)可存儲實現(xiàn)所產(chǎn)生的數(shù)據(jù)值，作為對指令的添加或替代。

本領(lǐng)域技術(shù)人員應(yīng)清楚，實施方式可以產(chǎn)生被格式化為承載例如可存儲的或可傳輸?shù)男畔⒌亩喾N信號。信息可以包括例如執(zhí)行方法的指令或通過描述的實施方式之一所產(chǎn)生的數(shù)據(jù)。例如，信號可以被格式化為將用于寫入或讀取所述實施例的語義的規(guī)則承載為數(shù)據(jù)，或?qū)⒂伤鰧嵤├龑懭氲恼鎸嵳Z義值承載為數(shù)據(jù)。這種信號可被格式化為例如電磁波(例如使用頻譜的射頻部分)或基帶信號。格式化可包括例如對數(shù)據(jù)流進(jìn)行編碼或者使用已編碼數(shù)據(jù)流調(diào)制載波。信號承載的信息可以是例如模擬或數(shù)字信息。可以通過公知的多種不同有線或無線鏈路來傳輸信號。信號可存儲在處理器可讀介質(zhì)上。

已經(jīng)描述了多種實施方式。但是應(yīng)當(dāng)理解，可以做出各種修改。例如，可以組合、增補(bǔ)、修改或去除不同實施方式的要素，以便產(chǎn)生其他實施方式。另外，本領(lǐng)域普通技術(shù)人員將理解的是，其他結(jié)構(gòu)或處理可以替代那些公開的內(nèi)容，并且所得到的實施方式將用至少基本相同的方式來執(zhí)行至少基本相同的功能，以實現(xiàn)與所公開的實施方式基本相同的結(jié)果。因此，本申請還考慮這些和其他實施方式。