本發(fā)明與用于預(yù)測(cè)圖像數(shù)據(jù)以進(jìn)行編碼或解碼處理的方法與裝置相關(guān)。具體地但不排他地，本發(fā)明與用于對(duì)高動(dòng)態(tài)范圍(HDR)應(yīng)用的視頻數(shù)據(jù)進(jìn)行編碼與解碼的圖像數(shù)據(jù)預(yù)測(cè)相關(guān)。

技術(shù)背景

由圖像設(shè)備所捕捉的場(chǎng)景中的光的變化可以是巨大的。例如，位于場(chǎng)景的陰影中的對(duì)象與被直射的陽(yáng)照明亮的對(duì)象相比會(huì)顯得非常暗。由傳統(tǒng)的低動(dòng)態(tài)范圍(LDR)圖像所提供的有限動(dòng)態(tài)范圍以及色域不提供用于這樣的場(chǎng)景內(nèi)的亮度與顏色變化的精確重現(xiàn)的充足范圍。通常表示圖像像素的亮度或顏色的LDR圖像的分量值由有限數(shù)量的比特(通常是8、10或12比特)來(lái)表示。由這樣的表示所提供的有限范圍的亮度并不能使得微小的信號(hào)變化能夠有效地重現(xiàn)，尤其在亮度的亮度與暗度的范圍中。

高動(dòng)態(tài)范圍成像(也被稱為HDR或HDRI)使得場(chǎng)景的亮與暗區(qū)域之間的亮度與傳統(tǒng)的LDR圖像相比，能夠有更大的動(dòng)態(tài)范圍。這通過(guò)將信號(hào)表示擴(kuò)展到更寬的動(dòng)態(tài)范圍從而提供橫跨整個(gè)范圍的高信號(hào)精確度而實(shí)現(xiàn)在HDR成像中。在HDR圖像中，像素的分量值通常用更大數(shù)量的比特(諸如從16比特到64比特)來(lái)表示，包括以浮點(diǎn)格式(諸如每個(gè)分量32比特或16比特，即浮點(diǎn)或半浮點(diǎn)的)，最常用的格式是openEXR半浮點(diǎn)格式(每個(gè)紅綠藍(lán)顏色標(biāo)準(zhǔn)(RGB)分量16比特，即每個(gè)像素48比特)，或以具有長(zhǎng)表示的整型，通常至少16比特。這樣的范圍對(duì)應(yīng)人類視覺(jué)系統(tǒng)的自然敏感度。以這種方式HDR圖像更加精確地表示在真實(shí)場(chǎng)景中所發(fā)現(xiàn)的寬的亮度范圍，因此提供場(chǎng)景的更加真實(shí)的表示。

然而，因?yàn)樘峁┝酥档母蠓秶?，HDR圖像消耗大量的存儲(chǔ)空間和帶寬，使得HDR圖像與視頻的存儲(chǔ)以及傳輸出現(xiàn)問(wèn)題。因此要求高效的編碼技術(shù)從而將數(shù)據(jù)壓縮到更小、更易管理的數(shù)據(jù)尺寸。找到適合的編碼/解碼技術(shù)來(lái)有效地壓縮HDR數(shù)據(jù)同時(shí)保留亮度的動(dòng)態(tài)范圍以用于精確渲染被證明是有挑戰(zhàn)性的。

用于編碼HDR圖像的通常的方法是降低圖像的動(dòng)態(tài)范圍，以通過(guò)用于編碼LDR圖像的傳統(tǒng)的編碼方案來(lái)編碼圖像。

例如在一個(gè)這樣的技術(shù)中，色調(diào)映射算子被應(yīng)用到輸入HDR圖像并且經(jīng)過(guò)色調(diào)映射的圖像然后以傳統(tǒng)的8-10比特深度編碼方案(諸如JPEG/JPEG200或MPEG-2、用于視頻的H.264/AVC(Karsten Suhring，H.264/AVC Reference Software，http：//iphome.hhi.de/suehring/hml/download/，2003年9月發(fā)表于J.Wiley&Sons的標(biāo)題為《H.264and MPEG-4video compression》的I.E.Richardson的書(shū)))的方法來(lái)編碼。之后逆色調(diào)映射算子被應(yīng)用到經(jīng)解碼的圖像并且計(jì)算在輸入圖像與經(jīng)解碼且經(jīng)逆色調(diào)映射的圖像之間的殘余。最后，以第二傳統(tǒng)8-10比特深度編碼器方案的方式來(lái)編碼殘余。

此第一種方法的主要缺點(diǎn)是使用了兩種編碼方案，以及輸入圖像的動(dòng)態(tài)范圍是傳統(tǒng)編碼方案(16-20比特)的動(dòng)態(tài)范圍的兩倍的局限。根據(jù)另一方法，輸入HDR圖像被轉(zhuǎn)換從而獲得圖像像素在顏色空間中的視覺(jué)無(wú)損的表示，在該顏色空間中值屬于與傳統(tǒng)的8-10比特或擴(kuò)展的12、14或16比特深度編碼方案(諸如高效視頻編碼(HEVC)(B.Bross，W.J.Han，G.J.Sullivan，J.R.Ohm，T.Wiegand JCTVC-K1003，“High Efficiency Video Coding(HEVC)text specification draft 9”2012年10月)以及它的高比特深度擴(kuò)展)相兼容的動(dòng)態(tài)范圍。即使傳統(tǒng)的編解碼器可以操作高像素(比特)深度，但貫穿圖像以統(tǒng)一的方式在這樣的比特深度進(jìn)行編碼通常是困難的，因?yàn)楂@得的壓縮比例針對(duì)傳輸應(yīng)用來(lái)說(shuō)太低。

使用可應(yīng)用于LDR圖像的編碼技術(shù)的其他方法使得在經(jīng)解碼的圖像中出現(xiàn)偽影。本發(fā)明考慮到以上所述而設(shè)計(jì)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)發(fā)明的第一個(gè)方面，提供了一種編碼或解碼高動(dòng)態(tài)范圍圖像的至少一部分的方法，該圖像被定義在高動(dòng)態(tài)范圍的顏色空間中，該方法包括，針對(duì)該圖像的至少一部分中的塊：

將用于該塊的預(yù)測(cè)的參考采樣轉(zhuǎn)換到將要被預(yù)測(cè)的該塊的本地LDR顏色空間中，該參考采樣先前已在其相關(guān)聯(lián)的本地LDR顏色空間中被重構(gòu)，其中要被預(yù)測(cè)的該塊的本地LDR顏色空間基于該塊的代表性的亮度值；以及使用經(jīng)轉(zhuǎn)換的參考采樣來(lái)預(yù)測(cè)該塊，以使用適于LDR圖像的編碼或解碼技術(shù)來(lái)對(duì)該塊進(jìn)行編碼或解碼。塊的本地LDR感知空間的特征在于基于的塊的代表性亮度的塊的參考照明條件。例如參考照明條件可以從塊的平均亮度值中推導(dǎo)出來(lái)。

在實(shí)施例中參考采樣的轉(zhuǎn)換包括：

將該參考采樣從其相應(yīng)的經(jīng)重構(gòu)的LDR顏色空間縮放到高動(dòng)態(tài)范圍的本地感知顏色空間；

在該圖像的原始HDR感知顏色空間中重構(gòu)經(jīng)縮放的參考采樣；

將重構(gòu)后的經(jīng)縮放的參考采樣映射到將要被預(yù)測(cè)的該塊的本地感知顏色空間；以及

將經(jīng)轉(zhuǎn)換的參考采樣的動(dòng)態(tài)范圍減小到用于將要被預(yù)測(cè)的該塊的編碼/解碼的LDR顏色空間。

在實(shí)施例中，在該圖像的原始HDR感知顏色空間中重構(gòu)經(jīng)縮放的參考采樣取決于相應(yīng)地與該參考采樣相關(guān)聯(lián)的共同代表性的亮度分量。

在實(shí)施例中，將重構(gòu)后的經(jīng)縮放的采樣映射到將要被預(yù)測(cè)的該塊的本地感知顏色空間取決于與將要被預(yù)測(cè)的該塊相關(guān)聯(lián)的共同代表性的亮度分量值。每一個(gè)共同亮度分量表示構(gòu)成該參考采樣所屬的塊的采樣的亮度。

在實(shí)施例中，針對(duì)參考采樣的共同代表性的亮度分量值基于該采樣所屬的圖像塊的圖像采樣的亮度值而獲得。

在實(shí)施例中，針對(duì)將要被預(yù)測(cè)的該塊的共同代表性的亮度分量值基于該塊的圖像采樣的亮度值而獲得。

在實(shí)施例中，該方法包括：

通過(guò)應(yīng)用包括至少一個(gè)編碼參數(shù)的編碼參數(shù)集合，使用適于低動(dòng)態(tài)范圍(LDR)圖像的編碼處理來(lái)編碼該圖像的至少一部分中的該塊；在高動(dòng)態(tài)范圍的空間中重構(gòu)經(jīng)編碼的塊；在高動(dòng)態(tài)范圍的空間中估計(jì)針對(duì)經(jīng)編碼的塊的速率失真代價(jià)；以及基于所估計(jì)的速率失真代價(jià)來(lái)調(diào)整用于該塊的編碼處理的編碼參數(shù)集合。

在實(shí)施例中，估計(jì)速率失真代價(jià)包括估計(jì)與對(duì)將要被編碼的該塊的共同代表性的分量值進(jìn)行編碼相關(guān)聯(lián)的速率。

在實(shí)施例中，將要被預(yù)測(cè)的圖像塊在對(duì)該塊進(jìn)行編碼之前，基于相應(yīng)的共同代表性的亮度分量值而表示在高動(dòng)態(tài)范圍的本地感知空間中。

在實(shí)施例中，該方法包括針對(duì)將要被預(yù)測(cè)的該塊獲得在低動(dòng)態(tài)范圍的本地空間中的至少一個(gè)本地殘余亮度分量，至少一個(gè)本地殘余亮度分量對(duì)應(yīng)于原始圖像的相應(yīng)亮度分量與該塊的共同代表性的亮度值之間的差。。

在實(shí)施例中，該方法包括針對(duì)該塊獲得在本地感知空間中的至少一個(gè)圖像部分，該至少一個(gè)圖像部分對(duì)應(yīng)于本地殘余亮度分量或圖像部分的顏色分量，其根據(jù)該塊的至少一個(gè)共同代表性的亮度值被標(biāo)準(zhǔn)化。

在實(shí)施例中，估計(jì)速率失真代價(jià)包括估計(jì)與至少一個(gè)圖像部分的編碼相關(guān)聯(lián)的速率。

在實(shí)施例中，估計(jì)速率失真代價(jià)包括估計(jì)與在高動(dòng)態(tài)范圍的感知空間中的經(jīng)編碼的塊的重構(gòu)相關(guān)聯(lián)的失真。

在實(shí)施例中，該方法包括在本地感知空間中所重構(gòu)的殘余圖像部分的采樣與原始結(jié)構(gòu)的采樣以及該圖像的相應(yīng)采樣之間執(zhí)行視覺(jué)無(wú)損的細(xì)化。

本發(fā)明的第二方面提供了用于編碼被定義在具有亮度分量以及色差度量的感知空間中的高動(dòng)態(tài)范圍的圖像的至少一部分的編碼設(shè)備，該設(shè)備包括：參考采樣轉(zhuǎn)換器，用于將用于該圖像的塊的預(yù)測(cè)的參考采樣轉(zhuǎn)換到將要被預(yù)測(cè)的該塊的本地LDR顏色空間中，該參考采樣先前已在其相關(guān)聯(lián)的本地LDR空間中被重構(gòu)，該塊的本地LDR顏色空間基于該塊的代表性的亮度值；預(yù)測(cè)模塊，用于使用經(jīng)轉(zhuǎn)換的參考采樣來(lái)預(yù)測(cè)該塊；以及編碼器，用于使用適于LDR圖像的編碼技術(shù)來(lái)編碼該塊。

根據(jù)本發(fā)明的第二方面的編碼設(shè)備可以被配置來(lái)執(zhí)行本發(fā)明的第一方面的實(shí)施例的方法。

本發(fā)明的第三方面提供了用于解碼定義在具有亮度分量以及色差度量的感知空間中的高動(dòng)態(tài)范圍的圖像的至少一部分的解碼設(shè)備，該設(shè)備包括：

解碼器，用于使用適于LDR圖像的解碼技術(shù)來(lái)解碼圖像塊；

參考采樣轉(zhuǎn)換器，用于將用于該塊的預(yù)測(cè)的參考采樣轉(zhuǎn)換到將要被預(yù)測(cè)的該塊的本地LDR顏色空間中，該參考采樣先前已在其相關(guān)聯(lián)的LDR空間中被重構(gòu)，并且該塊的本地LDR顏色空間基于該塊的代表性的亮度值；以及

預(yù)測(cè)模塊，用于使用經(jīng)轉(zhuǎn)換的參考采樣來(lái)預(yù)測(cè)該塊。

在本發(fā)明的第三或第四方面，參考采樣轉(zhuǎn)換器可以包括一個(gè)或多個(gè)處理器，該處理器被配置以：

將該參考采樣從其相應(yīng)的經(jīng)重構(gòu)的LDR空間縮放到高動(dòng)態(tài)范圍的本地感知空間；

在該圖像的原始HDR空間中重構(gòu)經(jīng)縮放的參考采樣；

將重構(gòu)后的經(jīng)縮放的參考采樣映射到將要被預(yù)測(cè)的該塊的本地感知空間；以及

將經(jīng)轉(zhuǎn)換的參考采樣的動(dòng)態(tài)范圍減小到用于將要被預(yù)測(cè)的該塊的編碼/解碼的LDR空間。

本發(fā)明的實(shí)施例為提供改進(jìn)的視覺(jué)體驗(yàn)的廣泛應(yīng)用提供了用于高動(dòng)態(tài)范圍圖像數(shù)據(jù)的編碼與解碼方法。

根據(jù)發(fā)明的至少部分的方法可以由計(jì)算機(jī)所實(shí)現(xiàn)。相應(yīng)地，本發(fā)明可以具有全硬件實(shí)施例、全軟件的實(shí)施例(包括固件、常駐軟件、微代碼等等)或者組合了軟件與硬件方面的實(shí)施例的形式，其可以在本文中總體被稱作“電路”、“模塊”或“系統(tǒng)”。更多地，本發(fā)明可以具有在任何有形介質(zhì)中所體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品的形式，該有形介質(zhì)具有體現(xiàn)在介質(zhì)中的計(jì)算機(jī)可用程序代碼的表達(dá)。

由于本發(fā)明可以在軟件中實(shí)現(xiàn)，本發(fā)明可以作為計(jì)算機(jī)可讀代碼所體現(xiàn)，該計(jì)算機(jī)可讀代碼用于提供給在任何適合的載體媒體上的可編程裝置。有形載體介質(zhì)可以包括諸如軟盤、只讀型光盤(CD-ROM)、硬盤驅(qū)動(dòng)、磁帶設(shè)備或固態(tài)存儲(chǔ)器設(shè)備等等的存儲(chǔ)設(shè)備。暫態(tài)載體介質(zhì)可以包括信號(hào)(諸如電信號(hào)、電子信號(hào)、光學(xué)信號(hào)、聲學(xué)信號(hào)、磁信號(hào)或電磁信號(hào)，例如微波或RE信號(hào))。

附圖說(shuō)明

發(fā)明的實(shí)施例現(xiàn)現(xiàn)僅作為示例的方式描述，參照下列附圖：

圖1是根據(jù)本發(fā)明的第一實(shí)施例的編碼過(guò)程的框圖；

圖2是示出了根據(jù)HEVC視頻壓縮標(biāo)準(zhǔn)，將編碼單元分解到預(yù)測(cè)單元以及變換單元的示例的示意圖；

圖3是示出了幀內(nèi)預(yù)測(cè)方法的示例的示意圖；

圖4是根據(jù)本發(fā)明的實(shí)施例的參考采樣轉(zhuǎn)換處理的流程圖；

圖5是示出了根據(jù)本發(fā)明的實(shí)施例的幀內(nèi)預(yù)測(cè)的示例的框圖；

圖6是示出了根據(jù)發(fā)明的實(shí)施例的幀間預(yù)測(cè)的示例的框圖；

圖7是根據(jù)本發(fā)明的其他實(shí)施例的編碼處理的框圖；

圖8是根據(jù)本發(fā)明的其他實(shí)施例的編碼處理的框圖；

圖9是根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的解碼處理的框圖；

圖10是本根據(jù)發(fā)明的一個(gè)或多個(gè)實(shí)施例的解碼處理的框圖；

圖11是在其中本發(fā)明的一個(gè)或多個(gè)實(shí)施例可以被實(shí)現(xiàn)的編碼或解碼設(shè)備的示例的框圖；

圖12是在其中本發(fā)明的一個(gè)或多個(gè)實(shí)施例可以被實(shí)現(xiàn)的數(shù)據(jù)通信系統(tǒng)的示例的框圖；

圖13是在其中本發(fā)明的一個(gè)或多個(gè)實(shí)施例可以被實(shí)現(xiàn)的數(shù)據(jù)發(fā)送器系統(tǒng)的示例的框圖；

圖14是在其中發(fā)明的一個(gè)或多個(gè)實(shí)施例可以被實(shí)現(xiàn)的數(shù)據(jù)接收器系統(tǒng)的示例的框圖。

具體實(shí)施方式

圖1根據(jù)本發(fā)明的第一實(shí)施例示出了用于編碼圖像I的至少一部分的方法的步驟的示意框圖。圖1的方法的編碼步驟總體上基于適用于LDR類型圖像的HEVC壓縮標(biāo)準(zhǔn)，但是應(yīng)當(dāng)理解本發(fā)明的實(shí)施例可以用于適用于LDR類型圖像的其他編碼標(biāo)準(zhǔn)(諸如H.264/AVC，MPEG2或MPEG4)。

該方法從HDR圖像數(shù)據(jù)的獲取開(kāi)始。HDR圖像數(shù)據(jù)可以表示多個(gè)圖像的視頻序列、圖像或圖像的一部分。出于簡(jiǎn)化以下說(shuō)明的目的，所獲得的圖像數(shù)據(jù)對(duì)應(yīng)HDR圖像。HDR圖像數(shù)據(jù)可以從諸如視頻相機(jī)之類的成像設(shè)備直接獲取、從它所儲(chǔ)存的位于本地或遠(yuǎn)程的存儲(chǔ)器設(shè)備獲取、或者通過(guò)無(wú)線或有線傳輸線路來(lái)接收。

如本文所使用的術(shù)語(yǔ)“HDR圖像”指的是包括以浮點(diǎn)(浮點(diǎn)或半浮點(diǎn))、定點(diǎn)或通常以大于16的比特?cái)?shù)所表示的長(zhǎng)整型格式的高動(dòng)態(tài)范圍數(shù)據(jù)的任何HDR圖像。輸入HDR圖像可被定義在任何顏色或感知空間中。例如，在本實(shí)施例中輸入HDR圖像被定義在RGB顏色空間中。在另一實(shí)施例中，輸入HDR圖像可以被定義在諸如亮度和色差信號(hào)(YUV)的另一顏色空間中或任何感知空間中。輸入HDR圖像還可以被定義為線性或非線性表示，例如產(chǎn)生于伽馬校正/變換的對(duì)數(shù)表示。

總體地，處理的編碼步驟在圖像上執(zhí)行，該圖像包括表示圖像像素的亮度的數(shù)據(jù)。這樣的圖像數(shù)據(jù)包括亮度分量L以及有可能的至少一個(gè)顏色或色度分量C(i)，其中i是標(biāo)識(shí)圖像的顏色或色度分量的索引。圖像的分量定義顏色空間(通常是3D空間)，例如圖像可以被定義在包括亮度分量L以及可能的兩個(gè)顏色分量C1與C2的顏色感知空間中。

然而應(yīng)當(dāng)理解，本發(fā)明并不限制于具有顏色分量的HDR圖像。例如，HDR圖像可以是在具有亮度分量而沒(méi)有任何顏色分量的感知空間中的灰色圖像。

感知空間被定義為由包括亮度分量的多個(gè)分量定義的顏色空間，并且具有色差度量d((L，C1，C2)，(L′，C1′，C2′))，該色差度量的值表示(優(yōu)選地成比例于)該感知空間中的兩個(gè)點(diǎn)的視覺(jué)感知之間的相應(yīng)差別。

在數(shù)學(xué)上，色差度量d((L，C1，C2)，(L′，C1′，C2′))被定義為使得感知閾值ΔE₀(也被稱為最小可覺(jué)差(JND))存在，低于它時(shí)人類眼睛不能夠感知在感知空間的兩個(gè)顏色之間的視覺(jué)差，即：

d((L，C1，C2)，(L′，C1′，C2′))＜ΔE₀ (1)

感知閾值ΔE₀獨(dú)立于感知區(qū)域中的兩個(gè)點(diǎn)(L，C1，C2)以及(L’，C1’，C2’)。因此，編碼圖像(該圖像的分量屬于感知區(qū)域)以使得公式(1)的度量保持低于界限ΔE₀，確保了所顯示的經(jīng)解碼的圖像版本是視覺(jué)上無(wú)損的。

當(dāng)所獲取的圖像I包括屬于非感知空間(諸如(R，G，B))的分量時(shí)，在步驟S101由圖像轉(zhuǎn)換模塊(IC)對(duì)圖像數(shù)據(jù)I應(yīng)用感知變換，以獲得具有定義感知空間的亮度分量L以及有可能的至少一個(gè)顏色分量(諸如亮度分量L以及兩個(gè)顏色分量C1與C2)的HDR圖像I_p。

感知變換基于顯示器的照明條件并且在原始顏色空間中執(zhí)行。例如，假設(shè)原始顏色空間是(R，G，B)顏色空間，則圖像I首先被變換為眾所周知的線性空間(X，Y，Z)。這個(gè)步驟包括在適當(dāng)?shù)臅r(shí)候通過(guò)應(yīng)用逆伽馬校正以及之后通過(guò)3×3變換矩陣將線性RGB空間數(shù)據(jù)變換到XYZ空間來(lái)執(zhí)行數(shù)據(jù)的線性化。針對(duì)這個(gè)步驟，使用表征圖像的視覺(jué)環(huán)境的數(shù)據(jù)。例如可以使用在(X，Y，Z)空間中定義顯示器的參考照明條件的值的3D向量(X_n，Y_n，Z_n)。

作為示例，在選擇感知空間LabCIE1976的情形中，感知變換被定義如下：

L^*＝116f(Y/Y_n)-16

a^*＝500(f(X/X_n)-f(Y/Y_n))

b^*＝200(f(Y/Y_n)-f(Z/Z_n))

其中f是例如由下列公式給定的伽馬校正：

f(r)＝r^1/3如果r＞(6/29)³

其他

當(dāng)在感知空間LabCIE1976上定義的以下色差度量滿足時(shí)，在參考照明條件(X_n，Y_n，Z_n)中的兩個(gè)顏色相對(duì)彼此是人類可分辨的：

d((L^*，a^*，b^*)，(L^*′，α^*′，b^*′))²＝(△L^*)²+(△a^*)²+(△b^*)²＜(△E₀)²

其中ΔL^*是兩個(gè)顏色(L^*，a^*，b^*)與(L^*’，a^*’，b^*’)的亮度分量之間的差，以及Δa^*(對(duì)應(yīng)Δb^*)是兩個(gè)顏色之間的顏色分量之間的差。通常ΔE₀具有介于1與2之間的值。

在一些情境下，在空間(X，Y，Z)中的圖像可以被逆變換來(lái)獲得對(duì)原始空間(諸如本示例中的(R，G，B)空間)中的經(jīng)解碼的圖像的估計(jì)。相應(yīng)的逆感知變換由下式給出：

Y＝Y(jié)_nf^-1(1/116(L^*+16))

根據(jù)另一示例，當(dāng)選擇感知空間Lu^*v^*的時(shí)候，感知變換可以由下式定義：

u^*＝13L(u′-u′_white)and v^*＝13L(v′-v′_white)

其中定義下式：

以及

以下歐幾里得度量可以定義于感知空間Lu^*v^*上：

d((L，u^*，v^*)，(L′，u^*′，v^*′))²＝(ΔL)²+(Δu^*)²+(Δv^*)²

其中ΔL^*是兩個(gè)顏色(L^*，u^*，v^*)與(L^*′，u^*′，v^*′)的亮度分量之間的差，以及Δu^*(對(duì)應(yīng)地Δv^*)是這兩個(gè)顏色的顏色分量之間的差。

Luv空間的對(duì)應(yīng)的逆感知變換由下式給出：

應(yīng)當(dāng)理解本發(fā)明不局限于感知空間LabCIE1976，而是可以被擴(kuò)展到諸如LabCIE1994、LabCIE2000(這些空間是相同的Lab空間但具有不同的度量來(lái)測(cè)量感知距離)的任何類型的感知空間或任何其他的歐幾里得感知空間。

其他示例是LMS空間以及IPT空間。在這樣的感知空間中，度量被定義為使得它優(yōu)選地與感知差是成比例的；結(jié)果，存在均勻最大感知閾值ΔE₀，低于ΔE₀則人類無(wú)法感知該感知空間的兩個(gè)顏色之間的視覺(jué)差別。

在步驟S102中，圖像通過(guò)分區(qū)模塊PART1被空間地分解到一系列的空間單元。依據(jù)在圖像的編碼中的HEVC視頻壓縮技術(shù)的空間編碼結(jié)構(gòu)的示例在圖2中示出。在HEVC類型編碼器的情境下，最大空間單元被稱為編碼樹(shù)單元(CTU)。每個(gè)空間單元根據(jù)由編碼參數(shù)表明的分解配置被分解到進(jìn)一步的元素，通常被稱為四叉樹(shù)。四叉樹(shù)的每一個(gè)葉子被叫做編碼單元(CU)，并且進(jìn)一步地被分區(qū)為被稱為預(yù)測(cè)單元(PU)的一個(gè)或多個(gè)子元素(預(yù)測(cè)單元的采樣共享共同的預(yù)測(cè)參數(shù))，以及定義處理塊尺寸的變換單元(TU)。

在圖1的示例的步驟S102中，依據(jù)本發(fā)明的實(shí)施例，編碼單元被分區(qū)為一個(gè)或多個(gè)子元素或塊BI，其在本示例中對(duì)應(yīng)于用于基于預(yù)測(cè)的編碼的預(yù)測(cè)單元(PU)。

圖3示出了用于HEVC標(biāo)準(zhǔn)的空間預(yù)測(cè)方法的示例。在基于預(yù)測(cè)的編碼或解碼方法中，將要被重構(gòu)的空間塊根據(jù)通常被稱為預(yù)測(cè)器的參考采樣來(lái)預(yù)測(cè)。預(yù)測(cè)器可以位于與將要被預(yù)測(cè)的塊相同的幀中(如幀內(nèi)預(yù)測(cè)的情境)，或在幀序列的不同幀中(如幀間預(yù)測(cè)的情境)。在幀內(nèi)預(yù)測(cè)的情境中，預(yù)測(cè)器由預(yù)測(cè)模式指示，預(yù)測(cè)模式可對(duì)應(yīng)于定向模式和非定向模式。幀索引以及運(yùn)動(dòng)向量表明。在幀間預(yù)測(cè)的情境中，預(yù)測(cè)器可以由預(yù)測(cè)類型(單預(yù)測(cè)或雙預(yù)測(cè))、幀索引以及運(yùn)動(dòng)向量來(lái)指示。如果用于預(yù)測(cè)塊的經(jīng)重構(gòu)的采樣與將要預(yù)測(cè)的塊的采樣很好地相關(guān)，那么預(yù)測(cè)編碼或解碼產(chǎn)生更優(yōu)的結(jié)果。

盡管在本示例中步驟S102的輸出塊BI是PU，應(yīng)當(dāng)理解在應(yīng)用HEVC類型技術(shù)的本發(fā)明的其他實(shí)施例中，步驟S102的輸出可以是CU或TU。在其他實(shí)施例中，塊BI指的是正被編碼的圖像的適合的空間區(qū)域?？臻g區(qū)域可以由一個(gè)或多個(gè)像素構(gòu)成。在一些實(shí)施例中，空間區(qū)域或塊的實(shí)施例可以對(duì)應(yīng)于有時(shí)被稱作宏塊的區(qū)域。

在本示例中，每一個(gè)預(yù)測(cè)單元或塊BI對(duì)應(yīng)于與各預(yù)測(cè)(幀內(nèi)或幀間)參數(shù)相關(guān)聯(lián)的圖像的正方形或長(zhǎng)方形的空間區(qū)域：

用于對(duì)塊進(jìn)行編碼的編碼參數(shù)可以包括一個(gè)或多個(gè)以下的編碼參數(shù)：

·關(guān)于編碼四叉樹(shù)、預(yù)測(cè)單元以及變換單元的編碼樹(shù)單元組織；

·分配給編碼樹(shù)的編碼單元的編碼模式(INTRA或INTER)，其中INTER表示圖片間(時(shí)間)預(yù)測(cè)，并且INTRA表示圖片內(nèi)(空間)預(yù)測(cè)；

·在所考慮的編碼樹(shù)中，用于每個(gè)幀內(nèi)編碼單元的幀內(nèi)預(yù)測(cè)模式(DC，二維或角度方向)；

·在所考慮的編碼樹(shù)中，用于每個(gè)幀間編碼單元的幀間預(yù)測(cè)模式(單預(yù)測(cè)、雙預(yù)測(cè)、跳過(guò))；

·在幀間編碼單元情境中的幀間預(yù)測(cè)參數(shù)：運(yùn)動(dòng)向量、參考圖片索引等等；

在步驟S103中，每一個(gè)預(yù)測(cè)單元或塊被標(biāo)記亮度分量值，被稱為低空間頻率亮度分量L_lf，該分量表示組成預(yù)測(cè)單元或塊的采樣(采樣可以包括一個(gè)或多個(gè)像素)的亮度值的均值。這由亮度處理模塊LF執(zhí)行的。針對(duì)塊計(jì)算低空間頻率亮度分量，基本包括將原始圖像的亮度分量降采樣。應(yīng)當(dāng)理解本發(fā)明不局限于用于針對(duì)每個(gè)預(yù)測(cè)單元或塊獲得低空間頻率版本的任何具體實(shí)施例，并且可以采用圖像I_p的亮度分量的任何低通濾波或降采樣。在步驟S104中低空間頻率亮度分量由量化單元Q量化以提供經(jīng)量化的低空間頻率亮度分量在步驟S130中由熵編碼器ENC1對(duì)經(jīng)量化的低空間頻率亮度分量執(zhí)行熵編碼，以輸出視頻比特流。在本文中低空間頻率亮度分量的編碼可以被稱為第一層編碼或亮度層。

基于經(jīng)量化的低空間頻率亮度分量的相應(yīng)的值，在步驟S105中預(yù)測(cè)單元或塊的亮度與顏色分量的值由本地感知變換單元LPT變換為對(duì)應(yīng)步驟S101的感知空間變換的本地感知空間。本示例中的這個(gè)感知空間是感知空間L^＊a^＊b^＊。與塊相關(guān)聯(lián)的經(jīng)量化的低空間頻率亮度分量被作為顯示器的參考照明條件以用于變換。塊的本地感知空間L^*a^*b^*的亮度與顏色分量被標(biāo)寫為在實(shí)踐中，到本地感知空間的變換依據(jù)本地感知空間的編碼處理中所規(guī)定的最大誤差閾值ΔE以及經(jīng)量化的低空間頻率亮度分量

到本地感知空間的變換包括以下步驟。首先亮度信號(hào)被變換為所謂的本地LDR表示，通過(guò)以下亮度殘余計(jì)算：

其中L_r表示計(jì)算出的殘余亮度分量，L表示在原始圖像中的對(duì)應(yīng)的亮度分量，以及表示經(jīng)量化的低空間頻率亮度分量。

本文中這個(gè)步驟可以被稱為L(zhǎng)DR本地化步驟。

之后殘余亮度分量L_r在本地亮度空間中被表示如下。假設(shè)L^＊a^＊b^＊感知空間模式中名義上的照明亮度Y_n，照明條件改變因子Y_E將感知空間分量變換為：

(X_n，Y_n，Z_n)→(Y_EX_n，Y_EY_n，Y_EZ_n)

相應(yīng)地，得到經(jīng)修改的感知閾值對(duì)應(yīng)：

ΔE’_O＝ΔE_O.Y_E^(1/3)

因此，感知閾值ΔE’₀適于在后處理中根據(jù)最大照明變化乘法因子的編碼。新的閾值ΔE’₀從Y_E因子中推導(dǎo)而出，其中Y_E＝Y(jié)_lf/Y_n，在Y_lf與之間的關(guān)系由下式給出：

由于它基于與當(dāng)前預(yù)測(cè)單元相關(guān)聯(lián)的低空間頻率亮度分量感知空間以這種方式被本地化。

在對(duì)應(yīng)于LabCIE76感知空間的實(shí)施例中，感知空間的本地化在實(shí)際操作中采用下列形式：

關(guān)于顏色分量a^*與b^*，不需要LDR本地化。感知空間的本地化包括下列變換：

因此在每個(gè)預(yù)測(cè)單元中將要被編碼的殘余紋理數(shù)據(jù)在本地感知空間以表示。

之后在步驟S106中，采用適用于LDR圖像數(shù)據(jù)的編碼處理。編碼處理包括針對(duì)每一個(gè)預(yù)測(cè)單元或編碼單元確定一個(gè)或多個(gè)變換單元(TU)或預(yù)測(cè)單元(PU)，將針對(duì)它們應(yīng)用預(yù)測(cè)處理以根據(jù)參考采樣(通常被稱為預(yù)測(cè)器)來(lái)預(yù)測(cè)該單元。例如在幀內(nèi)編碼單元的情境中，編碼單元的每一個(gè)變換單元根據(jù)先前被編碼并且被重構(gòu)的相鄰TU的采樣來(lái)進(jìn)行空間上的預(yù)測(cè)。在步驟S107中應(yīng)用根據(jù)本發(fā)明用于針對(duì)預(yù)測(cè)處理提供參考采樣的實(shí)施例的處理。在步驟S107中，用于將要被編碼的當(dāng)前TU或PU塊的預(yù)測(cè)的參考采樣被變換為正在被處理的當(dāng)前TU或PU的本地LDR空間。在步驟S106的LDR編碼處理中采用使用經(jīng)本地LDR空間變換的采樣的當(dāng)前TU或PU的預(yù)測(cè)。在LDR編碼過(guò)程中，與當(dāng)前TU或PU相關(guān)聯(lián)的殘余結(jié)構(gòu)由步驟S140被確定、變換以及量化以用于由熵編碼器ENC2進(jìn)行熵編碼。在本文中對(duì)紋理結(jié)構(gòu)的編碼可以被稱為第二層編碼。雖然本發(fā)明的這個(gè)特定的實(shí)施例針對(duì)當(dāng)前TU所描述，應(yīng)當(dāng)理解它還可以用于當(dāng)前PU，并且可以延伸用于幀間模式編碼情境。

依照本發(fā)明的實(shí)施例，提供參考采樣以用于編碼處理的空間和時(shí)間預(yù)測(cè)的機(jī)制包括如圖4所列出的四個(gè)主要的步驟。在預(yù)測(cè)器的處理參考數(shù)據(jù)用于預(yù)測(cè)處理被轉(zhuǎn)換到將要被預(yù)測(cè)的塊的本地LDR空間。這個(gè)處理以相同的方式在編碼器與解碼器側(cè)應(yīng)用。

步驟S401中，先前在其本地LDR空間中被重構(gòu)、并且由用于當(dāng)前TU的空間預(yù)測(cè)的預(yù)測(cè)參數(shù)指示、或由來(lái)自用于當(dāng)前PU的時(shí)間預(yù)測(cè)的先前所編碼的圖片的幀間編碼參數(shù)指示的TU(或PU)的采樣的亮度與色度分量如下伸縮到其本地感知LDR空間中的對(duì)應(yīng)的分量

在空間幀內(nèi)預(yù)測(cè)中，用于塊的預(yù)測(cè)的參考采樣通常與將被預(yù)測(cè)的塊相鄰。

轉(zhuǎn)換和標(biāo)準(zhǔn)化步驟S401包括伸縮處理以及被數(shù)學(xué)地表示如下：

其中：

·表示在其本地LDR空間中被重構(gòu)的LDR參考采樣的亮度分量；

·LDRSCALING表示用于在LDR編碼層的輸入處固定采樣的動(dòng)態(tài)范圍的整數(shù)常量；

LDRSCALING被選擇為使得當(dāng)乘以表示最大LDR信號(hào)值的邊界時(shí)，

達(dá)到由所用的空間內(nèi)LDR編解碼器所支持的最大值。例如，如果所使用的LDR編解碼器通過(guò)10比特來(lái)工作，那么這個(gè)產(chǎn)品必須等于2⁹＝512(最高有效位用于符號(hào))。

·表示在與用于當(dāng)前TU或PU的預(yù)測(cè)的參考TU或PU相關(guān)聯(lián)的本地感知Lab空間中重構(gòu)的亮度采樣(例如在空間預(yù)測(cè)的情境中的相鄰TU的采樣，或由在時(shí)間預(yù)測(cè)的情境中的參考圖片中的運(yùn)動(dòng)向量所標(biāo)識(shí)的PU的采樣)。

在步驟S402中，在圖像的原始HDR空間中，用與相應(yīng)的參考TU相關(guān)聯(lián)的所量化的空間頻率亮度分量將先前所重構(gòu)的TU或PU采樣的所重新伸縮的分量之后轉(zhuǎn)換到對(duì)應(yīng)的分量(L^rec，a^rec，b^rec)：

在重構(gòu)步驟S402中，用于當(dāng)前的塊的預(yù)測(cè)的每一個(gè)參考采樣根據(jù)作為它所包含在其中的TU的低頻率亮度值的函數(shù)，而在HDR空間中經(jīng)受重構(gòu)。該步驟在數(shù)學(xué)上表示如下：

其中：

·L^rec表示在將被壓縮的圖像I_p的原始HDR空間中所重構(gòu)的參考采樣；

·表示在逆量化之后，與參考TU相關(guān)聯(lián)的所重構(gòu)的低空間頻率亮度分量。

在HDR空間中的以這種方式重構(gòu)的參考采樣集合被映射在與正在被編碼的當(dāng)前圖片的當(dāng)前TU或PU相關(guān)聯(lián)的本地感知空間中。在步驟S403中實(shí)現(xiàn)此過(guò)程，轉(zhuǎn)換到原始HDR空間中的之前已重構(gòu)的TU或PU的分量然后從原始圖像的HDR空間中被轉(zhuǎn)換到將要被預(yù)測(cè)的TU或PU的本地感知空間中。針對(duì)將要被預(yù)測(cè)的當(dāng)前TU或PU的經(jīng)量化的低空間頻率亮度分量在下列轉(zhuǎn)換中被采用：

這個(gè)步驟在數(shù)學(xué)上被表示如下：

其中：

·表示在將要被預(yù)測(cè)的當(dāng)前TU或PU的本地感知空間中所變換的參考采樣；

在步驟S404中，在本地感知空間中的數(shù)據(jù)之后被縮放回用于當(dāng)前TU或PU的編碼的本地LDR空間中：

這個(gè)處理在數(shù)學(xué)上被表示如下：

其中：

·Bound_LDR×LDRSCALING表示由LDR層的編解碼器所處理的圖像采樣的動(dòng)態(tài)的絕對(duì)值；

·運(yùn)算符表示與x最相近的整數(shù)值，其具有等于或小于x的絕對(duì)值。

所提出的機(jī)制的優(yōu)點(diǎn)是被變換到將要被預(yù)測(cè)的TU或PU的本地LDR空間中的采樣分量與將要被預(yù)測(cè)的TU或PU的內(nèi)容更好的相關(guān)，因此提供了預(yù)測(cè)的效率與精確度，使得數(shù)據(jù)能夠更好地被壓縮。

圖5概述了在幀內(nèi)空間預(yù)測(cè)的情境中，本地LDR與HDR空間之間的采樣轉(zhuǎn)換的實(shí)現(xiàn)示例。用于當(dāng)前TU的預(yù)測(cè)的參考采樣由幀內(nèi)預(yù)測(cè)模式(DC，二維或角方向)而確定。在所示出的示例中，將要被預(yù)測(cè)的TU500由與將要被預(yù)測(cè)的TU相鄰的TU的先前已重構(gòu)的邊界采樣而被預(yù)測(cè)。在所示的示例中，所重構(gòu)TU的采樣：位于通常高于且在將要被預(yù)測(cè)的TU500左邊的邊界的TUa到TUe被用來(lái)預(yù)測(cè)TU的結(jié)構(gòu)。所重構(gòu)的TU的每一個(gè)具有相關(guān)聯(lián)的低頻率亮度值用于當(dāng)前TU的預(yù)測(cè)的參考采樣的每一個(gè)經(jīng)過(guò)圖4的變換處理。

圖6概述了在時(shí)間預(yù)測(cè)的情境中本地LDR與HDR空間之間采樣的轉(zhuǎn)換的實(shí)現(xiàn)示例。在時(shí)間預(yù)測(cè)的情境中，當(dāng)前圖像的當(dāng)前TU或PU塊由運(yùn)動(dòng)向量被鏈接到在參考圖像中的參考?jí)K上。在所示的示例中，參考?jí)K被插入一個(gè)或多個(gè)參考圖像的塊。每一個(gè)插入?yún)⒖級(jí)K具有其相關(guān)聯(lián)的低頻率亮度值

用于當(dāng)前塊的預(yù)測(cè)的每一個(gè)參考采樣經(jīng)過(guò)在HDR空間中的重構(gòu)，其作為它所包含在其中的TU的低頻率亮度值的函數(shù)。以這種方式在HDR空間中所重構(gòu)的參考采樣集合之后被映射到與正在被編碼的當(dāng)前圖像的TU塊相關(guān)聯(lián)的本地感知空間中。

圖7根據(jù)本發(fā)明的其他實(shí)施例，示出了編碼圖像的至少一部分的方法的步驟。參考圖7，步驟S701到S707與圖1的對(duì)應(yīng)步驟S101到S107相似。圖7的實(shí)施例的處理與在圖1中的不同，其還包括在原始HDR空間中將要被編碼的編碼單元的重構(gòu)以及根據(jù)在重構(gòu)編碼單元上所計(jì)算的速率失真代價(jià)的編碼處理的編碼參數(shù)的調(diào)整。

在步驟S706中對(duì)將要被編碼的TU或PU進(jìn)行預(yù)測(cè)處理之后，在預(yù)測(cè)單元的每一個(gè)中將要被編碼的殘余結(jié)構(gòu)數(shù)據(jù)因此被表示在本地感知空間中。如果速率失真代價(jià)基于本地感知空間被計(jì)算，則對(duì)于將要被編碼的HDR圖像的CTU的四叉樹(shù)表示的選擇，很有可能會(huì)發(fā)生不一致性。例如，假設(shè)針對(duì)以給定的四叉樹(shù)層等級(jí)的給定CU，編碼器的分區(qū)單元需要在兩個(gè)類型的預(yù)測(cè)單元2Nx2N與NxN之間進(jìn)行選擇，那么對(duì)應(yīng)的速率失真代價(jià)之前的對(duì)比如下：

即：

在項(xiàng)的右邊可以看出在不同顏色空間中所表示的PU的所計(jì)算的失真上執(zhí)行加法。這可能導(dǎo)致不一致。

為了解決這樣的問(wèn)題，在原始HDR空間中而不是在本地LDR感知空間中考慮圖7中的實(shí)施例中與圖像的空間實(shí)體相關(guān)聯(lián)的速率失真代價(jià)。以這樣的方式對(duì)應(yīng)于圖像的不同圖像塊的速率失真代價(jià)是可比較的，由于它們?cè)谙嗤母兄臻g中被計(jì)算。因此在HDR空間中重構(gòu)編碼單元的步驟包括在圖7的實(shí)施例的編碼處理中。在HDR空間中的編碼單元的重構(gòu)實(shí)現(xiàn)如下。

編碼單元的TU或PU的每一個(gè)通過(guò)執(zhí)行步驟S712中的逆量化、步驟S714中的逆變換、以及步驟S716中的預(yù)測(cè)加法而被重構(gòu)。所重構(gòu)的TU然后在步驟S718中的原始HDR空間中獲得。

針對(duì)在HDR空間中重構(gòu)殘余的TU或PU的步驟S718采用下列公式，其中本發(fā)明的具體實(shí)施例中的本地顏色空間是Lab76。公式相應(yīng)地對(duì)應(yīng)針對(duì)亮度分量L以及色度分量a、b的在HDR空間中的TU的經(jīng)解碼的像素的重構(gòu)：

1.

2.

3.

4.

5.

6.

其中：

·LDRSCALING表示用于在LDR編碼層的輸入處固定給定像素的動(dòng)態(tài)范圍的整數(shù)常量；

·表示在與包含采樣的PU相關(guān)聯(lián)的本地Lab空間中重構(gòu)的亮度和色度采樣；

·表示將被壓縮的原始圖像I_p的DHR空間中所重構(gòu)的采樣；

·表示與PU相關(guān)聯(lián)的低空間頻率亮度分量，在逆量化之后經(jīng)重構(gòu)的版本。

編碼器控制模塊管理被用于編碼當(dāng)前圖像中給定編碼單元或編碼單元的子元素的策略。為了完成這些，它將候選的編碼參數(shù)分配給當(dāng)前編碼單元或編碼單元子元素。用于塊編碼的編碼參數(shù)可以包括一個(gè)或多個(gè)以下編碼參數(shù)：

·關(guān)于編碼四叉樹(shù)、預(yù)測(cè)單元以及變換單元的編碼樹(shù)單元組織；

·分配給編碼樹(shù)的編碼單元的編碼模式(INTRA或INTER)，其中INTER表示圖片間(時(shí)間)預(yù)測(cè)，并且INTRA表示圖片內(nèi)(空間)預(yù)測(cè)；

·針對(duì)在所考慮的編碼樹(shù)中的每一個(gè)幀內(nèi)編碼單元的幀內(nèi)預(yù)測(cè)模式(DC，二維的或角方向)；

·在幀間編碼單元的情形中的幀間預(yù)測(cè)參數(shù)：運(yùn)動(dòng)向量、參考圖片索引等等。

針對(duì)編碼單元的編碼參數(shù)的選擇通過(guò)最小化速率失真代價(jià)來(lái)執(zhí)行如下：

其中p表示用于給定編碼單元的候選編碼參數(shù)，以及λ表示拉格朗日參數(shù)，以及D(p)以及R(p)相應(yīng)地表示與具有候選的編碼參數(shù)p的集合的當(dāng)前編碼單元的編碼相關(guān)聯(lián)的失真以及速率。

在本發(fā)明的實(shí)施例中，失真項(xiàng)D(p)表示在將要被編碼的圖像的初始HDR空間中所獲得的編碼誤差。如下列將被描述的，這總體上包括在計(jì)算與編碼參數(shù)p相關(guān)聯(lián)的失真D(p)之前，將正在被處理的CU或CU子元素重構(gòu)到初始空間(L^*，a^*，b^*)中。由于考慮了原始HDR空間中的編碼單元或編碼子元素，這樣的步驟幫助減少在經(jīng)解碼的圖像中出現(xiàn)偽影。

根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例，計(jì)算針對(duì)用編碼參數(shù)p的集合來(lái)編碼編碼單元的速率失真代價(jià)的處理被如下示出。在圖7的實(shí)施例中，速率失真代價(jià)處理在步驟S720處由速率失真模塊RATE-DIST執(zhí)行。

處理通過(guò)將速率失真代價(jià)J重置到0開(kāi)始：J←0

在低空間頻率分量L_lf(PU)已經(jīng)在步驟S730中熵編碼之后，用于熵編碼低空間頻率分量L_lf(PU)的相關(guān)聯(lián)的速率R(L_lf)在步驟S720中確定。之后速率失真代價(jià)J根據(jù)下式更新：

J←J+λ.R(L_lf)其中入代表拉格朗日參數(shù)。

相關(guān)聯(lián)的速率R(TU，p)在步驟S720中被確定以用于步驟S740中的熵編碼的殘余結(jié)構(gòu)。

之后用于在原始HDR空間中的所重構(gòu)的TU的失真如下計(jì)算：

其中對(duì)應(yīng)于在原始HDR圖像中所重構(gòu)的TU的采樣，以及對(duì)應(yīng)在HDR空間中所重構(gòu)的TU的采樣。之后CU的速率失真代價(jià)J如下更新：

J←J+D^HDR(TU，p)+λ.R(TU，p)

與用編碼參數(shù)p的編碼相關(guān)聯(lián)的速率失真代價(jià)可以用以下公式計(jì)算：

D^HDR(CU，p)+λ(R_LDR(CU，p)+R(L_lf，p))

其中：

·R_LDR(Cu，p)是在LDR層所考慮的CU的編碼代價(jià)，R(L_lf，p)是與屬于所考慮的CU的PU相關(guān)聯(lián)的低頻率亮度分量的編碼代價(jià)。

在步驟S722中，編碼器控制模塊ENCODER CONTROL基于步驟S720中針對(duì)在HDR空間中所編碼的TU的所計(jì)算的速率失真代價(jià)來(lái)調(diào)整LDR編碼處理的編碼參數(shù)。

圖8是根據(jù)本發(fā)明的其他實(shí)施例來(lái)編碼圖像的至少一部分的方法的步驟的示意框圖。參考圖8，步驟S801到S807與圖1的對(duì)應(yīng)步驟S101到S107相似。依據(jù)本發(fā)明的實(shí)施例，具體步驟S807被實(shí)現(xiàn)用來(lái)執(zhí)行對(duì)預(yù)測(cè)器采樣的轉(zhuǎn)換以及預(yù)測(cè)。圖8的實(shí)施例的處理與在圖1與圖7中的處理不同，其中包括細(xì)化步驟(通常被稱為近似無(wú)損)，其中細(xì)化在正在被處理的PU的本地感知空間中經(jīng)重構(gòu)的結(jié)構(gòu)數(shù)據(jù)上被執(zhí)行。編碼可以被稱為三層編碼，由于其包括低空間頻率分量L_lf、殘余結(jié)構(gòu)數(shù)據(jù)的熵編碼以及L_∞標(biāo)準(zhǔn)熵編碼?；谠冀Y(jié)構(gòu)數(shù)據(jù)以及在所考慮的本地感知空間中所重構(gòu)的紋結(jié)構(gòu)數(shù)據(jù)之間的L_∞標(biāo)準(zhǔn)(步驟S816到S824)，編碼處理中的另外的細(xì)化步驟保證了失真。編碼模塊ENC3在步驟S821中針對(duì)這個(gè)編碼層執(zhí)行編碼。

在每一個(gè)所描述的實(shí)施例中，表示原始HDR圖像的經(jīng)編碼的比特流被傳輸?shù)侥康牡亟邮赵O(shè)備，該設(shè)備被裝備有解碼設(shè)備。關(guān)于用于編碼圖像數(shù)據(jù)的編碼參數(shù)的信息可以被傳輸?shù)浇獯a設(shè)備來(lái)使得表示HDR圖像的比特流被解碼并且原始HDR圖像被重構(gòu)。表示編碼參數(shù)的信息可以在傳輸之前被編碼。例如，在圖7的實(shí)施例中，表示編碼參數(shù)的數(shù)據(jù)由編碼控制模塊所提供并且由編碼器ENC2編碼到數(shù)據(jù)流中。在這些示例中，參數(shù)因此被編碼到對(duì)應(yīng)于第二層編碼(LDR層)的比特流中。

圖9是根據(jù)本發(fā)明的實(shí)施例示出了由解碼設(shè)備所實(shí)現(xiàn)的用于解碼表示圖像I的比特流的解碼處理的示例的示意框圖。在解碼處理中解碼器DEC1、DEC2、以及DEC3被配置來(lái)解碼被相應(yīng)的編碼器ENC1、ENC2以及ENC3已編碼的數(shù)據(jù)。

示例中比特流表示包括亮度分量以及可能的至少一個(gè)顏色分量的HDR圖像I。如上所述，圖像I的分量屬于感知顏色空間。

在步驟901中，圖像I的亮度分量的低空間頻率版本的經(jīng)解碼的版本通過(guò)由解碼器DEC1解碼至少部分的比特流F而獲得。

在步驟902中，所編碼的殘余結(jié)構(gòu)數(shù)據(jù)的經(jīng)解碼的版本由解碼器DEC2通過(guò)比特流F的至少部分的解碼而獲得。

在步驟907中，用于TU的或PU的預(yù)測(cè)的參考采樣經(jīng)歷根據(jù)用于當(dāng)前TU或PU的預(yù)測(cè)的本發(fā)明的實(shí)施例的轉(zhuǎn)換處理。用當(dāng)前塊的預(yù)測(cè)的每一個(gè)參考采樣經(jīng)受在HDR空間中的重構(gòu)，該重構(gòu)作為它所包含在其中的TU或PU的低頻率亮度值的函數(shù)。之后以這種方式在HDR空間中所重構(gòu)的參考采樣的集合被映射到與當(dāng)前圖像的TU或PU塊相關(guān)聯(lián)的本地感知空間中，該當(dāng)前圖像在它的動(dòng)態(tài)范圍減少到TU或PU的塊之前而被解碼。

轉(zhuǎn)換處理與圖1的S107的轉(zhuǎn)換處理相同。在圖4中所詳述的步驟被執(zhí)行來(lái)提供用于當(dāng)前TU或PU的預(yù)測(cè)的經(jīng)轉(zhuǎn)換的參考采樣。在步驟906中，TU或PU依據(jù)本發(fā)明的實(shí)施例執(zhí)行。步驟906與對(duì)應(yīng)編碼處理的步驟S106相同。S907的轉(zhuǎn)換處理以相同的方式在編碼器與解碼器方面所采用。

在步驟909中，圖像的亮度分量的殘余結(jié)構(gòu)數(shù)據(jù)的解碼版本以及低空間頻率版本的解碼版本與彼此相關(guān)聯(lián)來(lái)獲得經(jīng)解碼的圖像

在圖像數(shù)據(jù)依據(jù)諸如圖8的處理的三層編碼處理被編碼的本發(fā)明的一些實(shí)施例中，提供第三層解碼，其中由解碼器單元DEC3執(zhí)行解碼。

圖10示出了根據(jù)本發(fā)明的實(shí)施例(諸如在圖7或圖8的編碼示例中)的解碼器，其中編碼參數(shù)以速率失真標(biāo)準(zhǔn)為基礎(chǔ)來(lái)調(diào)整。表示經(jīng)調(diào)整的編碼參數(shù)的數(shù)據(jù)P可以由解碼設(shè)備所接收并且在附加的步驟930中由參數(shù)解碼器模塊DEC-PAR所解碼。編碼參數(shù)數(shù)據(jù)P以具有圖像數(shù)據(jù)I的比特流的形式被傳輸。關(guān)于所采用的編碼參數(shù)的信息之后被提供到解碼器DEC1、DEC2以及DEC3，使得所編碼的圖像數(shù)據(jù)可以用根據(jù)由編碼器的編碼控制模塊ENCODER CONTROL所確定的編碼參數(shù)的解碼參數(shù)被解碼。步驟901到909以與圖9中的步驟901到909相同的方式執(zhí)行。

解碼器DEC2的解碼精度基于在感知空間中所定義的、定義度量的上限的感知閾值ΔE，其確?？刂圃趫D像的所顯示的經(jīng)解碼的版本中的視覺(jué)損失。解碼精度因此是在本地變化的感知閾值的函數(shù)。。

如以上所描述的，根據(jù)實(shí)施例，感知閾值ΔE根據(jù)(與針對(duì)編碼相同的)顯示的參考照明條件以及圖像I的亮度分量的低空間頻率版本的經(jīng)解碼的版本所確定。

根據(jù)實(shí)施例，殘余圖像的每一個(gè)分量通過(guò)感知閾值ΔE的方式被標(biāo)準(zhǔn)化，殘余圖像以恒定精度被解碼，并且不同圖像的經(jīng)編碼的版本的分量的每一個(gè)通過(guò)感知閾值ΔE的幫助下被再次標(biāo)準(zhǔn)化：

根據(jù)實(shí)施例，再次標(biāo)準(zhǔn)化是除以一個(gè)值，該值是由感知閾值ΔE的函數(shù)。

編碼器ENC1、ENC2和/或ENC3(和解碼器DEC1、DEC2和/或DEC)不局限于具體的編碼器(解碼器)，但是當(dāng)熵編碼器(解碼器)被需求的時(shí)候，諸如霍夫曼編碼器、算術(shù)編碼器或上下文自適應(yīng)編碼器(諸如在H264/AVC或HEVC中所使用的自適應(yīng)二進(jìn)制算術(shù)編碼)之類的熵編碼器是有利的。

編碼器ENC2(以及解碼器DEC2)不局限于可能是諸如有損圖像/視頻編碼器(諸如JEPG、JPEG2000、MPEG2、h264/AVC或HEVC)的具體編碼器。

編碼器ENC3(以及解碼器DEC3)不局限于可能是諸如圖像編碼器(諸如JPEG無(wú)損、h264/AVC無(wú)損、基于網(wǎng)格的義編碼器、或自適應(yīng)(差分脈沖編碼調(diào)制DPCM)編碼器)的具體無(wú)損或近似無(wú)損編碼器。

根據(jù)在步驟910中的變化，模塊IIC被配置將逆感知變換采用到在步驟909的輸出處的經(jīng)解碼的圖像例如，經(jīng)解碼的圖像的估計(jì)被變換到眾所周知的空間(X，Y，Z)中。

當(dāng)感知空間LabCIE1976被選則，逆感知變換由下列給出：

Y＝Y(jié)_nf^-1(1/116(L^*+16))

當(dāng)感知空間Luv被選則，逆感知變換由下列給出：

可能地，在空間(X，Y，Z)中的圖像被逆變換以得到在諸如(R，G，B)的原始空間中所編碼的圖像的估計(jì)。

在圖1、圖4以及圖7到圖10中，模塊是可能或可能不對(duì)應(yīng)可區(qū)分的物理單元的功能單元。例如，多個(gè)這樣的模塊可以在獨(dú)特的分量或電路中相關(guān)聯(lián)、或?qū)?yīng)軟件功能。更多地，模塊可以可能地包括分別的物理實(shí)體或軟件功能。

與發(fā)明的實(shí)施例相匹配的設(shè)備可以單獨(dú)由硬件、單獨(dú)由軟件、或由硬件與軟件的組合所實(shí)現(xiàn)。依據(jù)諸如專用硬件的諸如特定用途集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、或超大規(guī)模集成電路(VLSI)的硬件，或通過(guò)采用植入設(shè)備的一些集成的電子分量或來(lái)自硬件與軟件分量的混合所使用。

圖11是表示在可能實(shí)現(xiàn)的發(fā)明的一個(gè)或多個(gè)實(shí)施例中的編碼設(shè)備或解碼設(shè)備1100的功能分量的示意圖。

設(shè)備1100包括存儲(chǔ)器1100、一個(gè)或多個(gè)處理單元(CPU)1120、用于來(lái)自(以及到)應(yīng)用的數(shù)據(jù)傳輸?shù)妮斎?輸出接口1130。分量通過(guò)一個(gè)或多個(gè)通信總線1150通信。

存儲(chǔ)器可以包括高速隨機(jī)存取存儲(chǔ)器(RAM)1111以及只讀存儲(chǔ)器(ROM)1112。存儲(chǔ)器的寄存器可以對(duì)應(yīng)設(shè)備的存儲(chǔ)器的小容量(一些比特)的部分，或者非常大容量的部分(諸如至少整個(gè)計(jì)算機(jī)程序編碼或大量的已壓縮或未壓縮的數(shù)據(jù))。ROM1112至少儲(chǔ)存程序編碼以及參數(shù)。根據(jù)發(fā)明的實(shí)施例的方法的算法可以被儲(chǔ)存在ROM 1112中。當(dāng)被開(kāi)啟時(shí)，CPU1120上傳在RAM1111中的程序并且執(zhí)行對(duì)應(yīng)的指令。

RAM111包括在寄存器中由CPA1112所執(zhí)行的以及在開(kāi)啟設(shè)備11100之后所上傳的程序、在寄存器中的數(shù)據(jù)、在寄存器中的不同狀態(tài)的算法的中間值，以及用于在寄存器中算法的執(zhí)行的其他變量。

存儲(chǔ)器1100可以包括非易失存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、閃存設(shè)備或其他非易失固態(tài)存儲(chǔ)器設(shè)備。在一些實(shí)施例中，存儲(chǔ)器還可以包括遠(yuǎn)離一個(gè)或多個(gè)CPU120的存儲(chǔ)設(shè)備，例如通過(guò)接口和/或通信網(wǎng)絡(luò)的可訪問(wèn)的存儲(chǔ)設(shè)備。

在一些實(shí)施例中，設(shè)備被提供諸如電池1140的能源。根據(jù)其他的實(shí)施例，能源可以在設(shè)備的外部。

應(yīng)當(dāng)理解圖11的元件被本領(lǐng)域技術(shù)人員所知，并且因此對(duì)于發(fā)明的理解不需要被更詳細(xì)地描述。

根據(jù)實(shí)施例，圖11的設(shè)備還包括獲得諸如顯示照明的最大環(huán)境亮度值Yn的顯示的參考照明條件的方法，例如光敏二極管等等。

根據(jù)實(shí)施例，例如在解碼設(shè)備的情境中，圖11的設(shè)備包括顯示器1160，以及獲得顯示的參考照明條件的方法被配置以確定來(lái)自顯示器1160的特征的或來(lái)自由裝置所捕捉的顯示器1160周圍的照明條件的顯示的這樣的參考照明條件。例如，獲得最大顯示的照明的環(huán)境的亮度值Yn的方法是附著到顯示器并且測(cè)量環(huán)境的條件的傳感器。光敏二極管等等可以被用于這個(gè)目的。

在發(fā)明的一些實(shí)施例中，顯示可以通過(guò)觸摸敏感顯示器或任何類型的顯示器用于顯示視頻數(shù)據(jù)。

圖12概述了數(shù)據(jù)通信系統(tǒng)的示例，在該示例中發(fā)明的一個(gè)或多個(gè)實(shí)施例被實(shí)現(xiàn)。數(shù)據(jù)通信系統(tǒng)1200包括傳輸設(shè)備，在這個(gè)情境中，通過(guò)數(shù)據(jù)通信網(wǎng)絡(luò)1230，將數(shù)據(jù)流的數(shù)據(jù)包傳輸?shù)浇邮赵O(shè)備的可操作的服務(wù)器1210(在這個(gè)情境中是客戶終端1210)。數(shù)據(jù)通信網(wǎng)絡(luò)1230可以是無(wú)線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)或無(wú)線與有線通信鏈路的組合。例如，數(shù)據(jù)通信鏈路可以是廣域網(wǎng)(WAN)或局域網(wǎng)(LAN)。這樣的網(wǎng)絡(luò)可以是諸如無(wú)線網(wǎng)絡(luò)(WiFi802.11a或b或g)、以太網(wǎng)、因特網(wǎng)或包括了一些不同網(wǎng)絡(luò)的混合網(wǎng)絡(luò)。在發(fā)明的具體的實(shí)施例中，數(shù)據(jù)通信系統(tǒng)可以是廣播系統(tǒng)，諸如數(shù)字電視廣播系統(tǒng)或任何其他視聽(tīng)的數(shù)據(jù)提供系統(tǒng)，在該系統(tǒng)中服務(wù)器1210發(fā)送相同的數(shù)據(jù)內(nèi)容到多個(gè)客戶1220。

由服務(wù)器1210所提供的數(shù)據(jù)流1240包括所編碼的數(shù)據(jù)，其包括根據(jù)發(fā)明的實(shí)施例被編碼到比特流的視頻數(shù)據(jù)。

根據(jù)發(fā)明的實(shí)施例，客戶1220接收所編碼的比特流并且解碼比特流以渲染多媒體數(shù)據(jù)給客戶終端。客戶終端可以是固定的設(shè)備，諸如電視或計(jì)算機(jī)或便攜的電子設(shè)備，該電子設(shè)備包括但不局限于便攜計(jì)算機(jī)、掌上計(jì)算機(jī)、平板電腦、移動(dòng)電話、媒體播放器、個(gè)人數(shù)字助手等等的，包括兩個(gè)或多個(gè)這種項(xiàng)的組合。

圖13示出了示例的傳輸系統(tǒng)1300。例如包括HDR圖像數(shù)據(jù)的音頻或視頻數(shù)據(jù)的輸入媒體數(shù)據(jù)，根據(jù)發(fā)明的實(shí)施例在媒體編碼器1310處被編碼。所以編碼的數(shù)據(jù)在多路復(fù)用器1320處被多路傳輸，并且在傳輸器1330處被傳輸。傳輸系統(tǒng)可以在通常的TV廣播環(huán)境中使用，或者可以在提供用于流動(dòng)與下載視聽(tīng)數(shù)據(jù)的任何服務(wù)中使用。

圖4示出了接收系統(tǒng)1400的示例。系統(tǒng)1400的輸入數(shù)據(jù)可以是以比特流的形式被編碼的多媒體數(shù)據(jù)，例如系統(tǒng)1300的輸出。數(shù)據(jù)在接收器1410處被接收，在信號(hào)分離器1420處被分離，并且根據(jù)發(fā)明的實(shí)施例通過(guò)采用解碼方法在媒體解碼器1430處被解碼。所解碼的包可以被放在分離器1420的緩存中。渲染引擎1440渲染媒體內(nèi)容，例如給顯示HDR圖像。

設(shè)備1300以及設(shè)備1400可以被配置來(lái)在參考照明條件(諸如顯示照明的最大環(huán)境亮度值Yn顯示)上訪問(wèn)信息，用于根據(jù)本發(fā)明的實(shí)施例的HDR圖像數(shù)據(jù)的編碼與解碼。

例如，設(shè)備1300與1400儲(chǔ)存顯示的相同的參考照明條件，諸如顯示照明的最大環(huán)境亮度值Yn。

此外，設(shè)備1400被配置來(lái)獲得顯示的相同的參考照明條件(諸如顯示照明的最大環(huán)境亮度值Yn)，并且將它發(fā)送到設(shè)備1300。之后設(shè)備1300被配置來(lái)接收所傳輸?shù)娘@示的參考照明條件(諸如顯示照明的最大環(huán)境亮度值Yn)。

相反地，設(shè)備1300被配置來(lái)獲得顯示的相同的參考照明條件(諸如顯示照明的最大環(huán)境亮度值Yn)，例如來(lái)自存儲(chǔ)設(shè)備存儲(chǔ)器并且將它發(fā)送到設(shè)備1400。之后設(shè)備1400被配置來(lái)接收這樣的所傳輸?shù)娘@示的參考照明條件(諸如顯示照明的最大環(huán)境亮度值Yn)。

本文所描述的發(fā)明的實(shí)施例可以在例如方法、處理、裝置、軟件程序、數(shù)據(jù)流、或信號(hào)中被實(shí)現(xiàn)。即使僅僅在實(shí)現(xiàn)的單獨(dú)的形式的上下文中所討論(例如僅作為方法來(lái)討論)，所討論的特性的實(shí)現(xiàn)依舊可以以其他形式所實(shí)現(xiàn)(諸如裝置或程序)。裝置可以在諸如合適的硬件、軟件以及固件中被實(shí)現(xiàn)。方法可以在諸如處理器的裝置中被實(shí)現(xiàn)。術(shù)語(yǔ)處理器指的是通常的處理設(shè)備，其包括諸如計(jì)算機(jī)、微處理器、集成電路、或可編程邏輯設(shè)備。處理器還可以包括通信設(shè)備，其諸如計(jì)算機(jī)、平板、蜂窩式電話、便攜/個(gè)人的數(shù)字助理(PDA)，以及促進(jìn)在終端用戶之間的信息的通信的其他設(shè)備。

參考本原則的“一個(gè)實(shí)施例”、“實(shí)施例”、“一個(gè)實(shí)現(xiàn)”或“實(shí)現(xiàn)”，以及其中的其他變量，指的是在本原則的至少一個(gè)實(shí)施例中包括與實(shí)施例相關(guān)的前述描述中的具體的特性、結(jié)構(gòu)、特征等等。因此貫穿說(shuō)明書(shū)出現(xiàn)在各種地方的短語(yǔ)“在一個(gè)實(shí)施例中”、“在實(shí)施例中”、“在一個(gè)實(shí)現(xiàn)中”、或“在實(shí)現(xiàn)中”以及其他變量的出現(xiàn)，不必要全部指的是相同的實(shí)施例。

此外，本說(shuō)明或權(quán)利要求書(shū)可以指的是“確定”信息的各種片段。確定信息可以包括一個(gè)或多個(gè)例如估計(jì)信息、計(jì)算信息、預(yù)測(cè)信息、或檢索來(lái)自存儲(chǔ)器的信息。

此外，本說(shuō)明或權(quán)利要求書(shū)可以指的是“接收”信息的各種片段。接收是作為意指廣泛的術(shù)語(yǔ)的“訪問(wèn)”。接收信息可以包括例如訪問(wèn)信息、或檢索信息(諸如從存儲(chǔ)器)的一個(gè)或多個(gè)。更多地，“接收”通常以一種或另一種方式被包括在操作中，該操作例如儲(chǔ)存信息、處理信息、傳輸信息、移動(dòng)信息、復(fù)制信息、擦除信息、計(jì)算信息、確定信息、預(yù)測(cè)信息、或估計(jì)信息。

盡管本發(fā)明在本文中關(guān)于具體實(shí)施例所描述，應(yīng)當(dāng)理解本發(fā)明不局限于具體實(shí)施例，并且在本發(fā)明的范圍內(nèi)的修改對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。

例如，在前述示例中，基于HEVC編碼處理的編碼或解碼處理被描述，應(yīng)當(dāng)理解發(fā)明不局限于任何具體的編碼或解碼處理。適用于LDR圖像的編碼的其他編碼或解碼處理可以用于發(fā)明的上下文中，例如編碼處理以及補(bǔ)充的解碼處理可以基于包括一些編碼方案的最優(yōu)化步驟(諸如MPEG2、MPEG4、AVC、H.263等等)的其他編碼/解碼方法。

許多更進(jìn)一步的修改與改變參照先前示出的實(shí)施例對(duì)于本領(lǐng)域技術(shù)人員可見(jiàn)的，其僅作為示例的方式并且不意在局限發(fā)明的范圍，僅由所附的權(quán)利要求所確定。在來(lái)自不同實(shí)施例的具體的不同的特性可以在合適的地方互換。