本發(fā)明涉及使能夠?qū)⒌谝徽斩葎討B(tài)范圍的圖像或者圖像的視頻轉(zhuǎn)換成第二照度動態(tài)范圍的圖像或者視頻的裝置和方法以及產(chǎn)生的像是數(shù)據(jù)存儲裝置(例如,藍(lán)光盤)或者傳輸產(chǎn)品或者信號這樣的產(chǎn)品,特別地,所述轉(zhuǎn)換是從可以不限于例如是由內(nèi)容創(chuàng)造者的顏色分級機(jī)創(chuàng)造的主hdr分級的參考高動態(tài)范圍(hdr)圖像(例如,關(guān)聯(lián)的參考顯示器的2000nit峰值明亮度)到舊有l(wèi)dr(100nit)圖像的。方法和裝置實施例特別地適合于需要能夠處置比舊有(ldr)視頻編碼(其也可以被稱為標(biāo)準(zhǔn)sdr編碼)高的照度要求的視頻編碼和解碼。
背景技術(shù):
最近,一些非常不同的顯示器已出現(xiàn)在市場上,特別是具有非常不同的峰值明亮度的電視信號接收顯示器(電視機(jī))。而在過去,所謂的舊有低動態(tài)范圍(ldr)顯示器的峰值明亮度(pb)相差最多大約2倍(80與150nits之間的某處),最近的向越來越高的峰值明亮度的傾向已導(dǎo)致產(chǎn)生所謂的1000nit及以上的高動態(tài)范圍(hdr)的電視機(jī)和5000nitpb的顯示器等,并且已假設(shè)不久各種這樣的更高pb的顯示器將上市。甚至在電影院中,人們正在考慮增大被觀看者感知的極限明亮度動態(tài)范圍的方法。相比于100nitldr標(biāo)準(zhǔn)舊有tv,例如,2000nit顯示器具有20倍之多的峰值明亮度,這總計多于4個額外的停止點可用,即,更多的用于渲染各種圖像中的更明亮的對象的方法。另一方面,假設(shè)人們也使用新一代hdr圖像生成或者捕獲系統(tǒng),這允許對hdr場景或者效果的好得多的渲染。例如,取代對建筑物或者車輛外部的陽光充足的世界進(jìn)行(軟)剪輯(如將在舊有l(wèi)dr分級中發(fā)生的),人們可以使用hdrtv色域的照度軸上的額外的可用明亮度來顯示明亮并且多彩的外部區(qū)域。這意味著我們將稱為非限制性顏色分級機(jī)(但是他可以以各種方式被體現(xiàn),例如,在實況電視制造中)的內(nèi)容創(chuàng)造者有余地來制作非常漂亮的專用hdr圖像或者視頻內(nèi)容(典型地更明亮,可能更對比強(qiáng)烈,并且更多彩)。然而另一方面,這產(chǎn)生問題:ldr圖像編碼被相對設(shè)計為從白色開始并且根據(jù)18%反射的中等灰度被很好地照亮,這意味著典型地例如100nit的相對低pb的5%以下的被顯示器渲染的亮度將典型地由于難以辨別深灰色或者甚至取決于周圍照度而被觀看者看作不可辨別的黑色。在5000nit顯示器上,對于該最優(yōu)地經(jīng)分級的hdr圖像將不存在任何問題:5000nit的5%仍然有250nit,因此這將例如看起來像正常的內(nèi)部,并且像例如是燈、接近這樣的燈的即被明亮地照亮的區(qū)域這樣的照度范圍的最高95%可以純被用于hdr效果。但在ldr上,對該hdr分級的渲染將變成完全錯誤的(因為它也不是針對這樣的顯示器被創(chuàng)造的),并且觀看者例如可能僅看見接近黑色的區(qū)域上的與最明亮的區(qū)域相對應(yīng)的熱點。一般地,對于針對足夠不同(pb上至少2倍不同)的顯示器創(chuàng)造最優(yōu)的圖像需要重新分級。該情況將在以下兩者時候發(fā)生:對用于較低動態(tài)范圍顯示器的圖像進(jìn)行重新分級以使它適合于在較高動態(tài)范圍顯示器上的渲染(這將是升級,例如,1000nit參考顯示器輸入圖像,即,其將在1000nitpb實際顯示器上看起來是最優(yōu)的,其然后被進(jìn)行顏色處理以便在5000nitpb的實際顯示器上進(jìn)行渲染),作為相反方向,即,使圖像降級以使得它將適合于在具有比與被編碼為視頻圖像(并且,所述圖像典型地以某種方式被傳送到接收側(cè))的分級相關(guān)聯(lián)的參考顯示器低的pb的實際顯示器上顯示。出于簡潔的考慮,我們將僅描述在其中一個或多個hdr圖像將被降級到ldr的場景。
hdr技術(shù)(借此我們指應(yīng)當(dāng)能夠處置至少某些hdr圖像的技術(shù),但其也可以與ldr圖像或者中等動態(tài)范圍圖像等一起工作)將滲入將需要能夠以不同的方式處置各種方面的技術(shù)的消費者和專業(yè)兩者用途(例如,照相機(jī)、像藍(lán)光播放器、電視機(jī)、計算機(jī)軟件、投影系統(tǒng)、安全性或者視頻會議系統(tǒng)這樣的數(shù)據(jù)處置設(shè)備等)的各種領(lǐng)域。
在wo2013/144809(以及wo2014/056679)中,申請人一般地闡述了用于執(zhí)行顏色處理的技術(shù),其用于產(chǎn)生適合于不同于與輸入圖像(im-in)相關(guān)聯(lián)的參考顯示器動態(tài)范圍的另一個顯示器動態(tài)范圍(典型地,pb足夠表征不同的顯示器動態(tài)范圍以及因此被最優(yōu)地分級的圖像,因為對于若干場景,人們可以忽略黑點,并且務(wù)實地假設(shè)其是0)的圖像(im_res),即,其基本闡述了針對其圖像被創(chuàng)造為看起來最優(yōu)的顯示器的pb,這形成在下面被闡明的用于對其進(jìn)行改進(jìn)的發(fā)明的良好的現(xiàn)有技術(shù)。我們以更接近相同的原理的當(dāng)前的實際實施例的方式在圖1中再次簡潔地重新闡述了所述原理。輸入圖像im_in的各種像素被顏色變換器100連續(xù)地進(jìn)行顏色處理(通過由乘法器104將它們的線性rgb值乘以乘法因子(a))以便獲得輸出圖像im_res中的像素的輸出顏色rsgsbs。乘法因子是根據(jù)某個色調(diào)映射規(guī)范建立的,這樣的色調(diào)映射規(guī)范典型地可以由人類顏色分級機(jī)創(chuàng)造,但也可以來自對圖像的特性(例如,直方圖或者像面部這樣的特殊對象的顏色屬性等)進(jìn)行分析的自動轉(zhuǎn)換算法。映射函數(shù)可以粗糙地是例如伽馬類的,使得較暗的顏色被提升(其被需要以使它們變得更明亮并且更對比強(qiáng)烈以便在ldr顯示器上渲染),代價是明亮區(qū)域的對比度降低,這將在ldr顯示器上變成彩畫的(pastelized)。分級機(jī)可能進(jìn)一步已識別像面部這樣的某個特殊對象,對于該特殊對象的照度,他已在曲線中創(chuàng)造增加了的對比度部分。現(xiàn)在特殊的是,該曲線被曲線應(yīng)用單元102(其可以廉價地是例如lut,其可以典型地在已接收例如是伽馬因子這樣的對映射的函數(shù)形狀進(jìn)行編碼的參數(shù)之后在執(zhí)行顏色處理的接收側(cè)處例如每圖像鏡頭地被計算)應(yīng)用于被稱為m的每個像素的r、g和b顏色分量的最大值(由最大值評估單元101確定)。然后,乘法因子計算單元103對于每個當(dāng)前被處理的像素計算合適的乘法因子。如果圖像將在比方例如100nitldr顯示器這樣的第一目標(biāo)顯示器上被渲染,則這可以例如是被應(yīng)用于m的色調(diào)映射函數(shù)f的輸出,即f(m)除以m。如果需要針對例如中間顯示器的圖像,這樣的中間顯示器例如是800nitpb的(或者另一個值,可能高于hdr輸入圖像im_in的參考顯示器pb),則可以對f(m)/m應(yīng)用進(jìn)一步的函數(shù)g,其將輸入顏色的乘性映射的量重新縮放到適合于該圖像適合于的顯示器動態(tài)范圍的值(不論其被直接渲染在顯示器上還是被傳送或者存儲在某個存儲器中以便稍后使用)。
我們迄今為止已描述的部分構(gòu)成全局顏色處理。這意味著,處理可以僅基于像素的連續(xù)集合的顏色(并且我們將僅聚焦于那些顏色的照度)的特定的值被完成。因此,如果人們僅從例如圖像的圓形子選擇內(nèi)的像素的集合獲得像素,則顏色處理可以根據(jù)上面闡述的原理被完成。然而,由于人類視覺是非常相對的,也是在空間上相對的,因此,關(guān)于圖像中的其它對象的色度學(xué)屬性對對象的顏色和明亮度進(jìn)行評判(并且也是鑒于各種技術(shù)限制),更高級的hdr編碼系統(tǒng)具有執(zhí)行局部處理的選項。在某個(些)圖像中,人們想要隔離像燈或者面部這樣的一個或多個對象,并且對該對象執(zhí)行專用的處理。然而,在我們的技術(shù)中,這構(gòu)成對可以從主分級的像素的圖像導(dǎo)出的至少一個另外的分級(這里,從hdr導(dǎo)出的ldr)的編碼的部分。主分級或者導(dǎo)出的分級可以作為對空間結(jié)構(gòu)(即被成像的場景的對象)進(jìn)行編碼的圖像被實際上傳送到接收側(cè),并且如果對兩個外表之間的關(guān)系進(jìn)行編碼的顏色變換函數(shù)也在元數(shù)據(jù)中被傳送,則然后可以在接收側(cè)處重新計算其它分級。即,假設(shè)hdr圖像已被接收,則如果需要,例如需要通過對ldr圖像進(jìn)行解碼來重構(gòu)顏色處理,或者反之,假設(shè)ldr圖像的外表的對已被傳送或者存儲,則需要hdr圖像的重構(gòu)。局部處理原理在編碼技術(shù)中被使用的事實具有技術(shù)含義,特別是人們需要基本數(shù)學(xué)處理方法的簡單集合,因為領(lǐng)域中的全部解碼ic或者軟件需要實施此,并且以可承擔(dān)的價格為代價,需要能夠理解編碼并且創(chuàng)造解碼器ldr圖像。申請人在wo2013/144809中介紹的計算量不太昂貴但足夠通用的簡單原理通過區(qū)域評估單元108完成分級機(jī)專用的雙重測試。該單元對幾何和比色狀況兩者進(jìn)行評估。在幾何上,基于當(dāng)前的像素(x,y)的坐標(biāo),其例如檢查像素是否位于矩形(x_s,y_s)到(x_e,y_e)內(nèi)。在比色上,其例如可以檢查照度或者max(r,g,b)位于門限以上(在這種情況下,像素被評估為屬于將被特殊處理的區(qū)域)還是以下(在這種情況下,其不被評估為屬于將被特殊處理的區(qū)域),或者對當(dāng)前將被處理的像素的顏色屬性的更高級的評估被執(zhí)行。顏色變換器100然后例如可以取決于像素不是位于特殊區(qū)域中并且將被全局處理還是將被局部處理加載另一個色調(diào)映射lut,或者兩個并行的處理分支可以被使用,等等。
因此,技術(shù)限制在于,從ic角度(因為廉價的裝置也可能需要簡單的ic或者ic的區(qū)域部分或者軟件)看,編碼功能工具應(yīng)當(dāng)是很少的并且被智能地選擇的,以便執(zhí)行對于場景上的各種動態(tài)范圍外表圖像的創(chuàng)造和編碼最被需要的操作。另一方面,伴隨此的另一個問題在于,采用上面闡述的哲學(xué)的情況下,其中,人類顏色分級機(jī)指定如由例如hdr圖像編碼的重新分級和用于重新分級為合適的ldr圖像的函數(shù),在針對給定的場景的特定的外表的最優(yōu)參數(shù)的集合中,分級機(jī)必須還具有正確的分級/編碼工具,并且按照正確的次序,使得他可以方便地與它們一起工作(他不僅需要獲得期望的顏色外表的良好精度,他還需要利用盡可能少的操作完成此,因為時間也是至關(guān)重要的)。需要以優(yōu)雅的方式規(guī)定約束的該雙重對手集合。
存在一些初步看起來相似但根據(jù)不同的基本原理被設(shè)計、實際上在技術(shù)上是不同的的一些教導(dǎo)。盡管如此,出于完整性考慮,我們將簡短地討論并且區(qū)分它們。
例如,us5446504教導(dǎo)了作為具有更好的捕獲動態(tài)范圍的照相機(jī)的系統(tǒng)。
與我們的系統(tǒng)類似的地方在于,甚至在照相機(jī)能夠捕獲非常大的動態(tài)范圍(而非剪輯到滿像素井,并且因此,碼255是mpeg中的無紋理的/對象細(xì)節(jié)缺乏白色)時,其仍然需要在ldr顯示器上被顯示(因為1990年代不存在任何別的東西)。
即使同一個場景的ldr外表圖像被傳送,假設(shè)人們例如具有可用于使用全部其最漂亮和最明亮的顏色渲染其的4000nit峰值明亮度顯示器,但那也不意味著人們具有被如此設(shè)計以便能夠恢復(fù)原始hdr外表圖像的系統(tǒng)。
圖1a的分束器允許一個傳感器是敏感的并且捕獲場景的較暗部分,以及另一個傳感器(4b)是不太敏感的(即,像素井慢得多地用光電子填滿),以及然后在加法器6中將存在于場景中的全部照度的完整范圍加在一起(即,取代具有多達(dá)照度_門限的被恰當(dāng)?shù)夭东@的顏色,并且對以上的進(jìn)行剪輯,現(xiàn)在全部更明亮的像素顏色仍然在更大的動態(tài)范圍中被捕獲)。
然而,該系統(tǒng)僅具有對數(shù)壓縮函數(shù)(其可爭辯地可以被認(rèn)為是與我們的對數(shù)函數(shù)類似的,但——特別是就其本身而言——在us5446504中在技術(shù)上具有非常不同的意義),但明顯地,不存在人們可以針對其彎曲非線性形狀的第二個可定制的重新分級函數(shù),然而其對于給定的hdr場景是被需要的,這可以理解為是之前根據(jù)特定的圖像的需求被指定的。此外,在執(zhí)行顏色變換之前不涉及最大值計算。
d3=wo2014/025588(dolby實驗室)將與申請人不同的哲學(xué)用于hdr編碼。申請人發(fā)送(hdr,ldr)對的僅一個圖像和用于在接收側(cè)計算另一個圖像的函數(shù)。dolby使用a_2-層(即,兩個圖像被發(fā)送,盡管一個可以是比包含對象紋理的那個簡單的圖像)方法。他們首先計算“局部照明圖像”,并且然后計算包含對象紋理的“對象屬性圖像”,就像被更好地照明。在重構(gòu)側(cè),他們?nèi)缓罂梢酝ㄟ^將對象圖像(反射率)乘以局部照明圖像來獲得原始hdr圖像。因為乘法和除法變成更簡單的加法和減法,所以他們可能喜歡在某些實施例中在對數(shù)域中工作(見圖5,減去作為它們的ldr圖像的經(jīng)色調(diào)映射的層tmorgb,這在ldr100nit顯示器上應(yīng)當(dāng)看起來是合理的)。他們?nèi)缓罂梢詫dr-到-ldr_層映射體現(xiàn)為對數(shù)軸域中的曲線,可以基于直方圖自動地確定該曲線。分量的哲學(xué)是非常不同的,并且特別地是不能在創(chuàng)造側(cè)利用來自外部位置的被精確地最優(yōu)化的照度映射曲線來補(bǔ)充的嚴(yán)格自動轉(zhuǎn)換框架,更不用說由人類顏色分級機(jī)根據(jù)他的特定的藝術(shù)期望指定用于專門地變更某個特定的對象的明亮度或者其照度范圍等。此外,他們的基于局部照明的哲學(xué)將使得取代ytm(圖2)而使用max(r,g,b)非常奇怪,這就是為什么他們不教導(dǎo)它的原因。
技術(shù)實現(xiàn)要素:
上面的具有一種在實踐上可用的編碼系統(tǒng)的問題被圖像顏色處理裝置(200)解決,所述的編碼系統(tǒng)既是對于ic以視頻速度運行它在計算上足夠簡單的,而又是對于分級機(jī)指定用于在任何預(yù)期的顯示器上(至少在hdr顯示器上,以及另一個,典型地是舊有l(wèi)dr顯示器,但編碼優(yōu)選地在至少hdr外表針對其被編碼的hdr顯示器與ldr外表針對其被協(xié)同編碼的ldr顯示器之間的一系列的顯示器上看起來良好,所述協(xié)同編碼是借助于指定與從hdr圖像開始的顏色變換有關(guān)的函數(shù)的參數(shù)執(zhí)行的,兩者圖像都典型地被定義為被縮放到[0,1]的10比特字)顯示的任何詳細(xì)顏色外表足夠通用并且便于使用的,所述圖像顏色處理裝置(200)被布置為將具有輸入圖像(im_in)的像素的線性紅、綠和藍(lán)顏色分量表示(r,g,b)的輸入顏色變換成輸出圖像(im_res)的像素的線性紅、綠和藍(lán)顏色分量輸出顏色(rs,gs,bs),所述輸入圖像具有第一照度動態(tài)范圍,所述輸出圖像具有第二照度動態(tài)范圍,借此,所述第一動態(tài)范圍的峰值照度是所述第二動態(tài)范圍的峰值照度的至少2倍高,或者反之,所述圖像顏色處理裝置(200)包括按照相繼的次序被連接的以下各項:
-最大值確定單元(101),其被布置為計算所述輸入顏色的所述線性紅、綠和藍(lán)顏色分量的最大值(m);
-均勻化單元(201),其被布置為對作為輸入的所述最大值(m)應(yīng)用函數(shù)(fp),所述函數(shù)具有對數(shù)形狀,并且被預(yù)定為具有固定的形狀,使能夠?qū)⒕€性輸入變換成感知上更均勻的輸出變量(u);
-函數(shù)應(yīng)用單元(203),其被布置為接收函數(shù)的非遞減非線性的函數(shù)形狀,該單元被配置為能訪問之前已指定的定制的函數(shù),并且被布置為將所述函數(shù)應(yīng)用于所述均勻輸出變量(u),產(chǎn)生經(jīng)變換的均勻值(tu);
-線性化單元(204),其被布置為將所述經(jīng)變換的均勻值(tu)變換成線性域值(lu);
-乘法因子確定單元(205),其被布置為將乘法因子(a)確定為等于所述線性域值(lu)除以所述最大值(m);以及
-乘法器(104),其被布置為將所述線性紅、綠和藍(lán)顏色分量(r,g,b)乘以所述乘法因子(a),產(chǎn)生所述輸出顏色。
定制的函數(shù)應(yīng)用單元(203)允許人們可以基于該當(dāng)前的hdr場景的需求(特別地,在小得多的ldr照度范圍上將全部對象明亮度拼在一起有多復(fù)雜)設(shè)計非常專用的準(zhǔn)確的函數(shù),所述設(shè)計是在所述設(shè)計可以在其處被完成的地方(具有例如足夠的時間、計算資源等)被執(zhí)行的,即,典型地在創(chuàng)造側(cè)處(并且該函數(shù)的形狀的信息被傳送給接收側(cè)裝置)。特別地,人類顏色分級機(jī)可以對非線性形狀進(jìn)行微調(diào),以便在與起始圖像的主要對象或者區(qū)域的照度相對應(yīng)的全部合適的地方處使其彎曲。他可以因此如他期望的那樣在導(dǎo)出的圖像中使例如小的部分明亮化到任何照度。特別地,如果例如室內(nèi)場景的大部分已經(jīng)具有正確的照度,但通過窗口被看到的天空的某個小塊太明亮或者太暗,則所述定制曲線cc可以被設(shè)計為使得僅對那些像素顏色進(jìn)行顏色變換。對于某些特定的實施例,所述定制曲線可以甚至被設(shè)計為使得其梯度不在沿輸入范圍的任何地方處處在最小值以下。我們已將我們的系統(tǒng)設(shè)計為能夠適應(yīng)未來的市場中的各種種類的hdr圖像或者視頻處置系統(tǒng)(例如,通過現(xiàn)有的衛(wèi)星信道的基于ldr的廣播;以及互聯(lián)網(wǎng)遞送)和各種種類的內(nèi)容(來自好萊塢的非常壯觀的hdr藝術(shù)圖像,以及碰巧具有它碰巧具有的動態(tài)范圍的現(xiàn)場生產(chǎn)中的內(nèi)容),因此我們的定制曲線單元允許對于圖像的不論什么部分需要它,以及在各種實施方案中在創(chuàng)造側(cè)具有這可能已經(jīng)被以其實現(xiàn)的不論多么多或者多么少實施努力實施不論什么特定的照度(明亮度)行為。
有利地,為減少針對至少容易的hdr場景提供快速調(diào)整以便有差別地變更圖像中的至少一個圖像對象的平均照度和/或?qū)ο髢?nèi)對比度所需要的分級努力,其中,所述快速調(diào)整在沒有進(jìn)一步定制的微調(diào)的情況下可能已是合理的,一種圖像顏色處理裝置(200)在所述均勻化單元(201)與所述函數(shù)應(yīng)用單元(203)之間包括粗糙映射單元(202),所述粗糙映射單元(202)被布置為應(yīng)用由一些被連接的函數(shù)段構(gòu)成的粗糙軟剪輯明亮化函數(shù),所述函數(shù)段一起跨所述函數(shù)的輸入域范圍,并且是受可以之前例如由人類顏色分級機(jī)在hdr內(nèi)容的兩個不同的動態(tài)范圍外表的創(chuàng)造期間指定的相應(yīng)的段形狀控制參數(shù)控制的。單元203的定制函數(shù)如果仍然被分級機(jī)期望的話則然后可以被應(yīng)用,并且其定義函數(shù)形狀的參數(shù)被存儲以便稍后使用(例如,作為除hdr圖像之外的元數(shù)據(jù)被存儲在藍(lán)光盤上)或者作為圖像信號s_im例如通過互聯(lián)網(wǎng)、廣播信道等被傳送到接收端。定制曲線的函數(shù)形狀典型地應(yīng)當(dāng)是單調(diào)的。其可以具有不遞增的部分(即,若干相繼的hdr輸入值給出相同的ldr輸出照度),但是相比于hdr分級,為了保留ldr分級圖像中的各種對象的灰度值的次序,一般地,所述函數(shù)中不應(yīng)當(dāng)存在遞減的部分。然而,除此之外,例如為了微調(diào)特定對象的對比度,所以所述形狀可以是任意的,所述特定對象例如是需要在薄霧中是部分可見的男人。
有利地,所述圖像顏色處理裝置(200)具有所述粗糙映射單元(202),所述粗糙映射單元(202)被布置為應(yīng)用由以下各項組成的三段曲線:針對最暗的輸入值并且受斜率變量控制的線性段;針對最亮的輸入值的、受第二斜率變量控制的第二線性段;以及所述兩個線性段之間的拋物線段。這是對于分級機(jī)應(yīng)用來說的簡單函數(shù),其已給出對某些種類的hdr圖像的好的控制。當(dāng)然,該三部分曲線可以被集成到例如6或者9部分曲線中,但單元202提供用于以三部分曲線開始的選項,并且如果需要則將其轉(zhuǎn)換成6部分曲線(例如,針對最亮的值的線性段可以被轉(zhuǎn)換成非線性的形狀,該非線性的形狀例如是由兩個切線確定的,等等)。單元202被示為虛線,因為在某些實際的實施例中(例如,用于利用本文中描述的參數(shù)根據(jù)hdr外表對ldr外表進(jìn)行編碼的ic或者例如在pc上運行的軟件),其可以不是可以使用任意形狀的函數(shù)的單元203之前的實際的計算單元,而相反其可以是該任意的形狀的起點,該起點如果不是足夠的則可以通過添加例如用于具有某個特定灰度值的對象的在局部被增大了的對比度的s形部分或者某個地方的隆起等被進(jìn)一步變換。即,在這種情況下,所述裝置將僅在物理上具有單元203,但不具有202。
典型地,盡管不必要,但所述輸入圖像將是高動態(tài)范圍圖像,并且所述輸出圖像是低動態(tài)范圍圖像。應(yīng)當(dāng)指出,這些方法和裝置可以被用于從hdr圖像轉(zhuǎn)換成ldr圖像或者反之將ldr圖像升級為hdr圖像這兩者,并且兩者是在圖像或者視頻創(chuàng)造、中間的或者消費站點處。
以下的進(jìn)一步的實施例也是有用的。
一種圖像顏色處理的方法,其用于將具有輸入圖像(im_in)的像素的線性紅、綠和藍(lán)顏色分量表示(r,g,b)的輸入顏色變換成輸出圖像(im_res)的像素的線性紅、綠和藍(lán)顏色分量輸出顏色(rs,gs,bs),所述輸入圖像具有第一照度動態(tài)范圍,所述輸出圖像具有第二照度動態(tài)范圍,借此,所述第一動態(tài)范圍的峰值照度是所述第二動態(tài)范圍的峰值照度的至少2倍高,或者反之,所述方法包括:
-計算所述輸入顏色的所述線性紅、綠和藍(lán)顏色分量的最大值(m);
-對作為輸入的所述最大值(m)應(yīng)用均勻化函數(shù)(fp),所述函數(shù)具有對數(shù)形狀,并且被預(yù)定為具有固定的形狀,使能夠?qū)⒕€性輸入變換成感知上均勻的輸出變量(u);
-接收定義之前被指定的函數(shù)(cc)的非遞減非線性函數(shù)形狀的參數(shù),以及將所述函數(shù)(cc)應(yīng)用于所述均勻輸出變量(u),產(chǎn)生經(jīng)變換的均勻值(tu);
-通過應(yīng)用線性化函數(shù)(fl)將所述經(jīng)變換的均勻值(tu)變換成線性域值(lu);
-將乘法因子(a)確定為等于所述線性域值(lu)除以所述最大值(m);以及
-將所述線性紅、綠和藍(lán)顏色分量(r,g,b)乘以所述乘法因子(a),產(chǎn)生所述輸出顏色(rs,gs,bs)。
應(yīng)當(dāng)指出,我們當(dāng)前的裝置和方法實施例使得在原則上有可能在我們使用所述紅、綠和藍(lán)顏色分量的最大值的情況下還使用照度,或者甚至每像素地決定是否要使用針對該像素的所述照度或者最大值或者甚至經(jīng)加權(quán)的組合,但那導(dǎo)致產(chǎn)生具有不同行為的不同實施例。
根據(jù)權(quán)利要求5所述的對輸入顏色進(jìn)行變換的圖像顏色處理的方法,在應(yīng)用均勻化函數(shù)(fp)和應(yīng)用所述函數(shù)(cc)的所述步驟之間包括以下步驟:應(yīng)用由一些被連接的函數(shù)段構(gòu)成的粗糙軟剪輯明亮化函數(shù),所述函數(shù)段一起跨所述函數(shù)的輸入域范圍,并且是受之前已被指定的相應(yīng)的段形狀控制參數(shù)控制的。
一種對輸入顏色進(jìn)行變換的圖像顏色處理的方法,其中,應(yīng)用粗糙軟剪輯明亮化函數(shù)的所述步驟的特征是應(yīng)用三段曲線,所述三段曲線由以下各項組成:針對最暗的輸入值的線性段,其是受斜率變量控制的;針對最亮的輸入值的第二線性段,其是受第二斜率變量控制的;以及所述兩個線性段之間的拋物線段。這允許對hdr場景的最有趣的區(qū)域以及它需要如何被塞進(jìn)ldr圖像中的非常好的控制。
一種圖像顏色處理的方法,其中,所述輸入圖像是高動態(tài)范圍圖像,并且所述輸出圖像是低動態(tài)范圍圖像。
一種包括代碼的計算機(jī)程序產(chǎn)品,所述代碼將所述方法實施例中的任一個實施例的步驟中的每個步驟代碼化,從而在其被運行時,使處理器能夠執(zhí)行該方法。
一種圖像顏色處理裝置(200),其被布置為將具有輸入圖像(im_in)的像素的線性紅、綠和藍(lán)顏色分量表示(r,g,b)的輸入顏色變換成輸出圖像(im_res)的像素的線性紅、綠和藍(lán)顏色分量輸出顏色(rs,gs,bs),所述輸入圖像具有第一照度動態(tài)范圍,所述輸出圖像具有第二照度動態(tài)范圍,借此,所述第一動態(tài)范圍的峰值照度是所述第二動態(tài)范圍的峰值照度的至少2倍高,或者反之,所述圖像顏色處理裝置(200)包括:
-最大值確定單元(101),其被布置為計算所述輸入顏色的所述線性紅、綠和藍(lán)顏色分量的最大值(m);
-均勻化單元(201),其被布置為對作為輸入的所述最大值(m)應(yīng)用函數(shù)(fp),所述函數(shù)具有對數(shù)形狀,并且被預(yù)定為具有固定的形狀,使能夠?qū)⒕€性輸入變換成感知上更均勻的輸出變量(u);
-粗糙映射單元(202),其被布置為應(yīng)用由以下各項組成的三段曲線:針對最暗的輸入值的線性段,其是受斜率變量控制的;針對最亮的輸入值的第二線性段,其是受第二斜率變量控制的;以及所述兩個線性段之間的拋物線段,并且被布置為輸出經(jīng)變換的均勻值(tu);
-線性化單元(204),其被布置為將所述經(jīng)變換的均勻值(tu)變換成線性域值(lu);
-乘法因子確定單元(205),其被布置為將乘法因子(a)確定為等于所述線性域值(lu)除以所述最大值(m);以及
-乘法器(104),其被布置為將所述線性紅、綠和藍(lán)顏色分量(r,g,b)乘以所述乘法因子(a),產(chǎn)生所述輸出顏色。
一種圖像顏色處理的方法,其用于將具有輸入圖像(im_in)的像素的線性紅、綠和藍(lán)顏色分量表示(r,g,b)的輸入顏色變換成輸出圖像(im_res)的像素的線性紅、綠和藍(lán)顏色分量輸出顏色(rs,gs,bs),所述輸入圖像具有第一照度動態(tài)范圍,所述輸出圖像具有第二照度動態(tài)范圍,借此,所述第一動態(tài)范圍的峰值照度是所述第二動態(tài)范圍的峰值照度的至少2倍高,或者反之,所述方法包括:
-計算所述輸入顏色的所述線性紅、綠和藍(lán)顏色分量的最大值(m);
-對作為輸入的所述最大值(m)應(yīng)用均勻化函數(shù)(fp),所述函數(shù)具有對數(shù)形狀,并且被預(yù)定為具有固定的形狀,使能夠?qū)⒕€性輸入變換成感知上均勻的輸出變量(u);
-應(yīng)用三段曲線,從而產(chǎn)生經(jīng)變換的均勻值(tu),所述三段曲線由以下各項組成:針對最暗的輸入值的線性段,其是受斜率變量控制的;針對最亮的輸入值的第二線性段,其是受第二斜率變量控制的;以及所述兩個線性段之間的拋物線段;
-通過應(yīng)用線性化函數(shù)(fl)將所述經(jīng)變換的均勻值(tu)變換成線性域值(lu);
-將乘法因子(a)確定為等于所述線性域值(lu)除以所述最大值(m);以及
-將所述線性紅、綠和藍(lán)顏色分量(r,g,b)乘以所述乘法因子(a),產(chǎn)生所述輸出顏色(rs,gs,bs)。
一種視頻解碼器(550),包括:
-用于接收輸入圖像(ldr_ienc)的輸入端(556);
-圖像解碼單元(555),其被布置為將所述輸入圖像解碼為線性紅、綠和藍(lán)顏色分量像素化的表示,并且被布置為接收表征至少一個照度處理函數(shù)的元數(shù)據(jù);
-根據(jù)裝置權(quán)利要求中的一項權(quán)利要求所述的圖像顏色處理裝置(552),其特征在于,所述圖像顏色處理裝置被布置為接收并且通過應(yīng)用由所接收的元數(shù)據(jù)定義的顏色變換函數(shù)處理所述輸入圖像,并且被布置為產(chǎn)生線性紅、綠和藍(lán)顏色分量像素化的輸出圖像。
一種視頻編碼器(501),包括:
-用于接收輸入圖像(im_in)的輸入端(509);
-根據(jù)裝置權(quán)利要求中的一項權(quán)利要求所述的圖像顏色處理裝置(503),其特征在于,所述圖像顏色處理裝置被布置為通過應(yīng)用顏色變換函數(shù)處理所述輸入圖像,并且被布置為產(chǎn)生線性紅、綠和藍(lán)顏色分量像素化的輸出圖像(imed);以及
-圖像編碼單元(505),其被布置為將輸出圖像(imed)編碼為經(jīng)編碼的輸出圖像(ldr_oenc),并且被布置為輸出表征至少一個照度處理函數(shù)的元數(shù)據(jù)。
附圖說明
根據(jù)本發(fā)明的方法和裝置的任何變型的這些和其它的方面將從下文中描述的實施方案和實施例中是明顯的,以及將參考下文中描述的實施方案和實施例并且參考附圖被闡明,所述附圖僅用作例示更一般的概念的非限制性的特定的圖示,并且其中,虛線被用于指示構(gòu)件是可選的,非虛線構(gòu)件不必然是必要的。虛線還可以被用于指示被解釋為必要的元素被隱藏在對象的內(nèi)部,或者被用于諸如是對對象/區(qū)域的選擇、圖表中的值水平的指示等這樣的無形的事物。
在附圖中:
圖1示意性地圖示了用于完成包括局部顏色處理的動態(tài)范圍變換的可能的顏色處理裝置,所述顏色處理將典型地包括至少變更輸入圖像中的對象的照度;以及
圖2示意性地圖示了系統(tǒng)的示例,所述系統(tǒng)被布置為對于能夠以參數(shù)化的方式對hdr和ldr圖像進(jìn)行編碼的系統(tǒng)完成動態(tài)范圍變換,借此,僅所述hdr圖像像素顏色被實際上傳送到接收側(cè),并且所述ldr圖像僅通過傳輸對參數(shù)進(jìn)行定義的顏色變換函數(shù)的集合間接地被編碼,這允許根據(jù)所接收的hdr圖像像素顏色圖像數(shù)據(jù)計算所述ldr圖像,該系統(tǒng)對于人類顏色分級機(jī)使用是容易但通用的;
圖3示出了用于根據(jù)hdr圖像像素顏色數(shù)據(jù)對ldr進(jìn)行編碼的一種可能的粗糙初始照度映射的函數(shù)形狀;
圖4利用兩個示例澄清了哪些技術(shù)和藝術(shù)問題典型地是與需要在較低動態(tài)范圍的顯示器上、甚至舊有100nit峰值明亮度(pb)sdr顯示器的安裝基礎(chǔ)上可觀看的hdr內(nèi)容一起的;以及
圖5示意性地進(jìn)一步少許闡明了示例性視頻編碼系統(tǒng),其中申請人的裝置和方法實施例可以被有利地使用。
具體實施方式
圖1示意性地示出了用于對(至少)兩個經(jīng)分級的圖像進(jìn)行編碼以便在相當(dāng)不同的動態(tài)范圍(pb)的顯示器上進(jìn)行渲染的我們的系統(tǒng),并且特別地,示出了其顏色變換核心單元。技術(shù)人員理解,該系統(tǒng)可以位于內(nèi)容創(chuàng)造側(cè),其中,人類分級機(jī)將完成計算以便檢查在經(jīng)校準(zhǔn)的顯示器上他在根據(jù)他的品味指定編碼函數(shù)工具集中的我們的分級函數(shù)的最優(yōu)參數(shù)值的同時實際上正在制作哪些外表,以及位于接收側(cè),其中,所述裝置可以例如被包括在像機(jī)頂盒、bd播放器或者計算機(jī)或者顯示器自身或者電影院中的專業(yè)系統(tǒng)等這樣的視頻接收和顏色處理設(shè)備中。
我們將闡明接收側(cè),其中,我們已經(jīng)具有指定兩個分級(hdr和ldr,其可以然后通過進(jìn)一步的計算被進(jìn)一步最優(yōu)化,所述進(jìn)一步的計算是針對例如pb=800nit的任何中間動態(tài)范圍mdr顯示器的)的數(shù)據(jù)。
因此,根據(jù)我們的新穎的編碼原理,接收裝置實際上具有僅一個實際上被編碼的圖像(例如,傳統(tǒng)地采用10bithevc編碼,盡管可理解地可解碼為經(jīng)歸一化的[0,1]圖像),im_in_hdr,其例如在藍(lán)光盤上或者經(jīng)由與視頻服務(wù)器的互聯(lián)網(wǎng)連接或者通過來自某個其它裝置的hdmi電纜等被接收。這然后必須被計算成ldr分級,例如因為ldr顯示器被連接,并且需要被正確地分級的ldr圖像(例如,觀看者決定停止觀看他的起居室hdr顯示器,但在床上在他的便攜式平板pc上繼續(xù)觀看)。
為了能夠完成所述顏色處理,顏色變換裝置還需要指定函數(shù)的參數(shù)(cf)。技術(shù)人員理解,例如拋物線可以由起始和結(jié)束點以及線性的起始斜率和曲率等指定。
典型地,可以涉及對于從hdr到ldr的映射以及還有至少影響輸出對象的照度的映射的飽和度控制(盡管在數(shù)學(xué)上我們典型地通過用乘性縮放線性rgb顏色分量來應(yīng)用該照度映射)。
圖2更詳細(xì)地示出了我們?nèi)绾蝺?yōu)選地完成該照度重新分級。
均勻化單元(201)執(zhí)行到對于人類來說在視覺上更均勻的表示的變換。與傳統(tǒng)的ldr處理相反,特別是對于hdr圖像(其可以包含多達(dá)例如20000nit的照度),分級機(jī)具有對其灰度值的恰當(dāng)?shù)母幸饬x的控制是非常重要的。如果他們在感知上合理地均勻地分布,例如,每n個碼與j個恰可察覺的差別相對應(yīng)(即,1203中的值10可以是在暗的周圍黑灰中暗得幾乎不可見的,15可以是稍微更亮的黑灰,20可以是大約再次更亮相同量的),分級機(jī)具有對于他例如為了將罪犯隱藏在房間的黑暗角落里或者制作閃爍的hdr光效果等可以如何重新分配對象的明亮度和明度的好得多的控制。在線性空間中,分級機(jī)具有差的控制,例如,不能非常好地看到他正在黑暗中做什么、立即做太多等。
用于獲得任何線性輸入(m)的這樣的均勻版本的優(yōu)選的函數(shù)是以下:
其中,rho是常量,并且m是r、g、b的最大值(利用被預(yù)設(shè)為例如0.5、1.0、0.25或者由分級機(jī)根據(jù)圖像預(yù)先指定的權(quán)重被適當(dāng)?shù)丶訖?quán)),并且可能還有y(否則,y的權(quán)重d被設(shè)置為0;這些權(quán)重也將例如在bd上與圖像數(shù)據(jù)一起被接收)。
假設(shè)與hdr圖像相對應(yīng)的參考pb是10000nit,則rho可以例如是33和伽馬2.4。
對于其它pb,分級側(cè)裝置將例如利用下述確定rho:
應(yīng)當(dāng)指出,人們不需要必然地對像素的照度應(yīng)用該函數(shù)。具有例如是a*r(r是[0,1]中的紅顏色分量)這樣的由最大值計算產(chǎn)生的預(yù)定權(quán)重的任何被加權(quán)的顏色分量(最大值可以或者也可以不具有作為潛在地被選擇為四個輸入中的最高的輸入的第四個輸入的線性經(jīng)加權(quán)照度d*y)可以被用作像素照度的相關(guān)項,并且在確定用于恰當(dāng)?shù)赝瓿奢斎腩伾╮,g,b)的乘性明亮度縮放的乘性因子(a)時起作用。
函數(shù)應(yīng)用單元(203)應(yīng)用定制的映射曲線,使得分級機(jī)可以容易地如他期望的那樣使每個對象明亮并且對比強(qiáng)烈。在我們的雙重分級編碼技術(shù)中,該曲線將典型地由定義具有線性段的函數(shù)形狀的一些點(u_in,tu_out)指定(其也可以在連接附近被稍微四舍五入)。例如,(0,tu_1)將給出黑色的偏移量,即,零輸入將映射到哪個輸出,并且因而(u_2,tu_2)將確定定義針對多達(dá)u_2的全部輸入的映射的段,等等。
線性化單元將轉(zhuǎn)換回線性域,因為乘性因子將被確定為兩個線性量的除法(更多的信息整體上被包括在wo2014/056679的教導(dǎo)中)。
粗糙映射單元(202)的良好的實施例將應(yīng)用例如像圖3中這樣的函數(shù)。拋物線段的位置可以通過對起始和結(jié)束u值進(jìn)行編碼來確定,但拋物線也可以被編碼為其寬度,如在圖3中那樣。輸入是m的經(jīng)線性化的版本,即,u_hdr_in,并且輸出tu_ldr_out是可以之后被單元203的定制形狀曲線微調(diào)的內(nèi)容。
在該實施例中,基本的“拋物線”色調(diào)映射曲線由3段組成:
-通過(0,0)的暗段,其受參數(shù)斜率bg(基礎(chǔ)增益)的控制
-通過(u_max,tu_max)的明亮段,其具有斜率dg(差分增益)
-連接這兩者的拋物線段,其具有寬度xp(x-寬度拋物線)
在沒有拋物線的情況下,2個線性段在下面的點處連接
um=(tu_max–dg*u_max)/(bg–dg),
tum=bg*um=tu_max–(u_max–um)*dg。
我們通過添加以該(um,tum)為中心的拋物線制作連續(xù)地可區(qū)分的曲線,并且其必須以斜率=bg開始并且以斜率=dg結(jié)束。根據(jù)數(shù)學(xué)計算,我們?nèi)缓蟮贸觯O拢?個中的)僅1個自由度:拋物線的寬度xp。
取決于所述寬度,針對u=um的y值從
針對up=0的tu=tum下降到
tu=tum–delta_tu=tu–up*(bg–dg)/8。
人們可以反轉(zhuǎn)該關(guān)系以便根據(jù)delta_tu計算出:
up=8*delta_tu/(bg–dg)。
因此,典型地人們可以以up=0開始,然后看哪個最大距離delta_tu位于彎曲的曲線與參考照度映射曲線(散點圖)之間,并且根據(jù)此計算。
因此,在該實施例中,拋物線段的寬度(典型地在0.0與1.0之間)將是除了基礎(chǔ)增益斜率(例如,具有針對明亮圖像的0.5與針對暗圖像的1.0之間的典型值)和最亮輸入范圍斜率(典型地在0.0與0.25之間)之外被傳送給任何接收側(cè)裝置的指定該函數(shù)形狀的第三個參數(shù)。
在圖2中,我們看到未來的hdr系統(tǒng)(例如,被連接到1000nitpb顯示器的)可能需要能夠正確地處置的許多可能的hdr場景的僅兩個示例,所述處置即通過在最終將在不論任何被連接或者被設(shè)想將被連接的顯示器上被渲染的圖像中為圖像中的全部對象/像素創(chuàng)造合適的照度。例如,imscn1是來自德克薩斯的牛仔電影播放的陽光充足的室外圖像,并且imscn2是夜間圖像。使hdr圖像渲染不同于它在最近剛結(jié)束(或者實際上未來幾年將在市場上開始)的ldr時代中經(jīng)常的是,ldr具有如此有限的動態(tài)范圍(大約pb=100nit,并且黑階+-1nit,或者在較明亮的觀看環(huán)境中由于屏幕反射而甚至更高),使得通常對象的僅反光可以被顯示(其將落在針對好白色的90%與針對好黑色的1%之間)。因此,人們必須獨立于它們的光照地顯示對象,并且不可以同時忠實地一切都很好地顯示可能發(fā)生的場景的有時高度地對比強(qiáng)烈的光照。在實踐中,那表示,高度明亮的陽光充足的場景必須被渲染為與陰暗的雨天場景相同的顯示照度(0-100nit)。并且甚至夜間場景不可以被渲染得太暗,或者觀看者將不能夠很好地辨別圖像的最暗的部分,因此再一次地,將跨0與100nit之間的范圍渲染那些夜間明亮度。因此人們常規(guī)上必須為夜景著藍(lán)色,使得觀看者將理解他不是正在看日間場景。當(dāng)然,現(xiàn)在在實際生活中,人類視覺也將適應(yīng)光的可用的量,但沒有那么多(多數(shù)人在實際生活中認(rèn)識到,它在變暗)。因此,至少如果人們具有可用的hdr顯示器時,人們想要渲染具有人們可以在其中在藝術(shù)上設(shè)計的全部壯觀的局部照明效果的圖像。
但那不改變事實:對于某些人來說,我們將仍然需要把極好的新hdr電影降級到該有限的ldr顯示器(在圖4的右邊不是按精確的比例地示出了其范圍)。
因此,在左邊我們看到我們想要在5000nitpb(即,針對在5000nitpb顯示器上進(jìn)行渲染被最優(yōu)化的)主hdr分級中看到哪些對象照度。如果我們想要傳達(dá)不僅錯視而還有處在明亮的陽光照射的環(huán)境中的牛仔的實際場景,則我們必須在例如500nit附近指定并且渲染其照度。單獨從這些示例中,人們可能已得到這樣的感覺:將較小的ldr照度范圍上的全部對象拼在一起理想地將不是簡單的壓縮的問題(例如,利用將hdrpb映射到ldrpb的線性函數(shù),并且隨此還有全部較低的照度)。相反地,我們給出不同的照度映射行為類的兩個示例。對于日間場景,如果人們想要根據(jù)所接收的ldr圖像計算hdr圖像,則人們可以實際上應(yīng)用拉伸函數(shù),拉伸函數(shù)以特別地在18nit的ldr中間灰度附近被渲染的牛仔映射到hdr中的500nit(即,近似30倍明亮度提高)的方式對全部照度進(jìn)行拉伸。但人們將不想要對夜間場景完成該操作,或者其將在hdr監(jiān)視器上變得荒唐地明亮(實際上鉆入細(xì)節(jié),由于一些圖像細(xì)節(jié),甚至太明亮?xí)r大腦可能仍然想象它正在看夜景,但其被遠(yuǎn)離理想地渲染,如果人們實際想要壯觀的并且高質(zhì)量的hdr渲染,現(xiàn)在那已變成可能的)。對于該imscn2,人們想要夜間的全部暗對象的照度是在兩個顯示器(以及中間pb的全部顯示器)上相同的。相反,它是燈桿光,并且可能是在hdr圖像中被明亮化到更明亮的照度的月亮。因此,照度映射函數(shù)的形狀將是非常不同的。人們可以想象,如果人們在一個圖像中具有那兩個原型圖像方面,例如,在洞穴內(nèi)進(jìn)行,并且正在通過小孔看陽光充足的外部,則人們可能實際上想要設(shè)計復(fù)雜的照度映射曲線,以便根據(jù)人們的藝術(shù)期望獲得ldr和hdr對象照度兩者。這樣的情形在ldr時代典型地如何發(fā)生在于,人們僅將洞穴外部的一切剪輯為白色。或者,因為在ldr時代中,人們僅將照相機(jī)捕獲的內(nèi)容看作相對照度,而不考慮它們的意義和那將對它們在不論什么顯示器上的最終渲染暗示什么,所以圖像的某些部分經(jīng)常變得太暗。例如,如果人們走過走廊,并且看到陽光照進(jìn)來,則這些陽光照射的點看起來非常明亮。走廊的其它部分是相對較暗的,但那不意味著在那里走的人看到它們比正常的暗(實際上,由于額外的照明,甚至陰影中的部分將看起來比如果太陽移到云后面時更明亮一些)。但將這些陽光充足的顏色放在白色附近的ldr渲染可以僅將走廊的陰影部分渲染得太暗,因為否則它可以在它的有限的范圍上完成的僅有的事情是以合理的照度渲染陰影,但因而陽光中的一切在例如是255這樣的最大亮度碼以上剪輯,分別是被渲染的100nit。
因此,這樣的場景的最優(yōu)的ldr渲染是復(fù)雜的設(shè)計問題,但至少現(xiàn)在通過hdr顯示器,我們可以現(xiàn)實地即在特定的照度以上渲染陽光充足的部分。例如,如果觀看環(huán)境大體上與200nit相對應(yīng),則我們可以在200nit附近渲染圖像的陰影部分。并且我們可以取決于顯示器的pb——例如在2000nit處渲染陽光照射的部分。即使其不總是與實際生活中精確地相同的陰影照度以上的相對量,但至少其將看起來比太暗或者剪輯的走廊真實得多。
但讀者理解,為什么該復(fù)雜度,特別是人們可能遇到的圖像的許多種類以及至少一些較高質(zhì)量hdr范圍(例如,pb=10,000nit)與sdr100nit范圍之間的巨大差別,要求允許對各種像素顏色以及特別地它們的照度的精確指定的系統(tǒng)。并且特別地,申請人具有這樣的哲學(xué):人們應(yīng)當(dāng)允許內(nèi)容創(chuàng)造者影響任何其它動態(tài)范圍圖像將如何根據(jù)所接收的圖像被計算(至少對于那些期望如此的人),以及他們期望這樣做的程度,以及他們最少需要指定的內(nèi)容的程度。
圖5示出了我們的基本照度變更裝置(或者方法)的可能的合并。技術(shù)人員將理解,例如,分級機(jī)可以如何使用ui構(gòu)件來根據(jù)他的需求或者期望變更任何函數(shù)的形狀,例如,它們的表征參數(shù)。我們想要強(qiáng)調(diào),盡管我們將闡明模式-ii示例(其中,從內(nèi)容創(chuàng)造者例如根據(jù)他的原始捕獲制作的主hdr圖像mast_hdr被降級的ldr圖像實際上被傳送,并且然后在接收側(cè),在需要時被重構(gòu)成mast_hdr圖像的接近的近似),但系統(tǒng)和我們的裝置實施例也可以在模式-i操作中被使用,其中,mast_hdr圖像實際上被傳送,并且假設(shè)ldr圖像需要用于提供到sdr顯示器,則所述裝置在接收器中應(yīng)用照度降級。那些被接收的ldr或者h(yuǎn)dr圖像中的每個圖像也可以被轉(zhuǎn)換成不同的動態(tài)范圍的圖像,例如,1499nitpb。并且,所述裝置實施例可以還被并入例如是編碼器這樣的創(chuàng)造側(cè)裝置中,例如用于允許顏色分級機(jī)檢查什么將在接收側(cè)發(fā)生,以及在給定的函數(shù)的情況下從mast_hdr計算的ldr圖像將看起來怎么樣,并且所述裝置和方法也可以在位于任何中間位置處的轉(zhuǎn)碼器中被使用,所述中間位置例如是局部內(nèi)容分布器的觀看攤位等。
本示例性方案中的視頻編碼器501經(jīng)由輸入端509獲得輸入圖像im_in,我們出于簡化闡明的目的將假設(shè)輸入圖像im_in是已被藝術(shù)地創(chuàng)造的主hdr分級,但其也可以是來自某個原始圖像饋入的hdr圖像,其需要在幾乎沒有實時介入的情況下被最少地進(jìn)行顏色處理等。
可能還存在被涉及的由色度處理單元502在像素顏色上計算的色度處理,例如飽和度變更,其降低飽和度以使得在ldr轉(zhuǎn)換中例如著色的玻璃窗的較明亮的顏色可以通過將它們推入接近白色的ldr色域的窄頂而被額外地明亮化。然后,照度映射單元503將完成如圖2中所示的我們的裝置實施例中的任何實施例完成的各種事情,例如,照度均勻化和然后的三部分曲線,或者均勻化和然后某個被最優(yōu)地塑形的函數(shù)cc,其針對圖像的當(dāng)前的集合被確定并且例如通過用戶界面交互或者從對之前所確定的函數(shù)進(jìn)行編碼的元數(shù)據(jù)被載入。函數(shù)輸入設(shè)備508可以被讀者理解為例如典型的顏色分級工具或者與存儲至少一個函數(shù)的數(shù)據(jù)庫的連接或者與遠(yuǎn)程人類分級機(jī)的連接等。然后,現(xiàn)在在該示例中是具有沿0-100nitldr范圍分布的像素照度的ldr圖像(其可以仍然被編碼為線性rgb圖像)的該中間圖像imed被圖像或者視頻編碼單元505利用例如像hevc這樣的典型舊有l(wèi)dr編碼技術(shù)進(jìn)行編碼。這是因為,至少對于像它將通過的圖像分布管道這樣的下面的技術(shù),該圖像“看起來”像規(guī)則的ldr圖像,盡管它實際上是對hdr場景進(jìn)行編碼的hdr圖像。我們也通過傳送被用于根據(jù)主hdr圖像生成ldr圖像的顏色變換函數(shù)(或者它們的逆函數(shù))將此告知任何接收器,這告知接收器不僅他實際上取代規(guī)則的ldr圖像而接收hdr圖像,而還允許接收器通過對所接收的ldr圖像應(yīng)用那些所接收的逆函數(shù)來重構(gòu)mast_hdr圖像的接近的近似。因此,被編碼的圖像或者視頻ldr_oenc實際上對于系統(tǒng)的剩余部分充當(dāng)正常的ldr視頻,并且其將經(jīng)過某個通信設(shè)備510,通信設(shè)備510例如可以是空中廣播或者互聯(lián)網(wǎng)連接或者被傳輸?shù)讲徽撌裁聪M者或者專業(yè)的(例如,電影院)位置的物理存儲器等。
在接收端,該被編碼的輸出圖像(ldr_oenc)變成輸入圖像或者視頻ldr_ienc(其可以仍然已經(jīng)歷進(jìn)一步的變換,但我們出于解釋的目的而假設(shè)其是循環(huán)通過的相同的圖像)。我們應(yīng)當(dāng)簡短地指出,如果我們在ldr_oenc中使用模式-ihdr通信系統(tǒng),則我們可能已使用與模式-ii下不同的函數(shù)形狀,給予圖像不同的對象明亮度和統(tǒng)計數(shù)據(jù),但兩者將是例如hevc編碼的。
視頻解碼器550經(jīng)由其輸入端556獲得圖像和對函數(shù)進(jìn)行編碼的元數(shù)據(jù)met(f),所述函數(shù)特別地是在創(chuàng)造側(cè)例如由顏色分級機(jī)或者像生活生產(chǎn)的技術(shù)指導(dǎo)員這樣的某個其他人等選擇的最優(yōu)的定制曲線。圖像或者視頻解碼單元(555)對hevc視頻進(jìn)行解碼,并且然后由體現(xiàn)我們的裝置或者方法實施例中的任何實施例的照度映射器552以及由完成逆例如去飽和(即,飽和度增加)的色度處理單元551(如果對于該內(nèi)容指定了該操作的話)對其進(jìn)行顏色處理。最后,經(jīng)正確地分級的rec_hdr(例如,5000nitpb圖像)可以被發(fā)送給顯示器580,例如,理想地5000nit顯示器(假設(shè)hdr內(nèi)容與顯示器之間的pb的失配,例如被嵌入在stb中的該視頻解碼器可能已通過到需要的例如2500nit顯示器pb的適當(dāng)顏色變換對圖像進(jìn)行顯示器調(diào)諧,或者顯示器可以在內(nèi)部通過具有我們教導(dǎo)的裝置/方法的其自己的版本來完成此)。當(dāng)然,如果舊有sdr100nit顯示器將被提供有經(jīng)恰當(dāng)分級的內(nèi)容,則視頻解碼器550可以向其提供ldr圖像ldr_rnd,其在該示例中可以僅是解碼器所接收的ldr圖像,而不需要進(jìn)一步的顏色變換,但假設(shè)在ldrhevc容器中接收hdr圖像,則視頻解碼器550仍然將根據(jù)我們的裝置/方法實施例中的任何實施例完成合適的降級。
本文中公開的算法構(gòu)件可以(整體上或者部分地)在實踐中被實現(xiàn)為硬件(例如,專用ic的部分)或者在特殊數(shù)字信號處理器或者通用處理器上運行的軟件等。它們在至少一些用戶輸入可以存在/已存在(例如,在工廠或者消費者輸入或者其它人類輸入中)的意義上可以是半自動化的。
對于本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)能從我們的呈現(xiàn)中理解,哪些構(gòu)件可以是可選的改進(jìn),并且可以結(jié)合其它構(gòu)件被實現(xiàn),以及方法的(可選的)步驟如何與裝置的相應(yīng)的設(shè)備相對應(yīng),以及反之亦然。在本發(fā)明中采用特定的關(guān)系(例如,在單個圖中采用特定的配置)公開了某些構(gòu)件的事實不意味著其它配置作為與在本文中被公開的用于獲取專利的發(fā)明構(gòu)思相同的發(fā)明構(gòu)思下的實施例是不可能的。此外,出于實用的原因已描述了僅有限的范圍的示例的事實不意味著其它變型不能落在權(quán)利要求的范圍下。事實上,本發(fā)明的構(gòu)件可以在沿任何使用鏈的不同的變型中被體現(xiàn),例如,像編碼器這樣的創(chuàng)造側(cè)的全部變型可以類似于或者對應(yīng)于例如是解碼器這樣的經(jīng)分解的系統(tǒng)的消費側(cè)處的對應(yīng)的裝置,并且反之亦然。實施例的若干構(gòu)件可以被編碼為信號中的特定的信號數(shù)據(jù),以用于在編碼器與解碼器之間采用任何傳輸技術(shù)的傳輸或者諸如是協(xié)調(diào)這樣的進(jìn)一步的使用等。術(shù)語“裝置”在本申請中在其最寬泛的意義上被使用,即,允許實現(xiàn)特定的目標(biāo)的設(shè)備的組,并且因此可以例如是ic(的小部分)或者專用家電(諸如具有顯示器的家電)或者聯(lián)網(wǎng)系統(tǒng)的部分等。“布置”或者“系統(tǒng)”也旨在在最寬泛的意義上被使用,因此其可以尤其包括單個物理的、可購買的裝置、裝置的一部分、協(xié)同運行的裝置(的部分)的集合等。
計算機(jī)程序產(chǎn)品表示應(yīng)當(dāng)被理解為包括使通用或者專用處理器能夠在一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟,諸如到中間語言和最終的處理器語言的轉(zhuǎn)換)之后將命令輸入處理器中以便執(zhí)行發(fā)明的特性功能中的任何功能的命令的集合的任何物理的實現(xiàn)。特別地,計算機(jī)程序產(chǎn)品可以被實現(xiàn)為諸如例如是磁盤或者磁帶這樣的載體上的數(shù)據(jù)、存在于存儲器中的數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)連接——有線的或者無線的——行進(jìn)的數(shù)據(jù)或者紙上的程序代碼。除了程序代碼之外,程序所需的特性數(shù)據(jù)也可以被體現(xiàn)為計算機(jī)程序產(chǎn)品。這樣的數(shù)據(jù)可以(部分地)以任何方式被提供。
本發(fā)明或者像視頻數(shù)據(jù)這樣的根據(jù)本發(fā)明實施例的任何哲學(xué)可用的任何數(shù)據(jù)可以也被體現(xiàn)為數(shù)據(jù)載體上的信號,所述數(shù)據(jù)載體可以是像光盤、閃存、可移除硬盤、可經(jīng)由無線設(shè)備寫的便攜式設(shè)備等這樣的可移除存儲器。
任何被呈現(xiàn)的方法的操作所必需的步驟中的一些步驟可以取代被描述在計算機(jī)程序產(chǎn)品或者任何單元中而已存在于處理器或者本發(fā)明的任何裝置實施例的功能中,本文中描述的裝置或者方法(具有本發(fā)明實施例的細(xì)節(jié)),諸如數(shù)據(jù)輸入和輸出步驟,眾所周知地典型地合并諸如是標(biāo)準(zhǔn)顯示器驅(qū)動等這樣的處理步驟。我們還期望對于產(chǎn)生的產(chǎn)品和相似的產(chǎn)出的保護(hù),像例如在方法的任何步驟處或者裝置的任何子部分中被涉及的特定的新穎的信號,以及這樣的信號的任何新用途或者任何相關(guān)的方法。
應(yīng)當(dāng)指出,上面提到的實施例圖示而非限制本發(fā)明。在技術(shù)人員可以容易地實現(xiàn)被呈現(xiàn)的示例向權(quán)利要求的其它區(qū)域的映射的情況下,我們?yōu)楹啙嵠鹨娺€未深入提到全部這些選項。除了如在權(quán)利要求中被組合的本發(fā)明的元素的組合之外,元素的其它組合是可能的。元素的任何組合可以在單個專用元素中被實現(xiàn)。
權(quán)利要求中的括號之間的任何附圖標(biāo)記不旨在用于限制權(quán)利要求,附圖中的任何特定的符號也不旨在這樣。詞“包括”不排除未在權(quán)利要求中被列出的元素或者方面的存在。在元素前面的詞“一個”或者“一個”不排除多個這樣的元素的存在。