本發(fā)明涉及裝置和方法以及得到的如數(shù)據(jù)存儲產(chǎn)品那樣的產(chǎn)品或編碼信號,其用于對至少一個圖像或視頻進行改進的編碼,特別是對相比于傳統(tǒng)圖像具有增加的動態(tài)范圍的圖像(稱為高動態(tài)范圍HDR圖像,并且傳統(tǒng)圖像稱為低動態(tài)范圍LDR)進行編碼,以及對用于或來自各種圖像表示的、具有增加的明度信息(也稱為高動態(tài)范圍)量的圖像信息進行編碼。
背景技術(shù):最近,關(guān)于對圖像/視頻(不論是捕獲的場景還是計算機圖形)進行編碼的新發(fā)展已經(jīng)出現(xiàn),即期望的是,更好地捕獲自然中出現(xiàn)的高達像例如25000尼特(nit)(例如日光照射的云)那樣的大亮度值以及經(jīng)常還有像0.01尼特那樣的低值的客觀亮度和顏色的整個范圍,這被稱為HDR(高動態(tài)范圍)編碼。迄今為止,經(jīng)典的圖像捕獲系統(tǒng)(即在照相機處開始——以及甚至典型地相對均勻的適當?shù)膱鼍肮庹铡浜筢槍鐖D像存儲或傳輸而編碼,直到圖像的顯示的鏈)已經(jīng)以嚴重失真的方式處置了高動態(tài)范圍場景(即其中同時存在具有低亮度和其中顯著的對象的重要暗區(qū),以及具有高亮度的亮區(qū),特別是如果還存在中間亮度(各種灰度)的各種重要區(qū),特別是如果那些場景亮度中的若干個可能不易于由鏈中的組件映射成可使用的東西,諸如例如顯示器上的基于線性映射的再現(xiàn))。例如,如果動作發(fā)生在第一光水平(照度)的圍封體積內(nèi)部(諸如汽車或房間),諸如透過窗戶看到的環(huán)境之類的較亮光照區(qū)可能已經(jīng)被捕獲,或者至少在信號中以非常低的質(zhì)量(即柔和、褪色的或限幅的顏色)加以表示。相比于例如賽璐珞膠片的較為寬容的行為,這對于較便宜的基于CMOS的照相機而言尤為如此。特別地,幾乎極少的有代表性的代碼值可以已經(jīng)與這些亮區(qū)中的對象相關(guān)聯(lián),這可能導致對象紋理的劣質(zhì)表示,或者甚至對用于編碼的顏色空間的最大值的生硬限幅。在所捕獲的圖像的亮度軸的這些區(qū)域中具有如此至少的數(shù)據(jù)的情況下,同樣意味著處理功能(例如優(yōu)化顯示圖像對比度)可能具有產(chǎn)生良好的最終像素數(shù)據(jù)方面的問題。在如今和在不久的將來具有可用的比以往更好的顯示器(例如具有數(shù)千尼特的峰值視亮度)或者至少更加智能的圖像處理技術(shù)的情況下,人們可能期望對該情形加以改進,以能夠創(chuàng)建較高質(zhì)量的再現(xiàn)圖像。出于種種原因,至少在將來許多年內(nèi),人們可能期望某些形式的向后兼容性,這意味著所謂的低動態(tài)范圍(LDR)編碼的數(shù)據(jù)必須可用或至少可從可用編碼容易地確定,使得例如新穎的升級視頻處理盒能夠?qū)DR信號遞送到較低動態(tài)范圍顯示器(例如移動顯示器)。同樣從存儲的角度來看,以盡可能多功能的方式存儲圖像信號可能是非常有用的,即不僅僅具有關(guān)于場景的有用數(shù)據(jù)的最大的量,而且以該數(shù)據(jù)將服務許多潛在的將來應用的方式,尤其是如果以簡單的方式。典型地,例如花費如此之多的心力拍攝電影,使得原始信號非常寶貴,并且人們以技術(shù)所允許的最佳的可能方式對其進行更好地編碼。不要落入這樣的圈套,即甚至對于節(jié)目的熟練編碼是用于后代的更好質(zhì)量的顯示器系統(tǒng)而低于當數(shù)據(jù)被不同地編碼時本可以達到的。這不僅避免了不得不到處做昂貴的特技,而且讀者能想像到,像是王室夫婦的婚姻或者普通夫婦的婚禮視頻那樣的一些要記錄的事件將不會重做。并且嘗試重灌制這樣的視頻以用于新一代的顯示技術(shù),如果不是非常困難,也至少是棘手的。優(yōu)選的是,正是通過其編碼結(jié)構(gòu),編碼允許在最開始就最佳地捕獲場景,并且甚至容易地顧及稍后的改進。獨立于其如何在特定顯示器上再現(xiàn)和觀看環(huán)境,以諸如JPEG之類的當前LDR編碼呈現(xiàn)的信息(尤其取決于特定捕獲場景和所使用的照相機系統(tǒng))當前被視為(限于)大約11個線性位或停止。當然如果編碼被直接用于再現(xiàn)(例如參考顯示),一些信息位可能不是可見的。另一方面,編解碼器可以包含來自最初的場景或者圖形組合(參考場景)的信息,其例如當顯示器正在借助于圖像處理改變其人類可見的色域時能夠變?yōu)橄嚓P(guān)的。因此重要的是使至少較為重要的圖像對象良好地表示在所編碼的圖像中。HDR捕獲鏈不僅僅是使照相機指向具有在最暗與最亮的對象之間的大亮度對比率的場景處和線性地記錄場景中存在著什么。它不得不算出用于所有對象的中間灰度值確切地是什么,因為這傳達了例如電影的情緒(使場景已有的一些對象變暗可以傳達陰暗的情緒)。并且這是復雜的心理過程。人們能夠例如想像,在心理上,亮光是否以與其余再現(xiàn)的灰度值的如該光的場景亮度與其余場景對象亮度那樣的比例準確再現(xiàn)在顯示器上并不重要。相反,如果像素被再現(xiàn)有“一些”高顯示輸出亮度,則人們將具有實際的燈的可靠印象,只要這充分高于畫面的其它部分即可。但是在自發(fā)光與反射對象之間的分布(在場景的各種照明區(qū)中)也是取決于顯示器色域和典型觀看條件的任務。并且人們可以想像到,優(yōu)選地完成較暗區(qū)的編碼以使得其能夠被容易地使用在不同的再現(xiàn)情境中,諸如不同的平均周圍光照水平,對于較暗圖像內(nèi)容具有不同水平的能見度。一般而言,因為這是困難的心理任務,藝術(shù)家將卷入創(chuàng)建最佳圖像,其稱為顏色分級。特別地,當藝術(shù)家做出分離的LDR分級時,其非常便利,即使這在“純粹的HDR編碼策略”中完成。換言之,在這樣的情境中當編碼唯一的HDR照相機RAW信號時,我們還將仍然生成LDR圖像,這不一定是因為它在將來要被用于大LDR部分的視頻消費市場,而是因為它傳達關(guān)于場景的重要信息。就是說,在場景中將總是存在更重要的區(qū)域和對象,并且通過將這些放在LDR子結(jié)構(gòu)(其在概念上能夠被視為自動曝光算法的藝術(shù)對應物,不過在完整捕獲之后,并且關(guān)于該范圍外部的所捕獲的照度)中,這使得更易于對中間范圍表示(MDR)做出各種轉(zhuǎn)換,其適于驅(qū)動具有特定再現(xiàn)和觀看特性的顯示器。通過使用這樣的技術(shù)框架,我們甚至能夠以單個編碼圖像,對例如具有50尼特的峰值視亮度(室內(nèi),或與高室外照度競爭的較高視亮度)的像是移動顯示器那樣的LDR顯示器、比方說1200尼特的中間范圍峰值視亮度MDR顯示器和比方說8000尼特峰值視亮度的HDR顯示器同時進行泰勒(taylor)。特別地,人們可以根據(jù)若干準則調(diào)整該LDR部分,例如其以良好質(zhì)量在標準參考LDR顯示器上進行再現(xiàn)(顏色盡可能地看似在HDR顯示器上的那些),或者傳達某個百分比的總捕獲信息(例如某些量的圖像是可見的)等。我們將在我們以下提出的編解碼器中實現(xiàn),這樣的接收顯示器能夠從該單個包羅萬象的場景編碼(或分級)能夠容易地標識例如暗區(qū)是什么,使得它能夠鑒于其顯示系統(tǒng)的已知特性而最佳地對其合并的能見度進行泰勒。不存在那么多編碼HDR信號的方式。通常在現(xiàn)有技術(shù)中,人們只是本地地編碼HDR信號,即人們(線性地)將像素映射到例如16位浮點字,并且然后在與LDR編碼類似的基本原理中,最大捕獲亮度值是HDR白色(盡管在心理視覺上,這通常不是場景中的某種反射性白色,而是燈的亮色)。這是如照相機所捕獲的最初場景對象亮度的本地針對場景的編碼。人們還可以經(jīng)由一些“最佳的”亮度變換函數(shù)將完整范圍HDR信號映射到8位LDR范圍,這將會典型地是伽馬函數(shù)或類似物。這可能牽涉損失顏色精度(鑒于在用于這樣的編碼的范圍和精度之間的折衷)與對應的再現(xiàn)質(zhì)量問題,尤其是如果在接收側(cè)處諸如局部照亮之類的圖像處理是可期待的,然而圖像對象的主導灰度值分級(例如對象之上的平均)被大致維持(即其相對/百分比的亮度關(guān)系)。現(xiàn)有技術(shù)也已經(jīng)教導了針對每個HDR圖像使用兩個畫面數(shù)據(jù)集的一些HDR編碼技術(shù),其典型地基于一種可縮放的編碼概念,其中通過某個預測函數(shù),精煉“LDR”編碼的局部紋理的精度,或者更準確地說,即投影到該紋理的HDR版本,這典型地通過縮放LDR亮度(那些技術(shù)中的LDR時常不是已經(jīng)適于在典型(參考)LDR顯示器上的最佳再現(xiàn)的吸引人的LDR等級,而是典型地為HDR輸入上的簡單處理)。然后第二張畫面是用于使預測的HDR圖像接近于要編碼的最初HDR圖像的修正畫面。通過充當某種范圍/精度限定準則的預測函數(shù),存在與單個HDR圖像編碼的某種類似性,只有在這些技術(shù)編碼通過兩張畫面執(zhí)行??s放基帶圖像的亮度牽涉應用變換,并且通常逐塊地定義該預測變換,以減少要編碼的數(shù)據(jù)量。這可能是已經(jīng)浪費的數(shù)據(jù)方式,因為許多塊將包含相同的對象,而且因而需要相同的變換。如所述的,鑒于增強圖像的范圍和清晰度,最初HDR圖像與預測的差異可以被盡可能地協(xié)同編碼為到所期望的程度的增強畫面。例如,可以表示1168的HDR灰度值,其除以8而到值146。該HDR值可以通過再乘以8來重建,但是由于值1169將會量化到相同的基層值146,人們將會需要等于1的增強值以能夠重建高質(zhì)量HDR信號。這樣的技術(shù)的示例在專利EP2009921[LiuShan等人,三菱電機:Methodforinversetonemapping(byscallingandoffset)]中被描述。關(guān)于這樣的方法的有趣問題總是增強方法實際上帶來什么來作為視覺信息改善。它時常被盲目應用,而且可能例如對于紋理化的區(qū)域有時并未貢獻相關(guān)的附加信息,尤其是對于快速改變的視頻更是如此。另一種兩畫面編碼被描述在當前尚未公開的申請US61/557461中,其全部教導通過引用并入于此?,F(xiàn)在就所有的現(xiàn)有HDR編碼而言都存在問題。根據(jù)內(nèi)容創(chuàng)建者已經(jīng)在例如電影(特殊效果)中投資如此之多后所期望的,僅僅應用全局變換可能過于粗糙。其它應用可能不太關(guān)鍵(像是電視節(jié)目制作),但是對最終外表的良好控制仍然是合期望的。以需要許多編碼數(shù)據(jù)位為代價,那將會至少實現(xiàn)。另一方面,逐像素地指定錯綜復雜的變換還牽涉大量要編碼的數(shù)據(jù)。這適用于例如需要編碼作為光照提升映射的第二圖像,以用于在第一圖像中被編碼的對象紋理反映。而且,人們隨此盲目地編碼可能發(fā)生在輸入上的任何東西,而不太了解關(guān)于圖像中實際有什么(即不允許多功能使用),甚至沒有意識到在提升圖像中可能存在大量冗余。不必說該盲目的數(shù)據(jù)易于用于智能算法,像是例如顯示器側(cè)的畫面改善或優(yōu)化算法。以塊為基礎工作減少了數(shù)據(jù)量,但是仍然不是最佳的。特別地,該塊結(jié)構(gòu)同樣對實際圖像內(nèi)容相當盲目,并且更惱人的是,強迫新的幾何結(jié)構(gòu)為塊網(wǎng)格(其與底層圖像無關(guān),并且可能因此或多或少地與圖像特性(特別是圖像幾何結(jié)構(gòu))方便地匹配),意味著可能發(fā)生若干塊編碼有關(guān)的偽像。事實上,塊只不過是大的像素,并且并不真的是智能內(nèi)容有關(guān)結(jié)構(gòu)(既非關(guān)于該對象或區(qū)域的顏色-幾何結(jié)構(gòu),也不是其語義含義,諸如它例如作為應當大部分被隱藏在黑暗中的對象)。以下實施例旨在提供緩解那些偽像中的至少一些的簡單技術(shù)措施。
技術(shù)實現(xiàn)要素:HDR圖像的簡單且可容易使用的編碼可以通過在本文中呈現(xiàn)的實施例概念來實現(xiàn),該實施例概念遵循涉及用于對高動態(tài)范圍場景的圖像進行編碼的圖像編碼器(549)的原理,其包括:-像素紋理編碼單元(552),其被設置成用包括N位碼字的圖像表示(Im_1)對圖像的像素顏色進行編碼;-圖像分析單元(550),其被設置成確定和輸出區(qū)域微分器灰度值(gTS),其是亮度值,該亮度值將圖像的至少一個塊中的第一對象的所有像素的亮度劃界在其以下和將圖像的至少一個塊中的第二對象的所有像素的亮度劃界在其以上;以及-格式化器(554),其被設置成在輸出圖像信號(S(Im_1,MET(gTS))中協(xié)同編碼圖像表示(Im_1)和區(qū)域微分器灰度值(gTS)。僅僅通過僅一個或幾個這樣的區(qū)域微分器灰度值(s),人們已經(jīng)能夠傳達HDR場景的基本特性,諸如在圖像中存在“白色之上(above_white)”或“過分明亮(overbright)”區(qū)域。白色之上意味著在正常照亮的區(qū)域中白色以上的場景亮度,例如在場景的主要部分中,將從正常(如例如根據(jù)光照設備設計者)照亮的白紙記錄的白色。微分器是到協(xié)同編碼場景的語義內(nèi)容的優(yōu)良方式。例如,在真實場景并不是僅存在一種白色,如經(jīng)典的圖像編碼所假設的那樣。在經(jīng)典的LDR圖像編碼中,人們的確照亮其中動作近似均勻發(fā)生的場景,并且然后最白的反射對象(在主要圖像區(qū)域的最亮照明中)將典型地確定圖像編碼的白色點。取代限幅例如室外對象,也可能包括一些白色之上對象,例如通過指定用于再生伽馬曲線的特定曲線拐點的攝影師,但是這仍然鏈接到主白色(例如超過該白色6倍)。在實際的場景中,可以存在例如非常明亮的陽光明媚的室外場合。甚至在將這兩個區(qū)域一起塞進較少量的位編碼中時(例如將其表示為8位經(jīng)典畫面),人們想要這兩個區(qū)域/范圍在亮度軸上彼此分離。這意味著稍后(或者例如在轉(zhuǎn)碼中間或者自動關(guān)于等等)人們可以更加智能地對待這些區(qū)域。我們已經(jīng)在上文談論了燈對象。再現(xiàn)顯示器可能想要根據(jù)定義“盡可能明亮的”和“但是對觀看者并不過于眼花撩亂”中的一個或多個的準則再現(xiàn)它們。然而為此,可能需要不同地并且甚至不連續(xù)地對待那兩個圖像區(qū)域(燈對場景的其余部分),并且因此可能需要知道在圖像中什么是該燈對象。經(jīng)典的基于伽馬函數(shù)的編碼將典型地在后處理期間將燈移動到取決于所使用的伽馬而不是場景語義連同再現(xiàn)系統(tǒng)色度細節(jié)(諸如顯示能力、周圍光等等)的某個再現(xiàn)亮度位置。如果人們知道其組成亮度區(qū)域方式,即例如幾個黑暗范圍,例如“明亮黑暗”、“平均黑暗”和“超級黑暗”,可以為較暗區(qū)做出類似的技術(shù)推理。這樣的代碼(即灰度值微分器)可以數(shù)字地意指某件事物,但是我們的方法允許顏色分級員,從而制成例如用于比方說藍光盤上的存儲的最終主HDR,以將它們與在語義上有意義的區(qū)域搭配。例如,在恐怖片的黑暗地下室,平均黑暗可能是墻要再現(xiàn)的顏色(最終在再現(xiàn)顯示器上,根據(jù)針對顯示最佳性而映射的其最終最佳色調(diào)),而明亮黑暗(即要再現(xiàn)的在平均黑暗與明亮黑暗之間的亮度范圍)可能是像是刀具和折磨器具的那些墻壁上的工具以使其更加可見(鑒于再現(xiàn)側(cè)色度詳情),并且超級黑暗可能例如是黑暗角落,其中可能隱藏罪犯。超級黑暗的角落區(qū)域然后是我們的第一對象,并且平均黑暗主區(qū)域是我們的第二對象,就像在室內(nèi)/室外場景中,陽光明媚的室外可能是第二對象,并且室內(nèi)是第一/主對象。而且,這兩個子區(qū)域(例如平均照亮的主要動作和燈或者陽光明媚的室外)在所編碼的圖像表示中可能如此接近以使得實際上接觸以便不浪費其間的亮度代碼,這使得它們在接收側(cè)極其難以盲目地分離。而且存在該特定亮度值,其標記它們之間的邊界,這因而被協(xié)同編碼為用于在接收側(cè)的容易(而且簡單)的場景理解的區(qū)域微分器灰度值(gTS)。并且這然后允許各種應用,諸如HDR編碼和從接收側(cè)處的8位圖像的容易重建,諸如顏色重映射之類的圖像處理等等。有利地,圖像編碼器(549)包括亮度映射確定單元(553),其被設置成確定用于第一和第二對象中的至少一個的亮度映射(TOM),該亮度映射限定了如編碼在圖像表示(Im_1)的像素亮度與第二圖像表示(IM_RC_HDR)中的像素亮度之間的映射;并且被設置成向被設置成將其協(xié)同編碼到輸出圖像信號(S(Im_1,MET(gTS),TOM)中的格式化器(554)供應亮度映射(TOM)??梢砸愿鞣N方式確定這樣的亮度映射,其中考慮到如一方面畫面中的信息的最佳說明(例如相對可靠地編碼特定復雜度的紋理所需要的代碼量,像是樹木的顆粒)以及另一方面通過例如限定典型地在參考顯示器上的亮度位置的外觀這樣的原理。內(nèi)容創(chuàng)建者可以將其留在接收側(cè)以完成其期望的處理,例如最終的顯示再現(xiàn)。僅僅具有一個gTS對許多情形已經(jīng)足夠,因為接收側(cè)系統(tǒng)然后顯然知道明亮的對象是什么,因為它們具有在gTS以上的亮度。然而,(多個)聯(lián)合編碼區(qū)域微分器灰度值的該系統(tǒng)允許HDR場景的多功能得多的編碼(在元數(shù)據(jù)中關(guān)于其組成或甚至語義含義的知識)和結(jié)果地,該數(shù)據(jù)的各種使用。例如內(nèi)容創(chuàng)建者可以提供關(guān)于如何將編碼在Im_1中的像素顏色/亮度映射到各種其它顏色空間的一個或多個情境,諸如用于在不同的顯示器上的再現(xiàn)。他可以編碼例如用于(大約)一種類型的顯示器的若干值(例如具有接近4000尼特的峰值視亮度,即旨在用于具有在3000和5000尼特之間的實際峰值視亮度的LCD或者OLED顯示器),使得顯示器能夠最終從所有編碼的變換知識選擇最終的再現(xiàn)策略(整理內(nèi)容創(chuàng)建者期望他的圖像最終看起來如何)。例如在具有較少可顯示的動態(tài)范圍的顯示器上,用于較亮的區(qū)域的單個微分器可能已經(jīng)足夠,因為它不具有再現(xiàn)亮區(qū)的這樣高的能力。然而,如果其包含指示不同種類的亮區(qū)的較多gTS值,8500尼特顯示器可能更加有利地利用內(nèi)容,因為在知曉明亮亮度的物理可再現(xiàn)子色域的情況下,它可以來將不同的亮度子范圍分配給例如室外陽光明媚的對象(關(guān)于例如第一種類的燈對象)和接近燈對象的較亮類別的峰值視亮度的更明亮的區(qū)域。對在分級中投入大把時間不太感興趣的內(nèi)容創(chuàng)建者可以例如僅指定兩個等級,例如他可以從Im_1或其某種自動的變換開始,作為用于LDR再現(xiàn)的“足夠良好”,并且然后花一些時間微調(diào)改進該映射以獲取改善的HDR圖像(例如具有額外的明亮室外區(qū)域、光或窗戶)。因此他可以指定例如8位LDR圖像(我們將稱其為LDR容器)以及然后的一些函數(shù),首先從LDR_容器近似恢復原始主HDR圖像(例如在本地浮點數(shù)16位編碼中)的映射函數(shù),以及其次允許該HDR圖像的一個或多個調(diào)整的一些函數(shù)。例如,他可以指定例如90%以上的亮區(qū)的映射以用于顯示在14000尼特的第二參考顯示器上(第一參考顯示器可以是原始主HDR等級在通過下映射用LDR容器對其進行編碼之前原始主HDR等級為其分級的顯示器,例如5000尼特顯示器)。類似地,這些功能可以用于下調(diào)到大約2000尼特的MDR顯示器,例如通過反轉(zhuǎn)其映射的行為。在最簡單的變型中,投入較少時間的分級者可以僅僅指定一個或多個gTS值以用于電影中的至少一些場景,并且將其留給顯示器或者再現(xiàn)器(例如打印機)來查明用于其再現(xiàn)特性的良好變換將是什么。接收側(cè)圖像處理裝置然后可以例如從信息的這兩個或更多集合(Im_1中的所編碼的LDR容器畫面和至少一個微分灰度值gTS,并且如果可用,分級者根據(jù)他的期望指定無論什么映射函數(shù)信息)確定其最終等級。例如,參見圖2b,內(nèi)容創(chuàng)建者可以在信號中規(guī)定,對于非常暗的對象的HDR再現(xiàn),部分映射PD_BLCK(i+2,j)要被使用(以下詳細解釋),并且對于LDR再現(xiàn),較亮的映射PD_BLCK(i,j)可能或者應當被使用(即非常暗的對象然后被視為樓梯)?,F(xiàn)在比方說1500尼特峰值視亮度的接收顯示器可以決定使用這兩個策略中的任一個(例如最接近其峰值視亮度,LDR分級/映射用于至多750尼特(因此可能對于400尼特更多)和用于至少例如2000尼特的HDR),或者可以以某種方式在它們之間進行內(nèi)插,這對于這兩個線性函數(shù)而言將會例如意味著在它們之間的一半處應用線性函數(shù)。系統(tǒng)允許內(nèi)容創(chuàng)建者將HDR視為“HDR效果”(例如提升明亮光),像是從向?qū)В╳izard)的手發(fā)射的等離子體球。我們的方法可以在Im_1編碼是比原始的圖像(主HDR)更少的位的編碼(其與較少的動態(tài)范圍不同)時使用,例如具有經(jīng)典的8或10位亮度編碼。在這種情況下,該圖像Im_1可以被限定用于較低動態(tài)范圍的參考顯示(和峰值視亮度,典型地,例如500尼特),并且微分器gTS可以用于自動地確定用于較高顯示器動態(tài)范圍的分級(例如用于具有2000尼特的峰值視亮度的顯示器)。但是當然類似地,單個編碼圖像Im_1可能例如被指定例如用于2000尼特參考顯示器(即直接可用于驅(qū)動該顯示器,或在再現(xiàn)之前至少需要微小的色度修改),并且在這樣的場景中,gTS值(和像是變換函數(shù)規(guī)范那樣的其它數(shù)據(jù))尤其對于下映射可能是有用的,以獲取用于較低動態(tài)范圍顯示器的驅(qū)動圖像,像是例如便攜式顯示器。即有利地,圖像編碼器(549)在使用場景和技術(shù)構(gòu)造中操作使得第一和第二圖像表示之一是高動態(tài)范圍表示,HDR表示被編碼例如用于具有至少750尼特以上的峰值視亮度的參考顯示器。即它將是可使用的而無需大的進一步修改以用于驅(qū)動HDR顯示器與藝術(shù)家所意圖的近似地再現(xiàn)圖像。這樣的HDR表示可以例如是3x32位整數(shù)或3x16位浮點數(shù)表示(RGB,或YC1C2等等)等等。盡管該編碼策略能夠被用于各種顏色空間表示之間的各種場景(例如在具有第一白色、分配亮度代碼等的伽馬函數(shù)的第一16位HDR表示與例如第二12位HDR表示之間),但是如果至少一個圖像(輸入或者輸出)或者圖像的至少一部分是高動態(tài)范圍則它特別有用(即無論這樣編碼的還是這樣獲取的都可用于利用高色度質(zhì)量驅(qū)動HDR再現(xiàn)顯示器,等等),并且特別地當用幾個位(即例如8或者10而非例如14或者20)的亮度字來編碼HDR時,它是有用的,在這種情況下,它能夠使用具有傳統(tǒng)能力或接近于此的能力的系統(tǒng)中。為了解釋的完整性,最近的常見已知技術(shù)術(shù)語高動態(tài)范圍典型地意味著在原始的場景或者再現(xiàn)中較高的視亮度,其比經(jīng)典的當前LDR成像場景更高,或者甚至更準確,如下文所述:較大范圍的光照表現(xiàn)(例如根據(jù)觀看者的人類視覺系統(tǒng),但是當然在像亮度那樣的技術(shù)代碼中體現(xiàn))。盡管人們可以參考具有在不遠的將來最大可預期技術(shù)能力的最終顯示器而良好地定義這樣的參考顯示器的信號,理想地,至少部分地參考場景定義HDR圖像(因為人們從不知道將來的顯示器將對所編碼的內(nèi)容做什么,并且沒有經(jīng)驗的狂熱愛好者將會說圖像需要至少存儲潛在的非常高質(zhì)量的照相機或圖形程序可以捕獲或產(chǎn)生的事物),但甚至然后代替使用參考照相機模型,人們可以仍將這編碼為由其非常高質(zhì)量的顯示器近似的場景。事實上,在0與Lmax之間的任何編碼,利用不管什么樣的代碼分配函數(shù),也可以視為在具有Lmax的峰值視亮度的這樣的理論顯示器上可再現(xiàn),并且甚至在遙遠的將來,鑒于人類視覺的固定限制,人們將從不實際需要可靠地再現(xiàn)太陽的亮度,不是在大的墻壁包圍顯示器上,并且尤其不是用于在小的立體角處觀看所有的圖像內(nèi)容的較小顯示器。因此,分級者可以選擇用他期望的任何參考顯示器(無論是500,000尼特的峰值視亮度中的最終理論上的一個,還是更務實的像是10,000尼特的一個)來編碼圖像,只要他聯(lián)合指定在他的編解碼器定義中定義元數(shù)據(jù)的該比色法(colorimetry)。有利的是,圖像編碼器(549)被設置使得它編碼在包括從圖像表示(Im_1)編碼像素顏色的若干N位碼字的區(qū)段之間的若干區(qū)域微分器灰度值(gTS_D_Loc_1,gTS_D_Loc_2)。這允許創(chuàng)建者(或甚至自動處理軟件)能夠分配例如用于圖像的不同部分例如“最暗的陰影部分”的不同值,并且因此具有對圖像的可調(diào)性的較高控制。例如,在圖像中的中央幾何區(qū)域中,人們能夠(不)隱藏被定義為例如碼值10以下的較暗對象,并且在角落里最暗的對象在代碼值5以下。這可以處置各種物理情形,像是例如幾何改變的照明,其中對于成功進行局部gTS的重定義的塊,在黑暗和最暗對象像素之間的關(guān)系可以改變?nèi)舾纱?。在物理關(guān)系(例如在可承載的存儲器上)中的區(qū)域微分器灰度值到圖像紋理數(shù)據(jù)(Im_1)的實際編碼可以以各種方式執(zhí)行,但是有利的是,如果所需的元數(shù)據(jù)被穿插編碼有像素顏色塊數(shù)據(jù),正是在這些位置它是適用的,即典型地在具有g(shù)TS以下和以上的灰度值的雙重關(guān)系的畫面中的第一個塊之前(典型地用于隨后塊的分段或處理)。有利的是,圖像編碼器(549)被設置成其在若干連續(xù)圖像的運行之前編碼區(qū)域微分器灰度值,這作為用于所有那些連續(xù)圖像的區(qū)域微分器灰度值。當然更重要的區(qū)域微分器灰度值可以以不太規(guī)律的間隔編碼,因為它們可以適用于例如到整個鏡頭或場景。例如,人們可以編碼若干策略以用于編碼針對不同再現(xiàn)環(huán)境的較暗區(qū)以用于電影的黑暗恐怖驚悚的部分。稍后在電影里,在戶外白天的場景中,在該場景的第一個圖像之前,人們可以分離地編碼要被主要使用的用于天空的光亮化策略。這允許在鏡頭或場景的基礎上指定處理,例如確定地下室的最暗的部分,并且這樣的定義可以在比方說兩個黑暗地下室鏡頭之間中的戶外的間歇性鏡頭后再次發(fā)生。有利的是,圖像編碼器(549)被設置成它編碼不與存儲圖像表示(Im_1)的存儲器物理鄰近的存儲器中的至少一個區(qū)域微分器灰度值,連同允許每個相應的至少一個區(qū)域微分器灰度值與對其使用的圖像表示(Im_1)的幾何區(qū)域的關(guān)聯(lián)的幾何關(guān)聯(lián)代碼,幾何關(guān)聯(lián)代碼典型地至少包括圖像表示(Im_1)的塊的坐標。這允許例如重制作原版盤或觀看體驗服務。公司可以采取例如傳統(tǒng)電影(或者甚至是根據(jù)本原理已經(jīng)處理的程序或游戲等),并且讓分級者做圖像的新的分析。然后可以例如在互聯(lián)網(wǎng)上的服務器上保存區(qū)域微分器灰度值和新的映射函數(shù)等。然后,觀看者可以選擇,例如通過從服務器下載元數(shù)據(jù)觀看“Artist_X新分級”之下的電影(潛在地覆寫任何現(xiàn)有的劃界和/或分級元數(shù)據(jù))。該選項可以例如通過用戶接口在開始電影時提供。各種灰度微分器gTS允許各種意圖處理函數(shù)的聯(lián)合規(guī)范,并且該結(jié)構(gòu)可以被參數(shù)化地處置以用于例如最終再現(xiàn)設備色度映射的簡單重說明或數(shù)據(jù)的重分級(其不需要改變Im_1代碼)等。例如可以不需要較暗亮度子范圍中的三個gTS來用于第一處理策略,其可以僅僅是在gTs1和gTs3之間的所有亮度之上的非線性伸展上的線性,但中間區(qū)域的第二gTS2規(guī)范可以使用在更復雜的映射策略中。例如再現(xiàn)側(cè)顯示器可以推選以處理給出良好的視覺對比度的gTS2和gTS3之間的亮度,但幾乎限幅gTS2以下的值。轉(zhuǎn)碼器或類似的中間裝置可以例如在gTS1和gTS2之間的亮度上應用軟限幅,其仍包含原始捕獲的一些信息,盡管具有很少的精度,因為這將無論如何是大多數(shù)顯示器上幾乎不可見的暗區(qū),即需要更少的編碼質(zhì)量。創(chuàng)建者已經(jīng)以這種方式使用gTS2來指定關(guān)于成像的場景的附加語義信息,即圖像的哪些較暗部分不太相關(guān)。分離的結(jié)構(gòu)可以比與像素數(shù)據(jù)塊交織的元數(shù)據(jù)更復雜,并且被更自由地操縱。有利地,圖像編碼器(549)被設置成它將區(qū)域微分器灰度值的第一預留值編碼成輸出圖像信號(S(Im_1,MET(gTS)),這指示,對于位于根據(jù)貫穿圖像的掃描方向超出利用第一預留值可標識的位置的、圖像表示(Im_1)的至少一個幾何區(qū)域,從如編碼在圖像表示(Im_1)中的像素值到第二圖像表示(IM_RC_HDR)中的像素值的變換根據(jù)預定的算法執(zhí)行。用于區(qū)域微分器灰度值的特殊值,像例如“0”或“-1”(顯然不是在[0,255]范圍上的有效亮度)可以指示場景的以下區(qū)域要區(qū)別對待。例如,在編碼中,解碼器可以被稱為圖像信號的非常不同的部分(例如,連接可拆卸存儲器的不同扇區(qū)),其現(xiàn)在被咨詢以獲取最終的輸出信號(例如,由于某些原因,一些圖像可以根據(jù)一些兩層技術(shù)來編碼,像是例如不同的信號特性,或來源等)。在這種情況下,編碼器可以例如將該第二存儲器扇區(qū)的這樣的塊拷貝到本地位置,例如,潛在地在其上做進一步變換之前在Im_1中,或者可替換地作為最終的亮度值。當處理圖像時,輸出亮度可以通過應用計算機圖形再現(xiàn)算法來部分地獲取?;蛘哌@樣的代碼可以指示另外的圖像變換不得不被應用來改變局部像素亮度或紋理的外貌。假如掃描路徑(將算法帶到圖像中的某種起始位置(x,y),即可標識的位置)是通過指定區(qū)域的一些另外的元數(shù)據(jù)補充的,則區(qū)域可以是任何事物,例如,它可以是始于從(x,y)偏離的位置或具有在該處的中心的橢圓。然而典型地實施例將在基于塊的系統(tǒng)中有利地使用,在這種情況下例如(一些)連續(xù)的16×16像素塊是幾何區(qū)域。有利地,圖像編碼器(549)被設置成它將區(qū)域微分器灰度值的第二預留值(gTR)編碼成輸出圖像信號(S(Im_l),MET(gTS)),從而指示對于至少一個連續(xù)圖像,顯示器應當用預定值以下的最大輸出亮度來再現(xiàn)它。例如值255或260可以指示圖像的一部分或若干連續(xù)圖像將被用減少的亮度再現(xiàn)以節(jié)省電力。有利地,圖像編碼器(549)具有被設置成通過變換鏈接規(guī)則確定用于第一和第二對象中的至少一個的若干不同量度映射(TOM)或者被設置成利用處理指示符(PROC_IND)指示若干不同亮度映射可以用于將第一和第二對象中的至少一個的像素顏色變換成第二圖像表示(IM_RC_HDR)的新的顏色表示的亮度映射確定單元(553)。由于現(xiàn)在各種相關(guān)(不同視亮度)對象在如編碼在任何圖像表示中的場景中可容易地標識,還易于以任何合期望的方式變換它們。例如,若干不同的顏色變換策略可以應用于比方說高度明亮的對象,用于若干意圖不同的再現(xiàn)顯示器,或者觀看環(huán)境的周圍照明,或用戶偏好設定等等。例如,具有高峰值視亮度(即在再現(xiàn)圖像的較亮子區(qū)域時的高水平能力)的一些顯示器可以使用接近于或受啟發(fā)于具有用于如第一映射策略限定的較亮區(qū)域的反差外觀的第一策略的最終映射,而質(zhì)量較差的較低峰值視亮度顯示器可以嚴格或近似地遵循第二映射策略,其在這樣的亮區(qū)的至少一些像素的跨亮度(interluminance)距離上具有減小的效果。并且這些變換可以是(部分)聯(lián)合編碼有或在圖像信號中,或(部分)留到任何接收側(cè)(無論最終的還是中間的),其中后一種情況下它可能是有用的,如果圖像信號包含哪些變換的種類合期望或者反之不合期望的一些粗略指示等等。注意,取決于進一步的使用,一個或多個映射可以指定要嚴格遵循的變換,對比度最終的再現(xiàn)顯示器應當做什么的粗略指示的變換。前一種情況將典型地發(fā)生,例如假若映射實際編碼一些準確的分級(像是例如從其8位LDR容器編碼的主分級),并且后一種情況可以應用在變換是指示主像素亮度數(shù)據(jù)可以為若干種類的顯示器如何進一步優(yōu)化的另外的變換時。例如,較低峰值視亮度顯示可以研究軟限幅策略的函數(shù)曲線(其可以在若干重要的語義gTS值之間指定),并且然后使用最終的色調(diào)映射,其近似地維持在規(guī)定的視覺外觀。在接收側(cè)處人們可以構(gòu)建作為用于解碼高動態(tài)范圍場景的編碼圖像表示(Im_1,MET)的圖像解碼器(605)的、解碼器側(cè)的大部分鏡像的技術(shù),包括:-像素紋理解碼單元(608),其被設置成從編碼圖像表示(Im_1)獲取像素顏色包括數(shù)據(jù),其表示解碼圖像(IM_INTRM)的像素的亮度;以及-去格式化器(607),其被設置成從編碼圖像表示(Im_1,MET)提取區(qū)域微分器灰度值(gTS)。該至少一個區(qū)域微分器灰度值gTS然后可以用于進一步的圖像處理,諸如例如用于給定再現(xiàn)顯示器和環(huán)境的最終的最佳顏色映射的確定。因此,我們的方法是鏈接原始的顯示無關(guān)的顏色編碼和最終的顯示相關(guān)的顏色編碼的良好方式,其作為目的可以例如具有例如它應當在顯示器觀看環(huán)境中如它們在原始場景中被人類觀看者所看到的那樣近似地再現(xiàn)顏色。然而,實際的圖像編碼可以是從其非常不同的(因為我們已經(jīng)典型地參照一些現(xiàn)實的參考顯示器編碼它,然而這可能仍然非常不同于實際的再現(xiàn)情形:例如主HDR圖像被編碼用于相對暗的周圍家庭觀看條件,并且家庭電視然后微調(diào)它以得到最終稍微較亮的條件;然而:許多復雜性已經(jīng)在朝向一個或多個現(xiàn)實的參考觀看顯示器的主級中完成,留下對顯示器的較簡單的最終顏色變換策略),由于正常來說將不存在像素亮度順序的反轉(zhuǎn),當進一步成像時表征場景并且允許容易的顯示情形可保持性的良好方式是通過在語義上將其拆分成亮度/亮度子部分,特別是典型地將是重要的并且關(guān)于它們在若干顯示情境中高度可變的那些,像是例如圖像的最暗或最亮區(qū)。要注意,我們可以使用字亮度來指定像是例如分段那樣的所有數(shù)學運算,因為這樣的亮度將經(jīng)由某種編碼映射策略涉及實際亮度(例如當圖像在參考顯示器上輸出時),所述策略是如伽馬2.2那樣的伽馬映射的(潛在不連續(xù)的)一般化。有利地,該圖像解碼器(605)包括:圖像分段單元(606),其被設置成使用區(qū)域微分器灰度值(gTS)以獲取解碼圖像(IM_INTRM)中的較低亮度的段和更高亮度的段,即基于(多個)區(qū)域微分器灰度值做出圖像理解分離,使得像是例如優(yōu)化的噪聲處理的稍后處理可以對最終不同地再現(xiàn)的區(qū)域不同地完成(具有例如在較暗的部分中噪聲的較小的能見度)。有利地,圖像解碼器(605)包括像素顏色變換單元(609),其被設置成應用第一顏色變換(PD_BLCK(i,j))從而將像素顏色的至少亮度值變換成例如較低亮度的段中的恢復的主HDR圖像的像素,并且被設置成應用第一顏色變換(PM_BLCK(i,j))從而將像素顏色的至少亮度值變換成較高亮度的段中的像素。因此人們可以確定,例如高動態(tài)范圍的顯示器上再現(xiàn)的最佳驅(qū)動畫面(低和高,較低和較高可以被技術(shù)人員理解為是指彼此,例如,如果圖像像素的顏色編碼應用于350尼特的參考顯示器,將其變換成意圖用于2000尼特的參考顯示器的表示,這意味著該第二圖像具有更高的亮度,或不同地表示比原始圖像更高的動態(tài)范圍)。這樣的分離意味著高得多的質(zhì)量但簡單的編碼。如果人們不得不用單個策略編碼完整圖像,可以通過平均出所有種類的錯誤來僅到達近似的外貌(例如面部不得不是亮的,但然后黑暗的地下室視亮度變得過高,因此我們使面部變暗得略低于理想,而地下室僅僅過亮了一點點)。然而現(xiàn)在,我們可以例如如我們所期望的變暗地下室,然后在本地通過用閾值和更新策略定義它來修正面部。另外該部分定義使得可以容易地改變僅僅一些映射。例如,通過地下室場景的鏡頭的若干圖像,由于光改變和/或照相機運動,PM_BLCK(i,j)可以保持適用于整個場景,但較暗部分的捕獲(或需要的外觀)可以隨著我們從頭到尾觀看鏡頭的連續(xù)畫面而改變。然后,我們可以在例如鏡頭中的第五張圖像之后加載不同的PD_BLCK(i,j)函數(shù),從而抵消該黑暗的角落已經(jīng)從現(xiàn)在開始變得有點較為明亮,并且需要映射策略,其適當使其變暗,當然也使用PD_BLCK(i,j)的適當?shù)墓δ苄螤顏硖幹眉y理能見度等等。有利地,圖像解碼器(605)被設置成將特定的顏色變換策略應用到第一和第二對象中的至少一個的像素顏色,如果去格式化器(607)提取預留值的區(qū)域微分器灰度值(gTS),諸如例如0或255的值。同樣當在輸入信號的任何地方檢測到時這些預留值可用于立即恢復到任何回退處理策略。典型地另外的細節(jié)將在回退應用于的東西上可用(雖然不是必需的,因為接收器可以只是通過自身執(zhí)行例如基于圖像分析的任何事)。例如,如果圖像信號存儲在存儲器上,可以存在連續(xù)的回退策略的扇區(qū)(例如,定義圖像處理方法的算法代碼和其所需的數(shù)據(jù)),并且然后在每次檢測到特殊的回退預留代碼時,接收圖像處理裝置跳轉(zhuǎn)到下一個回退方法來應用它?;蛘叽a可以指代應用哪一個回退(潛在地多次),例如260指示應當使用第一個存儲的算法,261指示使用第二個存儲的算法等。有利地,圖像解碼器(605)包括變換確定單元(610)其被設置成從沒有與任何編碼的圖像表示(Im_1,MET)的數(shù)據(jù)相關(guān)聯(lián)的存儲源選擇像素顏色變換策略。以這種方式,接收側(cè)解碼器具有更多的多功能性,以決定什么要用于變換像素亮度。例如,它可以從它自己的存儲器抓取函數(shù),并且例如取決于所標識的對象的屬性(諸如其平均亮度)進行決定。或者,它可以通過網(wǎng)絡連接抓取功能,潛在地在運行時由服務器確定。通過指定應用例如(任何)變暗映射(即具有作為視覺結(jié)果,即對象以某種方式看起來更暗,的變換,如平均視亮度結(jié)合對比度修改,和/或在非常暗的,例如限幅到黑色像素等的對象中的增加的區(qū)域)是合期望的,信號仍可以部分地引導這方面,在這種情況下,再現(xiàn)側(cè)應優(yōu)選地不應用使非常暗的對象變亮的映射(當然考慮到由于周圍照明等的能見度)。最終接收側(cè),不論是否在觀看者的特定控制之下,當然可以決定(部分)符合該期望的聯(lián)合編碼的指南或忽視和遍歷它們。典型地,雖然在圖像編碼(例如在其上編碼的磁盤)可以例如規(guī)定變換不容忽視甚至也不松弛,但應嚴格遵循,或者反之并不嚴格遵循。有利地,圖像解碼器(605)特征在于,變換確定單元(610)被設置成在再現(xiàn)環(huán)境中的至少一個參數(shù)的基礎上,確定像素顏色變換策略,所述參數(shù)諸如顯示器的特性,或周圍照明的水平,或可以如通過照相機反映在顯示器的前置屏幕上所見的顏色圖案等。因此再次基于僅在其側(cè)面可用的重要信息,接收側(cè)裝置可以至少部分地優(yōu)化映射。內(nèi)容創(chuàng)建者可以指定它的映射使用在某個顯示器和觀看環(huán)境的假設下(如大多數(shù)客廳的燈關(guān)掉,只用一些氛圍光照,這可能確實是近似實現(xiàn)在現(xiàn)實中,其中觀看者例如在觀看者的一側(cè)具有地板上的彩魅燈),但最終再現(xiàn)側(cè)可以改變它們,對其甚至輕微的微調(diào)(這是最理想的情況)。雖然通常是不需要這樣的量的精度,但是內(nèi)容創(chuàng)建者指定在信號中,例如PD_BLCK(i+2,j)意圖用于存在比方說顯示器周圍的1尼特的亮度,在這種情況下,如果再現(xiàn)顯示器測量到2尼特,他可以決定稍微改變PD_BLCK(i+2,j)的斜率。在任何情況下,這可以是用于在接收側(cè)處的處理算法的有用信息。所描述的實施例可以以各種方式實現(xiàn),例如,通過圖像編碼方法,其用于編碼高動態(tài)范圍場景的圖像,包括:-用包括N位碼字的圖像表示(Im_1)編碼圖像的像素顏色;-確定并輸出區(qū)域微分器灰度值(gTS),其為劃界其以下的圖像的至少一個框中的第一對象的所有像素的亮度并且其以上的在圖像的至少一個塊中的第二對象的所有像素的亮度的亮度值;以及-在輸出圖像信號(S(Im_1,MET(gTS))中聯(lián)合編碼圖像表示(Im_1)和區(qū)域微分器灰度值(gTS)。或者通過用于解碼高動態(tài)范圍場景的編碼圖像表示(Im_1,MET)的圖像解碼的方法,包括:-從編碼的圖像表示(Im_1)獲取解碼圖像(IM_INTRM)的像素的像素顏色;以及-從編碼的圖像表示(Im_1,MET)提取區(qū)域微分器灰度值(gTS)?;蛘咦鳛榘ㄜ浖a的計算機程序,所述軟件代碼使得處理能夠運行對應于所教導的實施例的任何方法,所述軟件可以攜帶在盤或其它有形產(chǎn)品上,或者從網(wǎng)絡下載,等等。典型地,關(guān)于成像場景的編碼的知識將從一個地點/裝置行進到另一個(無論它們是在相同消費裝置內(nèi)的單元或者像是例如圖像接收或處理盒和經(jīng)由例如HDMI連接的電視或顯示器那樣的相同站點處的連接裝置的系統(tǒng),還是運行在不同國家中的裝置上的服務),即借助于圖像信號編碼高動態(tài)范圍場景區(qū)域的顏色,其包括N位碼字編碼至少區(qū)域顏色的亮度,以及區(qū)域微分器灰度值(gTS),其指示在用于編碼N位碼字的編碼系統(tǒng)中,所述碼字至少編碼區(qū)域顏色的亮度、高動態(tài)范圍場景中的較高亮度的像素的至少一個幾何區(qū)域或編碼那些的N位碼字的較高值之間的劃界,以及高動態(tài)范圍場景中的較低亮度的像素的至少一個幾何區(qū)域或編碼那些的N位碼字的較低值。代碼系統(tǒng)是技術(shù)-數(shù)學表示,其定義從場景亮度(通過照相機捕獲)并最終到要再現(xiàn)的亮度的偏離,典型地通過被稱為亮度的物理量,其定義在軸上,并且典型地用覆蓋軸的范圍的數(shù)字碼字(例如,00000000和11111111之間),或0.0和1.0之間的浮點數(shù),并且具有分配函數(shù)(典型地是伽馬函數(shù)),其將這樣的亮度非線性地映射到亮度??梢缘湫偷卮嬖谂c代碼系統(tǒng)相關(guān)聯(lián)的另外的信息,諸如與最大代碼值對應的再現(xiàn)峰值亮度。當我們談到該信號,我們指的是指定的屬性都以某種方式包含在信號中,但是它們可以以任何轉(zhuǎn)化的方式被包含。例如,一些數(shù)據(jù)可以被合并或拆分,并以任何方式結(jié)構(gòu)化。還可以存在到其它代碼的變化,諸如例如調(diào)制,或冗余編碼,以補償潛在的位錯誤損失等。HDR圖像可以在存儲器上被編碼(例如,作為稱為LDR容器的LDR8位紋理圖像Im_1,加上映射通過至少一個全局色調(diào)映射的主HDR級的重建的元數(shù)據(jù)),所述存儲器諸如可拆卸的存儲器,諸如例如存儲這樣的信號藍光盤。實際上,本發(fā)明的實施例可以在許多技術(shù)實現(xiàn)、情境或者使用中使用,諸如在任何網(wǎng)絡技術(shù)之上的視頻分發(fā)系統(tǒng)中,采用任何圖像編碼器、圖像解碼器、方法、圖像信號或其它產(chǎn)品或任何所描述的實施例的實現(xiàn),或該視頻分發(fā)系統(tǒng)的任何使用。以下描述的實施例的許多另外的變型當然是可能的,并且技術(shù)人員應當理解,它們可以例如在世界的不同幾何區(qū)域中的不同的裝置中實現(xiàn),在不同的時刻應用它們的部分功能或者在各種商業(yè)使用情境中,在彼此之后應用若干次,等等。附圖說明依照本發(fā)明的方法和裝置的這些和其他方面根據(jù)以下描述的實現(xiàn)方式和實施例并且參照附圖將是清楚明白的,并且將參照這些實現(xiàn)方式和實施例以及附圖進行闡述,附圖僅僅用作例示更一般的構(gòu)思的非限制性特定圖示,并且在附圖中,虛線用來指明部件是可選的,非虛線部件不一定是必不可少的。虛線也可以用于指明被解釋為必不可少的元件隱藏在物體的內(nèi)部,或者用于不可觸摸的事物,諸如例如物體/區(qū)域(以及它們可以如何在顯示器上顯示)的選擇。在附圖中:圖1示意性地圖示了高動態(tài)范圍原始場景的各種表示,此時它們將在不同的情境中再現(xiàn),即:圖1a示出了用于當前高動態(tài)范圍顯示器、電影院顯示、低動態(tài)范圍顯示器和室外使用的便攜式顯示器的相比于彼此的絕對再現(xiàn)輸出亮度,并且圖1b示出通用外觀軸上的再現(xiàn),其絕對參考系由標準人類觀看者所定義;圖2(即圖2a+圖2b)示意性地圖示了在兩種顏色表示之間變換的各種子顏色變換如何(二者都在場景中限定了相同的圖像視圖)將被應用于非常不同的亮度(或明度)的各種對象的像素的至少亮度,其落入圖像表示的塊分解的若干塊中;圖3示意性地圖示了根據(jù)特定圖像信號定義中的一些實施例來編碼一些附加的元數(shù)據(jù)的方式,特別是如何編碼在那些對其使用的像素顏色塊之前的區(qū)域微分器灰度值;圖4示意性地圖示了接收側(cè)可以如何基于區(qū)域微分器灰度值獲取圖像中的非常不同的明度或光照的段;圖5示意性地圖示了編碼側(cè)系統(tǒng),其可以由顏色分級者、對應于我們的發(fā)明教導的編碼器的示例性實現(xiàn)來操作;圖6示意性地圖示了解碼側(cè)系統(tǒng),其可以例如是包括作為主電視的這樣的裝置的消費者家庭顯示系統(tǒng),以及便攜式圖像瀏覽器,和圖像處理裝置,諸如中央計算機,其管理所有視頻的分發(fā)和最佳處理以用于不同的顯示器;圖7示意性地圖示了設計亮度(或明亮度)范圍映射到的區(qū)域如何能夠被精心選擇成緩解像是壓縮錯誤的問題;以及圖8示意性地圖示了我們的系統(tǒng)如何可以用于像素或?qū)ο箢伾坏貌槐挥成涞阶罴训念伾杂糜诰哂邢喈斂勺兊募夹g(shù)特性的許多顯示器的情境中。具體實施方式圖1(即圖1a和圖1b)示意性地示出了原始HDR場景(Orig_SCN)如何可以最佳地表示在4種類型的顯示器中(3典型和假設的一個,以更好地說明這一點,即在晴朗照明之下的低對比度的電子閱讀器,具有可再生的輸出亮度的僅小范圍R_ERDR_OUTS),以及圖像編碼技術(shù)應當如何適應于此。我們強調(diào),人們需要在概念上將關(guān)于最終的場景再現(xiàn)的想法(即特定的顯示器在物理上輸出的亮度)從圖像對象亮度的編碼劃分開。這是不同于像是MPEG2的經(jīng)典電視成像技術(shù)(它總是使這兩個對應的顏色空間相等)的技術(shù)理念,使得例如伽馬2.2編碼信號可以直接應用于(標準)顯示,給出(近似)正確的(以校準方式確定的演播室側(cè))再現(xiàn)輸出。這僅僅在如果具有封閉的鏈時有用,即為特定情境校準,但如果我們想要有像是在特定高動態(tài)范圍(HDR)圖像中的其它內(nèi)容,和/或具有再現(xiàn)這些信號的根本不同的特性的各種顯示器和/或觀看環(huán)境,故事不成立。然而,人們?nèi)匀粚愃频叵M痪哂幸粋€(或至少幾個)的圖像編碼信號的簡單性,而不是用于每個情境的不同的編碼圖像(雖然它們可以被重新包裝(例如代碼轉(zhuǎn)換,另外顏色變換等),并經(jīng)由不同的技術(shù)信道傳播),其將會以其它方式意味著好萊塢或分級者不得不進行例如20個分級,而不是如之前那樣的1或2(例如主電影級和DVD級)。定義HDR圖像或HDR成像技術(shù)可以導致討論。這當然不是作為準則的單純的位數(shù),因為如果例如最大字長度(例如2^8與2^10)被用于某個白色(例如500尼特),則不同之處是大部分或部分地僅一個精度(實際上,具有1.000.000:1的要求保護的對比率的顯示器甚至不可以區(qū)分性地再現(xiàn)最低的這些代碼,并且在伽馬2.2信號編碼中這樣的深黑色也可以不進行編碼,除非顯示在黑色上進行某種令人印象深刻的黑化變換)。高動態(tài)范圍場景的通常定義為最大亮度除以最小亮度。這可以是從硬件的角度來看例如用于再現(xiàn)顯示的良好定義。例如,在原始的場景中,確定相機的成像傳感器的功能應當是什么,而且,如果該操作例如具有多重曝光技術(shù),因為任何不能被可靠地記錄的事物被限幅到要么白色要么黑色(當然還存在四舍五入和噪聲)。這也是良好的方式,以指示顯示器可以在物理再現(xiàn)什么,當然只要是在公平的方式進行,其中包括例如顯示器生成的光在玻璃前板上的散射,以及從環(huán)境(例如在電視機前的觀看者的白色T恤)中的反射。所有種類的光散射和反射是為什么實際捕獲或觀看的動態(tài)范圍通常低于所引述的營銷數(shù)字的理由,無論是因為光通過從場景的較亮點至較暗的地方的所有種類的路徑漏出(場景的點亮期間,除非精心構(gòu)建它并且管理陰影區(qū)域),照相機中的虛假路徑(如鏡頭混濁,或體反射),還是到觀看者自己的眼睛的觀看環(huán)境問題(例如,在顯示器的前面板中顯示或環(huán)繞光散射或反射進入勻光器的顯示器內(nèi)的反射等)(然而,雖然觀看者可能當在其視覺域中具有強光源時開始損失黑暗區(qū)分精度,特別是當附近是暗區(qū)時,但是我們將忽略該因素,因為顯示器可以理想地需要比觀看者更好,并且至少圖像編碼應當更好,因為我們不提前知道接收側(cè)將如何處理它并且影響圖像區(qū)域的能見度)。因此通過這樣的對比率定義,人們應當作為最低水平使用實際上最終眼睛仍可區(qū)分的事物(給定噪聲等),而不是例如斷開的LED給出(接近)零輸出亮度的理論值(因此標準征用例如棋盤圖案來測量較為公平的對比率),因為從沒有零光的情形。然而亮度比不是這樣好的動態(tài)范圍準則來用于HDR圖像的編碼。必須要編碼的是并不是什么是可再現(xiàn)的問題,而是場景中的東西和至少在理論上可以感知的東西,即圖像信號需要準確地或近似地包含能夠重建所期望的外觀所需的數(shù)據(jù),并且在所有的顯示環(huán)境中可預期再現(xiàn)圖像,甚至可能在遙遠的將來的更好的顯示器(例如直接照射到眼睛中)上。例如剛剛指定的對比率不計及在黑暗的環(huán)境(如電影院)中視覺系統(tǒng)需要更多的對比度以看見出現(xiàn)在圖像中的相同場景這一事實(而最小值和最大值上的純倍增縮放將產(chǎn)生相同的對比率)。對比度事實上也是局部現(xiàn)象,因為如果周圍有更亮的對象,相對亮的對象可被認為是更暗的(空間對比度)。事實上,在心理上觀看者開始分析畫面,并且標識他認為是黑色、白色、白色之上等的顏色。并且觀看者可以將某件事物視為黑色或白色,直到他感覺到更深的黑色或更亮的白色。因此“動態(tài)”畫面看上去如何不僅僅是在場景中的“黑”和“白”的函數(shù),也是可以在灰度值分配的基礎上定義的其它更多的局部對比度測量的函數(shù)(如人們可以通過增加紋理中的不同灰度的亮度距離來創(chuàng)建不同的外貌——例如使巖石紋理更加堅硬——或者使陰影更暗,或者甚至在清晰度和對比度之間的相互關(guān)系上進行發(fā)揮。人們可以由此想象,如果一個人想為面部給出不同的外貌(更光滑,更具反差,多皺紋等),定義面部紋理的代碼必須允許這樣的操作,即例如如果一個人只有定義面部紋理的兩個灰度值,改變面部的對比度將是非常困難的操作。面部顏色的這樣的參差不齊可能是若干當前圖像編碼技術(shù)的一個問題。為了更清楚地陳述問題,示出示例,即從編碼的角度看,動態(tài)范圍不只是關(guān)于最暗的黑色和最亮的白色,而且關(guān)于在成像場景中究竟有什么,黑白圖(即只有兩個不同的灰度值)可以以5000尼特白色和0.5尼特黑色再現(xiàn)在HDR顯示器上(即具有高亮度動態(tài)范圍),但我們會真的把這個稱為HDR圖像我們甚至可以提出另外的問題,像是是否我們想要無論如何分別以顯示器的最大白色(峰值白色)和黑色特性顯示這樣簡單的信號。那會不會不自然,或者至少是沒有必要的,更何況是否需要像那樣直接編碼這些值(例如,使用代碼0和10000而不僅僅是例如0和2)。事實上,例如當分級白色區(qū)域時一般能夠開始發(fā)生的一個外觀偽像是紋理化的白色區(qū)域開始看起來向白堊的(好像用粉筆畫出),它不同于區(qū)域應當具有的實際的物理紋理。我們將會再次面臨以下問題:什么是“黑”與“白”。事實上,在陽光明媚的照明下,假設我們的示例將是黑白畫,例如,白色可以有5000尼特的真實場景亮度,但在不同的照明下它也可以僅為50尼特。除非一個人從場景照明中劇烈地屏蔽黑色區(qū)域,否則它們正常將在某處大約1%的白色,而不是1/10000th。因此,忽略更多反差再現(xiàn)圖像可能會在一定程度上具有優(yōu)選的外貌,我們將很可能想要以例如HDR顯示器的高亮度子范圍上的近似100:1亮度范圍內(nèi)的高視亮度示出黑白畫面以創(chuàng)建陽光照亮的圖的外觀。否則無論如何我們都冒風險,即使所再現(xiàn)的畫面看起來并不奇怪,因為眼睛對再現(xiàn)亮度中的一些差異打了折扣,所以有了分級者,給定圖像中存在的作為內(nèi)容的東西,以及鑒于時間效應,甚至先前和后續(xù)的圖像,我們將總是希望最佳地使用可用的顯示動態(tài)范圍。還注意到,雖然朦朧的圖像常規(guī)地被認為是低動態(tài)范圍,但是其中同樣具有亮光的這樣的圖像將至少需要被映射到顯示器可再現(xiàn)顏色的亮度軸的高子區(qū)域。我們的編碼理念是,編碼需要考慮這兩個因素,即,一方面是動態(tài)圖像將典型地如何最終被呈現(xiàn),而另一方面成像場景包含哪類或多或少明亮的對象。因此,我們的目的(尤其是圖像表示或編碼)更準確的說是HDR圖像是包括以下的圖像:沿光照外觀軸足夠遠離的許多范圍的足量的灰度值(光照作為一個心理量不要與亮度或編碼的亮度相混淆)。因此,我們可以以“嵌套外觀范圍”的概念更好地解釋HDR圖像的物理和所需的技術(shù)實現(xiàn),如圖1所闡明的那樣。在圖1中我們看到場景(Orig_SCN)被捕獲,其同時含有許多黑暗和明亮的亮度,即在黑暗和明亮點亮的區(qū)域二者中在恢復范圍之上的明顯紋理細節(jié)。對于明亮的區(qū)域/對象(BR_obj)有彩色的玻璃窗,其具有應當被準確編碼和再現(xiàn)的許多漂亮的顏色。在大樓的黑暗內(nèi)部,有深色的木質(zhì)樓梯(DRK_obj),和更黑暗的對象(VDRK_obj)。即,站立在原始場景中的人將會看到在彩色玻璃窗中的許多明亮亮度(和事實上的顏色)和在樓梯上的不同陰影區(qū)域的許多不同的暗亮度。當轉(zhuǎn)動頭部時,他的視網(wǎng)膜和大腦處理將適配于觀看彩色的玻璃窗,或者反之試圖在較暗區(qū)域中區(qū)分黑暗外貌的對象。當然,每件事物看起來多暗取決于場景構(gòu)建器從較亮個體隔離較暗區(qū)域有多好,但是人們例如可以想象,在非常晴朗的日子試圖看穿人行道上的小下水道孔的示例。即“較暗”的區(qū)域可以從看起來暗灰色變化到不可區(qū)分的和最終的黑色(或在夜間不可區(qū)分的更加灰黑色)。在再現(xiàn)顯示器上,給定能力,我們想創(chuàng)建至少是有點類似的經(jīng)驗(如不可區(qū)分的泛黑顏色,具有低到足以使它們至少看起來相當泛黑的亮度),即平衡兩方事實,即顯著多的每個亮度子范圍的輸出亮度依舊再現(xiàn)具有良好可見質(zhì)量的亮和暗二者的所有對象的對象紋理,與彩色玻璃窗應當看起來明顯比平均值更亮(考慮到顯示器的特定動態(tài)范圍,這可能更多的是使用心理視覺“虛幻”的效果的模擬與用于高視亮度顯示器的實際大光度差),并且樓梯比平均值更暗(平均為例如為周圍被照亮的房間的大約18%的灰度水平)。不論顯示屏將如何最佳地做到這一點,圖像編碼至少應當包含所有信息,并且優(yōu)選地以簡單可管理的方式?,F(xiàn)在可以捕獲和編碼這種場景,利用單個數(shù)據(jù)信號(例如0-1023,利用用于將輸入或輸出亮度映射到代碼的固定伽馬函數(shù);即例如如果伽馬函數(shù)定義了輸出亮度,人們可以首先將所捕獲的圖像轉(zhuǎn)換成參考N尼特的例如16位顯示(線性或以其它方式,例如以4000尼特的峰值視亮度),然后將那些“新場景值”編碼到例如10位表示,帶有在參考顯示器上準確重建將會發(fā)生的意圖,并且例如2000尼特顯示器將近似于外觀)?;蛘呷藗兛梢詢?yōu)化各種編碼信號以用于不同的情境,例如,應用不同的伽馬函數(shù)以用于電影院信號,以補償人類視覺系統(tǒng)的黑暗環(huán)境行為。但理想地,主處理——鑒于人類視力的高度局部和非線性行為,其可以非常復雜——應當已經(jīng)在很大程度上存在于所編碼的一個或多個分級的圖像中(在簡單的HDR圖像編碼中LDR分級被同時編碼在HDR主分級內(nèi)部,通過使用LDR容器概念,即通過該原理人們可以從該LDR編碼分級重新獲取主HDR圖像(如經(jīng)典編碼的MPEG-AVC圖像),通過反轉(zhuǎn)被用于使其來自主HDR分級的顏色映射策略,通過使用編碼該映射的聯(lián)合編碼的元數(shù)據(jù);但是當然圖像編碼可以包含若干分級,無論是通過若干映射函數(shù)還是至少部分的另外的像素圖像),即已經(jīng)為許多典型的顯示情境大致正確地確定了外貌。在這種情況下,實際顯示優(yōu)化將通過相對簡單的操作創(chuàng)建近似正確的最終外貌,例如最終的簡單的伽馬函數(shù)以增加對比度來用于較暗環(huán)繞觀看等。在任何情況下,最終的外觀將看似如圖1b中所示。并且光度可測量的輸出亮度將如圖1a中那樣。第一個情境是將信號顯示在HDR顯示器上(如所述,無論是利用其自身的最優(yōu)化的、具有至多最小化的處理的HDR(例如一些真??正的硬件細節(jié)喜歡模仿CRT般的行為與LCD閥物理量的附加補償)以直接用于驅(qū)動??HDR顯示器,或從單個編碼HDR圖像/視頻信號得到驅(qū)動信號)。顯示器能夠顯示5000尼特的峰值視亮度(白色)和0.5尼特的輸出最小亮度。注意,較低的值是平均值近似,因為它將臨界地隨幾個周圍參數(shù)而變化。甚至在受控環(huán)境中,影院安全燈可能會泄漏光到屏幕上,并且人們接通他們的移動電話的不可預知的因素亦是如此(雖然一般效果是有限的,但特別是在最暗的亮度中,它可能影響再現(xiàn))。在正常的家庭中,照明情況可能有很大變化。但是問題仍然是人將如何感知這樣的亮度,因為這將取決于他的視覺系統(tǒng)的狀態(tài),特別是通過室內(nèi)照明確定,他是否可以多次透過窗戶看到外面等,觀看者可以通過改變他的遠程控制上的畫面設置來控制這方面。在任何情況下,HDR顯示器具有可用于再現(xiàn)彩色玻璃窗的亮值的相對較大的子范圍(即,它被示出相對大,覆蓋范圍R_D_HDR的上部)。同時,樓梯可以被示出足夠暗,即遠低于50尼特。假設對于我們的示例,這具有作為心理視覺沖擊,這些樓梯看起來都相比于視覺估計的平均亮度(例如,18%的灰色)變暗,但也仍然容易明顯從紋理細節(jié)看出在環(huán)繞顯示器的前玻璃的反射照明(如其中觀看者已經(jīng)將他的周圍光照調(diào)暗到電影觀賞水平,并且平均灰度主要由電視及其圖像內(nèi)容本身決定的情境)。該HDR顯示器(+觀看環(huán)境)是如此之好,它甚至可以示出具有更暗的顯示輸出亮度和對應的心理視覺光照的非常暗的對象。如果我們現(xiàn)在在影院的數(shù)字電影放映機上顯示相同的信號(同樣,無論是否被最佳伽馬校正),我們現(xiàn)在發(fā)現(xiàn)該劇院呈現(xiàn)將不會示出大約50尼特以上的白色,然而,作為黑暗的環(huán)境,至少較暗的鏡頭可能示出下降到比方說0.05尼特的亮度,即比家庭房間的HDR顯示器再現(xiàn)暗得多。即電影院輸出亮度范圍R_CIN落在0.05~50尼特。我們不能說將被分配在R_CIN高亮度較小的子區(qū)間的彩色玻璃窗在HDR顯示器上與具有近似相等輸出亮度的樓梯同樣黑暗,因為觀看者已經(jīng)適應了黑暗的電影室,因此將較低輸出亮度視為(近似)白色。即,同樣在電影院中我們可以至少在畫面間具有相對較大的動態(tài)范圍(并且至少如果不是在正膜或數(shù)字信號上它可以被編碼,然后在負主本上)。特別是通過一些心理視覺模擬,像是例如利用在文化上建立的偏白天或偏夜晚的顏色,影院觀看者仍然具有解決方案,在黑暗的地下室場景之后有人走進陽光下(這在HDR顯示器上不太令人印象深刻)。人類視覺系統(tǒng)在圖1b的心理外觀表示中可以更好地看見這一事實,其中我們將各種再現(xiàn)輸出圖像置于光照外觀軸(Appear_SCAL)上。這其實是大腦所看到的(通過所有復雜的處理),但我們大致可以將其映射到視網(wǎng)膜錐如何表現(xiàn)(或至少連同神經(jīng)節(jié)細胞連接)。無論如何,在我們的技術(shù)理念中,復雜性可以由人類分級者處置,因為它總是應當作為內(nèi)容創(chuàng)建者喜歡來負責他的內(nèi)容的外觀。我們的確看到HDR家庭房間顯示器(DISPL_HDR)和電影院再現(xiàn)(MOV_THTR)上的再現(xiàn)是相當類似的(至少相對微暗環(huán)境下也能進行模擬,以及明亮的外表)。然而,電影院再現(xiàn)不能夠表示這樣非常明亮的區(qū)域,至少確切地說無任何顏色變形(其示出由彩色玻璃窗的顏色稍深的象形圖,從超亮移動到外觀軸的明亮區(qū))。我們想強調(diào)的是,這種效果的原因還在于在電影院與在家的HDR顯示器的分離的再現(xiàn),因為如果同時在電影院的HDR顯示器上再現(xiàn),比較再次變得不同(因為現(xiàn)在在相對昏暗的投影屏上的亮區(qū)可以直接相比于HDR顯示器上的那些)。然而,在比較深的黑暗中,劇院再現(xiàn)可以模擬非常暗的場景,像是例如夜間場景,在其中太陽開始慢慢向地平線上升起。坐在明亮的太陽光線充足的客廳的人可能永遠都不具有該外觀。也有亮區(qū)的任何環(huán)境(如共同放置明亮照耀的HDR顯示器)將在較小或較大程度上破壞完全黑暗的夜景的視覺“錯覺”。甚至忽略了在顯示器上再現(xiàn)暗色將低于前玻璃反射亮度,以大角度從環(huán)境進入眼睛的所有光顏色將打破幻覺(這利用電子閱讀器示例更好地說明)。當然,在原則上人們可以使一個人的客廳比在電影院甚至更加黑暗,因為在家里安全不是問題,這將意味著然后HDR顯示器還具有用于更深的黑色的更高的能力,但通常人們在家想擁有一定程度的舒適的周圍照明(在任何情況下,滿足各種情況下的再現(xiàn)編碼的圖像也很容易被喜歡在漆黑的客廳中以最可怕的方式觀看他們的恐怖電影的人們優(yōu)化,其中優(yōu)化將意味著該圖像中最暗的區(qū)域需要編碼有足夠的精確度和色度優(yōu)化處理的簡單可訪問性二者)。還注意,在非常暗的環(huán)境中,如人類視覺系統(tǒng)所看到的場景對比度可能嚴重降低(即因為人們將看到原始場景),因此可能需要通過用漆黑以上多個刻度(stop)的深灰再現(xiàn)最黑暗的對象,并且用白色參考區(qū)帶光照以下多個刻度的淺灰再現(xiàn)白色對象來模擬那些(在例如電影院中該效果是并不如此強)。因此,有可能不是在每個可能的顯示器上精確地再現(xiàn)的區(qū)域,但我們?nèi)匀幌雽ζ溥M行編碼,因為可以或?qū)⒋嬖谀軌蛟佻F(xiàn)它們的顯示器(例如在明亮化之后),該示例給出用于電影院的超暗區(qū),以及用于一些HDR顯示器的超亮區(qū)。注意到,人類視覺系統(tǒng)的超暗區(qū)可以在具有高水平的人類視覺適應的低側(cè)上的某處結(jié)束,諸如例如用于編碼非常昏暗的洞穴里,其中一些光通過在遠處的裂紋泄漏。然而,這樣的水平對于甚至在(理論值)最黑暗的電影院中的顯示器是不相關(guān)的,因為圖像/視頻內(nèi)容的明亮部分將不允許視覺系統(tǒng)最佳地適配(沒有人看著山洞中的山洞的電影)。然而它可能與其中眼睛開始看得雜亂和迷離的水平相等,諸如例如,在一直處于太陽下之后,當人進入黑暗的房間時。這樣的視覺體驗是人們想要再現(xiàn)的事物,因為它傳達了視覺質(zhì)量的新的水平,就像明亮側(cè)上的炫目光。即,它是其中平衡了(剛好)可以看到和不能看到的制度。但問題是,黑暗的環(huán)境再現(xiàn)能夠更好地顯示非常暗的對象,因為它可能在它的外觀軸的暗部區(qū)域的下方再現(xiàn)它,那里是超暗區(qū)開始的地方。第三顯示器是LDR家用顯示器(DISPL_LDR再現(xiàn)),例如,“經(jīng)典”的電視用比方說300尼特的目前峰值視亮度(我們將假設我們的討論對例如100尼特峰值視亮度的較舊的顯示器表現(xiàn)相對類似)。假設它可以顯示多少不那么深的黑色(當然,在黑色中它可以類似于HDR顯示器,但是為了說明,讓我們說,它已經(jīng)例如全局變暗,而不是2DLED變暗)。同樣,它可以再現(xiàn)更少的暗顏色,因為可能鑒于較低峰值視亮度,它需要預留其LDR范圍R_D_LDR的較大子區(qū)域以用于明亮的和中間的亮度,所以它將再現(xiàn)樓梯和與具有至少在視覺上近似相同的深灰色的非常暗的對象二者。事實上,它將預留只有少數(shù)亮度水平以用于樓梯,使得它被不太詳細地紋理化,而且非常暗的對象通常會被限幅為黑色(甚至相比于限幅成的樓梯的黑色部分是不可見的)。LDR顯示器的另一典型屬性是它不能可靠地再現(xiàn)超亮對象,并且將典型地將其(軟)限幅到非常小的(接近)白色范圍內(nèi),所有這些尤其取決于人想要什么對比度來用于接近中灰的中間范圍。限幅和近似策略可以具有強大的心理視覺沖擊,因為大腦認識到一些特別的事情正在發(fā)生。因此,我們看到再現(xiàn)實際上是場景的(人類視覺適應調(diào)節(jié)的)亮度(即實際上用于人的視覺系統(tǒng)的對應光照和視亮度)到各自的顯示可再現(xiàn)的亮度范圍的不同子范圍的分布。一些顯示器只能再現(xiàn)(至少從一個側(cè)面)被嵌套在總體范圍中的總體范圍的子部分,并且一些顯示器可以相對可靠地再現(xiàn)幾乎所有的外觀。即當映射到輸出亮度或事實上的顯示驅(qū)動圖像值(即用于驅(qū)動例如LCD閥和一些背光驅(qū)動)時,就必須做出一些近似,從而將場景對象或區(qū)域的確切外觀稍微改變到仍然相當類似并且如果沒有令人信服也至少是可接受的外觀。在戶外陽光下的電子閱讀器示例被選擇以強調(diào)失真的問題。這里必須迫使場景亮度的大范圍幾乎到單個的可再現(xiàn)的亮度值上(其亮度范圍E_ERDR_OUTS是非常小的),并且必須在外觀軸的相當長的距離之上使圖像的區(qū)域移動(在任何情況下,因為大部分的黑色將被陽光的反射過曬,至少外觀范圍將是小的,并且顯示器也可以僅僅通過使用在對應的小輸出亮度范圍中的物理驅(qū)動值來補償)。這具有例如作為暗區(qū)不能被整個再現(xiàn)的結(jié)果,并且人們必須做出嚴重扭曲的選擇。取代于示出例如10%的黑色(如果50%是最低的可見值),人們也可以再現(xiàn)接近50%的那些值,或者甚至更好,用映射到高于它的值的色調(diào)。例如,人們可以將整個較暗區(qū)限幅到該顯示器將其作為其“黑色”(即最低再現(xiàn)值)的程度,通過這樣小范圍的亮度可以甚至看起來不是黑色的,因為在較亮亮度之上散布黑暗對象亮度的替換不是一個選項,因為它們?nèi)缓笞兊帽纫恍┎噬AТ跋袼馗鼫\。類似地必須放棄一些場景可以可靠地再現(xiàn)在印刷品中的期望。人們只能盡力使用映射和心理視覺原理來至少具有良好的等價物(但沒有閃亮的窗,除非人們并入熒光油墨或類似物并且用UV源強烈光照)。注意,為了簡單起見,我們只討論了在簡化一維光照軸上的原理。實際色域的三維性質(zhì)(即主要是再現(xiàn)設備的那些)也對顏色的顏色處理具有有趣的影響(例如其飽和),在一些情形中這在視覺上甚至可能與視亮度部分地混淆/均衡。注意到,為了完整性,我們也顯示出飽和外觀,因為它們發(fā)生在自然場景中,例如看向燈時,或例如接近太陽。這是當錐視蛋白水平在很短的時間被嚴重扭曲(漂白)時,并且你可以看到斑點。例如,在一個冬天的場景,你可能會看向低的太陽,并且它周圍的空氣可能會很明亮,陽光反射在環(huán)繞太陽的云粒子可能會更加廣闊。這在任何的HDR顯示器中當然是不合期望的,視色素以飽和鮮艷的色彩呈現(xiàn)這些地區(qū),但有可能會分配兩個不同的亮度子范圍在超亮區(qū)域,即例如顯示這些區(qū)域至少有一點不快的明亮。另一方面,人們也可能認為這些顏色無論如何不那么重要(無論如何,誰會在乎白熾燈燈絲的實際視亮度或顏色,即便燈火通明的彩色房子,或者甚至有些鏡面反射,或彩色的TL管商業(yè)標志的編碼等可能無論如何仍然是重要的)并且利用類似于限幅的值(可以稱其為超亮,或接近最大代碼(例如值1023)的區(qū)域)來編碼它們。然后顯示器可以選擇是否要再現(xiàn)那些不快的光亮,或用少許更低的輸出亮度,在這種情況下,大腦可以從限幅估計亮度。這還允許內(nèi)容創(chuàng)建者將重點放在他所需要被準確地編碼的東西,和當被幾乎直接用于驅(qū)動如HDR顯示器時哪一個將對所有那些區(qū)域(比如兩個暗室內(nèi),更黑暗的房間,晴天在戶外)產(chǎn)生良好的品質(zhì)(例如對比度),以及他認為哪一個非常明亮的區(qū)域不那么相關(guān)并且可以總是被限幅(可能利用例如在省電模式下的低于峰值視亮度的輸出亮度),甚至在HDR顯示器上。這種省電模式可以通過顯示屏可以更好地實現(xiàn)如分級者定義的許多這樣的“不相關(guān)地亮”的區(qū)域,通常利用幾個GTS值,節(jié)電器可以使用其來為許多增加的省電模式扭曲所有這些值以上的圖像。實際上創(chuàng)建者可以甚至藝術(shù)地使用一個或多個“飽和”的代碼,從場景放棄如成像的重要內(nèi)容,以實現(xiàn)高度飽和的外觀?,F(xiàn)在人們可能想要將第一色度中的場景的表示――尤其是根據(jù)第一分配規(guī)則(定義編碼為像素亮度的局部場景對象補丁亮度;和色彩飽和度;以及雖然代替明亮度我們也可以例如利用XYZ系統(tǒng)中的亮度來編碼像素,但是我們將為簡單起見,將編碼灰度值稱為明亮度)利用沿著明亮度或亮度或類似的灰度值相關(guān)的軸(假設為簡單起見,兩個彩色坐標被固定在兩個表示中,例如,色調(diào)和飽和度)的第一坐標來定義該場景對象的顏色空間――變換成第二色度。僅作為示例便于描述下面本發(fā)明的一些概念和實施例,我們將假設我們有一個亮度比例如為2097152:1,或21比特(如果線性編碼)的原始場景。當然這仍然可以補充有2^21的值所對應的最亮點的精確的亮度值(其對于有陽光的戶外場景可能不同于黑暗黃昏的室內(nèi)場景)。在實踐中,由于無論如何沒有顯示器能夠編碼太陽,我們將進一步為簡單起見而假設我們可以利用16位主HDR編碼(至少針對亮度Y,并且現(xiàn)在我們不關(guān)心它是浮點數(shù)還是整數(shù))來相對可靠地(即具有心理視覺上不太重要的扭曲,如在其顯示器呈現(xiàn)的版本中降低太陽的亮度)編碼這些原始的HDR場景。這是因為人們可以限定編碼沿其亮度軸為非線性的,即通過使用一個主伽馬來將場景對象亮度映射到HDR顏色空間碼。另一個示例是編碼,即將該16位編碼映射成新的色度??/顏色空間,即8位的代碼,例如使用標準的2.2伽馬。幾個色域映射存在以用于該目的,例如,人們可能只是線性地壓縮亮度范圍,但因為這給出不好的結(jié)果,人們通常采用更漸進的,例如S形曲線,并且人們可以使用更復雜的模型,像是例如將壓縮應用到圖像的低通濾波版本,然后在其中加入更多強烈的高通細節(jié)?;蛘哂成淇梢源笾履M人類視覺系統(tǒng)(當然存在上述的不可能性來在有限的硬件上做一些種類的再現(xiàn))將會如何看到原來的場景,如果從例如具有低得多的動態(tài)范圍的顯示器(即LDR顯示器)的新的框架中觀看的話。人類視覺系統(tǒng)非線性地工作,從而減少不太重要的視覺方面,并例如原始場景中刺目的影子(至少有些相機看到它的方式)可以被看作是相對淺灰。人們不應當犯將其映射為LDR色域的錯誤,從而使大部分的陰影靠近該顯示器的最小的黑色,因為然后視覺系統(tǒng)當然將把其解釋為太黑暗。應該通過降低(本地)的對比度來多少軟化它一些,這樣它會看起來不那么深,就像在原始的場景中那樣。一般而言,映射到LDR色域的色域可以使用應用局部優(yōu)化等的各種數(shù)學方法。因此總之,變換函數(shù)被應用到16位表示的像素,以獲得8位表示。例如首先是全局變換,然后是一些進一步的空間局部變換。反之亦然,通過另一種顏色/亮度映射,可以轉(zhuǎn)換(例如預測)來自8位編碼的HDR(所以如我們的16位表示)表示。這種系統(tǒng)的一個示例公布在WO2012004709(從低動態(tài)范圍圖像產(chǎn)生高動態(tài)范圍圖像)。讓我們再一次通過專注于從8位LDR編碼到16位HDR表示的映射來簡化解釋,該16位HDR表示可用于驅(qū)動比方說5000尼特峰值白色的??HDR顯示器,并由此給出對于原始的場景在藝術(shù)上令人愉悅(即好的質(zhì)量)的呈現(xiàn)(例如,它看起來相當類似,在于陰影看上去仍然險惡地黑暗等;注意如果原始16位主編碼是由計算機藝術(shù)家根據(jù)導演和/或DOP的指示而最優(yōu)地調(diào)整分級,例如,使陰影區(qū)域甚至更加暗黑或險惡地黑暗,則質(zhì)量意圖可以是使得最終的再現(xiàn)HDR顯示器盡可能好地傳達該險惡外觀,即如所意圖的)。可以有不同的方式從像素的8位碼值將像素(對于相同的空間位置)映射成具有新的不同的16位的代碼值的像素。例如,該映射可以提高彩色玻璃窗口的所再現(xiàn)的視亮度,由于HDR顯示器能夠呈現(xiàn)這樣的明亮區(qū)域,其將與對應的變換相對應以基于HDR顯示器如何工作以及HDR代碼如何定義來獲得HDR圖像的像素亮度(假設為簡單起見,這直接驅(qū)動HDR顯示器)。需要注意的是,當我們描述了成像對象的視亮度的行為和談論例如提高時,我們將未來簡單起見而比較輸出亮度(例如在顯示器上再現(xiàn)的亮度=500中的400,vs在HDR顯示器上3000),其中在實際編碼的亮度空間中可以實現(xiàn)相同的處理,例如通過使得較暗的區(qū)域變暗(給出相對相同的結(jié)果),并保持彩色玻璃窗對于HDR和LDR編碼兩者都為高。變換可以是全局的,即無論該像素位于圖像中何處,變換的函數(shù)形式僅依賴于LDR/8比特圖像的像素值,即:Y_16b=F(Y_8b),其中Y_16b是16位的亮度,其可以例如表示為二進制碼字,或0和1之間的浮點值等,并且對于8位的亮度Y_8b是同樣的。這樣的函數(shù)的示例是全局伽馬:Y_16b=g*Y_8b^gamma,其中g(shù)為增益因子,并且gamma為冪函數(shù)的系數(shù)。這樣的全局函數(shù)的優(yōu)點在于,人們僅需要編碼少量的數(shù)據(jù),例如可以在發(fā)送每個圖像,或者甚至具有相同圖像特征的相同場景的畫面鏡頭之前發(fā)送gamma和增益。這樣的全局函數(shù)的缺點在于,如果使用它從HDR/16變成LDR/8位(即在比方說200尼特的峰值白色的LDR顯示器上應該很好看的信號),雖然它大約使外觀是正確的(線性地壓縮具有高亮度區(qū)域的HDR圖像的主導行為,是過于壓縮較暗部分,從而使得畫面在LDR顯示器平均看起來黑暗,但伽馬函數(shù)已經(jīng)可以均衡地處置大約兩個區(qū)域:較暗與更明亮的),因為通過較少地利用合適的伽馬形狀來這么做,來校正該畫面的較暗部分中的壓縮。但它只是一個單一的、簡單的函數(shù)形狀。當精密地調(diào)整背景中的某些顏色時,前景對象中相似的顏色可能以對于該對象不那么合期望的方式發(fā)生這樣的改變。同樣當從8位到16位移動時,可以例如把明亮的光置于正確的HDR顯示器的輸出亮度的位置(即正確的Y_16b),但通過這樣做,通過調(diào)整/拉伸伽馬函數(shù),可以例如使較暗區(qū)域比期望的更為明亮?;蛘撸藗兛梢允褂酶鼜碗s的映射函數(shù),像是具有最佳選擇控制點的樣條,但人們?nèi)匀豢梢悦半U將一些中間灰色移動到不合期望的亮度,不要說這也許不是控制圖像的顏色外觀的最簡單方法。問題加劇,因為可以進行例如將原始的HDR場景有損映射到8位的LDR圖像,這可能發(fā)生,例如對于黑暗的樓梯和很暗的對象。盡管原始在要捕獲的場景中,非常暗的對象比樓梯暗得多,但是在8位的圖像中,它可能有對應于至少一些的樓梯像素值的亮度值。即應該有(非常)不同的亮度值的像素現(xiàn)在具有相同的值(或至少像素集合的直方圖可能會重疊它們不應該重疊的地方),但好消息是,它們可以駐留在圖像的不同空間區(qū)域中。對于編碼灰度值的單一函數(shù)操作可以不再區(qū)分這兩種情況。即如果一個人想將非常暗的對象變換為非常低的Y-16B亮度,則一些樓梯臺階會發(fā)生同樣的錯誤(導致例如該臺階的部分區(qū)域的過度對比度變暗),反之亦然。即藝術(shù)家或顏色變換裝置將希望能夠?qū)⒉煌淖儞Q應用到這兩個對象。其他變換類為本地亮度(或一般來說顏色)變換,其對每個像素應用不同的功能。人們可以例如看看像素周圍的遮蔽區(qū)域,并根據(jù)周圍的值是什么來提高一點其亮度,例如,如果它們幾乎相同但略有不同。這樣的一個示例是對象邊緣周圍的峰值,其中,人們希望提升本地像素亮度,稍高于或低于在邊緣附近的步進簡檔(stepprofile)值。在HDR圖像的變換/編碼的示例是JPEG-HDR原理,其中針對紋理使用正常的JPEG圖像,然后協(xié)調(diào)編碼具有針對每個像素的提升因子的提升圖像。它的優(yōu)點是人們可以協(xié)調(diào)編碼作為最終結(jié)果在這樣的圖像中實現(xiàn)的、算法的局部變換期望的任何東西(例如,以第一種方式增加紋理對比度,并且以另一方式增加半全局照明梯度,分級藝術(shù)家可以將其優(yōu)化到如其所愿),然而這是以增加要被編碼的數(shù)據(jù)量為嚴重代價,因為現(xiàn)在對于每個HDR圖像兩個LDR圖像不得不被編碼(與我們上面提到的單個例如LDR容器圖像)。我們甚至可以問一下自己,如果編碼8bit_texture*8bit_boost,僅原始地編碼16位HDR不管是不是更好。現(xiàn)在有一個折中的辦法,因為如果某個提升是合期望的,則它通常對于整個對象是合期望的,如彩色玻璃窗。即,提升圖像中的像素亮度/提升值將不被完全空間地去相關(guān)的,甚至更是這樣,如果人們巧妙地處理/編碼,則它們可以是這樣相關(guān),以致人能更簡化地表示它們。即,可以在函數(shù)方式在參數(shù)上指定它們,甚至就像利用能夠被存儲在協(xié)調(diào)編碼的元數(shù)據(jù)中的單個提升數(shù)字一樣簡單。這將需要編碼對象,或者更一般地,幾何圖像區(qū)域。該分割成塊的簡單的示例是定義塊的網(wǎng)格,然后確定針對每個矩形子區(qū)域的最佳的變換。例如,可以針對如EP2009921[LiuShan等,三菱電機:逆色調(diào)映射方法]中的那些區(qū)塊中的每一個定義一增益乘數(shù)和偏移,或針對每個不同的塊協(xié)調(diào)編碼本地伽馬。這種方法通常很快遭受塊偽像。例如,人們可以得出將被應用到塊BLCK(i+1,j-1)(參見圖2a)并且可能用于超出它的像是高達塊BLCK(i+1,j)而不用于塊BLCK(i+2,j)的塊的不同的最佳增益或gamma比數(shù)據(jù)塊。那是因為,對于前者的塊,可以通過高度數(shù)值化樓梯的最佳外觀來優(yōu)化變換,而對于后者的塊,可以例如通過聚焦在非常暗的對象的能見度標準而優(yōu)化能見度。即使在曲線(即對一些可用像素亮度Y_8b)的一部分中的小的偏差,也可能會導致在這兩個區(qū)塊中背景部分/對象的亮度Y_16b的統(tǒng)計差異的能見度,即導致感知到可視的邊界,因為大腦被訓練成拾取這樣的統(tǒng)計差異,這可能意味著檢測到老虎隱藏在黃色的草地上。當應用一些算法時,可以看到粗糙的網(wǎng)格,它的能見度通過在變換到Y(jié)_16b后對于底層區(qū)域的顏色統(tǒng)計進行時間調(diào)制而增加?,F(xiàn)在還有一種可能的解決這個問題的方法,即可準確地編碼所有對象,并因此保證黑暗前景對象的所有像素獲得其最佳本地變換,并且在該區(qū)域中的所有塊的背景區(qū)域的像素獲得的同樣的變換,該變換給予它們最佳的再現(xiàn),因此沒有視覺塊邊緣。但是,鑒于編碼效率,即再次需要的比特量,這樣做的所有希望會化為泡影,從而驅(qū)使我們走向有義務接受兩個圖像編碼,或者甚至可能是原始Y_16b編碼(也許然后對于向后兼容性,將附加地需要另一個Y_8b編碼)。此外,不僅精確編碼如我們的樓梯的實際邊界涉及很多要編碼的數(shù)據(jù),例如樣條函數(shù),而且分級者時常喜歡讓自己的對象選擇不那么精確,尤其是當需要處理電影中的100秒或1000的鏡頭時。在過去,這種面向?qū)ο蟮木幋a已經(jīng)在MPEG4-2框架中嘗試,但由于若干原因,他們從來沒有成功。不能只提取這些對象,因為一個人不知道自己的空間變化的紋理圖案定義是什么,所以人們被引導來編碼他們的邊界。但是,這一方面導致復雜的編碼結(jié)構(gòu)(相對于基于塊的編碼技術(shù)的普及簡單),諸如例如樣條或蛇形,其次可能需要人工干預以最佳地定位這些蛇形(因為邊界未對準是很多算法的困擾所在,例如缺少一個角件對象),再次,編碼這些邊界曲線需要很多額外的代碼值的。所有這些復雜的因素似乎并不支持在實際的視頻或靜止圖像編碼標準中進行簡單的改動。但發(fā)明人意識到,在特定的HDR編碼的情況中(即之間的第一,如較低的動態(tài)和第二轉(zhuǎn)換時,一個場景,例如高動態(tài)范圍的亮度表示)幾乎總是存在圖像的特定屬性,它確實允許具有準確分割的所有優(yōu)點的編碼,并且還具有只需要幾個比特的額外數(shù)據(jù)優(yōu)點。在圖1的所有再現(xiàn)中(或底層圖像的編碼),總會有區(qū)域的亮度(跨越不同的亮度或亮度范圍)的層次結(jié)構(gòu),比如,窗口總是會成為最明亮的對象。并且,雖然在空間上可能有在左邊的較暗對象,在中間的較亮對象,并還有在右邊的較暗對象,典型地在每一個局部區(qū)域中總是存在是較暗的圖像的一些部分,并且一些部分是亮的(實際上可能有幾個班,也一樣中間的黑色對象,但至少有一些像素是最聰明的,有些是最黑暗的,通常他們甚至有像玻璃窗的凸純色填充結(jié)構(gòu)相對簡單的幾何結(jié)構(gòu))。但要注意的是,即使我們具有在塊中對著明亮的天空的監(jiān)獄條(jailbar)的圖案,那也是沒有問題的,因為所有的監(jiān)獄條都在塊中輕易地識別為具有較暗的像素。還通過多個程序段的分布通常是很容易管理的,即使它需要在塊之間有時沿著掃描路徑重置某些gTS值。對于一個奇怪的情況下,這碰巧將困難,當然可以求助于輔助方法或策略。其原理用圖2a和圖2b說明。在圖2a中現(xiàn)在我們已經(jīng)顯示具有深色木質(zhì)樓梯及其塊子劃分疊加的彩色玻璃照明的我們的圖像。正是在這些塊中例如自動圖像分析算法會分析圖像局部統(tǒng)計數(shù)據(jù),諸如例如局部亮度直方圖(或顯示器再現(xiàn)的、從亮度直方圖推導的,例如在參考色度中的場景表示),并得出一個命題,即通過變換Y_8bLDR圖像來創(chuàng)建Y_16bHDR圖像。例如,它可能會使用關(guān)于典型的圖像將開起來如何的統(tǒng)計原理和知識(如果樓梯已經(jīng)相對暗,則特定的第一映射通??梢允蛊湓贚DR顯示器上過于黑暗,或分級者可以通過檢查它而僅僅測試這樣的情境),然后選擇例如4.3的映射伽馬。這種理想的變換的一個示例示于圖2b中。正如上面所說的,每個像素不必有一個完整的變換功能或算法(代替伽馬函數(shù),人們可以擁有一套程序化的規(guī)則,像是例如計算局部紋理的措施,在亮度的局部變化處而是本地的等,以得出針對一個或多個本地像素的最終亮度值),但我們期望半全局優(yōu)化變換,即通常每個對象或類一個變換。在由數(shù)據(jù)塊BLCK(i-1,j-4)覆蓋的圖像區(qū)域中,我們看到具有包括兩個對象的該塊的在該區(qū)域中所選的本地子場景,即彩色玻璃窗的一部分,并在其周圍的壁(這可以例如有磚或壁紙,其紋理也可以不得不利用良好的質(zhì)量來呈現(xiàn),但為簡單起見未畫出),它占據(jù)不屬于彩色玻璃窗口的塊的那些像素。因為這些對象有很大的不同(針對明亮的室外較暗的像素的逆光成像,不開始解釋,即使該著色劑的玻璃窗口的發(fā)光飽和度的顏色可能需要特殊的處理),我們可能希望應用非常不同的變換以得到諸如例如Y_16b的圖像的新編碼,至少對某些類別的顯示器,該信號是通常所意圖的或至少是有用的。窗口與壁是非常不同的對象,并且特別地,它們被不同地照射。不僅是由任何光線照亮的墻壁(具有任何物理屬性,它本身,諸如BDRF,反射率等)是在房間的內(nèi)部,而且它通常通過反射來自其周期的光而創(chuàng)建其顏色/亮度,特別是它的(多個)主照明源。另一方面,窗口是半透明顏色,因為它直接通過吸收調(diào)制來自外部的光。至少人們愿意看到的窗口在任何顯示器呈現(xiàn)更明亮,但也可能有額外的再現(xiàn)質(zhì)量標準,鑒于此不同顏色的產(chǎn)生機理。這可能是這個人想在HDR顯示器上以表相對暗淡的顯示輸出亮度來顯示墻壁,與LDR將顯示的,或者處于顯示器和觀眾的黑乎乎的觀看環(huán)境中的真實墻壁將會反射的不是太不一樣。另一方面,人們可能希望提高玻璃窗口,它比方說利用不比墻壁的亮度值高得多的亮度值而被編碼LDR圖像中,因為否則LDR顯示器無論如何不能將它們(相對可靠地)顯示在亮度上,該亮度靠近HDR顯示器的可實現(xiàn)色域的頂部某處,即具有高亮度Y_16b坐標。即,不得不利用較暗的墻壁和非常明亮的窗戶構(gòu)建合適的HDR圖像。在圖2b中我們示出另一個示例,其顯示如何處理樓梯,并且示出了總共行為亮度映射函數(shù)TM_BLCK(i,j)以用于所期望的:假若任何可能的輸入亮度Luma_in會出現(xiàn)在該塊的像素,那么HDRY_16b圖像的經(jīng)變換的輸出亮度Luma_out是什么。當然,有些顏色現(xiàn)實中不存在(該塊中沒有彩色玻璃窗),所以我們已經(jīng)用虛線表示它們。相關(guān)的是存在的用于那些范圍的Luma_in的變換函數(shù)。所以本領域技術(shù)人員應當理解,這允許對多個實施例的實現(xiàn),尤其基于期望的通用性或編碼復雜度。人們可以存儲整個函數(shù)TM_BLCK(I,J),其虛線部分被給定某些值(因為這是很容易實現(xiàn)的,如果利用諸如伽馬函數(shù)之類的函數(shù)形式來編碼變換,而且如果該變換被編碼為查找表,并且中間值可能會在它們存在的(多個)圖像的部分中很方便地得出),或者可以在單獨的位置僅存儲子變換,諸如在luma_in范圍RNG_COD_DRK上定義的樓梯所需的部分變換PD_BLCK(i,j),這樣的部分變換縫制(sewing)在一起具有很多優(yōu)點。它們可以存儲在任何地方并且以任何理由。可以理解,部分變換PD_BLCK(i,j)可以被存儲在某個地方(例如,在該圖像的鏡頭的開始處,或者甚至在電影的開頭),作為編碼墻紙的映射行為的大得多的變換,也可以被存儲在它是輕得多的位置,因為它是例如由在其附近的本地燈照亮的。但隨后只從中提取在范圍RNG_COD_DRK內(nèi)的部分(并且例如當將應用亮度映射算法應用到該塊TM_BLCK(i,j)的所有像素時,被存儲在臨時存儲器中)。這種部分變換甚至可以作為例如Internet或其他網(wǎng)絡服務而被遞送,例如,在版權(quán)保護服務中,或只是在提供對于一些對象的更美好的再現(xiàn)的單獨服務中,或在像是游戲等當前運行(on-the-fly)場景中。所以這個示例的TM_BLCK(i,j)顯示了兩個相關(guān)的部分亮度映射,即首先是用于樓梯的PD_BLCK(i,j)部分,其是具有偏移的線性拉伸,與其暗LDR圖像編碼(即Luma_in)相比,該線性拉伸使得該樓梯稍稍明亮,然后稍稍提升對比度,從而使得木頭中的顆粒更可見。其次,存在用于那兒的房間背景的部分變換PM_BLCK(i,j)(它可以在這種情況下可以是一些地板而不是壁紙),它在本示例中是變化的(彎曲的)的拉伸。相同的映射將通常適用于塊BLCK(i+1,j-1)的兩個部分。然而,如果現(xiàn)在我們得出塊BLCK(i+2,j),該映射策略對于背景部分可能仍處理得很好,但是對于具有范圍RNG_COD_DRK中的luma_ins的像素則不行,因為它們現(xiàn)在編碼非常暗的對象。這應當被暗得多地顯示在HDR顯示器上得,即在從LDR圖像映射的HDR圖像中具有較低的luma_outsY_16b。這由較粗的線示出,其顯示用于該塊的新的部分變換策略PD_BLCK(i+2,j),即,在該塊中的不同的新的對象。它有溫和得多的伸展系數(shù),因為它希望將所有非常黑暗的對象的顏色保持為很暗,幾乎不可區(qū)分。因此,我們需要一種新的技術(shù)機制,其允許在各個塊的部分上塊快速改變這種部分映射策略,這實際上對應于真實對象需要不同的最佳再現(xiàn)或分級?,F(xiàn)在的發(fā)明者已經(jīng)意識到,在HDR影像世界(即通常涉及(多個)相同圖像的不同顏色表示之間的映射,例如基于Y_8b到Y(jié)_16b的顏色空間)存在幾乎總是在塊內(nèi)的這樣的部分區(qū)域或?qū)ο笾g的特殊關(guān)系,即,它們的代表性亮度(或亮度或類似表述)是不同的。代表性亮度可能是平均亮度,但通常更嚴格的性質(zhì)是,所述第一對象的最暗的亮度(在塊BLCK(i+2,j)的示例中的背景(地板))淺于/高于在較暗的部分區(qū)域中的像素(在非常暗的對象的這個示例中)的最淺的亮度。即,人們可以通過至少針對該塊(通常超過許多塊)僅僅編碼“區(qū)域微分器灰度值”來劃分這兩者(假設某個掃描方向,例如左到右的Z字形)。該區(qū)域微分器灰度值因此是亮度(或顏色表示的類似亮度坐標,其實人們總是可以重新編碼它以用于圖像的亮度范圍的不同定義,正如人們可以重新定義例如從同一圖像的紋理數(shù)據(jù)的[0,255]編碼到[0.0,1.0]編碼的映射策略)邊界,低于該邊界第一對象被編碼,而高于該邊界第二對象被編碼。并且,雖然在塊BLCK(i+1,j-1)中的樓梯可能需要另一個區(qū)域微分器灰度值,因為這些樓梯包含在LDR圖像中的比=非常暗對象更亮的一些值,原理保持不變。對于包含塊的彩色玻璃窗,順序顛倒并且現(xiàn)在背景是這些塊中最暗的部分區(qū)域,但原理保持不變。有了這樣簡易的區(qū)域微分器灰度值,接收端設備可以完美,像素精確地重建必要的對象。在通用的面向?qū)ο蟮木幋a中,這將是不可能的,因為例如魚可能在其內(nèi)部包含例如藍色的顏色,該顏色在它周圍的海洋中也存在,但在HDR圖像表示問題總是與圖像較暗區(qū)域共同位于某處的具有輕得多的區(qū)域中的一個。這種情況通常會發(fā)生,因為例如那些區(qū)域被不同地照亮,或者甚至是自發(fā)光體,像是燈具。另一屬性是,這樣的(非常)不同的亮度區(qū)域在圖像中是幾何上稍微分離的,即常常在不同的塊中,這允許進一步的優(yōu)化。這是非常暗的對象的示例,其確實是黑乎乎的,像是樓梯,并且甚至可以使用LDR圖像中的(一些)相同的亮度代碼。但是,因為它發(fā)生在不同的塊中,需要優(yōu)化的唯一的東西是表示語義元數(shù)據(jù),其可以像單個區(qū)域微分器灰度值那樣簡單,在本示例中其可以是例如RNG_COD_DRK的上限值。即在接收端上的對象分割模塊(它實際上可以是與在發(fā)送端,或?qū)嶋H上存在于發(fā)送端的裝置為相同類型的裝置,但它通常是一個模塊,其通常得到包含各種所需要的一個或多個區(qū)域微分器灰度值的LDR圖像+元數(shù)據(jù))能夠基于在隨樓梯開始的第一個塊之前它接收的區(qū)域微分器灰度值的值來準確地分割所有相關(guān)對象,并且對所有連續(xù)的塊是類似的。至少這個編碼將被用于包括樓梯的所有塊,即直到在很暗對象所駐留的BLCK(i+2,j)中,新情況第一次發(fā)生。在此塊開始之前,通過發(fā)送區(qū)域微分器灰度值的新值來傳遞該新的情況?,F(xiàn)在同樣在接收端,解碼器被如此重置并被指示新的適當值,以便在此正確地進行分割,正如在完成發(fā)送端上的存儲之前已經(jīng)得到了驗證的。通常編碼器可以與例如可以輕松地允許分級者定義相關(guān)gTS值的軟件連接起來。例如,他可能有一個滑塊來設置值,并且然后看到在偽色(例如紅與綠)中場景的哪些(對于選擇的塊也許是局部)部分被確定為低于或高于gTS?;蛘咚梢源笾逻x擇區(qū)域,并且該設備可以已經(jīng)半自動輔助分級者,分析統(tǒng)計數(shù)據(jù),和例如基于對在視亮度上顯著改變的內(nèi)在區(qū)域的估計而提出gTS的第一值。或者分級者可以迅速地在區(qū)域上涂抹,如彩色玻璃窗里面,和針對與之相隨的gTS已經(jīng)至少選擇起始值,然后他可能會通過各種用戶界面控制器中的任一個來微調(diào)該起始值。而一旦有這些分段,將它們與所需要的變換相關(guān)聯(lián)就是一個簡單的任務。解碼器可以例如標記所有背景像素為“對象=0”,并且例如應用在畫面的開始之前被編碼的全局顏色或亮度映射策略(或者甚至對于一種類型的參考HDR顯示器(諸如伽馬4.0)為默認的)?;蛘呓獯a器(和首先模擬可解碼性的編碼器)可以在特定的塊之前更新要被應用于背景/對象=0的對象的映射。樓梯可以被標記為“對象=1”,并且一些鏈接規(guī)則將映射與那些(分段的)像素相關(guān)聯(lián)。例如默認的規(guī)則可以是,如果新的映射在塊之前被編碼,則該映射函數(shù)(或算法)要應用應用于低于目前的“區(qū)域微分灰度值”的像素亮度。或者映射函數(shù)可以被這樣編碼,例如,適用于(大部分或唯一的)這樣的亮度范圍,以致于它顯然要被用于兩個(或更多)的區(qū)域的較明亮對象。因此,我們只需要一點點額外數(shù)據(jù)來編碼對象,即一次或更多次,這取決于圖像的復雜性,即區(qū)域微分器灰度值。對于具有例如僅一個窗口通往外部的最簡單的圖像,單個gTS可能是足夠的。假若兩個部分區(qū)域之間沒有明顯的亮度不連續(xù),我們甚至可以使用這個策略來微調(diào)映射,例如對于沿背景墻??紙的照明梯度,人們可以使用具有變化的區(qū)域微分器灰度值的這一機制來將有所不同的映射應用于例如較暗的亮部分,以例如修改能見度。若干情境是可能的。針對大部分HDR場景,每個塊將會僅存在兩個不同的光照區(qū)域,并且可以甚至僅由幾個不同的光照區(qū)域,例如2個(假若與對于畫面的剩余部分被滿意地判定的全局映射相比,只有彩色玻璃窗需要不同的映射)。在該情況下,人們將只需要幾次以發(fā)送在塊的像素顏色代碼之間的區(qū)域微分器灰度值(或者相似的編碼,像是例如在與塊的掃描一起聯(lián)合可追蹤的數(shù)據(jù)結(jié)構(gòu)中,在像素數(shù)據(jù)外部)。的確,在彩色玻璃窗的簡單情境中單個區(qū)域微分器灰度值可能是足夠的,即,其可能在包含該場景的店中中的圖像的鏡頭之前被聯(lián)合編碼。在該情況下,分段模塊將理解,在區(qū)域微分器灰度值上的每個亮度被當做是對待/映射為明亮的窗戶。在一些場合中,一個區(qū)段位置可能有超過兩個對象交疊,在該情況中,我們將會有一個比較暗的對象,一個中等亮的和一個較亮的。在那情況中,它們能通過發(fā)送兩個區(qū)域微分器灰度值由相同的原理分段,例如在該塊之前。假若只有較暗的對象是在當前塊(例如具有中間亮度之一)中,并且更輕的對象之一僅僅在幾個塊之后發(fā)生,即然后對于比方說10個連續(xù)塊的順子,人們聯(lián)合編碼這兩個區(qū)域微分器灰度值,則人們也可以做出同樣的處理。只有一個不頻繁出現(xiàn)的場景,其中相似亮度的兩個對象/亮度發(fā)生在同一個塊,即,它們具有許多相同的亮度的像素,這意味著它們不能明確分配給任一對象,或者另有說明,其覆蓋范圍重疊(相當?shù)?,否則,往往也沒有那么有問題)。這將是這種情況,如果黑暗的對象是:1)利用雙重分配的代碼被真實地編碼(即對于我們非常暗的對象不預留例如僅僅三個碼,亮度0、1和2,這些值然后不存在于樓梯中;以及2)這兩個對象都沒有分開,如在我們的示例中,但并置在同一個塊中,例如通常是重疊的。在這種情境下,無論如何,假若內(nèi)容創(chuàng)建者將仍然在意他有那些黑暗的區(qū)域的如此高品質(zhì)的編碼,則我們的編碼器將需要使用回退情境,例如在HDR圖像編碼策略中,而不是通過基于我們目前被教導的元數(shù)據(jù)指引的分割的分段-局部映射來預測整個畫面,我們將需要不同的編碼,例如此外人們可以聯(lián)合編碼正好是直接包含所需的Y_16b值的塊的大小的小圖像,然后在該塊中的像素位置將那些疊加在HDR圖像中。并且人們可以通過使用特定的預留閾值來仍然使用區(qū)域微分器灰度值機制。例如零或-1的區(qū)域微分器灰度值似乎“沒有任何意義”,因為沒有亮度低于它,即,它可能意味著回退(如疊加)編碼策略。除了發(fā)出替代HDR(或其他圖像)編碼策略的信號,像是例如編碼來自視頻的、不是Y_8bLDR而是RAW部分(例如Y_16b圖像)的圖像的一小部分,當產(chǎn)生較高的動態(tài)范圍的圖像時,將被用于替換該圖象的那個區(qū)域(也通常經(jīng)過適當?shù)淖儞Q),人們還可以使用預留值用于其他原因。例如260的區(qū)域微分器灰度值可以指示下列塊是如此難以分段,基于在所編碼的亮度范圍中的一個或多個區(qū)域微分器灰度值(例如,16,200,和240)將是不可能的,而需要另一個分割策略。例如在檢測到這個260的預留值時,接收側(cè)可以將已經(jīng)分割的圖用于至少在當前或更多個分段的塊。即它然后將看看在小的聯(lián)合編碼的分段圖象中,其中對于至少連續(xù)的塊,像素被標記為例如“0”,“1”,或“10”,假若這些是本對象的三種類型。在不再需要此回退分割之后,常規(guī)的基于“區(qū)域微分器灰度值”的算法可以通過例如在第一個數(shù)據(jù)塊之前重新編碼而被重新啟動,常規(guī)分割將把老的非預留值(例如,16,200,和240)再次應用于該第一個塊,或者,像270的另一個預留的gTS代碼可以被用來指示常規(guī)分割-元數(shù)據(jù)編碼被繼續(xù)開始,并且以前的(通常被存儲在接收側(cè)的工作存儲器中)gTS值再一次是適用的。但是無論如何,即使當有時候需要另一針對罕見的非常復雜的情形的回退策略時,我們有非常數(shù)據(jù)-高效的編碼(因為大多數(shù)情況我們只需要映射和在其上需要應用映射的像素上劃分的區(qū)域微分器灰度值,和通常用于精確地指定該鏈路的一些另外的元數(shù)據(jù)(例如變換鏈路規(guī)則:對象=3→使用映射=5)),因為只有非常少的情況我們需要消耗可替換回退編碼的更多位。但是此外,在處理應用中它還是非常多功能的,像例如調(diào)整以用于在不同的顯示器上再現(xiàn)。因為通過我們的方法,我們有以簡單的方式定義的場景的HDR語義,其需要被調(diào)諧以用于朝向不同顯示器。并且鏈路規(guī)則可以是動態(tài)的,例如可以存在許多被存儲的規(guī)則。例如可以通過取決于例如哪個輸出HDR圖像顏色表示將被映射到(例如,Y_16對Y_10b)或其將用于哪個顯示器(例如5000尼特HDR顯示器,或50000尼特HDR顯示器、或1500尼特HDR顯示器)等的結(jié)果的不同映射而進一步填滿映射=5。并且本領域技術(shù)人員應當理解,可以以各種方式實現(xiàn)該編碼,例如通過不同的規(guī)則,例如改變在初始化處的從“對象=3→使用映射=5”進入“對象=3→使用映射=7”的鏈路規(guī)則,或者通過取決于特定的輸出HDR圖像產(chǎn)生不同分段代碼的分段模塊,或者通過參考另外的細節(jié)(類似指向不同算法或LUT或在不同的等式的列表中的條目的開始的可變指針等)。這也允許例如針對容易的用戶接口命令處置,諸如例如用戶控制的場景的“整體視亮度外表”的修改,其能通過重新分配各種新的映射函數(shù)到不同的場景對象而實現(xiàn),所有對象/灰度值域在特定的映射關(guān)系(例如彩色玻璃窗可能大部分是未經(jīng)修改的,因為它已經(jīng)亮了,也許相比于圖像的剩余部分進一步被變亮,以便不會由于與圖像的剩余部分的亮度比而損失太多的HDR外表,但周邊空間內(nèi)部可以變亮,因為它是主要影響圖象的視亮度外表的該平均視亮度部分;當變暗顯示器時反之亦然,因為例如用戶把它視為令人不舒服的光亮)中被視亮度修訂。然后,僅覆蓋部分需要被區(qū)別對待,但如果它是太困難的和關(guān)鍵的,可能無論如何需要復雜的再現(xiàn)處理。因此,內(nèi)容創(chuàng)建者在例如什么被變亮和如何被變亮方面有更好的發(fā)言權(quán),因為變亮不需要是簡單的偏移或乘法,但可以是平衡子區(qū)域的視亮度的復雜策略(例如將某個百分比的像素限幅為白色),其在色域受限顯示器情景中通常是智能的,其中當前的算法可以導致偽像。在圖6的接收側(cè)家用系統(tǒng)中圖示了另一非常方便使用的預留分段劃界閾值。這里電視602接收信號SB,例如來自通過空氣的電視站。其在元數(shù)據(jù)中包括METB,和(多個)HDR設置規(guī)范代碼SET_HDR,其以各種方式(但是典型地作為在一連串圖像的開始處的元數(shù)據(jù))被聯(lián)合傳送,并且指定顯示器在此后應如何運轉(zhuǎn)。有趣的SET_HDR代碼可用于HDR和LDR再現(xiàn)之間的切換,回退例如以節(jié)約電力,因為我們當前流式傳輸例如演播室新聞節(jié)目,其不需要HDR電影效果的最大量。所以,例如在其之前的商業(yè)或電影與消息之間,“render_LDR”的SET_HDR代碼可以被傳輸(或在例如家庭硬盤記錄器或互聯(lián)網(wǎng)網(wǎng)絡化的視頻存儲服務器上存儲的視頻節(jié)目中被聯(lián)合編碼),其意味著從其上朝向HDR顯示器將以例如僅500尼特的最大白色視亮度(盡管其具有5000尼特的峰值視亮度能力)再現(xiàn)?,F(xiàn)在作為我們的當前公開的發(fā)明的實施例,人們通過設置區(qū)域微分器灰度值gTR等于255可以容易地這樣做,其表示以下的所有亮度(即,8位圖像中的所有可能的亮度)需要利用相同的映射來處理,其可以例如是與圖像聯(lián)合存儲的,或者預存儲在顯示器伽馬映射中,其然后再現(xiàn)任何事物到最大500尼特。例如,人們可以使用劃分哪些灰度將被再現(xiàn)的gTS值、或許被變暗,以及在其之上所有的灰度可以被限幅成相對暗的變暗的白色?,F(xiàn)在重要的是理解存在兩種映射/變換以應用到亮度(或類似的光照相關(guān)的編碼)。首先是簡單數(shù)學“硬件相關(guān)”映射,其只是針對特定觀看顯示器和環(huán)境而修正。例如,如果圖像針對伽馬2.2CRT(參考顯示器)被編碼,但是被顯示在具有S形光電傳送函數(shù)的LCD上,則顯示器自身能夠使用基本的色度數(shù)學以對其修正,從而使得LCD再現(xiàn)圖像,如同其是參考CRT。類似地,人們可以利用簡單數(shù)學針對觀察環(huán)境特性進行大幅地優(yōu)化。首先當然,當縮放到較暗的再現(xiàn)時,人們需要降低與圖像編碼相關(guān)聯(lián)的參考視亮度。這已經(jīng)通過將最大代碼值(例如255)映射到再現(xiàn)顯示器的峰值視亮度而大部分實現(xiàn)。然而,還能夠更復雜地實現(xiàn),例如圖像的亮度的特定子范圍能夠被分配到顯示器的再現(xiàn)的亮度的特定范圍。但是典型地還必須應用伽馬修正,考慮將這樣的事情作為對比度的改變,該對比度取決于再現(xiàn)的圖像和其周圍的亮度。這給出相當可接收的結(jié)果,如果光照范圍信息內(nèi)容(即在各種呈現(xiàn)子范圍上的信息的編碼)在兩個系統(tǒng)中是相對類似的,不過當呈現(xiàn)范圍非常不同時是困難的。為了達到非常窄的動態(tài)范圍,人們必須決定哪個子范圍仍然必須以什么質(zhì)量(即典型地以哪一個內(nèi)部對象對比度和哪一個內(nèi)在對象對比度)來顯示,并且時常地重疊范圍由映射算法生成。其它方式甚至更加困難。如果我們僅有幾個壓縮的對象范圍,將難以判斷把它們放入輸出HDR呈現(xiàn)范圍的哪里,更不必說發(fā)明新的亮度/呈現(xiàn)值。從LDR映射的圖像生成良好、自然的HDR圖像將變得甚至更加困難,在該LDR映射的圖像中場景亮度不相似對象的8位亮度范圍已經(jīng)被不適當?shù)鼐幋a,彼此重疊(像當模擬非常均勻的照明時,破壞原始場景照明的所有或足夠的信息)。對象像素的灰度值(或一般而言,顏色)的所有其它變換可以被看做一般的變換,其可以是局部的而不是全局的,其典型地由藝術(shù)家(針對如果以上用于不同觀看情景的簡單數(shù)學校準不夠精確,他甚至可以修正)完成。藝術(shù)家可以做非常復雜的藝術(shù)分級,其中他們例如改變在畫面中的云中存在的不同亮度,以使得風暴看起來更加險惡?;蛘咚麄兩踔量梢允褂糜嬎銠C圖形渲染效果,以使得光線束從機器人的眼睛出來,如由期望的像素亮度/顏色所表示的。針對我們的討論,我們能夠以兩個典型的情景作為示例。要么在對象像素灰度值(顏色峰值分級)的亮度范圍上的所有重要定位已經(jīng)被在主HDR圖像(IM_MSTR_HER,參見圖4,其可以是例如具有特定定義伽馬的16位圖像)上完成,要么LDR圖像(Im_1)僅僅通過在該主HDR上簡單的數(shù)學變換(像例如伽馬函數(shù),其伽馬因子基于如HDR圖像的直方圖這樣的特性而被調(diào)整)推導出,即HDR到LDR的轉(zhuǎn)變僅僅是灰度值的簡單合適移動(典型地在不過大的偏離上),使得所有信息相對精確地被包含,無論是否在不同的編碼策略中。在這種情況下,將在HDR顯示器上再現(xiàn)的最終HDR圖像能夠通過應用該反向數(shù)學映射策略而從LDR圖像推導出來?;蛘?,人類分級者520可以可替換地基于從作為主HDR圖像IM_MSTR_HDR中被編碼的主分級開始的而被進一步最優(yōu)地調(diào)整的分級來推導LDR圖像(即,他例如以[0,1.0]圖像開始,猶如它是LDR,并且根據(jù)他的無論什么品味在色度上自由地開始變換它)。即,在該情境中,存在用于在HDR圖像IM_MSTR_HDR中的HDR再現(xiàn)系統(tǒng)的最優(yōu)外表的編碼以及用于LDR系統(tǒng)的另一最優(yōu)外表兩者,在被分級的LDR(例如,有利地,8位)圖像Im_1中被編碼。雖然我們的方法適用于針對像素顏色的第一和第二顏色空間定義之間的對象(典型地具有各種位深度和/或意圖的顯示器峰值視亮度)的任何顏色或亮度變換(所需要的唯一事情是在至少一個顏色表示/圖像編碼中的較亮和較暗區(qū)域之間存在良好順序關(guān)系),但是,我們將集中我們的范例在第二類型的示例上。即,分級者可以已經(jīng)指定許多精細調(diào)整的顏色映射,即具有用于(多個)圖像的各種子對象或區(qū)域的通用的luma_in到luma_out的函數(shù)形狀(例如,如LUT),在我們的策略中其將被轉(zhuǎn)換為一系列(一個或多個)的區(qū)域微分器灰度值(gTS)、許多變換函數(shù)或算法,以及典型地還有將可獲得的分段與將被應用的轉(zhuǎn)換進行鏈接的一個或多個鏈接規(guī)則(例如,如果存在三個連續(xù)的區(qū)域微分器灰度值,則在第一gTS1之下的對象可以被分段為“0”,在gTS1之上分段為“1”,并且然后如果第二gTS2是可應用到相同集合的對象(即相同亮度范圍)的較高值,則在gTS2之上將是分段“2”,但是下面的亮度已經(jīng)屬于“1”。如果gTS2只是較暗或較亮對象的重定義,像在我們非常暗的對象示例中,則閾值以上的亮度將在兩種情況中都是分段“1”背景,但是較低的亮度將分別是分段“0”和分段“2”。如果關(guān)系是清楚的,不需要另外的數(shù)據(jù)被聯(lián)合編碼,但是典型地可以存在解釋區(qū)域微分器灰度值的意義的一些另外的元數(shù)據(jù)。例如,定義區(qū)域微分器灰度值的類型為“further_demarcation_in_same_luma_range”或“modified_demarcation”等可能完全是足夠的。但是針對更復雜的情況,以及的確因為不需要這么多的附加數(shù)據(jù),編碼器可以選擇總是像這樣做,人們可以利用例如分段值分配規(guī)則而只聯(lián)合編碼針對每種情形必須被完成的東西,例如“如果亮度<gTS1→對象/分段=0”,如果“亮度>gTS2→分段=2”等。以這種方式人們保證不發(fā)生任何可能的錯誤解釋和導致不正確的轉(zhuǎn)換。圖3闡明了如何編碼以上實施例的一個可能的有利示例,適應當前圖像編碼技術(shù)的框架,諸如例如像AVC的MPEG視頻編碼標準,或類似物。可以從在全局標頭(每個畫面,或用于畫面示例的鏡頭的第一畫面)中放置一些元數(shù)據(jù)開始,其是典型地對主導的變換是有用的。例如,對于簡單的鏡頭,在此編碼要被應用到大多數(shù)的畫面的第一映射Glob_TM1以及要被應用到一些,例如更亮的區(qū)域的第二全局映射Glob_TM2,可能就足夠了。第一映射可以應用于圖1的我們的房間(即一切作為背景、樓梯和非常暗的對象),然后在第二映射可應用到照亮/提升彩色玻璃窗。并且借助于該編碼區(qū)域微分器灰度值gTS_glob,這兩個對象之間的差異很快在接收側(cè)被發(fā)現(xiàn)(典型地該窗口在Y-8b的LDR圖像中將具有比對象的剩余部分高(得多)的亮度,但如果沒有這個元數(shù)據(jù),自動地確定可能是非常困難的)。如果人們在室內(nèi)旋轉(zhuǎn)攝像機,可能例如彩色玻璃窗開始變得更加明亮,因為有更多的陽光照射通過。這可以通過針對鏡頭中的連續(xù)圖像逐漸改變Glob_TM2和可能地gTS_glob來編碼。這允許例如保持Y_8b圖像中的彩色玻璃窗的編碼在連續(xù)圖像上為相同的(例如,使用可能最好的代碼分配以保留彩色玻璃上的繪畫中細節(jié)的最大量),因為人們可以通過改變映射Glob_TM2(即光照改變是在功能轉(zhuǎn)換中而不是像素化紋理顏色編碼中)來提升窗口的視亮度。然后許多數(shù)字像素數(shù)據(jù)塊被編碼,例如通過DCT。如果全局編碼對于整個圖像是足夠的,則所有的像素數(shù)據(jù)遵循全局標頭,直到鏡頭或甚至電影限幅的結(jié)束。然而,我們假設在本例中,我們有更復雜的情境,其中圖像中的某處,在特定塊(i-1,J-2)之前開始,我們必須開始做本地轉(zhuǎn)換。即典型地我們?nèi)钥梢允褂靡恍┤缫呀?jīng)在Glob_TM1等中編碼的全局轉(zhuǎn)換知識,例如,用于轉(zhuǎn)換壁紙的背景像素,但是我們必須為至少一個局部的新對象做新的轉(zhuǎn)換。即一些轉(zhuǎn)換策略將在本地重新定義,例如重寫。在該示例中,本地元數(shù)據(jù)Loc_MET_1包含用于劃分gTS_L_loc_1上的較亮部分的新的策略,例如因為在那里存在一個像光的較亮的對象。還存在用于確定一個或多個暗對象(S)gTS_D_loc_1的區(qū)域微分器灰度值被聯(lián)合編碼。在該示例中,光對象仍能夠利用用于光區(qū)域的當前可用的和可應用的變換而被充分地變換,但是新的映射Loc_TM_DK被編碼以用于變換暗的對象(例如,這里樓梯第一次出現(xiàn),并且我們已經(jīng)知道如何變換窗和壁紙,但是還不知道如何變換暗樓梯)。變換鏈接規(guī)則LnkRL_1的示例也被聯(lián)合編碼,該規(guī)則規(guī)定,低于暗對象區(qū)域微分器灰度值gTS_D_loc_1的亮度利用用于樓梯Loc_TM_DK的變換而要被映射。該信息又是足以用于許多連續(xù)的塊(或一般地,通用定義的形狀),包含背景或樓梯,直到我們在塊(i+2,j)之前結(jié)束,其中我們必須對允許對非常暗的對象進行分段的區(qū)域微分器灰度值gTS_D_loc_2及其映射策略Loc_TM_DK_2進行編碼。DAT_TM給出數(shù)據(jù)的順序,諸如例如沿著掃描路徑的塊的空間的(或傳輸中的時間的)順序,如從圖像編碼眾所周知的。雖然我們僅描述了散布的示例,但是我們還意圖覆蓋在其中元數(shù)據(jù)被從像素塊數(shù)據(jù)物理地分離,然而可以與特定塊定位相關(guān)聯(lián)的系統(tǒng)。雖然一些視頻編碼結(jié)構(gòu)可以完全包含上述的示例(因為他們已經(jīng)具有被隨意使用的專用或通用的元數(shù)據(jù)存儲器占位符,其它視頻編碼結(jié)構(gòu)可能不具有足夠的元數(shù)據(jù)存儲器以存儲所有事物,或者如果一些數(shù)據(jù)被散布地寫入,則通過攪亂舊系統(tǒng)而失去后向兼容性。因此,其他等效的實現(xiàn)可以在信號(例如,在盤上的電影的開始處,或在廣播期間的定期間隔處等)的分立部分中編碼所有元數(shù)據(jù)(gTS等),然后通過與特定塊或其它區(qū)域的幾何關(guān)聯(lián)的代碼的方式使得該數(shù)據(jù)可關(guān)聯(lián)。最簡單地做到這一點的方式是在數(shù)據(jù)之后寫入塊的數(shù)目(以及潛在的還寫入圖像數(shù)目、電影/內(nèi)容數(shù)目等),例如像:“gTS1=230/ImageNr/TimeCode=2541,Block_loc=(X=20,Y=12)”。該分立的元數(shù)據(jù)部分,甚至可以例如駐留在不同信號中,并通過不同的方式供應,例如電影放在播放器中的藍光上,但是元數(shù)據(jù)“解釋”它像(多個)區(qū)域微分器灰度值是從在例如互聯(lián)網(wǎng)上的網(wǎng)絡化存儲(例如允許改進的HDR再現(xiàn)的專用服務)檢索的。圖4示出分段將典型地看起來如何,在其中我們還解釋了例如彩色玻璃窗如何在子區(qū)域中被子劃分,其將是有用的,例如,如果下面部分較少明亮的照亮,例如由于外側(cè)部分屏蔽一些光。在這種情況下,新的分段類型SEGM_TYP_2將導致,例如分段=“5”。我們現(xiàn)在理解到,通過與最優(yōu)地確定的區(qū)域微分器灰度值的簡單比較,分段規(guī)則如何可以容易地生成不同光照(典型地在HDR場景中的不同光照)的對象,其可以被精確的分段,不考慮其與塊的關(guān)系。因此人們可以以塊為基礎編碼所有其它有用的數(shù)據(jù),諸如當前要使用的映射,同時結(jié)果仍是應用對象精確的,即沒有任何暈圈或塊偽像等。我們想要多說一點關(guān)于gTS值。我們已經(jīng)提到,它們可以被定義而不考慮被使用的任何技術(shù)亮度編碼,例如,人們能夠在伽馬2.2YCrCb顏色空間中使用亮度gTS值,或在對圖像顏色進行XYZ編碼時使用亮度Y微分器值等。這留下有趣的問題,即gTS值是定義在第一還是第二圖像(例如,初始或最終圖像)的參考顏色空間中。如果使用被映射的LDR表示來編碼HDR主分級,將通過從該LDR圖像映射的亮度提高來恢復該HDR圖像。所以沿著LDR圖像編碼亮度軸定義gTS值將是有意義的,雖然在通常的情況下,原則上人們還可以沿著HDR亮度軸指定它們,因為經(jīng)由HDR恢復映射函數(shù)的反向,那些基于HDR的gTS值可以被轉(zhuǎn)變?yōu)榕c基于LDR的gTS值等價。典型地元數(shù)據(jù)將在視頻編碼開始處指定哪個定義是適用的?,F(xiàn)在,讓我們鉆研更深一點,關(guān)于在某些情境下基于LDR的gTS值能夠發(fā)生什么。原則上人們可以具有從主HDR到第二,LDR圖像的映射,該LDR圖像(略)重疊區(qū)域的亮度直方圖,其在原始HDR圖像中是分立的(例如樓梯的一些較暗部分可以獲取還在非常暗的對象中發(fā)生的LDR中的亮度)。然后,我們可以指定gTS微分器中間的重疊直方圖尾,或者在更好的亮度位置處。雖然原則上當提高時可能存在問題,針對若干映射策略這不必是問題,特別是如果它們在重疊周圍具有相對光滑的行為(即不提升象素間對比度)。然而,我們將在下文限制我們自己到通常應當具有在LDR和HDR圖像二者中分立的直方圖。各種裝置實施例可以被約束到考慮該約束,例如,通過限制分級者可以選擇的HDR到LDR映射的選擇等。這對于非壓縮的(其意味著像頻率技術(shù)(像DCT)的心理視覺空間壓縮,而不是亮度子范圍的壓縮)編碼將是容易的。針對壓縮編碼,我們對于像是例如來自不完整的DCT編碼的棋盤結(jié)構(gòu)的問題必須多一點小心。雖然這種需要在實踐中并不總是問題,但是有時偽像在視覺上可以變得更加嚴重,例如看起來像更多噪聲的區(qū)域。特別地,如果在原始未壓縮的LDR中樓梯和背景直方圖是分立的(或許是接觸的,或者其間有一些未使用的代碼),這可能發(fā)生,但在DCT基礎分解后,恢復的信號會有來自較亮周圍的一些較暗棋盤斑點,其落入分配給較暗樓梯的子范圍中。如果人們還有一個色調(diào)映射曲線,其沿著樓梯和背景之間的gTS值嚴重地拉伸(例如具有兩個色調(diào)映射部分之間的大偏移的不連續(xù)函數(shù)),那么這可能是因為那些斑點在至少靠近樓梯的背景中變成顯著的較暗。各種裝置(或方法)實施例可以以若干方式處理這些,并且特別地,用戶接口可以給分級者提供不同的方式與編碼行為進行交互并指定該編碼行為。首先,他可以使色調(diào)映射曲線較不陡峭,并且該裝置可以要么最初向他提供僅不太陡峭的映射的選擇,要么通過提供分級者僅針對其中他判斷偽像太嚴重的區(qū)域而重指定該映射,可以迭代地(至少一次迭代)修正那些。同樣,該映射可以是使得存在一些備用代碼。特別地,人們可以利用兩個gTS值很容易地定義這樣的行為。圖7示意性圖示了這種情境。在該圖中Luma_in將是HDR圖像的亮度,并且其對應LDR編碼的luma_out,我們將例如通過傳統(tǒng)MPEG編碼器發(fā)送它。在HDR圖像中,亮區(qū)具有距暗區(qū)遠遠分離的明亮度/亮度,其從它們沿luma_in軸的分離示出。從理論上講,我們可以設計一個映射,其使得它們沿著Luma_out(LDR)軸接觸,但現(xiàn)在我們設計了一個映射,其在它們之間留下空白代碼的一些范圍ProtRng。這些代碼不應該在LDR編碼內(nèi)存在,但在DCT的解壓之后,棋盤的一些較暗部分可以落入該ProtRng中。然而,解碼器能夠識別這一點,并從該信號將它們移除,例如,通過將它們限幅到亮范圍內(nèi)的最低Luma_out值,先于執(zhí)行亮度提升以恢復HDR圖像。利用該原理,我們甚至可以減少該保護性范圍ProtRng,甚至到這種程度,即DCT解壓后一些代碼可以落入LDR圖像的暗范圍,并且通過暗映射MapDrk而不是那些像素的修正映射(即亮映射MpBrght)的反向而被映射(潛在地遠離HDR圖像中的亮范圍)。但這樣的DCT偽像通常具有結(jié)構(gòu),其越過幾個中間值到棋盤中最黑暗的斑點。所以解碼器可以例如從塊中的一些不正確的值中檢測可能存在的潛在的問題,并且在DCT解壓后但先于將這樣的值亮度提升到LDR圖像的亮范圍中的值(即使那些像素實際上是來自暗對象中的像素)改變,只是為了安全起見(稍微不正確的HDR效應,但是還沒有強的潛在偽像)。該編碼器可以使用預留代碼以用于該“限幅到范圍”(0或1)以指示這是否應當應用于塊,或其是否它應當被單獨留下并且只是被提高,以及分級者可以通過例如利用他的鼠標點擊它們或?qū)τ谙嚓P(guān)的問題塊的集合亂寫一氣來指示有問題的塊。雖然解碼器可能不知道其中的差別,但是編碼器能夠具有原始信號和確定該問題是否能夠發(fā)生的所有信息,所以可以存在偽色模式,利用該偽色模式分級者可以在顯示為例如亮飽和紅色的不正確的像素與在HDR圖像的(不正確)重建之后的實際顏色之間反轉(zhuǎn)。若干其他(交互性)選項也是可用的,例如,編碼器可以對分級者選擇為有問題的塊使用更多的DCT的代碼字,或者相反地較少的DCT塊,使得仍存在較低的頻率誤差,但是假若這給出更好的最終外表,則迅速棋圖案被移除?;蛘呃缒軌蜃龀鰧υ紨?shù)據(jù)或DCT系統(tǒng)的小的改變,例如,副模式在DCT編碼之前可以應用到LDR塊,使得最低棋盤值不再落入暗LDR范圍等。圖5示出在內(nèi)容創(chuàng)建側(cè)的可能的分級裝置510的示例,其由分級者520控制(技術(shù)人員將理解到我們的發(fā)明的同一實施例實現(xiàn)將如何應用在例如數(shù)學的基于色度的自動化轉(zhuǎn)碼裝置或任何其它實現(xiàn)中)。在分級裝置510內(nèi)部是用于編碼高動態(tài)范圍場景的圖像的圖像編碼器549,該圖像可以已經(jīng)在先前被捕獲,例如通過賽璐珞膠片或電子數(shù)碼相機系統(tǒng),可以已經(jīng)對其增加特殊效果,并且在視頻的情況下其可以是最終時間組合序列中的圖像。圖像編碼器(我們現(xiàn)在為了簡單起見假設其是象IC的單元,但是其可以是軟件套裝,其中一些組件可以甚至運行在遠程服務器上等)典型地可以包括各種子組件(典型地在軟件控制下,允許分級者選擇參數(shù)),并且將典型地包括像素紋理編碼單元552的一些變型,其被設置成根據(jù)特定定義的圖像表示(Im_1)編碼圖像的像素的顏色,例如通過N位代碼字的亮度,像是例如8位或10位或12位碼字,和像是Y_Cr和Y_Cb的色度編碼。因為已經(jīng)存在若干編碼變型,從VC1、VP8以及相似的MPEG類編碼,到甚至不太常用的分形編碼器不等,所以我們將不需要進一步闡明那方面。然而,還包含圖像分析單元550,其能夠應用更簡單或更復雜的圖像分析。在如示出的示例中的這樣的專業(yè)分級裝置典型地是可用的大量的軟件實施的算法,給予分級者在圖像上幾乎完全的控制,既當希望研究其性質(zhì)和組成,又當希望任意地改變它時。他可以例如使用吸管以采樣特定顏色(并且然后通過例如選擇采樣顏色周圍的適當色度邊界,能夠從該采樣像素顏色定義典型的“對象顏色”),或者查看信號波形或直方圖或區(qū)域的其他表示(例如,系統(tǒng)可以將亮度的子范圍映射到區(qū)域的頂部上,例如通過偽顏色)。他可以例如(暫時地)變亮特定區(qū)域,以便更清楚地在視覺上檢查其在一個或多個參考顯示器530上的紋理。典型地,他能夠應用許多圖像過程,像銳化區(qū)域,或應用照明效果,或另一效果。他可以通過利用套索在對象周圍繪制邊界以劃分對象等。現(xiàn)在典型地圖像分析單元將至少將對象轉(zhuǎn)換為區(qū)域微分器灰度值(gTS),或者換言之,與至少確定的與gTS相關(guān)的對象相關(guān)聯(lián)。它可以例如確定所選擇對象區(qū)域的直方圖,并確定它包含的最小亮度值比周圍區(qū)域(例如,整個圖像)高。可以包括交互處置,例如分級者可以首先變亮該區(qū)域,使得現(xiàn)在其新的最小值比圖像的剩余部分,或幾何上涉及對象的相關(guān)部分的最高值高(例如在對象邊上)。該區(qū)域微分器灰度值gTS將被輸出到格式器554,其能夠(還遵從一些(傳統(tǒng)的或新穎的)圖像編碼標準的規(guī)則)在輸出圖像信號(S(Im_1,MET(gTS))中聯(lián)合編碼圖像表示(Im_1)和區(qū)域微分器灰度值(gTS),典型地后者以預先商定的文本元數(shù)據(jù)格式。例如該圖像信號可以被燒錄到藍光盤511上,或者保存到一些其他存儲器,像是網(wǎng)絡服務器的盤或固態(tài)存儲器,或在信號傳輸連接的實時發(fā)送圖像信號等。對本領域技術(shù)人員應當清楚的是,雖然我們在當前的物理構(gòu)造中描述了該功能性,但是其它的實現(xiàn)是可能的。典型的當在分級裝置上分級時,分級者將同時使用其亮度映射確定單元553以確定用于至少一些對象(其他對象則當然也具有變換,可能是恒等變換,但是該變換可以是例如默認的,像是預定義的,或由再現(xiàn)顯示器選擇的,等)的亮度映射(TOM)。他將在如編碼在第一圖像表示(例如,輸入Y_16bHDR圖像)中的像素亮度和第二圖像表示(例如,LDR圖像Im_1),或其他方式中的像素的亮度之間定義映射。亮度映射確定單元553自身可以數(shù)學地確定映射函數(shù),例如作為初始建議將其提議給分級者,通過查看例如HDR圖像的各區(qū)域的視覺特性,以及它們?nèi)绾稳匀荒軌蚝侠淼乇硎驹贚DR編碼中。這可能會導致應用例如S形曲線或多分段映射,其具有例如通過分離全局直方圖的特定子瓣,或諸如臉部檢測之類的圖像理解,或其任何變形而確定的膝蓋和肩膀的曲線。然后分級者可微調(diào)此功能,例如,通過移動或彎曲S形的肩部。在我們的方法中,他可以做到涉及gTS值的這一點。例如,分級裝置可以已經(jīng)定義了重要灰度值(例如999),其可以是用于例如多分段映射曲線的部分的控制點,但是然后分級者可以改進這一點,例如移動它使得對象(像是例如樓梯)的更相關(guān)的部分現(xiàn)在由部分亮度(/色調(diào))映射來變換。我們將進一步通過圖8的示例來圖示一些方面。如已經(jīng)提到的,我們可以僅僅在編碼方法中使用我們的方法,例如,在其中HDR圖像應當經(jīng)由被編碼的、傳統(tǒng)的可用LDR圖像(LDR容器)而被編碼。在該情況中,典型地將僅存在用于兩個圖像之間的映射的一些固定的函數(shù)。然而,通過圖8我們描述了我們的系統(tǒng)如何能夠與gTS值一起被用在顯示器可調(diào)性的另外情境中,其中針對不同的顯示器確定另外的分級,不管該信息是否已經(jīng)全部被分級(即分級者至少檢查這種轉(zhuǎn)換將如何觀察多個非常不同的參考顯示器,像HDR、具有小動態(tài)范圍的子LDR)并且被編碼在圖像信號中典型地作為要被應用到一個或多個紋理圖像(Im_1)的各種函數(shù),還是是否只存在被編碼用于良好的外表HDR分級并可能是良好的LDR分級的數(shù)據(jù),并且在再現(xiàn)側(cè)顯示系統(tǒng)(例如顯示器或計算機)正在基于該數(shù)據(jù)和我們的gTS值確定至少一個另外的分級以用于例如中間動態(tài)范圍顯示器MDR。在該圖中,我們使用絕對值(absolute)的最終亮度表示。Luminance_in可以是如同它會在例如一些參考顯示器上顯現(xiàn)那樣而定義的輸入信號,并且luminance_out可以是在具有不同亮度能力的各種實際顯示器上的輸出再現(xiàn)亮度。我們假設較低亮度對象基本上是被正確地編碼并因此被再現(xiàn),所以顯示器(DIS1,DIS2)二者將使用相同的色調(diào)映射TM_FDrk,這可以是恒等變換,或一些對比度拉伸?,F(xiàn)在上述gTSh1啟動圖像中的亮區(qū),并且存在兩個亮區(qū)(例如,被高達gTSh2的落日照亮,以及被gTSh2以上的強足球場照明照亮)。顯示器1可以具有非常高的峰值視亮度,所以我們有許多空間用于分配其明亮的子范圍到不同的視覺照明類。第一明亮處理色調(diào)映射TM_TBri1_Dis1可為明亮的顯示器相當大地拉伸原始數(shù)據(jù),使得該區(qū)域看起來恰好明亮且對比強烈。第二明亮處理色調(diào)映射TM_TBri2_Dis1甚至可以偏移該區(qū)域到非常高的再現(xiàn)亮度,使得該區(qū)域視覺上與由太陽照亮的部分非常不同,例如體育場照明確實看起來非常刺目。該分辨可以很容易地利用gTS值完成(例如,在該線性映射的示例中,他們甚至可以參數(shù)化映射函數(shù))。對于具有較小峰值亮視亮度的顯示器,例如確定最終映射的計算機可以針對由gTS值確定的各個區(qū)域做一些其他事情。例如,它可以用對比不那么強烈的映射函數(shù)TM_Bri1_Dis2來處理較低明亮,從而仍存在一些空間留給體育場光照點亮區(qū)域,然而,其需要利用函數(shù)TM-Bri2_Dis2進行軟限幅。該亮度映射(TOM)最終被格式化器554聯(lián)合編碼成輸出圖像信號(S(Im_1,MET(gTS),TOM),根據(jù)商定的圖像信號定義規(guī)范。同樣,這樣的映射可能在原則上從使用任何第一顏色編碼規(guī)范確定用于任何第一參考顯示器的任何第一圖像(特別地具有任何輸出亮度動態(tài)范圍)映射到類似的任何第二圖像編碼(特別是具有較高或較低的峰值視亮度,更小或更大的動態(tài)范圍等),只要它被清楚地指定并且被接收側(cè)同意。典型地根據(jù)本實施例的概念,圖象編碼器549被設置成智能地聯(lián)合編碼所選擇的(多個)區(qū)域微分器灰度值(gTS),其對于從高視亮度的區(qū)域劃分平均視亮度的區(qū)域是有用的,即,例如低于某一百分位的亮度直方圖和某個百分比的最高值的部分,特別是當由未使用的代碼(或基于再現(xiàn)亮度的類似定義)分離時。因此這對于HDR場景的編碼非常有用,在任何格式/顏色空間中該圖像將最終以至少一個版本(例如Y_8b或Y_10b,或Y_16b,并另外的定義,像是意圖的白色亮度、黑色、伽馬曲線,等)被編碼,因為這些HDR場景典型地不具有類似的場景對象亮度,并且因此不具有相機捕捉后的圖像亮度,鑒于由照明設計者使用的均勻照明,如在LDR生產(chǎn)中,但是它們具有非常不同的照明區(qū)域。并且gTS值可以適當?shù)谋碚髂切﹨^(qū)域。因此,基本上分級者只是將他的經(jīng)典操作應用于(多個)圖像上,像是對象選擇,從而為該對象等的不同部分(典型的亮度子范圍)定義最佳映射曲線,并且編碼器549把它轉(zhuǎn)換成本發(fā)明的實施例中的參數(shù),諸如區(qū)域微分器灰度值gTS。我們已在圖5中利用家庭娛樂內(nèi)容制作系統(tǒng)闡明了本發(fā)明,例如經(jīng)由連接器581可以訪問視頻服務器580,其包含視頻文件,諸如比方說一些電影或電視秀(show)的主HDR分級IM_MSTR_HDR,其是在制作該電影或秀時被制作的,作為最終的參考分級。然后它將被轉(zhuǎn)換成家庭影院分級以用于家庭版本發(fā)行,被編碼例如為一個8位MPEG-AVC圖像Im_1,以及根據(jù)給出的實施例中的任一個的元數(shù)據(jù)。當然,編碼器也可被并入其他系統(tǒng)、裝置或使用情境中,例如,用于從通過(例如,無線)圖像/視頻連接505來自相機501的原始相機信號直接確定一個或多個主分級,或者用于重新灌制,等。圖6示出一個可能的接收側(cè)系統(tǒng)的實施例,即家庭消費圖像或視頻再現(xiàn)系統(tǒng)。電視602可以直接接收第一視頻(或圖像)信號SB(IM_1,MET),例如通過空氣。該示例視頻饋送已經(jīng)在上面解釋,并且使用一連串圖像(典型地是從一個內(nèi)容到另一個,或節(jié)目部分,像是新聞節(jié)目中的報道)之間的區(qū)域微分器灰度值,其應當利用高視亮度和HDR精度(即還關(guān)于在確定圖像的外觀的若干對象的輸出亮度軸上的精確分配)用電影的方式來再現(xiàn),或應當利用(近LDR)降低的視亮度(和功率)來運行。還可以存在圖像處理裝置601(像例如,機頂盒或PC),其可通過到互聯(lián)網(wǎng)(I_net)的一個或多個連接而獲得它的視頻。例如,youtube服務器或類似物可提供HDR信號,其優(yōu)選地既被簡單地編碼,又對于各種不同的可能的再現(xiàn)顯示器以多功能的方式可使用(即,所謂的“顯示器可調(diào)整性”的準則)。除了例如HDR信號的Y_8b編碼Im_1,它將包含一個或多個上述實施例中的元數(shù)據(jù),并且例如還包含處理指示符PROC_IND,其指定了該畫面Im_1可以如何被處理,例如以獲得HDR圖像的版本。例如,它可以指定,接收側(cè)可以使用若干顏色/亮度變換策略,例如具有像是“receiver_determines_optimal_mapping”的指示符。在這種情況下,像是機頂盒或電視的接收設備可確定自身應用第一映射,例如如果觀眾在他的觀看房間中接通光,并且應用第二映射,如果燈被關(guān)斷。事實上,可以根據(jù)公差或百分比的變化來指定允許的處理,例如可以允許再現(xiàn)側(cè)裝置應用高達1.2但不強于某個分級的伽瑪函數(shù),例如如果顯示器具有在參考顯示器的峰值視亮度范圍內(nèi)的峰值視亮度(例如,分級可以被確定以用于700尼特參考顯示器,并且被允許是可稍微修改的,如果該實際顯示器在其50%的范圍內(nèi),即具有350和1050尼特之間的峰值視亮度)。處理指示符還可以指定,只有一個或幾個具體確定的變換之一可以被使用,等等。指示符可以具有可變的定義,其可變得復雜,例如它可以包括用戶接口控制的詳細指南,從而指導觀眾通過選擇以具有電影的最佳外觀(給他一些創(chuàng)建者認可的優(yōu)化選項,就像改進深色的幾個方式,從而使它們更加豐富多彩但有些減少圖像的氣氛),如內(nèi)容創(chuàng)建者所期望的(例如利用選定的圖像子集手動校準)等。典型地由于觀眾具有最終控制權(quán),將會有回退情境,所以可以忽略或否決這些指南,但本實施例確實允許高度的多功能性,像是例如內(nèi)容創(chuàng)建者關(guān)于他的內(nèi)容要如何被再現(xiàn)在最終再現(xiàn)環(huán)境中的更密切的話語權(quán)(無論是在家、影院、戶外、、在例如足球場處的專業(yè)顯示器等)。圖像解碼器605典型地可以包括若干以下單元。像素紋理解碼單元608需要被設置以使得它可以執(zhí)行任何必要的數(shù)學處理以解碼輸入的圖像信號,其可根據(jù)許多標準進行編碼,所以例如可以運行軟件,其可以被升級,如果新的小波編碼器得以發(fā)布。當然會有信號解包并且也許有解調(diào)等(其將典型地通過格式化器607來完成,連同提取,并且潛在地還解碼像是(多個)區(qū)域微分器灰度值的元數(shù)據(jù)),但在像素紋理解碼單元608將能夠做這樣的事情,如例如算法解碼,逆DCT解碼等,就像在MPEG-視覺標準中的所有組件以及類似物一樣。圖像分段單元606將執(zhí)行分段,并如所述,通過設置gTS值的閾值可以很容易地完成它,但也可以支持更復雜的分段策略。然后象素顏色變換單元609將執(zhí)行至少象素亮度的映射,其可以如重新編碼例如函數(shù)PD_BLCK(i+2,j)的輸出值的那樣簡單,該輸出值屬于作為輸入值(Luma_in)的該特定Im_1像素的像素亮度值。該輸出值將被寫入HDR輸出圖像IM_RC_HDR在該像素位置。該圖像可以是在連接688上被發(fā)送到tv的那一個(例如,用于由電視或通用顯示器中的圖像處理單元620的直接驅(qū)動或進一步處理,這也能夠進行顏色變換)??赡艽嬖谏婕暗闹虚g圖像IM_INTRM,雖然這可以以任何參考表示,當前我們?yōu)楹唵握f明起見假設它是一個8位的亮度圖像(對于兩個顏色通道表示還具有8位字)。如果輸入圖像表示Im_1未被(例如,DCT)壓縮,那么這可以是Im_1的簡單副本,否則它典型地是從解壓縮得到的圖象。該系統(tǒng)還示出經(jīng)由像是天線699到便攜式顯示器630(例如IPAD,觀眾使用它在他的臥室里在床上繼續(xù)看電視)的網(wǎng)絡通信連接手段的家庭網(wǎng)絡視頻分發(fā)。這很好地說明了實施例的通用性,因為該裝置601可接著為這個設備最佳地預調(diào)另一圖像信號IM_RC_MDR,其可以例如僅具有在LDR(我們可定義其大約高于750尼特峰值視亮度結(jié)束)和高品質(zhì)的HDR之間的中間動態(tài)范圍,其從高于比方說2500尼特開始。通過使用甚至用于像素的紋理的相同Im_1,以及相同的(多個)區(qū)域微分器灰度值,但改變的映射函數(shù)以用于映射到顯示器再現(xiàn)輸出亮度的不同范圍MDR圖像然后可以被編碼在IM_RC_MDR中。這些實施例還允許在再現(xiàn)側(cè)改進用戶界面的交互性,因為觀眾可以例如在參數(shù)上調(diào)整他的映射函數(shù)。例如使得很暗的對象變亮可以像控制函數(shù)PD_BLCK(i+2,j)的斜率一樣簡單。智能算法可與觸摸單個按鈕(使能例如智能視亮度函數(shù))美學上同步地對(多個)圖像中的所有對象應用協(xié)調(diào)的亮度修改,但它也可能通過提供更復雜的用戶接口來使能對各種對象的控制。例如,當看電視時,用戶可以使用自己的便攜式顯示器630作為遙控器,并在使得電視圖像的一個副本在該遙控器的顯示屏上,其中利用區(qū)域微分器灰度值方法已預先選定各種顯著對象。然后,觀眾可以迅速用(例如,在對象的頂部上彈出的一些滑塊)幾個改變指示他對于一個或幾個圖像(例如在電影的開始,一些重要的特征場景,或者根據(jù)暫停命令,將要播放的場景的當前圖像)的偏好再現(xiàn)。取消按鈕可以恢復情境等。人工智能可用于從觀眾的動作,甚至通過存儲用于在像是在不同日子的非常不同的播放時刻的無關(guān)節(jié)目的細節(jié),來推斷他的喜好。該系統(tǒng)因此可以推斷,觀眾可能喜歡他的黑色是漆黑的,或者反過來變亮起來,然后應用該知識到其他的圖像。本文中公開的算法組件可以(全部地或者部分地)在實踐中實現(xiàn)為硬件(例如專用IC的部分)或者實現(xiàn)為運行在專用數(shù)字信號處理器或者通用處理器等等上的軟件。它們可以在以下意義上是半自動的:至少某用戶輸入可能/可能已經(jīng)(例如在工廠中或者消費者輸入或者其他人類輸入)存在。技術(shù)人員根據(jù)我們的介紹應當可理解哪些部件可以是可選的改進并且可以與其他部件組合地實現(xiàn),以及(可選的)方法步驟如何對應于裝置的各構(gòu)件,反之亦然。一些部件在本發(fā)明中以特定的關(guān)系(例如在單幅附圖中以特定的配置)被公開這一事實并不意味著其他的配置不可能作為本文中公開以申請專利的相同發(fā)明思想下的實施例。再者,出于務實的原因僅僅描述了有限的一組示例這一事實并不意味著其他的變型不能落入權(quán)利要求書的范圍下。事實上,本發(fā)明的部件可以在沿著任何用途鏈的不同變型中實施,例如,像編碼器那樣的創(chuàng)建側(cè)裝置的所有變型可以與分解系統(tǒng)的消費側(cè)的相應裝置(例如解碼器)類似或者相應,并且反之亦然。所述實施例的若干部件可以被編碼為用于傳輸?shù)男盘栔械奶囟ㄐ盘枖?shù)據(jù),或者另外的用途,諸如協(xié)調(diào),在編碼器與解碼器之間的任何傳輸技術(shù)中等等。在本申請中,措詞“裝置”在其最廣泛的意義上使用,(即允許實現(xiàn)特定目的的一組構(gòu)件),并且因此可以例如為IC(的小部分)或者專用器具(例如具有顯示器的器具)或者聯(lián)網(wǎng)系統(tǒng)的部分等等?!安贾谩被颉跋到y(tǒng)”也被意圖在最廣泛的意義上使用,因此它可以除別的以外還包括單個物理的可購買的裝置,裝置的部分,協(xié)作裝置(的部分)的集合等等。計算機程序產(chǎn)品外延應當被理解為涵蓋命令集合的任何物理實現(xiàn),這些命令在將命令輸入到處理器中的一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟,例如翻譯成中間語言和最終的處理器語言)之后使得通用或?qū)S锰幚砥髂軌驁?zhí)行發(fā)明的任何特有功能。特別地,計算機程序產(chǎn)品可以實現(xiàn)為諸如例如盤或帶之類的載體上的數(shù)據(jù)、存儲器中存在的數(shù)據(jù)、經(jīng)由網(wǎng)絡連接(有線的或者無線的)行進的數(shù)據(jù),或者紙上的程序代碼。除了程序代碼之外,程序所需的特性數(shù)據(jù)也可以實施為計算機程序產(chǎn)品。這樣的數(shù)據(jù)可以以任何方式(部分地)提供。本發(fā)明的任何實施例或者依照當前實施例的任何理念可用的任何數(shù)據(jù)(比如視頻數(shù)據(jù))也可以實施為數(shù)據(jù)載體上的信號,所述數(shù)據(jù)載體可以為可移除存儲器,比如光學盤、閃存、可移除硬盤、經(jīng)由無線構(gòu)件可寫的便攜式設備等等。操作任何給出的方法所需的一些步驟可能已經(jīng)存在于本發(fā)明的處理器或者任何裝置實施例的功能中,而不是在本文描述的計算機程序產(chǎn)品或者任何單元、裝置或方法(具有本發(fā)明實施例的細節(jié))中描述,例如數(shù)據(jù)輸入和輸出步驟,公知的典型地結(jié)合的處理步驟,例如標準顯示器驅(qū)動,等等。我們也希望保護得到的產(chǎn)品和類似的結(jié)果,比如例如所述方法的任何步驟或者所述裝置的任何子部分中涉及的特定新穎信號以及這樣的信號的任何新的用途或者任何相關(guān)的方法。應當指出的是,上述實施例說明了而不是限制了本發(fā)明。在技術(shù)人員可以容易地實現(xiàn)給出的示例到由權(quán)利要求書的其他區(qū)域的映射的情況下,我們?yōu)榱撕啙嵠鹨姏]有深入地提及所有這些選項。除了如在權(quán)利要求書中組合的本發(fā)明的元件的組合之外,這些元件的其他組合也是可能的。元件的任何組合可以在單個專用元件中實現(xiàn)。在權(quán)利要求中,括號之間的任何附圖標記并不意圖用于限制該權(quán)利要求,附圖中的任何特定符號也如此。措詞“包括”并沒有排除存在權(quán)利要求中未列出的元件或方面。元件之前的措詞“一”或“一個”并沒有排除存在多個這樣的元件。