相關(guān)申請的交叉引用

本申請要求于2014年9月26日提交的美國臨時(shí)專利申請no.62/056,093的優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用并入此。

本發(fā)明總地涉及圖像。更特別地，本發(fā)明的實(shí)施例涉及感知量化視頻的編碼、解碼和顯示管理。

背景技術(shù)：

視頻信號可以通過多個參數(shù)(例如比特深度、顏色空間、色域和分辨率)來表征。視頻信號特性的一個重要方面是它的動態(tài)范圍。動態(tài)范圍(dr)是圖像中的強(qiáng)度(例如，照度，亮度)的范圍，例如從最黑暗的暗到最明亮的亮。如本文所使用的，術(shù)語“動態(tài)范圍”(dr)可以涉及人類心理視覺系統(tǒng)(hvs)感知圖像中的強(qiáng)度(例如，照度，亮度)的范圍(例如從最暗的暗到最明亮的亮)的能力。在這個意義上，dr涉及“場景相關(guān)”強(qiáng)度。dr還可以涉及顯示設(shè)備充分地或近似地渲染特定寬幅的強(qiáng)度范圍的能力。在這個意義上，dr涉及“顯示器相關(guān)”強(qiáng)度。除非在本文的描述中的任何點(diǎn)處明確指定特定意義具有特定重要性，否則應(yīng)推斷該術(shù)語可以在任何意義上使用，例如。可互換。

如本文所使用的，術(shù)語高動態(tài)范圍(hdr)涉及跨越人類視覺系統(tǒng)(hvs)的大約14-15個數(shù)量級(例如，1：10,000)的dr寬幅。實(shí)際上，圖像包括一個或多個顏色分量(例如，亮度y以及色度cb和cr)，其中每個顏色分量由每像素n比特的精度表示(例如，n＝8)。例如，使用線性或經(jīng)典伽馬亮度編碼(例如，根據(jù)iturec.709)，n≤8(例如，顏色24比特jpeg圖像)且動態(tài)范圍為1：100至約1：1000的圖像被認(rèn)為是標(biāo)準(zhǔn)動態(tài)范圍的圖像，而n>8和動態(tài)范圍更高的圖像可以被認(rèn)為是高動態(tài)范圍的圖像。還可以使用低比特深度、非線性亮度編碼(例如，10比特和對數(shù)亮度編碼)或高精度(例如16比特)浮點(diǎn)格式(例如由industriallightandmagic開發(fā)的openexr文件格式)來存儲和分發(fā)hdr圖像。

hdr圖像可能需要通過不支持其全動態(tài)范圍的編碼器來編碼和傳輸。例如，視頻編解碼器可能僅支持8比特或10比特視頻數(shù)據(jù)，這是比hdr視頻的12-16比特的典型比特深度低得多的比特深度。使用感知量化(諸如在smpte標(biāo)準(zhǔn)st2084(2014)“perceptually-basedeotf”(其通過引用整體并入本文)中描述的)的hdr視頻的預(yù)處理或后處理可以減少比特深度要求；然而，它可能影響編碼效率，因?yàn)榫幋a標(biāo)準(zhǔn)通常針對伽馬編碼的ycbcr視頻信號被優(yōu)化。如本文的發(fā)明人所理解的，改進(jìn)的用于感知量化視頻的編碼和解碼的技術(shù)是期望的。

在本部分中描述的方法是可從事的方法，但未必是以前已經(jīng)構(gòu)想或從事的方法。因此，除非另外指出，否則，不應(yīng)僅憑借包含于本部分中而認(rèn)為在本部分中描述的方法中的任一種為現(xiàn)有技術(shù)。類似地，除非另外指出，否則，關(guān)于一種或更多種方法識別的問題不應(yīng)基于本部分而認(rèn)為在任何現(xiàn)有技術(shù)中已被識別。

附圖說明

在附圖中以舉例的方式、而非限制的方式例示本發(fā)明，在附圖中，相似的標(biāo)號表示類似的元件，其中：

圖1a描繪了用于非感知量化顏色空間中hdr視頻的編碼和解碼的處理管線的示例性實(shí)現(xiàn)；

圖1b、1c、1d描繪了根據(jù)本發(fā)明的實(shí)施例的用于感知量化顏色空間中hdr視頻的編碼和解碼的處理管線的示例性實(shí)現(xiàn)；

圖2a描繪了用于將伽馬編碼或pq編碼的rgb信號轉(zhuǎn)換到ipt-pq顏色空間中的示例數(shù)據(jù)流；以及

圖2b描繪了根據(jù)本發(fā)明的實(shí)施例的用于將伽馬編碼或pq編碼的rgb信號轉(zhuǎn)換到修改的ipt-pq顏色空間中的示例數(shù)據(jù)流；以及

圖2c描繪了根據(jù)本發(fā)明的實(shí)施例的用于將ipt-pq信號轉(zhuǎn)換為伽馬編碼或pq編碼的rgb信號的示例數(shù)據(jù)流。

具體實(shí)施方式

本文中描述了用于感知量化視頻信號的編碼和解碼技術(shù)。

在以下的描述中，出于解釋的目的，為了使得能夠徹底理解本發(fā)明，闡述了大量的特定細(xì)節(jié)。但應(yīng)理解，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施本發(fā)明。在其它情況下，為了避免不必要地遮蔽、掩蓋或混淆本發(fā)明，沒有以詳盡的細(xì)節(jié)描述公知的結(jié)構(gòu)和裝置。

概述

本文描述的示例實(shí)施例涉及用于感知量化的視頻信號的編碼和解碼技術(shù)。在第一顏色空間(例如，rgb-pq或rgb伽瑪)中訪問第一hdr視頻信號。將一個或多個顏色變換應(yīng)用于第一視頻信號以在感知量化的對立顏色空間(opponentcolorspace)(例如，ipt-pq)中產(chǎn)生輸出視頻信號。輸出視頻信號由視頻編碼器壓縮以產(chǎn)生編碼比特流，其中將一個或多個顏色變換應(yīng)用于第一視頻信號以產(chǎn)生輸出視頻信號還包括：對第一視頻信號應(yīng)用第一顏色變換以在線性原色空間(例如線性lms)中產(chǎn)生第二視頻信號；將顏色交互(colorcross-talk)變換矩陣(c)應(yīng)用于第二視頻信號以在所述線性原色空間中產(chǎn)生第三視頻信號；將感知量化器應(yīng)用于第三視頻信號以在感知量化的原色空間(例如，lms-pq)中產(chǎn)生第四視頻信號；以及對第四視頻信號應(yīng)用第二顏色變換以在感知量化的對立顏色空間(例如，ipt-pqc)中產(chǎn)生輸出視頻信號。

在另一實(shí)施例中，在解碼器中，編碼比特流被解碼以在感知量化的對立顏色空間(例如，ipt-pq)中生成第一hdr信號。將一個或多個顏色變換應(yīng)用于第一hdr信號以在第一線性原色空間(例如，線性lms)中產(chǎn)生第二視頻信號。然后，將彩色交互變換矩陣的逆應(yīng)用于第二視頻信號，在線性原色空間中生成第三視頻信號，最后將第二組顏色變換應(yīng)用于第三視頻信號以在期望的顏色空間(例如，rgb-伽馬或rgb-pq)中生成第四視頻信號。

在實(shí)施例中，在顯示管理相同的感知量化顏色空間(例如，ipt-pq)中執(zhí)行視頻編碼和解碼，該顯示管理在視頻解碼之后執(zhí)行。在這樣的實(shí)施例中，可以組合與反向整形和色調(diào)映射相關(guān)的查找表，以減少解碼器中的操作數(shù)量。

在實(shí)施例中，當(dāng)在感知量化的顏色空間中編碼和解碼時(shí)，在編碼之前，可以通過非線性函數(shù)對亮度分量進(jìn)行整形，并且可以通過線性色度整形函數(shù)對色度分量進(jìn)行整形，使得亮度和色度通道之間的動態(tài)范圍比被保持。這些整形函數(shù)在應(yīng)用任何顯示管理處理之前在解碼器中反轉(zhuǎn)。

hdr信號的編碼和解碼

圖1a描繪了用于hdr視頻信號的編碼和解碼流水線的示例性實(shí)現(xiàn)。輸入(102)可以是由hdr相機(jī)捕獲的hdr視頻信號，或者它可以表示視頻后處理過程的輸出，該視頻后處理過程包括各種圖像和視頻處理步驟，諸如視頻編輯，顏色分級等。在被視頻編碼器(110)壓縮之前，視頻信號(102)也可以由顏色變換單元(105)處理，使得視頻編碼器(110)的輸入處的顏色格式匹配所支持的顏色格式，編碼器已針對所支持的顏色格式被優(yōu)化。例如，如果輸入(102)是rgb4：4：4顏色格式并且視頻編碼器(110)以ycbcr4：2：0格式操作，則單元(105)可以執(zhí)行rgb到y(tǒng)cbcr顏色變換和顏色子采樣。

視頻編碼器(110)可以是使用諸如mpeg-2，mpeg-4(部分4)，h.264，h.265(hevc)，vp8等的本領(lǐng)域中已知的視頻壓縮方案中的任一種的單層編碼器或多層編碼器。視頻編碼器(110)的輸出可以存儲在存儲介質(zhì)(例如，硬盤驅(qū)動器或光學(xué)介質(zhì))中，或者可以向下游傳輸以由接收設(shè)備(例如機(jī)頂盒，媒體播放器等)解碼。在接收機(jī)上，視頻解碼器(115)反轉(zhuǎn)進(jìn)行由視頻編碼器(110)執(zhí)行的步驟以生成要在目標(biāo)顯示器(135)上顯示的解壓縮視頻信號(117)。顯示器(135)可能匹配或可能不匹配用于生成視頻信號(102)的參考顯示器的特性。例如，視頻信號(102)可以使用2,000尼特顯示器進(jìn)行顏色分級；然而，目標(biāo)顯示器(135)可以是1000尼特或更低。為了匹配目標(biāo)顯示器(135)的特性，在一些實(shí)施例中，接收器(或顯示器本身)可以執(zhí)行各種視頻信號處理步驟，諸如顏色變換和色調(diào)映射。這些處理步驟被通稱為“顯示管理”。顯示管理過程的示例在2014年2月13日提交的pct申請pct/us2014/016304(以下稱為'304申請)和2014年7月3日提交的美國臨時(shí)申請第62/020,622號(以下稱為'622申請)(也作為美國專利申請第14/755,755號被提交)中被描述，這兩個申請通過引用整體并入本文。

如圖1a所示，并且在'304申請中描述的，在一些實(shí)施例中，hdr視頻信號的顯示器管理過程(例如，步驟125和130)如果使用感知校正的或感知量化的顏色空間(例如ipt-pq)來執(zhí)行則可能受益。ipt顏色空間是人類視覺系統(tǒng)中的錐體之間的色差的模型，ipt顏色空間在“developmentandtestingofacolorspace(ipt)withimprovedhueuniformity”，byf.ebnerandm.d.fairchild，inproc.natl.acad.sci。6^thcolorimagingconference：colorscience，systems，andapplications，is&t，scottsdale，arizona，1998年11月，第8-13頁(被稱為ebner論文)中被描述，該論文通過引用整體并入本文。在這個意義上，ipt顏色空間類似于ycbcr或cie-lab顏色空間；然而，在一些科學(xué)研究中已經(jīng)表明，ipt顏色空間比這些空間更好地模擬人類視覺處理。像cie-lab一樣，ipt是對于一些參考照度的歸一化空間。在實(shí)施例中，歸一化是基于目標(biāo)顯示器的最大亮度的。

ycbcr，yuv，ipt，lab等顏色空間通常被稱為對立顏色空間，因?yàn)樗鼈兪褂昧炼确至?例如y或γ)和兩個色度或色差分量(例如，cbcr或pt)來描述信號。相反，rgb，lms，xyz等顏色空間通常被稱為原色空間。在圖像和視頻壓縮中，優(yōu)選在對立顏色空間而不是原色空間中操作，這是因?yàn)樵趯α㈩伾臻g中，顏色分量較少相關(guān)，并且色度分量可以在壓縮之前被子采樣，而沒有任何感知損失，從而提高整體可壓縮性。

這里使用的術(shù)語“pq”是指感知量化。人類視覺系統(tǒng)以非常非線性的方式響應(yīng)增加的光水平。人的看見刺激的能力受到刺激的亮度、刺激的大小、組成刺激的空間頻率以及眼睛在觀看刺激的特定時(shí)刻所適應(yīng)的亮度水平的影響。在優(yōu)選實(shí)施例中，感知量化器函數(shù)將線性輸入灰度級映射到更好地匹配人類視覺系統(tǒng)中的對比靈敏度閾值的輸出灰度級。pq映射函數(shù)的示例在smptest2084：2014規(guī)范和于2012年12月06日提交的、jsmiller等人的、標(biāo)題為“perceptualluminancenonlinearity-basedimagedataexchangeacrossdifferentdisplaycapabilities”的pct申請pct/us2012/068212(以下稱為'212申請)中被描述，該pct申請通過引用整體并入本文，其中給定固定刺激大小，針對每個亮度水平(即，刺激水平)，根據(jù)最敏感的適應(yīng)水平和最敏感的空間頻率(根據(jù)hvs模型)選擇在該亮度水平處的最小可見對比度步長。與傳統(tǒng)的伽馬曲線(其表示物理陰極射線管(crt)裝置的響應(yīng)曲線并且碰巧與人類視覺系統(tǒng)響應(yīng)的方式具有非常粗略的相似性)相比，由'212申請確定的pq曲線使用相對簡單的功能模型模仿人類視覺系統(tǒng)的真實(shí)視覺反應(yīng)。如本文所使用的，術(shù)語rgb-pq，ipt-pq，ycbcr-pq等表示已經(jīng)使用感知量化函數(shù)量化或重新映射至少一個顏色通道的顏色空間。

表1描述了用于將數(shù)字視頻代碼值轉(zhuǎn)換為顯示點(diǎn)處的絕對線性照度水平的感知曲線電光學(xué)傳遞函數(shù)(eotf)的計(jì)算。還包括用于將絕對線性照度轉(zhuǎn)換為數(shù)字代碼值的逆oetf計(jì)算。

表1

示例性方程定義：

d＝感知曲線數(shù)字代碼值，sdi認(rèn)可的無符號整數(shù)，10或12位

b＝數(shù)字信號表示中的每個分量的比特?cái)?shù)

v＝歸一化的感知曲線信號值，0≤v≤1

y＝歸一化的照度值，0≤y≤1

l＝絕對照度值，0≤l≤10,000cd/m²

示例性eotf解碼方程：

l＝10,000·y(t1)

示例性逆eotf編碼方程：

d＝int(1015·v·2b^-10)+4·2b-¹⁰(t2)

示例性常數(shù)：

注釋：

1.算子int對于0至0.4999...范圍中的分?jǐn)?shù)部分返回值0，對于0.5至0.9999...范圍中的分?jǐn)?shù)部分返回值+1，即，它將大于0.5的分?jǐn)?shù)上舍入。

2.所有常數(shù)都被定義為12比特有理數(shù)的正好整數(shù)倍以避免舍入問題。

3.以與上述y信號分量相同的方式計(jì)算r、g或b信號分量。

如圖1a所示，在感知校正的或感知量化的顏色空間(例如ipt-pq)中操作可能需要多個處理步驟(120)，諸如：色度上采樣和第一線性顏色變換(例如，從ycbcr4：2：0到rgb4：4：4)，隨后是第二非線性顏色變換(例如，從rgb到ipt-pq)。作為示例，圖2a和其相應(yīng)的描述稍后在本說明書中更詳細(xì)地描繪用于rgb到ipt-pq顏色變換的處理流水線。

盡管在ipt-pq空間中操作可以增強(qiáng)色調(diào)映射(125)和色域調(diào)整(130)操作的輸出，但是將輸入信號(117)變換到這種顏色空間的所需顏色變換(120)可能會超出一些設(shè)備(例如便攜式計(jì)算平板或智能電話)的能力。因此，在一些實(shí)施例中，期望通過將一些操作轉(zhuǎn)移到編碼器中來降低解碼器復(fù)雜性。例如，在實(shí)施例中，期望在感知校正的顏色空間(例如，ipt-pq)中執(zhí)行整個編碼處理，使得在解碼器中可以減少或完全消除顏色變換(120)。不幸的是，現(xiàn)有的視頻編碼方案針對通常在ycbcr顏色空間中編碼的伽馬編碼的標(biāo)準(zhǔn)動態(tài)范圍視頻信號進(jìn)行優(yōu)化。如發(fā)明人所理解的，在感知校正顏色空間中將現(xiàn)有視頻編解碼器用于hdr信號需要一些附加步驟，諸如本文所描述的那些步驟。

正向和反向信號整形

圖1b描繪了在感知校正顏色空間(例如，ipt-pq)中編碼的hdr視頻的編碼和解碼的示例性實(shí)現(xiàn)。在實(shí)施例中，輸入(102)可能已經(jīng)處于感知編碼的顏色空間(例如，rgb-pq)。顏色變換步驟(105)將來自輸入顏色空間(例如rgb-pq4：4：4)的輸入信號(102)的顏色空間變換成適合于使用視頻編碼器(110)編碼的感知校正顏色格式(例如，ipt-pq4：2：0)。為了利用現(xiàn)有的視頻壓縮方案，在編碼(110)之前，在一個實(shí)施例中，感知編碼的輸入通過正向整形處理(107)被整形。在2014年3月25日提交的題為“encodingperceptually-quantizedvideocontentinmulti-layervdrcoding”的pct申請pct/us2014/031716(稱為'716申請)中描述了正向整形處理的示例，該pct申請全部內(nèi)容通過引用并入本文。整形函數(shù)可以僅應(yīng)用于亮度通道或應(yīng)用于所有通道。在一些實(shí)施例中，亮度和色度通道可以采用不同的整形函數(shù)。

如'716申請中所述，對于pq編碼信號，在一個實(shí)施例中，信號整形函數(shù)(107)可以表示為：

其中νl和νh表示在考慮輸入hdr信號(102)的情況下的顏色通道中的最小值和最大值，cl和ch表示對應(yīng)的最小和最大輸出值，νi表示第i輸入像素，si表示對應(yīng)的輸出。例如，在一個實(shí)施例中，對于在(0,1)內(nèi)的歸一化顏色值，在單層系統(tǒng)中，cl＝0和ch＝1。α的值是常數(shù)，但可以在每幀、每場景或其他合適的標(biāo)準(zhǔn)基礎(chǔ)上被適配和改變。在一個實(shí)施例中，如果對整形函數(shù)的輸入是pq編碼的，則a>1，否則，如果是伽馬編碼的，則α<1。

在解碼器中，在一個實(shí)施例中，逆整形或反向整形操作(122)可以表示為

其中，對于解碼的輸入像素，表示對應(yīng)的輸出。在實(shí)踐中，可以使用查找表(lut)來執(zhí)行正向和反向整形操作。

給定解碼信號(117)已經(jīng)處于感知編碼的顏色空間中，顯示管理操作(例如125和130)僅需要非常簡單的色度上采樣(例如，從4：2：0到4：4：4)。在一些實(shí)施例中，色度上采樣操作可以在反向整形操作(122)之前作為視頻解碼器(115)的一部分執(zhí)行，因?yàn)橐曨l解碼器可以直接在硬件中支持這樣的操作。

圖1c描繪了圖1b中描繪的系統(tǒng)(100b)的變型，其是將反向整形和色調(diào)映射操作組合在一起成為單個單元(122b)，通常是一組lut。如前所述，可以使用單層編碼系統(tǒng)(例如，視頻編碼器(110)可以利用單個10比特h.264或h.265視頻編碼器)或雙層編碼系統(tǒng)(例如，視頻編碼器(110)可應(yīng)用兩個或更多個8比特h.264或h.265視頻編碼器，如于2014年6月16日提交的pct申請pct/us2014/042583中所描述的，該pct申請通過引用整體并入本文)來執(zhí)行視頻編碼(110)和視頻解碼(115)。假設(shè)在每個顏色通道上獨(dú)立地執(zhí)行色調(diào)映射，則這兩個函數(shù)可以如下地整合：

對于單層編解碼器，設(shè)

y＝s(x)，(3)

描述了用于在給定解碼信號x的情況下生成整形函數(shù)y的輸出的查找表。還設(shè)

z＝t(y)(4)

描述了用于在給定輸入y的情況下生成色調(diào)映射函數(shù)z的輸出的查找表。然后，兩個lut可以合并為

z＝t(s(x))＝k(x).(5)

例如，對于10比特輸入x，k(x)可以具有1024個條目。

在雙層編解碼器中，通常存在8比特基本層(bl)和8比特增強(qiáng)層(el)，每個層具有其自己的重整單元。令sb(xb)和se(xe)表示用于產(chǎn)生最終hdr信號的基本和增強(qiáng)層反向重整函數(shù)。給定

y＝sb(xb)+se(xe)，(6)

然后2dlut

u(xb，xe)＝t(sb(xb)+se(xe))，(7)

可被用來組合這兩個操作。對于8比特輸入數(shù)據(jù)和10比特輸出數(shù)據(jù)，這樣的lut對于每個顏色通道將需要大約256*256*2＝131千字節(jié)。

注意，色度上采樣模塊(124)也可以與視頻解碼器(115)的操作相結(jié)合，以利用接收器中的任何可用的硬件加速器。

在一些實(shí)施例中，即使編碼、解碼和顯示管理都在感知顏色空間(例如，ipt-pq)中執(zhí)行，仍可以使用多個這樣的顏色空間。例如，可以在對立顏色空間(例如，ipt-pq或ycbcr-pq)中執(zhí)行編碼和解碼，但是可以在原色空間(例如，rgb-pq)中執(zhí)行顯示管理。這樣的示例實(shí)現(xiàn)在根據(jù)另一實(shí)施例的圖1d中示出，其中在ipt-pq顏色空間中執(zhí)行編碼和解碼，但是在lms-pq顏色空間中執(zhí)行顯示管理。在'622申請中描述了lms-pq空間中的顯示管理處理的示例。如'622申請中所述并且在圖2a中部分地示出的，將視頻數(shù)據(jù)變換到lms-pq顏色空間中可以包括以下步驟：

a)如果需要(未示出)，執(zhí)行色度上采樣和其他顏色變換(例如，ipt-pq到rgb)，以將解碼信號轉(zhuǎn)換成伽馬編碼rgb或rgb-pq編碼信號(205)。

b)使rgb信號線性化(步驟210)。解碼的hdr信號(123)可以是伽馬編碼或pq編碼的，其通常使用嵌入在編碼比特流中的元數(shù)據(jù)(例如eotf字段)來被發(fā)信號通知，以反轉(zhuǎn)或撤消源顯示器從代碼值到亮度的轉(zhuǎn)換。例如，如果輸入信號是伽馬編碼的，則該步驟應(yīng)用逆伽馬函數(shù)。如果輸入信號根據(jù)“212pct申請被pq編碼的，則該步驟應(yīng)用逆pq函數(shù)。在實(shí)踐中，可以使用三個預(yù)先計(jì)算的1d查找表(lut)來執(zhí)行該線性化步驟。

c)從線性rgb變換到lms(步驟215和220)。在該步驟中，步驟b)的輸出信號(212)被變換到lms顏色空間中。通常，通過應(yīng)用由輸入元數(shù)據(jù)控制的3×3矩陣來執(zhí)行該步驟。

d)將pq編碼(230)應(yīng)用于l，m和s顏色分量中的每一個，以在lms-pq顏色空間中生成輸出(232)。該步驟也可以使用三個1dlut來執(zhí)行。在一些實(shí)施例中，可以使用3dlut來計(jì)算完整顏色變換流水線(例如，ipt-pq到lms-pq)。如果在ipt-pq空間而不是lms-pq中執(zhí)行顯示管理，則將附加的lms到ipt顏色變換(235)應(yīng)用于lms-pq信號(232)以生成ipt-pq信號(237)。

在一些實(shí)施例中，在lms-pq空間中執(zhí)行顯示管理的計(jì)算量較少；然而，lms-pq顏色空間中的顏色通道是高度相關(guān)的，因此在該空間中操作視頻編碼器(110)和解碼器(115)是不高效的；因而，編碼器-解碼器對需要在不同的顏色空間(通常，諸如ycbcr或ipt的對立顏色空間)中操作。

在一些實(shí)施例中，可優(yōu)選地使用感知對立顏色空間(例如ycbcr-pq或ipt-pq)來編碼hdr視頻信號以減少對于視頻編碼器(110)和解碼器(115)的總體比特深度要求。下一節(jié)描述了當(dāng)在ipt-pq顏色空間中編碼時(shí)提高編碼效率的方法。

增強(qiáng)的感知均勻性

在顏色科學(xué)中并且如本文所使用的，術(shù)語“顏色外觀模型”表示“包括至少明度、色度和色調(diào)的相對顏色外觀屬性的預(yù)測器的任何模型”。(m.d.celchild，”colorappearancemodels，“secondedition，johnwileyandsons，2005。)這樣的模型的示例包括ciel*a*b*(cielab)，ipt和ciecam02。如圖2a所示并且將在后面更詳細(xì)地討論的，給定rgb信號，可以使用以下步驟將其轉(zhuǎn)換到這樣的顏色空間：

a)對于ciexyx或任何其它rgb編碼，變換到接近lms錐基本空間的線性三色空間(步驟215,220)

b)應(yīng)用可選的色適應(yīng)變換，通常通過線性縮放(未示出)

c)應(yīng)用非線性變換，例如pq編碼(230)

d)應(yīng)用一些附加處理(例如，235)以進(jìn)一步將顏色通道去相關(guān)

這種方法對于非廣色域顏色空間(如iturec.709)導(dǎo)致良好的感知均勻性和色調(diào)線性；然而，它不能精確預(yù)測通常用于hdr成像的寬色域顏色(例如rec.2020)的顏色外觀。存在克服ciecam02的數(shù)值問題的現(xiàn)有提議，但是這些都沒有解決在存在另一顏色通道的高幅度顏色刺激的情況下過度夸大一個rgb通道中的低幅度顏色貢獻(xiàn)的色差的問題。因此，就發(fā)明人的知識而言，對于寬顏色刺激沒有精確的顏色外觀模型。在實(shí)施例中，在xyz到lms步驟之后的新顏色交互變換步驟顯著地增強(qiáng)了顏色外觀模型中對于飽和顏色的感知均勻性、色調(diào)線性度和編碼效率。這種增強(qiáng)的顏色模型可以用于圖像和視頻編碼和顯示管理。作為示例，在下一部分中，針對ipt-pq顏色空間導(dǎo)出交互變換矩陣；然而，類似的方法可以應(yīng)用于其他顏色外觀模型。

改善的ipt-pq顏色空間中的感知均勻性和代碼字使用

如前文所述并且還在圖2a中描繪的，可以使用以下步驟來執(zhí)行rgb到ipt-pq顏色變換：

a)將輸入信號(102)的像素值(例如，0到4095)歸一化為動態(tài)范圍在0和1之間的像素值。

b)(步驟210)使用eotf(可以由輸入元數(shù)據(jù)提供)線性化輸入信號。例如，如果輸入信號(205)是伽馬編碼的，則該步驟應(yīng)用逆伽馬函數(shù)。如果輸入信號根據(jù)“212pct申請進(jìn)行了pq編碼，則該步驟應(yīng)用逆pq函數(shù)。

c)(步驟215和220)將步驟b)的輸出(例如，信號212)轉(zhuǎn)換到lms顏色空間。該步驟通常包括rgb到xyz變換(步驟215)，隨后是xyz到lms變換(步驟220)。

d)根據(jù)ebner論文，傳統(tǒng)的lms到ipt顏色空間轉(zhuǎn)換包括首先將非線性冪函數(shù)應(yīng)用于lms數(shù)據(jù)，然后應(yīng)用線性變換矩陣。雖然可以將數(shù)據(jù)從lms轉(zhuǎn)換為ipt，然后將pq函數(shù)應(yīng)用于ipt-pq域中，但是在優(yōu)選實(shí)施例中，在該步驟(230)中，用于lms到ipt的非線性編碼的傳統(tǒng)冪函數(shù)被替換為pq非線性編碼。例如，非線性l，m和s值以與方程(t2)中的v信號相同的方式計(jì)算，其中y信號由線性l、m或s分量值代替。在一些實(shí)施例中，可以使用pq編碼的歸一化版本，其中可以省略式(t3)的步驟，并且輸出pq值的范圍在0和1之間。

e)使用標(biāo)準(zhǔn)lms到ipt線性變換，該步驟(235)完成步驟d)的輸出(例如，信號232)到ipt-pq顏色空間的轉(zhuǎn)換。

為了簡單起見，假設(shè)在值的[01]范圍內(nèi)的歸一化3-d立方體(cube)上定義任何顏色空間，其中1表示對于給定比特深度的最大可能像素值。為了提高編碼效率，在優(yōu)選實(shí)施例中，在每次變換到感知編碼的顏色空間之后，可以應(yīng)用單獨(dú)的顏色變換來適當(dāng)?shù)匾苿由确至俊?/p>

考慮pq編碼的rgb值(205)到ipt-pq顏色空間的映射。此映射是高度非線性的，并將rgb-pq立方體轉(zhuǎn)換為非立方體形狀。作為示例，圖3a描繪了在將大約10,000個rgb-pq點(diǎn)映射到ipt-pq空間之后的p與t的相關(guān)性。觀察到，原來的rgb-pq立方體不再是立方體。在ipt-pq空間中，存在兩個尾部：區(qū)域p[-0.3，-0.1]×t[-0.4，-0.2](305)中的一個短尾，區(qū)域p[0.1，0.2]×t[0.6,1](310)中的另一個長尾。ipt-pq空間的長尾由于尾部周圍殘留的未使用空白空間而導(dǎo)致碼字的低效分配。這些尾部也似乎沒有感知重要性。

現(xiàn)在考慮如圖2b所示的rgb到ipt-pq顏色變換流水線。如圖2b所示，在應(yīng)用非線性pq編碼(230)之前，將用于調(diào)整通道交互的附加步驟(225)應(yīng)用于線性lms數(shù)據(jù)(222)。設(shè)

非限制性地表示輸入lms數(shù)據(jù)到變換的lms(lmsc)數(shù)據(jù)的顏色通道交互調(diào)整(225)的示例，其中c表示3×3顏色交互變換矩陣，其中c是控制三個顏色分量之間的交互水平的常數(shù)(例如，c＝0.02或c＝0.04)。在一些實(shí)施例中，c可以由多于一個的可變參數(shù)定義。

在一些實(shí)施例中，rgb到lms步驟(215,220)和lms到lmsc步驟(225)可以組合成單個步驟，使得添加交互變換不會為顏色處理流水線添加額外的計(jì)算。

假設(shè)ipt-pqc表示當(dāng)應(yīng)用顏色交互變換(225)時(shí)的變換后的顏色空間，圖3b描繪了將大約10,000個rgb-pq點(diǎn)映射到ipt-pqc空間中之后的p與t的相關(guān)性。如圖3b所示，ipt-pqc顏色空間允許改進(jìn)的碼字使用，因此允許更高效的壓縮。在一些實(shí)施例中，可以在每幀或每場景的基礎(chǔ)上調(diào)整式(8)中的參數(shù)c，以最優(yōu)地調(diào)整碼字利用率。然后，該值可以作為編碼比特流中的元數(shù)據(jù)的一部分被發(fā)送到解碼器。

圖2c描繪了用于將來自ipt-pq或ipt-pqc顏色空間的信號(238)變換為rgb伽馬編碼或rgb-pq編碼顏色空間中的信號(205)的顏色處理流水線。如果輸入(237)在ipt-pq顏色空間中被編碼(即，沒有色度交互調(diào)整)，則應(yīng)用式(8)的逆顏色交互(例如，c^-1)的步驟可被省略。其余步驟包括：

a)(步驟240)將逆ipt變換應(yīng)用于ipt-pq輸入(238)以產(chǎn)生pq編碼的lms數(shù)據(jù)(242)。

b)(步驟245)從pq編碼的lms數(shù)據(jù)(242)移除pq編碼以生成線性lms數(shù)據(jù)(247)

c)在對編碼(例如225)期間應(yīng)用的顏色交互進(jìn)行反轉(zhuǎn)的可選步驟(250)之后，將線性lms數(shù)據(jù)(252)或(247)轉(zhuǎn)換為線性rgb數(shù)據(jù)(262)(步驟255和260)

d)(步驟265)根據(jù)需要將線性rgb信號(262)轉(zhuǎn)換為伽馬編碼或pq編碼的rgb數(shù)據(jù)。

如前所述，應(yīng)用逆交互矩陣(250)可以與lms到rgb顏色變換步驟(255,260)組合。

確定顏色交互變換矩陣

從式(8)，顏色交互變換矩陣可以由變量c完全確定。增加c增加了p/t碼字的效率；然而，它降低了總體壓縮效率，這是因?yàn)樗黾恿薸和p/t分量之間的相關(guān)性。對于給定的c值，令pmax(c)和pmin(c)表示p信道中的最大值和最小值，并且令tmax(c)和tmin(c)表示t信道中的最大值和最小值。在一個實(shí)施例中，色度(p/t)域可以被細(xì)分為ar(c)＝m(c)×n(c)區(qū)域，其中每個區(qū)域是d×d(例如d＝0.01)，并且

令ur(c)表示ar(c)范圍內(nèi)的碼字使用。在實(shí)施例中，表2以偽碼示出了關(guān)于如何確定ur(c)的示例。

表2

如本文所使用的，術(shù)語“一組可能的rgb(x,y)值”非限制性地表示用于導(dǎo)出輸出ipt-pqc值的可能輸入rgb值的集合或子集，

例如在輸入視頻的幀或場景、或者整個可能的rgb空間中所檢測到的那些。一般來說，較高數(shù)目的這種樣本有助于更準(zhǔn)確地估計(jì)交互變換矩陣。

設(shè)

表示歸一化碼字使用，圖4描繪了e(c)值對c的示例圖。如圖4所示，在大約c＝0.02處存在“拐點(diǎn)”(410)。實(shí)驗(yàn)結(jié)果表明，在一個實(shí)施例中，該拐點(diǎn)在碼字使用和壓縮效率之間提供了非常好的折衷。因此，在一個實(shí)施例中，可以選擇c值作為使得e(c)數(shù)據(jù)曲線的一階導(dǎo)數(shù)被最大化的值?？傊?，導(dǎo)出c可以包括以下步驟：

a)對于每個c，對于某一范圍的rgb值，計(jì)算相應(yīng)的ipt-pqc值。rgb值的范圍可以包括所有可能的rgb值，或者可以僅包括幀或一組幀內(nèi)的被測量的rgb值的范圍。

b)識別ipt-pqc空間中的有效色度碼字的數(shù)量；例如通過將p/t空間劃分為m(c)*n(c)網(wǎng)格并對該網(wǎng)格內(nèi)的有效碼字進(jìn)行計(jì)數(shù)。

d)使用經(jīng)驗(yàn)或客觀測量確定最佳c。例如，在一個實(shí)施例中，可以使用不同的c值來壓縮幀序列，并選擇產(chǎn)生最佳壓縮率的值作為最佳c。作為替代地，在實(shí)施例中，給定有效碼字對c的函數(shù)(例如，ur(c)或e(c))，可以將最佳c確定為使得這樣的函數(shù)的一階導(dǎo)數(shù)(例如)被最大化的值。

在一些實(shí)施例中，可以使用作為替代的顏色通道映射，諸如僅亮度(i')，亮度對色度(例如，i對p或i對t，或甚至通過使用亮度和色度的完整3d體積表示)來確定碼字效率和顏色交互矩陣。

色度整形

給定ipt-pq或ipt-pqc顏色空間中的視頻數(shù)據(jù)，觀察到p和t顏色通道包含大量能量。給定壓縮比特流的有限比特率，這些信道的直接編碼可能相當(dāng)?shù)托?，這是因?yàn)閷τ谶@些信道的任何比特分配減少了對于i信道的比特分配。在實(shí)施例中，可以應(yīng)用簡單的線性量化器來減小p和t通道的動態(tài)范圍，而不影響整體圖像質(zhì)量。例如：

表示用于p信道的量化器函數(shù)，其中對于給定的比特深度bl(例如，bl＝10比特)，mid表示中間值(例如，mid＝2^bl-1)，max表示最大可能值(例如，max＝2^bl-1)，表示p通道的輸入像素值，表示量化值，w^p是加權(quán)常數(shù)，典型地小于1(例如，w^p＝0.8)，和是在i和p通道的輸入值的預(yù)期的(測量的)的下限和上限，以及和是量化i通道值的邊界(例如，)。實(shí)際上，式(11)量化p/t信道，使得保持亮度(l)和色度(p/t)之間的動態(tài)范圍比率。

類似的量化器也可以用于t信道。給定式(11)中的量化參數(shù)，編碼器中的p和t分量的量化可以由解碼器反轉(zhuǎn)。在一個實(shí)施例中，對于ipt-pqc數(shù)據(jù)，p/t數(shù)據(jù)的典型范圍在[-0.250.3]內(nèi)。輸出范圍選擇在[-0.50.5]內(nèi)。

示例計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)

本發(fā)明的實(shí)施例可以用計(jì)算機(jī)系統(tǒng)、配置在電子電路和組件中的系統(tǒng)、諸如微控制器的集成電路(ic)設(shè)備、現(xiàn)場可編程門陣列(fpga)或另一可配置或可編程邏輯設(shè)備(例如，pld)、離散時(shí)間或數(shù)字信號處理器(dsp)、專用ic(asic)和/或包括這樣的系統(tǒng)、設(shè)備或組件中的一個或多個的裝置來實(shí)現(xiàn)。計(jì)算機(jī)和/或ic可以執(zhí)行、控制或?qū)嵤┡c感知量化hdr視頻的編碼和解碼相關(guān)的指令，諸如本文所描述的那些。計(jì)算機(jī)和/或ic可以計(jì)算與本文所述的感知量化hdr視頻的編碼和解碼過程相關(guān)的各種參數(shù)或值中的任何一個。圖像和視頻實(shí)施例可以在硬件，軟件，固件及其各種組合中實(shí)現(xiàn)。

本發(fā)明的某些實(shí)施方式包括執(zhí)行使處理器執(zhí)行本發(fā)明的方法的軟件指令的計(jì)算機(jī)處理器。例如，顯示器，編碼器，機(jī)頂盒，代碼轉(zhuǎn)換器等中的一個或多個處理器可以通過執(zhí)行處理器可訪問的程序存儲器中的軟件指令來實(shí)現(xiàn)與如上所述的感知量化hdr視頻的編碼和解碼相關(guān)的方法。本發(fā)明還可以以程序產(chǎn)品的形式被提供。程序產(chǎn)品可以包括攜帶一組計(jì)算機(jī)可讀信號的任何非暫時(shí)性介質(zhì)，所述計(jì)算機(jī)可讀信號包括當(dāng)由數(shù)據(jù)處理器執(zhí)行時(shí)使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種形式中的任一種。程序產(chǎn)品可以包括例如物理介質(zhì)，諸如包括軟盤的磁性數(shù)據(jù)存儲介質(zhì)，硬盤驅(qū)動器，包括cdrom，dvd的光學(xué)數(shù)據(jù)存儲介質(zhì)，包括rom，閃速ram等的電子數(shù)據(jù)存儲介質(zhì)。程序產(chǎn)品上的計(jì)算機(jī)可讀信號可以可選地被壓縮或加密。

在上面提及組件(例如，軟件模塊，處理器，組裝件，設(shè)備，電路等)的情況下，除非另有說明，對該組件的引用(包括對“裝置”的引用)應(yīng)當(dāng)被解釋為包括作為該組件的等同物的執(zhí)行所描述的組件的功能的任何組件(例如，功能上等效的)，包括在結(jié)構(gòu)上不等同于在所示的本發(fā)明的示例性實(shí)施例中執(zhí)行該功能的結(jié)構(gòu)的組件。

等同，擴(kuò)展，替代和雜項(xiàng)

因此描述了涉及感知量化hdr視頻的編碼和解碼的示例實(shí)施例。以上的說明書中，參照可隨實(shí)現(xiàn)而改變的大量的具體細(xì)節(jié)描述了本發(fā)明的實(shí)施例。因此，什么是本發(fā)明以及本發(fā)明的申請人意圖什么成為本發(fā)明的專有和專用的指示是包含任何隨后的校正的一組權(quán)利要求，這些權(quán)利要求以這些權(quán)利要求發(fā)布的特定的形式從本申請發(fā)發(fā)布。這里對于包含于這些權(quán)利要求中的術(shù)語明確闡述的任何定義應(yīng)掌控在權(quán)利要求中使用的這些術(shù)語的意思。由此，沒有在權(quán)利要求中明確詳述的限制、要素、性能、特征、優(yōu)點(diǎn)或?qū)傩圆粦?yīng)以任何的方式限制這些權(quán)利要求的范圍。因此，說明書和附圖應(yīng)視為解釋性而不是限制性的。