相關(guān)申請的交叉引用

本申請要求以下申請的優(yōu)先權(quán)：2013年1月2日提交的第61/748,411號的美國臨時申請、2013年5月8日提交的第61/821,173號的美國臨時申請；以及2013年9月26日提交的第61/882,773號的美國臨時專利申請，所有這些申請的全部內(nèi)容都通過引用并入本文。

技術(shù)領(lǐng)域

本發(fā)明總體上涉及圖像。更特別地，本發(fā)明的實施例涉及具有增強動態(tài)范圍的高清信號的向后兼容的編碼和解碼。

背景技術(shù)：

音頻和視頻壓縮是多媒體內(nèi)容的開發(fā)、存儲、發(fā)布和消費中的關(guān)鍵組成部分。壓縮方法的選擇涉及編碼效率、編碼復(fù)雜度和延遲之間的權(quán)衡。隨著處理能力對計算成本的比率增大，使得可以開發(fā)出允許更高效的壓縮的更復(fù)雜的壓縮技術(shù)。作為例子，在視頻壓縮中，來自國際標準組織(ISO)的運動圖像專家組(MPEG)通過發(fā)布MPEG-2、MPEG-4(第2部分)和H.264/AVC(或MPEG-4，第10部分)編碼標準來持續(xù)地改進最初的MPEG-1視頻標準。

盡管H.264的壓縮效率和成就，被稱為高效率視頻編碼(HEVC)的新一代視頻壓縮技術(shù)現(xiàn)在正在開發(fā)之中。HEVC有望提供優(yōu)于現(xiàn)有的H.264(也被稱為AVC)標準的改進的壓縮能力，關(guān)于HEVC的草稿可在B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm和T.Wiegand的“high efficiency video coding(HEVC)text specification draft 8”,ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC)document JCTVC-J1003,July 2012中獲得，該文獻的全部內(nèi)容通過引用并入本文，現(xiàn)有的H.264標準被發(fā)表為“Advanced Video Coding for generic audio-visual services”,ITU T Rec.H.264和ISO/IEC 14496-10，該標準的全部內(nèi)容通過引用并入本文。

視頻信號可以用多個參數(shù)來表征，諸如位深、顏色空間、色域和分辨率?，F(xiàn)代的電視和視頻回放設(shè)備(例如，藍光播放器)支持多種分辨率，包括標清(例如，720×480i)和高清(HD)(例如，1920×1080p)。超高清(UHD)是至少具有3,840×2,160分辨率(被稱為4K UHD)并且具有高達7680×4320(被稱為8K UHD)的選項的下一代分辨率格式。超高清還可以被稱為Ultra HD、UHDTV或超高視覺。如本文中所使用的，UHD表示高于HD分辨率的任何分辨率。

視頻信號的特性的另一方面是其動態(tài)范圍。動態(tài)范圍(DR)是圖像中的強度(例如，亮度，luma)的范圍(例如，從最黑暗的暗色到最明亮的亮色)。如本文中所使用的，術(shù)語“動態(tài)范圍”(DR)可以與人類心理視覺系統(tǒng)(HVS)感知圖像中的強度(例如，亮度，luma)的范圍(例如，從最黑暗的暗色到最明亮的亮色)的能力相關(guān)。從這個意義上來說，DR與“參考場景的”強度相關(guān)。DR還可以與顯示設(shè)備充分地或逼近地呈現(xiàn)具有特定廣度的強度范圍的能力相關(guān)。從這個意義上來說，DR與“參考顯示器的”強度相關(guān)。除非特定意義在本文的描述中的任何地方被明確地指定具有特殊重要性，否則應(yīng)推斷該術(shù)語例如可互換地用于兩者之中任何一種意義上。

如本文中所使用的，術(shù)語高動態(tài)范圍(HDR)與跨越人類視覺系統(tǒng)(HVS)的14-15個數(shù)量級的DR廣度相關(guān)。例如，(例如，從統(tǒng)計意義、生物計量意義或眼科意義中的一個或多個上來說)基本正常的適應(yīng)性強的人具有跨越大約15個數(shù)量級的強度范圍。具有適應(yīng)性的人可以感知到少到僅少數(shù)幾個光子的昏暗光源。然而，同樣的這些人可以在沙漠中、在海中或者在雪中感知到正午的太陽的幾乎令人痛苦地耀眼的強度(或者甚至望向太陽，但是短暫地望向太陽以防止傷害)。不過，該跨度可供“具有適應(yīng)性的”人(例如，其HVS具有在其中進行重置和調(diào)整的時間段的那些人)使用。

相比之下，在其上人類可以同時感知到強度范圍中的廣泛廣度的DR相對于HDR而言可能有所截斷。如本文中所使用的，術(shù)語“增強動態(tài)范圍”(EDR)、“視覺動態(tài)范圍”或“可變動態(tài)范圍”(VDR)可以單獨地或者可互換地與HVS可同時感知的DR相關(guān)。如本文中所使用的，EDR可以與跨越5-6個數(shù)量級的DR相關(guān)。因此，雖然可能相對于真實的場景參考HDR而言有些窄，但是EDR卻表示寬泛的DR廣度。如本文中所使用的，術(shù)語“同時動態(tài)范圍”可以與EDR相關(guān)。

為了支持與老式回放設(shè)備以及新式HDR或UHD顯示技術(shù)的向后兼容性，可以使用多個層來將UHD和HDR(或EDR)視頻數(shù)據(jù)從上游設(shè)備遞送到下游設(shè)備。給定這樣的多層流，老式解碼器可以使用基本層來重構(gòu)內(nèi)容的HD SDR版本。高級解碼器可以使用基本層和增強層兩層來重構(gòu)內(nèi)容的UHD EDR版本以在更有能力的顯示器上呈現(xiàn)它。如這里的發(fā)明人所意識到的，改進的UHD EDR視頻編碼技術(shù)是令人期望的。

本章節(jié)中所描述的方法是可以尋求的方法，但是不一定是以前已經(jīng)設(shè)想過或?qū)で筮^的方法。因此，除非另有指示，否則不應(yīng)僅因本章節(jié)中所描述的任一方法被包括在本章節(jié)中就假定該方法作為現(xiàn)有技術(shù)。類似地，對于一種或多種方法被標識的問題不應(yīng)基于本章節(jié)就被假定已經(jīng)在任何現(xiàn)有技術(shù)中被認識到，除非另有指示。

附圖說明

本發(fā)明的實施例在附圖的圖中以舉例的方式、而不是以限制的方式被例示，在附圖中，相似的標號指代類似的元件，其中：

圖1描繪根據(jù)本發(fā)明的實施例的UHD EDR編碼系統(tǒng)的示例實現(xiàn)；

圖2描繪根據(jù)本發(fā)明的實施例的UHD EDR解碼系統(tǒng)的示例實現(xiàn)；

圖3描繪根據(jù)本發(fā)明的實施例的圖1中所描繪的系統(tǒng)的變型，其中，基本層包括隔行信號(interlaced signal)；

圖4描繪根據(jù)本發(fā)明的實施例的圖2的解碼系統(tǒng)的變型，其中，基本層包括隔行視頻信號；

圖5描繪根據(jù)本發(fā)明的實施例的用于增強層中的殘差信號的非線性量化器的示例實現(xiàn)；

圖6A描繪根據(jù)本發(fā)明的實施例的殘差像素的自適應(yīng)預(yù)量化處理；和

圖6B描繪根據(jù)本發(fā)明的實施例的設(shè)置用于殘差信號的非線性量化器的下輸入邊界或上輸入邊界的自適應(yīng)處理。

具體實施方式

本文描述了具有增強動態(tài)范圍的超高清信號的向后兼容編碼。給定可以用如下兩個信號表示的輸入視頻信號：一個信號具有超高清(UHD)分辨率和高或增強動態(tài)范圍(EDR)，另一個信號具有UHD(或較低)分辨率和標準動態(tài)范圍(SDR)，這兩個信號被編碼在向后兼容的分層流中，這使得老式解碼器可以提取HD標準動態(tài)范圍(SDR)信號并且使得新式解碼器可以提取UHD EDR信號。

在以下描述中，為了說明的目的，闡述了許多特定細節(jié)，以便提供本發(fā)明的透徹理解。然而，將顯而易見的是，可以在沒有這些特定細節(jié)的情況下實施本發(fā)明。在其它情況下，不對公知的結(jié)構(gòu)和設(shè)備進行詳盡的描述，以便避免不必要地模糊本發(fā)明。

概述

本文中所描述的示例實施例涉及具有增強動態(tài)范圍的超高清信號的向后兼容的編碼和解碼。給定用如下兩個信號表示的輸入視頻信號：一個信號具有超高清(UHD)分辨率和高或增強動態(tài)范圍(EDR)，另一個信號具有UHD(或較低)分辨率和標準動態(tài)范圍(SDR)，這兩個信號被編碼在向后兼容的分層流中，這使得老式解碼器可以提取HD標準動態(tài)范圍(SDR)信號并且使得新式解碼器可以提取UHD EDR信號。響應(yīng)于基本層HD SDR信號，使用單獨的亮度預(yù)測模型和色度預(yù)測模型產(chǎn)生預(yù)測信號。在亮度預(yù)測器中，僅基于基本層的亮度像素值計算預(yù)測信號的亮度像素值，而在色度預(yù)測器中，基于基本層的亮度像素值和色度像素值兩者計算預(yù)測信號的色度像素值?；谳斎氲腢HD EDR信號和預(yù)測信號計算殘差信號。分別對基本層信號和殘差信號進行編碼以形成編碼的位流。

在另一實施例中，接收器對所接收的分層位流進行解復(fù)用以產(chǎn)生HD分辨率的、標準動態(tài)范圍(SDR)的編碼的基本層(BL)流和UHD分辨率的、增強動態(tài)范圍(EDR)的編碼的增強層流。使用BL解碼器對編碼的BL流進行解碼以產(chǎn)生HD分辨率的、標準動態(tài)范圍的解碼的BL信號。響應(yīng)于解碼的BL信號，產(chǎn)生預(yù)測EDR信號，其中，該預(yù)測信號的亮度分量的像素值僅基于解碼的BL信號的亮度像素值被預(yù)測，而該預(yù)測信號的至少一個色度分量的像素值基于解碼的BL信號的亮度值和色度值兩者被預(yù)測。使用EL解碼器對編碼的EL流進行解碼以產(chǎn)生解碼的殘差信號。響應(yīng)于解碼的殘差信號和預(yù)測信號，還可以產(chǎn)生輸出UHD EDR信號。

在另一實施例中，增強層中的殘差信號在用非線性量化器量化之前進行自適應(yīng)預(yù)處理。在一個實施例中，如果殘差像素值周圍的像素的標準差低于閾值，則將這些殘差像素值預(yù)量化為零。

在另一實施例中，根據(jù)具有非常大的或非常小的像素值的殘差像素的像素連接性的度量，限制非線性量化器的輸入范圍。

在另一實施例中，基于場景中的連續(xù)幀序列上的殘差像素的極值來設(shè)置非線性量化器的參數(shù)。

用于超高清EDR信號的編碼器

現(xiàn)有的顯示和回放設(shè)備，諸如HDTV、機頂盒或藍光播放器，通常支持高達1080p HD分辨率(例如，以每秒60幀的1920×1080)的信號。對于消費者應(yīng)用，現(xiàn)在通常以亮度-色度顏色格式使用每一顏色分量每一像素8位的位深對這樣的信號進行壓縮，在所述亮度-色度顏色格式中，通常，色度分量具有比亮度分量低的分辨率(例如，YCbCr或YUV 4:2:0顏色格式)。因為8位深度和相應(yīng)的低動態(tài)范圍，這樣的信號通常被稱為具有標準動態(tài)范圍(SDR)的信號。

隨著新的電視標準(諸如超高清(UHD))正被開發(fā)，可能可取的是，以老式HDTV解碼器和新式UHD解碼器都可以處理的格式對具有增強分辨率和/或增強動態(tài)范圍的信號進行編碼。

圖1描繪了支持具有增強動態(tài)范圍(EDR)的UHD信號的向后兼容的編碼的系統(tǒng)的示例實現(xiàn)的實施例。編碼器包括基本層(BL)編碼器(130)和增強層(EL)編碼器(160)。在實施例中，BL編碼器130是老式編碼器，諸如MPEG-2或H.264編碼器，EL編碼器160是新式標準編碼器，諸如HEVC編碼器。為了支持老式BL解碼器，BL編碼器130通常是8位編碼器；然而，EL編碼器160可以支持具有如H.264和HEVC標準所指定的更高位深(諸如10位)的輸入流。然而，該系統(tǒng)可應(yīng)用于已知的或未來的編碼器的任何組合，而不管它們是基于標準的還是專有的。

如圖1中所描繪的，輸入信號，諸如電影或電視廣播，可以用如下兩個信號表示：UHD EDR輸入(102)和UHD SDR輸入(104)。例如，UHD EDR信號(102)可以是HDR照相機捕捉的并且針對EDR顯示器進行顏色分級的4K(例如，3840×2160)分辨率信號。相同的信號還可以在4K SDR顯示器上進行顏色分級以產(chǎn)生相應(yīng)的4K SDR信號104?？商娲兀梢酝ㄟ^將本領(lǐng)域中已知的色調(diào)映射或顯示管理技術(shù)中的任何一個應(yīng)用于EDR信號來產(chǎn)生SDR信號104。不失一般性，這兩個輸入信號通常都可以在RGB顏色空間中使用16位或等同(例如，浮點)位深表示來表示。如本文中所使用的，術(shù)語N位信號表示具有一個或多個顏色分量(例如，RGB或YCbCr)的圖像或視頻信號，其中，這些顏色分量中的任何一個(例如，Y)中的每個像素用N位像素值表示。給定N位表示，每個這樣的像素可以取0和2^N-1之間的值。例如，在8位表示中，對于每個顏色分量，每個像素可以取0和255之間的值。

在實施例中，可以將UHD SDR信號104下采樣為HD SDR信號(例如，1080p)，然后將該HD SDR信號顏色轉(zhuǎn)換為適合于使用老式8位編碼器編碼的顏色格式(例如，8位YCbCr 4:2:0顏色格式)。這樣的轉(zhuǎn)換可以包括顏色變換(諸如RGB到Y(jié)CbCr轉(zhuǎn)換115-C)和色度二次采樣(例如，4:4:4到4:2:0轉(zhuǎn)換120-C)。因此，HD SDR信號128表示原始UHD EDR信號102的向后兼容的信號表示。信號128可以用BL編碼器130編碼以產(chǎn)生向后兼容的編碼的位流132。BL編碼器130可以使用已知的或未來的視頻壓縮算法(諸如MPEG-2、MPEG-4第2部分、H.264、HEVC、VP8等)中的任何一個來對HD SDR信號128進行壓縮或編碼。

給定UHD EDR信號102，下采樣(110-A)和顏色轉(zhuǎn)換處理(115-B和120-B)可以將UHD EDR信號102轉(zhuǎn)換為參考預(yù)測HD EDR信號124。在優(yōu)選實施例中，這個階段中的下采樣和顏色轉(zhuǎn)換處理(110-A、115-B和120-B)(例如，選定的濾波器和顏色空間)應(yīng)與用于在基本層中產(chǎn)生HD SDR信號128的下采樣和顏色轉(zhuǎn)換處理(110-B、115-C和120-C)相同或者盡可能地接近。

在UHD EDR變換為HD EDR之后，將HD EDR信號124的輸出分離為亮度(Y 124-Y)和色度(CbCr 124-C)分量，這些分量被應(yīng)用于確定用于亮度預(yù)測器145和色度預(yù)測器140的預(yù)測系數(shù)。

給定HD SDR信號128，BL編碼器130不僅產(chǎn)生編碼的BL位流132，而且還產(chǎn)生表示HD SDR信號128的BL信號126，因為它將被相應(yīng)的BL解碼器解碼。在一些實施例中，信號126可以由BL編碼器130后面的單獨的BL解碼器(未示出)產(chǎn)生。在一些其它的實施例中，信號126可以從用于在BL編碼器130中執(zhí)行運動補償?shù)姆答伝芈樊a(chǎn)生。如圖1中所描繪的，還可以將HD EDR信號126的輸出分離為其亮度(Y 126-Y)和色度分量(CbCr 126-C)，這些分量被應(yīng)用于亮度預(yù)測器145和色度預(yù)測器140來預(yù)測HD EDR信號147。

在實施例中，亮度預(yù)測器145可以包括基于基本層HD SDR信號126-Y的亮度像素值預(yù)測HD EDR信號147的亮度分量的多項式預(yù)測器。在這樣的預(yù)測器中，亮度像素分量可以在不考慮信號的其它任一顏色分量中的任何像素值的情況下被預(yù)測。例如，設(shè)g_i表示BL HD SDR信號的亮度像素值(126-Y)，于是，在不失一般性的情況下，三次多項式預(yù)測器可以被表達為：

其中，a_k、b_k和c_k是預(yù)測器系數(shù)。在實施例中，可以用本領(lǐng)域中任何已知的最小誤差技術(shù)(諸如最小化預(yù)測值和參考HD EDR信號中的亮度像素值(124-Y)(s_i)之間的均方差(例如，))來確定預(yù)測器系數(shù)。

在實施例中，色度預(yù)測器140也可以是類似于前述多項式預(yù)測器的多項式預(yù)測器；然而，在優(yōu)選實施例中，色度預(yù)測器140包括多色通道、多元回歸(MMR)預(yù)測器，如G-M Su等人在2012年4月13日提交的、序號為PCT/US2012/033605的PCT申請(發(fā)表為WO2012/142471)“Multiple color channel multiple regression predictor”中所描述的預(yù)測器那樣，該申請的全部內(nèi)容通過引用并入本文。MMR預(yù)測器使用來自HD EDR參考信號124和基本層HD SDR信號126中的亮度和色度像素值兩者的信息來預(yù)測HD EDR信號的色度分量。還可以使用均方差最小化技術(shù)通過最小化預(yù)測色度值與參考HD EDR信號124的亮度和色度像素值之間的MSE來確定MMR模型中的預(yù)測系數(shù)。

因為HD SDR信號126和參考HD HDR信號124都為YCbCr4:2:0格式(其中，亮度分量的空間分辨率是每個色度分量的空間分辨率的兩倍)，所以在將這兩個信號的亮度分量應(yīng)用于色度預(yù)測器140之前，對這兩個信號的亮度分量進行下采樣(135-A和135-B)。在優(yōu)選實施例中，亮度下采樣135-A和135-B中所使用的濾波器與4:4:4到4:2:0處理(120)中所使用的色度下采樣濾波器相同。可以以各種感興趣的時間間隔更新亮度和色度預(yù)測系數(shù)，諸如每一場景、每一圖片組或每一幀?？梢杂酶鞣N方法將預(yù)測濾波器系數(shù)傳送給解碼器，諸如將它們的值作為輔助數(shù)據(jù)或元數(shù)據(jù)嵌入在位流中。

給定預(yù)測的HD EDR信號147，上采樣器150產(chǎn)生UHD EDR信號152，該信號用于產(chǎn)生殘差信號167。因為UHD EDR信號為優(yōu)選的編碼格式(例如，YCbCr 4:2:0)，所以可能需要附加的顏色變換(115-A)和色度下采樣(120A)步驟來將原始格式(例如，RGB)的原始UHD EDR信號102轉(zhuǎn)換為優(yōu)選編碼格式的UHD EDR信號122。信號122和152相減以創(chuàng)建EL殘差信號167。

在實施例中，顏色變換(115-A)和色度二次采樣處理(120-A)與用于產(chǎn)生BL編碼的信號128和預(yù)測信號124的顏色變換(115-B和115-C)以及色度二次采樣處理(120B和120-C)相同或者盡可能地接近。

在實施例中，在EL編碼器160對EL信號167進行編碼之前，可以用非線性量化器(NLQ)155對該信號進行處理。合適的非線性量化器的例子可以在2012年4月24日提交的序號為PCT/US2012/034747(公布為WO/2012/148883)的PCT專利申請“Non-linear VDR Residual Quantizer”中找到，該申請的全部內(nèi)容通過引用并入本文。可以使用EL編碼器160對NLQ 155的輸出進行壓縮以產(chǎn)生可以發(fā)送到合適的解碼器的編碼的EL位流162。此外，在一些實施例中，殘差(167)也可以用下采樣模塊(未示出)被空間下采樣。這樣的下采樣(例如，在兩個維度上，下采樣因子為2或4)提高了編碼效率，在非常低的位率下尤其如此。下采樣可以在非線性量化器(155)之前或之后執(zhí)行。

EL編碼器160可以是任何合適的編碼器，諸如MPEG-2、MPEG-4、H.264、HEVC規(guī)范等所描述的那些編碼器。在實施例中，可以將BL編碼的位流132、EL編碼的位流162和與編碼處理相關(guān)的元數(shù)據(jù)(例如，預(yù)測器參數(shù)或查找表)復(fù)用為單個位流(未示出)。

如圖1中所描繪的，在優(yōu)選實施例中，下采樣(110-A或110-B)優(yōu)選地在顏色格式變換(115-B和120-B或115-C和120-C)之前應(yīng)用；然而，在一些實施例中，下采樣可以在顏色變換之后執(zhí)行。例如，在一個實施例中，110-A的輸入可以直接從UHD EDR YCbCr信號122接收，因此消除了進行顏色變換處理115-B和120-B以產(chǎn)生HD EDR參考信號124的需要。類似地，下采樣110-B可以在顏色轉(zhuǎn)換步驟120-C之后執(zhí)行。

在一些實施例中，基線HD SDR信號128可能已經(jīng)為可供編碼器100使用的正確的分辨率和顏色格式。在這樣的情況下，可以繞過下采樣(110-B)和顏色變換步驟(115-C和120-C)。

在一些實施例中，UHD EDR信號120可以以低于或高于16位的精度使用；然而，其精度預(yù)期高于8位(例如，10位或12位)。類似地，UHD SDR信號104可能已經(jīng)可以以低于16位的精度使用(例如，8位或10位)。

用于超高清EDR信號的解碼器

圖2描繪了支持具有增強動態(tài)范圍(EDR)的UHD信號的向后兼容的解碼的系統(tǒng)的示例實現(xiàn)的實施例。響應(yīng)于編碼器(例如，100)發(fā)送的編碼的信號，解碼器200接收并解復(fù)用包括至少兩個編碼的子流的編碼的位流：編碼的BL流132和編碼的EL流162。

編碼的BL流132包括可以使用BL解碼器215解碼的HD SDR信號(217)。在實施例中，BL解碼器215與BL編碼器130匹配。例如，為了與現(xiàn)有的廣播和藍光標準向后兼容，BL解碼器215可以遵循MPEG-2或H.264編碼規(guī)范中的一個或多個。在BL解碼215之后，HD SDR解碼器可以將附加的顏色變換(270)應(yīng)用于解碼的HD SDR信號217以將傳入的信號從適合于壓縮的顏色格式(例如，YCbCr4:2:0)轉(zhuǎn)化為適合于顯示的顏色格式(例如，RGB 4:4:4)。具有增強分辨率和/或EDR顯示能力的接收器可以組合來自BL和EL位流(132和162)兩者的信息以產(chǎn)生如圖2中所描繪的具有增強動態(tài)范圍的UHD信號(例如，232)。

在BL解碼215之后，將解碼的信號217劃分為其亮度(217-Y)和色度(217-C)分量。亮度分量(217-Y)被亮度預(yù)測器240處理以產(chǎn)生關(guān)于HD EDR信號255的亮度估計值。亮度和色度分量還被色度預(yù)測器250處理以產(chǎn)生關(guān)于HD EDR信號255的色度估計值。在實施例中，在色度預(yù)測器處理亮度信號217-Y之前，它被下采樣器245二次采樣，所以它與色度分量的分辨率匹配。亮度和色度預(yù)測器(240和250)與編碼器100中的亮度和色度預(yù)測器(145和140)匹配。因此，亮度預(yù)測器240可以是多項式預(yù)測器，而色度預(yù)測器可以是MMR預(yù)測器。在實施例中，可以使用嵌入在所接收的編碼的位流中的元數(shù)據(jù)來確定這些預(yù)測器的特性和濾波器參數(shù)。在亮度和色度預(yù)測步驟(240和250)之后，對預(yù)測的HD EDR信號255進行上采樣(260)以產(chǎn)生UHD EDR信號265。

給定編碼的位流162，EL解碼器210對它進行解碼以產(chǎn)生UHD EDR殘差信號212。EL解碼器210與EL編碼器160匹配。如果編碼器100將非線性量化器155應(yīng)用于殘差167，則通過應(yīng)用非線性去量化器(NLDQ)220產(chǎn)生去量化的殘差222，來反轉(zhuǎn)非線性量化處理。如果編碼器(100)將空間下采樣應(yīng)用于殘差(167)，則NLDQ(220)之前或之后的空間上采樣器(未示出)可以將解碼的殘差(例如，212或222)上采樣為其適當?shù)目臻g分辨率。通過將殘差222添加(225)到UHD EDR的估計265，解碼器200可以產(chǎn)生與編碼器發(fā)送的UHD EDR信號122的分辨率和顏色格式(例如，4:2:0YCbCr)匹配的UHD EDR信號227。根據(jù)目標應(yīng)用，一組顏色變換(230)可以將UHD EDR信號232變換為適合于顯示或其它處理的格式。在實施例中，給定YCbCr 4:2:0信號227，顏色變換230可以包括4:2:0到4:4:4色度上采樣步驟，之后為YCbCr到RGB顏色變換步驟。

混合逐行和隔行格式的編碼和解碼

盡管逐行視頻信號(例如，720p或1080p)的采用增加，但是隔行視頻信號(例如，1080i)的廣播在視頻廣播中仍然相當普遍。在另一實施例中，圖3描繪了支持使用逐行和隔行格式的混合的層編碼的UHD EDR編碼系統(tǒng)(300)的另一個例子。在例子中，BL信號(332)被以隔行格式(例如，1080i或2160i)編碼，而EL信號(162)被以逐行格式(progressive format)(例如，2160p)編碼。

編碼系統(tǒng)(300)共享編碼系統(tǒng)(100)的大部分功能，因此，在該部分中，將僅討論這兩個系統(tǒng)之間的關(guān)鍵差異。如圖3中所描繪的，在基本層處理中，對SDR信號(104)進行顏色轉(zhuǎn)換以轉(zhuǎn)換為適合于使用BL編碼器(130)編碼的顏色格式(例如，4:2:0YCbCr)。在示例實施例中，BL編碼器(130)的輸出(332)可以包括隔行SDR信號。隔行器(320-A)可以應(yīng)用本領(lǐng)域中已知的任何隔行和下采樣技術(shù)來將逐行輸入(128)轉(zhuǎn)換為基本層信號(332)的期望的編碼分辨率的隔行信號(例如，1080i)。

與系統(tǒng)(100)相比，在增強層中，系統(tǒng)(100)的處理組件(110-A)、(115-B)和(120-B)可以全都用隔行器(interlacer)(320-B)取代。隔行器(320-B)可以應(yīng)用本領(lǐng)域中已知的任何隔行和下采樣技術(shù)來將逐行輸入(122)轉(zhuǎn)換為與隔行信號(126)的分辨率匹配的隔行信號(124)。在優(yōu)選實施例中，(320-A)和(320-B)的下采樣和隔行功能應(yīng)彼此相同或者盡可能地接近以減小顏色偽像并且改進總體圖像編碼質(zhì)量。

系統(tǒng)(300)中的亮度和色度預(yù)測器(145和140)保持與系統(tǒng)(100)中的亮度和色度預(yù)測器相同；然而，它們現(xiàn)在對它們的輸入的單獨的字段進行操作，因為信號(124)和(126)現(xiàn)在是隔行信號。

去隔行器(350)也具有雙重功能；它對預(yù)測的HD EDR信號(347)進行去隔行，并且將它上采樣為與UHD EDR信號(122)的分辨率匹配，從而產(chǎn)生具有與信號(122)相同的分辨率和格式的預(yù)測的UHD EDR信號(152)。系統(tǒng)(300)中的殘差(167)的處理保持與對于系統(tǒng)(100)描述的處理相同。

在一些實施例中，SDR信號(104)可能已經(jīng)為隔行格式，那么隔行器(320-A)可以用下采樣器取代。如果輸入信號(104)已經(jīng)是隔行的并且為適當?shù)姆直媛?，則可以除去隔行器(320-A)。

在實施例中，輸入信號(102)和(104)可以都是HD分辨率信號(例如，1080p)。那么，系統(tǒng)(300)的輸出可以包括編碼的隔行HD(例如，1080i)基本層信號(332)和編碼的逐行HD(例如，1080p)殘差(162)。

在實施例中，BL信號(332)和殘差(162)兩者可以為相同的分辨率，但是為混合格式。例如，BL信號(332)可以被以2160i編碼，而EL信號(162)可以被以2160p編碼。

圖4描繪了用于對混合格式編碼器(300)所產(chǎn)生的信號進行解碼的解碼器系統(tǒng)(400)的示例實現(xiàn)的實施例。系統(tǒng)(400)與解碼器系統(tǒng)(200)幾乎相同，除了以下差異之外：a)解碼的BL信號(417)現(xiàn)在是隔行視頻信號，(b)亮度和色度預(yù)測器(240和250)對隔行信號(417)和(247)的字段進行操作，以及c)預(yù)測的HD EDR信號(455)是隔行信號。

去隔行器(460)在功能上與系統(tǒng)(300)中的去隔行器(350)匹配；因此，它對隔行HD EDR信號(455)進行去隔行和上采樣，以使得其輸出(UHD EDR信號(465))具有與解碼的誤差殘差信號(222)相同的分辨率和格式。

如前所指出的，系統(tǒng)(300)還可以將空間下采樣模塊(未示出)包括在EL路徑中、非線性量化器(155)之前或之后。在這樣的情況下，在解碼器(400)中，NLDQ(220)之前或之后的空間上采樣器可以用于將解碼的殘差(212)恢復(fù)到其適當?shù)目臻g分辨率。

亮度范圍驅(qū)動的自適應(yīng)上采樣

如圖1中所描繪的，在亮度和色度預(yù)測步驟(140、145)之后，以因子2對預(yù)測的HD EDR信號(147)進行上采樣(150)以產(chǎn)生預(yù)測的UHD EDR信號152。類似的處理也在解碼器(200)中執(zhí)行，在解碼器(200)中，在亮度和色度預(yù)測步驟(240、250)之后，以因子2對預(yù)測的HD EDR信號(255)進行上采樣(260)以產(chǎn)生預(yù)測的UHD EDR信號(265)。上采樣器(150)和(260)可以包括本領(lǐng)域中已知的任何上采樣技術(shù)；然而，可以通過利用如該部分中所描述的亮度范圍驅(qū)動的自適應(yīng)上采樣技術(shù)來實現(xiàn)改進的圖像質(zhì)量。

已經(jīng)觀察到，原始EDR信號(122)及其預(yù)測值(152)之間的預(yù)測誤差(167)可以根據(jù)相應(yīng)的SDR信號(104)中的亮度值而變化。也就是說，圖像中的明亮的或高亮的區(qū)域中的殘差(167)表現(xiàn)出與暗色調(diào)或中間色調(diào)區(qū)域中的殘差不同類型的特性。在實施例中，可以將SDR輸入的亮度范圍劃分為兩個或更多個亮度子范圍。自適應(yīng)上采樣濾波方法可以將不同的上采樣濾波器應(yīng)用于EDR預(yù)測圖像的不同像素，其中，每個濾波器是根據(jù)SDR圖像中的相應(yīng)像素的亮度子范圍而選擇的。識別這些亮度子范圍中的每個的閾值和所使用的濾波器的標識和/或濾波器系數(shù)本身可以經(jīng)由元數(shù)據(jù)或其它輔助數(shù)據(jù)從編碼器(100)傳送到解碼器(200)，以使得編碼器和解碼器兩者可以應(yīng)用相同的上采樣濾波器來改進圖像質(zhì)量。

設(shè)表示HD EDR信號(147)的亮度像素值，該亮度像素值基于BL編碼器(130)的輸出的亮度值(即，SDR信號s_ij(126-Y))而被預(yù)測。設(shè)th(i)(i＝0,N)表示將像素的亮度范圍(0≤s_ij≤1)劃分為感興趣的N個亮度范圍(N≥1)(例如，對于N＝3，劃分為黑色、中間色調(diào)和高光)的一組閾值。設(shè)H_i表示在步驟(150)或(260)中用于感興趣的第i亮度范圍的第i(i＝1,N)上采樣濾波器的一組濾波器系數(shù)，并且設(shè)表示s_ij或者其局部近鄰的函數(shù)，那么在實施例中，可以根據(jù)以下用偽代碼表達的算法1來執(zhí)行上采樣濾波(例如，150或260)：

算法1——亮度范圍驅(qū)動的上采樣處理

在一些實施例中，H_i可以表示2-D不可分離濾波器的濾波器系數(shù)。在一些其它的實施例中，H_i可以表示2-D可分離上采樣濾波器的系數(shù)，包括但不限于用于水平和垂直上采樣濾波器的系數(shù)。濾波器系數(shù)H_i可以被預(yù)先計算并且存儲在存儲器中，或者它們可以自適應(yīng)地根據(jù)某一圖像質(zhì)量準則計算。例如，在實施例中，濾波器系數(shù)H_i可以被計算為使得擴展(up-scaling)濾波器的輸出(預(yù)測的UHD EDR信號(152))和輸入的UHD EDR信號(122)之間的均方差最小。

在一些實施例中，可以表示感興趣的單個像素值(例如，s_ij或s_ij-1)，而在一些其它的實施例中，可以表示s_ij周圍的一個或多個像素的局部平均值或某一其它函數(shù)(例如，中間值、最小值或最大值)。

在實施例中，可以基于輸入信號的圖像統(tǒng)計(例如，黑色、中間色調(diào)或高光的平均值)來確定th(i)閾值?？梢曰诿恳幌袼貐^(qū)域、每一幀或每一場景(例如，具有類似亮度特性的一組順序圖片)來計算這些統(tǒng)計。在一些實施例中，可以作為濾波設(shè)計處理的一部分迭代地確定th(i)。例如，考慮基于某一優(yōu)化準則(例如，最小化信號(167)的均方差(MSE))計算濾波器系數(shù)H_i的情況，那么，在實施例中，算法2用偽代碼描述在給定兩個邊界閾值(t_low和t_high)和閾值搜索步長(step)的情況下確定新閾值(th*)的示例方法：

算法2——對于兩個亮度子范圍(N＝2)的閾值確定

在以上描述中，t_low和t_high表示可能搜索閾值的感興趣的邊界值。例如，在實施例中，t_low＝min(s_ij)＝0和t_high＝max(s_ij)＝1(其中，1表示被歸一化的最大可能值)覆蓋可能的亮度值的整個范圍；然而，在其它實施例中，邊界值的范圍可能小得多。例如，時間t時計算用于輸入幀的閾值可以考慮早先(比如說，在時間t-1時)計算的閾值，從而僅在以前一閾值為中心的較小范圍(例如，th(i)-C、th(i)+C，其中，C是常數(shù))內(nèi)進行搜索。

給定算法2，在一些實施例中，類似的方法可以用于使用附加閾值將圖片幀的亮度范圍細分為亮度范圍的附加分區(qū)。在示例實施例中，以下算法(算法3)可以用于將給定的亮度范圍(A、B)細分為兩個或三個亮度子范圍。

算法3——對于三個亮度子范圍(N＝3)的閾值確定

通過算法2和3計算的閾值可以在編碼器(100)和解碼器(200)兩者中都應(yīng)用于算法1。在實施例中，可以使用元數(shù)據(jù)將所計算的閾值從編碼器(100)發(fā)送到解碼器(200)。

如前所述，去隔行器(350)和(460)可以組合去隔行和上采樣功能兩者。圖像處理領(lǐng)域中的技術(shù)人員將意識到，本文中所討論的用于上采樣器(150)和(126)的改進設(shè)計的亮度范圍驅(qū)動的方法也可以應(yīng)用于去隔行器(350)和(460)中的上采樣器的設(shè)計中。

自適應(yīng)殘差處理

如圖1和圖3中所描繪的，在增強層(EL)中，在用EL編碼器(160)壓縮殘差信號(167)以產(chǎn)生EL流(162)之前，可以用非線性量化器(NLQ)(155)對殘差信號(167)進行處理。不失一般性，圖5描繪了根據(jù)本發(fā)明的實施例的關(guān)于NLQ(155)的示例輸入-輸出關(guān)系。

如圖5中所描繪的，設(shè)(-X_max,X_max)表示感興趣的幀或幀區(qū)域中將被編碼的殘差像素x(167)的像素值的范圍。設(shè)Level表示量化器的每側(cè)的可用碼字的數(shù)量(例如，對于x≥0，Level＝128)，那么，給定正閾值T，設(shè)

那么，給定輸入殘差x，在將x裁剪在范圍(-X_max,X_max)內(nèi)之后，圖5的量化運算可以被表達為：

其中，Q(x)表示量化的輸出，SL表示Q(x)在(T,X_max)內(nèi)的斜率，M表示偏移值，該偏移值表示當殘差x＝0時的輸出碼字。閾值T是相對小的值，并且在一些實施例中，T＝0。

參數(shù)T、M、X_max和SL可以分別針對殘差信號x的每個顏色分量定義，并且可以使用元數(shù)據(jù)傳送到接收器。在一些實施例中，NLQ量化參數(shù)中的一個或多個還可以針對整個幀、幀的一個或多個分區(qū)或子區(qū)域、或者一組幀(例如，場景)定義。

給定這樣的量化器，在接收器(例如，(200))上，去量化處理(例如，NLDQ(220))可以被表達為：

其中

R_cmp表示接收的(解碼的)殘差(或EL信號(212))，表示去量化的輸出(222)，該輸出也可以被限定在例如范圍內(nèi)。

實驗結(jié)果表明，與NLQ(155)的參數(shù)的自適應(yīng)設(shè)置相組合的殘差數(shù)據(jù)(167)的適當?shù)念A(yù)處理可以得到EL流的更高效的編碼，從而導致編碼偽像減小并且總體圖像質(zhì)量更好。在該部分中，接著描述三種殘差預(yù)處理算法。

使用標準差度量的殘差預(yù)量化

殘差信號(167)的不適當?shù)牧炕途幋a，尤其是當以相對較低的位率(例如，0.5Mbits/s)對EL流進行編碼時，可能在解碼的信號(232)中導致塊狀偽像。在實施例中，可以通過自適應(yīng)地預(yù)量化被感知為位于相對“平滑”區(qū)域中的某些殘差值來減小這些偽像。圖6A中描繪了根據(jù)本發(fā)明的實施例的這樣的處理的例子，其中，在不作為限制的情況下，測量圍繞每個殘差像素的矩形像素區(qū)域的平滑度是基于計算該區(qū)域中的像素的標準差的。

設(shè)r_fi表示第f幀的第i殘差像素。設(shè)該像素在被表示為n_fi的W_σ×W_σ像素區(qū)域(例如，W_σ＝15)的中心處。那么，在步驟(602)中，該像素的標準差σ_fi可以被確定為：

其中

給定閾值T_σ，在步驟(606)中，如果σ_fi<T_σ，則可以將殘差像素r_fi設(shè)置為預(yù)定值(例如，零)。閾值T_σ可以是固定的，或者在優(yōu)選實施例中，可以根據(jù)殘差幀特性和總體位率要求自適應(yīng)地確定。例如，設(shè)P_f表示第f幀中的像素的總數(shù)。設(shè)σ_fi表示在步驟(602)中計算的標準差值。在步驟(604)中，可以如下確定T_σ：

(a)按降序?qū)Ζ?sub>fi進行排序以產(chǎn)生排序的的列表；

(b)然后，T_σ是排序列表中的k*P_f值，其中，k被定義在范圍0.0至1.0內(nèi)。例如，對于k＝0.25，給定1920×1080幀，T_σ對應(yīng)于排序列表中的第518,400標準差值的值。

計算平滑度的替代方法還可以包括計算W_σ×W_σ像素的均值或方差，或者計算基于每個像素周圍的區(qū)域的邊緣圖的度量，或者使用本領(lǐng)域中已知的任何其它的平滑度檢測和確定算法。

殘差尾端邊界調(diào)整

設(shè)表示幀f中的最大正殘差值，設(shè)表示幀f中的最小負殘差值的絕對值。那么，

并且

如圖5中所描繪的，可以按照和來確定量化器的輸入邊界(例如，)；然而，實驗結(jié)果表明，殘差值具有鐘形分布，并且在每個幀中通常存在非常少的接近于或的像素。如前所指出的，對于圖5中所描繪的量化器，量化步長與成比例。對于固定數(shù)量的碼字(例如，Level的值)，由于量化而導致的失真與X_max的值成正比；因此，較小的X_max值是優(yōu)選的。在實施例中，不是根據(jù)或確定X_max，而是確定新的更小的范圍[Th_f-Th_f+]。在應(yīng)用NLQ(155)之前，限制(或裁剪)殘差像素值以位于新范圍[Th_f-Th_f+]內(nèi)；其中，對于幀f，Th_f+表示正殘差的邊界，Th_f-表示負殘差的邊界。也就是說，

r_fi＝clip3(r_fi，Th_f-，Th_f+)，

其中，clip3()函數(shù)表示：大于Th_f+的殘差像素值被裁剪為Th_f+，小于Th_f-的殘差像素值被裁剪為Th_f-。

雖然用于NLQ處理的較小的輸入范圍由于量化得到較小的誤差，但是殘差信號的無限制的裁剪可能得到明顯的偽像，因此需要根據(jù)殘差信號的特性來改動新范圍的選擇。在實施例中，自適應(yīng)地基于所觀察的殘差像素值的連接性(或稀疏性)來確定這兩個閾值。也就是說，具有非常大的值的孤立殘差像素可以被裁剪而對總體質(zhì)量影響最小；然而，連接的殘差像素的像素值應(yīng)被適當?shù)鼐幋a。圖6B中用處理(650)描繪了根據(jù)本發(fā)明的實施例的這樣的邊界確定處理的示例實現(xiàn)。

處理(650)計算閾值Th，該閾值Th滿足如下條件：等于或大于Th的殘差像素值被認為是稀疏地連接，因此它們可以被裁剪。處理(650)可以用于根據(jù)輸入的殘差值計算Th_f-或Th_f+邊界中的任何一個。例如，為了確定Th_f+＝Th，該處理僅考慮例如在范圍(0，)內(nèi)的正殘差像素值：

為了確定Th_f-＝Th，該處理僅考慮例如在范圍(0，)內(nèi)的負殘差像素值的絕對值：

在步驟(610)中，該處理通過將初始值設(shè)置為閾值Th而開始。所以，給定r_fi的原始邊界(例如，Th_L＝0并且或)，在示例實施例中，初始閾值可以被設(shè)置為已知范圍的中間值，例如：

Th＝(Th_H+Th_L)/2.

給定閾值Th，在步驟(612)中，產(chǎn)生二值圖M_f，其中，該二值圖的元素被計算為：

m_fi＝(R_fi≥Th)

M_f(i)＝m_fi.

給定M_f，在步驟(614)中，可以確定每個二值像素的連接性。例如，在MATLAB中，可以使用函數(shù)bwconncomp計算近鄰連接性(例如，4像素或8像素連接的鄰域)。設(shè)NC_f(i)表示二值圖像M_f中的每個像素的近鄰的數(shù)量。在步驟(618)中，閾值Th可以被調(diào)整為使得，如果像素的連接性超過預(yù)定的連接性閾值T_∝(例如，T_∝＝5個像素)，則這些像素都不被裁剪。例如，如果所有像素上的最大像素連接性超過預(yù)定的連接性閾值T_∝，則可以增大閾值Th，否則，可以減小閾值Th。例如，使用二值搜索，

為了降低計算復(fù)雜度，在實施例中，所述處理可以包括收斂測試步驟(620)。例如，收斂步驟(620)可以計算先前的(或舊的)閾值和新的閾值之間的差值。如果它們的差值大于預(yù)定的收斂閾值，則所述處理用該新閾值再次從步驟(612)繼續(xù)進行。否則，它終止，并且輸出將被使用的最終邊界(例如，Th_f+＝Th)。

基于場景的非線性量化

如前所討論的，在一些實施例中，可以按照以下參數(shù)來表達非線性量化器(155)：X_max、offset(偏差)(例如，M)和Level(也參見關(guān)于圖5的討論)。在一些實施例中，可能有益的是按照幀序列(例如，場景)中的殘差像素特性來確定這些參數(shù)。

給定用于F個幀的序列的和設(shè)

那么，非線性量化器的參數(shù)可以針對整個場景被設(shè)置為：

Level＝max(2^EL_bitdepth-1)-Offset，Offset}，

并且

X_MAX＝(1+Δ)max{X^-，X⁺}，

其中，EL_bitdepth表示EL編碼器(160)的位深(例如，EL_bitdepth＝8)，Δ表示小的正數(shù)值(例如，Δ＝0.1)。在實施例中，對于色度分量，可以使用下式來確定量化級的數(shù)量：

在另一實施例中，和值還可以用如前計算的相應(yīng)的Th_f+和Th_f-值取代。

示例計算機系統(tǒng)實現(xiàn)

本發(fā)明的實施例可以用計算機系統(tǒng)、用電子電路和組件中配置的系統(tǒng)、集成電路(IC)器件(諸如微控制器)、現(xiàn)場可編程門陣列(FPGA)或另一可配置或可編程邏輯器件(PLD)、離散時間或數(shù)字信號處理器(DSP)、專用IC(ASIC)、和/或包括這樣的系統(tǒng)、器件或組件中的一個或多個的裝置來實現(xiàn)。計算機和/或IC可以執(zhí)行、控制或運行與對UHD EDR信號進行編碼(諸如本文中所描述的那些)相關(guān)的指令。計算機和/或IC可以計算與如本文中所描述的UHD EDR信號的編碼相關(guān)的各種參數(shù)或值中的任何一個。編碼和解碼實施例可以用硬件、軟件、固件及其各種組合來實現(xiàn)。

本發(fā)明的某些實現(xiàn)包括如下計算機處理器，其運行使處理器執(zhí)行本發(fā)明的方法的軟件。例如，顯示器、編碼器、機頂盒、轉(zhuǎn)碼器等中的一個或多個處理器可以通過運行可供這些處理器訪問的程序存儲器中的軟件指令來實現(xiàn)如上所述的與對UHD EDR信號進行編碼相關(guān)的方法。本發(fā)明還可以以程序產(chǎn)品的形式提供。程序產(chǎn)品可以包括承載一組計算機可讀信號的任何介質(zhì)，這些信號包括當被數(shù)據(jù)處理器運行時使數(shù)據(jù)處理器運行本發(fā)明的方法的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以為多種形式中的任何一種。程序產(chǎn)品可以包括例如物理介質(zhì)，諸如磁性數(shù)據(jù)存儲介質(zhì)(包括軟盤、硬盤驅(qū)動器)、光學數(shù)據(jù)存儲介質(zhì)(包括CD ROM、DVD)、電子數(shù)據(jù)存儲介質(zhì)(包括ROM、閃存RAM等)。程序產(chǎn)品上的計算機可讀信號可選地可以被壓縮或加密。

在組件(例如，軟件模塊、處理器、組裝件、器件、電路等)在上面被提及的情況下，除非另有指示，否則對于該組件的論述(包括對于“手段”的論述)應(yīng)被解釋為，作為該組件的等同物，包括執(zhí)行所描述的組件的功能的任何組件(例如，在功能上等同)，包括在結(jié)構(gòu)上不等同于所公開的結(jié)構(gòu)的、執(zhí)行本發(fā)明的所例示的示例實施例中的功能的組件。

等同、擴展、替代及其它

如此描述了與UHD EDR信號的向后兼容的編碼和解碼相關(guān)的示例實施例。在前述說明書中，已經(jīng)參照可因?qū)崿F(xiàn)而變化的許多特定細節(jié)描述了本發(fā)明的實施例。因此，什么是本發(fā)明、申請人意圖什么是本發(fā)明的唯一的且排他的指示是本申請以特定形式發(fā)布的一組權(quán)利要求，在該特定形式中，這樣的權(quán)利要求發(fā)布，包括任何后續(xù)校正。本文中針對這樣的權(quán)利要求中所包含的術(shù)語明確闡述的任何定義應(yīng)決定這樣的術(shù)語在權(quán)利要求中使用的意義。因此，在權(quán)利要求中未被明確記載的任何限制、元素、性質(zhì)、特征、優(yōu)點或?qū)傩远疾粦?yīng)以任何方式限制這樣的權(quán)利要求的范圍。說明書和附圖因此要從例示性、而非限制性的意義上來看待。