視頻編碼中的色度量化的制作方法
【專利摘要】本發(fā)明公開了視頻編碼中的色度量化。提供了用信號傳送量化組特有的附加色度QP偏移值的方法，其中，各量化組明確指定其自身的色度QP偏移值的集合。作為替代方案，在圖片的標題區(qū)域中指定色度QP偏移值的可能的集合的表，并且，各量化組使用指數(shù)來從表中選擇用于確定其自身的色度QP偏移值的集合的條目。除了已對于視頻編碼體系的較高層級指定的色度QP偏移值以外，色度QP偏移值特有的量化組然后被用于確定量化組內的塊的色度QP值。
【專利說明】視頻編碼中的色度量化
[0001] 相關申請的交叉引用
[0002] 本申請要求在2013年9月9日提交的美國臨時專利申請61/875664的權益。通 過引用的方式將美國臨時專利申請61/875664合并于此。
【背景技術】
[0003]為了與諸如MPEG-2、MPEG-4 第 2 部分、MPEG-4AVC/H. 264、VC1 和VP8 等以前的視頻 編碼標準和技術相比提高視頻編碼效率，由ITU和ISOMPEG聯(lián)合開發(fā)的下一代高效率視頻 編碼（HEVC/H. 265)標準引入了幾種新的視頻編碼工具。在第一版本中，該新的標準可使用 三種明確定義的profile即Main、Main10和MainStillPictureprofile支持YUV4:2:08 或10位材料的編碼。但是，在支持高于10位的采樣精度（位深）以及包含YUV4:2:0、YUV 4:4:4和RGB4:4:4等的不同的顏色采樣格式和顏色空間上，仍在取得進展。這些材料的編 碼主要考慮用于諸如電影院應用、捕獲、視頻編輯、存檔和醫(yī)療成像等的幾種專業(yè)應用中， 但也用于諸如屏幕內容壓縮和共享、遠程計算和游戲等的幾種消費者應用中。
[0004] 直到最近，現(xiàn)有的視頻編解碼器在編碼圖像的亮度分量時幾乎總是被賦予更高的 優(yōu)先權。主要在諸如切片、編碼樹塊、編碼單元或者甚至ffiVC的變換塊層級的較低層級的 視頻編碼體系上提供控制亮度信息的編碼特性和質量的編碼參數(shù)。用于所有其它分量的控 制和調諧參數(shù)主要在較高的層級上，諸如在Sequence、PictureParameterSet或與亮度控 制參數(shù)的修改結合的Slice層級上是可能的。例如，在MPEG-4AVC中，亮度量化和相應的量 化參數(shù)（QP)在宏塊層級上通過信號發(fā)送的參數(shù)控制。在圖片參數(shù)集合中提供各色度分量 的單個偏移。各色度QP偏移在與各宏塊內的亮度QP的關系中控制相應的色度分量的QP 值。但是，該關系對于整個圖片是固定的。如果希望改變亮度或色度區(qū)域的質量，那么，假 定該非常緊密的關系，其它的分量也被影響。在ffiVC中，由于HEVC允許對于各切片用信號 發(fā)送的單獨的色度量化偏移，因此也提供一些附加的控制。但是，使用多個切片對于一些應 用可能不是所希望的或者不起作用，而提供的控制仍然有些粗糙。
[0005] 對于一些應用或內容，能夠獨立地控制一些顏色分量的質量在嘗試提高總體質 量、壓縮比以及總體用戶體驗上會是相當重要的。例如，一些區(qū)域即使在顏色分量上也可由 不同的質地特性或噪聲特性表征，而與增強亮度中的相同信息相比或多或少地增強顏色邊 緣可能是重要的。并且，對于諸如視頻顯示共享和遠程計算的4:4:4應用，可能希望在紅色 和藍色分量的重要性以及因此希望的控制趨于比YUV域中的色度分量高的情況下編碼RGB 內容，因此?？赡苓€希望編碼作為諸如計算機圖形或應用的合成內容與自然圖像或視頻的 組合的混合視頻內容。在該方案中，給定自然對合成內容的不同特性以及自然內容最初為 上轉換為用于顯示到4:4:4的4:2:0圖像的可能性，具有控制色度量化參數(shù)的能力可大幅 度地潛在影響編碼性能和主觀質量。
[0006] 所需要的是與現(xiàn)有編解碼器相比允許進一步控制色度量化參數(shù)的方法以及擴展 其對于所有常見顏色格式（諸如YUV、RGV、YC〇Cg或YC〇Cg-R)、所有常見顏色采樣方案（諸 如4:2:0、4:2:2、4:4:4或4:4:4:4)以及各分量的各種位深的支持。這種方法應允許在不 對顏色或采樣格式施加任何限制的情況下以靈活得多的方式以信號發(fā)送和改變編碼塊內 的色度QP偏移信息。
【發(fā)明內容】
[0007] 為了提供可更靈活地指定色度量化參數(shù)（QP)的視頻編碼系統(tǒng)，本發(fā)明的一些實 施例提供用信號發(fā)送量化組特有的附加色度QP偏移值的方法。在一些實施例中，各量化組 明確指定其自身的色度QP偏移值的集合。在一些實施例中，在圖片或切片的標題（header) 區(qū)域中指定色度QP偏移值的可能的集合的表，并且，各量化組使用指數(shù)以從表中選擇用于 其自身的色度QP偏移值的集合的條目。量化組層級色度QP偏移值然后被用于確定量化組 內的像素的塊或集合的色度QP值。在一些實施例中，與已在視頻編碼體系中的更高層級指 定的塊和色度QP偏移值的亮度QP結合使用量化組色度QP值。
[0008] -些實施例關聯(lián)色度QP偏移規(guī)范與包含一個或多個視頻數(shù)據(jù)單元的量化組 (QG)。在一些實施例中，各QG與色度QP偏移規(guī)范的其自身的集合關聯(lián)，并且，在這些實施 例中的一些中，與QG關聯(lián)的色度QP偏移規(guī)范的集合在QG中的視頻數(shù)據(jù)單元的編碼結構內 被編碼或嵌入。
[0009] 為了進一步減少開銷或位使用，一些實施例在更高層級中，例如在序列參數(shù)集合 (SPS)、圖片參數(shù)集合（PPS)或在當前切片標題中指定各分量的所有可用的偏移值或者兩 個分量的組合值。在這些實施例中的一些中，較高層級的句法標題（SPS/PPS/切片標題） 以表格的形式列出不同的可能的偏移值，表中的每個條目被分配指數(shù)。然后，在編碼單元/ 量化組層級上，一些實施例僅指定希望的量化偏移值的指數(shù)或多個指數(shù)。這些偏移可與在 PPS或切片標題上指定的偏移值無關，或者，相反，是對在PPS或切片標題上指定的偏移值 的添加。為了減小位流尺寸，一些實施例將表中的條目的數(shù)量限制到最大值。
[0010] 不同實施例中的編碼器使用用于選擇和分配量化組特有的附加色度QP偏移值的 不同方法。一些實施例執(zhí)行其中編碼器執(zhí)行區(qū)域層級分析的預分析步驟。一些實施例識別 具有不同的視頻內容類型的圖像中的不同區(qū)域。在這些實施例中的一些中，具有不同類型 的視頻內容的不同區(qū)域被分配不同的色度QP偏移值，或者被分配到不同的量化組中。一些 實施例區(qū)分圖形內容與真實視頻內容。一些實施例區(qū)分最初以4:4:4格式編碼的4:4:4視 頻內容與從4:2:0格式上采樣的4:4:4視頻內容。一些實施例覺察最初可具有不同的位深 的視頻內容。除了其跨顏色分量以及速率控制信息的關系以外，視頻內容的這些特性還被 一些實施例使用以確定所有顏色分量之間的量化層級或量化關系。
[0011] 前面的
【發(fā)明內容】
意在用作本發(fā)明的一些實施例的簡要介紹。不意味著在本文件中 公開的所有發(fā)明主題的介紹或概括。以下的【具體實施方式】和在【具體實施方式】中參照的附圖 將進一步描述在
【發(fā)明內容】
中描述的實施例以及其它實施例。因此，為了理解由本文件描述 的所有實施例，需要通覽
【發(fā)明內容】
、【具體實施方式】和附圖。
【專利附圖】
【附圖說明】
[0012] 在所附的權利要求中闡述本發(fā)明的新穎特征。但是，出于解釋的目的，在以下的圖 中闡述本發(fā)明的幾個實施例。
[0013] 圖1示出包含分別具有其自身的色度QP偏移規(guī)范的集合的色度量化組的分層視 頻編碼結構100。
[0014] 圖2a_c示出用于編碼色度量化組的色度QP偏移值的集合的幾種方法。
[0015] 圖3示出指定色度量化組的定義的示例性圖片標題或圖片參數(shù)集合（PPS)。
[0016] 圖4示出可處于色度量化組中的示例性編碼樹單元。
[0017] 圖5示出量化組內的附加的色度QP偏移的規(guī)范。
[0018] 圖6示出使用用于指定兩個色度分量的色度QP偏移值的不同方法的量化組內的 附加色度QP偏移的規(guī)范。
[0019] 圖7在概念上示出用于從允許附加的色度QP偏移規(guī)范的視頻位流確定色度QP值 的處理。
[0020] 圖8示出包括較高層級標題上的可能的色度QP偏移值的表的分層視頻編碼結構。
[0021] 圖9示出編碼色度QP偏移的表的示例性圖片標題或圖片參數(shù)集合（PPS)。
[0022] 圖10示出預測性地編碼色度QP偏移表的各條目的圖片標題。
[0023] 圖11示出可處于使用指數(shù)的量化組中以從圖片標題中的表檢索色度QP偏移值的 示例性編碼樹單元。
[0024] 圖12示出使用指數(shù)以選擇色度QP偏移值的表中的條目的量化組。
[0025] 圖13在概念上示出用于從使用可能的色度QP偏移值的表的視頻位流確定色度QP 值以實現(xiàn)附加的色度QP偏移規(guī)范的處理。
[0026] 圖14示出包含對于指定附加色度QP偏移值的方法的選擇的圖片標題的偽代碼。
[0027] 圖15示出能夠通過使用三種不同方法中的任一種指定量化組的色度QP偏移值的 變換單元的偽代碼的實現(xiàn)。
[0028] 圖16示出圖像的示例性的分段和分類。
[0029] 圖17在概念上示出用于分析圖像的不同區(qū)域并因此分配色度QP偏移的處理 1700。
[0030] 圖18示出一般的視頻編碼器。
[0031] 圖19示出一般的視頻解碼器。
[0032] 圖20在概念上示出實現(xiàn)本發(fā)明的一些實施例的電子系統(tǒng)。
【具體實施方式】
[0033] 在以下的描述中，出于解釋的目的，闡述大量的細節(jié)。但是，本領域技術人員可以 認識到，可以在不使用這些特定細節(jié)的情況下實施本發(fā)明。在其它情況下，為了不用不必要 的細節(jié)混淆本發(fā)明的描述，以框圖的形式示出公知的結構和裝置。
[0034] 為了提供可更靈活地指定色度量化參數(shù)（色度QP)的視頻編碼系統(tǒng)，本發(fā)明的一 些實施例提供用信號發(fā)送量化組特有的附加色度QP偏移值的方法。在一些實施例中，各量 化組明確指定其自身的色度QP偏移值的集合。在一些實施例中，在圖片或切片的標題區(qū)域 中指定色度QP偏移值的可能的集合的表，并且，各量化組使用指數(shù)來從表中選擇用于確定 其自身的色度QP偏移值的集合的條目。量化組層級色度QP偏移值然后被用于確定量化組 內的塊的色度QP值。在一些實施例中，與已在視頻編碼體系的較高層級上指定的塊和色度 QP偏移值的亮度QP結合使用量化組色度QP值。
[0035] 以下的部分I描述用于指定附加色度QP偏移值的方法。具體而言，部分I.a描述 用于明確指定量化組中的附加色度QP偏移值的方法，而部分I.b描述用于指定可能的色度QP偏移值的表的方法。然后部分II描述用于識別和向圖像的不同區(qū)域分配附加色度QP偏 移值的不同的系統(tǒng)和方法。部分III描述實現(xiàn)本發(fā)明的一些實施例的視頻編碼器和解碼器 系統(tǒng)，而部分IV描述實現(xiàn)本發(fā)明的一些實施例的計算機系統(tǒng)。
[0036] I.指定附加的色度QP偏移
[0037] a.指定量化組中的附加的色度QP偏移
[0038] 本發(fā)明的一些實施例提供指定用于編碼一系列的視頻的色度量化參數(shù)偏移值 (色度QP值）的方法。該方法關聯(lián)色度QP偏移規(guī)范與色度量化組，每個色度QG包含一個 或多個視頻數(shù)據(jù)單元（諸如ffiVC中的編碼單元）。在一些實施例中，與色度量化組相關的 色度QP偏移規(guī)范的集合在色度量化組內的視頻數(shù)據(jù)單元的編碼結構內被編碼或嵌入。在 一些實施例中，除了對于包含色度量化組的視頻編碼體系的較高層級（諸如切片或圖片） 下的視頻編碼結構指定的其它色度QP偏移規(guī)范以外，施加用于色度量化組的色度QP偏移 規(guī)范。在一些實施例中，為了確定色度量化參數(shù)（色度QP)，一起施加來自不同層級的色度 QP偏移（例如，通過將其添加到亮度QP值）。
[0039] 在一些實施例中，除了亮度量化組（亮度QG)以外，限定色度量化組（色度QG)。 亮度QG還包含一個或多個視頻數(shù)據(jù)單元，但用于指定亮度量化參數(shù)（亮度QP)。在一些實 施例中，色度QG可重疊或包含一個或多個亮度QG。換句話說，色度QG內的不同區(qū)域可屬于 不同的亮度QG，并因此具有不同的亮度QP。
[0040] 對于本發(fā)明的一些實施例，圖1示出包括分別具有其自身的色度QP偏移規(guī)范的集 合的色度量化組（色度QG)的分層視頻編碼結構100。分層視頻編碼結構100包含幾個圖 片101-103。其中，圖片102包含幾個切片111-113。切片112包含幾個色度QG121-123。 圖片102具有包含色度QP偏移規(guī)范的集合的圖片參數(shù)集合（PPS) 132。色度QG121-123分 別與色度QP偏移集合141-143關聯(lián)。
[0041] 分層視頻編碼結構100與一系列的視頻圖像對應。一系列的視頻圖像被組織成體 系的各種層級處的視頻數(shù)據(jù)單元的層，這里，較高層級上的視頻數(shù)據(jù)單元包含較低層級上 的一個或多個視頻數(shù)據(jù)單元。例如，圖片的組（G0P)是體系上層級比圖片高的視頻數(shù)據(jù)單 元，圖片是體系上的層級比圖片的切片高的視頻數(shù)據(jù)單元，切片是體系上的層級比編碼樹 單元高的視頻數(shù)據(jù)單元，等等。在一些實施例中，對于較高層級的視頻數(shù)據(jù)單元指定的至少 一些參數(shù)適用于該較高層級視頻數(shù)據(jù)單元包含的較低層級視頻數(shù)據(jù)單元。例如，在一些實 施例中，圖片1〇2(來自PPS132)的圖片層級色度QP偏移規(guī)范適用于圖片102包含的所有 色度QG(例如，色度QG121-123)。
[0042] 在一些實施例中，視頻編碼結構100被編碼為位流。這種位流基于諸如HEVC/ H. 265標準或MPEG-4AVC/H. 264標準的所建立的視頻編碼格式。根據(jù)H. 265標準的圖片可 包含一個或多個切片，并且各切片可具有一個或多個編碼樹單元（CTU)。并且，各CTU可被 再分成塊。H. 265還允許為量化/去量化亮度分量限定亮度量化組。各量化組允許導出量 化組內的視頻數(shù)據(jù)單元特有的亮度量化參數(shù)。一旦被導出，亮度量化參數(shù)就然后被用于執(zhí) 行亮度DCT系數(shù)的量化。根據(jù)H. 265標準，基于在H. 265兼容位流的圖片或切片層中提供 的偏移值從亮度量化參數(shù)導出色度量化參數(shù)。除了由H. 265標準允許的圖片/切片層色度 QP偏移以外，視頻編碼結構100提供色度QP偏移信令或規(guī)范。
[0043] 色度QG141-143是視頻編碼結構100中的限定范圍。QG141-143中的每一個與 其自身的色度QP偏移值141-143的集合相關。在一些實施例中，量化組可以是共享QP值 的相同集合的一組視頻數(shù)據(jù)單元。在一些實施例中，用于QG中的色度QP偏移的信令被應 用于QG內的所有視頻數(shù)據(jù)單元。在一些實施例中，從以信號發(fā)送的第一色度殘余信息開始 施加QP偏移。信令前面的任何區(qū)域不與以信號發(fā)送的色度QP偏移相關。換句話說，QG可 "分段"。
[0044] 在一些實施例中，可在諸如編碼樹單元、編碼單元或變換單元的視頻編碼體系的 不同層級或深度上限定QG(色度或亮度），原因是它們在HEVC中被支持。在一些實施例中， 在可用時，用于色度QP偏移的QG的定義繼承用于亮度分量的QG的定義。
[0045] 在一些實施例中，QG(色度或亮度）的深度、層級和尺寸可在位流中被靈活地指 定，并且可從圖片到圖片改變。例如，一個圖片（例如，101)可指定其色度QG要處于編碼象 限樹的頂部層級（即，QG是CTU)，而另一圖片（例如，103)可指定其色度QG處于編碼象限 樹的較低層級（例如，QG是象限樹的編碼塊）。在一些實施例中，較高層級參數(shù)（諸如PPS 或切片標題）指定要在視頻編碼體系的哪個層級上限定圖片的QG。
[0046] 圖1還示出由色度QG指定的偏移如何被用于計算色度QP值。在諸如圖1所示的 一些實施例中，色度QP偏移參數(shù)的第一集合已在PPS132(和/或用于切片112的標題）中 被以信號發(fā)送（signal)。在一些實施例中，當QG指定它們的自身的色度QP偏移值時，在高 于色度QG的層級（例如，PPS和/或切片標題）上指定的色度QP偏移值被忽略。在一些 實施例中，較高層級色度QP偏移句法要素和QG層級色度QP偏移被一起考慮以減少開銷。 艮P，在與兩個參數(shù)集合的關系中完成色度QP值的調整（adaptation)，并且，以信號發(fā)送的 信息可被視為"二次"偏移。在這些實施例中的一些中，用于當前的色度QG的色度QP值被 計算為：
【權利要求】
1. 一種方法，包括： 在視頻編碼體系的一個或多個層級上識別色度量化參數(shù)（QP)偏移值的一個或多個初 始集合，具體層級處的色度QP偏移值的各集合用于指定所述具體層級包含的視頻單元的 色度QP ; 在視頻編碼體系中識別多個視頻單元的色度QP偏移值的附加集合；和 計算多個視頻單元的色度QP值的集合，其中，所識別的色度QP偏移值的初始集合和所 識別的色度QP偏移值的附加集合是多個視頻單元的色度QP值的集合的添加分量。
2. 根據(jù)權利要求1的方法，其中，所識別的色度量化參數(shù)的初始集合用于包含視頻編 碼體系的具體層級的視頻單元。
3. 根據(jù)權利要求1的方法，還包括識別多個視頻單元的亮度量化參數(shù)值，其中，計算色 度QP值的集合包括向亮度QP值添加所識別的色度QP偏移值的初始集合和所識別的色度 QP偏移值的附加集合。
4. 根據(jù)權利要求1的方法，其中，第一識別的色度QP值的初始集合在圖片標題中被指 定，并且第二識別的色度QP值的初始集合在切片標題中被指定。
5. -種方法，包括： 在視頻編碼體系的第一層級處識別第一視頻數(shù)據(jù)單元的色度QP偏移值的第一集合； 在視頻編碼體系的第二層級處識別適于第二視頻數(shù)據(jù)單元的色度QP偏移值的第二集 合，其中，第一視頻數(shù)據(jù)單元包含第二視頻數(shù)據(jù)單元；和 基于色度QP偏移值的第一集合和色度QP偏移值的第二集合計算第二視頻數(shù)據(jù)單元的 色度量化參數(shù)的集合。
6. 根據(jù)權利要求5的方法，其中，第一視頻數(shù)據(jù)單元是圖片。
7. 根據(jù)權利要求5的方法，其中，第一視頻數(shù)據(jù)單元是切片。
8. 根據(jù)權利要求5的方法，其中，計算第二視頻數(shù)據(jù)單元的色度量化參數(shù)的集合包括 向亮度QP值添加色度QP偏移值的第一集合和色度QP偏移值的第二集合。
9. 根據(jù)權利要求5的方法，其中，色度QP偏移值的第二集合包括第一色度分量的偏移 值，該方法還包括使用第一色度分量的偏移值來預測第二色度分量的偏移值。
10. 根據(jù)權利要求5的方法，其中，色度QP偏移值的第二集合包括第一色度分量的偏移 值，該方法還包括使用第一色度分量的偏移值作為第二色度分量的偏移值。
11. 根據(jù)權利要求5的方法，還包括在視頻編碼體系的第三層級上識別第三視頻數(shù)據(jù) 單元的色度QP偏移值的第三集合，其中，第三視頻數(shù)據(jù)單元包含第一視頻數(shù)據(jù)單元，其中 計算第二視頻數(shù)據(jù)單元的色度量化參數(shù)的集合進一步基于色度QP偏移值的第三集合。
12. -種方法，包括： 在視頻編碼體系的一個或多個層級處識別色度量化參數(shù)（QP)偏移值的一個或多個初 始集合，具體層級處的色度QP偏移值的各個集合用于指定所述具體層級包含的視頻單元 的色度QP ; 識別與視頻編碼體系的一個或多個不同的層級相關的色度QP偏移值的一個或多個附 加集合；和 計算具體視頻數(shù)據(jù)單元的色度QP值的集合，其中，所識別的色度QP偏移值的初始集合 和所識別的色度QP偏移值的附加集合是視頻數(shù)據(jù)單元的色度QP值的集合的添加分量。
13. 根據(jù)權利要求12的方法，其中，色度QP偏移值的附加集合中的一個集合與包含具 體的視頻數(shù)據(jù)單元的量化組相關。
14. 根據(jù)權利要求13的方法，其中，為包含量化組的視頻編碼體系的層級指定所識別 的色度QP偏移值的初始集合中的至少一個。
15. -種計算機系統(tǒng)，包括用于實現(xiàn)根據(jù)權利要求1-14中任一所述的步驟的裝置。
16. -種解碼器，包括： 用于識別具體的視頻圖片的色度QP偏移值的第一集合的模塊； 用于識別圖片中的編碼單元的集合特有的色度QP偏移值的第二集合的模塊；和 用于通過基于圖片的色度QP偏移值的第一集合和設定的編碼單元的色度QP偏移值的 第二集合計算色度量化參數(shù)的集合來解碼編碼單元的集合的模塊。
17. 根據(jù)權利要求16的解碼器，還包括用于接收位流的模塊，其中，具體的視頻圖片在 位流中被編碼。
18. 根據(jù)權利要求17的解碼器，其中，用于解碼編碼單元的集合的模塊用于去量化來 自位流的系數(shù)的集合。
19. 根據(jù)權利要求16的解碼器，還包括用于對于隨后的過濾使用所識別的色度QP偏移 值的集合中的一些的模塊。
20. 根據(jù)權利要求19的解碼器，其中，隨后的過濾包括解塊過濾。
【文檔編號】H04N19/186GK104427339SQ201410438130
【公開日】2015年3月18日 申請日期:2014年8月29日 優(yōu)先權日:2013年9月9日
【發(fā)明者】A·多拉佩斯, G·科泰 申請人:蘋果公司