幀內(nèi)塊復(fù)制預(yù)測中的塊翻動和跳躍模式的制作方法
【專利說明】幀內(nèi)塊復(fù)制預(yù)測中的塊翻動和跳躍模式
[0001]背景
[0002]工程師使用壓縮(也叫做源編碼(source coding或source encoding))來降低數(shù)字視頻的比特率。壓縮通過將視頻信息轉(zhuǎn)換成較低比特率的形式來降低存儲和傳送該信息的成本。解壓(也被稱為解碼)從壓縮的形式中重構(gòu)一種版本的原始信息?！熬幗獯a器”是編碼器/解碼器系統(tǒng)。
[0003]在過去的二十年中，已采用了各種視頻編解碼器標(biāo)準(zhǔn)，包括ITU-T H.261、H.262(MPEG-2 或 IS0/IEC 13818-2)、H.263 和 H.264(MPEG-4AVC 或 IS0/IEC 14496-10)標(biāo)準(zhǔn)、MPEG-1 (IS0/IEC I I 172-2)和 MPEG-4 可視(IS0/IEC 14496-2)標(biāo)準(zhǔn)以及 SMPTE421M(VC-1)標(biāo)準(zhǔn)。最近，H.265/HEVC 標(biāo)準(zhǔn)(ITU-T H.265 或 IS0/IEC 23008-2)已被批準(zhǔn)。當(dāng)前，正在開發(fā)(例如，針對可縮放視頻編碼/解碼、針對在樣本比特深度或色度采樣率方面具有較高保真度的視頻的編碼/解碼、或針對多視圖編碼/解碼的)HEVC標(biāo)準(zhǔn)的擴(kuò)展。視頻編解碼器標(biāo)準(zhǔn)通常定義針對經(jīng)編碼的視頻比特流的句法的選項(xiàng)，從而詳述當(dāng)在編碼和解碼時使用特定特征時該比特流中的參數(shù)。在許多情況下，視頻編解碼器標(biāo)準(zhǔn)還提供關(guān)于解碼器應(yīng)當(dāng)執(zhí)行以在解碼時取得一致的結(jié)果的解碼操作的細(xì)節(jié)。除了編解碼器標(biāo)準(zhǔn)外，各種專用編解碼器格式定義針對經(jīng)編碼的視頻比特流的句法的其他選項(xiàng)以及相應(yīng)的解碼操作。
[0004]幀內(nèi)塊復(fù)制(“BC”)是H.265/HEVC擴(kuò)展的處于開發(fā)中的預(yù)測模式。對于幀內(nèi)BC預(yù)測模式，圖片中的當(dāng)前塊的樣本值是使用同一圖片中的先前重構(gòu)的樣本值來預(yù)測的。塊矢量(“BV”)指示從當(dāng)前塊到圖片中包括用于預(yù)測的先前重構(gòu)的樣本值的區(qū)域的位移。BV被信號化在比特流中。幀內(nèi)BC預(yù)測是一種形式的圖片內(nèi)預(yù)測一針對圖片中的塊的幀內(nèi)BC預(yù)測不使用除了同一圖片中的樣本值以外的任何樣本值。
[0005]如當(dāng)前在H.265/HEVC標(biāo)準(zhǔn)中規(guī)定并在針對H.265/HEVC標(biāo)準(zhǔn)的某一參考軟件中實(shí)現(xiàn)的，幀內(nèi)BC預(yù)測模式具有若干問題。具體地，對具有可預(yù)測的BC位移的塊的編碼不會被高效地處理，并且針對具有相反模式的內(nèi)容的幀內(nèi)BC預(yù)測不會被高效地處理。
[0006]概述
[0007]總而言之，詳細(xì)描述呈現(xiàn)了使用幀內(nèi)塊復(fù)制(“BC”)預(yù)測來編碼或解碼塊的領(lǐng)域中的創(chuàng)新。例如，這些創(chuàng)新中的一些涉及使幀內(nèi)BC預(yù)測的塊相對于參考區(qū)域翻動的塊翻動，該參考區(qū)域可由塊矢量(“BV”)值來指示。其他創(chuàng)新涉及跳躍模式的信號化，其中當(dāng)前的幀內(nèi)BC預(yù)測的塊使用經(jīng)信號化的BV差但缺少殘留數(shù)據(jù)。在許多情況下，這些創(chuàng)新改善了針對幀內(nèi)BC預(yù)測的塊的編碼效率。
[0008]根據(jù)本文中描述的創(chuàng)新的第一方面，圖像或視頻編碼器基于圖片中的參考區(qū)域?yàn)樵搱D片中的當(dāng)前塊(例如，編碼單元、預(yù)測單元)確定幀內(nèi)BC預(yù)測區(qū)域。幀內(nèi)BC預(yù)測區(qū)域被相對于參考區(qū)域翻動。例如，幀內(nèi)BC預(yù)測區(qū)域被相對于參考區(qū)域水平地翻動、相對于參考區(qū)域垂直地翻動、或相對于參考區(qū)域既水平地又垂直地翻動。
[0009]編碼器使用幀內(nèi)BC預(yù)測區(qū)域來編碼當(dāng)前塊，并在比特流中輸出經(jīng)編碼的數(shù)據(jù)。經(jīng)編碼的數(shù)據(jù)包括幀內(nèi)BC預(yù)測區(qū)域是否相對于參考區(qū)域被翻動的指示。例如，該指示是比特流中的一個或多個句法元素，其可被信號化成針對當(dāng)前塊或包括當(dāng)前塊的較大塊。(諸)句法元素可以是(諸)標(biāo)志，每一標(biāo)志指示對翻動方向的判定。(諸)句法元素可聯(lián)合地與另一句法元素來編碼或者被分開地信號化在比特流中。
[0010]相應(yīng)的解碼器接收比特流中經(jīng)編碼的數(shù)據(jù)。經(jīng)編碼的數(shù)據(jù)包括針對圖片中的當(dāng)前塊(例如，編碼單元、預(yù)測單元)的幀內(nèi)BC預(yù)測區(qū)域是否相對于圖片中的參考區(qū)域被翻動的指示。例如，該指示是比特流中的一個或多個句法元素，其可以被信號化成針對當(dāng)前塊或包括當(dāng)前塊的較大塊。(諸)句法元素可以是(諸)標(biāo)志，每一標(biāo)志指示對翻動方向的判定。(諸)句法元素可聯(lián)合地與另一句法元素來編碼或者被分開地信號化。
[0011]解碼器基于圖片中的參考區(qū)域來確定針對當(dāng)前塊的幀內(nèi)BC預(yù)測區(qū)域。幀內(nèi)BC預(yù)測區(qū)域相對于參考區(qū)域被(例如，水平地和/或垂直地)翻動。解碼器使用幀內(nèi)BC預(yù)測區(qū)域來解碼當(dāng)前塊。
[0012]當(dāng)編碼器或解碼器確定幀內(nèi)BC預(yù)測區(qū)域相對于其參考區(qū)域被翻動時，編碼器或解碼器可(a)確定參考區(qū)域，(b)翻動參考區(qū)域，并且隨后(C)將在經(jīng)翻動的參考區(qū)域的各位置處的樣本值分配給在幀內(nèi)BC預(yù)測區(qū)域的各位置處的樣本值?；蛘呔幋a器或解碼器可(a)確定參考區(qū)域，(b)將在參考區(qū)域的各位置處的樣本值分配給在幀內(nèi)BC預(yù)測區(qū)域的各位置處的樣本值，并且隨后(C)翻動幀內(nèi)BC預(yù)測區(qū)域?；蛘撸幋a器或解碼器可(a)確定參考區(qū)域，并且隨后(b)將在參考區(qū)域的各位置處的樣本值分配給在幀內(nèi)BC預(yù)測區(qū)域的相應(yīng)位置處的樣本值，其中這些相應(yīng)位置考慮了翻動。
[0013]在一些示例實(shí)現(xiàn)中，經(jīng)編碼的數(shù)據(jù)包括針對當(dāng)前塊的BV值。BV值指示到圖片中的參考區(qū)域的位移。在編碼期間，BV值可以是預(yù)測的BV值，或者BV值可在BV估計(jì)中被標(biāo)識出，并且用相對于預(yù)測的BV值的BV差來信號化。在解碼期間，BV值可以是預(yù)測的BV值，或者BV值可通過將BV差添加到預(yù)測的BV值中來重構(gòu)。
[0014]根據(jù)本文中描述的創(chuàng)新的另一方面，圖像或視頻編碼器確定針對圖片中的當(dāng)前塊(例如，編碼單元、預(yù)測單元)的BV值。該BV值指示到圖片中的參考區(qū)域的位移。編碼器使用針對當(dāng)前塊的BV值和BV預(yù)測值(預(yù)測的BV值)來確定針對當(dāng)前塊的BV差。比特流可包括索引值，該索引值指示從多個BV預(yù)測值候選的集合中對要用作BV預(yù)測值的BV預(yù)測值候選的選擇?；蛘撸砂茨骋黄渌绞絹磉x擇BV預(yù)測值。編碼器使用幀內(nèi)BC預(yù)測用該BV值來編碼當(dāng)前塊。編碼器在比特流中輸出經(jīng)編碼的數(shù)據(jù)，該經(jīng)編碼的數(shù)據(jù)包括指示當(dāng)前塊是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的標(biāo)志。由于當(dāng)前塊是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的，因此該比特流包括針對當(dāng)前塊的BV差但缺少針對當(dāng)前塊的殘留數(shù)據(jù)。
[0015]在一些示例實(shí)現(xiàn)中，如果給定塊(例如，當(dāng)前塊、后續(xù)塊)不是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的，則另一標(biāo)志可指示該給定塊是否是使用幀內(nèi)BC預(yù)測以非跳躍模式來編碼的。如果不是使用幀內(nèi)BC預(yù)測以非跳躍模式來編碼的，則給定塊可以用另一模式(諸如，幀內(nèi)空間預(yù)測模式或圖片間模式)來編碼，如用一個或多個其他句法元素來指示的。
[0016]在一些示例實(shí)現(xiàn)中，用跳躍模式幀內(nèi)BC預(yù)測出的給定塊(例如，當(dāng)前塊、后續(xù)塊)具有針對分割模式的定義的值。這會影響對針對分割模式的句法元素的信號化。如果給定塊是使用幀內(nèi)BC預(yù)測以非跳躍模式來編碼的，則比特流包括指示針對給定塊的分割模式的句法元素。然而，如果給定塊是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的，則比特流缺少指示針對給定塊的分割模式的句法元素，并且針對給定塊的分割模式具有定義的值。
[0017]在一些示例實(shí)現(xiàn)中，用跳躍模式幀內(nèi)BC預(yù)測出的給定塊(例如，當(dāng)前塊、后續(xù)塊)缺少指示給定塊的殘留數(shù)據(jù)的存在或缺失的標(biāo)志。給定塊的殘留數(shù)據(jù)被假設(shè)為在比特流中是缺失的。同樣，如果給定塊是使用幀內(nèi)BC預(yù)測以非跳躍模式來編碼的，并且針對給定塊的分割模式具有定義的值，則比特流缺少指示給定塊的殘留數(shù)據(jù)的存在或缺失的標(biāo)志。在這種情況下，給定塊的殘留數(shù)據(jù)被假設(shè)為在比特流中是存在的。
[0018]否則，如果給定塊是使用幀內(nèi)BC預(yù)測以非跳躍模式來編碼的，并且針對給定塊的分割模式不具有定義的值，則比特流包括指示給定塊的殘留數(shù)據(jù)的存在或缺失的標(biāo)志。
[0019]相應(yīng)的解碼器從比特流接收經(jīng)編碼的數(shù)據(jù)，該經(jīng)編碼的數(shù)據(jù)包括指示圖片中的當(dāng)前塊(例如，編碼單元、預(yù)測單元)是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的標(biāo)志。由于當(dāng)前塊是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的，因此比特流包括針對當(dāng)前塊的BV差但缺少針對當(dāng)前塊的殘留數(shù)據(jù)。解碼器使用針對當(dāng)前塊的BV差和BV預(yù)測值(預(yù)測的BV值)來確定當(dāng)前塊的BV值。比特流可包括索引值，該索引值指示從多個BV預(yù)測值候選的集合中對要用作BV預(yù)測值的BV預(yù)測值候選的選擇?；蛘?，可按某一其他方式來選擇BV預(yù)測值。BV值指示到圖片中的參考區(qū)域的位移。解碼器使用幀內(nèi)BC預(yù)測用該BV值來解碼當(dāng)前塊。
[0020]在當(dāng)前塊是使用幀內(nèi)BC預(yù)測以跳躍模式來編碼的時候，針對當(dāng)前塊的幀內(nèi)BC預(yù)測區(qū)域可相對于其參考區(qū)域被翻動。以上匯總了翻動操作、翻動方向和關(guān)于翻動是否被使用的信號化的示例。
[0021]針對幀內(nèi)BC預(yù)測的創(chuàng)新可以被實(shí)現(xiàn)為方法的一部分、被適配成執(zhí)行該方法的計(jì)算系統(tǒng)的一部分或存儲用于使計(jì)算系統(tǒng)執(zhí)行該方法的計(jì)算機(jī)可執(zhí)行指令的有形計(jì)算機(jī)可讀介質(zhì)的一部分。各創(chuàng)新可以結(jié)合地或分開地使用。具體地，幀內(nèi)BC預(yù)測中的塊翻動可結(jié)合針對幀內(nèi)BC預(yù)測的塊的跳躍模式來使用。
[0022]參考附圖閱讀以下詳細(xì)描述，將更清楚本發(fā)明的前述和其他目標(biāo)、特征和優(yōu)點(diǎn)。
[0023]附圖簡述
[0024]圖1是其中可實(shí)現(xiàn)所描述的一些實(shí)施例的示例計(jì)算系統(tǒng)的示圖。
[0025]圖2a和2b是其中可實(shí)現(xiàn)所描述的一些實(shí)施例的示例網(wǎng)絡(luò)環(huán)境的示圖。
[0026]圖3是結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例編碼器系統(tǒng)的示圖。
[0027]圖4是結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例解碼器系統(tǒng)的示圖。
[0028]圖5a和5b是示出結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例視頻編碼器的示圖。
[0029]圖6是示出結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例視頻解碼器的示圖。
[0030]圖7a和7b是分別示出針對圖片中的塊的幀內(nèi)BC預(yù)測和針對該塊的BV預(yù)測的示圖。
[0031]圖8a-8d、9a_9c和1a-1Oc是示出針對各塊的參考區(qū)域的翻動的示圖。
[0032]圖11和12是分別示出用于編碼和解碼的技術(shù)的流程圖，其中幀內(nèi)BC預(yù)測區(qū)域相對于參考區(qū)域被翻動。
[0033]圖13和14是示出用于包括針對幀內(nèi)BC預(yù)測的塊的跳躍模式的編碼的技術(shù)的流程圖。
[0034]圖15和16是示出用于包括針對幀內(nèi)BC預(yù)測的塊的跳躍模式的解碼的技術(shù)的流程圖。
[0035]圖17a和17b是示出編碼單元的根據(jù)現(xiàn)有方法的句法結(jié)構(gòu)的表格。
[0036]圖18是示出編碼單元的可用跳躍模式編碼成幀內(nèi)BC預(yù)測的塊的新句法結(jié)構(gòu)的表。
[0037]詳細(xì)描述
[0038]詳細(xì)描述呈現(xiàn)了使用幀內(nèi)塊復(fù)制(“BC”)預(yù)測來編碼或解碼塊的領(lǐng)域中的創(chuàng)新。例如，這些創(chuàng)新中的一些涉及使幀內(nèi)BC預(yù)測的塊相對于參考區(qū)域翻動的塊翻動，該參考區(qū)域可由塊矢量(“BV”)值來指示。其他創(chuàng)新涉及跳躍模式的信號化，其中當(dāng)前的幀內(nèi)BC預(yù)測的塊使用經(jīng)信號化的BV差但缺少殘留數(shù)據(jù)。在許多情況下，這些創(chuàng)新改善了針對幀內(nèi)BC預(yù)測的塊的編碼效率。
[0039]雖然本文中描述的操作是被適當(dāng)描述為由視頻編碼器或視頻解碼器來執(zhí)行，但在許多情況中，這些操作可由另一類型的媒體處理工具(例如圖像編碼器或圖像解碼器)來執(zhí)行。
[0040]本文中描述的一些創(chuàng)新是參考專用于H.265/HEVC標(biāo)準(zhǔn)的句法元素和操作來示出的。例如，對H.265/HEVC標(biāo)志的草稿版本JCTVC-P1005—即2014年2月的“高效視頻編碼(HEVC)范圍擴(kuò)展文本規(guī)范??第6稿”JCTVC-P1005_vl作出參考。本文中描述的各創(chuàng)新還可以被實(shí)現(xiàn)為針對其它標(biāo)準(zhǔn)或格式。
[0041]本文中描述的一些創(chuàng)新(例如，塊翻動)是參考幀內(nèi)BC預(yù)測來描述的。這些創(chuàng)新也可適用于其他上下文(例如，運(yùn)動補(bǔ)償中針對參考區(qū)域的塊翻動)。
[0042]更一般地，本文中描述的各示例的各種替代是可能的。例如，本文中描述的一些方法可以通過改變描述的方法動作的順序、通過拆分、重復(fù)或忽略某些方法動作等來更改。所公開的技術(shù)的各方面能夠被組合地或分開地使用。不同的實(shí)施例使用所描述的創(chuàng)新中的一個或多個。本文中描述的一些創(chuàng)新解決了背景中指出的一個或多個問題。
[0043]通常，所給出的技術(shù)/工具并不解決所有這些問題。
[0044]1.示例計(jì)算系統(tǒng)
[0045]圖1示出了其中可實(shí)現(xiàn)幾個所描述的創(chuàng)新的合適計(jì)算系統(tǒng)(100)的概括示例。計(jì)算系統(tǒng)(100)并不旨對使用范圍或功能提出任何限制，因?yàn)檫@些創(chuàng)新可以在不同的通用或?qū)Ｓ糜?jì)算系統(tǒng)中實(shí)現(xiàn)。
[0046]參考圖1，計(jì)算系統(tǒng)(100)包括一個或多個處理單元(110、115)和存儲器(120、125) ο處理單元(110、115)執(zhí)行計(jì)算機(jī)可執(zhí)行指令。處理單元可以是通用中央處理單元(“CPU”)、專用集成電路(“ASIC”)中的處理器或任何其它類型的處理器。在多處理系統(tǒng)中，多個處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以提高處理能力。例如，圖1示出中央處理單元
(110)以及圖形處理單元或協(xié)處理單元(115)。有形存儲器(120、125)可以是(諸)處理單元可訪問的易失性存儲器(例如，寄存器、高速緩存、RAM)、非易失性存儲器(例如，R0M、EEPR0M、閃存等)或這兩者的某一組合。
[0047]存儲器(120，125)存儲實(shí)現(xiàn)幀內(nèi)BC預(yù)測中的塊翻動和/或跳躍模式的一個或多個創(chuàng)新的軟件(180)，該軟件處于適用于由(諸)處理單元執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的形式。
[0048]計(jì)算系統(tǒng)可具有附加的特征。例如，計(jì)算系統(tǒng)(100)包括存儲(140)、一個或多個輸入設(shè)備(150)、一個或多個輸出設(shè)備(160)以及一個或多個通信連接(170)。諸如總線、控制器或網(wǎng)絡(luò)之類的互連機(jī)制(未示出)將計(jì)算系統(tǒng)(100)的各組件互連。通常，操作系統(tǒng)軟件(未示出)為在計(jì)算系統(tǒng)(100)中執(zhí)行的其它軟件提供操作環(huán)境，并協(xié)調(diào)計(jì)算系統(tǒng)(100)的各組件的活動。
[0049]有形存儲(140)可以是可移動或不可移動的，并包括磁盤、磁帶或磁帶盒、CD-R0M、DVD或可用于儲存信息并可在計(jì)算系統(tǒng)(100)內(nèi)訪問的任何其他介質(zhì)。存儲(140)存儲針對實(shí)現(xiàn)幀內(nèi)BC預(yù)測中的塊翻動和/或跳躍模式的一個或多個創(chuàng)新的軟件(180)的指令。
[0050](諸)輸入設(shè)備(150)可以是觸摸輸入設(shè)備(諸如鍵盤、鼠標(biāo)、筆或跟蹤球)、語音輸入設(shè)備、掃描設(shè)備或向計(jì)算系統(tǒng)(100)提供輸入的另一設(shè)備。對于視頻，(諸)輸入設(shè)備
(150)可以是相機(jī)、視頻卡、TV調(diào)諧卡、屏幕捕捉模塊或接受模擬或數(shù)字形式的視頻輸入的類似設(shè)備、或?qū)⒁曨l輸入讀到計(jì)算系統(tǒng)(100)中的CD-ROM或CD-RW。(諸)輸出設(shè)備(160)可以是顯示器、打印機(jī)、揚(yáng)聲器、CD刻錄機(jī)或提供來自計(jì)算系統(tǒng)(100)的輸出的另一設(shè)備。
[0051](諸)通信連接(170)允許通過通信介質(zhì)與另一計(jì)算實(shí)體通信。通信介質(zhì)傳達(dá)諸如計(jì)算機(jī)可執(zhí)行指令、音頻或視頻輸入或輸出、或已調(diào)制數(shù)據(jù)信號中的其他數(shù)據(jù)之類的信息。已調(diào)制數(shù)據(jù)信號是使其一個或多個特征以在信號中編碼信息的方式設(shè)置或改變的信號。作為示例而非限制，通信介質(zhì)可以使用電的、光學(xué)的、RF或其它載體。
[0052]各創(chuàng)新可以在計(jì)算機(jī)可讀介質(zhì)的一般上下文中描述。計(jì)算機(jī)可讀介質(zhì)是可在計(jì)算環(huán)境內(nèi)訪問的任何可用有形介質(zhì)。作為示例而非局限，對于計(jì)算系統(tǒng)(100)，計(jì)算機(jī)可讀介質(zhì)包括存儲器(120、125)、存儲(140)、和以上任意的組合。
[0053]各創(chuàng)新可在計(jì)算機(jī)可執(zhí)行指令(諸如包括在程序模塊中的在目標(biāo)現(xiàn)實(shí)或虛擬處理器上在計(jì)算系統(tǒng)中執(zhí)行的那些計(jì)算機(jī)可執(zhí)行指令)的一般上下文中描述。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、庫、對象、類、組件、數(shù)據(jù)結(jié)構(gòu)等。如各實(shí)施例中所描述的，這些程序模塊的功能可以被組合，或者在這些程序模塊之間拆分。針對各程序模塊的計(jì)算機(jī)可執(zhí)行指令可以在本地或分布式計(jì)算系統(tǒng)中執(zhí)行。
[0054]術(shù)語“系統(tǒng)”和“設(shè)備”在本文中被互換地使用。除非上下文明確指示，否則，術(shù)語并不暗示對計(jì)算系統(tǒng)或計(jì)算設(shè)備的類型的任何限制。一般來說，計(jì)算系統(tǒng)或計(jì)算設(shè)備可以是本地的或分布式的，并且可以包括具有實(shí)現(xiàn)本文中描述的功能的軟件的專用硬件和/或通用硬件的任意組合。
[0055]所公開的方法還可使用被配置成執(zhí)行所公開的方法中的任一者的專用計(jì)算硬件來實(shí)現(xiàn)。例如，所公開的方法可以由被專門設(shè)計(jì)或配置成實(shí)現(xiàn)所公開的方法中的任一者的集成電路(例如，諸如ASIC數(shù)字信號處理器(“DSP”)之類的ASIC、圖像處理單元(“GPU”)、或諸如場可編程門陣列(“FPGA”)之類的可